Signal to BuildSIGNAL TO BUILD中文Owner sign in ↗
← Knowledge Notes
AI Engineering ／ Knowledge note · Chinese

Agent 研究论文 3 篇精读(2024-2025)

newtype 星球收录的 3 篇 Agent 研究 / 演讲精读。05 CAMEL-AI Wendong Fan《Finding the Scaling Laws of Agents》(2025 演讲:# Parameters → # Agents 类比 / CAMEL + OWL + CRAB + OASIS 框架 / Agentic Data Generation 反哺训练)/ 07《More Agents Is All You Need》(Tencent ICML 2024:sampling-and-voting 暴力堆 Agent 数量,Llama2-13B + 15 个 agents 匹敌 Llama2-70B,3 个维度决定 gain 大小)/ 08《ChatQA》(NVIDIA 2024:two-stage instruction tuning,70B 在 10 个 conv QA 数据集上 54.14 vs GPT-4 53.90,fine-tune retriever 替代 query rewriting 省 API 钱,"unanswerable" sample 训练消除幻觉)

Source collection：Newtype · Published here：2026-09-26 · Note updated：2026-05-17

AI 工程Agent 工作流模型与评测

何时打开:你想给 Agent / Multi-Agent / RAG 的判断找学术 reference。本 wiki 是 3 篇论文 / 演讲的精读,不是综述(综述见 AI Agent 技术架构演进 2025(深度研究报告)),是研究本身。

三篇贯穿一条线索:用多个 Agent 替代单个更强 LLM 的可行性 + 实操路径。

一、《Finding the Scaling Laws of Agents》(CAMEL-AI Wendong Fan, 2025)

1.1 演讲背景

  • 演讲人:Wendong Fan(CAMEL-AI 核心成员,Eigent AI 技术负责人)
  • 演讲组织:CAMEL-AI.org —— 开源研究组织,致力 Multi-Agent Systems
  • 核心论点:Agent 的 scaling law 在哪里?

1.2 引用 Marvin Minsky 1986 年的洞察

"Agents are mindless processes. Agent by itself can only do some simple things. Joining these agents in societies leads to true intelligence."

"The trick is that there is no trick. The power of intelligence stems from our vast diversity, not from any single, perfect principle." — Marvin Minsky, The Society of Mind, p. 308

这跟 Software 3.0 / Agentic Decade 思想一致 —— 见 Karpathy · Software in the era of AI(Software 3.0)。

1.3 RL Agent vs LLM Agent

RL Agent(传统):

  • Agent ↔ Environment(actions / states / rewards)
  • 应用:Go / 自动驾驶 / 游戏

LLM Agent(新):

  • Language as Input / Output
  • State + Action 都用自然语言表达
  • Generalizability(不再绑定特定环境)

LLM Agent 三特征:

  • Memory:Manages chat history + context window
  • Tools:Internal + external function calls
  • Step Loop:多轮交互完成单个任务

1.4 Agent Scaling Law 假设(核心)

传统 LLM Scaling Law Agent Scaling Law(假设)
# Parameters # Agents?
Data Environments?
Training Memory / Interaction?

关键问题:Multi-Agent System with LLM Agents 是新一代 scaling 吗?

1.5 LLM-based Agent Systems 时间线

The First:CAMEL (2023-03-21,Multi-Agent role-playing)
       AutoGPT (2023-03-30)
       Baby AGI (2023-04-03)
       ChatDev (2023-07-16)
       MetaGPT (2023-08-01)
       CrewAI (2023-11-15)

1.6 CAMEL 框架(NeurIPS 2023, arXiv:2303.17760)

Role-playing framework:

  • Idea
  • Role assignment
  • Task agents
  • Chat agents

Workforce(分层架构):

  • Hierarchical Architecture
  • Task Planning and Decomposition
  • Task Channel Communication
  • Robust Failure Handling

关键实验:

  • CAMEL 多 Agent > 单 Agent 在 200 个任务上 超 70%
  • GPT-4 evaluation 与人工 evaluation 一致

1.7 OWL(Optimized Workforce Learning)

  • GAIA benchmark 58.18 平均分
  • 开源框架第一 🏆

1.8 CRAB(NeurIPS 2024)

Cross-environment Agent Benchmark for Multimodal LMs

  • 评测多模态 Agent 跨环境能力
  • 任务示例:打开 Slack,导航到 channel,总结消息,发短信给联系人
  • arxiv:2407.01511

1.9 OASIS(Open Agent Social Interaction Simulations)

  • 模拟社交媒体,最多 100 万 Agent
  • 复现社会科学实验
  • 探索 Agent 社会动态
  • arxiv:2411.11581

1.10 GraphRAG + CAMEL

Role-Playing Scraper for Report & Knowledge Graph Generation:

  • Autonomous Task Solving
  • Knowledge Generation
  • Scalable Solution

1.11 Agentic Data Generation(反哺训练)

  • AI Society:50 assistant roles × 50 user roles × 10 tasks
  • Code:20 languages × 50 domains × 50 tasks
  • 从 GPT-3.5/4 生成数据 → fine-tune Llama
  • Hugging Face 上 180+ 模型 使用 CAMEL 数据集(MosaicML MPT-30B-Chat, HuggingFaceM4/idefics2-8b)

1.12 Scaling Law 假设的回答

维度 CAMEL 框架 OASIS 框架 LOONG OWL DataGen GraphRAG
# Parameters → # Agents ✓ ✓
Data → Environments ✓ ✓
Training → Evolution ✓ ✓

结论(Wendong Fan):CAMEL-AI 正在用这 3 个方向 同时探索 Agent 的 scaling law。

二、《More Agents Is All You Need》(Tencent ICML 2024)

2.1 论文信息

  • 作者:Junyou Li, Qin Zhang, Yangbin Yu, Qiang Fu, Deheng Ye(腾讯)
  • arXiv:2402.05120v1
  • 日期:2024-02-03
  • 标题致敬"Attention Is All You Need"

2.2 核心论点(一句话)

通过最简单的 sampling-and-voting,LLM 性能随 Agent 数量 scaling。 且这跟现有复杂方法正交(CoT、ReAct、Reflection、Debate 等都可叠加我方法进一步提升)。

2.3 Sampling-and-Voting 方法(Algorithm 1)

Require: Query x, number of samples N, LLM M (or LLM+method fM)

S ← ∅
for i = 1 to N do
    Generate sample s_i ← M(x)
    Add to S
end for
for each sample s_i in S:
    V(s_i) ← Σ sim(s_i, s_j)   # 累积相似度
end for
A ← argmax_{s_i} V(s_i)         # 选累积相似度最高的
return A

相似度计算:

  • 数值答案:数学等价比较
  • 选择题:答案出现频率
  • 代码:BLEU 分(sacreBLEU)

2.4 核心实验结果(Llama2-13B / 70B + GPT-3.5/4)

任务:GSM8K(算术)/ MATH(数学)/ Chess(下棋)/ MMLU(通识)/ HumanEval(代码)

Model GSM8K Single GSM8K +Ours MATH Chess MMLU HumanEval
Llama2-13B 0.35 0.59 (+0.24) +0.06 +0.04 +0.09 +0.04
Llama2-70B 0.54 0.74 (+0.20) +0.06 +0.01 +0.05 +0.09
GPT-3.5-Turbo 0.73 0.85 (+0.12) +0.10 +0.04 +0.11 +0.06

反直觉发现:Llama2-13B + 15 个 agents 在 GSM8K 上达到 Llama2-70B 单模型水平(59% vs 54%)! Llama2-70B + 15 agents 在某些任务上接近 GPT-3.5-Turbo!

2.5 跟其他方法的正交性(Table 3)

方法 GSM8K Standalone + Ours 增量
CoT 0.39 → 0.56 (+0.17) 大
ZS-CoT 0.40 → 0.61 (+0.21) 大
SPP 0.19 → 0.42 (+0.23) 大
Debate 0.38 → 0.48 (+0.10) 中
Reflection 0.36 → 0.59 (+0.23) 大

结论:所有方法都被 sampling-and-voting 进一步提升。

2.6 3 个影响 gain 大小的维度

通过控制实验,作者分离出 3 个正交维度:

维度 1:Inherent Difficulty(固有难度)

  • 增加难度 → gain 先升后降
  • 适中难度 gain 最大
  • 任务过难时,模型推理能力本身不足,scaling 也救不了

维度 2:Number of Steps(步骤数)

  • 步骤越多 → gain 越大
  • 每一步的误差累积,sampling-and-voting 在每步纠错

维度 3:Prior Probability(先验概率)

  • 选项越少 → 性能越好
  • 如选项太多(K = 32),拆成多个高概率子任务(K = 8)再合

2.7 衍生方法(基于 3 维度)

Step-wise sampling-and-voting:

  • 让 LLM 分步输出
  • 每步用 sampling-and-voting 选最好的
  • 防止累积误差
  • 比单层 sampling-and-voting 再涨 15-42%

Hierarchical sampling-and-voting:

  • 高难度任务拆成多个高概率子任务
  • 同构组合(全 GPT-3.5):21% → 31%
  • 异构组合(GPT-3.5 找中间答案 + GPT-4 final):35% → 47%
  • 关键:简单子任务用便宜模型,难的子任务用贵模型,性价比最优

2.8 含义(对独立开发者)

  • N 个小模型 + sampling-and-voting > 1 个大模型 —— 在很多场景成立
  • DeepSeek + 多个 instance + voting 可能比单跑 GPT-4 性价比好
  • 当下大多数 Agent 框架(CrewAI / AutoGen / LangGraph)还没集成这个简单技巧
  • 写 Wrapper / SaaS 产品时,可以把 sampling-and-voting 当作 secret sauce

三、《ChatQA: Building GPT-4 Level Conversational QA Models》(NVIDIA 2024)

3.1 论文信息

  • 作者:Zihan Liu, Wei Ping, Rajarshi Roy, Peng Xu, Chankyu Lee, Mohammad Shoeybi, Bryan Catanzaro(NVIDIA)
  • arXiv:2401.10225v2
  • 日期:2024-01-23

3.2 核心成绩

ChatQA-70B 在 10 个 conversational QA 数据集上:

  • 平均分 54.14 > GPT-4 53.90(略胜)
  • 平均分 > GPT-3.5-Turbo 50.37(显著)
  • 无需任何 OpenAI 合成数据

这是 Open-source 70B 首次在 conv QA 全面齐平 GPT-4。

3.3 核心方法 1:两阶段 Instruction Tuning

Foundation LLM
   ↓
Stage-1: Supervised Fine-tuning(SFT)
  数据:Soda + ELI5 + FLAN + Dolly + OpenAssistant
  目的:获得 conversational instruction-following 能力
   ↓
Stage-2: Context-Enhanced Instruction Tuning
  数据:NarrativeQA + DROP + Quoref + ROPES + SQuAD + NewsQA + TAT-QA + ConversationalQA
  目的:增强基于上下文 / RAG 的 QA 能力
   ↓
ChatQA

3.4 核心方法 2:Fine-tune Retriever 替代 Query Rewriting

问题:Conversational QA 的 follow-up 问题(含"它")信息不足,直接 retrieve 不准。

两种解法:

  • A. Query Rewriting(GPT-3.5-turbo 改写)— 需要额外 LLM 调用,成本高
  • B. Fine-tune Retriever(论文方法)— 在 multi-turn 数据上 fine-tune 单轮 retriever

结果(Dragon retriever):

方法 Avg Top-1 Recall Avg Top-5 Recall
Dragon Standalone 46.29 73.09
Dragon + Query Rewriting(GPT-3.5) 54.46 80.13
Dragon + Fine-tune(论文方法) 52.72 80.67

结论:Fine-tune retriever 性能 跟 GPT-3.5 query rewriting 持平,但 省 API 调用成本。

3.5 核心方法 3:Unanswerable Samples 消除幻觉

问题:当文档里没有答案时,LLM 倾向于编(hallucination)。 做法:在 instruction tuning 数据中加 1.5K 个 unanswerable 样本,用 "Sorry. I cannot find the answer based on the context" 作为答案。

Ablation:

样本数量 QuAC Avg DoQA Avg Avg-CQA
1k unanswerable 80.89 72.88 54.16
1.5k unanswerable 80.76 73.74 54.14
2k unanswerable 80.82 73.38 53.86
2.5k unanswerable 78.81 72.93 53.78

意外:更多 unanswerable 样本不一定更好,1.5K 是最优点。

3.6 Stage-1 SFT 的重要性

去掉 Stage-1 直接 Stage-2:

  • 平均分 54.08 → 52.18(下降 1.9)
  • 结论:先建立 instruction-following 能力对 Stage-2 至关重要

3.7 单轮 QA 数据对多轮 QA 的帮助

加 single-turn QA 数据:

  • 平均分提升 1.83
  • 即使在 table-based 数据集(ConvFinQA / SQA / HybridDial)上也涨
  • 因为 single-turn 提升的是 "从 context 提取答案" 的通用能力

3.8 检索 chunk 数量、顺序的 ablation

Chunk 数量:

  • top-3:平均 41.91
  • top-5:平均 42.31(最优)
  • top-10:平均 40.71(变差,"lost in the middle")

Chunk 顺序:

  • Sequential / Reverse / Swing 接近
  • Random shuffle 略差
  • 结论:论文模型对 chunk 顺序鲁棒

3.9 对照人工评测(A/B Test ChatQA-70B vs GPT-4)

平均 Ours Win Tie GPT-4 Win
All 13.81% 69.09% 17.10%

Tie 占 69%,GPT-4 略胜约 3.3% —— 70B 已经基本追上 GPT-4。

3.10 含义(对自建 RAG 系统)

  1. 不需要靠 OpenAI 合成数据:7K 人工 + 7K GPT 合成,效果接近
  2. Retriever 自己 fine-tune > 用 GPT-3.5 改写:省钱省 latency
  3. 加 1.5K unanswerable 样本 = 大幅降幻觉
  4. Stage-1 + Stage-2 两阶段 = 一阶段不行
  5. top-5 chunks 是 sweet spot,不要贪多

跟 newtype · RAG 实战与知识库演化 互补 —— 那份是 newtype 帖子级 RAG 实战,本节是论文级方法论。

四、3 篇汇总洞察

4.1 共同主题

3 篇都在回答一个核心问题:怎么用更便宜 / 更小 / 更开源的方式做出接近大模型的效果?**

论文 路径
Scaling Laws of Agents 多个 Agent 协作 > 单个更强模型
More Agents Is All You Need 同模型重复多次 + 投票 > 单次调贵模型
ChatQA 70B + 精心 fine-tune > 用 GPT-4

4.2 反直觉发现汇总

  1. Llama2-13B + 15 个 agents = Llama2-70B 单跑(More Agents)
  2. Fine-tune retriever 跟 GPT-3.5 query rewriting 持平(ChatQA)
  3. 1.5K unanswerable 样本 = 大幅降幻觉,但 2K+ 反而变差(ChatQA)
  4. CAMEL 多 Agent > 单 Agent 在 200 任务 70%+ 场景成立(CAMEL)
  5. Hierarchical sampling-and-voting 用 GPT-3.5 做中间 + GPT-4 final = 性价比最优(More Agents)

4.3 工程化要点

实践 来源 适用场景
Sampling-and-voting 集成到 Agent loop More Agents 任何 LLM 任务,尤其推理类
Hierarchical 用便宜+贵模型混搭 More Agents 高难度多步任务
Stage-1 + Stage-2 fine-tune ChatQA 自建 conversational AI
1.5K unanswerable 样本 ChatQA 防 RAG 系统幻觉
Multi-Agent role-playing CAMEL 角色明确的复杂任务
Agentic Data Generation 反哺训练 CAMEL 拥有大模型预算,想做小模型

4.4 跟既有 wiki 的连接

History

  • 2026-05-17:Phase 4 ingest 从 3 个 newtype PDF(05/07/08)创建。完整覆盖 CAMEL-AI 演讲(Scaling Laws of Agents 假设 + OWL/CRAB/OASIS/DataGen)+ More Agents Is All You Need(sampling-and-voting + 3 维度 gain 分析)+ ChatQA(70B QA model + two-stage tuning + fine-tune retriever + unanswerable samples)。

来源与关联资料