Agent Foundations / Agent 基础

在上多轮 RL 之前的前置课:agent 是什么、ReAct 循环、工具调用、协议层(MCP/A2A)、生产工程模式、评测与失败模式。读懂这一篇,再去 agentic-and-long-horizon-rl 学怎么用 RL 训它。

0. TL;DR 速查

• Agent = LLM(policy) + 工具 I/O + 记忆 + 控制循环;比 chatbot 多的是「能对外部世界采取改变状态的动作 + 自主多步」。
• 最小骨架 = ReAct:Thought→Action→Observation 循环到 Final Answer;Observation 必须由环境注入,别让模型自己编(stop-token footgun)。
• 工具使用两条路线:文本协议(ReAct / Toolformer)与结构化 function calling(JSON schema);训练时只在 agent 生成的 token 上回传(见 react-tool-call-loop drill)。
• 规划:Plan-and-Execute(先全局计划)vs ReAct(逐步决策);生产常用「高层 plan + 每步 ReAct」混合 + plan repair。
• 协议层:MCP(Anthropic,连工具/数据,纵向)与 A2A(Google,agent 间互通,横向);标准化连接,不解决安全(注入由 host 防)。
• 长程三大系统瓶颈:上下文 $O(L^2)$ / 成本 $O(T^2)$、lost-in-the-middle、误差复利 $p^T$。
• 生产模式:subagent 编排(≠多 agent 辩论)、工具检索(100+ 工具)、记忆分层、budget guard。
• 评测:SWE-bench / GAIA / OSWorld / WebArena / τ-bench 各测不同能力;只记 human baseline 与「测什么」。
• 可靠性指标:pass@k(能不能做到)vs pass^k(稳不稳定);agent 部署看后者。
• 6 类失败模式有名字(见 §10),面试要能默写 + 配缓解。

1. 心智模型 / Mental model

把 LLM 看作策略 $\pi_\theta(a \mid h)$:给定历史 $h$(对话 + 过往观测),输出下一个动作 $a$(一段文本,可能含工具调用)。agent = policy + 工具 I/O + 记忆 + 控制循环:

观测 obs ──▶ [LLM policy] ──▶ 动作 action ──▶ [环境 / 工具] ──┐
   ▲                                                          │
   └──────────────── 新 observation ◀───────────────────────┘
                  (循环到 Final Answer 或预算耗尽)

三轴设计框架(任何 agent 都可沿三轴定位):

经典 RL vs LLM-agent:

2. ReAct — 最小 agent 骨架

ReAct1让 LLM 把推理与行动交错(think→act→observe),边想边做。Yao 2022 ↗ 把**推理(Thought)与行动(Action)交错,每次行动调一个工具,把观测(Observation)**注入回上下文:

Thought: 我需要先查 X。
Action: search
Action Input: X
Observation: <工具返回——由环境注入,不是模型生成>
Thought: 现在我知道了。
Final Answer: …

为何比纯 CoT 少幻觉:纯 chain-of-thought 在自己的输出上滚动,中间事实无法被校正;ReAct 每步把真实工具返回作为下一步条件,推理被外部观测 grounding,错误事实下一轮即可被纠偏。

from-scratch 实现(面试手撕标准:ReAct 最小闭环 + stop-sequence + observation 由环境注入):

import re

def react_loop(prompt, tools, llm_generate, max_steps=10):
    """ReAct 最小闭环: Thought → Action → Observation → loop。
    llm_generate(messages, stop)->str:调 LLM,遇 stop 序列立即停止解码。
    tools: dict[str, callable],tool_name→执行函数(工具返回 Obs 由环境产生,不模型生成)。
    返回 (final_answer, trajectory)。"""
    messages = [{"role": "user", "content": prompt}]
    trajectory = []

    for _ in range(max_steps):
        # 1. 推理+动作选择; stop=["Observation:"] 防幻觉工具返回(模型必须停,让环境注入)
        raw = llm_generate(messages, stop=["Observation:"])
        trajectory.append(raw)

        # 2. 检查是否给出最终答案
        final = re.search(r"Final Answer:\s*(.*)", raw, re.S)
        if final:
            return final.group(1).strip(), trajectory

        # 3. 解析 Action 与 Action Input
        action = re.search(r"Action:\s*(\S+)", raw)
        action_input = re.search(r"Action Input:\s*(.*)", raw, re.S)
        if not action:
            obs = "Error: no Action found. Please output 'Action: <tool_name>' then 'Action Input: <args>'."
        elif action.group(1) not in tools:
            obs = f"Error: unknown tool '{action.group(1)}'. Available: {list(tools.keys())}"
        else:
            try:
                result = tools[action.group(1)](action_input.group(1).strip())
                obs = str(result)                               # Observation 由环境/工具产生
            except Exception as e:
                obs = f"Tool error: {e}"

        # 4. 把真实 Observation 注回上下文(不是续写 Token,而是作为新的 user/系统消息)
        messages.append({"role": "assistant", "content": raw})
        messages.append({"role": "user",   "content": f"Observation: {obs}"})

    return None, trajectory                                     # 超步数,未完成
# 面试关键点:
# ① stop=["Observation:"] 防幻觉——模型停,Obs 由环境注入
# ② Observation 是新的消息(role=user/system),不是 assistant 续写
# ③ Action/Action Input 解析用正则,生产可用 JSON 解析或 structured output
# ④ 工具执行 try/except + unknown tool 兜底,防一步错全链崩

3. 规划 / Planning:Plan-and-Execute vs ReAct

• ReAct:逐步决策(reactive)——每步看当前观测再决定下一动作,灵活但无全局视野。
• Plan-and-Execute / Plan-and-Solve3zero-shot 先让模型「制定计划→分解子任务」再执行,胜过 Zero-shot-CoT。Wang 2023 ↗:先生成完整计划再逐步执行(执行器甚至可用不同模型),全局一致但计划可能过时。
• 生产常用混合:高层 plan 切大步骤 + 每步内用 ReAct 反应;失败时 plan repair(Reflexion5用语言反思存进 episodic memory 来「口头强化」,不更新权重。Shinn 2023 ↗ 式反思 / ToT 式搜索 / 逐步 replan)。

何时纯 plan-execute 失败:环境不确定、中途状态大变(工具返回出乎预料)时,开局定死的静态计划会过时——此时 reactive 的 ReAct 或带 replan 的混合更稳。

4. 工具使用 / Tool use

Toolformer6自监督学「何时/如何」调 API,用 utility filter 只保留有用的自标注调用。Schick 2023 ↗:无人工标注地学会调 API。做法:在文本里随机插入候选 API 调用 → 执行得到返回 → utility filter 只保留「插入该调用 + 返回后,模型预测后续 token 的损失显著下降」的样本做 SFT。即用「调用是否真的帮到后续预测」自动筛掉无用 / 位置错的调用。

结构化 function calling92023-06 引入:用 JSON Schema 描述函数,模型输出结构化调用。OpenAI 2023 ↗:用 JSON Schema 描述函数签名,模型(经微调)直接输出结构化的 {name, arguments} 调用。parallel tool calls(一次返回多个调用)要求这些调用幂等 + 相互独立(无数据依赖),否则不能并行。

5. 协议层 / Protocols:MCP & A2A

6. 生产工程模式 / Production patterns

• Subagent 编排:主 agent 把子任务派给上下文隔离的 subagent(各自有限工具集),并行或顺序分解 → 防主上下文爆炸、防工具表过长。
• 工具检索:工具池 100+ 时,不把全部 schema 塞进 prompt,而是按当前子任务用 embedding top-k 检索相关工具再注入。
• 记忆分层:working(上下文内)/ episodic(外部存历史轨迹)/ 检索回灌;长程必备。
• Budget guard:多维预算(token + 步数 + 工具调用数 + wall-time),任一超阈值就强制收敛 / 终止,防 looping 烧钱。

7. Computer-use / GUI agent

动作空间从「文本工具」变成截图 → 坐标点击 / 键盘输入,直接操作真实 GUI。两大瓶颈:

1. grounding:把语义意图(「点登录按钮」)映射到精确像素坐标——视觉定位不准是主要错误源;实务常优先用 accessibility tree(结构化元素树)而非纯截图像素。
2. long-horizon:GUI 任务步数长(开 app→导航→填表→提交),误差复利严重(见 §9)。

评测场见 §8 的 OSWorld(桌面)与 WebArena(网页)。

8. 评测 / Benchmarks

9. 成本与可靠性 / Cost & reliability

• $O(T^2)$ 成本:每步都重读全 context,而 context 随步数线性增长($L_t \propto t$),故总 token $\propto \sum_{t=1}^{T} t = O(T^2)$。这是长程 agent 的核心成本来源。缓解:上下文压缩 / 摘要、KV 驱逐、子任务分解到隔离 subagent、prompt 缓存。
• 串行延迟下界:多步之间有数据依赖,并行工具能省单步内的等待,但打不破跨步的串行延迟下界——8 步任务再怎么并行也至少串 8 个 LLM 解码。
• pass@k vs pass^k:$\text{pass@}k$ = $k$ 次尝试至少 1 次成功(能力上界,偏乐观);$\text{pass}^k$ = $k$ 次全部成功(可靠性)。agent 部署看 pass^k——客服 / 代码 agent 跑 10 次有 1 次乱删库就不可用,τ-bench 正是用 pass^k 暴露这种不稳定。

10. 失败模式 taxonomy / Failure modes

分层面试题 / Stratified follow-ups

L1 基础

L2 进阶

L3 深入

参考文献 / References

均为承重方法的原始出处,已逐条 web 核对(标题 + arXiv ID / 官方 URL)。点上标跳转、点 ↩ 返回。

1. Yao et al. ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023. arXiv:2210.03629 — think→act→observe 范式. ↩
2. Wei et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022. arXiv:2201.11903 — CoT 推理. ↩
3. Wang et al. Plan-and-Solve Prompting. ACL 2023. arXiv:2305.04091 — 先规划再执行. ↩
4. Yao et al. Tree of Thoughts: Deliberate Problem Solving with LLMs. NeurIPS 2023. arXiv:2305.10601 — 思维树搜索. ↩
5. Shinn et al. Reflexion: Language Agents with Verbal Reinforcement Learning. NeurIPS 2023. arXiv:2303.11366 — 语言反思 / episodic memory. ↩
6. Schick et al. Toolformer: Language Models Can Teach Themselves to Use Tools. NeurIPS 2023. arXiv:2302.04761 — 自监督工具使用 + utility filter. ↩
7. Anthropic. Model Context Protocol (MCP). 2024-11. modelcontextprotocol.io — 模型↔工具/数据标准(纵向). ↩
8. Google. Agent2Agent Protocol (A2A). 2025-04(后归 Linux Foundation). a2a-protocol.org — agent↔agent 互通(横向). ↩
9. OpenAI. Function calling and other API updates. 2023-06-13. openai.com — 结构化 JSON Schema 工具调用. ↩
10. Liu et al. Lost in the Middle: How Language Models Use Long Contexts. TACL 2024. arXiv:2307.03172 — 长上下文中段信息被忽略. ↩
11. Greshake et al. Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection. 2023. arXiv:2302.12173 — 间接提示注入. ↩
12. Jimenez et al. SWE-bench: Can Language Models Resolve Real-World GitHub Issues? ICLR 2024. arXiv:2310.06770 — 真实代码修复评测. ↩
13. OpenAI. Introducing SWE-bench Verified. 2024-08. openai.com — 500 题人工核验子集. ↩
14. Mialon et al. GAIA: a benchmark for General AI Assistants. ICLR 2024. arXiv:2311.12983 — 通用助手评测(human 92%). ↩
15. Xie et al. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. NeurIPS 2024. arXiv:2404.07972 — computer-use 评测(human 72.36%). ↩
16. Zhou et al. WebArena: A Realistic Web Environment for Building Autonomous Agents. ICLR 2024. arXiv:2307.13854 — web agent 评测(human 78.24%). ↩
17. Liu et al. AgentBench: Evaluating LLMs as Agents. ICLR 2024. arXiv:2308.03688 — 8 环境综合评测. ↩
18. Yao et al. τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. 2024. arXiv:2406.12045 — 多轮工具-用户 + pass^k. ↩
19. Chan et al. MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering. ICLR 2025. arXiv:2410.07095 — Kaggle ML 工程评测. ↩