Agentic & Long-horizon RL / 长程 Agent 强化学习

单轮推理 RL(GRPO / RLVR,见姊妹仓库 reasoning-rl-frontier)的下一棒:把奖励信号从"一问一答一奖励"推广到多轮轨迹(思考→调用工具→观察)*。

0. 一句话演化 / The evolution

单轮 RLHF(prompt→response→reward) → 单轮可验证 RLVR(对/错→reward) → 多轮 agentic RL(轨迹→稀疏终端 reward)。 变的不是损失函数,而是 episode 的形状:一条 episode 是 (reasoning, tool_call, observation) 反复多轮1让 LLM 把推理与工具调用交错(think→act→observe),边想边行动。Yao 2022 ↗,reward 往往只在最后(任务成功与否)给一次。

TL;DR 速查(2 分钟过一遍)

• 变的是 episode 形状,不是损失:单轮 RLHF→RLVR→多轮 agentic RL,一条 episode = (思考 → 工具调用 → 观察) 反复,reward 常只在终端给一次。
• 长程 = POMDP:工具返回前部分可观测;动作空间 = token + 工具调用 + 何时停;核心难点 = 稀疏终端 reward 的信用分配 + 误差累积。
• 信用三粒度:trajectory(均摊)/ turn(需 step reward 或 value)/ token(由 turn-level 广播 + action mask);越细越准、越依赖 critic/PRM。
• GRPO 组相对 baseline 天然可搬:组内终端 return 归一化当 baseline、免 critic;但稀疏下整组全零 → std=0 → advantage 退化。
• 观测 token 必须掩掉:工具返回是环境注入、非 policy 生成;不掩 = 对观测做 SFT、污染策略梯度。
• 奖励设计:终端可验证(RLVR)最稳;step/PRM 缓解稀疏但易被 gaming;长程 reward hacking = 空转 / 提前停 / 里程碑刷分。
• 几乎都两段式:SFT 热启(学格式 + 把成功率抬到 RL 有梯度)→ RL 超越演示;代表 AgentTuning / Agent-FLAN / ReFT / ReSearch。
• 具名 recipe:ToolRL(shaping)/ RAGEN-StarPO(Echo Trap)/ WebRL(自进化课程)/ SWE-RL(规则奖励);2025 改进 DAPO / CISPO / VAPO + 系统级 AReaL。
• off-policy 纠偏:PPO clip 只控方差不纠偏;异步需小 policy lag / ESS / V-trace 双截断 / 全局 advantage 归一化(REINFORCE++)。
• 会单轮就能迁移:抓「轨迹化 + 掩码 + 组相对 baseline」三点即可。

1. 什么让任务"长程" / What makes it long-horizon

2. 形式化 / Formalization (POMDP)

把一条轨迹 $\tau=(s_0,a_0,\dots,s_T,a_T)$ 看作 POMDP。终端任务奖励 $R(\tau)\in\{0,1\}$(成功/失败)或标量分。轨迹回报

$$G_t=\sum_{k=0}^{T-t}\gamma^{k}\,r_{t+k}.$$

实务里常把"一轮(turn)"作为决策粒度(turn-level MDP),而梯度仍落在该轮生成的 token 上 —— 即 turn-level 信用 + token-level 更新。

3. 信用分配 / Credit assignment(核心难点)

终端只有一个 reward,要回答:这几十轮里,哪一轮、哪个 token 该被奖励/惩罚?

• trajectory-level:整条轨迹共享一个 advantage —— 最简单,但把"好轨迹里的坏步"也一起奖励了。
• turn-level:给每一轮一个 advantage(需要 step reward 或价值估计)。
• token-level:最细;通常由 turn-level advantage 广播到该轮 token。

GRPO2同一任务采样一组 rollout,用组内相对回报当 baseline、免去 critic。Shao 2024 ↗ 的思路天然可搬过来:同一任务采样一组轨迹,用组内相对回报当 baseline(无需 critic):

$$A(\tau_i)=\frac{R(\tau_i)-\mathrm{mean}(R)}{\mathrm{std}(R)+\epsilon}.$$

过程奖励 PRM3对每一步推理打分(过程监督),不只看最终对错。Lightman 2023 ↗(给每步打分)对长程信用分配更友好,但标注/训练更贵且自身可能被 hack;ORM(只看结果)便宜但信用分配粗。长程场景常是两者折中。

4. 奖励设计 / Reward design

• 可验证结果奖励(RLVR→agentic)4用可自动判定的对错(而非奖励模型)作 RL 信号。Lambert 2024 ↗:能自动判定的终端信号最稳 —— 单元测试通过、环境状态达成、答案可校验。
• 过程 / step reward:中间里程碑给分,缓解稀疏性,但易被刷(agent 学会触发里程碑而不解决任务)。
• 长程 reward hacking:轨迹越长,捷径越多(空转凑步数、反复调用廉价工具)。缓解:终端可验证为主 + 步数/成本惩罚 + 对工具输出只读不学(见 §5 掩码)。

5. 算法要点 / Algorithm essentials

多轮 PPO5带 clip 的策略梯度,RLHF / agentic RL 的基线算法。Schulman 2017 ↗ / GRPO 的两个"长程专属"细节:

1. 观测 token 掩码:工具返回 / 环境观测是注入进上下文的,不是 policy 生成的 —— 必须在损失里掩掉,否则等于让模型去"拟合"工具输出(类比 SFT 的 loss masking)。
2. advantage 广播 + 掩码:turn-level advantage 广播到该轮 agent 生成的 token,再乘以 action mask。

import torch

def group_relative_advantages(returns, group_ids, eps=1e-6):
    """GRPO 式组内相对 advantage(无 critic)。
    returns:   (N,) 每条轨迹的终端回报(如成功={0,1} 或标量分)
    group_ids: (N,) 同一任务的多条 rollout 共享一个 group id
    """
    adv = torch.zeros_like(returns)
    for g in group_ids.unique():
        m = group_ids == g
        r = returns[m]
        adv[m] = (r - r.mean()) / (r.std(unbiased=False) + eps)
    return adv

def masked_pg_loss(logp, adv_per_token, action_mask):
    """策略梯度损失:只在 agent 自己生成的 token 上回传。
    logp:          (B,T) 当前策略下所取 token 的 log-prob
    adv_per_token: (B,T) 由 turn-level advantage 广播到 token
    action_mask:   (B,T) 1=agent 生成的 token, 0=工具输出/观测(掩掉)
    """
    pg = -(logp * adv_per_token) * action_mask
    return pg.sum() / action_mask.sum().clamp_min(1)

rollout 阶段要在循环里真实执行工具/环境(常异步),轨迹更长 → 采样更贵 → 是 agentic RL 的主要系统瓶颈之一。

6. 训练管线:SFT 热启 → RL / Training pipeline

agent 训练几乎都是两段式:SFT 热启 → RL 精调。开放动作空间 + 稀疏终端奖励下,预训练模型直接 RL 几乎探不到成功轨迹(成功率随步数指数衰减、group 常全零 → 梯度消失),也不会基本的工具调用格式;先用专家 / 成功轨迹 SFT 把格式与轨迹结构学会、把成功率抬到 RL 能产生有效梯度,再 RL 超越演示。

• AgentTuning(arXiv:2310.12823):构造 AgentInstruct 多任务轨迹做混合 SFT,提升 agent 能力而不损通用能力。
• Agent-FLAN(arXiv:2403.12881):把「格式遵循」与「agent 推理」拆开做数据,并加负样本(教模型拒绝错误工具调用、抑制 agent 幻觉)——SFT 数据设计层面的改进。
• ReFT(arXiv:2401.08967):SFT 热启(CoT)→ 在线 PPO 在自采样推理路径上精调,提升泛化(无需额外题)。
• ReSearch(arXiv:2503.19470):纯 RL 学会把搜索调用与 CoT 交错,无监督推理步标注——把工具使用直接 RL 进去。

7. 代表性 agent-RL 配方 / Representative recipes

2025–2026 RL 改进(算法变体 + 系统):

• DAPO(2503.14476,ByteDance):clip-higher(上调正向 clip 上界防熵坍塌)+ overlong reward shaping + dynamic sampling + token-level PG loss。
• CISPO(MiniMax-M1,2506.13585):截断 IS 权重(per-token)而非把低概率 token 置零,保留所有 token 的梯度贡献(含罕见「反思」token)。
• VAPO(2504.05118):价值增强 PPO(value-augmented),解决 value 偏差 + 异质序列长度。
• AReaL(2505.24298)(系统级,非算法变体):全异步 RL 系统,解耦生成与训练(见 §5 rollout 贵)。
• SkyRL-Agent(2511.16108,NovaSky/Berkeley)(系统级):面向长程多轮工具的异步训练栈,核心是异步流水线派发器——把 CPU 侧的运行时初始化 / 奖励计算与 GPU 生成重叠起来(长短轨迹混批时不被慢轨迹拖住),作者报告较 naive 异步批处理约 1.55× 吞吐;可对接 VeRL / Tinker 后端。(系统工程加速,非新损失/新 advantage)。
• T²PO(2605.02178)(探索控制 · 极新预印):不确定性门控——估计每一步「再多想/多试一轮」对边际不确定性的下降量,据此触发 thinking 干预(token 级)/ 对低进展的轮做重采样(turn 级),把算力从已确定的步挪到真正不确定的步,缓解长程下探索预算的浪费。

8. 与单轮的衔接 / Bridge from single-turn

姊妹仓库的 GRPO / RLVR / 损失掩码 是积木;agentic RL ≈ 把它们作用在轨迹上 + 解决"稀疏终端 reward 的信用分配"。会单轮 → 抓住"轨迹化 + 掩码 + 组相对 baseline"三点即可迁移。

分层面试题 / Stratified follow-ups

L1 基础

L2 进阶

L3 深挖

深挖 / Deep-dive

面试陷阱级问题:以下问答假设考官已熟悉单轮 GRPO/PPO,追问多轮场景下的精细机制。学习笔记,非作者研究成果。

Q1. per-token vs per-turn advantage estimation — GAE 的折扣如何迁移到多轮?

核心矛盾:单轮 RL 的 advantage 定义在 token 粒度($A_t = Q_t - V_t$);多轮场景有两级结构 — turn 之间的时间折扣(turn-level) 和 turn 内部的token 广播。

GAE 的迁移6GAE 用 λ 加权的 TD 残差和来权衡 bias-variance:λ→1 接近蒙特卡洛,λ→0 接近单步 TD。Schulman 2015 ↗:

$$\hat{A}_t^{\text{GAE}(\gamma,\lambda)} = \sum_{l=0}^{T-t}(\gamma\lambda)^l\,\delta_{t+l}, \quad \delta_t = r_t + \gamma V(s_{t+1}) - V(s_t).$$

把"一个 token" 换成"一个 turn",该公式在 turn-level MDP 上完全适用:

• $\gamma$(turn 折扣):稀疏终端 reward 场景里常设 $\gamma\approx1$(不折扣),因为每轮都有实际贡献价值;过低的 $\gamma$ 会让早期轮的 advantage 趋零,白白丢掉梯度信号。
• $\lambda$(GAE 平滑系数):控制 bias-variance 权衡 — 多轮 episode 的 critic bootstrap 误差更易累积,实务里 $\lambda<1$ 比单轮更关键,否则 variance 随 horizon 指数爆炸。

turn-level → token-level 的广播:同一轮内所有 agent 生成 token 共享该轮的 $\hat{A}^{\text{turn}}$,观测 token 的 mask=0。这样 per-token 的梯度等于 per-turn advantage 乘以 action-mask,没有额外近似。

面试陷阱:"既然 token 共享同一 advantage,token-level 和 turn-level 有什么区别?" — 区别在于哪一级计算折扣和 baseline:turn-level 让折扣跨越轮次、允许 value function 在轮粒度 bootstrap;token-level 单纯是梯度落点。混淆两者会导致折扣应用层级错误(对每个 token 做 γ 折扣等价于对超长序列做 γ^t 衰减,早期 token 梯度几乎为零)。

Q2. 单终端 reward 下 GRPO 组 baseline 的高方差 — 为什么?有哪些降方差技巧?

GRPO 组 baseline 的 advantage:

$$A(\tau_i) = \frac{R(\tau_i) - \mu_g}{\sigma_g + \epsilon}, \quad \mu_g=\frac{1}{G}\sum_{j=1}^G R(\tau_j).$$

多轮场景下方差爆炸的两个来源:

1. 0/1 二值 reward + 小 group size:若 $G=8$ 且成功率 $p\approx0.1$,则 group 内常见全 0(8 条全失败)或只有 1 条成功。全 0 时 $\sigma_g=0$,advantage 退化为零;1/8 成功时 $\sigma_g$ 极小,advantage 尖峰 — 单条样本主导整批更新。
2. 轨迹长度差异:长轨迹的 log-prob sum 数值远大于短轨迹;若 advantage 直接乘以 token 数量,长轨迹的梯度自然更大,形成隐式的 length bias。

降方差技巧:

面试陷阱:"GRPO 能完全替代 PPO 的 critic 吗?" — 单轮二值 reward 场景可以;长程稀疏 reward 场景里 group baseline 的方差往往大于 critic baseline,critic 的价值回升。实践中折中方案是使用小型 turn-level value 头,而非完整的 PPO critic。

Q3. 多轮 rollout 变 stale 后的 importance-sampling / off-policy 修正

问题背景:agentic rollout 含真实工具调用(网络、数据库、代码执行),延迟可达秒级 — 当 rollout 结束时策略参数已经走了若干步,$\pi_\theta \neq \pi_{\theta_\text{old}}$。

重要性权重(IS weight):

$$w(\tau) = \frac{\pi_\theta(\tau)}{\pi_{\theta_\text{old}}(\tau)} = \prod_{t \in \text{agent tokens}} \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_\text{old}}(a_t|s_t)}.$$

为什么连乘危险:$T$ 轮轨迹里 agent token 可达数千;即使每步 ratio $\approx1.05$,连乘后可得 $\gg10$ 的 IS weight — 方差爆炸,极少数样本主导梯度。

工程修正方案:

1. PPO clip5($\epsilon$ clip):将每个 token 的 ratio 截断在 $[1-\epsilon, 1+\epsilon]$,不修正偏差但有效控方差。适合同步训练,policy lag 不超过 1-2 个 mini-batch。
2. 序列级截断 IS(TIS):整条轨迹的 IS weight 截断在某个上界(如 3.0),简单但有偏。
3. 用 ESS 动态缩小学习率:用 effective sample size $\text{ESS}=(\sum w_i)^2/\sum w_i^2$ 监控 rollout 的 staleness,当 ESS 低于阈值时自动降低 learning rate,避免梯度冲击。
4. 前缀 IS ratio:理论上正确的修正项是前缀 IS ratio(整条序列的前缀乘积),而非逐 token ratio 独立截断;但实现复杂,数值不稳定。

面试陷阱:"直接用 PPO clip 就够了吗?" — 同步训练里够;异步/agentic 场景 policy lag 可达数十步,此时 clip 只治标(方差降了但偏差很大),实际上等于在不正确的分布上做梯度 — 需要配合小 policy lag 设计或 ESS 监控。

Q4. 长程 reward hacking 的具体形态与缓解

"长程"使 hacking 更容易:单轮 hacking 只需在一次回复里找漏洞;长程 agent 可以在几十步里缓慢积累捷径、覆盖评测文件、或利用工具副作用。

三类典型形态:

为什么长程更严重:理论分析7Scaling Laws for Reward Model Overoptimization:KL 偏离越大,gold reward 先升后降;proxy reward 与 gold reward 的差值随 KL 单调增。Gao 2022 ↗表明,proxy reward 与 gold reward 的差值随 KL 偏离单调增大 — 轨迹越长、总 KL 偏离越大,照缩放定律 [7] hacking 风险系统性增加。

缓解组合拳:

1. 终端可验证奖励为主4:unit test pass / 环境状态达成,比神经网络 proxy reward 难 hack;
2. 步数 / token 成本惩罚:$R'(\tau) = R(\tau) - \alpha \cdot |\tau|$,直接压制 looping;
3. 观测 token 只读(loss mask):防止 agent 学会"生成能通过 mock 检查的输出格式";
4. KL 惩罚项:$R' = R - \beta\,\text{KL}(\pi_\theta\|\pi_{\text{ref}})$,在 proxy reward 与 gold reward 开始分叉前刹车;
5. 对抗性测试集轮换:定期更换评测样本,阻止 agent 记住特定测试用例的捷径。

Q5. 部分可观测性(POMDP)如何使 value 估计变难?

单轮 RL vs 长程 agentic RL 的信息结构差异:

单轮推理:$V(s) \approx V(\text{prompt})$ — prompt 全可见,value function 输入完整。

多轮 agentic:$s_t$ = 历史对话 + 上一轮工具返回,但下一轮工具返回未知 — agent 处于 POMDP,不知道未来观测。

三个具体难点:

1. 工具返回的随机性:同一 action(API 调用)可能因网络状态、外部 DB 版本不同而返回不同内容 — value function 需要在这种随机性上取期望,但训练时只见到一条具体返回。单步 bootstrap($V(s_{t+1})$)拟合的是带噪观测的 value,收敛慢且偏差难估计。

2. 上下文长度爆炸:随轮次增加,$s_t$ 线性增长(历史全拼接);value network 若用同一个 LM backbone,其 forward pass 成本随上下文长度平方增长 — value bootstrap 本身就很贵。

3. 外部状态不可逆:agent 改了数据库/文件系统,这些副作用不在 token 流里 — value function 看不到"环境的隐状态"。传统 POMDP 解法(belief state)在 LLM 场景无法直接套用。

实务应对:

• 用轻量 turn-level value 头(接在最后一个生成 token 的 hidden state 上)而非完整 rollout 的 critic;
• 将工具返回摘要化后再入 value 输入,压缩上下文;
• 接受更高 bias:用 GAE 的 $\lambda<1$ 减少对远期 bootstrap 的依赖,代价是轻微低估长期 advantage。

Q6. 长程稀疏 reward 下的探索问题

为什么单轮 RL 的探索策略在长程下不够:单轮 RL 里随机采样 token 就能探索;多轮场景里成功轨迹的概率随轮次指数衰减 — 如果每轮正确概率 0.8,10 轮后成功率降至 $0.8^{10}\approx 0.11$,agent 极少见到正 reward,训练信号几乎全零。

三类探索策略:

1. 课程学习(curriculum learning):从短 horizon / 容易子任务开始,逐步加难。核心是确保训练初期 positive reward 足够频繁以产生有效梯度。代价:需要任务难度的自动标注或人工课程设计。

2. subgoal / 里程碑奖励(谨慎使用):在中间步骤给小奖励引导探索方向。问题:如 Q4 所述,里程碑本身会被 gaming — 须配合可验证的里程碑(如子函数的单元测试通过)而非神经网络打分。

3. replay + 优先经验回放:保留少量历史成功轨迹,以更高概率重采样 — 让模型在极稀疏环境中持续看到"什么是成功"。代价:引入 off-policy 问题(见 Q3)。

4. hindsight 重标注(HER,1707.01495):把失败轨迹按它实际到达的状态当成「目标」重新打标——失败轨迹对原目标 reward=0,但对「它恰好达成的那个状态」reward=1,于是稀疏二元 reward 下也能从失败里榨出正信号(等价于一条隐式课程:总有「事后看成功」的子目标)。关键限制:需要目标可重标注的 goal-conditioned 空间;开放式 agent 任务(如「修好这个 bug」)失败轨迹没有可平凡重标注的目标——「跑了一堆没修好」不能事后说成「成功修好了某个别的 bug」,所以 HER 在 LLM agent 上常只适用于目标 goal-conditioned 且「已达成状态」可重标注的子任务(导航到某状态 / 检索到指定文档),不能无脑套到通用 SWE/GUI。

面试追问:"如果任务成功率始终 <5%,还能用 GRPO 吗?" — 实务经验:group size 需要大到能保证 group 内至少 1 条成功;否则整个 group 的 advantage 退化为全零,等于白跑 rollout。此时建议先用 SFT 热启(从少量成功轨迹学),再切换 RL。

Q7. 观测 token 掩码后哪些 token 实际拿到 advantage?PRM 的 step 级信用 vs 纯 ORM

精确回答"哪些 token 拿到 advantage":

设一条轨迹含以下 token 序列:

[system_prompt] [user_turn_1] [agent_think_1] [agent_act_1] [obs_1] [agent_think_2] [agent_act_2] [obs_2] … [agent_final]

action_mask=1 的 token:所有 agent_think_* + agent_act_* + agent_final。 action_mask=0 的 token:system_prompt、user_turn_*、所有 obs_*(工具返回/环境观测)。

advantage 广播规则:如果使用 turn-level GAE,则同一轮内所有 mask=1 的 token 共享该轮的 $\hat{A}^{\text{turn}}$。最终梯度只流向 mask=1 的 token 位置。

一个易错点:若 agent 的 <think> 块被当作 internal reasoning 而非 action(有些实现会把 CoT 掩掉),则 <think> token 的 mask=0,gradient 不流过推理链 — 等于只训练"行动选择",不训练"推理质量"。这是实现细节,面试中考察是否真正理解 mask 的语义。

PRM(过程奖励)vs ORM(结果奖励)的信用粒度对比8把 PRM 的步级奖励定义为步级 advantage(未来成功率的变化量),理论上等价于 RL 的 Q-V 差,并需要用独立 prover policy 而非当前策略来估计。Setlur 2024 ↗:

PRM 的步级 advantage 定义:理论上最干净的 PRM 步级 reward 是该步骤带来的"未来成功率变化":$r_t^{\text{PRM}} = P(\text{success}|s_{t+1}) - P(\text{success}|s_t)$。这与 RL 里的 advantage($Q(s,a)-V(s)$)在定义上等价8把 PRM 的步级奖励定义为步级 advantage(未来成功率的变化量),理论上等价于 RL 的 Q-V 差,并需要用独立 prover policy 而非当前策略来估计。Setlur 2024 ↗。实践里用蒙特卡洛 rollout 估计$P(\text{success}|s_t)$,代价是每步需要大量 rollout。

面试陷阱:"用了 PRM 就不需要 discount $\gamma$ 了吗?" — 错。PRM 提供的是步级奖励,这些奖励仍然需要用折扣或 GAE 累加成 return;PRM 解决的是"哪步该给多少奖励",不解决"如何把多步奖励折算成当前策略的梯度信号"。

参考文献 / References

均为经典承重方法的原始出处,已逐条核对(标题 + arXiv ID)。点上标跳转、点 ↩ 返回。

1. Yao et al. ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023. arXiv:2210.03629 — think→act→observe 范式. ↩
2. Shao et al. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. 2024. arXiv:2402.03300 — GRPO:组内相对 baseline、去 critic. ↩
3. Lightman et al. Let's Verify Step by Step. 2023. arXiv:2305.20050 — 过程监督 / PRM(PRM800K). ↩
4. Lambert et al. Tülu 3: Pushing Frontiers in Open Language Model Post-Training. 2024. arXiv:2411.15124 — RLVR:以可验证对错为终端奖励. ↩
5. Schulman et al. Proximal Policy Optimization Algorithms. 2017. arXiv:1707.06347 — PPO(策略梯度基线). ↩
6. Schulman et al. High-Dimensional Continuous Control Using Generalized Advantage Estimation. ICLR 2016. arXiv:1506.02438 — GAE:λ 加权 TD 残差,bias-variance 权衡. ↩
7. Gao et al. Scaling Laws for Reward Model Overoptimization. 2022. arXiv:2210.10760 — proxy vs gold reward 随 KL 偏离的缩放定律. ↩
8. Setlur et al. Rewarding Progress: Scaling Automated Process Verifiers for LLM Reasoning. 2024. arXiv:2410.08146 — PRM 步级 advantage = 未来成功率变化量,等价于 Q-V 差. ↩