推理-RL 前沿 / Reasoning-RL Frontier

答： GRPO 省掉了 critic（value network）——从 PPO 的四模型（actor + critic + ref + RM）减为三模型（actor + ref + RM），节省一份模型参数的显存和 value 训练开销。组内相对优势：对每个 prompt 采样 $G$ 个回答得奖励 $r_1..r_G$，用组内均值替换 value baseline + 标准差缩放： $$A_i = \frac{r_i - \mathrm{mean}(r)}{\mathrm{std}(r) + \varepsilon}$$ 直觉：$\mathrm{mean}(r)$ 是该 prompt 下"平均能拿多少分"的 MC 估计——用它当 baseline 扣掉题目难度影响；$\mathrm{std}(r)$ 缩放保证不同 prompt 的优势在同一尺度。为什么能省 critic？因为可验证域（math exact-match、code 单测）的奖励信号干净稳定，无需学 value function 去估计"这个状态将来能拿多少分"。

追问： 如果奖励有噪声（如对话质量 RM 打分），组内平均还能当 baseline 吗？ 能但效果打折扣——噪声大时 $\mathrm{mean}(r)$ 的方差大，组内对比的信号被稀释；PPO 的 critic 通过 TD 学习平滑噪声反而更稳。这也是为什么 GRPO 主线选可验证域（见 §6）。

答： RLVR 的奖励来自规则 / 验证器而非学习的神经 RM：数学用 exact-match（最终答案比对标准答案）、代码用 unit test pass/fail、格式用正则检查。缓解 reward hacking 的原因是：规则验证器 ≈ ground truth——它不存在"学会了长=好"这类神经 RM 的系统偏置，几乎不可被 hack（仍有格式 gaming、重复 token 骗 length 奖励等，但比神经 RM 干净得多）。局限：只适用于可验证域（math/code/可机检格式）——开放域（写作质量、对话 helpfulness、安全性）没有规则化验证器，仍需神经 RM 或 LLM-as-judge。R1 主线正是利用了这一特性：在可验证域用 RLVR 做主训练，通用域另用 helpful/harmless RM 做阶段 4 对齐。

追问： 格式奖励（如"答案放在 \boxed{} 里给 +0.1"）是 RLVR 还是神经 RM？ 是 RLVR——格式是正则可检的硬规则。但实践中格式奖励容易变成 reward hack 目标（模型学会输出 \boxed{错误答案} 骗格式分），需要仔细调权重。

答： Sequence-level loss（GRPO 原始写法）：$L = \frac{1}{N}\sum_i \frac{1}{|o_i|}\sum_t \ell_{i,t}$——先对每条序列内按 token 平均，再对序列平均。问题：长回答的每个 token 贡献的梯度被 $|o_i|$ 稀释（$|o_i|$ 大则单 token 梯度小），导致长推理链的早期关键步骤几乎收不到信号。Token-level loss（DAPO 改法）：$L = \frac{1}{\sum_i |o_i|}\sum_i\sum_t \ell_{i,t}$——所有 token 等权，每个 token 贡献同等梯度。在 long-CoT RL 中 token-level 是必须的——否则模型会被诱导"少写 token 拿同样的奖励"，压缩推理链长度。Dr.GRPO 进一步指出：$1/|o_i|$ 不仅稀释长回答的正确 token，还系统性地偏好长的错误回答（错误回答长 → 每个错误 token 的惩罚被稀释 → 看起来 loss 更小），是优化偏置的重要来源。

追问： token-level loss 会不会反过来让短正确回答拿过高梯度导致训练不稳定？ 会——短正确回答的每个 token 梯度更大，实践中需配合 gradient clipping 和合适的 LR 调度来控制。

答： Std 归一化让不同 prompt 的优势被缩放到同一尺度——但引入两种偏置：① 难度偏置：组内方差小的 prompt（如全对/全错，std→0）优势被人工放大（除以一个很小的数），这些 prompt 在 batch 中"嗓门更大"；② 与长度归一化的交互偏置：std 缩放 + $1/|o_i|$ 长度归一化叠加，让优化方向偏向"更长但更差的回答"（长的错误回答在两重操作下梯度更"好看"）。Dr.GRPO 的修复：① 去掉 std 除法——只用 $A_i = r_i - \mathrm{mean}(r)$，保留 baseline 的方差缩减效果、去掉缩放偏置；② 去掉 $1/|o_i|$ 长度归一化——改用常数归一化（如除以最大长度或不用归一化），消除对长错误回答的系统性偏好。代价：优势的绝对尺度因 prompt 而异，需配合合适的 LR 调度。论文称修复后 token 更省、回答不虚长。

追问： 去掉 std 后，难度跨度大的 prompt（简单题奖励 0-1，难题奖励 0-10）怎么处理？ 可以对奖励做全局归一化（如 batch-level z-score）或 reward clipping——但这是另一层设计选择，独立于 GRPO 的组内 baseline 构造。

答： 熵塌缩（entropy collapse）：策略过早变得确定性过高（某些 token 概率→1，其他→0），导致不再探索新的推理路径——模型被"锁"在当前策略里。PPO 对称 clip 如何造成熵塌缩：clip 范围 $[1-\varepsilon, 1+\varepsilon]$ 对 importance ratio $\rho=\pi_\theta/\pi_{old}$ 对称限制。但对新学到的低概率推理 token（如回溯、换路的特定 token 序列），初始概率极低，在正优势下 $\rho$ 从远小于 1 往上走——上界 $1+\varepsilon$ 很快 clip 住了这些 token 的提升空间。与此同时，高概率 token（如"所以"、"因此"等连接词）的 $\rho\approx1$，clip 对它们几乎没影响。结果：低概率创新 token 的上升通道被对称封顶，高概率 token 相对愈加固化。Clip-higher 的解：解耦上下界、抬高上界（如 $\varepsilon_{low}=0.2, \varepsilon_{high}=0.28$），给低概率 token 留出上升空间，维持探索。

追问： 除了 clip-higher，还有什么防熵塌缩的手段？ 添加 entropy bonus（奖励里加 $+\lambda H(\pi)$）、温度退火（训练前期用高温度鼓励探索）、EMA reference（用 SFT checkpoint 做慢滑锚定）。DAPO 选择 clip-higher 是因为它最轻量、不改奖励信号。

答： 设 $V(s) = \mathbb{E}[r|s]$ 是给定状态（prompt）下的期望奖励。GRPO 的组内均值 $\hat\mu=\frac{1}{G}\sum_i r_i$ 是 $V$ 的 MC 估计——当 $G\to\infty$ 时 $\hat\mu\to V(s)$。去中心化的优势 $r_i-\hat\mu$ 就是在用 MC baseline 做方差缩减——保留 REINFORCE 的无偏梯度同时减少方差。偏差-方差谱系：① $G$ 小时，$\hat\mu$ 的 MC 方差高（baseline 自身噪声大），优势估计波动大，但均值仍是无偏的（不系统偏移）；② std 归一化引入轻微偏差（除以 $\hat\sigma$ 改变 $A_i$ 的期望值），但大幅降方差（保护梯度尺度稳定），GRPO 选择了这端的权衡；③ Dr.GRPO 去掉 std→退回无偏的 $r_i-\hat\mu$，方差更大，需要用更大 $G$ 或更保守 LR 补偿；④ PPO 的 value baseline $\hat V(s)$ 是有偏的（函数近似误差），但通过 TD 学习能持续改进估计质量。所以在奖励干净 + $G$ 够大的可验证域，critic-free 的无偏 baseline 就够；在奖励嘈杂 + 长轨迹的开放域，PPO 的有偏但低方差的 critic 更稳。

追问： 能否把 GRPO 和 PPO 的 baseline 取加权混合？ 理论上可行（ensemble baseline），但实践中几乎没人这样做——因为两种 baseline 的训练范式不同（critic-free vs critic-based），混合的工程代价高且收益不明确。

答： 全对/全错组所有样本奖励相同 → $A_i\equiv0$ → 零梯度，只消耗算力不做任何参数更新。dynamic sampling 丢掉它们不只是省算力，更是保证每个 batch 都有有效的梯度信号，防止优化被零梯度 batch 干扰。与 curriculum learning 的关系：两者都筛选训练样本的难度，但方向相反——curriculum 是"从易到难"的预设难度顺序，dynamic sampling 是根据模型当前能力实时筛题：全对的题太易（模型已会）、全错的题太难（模型还不会），过滤后保留"模型刚好会但不确定"的难度带——本质上是在线难度滤波（online difficulty filtering）。

追问： 如果 batch 里大部分 prompt 都被过滤（训练后期难度收敛），怎么办？ 降采样频率而非完全丢弃——把所有"无效 prompt"的采样率降低而非清零；或扩充 prompt 库增加新题。DAPO 的做法是前者。

答： 推理 RL（GRPO + RLVR）：让模型自己探索如何有效使用更多 token（反思、验算、换路），在训练过程里习得长推理行为。蒸馏（SFT from teacher traces）：直接模仿"老师已经想好的"推理轨迹。各自的优劣：① 推理 RL 上限更高——能发现蒸馏数据里没有的推理模式（R1-Zero 的自发反思/验算证明这一点），但训练不稳定、只在可验证域有效；② 蒸馏更便宜稳定、适用面广（任何域只要有 teacher 轨迹即可），但上限受 teacher 质量限制（"老师不会的，学生也学不会"）。R1-Distill 的核心结论：蒸馏 > 在小模型上直接 RL——小模型自身 RL 探索不动（在如此大的搜索空间里，小模型的初始化不够好、组内多样性差），不如直接吃大模型的推理轨迹。这不是说蒸馏绝对优于 RL——而是在大模型做 RL + 小模型蒸馏的组合里，分工明确：大模型负责探索、小模型负责学习探索结果。

追问： 这个结论对学术界的资源受限研究有何启示？ 如果只有小算力，优先走蒸馏路线（用开源强大的推理模型产轨迹 → SFT 给小模型），而不是在小模型上从头跑 GRPO——性价比更高。

答： Critic-free 方法的前提是"奖励信号干净 + 组内对比有效"。四个失效场景：① 奖励噪声大（如对话质量 RM 打分波动大）：无 value 做时序平滑，组内 z-score 放大噪声，梯度方向不可靠；② 组内多样性差：采样 Temperature 太低或模型过拟合时，G 条回答几乎相同 → std→0 → 优势估计崩溃（除以 0）——PPO 的 critic 不受采样多样性的影响；③ 稀疏奖励 + 长轨迹：只给最终答案对/错（0/1），中间 1000 个 token 都没有信号——GRPO 只能靠最终奖励的组内对比，PPO 的 GAE 通过 TD 把未来奖励逐步反传、给每个 token 提供更平滑的 per-token 信号；④ 非平稳奖励分布：神经 RM 随训练本身也在变化时，PPO 的 critic 能适应奖励分布漂移，critic-free 的组内 baseline 只能反映当前 batch。简记：可验证域=critic-free 最优，非可验证域/长轨迹/噪声环境=PPO 更稳。

追问： 是否可能在"可验证域 + 稀疏奖励"场景里引入轻量 critic 做混合？ 这是一个开放研究问题——轻量 critic（如从 PRM 初始化、只做结果级 value 估计）可能为每组提供跨 prompt 的全局 baseline，在保持 critic-free 简单性的同时改善稀疏奖励。目前还没有标准做法。

A: KL 惩罚的作用是策略锚定——防止 reward hacking 下策略飞掉(collapse 到某个 reward shortcut)。但在 long-CoT 场景下，模型要学到的正是 ref 模型不会做的长链反思行为，KL 本质上在惩罚"创新推理路径"。实践中的取舍：$\beta$ 过大→模型学不到长 CoT，推理能力上限被 ref 锁死；$\beta$ 过小→策略可能退化为 reward hacking（如重复 token 骗 verifier）。DAPO 原始配方实际上去掉了 KL，转而靠 clip-higher + dynamic sampling 来防崩；GRPO 保留 KL 但通常设较低值。本质上是在 "不崩" 和 "能探索" 之间走钢丝。 追问: 如果既想去掉 KL 以放开探索、又想防止策略崩溃，除了 clip-higher 还有哪些可行的替代锚定机制？（如 EMA reference、正则化到 SFT checkpoint 等）

A: 两种方法都是 REINFORCE 的 variance reduction 变体，区别在 baseline 构造：GRPO 用 $\mathrm{mean}(r)$ 并除以 $\mathrm{std}(r)$（即 z-score）；RLOO 对样本 $i$ 用 $\frac{1}{G-1}\sum_{j\neq i}r_j$。RLOO 的 leave-one-out baseline 无偏（因为 $r_i$ 不参与自己的 baseline），而 GRPO 的 $\mathrm{mean}(r)$ 包含 $r_i$ 自身，引入轻微自相关偏置（但在 $G$ 较大时可忽略）。然而 GRPO 的 std 归一化同时做了方差缩放，在奖励尺度不确定时更鲁棒，但也引入 Dr.GRPO 指出的题目难度偏置。RLOO 不做 std 归一化，奖励尺度敏感但更无偏。选择取决于任务奖励分布的稳定性。 追问: 如果把 RLOO 的 leave-one-out baseline 和 GRPO 的 std 归一化结合起来，会怎样？这种混合有没有已知问题？

A: 会有一定影响，但方向比直觉复杂。Token-level loss 保证每个 token 贡献等权梯度，确实意味着短正确回答的每个 token 拿到的梯度更大（因为总梯度被 $T$ 个 token 均分，$T$ 小则单 token 梯度大）。但关键在于梯度的符号：正确回答的梯度是正向强化，错误回答是负向惩罚。因此 token-level loss 实际上让短错误回答受到的惩罚更集中、力度更大——对训练效率来说未必是坏事。真正的风险出现在奖励是 0/1 二值时：长正确回答和短正确回答获得相同的总奖励，但 token-level loss 下长回答的单 token 强化信号更弱，可能导致模型逐渐压缩正确推理路径的长度。 追问: 如果用 DAPO token-level loss 同时搭配 outcome reward（只看最终答案对错），模型压缩推理链长度和压缩到正确答案之间如何竞争？

A: 思路上可行：用 PRM 对 CoT 的每一步打分，将 step-level score 聚合成 sequence-level reward，再接入 GRPO 的组内优势计算。但障碍有三：①PRM 本身的标注与训练——需要 step-level 人工标注或自动标注(如 Monte Carlo rollout 估计)，成本高且准确率有限；②奖励对齐问题——PRM 给的是"这一步推理质量"的分数，和最终答案正确性可能不一致（步骤好但答案错 vs 步骤糙但答案对），导致 RL 信号矛盾；③时序信用分配——把 step-level score 聚合成 sequence reward 时，如何加权（均值？最终步？最差步？）直接影响学习动态。简单均值会模糊关键步骤的贡献，最终步又退化为 outcome reward。 追问: 在 GRPO 框架内，能否对组内不同样本用不同的 reward aggregation 策略（自适应加权），而不是统一方案？

A: 全错组的核心问题是组内所有奖励相同 → 优势恒为零 → 零梯度。几种思路：①引入过程奖励——即使最终答案都错，中间推理步骤的质量可能有差异，用 PRM 或推理长度/格式合规性等辅助信号制造组内差异；②混合奖励设计——在 outcome reward 上叠加格式奖励、推理完整性奖励等软信号，使"全错"组仍能区分好坏回答；③跨 prompt baseline——不局限于组内相对，而用 batch 级或 moving average 的全局 baseline 来给即使是全错组的样本提供梯度方向；④难度分桶后重采样——把全错 prompt 标记为"过难"，降采样频率但不完全丢弃，避免训练集偏向简单题。每种方法的代价不同：过程奖励需要额外标注/模型，跨 prompt baseline 可能引入高方差。 追问: 跨 prompt baseline（例如用 EMA 全局均值作 baseline）在 GRPO 框架中具体如何实现？和组内 baseline 混合使用时权重如何调？

A: $G=1$ 时只有一个样本，$\mathrm{mean}(r)=r_1$，优势恒为零——完全没有梯度，GRPO 完全失效。$G=2$ 退化为两两对比，本质上是 pairwise preference learning 的在线版。$G\to\infty$ 时组内均值和标准差收敛到总体期望和标准差，baseline 近似于全局 value function 的蒙特卡洛估计，此时 GRPO 在理论上接近带全局 baseline 的 REINFORCE。实践中的权衡：$G$ 太小→baseline 方差高、优势估计噪声大；$G$ 太大→每个 prompt 的采样成本高（推理开销线性增长），且多样性可能反而降低（重复采样中大量相似回答）。DeepSeek 的实践用中等 $G$ 值。此外，$G$ 和 clip range、learning rate 之间存在耦合——$G$ 大时优势估计更准，可以容忍更激进的更新步长。 追问: 是否存在自适应 $G$ 的策略——对"难"prompt 采更多样本、"易"prompt 采更少？这和 dynamic sampling 如何协调？

A: 收敛的核心条件是奖励信号必须持续提供有效的区分度——即模型必须能区分自己的输出的好坏。当模型能力远低于任务难度时，自我判断噪声大但不会系统性偏移，训练可能缓慢但不崩。模式崩塌的典型触发条件：①锚定效应放大——模型偏好与自己风格接近的回答，正反馈循环导致输出多样性持续降低，最终坍缩到某个"自我偏好"的狭窄模式；②判断饱和——当模型输出质量趋同时，奖励信号退化为噪声，训练失去方向；③reward hacking 自身 judge——模型学会"说服"自己的 judge 而非真正改进，类似 Goodhart 定律作用于自身。缓解手段包括：保留 SFT anchor、定期引入外部验证信号、限制迭代轮数。 追问: 如果在 self-rewarding 循环中引入一个固定的外部 verifier（如代码单测）作为"锚点"来校准自评分数，这能在多大程度上防止模式崩塌？

A: Standard PPO 的对称 clip $[1-\epsilon, 1+\epsilon]$ 作用于 importance ratio $\rho=\pi_\theta/\pi_{\theta_{old}}$。关键洞察：在长 CoT 中，模型已经习得的高概率 token（如常见推理连接词）的 $\rho$ 接近 1，对称 clip 对它们影响小；但新学到的低概率推理模式（如回溯、自我纠正的特定 token 序列）初始概率极低，当正优势 $A>0$ 时 $\rho$ 从小于 1 往上走，上界 $1+\epsilon$ 很快就 clip 住了——这些 token 的提升空间被硬性封顶。与此同时，当负优势 $A<0$ 时，下界 $1-\epsilon$ 同样限制了高概率 token 的下降，但高概率 token 的空间本身就大，下降余量充足。因此对称 clip 在信息几何上造成了不对称的学习动态：高概率 token 的"下降通道"比低概率 token 的"上升通道"更宽。Clip-higher 通过抬高上界打破了这个不对称。 追问: 除了解耦 clip bound，是否可以从 trust region 的角度出发（如用 KL 约束代替 hard clip），来更优雅地解决这个问题？这在长 CoT 场景下的计算代价如何？

A: R1 的四阶段顺序是精心设计的，不是随意堆叠：

1. 冷启动 SFT（→可读性基础）：直接用 base model 跑 RL 会产生 R1-Zero 的问题——长 CoT 方向对但答案不可读、中英混杂。先用少量高质量 long-CoT 样本做 SFT 打"格式/语言"的底，让后续 RL 在一个"会好好说话"的策略上起步。

2. 推理 RL（→推理能力核心）：在不加对话偏好的情况下，用 GRPO + RLVR（规则奖励）专注拉推理能力。为什么放在偏好 RL 之前？如果先做偏好对齐再做推理 RL，偏好 RL 可能压制探索（KL 锚定"安全但平庸"的策略），推理 RL 需要大探索空间。

3. 拒绝采样 SFT（→知识蒸馏+能力固化）：用阶段 2 的策略大量采样，筛出推理正确 + 格式规整的轨迹做 SFT（R1 论文使用的 SFT 数据约 80 万条，含推理与通用混合）。这一步的作用是：① 把 RL 探索出的好的推理模式"固化"回 SFT 分布，为下一阶段的通用 RL 提供稳定起点；② 产出大量高质量推理数据供蒸馏（R1-Distill 正是用此阶段产出的数据，经后处理做 SFT）。

4. 全场景 RL（→通用对齐）：最后在所有 prompt（推理+通用）上跑 RL——可验证域用规则奖励，通用域用 helpful/harmless RM。放在最后是为了在"推理已够好"的基础上只做微调式的偏好对齐，不对推理能力伤筋动骨。

能否调换顺序？ 阶段 2 和 3 交替（SFT→RL→SFT→RL）是核心创新；R1 论文描述了两轮交替的多阶段设计，阶段 1 和 2 不可交换（RL 前必须打可读性基础，否则 R1-Zero 的语言混杂问题复现）。阶段 4 必须放最后（偏好对齐会压制探索，放前面会锁死推理 RL 的探索空间）。

追问： 如果只有一轮交替（去掉阶段 3-4），效果会差多少？ R1 论文没有直接报这个消融，但从 R1-Zero（只有 RL 无 SFT）的效果看，去掉阶段 1 会严重损害可读性；去掉阶段 3-4 则缺少通用对齐，推理能力强但对话体验差——本质上是 R1-Zero + 冷启动 SFT 的组合，实用性打折扣。