奖励模型 (Reward Modeling) 与评估 速查手册

LLM 后训练 (Post-Training) 中的奖励建模全景

1. RM 训练方法 (RM Training)

1.1 核心目标 (Core Objective)

奖励模型从人类偏好 (human preferences) 中学习一个标量评分函数 (scalar scoring function)，用于在 RLHF (Reinforcement Learning from Human Feedback) 或类似流程中为 LLM 生成的候选回答打分，引导策略模型 (policy model) 优化。

1.2 成对比较法 (Pairwise / Bradley-Terry Model)

核心思想： 不直接估计绝对分值，而是学习两个回答之间的偏好关系。

Bradley-Terry (BT) 模型：

给定 prompt $x$，chosen response $y_w$，rejected response $y_l$：

$$P(y_w \succ y_l \mid x) = \sigma(r_\theta(x, y_w) - r_\theta(x, y_l))$$

其中 $\sigma$ 是 sigmoid 函数，$r_\theta$ 是参数为 $\theta$ 的奖励模型。

训练损失 (Training Loss)：

$$\mathcal{L}_{\text{BT}} = -\mathbb{E}_{(x, y_w, y_l)} \left[ \log \sigma(r_\theta(x, y_w) - r_\theta(x, y_l)) \right]$$

优势 (Advantages)：

• 只需偏好排序，不需要绝对评分标注 — 标注成本低
• 天然与 RLHF 中的 policy gradient 对齐
• 人类做相对判断比绝对打分更可靠、一致性更高

局限 (Limitations)：

• 只利用了二元偏好信号，信息利用不够充分
• 假设偏好具有传递性 (transitivity)，现实中未必成立
• 绝对值不可识别：损失只约束差值 $r_\theta(x,y_w)-r_\theta(x,y_l)$，任意常数平移不影响 loss；跨 prompt 的绝对分值比较需额外校准

from-scratch 实现： RM = backbone + 标量头，取最后一个非 pad token 的隐状态打分；损失就是 BT 的负 log-sigmoid。

import torch
import torch.nn as nn
import torch.nn.functional as F

class RewardModel(nn.Module):
    def __init__(self, backbone, hidden):
        super().__init__()
        self.backbone = backbone               # 返回 (B, T, hidden)
        self.head = nn.Linear(hidden, 1, bias=False)   # 标量奖励头

    def forward(self, input_ids, attn_mask):
        h = self.backbone(input_ids, attn_mask)        # (B, T, H)
        last = attn_mask.sum(1).long() - 1             # 最后一个非 pad token 的下标
        pooled = h[torch.arange(h.size(0)), last]      # (B, H) 池化该位置
        return self.head(pooled).squeeze(-1)           # (B,) 标量奖励

def bt_loss(r_w, r_l):
    # r_w/r_l：chosen / rejected 的标量奖励；最小化 -log σ(r_w - r_l)
    return -F.logsigmoid(r_w - r_l).mean()

• 锚点:r_w == r_l 时 loss = $-\log\sigma(0)=\ln 2\approx0.693$——这是 RM 训练 loss 的「随机基线」,实战里开训 loss 应从 ~0.69 往下走。
• 为何取最后 token:decoder-only 因果注意力下,只有最后位置「看见」了完整序列;池化它等价于「读完整段再打分」。
• 数值直觉:margin 大且方向对 → loss→0(如 $r_w-r_l=4$ 时 ≈0.018);方向反 → loss 暴涨(如 $r_w-r_l=-4$ 时 ≈4.018)。

1.3 逐点评分法 (Pointwise / Regression)

核心思想： 直接回归到一个绝对质量分数 (absolute quality score)。

训练损失：

$$\mathcal{L}_{\text{point}} = \mathbb{E}_{(x, y, s)} \left[ (r_\theta(x, y) - s)^2 \right]$$

其中 $s$ 是人工标注的绝对评分 (如 1-5 Likert scale)。

优势：

• 可直接用于 Best-of-N (BoN) 采样、过滤等场景
• 评分可解释性强

局限：

• 需要绝对标注，标注成本高、标注者间一致性 (inter-annotator agreement) 低
• 分数标度 (scale) 因人而异，需要校准 (calibration)

1.4 其他变体 (Other Variants)

1.5 DPO 隐式奖励 ≠ KL 估计器（面试易错点）

DPO 与 KL 估计器里都出现 $\beta\log\frac{\pi_\theta}{\pi_{\text{ref}}}$ 这个 log-ratio，但它们是两类不同的东西，面试中常被混为一谈。

DPO 隐式奖励 (implicit reward)： 从 KL 正则化 RLHF 的最优解反解，得到

$$\hat r_\theta(x,y) = \beta\log\frac{\pi_\theta(y\mid x)}{\pi_{\text{ref}}(y\mid x)} + \beta\log Z(x)$$

它是单个回答的标量奖励，扮演着与上文 §1.2 里 $r_\theta$ 完全相同的角色。把它代回 BT 损失，配分项 $\beta\log Z(x)$ 在差 $\hat r(x,y_w)-\hat r(x,y_l)$ 中精确抵消——于是 DPO 既不需要训练显式 RM，也不需要计算 $Z(x)$：

$$\mathcal{L}_{\text{DPO}} = -\mathbb{E}\left[\log\sigma\!\left(\beta\log\frac{\pi_\theta(y_w\mid x)}{\pi_{\text{ref}}(y_w\mid x)} - \beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\text{ref}}(y_l\mid x)}\right)\right]$$

KL 估计器 (k1/k2/k3)： 估计的是散度 $\mathrm{KL}(\pi_\theta\|\pi_{\text{ref}})$——对整个分布的一个聚合标量，用作 RLHF/GRPO 里的正则惩罚（即上文 GRPO 代码中的 kl 项）。

为什么容易混： 两者都以 log-ratio 为原料，但

• DPO 隐式奖励是「一条回答的奖励」（per-$(x,y)$ 信号，进入 BT 损失）；
• KL 估计器是「一个散度的估计」（对样本求期望的统计量，进入惩罚项）；
• 方向也常相反：DPO 用 $\log\frac{\pi_\theta}{\pi_{\text{ref}}}$，而 k3 惩罚里通常写成 $\log\frac{\pi_{\text{ref}}}{\pi_\theta}$。

2. PRM vs ORM：过程奖励模型与结果奖励模型

2.1 ORM — 结果奖励模型 (Outcome Reward Model)

定义： 仅根据最终输出 (final output) 给出一个整体奖励分数。

输入: [Prompt + 全部回答文本]
输出: 单个标量奖励 r

特点：

• ✅ 标注简单：只需判断最终答案对/错或质量高低
• ✅ 训练和推理计算成本较低
• ❌ 信用分配问题 (credit assignment)：不知道回答中哪些步骤是正确的、哪些是错误的
• ❌ 对于数学推理、代码生成等多步骤任务信号稀疏

2.2 PRM — 过程奖励模型 (Process Reward Model)

定义： 对推理过程的每个步骤 (each step) 给出奖励分数。

输入: [Prompt + 前 i 步]
输出: 每步的奖励 r_step(i)

特点：

• ✅ 信号更密集 (dense reward)，信用分配更精确
• ✅ 能定位具体推理错误步骤，可用于 early stopping 或树搜索
• ✅ 在数学推理等任务的 BoN/搜索场景下，使用高质量步骤标注的 PRM 通常显著优于 ORM（如 PRM800K 等；ORM 在大搜索预算或 RLVR 设置下可具竞争力）
• ❌ 标注成本极高：需要专家逐步判断
• ❌ 步骤边界定义 (step delineation) 本身有歧义

2.3 对比表 (Comparison Table)

2.4 自动化 PRM 数据生成 (Automated PRM Data)

为降低标注成本，常见方法：

• Monte Carlo 估计 (MC estimation)： 从每一步继续采样多个 rollout，看最终结果正确率作为该步奖励
• LLM-as-Step-Judge： 用强 LLM 标注每步正确性
• ORM-to-PRM 蒸馏： 从 ORM 反推过程信号

Math-Shepherd 式自动标注（Wang et al., arXiv:2312.08935）：无需人工，用 MC 完成采样估计每步「能否到达正确答案」。对前缀到第 $i$ 步，采样 $N$ 条完整解 $\{a_j\}$ 与黄金答案 $a^*$ 比对，得二值/软标签：

$$y_{s_i}^{\text{HE}}=\mathbb{I}\!\big[\exists\,a_j=a^*\big]\in\{0,1\}\qquad y_{s_i}^{\text{SE}}=\frac{1}{N}\sum_{j=1}^{N}\mathbb{I}\,[a_j=a^*]$$

（HE = 硬估计，有一条对即为正；SE = 软估计，正确率作软标签。）

步骤分数聚合成轨迹分数： Math-Shepherd 用 MIN（最小步分数 $\min_i r_{s_i}$，最保守）做 best-of-N reranking；Lightman et al.（arXiv:2305.20050，PRM800K，80 万条人工步标，每步标正确/中性/错误）的主选则是 PRODUCT（各步分数乘积）。

3. 奖励欺骗与过度优化 (Reward Hacking & Over-Optimization)

3.1 什么是奖励欺骗 (Reward Hacking)

定义： 策略模型学会利用奖励模型的缺陷和分布外行为 (out-of-distribution behavior) 来获取高分，而非真正提升回答质量。

常见类型 (Common Patterns)：

3.2 Goodhart 定律视角

"当一个指标变成目标时，它就不再是好的指标。"

$$r_{\text{true}} \neq r_{\text{RM}} \quad (\text{OOD})$$

RM 只在训练分布 (training distribution) 内准确，当 policy 生成分布外内容时，RM 预测不再可靠。

3.2a Gao et al. 2022 — 过度优化幂律 (Scaling Laws for Overoptimization)

出处：Gao, Schulman & Hilton, arXiv:2210.10760，使用合成 gold RM 在 InstructGPT 设置下实验。

核心变量： 令 $d = \sqrt{D_{\text{KL}}(\pi \| \pi_{\text{init}})}$（KL 距离的平方根，原文选择此参数化是因为 KL 是"二次度量"）。gold RM 分数 $R$ 随 $d$ 的变化规律因优化方法不同而函数形式不同：

Best-of-N (BoN) 形式：

$$R_{\text{bon}}(d) = d(\alpha_{\text{bon}} - \beta_{\text{bon}} d)$$

强化学习 (RL) 形式：

$$R_{\text{RL}}(d) = d(\alpha_{\text{RL}} - \beta_{\text{RL}} \log d)$$

其中 $\alpha_{\text{bon}}, \beta_{\text{bon}}, \alpha_{\text{RL}}, \beta_{\text{RL}}$ 是拟合参数（随 RM 参数量平滑变化）；$R(0) := 0$。⚠️ RL 形式在原点附近斜率无穷大，论文注明该形式在原点附近可能不成立。

关键规律解读：

• 初始上升后下降：gold 分先随 $d$ 增大（RM 信号有效），后因分布外崩溃而下降——Goodhart 效应的定量刻画
• 峰值位置因方法而异：BoN(二次)与 RL(对数)的 gold 分峰值出现在不同 $d$ 处，取决于拟合系数（见原文图 3）；论文未就"谁更 KL 高效"下一般性结论
• 系数平滑 scaling：$\alpha, \beta$ 随 RM 参数量呈近似对数趋势变化，可外推预测峰值性能
• KL penalty 的局限：论文 §3.6 实验发现，在其设置中增大 KL penalty 可提高给定 KL 下的 proxy 分，但不能改善 gold 分–KL 曲线，效果等价于早停 (early stopping)，而非提升 RM 鲁棒性本身。作者注明该结论对超参数敏感

⚠️ 上述系数 $\alpha, \beta$ 的具体数值依赖 RM 参数量和数据量，论文未给出单一通用常数；如需具体数值请查原文图 3。

3.3 缓解策略 (Mitigations)

3.3.1 KL 散度控制 (KL Divergence Control)

在 RLHF 的目标函数中加入 KL 惩罚项：

$$\max_{\pi} \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi(\cdot|x)} \left[ r_\theta(x, y) - \beta \cdot D_{\text{KL}}(\pi(y|x) \| \pi_{\text{ref}}(y|x)) \right]$$

• $\beta$ 越大 → 策略越保守，越接近参考模型 (reference model)
• $\beta$ 越小 → 允许更大探索空间，但 reward hacking 风险高
• 自适应 KL (Adaptive KL)： 根据 KL 值动态调整 $\beta$

3.3.2 RM 集成 (RM Ensembles)

• 训练多个独立 RM (不同初始化、不同数据子集、不同架构)
• 取平均、最小值 (min)、或用不确定性估计
• 保守策略： $\hat{r}(x,y) = \min_i r_i(x,y)$ — 避免任一 RM 的过度乐观评分
• 可用于不确定性过滤：方差大的区域降低信任度

3.3.3 长度惩罚 (Length Penalty)

$$r_{\text{adjusted}}(x,y) = r_\theta(x,y) - \alpha \cdot \text{len}(y)$$

或归一化形式：

$$r_{\text{adjusted}} = \frac{r_\theta(x,y)}{\text{len}(y)^\gamma}$$

• 需要仔细调参，避免惩罚过强导致回答过于简短
• 更好的做法：在数据标注阶段就控制长度偏好

3.3.4 迭代重训练 (Iterative Re-Training / Online RLHF)

迭代流程:
1. 用当前 policy π_k 生成候选回答
2. 收集新的偏好标注 / 或用 RM 标注
3. 更新 RM: r_k → r_{k+1}
4. 用新 RM 做 RLHF 更新: π_k → π_{k+1}
5. 重复

• 关键好处： RM 始终在 policy 当前分布上训练，减少分布偏移 (distribution shift)
• 挑战： 计算成本翻倍以上，标注也可能随时间漂移
• 变体：DPO (Direct Preference Optimization)、RLHF + rejection sampling 的迭代版本

3.3.5 其他方法

3.4 偏好数据构建 (Preference Data Construction)

RM 质量的上限由偏好数据质量决定。以下是核心设计选择：

3.4.1 绝对标注 vs 相对标注

3.4.2 Margin Filtering（置信度过滤）

动机： 偏好对中存在大量"难以区分"的样本（annotator agreement 低），直接训练会引入噪声。

做法：

• 计算标注者间一致率 (inter-annotator agreement)，丢弃接近 50/50 的偏好对
• 引入 margin 标签：chosen 和 rejected 之间的质量差距是否"明显"？只保留 margin 足够大的样本
• 部分工作（如 Llama-2，据原论文）区分 significantly better / slightly better / negligibly better，用分层权重训练
• ⚠️ 过激过滤会损失边界样本，导致 RM 在"轻微差异"场景下判别力不足

3.4.3 标注校准 (Annotator Calibration)

问题： 不同标注者有系统偏差（个人风格、宽严不一）。

缓解方法：

• 校准题 (calibration items)：在每批标注中插入已知答案的锚点题，检测标注者漂移
• 标注者效应建模：显式建模每个标注者的偏好分布，用混合模型聚合
• 多数投票 / 金标准过滤：3+ 标注者打同一对，取多数；丢弃分歧过大的样本

⚠️ 标注者偏差会被 RM 学习并放大，最终影响 policy 行为——数据构建阶段的校准比事后补救更根本。

4. 长度偏差及其他 RM 病态现象 (Length Bias & Other Pathologies)

4.1 长度偏差 (Length Bias)

现象： RM 倾向于给更长的回答更高分数，即使更长不代表更好。

原因分析：

• 训练数据中，详细回答 (chosen) 通常比简短回答 (rejected) 更长
• 标注者偏好详细内容 → 偏好对中隐含长度相关性
• RM 过拟合到"长=好"的虚假特征 (spurious feature)

后果：

• 策略模型学会"注水"以获取高分
• 生成大量填充词、重复、冗余解释
• 推理成本上升，用户体验下降

缓解方法：

• 训练数据中控制长度：构造 chosen/rejected 长度接近的偏好对
• 推理时加长度惩罚 (见 3.3.3)
• 数据去偏 (debiasing)：统计分析并补偿长度相关性
• 使用长度归一化的评估指标

4.2 位置偏差 (Position Bias)

现象： 在成对比较中，RM 倾向于偏好某个位置 (如第一个或最后一个) 的回答。

缓解： 交换位置做两次预测，取一致结果。

4.3 冗余偏差 (Verbosity / Redundancy Bias)

现象： 不仅是长度，RM 还倾向于偏好包含更多冗余修饰、过渡词、格式化元素的回答。

区别于长度偏差： 有时同等长度下，"更花哨"的回答也更受偏好。

4.4 确认偏差 (Confirmation / Sycophancy Bias)

现象： RM 偏好与用户提问立场一致的回答，即使该立场有误。

4.5 常见 RM 病态现象汇总

5. RM / 评估者评估 (RM & Judge Evaluation)

5.1 RewardBench

简介： RewardBench 是一个综合性的奖励模型评估基准 (benchmark)，用于系统性地测试 RM 在多个维度上的表现。

评估维度 (大致分类)：

• Chat / 对话能力： 判断对话回答质量
• Chat-Hard / 困难对话： 区分细微质量差异
• Safety / 安全性： 识别有害内容
• Reasoning / 推理： 判断数学/逻辑推理的正确性

评估方式：

• 成对比较准确率 (pairwise accuracy)：给定 chosen/rejected 对，RM 是否正确排序
• 注意： 具体分数和排名请参考 RewardBench 官方排行榜，本书不引用具体数值

使用场景：

• 选择最佳 RM 用于 RLHF
• 诊断 RM 在哪些领域表现薄弱
• 比较不同训练方法的效果

5.2 LLM-as-Judge (大模型作为评估者)

📎 交叉引用：本节侧重 LLM-as-Judge 作为训练信号的视角（偏差如何污染 RM 训练数据、影响 RLHF 优化）。关于 LLM-as-Judge 在评测实践中的具体操作、偏差缓解和 benchmark 选型，见 eval-and-judges.md §2。

核心思想： 使用强大的 LLM (如 GPT-4 级别模型) 直接对回答质量进行评分或排序，替代人类评估。

常见评估范式 (Paradigms)

LLM-as-Judge 的常见偏差 (Biases)

(a) 位置偏差 (Position Bias)

• 现象： LLM 倾向于选择呈现在第一个位置（或特定位置）的回答
• 验证方法： 交换 A/B 顺序，检查一致性
• 缓解： 做两次评估 (A先B后 + B先A后)，只保留一致结果

(b) 冗长偏差 (Verbosity Bias)

• 现象： LLM 偏好更长、更详细的回答，即使简洁回答质量更高
• 原因： 与训练数据中详细回答通常得分更高的模式一致
• 缓解： 明确提示 "长度不应影响评分"

(c) 自我偏好偏差 (Self-Preference Bias)

• 现象： LLM 评估者倾向于给自己生成的 (或同系列模型生成的) 回答更高分数
• 原因： 生成风格/分布与自身训练分布更接近
• 缓解： 使用不同系列的模型做评估；多人 (多模型) 评估取平均

(d) 其他 LLM-as-Judge 偏差

LLM-as-Judge 最佳实践 (Best Practices)

1. 结构化评估标准 (Structured Rubrics)： 明确定义评分维度和标准
2. 位置去偏 (Position Debiasing)： 交换位置做两次
3. 温度设为 0： 减少随机性，提高一致性
4. 多评估者 (Multi-judge)： 使用多个不同 LLM 取平均/投票
5. 人类校准 (Human Calibration)： 定期与人类评估做一致性检查
6. 成对优于绝对 (Pairwise > Absolute)： LLM 做相对判断比绝对打分更可靠
7. CoT 评估 (Chain-of-Thought Evaluation)： 让 LLM 先推理再给分

5.3 人工评估与自动化评估的权衡

评估质量 ←————————————————————————→ 评估成本
  人工专家评估    众包标注    LLM-as-Judge    自动指标 (BLEU/ROUGE...)
  (最高质量)                                          (最低成本)

5.4 其他评估方法

• Win Rate (胜率)： 与基线模型成对比较的胜出比例
• Elo Rating： 基于锦标赛 (tournament) 的动态排名系统
• 多维评估： 分别在有用性、安全性、事实性等维度独立评分
• 对抗评估 (Adversarial Evaluation)： 专门测试 RM 在边缘案例和对抗样本上的鲁棒性

6. 面试题 (Interview Questions)

L1 — 基础 (Fundamentals)

L2 — 中级 (Intermediate)

L3 — 高级 (Advanced)

架构:
π₀ (SFT model)
   ↓
[数据生成] π_k 生成 → N responses per prompt
   ↓
[偏好标注] 人工标注 或 RM 标注 (on-policy data)
   ↓
[RM 更新] 用新数据微调 RM_k → RM_{k+1}
   ↓
[Policy 优化] RLHF (PPO) with RM_{k+1}, KL→π_ref
   ↓
[评估] 奖励曲线、KL 曲线、人工评估、reward hacking 检测
   ↓
重复 k = 1, 2, ...

附录：关键术语速查 (Glossary)

本手册仅供学习参考。具体数值请以原始论文和官方排行榜为准。

更多 L3 深挖 / Extended L3

§A 核心论文时间线 / Key Papers Timeline

• 2017-06 · Deep RL from Human Preferences — Christiano et al., NeurIPS 2017. arXiv:1706.03741 — 奠定 RLHF 基础框架：用人类对轨迹对的偏好判断训练奖励模型，再以该奖励信号驱动强化学习策略优化。

• 2019-09 · Fine-Tuning Language Models from Human Preferences — Ziegler et al., arXiv preprint. arXiv:1909.08593 — 首次将偏好奖励模型（Bradley-Terry 成对比较 + KL 惩罚）系统应用于语言模型微调，奠定现代 LLM RLHF 流程雏形。

• 2020-09 · Learning to Summarize with Human Feedback — Stiennon et al., NeurIPS 2020. arXiv:2009.01325 — 在文本摘要任务上验证 RLHF 闭环：成对偏好标注 → RM 训练 → PPO 优化，输出质量显著优于纯监督微调基线。

• 2022-03 · Training Language Models to Follow Instructions with Human Feedback (InstructGPT) — Ouyang et al., NeurIPS 2022. arXiv:2203.02155 — 将 RLHF 规模化至 GPT-3 级别，引入 SFT → RM → PPO 三阶段流程，并详细描述偏好数据构建与 margin 过滤实践。

• 2022-10 · Scaling Laws for Reward Model Overoptimization — Gao et al., ICML 2023. arXiv:2210.10760 — 定量刻画奖励过度优化的幂律规律：gold RM 分数随 KL 距离先升后降，BoN 呈二次型、RL 呈对数型，系数随 RM 参数量平滑缩放。

• 2023-05 · Let's Verify Step by Step (PRM800K) — Lightman et al., ICLR 2024. arXiv:2305.20050 — 系统比较过程奖励模型（PRM）与结果奖励模型（ORM）在数学推理上的差异，发布 80 万条步骤级标注，证明逐步监督显著优于仅监督最终答案。

• 2023-05 · Direct Preference Optimization (DPO) — Rafailov et al., NeurIPS 2023. arXiv:2305.18290 — 将 RLHF 中的显式奖励模型消除：通过数学变换将最优策略直接参数化为偏好数据上的二元交叉熵目标，无需独立 RM 训练与 PPO 采样。

• 2023-06 · Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena — Zheng et al., NeurIPS 2023. arXiv:2306.05685 — 系统研究以强 LLM 替代人类评估的范式，识别位置偏差、冗长偏差、自我偏好偏差等主要问题，并提出 MT-Bench 与 Chatbot Arena 两个配套基准。

• 2023-07 · Llama 2: Open Foundation and Fine-Tuned Chat Models — Touvron et al., arXiv preprint. arXiv:2307.09288 — 大规模开源 RLHF 实践报告，详细描述 margin 置信度过滤（significantly/slightly/negligibly better 分层加权）在偏好数据构建中的应用。

• 2023-12 · Math-Shepherd — Wang et al., ACL 2024. arXiv:2312.08935 — 无需人工标注，通过蒙特卡洛完成采样（HE 硬估计 / SE 软估计）自动构造逐步过程奖励标签，用 MIN 聚合步骤分数做 Best-of-N 重排序。

• 2024-03 · RewardBench: Evaluating Reward Models for Language Modeling — Lambert et al., arXiv preprint. arXiv:2403.13787 — 提出奖励模型标准化评测基准，覆盖对话、对话难例、安全性、推理四个维度，以成对比较准确率衡量 RM 能力，为模型选型与诊断提供统一框架。