适用场景：LLM Post-Training Research Intern 面试准备 & 日常参考 语言：中文为主，关键术语附英文

Part 1 — 核心概念与公式推导

Core Concepts & Formula Derivations

1. Pre-training vs Post-training 总览 / Overview

标准 5 步 Pipeline（Standard 5-Step Pipeline）：

1. SFT (Supervised Fine-Tuning)：在高质量 (instruction, response) 对上做有监督微调，将 base model 转化为"指令助手"。
2. Reward Model 训练：用人类偏好对比数据（同一 prompt 的两个 response + 人类偏好标注）训练打分模型 RM。
3. RLHF / PPO：用 RM 反馈做强化学习，配合 KL 约束防止偏离 SFT 模型过远。
4. DPO（离线替代）：绕过显式 RM，直接从偏好数据优化 policy，实现更简单稳定的对齐。
5. 迭代循环：当前 policy 采样新数据 → 新偏好标注 → 更新 RM → 再做 RL，多轮迭代。

2. SFT 数据格式与 Loss Masking

Chat Template（ChatML 格式示例）：

<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
{用户指令}<|im_end|>
<|im_start|>assistant
{助手回复}<|im_end|>

不同模型有自己的 template（Llama-2 用 [INST]、Llama-3 用 <|start_header_id|>、Qwen 用 <|im_start|>），训练与推理必须使用相同 template，否则分布偏移。

Loss Masking（损失掩码）：

SFT 的训练目标是让模型学会"如何回答"，而不是"如何重复问题"。只对 assistant token 位置计算 cross-entropy loss：

$$L_{SFT} = -\frac{1}{|A|} \sum_{t \in A} \log p_\theta(x_t \mid x_{<t})$$

其中 $A$ 是所有 assistant token 的位置集合。User / system token 的 label 设为 $-100$（PyTorch 中 CrossEntropyLoss 默认忽略该值）。

多轮对话 Loss Masking：每一轮的 user turn 均 mask，只有每轮的 assistant turn 参与 loss 计算。

System prompt 是否纳入 Loss 的 trade-off：

• 不纳入（主流做法）：节省 capacity，专注训练回答质量。
• 纳入：模型能更好学习遵守 system instruction 的行为，但增加 noise。

2.1 常见 tokenization / chat-template 陷阱（SFT 实操筛题）

这些是 SFT 工程里最容易翻车、面试也爱问的点(每条:问题 → 修法):

• pad_token = eos_token：很多模型(LLaMA/GPT-2)无 pad token,HF 默认把 pad 设成 eos。若不在 attention_mask 屏蔽 pad、且不把 pad 位置 label 置 -100,模型会在 pad 上算 loss / 学成"到处输出 eos"。→ 显式构造 attention_mask 屏蔽 pad,prompt 与 pad 的 label 一律 -100。
• 重复套用 chat template：数据预处理已 apply_chat_template 后,tokenize 时又 add_special_tokens=True 或再套一次模板 → 双 BOS / 双特殊 token。→ 模板只套一次;再 tokenize 时 add_special_tokens=False。
• BOS 缺失或不一致：训练加了 BOS、推理没加(或反之)→ 分布偏移(LLaMA 系对 BOS 敏感)。→ 核对模板是否已含 BOS,统一训练/推理行为。
• tokenizer 版本 / 词表不一致：训练与部署用了不同版本或加过自定义 token,token id 错位。→ 锁定 tokenizer 版本,与 checkpoint 一起保存。
• 新增 special token 未初始化：加了新特殊 token 必须 resize_token_embeddings(否则 token id 越界报错);resize 出的新行是随机初始化,未训练时输出乱码。→ 对新行做合理初始化(常用:现有 embedding 的均值,或复用语义相近 token 的向量——均值只是常见 heuristic、非唯一解),并保证有数据训练这些新 token。
• packing 跨样本污染：多文档打包成一条序列时,若不用 block-diagonal / cu_seqlens mask,token 会跨文档 attend(详见 §3)。→ 用 varlen / cu_seqlens attention + 正确分隔。
• 套错模型的 template：Llama-3(<|begin_of_text|> / <|start_header_id|>)、Qwen(<|im_start|>)、Mistral([INST])格式不同,套错性能骤降。→ 用目标模型自带的 tokenizer.apply_chat_template,别手写拼接。

面试自测(L2)：为什么 pad_token=eos_token 时,若不正确设置 attention mask 与 label mask 会破坏 SFT?多轮对话里 pad 与 prompt 的 label 应如何处理?

3. Sequence Packing（序列打包）

定义：将多条短 sample 拼接成长度 = context window 的一个 sequence，只在 sample 边界加 EOS / 分隔 token，从而消除 padding 浪费。

GPU 利用率：不 packing 时，padding 占比可达 30–60%；packing 后接近 100% 有效 token，训练速度提升 2–4×。

坑 1 — 跨 sample attention 污染：不加 document-level attention mask 时，packed sequence 内前一个 sample 的 token 可以 attend 到后一个 sample 的 token，造成信息泄漏。解决方案：使用 Flash Attention 的 cu_seqlens 参数，它接受每个 sample 在 packed sequence 中的累积长度（cumulative sequence lengths），确保 attention 只在 sample 内部计算。

坑 2 — Loss 权重失衡：packing 等价于隐式按 token 数加权（长 sample 产生更多 loss terms）。若原本按 sample 平均，packing 后语义不同，需注意是否需要对 loss 做长度归一化。

cu_seqlens 示例（3 个 sample，长度分别为 5, 3, 7）：

cu_seqlens = [0, 5, 8, 15]  # cumulative lengths
packed_ids = [s1_tok1, ..., s1_tok5, s2_tok1, ..., s2_tok3, s3_tok1, ..., s3_tok7]

4. RLHF 完整流程 / PPO in RLHF

RLHF（Reinforcement Learning from Human Feedback）三阶段：

1. SFT：建立初始 policy $\pi_{ref}$（参考策略，后续作为 KL 惩罚的基准）。
2. RM 训练：用 Bradley-Terry 模型从人类偏好对比数据拟合标量奖励函数 $r(x,y)$。
3. PPO 优化：最大化带 KL 约束的增强奖励。

总奖励（Augmented Reward）：

$$r_{total}(x,y) = r_{RM}(x,y) - \beta \cdot \text{KL}\!\left(\pi_\theta(\cdot|x) \| \pi_{ref}(\cdot|x)\right)$$

PPO Clipped Objective：

$$L^{CLIP}(\theta) = \mathbb{E}_t\!\left[\min\!\left(r_t(\theta)\hat{A}_t,\ \text{clip}(r_t(\theta), 1-\varepsilon, 1+\varepsilon)\hat{A}_t\right)\right]$$

其中 $r_t(\theta) = \dfrac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ 是概率比值，$\varepsilon$ 通常取 0.1–0.2。

GAE Advantage Estimation：

$$\hat{A}_t = \sum_{l=0}^{T-t} (\gamma\lambda)^l \delta_{t+l}, \quad \delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$$

$\lambda$ 控制 bias-variance 权衡：$\lambda=1$ 方差大 bias 小；$\lambda=0$ 退化为一步 TD。

递推实现（从末尾向前扫，$O(T)$）：$\hat{A}_t=\delta_t+\gamma\lambda\,\hat{A}_{t+1}$，$\hat{A}_T=\delta_T$。

• $\lambda=0$：$\hat{A}_t=\delta_t$，一步 TD 优势（低方差、高偏差）。
• $\lambda=1$：$\hat{A}_t=\sum_l\gamma^l\delta_{t+l}$，蒙特卡洛优势（值函数仅作 baseline，低偏差、高方差）。
• 关键区分：$\gamma<1$ 无论 $V$ 准不准都引入偏差（折扣本身）；$\lambda<1$ 仅在 $V$ 不准时才引入偏差 —— 故 $V$ 拟合好时 $\lambda\to1$ 也近似无偏。来源：Schulman et al., arXiv:1506.02438（ICLR 2016）。

PPO 需要的 4 个模型（显存压力来源）：

from-scratch 实现（clipped 策略损失 + clipped value 损失 + entropy bonus + approx_kl 监控）：

import torch

def ppo_loss(logp, logp_old, values, values_old, returns, advantages, entropy,
             clip_eps=0.2, vf_clip=0.2, vf_coef=0.5, ent_coef=0.0):
    # logp/logp_old: (B,) 当前/采样策略对所取动作的 logprob
    # advantages: 标准化后的 GAE 优势（策略损失用）; returns: 未标准化的 GAE 目标（原始优势 + values_old，value 损失用); 均由上游算好
    ratio = torch.exp(logp - logp_old)                      # 重要性比率 ρ_t
    surr1 = ratio * advantages
    surr2 = torch.clamp(ratio, 1 - clip_eps, 1 + clip_eps) * advantages
    pg_loss = -torch.min(surr1, surr2).mean()               # clipped 策略损失

    v_clip = values_old + torch.clamp(values - values_old, -vf_clip, vf_clip)
    vf_loss = 0.5 * torch.max((values - returns) ** 2,
                              (v_clip - returns) ** 2).mean()  # clipped value 损失

    loss = pg_loss + vf_coef * vf_loss - ent_coef * entropy.mean()  # entropy bonus

    with torch.no_grad():                                   # 仅监控，不回传
        logr = logp - logp_old                              # log(π_new/π_old)
        approx_kl = (torch.exp(logr) - 1 - logr).mean()     # K3：KL(π_old‖π_new) 诊断
        clip_frac = ((ratio - 1).abs() > clip_eps).float().mean()
    return loss, {"pg": pg_loss, "vf": vf_loss, "approx_kl": approx_kl, "clip_frac": clip_frac}

• 关键点：① 三项损失——clipped 策略损失（即上式 $L^{CLIP}$）、clipped value 损失（把 critic 单步更新限制在 values_old 附近，防 value 震荡）、entropy bonus（鼓励探索，ent_coef 常取 0 或很小）；② approx_kl 用 K3 估计器算 KL(π_old‖π_new)，是信任域监控量（超阈值则早停本轮 epoch），与上式奖励里的 $\beta\cdot\mathrm{KL}(\pi_\theta\|\pi_{ref})$ 是两个不同的 KL——前者控更新步长、后者拉住参考策略；③ 上游算好两个量：advantages 是标准化后的 GAE 优势（喂策略损失），returns 是未标准化的 GAE 目标（$=$ 原始优势 $+$ values_old，喂 value 损失）——二者不可互相套用，本函数只算 minibatch 损失；④ vf_coef 默认 0.5 是常用经验权重（并非严格的梯度平衡保证），在 actor/critic 共享 backbone 时尤其相关；clip_frac 报告的是比率落在裁剪区间外的占比，并不等于「目标项真正被裁剪」的比例（后者还取决于优势符号）。

5. Bradley-Terry Reward Model（奖励模型）

Bradley-Terry 偏好模型：给定 prompt $x$，更好的回复 $y_w$ 比更差的 $y_l$ 被偏好的概率为：

$$P(y_w \succ y_l \mid x) = \sigma\!\left(r(x,y_w) - r(x,y_l)\right)$$

RM 训练损失（最大化偏好数据的 log likelihood）：

$$L_{RM} = -\mathbb{E}_{(x,y_w,y_l)}\!\left[\log \sigma\!\left(r(x,y_w) - r(x,y_l)\right)\right]$$

RM 架构：

• 初始化自 SFT 模型（共享语言理解能力）。
• 移除 LM head，替换为线性层 $W \in \mathbb{R}^{d \times 1}$，输出标量 reward。
• 训练时输入一对 (chosen, rejected) response，分别前向传播取最后 token 的标量输出，计算 Bradley-Terry loss。

主要风险：

• Reward hacking：policy 找到 RM 误差高分但质量差的 response（Goodhart's Law）。
• Distribution shift：RM 在未见过的 policy 分布上失效，需要迭代更新 RM。

6. DPO 完整推导 (Direct Preference Optimization Full Derivation)

6.1 从 RLHF 目标出发 (Starting from the RLHF Objective)

RLHF 的 KL 约束优化目标 (The KL-constrained RLHF optimization objective):

$$\max_{\pi} \; \mathbb{E}_{x \sim \mathcal{D},\; y \sim \pi(\cdot|x)}\!\big[r(x, y)\big] \;-\; \beta \cdot \mathrm{KL}\!\big(\pi(\cdot|x) \;\|\; \pi_{\mathrm{ref}}(\cdot|x)\big)$$

其中 (where):

• $r(x, y)$ 是奖励模型的打分 (scalar reward from the reward model)
• $\pi_{\mathrm{ref}}$ 是参考策略，通常为 SFT 模型 (reference policy, typically the SFT model)
• $\beta > 0$ 控制 KL 惩罚强度 (controls KL penalty strength)

展开 KL 散度 (Expanding the KL divergence):

$$\max_{\pi} \; \mathbb{E}_{x,y}\!\big[r(x,y)\big] - \beta \sum_{y} \pi(y|x)\log\frac{\pi(y|x)}{\pi_{\mathrm{ref}}(y|x)}$$

对每个 $y$ 求变分最优，令泛函导数为零 (Taking the variational derivative per $y$ and setting it to zero):

$$\frac{\partial}{\partial \pi(y|x)}\left[r(x,y) - \beta\log\frac{\pi(y|x)}{\pi_{\mathrm{ref}}(y|x)} - \beta\right] = 0$$

注意：归一化约束 $\sum_y \pi(y|x)=1$ 引入拉格朗日乘子 $Z(x)$

6.2 最优策略的闭式解 (Closed-Form Optimal Policy)

求解得到最优策略 (Solving yields the optimal policy):

$$\boxed{\pi^*(y|x) = \frac{1}{Z(x)}\,\pi_{\mathrm{ref}}(y|x)\,\exp\!\left(\frac{r(x,y)}{\beta}\right)}$$

其中配分函数 (partition function):

$$Z(x) = \sum_{y} \pi_{\mathrm{ref}}(y|x)\,\exp\!\left(\frac{r(x,y)}{\beta}\right)$$

$Z(x)$ 确保 $\sum_y \pi^*(y|x) = 1$，即策略是合法的概率分布 (ensures $\pi^*$ is a valid probability distribution)。

6.3 反解奖励函数 (Inverting for the Reward)

对最优策略两边取对数 (Taking log of both sides):

$$\log \pi^*(y|x) = \log \pi_{\mathrm{ref}}(y|x) + \frac{r(x,y)}{\beta} - \log Z(x)$$

移项得到 (Rearranging):

$$\boxed{r(x,y) = \beta \log\frac{\pi^*(y|x)}{\pi_{\mathrm{ref}}(y|x)} + \beta \log Z(x)}$$

关键洞察 (Key insight)：奖励可以用策略与参考策略的对数比来表示，无需显式奖励模型 (reward is expressed via the log-ratio of policy to reference, eliminating the explicit RM)。

6.4 代入 Bradley-Terry 模型 (Substituting into Bradley-Terry)

人类偏好建模 (Human preference model):

$$p(y_w \succ y_l \mid x) = \sigma\!\big(r(x, y_w) - r(x, y_l)\big)$$

其中 $\sigma(z) = \frac{1}{1+e^{-z}}$ 是 sigmoid 函数 (sigmoid function)。

将反解的奖励代入 (Substituting the inverted reward):

$$r(x,y_w) - r(x,y_l) = \beta\log\frac{\pi^*(y_w|x)}{\pi_{\mathrm{ref}}(y_w|x)} - \beta\log\frac{\pi^*(y_l|x)}{\pi_{\mathrm{ref}}(y_l|x)} + \cancel{\beta\log Z(x)} - \cancel{\beta\log Z(x)}$$

$Z(x)$ 项完美消去！这是因为同一 prompt $x$ 下两个响应共享相同的配分函数 (both responses share the same partition function for the same prompt)。

$$p(y_w \succ y_l \mid x) = \sigma\!\left(\beta\log\frac{\pi^*(y_w|x)}{\pi_{\mathrm{ref}}(y_w|x)} - \beta\log\frac{\pi^*(y_l|x)}{\pi_{\mathrm{ref}}(y_l|x)}\right)$$

6.5 DPO 损失函数 (DPO Loss Function)

用参数化策略 $\pi_\theta$ 替代 $\pi^*$，取负对数似然 (replacing $\pi^*$ with parameterized $\pi_\theta$, negative log-likelihood):

$$\boxed{\mathcal{L}_{\mathrm{DPO}}(\pi_\theta) = -\mathbb{E}_{(x,\, y_w,\, y_l) \sim \mathcal{D}}\!\left[\log\sigma\!\left(\beta\log\frac{\pi_\theta(y_w|x)}{\pi_{\mathrm{ref}}(y_w|x)} - \beta\log\frac{\pi_\theta(y_l|x)}{\pi_{\mathrm{ref}}(y_l|x)}\right)\right]}$$

展开隐式奖励 (Implicit reward defined as):

$$\hat{r}_\theta(x, y) \triangleq \beta \log\frac{\pi_\theta(y|x)}{\pi_{\mathrm{ref}}(y|x)}$$

则损失简洁地写为 (Loss simplifies to):

$$\mathcal{L}_{\mathrm{DPO}} = -\mathbb{E}\!\big[\log\sigma\!\big(\hat{r}_\theta(x,y_w) - \hat{r}_\theta(x,y_l)\big)\big]$$

6.6 梯度分析 (Gradient Analysis)

$$\nabla_\theta \mathcal{L}_{\mathrm{DPO}} = -\beta\,\mathbb{E}\!\left[\underbrace{\sigma(-\hat{r}_\theta(x,y_w)+\hat{r}_\theta(x,y_l))}_{\text{权重：模型犯错越多，梯度越大}}\!\left(\nabla_\theta\log\pi_\theta(y_w|x) - \nabla_\theta\log\pi_\theta(y_l|x)\right)\right]$$

• 当模型已经正确排序 $y_w \succ y_l$ 时，$\sigma(\cdot) \to 0$，梯度自然衰减 (gradient naturally decays)
• 当模型排序错误时，$\sigma(\cdot) \to 1$，梯度最大 (gradient is largest)

6.7 DPO 优缺点总结 (DPO Advantages & Disadvantages)

6.8 Likelihood Displacement：chosen log-prob 也会下降

现象 (Phenomenon)

直觉上，DPO 训练应使模型对 chosen 响应 $y_w$ 的概率上升、对 rejected 响应 $y_l$ 的概率下降。但 Razin et al. (arXiv:2410.08847) 和 Pal et al. (arXiv:2402.13228) 均观察到：训练过程中 $\log\pi_\theta(y_w|x)$ 和 $\log\pi_\theta(y_l|x)$ 往往同时下降——loss 下降仅因为 $y_l$ 下降更快，两者之间的 margin 扩大，而 chosen 的绝对概率却在萎缩。

"While intuitively these methods should increase the probability of $y^+$ while decreasing that of $y^-$, several recent works observed that the probabilities of both $y^+$ and $y^-$ tend to decrease over the course of training." — Razin et al., arXiv:2410.08847

梯度机制 (Gradient Mechanism)

DPO 损失只约束 log-prob **差值（margin）**相对于参考模型扩大：

$$\mathcal{L}_\text{DPO} = -\mathbb{E}_{(x,y_w,y_l)\sim\mathcal{D}}\!\left[\log\sigma\!\left(\beta\log\frac{\pi_\theta(y_w|x)}{\pi_\text{ref}(y_w|x)} - \beta\log\frac{\pi_\theta(y_l|x)}{\pi_\text{ref}(y_l|x)}\right)\right]$$

$\log\pi_\theta(y_w|x)$ 本身无下界约束——只要 $y_l$ 下降更快，梯度目标即满足。Razin et al. (Theorem 1/3) 指出，当 $y_w$ 与 $y_l$ 的隐层表示相似（high CHES score），压低 $y_l$ 的梯度方向同时也压低了 $y_w$，概率质量会位移到语义上与 $y_w$ 相反的 token，形成"非预期错对齐"（unintentional unalignment，Razin et al. 原文用语）。

危险情形 (Danger Conditions)

• 数据集中 $y_w$ 与 $y_l$ 仅差几个 token（Pal et al. 报告 MetaMath 子集归一化编辑距离约 6.5%），共享大量前缀，梯度高度相关。
• 偏好对语义相近、区别细微（如措辞差异而非事实差异）。

检测 (Detection)

训练过程中同时记录 chosen_logps_mean 和 rejected_logps_mean（大多数训练框架日志已包含）。若 chosen mean 持续下降超过参考基线，即发生 displacement。

缓解 (Mitigation)

(A) DPOP（Pal et al., arXiv:2402.13228）：在 DPO 损失内部加入惩罚项，直接阻止 chosen log-prob 低于参考模型：

$$\mathcal{L}_\text{DPOP} = -\mathbb{E}\!\left[\log\sigma\!\left(\beta\log\frac{\pi_\theta(y_w|x)}{\pi_\text{ref}(y_w|x)} - \beta\log\frac{\pi_\theta(y_l|x)}{\pi_\text{ref}(y_l|x)} - \lambda\cdot\max\!\left(0,\log\frac{\pi_\text{ref}(y_w|x)}{\pi_\theta(y_w|x)}\right)\right)\right]$$

$\lambda > 0$ 的 $\max(0,\cdot)$ 项：当 $\log\pi_\theta(y_w|x) < \log\pi_\text{ref}(y_w|x)$ 时施加惩罚，将 chosen log-prob"锚定"在参考模型以上。

(B) CHES 数据过滤（Razin et al., arXiv:2410.08847）：过滤掉 $y_w$ 与 $y_l$ 表示相似度高的样本对，从数据侧切断梯度耦合路径。

(C) SimPO：以长度归一化的 $\frac{1}{|y|}\log\pi_\theta(y|x)$ 为隐式奖励，并去掉 $\pi_\text{ref}$，reward 的定义直接与生成时 likelihood 对齐，从设计上减弱 displacement 的驱动力（但 SimPO 论文本身并未直接用 Razin/Pal 的框架分析此问题）。

注意：上述三条缓解路径来自不同论文，不应交叉归因——DPOP 的 $\max$ 正则项出自 Pal et al.，CHES 过滤出自 Razin et al.；SimPO 与 displacement 的关联来自下游工作，此处仅供参考，不可将其归于 Razin/Pal 两篇原文。

7. DPO 变体对比 (DPO Variants Comparison)

7.1 IPO (Identity Preference Optimization / $\Psi$PO with $\Psi = \text{Id}$)

解决的 DPO 问题：DPO 使用 $\Psi(q) = \log(q/(1-q))$（logit 函数，对应 Bradley-Terry），当偏好接近确定性（$p^*(y_w \succ y_l) \to 1$）时，logit 趋于 $+\infty$，驱动 $\pi^*(y_l) \to 0$ 而与 KL 惩罚系数 $\tau$ 无关——KL 正则化在强偏好下形同虚设，策略过拟合偏好数据。

核心改动：在 $\Psi$PO 框架下将 $\Psi$ 替换为恒等映射（输入偏好概率 $p\in[0,1]$，$\Psi(p)=p$ 不会像 DPO 的 logit 映射那样在 $p\to 1$ 时发散），最终经验损失（Azar et al., arXiv:2310.12036, Eq. 17）为平方损失回归：

$$\mathcal{L}_{\text{IPO}}(\pi) = \mathbb{E}_{(y_w, y_l, x) \sim \mathcal{D}} \left[ \left( h_\pi(y_w, y_l, x) - \frac{1}{2\tau} \right)^2 \right]$$

其中 $h_\pi(y, y', x) = \log \dfrac{\pi(y|x)\,\pi_{\text{ref}}(y'|x)}{\pi(y'|x)\,\pi_{\text{ref}}(y|x)}$ 是策略相对参考的 log-ratio 差（logit margin）；目标常数 $\frac{1}{2\tau}$，$\tau$ 为 KL 正则化强度。

引用：Mohammad Gheshlaghi Azar et al. — arXiv:2310.12036 (Google DeepMind, 2023)

"IPO, unlike DPO, always regularizes its solution towards $\pi_\text{ref}$ by controlling the gap between the log-likelihood ratios, thus avoiding the over-fitting to the preference dataset." — Azar et al., Section 5.2

特点：

• 平方损失将 logit-margin 回归到固定目标 $\frac{1}{2\tau}$；$\tau$ 直接控制学到的 log-ratio 差的上界，KL 正则化始终有效
• 梯度在目标附近可能较小但永不为零，无法"逃逸"到无界区域
• 注意：Azar et al. 原文验证仅在小规模 bandit 实验；LLM 规模的效果需独立核查
• 权衡：损失不对应 BT 概率模型，理论解释性略弱

7.2 KTO (Kahneman-Tversky Optimization)

解决的 DPO 问题：(1) DPO 需要成对偏好数据 $(x, y_w, y_l)$，而现实中常只有单独的正/负反馈 (pointwise thumbs-up/down)，配对数据成本高且稀缺。(2) DPO 最大化偏好对数似然，是对"最大化生成效用"这一真实目标的代理，存在目标错位 (objective mismatch)。

损失形式（完整）：

$$\mathcal{L}_{\text{KTO}}(\pi_\theta, \pi_{\text{ref}}) = \mathbb{E}_{x,y \sim \mathcal{D}}\bigl[w(y)\bigl(1 - v_{\text{KTO}}(x,y;\beta)\bigr)\bigr]$$

其中隐式奖励、KL 基准和价值函数定义为：

$$r_{\text{KTO}}(x,y) = \beta \log \frac{\pi_\theta(y \mid x)}{\pi_{\text{ref}}(y \mid x)}$$

$$z_{\text{ref}} = \mathbb{E}_{x' \sim \mathcal{D}}\bigl[\beta\,\mathrm{KL}(\pi_\theta(y' \mid x') \,\|\, \pi_{\text{ref}}(y' \mid x'))\bigr]$$

$$v_{\text{KTO}}(x,y;\beta) = \begin{cases} \sigma(r_{\text{KTO}}(x,y) - z_{\text{ref}}) & \text{if } y \sim y_{\text{desirable}} \mid x \\ \sigma(z_{\text{ref}} - r_{\text{KTO}}(x,y)) & \text{if } y \sim y_{\text{undesirable}} \mid x \end{cases}$$

$$w(y) = \begin{cases} \lambda_D & \text{if desirable} \\ \lambda_U & \text{if undesirable} \end{cases}$$

$z_\text{ref}$ 的作用与实现 (KL Baseline)

$z_\text{ref}$ 是当前策略相对于参考模型的期望 KL 散度，在前景理论中充当"参考点"（reference point）——奖励超过此点为"收益"，低于此点为"损失"，从而实现 sigmoid 在收益侧的凹性（风险规避）与损失侧的凸性（损失厌恶）。

实现上，$z_\text{ref}$ 在每个 mini-batch（大小 $m$）中用不匹配的 $(x', y'_U)$ 对估计：

$$\hat{z}_{\text{ref}} = \max\!\left(0,\,\frac{1}{m}\sum_i \log\frac{\pi_\theta(y'_{U,i} \mid x'_i)}{\pi_{\text{ref}}(y'_{U,i} \mid x'_i)}\right)$$

故意将 prompt $x'$ 与不相关的输出 $y'_U$ 配对，是为了避免将 reward 信号与 baseline 估计混淆。梯度不回传过 $z_\text{ref}$ 项。

前景理论对应关系 (Prospect Theory Mapping)

$v_\text{KTO}$ 用 logistic 函数近似 Kahneman-Tversky 的 S 形价值函数（原始幂律形式难以直接优化）：符号翻转（desirable 分支 $r - z_\text{ref}$；undesirable 分支 $z_\text{ref} - r$）精确模拟"收益 vs 损失"帧切换，$\lambda_D / \lambda_U$ 的非对称权重对应损失厌恶。

"KTO only requires a binary signal of whether an output is (un)desirable for a given input. This data is much more abundant, cheaper, and faster to collect in the real world than preferences." — Ethayarajh et al., arXiv:2402.01306

引用：Kawin Ethayarajh, Winnie Xu, Niklas Muennighoff, Dan Jurafsky, Douwe Kiela — arXiv:2402.01306 (2024)

特点：

• 无需配对 (No pairing required)：每条 $(x, y)$ 只需一个 desirable/undesirable 标签，可直接使用点赞/踩等天然二元日志
• $z_\text{ref}$ 提供动态参考点，使损失对 KL 漂移自适应
• 权衡：放弃了 BT 模型的成对一致性约束，信息利用效率可能低于成对方法；$\lambda_D / \lambda_U$ 需要手动调整

7.3 ORPO (Odds Ratio Preference Optimization)

解决的 DPO 问题：DPO 需要先 SFT 再偏好优化两阶段训练，且需要维护参考模型 $\pi_{\mathrm{ref}}$。

核心改动：在 SFT 的交叉熵损失上直接附加 odds-ratio 偏好损失 (unified SFT + odds-ratio loss):

$$\mathcal{L}_{\mathrm{ORPO}} = \underbrace{\mathcal{L}_{\mathrm{SFT}}(y_w)}_{\text{SFT on chosen}} + \lambda \cdot \underbrace{\left[-\log\sigma\!\left(\log\frac{\mathrm{odds}_\theta(y_w|x)}{\mathrm{odds}_\theta(y_l|x)}\right)\right]}_{\text{odds ratio preference}}$$

其中 odds 定义为 (odds defined as):

$$\mathrm{odds}_\theta(y|x) = \frac{p_\theta(y|x)}{1 - p_\theta(y|x)}$$

引用：Jiwoo Hong, Noah Lee, James Thorne — arXiv:2403.07691 (2024)

"In contrast to previous works, our approach requires neither an SFT warm-up stage nor a reference model, enabling resource-efficient development of preference-based aligned models." — Hong et al., arXiv:2403.07691

特点：

• 单阶段训练 (Single-stage)，无需参考模型 (No reference model needed)，前向传播次数减半
• $\mathcal{L}_\text{SFT}$ 在 chosen 响应上提供域适配锚定，$\mathcal{L}_\text{OR}$ 同步排斥 rejected 风格
• 权衡：odds ratio 与 BT 模型无直接理论联系；两项损失权重 $\lambda$ 需调；数值结果未在此独立核查

7.4 SimPO (Simple Preference Optimization)

解决的 DPO 问题：(1) DPO 隐式奖励 $\beta\log\pi_\theta/\pi_\text{ref}$ 与生成时实际使用的度量（长度归一化 likelihood）之间存在分歧——Meng et al. 指出，在 UltraFeedback 三元组中 DPO 奖励排序满足而 log-likelihood 排序反转的比例接近一半，即模型可在"赢得 loss"的同时令 chosen 实际更难被生成。(2) 未归一化的 log-prob 随长度单调递减，模型可以通过生成更短的 rejected 回复来满足排序，引入长度偏差。(3) 需维护冻结 $\pi_\text{ref}$，带来内存和计算开销。

核心改动：将隐式奖励替换为长度归一化的序列级平均对数概率，并在 Bradley-Terry 目标中引入显式目标边际 $\gamma > 0$：

$$r_{\text{SimPO}}(x, y) = \frac{\beta}{|y|}\log\pi_\theta(y|x)$$

$$\mathcal{L}_{\text{SimPO}}(\pi_\theta) = -\mathbb{E}_{(x,y_w,y_l)\sim\mathcal{D}}\!\left[\log\sigma\!\left(\frac{\beta}{|y_w|}\log\pi_\theta(y_w|x) - \frac{\beta}{|y_l|}\log\pi_\theta(y_l|x) - \gamma\right)\right]$$

其中 $|y|$ 为 token 数，$\beta$ 为缩放常数，$\gamma > 0$ 要求 chosen 的奖励至少比 rejected 高出 $\gamma$（不仅仅是更大）。不含 $\pi_\text{ref}$。

引用：Yu Meng, Mengzhou Xia, Danqi Chen — arXiv:2405.14734 (NeurIPS 2024)

"There is a divergence between DPO's reward formulation $r_\theta(x,y)=\beta\log\pi_\theta(y|x)/\pi_\text{ref}(y|x)$ and the average log likelihood metric $p_\theta(y|x)=\frac{1}{|y|}\log\pi_\theta(y|x)$, which directly impacts generation." — Meng et al., arXiv:2405.14734, Section 3.1

特点：

• 无需参考模型，reward 直接与生成时 likelihood 对齐（去掉分布漂移来源）
• 长度归一化消除"短 rejected 作弊"的捷径
• $\gamma > 0$ 的目标边际强化 chosen/rejected 的绝对间距，不仅是相对排序
• 权衡：损失不对应 BT 概率模型；性能数字（AlpacaEval/Arena-Hard）来自论文摘要，未在此独立核查

7.5 在线 vs 离线 DPO (Online vs Offline DPO)

分布漂移问题 (Distribution Mismatch)

标准 DPO 是**离线（offline）**算法：偏好数据集 $\mathcal{D}$ 在训练前收集，来自某个固定的（通常是 SFT 模型的）数据生成策略 $\mu$。训练过程中，$\pi_\theta$ 不断更新，但 $\mathcal{D}$ 保持静态。当 $\pi_\theta$ 偏离 $\mu$ 后，$\mathcal{D}$ 中的 $(y_w, y_l)$ 对不再覆盖 $\pi_\theta$ 当前的输出分布，形成 off-policy distribution mismatch。

具体表现：

• 隐式奖励漂移：DPO 的隐式奖励 $\hat{r}_\theta(x,y) = \beta\log\pi_\theta(y|x)/\pi_\text{ref}(y|x)$ 在训练中持续变化，对同一对 $(y_w, y_l)$ 的打分随策略更新而改变，可能出现 chosen/rejected margin 缩小甚至反转。
• 探索受限：策略无法探索比 $\mathcal{D}$ 中更好的输出，困在旧偏好数据定义的"local optimum"。

迭代/在线 DPO (Iterative / On-Policy DPO)

解决思路：在每轮迭代中，用当前策略 $\pi_\theta^{(t)}$ 采样新的响应对，再通过奖励模型（或人类/AI 评判）构造新的偏好对 $(y_w^{(t)}, y_l^{(t)})$，然后用这批分布匹配的偏好数据更新策略：

$$\pi_\theta^{(t+1)} \leftarrow \text{DPO-update}\!\left(\pi_\theta^{(t)},\;\mathcal{D}^{(t)}\right), \quad \mathcal{D}^{(t)} \sim \pi_\theta^{(t)}$$

为何在线 DPO 通常更好：

实践建议：若有访问 RM 或自动评判器的能力，迭代 DPO（每 $k$ steps 重新采样+更新偏好数据）比纯离线 DPO 通常在 downstream 对话质量上更优。若只能离线，SimPO/DPOP 中去掉 $\pi_\text{ref}$ 或增加 chosen-anchoring 可部分缓解漂移带来的 likelihood displacement。

7.6 精确对比表 (Precise Comparison Table)

引用：DPO — Rafailov et al., arXiv:2305.18290; IPO — Azar et al., arXiv:2310.12036; KTO — Ethayarajh et al., arXiv:2402.01306; ORPO — Hong et al., arXiv:2403.07691; SimPO — Meng et al., arXiv:2405.14734 (NeurIPS 2024)

8. GRPO vs PPO (Group Relative Policy Optimization vs Proximal Policy Optimization)

8.1 GRPO 群组优势估计 (Group Advantage Estimation)

GRPO 的核心思想：对同一 prompt $x$，采样一组响应 $\{y_1, y_2, \dots, y_G\}$，用组内统计量估计优势 (estimate advantage using intra-group statistics):

$$\boxed{A_i = \frac{r_i - \mathrm{mean}(\{r_1, r_2, \dots, r_G\})}{\mathrm{std}(\{r_1, r_2, \dots, r_G\})}}$$

其中 $r_i = r(x, y_i)$ 是第 $i$ 个响应的奖励 (reward for the $i$-th response)。

GRPO 的策略梯度损失 (GRPO policy gradient loss):

$$\mathcal{L}_{\mathrm{GRPO}}(\theta) = -\frac{1}{G}\sum_{i=1}^{G}\left[\min\!\left(\frac{\pi_\theta(y_i|x)}{\pi_{\theta_{\mathrm{old}}}(y_i|x)} A_i, \;\mathrm{clip}\!\left(\frac{\pi_\theta(y_i|x)}{\pi_{\theta_{\mathrm{old}}}(y_i|x)}, 1-\epsilon, 1+\epsilon\right)A_i\right)\right]$$

与 PPO 的 clipping 机制相同，但优势估计完全不同 (same clipping mechanism, entirely different advantage estimation)。

8.2 核心对比 (Key Comparison)

8.3 RLVR 框架 (RL from Verifiable Rewards)

GRPO 最适配的范式是 RLVR：奖励不来自学习的 RM，而是来自可自动验证的规则 (rewards from automatically verifiable rules)：

• 数学：答案是否等于标准答案 (answer matches ground truth) → $r = \mathbb{1}[\text{extract}(y) = y^*]$
• 代码：是否通过所有测试用例 (passes all test cases) → $r = \frac{\text{passed tests}}{\text{total tests}}$
• 格式：是否遵循指定格式 (follows required format) → $r \in \{0, 1\}$

RLVR 的核心优势：奖励低噪声 (low-noise reward，相比学习型 RM)，避免了 RM 本身的偏差与过拟合。

8.4 选择指南 (When to Prefer Which)

• 优先 GRPO：奖励可自动验证（数学、代码、逻辑推理）；资源有限（无法维护 4 个模型）；需要稳定训练
• 优先 PPO：奖励需要语义/风格判断（对话质量、创意写作）；奖励信号复杂且无法规则化；有充足计算资源和成熟的 RM

8.5 RLOO 与 ReMax (Critic-free 基线)

PPO 依赖一个学习到的评论家（价值网络）来估计基线。GRPO、RLOO 与 ReMax 均为无评论家方法，它们用从采样奖励中计算出的基线替代了价值网络。

RLOO（REINFORCE Leave-One-Out，Ahmadian et al. 2024, ACL arXiv:2402.14740）：对于每个提示词生成的 $G$ 个样本，样本 $i$ 的基线是其余 $G-1$ 个样本奖励的均值；优势函数 $A_i = r_i - \frac{1}{G-1}\sum_{j\neq i} r_j$。这是纯 REINFORCE 梯度，无裁剪、无评论家；由于基线不依赖样本 $i$ 自身的动作，该策略梯度估计保持无偏。

ReMax（Li et al. 2024, ICML arXiv:2310.10505）：基线是对同一提示词进行单次贪婪（argmax）解码所获得的奖励；优势 $A = r(\text{采样}) - r(\text{贪婪})$。每个提示词仅需一次额外的贪婪推理，内存开销极低，无需评论家。

9. KL 惩罚的作用与 β 调参 (Role of KL Penalty & Tuning β)

9.1 KL 项的直觉理解 (Intuitive Role of the KL Term)

$$\beta \cdot \mathrm{KL}\!\big(\pi_\theta(\cdot|x) \;\|\; \pi_{\mathrm{ref}}(\cdot|x)\big)$$

KL 惩罚的角色是正则化 (regularization)，具体功能：

1. 防止策略偏离太远 (Prevents excessive drift)：确保 $\pi_\theta$ 不会偏离 $\pi_{\mathrm{ref}}$ 太多，保留预训练知识
2. 抑制奖励黑客 (Mitigates reward hacking)：如果策略学会 exploit RM 的缺陷，KL 会增大作为惩罚
3. 维持多样性 (Maintains diversity)：防止策略坍缩到少数高奖励模式 (mode collapse)
4. 稳定训练 (Stabilizes training)：约束探索空间，避免策略更新过大

数学上展开 (Expanding mathematically):

$$\mathrm{KL}(\pi_\theta \| \pi_{\mathrm{ref}}) = \mathbb{E}_{y \sim \pi_\theta}\!\left[\log\frac{\pi_\theta(y|x)}{\pi_{\mathrm{ref}}(y|x)}\right] \geq 0$$

当 $\pi_\theta = \pi_{\mathrm{ref}}$ 时，KL = 0（完全不偏离参考策略时无惩罚）。

9.2 KL-RM 分数 Pareto 前沿 (KL-RM Score Pareto Frontier)

调参 $\beta$ 本质上是在两个目标间权衡：

$$\underbrace{\mathbb{E}[r(x,y)]}_{\text{奖励分数}\uparrow} \quad \text{vs.} \quad \underbrace{\mathrm{KL}(\pi_\theta \| \pi_{\mathrm{ref}})}_{\text{偏离程度}\uparrow}$$

典型值范围 (typical range)：$\beta \in [0.01, 0.5]$，实际中常用 $\beta = 0.1$ 或 $\beta = 0.2$。

9.3 DPO 中的 β 与 PPO 中的 β (β in DPO vs PPO)

结论：理论等价 (theoretically equivalent)，实践不同 (practically different)。DPO 中 $\beta$ 还影响梯度中的权重项 $\sigma(\cdot)$ 的锐度 (sharpness)。

9.4 KL 估计器与放置 (KL Estimators & Placement)

9.4.1 三种单样本估计器

符号约定：令 $r = \pi_{\mathrm{ref}} / \pi_\theta$（Schulman 2020 约定），样本从当前策略 $\pi_\theta$ 采样。

定义三个估计器：

$$k_1 = -\log r = \log\frac{\pi_\theta}{\pi_{\mathrm{ref}}}$$

$$k_2 = \tfrac{1}{2}(\log r)^2 = \tfrac{1}{2}\!\left(\log\frac{\pi_{\mathrm{ref}}}{\pi_\theta}\right)^{\!2}$$

$$k_3 = (r - 1) - \log r = \left(\frac{\pi_{\mathrm{ref}}}{\pi_\theta} - 1\right) - \log\frac{\pi_{\mathrm{ref}}}{\pi_\theta}$$

验证期望（样本来自 $\pi_\theta$）：

$$\mathbb{E}_{a \sim \pi_\theta}[r] = \sum_a \pi_\theta(a) \cdot \frac{\pi_{\mathrm{ref}}(a)}{\pi_\theta(a)} = \sum_a \pi_{\mathrm{ref}}(a) = 1$$

因此 $\mathbb{E}[r - 1] = 0$，即 $(r-1)$ 是零均值项（控制变量）。

• $k_1$ 的无偏性：$\mathbb{E}_{a \sim \pi_\theta}[k_1] = \mathbb{E}_{a \sim \pi_\theta}\!\left[-\log\frac{\pi_{\mathrm{ref}}}{\pi_\theta}\right] = \mathbb{E}_{a \sim \pi_\theta}\!\left[\log\frac{\pi_\theta}{\pi_{\mathrm{ref}}}\right] = \mathrm{KL}(\pi_\theta \| \pi_{\mathrm{ref}}) \geq 0$。$k_1$ 是 KL 值的无偏估计。

• $k_2$ 的有偏性：$k_2 = \tfrac{1}{2}(\log r)^2 \geq 0$，但以 $\pi_\theta$ 取期望时 $\mathbb{E}[k_2] \neq \mathrm{KL}(\pi_\theta \| \pi_{\mathrm{ref}})$，故 $k_2$ 有偏。

• $k_3$ 的无偏性（控制变量论证）：对任意 $\lambda$，令 $k_\lambda = -\log r + \lambda(r-1)$。由于 $\mathbb{E}[r-1]=0$，$k_\lambda$ 与 $k_1$ 有相同的期望，即 $\mathbb{E}[k_\lambda] = \mathrm{KL}(\pi_\theta \| \pi_{\mathrm{ref}})$——对所有 $\lambda$ 均无偏。取 $\lambda = 1$ 恰好得到 $k_3$，此时附加项 $\lambda(r-1)$ 与 $-\log r$ 负相关，降低了方差。故 $k_3$ 无偏，且在 RLHF 关心的小漂移区间（$r \approx 1$）方差低于 $k_1$。

• $k_3 \geq 0$ 的几何意义：由切线不等式 $\log r \leq r - 1$（对 $r > 0$ 严格成立，等号仅在 $r=1$ 时取到），所以 $(r-1) - \log r \geq 0$，与 KL 散度非负一致。

近 $r=1$ 的阶数对比（设 $\epsilon = r-1$）：$k_1 = -\log r \approx -\epsilon$ 是一阶量（有符号），而 $k_2 \approx k_3 \approx \tfrac{1}{2}\epsilon^2$ 是二阶量（非负）。三者都随 $r \to 1$ 趋于 0，但收敛阶不同——这也解释了为何 $k_3$ 像 $k_2$ 一样非负、却又像 $k_1$ 一样无偏。

9.4.2 梯度视角

以上分析均针对值估计（value estimation）。将估计器放入损失函数时，梯度行为需单独分析。

• $k_3$ 作为损失项不产生精确的逆向 KL 梯度：尽管 $k_3$ 是 KL 值的无偏估计，将其作为损失对 $\pi_\theta$ 求梯度时，得到的梯度仅是真实逆向 KL 梯度的一阶近似——在策略漂移较小（$r \approx 1$，即 $\log r \approx r - 1$）时近似成立，漂移较大时存在系统性偏差。

• 根据 Liu et al.（arXiv:2510.01555） 的分析，$k_1$ 放入奖励（in-reward） 和 $k_2$ 作为损失项（as-loss） 是梯度意义上有原则的选择，而 $k_3$ 作为损失项在梯度上没有原则保证。实践中 GRPO / DeepSeek-R1 使用的 $\beta$ 较小，由此引入的梯度偏差通常可以接受。

9.4.3 估计器对比表

方差排序：在小漂移区间（$r \approx 1$）$k_3$ 的方差低于 $k_1$（两者均无偏）；$k_2$ 有偏，处于不同的偏差–方差权衡区间，不宜与 $k_1$/$k_3$ 直接比较方差大小。

9.4.4 两种放置方式（Style A vs Style B）

Style A：放入奖励（in-reward）

典型代表：InstructGPT / PPO。KL 惩罚逐 token 加入奖励信号：

$$r_{\mathrm{total}}(x, y) = r_{\mathrm{RM}}(x, y) - \beta \cdot k_1^{(t)}, \quad k_1^{(t)} = \log\frac{\pi_\theta(a_t|s_t)}{\pi_{\mathrm{ref}}(a_t|s_t)}$$

• 每个 token 位置独立获得 KL 惩罚信号，Critic 可以学习到逐步的 KL 代价。
• 注意：PPO 的 clip 机制会对策略比率做截断。对于被 clip 的 token，surrogate 目标不再随 $\pi_\theta$ 变化，in-reward 的 KL 信号对这些 token 的梯度贡献可能被静默屏蔽，这是实现层面常被忽视的细节。

Style B：放入损失（in-loss）

典型代表：GRPO（Shao et al., DeepSeekMath）、DeepSeek-R1。KL 估计器直接加到策略优化损失上：

$$\mathcal{L} = \mathcal{L}_{\mathrm{GRPO}} + \beta \cdot k_3$$

其中 $k_3 = (r - 1) - \log r$，$r = \pi_{\mathrm{ref}} / \pi_\theta$（逐 token 计算后对序列平均）。

• 无需 Critic / Value model，内存开销更低。
• DAPO（arXiv:2503.14476）：直接移除 KL 惩罚（$\beta = 0$）。其理由是 long-CoT 推理训练中策略会显著偏离初始 SFT 参考模型，紧的 KL 约束反而有害；改用非对称裁剪（Clip-Higher，解耦的上、下截断界）来防止熵崩溃。

9.4.5 面试自测

L2：用 $r = \pi_{\mathrm{ref}}/\pi_\theta$ 约定时，为什么 $\mathbb{E}_{a \sim \pi_\theta}[r] = 1$？这一结论如何说明 $k_3$ 的无偏性？

L3：GRPO 将 $k_3$ 直接放入损失，但 $k_3$ 作为损失项在梯度上不是 principled 的逆向 KL 梯度——为什么在 GRPO 实践中这通常不是问题？如果将 $\beta$ 从 0.04 调大到 0.5，这个近似误差会如何变化？

10. Process Reward Model (PRM) vs Outcome Reward Model (ORM)

10.1 ORM：结果奖励模型 (Outcome Reward Model)

$$r_{\mathrm{ORM}}(x, y) = f_\phi(x, y) \in \mathbb{R}$$

• 仅在序列末尾 (End of Sequence, EOS) 给出一个标量奖励
• 整个响应 $y = (s_1, s_2, \dots, s_T)$ 共享同一奖励值
• 训练数据：$(x, y, \text{correct/incorrect})$ 二元标签

10.2 PRM：过程奖励模型 (Process Reward Model)

$$r_{\mathrm{PRM}}(x, y, t) = f_\phi(x, s_1, \dots, s_t) \in \mathbb{R}$$

• 对推理链的每一步给出独立的分数 (step-level scoring)
• $r_{\text{step}}(s_t)$ 表示第 $t$ 步推理的质量
• 训练数据：$(x, s_1, \dots, s_t, \text{step correct/incorrect})$ 逐步标签

10.3 信用分配优势 (Credit Assignment Advantage)

这是 PRM 的核心优势。考虑一个数学推理链：

Step 1: 设 $f(x) = x^2 + 3x$ → ✅ 正确 Step 2: 求导得 $f'(x) = 2x + 3$ → ✅ 正确 Step 3: 令 $f'(x) = 0$，解 $x = -3/2$ → ✅ 正确 Step 4: $f(-3/2) = 9/4 - 9/2 = -9/4$ → ✅ 正确

ORM 只知道"最终答案正确"→ 给高分，但不知道每步是否可靠。

PRM 可以识别"前三步正确，第四步错误"的情况：

$$\underbrace{r_{\mathrm{PRM}}(s_1) > 0,\; r_{\mathrm{PRM}}(s_2) > 0,\; r_{\mathrm{PRM}}(s_3) > 0}_{\text{正确步骤}} \quad \underbrace{r_{\mathrm{PRM}}(s_4) < 0}_{\text{错误步骤被定位}}$$

这使得 PRM 能更精确地指导搜索和训练 (more precise guidance for search and training)。

10.4 基于 PRM 的 Best-of-N 搜索 (Best-of-N Search with PRM)

给定 prompt $x$，采样 $N$ 个候选响应 $\{y_1, \dots, y_N\}$，对每个响应的每一步打分：

$$\text{Score}(y_i) = \min_{t=1}^{T_i} r_{\mathrm{PRM}}(x, y_i, t)$$

或使用乘积形式 (product form)：

$$\text{Score}(y_i) = \prod_{t=1}^{T_i} \sigma\!\big(r_{\mathrm{PRM}}(x, y_i, t)\big)$$

取 min 或乘积是为了确保每一步都合格——任何一步低分都会拉低整体分数 (any weak step pulls down the overall score)。

选择最优响应 (Select the best):

$$y^* = \arg\max_{y_i} \text{Score}(y_i)$$

10.5 PRM 训练数据挑战 (PRM Training Data Challenges)

自动化 PRM 标注方法：对第 $t$ 步之后，多次采样完成推理，统计最终答案正确的比例作为 $r_{\mathrm{PRM}}(s_t)$ 的估计。公式：$r_{\mathrm{PRM}}(s_t) \approx \frac{1}{K}\sum_{k=1}^{K} \mathbb{1}[\text{completion}_k \text{ leads to correct answer}]$

11. Alignment Tax 与权重平均 (Alignment Tax & Weight Averaging)

11.1 对齐税的定义 (Definition of Alignment Tax)

对齐税 (Alignment Tax) 指模型经过对齐训练后，在基础能力基准上的性能下降：

$$\text{Alignment Tax} = \text{Perf}_{\mathrm{base}}(\theta_{\mathrm{base}}) - \text{Perf}_{\mathrm{base}}(\theta_{\mathrm{aligned}})$$

其中 $\text{Perf}_{\mathrm{base}}$ 表示在预训练基准（如 MMLU、代码能力、数学能力等）上的表现。

直觉上：SFT/RL 训练在提升对齐质量（安全性、有用性、格式遵循）的同时，可能"遗忘"或"覆盖"部分预训练知识。

11.2 WiSE-FT 线性插值 (WiSE-FT Linear Interpolation)

WiSE-FT (Weight-space Ensembles for Finetuning) 通过在权重空间中插值来减轻对齐税：

$$\boxed{\theta_{\mathrm{merged}} = (1 - \alpha)\,\theta_{\mathrm{aligned}} + \alpha\,\theta_{\mathrm{base}}}$$

其中 $\alpha \in [0, 1]$ 控制对齐模型与基础模型之间的权衡 (controls the trade-off)。

11.3 为什么插值有效 (Why Interpolation Works)

任务向量 (Task Vector) 视角：对齐训练相当于在权重空间中沿一个方向移动：

$$\tau_{\mathrm{align}} = \theta_{\mathrm{aligned}} - \theta_{\mathrm{base}}$$

研究表明，不同任务对应的权重变化方向近似正交 (near-orthogonal)，因此：

$$\theta_{\mathrm{merged}} = \theta_{\mathrm{base}} + (1-\alpha)\,\tau_{\mathrm{align}}$$

线性插值不会严重干扰其他任务的表示 (doesn't severely interfere with other task representations)。

11.4 模型合并进阶方法 (Advanced Model Merging Variants)