在线 / 迭代 DPO (Online & Iterative DPO) 速查手册

从离线 DPO 的分布漂移到 on-policy 采样、自我奖励、自博弈与博弈式偏好优化

1. 在线 / 迭代 DPO 总览 (Overview)

标准 DPO（Rafailov et al., arXiv:2305.18290, NeurIPS 2023)是离线 (offline) 算法:偏好数据集 $\mathcal{D}$ 在训练前一次性收集,来自某个固定的生成策略 $\mu$(通常是 SFT 模型)。训练中 $\pi_\theta$ 不断更新,但 $\mathcal{D}$ 静止不动——这是 off-policy。在线 / 迭代 DPO 的核心改动只有一句话:每轮都用当前策略 $\pi_\theta^{(t)}$ 重新采样响应、重建偏好对,让训练信号始终贴着当前策略的输出分布(on-policy)。

离线 DPO (off-policy)                      在线 / 迭代 DPO (on-policy)
─────────────────────                      ──────────────────────────
数据一次采自固定 μ (SFT)                    每轮用当前 π_θ^(t) 重采样
π_θ 漂离 μ 后,(y_w,y_l) 不再覆盖其输出       偏好对始终匹配当前策略分布
便宜、可复现、无在线基础设施          ⇄      贵 (每轮采样+打分+训练),需标注器
受旧分布锁死,难超越数据             ⇄      可探索新输出、持续逼近最优策略

1.1 一张族谱:两个正交的轴

在线偏好优化的方法差异,几乎都落在两个正交问题上:① 响应从哪来?② 偏好谁来标?

• §3 处理"把 DPO 变 on-policy"的最小闭环 + 偏好对怎么构造(RM vs LLM-judge vs 人)。
• §4 把标注器收进模型自身:自我奖励(自己当裁判)、自博弈(拿自己的输出当负例)。
• §5 把"被动 on-policy 采样"升级为主动探索与博弈均衡(无需 BT 传递性假设)。
• §6 落到生产配方(Llama-3 六轮、Tülu-3)与回路里的特有陷阱。

1.2 本页边界 (Scope)

2. 为什么要 on-policy (The Case for On-Policy)

2.1 离线 DPO 的三个失效模式

(a) 分布漂移 (distribution mismatch)。 训练中 $\pi_\theta$ 离开 $\mu$ 后,$\mathcal{D}$ 里的 $(y_w, y_l)$ 落在 $\pi_\theta$ 已经很少产生的区域。DPO 在这些过期样本上拉大 margin,对当前策略真正会生成的输出却没有任何监督——梯度花在了"不会再走的路"上。

(b) 似然漂移 (likelihood displacement)。 DPO 损失只约束 chosen 与 rejected 的对数比之差 $\log\frac{\pi_\theta(y_w)}{\pi_\text{ref}(y_w)} - \log\frac{\pi_\theta(y_l)}{\pi_\text{ref}(y_l)}$,不直接约束 $\log\pi_\theta(y_w)$ 的绝对值。注意这不是单个孤立配对更新的必然——在 §3.1 那种单步 softmax 更新里 $y_w$ 概率其实会上升。但在真实 LM 的共享参数聚合训练中(海量相互冲突的偏好对、序列级归一、优化器动力学叠加),会出现一种"达标"路径:把 $y_l$ 压得更狠,而 $y_w$ 的概率同时也被带低——只要降得比 $y_l$ 慢,margin 照样变大。被挤出的概率质量往往流向第三类 OOD 输出(既非 $y_w$ 也非 $y_l$)。On-policy 数据让 $y_w$ 本就来自当前分布,缓解这种"把好答案也一起压低"的退化。

(c) OOD 过优化 (over-optimization)。 DPO 的隐式奖励 $\hat r_\theta = \beta\log\frac{\pi_\theta}{\pi_\text{ref}}$ 是当前策略/参考比值的重参数化,而非一个会"外推"的独立 RM。问题在于:数据未覆盖的区域缺少偏好监督来校准这个比值,离线训练管不到,策略可能朝着"隐式奖励虚高但实际很差"的方向漂。on-policy 重采样相当于不断把"策略现在真实会去的地方"重新拉回标注回路。

2.2 在线 vs 离线:性能差距从何而来 (Tang et al. 2024)

Tang et al.("Understanding the Performance Gap between Online and Offline Alignment Algorithms", arXiv:2405.08448, preprint)做了一组受控实证 / 机制研究(实验+消融,非定理证明),系统追问"在线为何稳定优于离线":

• 现象:在受控设置下,在线算法稳定优于离线算法,且差距不能仅靠"给离线方法喂更多数据 / 扩大覆盖"补齐。
• 排除项:他们逐一检验并否定了几种朴素解释——差距不是单纯由离线方法的判别精度不足、也不是由损失函数形式(对比式离线损失 vs 在线 RL)决定的;即便让离线方法用上强对比损失,差距依旧。
• 核心归因:on-policy 采样本身(数据由当前策略生成)是关键驱动力,而非"离线/在线算法"这一标签。离线方法恰恰在"它本应学会区分"的那部分响应上表现不佳。

3. 在线 DPO 算法 (Online DPO Algorithms)

3.1 迭代闭环 (The Iterative Loop)

把离线 DPO 改成 on-policy,最小闭环就三步,逐轮重复:

for t in 0..T-1:
   1) 生成:对每个 prompt x,从当前策略 π_θ^(t) 采样 K 条响应      ← on-policy
   2) 标注:用 RM / LLM-judge / 人类把 K 条排序,构造偏好对 (y_w,y_l) → D^(t)
   3) 更新:π_θ^(t+1) ← DPO-update(π_θ^(t), D^(t);  ref = π_ref)

形式化即 llm-post-training §7.5 给出的:

$$\pi_\theta^{(t+1)} \leftarrow \text{DPO-update}\!\left(\pi_\theta^{(t)},\;\mathcal{D}^{(t)}\right), \quad \mathcal{D}^{(t)} \sim \pi_\theta^{(t)}$$

下面这段玩具代码用一个离散响应空间展示:为什么 on-policy 采到的偏好对能持续把策略推向高奖励区,而一次性离线数据会"用旧了"。DPO 在 softmax 策略上的梯度有个干净的闭式——logsumexp 项相消,margin 对 logits 的梯度就是 $\beta(e_w - e_l)$:

import numpy as np

# ===== DPO on a toy categorical policy =====
# logπ_i = θ_i - logsumexp(θ);  d(logπ_w - logπ_l)/dθ_j = [w==j] - [l==j]
# 所以 margin 对 logits 的梯度与 logsumexp 无关 —— 干净的闭式。

def log_softmax(theta):
    m = theta.max()
    return theta - m - np.log(np.exp(theta - m).sum())

def softmax(theta):
    z = theta - theta.max()
    e = np.exp(z)
    return e / e.sum()

def dpo_step(theta, theta_ref, w, l, beta=0.5, lr=0.3):
    """对一个偏好对 (w 胜, l 负) 做一步 DPO 梯度下降,返回更新后的 logits。"""
    lp, lpr = log_softmax(theta), log_softmax(theta_ref)
    margin = beta * ((lp[w] - lpr[w]) - (lp[l] - lpr[l]))
    sig = 1.0 / (1.0 + np.exp(-margin))      # σ(margin)
    coef = (sig - 1.0) * beta                # dL/dmargin = σ(margin) - 1 < 0
    grad = np.zeros_like(theta)
    grad[w] += coef                          # 抬高 w
    grad[l] -= coef                          # 压低 l
    return theta - lr * grad

def expected_reward(theta, r):
    return float((softmax(theta) * r).sum())

def make_pair(samples, r):
    """从一批采样里按真实奖励取 (最优, 最差) 作偏好对。"""
    s = sorted(samples, key=lambda i: r[i])
    return s[-1], s[0]

# 真实奖励:5 个离散响应,索引 4 最好
r = np.array([0.0, 0.2, 0.4, 0.6, 1.0])
theta0 = np.zeros(5)                          # SFT 起点:均匀
rng = np.random.default_rng(0)

# --- 离线:偏好对一次性采自 π0,之后反复用 ---
off = theta0.copy()
pool = [make_pair(rng.choice(5, size=2, p=softmax(theta0), replace=False), r)
        for _ in range(40)]
for w, l in pool:
    off = dpo_step(off, theta0, w, l)

# --- 在线:每步都从当前策略重新采样偏好对 ---
on = theta0.copy()
for _ in range(40):
    w, l = make_pair(rng.choice(5, size=2, p=softmax(on), replace=False), r)
    on = dpo_step(on, theta0, w, l)           # ref 固定为 SFT

print("offline E[r] =", round(expected_reward(off, r), 3))
print("online  E[r] =", round(expected_reward(on, r), 3))

3.2 偏好对怎么构造:RM vs LLM-judge vs 人

on-policy 采到 $K$ 条响应后,谁来定 $(y_w, y_l)$ 决定了方法的成本与偏置:

OAIF(Guo et al., "Direct Language Model Alignment from Online AI Feedback", arXiv:2402.04792, preprint)是"LLM-judge 在线标注"的代表:每步对当前策略采的两条响应,用一个 online annotator LLM 即时判优劣再做 DPO 更新——把离线 DPO 的"静态偏好集"替换成"在线 AI 反馈",兼顾了 on-policy 与免训 RM。

3.3 参考策略与 β:回路里的两个旋钮

迭代回路里 $\pi_\text{ref}$ 与 $\beta$ 的设定直接决定稳定性:

• $\pi_\text{ref}$ 每轮重置 vs 固定 SFT。
  • 每轮重置 $\pi_\text{ref} \leftarrow \pi_\theta^{(t)}$:类信赖域 (trust-region) 步,KL 约束始终是"相对上一轮",更新更稳;代价是丢掉对 SFT 的锚定,多轮后可能整体漂走。
  • 固定 SFT 作 $\pi_\text{ref}$:始终锚定起点;但 $\pi_\theta$ 越漂,$\frac{\pi_\theta}{\pi_\text{ref}}$ 越大,有效约束越松,后期容易过优化。
  • 生产实践(Llama-3 / Tülu-3)多在一轮之内固定 ref,轮与轮之间再换基准。
• $\beta$(KL 强度)。 $\beta$ 越大越贴 $\pi_\text{ref}$、越保守;越小越敢漂、越易过优化。$\beta$ 与 ref 的语义对比另见 llm-post-training §9.3。

4. 自我奖励与自博弈 (Self-Rewarding & Self-Play)

§3 的标注器都是"外部"的。这一节把标注器收进模型自身——好处是摆脱外部 RM/人的瓶颈,风险是信号与策略同源,容易自我强化偏置。

4.1 自我奖励 (Self-Rewarding LMs)

Self-Rewarding LMs(Yuan et al., arXiv:2401.10020, ICML 2024)让同一个模型同时当策略和裁判:用 LLM-as-a-Judge 提示让模型给自己采的响应打分,据此构造偏好对,再做迭代 DPO。关键叙事是裁判能力与策略能力一起涨——论文观察到迭代中指令遵循与"当裁判"的能力同步提升,形成自提升回路(论文做了 $M_1\!\to\!M_2\!\to\!M_3$ 三轮迭代)。

# ===== Self-Rewarding: 模型自己当裁判,构造偏好对 (§4.1) =====
def self_reward_pairs(prompt, gen_fn, judge_fn, k=4):
    """采 k 条,自己打分,取 (最高分, 最低分) 作偏好对;全平则无信号、跳过。"""
    cands = [gen_fn(prompt) for _ in range(k)]
    scored = sorted(((judge_fn(prompt, c), c) for c in cands),
                    key=lambda t: t[0], reverse=True)
    if scored[0][0] == scored[-1][0]:
        return None                          # 无区分度,跳过这条 prompt
    return scored[0][1], scored[-1][1]       # (y_w, y_l)

4.2 自博弈:SPIN 与 SPPO

SPIN(Self-Play Fine-Tuning, Chen et al., arXiv:2401.01335, ICML 2024)完全不需要偏好标签,也不需要外部奖励:把 SFT 人类数据当 $y_w$(正例)、把当前模型自己生成的响应当 $y_l$(负例),用 DPO 式对比目标训练模型去区分"人类数据"与"自己的输出"。这是一种判别器/生成器自博弈——迭代到模型的生成与 SFT 数据分布不可区分时收敛($\pi \to p_\text{data}$)。

# ===== SPIN: 自博弈配对 —— 人类数据=胜, 模型自采=负 (§4.2) =====
def spin_pairs(prompts, human_responses, model_gen_fn):
    """y_w 取自 SFT 人类数据,y_l 取自当前模型;相同则无信号、跳过。"""
    pairs = []
    for x, y_human in zip(prompts, human_responses):
        y_self = model_gen_fn(x)
        if y_self != y_human:
            pairs.append((x, y_human, y_self))   # (prompt, y_w, y_l)
    return pairs

SPPO(Self-Play Preference Optimization, Wu et al., arXiv:2405.00675, preprint / NeurIPS 2024 Workshop)把对齐建模成两玩家常和博弈,目标是偏好的 Nash 均衡:每轮用偏好模型估计自采样本间的胜率,做一步乘性权重 / 二次型更新逼近均衡策略。它不假设偏好可由单一标量奖励(BT)解释——这把我们引向 §5 的博弈式视角。

5. 探索与博弈式偏好优化 (Exploration & Game-Theoretic PO)

5.1 为什么要"博弈式":偏好可能不传递

BT / 奖励式假设偏好概率由标量奖励之差解释(每个响应一个标量奖励),因此偏好在期望意义上可传递。但真实人类偏好可能不传递 (intransitive):出现 $A\succ B\succ C\succ A$ 的环,任何标量奖励都无法表达。博弈式偏好优化绕开这一假设:不找"最大化奖励"的策略,而找偏好两玩家博弈的Nash 均衡(最大化对所有对手的最小胜率)。

Nash-LHF / Nash-MD(Munos et al., "Nash Learning from Human Feedback", arXiv:2312.00886, ICML 2024):先学一个偏好模型 $\mathcal{P}(y\succ y'\mid x)$(而非奖励模型),再用 Nash-MD(镜像下降)迭代求正则化博弈的 Nash 均衡,在 tabular / 正则化设定下可证明收敛。它把 RLHF 从"奖励最大化"推广到"偏好博弈均衡",§4.2 的 SPPO 是同一思想下的自博弈实例。

5.2 主动探索:XPO

被动 on-policy 采样只是"从当前策略随机采",并没有刻意去探索高潜力但不确定的区域。XPO(Exploratory Preference Optimization, Xie et al., arXiv:2405.21046, ICLR 2025)在 DPO 目标上只加一项乐观奖励 (optimism bonus),鼓励策略去探索"隐式奖励可能很高、但当前不确定"的响应;借助 implicit $Q^\*$-approximation,在其理论假设下可证明 sample-efficient。一句话:XPO = 在线 DPO + 一行乐观探索项,把"碰运气采样"升级成"有方向地探索"。

5.3 主动查询 (Active Querying)

标注预算有限时,选哪些 prompt / 哪些对去标也能优化:优先标 RM 不确定 / 信息增益大的对,而非均匀标注。与 RM 的不确定性估计结合,详见 reward-modeling-eval。

6. 实战配方与陷阱 (Practical Recipes & Pitfalls)

6.1 生产级迭代配方

• Llama 3(Grattafiori et al., "The Llama 3 Herd of Models", arXiv:2407.21783, preprint):后训练做六轮迭代,每轮 = 奖励建模 + 拒绝采样 + SFT + DPO;每轮的偏好数据用上一轮的最好模型生成、由人类标注——是生产规模的迭代 DPO 范例。
• Tülu 3(Lambert et al., "Tülu 3: Pushing Frontiers in Open Language Model Post-Training", arXiv:2411.15124, COLM 2025):SFT → DPO → RLVR 的开放配方,其中 DPO 用大规模 on-policy 偏好混合(从策略模型采补全、再由 GPT-4 等模型标偏好)。RLVR 细节见 reasoning-rl-frontier。
• Iterative Reasoning PO(Pang et al., "Iterative Reasoning Preference Optimization", arXiv:2404.19733, NeurIPS 2024):面向推理 / CoT 的迭代 DPO——以答案是否正确(可验证信号)定 $y_w$/$y_l$,并在损失里额外加一项对 $y_w$ 的 NLL/SFT 项抑制似然漂移(§2.1b),逐轮在 GSM8K / MATH 等上提升。是"迭代 DPO + 可验证信号 + chosen 锚"的样板。

6.2 回路里的特有陷阱

6.3 在线 DPO vs 在线 RLHF (PPO / GRPO)

两者都 on-policy,区别在"奖励信号如何进入更新":

7. 面试题 (Interview Questions)

L1 — 基础 (Foundational)

L2 — 中级 (Intermediate)

L3 — 高级 (Advanced)

附录：关键术语速查 (Glossary)

本手册仅供学习参考。涉及的论文结论与数值以原始论文为准;benchmark 分数仅用于说明,不构成横向比较。

§A 核心论文时间线 / Key Papers Timeline

• 2023-05 · Direct Preference Optimization: Your Language Model is Secretly a Reward Model — Rafailov et al., NeurIPS 2023. arXiv:2305.18290 — 把 RLHF 的奖励最大化重参数化为对策略的成对分类损失,免去显式 RM 与 RL;离线 DPO 是本页所有在线/迭代方法的基线。

• 2023-09 · Statistical Rejection Sampling Improves Preference Optimization — Liu et al., ICLR 2024. arXiv:2309.06657 — 指出理想偏好对应采自最优策略分布,用拒绝采样从 π_ref 近似采出贴近 π* 的样本再标注(RSO),把离线数据来源往 on-policy 理想纠偏。

• 2023-12 · Nash Learning from Human Feedback — Munos et al., ICML 2024. arXiv:2312.00886 — 学偏好模型而非奖励模型,用 Nash-MD(镜像下降)求正则化博弈的 Nash 均衡,把 RLHF 从奖励最大化推广到偏好博弈,无需 BT 传递性假设。

• 2024-01 · Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models — Chen et al., ICML 2024. arXiv:2401.01335 — SPIN:以 SFT 人类数据为胜者、模型自采为负者做判别式自博弈,无需偏好标签或外部奖励;收敛于生成与数据不可区分,固定点为 SFT 数据分布。

• 2024-01 · Self-Rewarding Language Models — Yuan et al., ICML 2024. arXiv:2401.10020 — 同一模型既当策略又用 LLM-as-judge 给自采响应打分构造偏好对,迭代 DPO;裁判能力随策略能力同步提升(M1→M2→M3 三轮)。

• 2024-02 · Direct Language Model Alignment from Online AI Feedback — Guo et al., preprint. arXiv:2402.04792 — OAIF:每步对当前策略采的两条响应,用一个 online annotator LLM 即时判优劣再做 DPO,把静态偏好集替换成在线 AI 反馈,兼顾 on-policy 与免训 RM。

• 2024-04 · Iterative Reasoning Preference Optimization — Pang et al., NeurIPS 2024. arXiv:2404.19733 — 面向 CoT 推理的迭代 DPO:以答案正确性(可验证信号)定胜负,损失里加对 chosen 的 NLL 项抑制似然漂移,逐轮在 GSM8K/MATH 等提升。

• 2024-05 · Self-Play Preference Optimization for Language Model Alignment — Wu et al., preprint / NeurIPS 2024 Workshop (AFM, Oral). arXiv:2405.00675 — SPPO:把对齐建模为两玩家常和博弈,用偏好胜率做乘性权重/二次型更新逼近 Nash 均衡,不依赖单一标量奖励 (BT)。

• 2024-05 · Understanding the Performance Gap between Online and Offline Alignment Algorithms — Tang et al., preprint. arXiv:2405.08448 — 受控研究:在线稳定优于离线,差距补不齐也不由损失形式决定,核心归因是 on-policy 采样本身——让数据 on-policy 比换损失更重要。

• 2024-05 · Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF — Xie et al., ICLR 2025. arXiv:2405.21046 — XPO:在 DPO 目标上加一项乐观探索奖励,鼓励探索高潜力不确定响应,借 implicit Q*-approximation 在其理论假设下证明样本高效;把被动 on-policy 升级为主动探索。

• 2024-07 · The Llama 3 Herd of Models — Grattafiori et al., preprint. arXiv:2407.21783 — 后训练做六轮迭代(每轮 RM + 拒绝采样 + SFT + DPO),偏好数据用上一轮最好模型生成、人类标注;生产规模的迭代 DPO 范例。

• 2024-11 · Tülu 3: Pushing Frontiers in Open Language Model Post-Training — Lambert et al., COLM 2025. arXiv:2411.15124 — 开放端到端配方 SFT → DPO → RLVR,DPO 阶段用大规模 on-policy 偏好混合;全量公开数据/代码/配方。