后训练数据流水线 (Data Pipeline & Curation) 速查手册

从指令合成、拒绝采样、偏好构造到去污染与数据配比

1. 数据流水线总览 (Pipeline Overview)

后训练（SFT / 偏好对齐 / RLVR）的效果上限,很大程度由数据流水线决定——同样的算法,数据质量与配比不同,结果天差地别。一条典型后训练数据流水线:

来源 (Sources)            合成/采集 (Generate)         清洗 (Clean)              配比/消费 (Mix → Train)
─────────────            ──────────────────          ─────────────            ────────────────────
人工标注                  Self-Instruct / Evol         去重 (dedup)             配比 (mixing)
开源数据集         ─→     拒绝采样 (RFT/STaR)    ─→    去污染 (decontam)  ─→    课程 (curriculum)   ─→  SFT
蒸馏 (teacher)            偏好对 (人类/AI 反馈)         质量过滤 (filter)        质量/难度排序            DPO / RLHF / RLVR
线上日志                  Magpie / 合成教科书          格式归一                 阶段配比

1.1 三条主线

1.2 核心原则:质量 > 数量

LIMA（Zhou et al., arXiv:2305.11206）只用 1000 条精心策划的 SFT 样本(无 RLHF)微调 65B LLaMA,效果可与用多个数量级更多数据训练的模型相当。其论点:对齐主要是在预训练已有知识之上学一种"表面行为/格式",少量高质量样本即可激活。

实践含义:流水线的价值不在"堆量",而在合成多样化高质量候选 → 严格过滤/去重/去污染 → 按目标能力配比。下面 §2–§6 逐段展开。

2. 指令数据合成 (Instruction Data Synthesis)

人工写指令数据昂贵且难规模化。主流做法是用强 LLM 合成,核心挑战是多样性与质量。

2.1 Self-Instruct — 种子自举

Self-Instruct（Wang et al., arXiv:2212.10560）:从一小批人工种子任务出发,few-shot 提示模型生成新指令 + 输入 + 输出,再过滤掉与已有池过相似或低质的样本,迭代扩充,最后用扩充数据微调同一个模型。Stanford Alpaca(无 arXiv 论文,blog/repo)即用 Self-Instruct 思路从 text-davinci-003 蒸出 52k 指令数据。

去同质化过滤是关键:Self-Instruct 用 ROUGE-L 相似度 < 0.7 作为门槛,丢弃与现有指令过相似的新指令,防止合成数据塌缩成少数模板。

import random
from difflib import SequenceMatcher

# Self-Instruct 式 bootstrap:few-shot 提示 LLM 生成新【指令】,再用与现有池的
# 相似度过滤去同质化。(原文还会为每条指令生成 input/output 实例;此处只演示
# "指令生成 + 去重"这一步。)
def sim_ratio(a: str, b: str) -> float:
    # 廉价相似度:difflib 序列匹配比率,作为 ROUGE-L 的近似(原文用 ROUGE-L<0.7)
    return SequenceMatcher(None, a, b).ratio()

def self_instruct_round(pool, llm_generate, k=20, sim_thresh=0.7):
    """pool: 已有指令 list;llm_generate(prompt)->新指令文本。"""
    new_items = []
    for _ in range(k):
        demos = random.sample(pool, min(6, len(pool)))           # few-shot 种子
        prompt = "生成一条与下列示例不同的新任务指令:\n" + "\n".join(demos)
        cand = llm_generate(prompt).strip()
        # 过滤 1:与池中任一指令过相似 → 丢弃
        if any(sim_ratio(cand, p) > sim_thresh for p in pool + new_items):
            continue
        # 过滤 2:启发式质量门(按字符长度,兼容中英文)
        if not (5 <= len(cand) <= 300):
            continue
        new_items.append(cand)
    pool.extend(new_items)
    return new_items

2.2 Evol-Instruct — 指令进化

WizardLM / Evol-Instruct（Xu et al., arXiv:2304.12244, ICLR 2024）:不是平铺生成,而是用 LLM 把种子指令"进化"得更复杂,两个方向:

• 深度进化 (In-depth):加约束、加推理步骤、复杂化输入、加深难度。
• 广度进化 (In-breadth):基于已有指令生成全新的、覆盖新领域的指令。

进化后过滤掉"进化失败"(没变难/变空)的样本,得到难度梯度更陡的指令集。

2.3 Magpie — 从对齐模型"零提示"抽取

Magpie（Xu et al., arXiv:2406.08464, ICLR 2025）:利用指令模型(如 Llama-3-Instruct)的自回归性质——只喂"用户轮之前的模板前缀"(不给任何种子指令),模型会自己续写出一条用户指令;再让它回答,得到 (instruction, response) 对。无需种子、无需人工,规模化抽取对齐数据。

2.4 蒸馏 (Distillation)

用更强的 teacher 模型生成数据训练 student,是最常见的合成路线之一。

• Sequence-Level KD (SeqKD)（Kim & Rush, arXiv:1606.07947, EMNLP 2016）:经典做法,在 teacher 解码出的序列上训练 student(用序列级输出替代 word-level 软标签),student 更快且有竞争力。
• 合成教科书:Textbooks Are All You Need（Gunasekar et al., arXiv:2306.11644）用"教科书质量"过滤的网页数据 + GPT-3.5 合成的教科书与习题训练 1.3B 的 phi-1,论文报告 HumanEval pass@1 = 50.6%——证明高质量合成数据可大幅降低规模需求。

2.5 合成数据的风险:同质化与模式坍缩

3. 拒绝采样与自训练 (Rejection Sampling & Self-Training)

当任务有可验证的正确性信号(数学答案、单测、格式)时,可以让模型自己生成、自己筛选出高质量数据,再监督训练——这是 SFT 与 RL 之间的一条高性价比中间路线。

3.1 RFT — 拒绝采样微调

Rejection sampling Fine-Tuning (RFT)（Yuan et al., arXiv:2308.01825）:对每个 prompt 从当前(SFT)模型采样 N 条带推理的解,只保留答案正确的,并对推理路径去重(同一题保留多条"不同"的正确路径增加多样性),把这些自生成的正确样本作为增广数据再做 SFT。

import re

# RFT:对每题采样 N 条 CoT,只留"答案正确"且"推理路径互不重复"的,
# 作为增广 SFT 数据(Yuan et al. 2023)。
def canonical(y: str) -> str:
    # 极粗的 toy 指纹:数字→#、压空白(RFT 原文按 distinct 方程/推理路径去重,远更精细)
    return re.sub(r"\s+", " ", re.sub(r"\d+", "#", y)).strip()

def rejection_sampling_ft_data(prompts, policy_sample, verify, gold,
                               N=64, max_keep=4):
    """policy_sample(x)->一条解;verify(y, gold)->bool。"""
    sft_data = []
    for x in prompts:
        seen, kept = set(), []
        for _ in range(N):
            y = policy_sample(x)
            if not verify(y, gold[x]):          # 答案不对 → 拒绝
                continue
            key = canonical(y)
            if key in seen:                      # 同一推理路径 → 去重
                continue
            seen.add(key); kept.append(y)
            if len(kept) >= max_keep:            # 每题最多保留 max_keep 条
                break
        sft_data += [(x, y) for y in kept]
    return sft_data                              # 再在其上做标准 SFT

3.2 STaR — 用推理自举推理

STaR（Zelikman et al., arXiv:2203.14465, NeurIPS 2022）:让模型生成 CoT 推理,保留得到正确答案的推理做微调;对答错的题,给出正确答案让模型**"反推"(rationalize)**出一条能到达该答案的推理,也加入训练集。迭代后推理能力自举上升。

3.3 ReST — Grow / Improve 双循环

ReST（Gulcehre et al., arXiv:2308.08998）:把自训练写成两步交替——

• Grow:用当前策略离线生成一批样本(扩充数据集);
• Improve:在通过质量阈值的样本上微调(可逐步提高阈值)。

比在线 RLHF 更省算力:采样与训练解耦,生成的数据可重复使用多轮。

3.4 与 RL 的关系

4. 偏好数据构造 (Preference Data Construction)

偏好对 (prompt, chosen, rejected) 是 RLHF/DPO 的燃料,其质量决定 RM/策略的上限。

4.1 偏好信号从哪来

• Constitutional AI（Bai et al., arXiv:2212.08073）:两阶段——先用模型自我批判+改写做 SFT,再用一组"宪法原则"驱动 AI 生成偏好标签做 RLHF(RLAIF),无害性几乎不靠人工偏好。
• RLAIF vs RLHF（Lee et al., arXiv:2309.00267, ICML 2024）:实验证明用现成 LLM 的偏好标签(RLAIF)在摘要/对话上可与 RLHF 相当;并提出 direct-RLAIF(RL 时直接向 LLM 取奖励,免独立 RM)。

4.2 UltraFeedback / Zephyr — 规模化 AI 反馈配方

• UltraFeedback（Cui et al., arXiv:2310.01377, ICML 2024）:对约 6.4 万条指令用多个模型生成约 25.6 万个候选回答,再由 GPT-4 在多个质量维度上打数值分+写评语(累计超 100 万条反馈),构造大规模偏好/RM 数据。
• Zephyr（Tunstall et al., arXiv:2310.16944）:dDPO(distilled DPO)直接在 UltraFeedback 的 AI 反馈上做 DPO,无任何人工标注,蒸出对齐能力。

4.3 从打分候选构造偏好对

import itertools, random

# 从一组带分数的候选构造偏好对:chosen=高分,rejected=低分,
# 只保留分差(margin)足够大的对,避免"难区分"噪声(UltraFeedback 式)。
def build_preference_pairs(prompt, candidates, scores, margin=1.0, max_pairs=4):
    # candidates: list[str];scores: list[float](GPT-4 / RM 打分)
    assert len(candidates) == len(scores), "候选与分数须等长(zip 会静默截断)"
    ranked = sorted(zip(candidates, scores), key=lambda t: t[1], reverse=True)
    pairs = []
    for (y_w, s_w), (y_l, s_l) in itertools.combinations(ranked, 2):
        if s_w - s_l < margin:           # 分差太小 → 难区分 → 丢弃
            continue
        pairs.append({"prompt": prompt, "chosen": y_w,
                      "rejected": y_l, "margin": s_w - s_l})
    random.shuffle(pairs)
    return pairs[:max_pairs]             # 限制每 prompt 贡献的对数,防失衡

4.4 on-policy vs off-policy 偏好

5. 去重与去污染 (Dedup & Decontamination)

5.1 为什么去重

Deduplicating Training Data Makes Language Models Better（Lee et al., arXiv:2107.06499, ACL 2022）:移除训练语料中的近重复片段/文档,可使逐字记忆(verbatim memorization)下降约一个数量级,同时以更少训练步达到相当或更好的困惑度。后训练同理:重复样本会过度加权、放大记忆与偏置。

5.2 exact vs near-dup

• 精确去重 (exact):哈希整段/文档,丢弃完全相同者。
• 近似去重 (near-dup):用 MinHash + LSH 检测高 Jaccard 相似的文本。

Jaccard 相似度:$J(A,B)=\dfrac{|A\cap B|}{|A\cup B|}$,其中 $A,B$ 为两文档的 k-shingle(k 个连续 token 的集合)。

MinHash 关键性质:对随机哈希(置换)$h$,

$$\Pr[\,\min_{x\in A} h(x)=\min_{x\in B} h(x)\,]=J(A,B)$$

即"两文档签名在某一位相同的概率 = 它们的 Jaccard"。用 $m$ 个独立哈希组成签名,签名相同位的比例就是 $J$ 的无偏估计,把 $O(|A||B|)$ 的两两比较降为常数长度签名比对。

import hashlib

# MinHash 近重复检测:k-shingle + 多哈希最小值组成签名,
# 两签名相同位比例 ≈ Jaccard 相似度。
def shingles(text, k=5):
    toks = text.split()
    return {" ".join(toks[i:i+k]) for i in range(max(1, len(toks) - k + 1))}

def minhash_sig(sh_set, num_perm=128):
    sig = []
    for s in range(num_perm):                       # 每个 s 模拟一个独立哈希
        m = min(int(hashlib.md5((str(s) + sh).encode()).hexdigest(), 16)
                for sh in sh_set)                   # 该哈希下的最小值
        sig.append(m)
    return sig

def est_jaccard(sig_a, sig_b):
    return sum(a == b for a, b in zip(sig_a, sig_b)) / len(sig_a)

def is_near_dup(text, corpus_sigs, k=5, num_perm=128, thresh=0.8):
    sig = minhash_sig(shingles(text, k), num_perm)
    # 此处对 corpus_sigs 暴力线性扫描;生产中在其上加 LSH 分桶,只比对同桶候选
    dup = any(est_jaccard(sig, s) >= thresh for s in corpus_sigs)
    return dup, sig                                 # 真重复才丢;否则把 sig 入库

5.3 去污染 (Decontamination)

定义:从训练数据中移除与评测基准(test set)重叠的样本,否则模型"见过考题",benchmark 分数虚高、失去意义。

• n-gram 重叠法:若训练样本与某 benchmark 测试题共享较长 n-gram(如 GPT-3 用 13-gram),判为污染并剔除。简单但对改写/翻译泄漏不敏感。
• 成员推断 (membership inference):Min-K% Prob（Shi et al., arXiv:2310.16789, ICLR 2024）——免训练地判断一段文本是否在预训练中出现过:取该文本最低 $k\%$ token 的平均对数似然;未见文本往往含若干极低概率的 outlier token 拉低该均值,而成员(见过)文本即使最低 $k\%$ token 似然也相对更高,故该均值偏高 → 更可能见过。可用于事后审计模型是否被某 benchmark 污染。

6. 数据配比与课程 (Data Mixing & Curriculum)

6.1 配比 (Data Mixing)

不同来源/领域/任务的数据按什么比例混合,显著影响最终能力。How Far Can Camels Go? (Tülu)（Wang et al., arXiv:2306.04751, NeurIPS 2023）系统消融了 12 个指令微调数据集,结论是没有单一数据集在所有能力上最优——混合互补来源才能全面。Tülu 3（Lambert et al., arXiv:2411.15124）进一步给出开放的 SFT→DPO→RLVR 端到端配方与全套数据。

6.2 DoReMi — 自动学最优混比

DoReMi（Xie et al., arXiv:2305.10429, NeurIPS 2023）:先训一个小 proxy 模型,用 Group DRO(分布鲁棒优化)在各域上学习采样权重,再用这组权重重采样训练大模型,论文报告达到相当性能时快约 2.6×。

Group DRO 目标:在各域权重 $\alpha$ 的单纯形上做极小极大,

$$\min_\theta \max_{\alpha\in\Delta}\ \sum_{i=1}^{D}\alpha_i\, L_i(\theta)$$

DoReMi 用超额损失(proxy 相对一个参考模型的 loss 差)驱动指数梯度,上调"更难/更有提升空间"的域的权重。

import numpy as np

# DoReMi:用小 proxy + Group DRO 学各域采样权重(指数梯度上升)。
# 关键:每域"超额损失"须在 *token 级* 先 clamp 再平均——
#   excess_i = mean_token( max(proxy_token_loss − ref_token_loss, 0) );
# 若在域级"先平均再 clamp",正负 token 差会被错误抵消,不忠实于原算法。
def domain_excess(proxy_tok_loss, ref_tok_loss):
    # proxy_tok_loss[i]/ref_tok_loss[i]:第 i 域的 per-token loss 数组
    return np.array([np.maximum(np.asarray(p) - np.asarray(r), 0.0).mean()
                     for p, r in zip(proxy_tok_loss, ref_tok_loss)])

def doremi_update(weights, excess, lr=1.0, smooth=1e-3):
    weights, excess = np.asarray(weights, float), np.asarray(excess, float)
    log_w = np.log(weights) + lr * excess                # 指数梯度上升
    w = np.exp(log_w - log_w.max())                      # 数值稳定 softmax
    w = w / w.sum()
    return (1 - smooth) * w + smooth / len(w)            # 平滑(论文 c≈1e-3),防域饿死

# 训练 proxy 时取各步 weights 的平均作为最终混比,再用它重采样训大模型。
def sample_domain(weights, rng):
    return rng.choice(len(weights), p=weights)

6.3 课程 (Curriculum)

按难度/长度/质量给数据排序,由易到难喂给模型,常能更稳更快收敛。后训练里常见:

• 难度课程:先简单题后难题(数学/代码尤甚)。
• 长度课程:先短序列后长序列(配合上下文窗口扩展)。
• 质量课程:先大规模中等质量、后小规模高质量(quality annealing/退火)。

6.4 质量过滤

用困惑度、奖励模型分、启发式规则、分类器给样本打分,丢弃低质;但要警惕过滤器自身的偏置(如偏好长文本)被带入数据。

7. 面试题 (Interview Questions)

L1 — 基础 (Fundamentals)

L2 — 中级 (Intermediate)

L3 — 高级 (Advanced)

[来源] 人工种子 + 开源数据 + teacher 蒸馏 + 拒绝采样自产
   ↓
[合成] Self-Instruct(广度)+ Evol-Instruct(难度)+ Magpie(规模)
   ↓
[过滤] 相似度去重(MinHash)+ 质量打分(PPL/RM/分类器)+ 启发式规则
   ↓
[去污染] 对照所有目标 benchmark 做 n-gram + 语义级检测
   ↓
[配比/课程] 领域混比(DoReMi/手工消融)+ 难度/长度课程
   ↓
[训练] SFT → 评测 → 诊断薄弱能力 → 回流补数据

附录：关键术语速查 (Glossary)

本手册仅供学习参考。涉及的论文结论与数值以原始论文为准;benchmark 分数仅用于说明,不构成横向比较。

§A 核心论文时间线 / Key Papers Timeline

• 2016-06 · Sequence-Level Knowledge Distillation — Kim & Rush, EMNLP 2016. arXiv:1606.07947 — 把知识蒸馏提升到序列级:在 teacher 解码出的序列上训练 student,替代 word-level 软标签,得到更快且有竞争力的模型,是 LLM 蒸馏数据的思想源头。

• 2021-07 · Deduplicating Training Data Makes Language Models Better — Lee et al., ACL 2022. arXiv:2107.06499 — 系统证明去除训练语料近重复可使逐字记忆下降约一个数量级,并以更少训练步达到相当/更优困惑度,奠定"去重是基础动作"的共识。

• 2022-03 · STaR: Bootstrapping Reasoning With Reasoning — Zelikman et al., NeurIPS 2022. arXiv:2203.14465 — 用模型自生成的正确 CoT 推理迭代自举;对答错题用正确答案"反推"推理也纳入训练,无需大规模人工推理标注。

• 2022-12 · Self-Instruct: Aligning LMs with Self-Generated Instructions — Wang et al., ACL 2023. arXiv:2212.10560 — 从少量种子任务 bootstrap 合成指令数据 + ROUGE-L 相似度过滤去同质化,开创低成本规模化指令数据合成范式(Alpaca 即其实例)。

• 2022-12 · Constitutional AI: Harmlessness from AI Feedback — Bai et al., preprint. arXiv:2212.08073 — 用一组"宪法原则"驱动模型自我批判+改写做 SFT,再以 AI 生成偏好标签做 RLHF(RLAIF),无害性几乎不依赖人工偏好标注。

• 2023-04 · WizardLM: Empowering LLMs to Follow Complex Instructions — Xu et al., ICLR 2024. arXiv:2304.12244 — 提出 Evol-Instruct:用 LLM 把种子指令在深度(加约束/难度)与广度(覆盖新领域)上进化,显著提升复杂指令遵循。

• 2023-05 · LIMA: Less Is More for Alignment — Zhou et al., NeurIPS 2023. arXiv:2305.11206 — 仅 1000 条精选样本(无 RLHF)微调 65B LLaMA 即可对齐,论证对齐主要是激活预训练已有能力,质量/多样性优先于数量。

• 2023-05 · DoReMi: Optimizing Data Mixtures — Xie et al., NeurIPS 2023. arXiv:2305.10429 — 用小 proxy 模型 + Group DRO 学习各域采样权重,再重采样训大模型,论文报告达相当性能快约 2.6×,把数据配比从手工调成可优化目标。

• 2023-06 · How Far Can Camels Go? (Tülu) — Wang et al., NeurIPS 2023. arXiv:2306.04751 — 系统消融 12 个指令微调数据集,结论是无单一数据集全能、需混合互补来源,并发布 Tülu 开放指令模型套件。

• 2023-06 · Textbooks Are All You Need (phi-1) — Gunasekar et al., preprint. arXiv:2306.11644 — 用"教科书质量"过滤数据 + 合成教科书/习题训练 1.3B 的 phi-1,论文报告 HumanEval pass@1 = 50.6%,论证高质量合成数据可大幅降低规模需求。

• 2023-08 · Scaling Relationship on Math Reasoning (RFT) — Yuan et al., preprint. arXiv:2308.01825 — 提出拒绝采样微调(RFT):采样多条推理只留正确且去重者做增广 SFT,并研究预训练 loss 与数据量如何共同决定数学推理能力。

• 2023-08 · Reinforced Self-Training (ReST) — Gulcehre et al., preprint. arXiv:2308.08998 — 把自训练写成 Grow(离线生成样本)/Improve(在过阈值样本上微调)双循环,采样与训练解耦,比在线 RLHF 更省算力且数据可复用。

• 2023-09 · RLAIF vs. RLHF: Scaling RLHF with AI Feedback — Lee et al., ICML 2024. arXiv:2309.00267 — 实验证明用现成 LLM 的偏好标签(RLAIF)在摘要/对话上可与 RLHF 相当,并提出 direct-RLAIF:RL 时直接向 LLM 取奖励、免独立 RM。

• 2023-10 · UltraFeedback: Boosting LMs with Scaled AI Feedback — Cui et al., ICML 2024. arXiv:2310.01377 — 对约 6.4 万条指令用多模型生成约 25.6 万个候选、GPT-4 多维度打分+评语,构造大规模 AI 反馈偏好/RM 数据,成为开源对齐的重要燃料。

• 2023-10 · Zephyr: Direct Distillation of LM Alignment — Tunstall et al., preprint. arXiv:2310.16944 — 用 dDPO(distilled DPO)直接在 UltraFeedback 的 AI 反馈上做 DPO,无任何人工标注即蒸出强对齐的 7B 模型,验证"AI 反馈 + DPO"配方。

• 2023-10 · Detecting Pretraining Data (Min-K% Prob) — Shi et al., ICLR 2024. arXiv:2310.16789 — 提出免训练成员推断 Min-K% Prob:取文本最低 k% token 的平均对数似然——成员文本该均值偏高、未见文本因含低概率 outlier 而偏低,可用于 benchmark 污染审计。

• 2024-06 · Magpie: Alignment Data Synthesis from Scratch — Xu et al., ICLR 2025. arXiv:2406.08464 — 利用对齐模型的自回归性,只喂用户轮前模板就让模型自吐指令-回答对,零种子、零人工、规模化合成对齐数据。

• 2024-11 · Tülu 3: Pushing Frontiers in Open Post-Training — Lambert et al., preprint. arXiv:2411.15124 — 开放端到端后训练配方(SFT→DPO→RLVR)与全套数据/代码,引入 RLVR 作为关键组件,系统呈现数据流水线与配比工程。