测试时扩展 (Test-Time Scaling) 速查手册

从顺序/并行扩展、搜索、验证器到计算最优分配

1. 测试时扩展总览 (Overview)

测试时扩展 (test-time scaling, TTS),又称推理时扩展 (inference-time scaling),指在不改变模型权重的前提下,通过在推理阶段投入更多计算来换取更高的准确率。它是 o1 / R1 范式的核心:模型学会"想得更久",评测口径也从"单次准确率"转向"给定算力预算下的准确率"。

训练时算力 (train-time)                 测试时算力 (test-time)
─────────────────────                  ─────────────────────
加参数 / 加数据 / 加训练步              顺序:更长的思考链 (long CoT, budget forcing)
一次投入、固定成本                ⇄     并行:多次采样 + 聚合 (BoN, self-consistency)
推理成本不变                            搜索:验证器引导的树/束搜索 (beam, MCTS)
                                        成本随预算线性/超线性增长

1.1 范式转移:训练时算力 → 测试时算力

传统 scaling law 关注训练时投入(参数、数据、步数);TTS 把另一个旋钮推到台前——单个 query 上花多少推理算力。Snell et al.（arXiv:2408.03314, ICLR 2025）系统论证:在固定 FLOPs 预算下,最优分配测试时算力(对难题搜索、对易题少采样)在某些设定下比单纯把参数放大更划算。这把"能力是否训练即得"的范式撕开一道口子:一部分能力可以在推理时"现场兑换"。

1.2 两个轴:顺序 (深度) vs 并行 (宽度)

搜索可视为顺序与并行的混合——在多条部分路径(宽度)上逐步展开(深度),用验证器决定保留哪些。

1.3 核心问题:给定算力预算如何最优分配

TTS 的中心问题不是"能不能更准",而是**"同样 N 倍算力,怎么花最值"**:

• 难度自适应:Snell 的关键发现之一是最优策略随题目难度变化——易题适合少量顺序修正,难题适合更宽的并行采样 + 搜索。
• 顺序 vs 并行的配比:并行采样吃覆盖率 (coverage),顺序修正吃深度,二者最优比例依赖任务。
• 验证器是天花板:BoN / 加权投票 / 搜索最终从候选里"挑对的"依赖验证器质量(见 §5)——没有可靠验证器,采再多也选不准(纯多数投票 self-consistency 例外,它靠答案可聚合性与多数答案是否正确)。

下面 §2–§4 逐一展开三个轴,§5 讲贯穿其中的验证器,§6 讲计算最优分配与"RL 如何教会模型用好测试时算力"。

2. 顺序扩展 (Sequential Scaling)

顺序扩展指在一条推理链上投入更多 token:想得更久、把中间步骤写全、发现错误后回头修正。

2.1 long CoT 与 "think longer"

最朴素的顺序扩展就是让模型生成更长的思维链。o1 / R1 式模型的核心观察是:经过 RL 训练后,模型在难题上会自发产生更长的推理(自我反思、列举情形、验算),且在难题上、合适预算区间内准确率随推理 token 数上升(简单题上过长反而掉点,见 §6.4)。注意这里有两层:① 模型有没有能力用好更多 token(由训练决定);② 推理时让不让它用更多 token(由解码控制决定)。§2.2 处理后者。

2.2 预算强制 budget forcing — s1

s1（Muennighoff et al., arXiv:2501.19393）提出极简的顺序扩展控制——budget forcing(预算强制):在解码时直接操纵"思考预算"。

• 想提前停但没到下限 → 抑制结束符,注入 "Wait" 让模型继续想(往往能触发自我纠错);
• 超过上限 → 强行截断思考、要求给出答案。

s1 仅用 1000 条精选推理样本做 SFT + budget forcing,就在数学推理上取得有竞争力的结果,论证了"测试时扩展可以很简单"。

# Budget forcing (s1, Muennighoff et al. 2025):解码时控制"思考预算"。
# - 想提前结束但还没到下限 token 数 → 注入 "Wait" 续写,逼模型想更久(常触发自我纠错);
# - 超过上限 → 强行停止思考、转入作答。这里用 mock 解码器演示【控制逻辑】,不含真实模型。
def budget_forcing(model_step, min_think, max_think, wait_token="Wait"):
    """model_step(prefix)->(token, wants_stop):mock 解码一步,
       返回下一个 token 文本与"模型是否想结束思考"。"""
    think_tokens, n_wait = [], 0
    while len(think_tokens) < max_think:
        tok, wants_stop = model_step(think_tokens)
        if wants_stop and len(think_tokens) < min_think:
            think_tokens.append(wait_token)   # 抑制结束、强制续写
            n_wait += 1
            continue
        if wants_stop:
            break
        think_tokens.append(tok)
    return think_tokens, n_wait

2.3 自我修正 / 修订 (self-refine) 及其局限

Self-Refine（Madaan et al., arXiv:2303.17651, NeurIPS 2023）:用同一个 LLM 在循环里"生成 → 自我批判 → 据反馈修订",无需额外训练或监督数据,在多项生成任务上提升质量。

3. 并行扩展 (Parallel Scaling)

并行扩展指独立采样多条完整解,再用某种方式聚合。天然可并行、吞吐友好,是工程上最易落地的 TTS。

3.1 best-of-N 与 self-consistency(多数投票)

两种最基础的聚合:

• Self-Consistency（Wang et al., arXiv:2203.11171, ICLR 2023）:对同一题采样多条 CoT,对最终答案做多数投票。无需验证器,只要答案可归一化比较即可,显著提升数学/常识推理。
• best-of-N (BoN):采 N 条,用验证器/RM 给每条打分,取最高分的单条。依赖验证器质量(§5)。

二者的区别:多数投票靠"答案分布的众数",BoN 靠"验证器选优"。加权 self-consistency 是中间形态——按验证器分数给每票加权再投。

from collections import defaultdict

# 三种并行聚合(Wang et al. 2022 的 self-consistency + BoN 变体):
# - majority_vote:对【最终答案】做多数投票(无需验证器);
# - weighted_vote:用 verifier/RM 分数给每票加权(加权 self-consistency);
# - best_of_n:直接取验证器分最高的单条(不投票)。
def majority_vote(answers):
    counts = defaultdict(float)
    for a in answers:
        counts[a] += 1.0
    return max(counts, key=counts.get)

def weighted_vote(answers, scores):
    counts = defaultdict(float)        # scores 设为非负(如验证器置信度 ∈ [0,1])
    for a, s in zip(answers, scores):
        counts[a] += s                 # 按验证器分数加权累加
    return max(counts, key=counts.get)

def best_of_n(answers, scores):
    return max(zip(answers, scores), key=lambda x: x[1])[0]  # 取分数最高的单条

3.2 加权投票 / verifier 重排

当有验证器时,纯多数投票会浪费信号:一条少数但高置信的正确答案可能被多数错误答案投掉。加权投票 / verifier 重排让验证器分数参与决策,通常优于纯多数投票——前提是验证器本身可靠(否则把噪声放大)。这也是为什么 §5 验证器质量是 TTS 的核心瓶颈。

3.3 覆盖率 vs 精度:pass@k 的天花板

Large Language Monkeys（Brown et al., arXiv:2407.21787）系统研究"重复采样":定义 coverage(覆盖率)= 至少有一条样本答对的题目比例,发现 coverage 随采样数在四个数量级上近似对数线性增长。但要警惕两个口径的区别:

$$\text{pass@}k = \mathbb{E}\left[1 - \binom{n-c}{k}\big/\binom{n}{k}\right]$$

• pass@k / coverage:"只要采到一条对的就算赢"——是有 oracle 验证器时的上界(知道哪条对)。
• 实际可达准确率:受限于真实验证器能否从 N 条里挑出那条对的。

4. 搜索类方法 (Search-Guided Generation)

搜索把"采样"从"采整条完整解"细化到"逐步展开 + 中途剪枝":用验证器对部分推理路径打分,只保留有希望的分支继续。它是顺序(深度)与并行(宽度)的混合。

4.1 step-level beam search 与 lookahead

把推理切成"步"(step),每步扩展若干候选下一步,用 PRM(过程奖励模型,§5)给当前部分路径打分,保留 top-B 继续——即 step-level beam search。lookahead 进一步:打分前先向前模拟 rollout 几步,用"未来"信息估计当前步的价值(更准但更贵)。

# PRM 引导的 step-level beam search:每步扩展候选下一步,用过程奖励模型(PRM)给
# 【部分推理路径】打分,保留 top-B 继续展开。path 用 step 文本列表表示。
def prm_beam_search(root, expand, prm_score, beam=2, depth=4, n_expand=3):
    """expand(path)->list[next_step];prm_score(path)->float。返回得分最高的完整路径。"""
    beams = [(prm_score([root]), [root])]
    for _ in range(depth):
        cands = []
        for _, path in beams:
            for step in expand(path)[:n_expand]:
                new_path = path + [step]
                cands.append((prm_score(new_path), new_path))
        if not cands:
            break
        cands.sort(key=lambda x: x[0], reverse=True)
        beams = cands[:beam]                 # 剪枝:只留 top-B 分支
    return max(beams, key=lambda x: x[0])

4.2 Tree of Thoughts / MCTS

• Tree of Thoughts (ToT)（Yao et al., arXiv:2305.10601, NeurIPS 2023）:把推理组织成树——节点是连贯的"想法"(thought),模型可生成多个候选想法、自评估、并用 BFS/DFS 回溯搜索,适合需要试错/规划的题。
• MCTS(蒙特卡洛树搜索):用 selection-expansion-simulation-backup 四步在推理树上分配搜索预算,把算力集中到更有希望的分支。rStar-Math（Guan et al., arXiv:2501.04519）用 MCTS + 过程奖励模型做自演化,让 1.5B–7B 的小模型在数学上达到很强水平,且不依赖从前沿模型蒸馏。

4.3 PRM 引导的搜索

无论 beam 还是 MCTS,剪枝/选择都依赖一个能给"部分路径"打分的信号——这正是 PRM(过程奖励模型)的用武之地(ORM 只能给完整解打分,无法直接指导中途剪枝;只能靠 rollout 到底间接估计部分路径价值)。搜索方法的强弱高度耦合 PRM 的质量:PRM 噪声大时,搜索会把算力浪费在被错误高估的分支上。PRM 与 ORM 的训练细节见 §5 与 reward-modeling-eval §2。

5. 验证器 (Verifiers)

验证器是 TTS 的公共瓶颈:并行要靠它重排、搜索要靠它剪枝。这里只讲验证器在测试时如何被消费;其训练(RM loss、数据构造)见 reward-modeling-eval §2。

5.1 ORM vs PRM

Let's Verify Step by Step（Lightman et al., arXiv:2305.20050, ICLR 2024）构建了 PRM800K(80 万条人工步级标注),并论证在 MATH 数学解的 BoN 重排上,过程监督的验证器优于结果监督。

5.2 自动过程标注 — Math-Shepherd

PRM 的痛点是步级标注贵。Math-Shepherd（Wang et al., arXiv:2312.08935, ACL 2024）提出无需人工的自动标注:对某一步,从它出发多次 rollout 到底,以"该步之后能走到正确答案的比例"作为这一步的过程标签,再训练 PRM。该 PRM 既可用于 BoN 重排,也可作为 PPO 的奖励。

5.3 生成式验证器 (generative verifiers)

Generative Verifiers (GenRM)（Zhang et al., arXiv:2408.15240, ICLR 2025）把验证从"判别式打分"改为**"下一个 token 预测"——让验证器生成**一段 CoT 判断"这条解对不对",再读出 yes/no 概率作为分数。好处:① 复用 LLM 的生成/推理能力做验证;② 可自身用 CoT + 多数投票扩展验证算力(验证器也能 TTS)。这是"LLM-as-judge"思路在验证场景的体现。

import numpy as np

# PRM 把"每一步的正确概率"聚合成"整条路径分"。三种常见聚合:
# - min :最弱一步决定全局(最严格,常用于步级验证);
# - prod:各步独立正确性连乘(等价于对 log 概率求和);
# - last:只看最后一步(近似结果式打分,非严格 ORM)。
def aggregate_prm(step_probs, mode="min"):
    p = np.asarray(step_probs, dtype=float)
    if mode == "min":
        return float(p.min())
    if mode == "prod":
        return float(p.prod())
    if mode == "last":
        return float(p[-1])
    raise ValueError(f"unknown mode: {mode}")

5.4 验证器的脆弱性

6. 计算最优与 RL 习得 (Compute-Optimal & RL-Learned Reasoning)

6.1 计算最优分配 — Snell et al.

Snell et al.（arXiv:2408.03314, ICLR 2025）提出compute-optimal(计算最优) test-time scaling:给定测试时算力预算,按题目难度自适应地选择策略(顺序修正 vs 并行采样 vs 搜索),而非一刀切。结论:① 难度自适应分配显著优于固定策略;② 在部分设定下,小模型 + 最优 TTS 可媲美甚至超过大数倍模型的单次推理——但这有边界,不是普适。

6.2 推理 scaling law:test-time vs 加参数的权衡

TTS 与放大参数是两种花算力的方式,各有适用区:

• TTS 更划算:基模型已有能力但常出错(coverage 高、单次准确率低)、且任务可验证/可聚合时。
• 加参数更划算:难题根本超出模型能力(coverage 低,采再多也采不到对的)、或无可靠验证器从候选里挑选时。
• 本质:TTS 兑现的是"潜力";潜力不足时,测试时算力的回报会迅速饱和。

6.3 RL 习得的 test-time scaling — o1 / R1

TTS 的方法(§2–§4)是推理时的解码/搜索策略;但模型能否用好这些算力,是训练时塑造的。这正是 o1 / R1 的意义:

• OpenAI o1（"Learning to Reason with LLMs", OpenAI, 2024-09,无 arXiv 论文)用大规模 RL 训练模型在作答前进行长思维链推理,公开展示了准确率随测试时算力提升的曲线。
• DeepSeek-R1（DeepSeek-AI, arXiv:2501.12948,后发表于 Nature 2025)用 GRPO + 可验证奖励 (RLVR) 训练长 CoT,长推理行为(自我反思、验算)随 RL 自发涌现;R1-Zero 进一步表明:在其可验证任务设置下,纯 RL(无 SFT)即可触发。

换言之:RLVR 在训练时让模型习得有效的长推理行为,TTS 在推理时把这份能力兑现并分配算力。GRPO / RLVR / R1 四阶段配方等训练侧细节见 reasoning-rl-frontier;本页聚焦推理侧方法。

6.4 开放问题

• over-thinking(过度思考):简单题上强行拉长 CoT 反而掉点、且浪费算力;如何自适应决定该想多久仍是开放问题(budget forcing 是粗粒度尝试)。
• 验证器可靠性:不可验证域(开放写作、多轮对话)缺乏可靠验证器,TTS 收益受限(§5.4)。
• 可验证域之外的泛化:RL 习得的推理多在数学/代码上训练,能否泛化到一般推理仍在研究中。
• 测试时算力的经济学:延迟与成本随预算上升,实际部署需在准确率与单 query 成本间权衡。

7. 面试题 (Interview Questions)

L1 — 基础 (Fundamentals)

L2 — 中级 (Intermediate)

L3 — 高级 (Advanced)

附录：关键术语速查 (Glossary)

本手册仅供学习参考。涉及的论文结论与数值以原始论文为准;benchmark 分数仅用于说明,不构成横向比较。

§A 核心论文时间线 / Key Papers Timeline

• 2022-03 · Self-Consistency Improves Chain of Thought Reasoning in Language Models — Wang et al., ICLR 2023. arXiv:2203.11171 — 用采样多条 CoT + 对最终答案多数投票替代贪心解码,在算术/常识推理上显著提升,是最早的并行测试时扩展之一。

• 2023-03 · Self-Refine: Iterative Refinement with Self-Feedback — Madaan et al., NeurIPS 2023. arXiv:2303.17651 — 用同一 LLM 做"生成→自我批判→修订"循环,无需额外训练即提质;后续工作指出纯内在自我纠正在无外部信号时收益有限。

• 2023-05 · Tree of Thoughts: Deliberate Problem Solving with Large Language Models — Yao et al., NeurIPS 2023. arXiv:2305.10601 — 把推理组织成树:节点为连贯"想法",支持自评估与 BFS/DFS 回溯搜索,适合需试错/规划的题(另有 Long et al. 2305.08291 同名异作)。

• 2023-05 · Let's Verify Step by Step — Lightman et al., ICLR 2024. arXiv:2305.20050 — 构建 PRM800K(80 万条人工步级标注),论证过程监督的验证器在数学解 BoN 重排上优于结果监督,确立 PRM 的价值。

• 2023-12 · Math-Shepherd: Verify and Reinforce LLMs Step-by-step without Human Annotations — Wang et al., ACL 2024. arXiv:2312.08935 — 用 rollout"该步之后走到正确答案的比例"自动构造步级标签训 PRM,无需人工标注,可用于 BoN 重排与 PPO 奖励。

• 2024-07 · Large Language Monkeys: Scaling Inference Compute with Repeated Sampling — Brown et al., preprint. arXiv:2407.21787 — 系统研究重复采样:coverage 随采样数在约四个数量级上近似对数线性增长,"采样+验证器"在代码/数学上收益大,但实际收益受验证器质量限制。

• 2024-08 · Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters — Snell et al., ICLR 2025. arXiv:2408.03314 — 提出 compute-optimal TTS:按题目难度自适应分配测试时算力,部分设定下小模型 + 最优 TTS 可媲美大数倍模型的单次推理。

• 2024-08 · Generative Verifiers: Reward Modeling as Next-Token Prediction — Zhang et al., ICLR 2025. arXiv:2408.15240 — 把奖励建模/验证改为下一个 token 预测:验证器生成 CoT 判对错并读出 yes/no 概率,可复用生成能力且验证器自身可做 TTS。

• 2024-09 · Learning to Reason with LLMs — OpenAI, blog(无 arXiv 论文,o1 系列发布)。openai.com — 公开 o1 系列:用大规模 RL 训练作答前的长思维链推理,展示准确率随测试时算力提升的曲线,引爆"推理时扩展"范式。

• 2025-01 · rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking — Guan et al., preprint. arXiv:2501.04519 — 用 MCTS + 过程奖励模型做自演化,让 1.5B–7B 小模型在数学上达到很强水平,且不依赖从前沿模型蒸馏。

• 2025-01 · s1: Simple test-time scaling — Muennighoff et al., preprint. arXiv:2501.19393 — 仅用 1000 条精选推理样本 SFT + budget forcing(注 "Wait" / 强截断控制思考预算),在数学推理上取得有竞争力结果,论证 TTS 可以很简单。

• 2025-01 · DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning — DeepSeek-AI, Nature 2025. arXiv:2501.12948 — 用 GRPO + 可验证奖励训练长 CoT,长推理行为随 RL 自发涌现(R1-Zero 纯 RL 即触发);训练侧配方见 reasoning-rl-frontier,本页聚焦推理侧。