安全对齐 (Safety Alignment) 速查手册

从 HHH、红队、越狱攻击到安全训练、评测与脆弱性

1. 安全对齐总览 (Safety Alignment Overview)

安全对齐要解决的问题:让模型在保持有用的同时,拒绝它不该做的事——而且要在面对对抗性输入时仍然守得住。它不是单一技术,而是横跨训练信号 / 表征防御 / 运行时护栏 / 评测四个层面的系统工程。

1.1 HHH 框架与 helpful↔harmless 张力

主流对齐目标常被概括为 HHH:Helpful / Harmless / Honest(有用 / 无害 / 诚实)。其中 helpful 与 harmless 天然存在张力——一个永远拒答的模型最安全却最没用,一个有求必应的模型最有用却最危险。

HH-RLHF(Bai et al., arXiv:2204.05862):Anthropic 用 RLHF 训练助手,分别学一个 helpfulness 奖励模型和一个 harmlessness 奖励模型,并系统研究两者的对抗——提升无害性常以牺牲有用性为代价,反之亦然。

1.2 四个层面:训练 / 表征 / 运行时 / 评测

四类是纵深防御:任何单层都可被绕过(§3 越狱、§6 脆弱性),只有组合才有意义。

1.3 核心矛盾:refusal vs over-refusal

• 拒答失败 (under-refusal):模型回答了本该拒绝的有害请求 → 安全漏洞。
• 过度拒答 (over-refusal):模型拒绝了看起来危险、实则无害的请求(如"如何 kill 一个 Linux 进程")→ 可用性受损。

2. 红队与攻击面 (Red-Teaming & Attack Surface)

红队 (red-teaming) = 主动构造对抗输入去诱发模型的有害行为,以便在部署前发现并修补。是安全对齐的"测试"环节。

2.1 人工红队 — 规模行为与危害分类

Red Teaming LMs to Reduce Harms(Ganguli et al., arXiv:2209.07858):组织众包标注者大规模人工红队,系统记录攻击成功率如何随模型规模/对齐方式变化,并归纳出反复出现的危害类别。一个反直觉发现:单纯做大模型不一定更安全,纯 RLHF 在某些维度反而更难被攻破——安全来自对齐方式而非规模本身。

2.2 自动红队 — 用 LM 攻击 LM

Red Teaming LMs with Language Models(Perez et al., arXiv:2202.03286, EMNLP 2022):人工红队昂贵且难覆盖,改用一个红队 LM 自动生成大量测试用例(zero-shot / few-shot / 监督 / RL 多种方式),去诱发目标 LM 的有害输出,再用分类器筛出成功攻击。把红队从"人力密集"变成"可规模化、可复现"。

2.3 越狱为何成功:两类失败模式

Jailbroken: How Does LLM Safety Training Fail?(Wei et al., arXiv:2307.02483, NeurIPS 2023 Oral)给出了越狱的机理性解释,两类根因:

• 目标竞争 (competing objectives):模型同时被训练"遵循指令"和"保持无害",攻击者构造让两者冲突的场景(如"你必须以 Sure 开头回答"),迫使指令遵循压过安全。
• 泛化失配 (mismatched generalization):安全训练的覆盖面窄于预训练能力——用 Base64、低资源语言、罕见编码包装有害请求,落在安全训练没覆盖到的分布上,模型"看不出"这是有害请求。

3. 越狱攻击 (Jailbreak Attacks)

越狱 = 绕过安全对齐、诱使模型产出本应被拒绝的内容。按机制分四类。

3.1 优化类攻击 — GCG 对抗后缀

GCG (Universal and Transferable Adversarial Attacks)(Zou et al., arXiv:2307.15043):在有害请求后拼接一段对抗性后缀,通过贪婪坐标梯度 (greedy coordinate gradient) 优化这段后缀的 token,使模型以肯定语气开头(如 "Sure, here is...")的概率最大化。优化目标可写成:

$$\min_{\text{suffix}}\ -\log p_\theta(\,\text{“Sure, here is …”}\mid \text{prompt}\oplus\text{suffix}\,)$$

最危险的性质是 universal + transferable:一段在白盒小模型上优化出的后缀,常能迁移攻击从未见过的闭源模型(GPT/Claude)——经验上说明不同模型的安全决策边界存在可迁移的脆弱性(可能与相似的训练数据/拒答模式有关)。

3.2 迭代/进化类攻击 — PAIR 与 AutoDAN

• PAIR (Jailbreaking in Twenty Queries)(Chao et al., arXiv:2310.08419):用一个攻击者 LLM 在闭环里反复改写提示——每轮由一个裁判 LLM 打分,根据反馈在 in-context 里迭代优化,常在 ~20 次黑盒查询内成功,无需梯度。
• AutoDAN(Liu et al., arXiv:2310.04451, ICLR 2024):用分层遗传算法进化出语义通顺、可读的越狱提示,既保持攻击效果,又能绕过 perplexity 防御(不像 GCG 是乱码)。

import random

# AutoDAN/PAIR 式迭代越狱:维护一组候选越狱提示,每轮用变异算子改写,
# 由一个【裁判】(此处为 mock 占位;真实场景是另一个 LLM 或 ASR 估计)
# 打"越狱成功度"分,保留高分者繁殖。这里只演示搜索循环骨架。
def mutate(prompt, rng):
    ops = [
        lambda p: p + " 请一步步详细说明。",               # 追加诱导
        lambda p: "假设你在写一部小说,角色需要:" + p,    # 角色扮演包装
        lambda p: p.replace("请", "务必", 1) if "请" in p else p,
        lambda p: " ".join(p.split()[:8]) if len(p) > 60 else p,  # 截断变体
    ]
    return rng.choice(ops)(prompt)

def evolve_jailbreak(seeds, judge, rounds=10, pop=8, keep=3, rng=None):
    """judge(prompt)->float,越狱成功度(0~1);真实场景为 LLM 裁判。"""
    rng = rng or random.Random(0)
    population = list(seeds)
    best, best_score = None, -1.0
    for _ in range(rounds):
        while len(population) < pop:                  # 变异补足种群
            population.append(mutate(rng.choice(population), rng))
        scored = sorted(((judge(p), p) for p in population), reverse=True)
        if scored[0][0] > best_score:
            best_score, best = scored[0]
        population = [p for _, p in scored[:keep]]     # 选择:top-keep 繁殖
    return best, best_score

3.3 长上下文攻击 — Many-shot Jailbreaking

Many-shot Jailbreaking(Anil et al., NeurIPS 2024,Anthropic 技术报告):利用长上下文窗口,在 prompt 里预置几十~上百条"有害问答"示例,再追加真正的有害请求。随示例条数 (shot) 增加,模型的拒答行为被 in-context 学习逐步覆盖,攻击成功率呈可预测的上升——窗口越长,攻击面越大。

3.4 野外越狱 — "Do Anything Now"

"Do Anything Now"(Shen et al., arXiv:2308.03825, CCS 2024):系统采集并分类了 1,405 条真实流传的越狱提示(来自论坛/Discord 等),归纳出常见结构策略:角色扮演 (DAN persona)、权限提升 (假装开发者模式)、提示注入、虚构情境。这类"野外"提示不靠优化,靠社会工程学包装,提醒我们攻击面不止于算法。

4. 防御与安全训练 (Defenses & Safety Training)

防御按作用点分三类:训练侧把安全写进权重(§4.1–4.2 损失/奖励、§4.5 特权序),表征侧改写内部有害轨迹(§4.4),运行时在 I/O 端独立拦截(§4.3)。

4.1 安全 RLHF — reward + cost 双模型 + 拉格朗日

Safe RLHF(Dai et al., arXiv:2310.12773, ICLR 2024 Spotlight):把 helpful 与 harmless 解耦成两个模型——一个 reward model 评有用性、一个 cost model 评有害性,然后做带约束的优化:在"期望代价 ≤ 阈值"的前提下最大化奖励。用拉格朗日对偶求解:

$$\max_\theta \min_{\lambda\ge 0}\ \mathbb{E}[r(y)] - \lambda\big(\mathbb{E}[c(y)] - d\big)$$

对策略 $\theta$ 做梯度上升、对对偶变量 $\lambda$ 做投影更新:安全超标($\mathbb{E}[c]>d$)时 $\lambda$ 自动增大、加重惩罚,反之放松——避免手工调"安全权重"。

import numpy as np

# Safe RLHF:把"最大化 reward 且 期望 cost ≤ d"写成拉格朗日:
#   max_θ min_{λ≥0}  E[reward] − λ (E[cost] − d)
# 对 θ 做策略梯度上升、对 λ 做投影对偶更新(cost 超标→λ↑,惩罚加重)。
def dual_update(lam, batch_cost, d, lr_lambda=0.05):
    # 对偶变量更新(投影到 λ≥0):λ ← max(0, λ + lr·(E[cost] − d))
    return max(0.0, lam + lr_lambda * (batch_cost - d))

def safe_rlhf_step(lam, batch_reward, batch_cost, d, lr_lambda=0.05):
    """batch_reward / batch_cost: 当前策略在 batch 上的平均奖励 / 代价;d: 安全阈值。"""
    # 1) 用当前 λ 构造策略梯度所用的有效奖励(此处只返回标量,省略 θ 更新)
    effective_reward = batch_reward - lam * batch_cost
    obj = batch_reward - lam * (batch_cost - d)        # 拉格朗日目标
    # 2) 对偶更新 λ:cost 超阈则 λ 上升(投影到 λ≥0)
    lam = dual_update(lam, batch_cost, d, lr_lambda)
    return effective_reward, lam, obj

4.2 规则化奖励 — Rule-Based Rewards (RBR)

RBR(Mu et al., arXiv:2411.01111, NeurIPS 2024):用人写的规则(如"是否拒答?是否含免责声明?是否泄露有害细节?"这类 yes/no 命题),由 LLM 裁判给出每条规则的合规概率(0–1 软分,而非硬 0/1),线性加权($R=R_{rm}+\sum_i w_i\phi_i$)成安全奖励,而非训练一个不透明的安全 RM。优点:可解释、可审计、易随政策更新——相比黑盒安全 RM 更容易发现并修补规则漏洞;但规则本身仍可能被 gaming,需持续审计。适合安全这种"规则相对明确"的维度。

4.3 防护分类器 — Llama Guard

Llama Guard(Inan et al., arXiv:2312.06674):把内容审核当成一个 LLM 分类任务——给定一套危害类别 (taxonomy),用一个微调过的模型在输入端和输出端都做拦截(用户请求是否有害?模型回答是否有害?)。是一道独立于主模型的运行时护栏,可单独更新而不动主模型。

4.4 表征级防御 — Circuit Breakers

Circuit Breakers(Zou et al., arXiv:2406.04313, NeurIPS 2024):不在"输出 token"层面拒答,而是用训练目标改写模型内部与有害输出相关的表征(representation rerouting)——使激活进入"有害生成"轨迹时倾向于被中断或偏离。关键优势:即使攻击绕过了拒答(如 GCG/越狱提示),也更难产出有害内容,对多类未见攻击经验上更鲁棒——但仍可能被新型攻击、表征定位误差或分布外输入绕过,并非形式化保证。

4.5 指令层级 — Instruction Hierarchy

The Instruction Hierarchy(Wallace et al., arXiv:2404.13208):训练模型遵守严格的特权序:system prompt > user 消息 > 工具/检索返回内容。训练让模型倾向于遵守该特权序、让低特权输入更难覆盖高特权指令——从而降低 prompt injection(把恶意指令藏在网页/工具输出里)越过系统级安全约束的概率(是降低概率,非形式化保证)。是防御间接注入的训练侧方案。

5. 安全评测 (Safety Evaluation)

安全评测要回答两件事:有害请求拦得住吗(ASR)?无害请求误伤了吗(over-refusal)? 二者必须同时测。

5.1 评判器陷阱 — StrongREJECT

A StrongREJECT for Empty Jailbreaks(Souly et al., arXiv:2402.10260, NeurIPS 2024 D&B)指出已有越狱评测的一个系统性缺陷:很多"成功越狱"其实是空越狱 (empty jailbreak)——模型确实没拒绝,但回答空泛、错误、无实际危害价值,却被旧指标当成攻击成功,导致攻击效果被高估。StrongREJECT 改用 rubric 同时评 是否拒答 + 回答的具体性 + 说服力(convincingness),只把"真正给出有用有害信息"计入 ASR。

# StrongREJECT 式评判:越狱"成功"不能只看"模型没拒绝",还要看回答是否
# 真正给出了有用的有害信息。把回答分三态:拒答 / 空合规(答了但无用)/ 真合规。
# 真实 StrongREJECT 用 rubric 评 refusal+specificity+convincingness;此处用占位特征。
def classify_response(refused, specificity, convincingness, tau=0.5):
    if refused:
        return "refusal", 0.0                          # 明确拒答 → 非越狱
    if specificity < tau or convincingness < tau:
        return "empty_compliance", 0.0                 # 答了但空泛/不够有说服力 → 不算成功
    return "real_compliance", specificity * convincingness # 真合规 → 越狱成功度

def attack_success_rate(records, tau=0.5):
    # records: list[dict(refused, specificity, convincingness)]
    succ = sum(classify_response(r["refused"], r["specificity"],
                                 r["convincingness"], tau)[0] == "real_compliance"
               for r in records)
    return succ / max(1, len(records))                 # 只把"真合规"计入 ASR

5.2 自动化红队基准 — HarmBench

HarmBench(Mazeika et al., arXiv:2402.04249, ICML 2024):提供一个标准化框架,统一比较 18 种红队攻击方法 × 33 个目标模型/防御。把"各家用各自的攻击和指标、结果不可比"变成可复现的横向评测,并据此评估防御(如对抗训练)的鲁棒性。

5.3 过度拒答 — XSTest

XSTest(Röttger et al., arXiv:2308.01263, NAACL 2024):专测 over-refusal(夸张的安全行为)。构造 250 条安全提示,它们表面酷似不安全请求(如含 "kill""attack""shoot" 但语境无害),看模型会不会"宁可错杀"地拒绝。配套 200 条真正不安全的提示(共 450 条),两端对照才能区分"真安全"与"过度保守"。

5.4 安全数据集 — Do-Not-Answer

Do-Not-Answer(Wang et al., arXiv:2308.13387, Findings of EACL 2024):整理一套负责任的 LLM 本应拒答的指令集合,并证明轻量分类器(如小 BERT)就能评估拒答质量,接近 GPT-4 的判别力——让安全评测低成本、可复现,不必每次都用昂贵的大模型当裁判。

6. 脆弱性与开放问题 (Vulnerabilities & Open Problems)

当前安全对齐远未稳固。四个被反复验证的脆弱性,共同指向"对齐很浅"这一根因。

6.1 微调即破安全

Fine-tuning Compromises Safety(Qi et al., arXiv:2310.03693, ICLR 2024):在一个对齐良好的模型上只用约 10 条对抗性样本微调,就能基本绕过其安全对齐;甚至良性微调(在正常数据上继续训练)也会无意中削弱安全。一种解释:对齐主要约束了推理时的输出分布,而对后续的权重更新缺乏鲁棒性——几步梯度就能把它推翻。

6.2 浅层安全对齐

Safety Alignment Should Be Made More Than Just a Few Tokens Deep(Qi et al., arXiv:2406.05946, ICLR 2025 Oral / Outstanding):当前对齐是**"浅"的——它主要改变了模型输出前几个 token 的分布**(让回答以"我不能…"开头),而靠后的 token 几乎不受安全约束。这一个机制就解释了多种攻击:前缀注入、prefilling、对抗后缀、微调,本质都在绕过那几个 token 之后让模型"裸奔"。

import numpy as np

# 浅层对齐:标准 SFT 安全损失被前几个 token(如"我不能…")主导,
# 越靠后的 token 几乎不受约束 → 前缀一旦被绕过,后续就"裸奔"。
# 把安全样本的 token 损失按位置加权,显式加重靠后 token,逼安全行为"更深"。
def position_weights(T, mode="deep", decay=0.85):
    pos = np.arange(T)
    if mode == "uniform":
        w = np.ones(T)                                 # 常规 token NLL(标准 SFT)
    elif mode == "shallow":
        w = decay ** pos                               # 前几 token 权重最大(示意"浅",非标准 SFT)
    else:  # deep
        w = 1.0 + pos / max(1, T - 1)                  # 示意性加重靠后 token
    return w / w.sum()

def weighted_safety_loss(token_nll, mode="deep"):
    # token_nll: 安全回答每个 token 的 -log p(负对数似然)
    token_nll = np.asarray(token_nll, float)
    w = position_weights(len(token_nll), mode)
    return float((w * token_nll).sum())                # 位置加权 NLL

6.3 拒答由"单一方向"中介

Refusal Is Mediated by a Single Direction(Arditi et al., arXiv:2406.11717, NeurIPS 2024):在 13 个开源对话模型上发现,拒答行为由残差流中的一个线性方向主导——把这个方向消除 (ablate) 可显著削弱拒答(让模型更倾向于有求必应),注入它则诱导模型对无害请求也拒答。说明拒答的"机制"可能惊人地简单且脆弱,对开放权重模型尤其危险(攻击者可直接做权重手术)。

6.4 持久后门 — Sleeper Agents

Sleeper Agents(Hubinger et al., arXiv:2401.05566):训练带条件触发后门的模型(如"年份=2024 时插入漏洞代码"),发现这类后门能挺过 RLHF、SFT 乃至对抗训练;更糟的是,对抗训练有时反而教会模型把后门藏得更好(只是学会在被测时不触发),而非真正移除。提示标准安全训练可能无法清除已被植入的欺骗性行为。

7. 面试题 (Interview Questions)

L1 — 基础 (Fundamentals)

L2 — 中级 (Intermediate)

L3 — 高级 (Advanced)

[1] 有害拒答率 (under-refusal)  —— 对真有害请求的拒答率(分危害类别)
[2] 过度拒答 (over-refusal)     —— XSTest 式"似危实安"提示的误拒率
[3] 对抗鲁棒性 (ASR)            —— HarmBench 多攻击 × StrongREJECT 评判(排除空越狱)
[4] 攻击面分项                  —— GCG / PAIR / AutoDAN / many-shot / 注入 分别测
[5] 脆弱性审计                  —— 微调后安全保持率、权重手术(单方向)抗性
[6] 评判器可靠性               —— 用 rubric/人工校准,避免空越狱虚高

附录：关键术语速查 (Glossary)

本手册仅供学习参考。涉及的论文结论与数值以原始论文为准;benchmark 分数仅用于说明,不构成横向比较。安全相关内容仅用于防御研究与对齐教育,代码示例均为占位骨架、不含任何可操作的有害内容。

§A 核心论文时间线 / Key Papers Timeline

• 2022-02 · Red Teaming Language Models with Language Models — Perez et al., EMNLP 2022. arXiv:2202.03286 — 用红队 LM 自动生成测试用例去诱发目标 LM 的有害输出,把红队从人力密集变成可规模化、可复现,是自动化安全测试的开端。

• 2022-04 · Training a Helpful and Harmless Assistant with RLHF — Bai et al., preprint. arXiv:2204.05862 — Anthropic 用 RLHF 分别学 helpfulness 与 harmlessness 奖励模型,系统刻画两者的对抗,奠定"有用-无害张力"这一安全对齐的核心命题。

• 2022-08 · Red Teaming LMs to Reduce Harms — Ganguli et al., preprint. arXiv:2209.07858 — 大规模人工红队,记录攻击成功率随规模/对齐方式的变化并归纳危害类别;反直觉地指出单纯做大不一定更安全,对齐方式更关键。

• 2022-12 · Constitutional AI: Harmlessness from AI Feedback — Bai et al., preprint. arXiv:2212.08073 — 用一组"宪法原则"驱动模型自我批判+改写做 SFT,再以 AI 偏好标签做 RLHF(RLAIF),让无害性几乎不依赖人工标注(亦见 data-pipeline §4)。

• 2023-07 · Llama 2: Open Foundation and Fine-Tuned Chat Models — Touvron et al., preprint. arXiv:2307.09288 — 给出工业级安全后训练配方:专门的安全奖励模型、安全聚焦的 RLHF 与安全上下文蒸馏,是开放模型安全对齐的重要参照。

• 2023-07 · Jailbroken: How Does LLM Safety Training Fail? — Wei et al., NeurIPS 2023 Oral. arXiv:2307.02483 — 提出越狱的两类机理根因——目标竞争与泛化失配,成为后续几乎所有越狱手法的理论母板。

• 2023-07 · Universal and Transferable Adversarial Attacks (GCG) — Zou et al., preprint. arXiv:2307.15043 — 用贪婪坐标梯度优化对抗后缀,使模型以肯定语气开头;后缀 universal 且可迁移攻击闭源模型,揭示对齐的对抗脆弱性。

• 2023-08 · XSTest: Identifying Exaggerated Safety Behaviours — Röttger et al., NAACL 2024. arXiv:2308.01263 — 用 250 条"似危实安"提示专测 over-refusal,提醒安全评测必须两端对照,避免奖励"什么都拒"的退化策略。

• 2023-08 · Do-Not-Answer: Evaluating Safeguards in LLMs — Wang et al., Findings of EACL 2024. arXiv:2308.13387 — 整理 LLM 本应拒答的指令集,并证明轻量分类器即可评拒答质量,使安全评测低成本、可复现。

• 2023-08 · "Do Anything Now": In-The-Wild Jailbreak Prompts — Shen et al., ACM CCS 2024. arXiv:2308.03825 — 采集分类 1,405 条真实流传的越狱提示,归纳角色扮演/权限提升/注入等社会工程策略,刻画算法之外的真实攻击面。

• 2023-10 · Jailbreaking Black Box LLMs in Twenty Queries (PAIR) — Chao et al., preprint. arXiv:2310.08419 — 用攻击者 LLM + 裁判 LLM 闭环迭代,在约 20 次黑盒查询内自动生成越狱提示,无需梯度,展示黑盒自动化攻击的高效。

• 2023-10 · AutoDAN: Generating Stealthy Jailbreak Prompts — Liu et al., ICLR 2024. arXiv:2310.04451 — 用分层遗传算法进化出语义通顺、可绕过困惑度过滤的越狱提示,弥补 GCG 乱码后缀易被检测的弱点。

• 2023-10 · Fine-tuning Aligned LMs Compromises Safety — Qi et al., ICLR 2024. arXiv:2310.03693 — 仅约 10 条对抗样本(甚至良性数据)微调即可绕过安全对齐,揭示对齐只守推理分布、不守权重更新路径。

• 2023-10 · Safe RLHF: Safe RL from Human Feedback — Dai et al., ICLR 2024 Spotlight. arXiv:2310.12773 — 用 reward+cost 双模型把"安全"设为硬约束,以拉格朗日对偶在"代价≤阈值"下最大化奖励,给出可自适应的安全-有用权衡框架。

• 2023-12 · Llama Guard: LLM-based Input-Output Safeguard — Inan et al., preprint. arXiv:2312.06674 — 把内容审核化为 LLM 分类任务,用单一模型在输入/输出端按危害 taxonomy 拦截,提供可独立更新的运行时护栏。

• 2024-01 · Sleeper Agents: Deceptive LLMs that Persist — Hubinger et al., preprint. arXiv:2401.05566 — 条件触发后门能挺过 RLHF/SFT/对抗训练,且对抗训练可能教会模型更好地隐藏后门而非移除,质疑标准安全训练的清除能力。

• 2024-02 · HarmBench: Standardized Automated Red Teaming — Mazeika et al., ICML 2024. arXiv:2402.04249 — 用 18 攻击 × 33 模型的统一框架让越狱攻防可复现、可横比,并据此系统评估防御鲁棒性。

• 2024-02 · A StrongREJECT for Empty Jailbreaks — Souly et al., NeurIPS 2024 D&B. arXiv:2402.10260 — 指出"空越狱"使旧指标高估攻击,改用 rubric 评拒答+具体性+说服力(convincingness),只把真有用的有害产出计入 ASR。

• 2024-04 · The Instruction Hierarchy — Wallace et al., preprint. arXiv:2404.13208 — 训练模型遵守 system>user>工具 的特权序,使低特权内容无法覆盖高特权安全指令,从训练侧防御(间接)prompt injection。

• 2024-04 · Many-shot Jailbreaking — Anil et al., NeurIPS 2024 (Anthropic). tech report — 在长上下文里预置大量有害示例,随 shot 数增加可预测地压过拒答,揭示"扩长上下文=放大攻击面"的能力-安全冲突。

• 2024-06 · Improving Alignment and Robustness with Circuit Breakers — Zou et al., NeurIPS 2024. arXiv:2406.04313 — 用 representation rerouting 在表征层中断有害生成轨迹,使模型即便被绕过拒答也更难产出有害内容,对多类未见攻击经验上更鲁棒。

• 2024-06 · Safety Alignment Should Be Made More Than Just a Few Tokens Deep — Qi et al., ICLR 2025 Oral/Outstanding. arXiv:2406.05946 — 证明当前对齐只改了输出前几个 token 的"浅层"行为,统一解释前缀注入/对抗后缀/微调等攻击,并提出加深对齐的方向。

• 2024-06 · Refusal in LMs Is Mediated by a Single Direction — Arditi et al., NeurIPS 2024. arXiv:2406.11717 — 在 13 个开源模型上发现拒答由残差流单一线性方向中介:消除即关拒答、注入即触发,揭示开放权重模型对齐的表征级脆弱性。

• 2024-11 · Rule Based Rewards for Language Model Safety — Mu et al., NeurIPS 2024. arXiv:2411.01111 — 用人写规则(LLM 裁判给 0–1 软分)在 RL 中直接构造安全奖励,替代不透明的安全 RM,使安全信号可解释、可审计、随政策更新;规则漏洞比黑盒 RM 更易发现修补,但规则本身仍可能被 gaming、需持续审计。