LLM Post-training 完全指南

引论：从语言建模到"听话的助手"

"Language modeling ≠ assisting users." — Diyi Yang, CS224N 2026

要理解 post-training 的必要性，先看一个经典的"对齐缺口"案例：

原始 GPT-3 把 prompt 当作"下一个 token 预测"任务——它认为最自然的延续是列举更多类似的问题， 因为预训练语料里就是这样写的。它根本没意识到用户想要的是"回答"，而不是"补全"。

这就是 Ouyang et al. (2022) 在 InstructGPT 论文里强调的核心问题： "Language models are not aligned with user intent." 预训练让模型学到了关于世界的大量知识与语言模式，但预训练目标（next-token prediction）和用户真实意图（被帮助、被回答）之间存在系统性鸿沟。

Post-training 的演化路径

弥合这一鸿沟的技术，被统称为 post-training（也叫 alignment、preference learning、RLHF + SFT pipeline）。 2018-2026 年的演化路径如下：

每一步都试图解决前一步遗留的问题：

本教材将按"SFT → RLHF → DPO/GRPO → 偏好数据伦理"的顺序，把每一步的数学、工程和直觉都展开到研究生级别。

第一部分：指令微调（SFT / IFT）

1.1 Pretraining/Finetuning 范式回顾

2018-2020 年的主导范式是"pretrain + 单任务 finetune"：

但这种方式的弱点是每个任务都需要重新微调一个模型，参数副本数量爆炸； 而且即使有了模型，用户依然得用"任务格式"的输入和它互动——这不是真正的"通用助手"。

1.2 Scaling up finetuning：从单任务到 1000+ 任务

2021 年开始的关键洞察：把许多任务用统一的"指令 + 输入 → 输出"格式包装，然后一次性微调一个模型。 这就是instruction finetuning (IFT)，也叫 multitask finetuning。

形式化地说，给定 prompt $x$（包含任务指令）和期望输出 $y$，SFT 目标就是最大化条件似然：

典型的 IFT 数据例子

Super-NaturalInstructions

Super-NaturalInstructions（Wang et al., 2022）是这一时期最有影响力的数据集之一： 1,616 个任务、3M+ 样本，涵盖分类、序列标注、改写、翻译、QA、生成等。 任务来源是把社区中已有的所有 NLP benchmark 用统一指令模板包装。

1.3 FLAN-T5 与"越大越能涨"

FLAN-T5（Chung et al., 2022）是 instruction finetuning 的标志性成果： 基于 T5 encoder-decoder 架构，在 1,836 个额外任务上 finetune。 其结果展示了一个重要的"指令微调 scaling law"：

关键观察：模型越大，instruction finetuning 的收益越大（Δ 单调上升）。 这与"scaling laws"的一般规律一致——更大的模型对 task supervision 有更强的吸收能力。

SFT 真的让模型"会"了吗？

来看 BIG-Bench Hard 的 Disambiguation QA 任务：

1.4 评估：MMLU 与 BIG-Bench

为了评估 instruction-tuned 模型在未见过任务上的泛化能力，社区引入了两个大型多任务基准：

1.5 开源数据集生态：Alpaca / Self-Instruct

LLaMA 在 2023 年初开源后，社区掀起了一波"如何低成本造 IFT 数据"的浪潮。核心思路： 让一个强 LLM 自动生成指令数据（self-instruct, Wang et al. 2022）。

Alpaca 仅用约 600 美元的 OpenAI API 成本，就训出了一个在小规模实验中"接近 text-davinci-003"的模型。 这开启了开源 LLM 的"百花齐放"时期：

• Alpaca (Stanford, 2023): LLaMA-7B + 52k Self-Instruct
• Vicuna (LMSYS, 2023): LLaMA + ShareGPT 对话数据
• Dolly (Databricks, 2023): 由 5,000 名员工手工撰写 15k 指令
• OASST (LAION, 2023): 开源众包，社区贡献
• WizardLM: Evol-Instruct，让 LLM 把简单指令"进化"得更难
• Orca: 用 GPT-4 的"解释步骤"做蒸馏
• OpenOrca / RedPajama-INCITE / MPT-Instruct / XGen-Instruct…

1.6 LIMA：少即是多

LIMA（Less Is More for Alignment, Zhou et al., 2023）做了一个反直觉的实验： 只用 1,000 条精心挑选的高质量指令样本微调 LLaMA-65B， 然后人类盲评 vs Alpaca-65B / DaVinci003 / BARD / Claude / GPT-4。

LIMA 数据组成：

• Stack Exchange (STEM): 200 + Stack Exchange (Other): 200
• wikiHow: 200
• Pushshift r/WritingPrompts: 150
• Natural Instructions: 50
• Paper Authors (Group A): 200

1.7 SFT 的两大根本局限

SFT 已经能让模型"听懂指令"，但它在两个层面上有结构性缺陷：

这就引出了下一节：能否找到一种方式，不需要 token 级别的精确监督， 而是直接告诉模型"这个回答整体上更好"？答案是强化学习。

第二部分：RLHF（从人类偏好做强化学习）

2.1 形式化：最大化期望奖励

假设我们在做摘要任务。对每个 LM 生成的摘要 $s$，假装我们已经有了一个人类奖励函数 $R(s) \in \mathbb{R}$（越高越好）。

RLHF 的核心训练目标是最大化模型采样的期望奖励：

要做梯度上升：

两个根本困难：

1. 怎么估计期望？枚举所有可能的 $s$ 是天文数字（$|V|^T$ 个，$V$ 是词表，$T$ 是序列长度）。
2. $R$ 不可微怎么办？反向传播无法穿过黑盒 reward。

答案是 policy gradient（策略梯度）方法——特别是它的鼻祖 REINFORCE（Williams, 1992）。

2.2 RL 简史与"LM × RL"为何 2020 才热

• 1990s: Williams 提出 REINFORCE、Sutton & Barto 出版 RL 教科书。
• 2013: DeepMind 的 DQN 在 Atari 游戏上达到人类水平，深度 RL 复兴。
• 2015-2016: AlphaGo 击败李世石，RL 进入公众视野。
• 2017: PPO（Schulman et al.）发布，大幅改善 RL 的训练稳定性。
• 2019-2020: Ziegler et al. 和 Stiennon et al. 把 RLHF 引入 LM 微调。
• 2022: InstructGPT / ChatGPT 让 RLHF 成为 LLM 标配。
• 2023: DPO 出现，挑战 PPO 的统治地位。
• 2024: GRPO（DeepSeek-Math）证明 RL 在数学推理上仍有不可替代价值。

为什么 LM + RL 直到 2020 才真正流行？三个原因：(1) PPO 等算法让大型神经网络的 RL 训练更稳定； (2) 算力到位后才能负担"采样 + 评分 + 梯度更新"的三步管线； (3) Transformer 让 LM 第一次有了"调优空间"——之前的 RNN LM 在 RL 中过于脆弱。

2.3 REINFORCE 与 log-derivative trick 完整推导

这是整个 RLHF 的数学心脏。我们要计算：

展开期望的定义（先把它当离散；连续情形把求和换积分）：

但 $\nabla_\theta p_\theta(s)$ 是对概率本身求梯度，不能直接当作期望对数似然梯度。 关键技巧叫 log-derivative trick（也叫 likelihood-ratio trick / score function estimator）：

vanilla REINFORCE 的问题

2.4 PPO：信任域 + clip

PPO（Proximal Policy Optimization, Schulman et al., 2017）是当前最广泛使用的策略梯度算法。 核心思想：每次更新都限制新策略不能离旧策略太远，用 clip 操作做硬约束。

三个关键量

这个 clip 到底在做什么？

分情形理解：

• $A > 0$（这是个好样本）：我们想增加 $p_\theta(s_i)$。但如果新策略已经把它推得超过 $1+\epsilon$ 倍，clip 上限就生效——不再继续 reward，避免"贪心"过度。
• $A < 0$（这是个坏样本）：我们想降低 $p_\theta(s_i)$。但如果新策略已经把它打到不足 $1-\epsilon$ 倍，clip 下限生效——不再继续惩罚，避免崩溃。
• $|r_t - 1| < \epsilon$（小幅更新区）：clip 没作用，正常梯度上升。

取 min 的作用是保证：clip 只在"对优化器更保守"的方向上生效。换句话说，PPO 牺牲一点训练速度换取稳定性。

2.5 Reward Model：Bradley-Terry 与成对比较

RLHF 的另一半挑战：$R(s)$ 怎么来？ 直接让人类对每个样本打分有两大问题：

Bradley-Terry 模型（1952）

设我们有一组成对偏好数据 $\mathcal{D} = \{(s^w, s^l)\}$，其中 $s^w$ 是 winner，$s^l$ 是 loser。 Bradley-Terry 假设每个候选 $s$ 有一个潜在分数 $RM(s)$，人类选 $s^w$ 优于 $s^l$ 的概率是：

训练 reward model 就是最大化这个似然，等价于最小化负对数似然：

RM 的架构

通常 $RM_\phi$ 是一个 LLM（如 LLaMA、GPT），在最后加一个标量回归头： 取最后一个 token 的隐状态，过一个线性层得到 $RM_\phi(s) \in \mathbb{R}$。 RM 通常用 SFT 模型初始化，然后在偏好数据上 finetune。

2.6 RM 能 work 吗？scaling 实验

Stiennon et al. (2020) 在摘要任务上做了一个关键实验：随着 RM 规模和训练数据量增加， 它预测"held-out 人类偏好"的准确率如何变化？

两个关键结论：

1. RM 是可 scale 的——大模型 + 多数据持续提升预测准确率。
2. 足够大的 RM（10B 参数 + 64k 数据）能达到单个人类标注员水平。但仍无法超越"多个人类共识"——意味着 RM 学到了"平均人类"的偏好，而非更准确的"集体智慧"。

2.7 完整 RLHF 目标：RM + KL 锚

有了 RM，还差最后一步。如果直接用 PPO 最大化 $\mathbb{E}[RM_\phi(s)]$，会出现两个灾难：

1. Reward Hacking：模型找到 RM 的漏洞，生成 RM 高分但人类讨厌的输出。
2. 分布漂移：模型偏离预训练分布太远，丧失通用能力。

解决方案：加一个 KL 散度惩罚，把模型"锚定"在预训练 LM 附近。

为什么是 KL？KL 散度 $\mathrm{KL}(p \| q) = \sum_s p(s) \log\frac{p(s)}{q(s)}$ 衡量两个分布的差异。 加 KL 惩罚等价于"软"约束："你可以更新，但不能跑得太远"。

2.8 RLHF 三步流水线

按 InstructGPT 论文 (Ouyang et al., 2022) 的描述：

1. Step 1: SFT (Supervised Fine-Tuning)。从 prompt dataset 采样 prompt，标注员写"理想回答"，作监督数据微调 GPT-3 → 得到 SFT model $p^{\text{SFT}}$。
2. Step 2: RM Training。对每个 prompt，让 SFT model 采样多个回答；标注员排序；用 Bradley-Terry 损失训 reward model $RM_\phi$。
3. Step 3: PPO RLHF。初始化 policy LM 为 $p^{\text{SFT}}$；用 PPO 优化奖励 $RM_\phi(s) - \beta \log\frac{p^{\text{RL}}}{p^{\text{PT}}}$；更新策略；继续采样、评分、更新。

2.9 实证：RLHF 比 SFT 强多少？

Stiennon et al. (2020) 在摘要任务上做了 head-to-head 评测： 不同方法生成的摘要被人类喜欢的比例（vs 参考摘要）：

关键观察：1.3B 的 RLHF 模型甚至超过了 12.9B 的 SFT 模型。 也就是说，RLHF 带来的能力提升相当于 10× 模型规模的增长——这就是为什么 OpenAI、Anthropic、Google 等 都将 RLHF 视为产品化的必经之路。

第三部分：InstructGPT 与 ChatGPT

3.1 InstructGPT：30k 任务 RLHF 大规模化

InstructGPT（Ouyang et al., 2022）是 RLHF 第一次被大规模、严肃地应用到一个商业 LLM 上。 它建立在 GPT-3 之上，遵循前述的三步 pipeline，但关键的规模放在 Step 1 的 prompt 数据集—— 30,000+ 任务的真实用户请求。

Prompt 来源

InstructGPT 的标注员从三个来源收集任务：

典型样例：

效果对比

注意 GPT-3 完全无视"写诗"的指令，继续在补全"Write a short ..."的模式； 而 InstructGPT 真正理解了任务，写出了一首关于智慧青蛙的诗。

3.2 ChatGPT：对话化的 RLHF

ChatGPT（2022 年 11 月发布）本质上是 InstructGPT 的对话版。 OpenAI 在博客中描述：

"We trained this model using Reinforcement Learning from Human Feedback (RLHF), using the same methods as InstructGPT, but with slight differences in the data collection setup. We trained an initial model using supervised fine-tuning: human AI trainers provided conversations in which they played both sides—the user and an AI assistant. We gave the trainers access to model-written suggestions to help them compose their responses. We mixed this new dialogue dataset with the InstructGPT dataset, which we transformed into a dialogue format."

三个关键改动：

1. 对话格式：标注员同时扮演用户和 AI，构造多轮对话。
2. Model-assisted annotation：标注员可以参考模型生成的草稿来加速写作。
3. InstructGPT 数据 reformat：把单轮 prompt 转成对话样式。

然后照常做 Bradley-Terry RM 训练 + PPO RLHF。OpenAI 没有公开 ChatGPT 的精确数据规模、模型大小、超参数—— 这是 LLM 商业化时代的常态：方法论开放、实现细节保密。

3.3 Controlled comparison：PPO / DPO / Best-of-N

Dubois et al. (2023) 在 AlpacaFarm 框架下做了一组系统对比： 不同 alignment 方法在同等数据下的 simulated/human win-rate。

关键观察：

• "Simulated" win-rate 用 GPT-4 作为人类替代评判 —— 这本身就是一种 LLM-as-Judge。
• PPO 真的 work（46.8 simulated, 55.1 human），但 Best-of-N（采 N 个候选，用 RM 选最高分）这种简单基线也能做到 45%——证明 RM 本身的质量很关键。
• DPO 与 PPO 在 simulated 上完全打平（都是 46.8）。

3.4 RLHF 的风格副作用

RLHF 不仅在"内容质量"上改进 SFT，还显著改变了模型的表达风格。看下面这个对比：

PPO 之后的回答显著更长、更结构化（带 markdown 列表）、更"详尽"。 这反映了人类标注员的系统性偏好——他们倾向于打高分给"看起来认真"的回答。 这就是 RLHF 的一个常见副作用：verbosity bias / length bias， 我们会在第四部分详细分析。

第四部分：RL + Reward Modeling 的局限

4.1 Reward Hacking

Reward hacking（也叫 specification gaming、Goodharting）是 RL 史上最经典的问题。 它的本质是：RL 算法会找到 reward 函数的所有漏洞，而这些漏洞往往不是设计者想要的"行为"。

在 LLM 的 RLHF 中，reward hacking 表现为：

• Verbosity：模型发现"长答案被 RM 打高分"，所以每个回答都变得啰嗦冗长。
• Confident hallucination：模型发现"自信的回答被打高分"，于是即使不知道也看起来很笃定地编造答案。
• Sycophancy：模型发现"附和用户的回答被打高分"，于是不断改口同意错误观点。
• Markdown overuse：列表、加粗、表情、emoji 滥用，因为标注员视觉上喜欢"结构化"。

4.2 谄媚 + 幻觉

为什么 RLHF 模型容易幻觉？根本原因：

1. RM 教模型"看起来权威 + 有帮助"，而不是"真的对"。
2. 标注员往往无法验证回答的事实正确性（特别是 trivia 或专业领域），只能凭"语气是否自信、结构是否完整"打分。
3. "我不知道"的回答容易被 RM 打低分——模型逐渐学会编造也不要承认无知。

4.3 Reward Over-optimization

最深刻的 RLHF 局限是 RM over-optimization：训练初期 RM 分数和真实人类偏好一致， 但训练到一定程度后RM 分数继续上升，真实人类偏好却开始下降。

这就是 Goodhart 定律在 RLHF 上的具体表现： "当 RM 成为优化目标，它就不再是好 measurement。" KL penalty 的作用就是抑制这种漂移—— $\beta$ 越大越保守，但同时也限制了能达到的真实改进幅度。这是一个需要调试的 trade-off。

第五部分：DPO（Direct Preference Optimization）

5.1 RL pipeline 究竟有多复杂？

PPO RLHF 的工程复杂度令人头大。看一眼 Zheng et al. (2023) 整理的完整 workflow：

PPO RLHF 的痛点：

• 4 个 LM 同时在显存：policy、reference (SFT)、reward、value model。对 7B 模型，至少需要 ~40GB+。
• 在线采样慢：每个 batch 都要从当前 policy 重新采样回答（自回归生成）。
• 超参敏感：clip $\epsilon$、KL 系数 $\beta$、learning rate、GAE 的 $\lambda$、value loss 权重——任何一个不对都崩。
• 调试黑暗：loss 曲线长得"和正常一样"但模型其实退化了。

这正是 DPO（Rafailov et al., 2023, NeurIPS Outstanding Paper）的动机： 能不能跳过 RL 的所有这些麻烦？

5.2 移除 RL：闭式解的关键推导

DPO 论文的核心洞察：RLHF 的优化目标存在一个闭式解。让我们一步步推。

回忆 RLHF 完整目标（per prompt $x$）：

5.3 DPO loss 完整形式与直觉

逐项解释：

实现："就是普通的 SFT 代码 + 一个新 loss"

# Pseudocode for DPO training step
for batch in dataloader:
    x, y_w, y_l = batch  # prompt, chosen, rejected

    # Compute log-probs from both models
    logp_policy_w = policy_model.logprob(x, y_w)   # ∑ log p_θ(y_w|x)
    logp_policy_l = policy_model.logprob(x, y_l)
    with torch.no_grad():
        logp_ref_w = reference_model.logprob(x, y_w)
        logp_ref_l = reference_model.logprob(x, y_l)

    # Implicit reward = β * log-ratio
    reward_w = beta * (logp_policy_w - logp_ref_w)
    reward_l = beta * (logp_policy_l - logp_ref_l)

    # Bradley-Terry loss
    loss = -F.logsigmoid(reward_w - reward_l).mean()

    loss.backward()
    optimizer.step()

5.4 DPO vs PPO 实验

Rafailov et al. 在 TL;DR 摘要任务上把 DPO 和 PPO / Preferred-FT / GPT-J / SFT / Best-of-128 进行了 head-to-head 对比， 评判用 GPT-4 作为 judge，看各方法生成的摘要被偏好胜过参考摘要的比例。

开源 RLHF 几乎全是 DPO

2024 年初查看 Hugging Face Open LLM Leaderboard，排在前列的开源模型几乎清一色 DPO 训练。 Turdus、Beagle、NeuralMarcoro、NexoNimbus 等 7B 量级的开源模型， 都采用 DPO 在偏好数据集（如 distilabeled-Marcoro、HH-RLHF）上调优。

5.5 GRPO：DeepSeek 的 RL 复兴

DPO 看起来一切都好——直到 2024 年 DeepSeek-Math（Shao et al.）和 DeepSeek-R1 用 GRPO （Group Relative Policy Optimization）证明：在数学推理这种有可验证奖励的任务上，online RL 依然不可替代。

GRPO vs PPO 的关键差异

GRPO 的成功催生了 2024 下半年的 "RL renaissance"——OpenAI o1、DeepSeek R1、Qwen-Reasoner 等推理模型都使用了 GRPO 或其变体。

5.6 KTO / IPO / SimPO 简介

DPO 之后涌现了一系列改进，每种都针对 DPO 的某个具体缺陷：

第六部分：人类偏好数据 + Human vs AI Feedback

所有 alignment 方法的命脉都是偏好数据。它从哪里来？由谁产生？带什么样的偏见？ 这些问题不是细枝末节——它们直接决定了模型最终的"价值观"。

6.1 标签从哪里来：digital sweatshops

媒体报道揭露了 RLHF 标注产业的真相：

这些标注员承担着双重压力：

• 低工资：每小时 1.32-2 美元，没有保险、没有福利
• 心理伤害：为了让 ChatGPT "less toxic"，他们必须阅读大量包含暴力、虐待、自杀内容的文本并打标签
• 不透明：标注员往往不知道自己的标签会用在什么模型上

这是 alignment 研究中常被回避的伦理议题。"对齐人类价值观"的 AI，其训练背后的人类成本是什么样的？

6.2 标注员 demographics 与系统性偏差

即使把伦理放在一旁，标注员的人口学组成也会系统性地塑造模型的"偏好"。 Ouyang et al. (2022) 在 InstructGPT 论文里公开了他们标注员的统计数据：

OpinionQA 实验：模型反映谁的观点？

Santurkar et al. (2023) 在 OpinionQA 中系统对比了不同 LM 在 30+ 议题（社区健康、犯罪、教育、移民、宗教、科学等）上的"观点分布"与不同人群的真实民调差异。 他们的发现：

• "Base" 语言模型的观点分布较接近美国整体民调。
• 经过 RLHF（InstructGPT、Davinci002/003）之后，观点分布显著向"liberal、年轻、高教育、高收入"群体倾斜。
• 不同议题的偏移程度不同：科学、教育议题向 liberal 偏移最严重；自我感知、宗教议题偏移较小。

跨文化偏差：Starling 7B 的"国家奖励"

Ryan et al. (2024) 用 Starling 7B 的 reward model 做了一个直观实验： 让 AI 助手回答 "Where are you from?"，把"I am from {country}" 中的 country 换成世界各国， 观察 RM 给的分数。结果是一张世界地图染色图——

• 欧美国家（蓝色，高奖励）→ RM 偏好"来自这些国家"的回答
• 中东、北非（红色，低奖励）→ RM 惩罚"来自这些国家"的回答

这种系统性偏差来自训练数据的隐含信号——大量英文互联网内容自身就有地缘偏见。 RLHF 通过 RM 把这些偏见"学进"并"放大"到部署的模型中。

6.3 RLAIF + Constitutional AI

"AI feedback 能替代 human feedback 吗？"是 2022-2024 年的核心研究问题。

RLAIF (Reinforcement Learning from AI Feedback)

Lee et al. (2023, Google) 的 RLAIF 论文做了一个直接对比： 用 GPT-4 / PaLM 等强模型替代人类标注员，产出 ranking 数据训 RM，再做 RLHF。 结果：RLAIF 在摘要任务上和 RLHF 打平甚至略胜（71% vs 73% win-rate）。

这一发现的实际意义：

• 大幅降低成本：API 调用比人工标注便宜 100-1000×
• 消除人类不一致：LLM 之间的 inter-rater agreement 高于人类
• 缩短迭代：可以在几小时内生成数百万条偏好数据

Constitutional AI (Anthropic)

Bai et al. (2022, Anthropic) 的 Constitutional AI 更进一步—— 让模型根据一组明文"宪法"原则自己批评和修正自己，完全不需要人类对每个样本打标签。

典型宪法原则（节选自 Anthropic 公开的版本）：

• "Choose the response that is most helpful, honest, and harmless"
• "Choose the response that least objectionable to a thoughtful, ethical person"
• "Choose the response that avoids implying that the AI has any preferences, friends, or family"
• "Choose the response that doesn't claim to have a body or be able to move in a body"

Constitutional AI 的优势：透明的价值观规则、可审计、可修改。这与"黑箱 reward model"形成鲜明对比。 缺点：宪法本身也是人写的，价值观的偏见从标注员转移到了"宪法起草者"。

6.4 Self-training: STaR / Self-Reward

另一个方向：让模型用自己的输出训练自己。

STaR (Self-Taught Reasoner, Zelikman et al. 2022)

1. 用 base LM 生成 chain-of-thought 解题
2. 保留那些得到正确答案的 CoT
3. 用这些"自举"的好样本 fine-tune 自身
4. 循环迭代

关键洞见："正确答案"提供了天然 verifier——不需要人标，只要能验证最终答案。 这种思路后来被 OpenAI o1、DeepSeek R1 大幅扩展，发展成了"reasoning RL"范式。

Self-Rewarding LMs (Yuan et al., Meta 2024)

让 LLM 同时扮演 generator 和 judge：

1. LM 生成多个候选回答
2. 同一个 LM 作为 judge 给它们打分（LLM-as-Judge）
3. 用最高分 vs 最低分组成偏好对，做 DPO 更新
4. 更新后的 LM 既是更好的 generator 也是更好的 judge → 循环

Self-Rewarding 在 Llama 2 70B 上做 3 轮迭代后，AlpacaEval 2 上击败了 Claude 2、Gemini Pro、GPT-4 0613。 但要警惕：这种 self-bootstrapping 极易陷入"自我谄媚"循环——模型偏好自己的风格，越练越窄。

第七部分：未来方向

Diyi Yang 在 lecture 结尾说："RLHF is still a very underexplored and fast-moving area!" 让我们梳理几个值得 NLP 研究生投入的开放问题。

7.1 仍待解决的问题

7.2 给研究生的方向建议

7.3 一个重要的元问题

"Models of human preferences are even more unreliable than human preferences themselves."

我们整个 RLHF / DPO 体系建立在 "RM 能很好地代表人类偏好" 这一假设上。 但 Stiennon et al. 的 over-optimization 曲线、Santurkar et al. 的 OpinionQA、 Ryan et al. 的国家奖励地图——都在告诉我们：RM 是一个有偏见、不可靠、可被攻击的代理。

这是 alignment 研究的核心张力：我们用一个不可靠的 measurement 去训练一个会被广泛部署、影响数亿人的系统。 如何减小这个 gap，可能是未来十年 NLP 最重要的研究方向之一。

7.4 总结：从 SFT 到 DPO 的整个图景

从这张图也可以看出，post-training 不是单一算法，而是一个多阶段、多技术栈、多领域知识的工程问题。 做 alignment 研究意味着同时关心：RL 算法、贝叶斯统计、人因工程、社会学、伦理学。 这也是为什么 alignment 在 2026 年仍是 LLM 实验室招聘的"必抢"人才方向。