面向小模型的人工推理艺术

00引言：David vs Goliath 时代的小模型推理

0.1 一段"不可能任务"的史诗

2023 年 5 月，Sam Altman 在伦敦一场讲座中抛下一句让整个开源社区心头一凉的话："It's totally hopeless to compete with us on training foundation models." 那一年，GPT-4 像一座不可逾越的高山笼罩在所有研究者头顶；千亿参数、数万张 H100、数十亿美元的训练成本，似乎注定让"造大模型"成为少数寡头的游戏。

然而仅仅一年之后，棋盘悄然翻转。NVIDIA 的 Nemotron 系列、阿里巴巴的 Qwen、深度求索的 DeepSeek-R1 接连出现，把"开源 + 小模型 + 强推理"的故事讲到了世界舞台中央。一支来自中国实验室与北美开源社区联手的"反卷"力量，用截然不同的路径——Unconventional Data 🔥 + Unconventional Algorithms 🚀 + Unconventional Collaboration 🌍——撕开了闭源巨头看似密不透风的护城河。

📌 关键洞察
David 没有变成 Goliath。David 学会了用石头甩出抛物线。

0.2 化石燃料即将耗尽

2024 年 NeurIPS 上，Ilya Sutskever 用一句话给整个领域定性："Pre-training as we know it will end." 他打了一个让所有人沉默的比喻——互联网数据是 AI 的化石燃料。煤炭终有烧尽的一天，而我们已经接近油井底部。

0.3 三个"非常规"创新维度

讲座的主线可以归结为三个关键词，每一个都贯穿全书：

💡 对学生的启示
你不需要 10 万张 H100 才能做前沿研究。但你必须看清——大厂在卷的是 sprint（短跑），而留给你的赛道是 endurance（耐力赛）。

01从 LLM 到 LRM：推理模型的范式转变 (2025)

1.1 LRM 的三个定义性特征

一个模型若要被称为 LRM (Large Reasoning Model)，需要同时具备三个特征：

• Long thought (chain-of-thought)：在回答前先输出一段（往往数千 token）的"内心独白"；
• Trained with RL：核心训练信号来自 RL，典型是 RLVR (Reinforcement Learning with Verifiable Rewards)；
• Exploration learning：模型不再只是模仿 demonstration，而是被允许在策略空间中自主探索。

这是一种 Imitation Learning → Exploration Learning 的根本范式转变。

1.2 HLE Benchmark：群雄并起

在更具挑战性的 HLE (Humanity's Last Exam) 上，2025 年的成绩单大致如下（数据来自 Artificial Analysis 独立评测）：

关键趋势：带 reasoning 的模型显著高于纯 LLM；闭源与开源同台竞技，且开源差距正在迅速缩短。

1.3 五篇"反直觉"论文

在 LRM 浪潮中，下面五篇论文堪称"颠覆教科书"的里程碑，每一篇都值得反复研读。

1.4 Karpathy 的怀疑与 Choi 的反驳

Andrej Karpathy 曾公开吐槽：

⚠️ Karpathy 的吐槽
"Reinforcement Learning is terrible. It just happens to be that everything else is much worse."

Yejin Choi 在 CS224N 给出了一个更精细的反驳框架：

"Spurious rewards 实验"之所以让人怀疑 RL，是因为它代表了 effortless 的实验——同样的算法在不同 base 上结果天差地别，必须用 effortful 的实验（系统调 entropy、reset reference policy、跨 base 对比）才能得到可信结论。这正是下一章 ProRL 要讲的故事。

💡 对学生的启示
不要轻信任何一个"RL 涨点"的论文标题。先问：base model 是谁？reward 是不是 spurious？Pass@K 还守得住吗？

02ProRL：把 RL 训练拉长 (NeurIPS 2025)

2.1 罗马不是一天建成的

如果 RL 在小模型上"看不出效果"，是不是因为我们训练得不够久？这就是 ProRL 给出的直觉假说：

PRORL 核心假说
What if we go for endurance with a small model (1.5B) rather than a sprint with a large model?

2.2 基础算法：从 GRPO 到 DAPO

GRPO (Group Relative Policy Optimization) 由 DeepSeek 提出，核心损失函数（简化版）为：

ByteDance 提出的 DAPO (Decoupled Clipping & Dynamic Sampling Policy Optimization) 在 GRPO 之上做了两个关键改造，是 ProRL 的算法基础：

• Dynamic Sampling：实时过滤掉"全对"或"全错"的 group（advantage 全为 0 的无效梯度），把算力集中到中等难度样本上。

2.3 三大教训：如何让 RL 跑 2500 步而不崩

2.4 训练曲线与结果

ProRL 训练曲线呈现三条同步上扬的指标：

• Entropy 稳定保持在 ~1，没有坍缩；
• Response length 从约 4500 token 缓慢增长到 6500+ token——模型在"自发地想得更久"；
• Total steps 突破 2500，远超此前公开报道的 RL 训练长度。

最终训练出的 Nemotron-Research-Reasoning-Qwen-1.5B 在 math / code / STEM / reasoning gym / instruction-following 五大类基准上全面超越 base R1-Distill-Qwen-1.5B，并在多项任务上达到 DeepSeek-R1-Distill-Qwen-7B 的 4.5× 性能。

🔥 关键洞察
Pass@1 与 Pass@16 同时呈 log-linear 提升——一举绕过了 Yue et al. (2025) 警告的"Pass@K 倒退"陷阱。这是判断 RL 是"真泛化"还是"窄化记忆"的金标准。

2.5 后续工作：BroRL

ProRL 之后，同一团队 (Jian Hu, Mingjie Liu, Ximing Lu, Fang Wu, Zaid Harchaoui, Shizhe Diao, Yejin Choi, Pavlo Molchanov, Jun Yang, Jan Kautz, Yi Dong) 又发表了 BroRL: Scaling Reinforcement Learning via Broadened Exploration，把"探索宽度"作为另一个 scaling 维度——这是 ProRL endurance 思想的自然延伸。

开放问题：Effortful RL 能否在更弱的 base (如 GPT-2) 上成功？这是 Choi 在讲座中留下的"勇士问号"。

💡 对学生的启示
不用大模型也能做 SOTA reasoning 研究——但你必须懂 entropy 控制，必须接受"训练 2500 步、调 8 个 run、reset reference policy"这种"工程不性感、科学很扎实"的工作方式。

03合成数据：Mode Collapse 与生成式数据的悖论

3.1 Curse of Recursion

3.2 业界的"省事"做法

工业界的主流应对策略简单粗暴：用最大的 teacher 蒸馏。OpenAI 用自己最强的模型生成数据训练下一代；Anthropic、DeepSeek-R1、Qwen3、Microsoft Phi-4 都走同一条路。直觉上很有道理——teacher 越强，distill 出的 student 越强。

但 Yejin Choi 提出了一个尖锐的反问：

答案是：单一强大 teacher 会带来强大的 mode collapse。教师再聪明，也只会用它自己最熟悉的几条解法路径。学生学到的，是教师习惯的窄化版本——它继承了 teacher 的盲点。

3.3 一个反直觉的猜想

那么——能不能反其道而行之：用更小的 teacher，但显式地最大化多样性？

这就引出了下一章 Prismatic Synthesis 的核心创新。

💡 对学生的启示
当你想"我们也来 distill 一下 R1 吧"时，先问自己——你打算如何度量多样性？如果答案是"温度调高一点"，那你已经在走 effortless 的死胡同。

04Prismatic Synthesis：用梯度做数据多样性 (NeurIPS 2025)

4.1 核心创新：Gradient as Data Representation

对于一个 (question, answer) 对 $(x, y)$，梯度

编码了"如果要让模型学会从 $x$ 推到 $y$，需要对哪些参数做出多大的调整"。换言之，梯度向量天然地刻画了这条推理路径在参数空间中的"方向"。

4.2 工程实现

1. 取一个轻量级 reference model——Qwen-0.5B-Inst；
2. 对每个候选样本算梯度 $\nabla_\theta \log P_\theta(y|x)$；
3. 用 Rademacher Projection 降维到 1024 维（避免 GPU 内存爆炸）。

这样每个样本被映射为一个 1024 维向量 $\phi(x_i, y_i)$，构成矩阵 $\Phi \in \mathbb{R}^{|D| \times 1024}$。

4.3 G-Vendi Score：把多样性量化

构造梯度核矩阵：

实验显示：G-Vendi 与下游 OOD 泛化的相关系数 $R^2 > 0.82$（在 N=10k, 50k, 100k 三个尺度上分别为 0.8225、0.8398、0.8277）。多样性越高，模型越能在未见过的题型上推理。

4.4 完整 Pipeline

┌──────────────────┐
│   Seed Pool      │
└────────┬─────────┘
         ↓
┌──────────────────────────────┐
│  R1-32B 过度生成 N >> 目标   │  ← 用 20× 更小的 teacher
└────────┬─────────────────────┘
         ↓
┌──────────────────────────────┐
│  Gradient Diversity Filter   │  ← 用 G-Vendi 选最多样的子集
│  (基于 G-Vendi)              │
└────────┬─────────────────────┘
         ↓
┌──────────────────────────────┐
│  Quality Filter              │  ← 无人工标注，纯多数票
│  (Majority Vote, 无人工标注) │
└────────┬─────────────────────┘
         ↓
┌──────────────────┐
│  R1-7B 训练      │
└────────┬─────────┘
         ↓
   迭代回 Seed Pool

关键在于"先 over-generate，再用梯度多样性筛、用多数投票筛质量"的双轴过滤。

4.5 实验结果

用 20× 更小的 teacher (R1-32B) + 零人工答案，在 MATH-500 / AIME24 / AIME25 / AMC23 / MATH^2 / OlympiadBench / GSM8k-Platinum / OOD Avg 一众基准上全胜 OpenThinker-7B、OpenThinker2-7B、R1-distill-7B。

📌 关键洞察
决定 distillation 效果的不是 teacher 的绝对实力，而是 student 看到的有效多样性。梯度，是 2025 年最被低估的数据表示。

💡 对学生的启示
当你下次抱怨"我们实验室没有最大的模型可蒸馏"时——也许你的 0.5B reference model 才是真正的杀手锏。

05RLP：RL 作为预训练目标 (ICLR 2026)

5.1 反思现有 Pipeline

今天主流的训练管线是：

推理只是 afterthought——前面学语言、后面才学想。这合理吗？RLP 论文发出两个直击灵魂的研究问题：

5.2 关键改写：Vanilla NTP vs RLP Pretraining

经典的 next-token prediction（NTP）目标是：

RLP 把它改写为：

其中 $c_t$ 是模型在预测 $x_t$ 之前，自己采样出来的一段"思考链"——也就是模型先自言自语，再去预测下一个 token。

5.3 核心 Reward 公式

RLP 的关键在于：如何在无 verifier 的情况下，给"这段思考"打分？答案是用信息增益：

这同时带来三大特性：

5.4 训练 Recipe

5.5 实验结果

🔥 关键洞察
当我们把 RL 从 post-training 提前到 pre-training，推理就不再是补丁，而是地基。RLP 的优势会在后续 SFT 和 RLVR 阶段 compound，而不是被冲掉——这回答了 Q2。

5.6 相关工作对比

💡 对学生的启示
思路要敢"前移"。"为什么推理只能放在最后？为什么 next-token prediction 不能让模型先想一下再预测？"——一个看似简单的问号，撬动了一整代 pipeline。

06Front-Loading Reasoning：推理数据应当注入到哪里 (ICLR 2026)

6.1 一个系统性问题

研究者在 pretraining / SFT / RLVR 三个阶段做了正交的注入实验，并系统调节 diversity、quantity、quality 三个旋钮。

6.2 五大研究问题与六大教训

6.3 三大结论

⚠️ 关键洞察
阶段对了，加 10× 数据；阶段错了，10× 也只能填坑。

💡 对学生的启示
当你设计 data pipeline 时，第一个问题不该是"我有多少数据"，而是"这份数据要放在哪个阶段"。

07OpenThoughts3 与 "Unconventional Collaboration"

7.1 OpenThoughts3-1M 数据 Pipeline

注意三个工程细节：

• 从海量到精选——4M 候选筛到 75k 题；
• 多答案采样——每题 16 个 rollout，捕捉解法多样性；
• 不依赖人工标注——完全 self-distillation flywheel。

7.2 结果对比

在 Math (AIME24 69.0, AMC23 93.5)、Code (CodeForces 32.2, LCB 64.5)、Science (JEEBench 72.4)、Held-Out (HMMT 42.7, AIME25 53.3) 上 OpenThoughts3 全面领先。

🔥 关键洞察
Super effortful SFT > effortful RL. 当你的 SFT 数据极尽精细（高 diversity + 高质量 teacher + 16-way 采样），它在很多场景下能击败昂贵复杂的 RL 训练。

7.3 启示：开源协作作为方法论

OpenThoughts3 不只是一个数据集，它是一种研究范式的范例：

• 开放：每一个 ablation 都有公开 log；
• 协作：每一份数据都有公开 license；
• 可复现：每一个作者都能在 README 上找到自己的名字。

💡 对学生的启示
你的下一个 SOTA，未必出自你一个人的 GPU。学会发起一次跨实验室协作，可能比再发 3 篇一作还要珍贵。

08贯穿全篇的三大 Insight 与方法论

8.1 Insight 1：Chemistry between base LLM and RL matters

相同的 RL 算法（同样的 GRPO、同样的 reward shaping），换一个 base model 就可能完全失效。原因 Zhao et al. (Harvard) 已经给出：RL 是在放大 base 预训练学过的行为。因此：

• 如果你的 base 不会某种解法，RL 几乎不可能"教会"它；
• 如果你的 base 已经会但概率很低，RL 能把它"调亮"；
• 如果你的 base 已经过拟合到某种解法，RL 会进一步窄化它。

这就是 Spurious Rewards 实验里 Qwen2.5-Math-7B 用 random reward 都能涨 21%、但同样配方在 Llama3.1-8B 与 OLMo2-7B 上失败的根本原因。

8.2 Insight 2：Conclusions from effortless ≠ effortful

这是对整个领域的方法论警示。许多论文用一个"随手做的 RL"得出"RL 不行/RL 很好"的结论，都不足为信。真正的判断必须建立在 effortful 实验之上——entropy 控制、reference reset、long horizon、Pass@K 监控、与 base 的 chemistry 分析，一个都不能少。

类比一句不太雅的西方俗语——"Laws are like sausages; it is better not to see them being made." SOTA reasoning 模型的训练过程，正如制作香肠：远看光鲜，近看是无数次重启、调参、reset、retry 的脏活累活。

8.3 Insight 3：三个非常规创新维度

8.4 三大核心张力分析

8.5 知识图谱：六大主题间的核心关系

下面是 10 条贯穿本教材的核心关系箭头（→ 表示"驱动/暗示"，⇌ 表示"互相强化"，⊕ 表示"组合产生"）：

1. LRM 范式 (Ch.1) → Spurious Reward 发现 → 推理能力归因到 base model → ProRL/Prismatic/RLP 三条路径
2. ProRL (Ch.2) ⇌ DAPO entropy 控制——互为镜像，互证可行性
3. Mode Collapse (Ch.3) → Prismatic Synthesis (Ch.4) 的存在理由
4. Prismatic (Ch.4) ⊕ ProRL (Ch.2) = effortful data + effortful algorithm——两者乘起来才能 democratization
5. Echo Chamber (Zhao/Harvard) → RLP (Ch.5) + FLR (Ch.6) 的理论合法性
6. RLP "how" ⇌ FLR "what"——RLP 提供机制，FLR 提供消融证据
7. FLR Lesson VI → 修正 Yue et al. 的悲观结论——RLVR 能扩展 capacity，前提是 base 已有 reasoning prior
8. OpenThoughts (Ch.7) 的 super-effortful SFT → 击败 effortful RL → 反向佐证 Insight 2
9. Chemistry 隐喻 (Insight 1) → 解释为什么 ProRL/Prismatic/RLP 都强调 base model 选择
10. 三个 Innovation (Insight 3) → 完美映射到 Ch.2+3+4 (algorithm), Ch.4+7 (data), Ch.7 (collaboration)

📌 综合洞察
Chemistry 隐喻揭示了 Choi 对 scaling laws 的根本批判——scaling laws 假设 "性能 = f(参数, 数据, 计算)" 是可分解的乘法关系；而 chemistry 视角主张 "性能 = g(base × algorithm × data × stage)" 是 非分解的相互作用。这与统计学的 interaction effect 概念一致——主效应可加但交互效应必须共同测量。

09开放问题与对 NLP 研究生的实践建议

9.1 知识宇宙的五个来源

把"模型能学到的知识"看作一个宇宙，它的来源大致有五条：

9.2 AI 智能：人类的镜像，还是另一个物种？

是镜像，还是偏离？答案目前无人知晓。但有一点是确定的：How sausages are made. AI 的"智能"在很大程度上是人类智能的复合产物——人类的 internet data + 人类的资本投入 + 人类的 annotations + 人类的工程直觉。

9.3 三个尚未回答的大问题

9.4 给 NLP 研究生的六条实践建议

9.5 有研究机会的方向（来自 synthesis）

• 方向 A：Chemistry 的可证伪化——能否定义一个 "RL-receptiveness score" 来预测某个 base 在某个 RL 算法下的涨点幅度？
• 方向 B：Pretraining-stage reasoning 的理论分析——为什么 EMA "no-think" teacher 的 reward 信号没有 reward hacking？$\tau=0.999$ 为何是甜区？
• 方向 C：G-Vendi 之外的 data utility 度量——attention rollout、activation patching 等替代 representation 能否提供更好的 diversity 指标？
• 方向 D：Small Reasoning Model 的可解释性——用 mechanistic interpretability (SAE, circuit discovery) 研究 ProRL 前后 1.5B 模型在推理 task 上的电路变化。
• 方向 E：Collaboration 范式的元研究——OpenThoughts 的 50+ 作者跨 16 机构是新的科研组织形式，其 reproducibility 与可扩展性如何？

9.6 已饱和或高门槛的方向（不建议作为学生项目起点）

• 更大 LRM 的端到端训练：被巨头主导，计算门槛超出学生项目；
• GRPO 算法层面的微调：DAPO/Dr.GRPO/REINFORCE++ 等变体已经很多，新变体边际贡献小；
• 新数学 benchmark 的构建：MATH/AIME/HLE 已经形成评估生态，新 benchmark 难以推开除非有显著新维度。

9.7 可用工具与数据集清单

9.8 阅读路径建议

1 个月内入门"小模型推理化"研究前沿的推荐顺序：

1. 范式层：DeepSeek-R1 paper + OpenAI o1 system card
2. 批判层：Yue et al. + Shao/Li spurious rewards + Zhao echo chamber
3. 算法层：GRPO (DeepSeekMath) + DAPO + ProRL
4. 数据层：Shumailov collapse + Prismatic Synthesis + OpenThoughts
5. 阶段层：Quiet-STaR + RLP + FLR

这条路径对应本教材的论证结构：先看到范式，再看到批判，再看到三条建设性路径。

9.9 尾声

Ryan Holiday 有一本书叫《Ego is the Enemy》。在 LLM 这个被巨头光环和资本喧嚣笼罩的领域里，这句话尤为应景。

💡 对学生的最终启示
David 没有变成 Goliath。David 只是学会了用石头甩出抛物线——而那条抛物线的方程，是由我们这一代 NLP 研究生写下的。

去做那块石头。去甩那条抛物线。