LLM 预训练完全指南

引论：预训练革命与基础模型范式

"Pretraining has had a major, tangible impact on how well NLP systems work." — Diyi Yang, CS224N 2026

2018 年 BERT 的发布是 NLP 史上的哥白尼时刻。在此之前，NLP 研究者面对每一个新任务都要： 设计专门的模型架构、收集任务特定的标注数据、训一个从随机权重开始的模型。 BERT 之后，这套流程被彻底改写为"先在海量无标签文本上预训练一个通用模型，然后在每个下游任务上微调"。

这场革命的可视化最清楚的来自 Kiela et al. (2021) 的"基准饱和"曲线。 看 GLUE / SuperGLUE / SQuAD 这些曾经"难得离谱"的基准—— 在 BERT 出现之前几年都在 70% 附近徘徊，BERT 之后短短两年就被顶到接近人类水平：

基础模型范式

"基础模型"（Foundation Models, Bommasani et al., 2021）这个术语精准刻画了这一新范式： 用海量、异质数据训一个超大模型，然后通过 adaptation 适配到无数下游任务。

预训练范式的三个核心信念：

• 数据规模 + 多样性：模型必须能处理大规模、异质数据。互联网级别。
• 不用标签数据：标注成本是 scaling 的天敌。无监督/自监督是唯一可扩展方式。
• compute-aware scaling：算力约束下，如何在"模型大小 vs 数据量 vs 训练步数"之间分配？

本教材沿着 Diyi Yang 的讲座结构，分四大板块带你深入：

1. Subword 分词——所有预训练模型的最底层接口
2. 从 word2vec 到 BERT 的动机演化——为什么"预训练整个模型"是必然
3. 三种架构的预训练——Encoders（BERT 家族）/ Encoder-Decoders（T5）/ Decoders（GPT 家族）
4. Scaling Laws——Kaplan 2020 → Chinchilla 2022 的修正
5. 预训练教会了什么 + 不该学的——能力涌现 vs 偏见/版权/隐私风险

第一部分：Subword 分词模型

1.1 固定词表 + UNK 的崩塌

深度学习早期，NLP 默认的词表假设是这样的：

来看这种方案在面对真实文本时的崩塌：

三个主要痛点：

1. 词形变体：拉长、重复（"taaaasty"、"sooooo"）在社交媒体满天飞，但都成了 UNK
2. 拼写错误："laern"、"recieve" 这些常见错拼也全部丢失
3. 新造词 / 复合词：技术词汇、品牌名、合成词层出不穷。"Transformerify"、"COVID-19"、"GPT-3" 都没有 embedding

更深层的问题：词表无法 scale。如果想覆盖所有可能的变形，词表必然爆炸（百万级以上）， embedding table 占用的内存超过模型本身。

1.2 Byte-Pair Encoding 算法

解决方案是 subword 分词——把单词拆成更小的"已知碎片"。 Byte-Pair Encoding (BPE)（Sennrich et al., 2016；最早源自 1994 年的数据压缩算法） 是最成功也最常用的算法。

1. 初始化词表 = {所有字符} ∪ {</w> 词尾符号}
2. 把语料中每个单词写成 char 序列 + </w>
   例如 "low" → l o w </w>
3. for i in range(num_merges):
     - 统计语料中所有相邻 token 对的频率
     - 找出最高频对 (a, b)
     - 把 "a b" 合并为新 token "ab"，加入词表
     - 在语料里把所有 (a, b) 替换为 ab
4. 训练结束 → 词表 = chars + 所有 merge 出的 subword

BPE 算法的直观演示

假设语料只有 5 个单词："low low low lower newest widest"：

经过足够多次合并，常用词（"low"、"est"）成为单一 token，罕见词被拆成多个 subword。 最终词表大小通常 30k - 50k（BERT 用 30k，GPT-3 用 ~50k，LLaMA 用 32k）。

结果：未见词也能被分解

## 是 WordPiece 风格的"中段 subword"标记。最坏情况下每个 char 都是单独的 subword，但绝不会出现 UNK。

1.3 WordPiece / SentencePiece

BPE 有几个有影响力的变体：

1.4 现代 tokenizer 实务对照

看一段中英混合文本被不同 tokenizer 切分的差异：

注意 Qwen / GPT-4 用的 cl100k_base 词表特别照顾了中文—— "自然"、"语言"、"处理"都是单个 token。这是因为它们在中文语料上专门做了 BPE 训练。

第二部分：从 word2vec 到"整模型预训练"

2.1 distributional semantics 的两次升级

"You shall know a word by the company it keeps." — J. R. Firth (1957)

这是 NLP 整个分布式语义学（distributional semantics）的奠基性论断。 2013 年的 word2vec（Mikolov et al.）把它工程化为算法： 通过预测词的上下文（或反过来），学到一个 词向量 $v_w \in \mathbb{R}^d$。

但 Firth 还有另一句更深的话：

"... the complete meaning of a word is always contextual, and no study of meaning apart from a complete context can be taken seriously." — J. R. Firth (1935)

这句话指出了 word2vec 的根本局限：一个词在不同语境中意义不同。看经典例子：

这就是为什么 NLP 必须从 静态词向量（word2vec, GloVe, FastText） 升级到 上下文相关词向量（contextual representations）。 后者由 LSTM / Transformer 在具体句子中动态计算，从而对"the bank of a river" vs "the Bank of America" 给出不同 embedding。

2.2 2017 的 ELMo 中间态

2017 年左右，主流范式是"半预训练"：

代表性工作：ELMo（Peters et al., 2018）用预训练 BiLSTM 提供 contextual embeddings， 但下游模型本体仍需要任务自己训练。

这个范式的两个根本问题

2018 年的转折："为什么不把整个模型都预训练？"

2.3 完形填空：重建输入能学到什么？

预训练的关键 trick 是把输入的一部分藏起来，让模型重建。这种"完形填空式"的自监督学习 让模型自动学到关于语言的一切。让我们看几个具体例子，每个填空背后藏着不同的语言知识：

这就是预训练的核心威力：一个"重建被遮住的部分"的任务，迫使模型学习语言所有层级的知识—— 从词形、句法、语义到世界知识、推理。 不需要给模型任何显式标注，海量纯文本就足以教会它一切。

2.4 Pretrain/Finetune 范式公式化

形式化地说，预训练 + 微调可以写成两个阶段的优化：

2.5 预训练数据从哪里来：Pile / BookCorpus

所有这套范式都依赖海量、多样化、质量过得去的文本数据。各模型的训练语料：

来看 The Pile（Gao et al., 2020）的成分组成图：

2.6 数据伦理：版权 / Fair Use

预训练数据规模到了 TB-PB 级，几乎不可能 hand-pick——多数都是互联网爬虫 + 已有数据集混合。 但其中相当部分内容是受版权保护的。这引发了 2023-2026 年一系列重大法律纠纷：

核心法律争议：Fair Use 在 AI 时代成立吗？

美国版权法的 fair use 原则有四个判断因素：使用目的、原作性质、使用量、对原作市场的影响。 AI 训练能否归入 fair use 目前完全是开放问题。

• 支持方：训练是"transformative use"——模型不会直接复制原文，而是学习统计规律
• 反对方：可以通过 membership inference 提取原文几乎逐字一致的片段，且模型直接与原作品竞争市场

这场争论会长期影响 LLM 行业。未来可能出现： 许可证型数据集成为主流（如 AI2 的 Dolma、Apple 的 OpenELM 训练集都强调 "permissively licensed"）； 更严格的opt-out 机制（robots.txt 之类的标记 AI 训练禁用）；甚至按 token 付费给原作者。

第三部分：三种架构的预训练

3.1 总览：Encoders / Encoder-Decoders / Decoders

"The neural architecture influences the type of pretraining, and natural use cases." Transformer 家族其实是三种不同的注意力机制配置：

2018-2020 年是 BERT / Encoder 的时代，2020-2022 是 T5 / Encoder-Decoder 的时代， 2022 之后是 Decoder-only 的天下（GPT-3.5/4、Claude、Gemini、LLaMA 全是 decoder-only）。 为什么？我们逐个讲完后再回答。

3.2 Encoders：BERT 与 Masked LM

BERT（Bidirectional Encoder Representations from Transformers, Devlin et al., 2018）的核心创新是 解决一个矛盾：encoder 是双向的，所以不能直接做 language modeling。

回忆 LM 目标 $p_\theta(w_t \mid w_{1:t-1})$——它要求模型只看过去预测未来。 但 encoder 中每个位置都能看到所有其他位置（包括未来），如果直接做 LM 任务，模型会"作弊"： 直接从输入复制答案而无需建模。

Devlin 的天才解法：Masked Language Modeling

3.3 BERT 的 80/10/10 mask 策略

朴素的 mask 方案有一个微妙问题：训练时输入里有 [MASK] token，但微调时永远不会出现 [MASK]。 这会造成 train/test 分布不一致。Devlin 设计了一个精巧的三种扰动混合：

所有 token 中只有 15% 被选中参与上述扰动；其余 85% 保持原样且不参与 loss 计算。 这意味着 BERT 每个 batch 的有效监督信号只有 15%——这也是它比 GPT 训练成本高的部分原因 （GPT 自回归 LM 每个 token 都是监督信号）。

3.4 BERT 的输入构造 + NSP

BERT 的输入是两段连续文本的拼接，加上特殊 token：

Next Sentence Prediction (NSP) — 后被证明并不必要

BERT 原版同时训练两个目标：

• MLM（前面讲过）：预测被 mask 的 token
• NSP：用 [CLS] 位置的 embedding 二分类预测"句子 B 是否真的紧接句子 A"

NSP 的设计动机是让模型学习跨句子关系，有助于 QA、NLI 等任务。 但RoBERTa（Liu et al., 2019）后来证明 NSP 反而是噪声—— 去掉 NSP，只用更大的 batch 训更久，BERT 反而更强。

3.5 BERT 的实证表现

BERT 发布时公开了两个尺寸的模型：

训练数据：BookCorpus (800M 词) + English Wikipedia (2,500M 词)。 "Pretrain once, finetune many times" 成为新范式：预训练贵但只跑一次，微调便宜可在单 GPU 上完成。

GLUE 上的 BERT 横扫

BERT-large 在 GLUE 上平均比之前 SOTA 高 7 个点——这在 NLP 学界几乎是地震级的提升。 2018-2019 整年的 NLP 顶会论文，绝大多数都是 "X + BERT" 的某种组合。

3.6 Encoder 的局限性 + RoBERTa / SpanBERT

Encoder 不擅长生成

BERT 这类双向 encoder 训练时没有 "left-to-right" 因果约束，所以不能自然地做 autoregressive 生成。 它适合的下游任务格式是：

• 分类（情感、NLI、相似度）
• 序列标注（NER、POS）
• QA span 抽取（SQuAD）

不适合的：开放式文本生成、对话、翻译、摘要——这些都需要 1-word-at-a-time 的自回归生成能力。

RoBERTa：训得更久、去掉 NSP、动态 mask

RoBERTa（Robustly Optimized BERT, Liu et al., 2019）做了几个"简单但有效"的改进：

SpanBERT：masked span 比 masked token 更难、更有用

SpanBERT（Joshi et al., 2020）把"随机 mask 单个 token"改为"mask 连续的 span"。 直觉：连续多个 token 一起被 mask 后，模型必须用"远距离"上下文重建，学到的表示更强。

SpanBERT 在 SQuAD、coreference、relation extraction 上都比 BERT 更强—— mask span 这个简单改动后来被 T5 的 span corruption 进一步发扬光大。

3.7 Encoder-Decoders：T5 与 span corruption

T5（Text-to-Text Transfer Transformer, Raffel et al., 2020）的设计哲学是 "所有 NLP 任务都是 text-to-text"——把任何任务（分类、翻译、QA、摘要） 都包装成"输入文本 → 输出文本"格式，由 encoder-decoder 架构统一处理。

Prefix LM：先尝试的 baseline

对 encoder-decoder，最朴素的想法是 prefix language modeling：

Span Corruption：T5 真正用的目标

Raffel et al. 实验后发现，span corruption 比 Prefix LM 效果更好：

Span corruption 的关键点：

1. 把输入中不同长度的连续 span 替换为唯一占位符
2. decoder 顺序生成所有被替换的 span，用 sentinel 隔开
3. 本质上仍是"language modeling on decoder side"——但 encoder 看完整句话

实证：encoder-decoder + span corruption > 一切

两个清晰结论：

• 架构：Encoder-decoder > Prefix LM >> Decoder-only（对 GLUE/SQuAD 等理解任务）
• 目标：Denoising (span corruption) > Standard LM

3.8 T5 闭书 QA：参数即知识

T5 还有一个引人入胜的发现：它可以做 "closed-book QA"—— 不给任何参考文档，直接问问题，让模型从参数里检索知识：

且随着模型规模增长，闭书 QA 准确率单调上升：

T5-XXL + SSM (Salient Span Masking) 11B 在 TriviaQA 上达到 61.6%，超过了带检索的 open-book 系统！ 这证明足够大的 LM 把训练数据中的事实知识"压缩"到了参数里—— 这是 GPT-3 之后所有 LLM"涌现知识"现象的先声。

3.9 Decoders：GPT-1/2/3 三代演化

Decoder-only 模型只能看过去（因果 mask），天然适合 autoregressive LM：

Decoder 的两种用法

用法 1：作为分类器（GPT-1 风格）

用法 2：作为生成器（GPT-2/3 风格）

GPT-1 (2018, Radford et al.): 117M Decoder

• 架构：12-layer Transformer decoder, 768-dim hidden, 3072-dim FFN, 12 heads
• 分词：BPE with 40,000 merges
• 数据：BookCorpus (~7,000 unique books)
• 命名：原论文里 "GPT" 这个缩写从未出现；可能是 "Generative PreTraining" 或 "Generative Pretrained Transformer"

GPT 在 NLI 上的输入格式

NLI 任务需要判断 (premise, hypothesis) 是 entailment / contradiction / neutral。 GPT 把它包装成一段连续 token 序列：

GPT-1 在 5/6 个 NLI 数据集上击败之前的 SOTA（其中很多是 ensemble），且不需要任何任务特定架构。

GPT-2 (2019): 1.5B 参数，生成质量令人震惊

GPT-2 是 GPT-1 的10× 放大版（117M → 1.5B），训练数据扩展到 WebText（40GB 文本）。 它最著名的演示是这段"瑞士独角兽"补全：

当时这段生成震动了 NLP 社区——它语法完美、逻辑连贯、风格类似新闻稿、还能保持人物名字一致性。 OpenAI 因此一度延迟发布完整 1.5B 权重，称"担心被滥用"（后来还是发布了）。

3.10 GPT-3 与 in-context learning 的涌现

GPT-3（Brown et al., 2020）的尺寸又是 GPT-2 的100×—— 175B 参数，比当时最大的 T5-XXL（11B）大一个量级。 但 GPT-3 真正的革命不在于尺寸，而在于一种全新的使用方式：

"Very large language models seem to perform some kind of learning without gradient steps simply from examples you provide within their contexts."

这就是 in-context learning (ICL)——也叫 few-shot prompting。

ICL 的工作方式

不再需要 fine-tune，直接在 prompt 里给几个示例就能"教会"模型做新任务：

GPT-3 从 3 个例子中"领悟到"任务是"英语 → 法语单词翻译"，然后给出正确答案。 关键是：没有任何梯度更新——模型参数完全没变，所谓"学习"只发生在 forward pass 的 attention 中。

"涌现"现象

ICL 能力在小模型上几乎不存在，超过某个临界规模（~10B）才突然出现。这就是 emergent capabilities 的典型：

ICL 的机制至今仍是开放研究问题。最有影响力的解释之一（Akyürek et al., 2023; von Oswald et al., 2023）是： Transformer attention 在 forward pass 中近似实现了一步梯度下降或岭回归。也就是说，模型"学会了在 forward pass 里做学习算法"。

第四部分：Scaling Laws

GPT-3 175B 的"涌现"现象让一个核心问题浮上台面： 给定算力预算，如何在"模型大小"和"训练数据量"之间分配，才能拿到最低的 test loss？ 这就是 scaling laws 研究的核心。

4.1 Kaplan scaling laws (2020)

Kaplan et al. (2020, OpenAI) 的开创性工作"Scaling Laws for Neural Language Models" 通过在大量不同尺寸的 Transformer 上做实验，发现：test loss 随 compute、dataset size、parameters 三者 分别呈现幂律关系（power-law）。

这些幂律意味着：

• 对数-对数空间内是直线：把 $\log L$ 对 $\log C$ 作图，得到斜率 -0.05 的直线
• 预测性：知道小规模实验的趋势，可以外推到 10×, 100× 规模——这给"是否值得训 GPT-4 量级"提供了科学依据
• 无 plateau：在测过的范围内没有看到饱和——继续加数据/参数还会涨

实务推论：训一个"还没完全收敛"的大模型

Kaplan 的另一个关键发现：在固定 compute 预算下，最佳策略是训一个比"完全收敛"更大的模型，但训得不完全。 也就是说，与其让一个 1B 模型见完所有数据，不如让一个 10B 模型只见 1/10 的数据——后者的最终 loss 更低。

4.2 Chinchilla 的修正 (2022)

Kaplan 论文之后两年，DeepMind 的 Chinchilla 论文（Hoffmann et al., 2022, "Training Compute-Optimal Large Language Models"） 重做了 scaling law 实验，得出了截然不同的结论： Kaplan 严重低估了数据的重要性，"模型大小:训练 token 数"的最优比应是 1:20，而不是 GPT-3 实际的 1:1.7。

关键实验：DeepMind 给 Chinchilla 和 Gopher (280B) 同等 compute 预算，但 Chinchilla 只有 70B 参数 + 4× 训练数据。 结果：Chinchilla 在几乎所有评测上都击败了 4 倍大的 Gopher。

为什么 Kaplan 错了？

后续研究表明 Kaplan 的主要问题是learning rate schedule—— 他用固定 cosine schedule，而该 schedule 对大模型小数据更友好。 Chinchilla 调整 LR 后，最优配比从 1:1 变成 1:20。

更新更细致的研究（Sardana & Frankle, 2024, "Beyond Chinchilla-Optimal"）指出： 如果考虑推理成本，应当训得比 Chinchilla 还要小、更多数据。 这就是 LLaMA-3 8B 用 15T tokens（远超 Chinchilla 的 160B）的合理性—— 因为它要部署给亿级用户用，推理算力是训练算力的几十倍。

4.3 架构敏感性：Transformer vs LSTM

Kaplan 等还研究了不同架构的 scaling 行为：

核心结论：

• 层数：超过 ~6 层之后，加深的边际效益就很小；扩宽（hidden dim）反而更划算
• Transformer vs LSTM：Transformer 在大尺度上有显著更陡的 scaling 斜率——这是它最终胜出的核心原因
• 架构选择应当通过小尺度实验外推，而非凭直觉

4.4 实务：compute-optimal 训练配方

第五部分：预训练到底教会了模型什么？

5.1 语言知识的多个层次

回顾我们前面看过的完形填空例子，可以系统地总结预训练让模型学到的语言知识层次：

预训练在前 5 类能力上表现出色——这些是语言统计规律能编码的知识。 但对真正的算法性推理（如 Fibonacci 序列、长除法、长公式求值）则力不从心—— 这就是 chain-of-thought、tool use、code execution 等后续技术想填补的空缺。

5.2 涌现能力：哪些不是 scaling 来的

许多能力呈现"涌现"（emergence）行为——在小模型上几乎为零，超过某个临界规模才突然出现：

5.3 不该学的：偏见、版权、隐私

预训练是双刃剑——它从互联网数据中无差别学习，因此互联网中的偏见、错误、隐私信息全部被吸收。

偏见

Bender et al. (2021, "On the Dangers of Stochastic Parrots") 系统论证了 LLM 会 学习并放大训练数据中的偏见：

• 性别：让模型补全 "The doctor said ___ would" 倾向用 "he"；"The nurse said ___ would" 倾向用 "she"
• 种族：词嵌入空间里 "Black" 和负面情感词更近
• 地域：模型对欧美话题的覆盖远多于非洲、拉美
• 意识形态：互联网文本以英语+西方观点为主，模型继承这种世界观

版权材料的逐字记忆

2023-2024 年的法律纠纷揭示了：大模型会逐字记忆训练数据中频繁出现的段落。 The New York Times 在起诉 OpenAI 的诉状中展示了 100 多段 GPT-4 输出与 NYT 文章几乎完全一致的例子。

隐私泄露：membership inference

Carlini et al. (2021, USENIX) 演示了从 GPT-2 中提取训练数据片段的攻击：

这种 membership inference（成员推断）攻击的实务影响：

• privacy risk：医疗记录、聊天记录、code 等私密内容若进入训练集，可能被攻击者还原
• differential privacy 等技术开始被严肃研究——加噪音降低 memorization
• data filtering 变成训练 pipeline 关键步骤——去除 PII、license violations
• 逐字记忆测试成为发布前的标准 checkpoint