参数高效微调 PEFT 完全指南

引论：从全量微调到参数高效适配

"As models get larger, the 'fine-tuning' arrow in the pretraining/finetuning paradigm becomes prohibitively expensive — not just to compute, but to store and deploy." — Diyi Yang, CS224N Lecture 9

2018 年我们用 110M 参数的 BERT 在每个下游任务上完整 finetune 一遍。2020 年 GPT-3 175B 出现，每复制一份"任务专属权重"就是 350GB 的 FP16 ckpt。到 2024 年 Llama-3.1 405B 与 GPT-4 级模型时，全量微调 (Full Fine-tuning, FullFT) 在三个维度都已破产：

本教材覆盖三条解决路径，对应 PDF Lecture 9 的核心提纲：

1. Prompting（第二部分）：完全不更新权重，仅靠输入文本"引导"——零成本但能力有限。
2. PEFT / Parameter-Efficient Fine-Tuning（第三~八部分）：冻结绝大多数权重，仅训练 0.01%–1% 的额外参数，在性能-成本曲线上取得"帕累托最优"。
3. Distillation / 蒸馏（第八部分）：把大模型的知识压缩到小模型里——另一种"高效适配"。

本教材的阅读路线图

根据你的目标，推荐三条路径：

第一部分：DPO 与偏好对齐的"去 RL 化"复盘

本部分是 Lecture 8 内容的浓缩复盘。如果你已经完整掌握 SFT/RLHF/PPO/RM 的设定，可以快速浏览公式块然后跳到第二部分。如果完全没接触过，强烈建议先看 lecture08_posttraining_textbook.html 第二、三部分再回来。

1.1 为什么 RLHF/PPO 是个工程巨兽

RLHF 的标准流水线（OpenAI InstructGPT, 2022）由三个阶段组成：

1. SFT：在指令-回答对上做监督微调，得到 $\pi^{\text{SFT}}$。
2. Reward Modeling：用人工偏好对 $(x, y_w, y_l)$ 训练一个标量奖励模型 $r_\phi(x,y)$，目标是 Bradley-Terry 似然：$\log \sigma(r_\phi(x,y_w) - r_\phi(x,y_l))$。
3. PPO finetune：以 RM 作为奖励信号，用 PPO 算法把 SFT 模型优化成新的策略 $\pi_\theta^{\text{RL}}$。

第 3 步是问题所在。PPO 的训练循环里同时要维护 4 个模型：

1.2 DPO 闭式解的完整推导

DPO (Rafailov et al. 2023, NeurIPS Best Paper) 的关键洞察：我们根本不需要训一个独立的 RM，再用 RL 优化 policy。可以从 RLHF 的目标函数出发，直接得到一个对 policy 的最大似然损失。

这是一个带 KL 正则的最大化问题。它存在闭式最优解（这是 RL 教材里 "soft value iteration" / "max-entropy RL" 的经典结论）：

注意：这一步是 DPO 的"魔术时刻"——我们把奖励函数重新参数化为 policy 的对数比 (log-ratio)。现在 reward 不再是独立的网络，而是策略本身的一个函数。

1.3 DPO 损失 + Bradley-Terry 模型

把上面隐式奖励代入 Bradley-Terry 偏好似然 $P(y_w \succ y_l) = \sigma(r(x,y_w) - r(x,y_l))$，注意 $\beta \log Z(x)$ 在两侧相减时抵消，于是得到 DPO 损失：

这就是个普通的加权二元交叉熵，可以用任何标准的 maximum likelihood 框架训。不需要 RM、不需要 value model、不需要 PPO 采样循环。

1.4 DPO 实证：为什么开源全转 DPO

Rafailov et al. 在 TL;DR summarization 上对比 PPO/DPO/Best-of-128/SFT，结论是 DPO 在所有 sampling temperature 下都 ≥ PPO，且 DPO 对 temperature 更稳健（PPO 在高 temp 下崩溃，DPO 保持平稳）。

更具说服力的是 2024 年 Open LLM Leaderboard：在 7B 量级的开源 chat 模型 Top-20 里，几乎清一色都是 DPO（或 DPO 变体 + model merge）。PPO 因为工程复杂度，在小型团队和学术界基本没人用了。

1.5 GRPO：去 Value model 的 RL 复兴

2024 年 DeepSeekMath 论文提出 GRPO (Group Relative Policy Optimization)，重新把 RL 带回主流——但去掉了 PPO 里最贵的 value model：

1.6 偏好数据的来源与文化偏见

所有偏好对齐方法（PPO/DPO/GRPO）都依赖一个隐含前提：偏好数据本身代表了"好"的判断。但这些数据是怎么来的？

• Time 报道（2023）：OpenAI 在肯尼亚雇佣时薪低于 2 美元的工人为 ChatGPT 标注毒性数据。
• Business Insider：训练数据标注的"AI 血汗工厂"分布在菲律宾、哥伦比亚、印度等地。
• Santurkar et al. 2023 (OpinionQA)：调查 InstructGPT 系列模型在 23 个话题上的观点立场，发现它们普遍偏向"美国 + 自由派 + 受过大学教育 + 30 岁左右"的群体——和 OpenAI 的标注者画像高度吻合。
• Ryan et al. 2024：Starling-7B 奖励模型对"我来自 {国家}" 的奖励值在西方国家显著高于非洲、中东、东亚等地区。

第一部分小结

我们快速复盘了对齐三件套（SFT → RM → RL）的当前 SOTA：DPO 几乎在所有学术与开源场景取代 PPO，GRPO 是 RL 派的"轻量化反击"。后面整本教材的话题完全不同——不再讨论"怎么对齐"，而是"怎么以最低成本把任意预训练模型适配到任意下游任务"。

第二部分：Prompting 范式 — 不更新参数的适配

"Specifying the right task in the input itself can replace gradient updates. But only if the model is large enough to understand what you're asking." — paraphrasing Brown et al., 2020 (GPT-3)

Prompting 是最便宜的"适配"方式——它根本不更新模型权重。要理解 prompting 为什么 work（以及它的极限在哪），需要先回顾大语言模型的涌现能力是如何随规模出现的。

2.1 GPT 系列的涌现能力时间线

GPT-2 论文的标题就告诉我们 "Language Models are Unsupervised Multitask Learners"。GPT-3 论文的标题是 "Language Models are Few-Shot Learners"。这两个标题描述的就是 prompting 的两种模式——zero-shot 和 few-shot。

2.2 Zero/One/Few-shot 与 In-context Learning

GPT-3 的核心贡献不是"更大的模型"——而是发现：把任务示例直接放在 prompt 里，模型可以"现场学会"做新任务，完全不用梯度更新。 这种现象叫 in-context learning (ICL)。

注意三件事：（1）模型权重完全不动；（2）"学习"发生在 forward pass 的注意力里；（3）没有"训练集 vs 测试集"的概念——所有示例和 query 都在同一段输入里。

2.3 Few-shot 是规模的涌现属性

Brown et al. 2020 最关键的实验：在不同尺寸的模型上做 few-shot SuperGLUE。结果是 only at 100B+ scale does few-shot really click。

这种"小模型几乎不会，大模型突然会"的现象后来被 Wei et al. 2022 命名为 emergent abilities。当然，emergence 是否真实存在也有争议——Schaeffer et al. 2023 (NeurIPS Outstanding Paper) 指出这部分是评估指标选择的产物。

2.4 Chain-of-Thought：让模型"想"

GPT-3 在 multi-step reasoning（多步算术、常识推理）上表现一直不好，即使加 few-shot 示例。Wei et al. 2022 提出 Chain-of-Thought (CoT) prompting：在示例的"答案"里写出推理步骤，而不只是最终答案。

在 GSM8K 中学算术题上，CoT 把 PaLM-540B 的解题率从 ~18% 提升到 ~57%——超过了 fine-tuned SOTA。但 CoT 同样是涌现属性：在小于 ~60B 的模型上，CoT 反而降低性能（因为小模型推理链充满错误）。

2.5 Zero-shot CoT 与 prompt 触发器

Kojima et al. 2022 发现一个更惊人的事：你甚至不需要给推理示例。只要在问题后面写一句神奇的 "Let's think step by step." ——模型就会自动展开推理链。

在 MultiArith 上：zero-shot 17.7% → zero-shot-CoT 78.7%。这就是一句话带来的差别。

Zhou et al. 2022 进一步用 LM 自己来设计 CoT 触发器，发现 "Let's work this out in a step by step way to be sure we have the right answer." 比 "Let's think step by step." 还要高 ~4 个点。一句 prompt 的措辞就能差 4%——这既神奇也危险（见 §2.6）。

2.6 Prompting 的脆弱性、敏感性与越狱

Prompting 的"黑魔法"性质带来一系列问题：

(a) 演示标签随机也 work — 模型没在"学"

Min et al. 2022 发现：在 few-shot 分类任务里，把 demonstration 的标签全部随机化，性能几乎不掉！这说明 ICL 的主要收益来自标签空间、输入分布、格式，而不是"输入-标签的正确映射"。模型并不真正"在学"，它在对齐输出格式。

(b) 同一问题措辞不同，答案不同

Moore et al. 2024 在 5 个 LM × 5 个语言下测量"换说法 (paraphrase) 后答案的不一致率"，发现 inconsistency 在 controversial 话题上高达 20%。换句话说，同一个问题换个写法，模型给你完全不同的立场。

(c) Jailbreak（越狱）

"Prompt engineering" 既是工程也是攻防战。Riley Goodside 2022 年这个经典示例展示了 prompt injection——通过用户输入"覆盖"系统指令。后续的 jailbreak 研究包括 DAN、AutoDAN、PAIR、Many-shot Jailbreaking (Anthropic 2024) 等。

(d) Zero-shot CoT 加剧偏见

Shaikh et al. 2023 发现："Let's think step by step." 让 text-davinci-003 在敏感问题（"How do I make a bomb?"）上的拒答率从 78% 跌到 25%——CoT 给越狱者打开了一道门。

2.7 Prompting 的四大根本局限

第二部分小结

Prompting 是"零参数适配"——便宜、灵活、但不稳定、性能有上限。从下一部分开始，我们正式进入 PEFT 的世界：既要 fine-tuning 的性能，又要 prompting 的轻量。

第三部分：PEFT 总览 — 三个观察视角

"Parameter-efficient fine-tuning aims to match the performance of full fine-tuning while updating only a small fraction of the parameters." — Houlsby et al., 2019

3.1 为什么"全量微调"行不通了

让我们把"全量微调一个 LLM"的真实成本拆开看：

各项含义：

• 第一个 $2|\Phi|$：权重本身（FP16，每参数 2 字节）。
• 第二个 $2|\Phi|$：FP16 梯度。
• $8|\Phi|$：Adam 的一阶 + 二阶动量（都需要 FP32 主拷贝 + FP16 拷贝才数值稳定）。
• 激活：和 batch size、序列长度、层数都成正比，可用 gradient checkpointing 减少。

PEFT 的目标是把第二、第三项几乎消掉——只对 1% 不到的参数计算梯度和保留优化器状态。冻结的权重的梯度永远不算，Adam state 也不需要。

3.2 三种观察视角：Parameter / Input / Function

Ruder, Pfeiffer & Vulić 在 EMNLP 2022 的 Modular Deep Learning tutorial 里提出了一个非常清晰的分类法。所有 PEFT 方法都可以归入三类视角：

3.3 PEFT 的形式化定义

给定一个预训练自回归 LM $P_\Phi(y|x)$（如 GPT），下游任务数据集 $\{(x_i, y_i)\}_{i=1}^N$。全量微调的目标是：

PEFT 的核心做法是把任务特定的增量 $\Delta\Phi$ 重新参数化为一个小得多的参数集 $\Theta$ 的函数：

不同的 PEFT 方法本质上就是不同的 $\Delta\Phi(\Theta)$ 参数化方式：

3.4 环境代价与"绿色 AI"

PEFT 不只是工程便利——它也是负责任 AI 议题的一部分。Strubell et al. 2019 (ACL) 的一项著名估算：训练一个 transformer-big + NAS 的 CO₂ 排放相当于5 辆汽车从制造到报废的全生命周期。

CS224N PDF 第 38 页引用了一个更贴近学生生活的例子：

"At Stanford, more than 200 students in a class on RL were asked to implement common algorithms. Though two algorithms performed equally well, one used far more power. If all students had used the more efficient algorithm, they would have reduced their collective power consumption by 880 kWh — about what a typical American household uses in a month." — 改编自 Henderson et al., "Towards the Systematic Reporting of Energy and Carbon Footprints of ML"

Green AI（Schwartz et al. 2020）正式呼吁把"效率"和"准确率"放在同样重要的位置作为评估维度。PEFT 是这一价值观的最直接实现：训练时减少梯度计算与显存，部署时减少模型存储与切换开销。

第三部分小结

我们建立了 PEFT 的三种视角分类法、统一的数学形式化、以及它在工程和伦理层面的双重价值。接下来三章 (§4, §5, §6, §7) 我们分别深入这三个视角的具体方法。

第四部分：稀疏子网络与剪枝（Parameter View I）

"A neural network is mostly noise. A small subnetwork — if you can find it — does almost all the work." — Lottery Ticket Hypothesis (Frankle & Carbin, 2019)

最直接的"参数效率"做法就是稀疏性——只保留模型里"重要"的连接，把其他设为 0。在深度学习历史上这条路径有几十年（LeCun 的 Optimal Brain Damage, 1990），但在大模型时代它有了新意义：作为 PEFT 的一种思路。

4.1 剪枝 = 应用二进制掩码

形式化地说，剪枝是给原始权重 $\theta \in \mathbb{R}^{|\theta|}$ 配上一个 0/1 掩码 $\mathbf{b} \in \{0,1\}^{|\theta|}$，剪枝后的模型 $f'$ 定义为：

最常用的剪枝准则是 weight magnitude（Han et al. 2015, 2017）：

直觉：接近 0 的权重对 forward pass 影响小，剪掉它们大概率不会破坏模型。

4.2 One-shot vs Iterative Pruning

4.3 Pruning 视作"任务向量"

让我们换个视角看 pruning。把"剪枝后的模型"视为"原模型 + 一个任务特定的修正向量 $\phi$"：

如果还要保持最终模型本身稀疏（不只是更新向量稀疏），把掩码同时应用在 $\theta$ 上：

4.4 Diff Pruning：稀疏的任务模块

Guo et al. 2021 提出 Diff Pruning：完全把剪枝当作 PEFT 用——为每个任务学一个稀疏的"差值向量"$\phi$，而非更新整个 $\theta$。

4.5 彩票假设 (Lottery Ticket Hypothesis)

Frankle & Carbin (ICLR 2019 Best Paper) 提出一个深刻的假说：

The Lottery Ticket Hypothesis：A randomly-initialized, dense neural network contains a subnetwork that — when trained in isolation with the same initialization — can match the test accuracy of the original network in a similar number of iterations.

"中奖票" (winning ticket) 这个比喻是说：在随机初始化的大网络里已经"埋藏"了一个稀疏小网络，它本来就有学习能力。训练大网络只不过是在"挑选"这个 ticket。

第四部分小结

剪枝是 PEFT 的"前身"——它早期主要为了压缩，后来才被重新定位为适配。在当代 NLP 中，纯 magnitude pruning 在 LLM PEFT 里用得不多——LoRA 等"低秩"方法在性能/简洁性上完胜稀疏方法。但稀疏性的思想（"任务只需要原模型的一小部分"）贯穿整个 PEFT 设计。

第五部分：LoRA — 低秩适配（Parameter View II，核心章节）

"Pretrained language models have a low 'intrinsic dimension'. Therefore, the change in weights during adaptation should also have a low 'intrinsic rank'." — Hu et al., 2021 (LoRA)

LoRA 是 2021 年微软的 Edward Hu 等人提出的方法，是过去 5 年最重要的 PEFT 方法，没有之一。今天你打开 HuggingFace 上随便一个 7B-72B 的"指令微调"模型，背后大概率就是 LoRA / QLoRA。本部分会非常详细地展开它。

5.1 重述全量微调的"昂贵"

回顾 §3.1 的算账：FullFT GPT-3 的 $\Delta\Phi$ 大小 = $|\Phi_o|$ = 175B 参数。100 个下游任务 = 100×350GB = 35TB 模型权重。任务切换 = 几十秒到几分钟的 disk → GPU 拷贝。这在多租户云服务里完全不可接受。

LoRA 要回答的问题：能不能用一个 $|\Theta| \ll |\Phi_o|$ 的小参数集来编码 $\Delta\Phi$，性能不掉？

5.2 Aghajanyan 的"低内在秩"假说

LoRA 的理论根基来自 Aghajanyan et al. 2020 ("Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-tuning") 的一项实证：

他们的实验：随机选一个 $d$ 维子空间嵌入到 $|\Phi_o|$ 维参数空间里，只在这个子空间里训。BERT-large 在 MRPC 上，仅用 200 维子空间就能达到 90% 的 full FT 性能。GPT-2 medium 在 RTE 上 仅 100 维就能达到 95%。

5.3 LoRA 的核心数学：W = W₀ + αBA

对预训练 Transformer 里的一个权重矩阵 $W_0 \in \mathbb{R}^{d\times k}$（典型 $d = k = $ hidden size，如 4096），LoRA 把"更新"约束为低秩分解：

来看维度账：

前向传播：

5.4 初始化策略与缩放因子 α

LoRA 的初始化是设计的精髓，错了模型直接训崩：

为什么这样设？因为 $\Delta W = BA$，所以 $\Delta W|_{t=0} = B \cdot A = 0 \cdot A = 0$。这意味着训练初始时 LoRA 路径是恒等(无影响)的——模型的初始行为 = 预训练模型的行为。这避免了"训练前几步把预训练知识破坏掉"的灾难。

缩放因子 $\alpha$ 的作用：

• $\alpha$ 控制 LoRA 路径"插入"预训练模型的强度。
• 常用 $\alpha = 2r$ 或 $\alpha = r$，然后实际乘 $\frac{\alpha}{r}$（这样切换 rank 时不需重调学习率）。
• $\alpha$ 越大 → LoRA 越强势 → 更接近 FullFT 行为；$\alpha$ 太小 → 几乎没适配。

5.5 推理零延迟性质

LoRA 一个被低估的优雅之处：训练时是双路结构，部署时可以合并成单矩阵，推理速度和 FullFT 完全一样。

多任务热切换的工作流：

1. 常驻显存：原始 $W_0$。
2. 每个任务：磁盘上存一份 $\{A_i, B_i\}$（几 MB～几十 MB）。
3. 任务 A → 任务 B 切换：$W_0 \leftarrow W_0 - \alpha B_A A_A + \alpha B_B A_B$。整个切换在 GPU 上 100ms 量级完成。

对比 FullFT：每切一次任务要重新 load 几百 GB 的权重 — 几十秒到几分钟。

5.6 PyTorch 极简实现

LoRA 的核心代码只有 10 来行。完整可跑示例：

import math, torch, torch.nn as nn

class LoRALinear(nn.Module):
    """A linear layer = frozen W₀ + trainable α·B·A low-rank branch."""
    def __init__(self, in_dim, out_dim, rank=8, alpha=16):
        super().__init__()
        # 原始权重，冻结
        self.weight = nn.Parameter(torch.empty(out_dim, in_dim), requires_grad=False)
        nn.init.kaiming_uniform_(self.weight, a=math.sqrt(5))
        # LoRA 分支：A ~ N(0,σ²)，B = 0
        self.A = nn.Parameter(torch.empty(rank, in_dim))     # r × k
        self.B = nn.Parameter(torch.zeros(out_dim, rank))    # d × r
        nn.init.kaiming_uniform_(self.A, a=math.sqrt(5))
        # 缩放因子，固定不学
        self.scaling = alpha / rank

    def forward(self, x):
        # 原始路径（冻结）
        h = nn.functional.linear(x, self.weight)
        # LoRA 路径：x → A → B → 加到 h 上
        h = h + nn.functional.linear(nn.functional.linear(x, self.A), self.B) * self.scaling
        return h

# 用法：替换 transformer 中的 Linear
# 注意：只有 self.A 和 self.B 会被 optimizer 看到（requires_grad=True）
# self.weight 被设为 requires_grad=False，不会出现在 .parameters() 里被更新

实际工程中：

• HuggingFace 的 peft 库提供 LoraConfig + get_peft_model 三行代码改造任意模型
• 注入哪些层由 target_modules=["q_proj", "v_proj"] 等指定
• 训完后 model.save_pretrained("./my_lora/") 只保存 LoRA 参数
• 推理时 model.merge_and_unload() 把 LoRA 合并回 base model

5.7 实验：GPT-3 175B 上的扩展性

Hu et al. 在论文里把 LoRA scaling 到 175B GPT-3，对比 6 种 baseline：

5.8 关键设计选择：在哪些层用？最优 rank？

原论文做了精细的消融实验，结论非常实用：

(a) 应该把 LoRA 加在哪些权重矩阵？

固定总参数预算 18M，对比 Transformer 里 4 类权重（$W_q, W_k, W_v, W_o$）的不同组合：

结论：在预算相同的情况下，把 LoRA 分散到多个矩阵（哪怕每个 rank 很小）比集中在一个矩阵效果好。最常用的配方：target_modules=["q_proj", "v_proj"]，rank=4–8。

(b) 最优 rank 是多少？

惊人结论：rank=1 已经能 work！rank 增大几乎没收益（甚至略降）。这是低内在秩假说最直接的实证支持。

LoraConfig(
    r=8,                      # 通用任务 r=8；复杂任务 r=16-32
    lora_alpha=16,            # 一般 = 2r
    target_modules=["q_proj", "v_proj"],  # 最经济的选择
    lora_dropout=0.05,
    bias="none",
)

5.9 QLoRA：4-bit 量化 + NF4 + Paged Optimizer

Dettmers et al. 2023 的 QLoRA 把 LoRA 推到了消费级硬件——用一张 24GB 4090 fine-tune 一个 65B 模型。

三个核心技术：

QLoRA 论文的标志性结果：在 Vicuna 评测上，用单卡 48GB A6000 微调一个 65B 模型（"Guanaco-65B"）达到 ChatGPT 99.3% 的性能，总训练时间 24 小时。

5.10 LoRA 在 RL 中也 work：rank=1 即可

2024-2025 一个新发现（Thinking Machines blog, 2025）：LoRA 在 RLHF / RLVR 这种特别 sample-inefficient 的训练里也完全可以匹配 FullFT，甚至 rank=1 就够。

5.11 LoRA 变体生态：DoRA / AdaLoRA / PiSSA / LoRA+

第五部分小结

LoRA = "更新矩阵的低秩重参数化"，是 PEFT 历史上最重要的进展。它的核心洞察（fine-tuning 有低内在秩）来自 Aghajanyan 2020，工程实现极简（10 行代码），效果完胜所有同期方法，且推理零延迟。QLoRA 进一步把它带到消费级硬件，让 7B-65B 模型微调彻底民主化。后续生态（DoRA/PiSSA/LoRA+）都是在这一基本范式上做小幅改进。

第六部分：Prefix-Tuning 与 Prompt-Tuning（Input View）

"What if we don't change the model — we just learn the optimal soft 'prompt' for each task?" — Li & Liang, 2021 (Prefix-Tuning)

6.1 输入视角的核心想法："软提示"

回想第二部分的 prompting：我们用自然语言的 prompt（"Translate English to French: ..."）让模型做任务。但自然语言 prompt 有两个问题：

1. 必须是合法的 token——只能从离散的词表里选，搜索空间小
2. 性能对措辞极度敏感

那如果我们不限制 prompt 必须是真实 token呢？直接让 prompt 变成可学习的连续向量（"soft prompt" / "virtual tokens"），用梯度下降优化它——这就是输入视角的 PEFT。

6.2 Prefix-Tuning：每层注入虚拟 token

Li & Liang 2021 (ACL) 的 Prefix-Tuning 比"软提示"更激进——在 Transformer 的每一层都注入虚拟 token，而不仅仅是输入层。

具体做法：对 Transformer 的每个 self-attention 层，把 prefix 直接 prepend 到 key/value 矩阵上：

参数数量：

6.3 Prompt-Tuning：仅在输入层注入

Lester, Al-Rfou & Constant 2021 (EMNLP, "The Power of Scale for Parameter-Efficient Prompt Tuning") 提出更简化的 Prompt-Tuning：

• 只在输入 embedding 层注入 $m$ 个软 token
• 不动每一层的 K, V（不像 Prefix-Tuning）
• 训练时不需 reparameterization MLP

6.4 "Power of Scale"：为什么 Prompt-Tuning 只在大模型起效

Lester 等人最重要的实验：在不同尺寸的 T5 上对比 Model Tuning (FullFT) / Prompt Design / Prompt-Tuning。

6.5 P-Tuning v2 与多任务批处理

Liu et al. 2022 (ACL) 的 P-Tuning v2 本质上就是把 Prefix-Tuning 重新包装，强调它在所有规模下都 work（不像 Prompt-Tuning 只在大模型）。技术细节几乎相同：每层注入 prefix。

多任务批处理的杀手锏

Prefix-Tuning/Prompt-Tuning 有一个 LoRA 没有的优势：同一个 batch 里可以跑不同任务。

LoRA：要切任务必须切 $W$，整个 batch 必须是同一个任务。
Prefix/Prompt：每个 sample 自己 prepend 它的任务 prefix，同一个 forward pass 里能跑 100 个不同任务。

这对 multi-tenant serving 极其重要。"我有 100 个客户，每人定制了 prompt"——用 Prompt-Tuning 你能把他们打包成一个 batch 一次 forward 跑完；用 LoRA 你得分 100 次。

第六部分小结

Prefix/Prompt-Tuning 走"输入视角"——不动权重，只学输入。优势是参数极少、支持 multi-task batching；劣势是小模型上失效、训练不如 LoRA 稳定。在 2024 年的实践中，当你有上百个任务要在线 serve 时，Prompt-Tuning 仍然是首选；其他场景大多被 LoRA 替代。

第七部分：Adapter — 函数复合（Function View）

"Insert a small trainable module between layers of a frozen pretrained model. The model's function becomes a composition: $f' = f_\theta \circ f_\phi$." — Houlsby et al., 2019

7.1 函数复合的形式化

"函数视角"的核心想法：不修改原模型的权重，而是插入新的小函数模块。形式化地：

注意这与 LoRA 的差异：

• LoRA：$W = W_0 + \alpha BA$ — 改"权重矩阵"
• Adapter：$h = h_0 + f_\phi(h_0)$ — 改"层之间的函数"

后者更"模块化"——可以把每个 adapter 当成独立的小神经网络处理。

7.2 Houlsby Adapter 的瓶颈结构

Houlsby et al. (ICML 2019, "Parameter-Efficient Transfer Learning for NLP") 提出第一个 Adapter 设计。它就是一个带残差的瓶颈 MLP：

参数数量：

7.3 在 Transformer 中放置 Adapter 的位置

Houlsby 的"双 adapter"设计是默认。但有几种变体：

7.4 参数 - 性能 trade-off 曲线

7.5 Language Adapter：把语言当任务

Pfeiffer et al. 2020 (MAD-X) 把 Adapter 的概念延伸到语言适配：训练 LM 在不同语言上的能力，可以看作训练不同的"语言 adapter"。

7.6 Dialect Adapter：AAVE 与方言公平性

Stanford 自家的工作（Held et al. 2023; Liu et al. 2023）把语言 adapter 进一步推广到方言——同一语言内部的变体。

LLM 几乎都在 Standard American English (SAE) 上训。结果是它们在 African American Vernacular English (AAVE), Indian English, Singlish 等方言上的表现显著下降——这是一个公平性问题。

解法：

1. 语言学家提供 AAVE 的规则（如 "copula deletion: 'He running' = 'He is running'"）
2. 用这些规则做 data augmentation 或加在 adapter 训练目标里
3. 训出一组 "Dialect Adapters"，可即插即用到任何 SAE-trained 模型上

结果：AAVE 上的 task performance 与 SAE 基本持平，但只额外训了 ~1% 参数。

7.7 AdapterFusion 与可组合性

Pfeiffer et al. 2021 (EACL) 提出 AdapterFusion：训完一堆 task adapter 后，对新任务可以学一个 "fusion layer" 来动态选择/混合已有 adapters。

这开创了"模块化深度学习" (modular deep learning) 的范式：把模型能力拆成可组合的小模块，按需拼装。Ruder/Pfeiffer/Vulić 在 EMNLP 2022 的 tutorial 系统化了这一思想。

第七部分小结

Adapter 是 PEFT 历史上第一个明确"少量参数能匹敌 FullFT"的方法（Houlsby 2019），开启了 PEFT 这个研究方向。它的瓶颈结构（d→k→d）和"插入式"设计影响了后续几乎所有 PEFT 方法。在 LoRA 时代它略显笨重，但在模块化、可组合的场景下仍不可替代。

第八部分：统一框架与新兴方向

"LoRA, Prefix-Tuning, and Adapters can all be expressed as different instantiations of a unifying form: $h \leftarrow h + \Delta h$, where $\Delta h$ is computed by some low-rank function of either $h$ or $x$." — He et al., 2022 (ICLR)

8.1 He et al. 2022 的统一函数形式

当 LoRA / Prefix-Tuning / Adapter 看起来都"差不多 work"的时候，自然会问：它们之间是不是有一个统一的数学结构？He et al. 2022 ("Towards a Unified View of Parameter-Efficient Transfer Learning", ICLR) 给出了答案：是的。

8.2 GLUE 上的横向对比

Mahabadi et al. 2021 (Compacter 论文) 给了一张经典的"参数预算 vs GLUE 性能"散点图，几乎所有主流 PEFT 都画在了上面。我们用相同形式重制：

8.3 知识蒸馏：把大模型压成小模型

PEFT 是"用小预算 finetune 大模型"。知识蒸馏 (Knowledge Distillation, KD) 是它的对偶问题：把大模型的能力转移到一个永久性的小模型里。

KD 在 NLP 的几个里程碑

Reasoning Distillation

Shridhar et al. 2023 ("Distilling Reasoning Capabilities into Smaller Language Models") 演示了如何把 CoT 推理能力从 GPT-3.5 蒸馏到一个 small LM：

1. 用 few-shot CoT prompt 让 GPT 生成 (问题, 推理链, 答案) 数据
2. 用 "Socratic CoT" 让 GPT 把推理链拆成"子问题 + 子答案"链
3. 分别训两个小 LM：一个生成子问题，一个回答子问题
4. 推理时两个小 LM 协作做 multi-step QA

结果：5B 量级的协作小模型可以接近 175B GPT-3.5 在 GSM8K 上的性能。

8.4 ReFT：表征级的微调

Wu et al. 2024 (NeurIPS) 提出 ReFT (Representation Fine-Tuning)：第一种"不动权重，也不加新模块，而是直接干预 hidden representations"的 PEFT 方法。

8.5 Gist Tokens 与 prompt 压缩

Mu, Li & Goodman 2024 ("Learning to Compress Prompts with Gist Tokens", NeurIPS) 解决一个不同的"效率"问题：长 prompt 太贵。

设定：你的系统 prompt 是 1000 个 token，每次 inference 都要重新处理一次。能不能把它压缩到 10 个 "gist tokens"？

结果：1000 token prompt → 10 gist token，性能掉 ~1-2%，但 prompt 处理成本降 100×，KV cache 显存降 26×。

8.6 IA³、BitFit 等微小变体

第八部分小结

PEFT 这个领域在 2025 年已经很"成熟"——LoRA/Adapter/Prefix 三大类被统一框架联系起来，新方法基本都是这三者的变体或组合。前沿在两个方向：（1）表征级干预（ReFT）；（2）更激进的压缩（gist token, KV compression）。

第九部分：研究生级实战建议

这一部分把所有知识压缩成一份"决策表"——下次你坐在终端前要 finetune 一个模型时，按图索骥。

9.1 决策树：我该选哪种 PEFT？

9.2 LoRA 超参速查表

9.3 调试 checklist：训不动 / 训崩了怎么办？

9.4 评估你的 PEFT 模型

不要只看 loss！PEFT 模型很容易 overfit 到一个窄分布上。建议至少跑这些评估：

• 目标任务测试集：你 finetune 的目标
• 通用能力保留：MMLU / HellaSwag / ARC（PEFT 不应该让通用能力大幅退化）
• 安全性：ToxiGen / TruthfulQA（特别是做 RLHF/DPO 后）
• 对抗鲁棒性：PromptBench / AdvGLUE
• 样本效率：训练数据 50% / 20% 时模型能 hold 住吗？

9.5 开放问题（论文方向）

9.6 学习资源