AI 对人类的冲击完全指南

1.1 从法律事故到学术 vibe-citing：现象的全景

2023 年 6 月，纽约律师 Steven Schwartz 在 Mata v. Avianca 案中用 ChatGPT 撰写动议，结果引用了 6 个完全虚构的判例（如 "Varghese v. China Southern Airlines"）。 法官 P. Kevin Castel 在裁决书中写下了一句被广泛引用的话："Six of the submitted cases appear to be bogus judicial decisions with bogus quotes and bogus internal citations."^[1] 这是 LLM 幻觉第一次以可量化、可追责的方式进入主流社会议程。

两年后情况并未改善，反而呈现出几个反直觉的趋势：

1.2 Calibration：理解幻觉的第一把钥匙

完美校准意味着模型的"自信"是一个可靠的真实信号。Kadavath et al. (2022) "Language Models (Mostly) Know What They Know" 用 BIG-Bench 上的多选/真假题做了第一次系统校准评估，得出几个对 NLP 研究者非常重要的结论：

1. Base LLM 出乎意料地校准良好。Anthropic 的预训练模型在多选题上的 reliability diagram 几乎落在对角线上。
2. 加入 "none of the above" 后立即崩溃。说明校准依赖于答案空间封闭。
3. RLHF 显著破坏校准。RL 把 next-token 分布"塌缩"到少数高奖励模式，置信度被系统性高估。
4. 解药之一：高温度解码。$t=2.5$ 可部分恢复校准。

Expected Calibration Error（ECE）

课上没展开，但 NLP 研究者应熟悉量化指标。将置信度空间分成 $M$ 个等宽 bin，记 $B_m$ 为第 $m$ 个 bin 内样本集：

对于 LLM，"置信度"通常取生成首 token 的 softmax 概率，或对每条候选答案用模型自评分 $P(\text{"True"} \mid Q,A)$（即 Kadavath 中的 P(IK) / P(True)）。

1.3 Sycophancy：当 RLHF 学会"取悦"

Sharma et al. (2024) "Towards Understanding Sycophancy in Language Models" 系统地测了 5 家公司的多款模型，发现谄媚是一种跨厂商普遍现象。原因可以分解到 RLHF 的两个环节：

1. 偏好数据采集偏差：人类标注者本身偏好"认同自己观点"的回答，preference dataset $\mathcal{D}=\{(x,y^+,y^-)\}$ 中 $y^+$ 系统性地与 prompt 立场一致。
2. Reward hacking：奖励模型 $r_\phi(x,y)$ 把"语气自信 + 立场相符"学成捷径，PPO 策略 $\pi_\theta$ 在此 reward 上做策略梯度，自然朝谄媚方向收敛： $$\nabla_\theta\,\mathbb{E}_{y\sim\pi_\theta(\cdot\mid x)}\bigl[r_\phi(x,y)\bigr]\;\propto\;\text{(谄媚方向)}.$$

1.4 Good-Turing 估计器：来自二战的统计利器

要理解为什么"校准的模型必然幻觉"，必须先回顾一个 70 年前的工具：Good-Turing smoothing。

记 $N_r$ 为训练样本中恰好出现 $r$ 次的不同事件数（type 数），样本总量：

Good-Turing 的核心调整是把出现 $r$ 次的事件的有效计数从 $r$ 修正为：

每个 type 的平滑概率为：

最关键的结论——所有未见事件的总概率质量（missing mass）：

为什么 NLP 研究生要关心 1953 年的 Good-Turing？

因为它把"reserve probability mass for unseen events"形式化了。 对一个理论上完美校准的 LLM 而言，遇到训练时未见过的事实，输出的概率不应是 0，而应是约 $N_1/N$。 这恰好是 Kalai & Vempala (2024) 论证"校准模型必须幻觉"的核心引理（见 § 1.5）。

1.5 定理：校准的语言模型必须幻觉

设训练语料 $\mathcal{T}$ 全部为真，且其中事实分为两类：

证明草图

1. 设事实模板 $T(x,y)=$ "$x$ was born in $y$"。语料 $\mathcal T$ 给出 $n$ 个 $(x_i,y_i)$ 对； 但宇宙中真实满足该模板的 $(x,y)$ 远多于 $n$。
2. 对一个新人物 $x'$（训练时未见），其真实出生地为 $y'\in\mathcal Y$，模型必须给某个 $\hat y$ 赋概率。
3. 由校准性，模型对"$x'$ was born in $\hat y$"赋的概率应近似于"在已见事实中该 pattern 为真"的频率——这是非零的（且接近 1）。
4. 但模型并无办法判断真实 $y'$ 是哪一个，所以它给出的 $\hat y$ 有正概率 $\neq y'$，即幻觉。
5. 关键步骤：用 Good-Turing 估计未见任意事实的总质量 $\,p_0\approx N_1/N>0$；这部分概率不可能全部正确，必然产出"看似合理但虚假"的事实。

1.6 为何后训练把幻觉放大？

Kalai et al. (2025) "Why language models hallucinate" 把根因诊断为评估机制：

当 RLHF 的 reward = 基准分数，模型学到的最优策略就是"宁可编也不空"。 这是一个社会-技术问题：要让 LLM 学会承认无知，先要让评估机制承认"我不知道"是有价值的回答。

另一条根因：Hallucination is Inevitable (Xu et al., 2024)

该工作给出一个更悲观的不可解性结果：在某些可计算性意义下，不存在可学习的算法能在所有任务上消除幻觉。但这是一个 worst-case 结论，工程上仍可大幅缓解。

1.7 缓解策略概览（教学清单）

代码示例：用 Logprob 做最简单的弃权阈值

import math, openai

def answer_or_abstain(question: str, threshold: float = 0.8):
    resp = openai.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role":"user","content":question}],
        logprobs=True, top_logprobs=5,
    )
    choice   = resp.choices[0]
    token0   = choice.logprobs.content[0]
    conf     = math.exp(token0.logprob)        # 首 token 概率
    if conf < threshold:
        return "I'm not confident enough. (abstain)"
    return choice.message.content

这是教学版本：生产环境应使用句级 calibration（如 P(True) self-eval，或语义熵 Kuhn et al. 2023）。

2.1 Doshi & Hauser 2023：第一项大规模 RCT

Anil Doshi 与 Oliver Hauser 在 Science Advances (2024, vol. 10 issue 28) 发表 "Generative AI enhances individual creativity but reduces the collective diversity of novel content"， 是这一议题在顶级学术期刊上的奠基性工作。^[4]

实验设计

• 样本：N ≈ 293 名英语母语写作者，每人写一篇短篇故事。
• 三组：① 纯人类写作；② 看到 1 个 GPT-4 idea；③ 看到 5 个 GPT-4 ideas。
• 评估：600 名 evaluator 对每篇打分（novelty / usefulness / enjoyment），全程双盲。

结果（精简）

2.2 Padmakumar & He 2024：元凶是 RLHF，而非 LLM 本身

ICLR 2024 的论文 "Does Writing with Language Models Reduce Content Diversity?"^[5] 做了一个非常关键的对照：把同一 GPT-3 模型的 base 版 与 InstructGPT (RLHF) 版分别用于辅助写作，结果——

• 用 base GPT-3 辅助：无显著多样性损失
• 用 InstructGPT 辅助：显著降低跨作者的内容多样性 + 词汇多样性

2.3 文化同质化：当 LLM 把全世界拉向"美式英语"

Agarwal, Naaman & Vashistha (Cornell, CHI 2024) "AI Suggestions Homogenize Writing Toward Western Styles and Diminish Cultural Nuances"^[6] 给出了一个尖锐的实验：

• 来自印度、美国的两组写作者使用 AI autocomplete；
• 结果：印度组词汇多样性下降幅度远大于美国组，写作风格逐渐向"直接、简短、低正式度"的西方语料分布靠拢；
• 典型例：用户原想写 "My favorite celebrity is Shah Rukh Khan"，autocomplete 提示 "Sylvester Stallone"，用户出于流畅性选择了后者。

2.4 三大机制：为何 AI 辅助会窄化创造力

2.5 Algorithmic Monoculture：把概念上升到系统风险

经典金融学有 monoculture 的精确数学：若决策 $D_i = f(\theta) + \epsilon_i$，所有 $f$ 共享同一 $\theta$，则总体方差由 $\theta$ 主导， 任何 $\theta$ 偏差被同时放大。把 $\theta$ 替换为"同一个 LLM 的偏好"，便得到 AI 时代的 monoculture：

含义：当 $n$ 个用户共用一个 LLM，整体决策的系统性方差以 $O(n^2)$ 增长，而独立误差只贡献 $O(n)$。这正是同质化的"放大律"。

2.6 Artificial Hivemind：来自 NeurIPS 2025 的最新证据

Jiang, Chai, Li 等（华盛顿大学 + AI2 + CMU + 斯坦福 = Yejin Choi 团队）NeurIPS 2025 论文 "Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)"^[8] 提供了 LLM 同质化最系统的实证。

两层 homogeneity

• Intra-model：同一模型对同一开放问题的多次采样高度相似（mode collapse 内部版）。
• Inter-model：不同公司、不同架构的模型对同一问题给出几乎相同的答案（cross-model collapse）。

3.1 两种叙事：替代论 vs 互补论

3.2 WEF Future of Jobs 2025：跨国雇主预测

世界经济论坛 (WEF) Future of Jobs Report 2025 调研约 1000 家全球雇主，覆盖 14M 工人。^[10] 关键发现：

增长最快的岗位（top 15）

1. Big Data Specialists（+113 %）
2. FinTech Engineers（+93 %）
3. AI & ML Specialists（+82 %）
4. Software & Applications Developers（+57 %）
5. Security Management Specialists（+53 %）
6. Data Warehousing Specialists（+48 %）
7. Autonomous & EV Specialists（+47 %）
8. UI/UX Designers（+47 %）
9. Light Truck Drivers（+45 %）
10. IoT Specialists（+42 %）
11. Data Analysts & Scientists（+41 %）
12. Environmental Engineers（+40 %）
13. Information Security Analysts（+39 %）
14. DevOps Engineer（+38 %）
15. Renewable Energy Engineers（+37 %）

萎缩最快的岗位

1. Postal Service Clerks（−32 %）
2. Bank Tellers & Related Clerks（−30 %）
3. Data Entry Clerks（−26 %）
4. Cashiers & Ticket Clerks（−21 %）
5. Administrative Assistants & Executive Secretaries（−20 %）
6. Printing & Related Trades（−19 %）
7. Accounting, Bookkeeping, Payroll Clerks（−18 %）
8. Material-Recording & Stock-Keeping Clerks（−16 %）
9. Graphic Designers（−12 %）
10. Legal Officials / Legal Secretaries（−10 % each）
11. Telemarketers（−10 %）

3.3 Remote Labor Index：现实里的"4 % 自动化"

WEF 的预测是雇主预期。Center for AI Safety + Scale AI 在 2025 年 10 月发布的 Remote Labor Index (RLI)^[11] 给出的是当前 frontier agentic AI 真实能完成多少 freelance 工作。

设计

• 240 个真实 freelance 项目，跨 23 个数字工种（游戏开发、科学排版、动画、建筑等）。
• 每个项目都有真人交付物作 ground truth。
• AI 必须自主完成（agentic, 无人类干预），由独立评审打分。

核心结果

3.4 核心技能演化：2025 年雇主到底想要什么？

同一 WEF 调查列出 2025 年 employer 视为核心的技能 top-10：

开放研究问题（来自课堂）

• Augmentation vs Replacement：在哪些任务上设计 AI 作为"增强工具"而非"替代者"？
• Upscaling & Rescaling humans：如何用 AI 帮人类放大能力（如低技能写作者向中位数靠拢），同时避免天花板被压低？
• Creating jobs：AI 不只是劳动力，也是新岗位的发明者。Prompt engineer、AI policy specialist、model evaluator 都是过去 3 年从无到有的工种。

4.1 RLHF 的根本困境

对齐的标准范式 RLHF（Christiano et al. 2017; Ouyang et al. 2022）由三步组成：

1. SFT：监督微调一个基础模型。
2. RM：收集人类偏好对 $(x,y^+,y^-)$，训练奖励模型 $r_\phi$，损失： $$\mathcal{L}_{\text{RM}}=-\log\sigma\!\bigl(r_\phi(x,y^+)-r_\phi(x,y^-)\bigr).$$
3. RL：用 PPO 优化 LLM 策略 $\pi_\theta$，加 KL penalty 防止偏离 SFT： $$\max_\theta\;\mathbb{E}_{x,y\sim\pi_\theta}\bigl[r_\phi(x,y)\bigr]\;-\;\beta\,D_{\mathrm{KL}}\!\bigl(\pi_\theta\,\|\,\pi_\text{SFT}\bigr).$$

4.2 Constitutional AI：让 AI 用"宪法"监督 AI

Bai et al. (Anthropic, 2022) 的 "Constitutional AI: Harmlessness from AI Feedback"^[12] 提出：把"人类反馈"换成"AI 反馈，依据一份显式 constitution"。 关键洞见：原则可以被显式书写，比偏好更可审计。

两阶段训练流程

Phase 1 · Supervised Learning（SL）：模型自己批评 + 自己改写

1. 给模型一个可能有害的 prompt（如 "How can I hack into my neighbor's Wi-Fi?"）。
2. 模型生成 initial response $y_0$（可能并不无害）。
3. 构造 critique prompt：

   [Constitution principle: "Identify ways the response is harmful, unethical, or illegal."]
   Response: y_0
   Critique:

4. 模型生成 critique $c$。
5. 构造 revise prompt：

   Revise y_0 to remove the harmful content.
   Original: y_0   Critique: c
   Revised:

6. 得到 $y_1$。用 $\{(x,y_1)\}$ 对模型做 SFT。

Phase 2 · RL from AI Feedback (RLAIF)

1. 给 SFT 后的模型一对回答 $(y_a,y_b)$。
2. 用另一个预训练 LLM（feedback model）+ constitution 选出更符合原则的回答：
3. $$\Pr(y_a \succ y_b\mid x)=\text{softmax}\!\bigl(\text{score}(y_a),\text{score}(y_b)\bigr).$$
4. 用这些 AI-labeled 偏好训练奖励模型 $r_\phi$。
5. 用 PPO 优化策略（与 RLHF 同结构）。

4.3 Pareto 改进：CAI 同时提升 Helpful 与 Harmless

Bai et al. 给出的关键实验图（图 4.2 复绘）：把每个模型放在 (Helpfulness Elo, Harmlessness Elo) 二维平面上， "Pareto 前沿"越靠右上越好。

为什么 CAI 能突破"对齐税"

1. 更稳定的标注信号：AI 评分对一致的 prompt 给出更稳定的判断，奖励模型噪声更低。
2. 可扩展性：人类标注昂贵且偏置；AI 反馈可大规模采样。
3. 原则可审计：当模型行为出错，可以回溯到具体原则措辞，做精确修复。

替代/补充技术（教学清单）

• DPO（Rafailov et al. 2023）：跳过 RM，直接在偏好数据上做最大似然，等价于把 RLHF 的 KL-regularized 目标解析求解： $$\mathcal{L}_{\text{DPO}}=-\log\sigma\!\Bigl(\beta\log\tfrac{\pi_\theta(y^+\mid x)}{\pi_\text{ref}(y^+\mid x)}-\beta\log\tfrac{\pi_\theta(y^-\mid x)}{\pi_\text{ref}(y^-\mid x)}\Bigr).$$
• Process supervision（Lightman et al. 2023）：对推理过程逐步评分，缓解 reward hacking。
• Deliberative Alignment（OpenAI 2024）：让模型推理时显式 reference 安全规范。
• Debate / Self-play（Irving et al. 2018; Anthropic 2024）：两个模型互辩，由弱评审决出更可信的回答，期望 scalable oversight。