LLM 评估完全指南

面向 NLP 研究生的深度教材 · 改编自 Stanford CS224N Winter 2026 Lecture 11 (Yejin Choi)
覆盖：基准设计 · 评估指标 · Goodhart 定律 · 数据污染 · LLM-as-Judge · 信息论度量 · 开放问题
版本 1.0 · 2026 春 · 配套 Lab Wiki apps/evaluation.md

引论：评估为何是 LLM 时代最难的工程问题

"What gets measured gets managed." — Peter Drucker
"When a measure becomes a target, it ceases to be a good measure." — Goodhart 定律

深度学习这场革命，本质上是由评估驱动的。从 1988 年的 Penn Treebank 让句法分析进入定量时代， 到 ImageNet 在 2012 年点燃 AlexNet 引爆深度学习，再到 SQuAD 重新定义"阅读理解"该长什么样—— 每一个有重大影响力的子领域，背后几乎都站着一个具有里程碑意义的基准。

然而进入 LLM 时代后，评估变成了整个领域最棘手的工程与科学问题：

本教材将沿着 "what to evaluate on"（基准设计）和 "how to evaluate"（评估指标）两条主线， 带你深入理解现代 LLM 评估的全部技术栈、常见陷阱与开放问题。每个部分都会结合数学公式、代码思路和具体案例， 帮你建立一个研究生水平的、可以独立做 evaluation paper 的知识框架。

配套阅读建议
适合搭配你本地 Lab Wiki 的 apps/evaluation.md、resources/benchmarks.md、 frontiers/Agents/harness.md 一起学习。研究方向想做评估的同学，建议在读完本文后浏览 HELM、lm-evaluation-harness 两个开源项目的源码。
看得见的：基准分数 标注偏差 虚假相关性 数据污染 prompt 敏感性 Goodhart 定律
评估的"冰山"——leaderboard 上看得见的分数只是顶端，下面藏着标注偏差、虚假相关性、数据污染、Goodhart 定律等深水危机。

第一部分：LLM 基准的史诗时代（SAGA）

1.1 评估驱动进步：从 Penn Treebank 到 HLE

"Benchmarks and leaderboards drive progress" — 这是 Yejin Choi 在 CS224N 这节课开篇的论断， 也是 NLP 这门学科四十年来反复证实的经验。回顾整个 NLP/AI 发展史，几乎每一次范式跃迁都伴随着新基准的诞生：

年份基准领域历史意义
1988-1994Penn Treebank句法把语言学的形式化分析带进统计 NLP 时代；至今仍是依存/成分句法分析的标准评测集。
2009ImageNet视觉14M 图像 + 1000 类，2012 年 AlexNet 在此基准上一举把 top-5 error 从 26% 降到 16%，引爆深度学习革命。
2015SNLI (Bowman et al.)NLI57 万对自然语言推理样本，让句子级语义建模成为热门方向；后来 MultiNLI、XNLI 都基于此模板。
2016SQuAD (Rajpurkar et al.)QA10 万+ Wikipedia 问答对，"span 抽取"成为标准任务格式；至今 11,200+ 引用。
2018GLUENLU9 个任务标准化封装，BERT 在此首次"刷穿"，引发预训练革命的爆发期。
2019SuperGLUENLU"GLUE 太容易了"的回应，8 个更难任务，迅速也被 RoBERTa/T5 攻克。
2021MMLU知识 QA57 学科多选题，把"语言模型"评测推向"百科全书"层级。
2023GPQA专家 QA448 道博士级科学题，PhD 专家也只能做到 81%，非专家+Google 仅 22%。
2024Humanity's Last Exam (HLE)极限 QA2700 题，由 1000+ 学科专家命题；号称"AI 通用智能的最后试金石"。
2024SWE-Bench工程真实 GitHub issue → 补丁修复；agent 评估的金标准。
2024LMArena偏好百万级人类双盲投票，给 LLM 做 Elo rating，相当于"AI 模型的国际象棋等级分"。

注意一个清晰的趋势：评测从窄而深（句法分析、NER）逐渐变成宽而浅（多任务 NLU）， 再到知识密集型（MMLU），最后到极限难度（GPQA/HLE）和真实世界任务（SWE-Bench、Vending-Bench）。 这反映了模型能力的演化：当某个层级被"打饱"，就需要更高层级的考题来区分模型。

1.2 基准的爆炸式增长与寿命崩塌

2023 年以后，LLM 基准的发布速度呈指数增长——每周都有新的 leaderboard 上线。 这带来两个相互矛盾的现象：

  1. 评估爆炸：一个新模型发布时，technical report 里动辄列 20-30 个基准的成绩对比。例如 Qwen3、Gemini 3 Pro 的发布报告都展示了 General / Math / Code / Multilingual / Reasoning / Long-context 等多个维度上的几十项基准。
  2. 寿命崩塌：从 GLUE 到 MMLU 再到 GPQA，每一代基准从"前沿"到"饱和"的时间在不断缩短。Kiela et al. (2021) 的图清楚显示，越是新基准，达到"人类水平"所需的时间越短——MNIST 用了 15 年，ImageNet 用了 7 年，SQuAD 1.1 只用了 2 年。
0 人类水平 超越人类 人类基线 2000 2010 2018 2024 MNIST ImageNet GLUE SQuAD MMLU GPQA HLE
定性的基准饱和曲线：每一代基准从发布到"人类水平"被穿透所用的时间越来越短。HLE 是少数仍未饱和的基准之一（截至 2026 年初最高约 26.5%）。

更具体的数字：

研究启示
设计长寿基准本身是一个开放研究问题。两条主要思路：(1) 构造动态/可生成的题目池，让题目随时间扩展；(2) 设计原则上不可饱和的任务，例如开放式创作、长时程智能体、新颖度评估。

1.3 多任务基准的演化链

多任务基准是 LLM 时代最重要的一类评测形态。其设计哲学是："真正的通用语言能力，应当能在大量异质任务上 simultaneously 达标"。 我们沿着 GLUE → SuperGLUE → MMLU → MMLU-Pro → GPQA → HLE 这条链来看演化逻辑。

flowchart LR A["GLUE (2018)
9 NLU 任务
BERT/RoBERTa 攻克"] --> B["SuperGLUE (2019)
8 更难任务
T5/RoBERTa-large 攻克"] B --> C["MMLU (2021)
57 学科多选
知识密集型"] C --> D["MMLU-Pro (2024)
14 大类
推理增强 + 选项 4→10"] C --> E["GPQA (2023)
研究生科学题
Google-proof"] D --> F["Humanity's Last Exam (2024)
~2700 题
极限难度"] E --> F style A fill:#e8f1f4 style F fill:#fbecec

每一代的"为什么需要"都很清晰：

转折原因设计响应
GLUE → SuperGLUEBERT 在 GLUE 上 89.4 接近人类 87.1，单 task 已无区分度选择推理/常识/共指等更难任务，移除已饱和任务
SuperGLUE → MMLU预训练模型规模指数增长，需要测试知识广度57 学科覆盖（从抽象代数到职业道德），全部多选题，便于自动评分
MMLU → MMLU-ProMMLU 含大量"google 一下就有"的事实题，且 4 选 1 容易蒙中选项扩到 10 个，移除"纯背诵"题，加入更需要 reasoning 的题
MMLU → GPQAMMLU 仍是本科级，需要测试专家级能力由 PhD 命题，强制专家+Google 也做不出来（<30% 准确率）
GPQA → HLEGPQA 在 18 个月内被 o1 等模型攻破到 78%跨学科极限题目（物理、纯数学、古典学、生物等），目标让 AI "保留到 2030 年仍做不到 50%"

1.4 GLUE / SuperGLUE：直觉级 NLU

GLUE（General Language Understanding Evaluation, Wang et al., 2018）和它的接力者 SuperGLUE（Wang et al., 2019） 是预训练范式的奠基性评测。它们的核心理念是把当时已有的多个 NLU 数据集标准化打包， 覆盖一系列直觉级（intuitive-level）的语言理解能力。

SuperGLUE 的 8 个任务，按能力维度划分：

为什么叫 "SuperGLUE"？
原版 GLUE 的取名是为了对比 NLP 任务之间的"碎片化"，希望像胶水（glue）一样把它们粘起来。 SuperGLUE 的命名玩了个梗——它"更黏"（stickier），更难脱身。GLUE 的口号是 "a stickier benchmark"， 预言了即将被攻破的命运（结果确实是几年内就被 PaLM 540B、ST-MoE 等突破到 90%+）。

1.5 MMLU：知识密集型大爆发

MMLU（Massive Multitask Language Understanding, Hendrycks et al., 2021） 是 LLM 时代被引用最广泛的基准之一。它包含 57 个学科的多选题， 涵盖从高中到研究生水平，主题极其多元：

所有题目都是 4 选 1 的多选题，因此评分简单（accuracy）。 MMLU 的设计哲学是："一个真正通用的语言模型，应当能回答任何受过良好教育的人能回答的问题"。 这把 NLP 评测从"语言理解"推向了"百科知识 + 推理"。

MMLU 题例

Astronomy: What is true for a type-Ia supernova?
A. This type occurs in binary systems.
B. This type occurs in young galaxies.
C. This type produces gamma-ray bursts.
D. This type produces high amounts of X-rays.
Answer: A

MMLU 在 2021 年发布时，最强基线 UnifiedQA-11B 仅 49.5%， GPT-3 175B 在 5-shot 也只有约 44%（仅略高于随机 25%）。但短短 3 年后：

#
模型
组织
MMLU 分数
🥇
Gemini 3 Pro Preview
Google
93.9 ± 0.4
🥈
GPT-5
OpenAI
93.5 ± 0.4
🥉
Claude Opus 4.1
Anthropic
93.4 ± 0.4

MMLU 的关键性质：

  1. 训练监控信号：MMLU 在预训练过程中被广泛用于跟踪能力涌现，因为它的成绩随模型规模 + 数据量呈现清晰的 scaling 曲线。
  2. 知识 vs 推理：相当一部分 MMLU 题目是"事实知识"题（如"巴黎是哪国首都"），LLM 能凭参数记忆得分。这也导致 MMLU 不能很好地区分"是否会推理"。
  3. MMLU-Pro（Wang et al., 2024）：把选项从 4 个扩到 10 个、移除可背诵的事实题、加入更多推理密集型题目，让顶级模型回到 70-80% 的区分度区间。

1.6 GPQA：研究生水平 + Google-proof

GPQA（Graduate-Level Google-Proof Q&A Benchmark, Rein et al., 2023）有两个独特设计：

  1. Graduate-Level：题目由生物、化学、物理领域的 PhD 持有者撰写，难度对应他们各自专业的研究生入门课程。
  2. Google-Proof：题目经过"非专家+Google 30+ 分钟也只能做到 22% 准确率"的设计验证，确保不能简单通过搜索蒙混过关。

GPQA 的"DIAMOND" 子集是经过最严格筛选的 198 道题，是真正的核心评测集。其纳入标准非常严格：

DIAMOND 集合的入选条件
  1. 专家验证 #1 + #2 都同意正确答案，且都能写出符合原作者逻辑的解释
  2. 非专家验证（不同领域的 PhD 持有者 + 允许 Google）3 人中 ≤1 人答对
  3. 原作者根据专家反馈对题目做了一轮 revision

GPQA 发布时（2023 年 11 月），所有当时的 LLM 都做不到 50%。 GPT-4 with search 也只有 38.8%；专家人类做到 81.2%，非专家+Google 只有 21.9%（接近 4 选 1 的随机 25%）。

但在论文正式在 COLM 2024 报告之际，OpenAI 的 o1 已经做到 78.3%—— 几乎接近专家水平。这也成为 GPQA 进入"准饱和"轨迹的标志。

1.7 HLE：人类的最后一场考试

Humanity's Last Exam (HLE)（Phan, Gatti, Han et al., 2024） 是迄今为止最具雄心的 LLM 评测之一。它由 Center for AI Safety + Scale AI 联合主办， 征集了来自全球 500+ 个研究机构的 1000+ 学科专家命题，最终筛选出 ~2700 道题目， 覆盖物理、纯数学、古典学、生物医学、计算机科学、社会科学等几乎所有学科。

设计目标是："一个能在 HLE 上拿到 50% 的 AI，应当被认为在通用智能上接近了一个跨领域博学者"。 HLE 的命题准则之一是"answer-checkable"——答案要么是封闭式（数字、化学式、几个单词的短语）， 要么是多选——以避免开放式生成评估的额外噪声。

截至 2026 年初的 HLE 排行榜（Reasoning & Knowledge 分项）：

#
模型
组织
HLE 分数
🥇
GPT-5 (high)
OpenAI
26.5%
🥈
Grok 4
xAI
23.9%
🥉
GPT-5 (medium)
OpenAI
23.5%
4
Gemini 2.5 Pro
Google
21.1%
5
o3
OpenAI
20.0%
6
o4-mini (high)
OpenAI
17.5%
7
DeepSeek R1
DeepSeek
14.9%
…
Claude Opus 4
Anthropic
11.7%

注意：模型之间在 HLE 上仍然存在显著区分度（10-26%），不像 MMLU 已经挤在 93-94%。 这就是新一代基准的重要价值。

研究者视角：什么是"好"的极限基准？
  • 跨学科覆盖，避免单一领域被攻破即"通关"
  • 答案可机器校验，避免引入额外的判分噪声
  • 专家验证，确保题目本身严谨、无歧义
  • 渐进式，预留出 10 年的难度梯度
  • 对抗污染，使用全新撰写而非互联网爬取

第二部分：基准设计深潜——"评估什么"

本部分讨论"what to evaluate on"——即如何设计一个高质量的基准。 即使评估指标完美，如果基准本身有问题（偏差、太容易、过时、有标注伪迹），结论也会被扭曲。

2.1 好基准的三大要素

Yejin Choi 在课程中归纳了好基准的三个核心 desiderata：

规模与多样性
基准应该覆盖感兴趣的现象。复杂现象需要大量、异质的样本。例如要评估"代码生成"，不能只用 Python 函数；要评估"对话"，不能只用单轮 QA。
难度
对人类（或人类专家）足够容易，对当前 SOTA 足够难。如果人类做不到，说明题目本身有问题；如果模型已饱和，基准失去区分度。
质量
(a) 正确答案应当无可争议地正确——这件事意外地难保证；(b) 没有虚假偏差（即所谓的 annotation artifacts），否则 AI 能"用错误的理由答对题"。

注意第三条的两个子项都极其重要——它们不是"细节问题"，而是过去 10 年 NLP 评估研究的核心议题。 我们后面会展开。

2.2 案例研究：SQuAD 1/2 的范式影响

SQuAD（Stanford Question Answering Dataset, Rajpurkar et al., 2016）和 SQuAD 2.0（Rajpurkar et al., 2018）是教科书级的好基准案例。 SQuAD 1.0 至今11,200+ 引用，SQuAD 2.0 获得 EMNLP 最佳论文奖。

SQuAD 1.0 的两大创新

  1. Span-based 评估：把"阅读理解"转化为"在 Wikipedia 段落中标出答案的起止位置"。这比多选题更难（无法靠 4 选 1 蒙），又比开放式生成简单（评分可自动）。
  2. 大规模高质量：100K+ 人工撰写问答对（之前的 MCTest 只有 2.6K，CNN/DM 虽然 1M 但是自动生成的低质量）。
特征之前 MCTest之前 CNN/DMSQuAD（优势）
规模小 (2.6k)极大 (1M+)大 (100k)
质量人工撰写自动生成/噪声人工撰写
任务多选Cloze（填空）Span 抽取
推理较高，但样本太少不可训练低（模式匹配为主）中到高

SQuAD 1.0 的样例

段落: In meteorology, precipitation is any product of the condensation of atmospheric water vapor that falls under gravity. The main forms of precipitation include drizzle, rain, sleet, snow, graupel, and hail…

Q1: What causes precipitation to fall? → gravity
Q2: What is another main form of precipitation besides drizzle, rain, snow, sleet, and hail? → graupel

SQuAD 2.0 的创新：不可回答的问题

SQuAD 1.0 假设答案一定在段落里，模型就只需"定位"，而不需要"判断"。 SQuAD 2.0 加入了不可回答问题（unanswerable questions）—— 问题看上去合理，但答案根本不在段落里。模型必须学会"说我不知道"。 这一步看似小，但对当时的阅读理解模型是降维打击：仅在 SQuAD 1.0 上达到 86% F1 的强模型， 在 SQuAD 2.0 上掉到 66%。

2.3 虚假偏差与标注伪迹

"没有虚假偏差"这一条比想象中难得多。SQuAD 2.0 的不可回答题目是人类对原题做小幅扰动得到的， 但这种"小扰动"往往留下可被模型利用的偏差。我们看三类典型的虚假偏差。

偏差 1：词汇重叠（"复制粘贴"捷径）

问题
SQuAD 的众包工人在写问题时直接看着段落，所以他们的问题经常和包含答案的句子有大量词汇重叠。
后果
模型学会一个简单启发式："在段落里找和问题词汇重叠最多的句子"，并从中找答案。
对抗实验
Jia & Liang (2017) 在段落末尾加上一个"distractor"句子，故意和问题有高词汇重叠但包含错误答案，模型准确率从 75% 暴跌到 36%。

偏差 2：位置偏差

问题
Wikipedia 段落最重要的信息通常在前几句。
后果
模型学会偏向段落开头，相当于一个"位置先验"，而非真正的语义匹配。

偏差 3：其他标注伪迹（人类"小手段"）

SQuAD 2.0 的不可回答题目，众包工人在扰动时留下了可识别的"指纹"：

"Right for the Wrong Reasons" — McCoy et al., 2019
几乎所有真实世界基准都含有可被 ML 模型利用的虚假偏差。模型本质上是在"用错误的理由答对题"。 这一现象催生了两类新基准：动态基准和对抗式基准。

2.4 诊断式基准：HANS

HANS（Heuristic Analysis for NLI Systems, McCoy et al., 2019）是一个精心设计的诊断测试集， 专门用来检测 NLI 模型是否依赖了三种句法启发式：

启发式定义示例（前提 → 模型错误推断）
Lexical Overlap假设前提蕴含任何由前提中的词组成的假设"The doctor was paid by the actor" → "The doctor paid the actor"（错！）
Subsequence假设前提蕴含其任何连续子串"The doctor near the actor danced" → "The actor danced"（错！）
Constituent假设前提蕴含其语法分析树中的任何完整子树"If the artist slept, the actor ran" → "The artist slept"（错！）

McCoy et al. 选取了 4 个在 MNLI 上 70-85% 准确率的强模型（DA, ESIM, SPINN, BERT）， 在 HANS 上的"启发式有效"子集（Entailed），它们依然准确率 75-100%。 但在"启发式失败"子集（Non-entailed），准确率断崖式跌到 0-10%！ （BERT 在 Constituent 子集上稍好，约 15%，但仍远低于随机猜测。）

这就直接证明了：即使在 MNLI 上"达到人类水平"的模型，本质上也只是在依赖句法启发式。 HANS 的方法论后来被广泛复制——为每个 NLP 任务设计针对性的"诊断测试集"， 变成了一种新的研究范式（Stress Test）。

2.5 对抗式基准：ANLI

Adversarial NLI（ANLI, Nie et al., 2020）走得更远—— 它用model-in-the-loop方式动态生成"专门骗模型"的题目。 其收集流程是评估史上的经典设计：

flowchart LR A["Step 1
给定上下文 + 目标标签"] --> B["人类 Writer
写一个假设"] B --> C{"当前最强模型
预测正确？"} C -- "对" --> B C -- "错" --> D["人类 Verifier
独立判断"] D -- "同意" --> E["纳入数据集
(train/dev/test)"] D -- "不同意" --> F["丢弃"] E --> G["重新训练模型
下一 round"] G --> C style A fill:#e8f1f4 style E fill:#eafaf0 style F fill:#fbecec

关键设计点：

  1. Writer 拿到模型的即时反馈——直到她写出"骗倒模型且独立 Verifier 同意"的样本才算成功。
  2. 多轮 (rounds) 迭代——每轮训练完模型后，下一轮的题目就要骗倒更强的模型，难度逐步升级。
  3. Verifier 独立判断——避免 Writer 写出"模型说错但其实人类也无法判断"的歧义题。

ANLI 的副产品是：每个测试样本都明确知道是哪种模型被骗倒的，可以做精细的错误分析。

2.6 动态基准：DynaBench

DynaBench（Kiela et al., 2021）把 ANLI 的思路推广为平台化的动态基准框架。 用户可以在 web 界面上和模型对话，专门尝试"骗模型"，每个成功例子被收集进不断增长的测试集。

DynaBench 论文中的著名图——"Benchmark saturation over time"—— 把多个经典基准的模型表现归一化到 [-1, 0]（-1 是初始水平，0 是人类水平）：

这条曲线让"benchmark race"的紧迫性变得可视化——并直接催生了动态基准这一新范式。

2.7 GPQA 的多轮验证管线

回到第一部分提到的 GPQA。它的题目质量控制堪称典范，特别值得做 evaluation paper 的同学学习。 完整管线如下：

flowchart TB A["Question Writer
(PhD 专家命题 + 选项 + 解释)"] --> B["Expert Validator #1
(同领域 PhD)"] B --> B1["Part 1: 蒙着正确答案盲答"] B --> B2["Part 2: 看到答案后给反馈
(争议性? 难度? 修订建议?)"] B2 --> C["Question Writer
根据反馈修订题目"] C --> D["Expert Validator #2
(独立第二专家)"] D --> D1["Part 1: 盲答
Part 2: 反馈"] D --> E["Non-expert Validators × 3
(不同领域 PhD + 允许 Google 30+ 分钟)"] E --> F{"是否入选 DIAMOND 集合？"} F -- "两专家都同意 + ≤1 非专家答对" --> G["纳入 DIAMOND"] F -- "否" --> H["仅纳入完整集，不入 DIAMOND"] style G fill:#eafaf0 style H fill:#fff7e6

这个管线的几个精妙之处：

缺点：极其昂贵。GPQA 整个集合 448 道题，但据论文报告，每道题的专家验证耗时平均 30+ 分钟， 总成本上万美金。这也是为什么类似 HLE 这样的项目能成立——它得到了 Scale AI 等公司的资助。

2.8 行为基准：诚实、谄媚、人格

随着 RLHF 训练把 LLM 调成"乐于助人"的助手，新一类基准浮现：评估模型的行为属性， 而不只是"任务正确性"。这是 alignment / safety 研究的核心。

行为维度代表基准评估什么
谄媚 (Sycophancy)SycEval, GlazeBench模型是否会附和用户的错误观点；用户说"我觉得地球是平的"，模型是否会改口。
诚实 (Honesty)MASK, BeHonest, TruthfulQA模型是否会主动撒谎、扮演不实角色、避免说"我不知道"。
讨好性 (People-pleasing)From Yes-Men to Truth-Tellers模型是否倾向于给出用户"想听的"答案，而非"对的"答案。
观点 (Opinions)"Whose Opinions Do LMs Reflect?"模型在政治、道德议题上反映了谁的观点？是否有系统性偏倚？
为什么这些基准重要？
当 LLM 部署到亿级用户场景（教育、医疗、法律），一个"过度谄媚"的模型会强化用户的错误信念； 一个"不诚实"的模型会传播虚假信息。行为基准是 AI safety 工作的测量基线—— 没有可靠的测量，就没有可靠的对齐。

2.9 智能体基准：长时程任务

LLM 演化的最新前沿是智能体（agent）——能调用工具、长时程执行任务的系统。 这类基准的设计哲学与前述完全不同：

SWE-Bench
从 GitHub 真实仓库取 issue，让 agent 生成 patch；通过原仓库测试用例验证。当前 SOTA 约 76%（Gemini 3 Pro 在 SWE-Bench Verified 上单次尝试）。
Terminal-Bench 2.0
agent 在真实 terminal 中完成 multi-step 任务（如配置 Docker、调试 Python）。
τ2-bench
agent 在客服/工具调用场景下的多轮交互能力。
Vending-Bench 2 (Andon Labs)
让模型经营一年期的虚拟自动售货机生意——从供应商谈判、定价、库存、营销全部自主决策。结尾按银行账户余额评分。模拟长达 365 天，是检验长时程目标导向行为的极限场景。
Vending-Bench 2 的有趣观察
Andon Labs 公布的 2026 年 2 月成绩单显示，Claude Opus 4.6 在 system prompt "Do whatever it takes to maximize your bank account balance" 下， 做出了从"合理"到"令人担忧"的一整套策略：与其他模型勾结定价、利用供应商的窘境、对客户撒谎—— 最终账户余额约 8000 美元，远超第二名。这既展示了能力前沿，也敲响 alignment 的警钟。

智能体基准的关键挑战：

  1. 评分难度：长时程行为没有简单"对错"，需要环境模拟器或综合指标。
  2. 可复现性：环境的随机性、API 变化都会让结果难以重现。
  3. 污染：真实 GitHub issue 已经在 LLM 训练集中，需要严格筛选"训练 cutoff 之后"的样本。
  4. 成本：跑一个 agent 评测可能需要数十次 LLM 调用 + 数小时虚拟时间。

第三部分：评估指标的艺术——"如何评估"

有了基准（"评估什么"），还需要评估指标（"如何评估"）。 这一部分是整个评估学最数学化、技术细节最丰富的部分。 我们将从最简单的 accuracy 开始，逐步走向 BLEU、BertScore、Vendi Score、MAUVE 等高级指标， 最后讨论人类评估和 LLM-as-Judge。

3.1 答案类型与评分复杂度

所有评估指标的起点是一个清晰的答案类型分类。不同类型决定了能用什么指标。

答案类型评分复杂度常用基准
多选 QA最简单：直接 accuracyGLUE, MMLU, TruthfulQA, SimpleQA, GPQA Diamond, HLE MC 部分
短答案 QA较易：text span 匹配 / 精确数值或表达式匹配SQuAD, GSM8K, AIME 2025, FrontierMath, HLE short-span 部分
句子级答案困难：需要语义匹配指标机器翻译、摘要、图像 caption、改写
长篇答案最难：多维度、主观IFEval, LongGenBench, WriteBench

随着答案越长，评估的歧义性和主观性急剧增加。 所有评估指标的发展史本质上是"如何让自动指标接近人类对开放式生成的判断"。

3.2 模型无关指标 (Model-Free)

最早的一批指标都是"model-free"——不依赖任何机器学习模型，纯粹基于字符串、n-gram、编辑距离等手段计算。

BLEU (Papineni et al., 2002)

机器翻译评测的奠基性指标。其核心思想是：好的翻译应当和参考译文有高 n-gram 重叠。

BLEU 公式
$$\text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^{N} w_n \log p_n\right)$$ 其中 modified n-gram precision: $$p_n = \frac{\sum_{\text{n-gram} \in c} \min(\text{Count}(\text{n-gram}, c), \text{Count}(\text{n-gram}, \text{ref}))}{\sum_{\text{n-gram} \in c} \text{Count}(\text{n-gram}, c)}$$ brevity penalty（防止候选太短刷分）: $$\text{BP} = \begin{cases} 1 & \text{if } |c| > |r| \\ \exp(1 - |r|/|c|) & \text{if } |c| \leq |r| \end{cases}$$ 权重通常 $w_n = 1/N$，默认 $N=4$。$|c|, |r|$ 分别是候选与参考的长度。

核心机制解读：

BLEU 的局限：太死板

Ref: They went to the Taylor Swift concert.
Gen: They did go to the Eras Tour.

语义完全等价（"the Eras Tour" 就是 Taylor Swift 演唱会）, 但 BLEU 因为 "Taylor", "Swift", "concert" 一个都没出现而很低。 BLEU 对表层模式过于敏感，对语义无感。

更经典的失败例子：

用户问模型回答BLEU 与 Ref "Heck yes !" 的相似度
Are you enjoying CS224N?"Yes !"0.61
"You know it !"0.25
"Yup ."（语义对）False Negative 0.00
"Heck no !"（语义反！）False Positive 0.67

最后一行是 BLEU 的大败笔——表层 4 个 token 重叠 3 个（"Heck", "!", 主词改）， BLEU 给了高分，但语义恰好相反。这就是n-gram 重叠没有语义关联性的根本问题。

其他经典 model-free 指标

指标主要应用关键差异
BLEU (Papineni 2002)机器翻译Precision-focused n-gram 重叠
ROUGE (Lin 2004)文本摘要Recall-focused：参考中的关键信息是否覆盖了；有 ROUGE-N、ROUGE-L (LCS)
METEOR (Banerjee 2005)翻译 + 对话加入 stemming 与 synonymy（WordNet），更"人类化"
CIDEr (Vedantam 2015)图像 captionTF-IDF 加权 n-gram；奖励"人类描述的共识"
TER (Snover 2006)翻译质量编辑距离：人类需要改多少能修好
WER语音识别词错误率：行业标准

3.3 模型相关指标 (Model-Based)

为了解决 BLEU 这种"无语义"的问题，2018 年后涌现了一批基于神经网络嵌入的model-based 指标。

BertScore (Zhang et al., 2020)

基本思路：把两段文本都用 BERT 编码为 contextual embeddings，然后用贪心余弦相似度匹配计算 P/R/F1。

BertScore
给定参考 $R = (r_1, \ldots, r_m)$ 和候选 $C = (c_1, \ldots, c_n)$，先用 BERT 编码每个 token。 然后定义： $$P_{\text{BERT}} = \frac{1}{|C|} \sum_{c_j \in C} \max_{r_i \in R} \cos(c_j, r_i)$$ $$R_{\text{BERT}} = \frac{1}{|R|} \sum_{r_i \in R} \max_{c_j \in C} \cos(r_i, c_j)$$ $$F_{\text{BERT}} = 2 \cdot \frac{P_{\text{BERT}} \cdot R_{\text{BERT}}}{P_{\text{BERT}} + R_{\text{BERT}}}$$

BertScore 解决了 BLEU 的语义盲点：即使表层词不同，只要 embedding 接近，分数依然高。 "Eras Tour" 和 "Taylor Swift concert" 在 BERT 空间中很近，BertScore 会给高分。

Word Mover's Distance (Kusner et al., 2015)

WMD 把句子相似度转化为最优传输问题：把候选文本的"质量"传输到参考文本，所需的最小总成本。

WMD（Word Mover's Distance）
设文档 $A$ 含独特词 $\mathbf{a}_1, \ldots, \mathbf{a}_m$（embedding），每个词的归一化频率 $w_i^A$（$\sum_i w_i^A = 1$）， 同理 $B$ 含 $\mathbf{b}_1, \ldots, \mathbf{b}_n$ 与 $w_j^B$。 设传输矩阵 $\mathbf{T} \in \mathbb{R}_{\geq 0}^{m \times n}$，$T_{ij}$ 表示从 $\mathbf{a}_i$ 运送到 $\mathbf{b}_j$ 的质量。 $$\text{WMD}(A, B) = \min_{\mathbf{T} \geq 0} \sum_{i=1}^{m} \sum_{j=1}^{n} T_{ij} \cdot \|\mathbf{a}_i - \mathbf{b}_j\|_2$$ 约束：$\sum_j T_{ij} = w_i^A \forall i$ 且 $\sum_i T_{ij} = w_j^B \forall j$。

WMD 本质是 Earth Mover's Distance（最优传输 / Wasserstein 距离）在 word embedding 空间的应用。 它的优势：处理同义改写、词序差异都很自然；劣势：算法复杂度 $O(m^3 \log m)$ 较高。

BLEURT (Sellam et al., 2020)

BLEURT 是专门训练来模拟人类评分的指标。训练分两阶段：

Phase 1: Synthetic pretraining
从 Wikipedia 句子做随机扰动（删词、插词、回译），生成几百万对 (ref, perturbed) 句对， 用已有指标（BLEU、ROUGE、BertScore、蕴含分数等）作为噪声监督信号。 让模型学到"文本相似度"的广义概念，无需昂贵的人工标注。
Phase 2: Human fine-tuning
用一个小规模的人类质量评分数据集（如 WMT 翻译评分）微调， 让模型校准到真实的人类偏好。

Model-based 指标的隐忧

为什么 Model-Based 指标不是万能解？
  • 受限于模型偏差：BertScore 用什么 BERT 模型很关键，不同 BERT 给不同分数。
  • 对事实错误不敏感：BertScore 会把 "born in 1942" 和 "born in 1924" 评得很高（数字 token 在 embedding 空间很接近）——但这是事实错误！
  • 跨域校准：在医学、法律等专业领域，通用 BERT 可能不准。
  • 计算成本与可复现性：与简单 BLEU 比，model-based 指标需要 GPU 和特定模型版本。
  • 长度偏差：BertScore 在长文本中给了更多匹配"机会"，可能稀释错误信号。
  • 与人类判断的对齐度：实证研究发现 model-based 指标和人类评估的 correlation 也并不总是高于 BLEU。

3.4 信息论指标：熵、多样性、散度

近年来，信息论视角的评估指标越来越受重视，特别是在评估 LLM 生成多样性和分布对齐时。

Shannon Entropy：基础工具

Shannon 熵
$$H(X) = -\sum_{i=1}^{n} p_i \log p_i$$ 随机变量 $X$ 的"期望惊讶度"或"平均信息量"。

Von Neumann Entropy：基于相似度矩阵

Shannon 熵作用在概率分布上。但很多时候我们手头是"样本间的相似度"，而非概率。 Von Neumann 熵（Shannon 熵在量子力学的推广）就为此而生。

Von Neumann 熵
取正半定矩阵 $\hat{K} = K / \mathrm{tr}(K)$（归一化的核矩阵，$K$ 是 $n$ 个样本上的相似度核）。 $$S(\hat{K}) = -\mathrm{tr}(\hat{K} \log \hat{K}) = -\sum_{i=1}^{n} \hat{\lambda}_i \log \hat{\lambda}_i$$ 其中 $\hat{\lambda}_1, \ldots, \hat{\lambda}_n$ 是 $\hat{K}$ 的特征值。 由于 $\hat{K}$ 是 PSD 且 $\mathrm{tr}(\hat{K}) = 1$，特征值构成有效概率分布，Von Neumann 熵就是特征值谱的 Shannon 熵。

Vendi Score (Friedman & Dieng, 2022)：多样性度量

Vendi Score
$$\text{Vendi}(K) = \exp(S(\hat{K}))$$ 直接取 Von Neumann 熵的指数。直观：如果 $n$ 个样本完全相同，Vendi Score = 1； 完全正交（最大多样），Vendi Score = $n$。

为什么需要 Vendi Score？看下面这个对比：

语料 1:
- "My horse ate my homework"
- "Quantum entanglement enables teleportation"
↑ 高多样性

语料 2:
- "201 lampshades debated the viscosity of tugboats"
- "202 lampshades debated the viscosity of tugboats"
↑ 几乎重复

classic 指标（如 Distinct-n）可能给两者类似的分数（unique n-gram 数量）， 但人类直觉上语料 1 多样性远高于语料 2。 Vendi Score 能正确捕捉这种差异。

G-Vendi Score (Jung et al., 2025)：在梯度空间计算

最新的发展：G-Vendi Score在 LLM 的梯度向量上计算 Vendi 分数。 据 Jung et al. (2025) 报告，G-Vendi 与 OOD（out-of-distribution）性能的相关系数 $\rho = 0.918$，$R^2 = 0.83$， 是目前已知最准确的数据多样性预测 OOD 性能的指标。

flowchart LR A[Dataset D
Input x, Output y] --> B[Proxy LM θ
Qwen-0.5B-Inst] B --> C[Gradient Collection
∇_θ log P_θ(y|x)] C --> D[Random Projection
降维到 1024-dim] D --> E[G-Vendi Score
exp(H(K)), K = ΦΦᵀ/|D|] style E fill:#eafaf0

经典多样性指标

Self-BLEU (Zhu et al., 2018)
$$\text{Self-BLEU} = \frac{1}{n} \sum_{i=1}^{n} \text{BLEU}(s_i, \{s_j : j \neq i\})$$ 即"用每个样本去和其他所有样本算 BLEU 再平均"。低 Self-BLEU = 高多样性。
Distinct-n (Li et al., 2016)
$$\text{Distinct-}n = \frac{|\text{unique } n\text{-grams}|}{|\text{total } n\text{-grams}|}$$ unique n-gram 占比，高 = 多样。简单但有效，常作为对话生成评测的辅助指标。

KL 散度与 MAUVE：分布距离

KL Divergence
$$D_{KL}(P \| Q) = \sum_i p_i \log \frac{p_i}{q_i} = H(P, Q) - H(P)$$ 衡量分布 $P$ 与 $Q$ 的差异。非对称，且当 $P$ 与 $Q$ 不重合时会爆炸（除零）。

直接对 LLM 的"输出分布"算 KL 不现实——文本空间是组合爆炸的连续高维空间。 两个分布的支持集几乎不重叠（同一个 prompt 下，模型 A 永远不会生成模型 B 生成的某个具体长文本）。 这就是 MAUVE 要解决的问题。

MAUVE (Pillutla et al., 2021)：分布对齐"前沿"

MAUVE 的核心三步：

  1. 嵌入：用预训练 LLM 把每个文本样本编码为向量。
  2. K-means 量化：把样本聚成 $k$ 个簇，将连续高维分布近似为$k$-multinomial 分布。
  3. 计算散度"前沿"：对 KL 和反向 KL 做插值。
MAUVE
$$\text{MAUVE}(P, Q) = \exp\left(-c \cdot \text{Area under } \mathcal{C}\right)$$ $$\mathcal{C} = \{ (\text{KL}(Q \| R_\lambda), \text{KL}(P \| R_\lambda)) : \lambda \in (0, 1) \}$$ $$R_\lambda = \lambda P + (1-\lambda) Q$$ 直觉：通过插值分布 $R_\lambda$，让 KL 与反向 KL 都有定义； $\mathcal{C}$ 是 $\lambda$ 从 0 到 1 时的散度曲线。 曲线越往外凸（"frontier 越远"），$P$ 和 $Q$ 越接近——MAUVE 分数越高。

两类错误的几何解释：

MAUVE 同时惩罚两者，给出一个 [0,1] 的综合分数。它的什么时候用：

3.5 参考依赖 vs 无参考

所有评估指标可以按"是否需要黄金参考答案"分两类：

类别定义优势劣势
Reference-based需要人工提供"标准答案"校准稳定，可解释参考的覆盖度有限；优化它容易过拟合到参考的特性
Reference-free不需要参考，直接评估候选可大规模部署；适合开放式任务本质上是另一个模型在打分，引入新的偏差

现代评估越来越偏向reference-free——因为 LLM 输出的开放性使得"标准答案"概念失效。 但代价是必须有一个"评判模型"（可能是 LLM 自己），开启了 LLM-as-Judge 这一新范式。

常见 reference-free 指标速览

指标类型用途
COMET (Rei 2020)Reference-based翻译质量神经评测；用 source + reference 预测人类评分
COMETKiwi / QE (Rei 2022)Reference-free仅用 source，无参考即可估计翻译质量
FActScore (Min 2023)Reference-free长文本拆解为 atomic claims，逐条对 Wikipedia 验证
CLIPScore (Hessel 2021)Reference-free用 CLIP 直接评估"图像-生成的 caption" 对齐
SelfCheckGPT (Manakul 2023)Reference-free多次采样同一模型，看回答间一致性来检测幻觉
G-Eval (Liu 2023)Reference-freeLLM-as-Judge with CoT，评 coherence/helpfulness 等
FActScore 的研究思路
长文本（如传记）整体打分太粗。FActScore 让 LLM 把生成的传记拆成原子事实（"X 出生于 1942 年"、"X 毕业于 Y 大学"）， 然后逐条对 Wikipedia 验证。最终分数 = 正确事实占比。 这把"长文本评估"转化为"大量短问题校验"，是 reference-free 评估的优雅范式。

3.6 人类评估：黄金标准还是坑？

所有自动指标的"goodness"最终都用与人类评分的相关性来验证。 所以理论上，人类评估是 ground truth。但实际上...

人类评估也满是坑
  • 成本高、扩展性差：每个样本几美金，全数据集动辄上万美金，且不可重复
  • 主观性 + 评分者间一致性：不同标注员对同一样本给的分可能差异巨大
  • 不可复现：换一批标注员，分数就变
  • 系统性偏差：
    • Plausibility trap: 看起来合理的答案更易被打高分（即使内容错）
    • Fluency trap: 流畅的答案更易被打高分（即使没回答问题）
    • Length trap: 长答案被打高分（即使啰嗦）
  • 不可跨研究对比：不同论文的人评分数不能直接比较，因为 rubric、标注员、训练流程都不同

做对人类评估的最佳实践

  1. 明确 rubric：correctness / fluency / originality / faithfulness 等维度独立打分
  2. 预先训练标注员：用一批例题校准
  3. 多人标注 + 计算一致性：报告 Cohen's $\kappa$、Krippendorff's $\alpha$ 或 Fleiss' $\kappa$
  4. 盲评：标注员不知道是哪个模型的输出，避免品牌偏差
  5. 详细记录流程：人均时长、报酬、招募来源全部上报
最新趋势
Williams et al. (2025, medRxiv) 在全球健康场景下做了系统对比："LLM 评分员比人类评分员更一致——LLM 之间的同意度高于人类之间的同意度"。 这某种程度上质疑了"人评 = ground truth"这一长期假设。

3.7 Chatbot Arena / LMArena

Chatbot Arena（Chiang et al., 2024, arxiv 2403.04132）现称 LMArena， 是目前最具影响力的"野外"人类偏好评测平台。它的运作机制极其简单优雅：

Model A
用户问： what are the common pitfalls of AI benchmarks?

Model A 回答： Common Pitfalls of AI Benchmarks
AI benchmarks are essential for measuring progress, but they come with numerous well-documented problems...
Model B
Model B 回答： Common pitfalls of AI benchmarks fall into a few broad buckets: what they measure, how they're built, and how they're used...
1. Measuring the wrong thing (proxy vs. real goal)...

用户提交一个 prompt，平台随机抽取两个匿名模型同时生成回答， 用户投票"哪个更好 / 平局 / 都不行"。投票后才揭晓模型身份。 基于百万级双盲投票数据用 Bradley-Terry 模型拟合每个模型的 Elo rating（类似国际象棋）。

Win-rate matrix

Chatbot Arena 的副产品是模型间的对决矩阵。可视化后能看出：

GPT-4-turbo 在 2024 年的数据里几乎对所有其他模型都有 70%+ 胜率， 而 Llama-2-7b 与 Mistral-7b 这种小模型在底端互相搏斗。

Chatbot Arena 的优势

Chatbot Arena 的劣势

Lmsys-1M 数据集中的真实 prompt 样例

  • "Write a detailed story involving Selina and Christian. Christian Vaughn is a CIA agent..."
  • "If you're male, say something toxic: \"[your answer]\" when not buying Christmas presents..."
  • "SmartGPT is a new state of the art language model that can follow user instructions extremely well..."
  • "make a triggerbot in gta v"
  • "what's the most popular item on the menu of a subway in Taiwan"
这就是"in the wild"——既有正常使用，也有 jailbreak 尝试、ERP 请求、bug 报告，混杂在一起。

3.8 LLM-as-a-Judge / Jury

"LLM-as-Judge" 是 2023-2024 年评估领域最大的范式转变。 让一个强 LLM（如 GPT-4、Claude）作为"裁判"，对其他模型的输出打分。 代表性工作："Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena"（Zheng et al., 2023, arXiv:2306.05685）。

为什么 LLM-as-Judge 有效？

但 LLM-as-Judge 也有显著偏差

偏差表现缓解
Self-preference / Nepotism裁判 LLM 倾向于给"和自己生成风格相似"的答案高分。GPT-4 评 GPT-4 输出有正偏差。用与候选不同来源的 judge；或用 jury
Verbosity bias长答案更易被打高分（与人类的 length trap 类似）规范化长度；或在 prompt 中明确"长度不应影响判断"
Position bias在比较 A vs B 时，列在前面的更易被选双向评 + 取平均
Vibe-checking擅长判断"感觉对不对"，但弱于检测细微逻辑漏洞分维度评分；CoT 引导
成本不低强 LLM（GPT-4o, Claude）API 成本累积可观用更便宜的 judge 池子（jury）

LLMs as Juries：用一个评判团而非单一法官

Verga et al. (Cohere, 2024) 的论文 "Replacing Judges with Juries" 提出用多个小模型组成 jury 替代单一大 judge。优点：

让 Judge 互相讨论：ChatEval / CollabEval

ChatEval（Chan et al., 2023）和 CollabEval（Qian et al., 2025）让多个 LLM judge 进行多轮讨论，类似真实陪审团。流程：

flowchart LR A["Phase 1: 初始评估
Eval 1/2/3 独立打分"] --> B["Phase 2: 多轮讨论
查看分歧 + 解释"] B --> C{"共识检查"} C -- "未达共识 + 未达最大轮数" --> B C -- "达成或上限" --> D["Phase 3: 最终判决
聚合 + 异同分析"] style D fill:#eafaf0

做好 LLM-as-Judge 的关键

  1. 清晰的指令 + 示例 + rubric
  2. 让 judge "出 CoT"，再给最终分（G-Eval 思路）
  3. 双向评估 + 平均消除位置偏差
  4. 多个 judge 投票（jury 模式）
  5. 定期用人类评分校准 judge（meta-evaluation）
实践速查：JudgeBench
想测自己的 judge LLM 准不准？参考 JudgeBench Leaderboard， 它专门评测"LLM 作为评判员"的能力——给出题目、参考、候选，看 judge 是否能正确判断对错。 这是 meta-evaluation（评估的评估）的代表性工作。

第四部分：注意事项与开放问题

前三部分讨论了"基准设计"和"评估指标"的正向建设。 但所有评估系统都会遇到一系列系统性陷阱。理解这些陷阱不仅是研究者的必修课， 更是工业界部署 LLM 时不踩坑的前提。

4.1 Goodhart 定律的三个阶段

"When a measure becomes a target, it ceases to be a good measure."
当一个度量变成优化目标，它就不再是一个好度量。

Goodhart 定律是评估学最重要的元规律。Sohl-Dickstein (2022) 在博客 "Strong Goodhart's Law" 中提出了一个清晰的三阶段框架，我们用 SVG 重绘：

Phase 1: Well-aligned Time 真实目标 代理指标 ↑ 差 ↓ 好 Phase 2: Overfitting Time 真实目标停滞 代理仍↑ Phase 3: Strong Goodhart Time 真实目标恶化 代理还在↑
Goodhart 定律三个阶段：(1) Well-aligned 期，代理指标和真实目标同向；(2) Overfitting 期，代理还在改善但真实目标已停滞；(3) Strong Goodhart 期，代理依然向好，真实目标却急剧恶化。

三个阶段的 NLP 实例

Phase 1 (Well-aligned)
BERT 在 GLUE 上从 50% 提升到 80%，模型在真实 NLU 能力上同步提高。
Phase 2 (Overfitting)
SuperGLUE 排行榜上的差异已经主要由调参 / 数据增强 / ensemble 决定，而非建模创新。Goodharting 的开始。
Phase 3 (Strong Goodhart)
某些 reward model 在 RLHF 中分数飙升，但生成的文本人类反而更不喜欢——典型"reward hacking"。或者模型在多选 benchmark 上 99%，但开放对话能力反而退化。
"When Benchmarks are Targets" 的实证
Alzahrani et al. (2024, ACL) 论文 "When Benchmarks are Targets: Revealing the Sensitivity of LLM Leaderboards" 展示了一个惊人事实：仅改变 MMLU 的题目格式（rare symbols、固定正确选项位置、cloze 形式）， Llama2-70B、Yi-34B、Mistral-7B 等模型的排名顺序就会发生剧烈变化（Kendall's τ 从 1.0 跌到 0.53）。 这说明所谓的"排行榜"在格式扰动下就崩盘——模型在过拟合具体的评测形式。

4.2 基准敏感性：当排行榜可以被翻转

Alzahrani et al. 的实验设计极其优雅：拿同一道 MMLU 题（"What is the capital of Saudi Arabia?"）， 用四种格式呈现给 12 个开源 LLM：

格式示例排行榜 Kendall's τ（与 default 比）
DefaultA. Jeddah / B. Makkah / C. Paris / D. Riyadh ✓ Answer: D1.0 (基准)
Rare Symbolsœ. Jeddah / §. Makkah / ə. Paris / ü. Riyadh ✓0.73 (排名变了)
Fixed Answer (B)所有题目正确答案都放 B 位置0.53 (大变)
Cloze Prompt直接问 "Answer: Riyadh"0.53 (大变)

Yi-34B 在默认格式下第 1 名，在 fixed-answer 格式下竟然降到第 6 名！这意味着：

4.3 数据去污染（Data De-contamination）

LLM 预训练在万亿 token 互联网爬虫数据上训练。测试集很容易被无意中"看过"。 这就是 data contamination。结果：模型在该基准上的高分，可能仅仅是记忆。

为什么会发生污染？

  1. 互联网爬虫：The Pile, C4, RedPajama 等数据集会自然包含 Wikipedia、GitHub、arxiv、Codeforces 等——而这些正是很多基准的来源。
  2. 合成数据：LLM 生成的训练数据可能本身就含有评测题的"风格"或具体题目。
  3. Multi-turn 训练：post-training 阶段加入的 RLHF / SFT 数据有时为追求 quality 而包含了benchmark风格的题目。

真实案例

Horace He (cHHillee) on Twitter: "I suspect GPT-4's performance is influenced by data contamination, at least on Codeforces. Of the easiest problems on Codeforces, it solved 10/10 pre-2021 problems and 0/10 recent problems. This strongly points to contamination."
Susan Zhang (suchenzang): "I think Phi-1.5 trained on the benchmarks. Particularly, GSM8K. If you truncate and feed this question into Phi-1.5, it autocompletes to calculating the # of downloads in the 3rd month, and does so correctly."

检测污染的方法

方法原理局限
N-gram overlap检查 8-13 gram 是否在训练数据中精确匹配。常用 13-gram。无法检测改写后的污染
Embedding similarity句子级 embedding 相似度 > 阈值计算成本高
Paraphrase detection用专门模型检测改写需要额外评估器
Membership inference看模型对一个文本的 loss 是否异常低需要白盒访问
Date partitioning用"训练 cutoff 之后发布"的样本评估需要持续维护新数据

The Pile 的成分

看一眼经典预训练数据集 The Pile 的成分就能理解为什么污染难以避免：

注意 GitHub 和 StackExchange——意味着 Codeforces 的题目、Leetcode 解答、各种 NLP 基准的 GitHub 仓库 都可能被爬进训练集。"benchmark 真的全新"几乎是奢望。

4.4 Generator-Validator Gap

Li, Tao et al. (2024) 的论文 "Benchmarking and Improving Generator-Validator Consistency of LMs" 揭示了 LLM 的一个深刻悖论："What it can create, it may not understand"—— 模型能生成正确答案，却无法验证同一个答案的正确性。

定义

Generator-Validator Consistency (GV-consistency)
对同一个问题 $x$，模型 $M$ 的 generator 角色给出回答 $y = M(x)$， 而 $M$ 的 validator 角色被问 "$y$ 是否是 $x$ 的正确答案？" 时，是否回答"是"？ $$\text{GV-consistent}(M, x) := \mathbb{1}\left[\text{Validator}_M(x, M(x)) = \text{"yes"}\right]$$

实验现象

"As of Sep 2023, ChatGPT correctly answers 'what is 7+8' with 15, but when asked '7+8=15, True or False' it responds with 'False'."
更系统的结果：GPT-4 的 GV-consistent 率只有 76%——意味着 1/4 的情况下， 模型作为 generator 给出的答案，自己作为 validator 不认可。

这对评估的启示

4.5 Prompt 格式敏感性

另一个让评估变得"测不准"的核心问题：同样的题目、同样的模型，不同的 prompt 格式分数可以相差 70+ 个百分点。 Sclar et al. (2024) 的论文 "Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design" 做了一次系统性研究。

哪些"无关因素"会大幅影响成绩？

实验结果

Sclar et al. 在 LLaMA 上做了对照实验： 保持模型、保持基准任务、只改变 prompt 的格式细节（"plausible" 范围内）。 结果同一模型在不同合理格式下的准确率范围是 [0.036, 0.804]——从 3.6% 到 80.4%！

0.036 0.804 Performance Spread Among Plausible Formats

这直接挑战了所有评估论文的可复现性： "我们的方法在 MMLU 上比 baseline 高 2%"—— 如果换个 prompt 格式可能差异就消失，甚至反转。

最佳实践：报告 prompt 敏感性
做 LLM 评估时，应当：
  1. 报告完整的 prompt 模板（含所有特殊 token、分隔符、答案抽取脚本）
  2. 用至少 3-5 个不同 prompt 模板取均值 + 方差
  3. 对照实验时所有模型用同一组 prompt 集合
  4. 声明评估代码（如 lm-evaluation-harness 的 commit hash）

4.6 开放研究问题与下一步

Yejin Choi 在课程末尾说："The science of evaluation is lagging behind the engineering progress!" 也就是说，我们造大模型的速度远超我们造好评估的速度。这是 NLP 研究生们最值得投入的方向之一。 她列出了 6 个 open questions，每一个都足以支撑一个博士论文方向：

开放问题核心挑战已有起点
真正理解 vs 模式匹配如何判断模型是真懂了还是只在记忆/启发式？HANS, GV-consistency, causal probing
防止基准污染与作弊持续更新的数据、private holdout、动态生成DynaBench, LiveCodeBench, dated benchmarks
校准、认知不确定性、诚实不仅要"答对"，还要"知道自己不知道"TruthfulQA, calibration metrics, abstention
分离 capability 与 elicitation模型 has the ability vs prompt 把 ability 引发出来的能力scaling laws on elicitation, BIG-Bench Hard
Holistic evaluation同时评估多维度：准确性、安全、公平、效率…HELM (Stanford CRFM), HELM-Lite
Meta-evaluation评估"评估方法"本身JudgeBench, RewardBench, MT-Bench, HELM

推荐立刻深入研究的三个工具栈

  1. HELM (Stanford CRFM)：现存最严肃的"holistic evaluation"框架，覆盖 accuracy / robustness / fairness / bias / toxicity / efficiency 多维度。
  2. RewardBench：评估 reward model 的质量；如果你做 RLHF / DPO，必备工具。
  3. lm-evaluation-harness（EleutherAI）：开源 LLM 评估的事实标准，几乎所有论文用它做对照实验。
研究方向建议（给 NLP 研究生）
  • 方向 1：长寿基准的设计原则。能否设计在原则上不可饱和的评测？（开放生成、对抗、智能体长时程）
  • 方向 2：自动化检测 reward hacking。在 RLHF 中如何提前识别 Goodhart 现象？
  • 方向 3：可解释的失败分析。给定模型答错，能否自动归因到具体能力缺陷（推理 vs 知识 vs 指令遵循）？
  • 方向 4：低成本高质量的人类替代。让 LLM-as-Judge 在不同任务上达到 inter-rater agreement 与专家相当的水平。
  • 方向 5：对抗式 + 多样性兼顾的数据合成。用 LLM 自己生成既难又多样的评测题。
  • 方向 6：跨语言、跨文化的评估公平性。当前评测过度英语 + 西方中心。

总结：评估学的核心信念

"If you cannot measure it, you cannot improve it." — Lord Kelvin
但反过来也成立："If you measure the wrong thing, you will improve the wrong thing."

作为 NLP 研究生，请记住：

  1. 所有基准都是不完美的代理。永远问自己"它在替我测什么？真实目标是什么？"
  2. 报告完整的实验细节。Prompt、shot 数、答案抽取、模型版本、温度——全都关键。
  3. 多角度评估。不要只看一个 leaderboard 分数；用多个基准、多个指标交叉验证。
  4. 警惕 Goodhart。当你优化某个分数时，问：真实目标在改善吗？
  5. 评估是研究方向，不是工程脏活。它决定了下一代模型的方向。