自演化智能体（Self-Evolving Agents）研究综述
从 Gödel Machine 到体验时代 · 面向 NLP 研究生的中文深度教程

1.1 什么是"自演化智能体"

"自演化（self-evolving）"一词在学术文献中尚未达成统一定义。Zhang 等人在 2024 年发表的关于 LLM Agent 记忆机制的综述 （arXiv:2404.13501）中将 self-evolving capability 定义为：智能体能够"基于与环境的长期、复杂交互，逐步改进其行为" ——并指出这是 LLM Agent 与原始 LLM 的本质区别。

本综述在此基础上给出一个更可操作的工作定义：

这个定义里三件事最关键：

1. "在某个组件维度上变了"——而不是"参数变了"。自演化不一定是 fine-tune；记忆增删、提示词重写、技能库新增也都算。
2. "自身体验驱动"——而不是"人手工干预"。区别于人在回路（HITL）的微调。
3. "目标导向"——而不是"随机漂变"。区别于在线学习中纯被动的分布迁移。

反过来说，下面这些都不是自演化：

• 用户每次对话都开新 session 的 ChatGPT —— 不存在跨 session 的组件变化。
• 每天用新数据重训一次的搜索排序模型 —— 训练不是模型自身体验驱动的。
• RLHF 训练完后冻结部署的 LLM —— 训练时确实在演化，但部署后不再演化。

1.2 演化的六个维度

把"演化的对象"作为分类轴，可以把整个领域拆成下面六个层次。这个分层不是发明，而是对现有文献的一种归纳。

图 1.1 · 自演化对象由浅到深的六个层次。同一系统通常会同时使用多层。

六个层次的实施难度由浅到深递增：L1 几乎不需要训练，L6 则需要可观的算力与算法工程。 但表达力同样递增——只在 L1–L2 上演化的智能体，能改的是"如何看待已经能做的事"； 能在 L6 上演化的智能体，才真正改变了"能做什么"。

这同时给我们一个观察预期：随着算力变便宜，演化的重心会逐层下沉——从今天主流的 L1–L4， 逐步向 L5–L6 迁移。这与 Bitter Lesson 的论断一致：能吸收算力的方法终会胜出。

1.3 与相邻概念的辨析

"自演化"与若干相邻概念关系密切，但内涵不同。下表给出辨析。

一个直观的口径：自演化 = continual learning + self-generated experience + meta-level decision about what to evolve。 缺一不可。

1.4 评判"演化成功"的标准

"系统更新了" ≠ "演化成功了"。多数论文用单一终端任务表现衡量，掩盖了三个潜在问题。一个严肃的评估应至少回答以下四个问题：

1. 能力增益：在分布外新任务上是否真的更好？仅在训练分布上变好可能只是过拟合。
2. 非灾难性：旧任务表现是否下降？（catastrophic forgetting 的隐性版本）
3. 非崩溃性：演化轨迹是否单调？还是出现"先升后降"的崩溃（model collapse）？
4. 对齐保持：演化后的智能体是否仍然遵守初始的安全约束？是否出现 mesa-optimizer 漂变？

当下绝大多数论文只回答了 (1)。这是这个领域一个突出的方法论赤字——也是研究生最容易切入的细分方向，详见 §6 与 §10。

2.1 1970–1990：进化算法与可塑系统

Holland 在 1975 年提出遗传算法（Genetic Algorithms），用选择-变异-重组算子在解空间中搜索。 1990 年代，Koza 把这个想法推到代码层面：Genetic Programming，让算法本身参与变异， 是"代码自我修改"最早的可工作实例。

同一时期，神经网络社区也开始关注可塑性：可塑突触（plastic synapses）、自组织映射（SOM）、Hebbian 学习规则的衍生品， 都试图刻画"网络在使用过程中持续重组"。但当时的关键瓶颈是： 没有足够通用的"程序合成器"来支持开放式的自我修改——所有变异都局限在事先指定的算子空间内。

2.2 2003 · Gödel Machine：理论上限

Schmidhuber 2003 年提出 Gödel Machine（哥德尔机），是自演化系统的一个理论标杆。 它假设智能体可以读取并重写自身的完整源代码（含读写器本身），并且只在能形式化证明"修改将带来期望收益"时才执行修改。

"A Gödel Machine rewrites any part of its own code as soon as it has found a proof that the rewrite is useful." —— Schmidhuber, 2003（释义版）

Gödel Machine 在概念上漂亮，但工程上几乎无法实施——可证明性约束太强，证明系统本身就极昂贵。 它的意义在于定义了上界：今天所有自演化系统的"修改是否安全/有益"判断，本质上都是 Gödel Machine 中证明步骤的启发式弱化版本。 比如 Reflexion 用 LLM 自评代替证明、Voyager 用单元测试代替证明、Eureka 用回归试错代替证明——这是一个"放宽证明义务"的连续光谱。

2.3 2010s · AutoML / NAS

深度学习时代，"自动改进自己"的注意力转向了模型架构与超参。 NAS（Neural Architecture Search，Zoph & Le 2017）用强化学习搜索 CNN 结构； DARTS（Liu 2019）让搜索过程可微；EfficientNet（Tan & Le 2019）用复合缩放搜索一族模型。 2018 年前后，AutoML 工具（Google AutoML、Auto-sklearn、AutoGluon）开始流行。

这一时期的关键限制是：搜索离线、一次性，且搜索空间需要人工设计。 "演化"发生在训练时，而部署后的模型是冻结的。这与本综述定义的"自演化"仍有距离。

2.4 2022–2023 · LLM 时代转折

2022 年底 ChatGPT 之后，自演化研究突然加速。原因是 LLM 第一次同时具备了三个能力：

• 开放域代码生成：可以写新工具、新技能、新提示词。
• 自然语言反思：可以用语言总结一次失败，提炼为可复用经验。
• 零样本/少样本适应：新经验不需要昂贵微调就能被使用。

这三点合在一起，把 Gödel Machine 中"代码合成 + 自我评判 + 选择性接受"的概念循环变成了实操可行的。短短一年内出现的代表性工作（按时间）：

图 2.1 · 2022–2023 间自演化领域代表性工作时间线。颜色对应不同演化层次（参数/记忆/奖励/提示词/编译器）。

2024 年起，研究焦点逐步从"能不能演化"转向了"演化如何不崩溃 / 不被奖励黑掉 / 不漂移"。 代表性后续工作包括 Self-Rewarding LM（Yuan et al., 2024）、AgentGym（Xi et al., 2024）、 MIPRO（DSPy v2 优化器，Khattab 等 2024）、Quiet-STaR（Zelikman et al., 2024）。

3.1 记忆型演化（Memory-driven Evolution）

最浅的演化层次：智能体把过去的交互经验结构化地写入外部记忆，下次相似情境时检索。 不修改任何"内核"组件，仅靠外部 buffer 累积经验。

关键代表：

• Generative Agents（Park et al., UIST 2023, arXiv:2304.03442）：在斯坦福小镇仿真中，每个 NPC 维护"记忆流（memory stream）"，按 recency × importance × relevance 三因子检索，并周期性触发反思（reflection）把零散记忆抽象为高层洞察。
• Reflexion（Shinn et al., NeurIPS 2023, arXiv:2303.11366）：失败后用语言写一条"verbal reinforcement"自我反馈，附加在下次 prompt 前，形成"语言层的强化学习"。
• MemGPT（Packer et al., arXiv:2310.08560）：把 LLM 视为操作系统的 CPU，把外存看作页表，自主决定何时把哪条记忆从外存调入上下文。
• A-MEM 等近期工作进一步引入 Zettelkasten 式的记忆链接与记忆演化（旧记忆在新经验下被改写）。

本知识库另有专门一章 《Agent Memory 进阶教程》。本综述不再重复细节， 只强调一点："加记忆"是最容易实施的演化机制，但也最容易触发回声室效应（§7.3）。

3.2 技能型演化（Skill Accumulation）

记忆是"记下来"，技能是"抽象成可复用的过程"。当一段经验稳定到可以被命名、参数化、重新调用时，它就成了技能。

关键代表：

• Voyager（Wang et al., NVIDIA, arXiv:2305.16291）：在 Minecraft 中，把每个完成的任务封装成一个 JavaScript 函数， 注入到技能库；新任务先在技能库中检索 top-k 相关技能作为示例。结合自动课程（automatic curriculum）使智能体长时间不停"主动学新东西"。 论文中报告其获取的物品数量是 ReAct、Reflexion、AutoGPT 的 3–15 倍。
• CRAFT（Yuan et al., 2024）等工具创建工作可视为技能演化的一个变种——区别只是技能用什么形式表达（自然语言 vs 代码）。

技能型演化的优势：可被人工审查（代码可读），可被白盒测试。 劣势：技能库会无限增长，检索本身成为瓶颈；并且当任务分布变化时，旧技能可能"过期"。

3.3 工具型演化（Tool Self-Creation）

比技能更结构化的演化：智能体设计并注册新工具/API，下次推理时可以像调用既有工具一样调用它们。 代表性工作 CRAFT（Yuan et al., 2024）、TROVE（Wang et al., 2024）、 Toolformer 的延伸（Schick et al., 2023 是工具使用，不是创建）。

工具型与技能型的边界其实模糊。区分点是：工具更强调 I/O 类型签名与可被其他智能体复用；技能则是单个智能体自留的过程。

3.4 提示词 / 指令型演化（Prompt Evolution）

不动模型、不动记忆，只动 prompt 本身。这是计算上最便宜的演化层次。

关键代表：

• OPRO（Yang et al., ICLR 2024, arXiv:2309.03409）：把 LLM 当作通用优化器，用前几代 prompt 与其得分作为输入，让 LLM 生成新一代 prompt。"Take a deep breath and work on this problem step-by-step" 这种著名 prompt 即 OPRO 在 GSM8K 上演化得到。
• PromptBreeder（Fernando et al., DeepMind, arXiv:2309.16797）：进化算法在 prompt 空间中运行，同时演化"任务 prompt"与"变异 prompt"（self-referential mutation）。是少数显式应用进化算子的工作。
• EvoPrompt（Guo et al., 2023）：将 GA/DE 算子直接套用到 prompt 优化。
• APE（Zhou et al., 2023）：自动化提示工程的早期工作，用 LLM 提案 + 评分挑选。

局限：提示词空间高度离散，演化轨迹常不稳定；且这一层的"演化"很容易过拟合到验证集。

3.5 编译器型优化（Compile-time Optimization）

把多模块 LLM 流水线看作一个程序，用编译器视角端到端优化各模块的 prompt、demonstrations、甚至模型选择。

关键代表：

• DSPy（Khattab et al., ICLR 2024, arXiv:2310.03714）：把"LLM call"抽象为可微（实则是基于评估器的代理梯度）的模块；定义 Module、Predict、ChainOfThought 等原语，由 teleprompter / optimizer 自动搜索每个模块的 prompt 与 few-shot 示例。
• MIPRO（DSPy v2 内置优化器，Opsahl-Ong et al., 2024）：在 DSPy 基础上提出贝叶斯式联合优化指令和 demonstrations，对多模块管线尤其有效。
• GEPA（Genetic Pareto，2024）：将 GA 与 Pareto 前沿挑选结合，用于多目标 prompt 优化。

编译器型与提示词型的差别在于：前者关心多模块管线的联合优化，可以做到"先在 Module A 上提升 → 反向影响 Module B 的最优 prompt"， 后者通常是单一 prompt 的迭代。这是过去两年从研究转工程的一个重要趋势。

3.6 奖励函数演化（Reward Evolution）

更深一层：演化的不是策略，而是策略所追求的目标函数本身。

关键代表：

• Eureka（Ma et al., NVIDIA, ICLR 2024, arXiv:2310.12931）：在机器人控制任务中，用 GPT-4 生成一族 Python 奖励函数， 对每个函数训练 PPO 策略并打分，把最优函数的"细节"和分数反馈给 GPT-4 让它生成下一代奖励—— 本质上是 OPRO 框架在"奖励空间"中的应用。在 29 个机器人任务上，Eureka 演化出的奖励超过人工设计的奖励。
• Self-Rewarding LM（Yuan et al., Meta, arXiv:2401.10020）：同一个 LLM 同时扮演"被训练者"与"奖励评判者"， 迭代生成偏好数据 → DPO 训练 → 评判能力同时提升。Llama-2 70B 经 3 轮迭代后在 AlpacaEval 上超过 Claude 2、Gemini Pro 与 GPT-4 0613。

这一层最接近"体验时代"中所说的"植根奖励"。 但也是最危险的——奖励函数是智能体的最终目标，错的奖励意味着南辕北辙。

3.7 参数型 / 权重型演化（Weight Update）

最深的层次：直接更新模型权重。在 LLM 时代，这通常以 self-bootstrapped fine-tuning 的形式出现： 智能体生成数据 → 自评/筛选 → 微调自己。

关键代表：

• STaR（Self-Taught Reasoner，Zelikman et al., NeurIPS 2022, arXiv:2203.14465）：让模型生成思维链， 保留那些得到正确答案的链，把"问题→思维链→答案"作为新训练数据回 fine-tune 模型。 是参数型自演化最早期的代表性工作之一，比 ChatGPT 还早。
• Quiet-STaR（Zelikman et al., 2024）：STaR 的延伸，思维链不只用于解题，而是嵌入到任意 token 的预训练过程中， 让模型"自己学会在每一步预测前先想一下"。
• ReST / ReST-EM（Singh et al., DeepMind, 2023）：Expectation-Maximization 风格的自训练， 反复迭代"生成 → 筛选 → fine-tune"。AlphaProof 内部使用的算法即此类家族。

参数型演化是最强大的一类，但计算开销也最大，并且最容易触发模型崩溃（model collapse）—— 反复用自己生成的数据训练自己，会导致分布坍缩、多样性丢失。Shumailov 等人 2024 年在 Nature 上的工作就严肃讨论了这一风险。

3.8 群体协同演化（Population-based / Multi-agent）

让多个智能体相互对抗、合作、辩论，群体在交互中协同演化。

关键代表：

• 多智能体辩论（Multi-Agent Debate, Du et al., 2023; Liang et al., 2023）：N 个智能体各自给出答案、互相评判、迭代修正。证明可显著提升数学和事实任务的准确率。
• Stanford 小镇（Park et al., 2023）：25 个生成式智能体共存，无人工干预下涌现出社交事件（情人节派对自发组织）。
• 群体演化算法（PBT, Population-Based Training，Jaderberg et al., 2017）：早期工作，在超参与神经网络训练中已显示出群体的力量。

群体型可与前面任何一类组合——例如群体中每个个体在 L4（prompt）层各自演化，群体层面再做选择。 开放问题：群体内同质化（mode collapse）、群体内对齐（alignment of populations）。

3.9 八类机制对比表

实操经验：多数成功系统是 2–3 类的组合。例如 Voyager = 技能型 + 自动课程 + 记忆型； Self-Rewarding LM = 奖励型 + 参数型；Agent Q（Putta et al., 2024）= 记忆型 + 参数型（MCTS + DPO）。

4.1 Voyager（NVIDIA, 2023）

// 自动生成、自动测试通过后被注册
async function craftWoodenPickaxe(bot) {
  await mineLog(bot, 3);                   // 调用已有技能
  await craftPlanks(bot, 4);
  await craftSticks(bot, 2);
  await craftItem(bot, "wooden_pickaxe");
  await equip(bot, "wooden_pickaxe");
}
// 元数据：description / preconditions / verification

4.2 Reflexion（NEU/MIT/Princeton, NeurIPS 2023）

4.3 Generative Agents（Stanford/Google, UIST 2023）

4.4 Self-Refine（CMU/Allen AI, NeurIPS 2023）

4.5 STaR / Quiet-STaR（Stanford）

4.6 Eureka（NVIDIA, ICLR 2024）

4.7 PromptBreeder（DeepMind, 2023）

4.8 OPRO（Google DeepMind, ICLR 2024）

4.9 DSPy / MIPRO / GEPA（Stanford / 2024+）

4.10 ExpeL & AgentGym

4.11 Self-Rewarding Language Models（Meta, 2024）

5.1 反思机制的设计

"反思（reflection）"几乎是所有记忆型/技能型/参数型自演化系统的共同环节。设计要点有四：

1. 触发时机。是每次失败后反思（Reflexion）、还是周期性反思（Generative Agents 累计 importance 超阈触发）、还是预算式反思（每 N 步必反思一次）？这关系到反思的稀疏性。
2. 反思粒度。是反思单个动作、单个任务、一个 episode，还是一组任务？粒度越粗，越抽象，越易迁移；但也越易出错。
3. 反思形式。自然语言段落、结构化字段（{cause, lesson, plan}）、还是可执行代码？后者最严苛，但可被验证。
4. 反思的反思（meta-reflection）。当一次反思被后续事实推翻时，是否要修改它？这是 A-MEM 等"记忆演化"工作处理的问题。

5.2 自动课程学习（Automatic Curriculum）

自演化系统常常需要回答："下一个该学什么？" Voyager 用 LLM 提出符合"易获、新颖、可达"三准则的下一目标； Eureka 用奖励函数性能曲线作为反馈；ExpeL 则用任务相似度排序。

课程学习的两个反直觉发现（来自多个独立工作）：

• 太简单的任务反而拖慢学习——智能体没有学到新东西的机会。
• 太难的任务同样拖慢学习——成功率太低，反馈信号噪声大。

大致最优的难度区间在成功率 0.3–0.7，与"zone of proximal development"的认知科学概念一致。

5.3 何为"值得保留的经验"

这是当前最被低估的基础性问题。多数系统简单地"全部保留"，导致记忆膨胀；少数系统按一个简单度量（recency, importance, 检索频率）筛选。 但什么样的经验真正"值得保留"，本身就是一个研究问题。

三个学界已被提出但未被系统验证的判据：

1. 反事实价值：如果当时没有这条经验，结果会显著变差吗？（需要反事实推断，工程困难）
2. 泛化潜力：这条经验能在多少分布外任务上被复用？
3. 压缩性：这条经验在被纳入"理论"（被反思抽象）之前是否已无价值？

研究生层级可切入的方向：提出并实验验证某种"经验价值度量"。本文 §10 给出更具体建议。

5.4 灾难性遗忘（Catastrophic Forgetting）

经典连续学习问题。在自演化语境下尤其严重，因为： 新经验是自身生成的，分布与初始训练严重失配，更易把旧能力"擦掉"。

主要应对策略：

• Replay buffer：混入一部分老数据；简单有效，但需要保留老数据。
• EWC / L2 正则：约束权重不过分偏离初始值。
• LoRA / Adapter：把演化限制在小规模可逆参数上。这是 LLM 时代主流方案。
• 外存而非权重：把演化全部放在 L1–L3，根本不动权重。代价是上限更低。

5.5 稳定—可塑困境

稳定（stability）= 保留旧能力，可塑（plasticity）= 学习新能力。两者是一对硬约束：完全稳定 ≡ 学不会新东西；完全可塑 ≡ 立刻忘旧。

在自演化语境下，这对困境延伸为：过度演化导致目标漂移、不够演化无法适应分布变化。 没有通用解；不同应用场景下"演化预算"应做不同选择：

7.1 奖励黑客（Reward Hacking）

当奖励函数本身可被演化（§3.6）或可被学到（§3.7 的偏好模型），智能体最优解可能是"欺骗奖励"而非"实际完成任务"。 经典案例：在仿真船航行任务中，智能体发现"原地打转吃道具"得分远高于完成航线。

LLM 时代的新形式：Reflexion 中智能体可能把"放弃任务并说‘这题无解’"作为反思结论， 因为评判器会接受"看起来 confident 的回答"。Self-Rewarding LM 中评判与生成同一个模型， 存在内置自我偏好（self-preference bias）。

缓解方向：奖励正则化、多评判器 ensemble、人在回路抽检、形式化属性验证。但没有一个是根本解。

7.2 目标漂移（Goal Drift）

随着演化进行，智能体的有效目标可能逐步偏离设计目标。这与 mesa-optimization 文献关心的问题同源： 一个被外层目标训练出来的内层优化器，可能显式追求一个不同的目标，只是恰好在训练分布上结果一致。

具体到自演化：当智能体反复"反思→改提示词→新反思"， 被强化的可能是"如何取悦评判器"而非"如何真的把事情做好"。这是 §7.3 回声室的近亲。

7.3 回声室效应（Echo Chamber）

当智能体只从自己生成的数据中学习（典型场景：Self-Rewarding LM、STaR）， 长期会发生：分布逐步坍缩 → 多样性丢失 → 对真实世界的代表性下降。 Shumailov 等人 2024 年在 Nature 上的工作显示，纯用上一代模型生成的数据训练下一代模型， 经几轮后输出的多样性会显著下降，且事实错误率上升——他们称之为 "model collapse"。

缓解： 混入新人类数据（哪怕少量）、保留种子分布、跨智能体交叉训练（避免单一智能体闭环）。 但这些都是缓解而非解决——根本问题是：没有外部植根的奖励信号时，怎么知道自己变得更对而不是更错？ 这正是 体验时代所主张的"植根奖励"的重要性所在。

7.4 可解释性与验证

演化过的智能体是不是仍可被理解？是不是仍可被检验？这两点对部署至关重要。

• L1–L3（上下文/记忆/技能）：可读，可被白盒审查。这也是为什么 Voyager 选择 JavaScript 而非神经网络作为技能表达。
• L4（提示词）：表面上可读，但很多演化出来的 prompt（如 OPRO 的 "Take a deep breath..."）没人懂为什么有效。
• L5–L6（奖励/参数）：不可解释。除非配合独立的可解释性工具。

7.5 计算成本

绝大多数自演化算法是消耗导向的：用更多算力换更好性能。 Eureka 平均每个任务训练数百个 PPO 策略； PromptBreeder 一次实验消耗数十万 API 调用； Self-Rewarding LM 每轮迭代是一次完整 DPO 训练。

这反过来给"哪些场景值得用自演化"提出了经济学问题： 对低价值高频任务，可能不如直接 fine-tune； 对高价值低频任务（科研、复杂规划），自演化才有 ROI 正回报。

7.6 安全自修改（Safe Self-Modification）

Gödel Machine 的初衷之一就是用形式化证明保证"修改是有益的"。但实际系统中，证明被弱化为 LLM 自评。 当自演化进入 L5–L6（奖励/权重），安全性成为关键问题：

• 能否禁止某些不可逆修改？
• 能否在演化后保留可还原的 checkpoint？
• 能否对修改幅度做硬上限？
• 能否要求高风险修改通过外部独立验证器？