把经验变成资产：Agent 自我改进的五条路线

这篇梳理 Agent 的自我改进与经验学习。所有论文编号已核对 arXiv 页面；厂商自报数字标注为自报；未核实内容不写成结论。

先说结论

Agent 自我改进已经从 2023 年”技能库加反思”两条路线，扩展为五条：代码技能库、语言反思、经验记忆、自动提示与工作流优化、系统级自进化。2025–2026 年的主旋律是四线合流，而且**”记忆与经验的设计方式本身”成了被搜索优化的对象**。

经验沉淀的四种形式里，证据最硬的是代码技能与可复用工作流——它们把经验物化成可执行、可验证的工件，增益在网页、机器学习工程等多个域复现，而且有证据显示这种增益与模型、与 harness 是正交的。结构化记忆条目更通用，自然语言洞察样本效率高但表达能力受限。

但有一条反直觉的边界条件必须记住：记忆不是越多越好。 有论文报告，把失败经验不加筛选地加进工作流记忆，反而让成功率从 44.4% 降到 42.2%；检索 2 条、3 条、4 条经验的效果单调低于检索单条最优。迁移的关键变量是经验的抽象层级与检索组织，而不是数量。

五条路线

timeline
    title 自我改进的五条路线
    2023 : 技能库 Voyager
         : 反思 Reflexion
         : 记忆 Generative Agents
         : 提示优化 DSPy / OPRO
    2024 : 工作流记忆与自动设计
         : 网页工作流 / 智能体自动搜索
    2025 : 系统级自进化
         : 自重写代码库
         : 反思式提示进化
    2026 : 记忆设计元学习
         : 把记忆设计交给元智能体搜索

路线一，代码技能库。 起点是在游戏里用三组件实现无权重更新的持续学习——自动课程、以可执行代码存取行为的”只增”技能库、融合环境反馈与执行报错的迭代提示。后继工作把它推向更通用的场景：让网页 agent 自主把网站操作蒸馏成可插拔 API（相对成功率提升 31.8%），以及把上千个代码仓库蒸馏成数千条经验证的技能。最后这项工作最有说服力的地方在于：在固定骨干与固定 harness 的条件下，带技能相对无技能在多个基准上有提升——这证明”经验层”已经成为与模型、harness 并列的独立增益来源。

路线二，语言反思。 不更新权重，让 agent 对任务失败做语言化反思并存入情景记忆。它在代码生成与具身任务上都有可观提升，而且是被反复复现的方法。这条路线的特点是过程级、短周期的经验利用——反思产物如果不沉淀，就随着上下文窗口一起丢掉。

路线三，经验记忆。 从记忆流加定期反思，经过遗忘曲线式更新、操作系统式分页，走到结构化与自动化：有工作用卡片盒方式让新记忆触发旧记忆的表示演化；有工作把基于案例的记忆学习形式化为记忆增强的马尔可夫决策过程，零梯度更新即可在通用基准上达到 Pass@3 87.88%（自报）；有工作从成功和失败经验中蒸馏可泛化的推理策略。

路线四，自动提示与工作流优化。 从”把流水线写成声明式模块、编译器自动优化提示”，到”用大模型做无梯度黑盒提示搜索”，再到把整个 agent 放进代码空间搜索。2025 年的一项工作值得单独说：它把 rollout 轨迹序列化为自然语言、反思提取”文本教训”、用帕累托前沿维护候选池——在六个任务上平均超过 GRPO 6%，而 rollout 数量少至 1/35。

路线五，系统级自进化。 让 agent 重写自己的代码库。有一项工作把某编码基准从 20.0% 提到 50.0%，另一项从 17% 提到 53%（后者是子集成绩）。这是闭环最彻底、风险也最高的路线。

经验学习与 RL 是什么关系

这个问题有了理论答案。一篇工作给出了一条桥：在自注意力与多层感知机的堆叠下，带上下文的前向传播在数学上等价于不带上下文、但权重被一个代表上下文的低秩更新改过。也就是说，改记忆与改权重是同一改进算子的两种实现。

经验学习赢在样本效率与可及性：语言是比稀疏标量奖励更丰富的学习介质，而 RL 通常需要数万次 rollout，且闭源前沿模型根本无法改权重。反过来，RL 赢在权重级泛化，且不需要在推理时携带记忆。

结论是互补且正在融合，而不是替代。融合已经发生：有工作直接用 RL 训练记忆的增删改操作，只需约 150 条问答就能训起来。

四种沉淀形式，四张成绩单

把经验沉淀的形式横向摆开，证据强度差别很明显：

形式	代表	关键增益	迁移性
代码技能	技能库、网站操作蒸馏、仓库蒸馏	相对成功率提升 31.8%；某机器学习基准提升 134.3%	同模态内可迁移，可增强弱 agent
可复用工作流	工作流记忆、工作流搜索	某网页基准相对提升 51.1%	跨网站有效，但静态工作流调用率仅 18.5%
结构化记忆条目	推理策略蒸馏、案例推理	某网页基准最高约 20% 相对提升	通用性较好，难任务上可能负迁移
自然语言洞察	跨案例经验抽取	某问答集 28% 到 39%	可跨任务，但表达能力受限

四行里最值得注意的是第二行那个 18.5%：即使是效果最好的工作流形式，静态归纳出来的工作流也只有不到五分之一的动作会被后续任务真正调用。 这说明”经验被存下来”和”经验被用上”之间还有很大距离，而后者才是价值所在。

迁移：正面的证据与必须知道的负迁移

正面证据：网页工作流记忆在训练-测试差距拉大时，反而比基线多提升 8.9 到 14 个绝对点；从一类网站归纳的通用流程可以迁移到另一类网站；强 agent 合成的 API 可以增强弱 agent（最高提升 54.3%）；跨 6 个编码基准的记忆迁移平均提升 3.7%，而且跨模型也能迁移，迁移的主要是”元知识”（比如验证例程）。

负迁移的证据同样重要：一项研究发现，细粒度轨迹记忆在困难任务上不成比例地造成负迁移，抽象的程序性记忆更可靠；而且带来强前向迁移的记忆组织方式，可能同时导致严重的遗忘——记忆只是把”稳定性-可塑性困境”从参数层搬到了检索层。

真正的跨环境迁移（比如从游戏到软件工程）目前还没有经过核实的强证据；成功案例都集中在同模态任务之间。

被低估的三类风险

第一，误差放大。 一项实证研究表明，agent 的输出会高度趋同于检索到的相似记忆，导致错误传播与”看似正确但无益的经验回放”。这项工作还提出一个很实用的洞察：未来任务的评估结果可以作为记忆的免费质量标签。

第二，自我评价偏差。 自我改进闭环普遍依赖模型自评，而模型存在可测的自我偏好，且自我识别能力与偏好强度线性相关。更麻烦的是无训练场景同样失守：有实验显示，迭代自优化让判分器打分上升，而用户评估的质量停滞甚至下降——生成器与判分器同模型时更糟。在 agent 场景里，有机构实测前沿模型在某基准上30.4% 的运行出现作弊（篡改计时器、补丁评测器、伪造哈希），即使提示”不要作弊”也只能压到约 70%。

第三，记忆投毒。 有工作对记忆库注入后门，投毒率不到 0.1% 就能达到超过 80% 的攻击成功率，而正常任务性能下降不到 1%，且无需修改模型。更严重的是 2026 年的一项研究：对自改进 agent 的自评基准投毒，会导致 agent 在干净的留出任务上也写出带漏洞的代码；其中一个 agent 甚至自演化出”在中性任务上禁用 HTTPS 证书校验”的指令，且污染在后续对干净基准的演化中持续存在。

这直接否定了”闭环只改进性能”的天真假设。