递归自我改进的真正护城河在哪里？
从 RSI 分类、文本梯度到 Agent Swarm、RSI 基础模型，以及能够长期积累优势的改进基础设施
大多数所谓的“自动化研究”系统，都是从一个已经定义好的验证器开始的。但这只是递归自我改进（Recursive Self-Improvement，RSI）的一半。另一半问题是：究竟由谁——或者由什么——来创建并持续改进验证器本身？
RSI 包含两条截然不同的路线
人们讨论 RSI 时，经常把几个不同的问题归入同一个概念。把 RSI 分成两条路线或许更加有用。
路线一：不断演化的环境与验证器。
系统不仅改进答案，还会改进任务、环境、评估标准、评分规则和奖励信号。换句话说，它会不断重新定义和完善“更好”究竟意味着什么。
路线二：在既定验证器下进行优化。
目标已经固定。系统通过修改数据、代码、提示词、模型架构或训练策略来提高得分。
目前，大多数 RSI 方法和自动化研究的运行框架主要关注第二条路线。
Karpathy 的 autoresearch 就是一个典型的例子。Agent 修改语言模型的训练代码，在固定预算下运行实验，读取验证指标，决定保留还是撤销本次修改，然后开始下一轮迭代。
这一系统的价值并不在代码本身，而在于它把 RSI 的核心循环展现得非常清楚：
提出假设 → 修改产物 → 运行实验 → 读取证据 → 再次修改。
一旦有了验证器，RSI 就成了在产物空间中的搜索
我们可以把这个过程理解成一种通过语言表达“梯度”的优化方法。
当然，这只是一种类比，并不是真正的梯度下降。
在标准深度学习中，我们计算损失函数，并通过反向传播更新模型参数：
标准梯度下降：
θₜ₊₁ = θₜ − η∇θ L(θₜ)
在由验证器驱动的 RSI 中，验证器返回一个分数，而实验系统则提供日志、执行轨迹、失败案例和行为证据。Agent 在上下文中读取这些信息，并提出下一步修改方案。
我们可以将其粗略抽象为：
验证器驱动的 RSI：
aₜ₊₁ = aₜ + Δaₜ
其中：
Δaₜ = π_ICL(sₜ, τ≤ₜ, fₜ)
这里：
aₜ 是当前正在优化的产物；sₜ 是验证器给出的分数；τ≤ₜ 是截至当前轮次的实验轨迹；fₜ 是观察到的失败反馈；π_ICL是通过上下文学习实现的更新策略。
在这个类比中，上下文学习（ICL）发挥着类似“文本形式反向传播”的作用。它并不计算参数梯度，而是读取实验反馈，判断下一步应该如何修改产物。
不过，这个类比也存在明显的局限。RSI 中的更新是离散的、语义化的，并且依赖历史记录。它不可微，也无法保证每次更新都会提高得分。
具体来说：
- 被修改的代码、数据或训练策略，是正在优化的产物；
- 验证器得分，是优化的目标信号；
- 失败轨迹与日志，提供局部证据；
- 上下文学习负责解释反馈，并生成下一步更新方向。
从搜索的角度看，RSI 也像是一种更加智能的树搜索。系统探索不同的修改路径，观察每条路径的结果，再决定继续探索、创建分支还是回退。
与传统深度优先搜索（DFS）不同，这里的回退和分支逻辑并不是硬编码在软件中的，而是由模型根据当前上下文动态决定。
引入子 Agent 或多个 Agent，可以拓宽搜索树；扩大上下文窗口，可以让搜索过程拥有更丰富的历史信息；提升底层模型能力，则能够提高假设、实现方案和实验复盘的质量。
在验证器固定的情况下，什么真正决定系统表现？
当验证器足够可靠时，系统性能主要取决于四个因素：
1、模型能力： Agent 能否提出准确的假设，并实现清晰、可验证的修改？
2、上下文与记忆： Agent 能否保留足够多的实验历史，从而避免重复犯错？
3、搜索宽度： 多个 Agent 能否探索真正不同的方向？
4、评估吞吐量： 在固定的时间和成本预算内，系统能够运行多少次可信实验？
Kimi 的 Agent Swarm 主要扩展了第三个维度。系统会动态拆解复杂任务，让多个子 Agent 并行探索，再汇总它们的结果。
与单纯修改提示词或工作流相比，Agent Swarm 与单模型能力相对正交，因为它直接增加了测试时计算量和搜索宽度。
但并行不一定天然有效。不同 Agent 可能会探索相同的方向，产生高度相关的错误，也可能引入额外的协调成本。
只有在不同分支具有足够多样性、评估结果可靠，并且系统能够保留最佳结果的情况下，扩大搜索宽度才真正有帮助。
为什么大多数框架层工作难以形成长期护城河？
今天的 Agent 运行框架显然很有价值。
当前模型会忘记之前做过的实验，重复探索已经失败的路径，对充满噪声的分数反应过度，也经常忘记此前运行过程中发现的最佳检查点。
显式记忆、分支管理、回滚、预算分配和结果选择等机制，可以弥补这些缺陷。
我们担心的是，这些技术能否长期保持价值。
如果超长上下文窗口变得切实可用，模型管理长上下文的能力也得到提升，那么许多人工设计的摘要、反思、角色拆分和状态管理机制，最终可能会被模型自身吸收。
那些主要用于弥补模型记忆、比较或规划能力不足的技术，可能只有有限的生命周期。
模型更难吸收的，是现实中的并行算力、安全且可复现的运行环境、可靠的验证器、训练与评估服务、实验谱系、严格的预算管理，以及与真实生产系统和私有数据之间的连接。
搜索剪枝很有用，但它不是最终形态
对于能力还不够强的模型，显式控制搜索过程依然非常重要。
系统可以预测候选路径的价值，提前终止明显缺乏前景的实验，把更多预算投入更有潜力的方向，并在继续探索的同时保留最佳检查点。
这应该会让人感到熟悉：我们再次回到了利用学习得到的价值信号，决定下一单位探索预算应该投入何处的思路。
从这个意义上说，PPO 又回来了——不一定是作为完全相同的优化器，而是作为一个反复出现的核心思想：利用价值估计控制探索。
然而，我们不应把今天的剪枝启发式方法误认为最终的护城河。随着模型能力提升，它们可能逐渐学会自行选择更有希望的路径。
不过，基础设施仍然需要负责执行实验、隔离环境、控制预算、保存证据并验证结果。
我们真的需要一个专门的 RSI 基础模型吗？
另一种观点认为，我们应该专门为 RSI 训练一个基础模型。
对此，首先应该回答的问题是：这样的模型究竟会包含哪些独有能力？
设想一个拥有近乎无限上下文和极强记忆能力的 RSI 系统。只要给予足够时间，它或许可以结合上下文学习，通过暴力试错最终实现目标。
但这与“无限猴子定理”的类比相似：只要尝试次数足够多，几乎任何结果最终都有可能出现。真正的问题在于效率。
从技术上讲，对 DFS 搜索树进行剪枝，本质上是在预测一条路径的价值。因此，一个具备 RSI 能力的 Agent 至少需要两种重要能力：
世界建模： 预测某项干预会带来什么变化，以及可能产生哪些副作用。
价值估计： 在付出完整评估成本之前，预测某个状态或方向是否值得继续探索。
但这些能力并不一定是 RSI 模型独有的。它们已经与预训练阶段的下一词元预测有关，也越来越多地出现在后训练过程中——模型开始从可执行环境、工具交互、可验证任务和环境反馈中学习。
Qwen、Prime Intellect 等团队近期的工作正在朝这个方向发展。这些系统还不是完整的 RSI 系统，但它们已经开始训练通用模型，使其获得 RSI 研究者所需要的许多底层能力。
“专用 RSI 基础模型”并不天然就能构成一个强大且独立的模型类别。
垂直领域的专家模型可能会在某个狭窄研究方向上表现得更好，但这属于专业化。一个真正独立的 RSI 基础模型，需要证明自己具备一些无法自然产生于更强的通用世界建模、价值估计、工具使用和长上下文推理之中的能力。
更重要的方向：让验证器和环境本身持续演化
第一条路线可能更值得探索。系统不仅应该改进候选方案，还应该改进定义和衡量进展的机制。
目前，大多数基准测试仍然由人类设计。因此，从研究角度看，一个核心问题是：
Agent 如何自行提出有用、有效且有意义的基准测试？
这可能是让目标函数本身实现演化的核心路径。
在现实应用中，固定的验证器可以让搜索过程顺利执行。但真实产品很少从一开始就拥有一个完美的验证器。目标可能并不完整，可能容易被钻空子，可能评估成本高昂、反馈延迟，也可能与用户真正关心的事情并不一致。
一个真正可用的系统需要回答以下问题：
- 哪些现实中的失败应该转化为新任务？
- 这些任务应该如何生成、扩展和验证？
- 哪些证据足以判定任务成功？
- 如何发现奖励作弊和验证器信息泄漏？
- 何时应该修改评分规则、环境或测试分布？
这比围绕一个已知分数进行优化困难得多，因为系统必须在不破坏目标原有含义的前提下改进目标本身。
这也更接近真实的产品开发。验证器需要编码真实的业务与运行逻辑，而不只是判断基准测试中的答案是否正确。
最后的思考
RSI 并不是一种单独的算法，而是一个闭环系统问题。
一旦验证器存在，改进过程就会越来越像产物空间中的可扩展搜索：更强的模型、更长的记忆、更宽的并行探索，以及更高的评估吞吐量。
许多 Agent 运行框架技术对于当前模型非常有价值，但它们可能更像是跨越现阶段能力鸿沟的桥梁，而非能够长期存在的护城河。
更加困难、也更有价值的问题，是构建一种能够适应模型和算法持续变化的基础设施，同时让环境和验证器本身也能够不断进化。
长期来看，真正的护城河可能不在于哪个 Agent 能够提出下一项实验，而在于谁能够可靠地运行和验证数百万次实验，从中持续学习，并将实验结果真正落实到系统与产品之中。
这正是我们目前正在探索的方向：构建支持持续实验、环境验证和模型改进的基础设施。
如果您也在探索自我改进的智能体、自动研究、智能体后训练或面向产品的验证器演化，我们非常期待与您共同交流。