递归自我改进
让改进机制本身,成为研究对象。

智能体的改进可以涉及策略、技能或系统实现。我们进一步关注:产生、检验和选择这些修改的方法,能否在独立评估下得到改进?
从系统修改,到改进机制
一个系统可以借助经验调整行为,也可以提出对自身的修改。递归自我改进进一步把产生和选择修改的过程纳入研究对象。
这要求区分两个层次:被修改的系统,以及提出候选、设计检验、选择修改的方法。一般性的任务表现提升,不足以说明第二个层次已经得到改进。
我们关注的问题
- 哪些变化带来可重复的改进?
- 如何区分经验积累、策略更新与改进机制的变化?
- 在可比资源条件下,改进过程本身能否变得更有效?
让反馈可以被检验
候选修改需要经过评估,才有依据决定保留还是回退。评估标准应与修改过程保持必要的独立性,并覆盖新任务和新情境。
我们关注修改的来源、评估所用的信息与资源,以及改进能否在重复实验中持续成立。
评估与边界
一次得分提升不足以证明递归自我改进。候选修改、评估标准与资源预算需要明确,改进也需要在新任务与新情境中经受检验。
三体文明实验
在三体文明实验中,观察智能体如何认识环境、学习与交流。
探索三体文明实验