2026年11月10日 星期二

文心RSI披露:ERNIE Evolve驱动自动研究

文心RSI披露:ERNIE Evolve驱动自动研究

引言

递归自我改进(RSI)被视为下一代人工智能研发的关键方向:让模型参与并改进自身的研发流程,从而形成“自动提出-自动实验-自动评估-自动积累”的闭环。近期,百度文心首次披露 RSI 进展,公布自动研究系统 ERNIE Evolve,并宣布其已用于即将发布的文心 5.5 Flash 的推理优化。更值得注意的是,ERNIE Evolve 在 NanoChat AutoResearch 与 NanoGPT Speedrun 两类任务的多个指标上取得了公开验证的领先表现,这意味着自动化研究不再停留在概念验证,而是开始进入工程落地的阶段。

RSI 的内涵与边界

RSI 的核心不只是“调参自动化”,更重要的是让系统具备主动规划与反思能力:
- 目标与约束驱动:围绕明确目标(如性能、时延、成本)与硬件/部署约束,自动设计研究路线。
- 闭环自改进:在持续的实验迭代中沉淀“经验”,形成可复用的策略库与失败库,减少重复试错。
- 探索与利用的平衡:既优化既有路径(exploit),也在收益下降时开辟新思路(explore)。

与传统 AutoML 的差别在于,RSI 更强调跨环节协同与元层面的研究组织。从选题、方法设计到代码实现、实验复现、结果解释,RSI 追求“端到端”的自治能力。这既带来显著效率提升,也对评测与安全提出更高要求:如何防止“奖励黑客”、如何保证结果可复现、如何在既定算力与数据边界内稳健演进,都是现实考题。

ERNIE Evolve:双层循环的自动研究引擎

双层循环的自动研究示意图

据披露,ERNIE Evolve 采用双层循环组织研究活动,是当前自动研究系统常见的有效结构。

  • 外层循环:结合历史实验与现有知识,提出新的研究方向与假设,制定实验计划与评估标准。该层面强调“策略选择与知识复用”,例如决定何时继续深挖一条优化路线,何时重构假设与工具链。
  • 内层循环:将计划落地为具体实验,自动生成/修改代码,进行超参与算子搜索,执行对比实验并记录结果。该层面强调“工程效率与实验纪律”,如自动检查数据/指标一致性,减少不可控变量。

在能力侧,ERNIE Evolve的突出点体现在:
- 经验库与回放:系统化积累成功与失败案例,优化策略选择;避免“遗忘型试错”。
- 工程约束下的探索:考虑部署场景与硬件异构性(如不同加速卡、不同编译器栈)开展优化,避免脱离现实的“纸面提升”。
- 评测对齐:围绕任务指标进行精确对齐,推动结果的可复验与可移植。

在 NanoChat AutoResearch 与 NanoGPT Speedrun 的三个评测指标上达到 SOTA,表明该系统在“从想法到可用方案”的全流程上具备竞争力。尽管社区基准未必覆盖所有真实世界复杂度,但对比公开可验证结果,已能说明其方法论与工程堆栈成熟度。

服务于文心 5.5 Flash:推理优化的实战场

推理优化流水线与硬件共优化示意图

ERNIE Evolve 已用于文心 5.5 Flash 推理优化,这一信息意义不止在于“将发布”,更在于揭示 RSI 如何在真实产品线中落地。

  • 低时延场景优化(昆仑芯 P800):低时延要求不仅依赖模型结构,还取决于编译、算子、内存与调度。自动研究系统可在以下维度开展快速搜索与组合:
  • 算子与内核:自动发现可融合的算子、调度与内核参数的 Pareto 解,减少调用与同步开销。
  • 缓存与序列:改良 KV Cache 管理策略与批次拼接方式,兼顾吞吐与时延稳定性。
  • 精度-性能权衡:自动选择量化/剪枝策略与容错范围,在约束内最大化速度收益。
  • 确定性推理吞吐优化:生产环境强调结果一致性与可复现性,自动研究系统可约束随机源、固定执行路径,并在此前提下进行吞吐提升的算法与系统共设计。
  • 极致解码速度优化:围绕 speculative decoding、并行采样、分块解码等技术路径进行自动化评估与组合探索,针对不同负载特征形成“情境化最优策略”。

将自动研究用于推理工程,有几个现实价值:
- 缩短迭代周期:从问题界定到方案验证形成流水线,减少“人工瓶颈”。
- 面向硬件的共优化:把硬件特性引入搜索空间,以实测性能为导向得到“真优化”。
- 可迁移的优化资产:经验库可迁移到新模型与新平台,提升跨代与跨平台的复用率。

影响与展望

RSI 的加入,使大模型研发从“经验驱动的线性流程”向“知识驱动的自循环系统”转型。短期看,它有望带来三方面影响:
- 研发效率:压缩从假设到上线的时间,降低试错成本,提升改进的频率与幅度。
- 工程质量:标准化实验流程与指标对齐,减少不可复现与偶然提升。
- 供给能力:通过推理侧的极致优化,提升性价比,使“快、稳、省”的产品更易规模化。

同时也需关注潜在风险与边界条件:
- 评测稳健性:若评价函数不完备,系统可能“对指标过拟合”而忽略潜在问题。
- 数据与安全:自动化流程在使用工具与代码生成时需有严格的合规与安全防护。
- 算力与能耗:RSI 在探索期的算力开销不容忽视,需通过更好的搜索策略与元学习减少冗余。

全球多方已入局 RSI,此次披露显示国内大模型厂商正将自动研究纳入一线产品迭代。随着文心 5.5 Flash 推出在即,值得关注的是:RSI 能否在更多任务与硬件环境中持续验证;经验库的跨模型迁移效果如何;以及在复杂、多约束的真实业务里,如何保持“可控的快速演进”。如果这些问题获得积极答案,RSI 将不仅是研发工具的升级,更可能成为 AI 工程体系的底层范式迁移。

标签: RSI 文心 自动研究 大模型推理 昆仑芯

还没有评论

发表评论