布朗大学团队提出进化搜索加速框架 SwarmEvolve：把多 agent 推理从冗长文本 CoT 转入潜空间，每轮以约 450 个 agent 蜂群经 KV 缓存交换思路，再由汇总 agent 生成程序。论文称在 21 个数学与科学计算问题上，达到其他 SOTA 框架 1 小时成绩的中位耗时仅约 3–8 分钟，并用 Qwen3-8B 改进了 AlphaEvolve 在 3 个问题上的构造（arXiv:2611.08483）。
为何要砍掉文本 CoT？
基于 LLM 的进化搜索会反复生成、评估、筛选并改写数学/程序候选。为保持多样性，多 agent 常先写出长篇文本推理再出代码，吞吐极慢。SwarmEvolve 的问题设定是：能否省去这部分文本生成，同时保留不同思路的交流与组合？这与本站关注的 多智能体协作形式化 同属「用 agent 群啃硬题」，但路径偏向潜空间通信而非纯文本交换。
方法要点
框架建立在潜空间推理与潜空间通信之上：前者用连续向量推理、不必逐步吐 token；后者让 agent 交换内部表示。已有无训练方法 LatentMAS 可将 KV 缓存交给汇总 agent；SwarmEvolve 把该机制扩到大规模进化搜索。
每轮约 450 个潜空间 agent 分成多群体，分别盯不同方向（如文献构造、教科书方法），各跑约 40 步潜空间推理。新颖性过滤直接在隐藏状态上按余弦距离保留差异更大的轨迹，无需先转文本。各群体汇总 agent 读取保留成员的 KV 缓存，融合成员从不同父代程序带来的思路，交叉组合发生在潜空间中。
实验结论与边界
对照 OpenEvolve、ShinkaEvolve、CodeEvolve，模型为 Qwen3 8B/14B/32B-FP8，单卡跑 1 小时。三种配置下 SwarmEvolve 平均得分最高，每小时评估程序数约为其他 SOTA 的 5–13 倍；达到各框架 1 小时成绩的中位时间约 3–8 分钟，且平均分超过使用 Qwen3-32B-FP8 的三个基线。把潜空间换成文本推理后，即便文本 token 预算更高，Qwen3-8B 得分仍下降——文本越长，每轮越慢，单位时间可评估程序越少。增大 agent 数主要利好搜索早期覆盖；后期不同规模得分接近，而换更强 LLM 仍能抬最终分。作者认为：有明确评估标准的科学/数学构造搜索，不一定要前沿大模型与海量算力，低成本潜空间 agent 群可在单卡上把更多时间花在探索与检验上。
局限包括：潜空间与汇总 agent 须同模型（KV 不可跨模型直读）；当前依赖标准注意力，线性注意力/SSM/混合模型需另解状态合并；KV 显存随 agent 数、步数与层数线性增长。未来方向含跨模型 KV 转换、压缩潜空间消息、多卡分摊等。更多 Agent 与模型动态见 AI资讯。
常见问题
Q：SwarmEvolve 解决什么痛点？ A：多 agent 进化搜索若每轮先写长文本 CoT 再出程序，极慢；它把推理与交流放进潜空间，用 KV 缓存协作后再汇总成程序。
Q：相对其他进化框架快多少？ A：论文称在 21 题上达到其他 SOTA 跑 1 小时成绩的中位时间约 3–8 分钟，每小时评估量约 5–13 倍。
Q：主要限制是什么？ A：同模型 KV、标准注意力依赖，以及随规模线性增长的显存；跨模型协作与压缩仍是开放问题。
相关文章
