开场:工作流的设计空间巨大,应该用算法去搜索
工作流的设计空间巨大。我们应该用算法去搜索,只靠手动设计远远不够。
一句话速览:AI Scientist / ADAS / AFlow,用 MCTS 和 Meta-Agent 搜索最优工作流。
一、当工作流本身成为搜索空间,设计就从艺术变成了工程
从完全手工的管线设计,到用 MCTS 自动发现最优工作流,Agent 系统的设计范式正在发生根本转变。代码是定义 Harness 的通用语言。
二、手工设计的工作流:人类写出的最强流程表
说人话:工作流就是给 AI 安排的做事流程表。就像新员工入职,你得告诉他「先做 A,再做 B,出问题找 C 核对」。以前这张流程表全靠人一步步写。
AI Scientist(Lu et al. 2026):完整的科研自动化管线
核心思想:将科学研究的完整流程交给一个 Agent 系统自动完成——从零开始执行一轮完整的研究循环。
管线流程: 提出研究想法 → 写代码 → 跑实验 → 分析结果 → 写论文 → 同行评审
关键创新: 每一步都由 LLM 驱动,形成端到端的自动化科研系统。评审环节引入 LLM-as-judge 进行质量把关。
Autodata(Kulikov et al. 2026):数据科学家 Agent,合成难度恰到好处的数据
核心思想:通过多角色协作,自动合成训练数据,使数据难度精确可控:strong solver 能做出,weak solver 做不出。
角色体系: Challenger(出题者)、Weak Solver(弱解题者)、Strong Solver(强解题者)、Verifier/Judge(验证裁判)
关键创新: 用难度差作为数据质量信号——只有同时满足强者能解、弱者不能解的题目才被保留,确保合成数据对提升模型有最大价值。
三、ADAS:自动化 Agent 系统设计
说人话:手写流程表太累,那能不能让 AI 自己给 AI 设计流程表?ADAS 就是这个思路:雇一个设计师 AI,让它不停画新的流程表、试跑、打分,把好用的留下来。相当于让老师傅带徒弟的工作也自动化了。
Hu et al. 2025 —— ADAS(Automated Design of Agentic Systems):将 Agent 设计本身视为优化问题。
核心思想:让一个「Meta-Agent」在 Agent 设计空间中自动搜索最优方案,取代手工设计 Agent 架构。这就是「meta-agent search」。
工作机制:
- Meta-Agent 先生成一个高层描述(Agent 的架构、工具使用、推理策略)
- 将高层描述实现为可执行代码
- 通过 self-refine 检查新颖性:确保不是简单重复已有方案
- 在基准任务上评估,保留表现最好的设计
关键创新: 用代码作为 Agent 设计的搜索空间表示,使设计可以被自动生成、修改和评估。
四、AFlow:基于 MCTS 的工作流搜索
说人话:ADAS 是让 AI 随便发挥想新方案,AFlow 则更进一步,用下棋 AI 同款的棋盘推演法(MCTS,蒙特卡洛树搜索)来找最优流程。就像 AlphaGo 下棋前会在脑子里推演几百步「如果我走这里,对方会怎样」,AFlow 也是在脑子里推演几百种流程改法,哪条路线得分高就往哪边深挖。
Zhang et al. 2025 —— AFlow:将 Agent 工作流表示为图,用 MCTS 自动优化。
核心思想:把工作流表示为有向图——节点是 LLM 调用动作,边是代码中的逻辑操作(条件分支、循环、数据传递)。然后用蒙特卡洛树搜索(MCTS)在这个图空间中自动寻找最优工作流。
MCTS 优化流程:
- 初始化起始工作流作为搜索树的根节点
- 用 soft mixture of score and uniform exploration 选择待扩展节点(平衡利用与探索)
- 让 LLM 生成修改后的工作流变体(添加/删除/修改节点和边)
- 在目标任务上执行并评估新工作流的表现
- 如果有改进,加回搜索树中作为新的候选
- 重复直到 top-k 平均分稳定或达到计算预算
关键创新: 将工作流设计问题转化为树搜索问题,让 MCTS 的探索-利用平衡机制自动发现好的工作流结构,无需人类手工设计。
AFlow 的搜索过程演示(5 步)
第 1 步 · 初始化: W₀: Plan → Execute,得分 52。从最简单的单步工作流开始,没有反思、没有验证、没有并行。
第 2 步 · 扩展: 让 LLM 基于 W₀ 生成三个修改方案:W₁ +Reflect(61)、W₂ +Verify(58)、W₃ +Decompose(55)。
第 3 步 · 评估与选择: W₁ 得分最高(61 > 58 > 55),选它作为下一轮扩展的父节点。
第 4 步 · 再次扩展: 从 W₁ 扩展两个方案:W₄ Reflect×2(65)、W₅ Reflect+Verify(78 🏆)。后者大幅领先!
第 5 步 · 剪枝与收敛: W₃(55 ✗)、W₆(56 ✗)被剪枝。W₅(Plan → Execute → Reflect → Verify → Output)确认为最优方案,比手工设计高出 50%!
五、三种方式对比
| 方法 | 设计方式 | 搜索策略 | 核心优势 |
|---|---|---|---|
| 手工设计 | 人类专家迭代 | 无(凭经验) | 可解释性强 |
| ADAS | Meta-Agent + 代码 | Self-refine | 自动化设计 |
| AFlow | 图表示 + MCTS | 蒙特卡洛树搜索 | 系统化搜索 + 稳定收敛 |
结语
- 搜索空间巨大: 工作流的组合可能性远超人类手动探索的能力范围,手工设计只能触及冰山一角。
- 设计即搜索: 把工作流设计当作搜索问题,用算法(如 MCTS)取代直觉去寻找好的解决方案。
- 代码是通用语言: Harness 本质上就是编排 prompt、工具调用、子 Agent、控制流、记忆和工作流逻辑的代码。
- 从 ADAS 到 AFlow 的进化: Agent 设计的自动化程度在不断提升,从让 LLM 设计进化到让算法系统化搜索。