多 Agent 值不值得开?我们测了启动、送达和最终收益
给主 Agent 配一个专家,再加一个 Reviewer,看起来很容易让人放心:有人负责研究,有人独立检查,最后由主 Agent 综合。真正把任务跑完,却还要回答一个问题:多出来的工作,究竟改善了什么?
2026 年 11 月 16—17 日,我们先做了 100 对开放与关闭普通子 Agent 的整体对照,随后补测明确要求委派的情况,再单独做了 30 对自动 Reviewer 对照。整体结果没有显示平均评分收益,调用和资源消耗却增加了;其中也保留了值得继续验证的局部正例。
这让我们更在意一条完整的价值链:协作是否实际发生,带回了什么,主 Agent 是否用上,最终答案有没有改善,以及为此付出了多少。 角色能启动,只回答了前面一小部分。
先看整体:开放多 Agent,答案有没有更好?
第一组实验比较的是两种产品策略。
- ON: 主 Agent 可以自主决定是否启动普通子 Agent(Child)。
- OFF: 关闭普通 Child,由主 Agent 完成任务。
两边都关闭 Reviewer,使用相同的模型、固定生产源码、题目、资料和资源规则。ON 允许模型选择不委派,没有调用 Child 的样本照样保留。这正好对应一个实际决策:如果默认开放这项能力,系统整体会发生什么?
十道合成资料题各重复十对,共 200 次研究运行。题目包含费用计算、统计复核、跨材料核对和事件时间线等任务;资料是冻结的,研究使用真实模型和既有运行时。模型通过 OpenCode Go 调用,返回的型号别名为 deepseek-v4.1-flash。
评分时,把同一道题的两份答案随机标成 A/B,只提供问题、冻结来源和答案,按正确性、覆盖、限制与完成度四项打分,每项 4 分,合计 16 分。失败和未完成样本留在比较里。评分器也是模型,隐藏组别不代表它绝对正确;答案中的协作叙述也可能泄露分组。
| 100 对整体比较 | 普通 Child ON | OFF |
|---|---|---|
| 平均分/16 | 14.78 | 15.14 |
| 研究模型调用总数 | 1,465 | 1,111 |
开放普通 Child 后,平均分没有提高,研究调用增加约 31.9%。这里的调用包含主 Agent、Child、重试和失败尝试。
这组结果评估的是现有配置下开放协作能力的整体表现。两边沿用相同资源规则,实际总调用和 token 可以不同;它没有回答“相同总 token 下,哪种分工效率更高”。十道题重复运行,也不等于一百道独立题,更不能代表所有开放式研究场景。
但对于是否默认打开这项能力,已经有了一个需要认真解释的结果:在这批任务里,更多消耗没有换来更高的平均评分。
开关打开以后,主 Agent 实际怎样使用它?
继续看执行记录,100 个 ON 样本中,只有 13 个实际派发了 Child,合计启动 23 个子执行。其余 87 个没有启动 Child。
这不是应该剔除的“无效多 Agent 样本”。如果产品把委派选择交给模型,模型没有使用它,本来就是产品策略的一部分。把这 87 个去掉,会把“开放能力是否有用”悄悄换成“模型选择委派的那些任务表现怎样”。
实际委派也有很不一样的背景。
在 13 个启动样本中,有 9 个在首次委派前还没有取得可用的资料正文读取回执。主 Agent 此前已经发出 11 至 20 次模型请求,遭遇多次定位或读取困难,随后才求助 Child。部分 Child 又遇到了同类问题。
这时,多一个执行体没有自动增加一条可用的证据通路。如果难点是资料位置没有找对,把同一个问题交出去,可能只是把寻找入口的过程再做一次。它值得排查的是实际导航与读取链路,不能靠增加专家数量推定已经解决。
另外 4 次则发生在主 Agent 已取得五份来源的可用正文之后,委派内容偏向计算或统计复核。这 4 对相对各自 OFF 的平均分高 1.25 分,调用增加约 42.6%。它们提供了一个具体的正向线索:材料已可用、子任务清楚、结果能核对时,额外复核可能更有价值。
不过,这些都是运行之后形成的小分组。主 Agent 往往在遇到困难时才委派,启动组与未启动组原本就不可直接比较;四个正例也不足以证明一种通用策略。它们的用途,是帮助我们找出下一步值得验证的条件。
如果明确要求委派,会不会更好?
看到启动率只有 13%,自然会想到另一种解释:也许协作能力本身没问题,只是主 Agent 不太愿意用。
于是,我们对原来没有启动 Child 的 87 个题次追加了明确的委派要求,重新运行,并保留原 ON、OFF 答案。新增的 87 次全部启动了 Child,共 109 个子执行。这一轮确实把“有没有用”推进到了“用了以后怎样”。
质量比较采用同一次、共同口径的三答案盲评。其中 86 个题次的评分有效,新增要求委派的答案平均为 14.83 分,原未委派 ON 为 15.16 分。新增 87 次研究用了 2,002 次模型调用,原对应 ON 为 944 次,增加约 112.1%。评分的有效题次与研究调用的分母不同,不能混作同一个完整样本数。
这里的原 ON 均分来自补测中的共同重评,所以不应与上一轮评分直接拼接。这又是事后挑出的零启动子集、新增指令与历史答案的比较,不能据此识别 Child 的独立因果效果。能够确认的观察是:在这次补测里,明确要求委派提高了启动率,平均评分却没有随之提高。
更值得注意的是“采用”的含义。部分子任务返回的是读取受阻的诊断,主 Agent 在最终答案中采用了这项限制说明。交接发生了,答案也诚实表达了困难,但原问题需要的时间线或数值重建仍然没有完成。
因此,采用失败诊断可以是正确行为,却不能算成原任务质量改善。评估贡献时,必须继续追问:它让哪一条答案更准确、更完整,或者排除了什么原本可能保留的错误?
Reviewer 全部启动,建议也送到了,收益出现了吗?
普通 Child 承担局部任务,Reviewer 检查已有研究的遗漏、冲突和薄弱假设,两者不能混成一类处理。
我们为 Reviewer 单独做了 30 对新实验:同样的十道题,每题三对。两边都隐藏普通 Child,ON 开启原有自动建议模式,OFF 关闭 Reviewer;没有在用户问题里追加“请审查”,也没有强迫主 Agent 等待审查完成。
| Reviewer 的 30 对比较 | ON | OFF |
|---|---|---|
| 平均分/16 | 14.10 | 14.43 |
| 平均整轮结束时间,含异常终态 | 250.86 秒 | 229.25 秒 |
| 研究模型调用总数 | 659 | 350 |
| 已知输入与输出 token 小计 | 8,260,489 | 5,351,548 |
ON 的已知 token 小计比 OFF 高约 54.4%,另有 11 次 ON 请求缺少最终用量回执,不能按零计算。因此,这个比例描述的是已知小计,不能称为精确的总成本增幅;token 本身也不等于现金账单。
两组各有 28 次运行达到运行时的完成状态,ON 另有 2 次部分结束,OFF 另有 2 次失败,主比较全部保留。只看双方都完成的 27 对,ON 评分仍较低,平均整轮结束时间多约 13.2%。耗时包含共享供应商排队和证据写入,不是纯模型推理延迟。
这次也有了更完整的协作过程记录:
- 30 个 ON 全部实际启动 Reviewer,合计 41 个子执行。
- 其中 29 个有最终完成证据。
- 24 份完整建议确认进入后续主 Agent 的输入,涉及 19 次研究运行。
这里每个数字的单位都不同。41 个执行不能写成 41 次研究;29 个完成不能写成 29 次建议送达;建议进入输入,也没有自动证明主 Agent 因此改变了判断。
为了继续追问,我们把实际收到建议的 19 次,与各自配对的 OFF 比较。ON 平均 13.21 分,OFF 13.68 分,4 胜、7 平、8 负,平均结束时间多约 18.7%。
至少在这批记录中,平均收益缺席不能只用“建议没有送到”来解释。收到建议的样本也没有出现平均评分改善。不过,“收到”是运行后形成的分组:任务越久,越有机会等到建议,题目组成也不同。不能拿收到组和未收到组直接相比,再得出“审查建议让答案变差”的结论。
局部正例仍值得留下。一道涉及扣除非经常性损益口径的题,ON 得 15 分、OFF 得 12 分;评分指出 ON 更清楚地区分了相关口径,也没有把缺失拆分当成已知。该次确有 Reviewer 建议送达,但仅凭这点,仍无法把全部分差归给 Reviewer。
相反,另一道时间线题中,ON 虽然收到建议,却只覆盖了五份来源中的一份,最终为 9 分,OFF 为 16 分。复核意见的存在,并没有保证关键材料被完整使用。
主任务结束了,协作的账却未必收齐
这轮还有一个容易误读的观察:主任务结束时保存的快照里,部分 Reviewer 请求还没有最终状态。后来独立保存的请求回执,才记录了失败或超时。
其中 11 次缺少用量的请求已经收到 HTTP 200,但流随后中断,没有最终 usage。仅看主任务结束快照,会漏掉后续请求状态;仅看 HTTP 200,又会误以为调用已经完整成功。
这要求我们分别记录三件事:用户何时拿到正文,根任务何时结束,以及已经派发的后台请求何时取得最终状态和用量回执。三者可能相近,也可能不同。
它不意味着所有答案都应该等到 Reviewer 才展示。较短的主任务可能已经具备足够材料,等待一个晚到的通用建议只会增加交付时间。更合理的做法是保留真实的正文交付时间,同时继续核对已派发请求的结果和费用;无法确认的部分明确保留未知。现有记录还不足以确定每次流中断的精确原因。
如果把主任务结束当成所有协作已经收尾,就可能把后台开销漏掉;如果为了得到整齐的终态,强制所有正文等待全部 Reviewer,又改变了原本要测的产品行为。
下次增加一个 Agent,先说清它要改变什么
这些结果没有否定独立上下文和并行研究的价值。我们的实验用的是冻结的合成资料,仍存在资料导航和运行续接问题;它没有覆盖广泛网络探索,也没有评估不同模型组合,更没有识别各项意见的独立因果贡献。
任务差异尤其重要。Anthropic 在 How we built our multi-agent research system 中,把多 Agent 的优势与可并行探索的独立方向联系起来,同时讨论了额外 token 消耗和共享上下文、任务依赖带来的限制。它们的内部任务、模型组合和评估方式与本文不同,结果不能直接横比。这提醒我们继续问:任务到底需要更大的探索范围,还是只需要把已有材料读准确?
根据这次观察,我会把委派问题写得更具体一些。
如果主 Agent 已拿到资料,需要检查费用适用条件、复算一组数字或寻找某条结论的反例,可以给子任务明确的核验对象和可检查产物。只有一句“再看看有没有问题”,就很难分清它补上了缺口,还是复述了一遍已有结论。
如果主 Agent 卡在资料入口,先查实际可用的导航和读取回执。Child 可能帮助定位,但必须观察它是否获得了可用的新证据;不能因为任务交出去了,就把原来的阻塞视为已解决。
如果准备默认开启自动 Reviewer,应把全部 ON/OFF 结果作为主比较,再用启动、送达和具体答案变化解释它。不能只选收到建议的成功样本,也不能把系统里的“已完成”当作用户问题已经答好。
能启动专家,说明系统具备协作能力;是否值得启用,要看它是否提供新的证据、独立核验或有效反证,被主 Agent 用上,并改善了值得改善的结果。 时间、token 和未知费用,也都属于这个判断。
下次增加一个角色之前,先选一条希望它改善的关键结论。沿实际输入、子任务发现和最终答案核对一遍,再与关闭该角色的结果比较。这样才能知道,额外的协作究竟帮了谁、帮在哪里,以及这份帮助值不值得。
延伸阅读:Subagent 的独立上下文与成果交接 · 怎样核对专家成果是否被使用 · 专家、Subagent、Review 与 Judge 的区别 · 一份报告的成本怎样归属
更多实践见 ETF Agent 技术文集。如果这篇文章对你有帮助,欢迎为文集点个 Star。