Skip to content
文章目录
GitHub Star
证据、标签与源码

用 Agent 开发 Agent,为什么修了很多 Bug,真实研究还是没完成? ​

修复一个故障、打通一段交接和完成用户任务,是三种不同的进展。 本文保留两次真实验证的成功与失败,再讨论 Coding Agent 怎样选择值得做的检查,以及为什么有了成功率数字,也不一定知道产品是否成功。

用 Coding Agent 开发另一个 Agent,最容易获得的成果是什么?通常是一段新实现、一组通过的测试,或者一个终于不再出现的错误。

这些成果当然有用。但 2026 年 10 月 14 日,我们的 ETF Agent 已经经历多轮真实模型调用、工具执行与内容发布,最后一份投资研究仍停在 partial / research_interrupted,没有交付正常的 HTML 报告。子 Agent 多次拿不到所需输入,部分脚本任务停在解释方法,没有真正完成计算和导出。

如果按照工具调用数评估,会觉得系统一直在努力;如果按照修复的缺陷数评估,又会觉得项目一直在向前。用户要的报告却没有出现。

后来几次验证改变了我们组织 AI 研发工作的方式:不是让每次改动都配上更多检查,而是先确定用户任务缺少哪项实际效果,再选择能证明这项效果的最小实验。

一、先定义任务的“完成”,否则 Bug 可以一直修 ​

早期一种很自然的开发循环是:跑一次真题,找到最后一个错误码,补一个兼容分支或提示词,再跑回归。局部问题往往能这样解决;复杂任务却可能永远在解决“上一个错误”。

研究报告要经过资料读取、计算、撰写、保存和交付。每一段都能产生自己的成功信号,但后一段未必真的消费了前一段的成果。

例如工具已经保存数据,下一轮模型却没有取得使用它的资格;模型提出了完整修订,保存系统却没有接受新版本;报告文件已经生成,浏览器和历史记录仍然无法取回。这时继续调 Prompt,可能根本碰不到真实故障。

对类似任务,我们现在会先写一张最小验收卡。下面是便于理解的教学示意,不是 10 月 14 日原题的逐字要求:

要回答的问题可以确认的事实不能替它代言的事实
数据能否进入研究?合法资料被实际读取,并进入对应模型输入文件曾经下载、工具曾返回成功
计算和文件能否交接?脚本真实执行、产物保存、下载与重开一致模型声称“已生成报告”
用户任务是否完成?原问题所需内容、交付和独立质量要求均满足某个接口绿灯或 Run 正常结束

这张卡不是要求所有功能都做全套验收,而是避免把不同层次的证据混在一起。一次修改先声明它准备改变哪一行,再决定检查范围。能否结案,要回到原始问题,而不是回到最后一个 Bug。

二、93 组已存数据,为什么只有 21 组可见? ​

10 月 14 日那次研究留下了一个尤其重要的反例。我们对工具结果与后继请求中的来源投影做独立只读核对:93 组已存结果,只有 21 组进入可见投影;后续九个数值结果和三个可用目录结果被排除。

这改变了最初的判断。我们不能简单责怪模型“没有用好检索到的数据”:有些内容根本没有取得进入后续请求的有效来源证明。

继续查到原因:Run 累计来源证明错误复用了单次 Publication 的依赖合并器。后者允许八条依赖;前者应支持 64 条依赖、24 KiB。两种不同用途的上限被混用,合法的第九条及后续依赖关系因此可能消失。

正确的修复位置在证明的生产者,而不是让消费端放宽对未知来源或跨 Run 身份的拒绝。定向回归检查了合法依赖的保留、越界拒绝、篡改来源和身份隔离。

这次我们确实完成了一项有价值的归因进展:知道某些合法资料为何没能进入下一次研究,并证明了限定范围内的修复行为。

但原来那次自然研究没有因此自动生成和交付缺失的 HTML。修好了产生证据的环节,不等于重演并完成了原任务。

三、真正走通一段链路,是怎样的证据? ​

10 月 16 日,另一项 Python 专项给出了不同的正例。

真实子 Agent 最初读取错误字段,触发 KeyError;随后改用实际数据中的 nav 字段,完成规定的计算。第一次生成 HTML 又触发 NameError,之后修复字符串拼接并重新导出。

这一次没有停在“测试通过”或“模型说文件写好了”:HTML 通过原分析工作区导出;Host 保存文件类型和内容身份;认证 HTTP 下载取得与存储记录一致的文件;Main 实际使用子任务返回的下载路径,重新打开 History 仍能读到相同文件身份。

另有独立计算核对了合成用例的收益率与回撤。这些观察支持的结论很明确:Python 修错、生成文件和跨角色交接这条专项路径已经实际跑通。

但这不是 10 月 14 日那项自然研究的续跑,更没有证明所有指数组合研究、独立变体、PDF 视觉效果或投资结论质量已经合格。后续自然问题中仍出现过 Python 提议执行前被拒、HTML 导出失败,以及计算成功后丢失来源关系的情况。

两份记录不需要被整理成“先失败、后成功、终于彻底解决”的故事。它们是不同输入、不同范围下分别成立的正例与负例。能够准确说清这个区别,比把报告写得漂亮更重要。

四、现在有了成功率数字,为什么仍算不出研究成功率? ​

到 2026 年 10 月 31 日,我们已经有一组更大、但仍需谨慎解释的真实工程测评基线:原计划 120 次专家研究 Run,其中 59 次已经结束,42 次以 completed 终结,17 次以 failed 终结;在这 59 次中,48 次存在可见且确认保存的正文。其余 61 次尚未运行。

按各自的分母计算,Runtime 正常终态占 42/59 = 71.2%,确认保存正文占 48/59 = 81.4%。这两项都是真实、有意义的工程观察,但都不是金融研究任务成功率。某些失败的 Run 也可能保存合法正文;正常结束的 Run 则可能遗漏必要分析或给出未经核实的结论。

这里最容易犯的错误,不是算错百分比,而是把容易采集的指标改名为真正想知道的结果。

要讨论任务成功,需要回到冻结的题目、必需交付、来源版本和独立质量标准,逐个核对结果。已评、未评和无法判断的样本都要保留,不能因为 59 次有终态,就把它们全部变成语义质量分数。对于这组历史材料,研究任务成功率、关键事实与引用正确率以及修复前后提升幅度,仍然缺少相应的独立评审和可比复验。

这也解释了最近一次合成参考答案工作的边界:即便参考数值经过独立算术核查、原报告读取器得到修复,也不自动产生真实模型答案的质量裁决。参考答案的正确性、评审流程的可用性,以及被测 Agent 的实际表现,是三个不同的问题。

五、怎样把验证花在决定性问题上? ​

我们没有因此规定“每个改动都要重跑一次完整真实研究”。真实模型评测有成本,任务还会受到模型版本、资料时点和权限条件影响;随意重跑未必能得到可比较的结论。

更实用的办法是给 Coding Agent 的每次工作留下三个问题。

这次修改究竟想证明什么? 如果只修合法来源的累计合并,命题可以窄到“第九条合法依赖会保留,越权依赖仍被拒绝”。这样的事实先用确定性回归验证。不要为了多一个绿灯,就声称整份金融报告已经正确交付。

它会影响哪一段真实路径? 如果修改触及脚本结果到文件、历史材料到新模型请求、或报告到前端的必经交接,就在授权和预算允许时增加对应的集成验证。真实材料可以独立读回,才有资格讨论更上一层的完成情况。

什么时候继续,什么时候停止? 发现问题属于哪段责任,就在那段做有界修复;如果证据已经排除这条路径,应停止堆同类补丁。要宣布原任务完成,必须用可比较的原题或已定义的变体取得实际交付,并按原质量要求复核。暂时做不到就记录 partial、失败或 unassessed,而不是无限追加 Prompt 和审查轮次。

这是一种分层但非仪式化的验收:局部代码有局部证明,关键交接有端到端读回,产品主张有真实任务与内容审阅。各层会互相提供线索,却不能互相签发结论。

六、Spec、Evidence、History 和 Skill,怎样减少下一次重复劳动? ​

用 Agent 写代码以后,产出文档同样变得容易。但给每次失败都新建一套 Spec、History 和 Skill,只会让下一位 Agent 花更多时间判断哪份材料仍有效。

我们最后保留的是不同材料各自的用途:Spec 描述准备达到什么行为以及怎样验收;Evidence 固定实际执行的输入版本、结果和失败;History 记录改变过工程判断的转折;Skill 提炼下一次可以复用的操作方法,而不是存放“当前 main 一定怎样”的易过期结论。

这里最值得晋升为长期知识的,不是某次修复通过了几条检查,而是“来源资格丢失时应该先查证明生产者”“报告声称生成后必须实际下载和重开”“参考答案通过不等于被测任务达标”这样的判断。

Spec 与 Evidence 的研发闭环和工程知识的按需维护已有各自的完整机制,本文不另造一份文档体系教程。

七、下一次宣布“研发有进展”之前 ​

回看这些经历,我现在会分别记录三件事。

归因进展是知道问题实际落在哪里,并纠正了此前不可靠的解释;能力进展是某段必要行为在真实或受控条件下有了可核对的正反例;产品进展则是用户原任务获得了满足交付和质量要求的成果。

这三种进展都值得认可,但不能相互替换。特别是不能把开发者手工补齐的报告算成 Agent 自主完成,也不能把旧版本一次失败自动变成新版本的成功。没有匹配的修复前后样本和质量评审,我们也不能推导整体成功率提升或研发成本降低。

这对应原则 8「系统内部成功不等于用户任务成功」,也呼应方法 5「验证与故障归因」。它们真正落地时,不是要求工程师收集更多日志,而是帮助他判断:下一次应该修哪里、花多少钱验证,以及什么证据出现后才值得改变结论。

Coding Agent 降低了实现一个想法的成本。好的研发流程应该把节省下来的能力用在更重要的地方:少修不影响任务的 Bug,少用局部绿灯制造成功感,把最有价值的验证留给用户真正等待的结果。

与个人博客并行:这里按问题连续阅读,博客保留时间线。 · 联系邮箱:hpoenixf@foxmail.com · 微信:hpoenixf0510