一个 Agent 开始好用,是从它敢说「这份资料没拿到」开始的
学习路线
建议下一站: 全景
假设你周五要写一份 ETF 周报:手里有基金说明书,想补一张行情表,也想找基金公司对变化的解释。Agent 找到了新闻,读到了说明书,但行情服务暂时不可用。它该把整份报告判成失败,还是照样给一张看起来完整的表?
我更愿意让它交出一份范围清楚的报告:说明书能支持什么,行情缺了什么,新闻只是线索还是已经核对过原文。下周再打开这份报告,最好还能看到当时用过的资料,而不是不知不觉换成今天搜到的版本。Open ETF Agent 最近几步做的事,可以用这两个要求串起来:缺资料时,缩小结论;资料补齐时,不改写历史。
行情可以是一个选项,但不能是一个猜测
v0.38.0 先把 Wind 做成单独启用的查询:给一只场内 ETF 和一个日期区间,返回交易所未复权日收盘价,不进入默认研究流程。这个名字比「查基金数据」重要。收盘价不是基金净值,也不是总收益。如果周报要求的是含分红再投资的收益,成功拿到一串收盘价也不能算回答了问题。
随后,v0.38.1 预览 才把选择权扩到一组只读工具。普通研究仍不会默认调用 Wind,启用后也只会发现账号兼容的工具。发布记录验证了真实 Wind 筛选结果进入报告并可以重开;工具选择由脚本驱动,不能据此说真实模型已经能可靠地自主选工具。两步的区别是:先确认一种数据拿到后代表什么,再讨论模型能不能自己挑对工具。
把所有工具默认打开也是个合理方案,特别是任务本来就离不开完整数据时。代价是每次请求都受账户、供应商和网络共同约束。把可选来源拿掉仍能完成的任务,不必付这个代价;但如果问题的核心是「比较两只 ETF 这周的真实收益」,没有相应数据,就该说不能比较,而不是把「可选」理解成可省略证据。
能重开报告,才知道哪里不能偷偷变
v0.39.0 把这个边界搬进了本地浏览器。预览用两份合成 ETF 资料,展示从提问、保存报告,到打开引用原文、复制或导出 Markdown 的一条路。它只监听本机,不是面向外网的发布,也不需要 Wind 账号。
一个有意思的测试是:服务端收到了问题,浏览器却没收到提交确认。这时点重试,如果客户端用新的消息 ID 直接再发一次,就可能把同一件工作跑成两次。这个预览会保留未确认的原提交;重试继续使用原来的消息标识和载荷,而不是拿输入框里的新草稿重新下单。草稿是「我下一步可能想问什么」,已发送的问题和保存的报告是「这次运行实际做了什么」。页面把两者分开,读者才有机会核对历史。
用 Node.js 26.8.1–26.x,在 v0.39.0 仓库目录就能试,不必启用在线服务:
npm ci --ignore-scripts --no-audit --no-fund
npm run gui -- --project ./test-output/local-gui --port 4179打开命令给出的本机地址,用示例资料生成一份报告,再用相同项目目录和端口重启,看看历史里是否能找到同一份正文和来源。比起「页面上曾经出现过答案」,这是一个更有区分度的验收动作。
外部来源失败后,能交付什么要看问题本身
0.40 的候选工作把部署操作单独整理出来,不等于发了一个公共版本。再往前的 0.41 网页候选 把网页问答、可选 Wind 和网页检索接在一起,也在验证同一会话追问和 PDF。它目前不是正式发布版,能报告的是固定候选实测过的路径。
一次候选环境实测中,Wind 和网页搜索都已返回,但一个站点的抓取策略阻止了原文读取,整次运行没有交出正文。修正之后,用一条独立的 IANA 公开资料问题复测:搜索成功、两份原文可读,另一处页面不可用;最后交付的正文引用了读到的来源,也明说了一处没取到。这说明可选原文失败不必抹掉已经验证的部分,不说明系统可以用其他页面顶替用户指定的那一页。浏览器里提交 PDF 再回读的端到端验收还没有完成,也不能拿已有 PDF 模块或本地测试代替。
同一会话的追问也有一个实测:问「我上一条消息给过哪两个网址」,模型不联网就能复述两条原文。这里的边界是只带近期的同会话问答;带 PDF 的轮次不会把附件内容带进之后的普通搜索。能接着问和随手暴露全部历史,不是一回事。
这和 Google SRE 的降级响应 有点像:依赖不足时,优先交付范围更小的结果。研究 Agent 多一道约束:少一份材料,有时只会少一个旁证,有时却足以让结论不成立。是否继续,取决于有没有足够的证据回答用户真正问的那部分,不取决于有几个工具返回成功。
如果要给自己的 Agent 加一条验收,我会这么测:让一个可选来源真的失败,检查正文有没有收窄结论并注明缺口;再重开这次运行,核对报告、来源和原问题是否仍对得上。最后把失败换成一份不可缺的原文,确保系统不会照样给出同一个结论。这比增加一个工具、点亮一个进度条,更能说明它可以交给别人用。