Skip to content
文章目录
GitHub Star
证据、标签与源码

模型返回了 HTTP 200,为什么下一次请求还得排队?Provider 容量准入的租约与未知占用 ​

同一时间,主研究正在请求模型,两个 Child 在并行分析,另一进程准备给报告做质量复核。每个进程都认为自己的模型调用“没有超过并发上限”,但它们可能通过同一个外部端点争用同一份容量。

更令人困惑的情况发生在请求结束时:服务端已经收到 HTTP 200 和若干流片段,页面也可能开始渲染文字,下一次请求却仍在排队。是限流器没有释放许可,还是我们根本无法证明上一次远端调用已经结束?

ETF Agent 的 Provider 容量准入负责的正是这个窄问题:在同一受管协调域内,一次真实供应商调用能否取得当前容量,以及何时有依据释放或隔离这份占用。 它不负责模型选型、研究结论、Run 总预算,也不负责重试整个任务。

一、先把“用了哪个模型”和“占了哪个资源组”分开 ​

假设两种模型通过同一个服务端代理端点访问。用模型名字当作并发桶的键,会给同一外部资源创建两份看似互不相干的许可。换一个 Profile 或启动另一个 Worker,更不应该把已有占用清零。

当前能力边界分成四层:

Owner负责的事实不负责的事
模型目录与路由配置模型 ID、Provider Profile、协议及确定的路由身份不因为登记模型就签发调用许可
模型调用与请求配置本次请求绑定、最终协议表达、物理派发与响应不为每个模型私建一份跨进程容量
Provider 容量准入同一容量组的排队、Lease、冷却及释放/隔离不扣 Run 总预算,不决定研究完成
Run 资源管理原 Run 的请求与动作额度、耗用及 unknown不把自己的一次准入当成供应商已释放连接

Provider 容量准入从服务端配置的规范化端点划分容量组。它提供的是协调域内部的共享上限,不声称发现供应商账号的真实全球额度。不同部署环境如果实际共享外部账号,还可能在厂商侧相互竞争;必须明确配置协调范围,不能把本地 K 冒充供应商 SLA。

二、为什么协调状态要跨进程持久保存 ​

单进程信号量的实现很容易:并发数减一,完成后加一。但 API 服务、后台 Runner、Judge 和评测工具一旦在多个进程中共用端点,各自持有的计数就不再代表整体。

当前受管路径要求同一环境中的调用者使用统一 PostgreSQL Provider Control 存储。它与对话/应用业务库分开,持有队列、租约、容量组代际和冷却状态。失去控制库不能临时回退到进程内存,因为这种降级会把看不见的旧占用当成零,恰恰在协调失败时扩大风险。

这里的短事务仅锁住一次容量状态转换。数据库提交以后才开始真正的网络请求,不把一次长达数十秒的流式生成包在数据库事务里。这既保留跨进程原子准入,也避免让慢模型堵死控制表的锁。

三、排队等待与模型执行是两块不同的时钟 ​

一次请求会先经过 Queue,再取得 Lease。原请求仍需携带可信 scopeId、runId、requestDebitId 和必要的原 owner fence,Provider 容量准入用它们防止同一个原 debit 再占一份并行许可,但不能替原 Run 生成一笔新预算。

等候可能是因为组已满,也可能是因为故障冷却。排队占用真实墙钟时间,但不把等待供应商许可的时间误算成模型已经执行了多久。取得许可之后,Host 在最终网络派发前仍要重新检查当前授权、原执行生命期、取消与 Deadline:排队前有权限,不代表发送当刻仍合法。

下面这条图把“队列、最终派发和释放”分开,也把无法确认结果的支路保留下来。

按起点分组阅读关系与条件;完整图保留在下方。

带原 Run 身份的模型请求
  • → A30 按端点进入共享容量组
A30 按端点进入共享容量组
  • → 容量与冷却允许? (判断)
容量与冷却允许? (判断)
  • 否 → 有界排队或明确拒绝
  • 是 → 取得带截止时间的 Lease
有界排队或明确拒绝
  • → 容量与冷却允许? (判断)
取得带截止时间的 Lease
  • → 原权限和调用 Fence 仍合法? (判断)
原权限和调用 Fence 仍合法? (判断)
  • 否 → 无网络派发,释放已证实的占用
  • 是 → 实际向 Provider 发送
实际向 Provider 发送
  • → 协议结束已确认? (判断)
协议结束已确认? (判断)
  • 是 → 记录传输结果并释放容量
  • 否 → Unknown:隔离租约占用
记录传输结果并释放容量
  • → 由原 Run 解释研究和正文
Unknown:隔离租约占用
  • → 由原 Run 解释研究和正文
完整关系图 · 可放大查看细节
下面这条图把“队列、最终派发和释放”分开,也把无法确认结果的支路保留下来。
Agent architecture diagram 放大查看完整图 / Open full-size SVG

图中队列满或等候超期会直接拒绝,并不无限回到 C;这是一个状态路径示意,不是允许无边界轮询的算法。原实现有有界队列、轮询间隔、租约续期与失效检测。试点默认例如单组并发 3、队列 32、租约 60 秒:它们属于 Host 可配置工程政策,不是对供应商可用性的测量结论。

四、HTTP 200 与流式终止之间还有一个重要缺口 ​

HTTP 200 表示本次 HTTP 响应开始正常。它不能证明模型的完整输出事件已经结束,更不能证明消费者已经处理全部内容。

以流式模型请求为例,至少有四个独立事实:

观察容量准入能如何使用不能据此推断
HTTP 200 和若干 token 片段已派发并收到部分传输信息供应商执行已完成
协议可确认的完成终止事件按原结束合同释放租约用户满意或正文已经发布
用户取消、客户端停止读取,未确认远端结束结束本地等待,保留未知占用的隔离保护厂商不再执行或成本为零
Provider Control 事务 ACK 不明只沿原 Ticket/Lease 尝试对账新申请一个许可来“补偿”

这解释了为什么一个看似“成功返回”的模型请求仍会影响后来的排队。容量槽位属于可能持续的真实外部执行,不属于页面上的 Loading 图标。只有证明安全终止或到达受保护的回收界限,才能释放占用。当前实现把未确认远端停止的请求留到原派发执行截止时间之后的有界隔离窗口,而不是租约心跳丢失时立刻复用位置。

五、Lease、续期和代际在保护什么 ​

一个 Lease 既有持有者,也有可验证的续期和截止时间。Worker 如果因调度停顿没有及时续租,无法把“我恢复运行了”当作旧许可自动有效;原请求的硬截止时间始终优先于续期策略。

故障冷却是一种共享的派发协调政策,而不是给供应商永久贴上坏标签。临时失败达到有界阈值时,组可以进入冷却;之后由有限的半开探针判断能否恢复。代际把新一轮许可与上一轮尚未回收的未知占用隔开,避免旧完成回执误释放新代际的位置。

一个真实工程背景是,曾观察到请求收到 HTTP 200 与流片段后,约三十余秒的调度间歇又伴随租约中断和研究过期。这提示需要考虑共享调度/存储抖动,因此后来把 Provider 的正常续租默认 TTL 调到 60 秒。但这只能说明防护政策变更的动机,不能倒推原故障的根因已被证明,也不能宣称修改后真实研究全部成功。

六、取消、重试和容量释放为什么不能被一个布尔值表示 ​

假设用户关闭页面,模型流尚未确认结束。系统必须响应取消,但同时要避免立即把外部容量借给下一个请求。如果某次传输已得到合法协议完成,则可以按原合同释放;如果只是消费者断开,结算通常保持 unknown/隔离。

Provider Admission 的 release 还需要区分传输完成、暂态失败与不能证明的外部执行。释放事务的 ACK 如果丢了,重试沿同一个原 Ticket、同一份 Outcome 进行有界补偿,不能借失败又申请一次新的容量并假造完整释放。

这也保护了上游预算。原 requestDebitId 不因 Provider Queue 排队、租约更新或历史回读发生第二次扣账;新的合法物理重试仍需由原请求/恢复 Owner 决定。Provider 容量准入可以拒绝新的容量申请,却不拥有“本次研究没有完成、请无限重跑”的权限。

从两个进程、一个位置开始理解共享准入 ​

完整服务需要处理的协调范围很大,但最小问题可以更小:两个进程使用同一条模型路由,为什么不能各自认为那个空位属于自己?Open ETF Agent 的 v0.17 固定源码快照把这个问题收敛为一个本地 SQLite 容量组、一个位置,以及原 Runtime 的一次模型请求。

原 Runtime 仍负责扣除请求额度,准入层只接收这次预留的 Run、序号、fence 和输入身份。排到位置之后才调用原 Gateway;如果数据库不可用,不改走一个没有协调的备用入口。这样既避免两个进程各数各的,也避免为了排队再扣一次预算。

读者可以在该固定提交的新目录中按 README 安装依赖,运行已有的双进程场景:

sh
node --test --test-concurrency=1 --test-name-pattern='^two original Gateway workers share one slot; settled original ticket survives acknowledgement loss$' test/admission.test.mjs

它使用本地合成传输,不调用付费模型。观察重点不是“两个请求都完成”这个总结果,而是第二个进程在什么事实成立后才能派发,以及完成确认丢失后能否沿原票据读回、而不新建一次请求。

这个版本刻意没有照搬前文完整服务的全部政策。它不实现 PostgreSQL、多容量组公平调度、冷却或故障切换;未知占用也不会因为 TTL 到期就自动释放。预算库和容量库不是一个跨库事务,可能保留已扣预算但没有票据的事实,不能靠退款或自动重试抹平不确定性。源码入口是准入模块与原范围说明;本地安全验证不等于真实测评达标,也不等于 main、标签或正式 Release 已发布。

普通交接与未知占位可以分别运行同版说明中的两个无模型示例:

sh
node src/admission-demo.mjs normal output/admission-demo
node src/admission-demo.mjs unknown output/admission-demo

每次运行会建立隔离的合成目录。前者让第二个进程等待原槽位释放,后者保留未知占位并取消排队者;不要删除未知票据来制造空闲容量。它们仍是本地双进程安全实验。 场景与原票据读回见独立无模型回执。

另一个独立问题是:接入真实模型后,原准入、工具结果、Publication 与报告读取还能否接成一条链?本轮固定真实任务记录覆盖这条正常路径,报告再由不调用模型的冷 Reader 校对原字节。环境中断的任务仍保留未知结果和原容量占位;后续任务在隔离的新容量组完成,并不证明旧组已经恢复,也不能据此声称跨组全局容量协调或真实并发竞争已经验证。这里最重要的区别是:后续任务完成,不等于先前未知占用可以释放。

较早的真实调用记录仍按原批次保留,不并入本轮结果。无模型双进程实验解释排队、unknown 与取消的安全边界;顺序真实调用解释正常交付链,两者都不证明金融研究质量。

更换模型配置以后,仍是同一份项目容量 ​

Open ETF Agent v0.24.0进一步处理了配置修订:同一个新格式项目中,只要规范化端点相同,更换模型、流式选项或凭据环境变量别名就不会意外得到第二个容量位置。按固定版本手册准备项目后,node src/research-cli.mjs capacity inspect --project DIR --run RUN_ID 可以只读原票据与容量归属,不调用模型,也不结算 unknown。旧任务保留原配置;缺失容量状态时拒绝执行,而不是创建空库冒充没有占用。

同版验证入口把真实模型顺序执行与合成传输下的跨进程竞争分开记录。容量范围仍是一个项目、一个规范化端点和一个本地位置,不是账号级或分布式限流。正常交付也不保证引用语义正确:其中一份已保存报告把导入材料的引文指向导出来源,最终回答披露了错误,但没有重存修正后的报告。原报告与这个缺口都保留,不能用交付成功替代内容核对。

七、当前实现到了哪里,下一步应该验证什么 ​

截至 2026 年 10 月 24 日,完整 ETF Agent 系统的主干(并非 open-etf-agent 公开仓库)包含基于 PostgreSQL 的共享 Provider Admission、按端点分组、有界队列和租约、冷却/半开、最终派发前的原权限 guard、流式协议结束观察和 unknown 隔离。受管 API、后台研究、自检/评审等在同一配置的协调域共享这条准入边界;人工伪造的本地测试协调器不作为生产回退。

相关受控验证证明若干精确事务、控制库连接故障与恢复处理行为,但不能把一个测试环境里的参数升级为供应商承诺,也没有给出真实生产长期吞吐量或延迟 SLA。新的模型目录能力、用户额度产品、实际投资研究价值同样需要独立证据。

我们的目标不是让所有模型调用永远不排队,而是让排队能够解释:为什么尚未获准派发、哪条请求还持有位置、何时可安全释放,以及什么时候必须承认远端执行未知。


延伸阅读 ​

Provider 统一接口与路由身份讲模型目录、模型调用和总体架构,Run 预算与约束治理区分 Run 资源管理的任务额度;故障切换与原任务身份讨论重试为什么仍需原 Run 批准。

更多模块机制见 ETF Agent Engineering Notes。欢迎 Star。

与个人博客并行:这里按问题连续阅读,博客保留时间线。 · 联系邮箱:hpoenixf@foxmail.com · 微信:hpoenixf0510