AI Agent 工作流里的多模型调度:为什么最后都会收进一个网关
一个典型的工作流:用户提问 → 意图分类 → 检索 → 长文分析 → 工具调用 → 结果校验 → 生成回复 → 成本核算。八步里可能用到四五个模型,还要在失败时降级、在超预算时切便宜档。
如果每一步直连不同厂商,你要维护的是五套鉴权、五套请求格式、五套错误码、五套流式解析、五本账单。跑通一次不难,跑一周就乱了。
网关层要接住的四件事
统一协议。 对外只暴露一套 OpenAI 兼容接口,内部翻译成 Anthropic Messages、Gemini 原生、图像和视频的异步任务。业务代码只认一个 model 字符串。
统一身份与额度。 一把外部 Key 对应内部身份、项目、预算;上游真实密钥不下发,泄露了能单独停用,不用轮换所有厂商的凭据。
统一调度。 同型号多通道按延迟、成功率、剩余配额选路;某条线路错误率超阈值先摘掉,恢复后慢慢放回流量。失败重试要有上限和退避,别把雪崩放大。
统一计量。 每条请求记下输入、输出、缓存、命中模型、通道、扣费,按 request_id 串起来。没有这一层,工作流一复杂就完全说不清钱花在哪一步。
路由策略别只看价格
常见三种模式:
| 策略 | 做法 | 风险 |
|---|---|---|
| 成本优先 | 默认便宜档,低置信度再升级 | 触发条件没设计好会退化成全用便宜档,质量不稳 |
| 性能优先 | 选当前延迟最低的通道 | 高峰期可能在多条通道间反复跳,丢上下文缓存 |
| 稳定优先 | 固定主力通道,异常才切 | 成本略高,但长任务和 Agent 更可控 |
长会话 Agent 我倾向稳定优先,或者至少加会话粘性 —— 同一会话 30 分钟内固定模型和通道。中途换模型带来的不只是缓存失效,还有风格漂移:前面定好的输出格式,换条线路之后突然不遵守了。这类问题极难复现,日志里看每一步都成功。
一个能落地的分层结构
用户请求
│
├─ router(按任务类型 / 输入长度 / 预算选档)
│
├─ light 分类、抽取、格式化 → glm-5.3-flash / claude-haiku-5-5
├─ normal 常规推理、工具编排 → gpt-5.6-terra / deepseek-v4
├─ heavy 长材料、复杂规划 → claude-opus-5-5 / gpt-6.1-sol / kimi-k3
└─ vision 图像、视频 → gemini-3.8-flash / gpt-image-2 / doubao-seedance-2-0-fast-260128
│
├─ 校验:JSON schema / 置信度 / finish_reason
│ └─ 不通过 → 升一档,最多两次
│
└─ 记账:request_id + 模型 + 通道 + usage + 步骤标签
关键在校验和升档上限。没有校验,降级链就是摆设;没有上限,一个异常样本能把预算烧穿。
代码层面把路由表放配置里,业务只传 tier 和 task_type。模型上下架时改配置,不动代码。
记账要按「步骤」打标签
Agent 的成本复盘和普通应用不一样。月底看「这个月花了 X 元」没用,得能回答「哪一步最贵」「哪类任务升档最频繁」「哪个模型的 finish_reason: length 比例最高」。
所以每条请求除了平台给的 usage,业务侧还要自己打几个标签:workflow_id、step、tier、retry_count、escalated。这些字段平台不会替你记,得在封装层加。
选平台时,我优先看它能不能按 Key 和模型把明细导出来,以及有没有 request_id 能和我自己的 workflow_id 对上。这两样齐了,上面那张复盘表才做得出来。目前这类工作流跑在 token173.net 上,主要图的是文本和视觉型号都在一个 Key 下、调用记录能按请求查,路由表里的 ID 不用分散到几个账号去维护。
兜底比选得准更重要
工作流跑得越久,越会遇到上游波动。几件提前做好的事:
- 主力之外留备用通道,配置写环境变量,健康检查失败自动切;
- 超时按步骤类型分开:分类 10 秒、长分析 120 秒,别用同一个值;
- 重试上限 1~2 次,指数退避;流式请求断连带已生成文本续写,别全量重发;
- 上游全挂时返回明确提示或缓存兜底,别让 Agent 卡在某一步空转;
- 每一步的失败原因完整落日志,含原始错误码,不要只记「调用失败」。
最后一条在复盘时最值钱。很多「模型变笨了」的报告,翻日志看其实是重试把请求送到了另一条通道。
数据边界
Agent 会自动读取文件、调工具、拼接上下文,很容易把不该外发的内容一并塞进 prompt。托管网关意味着这些全部经过第三方服务器。客户资料、合同、私有源码、个人信息,在封装层做一道过滤或脱敏,别指望使用时人工记得住。
收尾
多模型调度的难点从来不是「能不能调到」,是「出问题时能不能说清楚」:这一步走的哪个模型、哪条通道、为什么升档、重试了几次、花了多少。把统一入口和按步骤记账先搭好,再谈路由策略优化,顺序反了会一直在救火。