第三方 API 巨模平台:一个 Key 调多家模型,省下来的到底是什么
自己接过三家以上模型厂商的接口,就会明白「一个 Key」不是营销话术,是实打实少写一堆代码。
没有聚合层的时候是什么样
一个不算复杂的项目:客服问答用便宜模型做意图分类,复杂工单交给强推理模型,商品图交给生图模型,短视频素材交给视频模型,偶尔还要用长上下文模型啃一份几十页的文档。
直连各家要处理的东西:
- 鉴权不统一。OpenAI 系走
Authorization: Bearer,Anthropic 系走x-api-key,Gemini 又是另一套x-goog-api-key加:generateContent路径。 - 请求体不一样。
messages、system的位置、tools的结构、max_tokens和max_completion_tokens的命名,每家都有自己的脾气。 - 流式格式不一样。SSE 的事件名、增量字段、usage 是最后单独回一帧还是嵌在 chunk 里,得分别写解析器。
- 错误码不一样。同样是限流,有的 429,有的 503,有的 200 里塞一个 error 对象。
- 计费口径不一样。输入输出分不分、缓存算不算、按次还是按 token、币种和结算周期。
把这些全封装一遍,代码能跑,但每加一家模型就要动一层。更麻烦的是运维:密钥散在五个地方,出问题时不知道是哪个上游,成本按部门根本归不下来。
聚合层实际做了四件事
一次请求进去,中间层依次处理:
鉴权——把外部这一把 Key 换成内部的身份、额度、权限判断,上游真实密钥不下发。 协议适配——统一成一种对外格式,请求转给不同上游时再翻译回去,Claude Messages、Gemini 原生格式、图像和视频的异步任务都收进同一套入口。 调度——同型号多通道时按延迟、成功率、剩余配额选路;某条线路错误率超阈值就先摘掉,恢复了再慢慢放回流量。 计量——请求回来以后异步记账:输入、输出、缓存、命中模型、走了哪条通道、扣了多少。月底那张能导出的明细表,就是这一步攒出来的。
四件事里,前两件自己搭开源网关也能做个七八成,真正拉开差距的是后两件。
一个 Key 落到代码里长这样
from openai import OpenAI
client = OpenAI(
api_key="sk-你的令牌",
base_url="https://token173.net/v1",
)
# 同一个 client,换 model 就是换厂商
for model, task in [
("gpt-6.1-sol", "把这段日志归成三类并说明理由"),
("claude-sonnet-5-5", "审查这个 diff,指出边界条件问题"),
("gemini-3.8-flash", "描述这张图里的表格结构"),
]:
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": task}],
)
print(model, "->", r.choices[0].message.content[:80])
模型名是唯一的开关。鉴权、路由、日志、重试都在同一层,业务代码不需要知道后面接的是谁。
图像和视频模型通常走另一套端点(/v1/images/generations 之类,视频多为异步提交 + 轮询),但 Key 和后台还是同一个,账单也归在一处。
挑这类平台,我盯三件事
型号是不是真在一个池子里。 有些站把不同家族拆成不同分组、不同倍率、不同 Key,名义上聚合,用起来还是三套。控制台里能不能一个 Key 切遍文本、图像、视频,是很容易验的。
协议兼容有没有偷工。 重点测三处:流式输出完不完整、工具调用能不能透传、超长上下文会不会被悄悄截断。这三处是「看起来都能用、上线才发现不对」的高发区。
后台颗粒度。 能不能按 Key、按项目、按模型导出明细,usage 字段拆不拆得开,失败请求和重试怎么计。查不到明细的聚合,等于把五本糊涂账合成了一本大糊涂账。
一条多模态流水线的实际样子
上半年做的那条链是:文本模型扩写分镜 → gpt-image-2 出概念图 → doubao-seedance-2-0-fast-260128 生成素材 → 轻量模型批量写标题。四步,四个模型 ID,一次接入。
收口之后配置长这样:
export OPENAI_BASE_URL="https://token173.net/v1"
export OPENAI_API_KEY="sk-你的令牌"
四步共用这一对值,代码里只换 model。Token173 的控制台把文本、图像、视频型号按家族列在同一个 Key 下,这一步省掉的不是几行代码,是三套账号、三份账单和三种错误码。月底导出调用记录时,能按 workflow_id 把四步串起来对账,哪一步最贵一目了然。
真正让我留下来的其实不是「型号多」,是前面说的后两道工序:某次生图通道波动,调度把请求切走了,业务侧只看到一次稍慢的响应;以及每条请求能拿到完整 usage,那次账单异常五分钟就定位到是自己的重试。鉴权和协议转换,自己搭个开源网关也能做个七八成,调度和计量才是分水岭。
它同样是托管服务,prompt 和上传的参考图会经过第三方服务器,未发布的产品图、客户素材不往这条链上放。型号 ID 上下架很频繁,部署脚本里我加了一次 /v1/models 校验,比人工核对省事。
一句实在话
聚合层的价值不在「便宜」,在把复杂度收敛到一个可管的地方。真到了团队规模,省下的不是那几毛钱差价,是排查故障时不用翻五套日志、财务问钱花在哪儿时能拉出一张表。
调度层到底在做什么
同型号挂多条上游线路时,调度器一般按四个量打分:当前延迟、近期成功率、剩余配额、历史稳定性。某条通道错误率超过阈值,新请求先绕开;恢复了再慢慢把流量加回去,不是一把切回满负荷——后者容易把刚恢复的通道再打挂。
落到日志里,就是一行 route=channel_b, score=0.91 之类的记录。看得到这行,出问题时才知道该问「这条通道怎么了」;看不到,就只能得到「上游波动」四个字。
流式输出还有一层缓冲策略:把上游细碎的 SSE chunk 合并成稍大的再推给客户端,减少网络开销。合并得太粗,打字机效果会显得一顿一顿。有些平台后台能按业务类型调,这个开关在对话产品里挺值钱。
计量层为什么值得单独挑
一次请求回来、响应送达,事情没完。异步侧还有一条计费任务,把输入 token、输出 token、命中模型、通道、扣费写进明细。月底那张能导出的表,就是这一步攒出来的。
最容易被跳过的是上下文缓存那一栏。系统提示词很长的业务,命中部分按折扣价、未命中按原价,这一栏不单列,财务根本算不清账合不合理。审计日志还能按 Key、按项目过滤,谁在刷量、哪个模型在烧钱,一拉就出来。
自己埋点统计的 token 数和平台账单逐日对一次,正常偏差通常在百分之一量级,主要差在重试请求和缓存口径上。能对到这个精度,成本核算才做得下去;只能看到一个总余额,规模一大就必然失控。