国产模型 API 聚合:DeepSeek、GLM、Kimi、MiniMax 混着用,省钱在调度不在单价
国产线这两年有个明显变化:模型之间的能力差在缩小,价格和延迟的差反而拉开了。分类抽取这种活,用旗舰推理模型跑是纯浪费;反过来真要啃几十页材料,快速档的输出又不够用。所以现在更值得花时间的不是挨个比价,是设计一条降级链。
一条能直接用的降级链
请求进来
│
├─ 轻量档(分类 / 抽取 / 格式化 / 意图识别)
│ glm-5.3-flash / deepseek-v4-flash-0731
│ → 置信度够,直接返回
│
├─ 通用档(常规问答 / 摘要 / 代码补全)
│ deepseek-v4 / minimax-h3
│
└─ 加强档(长材料 / 复杂推理 / 低置信度升级)
deepseek-v4-pro-0813 / kimi-k3
关键是「升级」要有触发条件,不能凭感觉。我们用的几个:输出 JSON 校验失败、置信度低于阈值、输入 token 超过某个量级、用户手动点了「再想想」。没有触发条件的降级链,最后都会退化成「默认全用最贵那档」。
实现上把型号写成配置,业务代码只传档位:
TIERS = {
"light": "glm-5.3-flash",
"normal": "deepseek-v4",
"heavy": "kimi-k3",
}
def complete(prompt, tier="light", **kw):
r = client.chat.completions.create(
model=TIERS[tier],
messages=[{"role": "user", "content": prompt}],
**kw,
)
return r
换模型只改字典,不动业务。做 A/B 时也方便,同一批样本在两个 ID 上各跑一遍,把质量、耗时、单条消耗记在同一张表里。
缓存和峰谷,比折扣更影响账单
国产模型这边有两项常被忽略的成本杠杆。
缓存命中。 大量业务存在重复前缀:固定的 system prompt、产品说明、工具 schema、常见文档片段。命中缓存的单价通常远低于正常调用。设计提示词时把稳定不变的内容放前面、变化的内容放后面,命中率能明显上去。反过来,把时间戳、随机 ID 塞在 system prompt 开头,等于主动把缓存打散。
验证方法:冷热各跑十次,看后台有没有把缓存字段单列出来,以及冷热调用的扣费是不是真有差别。只报告命中、不按缓存价结算的平台,这项优化等于白做。
峰谷计价。 部分模型按官方峰谷价格透传,低谷时段便宜。离线批处理、数据清洗、批量摘要这类不急的任务,挪到夜间跑就行,代码一行不用改。
接聚合平台,还是分别接官方
只用一个模型、量又稳定,官方 API 最省心:文档明确、责任清楚、版本更新及时。
一旦同时用三家以上,或者需要在一个后台看谁花了多少钱,聚合层的价值就出来了:一套 OpenAI 兼容接口、一把 Key、统一日志和账单、型号随便切。这也是 2026 年不少团队把国产线和海外线收进同一个网关的原因 —— 不是因为便宜,是因为维护成本。
挑这类平台,我盯三样:
- 型号是不是真在一个池子里(有的站把国产线和海外线拆成不同分组、不同 Key,名义聚合,用起来还是两套)。
- 后台能不能把输入 / 输出 / 缓存分项导出,按项目和 Key 过滤。
- 同一型号有没有备用通道,某条线路挂了能否自动切。
海外型号做兜底,别做默认
有些任务国产线确实吃力,比如特定语种的复杂推理、某些工具调用习惯、和海外生态工具的配合。稳妥的做法是把这类样本单独标记,升级到 gpt-6.1-sol、claude-sonnet-5-5 这一档,而不是把海外型号设成全局默认。
我们目前把国产几条线和 GPT、Claude、Gemini、Grok 放在 token173.net 同一个 Key 下面,就是为了方便做这种跨家族升级:链路、鉴权、日志格式都一样,升级只是换个字符串,账单还归在一处。控制台列表里 deepseek-v4-pro-0813、glm-5.3-flash、kimi-k3、minimax-h3 这些 ID 直接可选,不用另开账号。
几个实测才发现的细节
deepseek-v4-flash-0731、deepseek-v4-pro-0813这类带日期后缀的 ID,手打极易错,从/v1/models复制。- 同一家族的快速档和加强档,工具调用支持程度可能不同,Agent 场景要单独测。
- 长上下文任务的
finish_reason: "length"比例偏高时,先查max_tokens设置,别急着换模型。 - 模型更新快,别把 ID 写死在团队文档里;部署脚本里加一次 ID 存在性校验,下架能早发现。
- 价格、倍率、峰谷时段会调,以价格页当前公示为准。
收尾
把成本降下来最有效的一步,通常不是谈到更低的折扣,是让便宜模型真的承担了大部分请求。分档、缓存、峰谷、升级触发条件,这四件事做完,再回头看要不要换平台,结论往往已经不一样了。