API 中转站 Token 扣费对不上:从一条 request_id 开始,四类原因按顺序排查
去年年底我们有个批量摘要的任务,月底对账发现比预估高了三成多。群里第一反应是平台偷量,有人已经准备换站了。后来花了大概二十分钟,把一条样本请求从客户端到上游捋了一遍,问题出在自己这边的重试逻辑上。钱不多,但这事之后我们把排查顺序固定下来了,后来又用过好几次。
先说结论:扣费对不上,八成不是「有人改数字」。按正常消耗被漏算 → 协议口径不一致 → 技术性漏记或多记 → 真的有人动手脚,这个顺序走,别一上来就怀疑平台。跳步只会把简单问题复杂化。
第 0 分钟:别看汇总账单
汇总页是最没用的东西。它把几百次请求的差异平均掉了,看不出任何模式。
第一步永远是从用量明细里锁定一条请求,记下四样:
- request_id(或者日志里能唯一定位的标识)
- 时间,精确到秒
- 模型名和分组
- 后台显示的扣费金额
我那次是在 token173.net 的调用日志里挑的样本 —— 那个后台把每条请求的 usage 单独展开,能直接把 prompt_tokens、completion_tokens 和缓存字段拷出来。这一步其实就筛掉了一批平台:如果面板只给「本次消耗 0.37」,连原始字段都不给,后面四步根本没法做,只能靠猜。选型时把「能不能导出请求级 usage」放在价格前面,理由就在这儿。
第 1 类:不是扣错了,是计费范围比你想的大
最常见的一类。你以为计费的是「我打的那句话」,实际输入侧至少还包括:
- 系统提示词,以及网关层可能注入的角色指令、格式约束
- 多轮对话携带的全部历史,
messages数组是每轮整包发过去的 - JSON 结构符号、换行、空格
- 图片 base64 编码后的膨胀(大约多三分之一)
- 工具调用的 schema 定义,复杂 Agent 里这一块能占几千 token
- RAG 场景塞进来的检索片段
输出侧也容易被低估。推理模型的内部思考 token 前端不显示,账单照算;多轮越聊越长,消耗是累积的,不是每轮独立。
5 秒判断:把那条请求完整发给模型的 messages 原样拿出来序列化,别只看你自己写的那一句。带上 system 和历史之后本地重算,差距明显缩小就结束了。
我们那次的差异有一半来自这里 —— 摘要任务每条都带了一段两千字的产品说明当 system prompt,估成本时完全忘了算它。
第 2 类:协议口径不一致,两边都没错
这一层最隐蔽,因为双方数据都是对的,只是说的不是同一个「输入」。
Anthropic 的 /v1/messages 里,input_tokens 只统计未命中缓存的新增输入;OpenAI 的 prompt_tokens 是本次请求的总输入(含缓存)。聚合网关同时对接两种协议时,统计面板上的 token 数就可能一边偏少、一边「对得上」,而实际计费没问题。
流式请求还多一层:usage 要等完整输出结束才返回最终统计。网络中途断开,有的平台只对已生成部分计费,有的预扣全额再退,还有的干脆记 0。同一个断开动作,三种账面表现。
5 秒判断:不要比「总 token」。把 prompt_tokens、completion_tokens、cache_read_tokens(或对应字段)拆开,逐项对网关面板和上游返回的 usage。差距集中在缓存字段,基本是口径问题。
顺带一个能立刻做的检查:冷调用和热调用各跑十次,看扣费是不是真有差别。有些面板报告了缓存命中,冷热却扣一样的钱 —— 那这个字段只是展示,没进结算。这属于该换平台的信号,不是继续调参数的问题。
第 3 类:网关 bug 造成的漏记或多记
开源网关的 issue 区里能翻到真实案例,两类方向相反:
一类是流式解析在 message_start 阶段上游已经上报了输出 token,代码却只从后续 message_delta 读取;流在 delta 之前结束,已观测到的输出用量被记成 0,漏计费。
另一类是客户端断连后 scanner 提前停止读取上游,上游其实已经完整生成并全额计费,网关侧没读到最后的 usage 事件,账单记录偏低或缺失。
2026 年这类问题在 New API、Sub2API 一系的二开项目里被反复提过,不算新鲜事。
5 秒判断:查日志里流式请求的 end_reason。如果大量出现 client_gone、timeout、EOF,而你又开了自动重试,先别怀疑中转 —— 先确认是不是自己的客户端在中断后反复发新请求,而中断前那一笔的输出已经被上游计费了。
我们那次剩下的差异就在这儿:读超时 30 秒,长摘要超时断开,重试发了第二次,两次都完整生成、都计了费。改读超时、给重试设上限之后,第二周账单就回到预估区间了。
第 4 类:确实有人在数字上做手脚
排完前三类还系统性对不上,才轮到这一层。
直接改 usage 数值是最低级的。更常见的是压低缓存命中率 —— 少命中一成,有效成本就上去了,而 token 总数看着完全正常,用「号池波动、轮询切换」就能解释过去。还有注入无用提示词抬高输入消耗的,账单上几乎看不出来。行业调查里也提过月卡、日卡不标 token 额度,请求次数和 token 分开算,实际扣减远高于真实调用量。
5 秒判断:找一条短 prompt,用本地 tokenizer(tiktoken 之类)对完整输入预计算,和账单里的 prompt_tokens 比。接近就没灌水;显著高出本地结果,才往这个方向查。注意本地估算本身有误差(工具 schema、图片、模型专属分词规则),看的是差距量级,不是完全一致。
5 分钟排查顺序,别跳步
| 时间 | 动作 | 判断依据 |
|---|---|---|
| 0–1 min | 锁定一条请求,记 request_id / 时间 / 模型 | 不看汇总 |
| 1–2 min | 拷出原始 usage,字段全拆 | 面板不给字段就到此为止 |
| 2–3 min | 序列化完整 messages,本地重算输入侧 | 差 <10% 正常波动,>20% 进下一层 |
| 3–4 min | 查前后 10 秒是否重复请求、end_reason | client_gone / timeout 要加回重试成本 |
| 4–5 min | 比对冷热调用的缓存字段与扣费 | 报告命中却不按缓存价,换平台 |
什么时候不是中转站的问题
多轮历史累积、推理长度自然波动、同一句话两次调用因上下文不同 token 不同、客户端超时重试、本地 tokenizer 与模型分词规则有差异 —— 这些换平台也不会消失,得改调用方式。
反过来,下面几条同时出现,就该进入换不换的决策了:拆完字段、扣掉重试、本地重算仍对不上;差距是持续性的而非单次异常;集中在输入侧或缓存字段;平台给不出原始 usage 和请求级日志;解释永远停在「上游就这样」,拿不出可验证的数据。
一句实话
对账这件事,最怕的不是差那几毛钱,是差得不明不白。选平台时「能不能查一条请求的完整 usage」比「便宜几折」重要得多 —— 能查,五分钟定位;不能查,只能换一家重跑一遍,然后继续不知道。