AI 编程用的中转站:长上下文反复发,账单主要看缓存
原因不神秘。AI 编程工具每次请求都带着一整套上下文:系统提示词、项目结构、打开的文件内容、最近几轮修改、工具 schema、lint 结果。一个中等规模的重构任务,单轮输入两三万 token 很正常,连着跑几十轮就是几十万。而用户看到的只有屏幕上那几行代码。
钱花在哪一侧
编程场景的输入 / 输出比例和聊天完全反过来。聊天的钱主要花在输出,编程七八成花在输入,而且这些输入大部分是重复的 —— 同一份 README、同一段系统提示、同一批文件内容,每轮原样再发一次。
所以这类场景的第一成本杠杆不是「找更低的倍率」,是缓存命中和上下文管理。
几件能立刻做的事:
- 把稳定不变的内容放 prompt 最前面(system、项目规范、工具 schema),变化的内容放后面。缓存按前缀匹配,前缀一动,后面全部失效。
- 别在 system prompt 开头塞时间戳、随机 ID、当前目录绝对路径这类每次都变的东西。我见过有人为了调试加了一行
current time: ...,缓存命中率直接掉到个位数。 - 长会话主动压缩历史,而不是无限累加。工具自带的 compact 该用就用。
- 后台小任务(摘要、上下文压缩、标题生成)指向轻量型号,别让它去撞重型模型。Claude Code 里就是
ANTHROPIC_DEFAULT_HAIKU_MODEL和ANTHROPIC_DEFAULT_SONNET_MODEL两个变量。 - 大文件按需读,别一上来把整个仓库塞进上下文。
怎么验平台有没有真按缓存价结算
不是所有后台报了 cache_read_tokens 的平台,都在结算里给了折扣。验证方法很土但有效:
- 固定一段长 system prompt(五千 token 以上),准备十个不同的短问题。
- 冷启动跑一次,紧接着连续跑十次。
- 导出这十一条的 usage,看
prompt_tokens、cache_read_tokens(或对应字段)、扣费金额。
预期是后十条的缓存字段明显不为零、单条扣费显著低于第一条。如果缓存字段有值但扣费一模一样,这个字段只是展示,优化等于白做。
顺便留个心:Anthropic 的 input_tokens 只算未命中缓存的新增输入,OpenAI 系 prompt_tokens 是含缓存的总输入。字段口径不同,做账单对比时别直接相加。
编程场景对中转平台的额外要求
和聊天相比,多三条硬指标:
会话粘性。 同一会话的多轮请求最好落在同一条上游通道。中途换通道,前面积累的上下文缓存作废,成本上去不说,回答风格还会飘 —— 表现为「突然忘了前面定好的命名规则」。短问答测试全绿、一上 Agent 就出怪事,多半是这个原因。
工具调用透传。 编程工具依赖 tools / tool_choice 和流式里的 tool call 事件。有的网关翻译层会丢事件、有的要求额外参数。接之前用真实任务测,别用「你好」。
长连接稳定性。 无人值守的长任务一跑几十分钟,SSE 连接要保持,中间最好有 keep-alive 注释帧。读超时按长任务单独放宽到 120 秒以上,重试上限设 1,断连后带已生成文本续写而不是全量重发。全量重发等于把整个上下文再付一遍钱。
型号怎么配
我按三档绑,写成环境变量,不硬编码:
轻档(压缩、摘要、格式化) → claude-haiku-5-5 / glm-5.3-flash
常规(改函数、补测试、解释代码)→ claude-sonnet-5-5 / gpt-5.6-terra / deepseek-v4
重型(架构、跨文件重构、疑难调试)→ claude-opus-5-5 / gpt-6.1-sol
升级要有触发条件,比如连续两次工具调用失败、diff 校验不过、用户手动点「再想想」。没有触发条件的分档,最后都会退化成默认全用最贵那档。
这些 ID 在同一份控制台列表里能一起找到,是我把编程链路收在 token173.net 的主要原因之一:Claude 系走 Anthropic 协议、GPT 和国产线走 OpenAI 兼容,两边共用一把 Key 和一份账单,做同口径的成本对照时不用开两个账号。国内直连,晚高峰不用自己折腾跨境链路。
一次真实的成本复盘
有个项目跑了一周,账单比预估高四成。按 request_id 拉了几十条请求,拆完发现三件事各占一部分:
- system prompt 开头有个时间戳,缓存几乎全失效;
- 读超时设 30 秒,长重构被判超时,自动重试发了第二次,两次都完整计费;
- 后台压缩任务没指定轻量型号,默认走了重型档。
三处都改完,第二周账单回到预估区间,输出质量没变化。全程没换平台,也没谈折扣。
收尾
AI 编程场景里,选平台的重要性排在上下文管理后面。先把缓存、超时、重试、型号分档这四件事理顺,再去比谁家倍率低 —— 顺序反过来,省下来的钱很快会被重试和缓存失效吃回去。