Claude 中转平台:一次长任务翻车之后,我改了三处配置
上个月跑一个重构任务,让工具读十几个文件、改完再自己写测试。前二十分钟很顺,第二十三分钟开始答非所问,把之前定好的命名规则忘了个干净。第一反应是模型降智,差点去群里骂平台。
后来翻日志,问题不在模型。
复盘
请求链路是:工具 → 中转 → 上游。我这边开了自动重试,客户端读超时设的 30 秒。长任务里模型有一段思考静默期,没有 token 吐出来,但连接还活着;客户端判定超时,主动断开,重试逻辑又发了一次全量请求。
新请求被调度到了另一条上游通道,前面积累的上下文缓存全部作废。上下文还在(我发的是完整 messages),但缓存没了,加上模型被换了一条路径,回答风格就飘了。
三笔账一起出问题:一次中断、一次重复计费、一次缓存失效。
改了三处:
- 读超时按任务类型分开,长任务放到 120 秒以上;连接超时保持 5 秒。
- 重试加上限,流式请求不做全量重发,改为携带已生成的增量文本续写。
- 同一会话尽量固定通道,也就是所谓的会话粘性。多轮别在中间换上游。
改完之后同样的任务跑了三遍,都走完了。
长任务真正吃钱的地方
Claude 系用在代码和长文分析上,输入侧往往远大于输出侧:整个文件、几轮历史、工具 schema、系统提示词,每次都带着。所以缓存命中率比单价更影响账单。
有个很实在的判断方法:拿一段固定 system prompt,冷热各跑十次,看后台有没有把 cache_read_tokens 单独列出来,以及冷热调用的实际扣费是不是真有差别。有些面板报告了缓存命中,但扣费一分没少,那这个字段就是摆设。
另外注意协议差异。Anthropic 的 /v1/messages 里 input_tokens 只算未命中缓存的新增输入,OpenAI 系的 prompt_tokens 是含缓存的总输入。两边字段名字像,口径不一样,做对账时别直接加起来比。
型号怎么配
我不按「哪个更强」配,按任务:
- 后台小任务、摘要、格式化、工具调用的小型后台请求 → 轻量型号,比如
claude-haiku-5-5这一档。 - 日常编码、单文件重构、常规分析 →
claude-sonnet-5-5这类,性价比和速度比较平衡。 - 跨文件规划、架构判断、复杂调试 →
claude-opus-5-5,必要时才上。 - 还有
claude-opus-4-8、claude-fable-5、claude-fable-5-1这些,控制台里能看到就顺手做组对照,别凭名字猜能力。
Claude Code 这类工具会把小任务也发到默认型号上,记得把 ANTHROPIC_DEFAULT_HAIKU_MODEL 和 ANTHROPIC_DEFAULT_SONNET_MODEL 一并设好,否则后台请求会去撞一个不存在的默认 ID,报 model not found 还不好查。
平台侧
那次翻车之后,我把调用记录能拆到什么颗粒度,放进了选型的硬条件。现在这条长任务链跑在 token173.net 上:Claude 全系和 GPT、Gemini、Grok、国产线共用一个 Key,长任务中间要临时切去轻量型号做摘要时不用改地址;后台能把输入、输出、缓存字段单独展开,end_reason 也能查 —— 上面那次「客户端超时 → 重试 → 换通道 → 缓存失效」的链条,就是靠这几列拼出来的。Anthropic 协议和 OpenAI 兼容格式都能走,Claude Code 配环境变量直接接。
选它跟「便宜」关系不大,是排查时能拿到数据。换成只回一句「请求失败」的后台,同样的 bug 我大概还会再怀疑三天模型降智。
它也是托管服务,私有代码、客户数据不往这条链上放,这条边界跟用哪家平台无关。型号 ID 和缓存规则会调整,接之前从控制台复制当前列表,别照抄这篇里的字符串。
一句话收尾
长任务出怪事,先查超时、重试、会话粘性和缓存字段,再怀疑模型。我那次要是直接换平台,问题照样会复现,只是换了个地方。
缓存命中率到底怎么算
长任务里输入侧远大于输出侧,缓存这一项的权重比单价大。算法不复杂:
命中率 = cache_read_tokens / (cache_read_tokens + 新输入 tokens)
拿一段固定 system prompt,冷热各跑十次,把后台导出的字段代进去。正常情况下后十次命中率应该明显不为零,且单条扣费低于冷启动那次。两个条件缺一个,都值得追问:字段有值但扣费没变,说明缓存只做了展示没进结算;命中率一直很低,先检查 prompt 前缀里是不是塞了时间戳、随机 ID 或者每次都变的绝对路径。
设计提示词时把稳定内容放最前面、变化内容放后面。缓存按前缀匹配,前缀一动,后面整段失效。我见过有人为了调试在 system 开头加了一行当前时间,命中率直接掉到个位数。
一次长任务该单独配的参数
| 参数 | 聊天默认值 | 长任务建议 | 原因 |
|---|---|---|---|
| 连接超时 | 5s | 5s | 保持不变 |
| 读超时 | 30s | ≥120s | 思考静默期不出 token,但连接还活着 |
| 重试上限 | 3 | 1 | 全量重发等于把整个上下文再付一遍钱 |
| 断连恢复 | 重发全量 | 带 partial_completion 续写 | 避免重复计费与风格漂移 |
| 会话粘性 | 无 | 同一会话固定通道 | 换通道会丢上下文缓存 |
这五行配置的价值,在第一次跑四十分钟的重构任务时会立刻体现出来。改完再回头看「是不是模型变笨了」,多数情况已经不用回答了。