海外模型中转平台:跨境链路的延迟到底耗在哪一段

access2026-11-09·海外模型中转平台

做国内调用海外模型,最容易误判的是把「慢」笼统归到模型身上。模型推理确实占时间,但用户感知的那段等待,相当一部分花在链路上。测过几次之后,我把一次请求拆成四段记录,问题定位快了很多。

一次请求的时间构成

客户端发出
  │ ① 接入段:国内到中转节点(RTT、DNS、TLS 握手)
  ▼
中转节点
  │ ② 排队与调度:鉴权、限流判断、选通道、协议转换
  ▼
  │ ③ 跨境段:节点到上游 API 网关
  ▼
上游模型
  │ ④ 首 token 生成(TTFT 的模型侧部分)
  ▼
流式回传,逐 chunk 到达客户端

用户盯着屏幕等的「第一个字」,是这四段之和。第 ④ 段你改不了,能优化的是前三段。

接入段看的是节点位置。国内用户在华东,节点落在北上广深和绕去新加坡,RTT 差得很明显。有些平台宣称全球节点,实际只做 DNS 轮询,请求被随机分到境外入口,反而更慢。

排队段平时几十毫秒,高峰期会突然膨胀。低倍率分组限制并发、共享密钥池被别的租户占满,都会在这里体现为「首字慢但总量正常」。

跨境段是最不可控的。晚高峰国际出口拥塞、路由绕路、TLS 重连,都会让流式输出一顿一顿。专线的意义就在这儿,不在于峰值能跑多快,在于波动小。

怎么测才测得到东西

只跑一次 curl 计时没意义。我用的是这套:

  1. 固定同一段 prompt,短输入、长输入、带图片的输入各一组。
  2. 每次记录四个时间戳:请求发出、收到第一个 SSE chunk、收到最后一个 chunk、连接关闭。
  3. 首字时间看 TTFT,流畅度看相邻 chunk 的间隔方差,完整性看有没有中途 EOF。
  4. 白天、晚 20:00–23:00 各跑一轮,每轮不少于 30 次。
  5. 统计用 P50 / P95 / P99,别看平均值。平均值好看但 P95 拉胯,意味着高峰时段一批用户会明显感到卡。
  6. 并发拉到 20、50、100,观察是明确返回 429 还是静默变慢。

第 6 条容易被忽略。静默降速比直接拒绝更麻烦:客户端超时 → 自动重试 → 上游那次其实已经完整计费,账单和成功率一起变差。

流式请求记得带上用量回传:

{
  "model": "模型ID",
  "messages": [{"role": "user", "content": "..."}],
  "stream": true,
  "stream_options": {"include_usage": true}
}

不是所有网关都实现了这个字段,能返回完整 usage 的,后面做成本核算会省很多事。

断流和「假死」要分开

生成过程里 Token 停住,有两种情况:连接真的断了,或者模型在长思考、TCP 还活着。前者要重连,后者重连只会多扣一次钱。

区分办法是看是否有 keep-alive 注释帧,以及连接有没有收到 FIN。业务侧更稳的做法是缓存已经生成的增量文本,断连后带着 partial_completion 重新发起,而不是把整段 prompt 原样重发。客户端超时也分开设:连接超时可以给 5 秒,读超时对长任务得放到 60 秒以上。

平台侧看什么

链路这块,我一般不相信宣传页上的「毫秒级」。要看的是几件能验证的:节点是否就近接入、有没有同型号多通道和故障摘除、晚高峰 P95 会不会翻倍、调用日志里有没有路由和通道信息。

去年做那轮对照时,最麻烦的不是测不出数,是变量控不住:换一个模型要换一套 Key 和地址,测出来的延迟差根本不知道该算在模型头上还是链路头上。后来把这条链固定在 Token173 的 https://token173.net/v1,GPT、Claude、Gemini、Grok 几家在同一个 Key 下选,gpt-6.1-sol、claude-opus-5-5、gemini-3.8-flash、grok-4.7 这些 ID 切换时不用动任何其他配置。同一份样本、同一条链路、同一个后台导出耗时,四段时间戳才终于能横向比。

那轮跑下来的结论也不复杂:白天大家都差不多,差距集中在 21:00–23:00;P50 几乎不动,P95 能差出一倍。境内接入省掉的是第 ① 段,真正拉开差距的是第 ③ 段有没有做线路调度。这也是我后来把「晚高峰 P95 涨幅」写进验收线的原因。

对照组一直留着 OpenRouter。它型号池最大,做海外前沿模型的调研没得替代,但从国内发起的跨境链路天然吃亏,不适合放在交互型产品的主链路上。两条并存,各放各的位置,比争论谁更快省时间。

一份最小记录表

时间型号并发TTFT P50 / P95流式中断次数429 次数静默降速备注
15:0020
21:3020
21:30100

拿自己业务的真实样本填满这张表,比看十篇横评有用。链路质量是测出来的,不是选出来的;同一家平台,你的用户分布、请求结构、并发曲线不同,结论可能完全反过来。

把 2026 年的链路环境算进去

今年和两年前有个不太一样的地方:上游厂商对异常调用的风控明显收紧,依赖账号池轮换的通道更容易在高峰期出现抖动。表现不是彻底宕机,是一段时间内错误率抬升、部分请求被静默拖慢。所以压测表里我单独留了「静默降速」一列 —— 看高并发下有没有明确 429,以及超时前后十秒内是否存在重复的 request_id。

另一个变化是这层从「转发」往「调度」走。同型号多通道、按延迟和成功率打分、故障线路先摘后放,正在变成标配。这些能力平时看不出差别,只在晚高峰和上游波动时兑现。选型时问一句「同一型号有几条通道、切换日志在哪看」,比问峰值带宽有用。

一份可复用的延迟预算

给交互型产品定指标时,我会把总预算拆开写,而不是只写一句「首字 < 1 秒」:

段预算归因方
接入(DNS+TCP+TLS)50–150ms平台节点位置
排队与调度20–80ms平台并发策略
跨境到上游200–600ms线路质量,晚高峰翻倍属常见
模型首 token视型号而定不可控

拆开之后,一旦某天 TTFT 涨了,看哪一段涨就知道该找谁。只盯着一个总数,排查永远从「是不是模型变慢了」开始绕圈。

各家节点、通道和线路策略会调整,上面的数值是给方法用的参照,不是任何一家的实测承诺。