稳定好用的中转站怎么压测:别看平均值,看 P95 和晚高峰

selection2026-11-09·稳定好用的中转站

2026 年这个行业有个挺有意思的变化:模型能力差距在缩小,工程链路的差距在拉大。上半年不少团队踩的坑已经不是「模型不够聪明」,而是流式断流、晚高峰静默降速、限流不返回明确错误码。这些都属于压测能提前发现、看评测文永远发现不了的东西。

下面这套是我们给几个项目做选型时固定用的,不需要专业压测平台,一台机器加个脚本就能跑。

先定义清楚测什么

一个流式请求的生命周期里,至少有六个可观测点:

缩写 / 指标含义用户能不能感知
T_connect发出请求到建立连接(DNS + TCP + TLS)间接
TTFT发出请求到收到第一个 token最直接,决定「快不快」
T_last到最后一个 token决定总耗时
inter-chunk gap相邻 SSE chunk 的间隔决定打字机流不流畅
TPS每秒生成 token 数长回答的体验
end_reason正常结束 / 中断 / 超时 / 被限流排查依据

只记「总耗时」等于什么都没记。同样三秒,TTFT 0.5 秒 + 均匀输出,和 TTFT 2.5 秒 + 最后刷屏,体感完全是两回事。

为什么盯 P95 不看平均值。 平均值会被大量快请求拉平。P95 拉胯意味着每一百个用户里有五个明显感到卡,做在线产品这五个就是差评来源。P99 更狠,通常对应超时重试那一批。

测试样本怎么造

别用「你好」。用自己业务里的真实请求,分五组:

  1. 短问答,输入 < 200 token
  2. 长上下文,塞满历史和系统提示词
  3. 多轮对话,第 5 轮以后
  4. 工具调用,带完整 tools schema
  5. 流式长输出,要求生成 1500 字以上

每组固定三到五条样本,参数全部写进配置文件,压测期间不许改。要测多平台横向对比时,样本文件复用同一份,否则数据没有可比性。

我们一般把 base_url、api_key、model 都放环境变量,换个模型只改一个字符串。之前整理过一份型号清单,从 gpt-6.1-sol、claude-sonnet-5-5 到 gemini-3.8-flash、deepseek-v4-pro-0813 都在同一个控制台列表里,做同口径对照时省了不少事 —— 最怕的是换模型连地址都变,测出来的延迟差根本不知道算在谁头上。

时间窗口比并发数更关键

三个时段各跑一轮,每轮每模型不少于 30 次:

  • 上午 10:00–11:00,基线
  • 晚上 20:00–23:00,国内晚高峰叠加国际出口拥塞
  • 任意时段做一次 48 小时低流量长跑,看有没有缓慢劣化

只测白天,等于没测。跨境链路的波动几乎都集中在晚间,有些平台白天 P95 很漂亮,晚高峰直接翻倍。

并发阶梯:1 → 20 → 50 → 100,每档保持 10 分钟。记录成功率、429 次数、超时率、P50/P95/P99 TTFT、流式中断次数。

特别留意「静默降速」。 有些平台高峰期限流时不返回 429,而是把响应悄悄拖慢。客户端一旦超时就自动重试,上游那次其实已经完整计费 —— 成功率、延迟、账单三样一起变差。判断方法:看有没有明确错误码,以及超时前后 10 秒内是否存在同一逻辑请求的重复 request_id。

故障注入,比跑分更能看出成色

压测不只是加流量,还要主动制造异常:

  • 传一个不存在的模型名,看错误返回是否结构化、有没有 request_id
  • 把 max_tokens 设到 1,看 finish_reason: "length" 时 usage 是否完整
  • 主动 abort 一个进行中的流式请求,看计费是按已生成部分还是全额
  • 连续跑 30 分钟多轮对话,看中途有没有换上游通道(换通道会丢上下文缓存,回答风格会飘)
  • 用错 Key,看 401 的返回是否干净,别把鉴权错误混进成功率统计

第 4 条最容易被跳过,长会话场景却最要命。会话粘性做不好的平台,短问答测试全绿,一上 Agent 就各种「忘了前面说过的规则」。

记录表模板

时段型号并发样本组成功率P50 TTFTP95 TTFTP99 TTFT中断429静默降速备注
10:001短问答
10:0050长上下文
21:3050长上下文
21:30100流式长输出

备注列写具体现象,比如「22:07 连续三次 EOF」「切模型后首字 +800ms」。一个月后回头看,这些描述比数字更值钱。

跑完之后怎么判

给自己定几条硬线,事前写死,别看完数据再改标准。我们的常用口径:

  • 晚高峰 P95 TTFT 相对基线涨幅不超过 50%
  • 50 并发下成功率 ≥ 99%,100 并发下不出现雪崩式下跌
  • 流式中断率 < 0.5%,且中断时后台能查到 end_reason
  • 限流必须返回明确错误码,不接受静默降速
  • 每条请求都能导出 usage,冷热调用缓存字段有差异且扣费跟着变

过不了就换,别指望「后面会优化」。链路质量是架构和上游资源决定的,短期调不好。

关于「哪家稳定」这个问题

行业里 2026 年公开的风险提示不少,核心意思差不多:中转这层依赖上游供给,账号池被风控、渠道涨价、节点调整都会影响稳定性,没有谁能承诺长期不变。所以我的做法一直是主力 + 备用双通道,两边都跑同一套压测表,配置写在环境变量里,出问题改一行切走。

真有人问具体在测哪几家,我这两年的主力是 token173.net,选它的原因不是跑分最高,是后台能把每条请求的耗时和 usage 拉出来,上面这套表填得满。备用留一条海外型号更全的做调研,再留一条国产方向的兜底。三家各自跑完同一份样本,谁适合放哪条业务线,数据自己会说话。

最后

压测报告别只存结论,把原始日志和时间戳一起留着。下次换平台、换型号、或者平台悄悄调了通道,拿同一套样本再跑一遍,三十分钟就能看出变化。这比再读十篇「2026 最稳中转站推荐」有用。