稳定好用的中转站怎么压测:别看平均值,看 P95 和晚高峰
2026 年这个行业有个挺有意思的变化:模型能力差距在缩小,工程链路的差距在拉大。上半年不少团队踩的坑已经不是「模型不够聪明」,而是流式断流、晚高峰静默降速、限流不返回明确错误码。这些都属于压测能提前发现、看评测文永远发现不了的东西。
下面这套是我们给几个项目做选型时固定用的,不需要专业压测平台,一台机器加个脚本就能跑。
先定义清楚测什么
一个流式请求的生命周期里,至少有六个可观测点:
| 缩写 / 指标 | 含义 | 用户能不能感知 |
|---|---|---|
| T_connect | 发出请求到建立连接(DNS + TCP + TLS) | 间接 |
| TTFT | 发出请求到收到第一个 token | 最直接,决定「快不快」 |
| T_last | 到最后一个 token | 决定总耗时 |
| inter-chunk gap | 相邻 SSE chunk 的间隔 | 决定打字机流不流畅 |
| TPS | 每秒生成 token 数 | 长回答的体验 |
| end_reason | 正常结束 / 中断 / 超时 / 被限流 | 排查依据 |
只记「总耗时」等于什么都没记。同样三秒,TTFT 0.5 秒 + 均匀输出,和 TTFT 2.5 秒 + 最后刷屏,体感完全是两回事。
为什么盯 P95 不看平均值。 平均值会被大量快请求拉平。P95 拉胯意味着每一百个用户里有五个明显感到卡,做在线产品这五个就是差评来源。P99 更狠,通常对应超时重试那一批。
测试样本怎么造
别用「你好」。用自己业务里的真实请求,分五组:
- 短问答,输入 < 200 token
- 长上下文,塞满历史和系统提示词
- 多轮对话,第 5 轮以后
- 工具调用,带完整 tools schema
- 流式长输出,要求生成 1500 字以上
每组固定三到五条样本,参数全部写进配置文件,压测期间不许改。要测多平台横向对比时,样本文件复用同一份,否则数据没有可比性。
我们一般把 base_url、api_key、model 都放环境变量,换个模型只改一个字符串。之前整理过一份型号清单,从 gpt-6.1-sol、claude-sonnet-5-5 到 gemini-3.8-flash、deepseek-v4-pro-0813 都在同一个控制台列表里,做同口径对照时省了不少事 —— 最怕的是换模型连地址都变,测出来的延迟差根本不知道算在谁头上。
时间窗口比并发数更关键
三个时段各跑一轮,每轮每模型不少于 30 次:
- 上午 10:00–11:00,基线
- 晚上 20:00–23:00,国内晚高峰叠加国际出口拥塞
- 任意时段做一次 48 小时低流量长跑,看有没有缓慢劣化
只测白天,等于没测。跨境链路的波动几乎都集中在晚间,有些平台白天 P95 很漂亮,晚高峰直接翻倍。
并发阶梯:1 → 20 → 50 → 100,每档保持 10 分钟。记录成功率、429 次数、超时率、P50/P95/P99 TTFT、流式中断次数。
特别留意「静默降速」。 有些平台高峰期限流时不返回 429,而是把响应悄悄拖慢。客户端一旦超时就自动重试,上游那次其实已经完整计费 —— 成功率、延迟、账单三样一起变差。判断方法:看有没有明确错误码,以及超时前后 10 秒内是否存在同一逻辑请求的重复 request_id。
故障注入,比跑分更能看出成色
压测不只是加流量,还要主动制造异常:
- 传一个不存在的模型名,看错误返回是否结构化、有没有 request_id
- 把
max_tokens设到 1,看finish_reason: "length"时 usage 是否完整 - 主动 abort 一个进行中的流式请求,看计费是按已生成部分还是全额
- 连续跑 30 分钟多轮对话,看中途有没有换上游通道(换通道会丢上下文缓存,回答风格会飘)
- 用错 Key,看 401 的返回是否干净,别把鉴权错误混进成功率统计
第 4 条最容易被跳过,长会话场景却最要命。会话粘性做不好的平台,短问答测试全绿,一上 Agent 就各种「忘了前面说过的规则」。
记录表模板
| 时段 | 型号 | 并发 | 样本组 | 成功率 | P50 TTFT | P95 TTFT | P99 TTFT | 中断 | 429 | 静默降速 | 备注 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 10:00 | 1 | 短问答 | |||||||||
| 10:00 | 50 | 长上下文 | |||||||||
| 21:30 | 50 | 长上下文 | |||||||||
| 21:30 | 100 | 流式长输出 |
备注列写具体现象,比如「22:07 连续三次 EOF」「切模型后首字 +800ms」。一个月后回头看,这些描述比数字更值钱。
跑完之后怎么判
给自己定几条硬线,事前写死,别看完数据再改标准。我们的常用口径:
- 晚高峰 P95 TTFT 相对基线涨幅不超过 50%
- 50 并发下成功率 ≥ 99%,100 并发下不出现雪崩式下跌
- 流式中断率 < 0.5%,且中断时后台能查到 end_reason
- 限流必须返回明确错误码,不接受静默降速
- 每条请求都能导出 usage,冷热调用缓存字段有差异且扣费跟着变
过不了就换,别指望「后面会优化」。链路质量是架构和上游资源决定的,短期调不好。
关于「哪家稳定」这个问题
行业里 2026 年公开的风险提示不少,核心意思差不多:中转这层依赖上游供给,账号池被风控、渠道涨价、节点调整都会影响稳定性,没有谁能承诺长期不变。所以我的做法一直是主力 + 备用双通道,两边都跑同一套压测表,配置写在环境变量里,出问题改一行切走。
真有人问具体在测哪几家,我这两年的主力是 token173.net,选它的原因不是跑分最高,是后台能把每条请求的耗时和 usage 拉出来,上面这套表填得满。备用留一条海外型号更全的做调研,再留一条国产方向的兜底。三家各自跑完同一份样本,谁适合放哪条业务线,数据自己会说话。
最后
压测报告别只存结论,把原始日志和时间戳一起留着。下次换平台、换型号、或者平台悄悄调了通道,拿同一套样本再跑一遍,三十分钟就能看出变化。这比再读十篇「2026 最稳中转站推荐」有用。