算力节点

承接推理请求的机器。首字延迟、单流速度、吞吐与缓存命中是最近一小时的实测值,不是标称参数。

24
集群
一个运营方的一种模型算一个
134
在线机器
231
GPU
9
独立运营方
共 12 个运营方
GPU 构成RTX 5090 · 186其他 · 41H200 · 4
17×GPU providerkimi-k30.56s91 tps2,619 tps92%
4×GPU provider独立kimi-k30.54s91 tps559 tps87%
2×8x NVIDIA B300 SXM6 AC独立kimi-k30.37s154 tps456 tps90%
1×8x NVIDIA B300 SXM6 AC独立kimi-k30.49s90 tps399 tps92%
1×8x NVIDIA B300 SXM6 AC独立kimi-k30.54s126 tps313 tps93%
1×8x NVIDIA B300 SXM6 AC独立kimi-k30.46s154 tps246 tps91%
1×1x NVIDIA GB10独立qwen3.6-35b-a3b0.84s21 tps151 tps49%
5×8x RTX 5090 (32GB) 另有 1 种配置qwen3.8-27b————
2×32x RTX 5090 (32GB)glm-5.3————
2×32x RTX 5090 (32GB)glm-5.2————
1×16x RTX 5090 (32GB)glm-5.3-flash————
1×2x NVIDIA GeForce RTX 5090独立qwen3.6-35b-a3b————
11×GPU providerglm-5.2————
50×GPU providerdeepseek-v4.1-flash————
14×GPU providerkimi-k3————
4×GPU providerglm-5.3-flash————
1×GPU providerqwen3.8-27b————
4×GPU providerglm-5.3————
5×GPU providerdeepseek-v4-flash-0731————
3×GPU providerqwen3.6-35b-a3b————
1×4x NVIDIA H200独立deepseek-v4.1-flash————
1×PD: 2x 8xRTX5090 PP8 prefill + 2x TP4 H100 decode独立glm-5.3-flash————
1×PD: 2x 8xRTX PRO 6000 PP8 prefill + 4x B200 TP4 decode独立glm-5.3————
1×PD: 3x 8xRTX5090 PP8 encoder-only prefill + 4x B200 DP4 decode独立deepseek-v4.1-flash————