Nvidia Rubin CPX：面向推理预填充阶段的专用加速器

分享到

核心看点

Nvidia 发布了 Rubin CPX，这是一款专门面向大模型推理中 prefill（预填充）阶段 优化的加速器。与传统通用 GPU 强调高带宽 HBM 不同，Rubin CPX 的设计重点是：在相对较低的内存带宽下提供更高的计算能力。

文章认为，只有针对推理中差异明显的两个阶段——prefill 与 decode（解码）——分别进行硬件优化，分离式推理服务才能充分发挥潜力。

大模型推理通常可以拆分为两个阶段：

在 prefill 阶段，计算资源利用率更高，而内存带宽需求相对较低。因此，如果用配备大量昂贵 HBM、具备极高带宽的芯片来运行 prefill，就可能出现 HBM 带宽利用不足的问题。

Rubin CPX 的思路正是针对这一点：减少对高带宽内存的依赖，把更多资源投入计算能力。

Rubin CPX 是一款单芯片 GPU，配置特点包括：

作为对比，R200 双芯片 GPU 提供：

这意味着 Rubin CPX 并不是为了替代高带宽 HBM GPU，而是为了在 prefill 这种计算主导型任务中提供更合适的成本与性能组合。

Rubin CPX 的引入，使 VR200 机架级服务器家族扩展为三种配置：

VR200 NVL144
18 个计算托盘，共 72 个 GPU 封装；每个计算托盘包含 4 个 R200 GPU 封装。
VR200 NVL144 CPX
在 72 个逻辑 GPU 封装之外，增加 144 个 Rubin CPX GPU 封装；18 个计算托盘中，每个托盘包含 4 个 R200 GPU 封装和 8 个 Rubin CPX GPU 封装。
Vera Rubin CPX 双机架方案
由两个独立机架组成：一个 VR200 NVL144 机架，加上一个 VR CPX 机架。VR CPX 机架包含 144 个 Rubin CPX GPU，分布在 18 个计算托盘中，每个托盘包含 8 个 Rubin CPX GPU。

AI 计算长期受“内存墙”制约。更大的模型需要更大的显存容量，而训练和推理吞吐又高度依赖内存带宽。

过去几年，GPU 的 HBM 容量和带宽快速提升。例如：

不到三年时间，容量提升超过三倍，带宽提升约 2.5 倍。

但 HBM 也显著推高了加速器物料成本。文章指出，从 Hopper 到 Blackwell，HBM 在加速器封装成本中的占比持续上升，并已成为 GB300 封装成本中最大的单项组成部分。

问题在于：HBM 对训练和 decode 阶段非常重要，但在 prefill 阶段，高带宽 HBM 的价值并不总能充分体现。由于 prefill 的并行性较强，生成 KV Cache 时对内存带宽的压力相对较低，高价 HBM 可能被低效使用。

Rubin CPX 正是在这一背景下出现：用较低成本的 GDDR7 和更偏向计算的架构，服务于 prefill 阶段。

文章认为，Rubin CPX 的意义不仅在于单颗芯片，而在于 Nvidia 进一步强化了机架级系统设计能力。

此前，AMD 和部分定制 ASIC 厂商已经在追赶 Nvidia 的 72 GPU 机架级设计，同时 AMD 也在持续改善软件栈。但 Rubin CPX 的发布意味着，竞争者可能不仅要追赶通用机架级 GPU 系统，还要考虑是否开发面向 prefill 的专用芯片与配套系统。

这可能使相关厂商需要重新调整路线图，进一步拉长追赶时间。

Rubin CPX 展示了一个重要趋势：大模型推理硬件正在从“通用加速器”走向“按推理阶段专门优化”。

在推理成本、能效和吞吐成为关键指标后，将 prefill 与 decode 拆分，并分别匹配不同硬件资源，可能成为未来高性能推理基础设施的重要方向。