H100 与 GB200 NVL72 训练对比：成本、功耗与可靠性

核心看点

前沿模型训练正在把 GPU 与 AI 系统推向极限。对训练平台而言，成本、能效、功耗、TCO 下的性能表现以及可靠性，已经成为评估能否有效完成大规模训练的关键因素。

Hopper 与 Blackwell 的比较并不只是“新一代更快”这么简单。现有分析基于超过 2,000 张 H100 GPU 的训练基准数据，并结合 GB200 NVL72 在 Llama4 400B MoE、DeepSeek 670B MoE 等模型上的结果，讨论两代平台在训练场景中的真实差异。

H100：已有大规模训练基准

相关测试覆盖了 H100 集群从 128 张 GPU 扩展到 2,048 张 GPU 的表现，并分析了不同版本 NVIDIA 软件栈下的变化。评估指标包括：

• 模型 FLOPs 利用率（MFU）
• 总拥有成本（TCO）
• 每训练 100 万 token 的成本
• 每个 token 训练所消耗的能源
• 集群规模扩大后的效率变化
• 软件版本迭代带来的性能改进

测试使用 NVIDIA DGX Cloud Benchmarking Scripts，在 NVIDIA 内部 H100 EOS 集群上运行。该集群配置为 8×400 Gbit/s InfiniBand 网络。这些结果也被用作部分云环境服务水平协议评估时的参考基准。

目前这些测试主要基于 NeMo Megatron-LM。考虑到 GPU 用户并不都使用该框架，后续测试计划扩展到 Torch DTensor 相关框架，例如 TorchTitan。

成本结构：GB200 NVL72 单 GPU 成本明显更高

在资本开支方面，H100 服务器价格在过去 18 个月有所下降，目前一台 H100 服务器约为 19 万美元。若计入存储、网络等配套项目，典型超大规模云厂商的单台服务器前期资本成本约为 25 万美元。

GB200 NVL72 的成本结构更高。单个机架级服务器约为 310 万美元；计入网络、存储及其他配套项目后，单机架总成本约为 390 万美元。

从超大规模云厂商、大型新兴 GPU 云厂商到更小的新云厂商三个买家类型来看，GB200 NVL72 的单 GPU 全包资本成本约为 H100 的 1.6 到 1.7 倍。

运营成本：差距主要来自功耗

从运营成本看，GB200 NVL72 的单 GPU Opex 并没有比 H100 高出特别多，但仍然更高。主要原因是 GB200 NVL72 的单 GPU 全系统功耗更高。

其中一个关键差异是芯片功耗：

• GB200 芯片功耗约为 1200W
• H100 芯片功耗约为 700W

因此，GB200 NVL72 在能耗和供电基础设施上的压力更大。这也使得单纯比较理论性能并不足以判断训练经济性。

TCO：GB200 NVL72 需要至少快 1.6 倍才有优势

将资本开支和运营成本合并计算后，GB200 NVL72 的总拥有成本约为 H100 的 1.6 倍。

这意味着：如果 GB200 NVL72 要在“单位 TCO 性能”上优于 H100，它至少需要比 H100 快 1.6 倍。否则，即使其绝对性能更强，也未必能在训练经济性上胜出。

可靠性：当前仍是 GB200 NVL72 的关键变量

分析中特别强调，可靠性和宕机时间会显著影响 TCO 下的真实性能。对于超大规模训练而言，硬件故障、软件问题和工程调试时间都会转化为实际成本。

目前尚未出现基于 GB200 NVL72 完成的大规模训练运行案例，原因是软件仍在成熟，可靠性挑战仍在解决之中。

截至目前，能够被成功用于完成前沿规模训练的平台仍主要包括：

• NVIDIA H100
• NVIDIA H200
• Google TPU

即便是最先进的前沿实验室和云服务商，目前也尚不能在 GB200 NVL72 上稳定执行超大规模训练任务。

软件成熟度：年底前可能明显改善

新架构通常需要时间让软件生态适配并充分发挥硬件能力。GB200 NVL72 的爬坡速度比前几代略慢，但差距并不算大。

随着软件持续优化，以及前沿模型架构开始围绕更大的 scale-up world size 进行协同设计，GB200 NVL72 到年底前可能会获得显著效率提升。

不过，可靠性方面仍会是 NVIDIA 与其合作伙伴需要重点解决的问题。对于训练平台而言，硬件性能、系统稳定性、软件栈成熟度必须同时达标，才能真正形成可用于前沿模型训练的生产能力。

讨论价值

这组对比提醒我们，AI 训练平台的评估不能只看 GPU 代际和峰值算力。更合理的比较应同时纳入：

• 每美元训练性能
• 每 token 成本
• 集群扩展效率
• 能耗与供电要求
• 软件栈成熟度
• 宕机和工程调试成本
• 是否已经完成真实大规模训练验证

对于正在规划大规模训练基础设施的团队而言，GB200 NVL72 的潜力很大，但当前阶段仍需要把可靠性和软件成熟度作为核心风险因素纳入评估。