GB300 NVL72 租用，每 GPU·月 US$7,990 起

租用 GB300 NVL72，您将获得一个液冷机架中的 72 张 NVIDIA Blackwell Ultra GPU 和 36 颗 Grace CPU，全部位于同一个 NVLink 域内。我们的租期为 12 至 36 个月，每 GPU 每月 US$7,990 起。本页介绍这套系统是什么、哪些人真正需要它，以及在什么情况下，租用多台 HGX B300 服务器更划算。

GB300 NVL72 是什么

GB300 NVL72 是 NVIDIA 的机架级 Blackwell Ultra 系统。它不再是每台服务器 8 张 GPU，而是通过 NVLink 交换机把 72 张 GPU 连成一个域；根据 NVIDIA 公布的数据，NVLink 总带宽为 130 TB/s。NVIDIA 标称每个机架配备 20 TB HBM3e，即每张 GPU 约 277 GB（B300 模组最高 288 GB），每张 GPU 的显存带宽为 8 TB/s。36 颗 Grace CPU 各与两张 GPU 配对，合计另提供 17 TB LPDDR5X 内存。

按单张 GPU 计，NVIDIA 为 GB300 NVL72 标称的算力为：FP4 稠密算力 15 PFLOPS、FP8 稠密算力 5 PFLOPS、BF16 稠密算力 2.5 PFLOPS，略高于它为 HGX 服务器中的 B300 标称的数据（13.5、4.5 和 2.25 PFLOPS）。机架采用液冷，由我们托管，因此您无需为它专门建设机房，即可获得这些算力。

谁需要整机架，而不是 HGX B300 服务器

72 张 GPU 也可以是 9 台 HGX B300 服务器。这些 GPU 同属 Blackwell Ultra 家族，单卡显存也相近；区别在于它们之间如何通信。

带宽差距

在 HGX B300 服务器内部，每张 GPU 拥有 1.8 TB/s 的 NVLink 带宽，但只连向另外 7 张 GPU。服务器之间的流量要经过网络：每台服务器 8 块 800G 网卡，即每张 GPU 800 Gb/s（100 GB/s）。在 GB300 NVL72 中，每张 GPU 与其余全部 71 张 GPU 之间都保有 1.8 TB/s 的 NVLink 带宽，约为 HGX 服务器上每张 GPU 跨网络带宽的 18 倍。

需要整机架的工作负载

• 大规模专家并行：大型混合专家（MoE）模型的专家分布在数十张 GPU 上，每个 MoE 层都要以 all-to-all 方式交换 token。在 72 卡 NVLink 域中，这些流量完全不经过网络。
• 前沿规模训练：使用 Adam 进行完整训练时，不计激活值，每个参数大约需要 16–20 字节，因此一万亿参数的模型约需 16–20 TB，差不多就是整个机架的全部 HBM3e。若使用 HGX B300 服务器，同样的状态需要分布在通过网络互联的 7 到 9 台服务器上。
• 超过 8 张 GPU 的张量并行或流水线并行，其中每一步需要同步的 GPU 都多于一台 HGX 服务器所能容纳的数量。

何时 HGX B300 服务器是更好的选择

如果每个任务都能在 8 张 GPU 内完成，机架的 NVLink 域就派不上用场。这涵盖了大多数微调，以及数千亿参数以内模型的推理：FP8 精度的 671B 模型可以装入一台 HGX B300 服务器。数据并行训练中，每个副本都能装进一台服务器，只有梯度需要跨网络传输，因此对这一差距的敏感度要低得多。在这些情况下，HGX B300 服务器按 GPU 计成本更低（按每台 US$39,900 计，每 GPU 每月 US$4,987.50），一个月起租，并可视库存情况逐台增加。

机架规模下的显存估算

对推理而言，单凭容量很少成为选择整机架的理由。FP8 精度的一万亿参数模型约需 1 TB 权重，这在一台配备 2.3 TB 显存的 HGX B300 服务器上就已经装得下。机架带来的，是以超大 KV 缓存和高并发为这类模型提供推理服务的空间，以及把它们分布到众多 GPU 上所需的带宽。约 20 TB 的 HBM3e 装下 FP8 精度的 1T 模型后，还剩约 19 TB 可用于 KV 缓存和激活值；您也可以在同一个域中并行运行多个大模型。Grace CPU 所连接的 17 TB LPDDR5X，则为您从 GPU 卸载的数据提供了额外空间。

软件与运维

Grace CPU 基于 Arm 架构，因此您的容器镜像和编译型依赖需要 arm64 版本。NVIDIA 为其核心软件提供了 arm64 版本，但请尽早检查您自己的镜像和 Python wheel 包。多 GPU 通信与 HGX 服务器一样使用 NCCL，区别在于：跨全部 72 张 GPU 的集合通信都在 NVLink 上完成。您机架的软件基线、访问方式和网络配置，都包含在我们于付款前确认的书面配置中。我们的多 GPU NCCL 文档介绍了通信方面的内容。

GB300 NVL72 租用价格与租期

• 价格 每 GPU 每月 US$7,990 起，72 张 GPU 每月约 US$575,000
• 租期 12 至 36 个月
• 折合每 GPU 小时 约 US$10.95 起，即每 GPU 月价除以 730 小时
• 供货方式 在部署页面提交预订申请，价格在付款前确认

与每 GPU 每月 US$4,987.50 的 HGX B300 服务器相比，机架的单卡成本约高 60%。多付的这部分费用换来的是 72 卡 NVLink 域、Grace CPU 及其内存，以及液冷机架。9 台 HGX B300 服务器在不计任何批量价格的情况下每月合计 US$359,100，因此只有当您的工作负载真正用到这个 NVLink 域时，机架才物有所值。在这一规模下，通常是与其他预留合同比较，而不是与按小时计费比较：2026年，许多服务商在大规模算力上更倾向于签订一年期合同，按需库存也常常售罄。您的预订确认会写明与您的租期、配置和起始日期相对应的确切价格。

如何租用 GB300 NVL72 算力

1. 在部署页面提交预订申请，可在同一表单中免费创建账户或登录，并在备注中写明：您计划运行的任务、所需 GPU 数量、租期以及目标起始日期。
2. 我们会在您的控制台中并通过电子邮件确认配置、价格、租期和部署地点。在您接受之前，不会收取任何费用。
3. 对于这种规模的订单，我们可能会要求进行身份验证；我们的身份验证指南说明了我们可能要求提供哪些信息以及原因。
4. 您接受确认的价格后，用账户余额付款（余额通过加密货币充值；银行卡支付即将推出），访问信息会显示在您的控制台中。

如果您的时间安排允许，Vera Rubin NVL72 已开放预订；如需现在就能使用的算力，可选择 GB300 NVL72 和 HGX B300。更多信息请参阅我们的机架级系统。