NVIDIA · Rubin

租用 NVIDIA Vera Rubin NVL72:预订机架级算力

72 张 Rubin GPU(每张配备 288 GB HBM4 显存)和 36 颗 Vera CPU,通过 NVLink 6 互联,集成于一个液冷机架。现已开放预订:立即登记意向,我们会在您支付任何费用之前,以书面形式确认资源分配和条款。

显存
288 GB HBM4
带宽
19.2 TB/s 每 GPU
互联
NVLink 6
支持精度
NVFP4 · FP8 · BF16
  • 整卡独享,绝不共享
  • 价格与租期书面确认
  • 加密货币支付
  • 工程师 7×24 小时支持

配置与价格

  • Vera Rubin NVL72 新一代 开放预订

    机架级 · 单一 NVLink 域

    36× NVIDIA Vera · 最高 54 TB LPDDR5X · 存储按订单配置 · NVLink 6 · ConnectX-9

    价格面议

    资源分配书面确认

付款后 10 分钟内交付。

规格

Vera Rubin NVL72 规格与服务器配置

先列出厂商公布的 GPU 规格,再列出我们出租的每种服务器的确切配置。以下所有信息都会在结账时、您付款前再次显示。

NVIDIA Vera Rubin NVL72 · 每 GPU

架构
RubinNVIDIA
显存
288 GB HBM4NVIDIA 公布的初步数据,可能会有变动。
显存带宽
19.2 TB/s
FP4
35,000 TFLOPSNVFP4 · 稀疏算力 50,000 TFLOPS
FP8
17,500 TFLOPS稠密
BF16 / FP16
4,000 TFLOPS稠密
GPU 互联
NVLink 672 卡 NVLink 域
外形规格
Vera Rubin 机架 · 液冷
最大功耗
按机架计

服务器配置

规格项Vera Rubin NVL72
GPU72 × 288 GB HBM4
服务器类型机架级
CPU36× NVIDIA Vera
内存最高 54 TB LPDDR5X
存储存储按订单配置
网络NVLink 6 · ConnectX-9
流量按合同约定
价格价格面议
  • 通过 SSH 获取 root 权限
  • 预装驱动、CUDA 和 Docker 的 Ubuntu
  • IPv4 + IPv6 /64
  • DDoS 防护

算力数据为厂商公布的稠密算力规格;如厂商公布了结构化稀疏算力,也一并列出。实际吞吐量取决于您的模型、精度和软件。 NVIDIA 公布的初步数据,可能会有变动。

适用场景

Vera Rubin NVL72 最擅长什么

这款 GPU 在哪些场景物有所值,以及何时选择另一款更明智。

  • 确保未来算力

    在机架级 GPU 算力持续紧张之际,尽早登记意向,争取资源分配。

  • 每张 GPU 288 GB HBM4

    72 张 GPU 合计约 20.7 TB HBM4,适用于前沿规模的训练和推理。

  • 单一 NVLink 6 域

    72 张 Rubin GPU 和 36 颗 Vera CPU,连接在同一套机架级 NVLink 6 系统中。

  • 下一代训练计划

    适合计划在 NVIDIA Rubin 这一代产品上开展下一轮大规模训练的团队。

显存估算

Vera Rubin NVL72 能装下哪些模型?

在中等上下文长度下提供模型推理服务所需的 GPU 数量:权重另加约 20% 的 KV 缓存和运行时余量,并通过张量并行拆分到多张 GPU 上。 如需针对您的具体模型、上下文和批次大小进行估算,请使用显存计算器。

不同模型规模和精度所需的 Vera Rubin NVL72 GPU 数量
模型规模BF16 2 字节/参数FP8 1 字节/参数4 位 0.5 字节/参数
8B Llama 3.1 8B 级 1 张 GPU 1 张 GPU 1 张 GPU
14B Qwen3 14B 级 1 张 GPU 1 张 GPU 1 张 GPU
32B Qwen3 32B 级 1 张 GPU 1 张 GPU 1 张 GPU
70B Llama 3.3 70B 级 1 张 GPU 1 张 GPU 1 张 GPU
120B 大型稠密或 MoE 模型 1 张 GPU 1 张 GPU 1 张 GPU
235B Qwen3 235B MoE 级 2 张 GPU 1 张 GPU 1 张 GPU
405B Llama 3.1 405B 级 4 张 GPU 2 张 GPU 1 张 GPU
671B DeepSeek-V3 / R1 MoE 模型 8 张 GPU 4 张 GPU 2 张 GPU

如何解读

  • 1 张 GPU单张 Rubin GPU 即可装下
  • 2 张 GPU在单个机架内通过张量并行拆分
  • 勉强仅在短上下文下装得下
  • —单个机架装不下

真实模型的显存估算

打开显存计算器

按推理场景估算,权重量化为所示精度;长上下文和大批次需要更多显存来容纳 KV 缓存。 “勉强”表示仅在短上下文下装得下。 — 表示单个 72 卡机架装不下。

简而言之: OverGPU 接受 NVIDIA Vera Rubin NVL72 预订:单个机架含 72 张 GPU,每张配备 288 GB HBM4,价格面议。预订在线提交,在 OverGPU 确认价格和租期之前不收取任何费用。 价格截至 。

预订 Vera Rubin NVL72,可以让您在 NVIDIA 下一款机架级系统出货之前预先占得一席之地。现已开放预订:您登记意向,我们会在您支付任何费用之前,以书面形式确认资源分配和条款。如果您想租用 Vera Rubin 算力用于训练或推理,本页介绍了目前已知的信息、预订的流程,以及在此期间可以运行什么。

目前我们能介绍的 Vera Rubin NVL72 信息

  • GPU 每个机架 72 张 Rubin GPU,每张配备 288 GB HBM4,合计约 20.7 TB
  • CPU 36 颗 Vera CPU
  • 互联 NVLink 6,即 Blackwell 系统所用 NVLink 5 的下一代
  • 形态 液冷机架级系统
  • 供货方式 数量有限,预计 2026年底开始供货

这份清单是刻意从简的。上方规格中的算力和带宽数据,是 NVIDIA 公布的初步数据,在系统出货前可能会有变化;我们出租的系统的确切配置,会以书面形式确认。目前可以用来做规划的是显存:每张 GPU 288 GB,与 B300 容量相同,但采用 HBM4,这是比 Blackwell 系统的 HBM3e 更新一代的显存。

Vera Rubin NVL72 预订流程

  1. 登记意向。免费创建账户,并在部署页面提交预订申请,在备注中写明以下信息:您计划运行的任务、所需的 GPU 或机架数量、您考虑的租期,以及您可接受的最早和最晚起始日期。
  2. 我们以书面形式确认。当我们能够分配算力时,会以书面形式向您发送资源分配、价格和租期。在此确认之前,您无需支付任何费用。
  3. 由您决定。如果条款合适,您就接受;如果不合适,您可以直接放弃,无需支付任何费用。
  4. 付款。您用账户余额付款,余额通过加密货币充值。

对于这种规模的订单,我们可能会在确认之前,要求对您的公司及预期用途进行验证,具体见我们的客户身份验证政策。告诉我们您的日期有多大弹性,有助于我们为您匹配可分配的算力。

应该预订 Vera Rubin,还是租用现已出货的产品?

当您的规划已经超出目前可用的产品时,预订就是合理的选择:

  • 您的训练路线图延续到 2027年,并需要最新一代的 72 卡 NVLink 域。
  • 您的模型或其训练状态已经超出一台 8 卡服务器的容量,因此无论如何您都需要机架级算力。
  • 您希望在投入预算之前,先拿到书面的资源分配和价格。

如果您本季度就需要 GPU,或者您的任务用 8 张 GPU 就能完成,又或者您还在决定要训练什么,预订就不那么合理;在这些情况下,按月租用的服务器能让您保留选择余地。如果您确实要预订,一份有用的申请应写明您计划运行的模型规模和精度、GPU 数量、租期、起始时间窗口,以及对部署地点的任何限制,这样我们的书面答复才能具体明确。

现在就规划 Vera Rubin 工作负载

由于每张 GPU 的显存与 B300 相同,您现在就可以用同样的算法来估算 Vera Rubin 部署所需的规模。权重约为参数量 × 每个参数的字节数(BF16 为 2,FP8 为 1,FP4 为 0.5),再加上 KV 缓存和 10–30% 的余量;使用 Adam 进行完整训练时,不计激活值,每个参数大约需要 16–20 字节。

  • FP8 精度的一万亿参数模型推理:权重约 1 TB,因此仅权重就至少需要 4 张 GPU;整个机架还能留出约 19 TB,用于 KV 缓存、激活值和其他模型。
  • 405B 级模型的完整训练:训练状态约 6.5–8.1 TB,即不计激活值需要 23 至 29 张 GPU 的显存,完全在一个 72 卡机架的容量之内。
  • 一万亿参数模型的完整训练:约 16–20 TB,接近整个机架 20.7 TB 的全部 HBM4,因此还需另外为激活值规划显存,可以跨多个机架,也可以借助卸载。

我们的显存计算器可以为其他规模的模型做这样的估算。在软件方面,新的 GPU 架构通常意味着新的驱动、CUDA 和框架版本,因此请将您的软件栈容器化并锁定版本,并在迁移生产工作负载之前,预留时间在新系统上完成验证。

在 Vera Rubin 出货之前就需要算力?

目前有两种选择可用,每张 GPU 最高配备 288 GB 显存:

  • HGX B300 服务器:每台服务器 8 张 Blackwell Ultra GPU,每月 US$39,900,最短期限为一个月。由于套餐按月滚动续费,您可以一直使用到 Vera Rubin 算力交付,然后免费取消。库存有限。
  • GB300 NVL72:72 张 Blackwell Ultra GPU 位于同一个 NVLink 域内,每 GPU 每月 US$7,990 起,租期 12 至 36 个月。如果您现在就需要机架级 NVLink 域,请选择它,并结合您的 Vera Rubin 时间表来确定租期长度,否则这两项承诺会相互重叠。

一种务实的做法是:先在 HGX B300 服务器上开始训练,保持检查点和数据流水线的可移植性,等 Vera Rubin 交付后再把下一轮训练迁移过去。HGX B300 服务器可以直接在部署页面订购,付款后 10 分钟内交付;您的 Vera Rubin 预订申请也从同一页面提交。

Vera Rubin NVL72 价格

Vera Rubin NVL72 目前还没有公开标价。每一笔预订都会以书面形式确认其配置、价格和租期,在您接受之前无需支付任何费用。价格以美元计,不含增值税及其他税费(如适用)。到付款时,您用账户余额支付,余额通过加密货币充值:Bitcoin(BTC)、Ethereum(ETH)、Monero(XMR)、TRON 网络上的 USDT(TRC-20)或 Solana(SOL),每笔充值的汇率会在限定时间内锁定。银行卡支付即将推出,每笔付款都附有账单,显示在您的控制台中。如需了解我们在这一规模上提供的全部产品,请参阅机架级系统。

Vera Rubin NVL72:价格面议

开放预订 · 10 分钟内交付。

对比全部 15 种配置

常见问题

Vera Rubin NVL72 租用常见问题

以下为简要说明。详细内容请查阅帮助中心;拥有运行中服务器的客户可通过工单获得 7×24 小时解答。

访问帮助中心
如何预订 Vera Rubin NVL72?

免费创建账户,然后在部署页面提交预订申请,并在备注中写明工作负载、GPU 数量、租期和期望的起始日期。随后,我们会在您支付任何费用之前,以书面形式确认资源分配和条款。

预订需要付费吗?

登记意向时不收取任何费用。只有在您接受关于资源分配、价格和条款的书面确认之后,才从账户余额付款。

Vera Rubin NVL72 什么时候可以供货?

预计 2026年底开始供货,数量有限。

租用 Vera Rubin NVL72 需要多少钱?

目前还没有公开标价。每一笔预订都会在您付款前以书面形式确认其配置、价格和租期。

Vera Rubin 的规格数据是最终数据吗?

不是。本页的算力和带宽数据是 NVIDIA 公布的初步数据,在系统出货前可能会有变化。请以显存容量(每张 GPU 288 GB HBM4)为规划依据;我们会在您付款前以书面形式确认确切配置。

在 Vera Rubin 到货之前,我可以使用什么?

HGX B300 服务器每张 GPU 同样配备 288 GB 显存,最短期限为一个月;GB300 NVL72 机架提供 12 至 36 个月的租期。Vera Rubin 算力交付后,按月租用的 HGX B300 套餐可以免费取消。

部署 GPU 服务器

规划您的 Vera Rubin NVL72 算力。

提交预订申请,并在备注中写明 GPU 数量、期限和时间安排。在您付款之前,我们会在控制台中确认资源分配、价格和期限。

  • 资源分配与条款书面确认
  • 确认前无需付款
  • 加密货币支付,最高加赠 50%

登录 OverGPU

管理您的 GPU 服务器、余额和账单。

首次使用 OverGPU? 创建账户