NVIDIA · Rubin
租用 NVIDIA Vera Rubin NVL72:预订机架级算力
72 张 Rubin GPU(每张配备 288 GB HBM4 显存)和 36 颗 Vera CPU,通过 NVLink 6 互联,集成于一个液冷机架。现已开放预订:立即登记意向,我们会在您支付任何费用之前,以书面形式确认资源分配和条款。
- 显存
- 288 GB HBM4
- 带宽
- 19.2 TB/s 每 GPU
- 互联
- NVLink 6
- 支持精度
- NVFP4 · FP8 · BF16
- 整卡独享,绝不共享
- 价格与租期书面确认
- 加密货币支付
- 工程师 7×24 小时支持
配置与价格
-
Vera Rubin NVL72 开放预订
机架级 · 单一 NVLink 域
36× NVIDIA Vera · 最高 54 TB LPDDR5X · 存储按订单配置 · NVLink 6 · ConnectX-9 价格面议
资源分配书面确认
付款后 10 分钟内交付。
规格
Vera Rubin NVL72 规格与服务器配置
先列出厂商公布的 GPU 规格,再列出我们出租的每种服务器的确切配置。以下所有信息都会在结账时、您付款前再次显示。
NVIDIA Vera Rubin NVL72 · 每 GPU
- 架构
- RubinNVIDIA
- 显存
- 288 GB HBM4NVIDIA 公布的初步数据,可能会有变动。
- 显存带宽
- 19.2 TB/s
- FP4
- 35,000 TFLOPSNVFP4 · 稀疏算力 50,000 TFLOPS
- FP8
- 17,500 TFLOPS稠密
- BF16 / FP16
- 4,000 TFLOPS稠密
- GPU 互联
- NVLink 672 卡 NVLink 域
- 外形规格
- Vera Rubin 机架 · 液冷
- 最大功耗
- 按机架计
服务器配置
| 规格项 | Vera Rubin NVL72 |
|---|---|
| GPU | 72 × 288 GB HBM4 |
| 服务器类型 | 机架级 |
| CPU | 36× NVIDIA Vera |
| 内存 | 最高 54 TB LPDDR5X |
| 存储 | 存储按订单配置 |
| 网络 | |
| 流量 | 按合同约定 |
| 价格 | 价格面议 |
- 通过 SSH 获取 root 权限
- 预装驱动、CUDA 和 Docker 的 Ubuntu
- IPv4 + IPv6 /64
- DDoS 防护
算力数据为厂商公布的稠密算力规格;如厂商公布了结构化稀疏算力,也一并列出。实际吞吐量取决于您的模型、精度和软件。 NVIDIA 公布的初步数据,可能会有变动。
适用场景
Vera Rubin NVL72 最擅长什么
这款 GPU 在哪些场景物有所值,以及何时选择另一款更明智。
-
确保未来算力
在机架级 GPU 算力持续紧张之际,尽早登记意向,争取资源分配。
-
每张 GPU 288 GB HBM4
72 张 GPU 合计约 20.7 TB HBM4,适用于前沿规模的训练和推理。
-
单一 NVLink 6 域
72 张 Rubin GPU 和 36 颗 Vera CPU,连接在同一套机架级 NVLink 6 系统中。
-
下一代训练计划
适合计划在 NVIDIA Rubin 这一代产品上开展下一轮大规模训练的团队。
显存估算
Vera Rubin NVL72 能装下哪些模型?
在中等上下文长度下提供模型推理服务所需的 GPU 数量:权重另加约 20% 的 KV 缓存和运行时余量,并通过张量并行拆分到多张 GPU 上。 如需针对您的具体模型、上下文和批次大小进行估算,请使用显存计算器。
| 模型规模 | BF16 2 字节/参数 | FP8 1 字节/参数 | 4 位 0.5 字节/参数 |
|---|---|---|---|
| 8B Llama 3.1 8B 级 | 1 张 GPU | 1 张 GPU | 1 张 GPU |
| 14B Qwen3 14B 级 | 1 张 GPU | 1 张 GPU | 1 张 GPU |
| 32B Qwen3 32B 级 | 1 张 GPU | 1 张 GPU | 1 张 GPU |
| 70B Llama 3.3 70B 级 | 1 张 GPU | 1 张 GPU | 1 张 GPU |
| 120B 大型稠密或 MoE 模型 | 1 张 GPU | 1 张 GPU | 1 张 GPU |
| 235B Qwen3 235B MoE 级 | 2 张 GPU | 1 张 GPU | 1 张 GPU |
| 405B Llama 3.1 405B 级 | 4 张 GPU | 2 张 GPU | 1 张 GPU |
| 671B |
8 张 GPU | 4 张 GPU | 2 张 GPU |
按推理场景估算,权重量化为所示精度;长上下文和大批次需要更多显存来容纳 KV 缓存。 “勉强”表示仅在短上下文下装得下。 — 表示单个 72 卡机架装不下。
简而言之: OverGPU 接受 NVIDIA Vera Rubin NVL72 预订:单个机架含 72 张 GPU,每张配备 288 GB HBM4,价格面议。预订在线提交,在 OverGPU 确认价格和租期之前不收取任何费用。 价格截至 。
预订 Vera Rubin NVL72,可以让您在 NVIDIA 下一款机架级系统出货之前预先占得一席之地。现已开放预订:您登记意向,我们会在您支付任何费用之前,以书面形式确认资源分配和条款。如果您想租用 Vera Rubin 算力用于训练或推理,本页介绍了目前已知的信息、预订的流程,以及在此期间可以运行什么。
目前我们能介绍的 Vera Rubin NVL72 信息
- GPU 每个机架 72 张 Rubin GPU,每张配备 288 GB HBM4,合计约 20.7 TB
- CPU 36 颗 Vera CPU
- 互联 NVLink 6,即 Blackwell 系统所用 NVLink 5 的下一代
- 形态 液冷机架级系统
- 供货方式 数量有限,预计 2026年底开始供货
这份清单是刻意从简的。上方规格中的算力和带宽数据,是 NVIDIA 公布的初步数据,在系统出货前可能会有变化;我们出租的系统的确切配置,会以书面形式确认。目前可以用来做规划的是显存:每张 GPU 288 GB,与 B300 容量相同,但采用 HBM4,这是比 Blackwell 系统的 HBM3e 更新一代的显存。
Vera Rubin NVL72 预订流程
- 登记意向。免费创建账户,并在部署页面提交预订申请,在备注中写明以下信息:您计划运行的任务、所需的 GPU 或机架数量、您考虑的租期,以及您可接受的最早和最晚起始日期。
- 我们以书面形式确认。当我们能够分配算力时,会以书面形式向您发送资源分配、价格和租期。在此确认之前,您无需支付任何费用。
- 由您决定。如果条款合适,您就接受;如果不合适,您可以直接放弃,无需支付任何费用。
- 付款。您用账户余额付款,余额通过加密货币充值。
对于这种规模的订单,我们可能会在确认之前,要求对您的公司及预期用途进行验证,具体见我们的客户身份验证政策。告诉我们您的日期有多大弹性,有助于我们为您匹配可分配的算力。
应该预订 Vera Rubin,还是租用现已出货的产品?
当您的规划已经超出目前可用的产品时,预订就是合理的选择:
- 您的训练路线图延续到 2027年,并需要最新一代的 72 卡 NVLink 域。
- 您的模型或其训练状态已经超出一台 8 卡服务器的容量,因此无论如何您都需要机架级算力。
- 您希望在投入预算之前,先拿到书面的资源分配和价格。
如果您本季度就需要 GPU,或者您的任务用 8 张 GPU 就能完成,又或者您还在决定要训练什么,预订就不那么合理;在这些情况下,按月租用的服务器能让您保留选择余地。如果您确实要预订,一份有用的申请应写明您计划运行的模型规模和精度、GPU 数量、租期、起始时间窗口,以及对部署地点的任何限制,这样我们的书面答复才能具体明确。
现在就规划 Vera Rubin 工作负载
- FP8 精度的一万亿参数模型推理:权重约 1 TB,因此仅权重就至少需要 4 张 GPU;整个机架还能留出约 19 TB,用于 KV 缓存、激活值和其他模型。
- 405B 级模型的完整训练:
训练状态约 6.5–8.1 TB,即不计激活值需要 23 至 29 张 GPU 的显存,完全在一个 72 卡机架的容量之内。 - 一万亿参数模型的完整训练:
约 16–20 TB,接近整个机架 20.7 TB 的全部 HBM4,因此还需另外为激活值规划显存,可以跨多个机架,也可以借助卸载。
我们的显存计算器可以为其他规模的模型做这样的估算。在软件方面,新的 GPU 架构通常意味着新的驱动、CUDA 和框架版本,因此请将您的软件栈容器化并锁定版本,并在迁移生产工作负载之前,预留时间在新系统上完成验证。
在 Vera Rubin 出货之前就需要算力?
目前有两种选择可用,每张 GPU 最高配备 288 GB 显存:
- HGX B300 服务器:每台服务器 8 张 Blackwell Ultra GPU,每月 US$39,900,最短期限为一个月。由于套餐按月滚动续费,您可以一直使用到 Vera Rubin 算力交付,然后免费取消。库存有限。
- GB300 NVL72:72 张 Blackwell Ultra GPU 位于同一个 NVLink 域内,每 GPU 每月 US$7,990 起,租期 12 至 36 个月。如果您现在就需要机架级 NVLink 域,请选择它,并结合您的 Vera Rubin 时间表来确定租期长度,否则这两项承诺会相互重叠。
一种务实的做法是:先在 HGX B300 服务器上开始训练,保持检查点和数据流水线的可移植性,等 Vera Rubin 交付后再把下一轮训练迁移过去。HGX B300 服务器可以直接在部署页面订购,付款后 10 分钟内交付;您的 Vera Rubin 预订申请也从同一页面提交。
Vera Rubin NVL72 价格
如何预订 Vera Rubin NVL72?
免费创建账户,然后在部署页面提交预订申请,并在备注中写明工作负载、GPU 数量、租期和期望的起始日期。随后,我们会在您支付任何费用之前,以书面形式确认资源分配和条款。
预订需要付费吗?
登记意向时不收取任何费用。只有在您接受关于资源分配、价格和条款的书面确认之后,才从账户余额付款。
Vera Rubin NVL72 什么时候可以供货?
预计 2026年底开始供货,数量有限。
租用 Vera Rubin NVL72 需要多少钱?
目前还没有公开标价。每一笔预订都会在您付款前以书面形式确认其配置、价格和租期。
Vera Rubin 的规格数据是最终数据吗?
不是。本页的算力和带宽数据是 NVIDIA 公布的初步数据,在系统出货前可能会有变化。请以显存容量(每张 GPU 288 GB HBM4)为规划依据;我们会在您付款前以书面形式确认确切配置。
在 Vera Rubin 到货之前,我可以使用什么?
HGX B300 服务器每张 GPU 同样配备 288 GB 显存,最短期限为一个月;GB300 NVL72 机架提供 12 至 36 个月的租期。Vera Rubin 算力交付后,按月租用的 HGX B300 套餐可以免费取消。