快科技 4 月 3 日消息，NVIDIA 在官网表示，在最新的 MLPerf V5.0 基准测试中，NVIDIA 的 Blackwell 平台取得了令人瞩目的成绩。

MLPerf 是一个衡量人工智能硬件、软件和服务性能的标准化基础测试平台，它由图灵奖得主大卫 · 帕特森联合谷歌、斯坦福、哈佛大学等顶尖企业和学术机构成立，是权威性最大、影响力最广的国际 AI 性能基准测试。

最新更新的 MLPerf 添加了 Llama 3.1 405B，这是最大和最难以运行的开放权重模型之一。

NVIDIA 表示，虽然许多公司在其硬件上运行 MLPerf 基准测试以衡量性能，但只有 NVIDIA 及其合作伙伴提交并发布了 Llama 3.1 405B 基准测试的结果。

具体来看，GB200 NVL72 系统通过连接 72 个 NVIDIA Blackwell GPU，作为一个单一的超大 GPU 运行，在 Llama 3.1 405B 基准测试中，与 H200 NVL8 相比，实现了高达 30 倍的吞吐量提升。

据介绍，在生产环境中，推理部署通常受到两个关键指标的延迟限制：首次响应时间（TTFT）和每个输出令牌的时间（TPOT）。

新的 Llama 2 70B Interactive 基准测试将 TPOT 缩短了 5 倍，TTFT 降低了 4.4 倍，模拟了更快的用户体验。

在这一测试中，NVIDIA 使用 8 个 Blackwell GPU 的 DGX B200 系统，性能比使用 8 个 H200 GPU 的系统高出三倍，为这一更具挑战性的 Llama 2 70B 基准测试设定了新的高标准。