对于 Llama、Qwen 和 DeepSeek 等前沿开源权重模型，一个 3000 亿参数的 AI 模型在采用 4 位量化后，仅权重部分就需约 150GB 存储空间。这一硬性指标此前使得在紧凑型开发者工作站上进行前沿规模的本地推理成为不可能。

本周，AMD 推出了升级版的 Ryzen AI Halo 开发者平台。该平台搭载 Ryzen AI Max+ PRO 495 处理器，配备 192GB 统一内存，成为首款具备足够容量加载这些权重，并保留关键值（KV）缓存空间以应对上下文增长的紧凑型桌面系统。目前，Linux 配置版本已在 Micro Center 上架，售价 7,299.99 美元。

然而，突破内存上限伴随着性能权衡。独立基准测试显示，在与当前大多数开发人员常用的、可容纳于 64GB 内存内的模型对比时，Halo 生成令牌的速度比 NVIDIA DGX Spark 慢约 30%。DGX Spark 售价 4,699 美元，拥有 128GB 统一内存及成熟的 CUDA 开发生态。

简而言之，对于必须运行超过 64GB 内存阈值模型的开发人员，Halo 物有所值；而对于其他用户，它是一个更慢且更昂贵的选择。

192GB 内存如何重构前沿 AI 模型的运行逻辑

支持 192GB Halo 的核心论点不在于原始计算速度，而在于 " 哪些模型能完全装入内存 "。

大型语言模型推理本质上是受内存限制的问题。在生成第一个令牌前，模型权重必须加载至 GPU 可访问的内存中。在 4 位量化标准下，每 10 亿参数约占 0.5GB 空间。因此，3000 亿参数模型仅权重即需 150GB。若计入随上下文长度增长的关键值缓存（典型 128k 上下文窗口下需额外数十 GB），实际内存需求推至 160GB 以上。

AMD 允许将 192GB 内存池中的最多 160GB 分配为 GPU 显存。相比之下，NVIDIA DGX Spark 仅有 128GB，旗舰桌面显卡 RTX 5090 仅为 48GB。在最大 64GB GPU 内存分配的竞品紧凑型工作站上，前沿级模型根本无法运行；而在 Halo 上，它们可以。

这一能力源于统一内存架构：Ryzen AI Max+ PRO 495 在 CPU、集成 GPU 和 NPU 之间共享单个 LPDDR5X-8533 内存池，消除了离散 GPU 架构在模型超出板载显存时的延迟惩罚和数据复制问题。

该内存池带宽为 273GB/s，高于前代 128GB Halo 的 256GB/s。正是带宽决定了推理速度：GPU 计算单元需连续从内存流式传输权重。Halo 在适合 64GB 内存的模型上落后于 DGX Spark，正是因为 DGX Spark 通过 NVLink 互连提供了更高的有效带宽。

Ryzen AI Max+ PRO 495 硬件解析

新平台处理器基于 Zen 5 架构，拥有 16 核 32 线程，加速频率高达 5.2GHz。集成 GPU 为 Radeon 8065S（RDNA 3.5 架构，40 个计算单元），XDNA 2 NPU 提供高达 55 TOPS 的 AI 吞吐量，用于处理低延迟任务。

连接性方面，包括 PCIe 4.0、两个 40Gbps USB4 接口、10Gbps 以太网、Wi-Fi 7 及 2TB SSD。热设计功耗在 45W 至 120W 之间动态调整。"PRO" 后缀增加了企业管理和安全功能，适用于受监管或商业开发环境。

解读 AMD 的 "34 倍性能 " 基准测试

AMD 发布的基准测试显示，在 18 种生成式 AI 工作负载中，Halo 吞吐量比配备 M5 Pro 芯片的 MacBook Pro 高 34.3 倍，比 Intel Core Ultra X9 388H 系统高 32.2 倍。

需注意，AMD 使用 "DNR"（未运行）标记表示对比系统无法加载的工作负载。在多项测试中，Apple 和 Intel 系统因内存不足直接无法运行，导致吞吐量为零。因此，这一倍数反映的是 " 能否运行 " 的定性差异，而非所有系统都能运行时 AMD 速度快 34 倍。正如 Guru3D 分析指出，可用内存容量不应与推理速度混淆。

DGX Spark 在 64GB 以下模型仍占优

对于适合 64GB 以内的模型（涵盖 7B 至 70B 参数范围的主流生产部署），HotHardware 测试显示 Halo 令牌生成率比 DGX Spark 慢约 30%。这是因为 DGX Spark 基于 Grace Blackwell 超级芯片，其 NVLink-C2C 互连带宽远高于 Halo 的 LPDDR5X 总线。

Halo 的立足点完全在于 "64GB 悬崖 "。低于此标准，DGX Spark 更快、更便宜；高于此标准，Halo 是唯一能运行的紧凑型选项。对于不专门针对 300B 参数模型的研究者，Halo 高出 2,601 美元的溢价难以证明其合理性。

ROCm 10.0 缩小软件差距，但未消除

AMD 随 Halo 推出 ROCm 10.0，称其推理性能较 ROCm 7 提升 3.3 倍。软件堆栈已验证 PyTorch、vLLM、llama.cpp、Ollama 等核心工具。AMD 开发者中心提供了统一的驱动管理和模型部署界面。

然而，ROCm 与 CUDA 的生态差距依然真实存在。NVIDIA 拥有十五年的积累，许多生产库和 MLOps 工具对 ROCm 支持滞后。AMD 提供的 " 最佳已知配置 " 减少了环境故障，但无法替代 CUDA 广泛的社区工具。对于依赖 CUDA 特定库的开发人员，迁移成本仍然显著。

Windows 支持尚未就绪

首发 Halo 单元仅搭载 Linux。Windows 支持（Project Zenith）列为 " 即将推出 "，无确认日期。Project Zenith 要求至少 64GB 统一内存和 250GB/s 带宽，Halo 满足此要求。届时将预装 VS Code、GitHub Copilot 等工具。

优先发货 Linux 反映了 AMD 目标受众主要在 Linux 原生环境中开发。Windows 的延迟意味着 AMD 暂时无法触及更广泛的商业开发者市场。

第三方制造商迅速跟进

Peladn 推出了基于 PRO 495 的紧凑型系统，售价约 7,454 美元；Minisforum 推出 MS-S1 MAX-P495。Lucebox 则采取混合方案，Zero 495 将 PRO 495 APU 与 32GB GDDR6 的独立显卡配对，以牺牲统一内存余量换取额外的图形计算能力。

AMD 策略：本地构建，部署至数据中心

Halo 是 AMD 计算堆栈的最低一级。CEO 苏姿丰预测，到 2026 年底，全球 60% 的 AI 算力将转向推理。AMD 的 Helios 机架级系统已吸引 Anthropic、OpenAI 等巨头部署。

连接 Halo 与 Helios 的关键是 ROCm。在 Halo 上编写和测试的代码可直接移至 Helios 机架，无需重写推理堆栈。这种从本地开发到生产部署的连续性，是 AMD 应对 CUDA 生态优势的主要策略。

常见问题

AMD Ryzen AI Halo 192GB 值得比 NVIDIA DGX Spark 多付 2,601 美元吗？

仅当您的工作负载需要运行大于 64GB 的模型时才值得。DGX Spark 在较小模型上快 30% 且便宜 2,601 美元，生态更完善。Halo 的溢价购买了进入 300B 参数推理领域的准入权。若主要处理 70B 及以下模型，DGX Spark 是更具性价比的选择。

AMD Halo 真的能运行 300B 参数模型吗？

是的。4 位量化的 300B 模型权重约 150GB，Halo 可分配 160GB 给 GPU，留有少量余量给 KV 缓存。但在极长上下文操作下，内存压力巨大。Halo 是目前唯一能进行此类工作的紧凑型平台，但内存并非无限。

AMD ROCm 支持与 NVIDIA CUDA 相同吗？

ROCm 10.0 官方支持主流框架，但在长尾 CUDA 内核、专用库和 MLOps 平台上仍有差距。依赖 CUDA 特定工具的开发人员应预算迁移时间。

为何 Halo 内存更多，小模型推理却更慢？

内存容量与带宽不同。Halo 的 273GB/s 带宽低于 DGX Spark 的 NVLink 互连架构。令牌生成受带宽限制，因此在模型能装入两者内存时，DGX Spark 速度更快。只有当模型超出竞品加载能力时，Halo 的大内存优势才显现。

【星途科讯 图文丨 Patrick 首发于 ZAKER 科技，转载请注明出处】