星途科讯 3小时前
英伟达GPU不够用了?SambaNova用“外挂”证明自己更强
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

英特尔重金押注的 AI 芯片初创公司 SambaNova,正通过异构计算方案证明其商业价值。本周公布的最新基准测试显示,SambaNova 将 Nvidia GPU 与自研加速器结合,在推理性能上对纯 GPU 平台形成压倒性优势。

第三方权威机构 Artificial Analysis 的测试数据显示,在今年二月发布的 SambaNova SN50 系列加速器协助下,其平台处理 MiniMax M2.7 模型时,在 10,000 个输入 token 的短上下文场景中,吞吐量高达每秒 763 个 token,速度数倍于仅使用 GPU 的竞争对手。即便在长上下文场景下,该平台仍能维持每秒 450 个以上的 token 生成速度。

异构架构:预填充与解码分离

这一性能突破源于其独特的异构推理架构。SambaNova 将推理管线拆分为两个阶段:计算密集型的 " 预填充 "(prefill)阶段由四块 Nvidia H200 GPU 负责,用于处理提示词并生成键值缓存;而受内存带宽限制的 " 解码 "(decode)阶段,即输出 token 的过程,则交由包含 16 个 SN50 加速器的 SambaNova 机架处理。

这种分离式架构已成为降低 AI 代理长期运行成本的关键。此前,Nvidia 通过 NVL72 系统及基于 Groq 技术的 LPX 机架展示了类似思路,AMD、AWS 及 Cerebras 等厂商也相继推出异构或分离式推理平台。

SambaNova 的核心卖点在于 " 利旧 "。通过将其系统作为解码加速器,企业可为现有的老旧 GPU 集群注入新活力。此外,该系统采用风冷设计,可直接部署于传统数据中心,无需像 Nvidia 最新的 Rubin GPU 那样依赖复杂的液冷设施。

未来,SambaNova 计划展示配备 128 个乃至 256 个加速器的更高配置,以验证其在高吞吐量下的稳定性。这正是传统纯 GPU 方案难以克服的短板,也是 Nvidia 收购 Groq 的重要驱动力之一。

资本加持:F 轮融资首关完成

商业化方面,Vector Core Compute 已成为首批部署该 "GPU+RDU" 组合方案的合作伙伴,TogetherAI 则是其首个大规模客户。

资金层面,SambaNova 周三宣布完成 10 亿美元 F 轮融资的首次交割,由 General Atlantic 领投。本轮融资后,公司估值达到 110 亿美元,为其第五代产品的规模化生产提供了充足弹药。

【星途科讯 图文丨三一一 首发于 ZAKER 科技,转载请注明出处】

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

gpu 融资 nvidia 吞吐量 第五代
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论