智东西

作者 | 程茜

编辑 | 漠影

智东西 7 月 19 日报道，昨日，云天励飞在上海世界人工智能大会（WAIC 2026）上，重磅发布AI 推理基础设施路线图。

这也意味着云天励飞已完成从单一 AI 推理芯片产品供给者，到系统级 AI 推理基础设施建设者的身份转变，国产推理算力竞争迈入系统决胜时代。

这一路线图包含DeepVerse100P、DeepVerse100D、DeepVerse100L三款云端大算力推理芯片，以及基于这三颗芯片打造面向万卡异构集群的分离式 AI 推理基础设施，还有贯穿全链路的IFWA 软件栈，形成软硬协同的完整算力体系。

本届 WAIC 清晰折射出 AI 产业落地的核心趋势，AI 不再局限于通用对话工具，自主执行多任务的智能体成为企业数字化标配；端云协同、本地端侧大模型大规模落地；算力竞争转向芯片、集群、软件协同的全栈系统能力较量 ……

应用端的多重变化下，业界对 AI 算力的 token 生成效率、单位 token 成本两大关键指标的关注度水涨船高。

在这样的背景下，伴随全新 AI 推理路线图，云天励飞喊出了 " 百亿 token 一分钱 " 的长期目标。这一目标也是当前 AI 算力产业的普遍共识。

一、三款推理芯片 + 万卡异构集群，云天励飞亮出 AI 推理底座新蓝图

大模型进入规模化落地阶段，行业竞争重心从单芯片峰值算力转向集群端到端推理效能。我们可以从云天励飞的最新布局规划中，能窥见这套竞争逻辑的转变，正重塑国产 AI 芯片的突围路径。

首先是底层芯片，云天励飞将针对未来两年的 AI 推理需求，推出三款云端大算力推理芯片：DeepVerse100P、DeepVerse100D、DeepVerse100L。

这三款芯片针对的是大模型推理过程的不同场景。随着百万上下文大模型落地，长文档解析、企业 RAG、AI 智能体、代码仓库检索等业务普及，放大了大模型推理 Prefill 与 Decode 阶段的资源矛盾，二者共享算力与带宽会发生资源抢占的情况。

因此其芯片将针对不同推理环节进行专用优化。DeepVerse100P面向百万级上下文 Prefill 场景，针对传统混部架构中长上下文 Prefill 与 Decode 共享算力、带宽资源所造成的资源抢占问题进行优化，降低对 Decode 生成吞吐的影响；

DeepVerse100D面向 Decode 环节，重点提升内存带宽和互联效率，降低多节点通信阻塞及尾延迟；

DeepVerse100L面向 Decode 阶段计算密集型的 FFN 环节，采用 3D Memory 架构，相比主流 HBM 提升内存带宽，并通过低延迟芯片互联和激活数据快速传输，提高计算与通信的并行效率。

芯片是第一步，下一步便是推理基础设施。芯片可以解决单节点、单硬件层面的性能瓶颈，但其落地万卡规模集群时，将直面更复杂的系统性工程挑战。

当集群规模持续扩张，集群之间的跨节点通信堵塞、异构算力资源相互等待、推理尾延迟持续抬升等痛点会被放大。

基于这一判断，云天励飞计划通过上述三款芯片构建面向万卡异构集群的分离式 AI 推理基础设施。

同样，这套基础设施将遵循大模型推理不同阶段的负载特性，配置相应芯片和资源池，并通过高速互联实现协同运行，优化边界也从单颗芯片向外延伸，覆盖计算、访存、互联、集群调度、推理软件栈全系统环节。

芯片、系统之外，云天励飞还在持续优化软件栈，其打造的IFWA 软件栈覆盖模型开发、编程及系统等不同层级，可以为模型适配、算子优化、编译部署和软硬件协同提供支持。

从芯片到万卡异构集群再到软件栈，云天励飞的 AI 推理基础设施蓝图已然成型。

二、针对 AI 推理负载专门优化，预计整体性能达到国际一流水平

在大模型真实推理场景中，持续稳定的能效输出，已成为商业化落地推理算力的核心标尺。

随着各类 AI 应用规模化落地，不同硬件方案间的 token 生成成本差距持续拉大，因此持续压降海量 token 生成成本、拉升 token 吞吐效率，已成为行业核心竞争命题。在今年的 GTC 大会上，英伟达创始人、CEO 黄仁勋公开提到，英伟达基于极致的协同设计，下一代 Rubin+LPX 方案在每兆瓦的 tokens 吞吐上相比 Blackwell 提升 2 倍以上，尤其在高价值的低延迟场景，提升更是高达 35 倍，从而在全球获得了最低的 TCO token 成本。

反观云天励飞 DeepVerse100 整套方案，虽然受限于芯片工艺的代差，在免费的 token 生成场景，每兆瓦的 tokens 吞吐比 Blackwell 略低，但是在生产力级别的 tokens 生成场景，特别是高价值的低延迟场景，每兆瓦的吞吐直追 Rubin+LPX，其 tokens 成本竞争力已经超越了英伟达 Blackwell 架构，逼近 Rubin+LPX。

反观云天励飞 DeepVerse100 整套方案，其综合性能已经超越了英伟达 Blackwell 架构。此外，无论是免费闲聊、日常通用对话，还是付费专业内容生产等高负载场景，其与英伟达新一代算力平台 Rubin+LPX 的性能差距正持续收窄。

云天励飞在 AI 推理算力的布局，面向的是推理赛道的终极考题：面对多元的交互负载场景，提供稳定、高效的规模化 token 生成方案。

如今，推理算力需求暴涨势不可挡。AI 应用从基础通用问答，逐步延伸至深度逻辑推理、编程、智能体自主执行乃至多智能体协同作业，推理任务承载的上下文窗口长度、单次生成 token 总量、用户实时交互并发频率均同步攀升。

而在大模型推理环节的 Prefill（预填充）与 Decode（解码）两个阶段，二者资源消耗逻辑不同，Prefill 阶段属于算力密集型负载，需要集中处理输入上下文，Decode 阶段为访存密集型负载，会以逐 token 方式生成内容。这也意味着单纯堆峰值算力的硬件方案，会在真实业务中出现大量算力闲置，资源利用率极低。

在这样的背景下，一套全新的算力评价标尺正在取代单一峰值性能指标，如今算力的价值不再只看峰值性能有多高，而是每一度电、每一块芯片能够产出多少有效 token，计算能力、内存带宽、芯片互联、集群调度、软件适配和资源利用率都会对此产生影响。

云天励飞此次全新发布的 AI 推理路线图，核心逻辑就是围绕 token 生成全过程，对芯片、互联、软件和系统进行协同设计，通过更精细的资源配置，提高推理系统的整体效率。

三、AI 算力走向生态之争，云天励飞发起开放产业联盟倡议

顺应 AI 行业的降本刚需，云天励飞给出了一套长期落地方案，将 " 百亿 token 一分钱 " 作为目标，通过持续压缩单 token 运营开销，无限趋近算力成本的最优极限。

但想要持续压低 token 成本，仅凭单一企业独自攻关难以实现，拉动全产业链协同优化，才能找到兼顾效率与成本的最优解。

随着 AI 大规模在千行百业落地，模型厂商、芯片企业、AI 应用端企业之间的壁垒加速消融，模算协同、软硬共生成为常态。

产业上下游玩家在研发过程中，若模型开发不考量芯片存储带宽、芯片设计不贴合真实推理负载、技术研发脱离线下业务场景，最终会导致硬件利用率不足、落地成本居高不下，大量算力资源被无端浪费。

因此，脱离硬件适配的模型是空谈，缺少模型调校的芯片难发挥实力，没有真实场景持续反哺的技术走不通商业闭环，上下游绑定共生已是必然选择。

面对产业协同刚需与 token 降本长期目标，云天励飞同步发起 "1001 计划 "，联动芯片设计、IP 与 EDA、封装测试、服务器与互联、软件栈、算力平台、模型、应用及科研机构等全链条主体。

其希望通过这一计划建立长期生态合作机制，推动产业链各方围绕共同技术标准、软件适配、场景验证和产业应用形成更加紧密的协作。

AI 产业竞争核心与整条产业链的协同效率息息相关。在国产 AI 芯片重要性日渐提升的背景下，AI 产业上下游的芯片、软件、模型、应用玩家，正加速协同形成正向循环，最终实现 AI 算力普惠，加速 AI 规模化落地。

结语：AI 算力竞争焦点变了：国产 AI 算力给出推理降本终极方案

云天励飞的整套 AI 推理基础设施，旨在破解算力资源错配、有效算力利用率不足等行业痛点，通过软硬件协同持续优化单位 token 成本。

推理普惠竞争日益激烈，当通用算力难以适配碎片化推理负载，分层芯片、异构集群、原生软件栈组成的全栈方案，或成为穿越周期的解题思路。