快科技 7 月 19 日消息," 云天励飞 " 公众号发文,云天励飞在 2026 WAIC 上正式披露了未来两年 AI 推理芯片的路线图,计划推出 DeepVerse 100P、100D 和 100L 三款云端大算力芯片,分别针对 Prefill、Decode 及 Decode 内部 FFN 环节的负载特征进行专用优化。
当前,大模型推理应用正加速分化为三类典型场景:以对话和知识问答为代表的通用 AI 助手,以复杂推理和编程为代表的深度推理应用,以及以 Agentic Coding、多智能体协同为代表的实时智能体系统。
随着应用不断深入,单次任务的上下文长度、推理链路复杂度与实时响应要求持续攀升,对推理系统的吞吐能力、延迟控制和成本效率提出更高挑战。在大规模部署中,峰值算力已难以单独衡量系统效能,计算、访存、互联与调度等因素共同决定着 Token 生成的成本与质量。
与此同时,大模型推理不同阶段的计算特征日趋分化。Prefill 阶段需集中处理长输入上下文,对算力要求极高;Decode 阶段以逐 Token 生成方式运行,对内存带宽和访存效率更为敏感;而随着 MoE 等模型架构的普及,Decode 内部的 Attention 与 FFN 子模块在计算密度与访存模式上也呈现出显著差异。
传统 " 一芯通吃 " 的混部架构,往往因资源共享导致资源争抢,制约整体效率。
基于这一洞察,云天励飞设计了三款专用芯片,并面向万卡异构集群进行协同部署,通过对推理阶段的解耦,为不同环节分配最适配的算力资源,系统化降低 Token 生成成本。
DeepVerse 100P:专为百万级上下文 Prefill 场景打造,避免与 Decode 共享算力和带宽,消除长上下文处理对生成吞吐的影响。
DeepVerse 100D:面向 Decode 环节的专用推理引擎,提供数倍于主流芯片的内存带宽,支持 1024 卡级 Scale-up 及光互联架构。通过按需动态建立光路直连,并依据任务实时重构链路,大幅减少传统多跳电交换中的排队、拥塞和中间转发开销,降低通信尾延迟,保障逐 Token 生成的稳定输出。
DeepVerse 100L:针对 Decode 阶段中计算密集型的 FFN 环节,采用 3D Memory 架构,相比主流 HBM 显著提升带宽;配合低延迟芯片互联和激活数据快速传输,提高计算与通信的并行效率。
三款芯片协同配合,有望在推理全链路中实现更精细的资源匹配,为未来 AI 应用的规模化落地提供高效、低成本的算力底座。


登录后才可以发布评论哦
打开小程序可以发布评论哦