IT之家 03-19
群联 aiDAPTIV+ 技术破局“内存焦虑”:用 NAND 玩转 AI
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 3 月 19 日消息,科技媒体 NeoWin 昨日(3 月 18 日)发布博文,报道称群联(Phison)展示了其 aiDAPTIV+ 技术,该技术通过动态缓存扩展内存,有望突破 AI 应用的内存瓶颈。

IT 之家援引博文介绍,人工智能(AI)和机器学习(ML)的处理能力已成为衡量现代硬件性能的重要指标,除了处理器本身的算力,AI 任务对内存的需求也十分巨大。

AI 模型参数和精度越高,对内存的需求越大。例如,单精度(float32)通常消耗四倍于参数值的内存。即使是 32GB 显存的 RTX 5090,也可能被一个 80 亿参数的模型 " 喂饱 "。

而 aiDAPTIV+ 技术通过动态缓存,结合基于 NAND 闪存 "aiDAPTIVCache" 缓存技术,扩展可用的 HBM(高带宽内存) / GDDR(专为高带宽应用设计的同步动态随机存取存储器)。

在 GTC 2025 大会上,群联携手 Maingear 公司,推出了应用 aiDAPTIV+ 技术的 AI PRO 桌面工作站,并通过 aiDAPTIVLink 3.0 新版中间件,负责 SSD 的 NAND 和 GPU 之间的数据传输,提供更快的首个 Token 时间(TTFT)回调响应,并支持更大的 LLM(大型语言模型)提示上下文。

下图展示了群联 Aidaptiv+ 技术的应用结果,在参数量超过 130 亿的模型上,群联 aiDAPTIV+ 轻松超越了 Maingear 的四路英伟达 RTX 6000 Ada 设置(未采用 aiDAPTIV+)。

Maingear 介绍称 PRO AI 工作站会动态切片 70B 训练模型,将当前切片提供给 GPU 进行高速训练,同时将模型的其余部分存储在 DRAM 和群联 AI100 SSD 中。每个 NVIDIA RTX 6000 ADA 在训练中以最少的停机时间全面表现。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论