【CNMO 科技消息】12 月 19 日，华为计算官方宣布，昇腾多模态推理加速套件—— MindIE SD 项目已正式开源。该项目旨在通过与开源社区协作，将昇腾在多模态推理领域积累的原子能力赋能给广大开发者，实现在昇腾硬件上高效运行各类前沿多模态模型。

华为

CNMO 注意到，MindIE SD 项目包含以下四大关键加速特性，旨在全方位提升多模态模型在昇腾平台上的推理效率：

1. 加速插件

提供多模态亲和加速插件能力，例如支持 block-wise 稀疏 Attention 的稀疏 Attn 插件，以及对 RoPE（旋转位置编码）等操作进行融合的融合插件，有效减少计算与内存访问开销。

2. 以存代算

提供 DiT module、DiT block、Attention 等多种粒度的缓存（Cache）算法。该特性支持根据不同场景需求选择加速策略，能显著提升模型运行时性能。用户可自定义加速比，并利用工具实现缓存算法的快速寻优。

3. 多卡并行

集成了 CFG（Classifier-Free Guidance）并行、USP（Ulysses 并行） 等先进并行能力。这些能力已融入加速算子的 API 设计中，开发者仅需进行接口替换即可自动使能，从而快速适配生成类模型的通用并行算法优化框架，充分利用多卡计算资源。

4. 量化与稀疏 Attention

针对昇腾硬件的数据类型和算力分布，提供亲和的量化算法，在保证模型效果的前提下提升推理效率并降低资源消耗。同时，提供亲和的稀疏 Attention 算子，以降低 Attention 计算的复杂度，并支持多模态算子的快速寻优。

目前，MindIE SD 已成功实现对 Stable Diffusion 系列、OpenSora、混元（Hunyuan）、万视（Wan） 等多模态生成模型的快速适配与昇腾加速。相关模型已在 Modelers/ModelZoo 仓库中发布，并与 vllm-omni 等开源组件对接。未来，其加速能力将进一步扩展至多模态理解、全模态等更广泛的场景。