今早，在美国丹佛举行的第 51 届 SIGGRAPH 图形大会上，NVIDIA 宣布，将为全球领先的机器人制造商、AI 模型开发者和软件制造商提供一套服务、模型以及计算平台，以开发、训练和构建下一代人形机器人。

NVIDIA 带来了适用于 OpenUSD 语言、几何体、物理学和材质的生成式 AI 模型与 NIM 微服务。这一新服务将加速基于通用场景描述的工作流以及工业数字孪生和机器人的开发。

NVIDIA   创始人兼   CEO   黄仁勋表示，"AI   的下一波浪潮是机器人，其中最令人兴奋的发展之一是人形机器人。我们正在推进整个   NVIDIA   机器人堆栈的发展，面向全球人形机器人开发者和公司开放访问，让他们能够使用最符合其需求的平台、加速库和   AI   模型。"

值得一提的是，黄仁勋还同   Meta   创始人兼   CEO   马克 · 扎克伯格进行了炉边谈话。二人一同探讨了基础研究如何推动 AI 突破性进展，以及生成式 AI 和开源技术如何为开发者和创作者赋能。

将生成式 AI 引入 OpenUSD

在本次大会上，NVIDIA 发布了通用场景描述（OpenUSD）的重大成果。据介绍，NVIDIA 将扩大这一通用 3D 数据交换框架在机器人、工业设计和工程领域的应用，提高开发者为 AI 新一轮发展构建高精度虚拟世界的能力。

本次新推出的内容包括，适用于 AI 模型的 NVIDIA NIM ™微服务。

这些微服务可生成回答用户查询的 OpenUSD 语言、生成 OpenUSD Python 代码、将材质应用于 3D 物体、理解 3D 空间和物理学以帮助加快数字孪生的开发等。

此外，还包括可用于机器人和工业仿真数据格式的全新 USD 连接器，以及各种开发者工具，用户可通过它们将海量 NVIDIA RTX ™全光线追踪数据集传输到 Apple Vision Pro。

公开资料介绍，NIM   全称为   Nvidia Inference Microservice，即英伟达推理微服务，是   Nvidia AI Enterprise   的一部分，可以帮助客户快速部署产品级   AI   大模型应用。

全球首个用于 OpenUSD 开发的生成式 AI 模型也将以 NVIDIA NIM 微服务的形式提供。借助这些模型，开发者能够将生成式 AI copilot 和智能体整合到 USD 工作流中，拓宽 3D 世界的可能性，帮助加快 USD 在制造业、汽车行业和机器人等新工业领域的应用。

预览版中的微服务包括：

· USD   Code   NIM 微服务：回答常识性 OpenUSD 问题，并基于文本提示自动生成   OpenUSD-Python 代码，然后将其输入到 OpenUSD 查看应用程序（例如皮克斯的 USDView）或基于 NVIDIA Omniverse Kit 的应用，以实现相应 3D 数据的可视化。

· USD   Search   NIM 微服务：使开发者能够使用自然语言或图像输入，在海量 OpenUSD、3D 和图像数据库中进行搜索。

· USD   Validate   NIM 微服务：检查上传文件与 OpenUSD 发布版本的兼容性，并生成完全由 NVIDIA Omniverse Cloud API（应用编程接口）驱动的 RTX 渲染路径追踪图像。

即将提供的新微服务包括：

· USD Layout NIM 微服务：使用户能够基于空间智能，根据一系列文本提示组装出基于   OpenUSD 的场景。

· USD SmartMaterial NIM 微服务：预测并将逼真的材料应用于计算机辅助设计对象。

· fVDB   Mesh Generation NIM 微服务：根据点云数据生成基于 OpenUSD 的网络，并通过   Omniverse Cloud API 进行渲染。

· fVDB   Physics Super-Res   NIM 微服务：对帧或帧序列执行 AI 超分辨率  ，生成基于 OpenUSD 的高分辨率物理仿真。

·  fVDB NeRF-XL NIM 微服务：使用   Omniverse Cloud API   在   OpenUSD 中生成大规模神经辐射场。

加速人形机器人发展

开发者还可以通过访问新的   NVIDIA NIM   微服务，用于   Isaac Lab   和   Isaac Sim   中的机器人仿真、OSMO   机器人云计算编排服务和远程操作数据捕获工作流等。

NIM   微服务提供了由   NVIDIA   推理软件提供支持的预构建容器，使开发者能够将部署时间从数周缩短到几分钟。

机器人专家则将能够通过两项新的   AI   微服务，在   NVIDIA Isaac Sim ™（基于   NVIDIA Omniverse ™   平台构建的机器人仿真参考应用）中增强生成式物理   AI   仿真工作流：

MimicGen NIM   微服务可根据   Apple Vision Pro   等空间计算设备记录的远程操作数据，生成合成运动数据。Robocasa NIM   微服务可在   OpenUSD（一个用于在   3D   世界中进行开发和协作的通用框架）中生成机器人任务和仿真就绪环境。

现已推出的   NVIDIA OSMO   是一项云原生托管服务，允许用户跨分布式计算资源来协调和扩展复杂的机器人开发工作流，无论是在本地还是在云端。

OSMO   大大简化了机器人训练和仿真工作流，将部署和开发周期从数月缩短到一周内。用户可以对各种任务进行可视化管理，包括合成数据生成、模型训练、强化学习以及大规模的人形机器人、自主移动机器人和工业机械臂软件在环测试。

同时，NVIDIA   还提供了三个计算平台来简化人形机器人的开发，分别是：用于训练模型的   NVIDIA AI   超级计算机；基于   Omniverse   构建的   NVIDIA Isaac Sim，使机器人可以在仿真世界中学习和完善技能；以及用于运行模型的   NVIDIA Jetson ™   Thor   人形机器人计算机。开发者可以根据具体需求来访问和使用全部平台或其中的任何部分。雷峰网

USD 连接器赋能千行百业

多款适用于机器人数据格式和 Apple Vision Pro 流式传输的全新 USD 连接器将为更多行业带来   OpenUSD   互操作性与高级创作能力。

据介绍，当前，为帮助更多使用   OpenUSD 的工业工作负载，NVIDIA 与西门子正在扩大合作，西门子将把 OpenUSD   流水线与其 Simcenter 仿真技术组合集成，以支持基于证据的决策和关键利益相关方之间的协作。这一集成可以实现复杂仿真数据的高保真、实时、逼真可视化，让企业能够更加深入地了解产品在实际操作环境中的性能。为打好基础，西门子还将把 Omniverse 纳入到其 Teamcenter   产品生命周期管理软件组合中。

NVIDIA 还发布了一个从统一机器人描述格式（Unified Robotics Description Format）到 OpenUSD 的连接器，让机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。

除此之外，为了进一步推动 OpenUSD 生态系统的扩张，NVIDIA 发布了 OpenUSD Exchange 软件开发套件，帮助开发者创建出自己的 OpenUSD 数据连接器。

新的开发者工具和 API 可通过 NVIDIA Graphics Delivery Network（GDN），将大规模 OpenUSD 场景从基于 Omniverse 平台构建的应用流式传输到   Apple   Vision   Pro。目前，这些新工具和 API 提供抢先体验版本。

目前，NVIDIA API 目录提供有 USD Search、USD Code   和   USD Validate NIM 微服务的预览版，OpenUSD - URDF 连接器也已与   NVIDIA Isaac Sim ™一起提供。雷峰网雷峰网