智东西 07-31
NVIDIA连甩多项NIM微服务!把生成式AI与USD打通了
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

作者 | ZeR0

编辑 | 漠影

智东西 7 月 30 日报道,在国际顶级计算机图形学会议 SIGGRAPH 2024 上,NVIDIA 今日发布了通用场景描述(OpenUSD)的重大成果,以扩大其在机器人、工业设计和工程领域的应用,有助于帮助开发者提高构建高精度虚拟世界的能力,这对 AI 后续发展很是重要。

今天 NVIDIA 新发布的内容包括适用于 AI 模型的 NVIDIA NIM 微服务,可生成回答用户查询的 OpenUSD 语言、生成 OpenUSD Python 代码、将材质应用于 3D 物体、理解 3D 空间和物理学以帮助加快数字孪生的开发等。全球首个用于 OpenUSD 开发的生成式 AI 模型将以 NVIDIA NIM 微服务的形式提供。

其他还包括可用于机器人和工业仿真数据格式的全新 USD 连接器,以及各种开发者工具,用户可通过它们将海量 NVIDIA RTX 全光线追踪数据集传输到苹果 Vision Pro。

通过基于 OpenUSD 的全新生成式 AI,以及在 NVIDIA Omniverse 平台构建的 NVIDIA 加速的开发框架,越来越多的行业现在能够开发出用于可视化工业设计和工程项目的应用,以及用于构建新一代物理 AI 和机器人的环境仿真的应用。

一、新 NIM 微服务:将生成式 AI 应用于 USD

OpenUSD 是一个通用 3D 数据交换框架。NVIDIA 去年与皮克斯、Adobe、苹果、Autodesk 共同创立了 OpenUSD 联盟,并通过该联盟与其他伙伴一起发布了 OpenUSD 的新版本、OpenUSD 核心规范的进展以及新成员的加入情况。

NVIDIA 开发的全球首个用于 OpenUSD 开发的生成式 AI 模型将以 NVIDIA NIM 微服务的形式提供。这些模型使得开发者能将生成式 AI copilot 和 agents 整合到 USD 工作流中,拓宽 3D 世界的可能性,帮助加快 USD 在制造业、汽车行业和机器人等新工业领域的应用。

预览版中的微服务包括:

USD Code NIM 微服务:回答常识性 OpenUSD 问题,并基于文本提示自动生成 OpenUSD-Python 代码,然后将其输入到 OpenUSD 查看应用程序(例如皮克斯的 USDView)或基于 NVIDIA Omniverse Kit 的应用,以实现相应 3D 数据的可视化。

USD Search NIM 微服务:使开发者能够使用自然语言或图像输入,在海量 OpenUSD、3D 和图像数据库中进行搜索。

USD Validate NIM 微服务:检查上传文件与 OpenUSD 发布版本的兼容性,并生成完全由 NVIDIA Omniverse Cloud API(应用编程接口)驱动的 RTX 渲染路径追踪图像。

即将提供的新微服务包括:

USD Layout NIM 微服务:使用户能够基于空间智能,根据一系列文本提示组装出基于 OpenUSD 的场景。

USD SmartMaterial NIM 微服务:预测并将逼真的材料应用于计算机辅助设计对象。

fVDB Mesh Generation NIM 微服务:根据点云数据生成基于 OpenUSD 的网络,并通过 Omniverse Cloud API 进行渲染。

fVDB Physics Super-Res NIM 微服务:对帧或帧序列执行 AI 超分辨率 ,生成基于 OpenUSD 的高分辨率物理仿真。

fVDB NeRF-XL NIM 微服务:使用 Omniverse Cloud API 在 OpenUSD 中生成大规模神经辐射场。

全球制造业巨头富士康受益于 NVIDIA 的计算平台,利用 NIM 微服务和 Omniverse 为一家正在开发中的工厂创建了数字孪生。

全球领先的营销与传播服务公司 WPP 是 USD Search 和 USD Code NIM 微服务的早期用户之一,将这些微服务用于其基于 NVIDIA Omniverse 构建的生成式 AI 内容创建管线中,为可口可乐公司等客户提供服务。

富士康首席数字官兼智能制造平台负责人史喆认为,NVIDIA Omniverse 和全新的 NIM 微服务将使数字孪生的开发变得更加普及,并帮助富士康的团队以前所未有的速度构建基于物理的虚拟工厂。

二、新USD 连接器:加速数据无缝导入,助攻机器人开发

除了微服务外,NVIDIA 还推出了多款适用于机器人数据格式和苹果 Vision Pro 流式传输的全新 USD 连接器。这些连接器将为更多行业带来 OpenUSD 互操作性与高级创作能力。

NVIDIA 与工业巨头西门子正在扩大合作,将把 OpenUSD 流水线与西门子 Simcenter 仿真技术组合集成,以支持基于证据的决策和关键利益相关方之间的协作,实现复杂仿真数据的高保真、实时、逼真可视化,让企业能够更加深入地了解产品在实际操作环境中的性能。西门子将把 Omniverse 纳入到其 Teamcenter 产品生命周期管理软件组合中,为这项工作打好基础。

NVIDIA 还发布了一个从统一机器人描述格式到 OpenUSD 的连接器,以便机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。

为了推动 OpenUSD 生态系统的扩张,NVIDIA 发布了OpenUSD Exchange 软件开发套件,帮助开发者创建出自己的强大 OpenUSD 数据连接器。

新的开发者工具和 API 可通过 NVIDIA Graphics Delivery Network(GDN),将大规模 OpenUSD 场景从基于 Omniverse 平台构建的应用流式传输到 。目前,这些新工具和 API 提供抢先体验版本。

NVIDIA API 目录现在提供 USD Search、USD Code 和 USD Validate NIM 微服务的预览版。OpenUSD – URDF 连接器与 NVIDIA Isaac Sim 一起提供。

开发者可使用全新 Omniverse 开发者工具和参考工作流,将生成式 AI 集成到 OpenUSD 工作流中,使用 OpenUSD 构建生成式 AI 赋能的合成数据管线。

结语:重工业的生成式 AI 潮已经到来

" 重工业的生成式 AI 潮已经到来。"NVIDIA Omniverse 与仿真技术副总裁 Rev Lebaredian 说," 直到最近,数字世界的主要用户还是创意行业;而现在,借助 NVIDIA NIM 微服务为 OpenUSD 带来的增强功能和可访问性,各个行业都可以创建基于物理学的虚拟世界和数字孪生,在加快创新的同时,为机器人这次新一轮 AI 技术热潮做好准备。"

NVIDIA 不仅在 AI 领域持续领先,也是推动工业元宇宙发展的积极贡献者。今日的新发布则是 NVIDIA 为改变 3D 内容创作和交互方式所提供的新利器,也反映了这家计算巨头为推动 USD 发展所做出的最新努力。

数字孪生将为加速新一波工业制造和自主机器的发展提供助力。生成式 AI 模型则有望提供更高效、更准确的模拟,进而提高工业应用的性能和可靠性。在工业数字化和内容创作领域,越来越多的企业开始利用 OpenUSD 和生成式 AI 技术来突破工业元宇宙、数字孪生、3D 内容创作等解决方案的边界。随着 NVIDIA 持续推出更多好用的 NIM 微服务和 USD 连接器,该公司将在这股浪潮中处于有利地位。

智东西(公众号:zhidxcom)

作者 | ZeR0

编辑 | 漠影

智东西 7 月 30 日报道,在国际顶级计算机图形学会议 SIGGRAPH 2024 上,NVIDIA 今日发布了通用场景描述(OpenUSD)的重大成果,以扩大其在机器人、工业设计和工程领域的应用,有助于帮助开发者提高构建高精度虚拟世界的能力,这对 AI 后续发展很是重要。

今天 NVIDIA 新发布的内容包括适用于 AI 模型的 NVIDIA NIM 微服务,可生成回答用户查询的 OpenUSD 语言、生成 OpenUSD Python 代码、将材质应用于 3D 物体、理解 3D 空间和物理学以帮助加快数字孪生的开发等。全球首个用于 OpenUSD 开发的生成式 AI 模型将以 NVIDIA NIM 微服务的形式提供。

其他还包括可用于机器人和工业仿真数据格式的全新 USD 连接器,以及各种开发者工具,用户可通过它们将海量 NVIDIA RTX 全光线追踪数据集传输到苹果 Vision Pro。

通过基于 OpenUSD 的全新生成式 AI,以及在 NVIDIA Omniverse 平台构建的 NVIDIA 加速的开发框架,越来越多的行业现在能够开发出用于可视化工业设计和工程项目的应用,以及用于构建新一代物理 AI 和机器人的环境仿真的应用。

一、新 NIM 微服务:将生成式 AI 应用于 USD

OpenUSD 是一个通用 3D 数据交换框架。NVIDIA 去年与皮克斯、Adobe、苹果、Autodesk 共同创立了 OpenUSD 联盟,并通过该联盟与其他伙伴一起发布了 OpenUSD 的新版本、OpenUSD 核心规范的进展以及新成员的加入情况。

NVIDIA 开发的全球首个用于 OpenUSD 开发的生成式 AI 模型将以 NVIDIA NIM 微服务的形式提供。这些模型使得开发者能将生成式 AI copilot 和 agents 整合到 USD 工作流中,拓宽 3D 世界的可能性,帮助加快 USD 在制造业、汽车行业和机器人等新工业领域的应用。

预览版中的微服务包括:

USD Code NIM 微服务:回答常识性 OpenUSD 问题,并基于文本提示自动生成 OpenUSD-Python 代码,然后将其输入到 OpenUSD 查看应用程序(例如皮克斯的 USDView)或基于 NVIDIA Omniverse Kit 的应用,以实现相应 3D 数据的可视化。

USD Search NIM 微服务:使开发者能够使用自然语言或图像输入,在海量 OpenUSD、3D 和图像数据库中进行搜索。

USD Validate NIM 微服务:检查上传文件与 OpenUSD 发布版本的兼容性,并生成完全由 NVIDIA Omniverse Cloud API(应用编程接口)驱动的 RTX 渲染路径追踪图像。

即将提供的新微服务包括:

USD Layout NIM 微服务:使用户能够基于空间智能,根据一系列文本提示组装出基于 OpenUSD 的场景。

USD SmartMaterial NIM 微服务:预测并将逼真的材料应用于计算机辅助设计对象。

fVDB Mesh Generation NIM 微服务:根据点云数据生成基于 OpenUSD 的网络,并通过 Omniverse Cloud API 进行渲染。

fVDB Physics Super-Res NIM 微服务:对帧或帧序列执行 AI 超分辨率 ,生成基于 OpenUSD 的高分辨率物理仿真。

fVDB NeRF-XL NIM 微服务:使用 Omniverse Cloud API 在 OpenUSD 中生成大规模神经辐射场。

全球制造业巨头富士康受益于 NVIDIA 的计算平台,利用 NIM 微服务和 Omniverse 为一家正在开发中的工厂创建了数字孪生。

全球领先的营销与传播服务公司 WPP 是 USD Search 和 USD Code NIM 微服务的早期用户之一,将这些微服务用于其基于 NVIDIA Omniverse 构建的生成式 AI 内容创建管线中,为可口可乐公司等客户提供服务。

富士康首席数字官兼智能制造平台负责人史喆认为,NVIDIA Omniverse 和全新的 NIM 微服务将使数字孪生的开发变得更加普及,并帮助富士康的团队以前所未有的速度构建基于物理的虚拟工厂。

二、新USD 连接器:加速数据无缝导入,助攻机器人开发

除了微服务外,NVIDIA 还推出了多款适用于机器人数据格式和苹果 Vision Pro 流式传输的全新 USD 连接器。这些连接器将为更多行业带来 OpenUSD 互操作性与高级创作能力。

NVIDIA 与工业巨头西门子正在扩大合作,将把 OpenUSD 流水线与西门子 Simcenter 仿真技术组合集成,以支持基于证据的决策和关键利益相关方之间的协作,实现复杂仿真数据的高保真、实时、逼真可视化,让企业能够更加深入地了解产品在实际操作环境中的性能。西门子将把 Omniverse 纳入到其 Teamcenter 产品生命周期管理软件组合中,为这项工作打好基础。

NVIDIA 还发布了一个从统一机器人描述格式到 OpenUSD 的连接器,以便机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。

为了推动 OpenUSD 生态系统的扩张,NVIDIA 发布了OpenUSD Exchange 软件开发套件,帮助开发者创建出自己的强大 OpenUSD 数据连接器。

新的开发者工具和 API 可通过 NVIDIA Graphics Delivery Network(GDN),将大规模 OpenUSD 场景从基于 Omniverse 平台构建的应用流式传输到 。目前,这些新工具和 API 提供抢先体验版本。

NVIDIA API 目录现在提供 USD Search、USD Code 和 USD Validate NIM 微服务的预览版。OpenUSD – URDF 连接器与 NVIDIA Isaac Sim 一起提供。

开发者可使用全新 Omniverse 开发者工具和参考工作流,将生成式 AI 集成到 OpenUSD 工作流中,使用 OpenUSD 构建生成式 AI 赋能的合成数据管线。

结语:重工业的生成式 AI 潮已经到来

" 重工业的生成式 AI 潮已经到来。"NVIDIA Omniverse 与仿真技术副总裁 Rev Lebaredian 说," 直到最近,数字世界的主要用户还是创意行业;而现在,借助 NVIDIA NIM 微服务为 OpenUSD 带来的增强功能和可访问性,各个行业都可以创建基于物理学的虚拟世界和数字孪生,在加快创新的同时,为机器人这次新一轮 AI 技术热潮做好准备。"

NVIDIA 不仅在 AI 领域持续领先,也是推动工业元宇宙发展的积极贡献者。今日的新发布则是 NVIDIA 为改变 3D 内容创作和交互方式所提供的新利器,也反映了这家计算巨头为推动 USD 发展所做出的最新努力。

数字孪生将为加速新一波工业制造和自主机器的发展提供助力。生成式 AI 模型则有望提供更高效、更准确的模拟,进而提高工业应用的性能和可靠性。在工业数字化和内容创作领域,越来越多的企业开始利用 OpenUSD 和生成式 AI 技术来突破工业元宇宙、数字孪生、3D 内容创作等解决方案的边界。随着 NVIDIA 持续推出更多好用的 NIM 微服务和 USD 连接器,该公司将在这股浪潮中处于有利地位。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

逗玩.AI

逗玩.AI

ZAKER旗下AI智能创作平台

相关标签

nvidia ai 微服务 机器人 vision
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论