艾瑞网 16小时前
NVIDIA发布Isaac ROS 5.0,推动智能代理式开源机器人开发
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

导语:NVIDIA 发布 Isaac ROS 5.0,为 ROS 机器人开发生态加入 AI 代理能力,并扩展开源物理 AI 库及 NVIDIA Jetson 平台部署支持。

为了构建和部署能够在动态环境中感知、推理和行动的复杂机器人应用,开发者需要新的物理 AI 模型和工具。

ROS 是一套开放框架,由 Open Robotics 发起,用于帮助人们构建机器人。NVIDIA Isaac ROS 5.0 是一组基于 ROS 构建的 GPU 加速软件包,于加拿大多伦多举行的 ROSCon 大会期间发布。该版本旨在帮助人类和 AI 代理共同构建机器人。

新版本引入了智能代理式工作流和平台支持,帮助开发者更快地构建、定制和部署机器人应用。

ROS 为现代机器人开发提供了重要的开源基础,为开发者构建和连接机器人应用提供通用工具、库和标准。

NVIDIA Isaac ROS 将 NVIDIA 加速计算、物理 AI 模型和面向生产环境的库带给近 130 万名 ROS 用户,帮助开发者利用免费、熟悉且开源的工具构建高性能机器人应用。

将 AI 代理引入机器人开发

AI 代理正在改变软件构建方式,帮助开发者自动化重复任务、浏览复杂代码库,并更快地将想法转化为可运行的应用。Isaac ROS 5.0 将这些能力引入机器人开发。

Isaac ROS 5.0 支持 ROS Lyrical 和 Ubuntu 24.04,为开发者采用最新 ROS 平台提供了路径,同时继续利用 NVIDIA 加速计算能力处理高负载机器人工作。

NVIDIA 与 Open Source Robotics Alliance 合作,为 ROS Lyrical 贡献了一套标准数据处理接口,帮助机器人软件在包括 GPU 在内的不同计算硬件之间高效运行。

这套接口面向整个 ROS 社区,为加速高负载机器人应用提供一致方式,CUDA 则提供了 GPU 加速的实际示例。

新的 NVIDIA Isaac 技能用于设置和操作机器人,可提供开发者和 AI 代理能够复用的工作流,以完成机器人开发任务。面向代理的文档也让 AI 代理更容易理解 Isaac ROS 的工具和工作流程,从而更快地将开发者意图转化为可运行的应用。

新的 FoundationStereo 微调技能可以让 AI 代理帮助开发者根据摄像头、环境和机器人应用调整立体视觉模型,使开发者能够针对特定传感器配置获得更准确的感知效果。

FoundationPose 现在提供了面向代理的推理库,使机器人能够以最高快 5.5 倍的速度感知和跟踪物体的位置与方向。

此外,抓取与放置这一连接检测、深度估计和姿态输出的常见工作流程,现在也以独立的面向代理技能形式提供,为机器人开发者提供超出 Isaac ROS 本身的更多灵活性。

加速开源机器人生态

AgenticROS 是一个由三维感知技术公司RealSense 支持的开源项目。它将 Isaac ROS 与 NVIDIA Nemotron 开源模型和 NVIDIA NemoClaw 蓝图连接起来,使 AI 代理能够与基于 ROS 的机器人交互。

RealSense 还在优化其最新的原生 AI 三维立体深度摄像头,包括 RealSense D585 Pro,以及面向 Isaac ROS 和 NVIDIA Jetson Thor 边缘 AI 平台的开源软件开发套件,帮助开发者构建感知、导航和操作应用。

Intrinsic 的 Open Machine Tending Solution 是一款用于数控机床上下料的参考应用,属于新发布的 Intrinsic Core。后者是一套开源的预配置运行时服务与能力组件,旨在加速工业机器人应用开发。

该解决方案内置对 NVIDIA FoundationPose 的兼容能力,可以直接实现物体注册、跟踪和姿态估计。借助 FoundationPose 感知流程,机器人能够动态检测和处理零部件,从而减少对刚性、昂贵的实体夹具和专用系统集成的需求。

Seeed Studio 正在将 NVIDIA Isaac ROS 与 reBot Arm 结合使用,通过 NVIDIA Jetson Thor 实现加速感知、空间理解和运动规划。

Magna 正在将 NVIDIA Isaac ROS 用作机器人感知、同步数据采集和 NVIDIA Isaac GR00T 模型部署的模块化 GPU 加速基础,并结合 Isaac Sim 硬件在环测试,将智能自动化从研究环境引入真实制造和移动出行场景。

Prefix.dev 的 Pixi 软件包管理工具让机器人开发环境更容易实现可复现。它将 ROS 与 NVIDIA CUDA 平台结合,帮助开发者更轻松地设置和共享加速机器人工作流。

作为 Isaac ROS 合作伙伴,Foxglove 通过其网页和桌面工具帮助开发者可视化和调试实时 ROS 应用。这些工具已集成到 Isaac ROS 教程中,并支持三维主题、nvblox 网格和 rosbag 等数据。

Flexiv 正在将 Isaac ROS 集成到其 Rizon 4 自适应机器人中,为开发者提供 NVIDIA 加速的机器人能力,并提供从 NVIDIA Isaac Sim 应用测试到实体机器人部署的简化路径。

Ekumen 正在现有 ROS 和 Nav2 软件栈中使用 GPU 加速的 Isaac ROS 软件包,以提升精确对接、三维障碍物检测、视觉定位和实时运动规划能力,并在 Isaac Sim 中验证每项应用。

Ekumen 使用 Isaac ROS 的 cuMotion 模块,在 GPU 上为仓储机械臂规划无碰撞路径,耗时约 2 至 5 毫秒。

Ouster 将其 Stereolabs ZED 立体摄像头与 NVIDIA Isaac ROS 集成,为机器人应用提供 GPU 加速的感知能力。这一集成简化了实时物体检测、建图和导航开发,同时保持与 ROS 生态的互操作性。

将完整的物理 AI 技术栈带到机器人上

开发者和 AI 代理构建的应用最终需要在机器人上运行。

NVIDIA Jetson 是一套可扩展计算平台,用于在边缘侧以实时性能运行物理 AI 技术栈,将 ROS、加速感知与导航、AI 模型和机器人应用逻辑结合在一起。

Isaac ROS 5.0 支持从入门级 NVIDIA Jetson Orin Nano 到高性能 Jetson Thor 设备的可扩展计算,为机器人工作负载不断复杂化时提供从开发到部署的路径。

Mentee Robotics 将 NVIDIA Isaac ROS 作为其 MenteeBot 人形机器人的感知和 AI 基础,使机器人能够实时理解视觉信息并执行学习到的行为。

Universal Robots 已将 NVIDIA Isaac ROS 集成到其 AI Accelerator 软件开发套件中,帮助系统集成商更快部署先进的感知和运动能力。该方案由边缘侧的 NVIDIA Jetson 提供支持,使机器人能够适应位置不够精确的零部件,减少对昂贵夹具的依赖。

ROBOTIS 正在将 Isaac ROS 集成到其 AI Worker 机器人中。该机器人利用 GPU 加速的物体感知能力,支持抓取、放置和对齐等视觉引导操作任务。

FieldAI 的机器人基础模型可以完全在机器人本地运行,不依赖云连接。该公司正在 Jetson 设备上集成 Isaac ROS,以提高机器人本地 AI 技术栈的效率。

Noble Machines 正在 Jetson 上使用 NVIDIA Isaac ROS,加速通用机器人在工业应用中的开发。

NVIDIA 表示,通过结合开放机器人生态、加速计算和新的代理式开发工作流,Isaac ROS 5.0 帮助开发者同时应对物理 AI 的两个方面:构建能力更强的机器人应用,并让这些应用能够高效地在现实物理世界中运行。

(文章为作者独立观点,不代表艾瑞网立场)

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

机器人 nvidia 开源 ai 物理
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论