不止于看见，nvidia isaac perceptor 助力打造高效移动机器人感知-9479威尼斯

移动机器人，如何靠ai起飞？

《“十四五”机器人产业发展规划》中提出，2025 年，我国将成为全球机器人技术创新策源地、高端制造集聚地和集成应用新高地。

随着规划战略的稳步推进，在机器人技术日新月异的，国产机器人成果丰硕，移动机器人（amr /agv）作为制造业转型升级中的重要角色之一，随着仓储物流行业的不断发展和机器人技术的逐步成熟，正逐渐成为物料搬运场景应用中的主力军。

无论是传统的 agv，还是新兴的 amr，尽管目前国内外许多产品已能够完成物料运输的工作，但面对日益复杂的非结构化应用场景（如工业制造、仓库、物流、户外环境），企业对移动机器人的智能化水平提出了更高的要求。复杂多变的现实环境，要求机器人不仅能感知宏观的运动与变化，更需具备灵活的避障以及导航能力，以应对冲撞、实时定位等各种挑战。

图片来源：nvidia

为了推动移动机器人向更全面智能化迈进，ai 领域的——nvidia 也带来了突破性的技术进展。在今年 3 月份的 gtc 2024 上，nvidia 发布了为 amr/agv 开发的参考工作流——isaac perceptor，可为机器人提供先进的视觉 ai 技术，助力企业快速构建可在非结构化环境中进行感知、定位和操作的稳健 amr。这不仅向行业展示了 nvidia 在移动机器人领域所带来的创新成果，更预示着 nvidia 正引领着整个移动机器人行业，迈向技术革新与感知能力飞跃的新纪元。

专为移动机器人量身定制，可实现 360° 视觉感知

高效感知是移动机器人的核心竞争力。移动机器人在各行各业中的发展过程，本质上是一个以智能化移动机器人取代固定、机械生产方式的过程。因此，要想突破应用的边界，还需要进一步强化“机器人”属性，不断提高其智能化水平。具体到实际应用，移动机器人除了要能够自主行驶，还应具备环境理解、适应动态环境和准确识别障碍物等高效感知的能力，为此，视觉技术在移动机器人领域的深入应用至关重要。

nvidia 的 isaac perceptor 便是一套专为移动机器人设计的硬件加速软件包，它基于 nvidia isaac 机器人操作系统（ros）构建，凭借高精度多摄像头感知、高效的ai加速、强大的vslam能力、实时的3d场景重建，以及高效的时间同步与仿真开发等特点，在移动机器人技术领域展现出了显著的优势。

仔细来看，isaac perceptor 关键的功能便是多摄像头和3d环绕视觉，它能够以每秒 30hz 的频率处理每台摄像头高达 16.5m 个深度点。这种高密度的数据处理能力确保了机器人在复杂环境中能够捕捉到更多细节，从而实现更的环境感知。通过来自立体摄像头的时间同步图像对，isaac perceptor 还能够计算出立体视差，进而生成深度图像或点云。这一过程为机器人提供了丰富的三维空间信息，有助于其更好地理解和适应环境。

其次，在 ai 加速方面，isaac perceptor集成了高效的半监督深度神经网络（ess dnn），为基于深度神经网络的立体视差计算提供了gpu加速支持。这种加速能力使得机器人在处理大规模数据时能够保持高效率，从而更快地做出决策和响应。对于需要高精度路径规划的任务，开发者可以通过 gpu 加速的运动规划器（如 cumotion），显著缩短周期时间，这种加速能力也使得机器人在执行复杂任务时能够更加迅速。

ess dnn 检测 5 米处的障碍物（图片来源：nvidia）

通过系统级的环境分析，快速在机器人系统中建立实时环境模型，也可助力机器人在充分理解环境的前提下自主规划。isaac perceptor 具备强大的视觉同步定位和地图绘制能力，基于nvidia cuda visual slam库，isaac perceptor 可使机器人在无特征环境中也能够实现导航，翻译误差小于 1%。

在新的更新中，cuvslam 结合了来自多个立体摄像头的并发视觉里程估计，显著提高了导航的准确性和稳定性。实验表明，使用多个摄像头的机器人能够持续实现其导航目标，而使用单个摄像头时实现目标的几率不到 25%。

isaac ros visual slam 使用一个摄像头与使用两个摄像头和四个摄像头的比较

（图片来源：nvidia）

isaac perceptor 的核心是 nvblox 库，这是一个使用 cuda 加速的 3d 场景重建库。它能够识别远五米外的障碍物，以提供 2d 成本图，并在 300 毫秒内进行更新。这种实时的3d场景重建能力为机器人提供了jingque的环境模型，有助于其更好地进行路径规划和避障。

使用 isaac ros nvblox 进行体素 3d 重建，包括悬置障碍物重建

（图片来源：nvidia）

此外，isaac perceptor 能够在传感器数据采集时间不超过 100 毫秒的情况下实现jingque的多传感器时间同步，确保了机器人能够同时获取到多个传感器的数据，并进行准确的融合处理。isaac perceptor 还提供了用于仿真开发的传感器参考模型（在 nvidia isaac sim 中），这使得开发者能够在虚拟环境中对机器人进行测试和验证，从而加快开发进度并降低开发成本。

isaac perceptor 基于 ai 的强大功能使得移动机器人的视觉更敏锐、判断更准确、理解更深入，解决原来只有基于人类认知才能解决的问题，使机器人可以快速切入各个场景大显身手，安全隐患无处遁形。

科技实力尽显，落地应用大有可为

具体到应用，nvidia isaac perceptor 适用于各种需要自主导航和感知能力的场景，包括但不限于仓储物流、工业车间与医院等。

现阶段，移动机器人市场仍属于竞争型市场，行业集中度正逐年提升，越来越多的仓储设备/集成商也开始加大在移动机器人产品、技术等领域的布局。那么，在能听到市场“炮火声”的地方，企业更需进行深度技术合作及开拓新应用，不断提升企业核心竞争力，这样才能在市场中立于不败之地。

nvidia isaac perceptor 的早期9479威尼斯的合作伙伴中既有仓储/内部物流行业的企业，也有汽车/工业机器人制造商和集成商，包括 arcbest、比亚迪电子、gideon、凯傲、kudan、idealworks、rgo 和泰瑞达机器人。

今年6月份，rgo robotics 就曾宣布将把 nvidia 的 isaac 技术集成到其感知平台中，为 amr 提供更先进的视觉功能。

rgo 表示，其感知引擎是一种用于定位、障碍物检测和场景理解的人工智能和视觉系统，通过将其与 nvidia isaac perceptor 加速库相结合，移动机器人可以在新设施中快速设置，客户由此可以在几个月内快速部署移动机器人，并且在任何环境中稳定运行它们。

图片来源：rgo robotics

汽车巨头子公司比亚迪电子也表示正在利用nvidia isaac perceptor进行全系列 amr 的开发，并进一步提出一套完整的工厂物流9479威尼斯的解决方案。

据了解，isaac perceptor 的多摄像头 3d 环视功能为比亚迪电子 amr 提供了强大的视觉感知能力，使其能够更准确地识别周围环境，实现自主避障和导航。通过采用 nvidia jetson orin 高性能人工智能系统级模块，尤其是激光雷达和视觉感知模块，从而将激光雷达、imu、轮速计等多传感器融合技术结合，amr 可达到在室内大面积且复杂动态环境中进行实时高精度建图和定位的强大能力，以此实现高效、的物流作业。

通过应用 nvidia isaac perceptor 技术开发的 amr，比亚迪电子成功优化了生产流程中的物流环节，amr 的自主导航和作业能力显著提高了生产效率与安全性，也为企业大幅降低了生产成本。

此外，arcbest 的 vaux smart autonomy amr 叉车和前移式卡车也使用了 isaac perceptor。集成相关技术后，机器人获得了更好的感知、语义感知导航和 3d 映射，在仓库、配送中心和制造设施的物料搬运过程中，能够顺利进行障碍物检测。

图片来源：arcbest

客户的体验和满意度是企业的目标，这些9479威尼斯的合作伙伴的成功案例进一步证明了 isaac perceptor 在移动机器人感知领域的zhuoyue性能和广阔应用前景。值得注意的是，目前一些传统移动机器人主要使用 2d 激光雷达或 3d 激光雷达进行检测，前者功能有限，无法看到的低洼危险或悬挂物等障碍物，后者成本高昂，不利于企业进行成本控制，而 isaac perceptor 通过提供基于多个摄像头且不影响功能的9479威尼斯的解决方案，在大幅提高移动机器人避障水平的同时，助力企业完美实现降本增效，这正是移动机器人企业提升核心竞争力的关键所在。

如今移动机器人主要应用于仓储、产线中，但在智能制造时代，行业仍具有很大的想象空间，而 ai 技术将为移动机器人行业注入源源不断的发展动力。

从技术革新到行业应用，再到生态系统建设和用户体验的改善，nvidia isaac perceptor 利用先进的生成式 ai 和仿真技术，正在为移动机器人行业带来前所未有的技术革新，也预示着未来更多领域的自动化和智能化可能性。未来，随着 ai 技术的不断进步和行业的深入合作，nvidia 将持续在 ai 乃至机器人行业中扮演重要角色，对于 nvidia 而言，其对机器人市场的探索才刚刚开始。