电子发烧友网>人工智能> > 正文

面向ROS开发者的NVIDIA AI Perception

2021年09月29日 10:36 ? 次阅读

所有移动的事物都将变得自主化。 所有自主化的事物都需要先进的实时感知。

NVIDIA这一最新宣布,向ROS开发者社区提供整套感知技术。对于寻求将先进计算机视觉和AI/ML功能纳入基于ROS的机器人应用程序的开发人员来说,这将缩短开发时间并提高性能。

?

Open RoboTIcs将扩展用于NVIDIA AI的ROS

Open RoboTIcs首席执行官Brian Gerkey表示:“随着越来越多的ROS开发人员利用硬件平台,这些平台包含额外的计算功能,旨在减轻主机CPU的负担,ROS正在发展,以更容易有效地利用这些先进的硬件资源。我们与NVIDIA这样的加速计算领导者合作,以及其在人工智能和机器人技术创新方面的丰富经验,将为整个ROS社区带来很大益处。”

NVIDIA和Open RoboTIcs已达成协议,将在NVIDIA Jetson边缘AI平台和基于GPU的系统上加速ROS 2性能,并在 Omniverse 上实现 Open RoboTIcs 的 Ignition Gazebo 和 NVIDIA Isaac Sim 之间的无缝模拟互操作性。

NVIDIA Jetson 平台在很多应用领域中被机器人专家广泛采用。它旨在为机器人提供高性能、低延迟的处理,使其具有响应性、安全性和协作性。Open Robotics将通过升级ROS 2来高效管理位于NVIDIA Jetson平台上的GPU和其他处理器之间的数据流并共享内存,使负责实时处理摄像头和激光雷达传感器高带宽数据的应用性能得到大幅提升。

除了增强机器人应用在Jetson上的部署,Open Robotics和NVIDIA正在制定整合 Ignition Gazebo 和 NVIDIA Isaac Sim 的计划。NVIDIA Isaac Sim已支持开箱即用的ROS 1和2,并通过连接Blender和Unreal Engine 4等流行应用来创建一个至关重要的3D内容生态系统。

Ignition Gazebo数十年来在整个机器人界,包括在正在进行的DARPA Subterranean Challenge等高知名度比赛中创造了许多纪录。

通过连接这两个模拟器,ROS开发者可以轻松地在Ignition Gazebo和Isaac Sim之间移动他们的机器人和环境以运行大型模拟,还可以使用高保真动力学、精确传感器模型和逼真渲染等两个模拟器的先进功能来生成用于训练和测试AI模型的合成数据。

此次合作所产生的软件预计将于2022年春季发布。

为ROS发布的Isaac GEM速度显著加快

用于ROS的Isaac GEM是一款使ROS开发者更容易在Jetson平台上构建高性能解决方案的硬件加速包。这些GEM专注于提高图像处理和基于DNN的感知模型的吞吐量,而后者对机器人专家而言正变得日益重要。这些软件包减少了主机CPU的负载,同时显著提升了性能。

用于ROS的全新Isaac GEM包含:

● SGM Stereo Disparity和 Point Cloud

● Color Space Conversion和Lens Distortion Correction

● AprilTags Detection

图1 ROS对立体相机的支持,在ROS的Rviz工具中可以看到左侧和右侧相机视图。Rviz能显示RGB和深度图像。

Isaac Sim的新功能为ROS开发者提供便利

最新版本的Isaac Sim包含对ROS开发者社区的重要支持,其中比较引人注目的是ROS2导航栈和MoveIt运动规划框架。这些示例今天即开放使用,并可在Isaac Sim文档中找到:

Isaac Sim中的ROS示例列表

● ROS April Tag

● ROS Stereo Camera

● ROS Navigation

● ROS TurtleBot3 Sample

● ROS Manipulation和Camera Sample

● ROS Services

● MoveIt Motion Planning Framework

● Native Python ROS Usage

● ROS2 Navigation

图2 Isaac Sim on Omniverse功能模块图,包含机器人模型、环境模型和3D资料输入。

Isaac Sim生成用于训练感知的合成数据集

除了作为一个机器人模拟器之外,Isaac Sim还具备一套强大的功能,可以生成合成数据来训练和测试感知模型。随着机器人专家将更多的感知功能集成到他们的平台,这些功能将变得更加重要。显然,机器人对环境的感知能力越强,它的自主性就越强,所需的人为干预就越少。

一旦Isaac Sim生成了合成数据集,就可以将它们直接输入NVIDIA TAO(一个AI模型自适应平台),从而根据机器人的具体工作环境调整感知模型。在从目标环境中采集任何实际数据之前,就可以确保机器人的感知栈在特定工作环境中的表现。

长期以来,机器人专家在连接和集成经典机器人任务(如导航)和AI感知栈方面一直面临着各种挑战。Isaac Sim通过同时作为机器人和合成数据生成工具并与TAO训练平台进行集成解决了这一工作流程挑战。

https://www.ixigua.com/7010968939471569416?utm_source=xiguastudio

更多精彩内容,敬请期待 ROS World和2021年GTC大会

NVIDIA正在为2021年10月21日至22日的ROS World做准备。我们计划为Jetson开发者发布更多新的GEM,包括多个常用的DNN。我们还将发布多项支持ROS开发者社区的Isaac Sim功能。欢迎莅临我们的虚拟展台,参加NVIDIA ROS圆桌会议,观看关于Isaac Sim的技术演示等精彩内容。

在即将于11月8日至11日举行的GTC大会上,NVIDIA将为大家带来精彩纷呈的演讲、讲座和内容。我们专为机器人开发者准备了一个通道,其中包含Open Robotics首席执行官兼联合创始人Brian Gerkey的演讲。此外,我们还将举办涵盖NVIDIA Jetson、Isaac ROS、Isaac Sim、Isaac GYM等主题的讲座。

即刻启程

即刻体验NVIDIA AI Perception,请使用以下链接:

点击此处下载用于ROS 的Isaac GEM

点击此处进一步了解Isaac Sim

点击此处获取关于使用Isaac Sim生成合成数据的教程

点击此处进一步了解使用Tao工具包加速机器学习训练

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

焊接机器人的编程流程及技巧介绍

焊接机器人的编程流程是怎样的?焊接编程有哪些技巧?焊接机器人能够在重复动作中实现稳定焊接,完成批量产....
发表于 2021-09-30 16:18? 5次阅读
焊接机器人的编程流程及技巧介绍

e络盟发起Spy Nerd设计挑战赛

安富利旗下全球电子元器件产品与解决方案分销商e络盟通过其在线互动社区发起Spy Nerd设计挑战赛。
发表于 2021-09-30 15:53? 75次阅读
e络盟发起Spy Nerd设计挑战赛

旷视开源自主研发 AI 框架助力传统行业实现数字...

如今,开源已成为推动全球 AI 技术创新的重要驱动力,无论是硬件、软件、操作系统还是算法,都在积极拥....
发表于 2021-09-30 15:25? 83次阅读
旷视开源自主研发 AI 框架助力传统行业实现数字...

华为发布“小行星”光电PoE极简网络方案

华为CloudCampus 3.0云园区网络在无线、有线、广域互联、智能运维四个方面进行全面升级。
发表于 2021-09-30 11:10? 295次阅读
华为发布“小行星”光电PoE极简网络方案

微视图灵:AI行为分析算法与技术应用

9月27日,由电子发烧友和Elexcon联合主办的人工智能技术与应用论坛圆满举行,本次论坛邀请了专注....
发表于 2021-09-30 09:44? 406次阅读
微视图灵:AI行为分析算法与技术应用

如何对多机器人工作站I/O信号进行配置

机器人工作站是由哪些部分组成的? 怎样去创建一台多机器人工作站? 如何对多机器人工作站I/O信号进行配置? ...
发表于 2021-09-30 08:47? 0次阅读
如何对多机器人工作站I/O信号进行配置

普渡机器人亮相2021花椒大连餐饮发展论坛

9月29日,以“进化升级,穿越周期”为主题的花椒大连餐饮发展论坛盛大开幕。在本届花椒大连餐饮发展论坛....
发表于 2021-09-29 18:30? 14次阅读
普渡机器人亮相2021花椒大连餐饮发展论坛

重磅,神州云动CRM:正式发布CloudCC'1...

近日,神州云动生态型CRM的领导者正式推出CloudCC'12。 本次,CloudCC'12新增4大....
发表于 2021-09-29 16:42? 55次阅读
重磅,神州云动CRM:正式发布CloudCC'1...

基于Cortex-M7内核的STM32H725A...

本开发板将用于此次ST端侧人工智能之视觉检测线下实训 特性 基于Cortex-M7内核的STM32H....
发表于 2021-09-29 16:24? 127次阅读
基于Cortex-M7内核的STM32H725A...

华为mate50pro最新消息

华为mate50pro最新消息:华为Mate 50 Pro可能会在今年的10月份即将推出,新一代 M....
发表于 2021-09-29 16:15? 1828次阅读
华为mate50pro最新消息

自动封箱机的特点及作用介绍

自动封箱机在纸箱包装领域受到广泛使用,其主要用于纸箱封箱,使用时对于纸箱的规格变化不能太频繁,在对规....
发表于 2021-09-29 14:15? 8次阅读
自动封箱机的特点及作用介绍

无惧风雨,三星智爱·呵护系列助你实现“洗烘自由”

有人说,洗衣机是历史上100个最伟大发明之一,而如今,洗衣机搭配干衣机更是“王道”。洗衣机解放人类双....
发表于 2021-09-29 11:01? 55次阅读
无惧风雨,三星智爱·呵护系列助你实现“洗烘自由”

面向关键基础设施应用的Aupera视频AI分析

视频分析在我们生活中的许多方面都越来越多地被使用,无论是在智能楼宇中通过人脸识别控制安全点,从而提供....
发表于 2021-09-29 10:31? 251次阅读
面向关键基础设施应用的Aupera视频AI分析

为政务系统提速,来也科技RPA+AI行政审批机器...

相信很多人都去过各种窗口办事,每次办事的时候,总能看到工作人员忙里忙外,经过一项项复杂的流程,才能够....
发表于 2021-09-29 09:39? 63次阅读
为政务系统提速,来也科技RPA+AI行政审批机器...

大模型时代的AI之变与开发之根

自2018年谷歌发布Bert以来,预训练大模型以强大的算法效果,席卷了NLP为代表的各大AI榜单与测....
发表于 2021-09-29 08:54? 521次阅读
大模型时代的AI之变与开发之根

CODESYS SoftMotion的特点有哪些

CODESYS SoftMotion是什么? CODESYS SoftMotion的特点有哪些?...
发表于 2021-09-29 08:34? 0次阅读
CODESYS SoftMotion的特点有哪些

vivo当考官,悬奖百万,无线通信AI大赛冠军花...

2021年9月28日,北京学术界和产业界都在试图回答一个问题,AI与无线通信的结合,到底能让5G发生....
发表于 2021-09-28 17:23? 554次阅读
vivo当考官,悬奖百万,无线通信AI大赛冠军花...

明星都在用什么牌子的扫地机,黄龄女神用小米扫拖机...

很多人认为明星用什么牌子的产品自己跟着买就可以,毕竟不用自己踩坑,其实这个购物思路是完全正确的,毕竟....
发表于 2021-09-28 13:57? 71次阅读
明星都在用什么牌子的扫地机,黄龄女神用小米扫拖机...

如何降低开发门槛助力音视频创新玩法

9月16日,华为多媒体管线服务(AV Pipeline Kit)技术直播正式开启。华为多媒体管线服务....
发表于 2021-09-28 10:26? 181次阅读
如何降低开发门槛助力音视频创新玩法

苹果13什么版本价格最低

iPhone 13和iPhone 13 mini为4核心GPU,iPhone 13 Pro和iPho....
发表于 2021-09-28 09:56? 150次阅读
苹果13什么版本价格最低

如何去实现一种基于传感器的机器人手术系统设计

手术机器人系统的工作原理是什么? 如何去实现一种基于传感器的机器人手术系统设计? ...
发表于 2021-09-28 08:46? 0次阅读
如何去实现一种基于传感器的机器人手术系统设计

普渡科技和松下签署战略合作协议,共同擘画智能新时...

随着机器人行业日新月异的发展,用机器人解决生活生产问题的需求屡增不鲜,以普渡科技为代表的商用服务机器....
发表于 2021-09-27 19:50? 15次阅读
普渡科技和松下签署战略合作协议,共同擘画智能新时...

码垛机器人为现代化工厂带来哪些优势

码垛机器人是工业机器人应用的一种,是机械与计算机程序结合的产物,为现代化工厂生产提供了更高的生产效率....
发表于 2021-09-27 17:07? 21次阅读
码垛机器人为现代化工厂带来哪些优势

集装箱焊接机器人的优势有哪些

集装箱焊接机器人有什么优势?焊接机器人广泛应用于各种领域,可以根据不同领域的焊件规格定制不同的技术参....
发表于 2021-09-27 16:45? 303次阅读
集装箱焊接机器人的优势有哪些

讯飞输入法首届926键盘日来袭 联合快手招募“键...

近日,由讯飞输入法打造的“926键盘日”正如火如荼进行中,包括“AI键盘制造局”、“自定义皮肤设计大....
发表于 2021-09-27 15:05? 278次阅读
讯飞输入法首届926键盘日来袭 联合快手招募“键...

2021年世界互联网大会乌镇峰会召开,思谋科技A...

2021“乌镇时间”正式开启。
发表于 2021-09-27 14:57? 543次阅读
2021年世界互联网大会乌镇峰会召开,思谋科技A...

智慧路灯全栈AI为智慧城市创建新机遇

据《中国互联网发展报告(2021)》显示,随着物联网、云计算等新一代信息技术的广泛应用下,我国AI产....
发表于 2021-09-27 14:22? 323次阅读
智慧路灯全栈AI为智慧城市创建新机遇

Imagination和腾讯WeTest开展深度...

WeTest的PerfDog工具新增全平台全架构80多种GPU Counter,为开发者详尽解读Po....
发表于 2021-09-27 14:20? 536次阅读
Imagination和腾讯WeTest开展深度...

原圈科技“原圈智慧营销云”荣获“上海市高新技术成...

为提升企业自主创新能力,促进科技成果转化,根据《上海市高新技术成果转化项目认定办法》要求,上海市科委....
发表于 2021-09-27 10:48? 203次阅读
原圈科技“原圈智慧营销云”荣获“上海市高新技术成...

TCL旗下AI芯片研发项目落地上海临港

9月25日,TCL旗下摩迅半导体AI芯片研发项目落地临港新片区并举行签约仪式,该项目将致力于智能连接....
发表于 2021-09-27 09:29? 211次阅读
TCL旗下AI芯片研发项目落地上海临港

怎样消除机器人运动产生的异响从而保持伺服的精度呢

减小伺服电机共振的方法是什么?怎样消除机器人运动产生的异响从而保持伺服的精度呢?...
发表于 2021-09-27 08:30? 0次阅读
怎样消除机器人运动产生的异响从而保持伺服的精度呢

请问CPU和GPU的关系是什么?

什么是显卡? 什么是GPU? 什么是CUDA? CPU和GPU的关系是什么? ...
发表于 2021-09-27 08:22? 0次阅读
请问CPU和GPU的关系是什么?

配电室巡检机器人实现更好的数据检测

根据中国电力科学院近些年电网运行不完全统计报告,变电设备漏检、误检造成的经济损失每年达到数十亿元。因....
发表于 2021-09-26 17:16? 96次阅读
配电室巡检机器人实现更好的数据检测

地下综合管廊巡检机器人的功能

以前,电缆、通信、燃气等各类城市管线如蜘蛛网般架在空中,或直埋入地下,每次遇故障维修,总是避免不了把....
发表于 2021-09-26 17:04? 20次阅读
地下综合管廊巡检机器人的功能

普渡机器人亮相 HOTELEX天津展会等活动,现...

在9月13日刚结束的机器人领域顶级盛会2021世界机器人大会上,普渡科技携旗下6款机器人亮相会场,并....
发表于 2021-09-26 16:21? 28次阅读
普渡机器人亮相 HOTELEX天津展会等活动,现...

如何用自己的手来远程控制机器人

请注意,本文所体现的信息、用途及应用完全是 Video-Touch 客座作者的观点。 您可能看过一些....
发表于 2021-09-26 14:53? 255次阅读
如何用自己的手来远程控制机器人

机器视觉检测系统的三大功能

机器视觉检测系统又称工业视觉系统,其原理就是用机器代替人眼来做测量和判断。机器视觉检测是指通过机器视....
发表于 2021-09-26 13:40? 321次阅读
机器视觉检测系统的三大功能

机器人搭建过程中的坑和未来的改进方向

将机器人整体开源,同时总结一下机器人搭建过程中遇到的坑和未来的改进方向。在分享的文件里包含了结构设计....
发表于 2021-09-26 10:59? 885次阅读
机器人搭建过程中的坑和未来的改进方向

具有扩展功能的Candera智能导入器

加贺富仪艾电子旗下代理品牌 Candera CGI Studio是可扩展且独立于硬件的HMI设计工具....
发表于 2021-09-26 09:52? 116次阅读
具有扩展功能的Candera智能导入器

焊接变位机对焊接机器人的作用

焊接变位机对焊接机器人有用吗?焊接焊接变位机一般用在工业领域,跟焊接机器人配套使用,焊接变位机经常搭....
发表于 2021-09-26 09:17? 24次阅读
焊接变位机对焊接机器人的作用

智能扫地机器人哪个牌子好?从功能配置上讲明白!

家居环境的舒适度直接影响一个人的心情,如果家里乱糟糟的或者地面满是灰尘,你还能很舒心地坐在客厅里喝喝....
发表于 2021-09-24 18:21? 90次阅读
智能扫地机器人哪个牌子好?从功能配置上讲明白!

2021年乐动新一代卓越雷达新品发布会,实力领衔...

北京时间2021年9月17日,乐动机器人在深圳国际会展中心隆重举行了2021年新一代卓越雷达新品发布....
发表于 2021-09-24 17:54? 267次阅读
2021年乐动新一代卓越雷达新品发布会,实力领衔...

从技术宝库到云上机遇:华为云开天aPaaS的“修...

很多企业在推进数字化、业务上云的时候,都会面临一个两难选择:缺失核心技术容易丧失竞争力,跟不上发展机....
发表于 2021-09-24 09:16? 1651次阅读
从技术宝库到云上机遇:华为云开天aPaaS的“修...

驾驶式全自动洗地机的功能特性

山东腾阳环卫设备有限公司是一家致力于新能源扫地机、洗地机、环卫车、清洁机器人等装备的研发、生产、销售....
发表于 2021-09-23 17:10? 18次阅读
驾驶式全自动洗地机的功能特性

斯坦德机器人加快规模化标准化发展布局,引领工业物...

几十台自主移动机器人(AMR)穿梭其间,模拟着生产场景中的物料搬运与上下料工作……走进斯坦德机器人(....
发表于 2021-09-23 16:53? 38次阅读
斯坦德机器人加快规模化标准化发展布局,引领工业物...

深度解读嵌入式视觉的几个典型应用

引言 如何做AI视觉应用的嵌入式部署分为硬件选型,软件框架和优化的选择,模型算法的设计三大板块。 A....
发表于 2021-09-23 16:38? 226次阅读
深度解读嵌入式视觉的几个典型应用

焊接机器人的工作原理

焊接机器人的工作原理是怎样的?焊接机器人是用于焊接作业的自动化机械设备,用户在焊接工作中如何掌握好焊....
发表于 2021-09-23 15:33? 54次阅读
焊接机器人的工作原理

NVIDIA扩大AI推理性能领先优势,首次在Ar...

最新MLPerf基准测试表明,NVIDIA已将其在AI推理性能和能效方面的高标准扩展到Arm以及x8....
发表于 2021-09-23 14:18? 2102次阅读
NVIDIA扩大AI推理性能领先优势,首次在Ar...

普渡机器人完成C2轮融资,C1和C2轮累计融资额...

9月14日,深圳市普渡科技有限公司(普渡机器人)正式宣布完成C2轮融资。本轮投资人包括美团、大湾区共....
发表于 2021-09-23 11:40? 45次阅读
普渡机器人完成C2轮融资,C1和C2轮累计融资额...

华为机器视觉协力共助安防行业智能化升级

“好望凌云 智见不凡”2021好望合作伙伴峰会在桂林召开。全国优秀合作伙伴齐聚一堂,分享在智能化道路....
发表于 2021-09-23 11:09? 1061次阅读
华为机器视觉协力共助安防行业智能化升级

镭神智能与AI边缘计算创新者Blaize达成战略...

镭神智能与国际著名AI边缘计算创新者Blaize正式签署了战略合作协议。
发表于 2021-09-23 10:14? 838次阅读
镭神智能与AI边缘计算创新者Blaize达成战略...

极智嘉、顺丰供应链携手共赢,首个智能物流合作项目...

近日,全球AMR引领者极智嘉(Geek+)与顺丰供应链旗下丰豪供应链(香港)有限公司达成战略合作的消....
发表于 2021-09-23 10:04? 165次阅读
极智嘉、顺丰供应链携手共赢,首个智能物流合作项目...

电力智能轨道巡检机器人的详细介绍

目前电力公司对于所管辖的配电房、开关室,例行巡检每月1次,红外测温巡测每月1次,全部依赖于人工巡视作....
发表于 2021-09-23 09:55? 1231次阅读
电力智能轨道巡检机器人的详细介绍

为5G未来交付灵活便捷的解决方案

5G有能力显著改善生活,但这一步骤的改变并非没有挑战。因此,强化测试将对提升消费者信心和成功推出5G....
发表于 2021-09-23 09:42? 2605次阅读
为5G未来交付灵活便捷的解决方案

鸿蒙与产业数字化就像天然匹配的钥匙和锁 矿山中的...

几个月以来,鸿蒙OS已经从一种期待,变成了我们生活中的一部分。 9月13日,华为消费者业务 CEO余....
发表于 2021-09-23 09:38? 1597次阅读
鸿蒙与产业数字化就像天然匹配的钥匙和锁 矿山中的...

视频占据过半流量,GPU还是首选的计算硬件吗?

根据谷歌统计的数据,由于去年疫情带来的增长加速,再加上视频会议、AR/VR与云游戏等应用的兴起,视频....
发表于 2021-09-23 09:37? 1297次阅读
视频占据过半流量,GPU还是首选的计算硬件吗?

Autolabor ROS驱动模块的节点有何功能

Autolabor ROS驱动模块包含哪些? Autolabor ROS驱动模块的节点有何功能? ...
发表于 2021-09-23 08:08? 0次阅读
Autolabor ROS驱动模块的节点有何功能

无人叉车市场的发展趋势是如何

无人叉车的需求量越来越大,一方面无人叉车能够在重复搬运、高精度码垛及高位存取等场景中,保证操作精度、....
发表于 2021-09-22 18:23? 106次阅读
无人叉车市场的发展趋势是如何

深度解读智能座舱系统

吉利星越L,月销量破万首个搭载SmartCore座舱域控制器的量产车型,吉利星越L已正式上市,新车售....
发表于 2021-09-22 16:44? 337次阅读
深度解读智能座舱系统

盘点机器人工程师几大必备技能

机器人行业需要什么计算机知识? 进入机器人行业需要掌握哪些知识? ...
发表于 2021-09-18 09:33? 0次阅读
盘点机器人工程师几大必备技能

机器人是如何实现运作的呢

若说当下的热门科技,机器人绝对算一个。机器人作为典型的机电一体化技术密集型产品,它是如何实现运作的呢?  机器...
发表于 2021-09-17 08:22? 0次阅读
机器人是如何实现运作的呢

什么是服务机器人

问:什么是服务机器人?答:根据国际机器人联合会(InternationalFederationofRobotics,IRF)的定义,服务机器人...
发表于 2021-09-17 07:49? 0次阅读
什么是服务机器人

ABB机器人驱动模块温度警告及保养方案简介

ABB机器人驱动模块温度警告及保养方案简介ABB机器人驱动器3HAB8101-3维修电阻值在10~50Ω,及腐蚀性物质, (2...
发表于 2021-09-17 06:23? 0次阅读
ABB机器人驱动模块温度警告及保养方案简介