如何构建基于视觉的自主导航移动抓取机器人?

AGV机器人 46℃ 0


 

移动抓取机器人是由移动底盘、机械臂和多传感器组合而成的复杂机器人系统。既然是一个复杂的系统,我们不妨先把它分解成几个系统,然后再逐一来谈。


 

由上图可知,移动底盘是移动抓取机器人系统的腿和脚,负责“行走”;机械臂是机器人系统的【手】,这个【手】是一个子系统,集成了手臂、执行端(通常是电动抓手)和视觉摄像头。整个机器人系统“互呼”,集成协作,最终实现移动抓取。

在移动抓取机器人的整个系统中,移动底盘属于驱动层,底盘本身具有独立的运动控制系统,可以控制底盘的前后运动和转向。除了基本的前后移动和转向功能外,接入上位机和相关传感器后,还可以实现2D-SLAM、3D-SLAM和可视化SLAM导航规划功能。以3D-SLAM为例,简要介绍了如何实现路径规划和智能避障功能。

▍五金建设。

主要部件列表如下图所示(示意图):


 

硬件安装效果见下图。(PS:后期需要安装机械臂,实际安装需要合理安排工控机和RTK天线。)


 

▍导航过程

在导航过程中,首先需要进行环境建模,生成环境地图,然后利用环境地图进行定位和路径规划。


 

在建模过程中,采用点云ICP匹配算法,融合3D Lidar、IMU和GPS数据,实时构建环境3D点云地图。

建模后,根据构建的地图指定目标点,移动底盘就可以进行智能路径规划了!


 

▍机器人手臂“系统”

如前所述,抓取臂是移动抓取机器人的一个小系统。下面是如何实现从目标识别到抓取的子系统。


 

视觉识别可以通过深度学习来实现。即在可能的场景中预先标注大量包含识别目标的数据集,并加入干扰项,得到完整的训练集。按照一定的策略对训练集的样本实例进行缩放和分割后,用卷积神经网络进行迭代训练,得到特征图。随后,利用这些特征图像匹配实际图片中的特征锚点,最后通过边界回归算法对特征边缘进行校正,得到特征候选区域。


 

摄像机识别目标物体后,将其坐标点发送给机械手控制器,最终准确抓取目标物体。


 

通过以上对移动抓取机器人系统的分析,可以知道移动抓取机器人系统不是简单的“堆码”,而是以移动底盘智能路径规划、视觉识别、移动底盘与抓取系统、多传感器融合为核心的高度复杂的机器人系统。


 

在移动抓取机器人系统中,移动底盘赋予了传统机械臂只能定点工作的无限应用可能性。因此,无论是在传统工业领域,还是在科教市场,都有很多专业厂商在朝着这个方向努力。在工业领域,移动抓取机器人可以让机械臂的应用场景更加多样化,可以说是从固定点解放出来,不局限于码垛、装卸等传统应用。


 

在科学和教育领域尤其如此。移动抓取作为一个复杂的机器人系统,涵盖了机器人运动控制、环境感知、导航规划、ROS学习、机械臂运动规划、计算机视觉等机器人相关领域的多个方面。一套机器人系统可以被研究人员用来研究不同的方面,真正实现多用途。

然而,一套移动抓取机器人,从硬件选型,到集成安装,再到SLAM算法优化,最后实现移动抓取,需要付出很高的成本。

“从零开始开发一个完整的移动抓取机器人的成本还是很高的,也背离了很多科研团队和学生团队的研究学习目的。基于我公司自主研发的ROS机器人平台,我们开发了多套移动抓取机器人,涵盖了国内外各种主流机械臂、激光雷达和深度相机。

用户可以根据自己的需求进行选择,从事ROS研究、运动控制研究、农业采摘研究、检验研究、视觉研究的个人、科研院所和高校团队都可以采用我们的产品,可以节省大量的时间和成本,从而使研发变得更容易、更高效、更专注。“机器人++深圳团队总经理宋张钧博士说。


 

转载地址:https://www.mingyujixie.net/agv/1228.html

标签: