第１０期 机械设计与制造 ２０１０年１０月 Ｍａｃｈｉｎｅｒｙ Ｄｅｓｉｇｎ＆Ｍａｎｕｆａｃｔｕｒｅ １５７ 文章编号：１００１—３９９７（２０１０）１０—０１５７—０３ 智能挖掘机器人控制系统的研究木 文怀兴刘晓红 （陕西科技大学机电工程学院，西安７１００２１） Ｒｅｓｅａｒｃｈ ｏｎ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ ｏｆ ｔｈｅ ｉｎｔｅｌｌｉｇｅｎｔ ｅｘｃａｖａｔｉｎｇ ｒｏｂｏｔ ＷＥＮ Ｈｕａｉ－ｘｉｎｇ，ＬＩＵ Ｘｉａｏ－ｈｏｎｇ （Ｓｈａｎｎｘｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｘｉ’ａｎ ７１００２１，Ｃｈｉｎａ） 矿。¨。 ‘。州 。‘。…㈨ 。‘。 。 。。。 。．（）．。 。‘ｏ‘。‘。 。‘ｏ 。‘◇‘。 。‘。。。。。。 ； 【摘要】智能化挖掘机器人适合于在复杂的环境中工作，其目标是在无需对环境做任何规定和改变 的条件下，利用双目立体视觉系统－／Ｘ３ｑ作业对象物和对工作环境的实时监控，自主地做出各种决策，有目的 地移动和完成相应任务，实现在无人驾驶情况下的自主作业。 ； 关键词：挖掘机器人；双目立体视觉；控制系统 ； 【Ａｂｓｔｒａｃｔ】Ｔｈｅ ｉｎｔｅｌｌｉｇｅｎｔ ｅｘｃａｖａｔｏｒｉｎｇ ｒｏｂｏｔ ｉｓ ｓｕｉｔａｂｌｅｆｏｒ ｅｘｃａｖａｔｉｏｎｓ ｉｎ ｃｏｍｐｌｅｘ ｅｎｖｉｒｏｎｍｅｎｔ ａｎｄ ｔｈｅ ；ｇｏａｌ ｉｓ ｔｏ ｄｏ ｎａｙｔｈｉｎｇ ｗｉｔｈｏｕｔ ｃｈａｎｇｉｎｇ ａｎｙ ｒｅｇｕｌｔａｉｏｎｓ ａｎｄ ｅｎｖｉｒｏｎｍｅｎｔｌａ ｃｏｎｄｉｔｉｏｎｓ，ｕｓｉｎｇ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ： ｖｉｓｉｏｎ ｓｙｓｔｅｍ ｉｄｅｎｔｉｉｆｅｄ ｔｈｅ ｅｘｃａｖａｔｉｎｇ ｔｒａｇｅｔｓ ａｎｄ ｒｅａｌ－ｔｉｍｅ ｍｏｎｉｔｏｒｉｎｇ ｏｆｗｏｒｋｉｎｇ ｃｏｎｄｉｔｉｏｎｓ，ｍａｋｉｎｇ ａｌｌ ｄｅｃｉｓｉｏｎｓ ｉｎｄｅｐｅｎｄｅｎｔｌｙ，ｃｏｍｐｌｅｔｉｎｇ ｍｏｖｅｍｅｎｔ ｐｕｒｐｏｓｅｆｕｌｌｙ ａｎｄ ｔｈｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔａｓｋ，ｔｏ ｐｅｒｆｏｒｍ ｅｘｃａｖａｔｉｎｇ ： ： ｏｐｅｒａｔｉｏｎ ｕｎｄｅｒ ｕｎａｔｔｅｎｄｅｄ ｃｏｎｄｉｔｉｏｎｓ． Ｕ Ｋｅｙ ｗｏｒｄｓ：ＥｘｃａＶａｔｉｎｇ ｒｏｂｏｔ；Ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ；Ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ …㈤ ＜＞ ∞ …㈣…０… ０．０ ＜＞．。》 ．０ ‘０・＜＞ ０・０¨０・０・＜＞・０ ０・０・０・０ ｐ 中图分类号：ＴＨ１２２，ＴＰ２４２．３文献标识码：Ａ １引言 作为人类开发利用资源和进行基础建设最为有力的工具之 一，挖掘机在能源开发，交通建设，设施修建，抢险救灾等方面一 直发挥着极其重要的作用Ⅲ。然而，挖掘机的工作环境却较恶劣， 操作费劲，驾驶室的舒适性也毫无保证。此外，在有毒气、高温、易 崩塌等恶劣环境中，操作人员的安全和健康都受到严重的威胁， 无法驾驶挖掘机进入其中完成作业，这些都使挖掘机的应用受到 了极大的。因此，长期以来，人们一直在谋求更省力、更高效， 智能化和可实现精确轨迹控制的挖掘作业模式，以此来实现工程 机械的智能控制和无人化运行。采用自动控制技术的挖掘机被称 为“机器人化的挖掘机”或“挖掘机器人” 。本文从挖掘机作业循 环的自主控制和铲斗轨迹跟踪控制出发，提出了一种可自主完成 各项作业任务的智能挖掘机器人控制系统的实现方案。 ２智能挖掘机器人控制系统总体方案 ２．１控制系统的硬件体系结构 由于机械结构参数的变化，液压执行器件的非线性因素和土 壤环境的影响，使挖掘机器人的控制非常困难”。而且，传统的挖掘 机要求操作者自行判断工作环境，驾驶挖掘机进入现场进行工作， 图１智能挖掘机器人控制系统总体结构简图 这使得工程质量在很大程度上取决于操作者的技术和水平。针对 ２．２主要模块功能简述 以上的问题，该智能挖掘机器人的控制系统采用分级控制结构，避 上位机主要负责监控整机的工作进程，通过无线通信接收下 免以往的集中式控制系统的缺陷，具备“分散控制，集中管理”的基 位机传输的工作状态参数和双目立体视觉模块的图像资料，完成铲 本功能。同时引入了集信息技术、计算机控制技术和机器视觉技术 斗的轨迹规划，并随时发送监控干预信号，由操作者进行实时操作。 等为一体的智能挖掘机器人的双目识别技术，使得挖掘机在无人 工控机主要负责对双目立体视觉系统从现场采集到的信息 现场操控的情况下自主完成指定的作业任务。该控制系统主要由 进行处理，分析上位机给出的操作指令以确定当前的操作，根据 决策系统（包括上位机监控模块，下位机控制模块，双目立体视觉 相应的算法计算出各项控制参数，并通过ＣＡＮ总线发送多个控 模块和传感检测装置）、通信系统和伺服系统等组成，采用ＣＡＮ总 制量去控制挖掘机器人控制系统的执行机构。并向上位机实时发 线作为通信介质。控制系统整体结构，如图１所示： 送工况信息，接收上位机监控信号。 ★来稿日期：２００９—１２—１０女项目基金：陕西省教育厅科研计划项目（０９ＪＫ３６０） １５８ 文怀兴等：智能挖掘机器人控制系统的研究 第１Ｏ期 射线上。如果我们能 双目立体视觉系统主要负责作业对象物的识别和工作环境 有可成像在 点的物体点必定在这条 现作业对象物，并计算ｍ对象物距离挖掘机的相对方位和体积。 的实时监控，实时向控制系统发送工作环境图像信息。且可自动发 找到同一物体点Ｐ在另一摄像机中的成像点 ，那么根据第二 个图像点 与相应透镜中心Ｑ 决定的第二条射线 Ｑ 与 通信系统主要用来实现对挖掘机器人的远程监控，上位机 的交点就可以唯一确定物体点Ｐ的位置。因此，如果已知两台摄 与下位机控制系统问的通信采用ＲＳ２３２无线串口通信。各控制 像机的几何位置，并且摄像机是线性的，那么利用三角原理就可 模块之间均采用ＣＡＮ总线相连，以此来确保伺服系统动作的实 以计算出物体的空间位置。 时性和可靠性。 理想情况下，两摄像机的光轴平行，并且摄像机的水平扫描 线位于同一平面时，设Ｐ点在左、右图像平面中成像点相对于坐 ２．３智能挖掘机器人控制系统的软件体系结构 Ｏ 是左、右摄像机透镜光轴与图像平面的交 其软件系统包括上位机程序、通信程序、下位机控制程序。Ｌ 标原点０ 和０ （Ｏ 、￣９Ｃ ，则Ｐ点在左、右图像平面中成像点位置差 位机程序主要实现人机交互，铲斗轨迹规划，工作情况监控和设定 点）的距离分别为Ｘ１ ．一Ｘ２）被称为视差（ｄｉｓｐａｒｉｔｙ ｏ由图中的几何关系得： 系统初始值等功能。下位机控制程序主要包括：双目视觉系统程序、 （监控中断处理程序、行走运动控制程序和挖掘动作控制程序等。通 信程序主要解决各个控制模块之间及模块内部的通信与数据传输 等问题。智能挖掘机器人自主工作过程总流程，如图２所示。 开始 兰 ：— Ｚ Ⅱ ２ ｆ１ ｘ，＋二ｒ＿：—ｂ－ｘ２－￣－ｃｔ （２） ．Ｚ ｂ＋ ＋ａ 由式（１）、（２）得：ｏ＝ Ｉ系统启动 处理』＿＝位机指令及信号 系统初始化 １— ２ ， ‘ （３） 代入式（１）得尸点距透镜中心的距离ｚ为：Ｚ－－ ：旦 】— ２ （４） —］ 二 陶像检测ｌ 式（４）中ｆ一透镜的焦距，ｂ一两透镜中心之间的距离，当 向工控机发送 摔制信号 ｌ摄像头的几何位置固定时，视差（ 一 ）只与距离ｚ有关，而与Ｐ 点离相机光轴的距离无关。视差越大说明物体离透镜的距离越 近；反之，则越远。该式把物体与像平面的距离（即３Ｄ信息中的 深度）与视差直接联系起来。所以说要得到物体的深度以恢复出 其三维信息，关键是正确求出视差。 兰 Ｙ Ｉ 挖掘次数计算ｌ Ｉ方向、距离计算 赢 多路换向阀 驱动行走运动部件 执行部件 ＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿—— 图３双目立体视觉几何原理图 图２智能挖掘机器人工作流程图 ３．２挖掘机器人立体视觉系统概述 智能挖掘机器人双目立体视觉系统 ３双目立体视觉技术 ３。１双目立体视觉技术基本原理 双目立体视觉技术是以视差理论为基础的。所谓的视差就 是人的眼睛从略微不同的角度去观察现实世界的物体，根据几何 光学的投影原理，离观察者不同距离的像素点在两眼视网膜上就 不在相同的位置上。这种两眼视网膜上的位置差就称之为视差， 它反映了客观物体的三维信息。人能有这种深度感知，就是因为 视差的存在，再经过大脑加工形成的。双目立体视觉技术就是运 用两台性能相当的摄像机对同一物体从不同的位置成像，获得物 硬件 软件 圈 图４智能挖掘机器人双目立体视觉系统的组成 体的立体图像对，通过各种算法匹配出相应像点，从而计算出视 差，然后采用基于三角测量的方法恢复深度信息。 如图３所示，用左、右两摄像机观测同一景物时的情形１４１。物 体上的Ｐ在左摄像机中的成像点为 ，它是通过从Ｐ点发出的 光线经过透镜中心Ｑ 与图像平面相交而形成的。若已知图像平 面上的一点 和透镜中心Ｑ 可以唯一地确定一条射线 。所 图５挖掘机器人立体视觉系统工作原理简图 Ｎｏ．１０ Ｏｃｔ．２０１０ 机械设计与制造 １５９ 挖掘机器人双目立体视觉系统的目的在于重构场景的三维 同一时刻分别拍下该纸盒的图像，如图６（ａ）所示为左摄像头所 如图６（ｂ）所示为右摄像头所拍图像。进行实验时，为便 几何信息，其结构，如图４所示，其工作过程，如图５所示。在双目 拍图像， 立体视觉系统的硬件结构中，通常采用两个ＣＣＤ摄像机作为视 于对摄像头进行标定用方格布覆盖整个墙面作为背景。频信号的采集设备，通过专用的图像采集卡与上位机相连，把摄 像机采集到的模拟信号经过采样、滤波等处理后传给计算机。其 软件结构包括计算机操作系统及其应用软件、视觉处理算法、机 器人控制软件等。其中视觉处理算法包括图像输入处理、摄像机 标定算法、图像预处理、特征选取、图像匹配等。 一个完整的立体视觉系统通常可以分为以下几个部分： 一一 （ａ） （ｂ） （１）图像获取：立体视觉研究图像的获取方法是多种多样 的，在时间、视点、方向上有很大的变动范围，直接受所应用领域 的影响。例如，为了研究人类视觉的立体融合机制，一般采用由计 算机产生的随机点立体图像对；再如，在显微立体分析中，通过旋 转扫描电镜的样品台，同样可以获取物体的立体图像对。在获取 立体图像时，不但要满足应用要求，而且要考虑视点差异、光照条 件、摄像机性能以及景物特点等因素，以利于立体计算。 （２）图像匹配：立体匹配是立体视觉中最重要也是最困难的 问题。当空间三维场景被投影为二维图像时，同一场景在不同视 点下的图像会有很大不同，而且场景中的诸多因素，如光照条件、 景物几何形状和物理杼 、噪声干扰和畸变以及摄像机特性等， 都被综合成单一的图像中的灰度值。因此，要准确地对包含了如 此之多不利因素的图像进行无歧义的匹配，显然是很困难的。对 于任何一种立体匹配方法，其有效性有赖于三个问题的解决，即： 选择正确的匹配特征，寻找特征间的本质属性以及建立能正确匹 配所选特征的稳定算法。立体匹配的研究都是围绕着这三方面在 工作，并已提出了大量各具特色的匹配方法。 （３）摄像机标定：摄像机标定是为了确定摄像机的位置、属 性参数和建立成像模型，以便确定空间坐标系中物点同它在图像 平面上像点之间的对应关系。对于理想的平行视点模型，其极线 与图像扫描线重合，这一特点可大大降低立体匹配的复杂性。对 于一般存在旋转和位移的成像系统，都可以通过投影变换等手段 得到理想模型。摄像机标定方法大体上可分为两类，第一类是直 接估计摄像机位置、光轴方向、焦距等参数；第二类是通过最小二 乘法拟合，确定三维空间点映射为二维图像点的变换矩阵。建立 一个有效的摄像机模型，除了能够精确地恢复出空间景物的三维 信息外，还有利于解决立体匹配问题。 （４）三维重建：三维重建是立体视觉测量系统的最终目的。 摄像机标定，角点检测，立体匹配是三维重建的前期工作。应用摄 像机的三维测量系统，从类型上可分为主动测量系统和被动式测 量系统。主动式测量系统应用结构光照明被测物体，用摄像机获 取物体的图像，通过某种数学模型来获得它的空间位置。被动式 测量系统，直接采用物体本身的特征，用图像处理的方法，对物体 进行识别、测量，来获得物体的空问位置。三维重建包括点的重 建，线的重建和面的重建。 经过以上四个步骤，双目立体视觉系统就可以识别出作业 对象物，并计算出对象物距离挖掘机的相对方位和体积，为挖掘 工作做好准备工作。 ３．３实验验证 为了验证双目立体视觉系统的准确性，我们在相对挖掘机 器人样机距离为６００ｒａｍ处放置一个白色纸盒，由左、右摄像头在 图６两摄像头所拍摄图像 我们对该纸盒的四个角点及中心点共五点分别进行丫检 测。如表１所示给出了五个点的计算结果。 表１ 对象物相对距离计算结果 左上点 右上点 左下点 右下点 中心点 嚣嚣 左摄像头（１６５，１０４）（２０７，１０４）（１６４，１３８）（２０７，１３８）（１８４，１２１） 坐标值右摄像头（６１，１０５）（１０２，１０５）（６２，１４０）（１０２，１４０）（８０，１２１） 计算所Ｘ值 ３０１．４４ ３７４．５７ ３０５．４９ ３７４．５７ ３３６．１５ 得三维Ｙ值 ５９７．４０ ５９１．７１ ６０９．１２ ５９１．７１ ５９７．４０ 标 Ｚ值 ｌ９ｏ．ｏ０ １８８．１９ ２５７．０６ ２４９．７１ ２２１．０６ 计 距０．４３％ ｓ％ ｚ％ ｓ％ ％ 就左上点来讲，经过点的检测左摄像头所拍摄该点的二维 像素值为（１６５，１０４），而相对的右摄像头所拍该点的像素值为 （６１，１０５），我们可以看出，两坐标值的纵坐标分别为１０４和１０５， 相差很小，那是因为两个摄像头保持水平，所以纵坐标应该一致， 但由于固有误差的存在使得两个值非常相近但不完全相同。按相 应算法计算得：该点相对于左摄像头的三维坐标为 （３０１．４４，５９７．４０，１９０．００），其中的Ｙ坐标５９７．４０即为我们所要计 算的对象物相对于左摄像头的距离，单位为ｍｍ，此计算值与实 际距离６００ｍｍ非常接近，满足误差要求。 ４结束语 我国是自然灾害多发的国家，挖掘机的发展必将为我国的 抗灾救灾等工作做出巨大贡献，本文主要是对现有挖掘机进行智 能化改造，使得挖掘机可以不受施工条件、作业时间的约束，在气 候恶劣、危险陛高的环境下进行工作，工作人员在远离危险作业 环境的地方通过现场工作机械上所安装的摄像头观察作业对象， 进行判断，并通过上位机发送控制信号，遥控挖掘机器人完成作 业任务或退出作业环境，从而有效地提高了劳动生产率，减轻了 劳动强度。 ’ 参考文献 １ ＭａｓａｋａｚｕＨａｇａ，ＷａｔａｎａｂｅＨｉｒｏｓｈｉ，Ｋａｚｕｏ Ｆｕｊｉｓｈｉｍａ．Ｄｉｇｇｉｎｇ ｅｏｎｔｒｏｌ ｓｙｓｔｅｍ ｆｏｒｈｙｄｒａｕｌｉｃ ｅｘｃａｖａｔｏｒ［Ｊ］．Ｍｅｃｈａｔｒｏｎｉｃｓ，２００１（１１）：６６５￣６７６ ２ Ｂｒａｄｌｅｙ，Ｄ．Ａ ａｎｄ Ｓｅｗａｒｄ，Ｄ．Ｗ．Ｔｈｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｎｔｒｏｌ ａｎｄ Ｏｐｅｒａｔｉｏｎ ｏｆ ａｎ Ａｕｔｏｎｏｍｏｕｓ Ｒｏｂｏｔｉｃ Ｅｘｃａｖａｔｏｒ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ ａｎｄ Ｓｙｓｔｅｍ， １９９８，２１：７３～７９ ３贾云德．机器视觉．北京：科学出版社，２００３ ４张鑫，文怀兴．自主挖掘机器人控制系统设计［Ｊ１．机械设计与制造，２００９ （４）：１８６～１８９ ５肖婷．挖掘机控制系统及作业对象物的识另ｆｌＥＤ］．陕西科技大学学报，２００６ ６肖占春．基于双目立体视觉的机器人导航研究［Ｍ］．东北师范大学学报， ２００８ ７刘鹏飞．基于立体视觉的机器视觉伺服研究［Ｍ］．西安理工大学学报，２００８
