一种基于机器视觉的机械臂定位抓取方法[发明专利]

(12)发明专利申请

(10)申请公布号(10)申请公布号 CN 104217441 A(43)申请公布日 2014.12.17

(21)申请号 201310381737.8(22)申请日 2013.08.28

(71)申请人北京嘉恒中自图像技术有限公司

地址100190 北京市海淀区中关村东路95

号自动化大厦10层(72)发明人张友彬

(74)专利代理机构北京科龙寰宇知识产权代理

有限责任公司 11139

代理人孙皓晨 张爱莲(51)Int.Cl.

G06T 7/20(2006.01)

权利要求书2页 说明书5页 附图2页权利要求书2页 说明书5页 附图2页

(54)发明名称

一种基于机器视觉的机械臂定位抓取方法(57)摘要

本发明公开一种基于机器视觉的机械臂定位抓取方法，包括S1：对摄像机及机械臂进行参数标定，建立图像坐标系与传送带坐标系、机械臂坐标系与传送带坐标系的关系；S2：对图像中的目标工件进行识别，计算目标工件的形心及偏转角度；S3：将S2中计算出的目标工件的形心及偏转角度信息发送给机械臂，并计算目标工件在机械臂坐标系下的位置坐标，完成目标工件的抓取。本发明具有广泛的应用范围，能在不改变生产线的情况下，对多量零散工件实现快速精确的抓取，操作灵活、节约成本。

CN 104217441 ACN 104217441 A

权 利 要 求 书

1/2页

1.一种基于机器视觉的机械臂定位抓取方法，其特征在于，包括以下步骤：S1：对摄像机及机械臂进行参数标定，建立图像坐标系与传送带坐标系、机械臂坐标系与传送带坐标系的关系；

S2：对图像中的目标工件进行识别，计算目标工件的形心及偏转角度；S3：将S2中计算出的目标工件的形心及偏转角度信息发送给机械臂，并计算目标工件在机械臂坐标系下的位置坐标，完成目标工件的抓取。

2.根据权利要求1所述的一种基于机器视觉的机械臂定位抓取方法，其特征在于，所述步骤S1包括：

S11：定义世界坐标系，摄像机像面中心点对应传输带上的位置为世界坐标系原点，工件运动方向为世界坐标系Y轴方向；

S12：对摄像机参数标定，建立图像坐标系与世界坐标系的关系；S13：对机械臂参数标定，建立机械臂坐标系与世界坐标系的关系，计算机械臂坐标系、世界坐标系的平移矢量和旋转矩阵；

S14：图像坐标系转换成机械臂坐标系。

3.根据权利要求1所述的一种基于机器视觉的机械臂定位抓取方法，其特征在于，所述步骤S2包括：

S21：利用图像分割技术，提取目标工件；

S22：计算目标工件的形心，计算公式为：

其中(x0,y0)为目标工件的形心坐标，(x,y)代表目标工件的图像坐标，sum代表目标工件的像素点数量。

S23：计算目标工件的偏转角度，即物体长轴与世界坐标系Y轴的夹角；S24：对计算得到的目标工件的形心和偏转角度进行数据格式化。

4.根据权利要求1所述的一种基于机器视觉的机械臂定位抓取方法，其特征在于，所述步骤S3中计算目标工件在机械臂坐标系下的位置坐标的步骤包括：

S31：计算目标工件在机械臂坐标系下的纵坐标：dy=L-(bn-an)×cosβ+Δy，其中Δy=y0×cos(α+β)-x0×sin(α+β)；上式中，dy为目标工件在机械臂坐标系下的纵坐标，L为机械臂坐标系与世界坐标系的平移矢量，即摄像机到机械臂的距离，an为机械臂触发摄相机的序列，bn为机械臂抓取时刻的序列，(x0,y0)为图像坐标系下目标工件形心坐标，α是图像坐标系和世界坐标系的夹角，β是世界坐标系和机械臂坐标系的夹角；

S32：计算目标工件在机械臂坐标系下的横坐标：

其中

上式中，dx为目标工件在机械臂坐标系下的横坐标，X1与X2分别为机械臂坐标系下两

2

CN 104217441 A

权 利 要 求 书

2/2页

个标定块的横坐标，且所述两个标定块的纵坐标相同，x1、x2分别为两个标定块对应在摄像机下的图像坐标系中的横坐标，(x0,y0)为目标工件在图像坐标中的坐标，x′1、x′2和x′为中间变量。

5.根据权利要求3所述的一种基于机器视觉的机械臂定位抓取方法，其特征在于，步骤S21中分割目标工件的方法包括：

S211：基于图像分割技术提取目标工件；S212：按照从上到下、从左到右的顺序逐行扫描目标工件，得到多个扫描行；每一个扫描行和前一扫描行进行比较，通过判断左右范围是否有交集来判断图像的连通性，判断为有连通时及时合并相关扫描行；

S213：累积扫描过程中的像素点个数及图像坐标系下的X轴坐标和、Y轴坐标和。6.根据权利要求3所述的一种基于机器视觉的机械臂定位抓取方法，其特征在于，步骤S23中计算目标工件偏转角度的方法包括：

S231：利用步骤S21提取出的目标工件轮廓和步骤S22计算出的目标工件形心，过形心做一条平行于目标工件运动方向的直线，并将轮廓投影到该直线上，投影线段的长度即是工件在该直线上的投影范围；

S232：以形心为中心，按1度的步长旋转该直线，并将轮廓投影到旋转后的直线上，得到新的投影范围；

S233：遍历180度后，找出投影范围最小的直线及其所对应的偏转角θ，该直线一定经过工件的短轴，过形心垂直于该直线的便是目标工件的长轴，则目标工件的偏转角为±|90°-θ|，偏左为负，偏右为正。

3

CN 104217441 A

说 明 书

一种基于机器视觉的机械臂定位抓取方法

1/5页

技术领域

本发明涉及机械臂技术领域，特别涉及一种适用于高速流水线作业的基于机器视

觉的机械臂定位抓取方法。

[0001]

背景技术

自20世纪50代世界上诞生了第一台机器人以来，机器人技术经历了一个缓慢的

发展过程。之后随着计算机技术、微电子技术的发展在20世纪80年代出现了机器视觉，并于90年代得到了迅猛发展。这时机器视觉也从科研领域延伸向应用领域。[0003] 在现代工业自动化生产过程中，机器视觉已得到了广泛的应用，比如机械零件的自动检测、智能控制及生产线的自动监控、运动目标的自动跟踪与识别等，然而机器视觉与机械臂的配合还处在一个起步阶段，多是传感器与机械臂的配合，这样不免就会存在灵活性差、反应慢、精度要求高等缺点。

[0004] 目前市面上已有一种手眼式伺服机器人，即眼在机械臂上。其抓取原理如图1所示，其具体步骤如下：

[0005] 步骤1机械臂上的摄像机捕捉目标物体；[0006] 步骤2判断目标是否在摄像机视场中，否则移动机械臂；[0007] 步骤3判断目标是否在摄像机正下方，否则移动机械臂；[0008] 步骤4机械臂接受信号移向目标物体，实现抓取。[0009] 总结这种手眼式伺服机器人的抓取原理为：由摄像机拍摄图像，并从中提取目标物体的信息，然后计算摄像机与物体之间的相对位姿，最后通过移动机械臂实现抓取。由此可见，此抓取过程中需要摄像机和机械臂的高度配合，实时性较差，不易用在高速流水线上。并且每个机械臂上需安装一个摄像机，成本较高，不适合大规模应用。

[0002]

发明内容

本发明的目的在于克服现有机械臂抓取方法中存在的实时性差、成本高的缺点，提供一种基于机器视觉的机械臂定位抓取方法。[0011] 为达上述目的，本发明的技术方案采取以下步骤：[0012] S1：对摄像机及机械臂进行参数标定，建立图像坐标系与传送带坐标系、机械臂坐标系与传送带坐标系的关系；[0013] S2：对图像中的目标工件进行识别，计算目标工件的形心及偏转角度；[0014] S3：将S2中计算出的目标工件的形心及偏转角度信息发送给机械臂，并计算目标工件在机械臂坐标系下的位置坐标，完成目标工件的抓取。[0015] 优选的，所述步骤S1包括：[0016] S11：定义世界坐标系，摄像机像面中心点对应传输带上的位置为世界坐标系原点，工件运动方向为世界坐标系Y轴方向；[0017] S12：对摄像机参数标定，建立图像坐标系与世界坐标系的关系；

[0010]

4

CN 104217441 A[0018]

说 明 书

2/5页

S13：对机械臂参数标定，建立机械臂坐标系与世界坐标系的关系，计算机械臂坐

标系与世界坐标系的平移矢量和旋转矩阵；[0019] S14：图像坐标系转换成机械臂坐标系。[0020] 优选的，所述步骤S2包括：[0021] S21：利用图像分割技术，提取目标工件；

[0022] [0023]

S22：计算目标工件的形心，计算公式为：

其中(x0,y0)为目标工件的形心坐标，(x,y)代表目标工件的图像坐标，sum代表目标工件的像素点数量。[0024] S23：计算目标工件的偏转角度，即物体长轴与世界坐标系Y轴的夹角；[0025] S24：对计算得到的目标工件的形心和偏转角度进行数据格式化。[0026] 优选的，所述步骤S3中计算目标工件在机械臂坐标系下的位置坐标的步骤包括：[0027] S31：计算目标工件在机械臂坐标系下的纵坐标：[0028] dy=L-(bn-an)×cosβ+Δy，其中Δy=y0×cos(α+β)-x0×sin(α+β)；[0029] 上式中，dy为目标工件在机械臂坐标系下的纵坐标，L为机械臂坐标系与世界坐标系的平移矢量，即摄像机到机械臂的距离，an为机械臂触发摄相机的序列，bn为机械臂抓取时刻的序列，(x0,y0)为图像坐标系下目标工件形心坐标，α是摄像机坐标系和世界坐标系的夹角，β是世界坐标系和机械臂坐标系的夹角；[0030] S32：计算目标工件在机械臂坐标系下的横坐标：

[0031] [0032] [0033] [0034]

，其中

上式中，dx为目标工件在机械臂坐标系下的横坐标，X1与X2分别为机械臂坐标系下两个标定块的横坐标，且所述两个标定块的纵坐标相同，x1、x2分别为两个标定块对应在摄像机下的图像坐标系中的横坐标，(x0,y0)为目标工件在图像坐标中的坐标。[0036] 优选的，步骤S21中分割目标工件的方法包括：[0037] S211：基于图像分割技术提取目标工件；[0038] S212：按照从上到下、从左到右的顺序逐行扫描目标工件，得到多个扫描行；每一个扫描行和前一扫描行进行比较，通过判断左右范围是否有交集来判断图像的连通性，判断为有连通时及时合并相关扫描行；[0039] S213：累积扫描过程中的像素点个数及图像坐标上X轴坐标和、Y轴坐标和。

[0035]

优选的，步骤S23中计算目标工件偏转角度的方法包括：[0041] S231：利用步骤S21提取出的目标工件轮廓和步骤S22计算出的目标工件形心，过形心做一条平行于目标工件运动方向的直线，并将轮廓投影到该直线上，投影线段的长度即是工件在该直线上的投影范围；[0042] S232：以形心为中心，按1度的步长旋转该直线，并将轮廓投影到旋转后的直线

[0040]

5

CN 104217441 A

说 明 书

3/5页

上，得到新的投影范围；[0043] S233：遍历180度后，找出投影范围最小的直线及其所对应的偏转角θ，该直线一定经过工件的短轴，过形心垂直于该直线的便是目标工件的长轴，则目标工件的偏转角为±|90°-θ|，偏左为负，偏右为正。[0044] 与现有技术相比，本发明的有益效果在于：本发明一种基于机器视觉的机械臂定位抓取方法，首先对系统进行了充分精确的标定，有利于提高机械臂抓取的准确率；其次运用简洁有效的目标提取方法，确保了工件信息的精准性，且保证了机械臂抓取时的准确性。总之，相比现有技术，本发明能在不改变生产线的情况下，对多量零散工件实现低成本、高精度、快速灵活的抓取。

[0045]

附图说明

图1为现有的机械臂抓取方法的流程图；[0047] 图2为本发明的摄像机、传送带与工件之间的位置示意图；[0048] 图3为本发明的各坐标系之间关系的示意图。[0049] 附图标记说明：01-计算机；02-摄像机；03-光源；04-传送带；05-目标工件。

[0046]

具体实施方式

[0050] 以下结合附图，就本发明的上述和另外的技术特征和优点做进一步地说明。[0051] 请参阅图2，为本发明中摄像机02、传送带04与工件05之间的位置示意图。本发明通过计算机01连接摄像机02和机械臂（图中未示），进行信息传输及控制。本发明中可包含有多个机械臂，按一定间隔设置在传送带旁边，在计算机01的控制下对分散在传送带04上的工件05进行抓取操作。本发明的其中之一优点在于，只需在传送带04上方设置一个摄像机02即可，而不必像现有技术那样每个机械臂都配备一个摄像机，大大降低了生产成本，有利于大规模应用。本发明中的摄像机02用以拍摄视场范围内的工件图像并将其传送给计算机01。计算机01对接收到的图片进行相应处理后，通过网络或串口发送结果给机械臂端，由机械臂对工件05进行准确抓取。[0052] 具体定位抓取方法包括以下步骤：[0053] S1：对摄像机02及机械臂进行参数标定，建立图像坐标系与世界坐标系、机械臂坐标系与世界坐标系的关系，坐标系关系请参阅图3；S2：对图像中的目标工件05进行识别，计算目标工件05的形心及偏转角度；[0055] S3：将S2中计算出的目标工件05的形心及偏转角度信息发送给机械臂，并计算目标工件在机械臂坐标系下的位置坐标，完成目标工件05的抓取。[0056] 具体的，步骤S1主要包括：[0057] S11：对摄像机02进行参数标定，建立图像坐标系与世界坐标系的关系。本发明中所用摄像机02的模型近似为针孔模型，摄像机02的参数标定需要一个放在摄像机02前的特制标定参照物或基准，摄像机02获取该物体的图像，并由此计算摄像机的内外参数。[0058] S12：标定图像坐标系与世界坐标系偏转角α。这里图像坐标系的X轴、Y轴分别规定为图像视野的长轴方向和短轴方向。标定过程需要在摄像机02视场内放置一标定块，并通过下式得到两者的关系：

[0054]

6

CN 104217441 A[0059]

说 明 书

4/5页

α=±arctan(|y2-y1|/|x2-x1|)

[0060] 式中α为图像坐标系与世界坐标系的夹角，(x1、y1)和(x2、y2)分别为标定块在传送带运动下，在图像坐标系上形成的两点坐标。[0061] S13：对机械臂进行参数标定，建立机械臂坐标系与世界坐标系的关系，包括标定世界坐标系和机械臂坐标系的夹角β、摄像机到机械臂的距离L。其中机械臂坐标系中的X轴、Y轴分别规定为机械臂的水平移动方向和垂直移动方向；世界坐标系的X轴、Y轴分别规定为与传送带运动垂直的方向和与传送带运动平行的方向。[0062] 标定世界坐标系和机械臂坐标系的夹角β的方法：[0063] 固定两个标定块，它们在机械臂坐标系下的y坐标是相同的。回转传送带，使得它们均出现在相机视场中。由事先编译好的标定程序，提取两个标定块形心，它们连线的垂线方向即是机械臂坐标系的y方向，机械臂坐标系的y方向与图像坐标系y方向的夹角即是(α+β)的和。其中α已经由前述求出，所以至此作差可以求出β。[00] 标定摄像机到机械臂的距离L的方法：[0065] 固定一标定块，在机械臂坐标系下的y坐标是已知的，回转传送带，使得该标定块出现在摄相机视场中某一位置，由事先编译好的标定程序计算该位置转化为机械坐标系下的距离L1=y0×cos(α+β)-x0×sin(α+β),(x0,y0)为图像坐标系下目标工件形心坐标，α是图像坐标系和世界坐标系的夹角，β是世界坐标系和机械臂坐标系的夹角。同时，由编码器可以读出标定块从开始位置到结束位置的运动距离D，该距离对应于机械臂坐标系下的运动距离为L2=Dcosβ，于是L=L1+L2。[0066] 所述步骤S2包括：[0067] S21：利用图像分割技术提取工件目标。由于通常工件05与传送带的灰度相差较大，因此可直接利用灰度差异分割目标，在此基础上进行后续计算过程。[0068] 由于工件05本身的多样性（可用在许多不同领域，比如食品、制药行业），其表面上的纹理有深有浅，这样分割结果会出现各种不同形状，内部也会出现不同形状的孔洞。传统的标记算法时间复杂度较高，效率低下。于是本发明实现了一种快速的合并算法，在扫描过程中，根据当前行与上一行的连通性、包含关系、重复线段、匹配次数、标号等属性，合并或删除相关目标，同时记录当前行状态与所有已出现的工件目标的累积状态，包括图像坐标系下x,y坐标和、像素点数、极值点位置、偏移情况等。这样时间复杂度取决于工件05的图像尺寸N，即O(N)，远优于传统标记算法。[0069] 该快速合并算法主要包括：首先是提取工件，然后按照从上到下，从左到右逐行扫描工件05，如果当前行有工件05，则记录它的左右范围，有多少工件05就记录多少，每一行都是这样，但是每一行都要和前一行比较，只通过判断左右范围是否有交集就能判断出连通性，如果有和它连通的，则及时合并。同时累积像素点（代表工件05的像素点）个数和图像坐标系下的x,y坐标和，从而得到目标工件的函数。

[0070] [0071]

S22：计算目标工件的形心，计算公式为：

其中(x0,y0)为目标工件的形心坐标，(x,y)代表目标工件的图像坐标，sum代表目标工件的像素点数量。[0072] S23：计算目标工件的偏转角度，即物体长轴与世界坐标系Y轴的夹角，其中世界

7

CN 104217441 A

说 明 书

5/5页

坐标系Y轴的方向即为传送带的运动方向。具体思想为：利用步骤S21提取出的目标工件轮廓和步骤S22计算出的目标工件形心，过形心做一条平行于目标工件运动方向的直线，并将轮廓点投影到该直线上，投影线段的长度即是工件在该直线上的投影范围；以形心为中心，按1度的步长旋转该直线，并将轮廓点投影到旋转后的直线上，得到新的投影范围；遍历180度后，找出投影范围最小的直线及其所对应的偏转角θ，该直线一定经过工件的短轴，过形心垂直于该直线便是目标工件的长轴，其偏转角为±|90°-θ|，偏左为负，偏右为正。

[0073] S24：对计算得到的目标工件的形心和偏转角度进行数据格式化。其通信格式为：x分量-y分量-几何中心的旋转角度，x分量-y分量-几何中心的旋转角度，……。例如有2个工件，第一个工件形心的x分量100，y分量100，旋转角度为10度，第二个工件形心的x分量200，y分量200，旋转角度为20度，则数据格式为：100-100-10，200-200-20。[0074] 所述步骤S3中计算目标工件05在机械臂坐标系下的位置坐标：[0075] 计算机械臂抓取时的垂直位置dy的方法：[0076] dy=L-(bn-an)×cosβ+Δy

[0077] Δy=y0×cos(α+β)-x0×sin(α+β)

[0078] 其中L为机械臂坐标系与世界坐标系摄像机到机械臂运动方向的矢量的距离，an是机械臂触发摄相机的序列，bn是机械臂抓取时刻的序列，(x0,y0)为图像坐标系下目标工件形心坐标，α是图像坐标系和世界坐标系的夹角，β是世界坐标系和机械臂坐标系的夹角。

[0079] 计算机械臂抓取时的水平位置dx的方法：

[0080] [0081] [0082] [0083]

其中X1与X2为机械臂坐标系下两个标定块的水平坐标，且纵坐标相同，x1、x2为对

应在摄像机下图像坐标，(x0,y0)为目标工件在图像坐标中的坐标。[0085] 在实际生产中，只要目标工件在抓取范围之内，机械臂就可以对其抓取，所以机械臂往往遵循一定的抓取策略，以提高生产效率、减少漏抓情况为原则，(dx,dy)为目标工件在机械臂坐标下的实时坐标，上述方法实现了动态实时抓取。[0086] 综上所述，本发明提出的一种基于机器视觉的机械臂定位抓取方法，具有广泛的应用范围，能在不改变生产线的情况下，对多量零散工件实现快速准确的抓取，操作灵活，节约成本。

[0087] 以上对本发明的描述是说明性的，而非性的，本专业技术人员理解，在权利要求限定的精神与范围之内可对其进行许多修改、变化或等效，但是它们都将落入本发明的保护范围内。

[0084]

8

CN 104217441 A

说 明 书 附 图

1/2页

图1

图2

9

CN 104217441 A

说 明 书 附 图

2/2页

图3

10