基于机器视觉的电视机背板检测及自适应抓取研究

机器视觉已广泛应用于装配、制造和加工等工业领域，其中以自动化生产线上的工业机器人应用最为常见，它经常用于完成“抓取-放置”这一类操作。为了实现这类动作，获取工件的位置信息是关键，即机器人需确定工件的当前位姿和最终位姿。目前，大多数视觉引导与定位都是基于视觉伺服［1-3］，即先通过工业相机获取工件的大致方位，再利用图像实时反馈出机械手运动过程中与工件之间的位移偏差，并根据位移偏差调整机械手的运动方向，直到机械手准确接触到工件为止。但是这种定位控制方式在实际应用中存在诸多问题［4］。

目前，针对机器视觉的研究大多集中在理论及仿真分析方面。文献［5］设计了一种微型机器人装配单元，采用小型球面并联机构，研究在非常小的部件装配过程中移动平台的定位问题，实现了微型机器人装配单元在工作空间扩大时仍能够保持良好的动态性能和高定位精度。文献［6］对工业机器人装配作业中未知条件的在线增量学习进行了研究，结合视觉系统和腕力/扭矩传感数据，使用工业六自由度机器人手臂进行装配，通过增量学习机制控制机器人在完成任务时在线获取装配技能，提高了运行速度，缩短了装配周期。文献［7］对具有力觉感知的异构机器人进行协调装配分析，利用刚性点对点机械手和双气动类机器人顺畅地实现部件装配。文献［8］采用微装配机器人智能控制结构，通过TSB（task-strategy-behavior，任务-策略-行为）分级控制，在人机交互过程中将机器人显微视觉伺服策略和操作者的任务规划能力结合起来，实现了微装配机器人的半自主控制。文献［9］研制的多机械手微装配机器人系统通过给镜头配置高精度的位移平台，将大操作空间中的在线检测精度提高了2 μm，实现了±9 μm的高装配精度；并采用显微视觉反馈和力觉反馈相结合的控制策略，完成了过盈配合件的装配。

上述针对机器视觉在装配过程中应用的研究都需要建立复杂的机器人数学模型，通过运动过程中的雅可比矩阵变换实现机器人的手眼控制，但是机器人数学模型建立困难且通用性不强，无法大规模推广应用。因此，本文将根据图像处理得到的实际坐标信息直接反馈至伺服控制系统，简化计算过程，以提高控制系统的稳定性。

1 电视机背板自动检测及抓取平台的结构

电视机制造是我国轻工业的重要产业之一，与汽车、工程装备等大型高端设备相比，电视机的生产效率比较低，自动化水平不高，大部分工位还处于手工作业阶段。电视机装配的第1步是电视机背板的检测、分拣和抓取。通常电视机背板具有以下特征：

1）背板外侧不在同一平面，边缘有斜角，内部有平面凹凸且表面光滑的空白区域；

2）电视机背板有不同型号，每种型号的尺寸不同，内部纹路不同且内部结构不对称，即抓取的位置不同。

针对电视机背板的特征，采用三轴直角坐标机器人实现背板的自适应抓取，在直角坐标机器人的z向末端安装自适应吸盘机械手和CCD（charge coupled device，电荷耦合器件）工业相机，如图1所示。

图1 电视机背板自动检测与抓取平台的结构
Fig.1 Structure of TV backboard automatic detection and capture platform

1—装配生产线；2—伺服电机；3—直角坐标机器人；4—装配隔板；5—电视机背板；6—电视机背板传送带；7—自适应机械手。

该电视机背板自动检测与抓取平台的硬件包括电视机装配生产线、直角坐标机器人、CCD工业相机、计算机和图像采集卡。其控制系统软件流程包括工业相机图像采集、图像灰度处理、噪声滤波、边缘检测和特征提取，通过边缘算法分析获得待识别电视机背板的边缘数据点集合，并对获得的边缘信息数据进行特征提取，反馈至控制系统中。

如图2所示，自适应机械手由平移装置、抓取装置、驱动装置和检测装置四部分组成。根据采集到的图像，对电视机背板进行识别定位，获得背板的位置偏移信息，包括y正方向的偏移量（即第1平移装置位移量）和x方向的偏移量（即第2、第3平移装置位移量）。

图2 自适应机械手结构
Fig.2 Structure of adaptive manipulator

1—CCD工业相机；2—步进电机；3—机器人末端安装板；4—第1平移装置；5—第2平移装置；6—第3平移装置；7—工业吸盘；8—距离传感器。

如图3所示，自适应机械手控制结构由图像位置分解模块、抓取模块及控制器组成。

2 电视机背板图像处理

在对电视机背板进行检测、抓取时，需先进行数据采集。在Halcon软件中采用Canny边缘检测算法［10］对CCD工业相机拍摄的电视机背板图像进行域值分割、连通域划分，将图像中的有用区域作为前景分割出来，去除大部分无用信息。

图4所示为CCD工业相机采集到的电视机背板正面图像，其中：黑色区域①、②为背板正面粘贴的防尘胶带，需要通过图像分析确定这2处防尘胶带是否缺失，位置是否准确；矩形区域A、B、C为图像特征提取的重点，区域A、B、C为自适应机械手三侧吸盘吸附的平滑表面区域，通过计算3个矩形区域的位置确定自适应机械手需要达到的状态。

2.1 基于高斯滤波器的原图像平滑处理

首先对电视机背板原图像进行灰度处理，提取原图像的灰度直方图，如图5所示。

图3 自适应机械手控制结构
Fig.3 Control structure of adaptive manipulator

图4 电视机背板正面图像
Fig.4 Frontal image of TV backboard

由图5可知，电视机背板原图像的灰度级范围为0～255，总像素数目为401 720个，其灰度级峰值为191，像素数目为9 735个，灰度级峰值处像素数目占比为2.4233%。

对电视机背板原图像的数据进行高斯平滑处理［11］，得到处理后的图像，设二维高斯函数为H(x，y，σ)，则有：

图5 电视机背板原图像的灰度直方图
Fig.5 Gray histogram of the original image of TV backboard

式中：σ为高斯函数的分布参数，f(x，y)为图像像素，*表示卷积，可将H(x，y，σ)转化为一个二维的模板，用于对图像进行卷积运算［12］。

2.2 基于有限差分的原图像一阶导数处理

图像的边缘有方向和幅度两个属性，沿边缘方向像素变化平缓，垂直于边缘方向像素变化剧烈。边缘上的这种像素变化可以用微分算子检测出来，通常用一阶或二阶导数来检测边缘，一阶导数可以用于检测图像中的点是否为边缘点，二阶导数的正/负值可以用于判断一个边缘是在亮的一边还是在暗的一边。电视机背板平滑处理后图像的一阶导数处理结果如图6所示。

图6 电视机背板平滑处理后图像的一阶导数处理结果
Fig.6 The first derivative processing result of the smoothed image of TV backboard

对图6所示的电视机背板图像数据f(x，y)的梯度进行2×2的一阶有限差分近似计算，得到关于x与y的偏导数

直角坐标系中坐标与幅值F和方位角θ之间的关系为：

在实际应用中，一般情况下是将原始模板截断到有限尺寸A，当时能够获得较好的边缘检测结果［13］。

2.3 图像边缘梯度幅值的非极大值抑制

仅靠全局梯度无法获得准确的图像边缘，必须保留局部梯度最大的点，并且要抑制非极大值，即在使用Canny算法进行图像边缘提取时，寻找像素点局部最大值，并将非极大值点所对应的灰度级设置为0，这样可剔除大部分非边缘点［14］。

对像素点的梯度进行非极大值抑制，对每个点上领域的中心像素N(x，y)与沿着梯度方向的2个邻域像素进行比较，如果N(x ，y) 的梯度值小于等于沿梯度线的2个相邻像素梯度值，则令N(x，y)=0。

2.4 基于双阈值算法的图像边缘的检测和连接

Canny算法需要参照灰度直方图来选择双阈值，然后求出图像边缘梯度幅值的灰度直方图，并且选取所占直方图比例最大的像素点。通过直方图判断出图像边缘的某点是否超过高阈值，并在该点的8个邻域点中寻找满足超过低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合。在提取完所有图像边缘点后，将分割界限的灰度级设为0，剔除非边缘点［15］。

图7为用Canny算法处理得到的电视机背板正面轮廓图，可与匹配到的模板比较确定电视机背板的型号。其中①和②处为贴附在电视机背板正面的防尘胶带轮廓图形，通过筛选面积在200～300个像素点之间的区域即可选出①、②轮廓图形；计算图中防尘胶带的面积，并与标准模板比较其位置与面积大小，如果计算得到的防尘胶带面积与标准模板防尘胶带的面积大小相差不超过±5%，且防尘胶带的中心坐标位于标准模板防尘胶带的定位圆内，表明当前电视机背板正面防尘胶带贴附位置正确。

图7 用Canny算法处理得到的电视机背板正面轮廓图
Fig.7 Frontal profile of TV backboard processed by Canny algorithm

3 电视机背板图像特征提取及视觉误差补偿

3.1 图像特征区域获取

使用Halcon软件对用Canny算法处理的图像进行模板匹配，这里采用在空间域使用相关模板在目标图像中寻找与模板匹配的区域。在空间滤波中，空间相关是指滤波器模板移过目标图像的像素点并计算每个像素的灰度乘积之和的过程。基于空间相关的图像模板匹配过程类似于滤波过程，设图像f(x，y)的大小为M×N，模板子图像w(x，y )的大小为J×K，则f(x，y)与w(x，y)的相关可表示为：

其中：x=0，1，2，…，N-K；y=0，1，2，…，M-J。计算相关c(x，y)的过程就是在图像f(x，y)中逐像素地移动模板子图像w(x，y)的原点像素，在每一次移动的过程中根据式（7）计算每个像素位置的相关。对式（7）的表达式进行归一化后可得：

通过匹配模板确定当前电视机背板的型号和尺寸，通过模板分析得出图8所示的可吸附空白矩形表面，并使用区域中心工具计算出矩形中心的像素坐标值。

图8 电视机背板图像特征区域提取结果
Fig.8 Extraction results of image feature areas of TV backboard

3.2 像素点坐标值计算

将工业相机拍摄的图像的像素坐标转化为控制机器人运动的坐标，需要通过4个坐标系进行3次转换，这4个坐标系分别为：用于表达相机、机械手、机器人场景点绝对坐标的世界坐标系Ow-XwYwZw；以工业相机光心Oc为坐标原点、光轴方向为Z轴的相机坐标系Oc-XcYcZc；以工业相机平面与相机Z轴交点为坐标原点的图像坐标系O1-XY；图像阵列中图像像素的位置坐标原点O在图像平面的左上角，坐标轴U、V分别与图像坐标系的X、Y轴平行的像素坐标系O-UV。根据相机装配要求，相机坐标系在世界坐标系Xw方向上平移相机中心到机械手中心的距离，形成机械手坐标系。

图9 用于图像像素点坐标转换的坐标系
Fig.9 Coordinate system used to convert of image pixel coordinate

图像中任意一个像素点在像素坐标系和图像坐标系中的坐标关系为：

其矩阵形式表示为：

式中：dx、dy表示感光芯片上像素点的实际大小，是连接像素坐标系和世界坐标系的关键参数，（u0，v0）是图像平面中心点坐标。

用针孔成像模型近似表示空间中任意一点p在图像坐标系中的成像位置，即任意点p在图像坐标系中的投影位置p'为光心Oc与p点的连线与图像平面的交点，其比例关系为：

其矩阵形式表示为：式中：(x，y)为点p在图像坐标系中的坐标；(Xc，Yc，Zc)为点p在相机坐标系中的坐标；f为xy平面与图像平面之间的距离，一般称为摄像机的焦距。

将上述投影关系用齐次坐标和矩阵表示，为：

式中：s为一比例因子，P为透视投影矩阵。

由于相机坐标系、机械手坐标系都与世界坐标系三轴平行，所以不存在旋转关系，大大简化了计算难度，提高了运算速度。

3.3 视觉定位及误差补偿

本文采用的基于图像的视觉伺服控制系统如图10所示，该系统实现自适应定位的关键是对电视机背板图像的采集加工及其像素点坐标值的分析。当背板品质满足后续装配要求时，需要提取当前背板抓取位置的坐标值，作为控制系统的输入值以使背板移动到指定位置；然后继续采集背板图像，提取当前图像中背板抓取位置的坐标值作为反馈输入到控制系统，构成基于图像的闭环视觉伺服控制系统。

由于需要使用工业相机实时采集多张图像来分析坐标位置，且从图像位置的分析到机械手最终抓取位置的确定为非线性控制［16］，因此，其中各个环节的累计误差对抓取精度有一定影响。

图10 基于图像的视觉伺服控制系统结构
Fig.10 Structure of visual servo control system based on image

采用标准模板中心参数值与增量误差值求差的方法进行误差补偿，即增量型误差补偿法［17-18］，首先对坐标轴相邻误差补偿点的误差值求差，然后将差值的相反数作为补偿值输入控制器。使用X轴定位误差增量型补偿，设X轴定位误差坐标点的误差值为X=[δ1，δ2，…，δn，]T，误 差 建 模 得 到 误 差 值 为ε(x，T)=[ε1，ε2，…，εn]T，其中 n为采样点的个数，T为阈值；计算相邻误差的差值Δεk=εk+1-εk，其中，k=1，2，…，n-1；得到相邻节点误差差值的数组EX=，将误差数组中误差差值与控制器中对应位置指令叠加，再与标准图像模板中心坐标值求差，完成误差补偿。

系统误差补偿的步骤如下：

1）使用运输系统将第1块电视机背板运输到固定位置；

2）通过机械定位机构的微调将背板置于相对水平的位置；

3）通过视觉系统计算出背板4个顶点的坐标，然后推导出背板中心点在相机坐标系中的坐标值(Xc，Yc)；

4）将整幅图像的像素中心点作为相机基准点坐标，比较背板中心点与基准点的坐标差值( )ΔX，ΔY=(X c，Yc)-(X o，Yo)，然后计算标准模板参数与偏移量的差值e=(X m，Ym)-(Δ X，ΔY )，以差值e作为参考点输入，在机械手运动到指定位置后，再一次采集背板图像并计算当前背板中心点坐标值与标准模板中心参数值的差值e'，将新差值e'作为参考点重新输入控制器中，经过多次插补使 ΔX＜0.01 mm，ΔY＜0.01 mm，以此提高控制系统参考点的精度；

5）人为设定图像上的某点为基准点作为机械手坐标系的原点，将上述所有平移装置末端抓取点的图像坐标转化为机械手坐标系下的坐标(Xr，Yr)，计算抓 取 位 置 的 绝 对 坐 标(X ，Y)=(X r，Yr)-(Xc-ΔXn，Yc-ΔYn)，其中ΔXn、ΔYn为最后一次插补后的残差；

6）对背板进行定位测试，如果位置精度满足生产要求则转下一步，否则跳转至步骤2）；

7）完成第1块背板的抓取后，加载第2块背板，由于各个电视机背板之间存在加工误差，当前背板的基准点位置会和第1块背板的基准点位置存在误差；

8）将机械手移动到上次背板抓取位置，然后获取当前背板图像并计算新的基准点图像中心的绝对坐标(Xc'，Yc')，设Δθ=θ1-θ0，其中θ0、θ1的计算式为：

9）计算全部平移装置末端抓取点在当前背板下的新的坐标值：

10）按照步骤2）至步骤6）重新进行误差补偿，计算抓取点新坐标并进行抓取，完成所有背板的抓取。

按此误差补偿的方式，每次插补都以标准模板的中心参数坐标值作为参考，保证误差的收敛性。

根据GB/T 17421.2—2000的位置精度检测方法，对自适应抓取平台的定位精度进行分析，计算各轴和各平移装置的定位精度和重复定位精度。误差补偿前后自适应抓取平台各轴和各平移装置的定位精度和重复定位精度如表1所示。由表1可知误差补偿后大幅度提升了自适应抓取平台的定位精度，满足实际生产需求。

表1 误差补偿前后自适应抓取平台的定位精度和重复定位精度
Table 1 Positioning accuracy and repeated positioning accuracy of adaptive capture platform before and after error compensation单位：mm

4 电视机背板自动检测与抓取的控制流程和测试

本文所提出的自适应装配已在实验室完成测试。图11所示为电视机背板自动检测与抓取平台控制软件结构。

图11 电视机背板自动检测与抓取平台控制软件结构
Fig.11 Control software structure of TV backboard adaptive detection and capture platform

电视机背板自动检测与抓取的控制流程如图12所示，控制系统的硬件平台是西门子S7-200 SMART ST60，软件平台是STEP 7 MicroWIN SMART和Halcon17.12。Halcon软件用于处理位置偏移量，将它转换成相应数据格式后通过串口通信传入PLC，从而实现机器人手眼系统的实时调整控制。

电视机背板自动检测与抓取平台的PLC电路设计如图13所示。

分别对20寸、25寸和32寸的电视机背板进行100次抓取实验，并对每次抓取过程中基于图像判断的位置和实际位置偏差进行记录分析。实验结果表明该平台满足实际生产需要。

5 结论

将机器视觉应用于电视机装配生产线，运用机器视觉工具稳定快速地分析计算出位移偏移量，并直接传送至PLC控制器，省去了机器人模型建立，提高了控制的稳定性。实验结果表明设计的自动检测与抓取平台能实现对不同型号电视机背板的夹取，从而实现背板准确、快速、高效地移动及其型号的自动识别，这说明该方法在实际应用中具有很大的潜力。

图12 电视机背板自动检测与抓取的控制流程
Fig.12 Control flow of TV backboard automatic detection and capture

图13 电视机背板自动检测与抓取平台的PLC电路图
Fig.13 PLC circuit diagram of TV backboard adaptive detection and capture platform