基于深度学习的工业视觉检测系统

1 引言

工业零部件是组成产品的重要组成部分，出厂前必须确保没有任何错装、漏装现象。目前，很多零部件的检测还处于人工检测阶段，检测的效率和质量还有待提高。随着机器视觉在工业上的快速应用，有很多基于视觉的检测算法应用到工业生产线零部件检测。但是，工业检测坏境复杂且有很多不稳定的因素[1]，一是待检测零部件种类繁多且形状大小不一，二是待检测的工业零部件表面纹理特征较少很难提取有效特征，并且检测的背景和待检测目标较为相似易存在漏检问题。因此，基于视觉的工业零部件检测仍拥有众多问题待解决。

传统的工业零部件检测方法主要基于零部件的形状和颜色特征建立模板，利用模板对待检测零部件进行匹配检测。文献[2]提出基于形状匹配的检测方法，该方法需要根据纹理特征准确提取零部件轮廓，对光照要求比较高，受外界因素影响较大，不能保证检测效率并且对较小零部件检测效果很差。近几年，深度学习在目标检测领域得到了快速发展。文献[3]是选择性[4]搜索（Selective Search，SS）和区域卷积神经网络[5]（Region Convolutional Neural Network，RCNN）相结合的目标检测方法（SS+RCNN）。该检测方法分为两步，先使用选择性搜索方法获取可能是目标的1 000～2 000个候选框，然后再用RCNN对提取的目标进行定位识别。该方法可以应用于工业零部件检测，但是当背景和待检测目标较为相似，零部件表面纹理细节特征较少时，往往检测效果很不稳定并且检测速度慢不能满足生产线实时检测。

本文根据实际工业的需求，提出一种应用于工业生产线零部件检测的视觉检测方案。通过分析实际工业生产线的检测环境和采集到的包含待检测零部件的图像，改进基于Faster RCNN[6]检测框架的共享卷积层网络结构，提出一种RPN+RCNN检测网络来适应对形状大小不一的零部件进行准确检测，同时提高检测效率以确保生产线实时检测。

2 视觉检测系统的构成

整个视觉检测系统由硬件系统和图像处理分析软件系统两个部分构成。

2.1 硬件系统构成

硬件系统主要包括工业相机、光源、计算机、下位机控制器和检测平台等核心组成部分。检测系统的整个结构如图1所示。首先通过检测平台、工业相机获取多幅训练样本，对图像预处理后输入RPN+RCNN检测网络进行训练学习获得检测模型；然后利用光电传感器触发信号采集单张图像输入检测模型；最后输出检测结果到下位机控制器模块进行下一步操作。

图1 检测系统结构

2.2 视觉检测系统软件的设计

视觉检测系统的软件主要由相机模块、通信模块、图像算法处理模块组成。相机模块主要完成对相机SDK调用，负责整个系统的图像采集工作。通信模块主要基于串口通信与下位机控制器进行数据交流。图像算法处理模块的实现主要基于深度学习框架caffe和图像处理开源库opencv研究开发，主要负责对采集到的图像进行预处理，然后通过所提出的RPN+RCNN检测网络对数据样本训练学习获取检测模型，并将检测结果发送至通信模块。

3 视觉检测系统软件的算法设计

软件算法设计主要包括图像样本的采集、训练和图像样本检测三部分，其中样本的训练和检测是视觉检测系统的核心部分。软件算法流程图如图2所示。使用有监督的学习方式[7]对样本进行训练，首先在样本中标注待检测零部件，获取其位置坐标。为保证训练样本的多样性和丰富性，利用图像的物理变换分别对图像进行上下、左右翻转，然后再旋转扩展样本以产生足够多的训练数据。将打好标签的样本数据输入RPN+RCNN检测网络进行训练，建立检测模型。通过触发采集图像信号，加载训练好的检测模型，利用GPU加速处理网络参数，进一步提高检测速度。最后输出定位零部件的位置坐标和类别。

图2 图像算法流程图

3.1 检测网络结构

工业生产线上零部件排布密集，且形状大小不一，现有目标检测方法[4，8]主要针对较大目标进行检测，对较小零部件检测结果不是很稳定，网络训练时有较多的网络参数，训练速度比较慢。本文提出一种改进的RPN+RCNN检测网络，改变卷积层滤波器核参数和滤波器个数以适应对工业零部件目标特征的提取，并且两个子网络共享前五段卷积层参数，采用端到端训练方法减少训练时间。RPN子网络主要根据标注的训练样本集产生可能包含目标的候选框；RCNN子网络对候选框进行多任务分类和输出候选框位置坐标，将得分大于设定阈值候选框通过非极大值抑制方法合并成目标所在位置的精确区域。

3.1.1 RPN网络结构

RPN是一个全卷积神经网络，使用卷积神经网络直接产生区域目标建议候选框（Region Proposal），其本质是一种滑动窗口方法，其网络结构如图3所示。网络进行五层卷积层操作后，得到最后一层卷积特征图，在这个特征图上使用3×3的滤波器窗口进行滑动遍及整个特征图。为适应网络，可以检测不同形状大小的零部件使用一个Anchor结构[6]，即在最后的一个卷积特征图的每个位置上，用3×3滑动窗口的中心位置同时预测9个长宽比大小不同的候选框。网络的最后两个全卷积层一个用于候选框分类，一个用于候选框回归。其中候选框分类是判断得到的边框属于前景还是背景[9]，候选框回归主要获取边框位置坐标信息（边框左上角坐标：x、y和边框的宽度高度：w、h）。

图3 RPN网络结构图

Faster RCNN中的RPN网络拥有五层卷积层，且第一个卷积层的卷积核大小为7×7，因此当检测尺寸较小的零部件时会将一些背景信息融入到网络中，从而造成检测效果差。本文提出了一种改进的RPN网络结构，该网络有五段卷积层，其中第一段和第二段都有两个卷积层，选择用两个卷积核大小分别为5×5和3×3的卷积层串联代替，这样两个串联的卷积层效果相当于一个7×7的卷积层，同时串联的两个卷积层拥有更少的学习参数量，只有原来的69%（（5×5+3×3）/（7×7）=69%）。比较重要的一点是，两个串联的卷积层比一个7×7的卷积层拥有更多的非线性变换（前者每个卷积层之后分别跟一个ReLU激活层，可以进行两次非线性变换，而后者只有一次），可以增强卷积神经网络对特征的学习能力。同理，Faster RCNN[6]中第二个卷积层卷积核大小为5×5，用两个3×3大小的卷积核串联代替，参数量只有原来的72%。在每个卷积段的卷积核的数量一样，越靠后段的卷积核数量越多，对应五段分别是[32，64，128，384，256]。这里为适应对小目标零部件的检测，设置Anchor结构所产生的候选框大小为[16，32，64]，三个比例分别为[1∶1，1∶2，2∶1]。随着网络深度的增加，获取更好的多样性和更深层次目标的特征。

3.1.2 RCNN网络结构

RCNN是一个带有全连接层的神经网络，网络结构如图4所示，通过和RPN网络共享卷积层对产生的目标候选框进行多任务分类。共享卷积层方法是定义了一个ROI池化层（ROI pooling）层，把RPN网络产生的候选框映射到最后一个卷积特征图上。这样在用RCNN网络进行多任务分类时不用重复进行卷积计算提取目标特征，通过卷积层的共享提高检测的效率和速度。网络最后接入全连接层实现多任务分类。ROI池化层需要将大小不一的候选框归一化[10]到同样大小，这样得到待检测目标的粗选区域，对这些粗选区域窗口进行回归运算，微调窗口得到待检测目标的精确位置。

图4 RCNN网络结构图

RCNN网络结构的前五段卷积层和RPN一样，两者通过共享卷积层减少网络训练参数。第五段卷积层conv5后接ROI池化层[11]实现卷积层共享并进行网络端到端训练。ROI池化层的输入是RPN网络产生预测目标的候选框和最后一层卷积特征图，其输出接入到一个512维度全连接层（fc6）。最后，全连接层连接两个输出层，分别预测待检测零部件的类别数和位置坐标。

3.2 网络训练方法

RPN+RCNN检测网络由两个卷积网络构成，通过共享卷积层进行网络参数共享，采用端到端的训练方式[12]直接输出检测结果。即不用两个网络互相初始化参数交替训练，而是先训练RPN网络，选取产生的候选框和标注样本区域重叠比例为0.7的候选框作为网络训练的正样本，取重叠区域比例小于0.3的候选框作为训练的负样本，重叠比例大于0.3小于0.7的候选框舍去[13]。RCNN网络的训练直接把RPN输出的大小不一的候选框和特征映射图[14]输入ROI池化层，并将候选框归一化到同样大小，然后送入RCNN网络使用SoftMax进行多任务分类训练，最终输出待检测零部件的类别和微调后的精确位置[15]。

网络训练时，最小化两种误差构造训练损失函数，第一类是分类误差，判断RPN网络产生的候选框是前景还是背景；第二类是边框回归误差，判断产生候选框的位置坐标和实际标注边框坐标的的误差。损失函数是两类误差之和[8]：

其中L是分类误差和边框回归误差之和，i是样本数索引；pi是产生候选框是前景目标的概率，如果为前景样本则 p*i等于1，否则为0；t i是标注边框的位置的向量，t*是产生候选框位置的向量；λ是回归参数。分类误差i和边框回归误差分别通过N cls和N reg以及入进行平衡权重归一化。N cls项归一化值是mini-batch[14]大小，根据系统硬件环境，这里设置为64；N reg项归一化值是产生的候选框位置的数量，由于最后一层的卷积特征图[15]大小是30×40，即得到 N reg≈1 200。当 λ=20，N cls和N reg项的权重近似相等，有利于网络误差项优化，后续实验验证了该推断。根据损失函数使用mini-batch梯度下降算法[16]优化网络，使损失函数收敛到全局最优化[17]。端到端训练方式如图5所示。

图5 端到端训练方式框架图

4 实验结果与分析

实验数据采集于工业自动化装备生产线，用图像采集器对每个种类零部件采集30 000张样本数据，其中25 000张样本制作为训练集，5 000张样本为测试集。实验运行环境为Linux操作系统，caffe深度学习框架；硬件CPU为i7/2.53 GHz，16 GB/RAM，GPU为GTX1080/8 GB RAM。

为验证检测系统的性能随机选择几种产品中易错检、漏检的零部件，在相同的检测环境下，分别用文献[4，6]和提出的RPN+RCNN网络进行对比。图6～8中分别为文献[4]（SS+RCNN）、文献[8]（Faster RCNN）和本文RPN+RCNN网络的检测结果。如图6～8所示，文献[4]利用目标纹理、颜色等信息提取待检测目标的候选框，但是由于目标零部件和背景信息比较相似，增加了背景和目标分离的难度，并且易受外界条件光照影响，所以在检测时会造成大量漏检现象，其检测效果是三种方法中最差的。文献[6]可以较好地检测较大目标（如图8的B、E所示）。但是，在进行小目标零部件检测时，易出现少量漏检的情况，如螺钉（图6的B、E）、胶粒（图7的B）。这是因为其前两层利用比较大的卷积核，在提取小目标零部件浅层特征时，背景信息占比很大会使提取的目标特征信息不够充分，表达能力不强。提出的RPN+RCNN网络改变卷积层网络结构增加网络的特征表达能力的同时减少了网络训练参数，把漏检的错误率降到最低满足了工业生产要求，针对小目标零部件取得比较鲁棒的检测效果（图6的C、F和图7的C、F），并且对较大目标的检测效果与文献[6]相当。

图6 螺钉检测

图7 金属框胶粒检测

图8 书架零部件检测

为了进一步客观对比三种方法，表1～3给出了具体检测时间和准确率的详细数据。

如表1～3所示，文献[4]针对大小不同的目标使用不同比例的滑动框搜索方法获取候选框，因此与文献[6]和RPN+RCNN相比所用时间较多，并且检测准确率不高，检测效率低下。文献[6]和RPN+RCNN直接使用卷积神经网络在最后的卷积特征图上产生候选框，且在每个位置上使用Anchor结构产生不同比例的边框，因此相比于文献[4]提高了检测效率。而且，这两种方法在检测时间上相当，并且在针对较大零部件检测时准确率也是比较近似。但是，RPN+RCNN网络改变了共享卷积层网络结构，在对小目标零部件检测时具有更高的检测准确率。

表1 SS+RCNN方法测试结果数据表

表2 Faster RCNN方法测试结果数据表

表3 RPN+RCNN方法测试结果数据表

表4给出了不同回归参数入对RPN+RCNN网络的检测准确率的影响。实验结果表明，在一定取值范围内（1～100），不同的回归参数入值对检测准确率有1%左右的影响。尤其是，当λ=20时，检测准确率达到最大，此时分类误差和边框回归误差对检测准确率的贡献度近似相等，有利于网络误差项优化。

表4 不同回归参数对检测准确率的影响

5 结论

零部件是工业产品生产中重要的组成部件，错检以及漏检不能保证产品的质量问题，传统的人工检测比较耗时且准确率低下。本文设计一种基于深度学习的工业视觉检测系统，对检测网络的结构和训练方法进行改进，与现有方法相比具有耗时低，检测准确率高等优点，尤其是针对尺寸较小的零部件具有较高的检测准确率。该检测方法可以提高工业生产效率和出厂良品率，为工业产线零部件的检测提供新的方法