• 全国 [切换]
  • 深圳市鼎达信装备有限公司

    扫一扫关注

    当前位置: 首页 » 新闻动态 » 真空技术 » 正文

    基于Gaussian-yolov3的铝型材表面缺陷检测

    放大字体  缩小字体 发布日期:2021-10-20 10:46:14    浏览次数:182    评论:0
    导读

    在铝型材的实际生产过程中,由于各方面因素的影响,铝型材表面会产生碰伤,刮花,凸粉等瑕疵,这些瑕疵会严重影响铝型材的质量;目前主要采用人工检测,由于铝型材表面自身含有纹路,与瑕疵区分度不高,传统人工肉眼检查十分费力,质检的效果难以控制;为解决上述问题,以铝型材表面缺陷为研究对象,使用Gaussian-yolov3为基础目标检测网络,针对铝型材表面部分条状缺陷的特性,使用变形卷积技术增强卷积的适应性;针对小缺陷检测问题,使用密集连接技术及数据增强扩展数据;对比Faster R-CNN、SSD实验,结果表明,基

    0 引言

    铝型材在日常生活和工业场景有非常重要的应用。在铝型材的生产过程中,由于不确定因素的影响,铝型材表面会出现各种随机性比较强的缺陷,比如碰伤,刮花,凸粉,脏点等常见的缺陷。缺陷不仅影响到材料外观,也影响到材料正常使用。传统缺陷检测方法采用人眼检测。如果处于精力集中的紧张状态,人眼会出现疲劳状态,检测效率降低。目前基于机器视觉的检测系统不受太多客观因素的影响,可以长时间保持较高的检测准确性。随着现在用人成本的逐渐增高,工厂自动化的趋势越来越明显[1],制造业面临着从劳动密集型到科技密集型的转型[2],在工厂自动化的转型过程中,基于机器视觉的检测系统更是一项很重要的技术[3]

    基于深度学习的缺陷检测已经应用于各种工业场景。江佳佳等人利用卷积神经网络学习鲸鱼声音数据的特征,以达到区分不同的鲸鱼哨声[4];宋李美等人通过把卷积神经网络与传统算法骨架提取,图像阈值处理相结合,实现对金属微小划痕的检测[5];华南理工的文生平等人基于卷积神经网络,设计类似于SSD算法的算法框架,实现对圆锥滚子缺陷检测[6];冼涛等人设计多任务卷积神经网络,以检测弹簧线插座的缺陷识别[7]。河海大学的沈晓海等人利用faster-rcnn,分割等技术对铝型材表面缺陷进行了检测[8]

    目前基于铝型材的缺陷检测算法研究较少,河海大学等研究员的算法复杂度较高,检测速度和精度有待提高。铝型材表面缺陷用普通的深度学习检测算法难以检测,第一个原因是铝型材的某些缺陷比如脏点,相对于擦花、凸粉等缺陷,脏点的面积过小,和背景色相似,给检测带来一定的难度。第二个原因是不同缺陷之间形态差异较大,脏点缺陷形态类似小圆点,擦花缺陷大多是狭长,呈线性的缺陷,擦花长度也有较大区别,严重的擦花缺陷横向跨越整个图像,轻微的擦花缺陷长度比较短,传统的卷积层对于这种形状的缺陷,提取能力不够强,限制了整体的检测效果提升。图1是缺陷样本图。为了解决小缺陷检测问题,使用Gaussian-yolov3算法模型,同时Gaussian-yolov3比yolov3的优势在于,Gaussian-yolov3计算预测框的置信度,并且利用置信度函数计算损失,提高了整体的预测框的位置精准度。原始Gaussian-yolov3算法对铝型材小缺陷和细条状缺陷特征提取能力有限,所以本论文在原始Gaussian-yolov3的基础上,使用密集连接块技术,进一步提升对特征的利用率,提高检测效果。为了提高狭长细小缺陷的检测率,参考可变性卷积思想,设计出新的横向变形卷积,以满足检测狭长缺陷的需求。

    图1 铝型材表面缺陷样本

    1 基于深度学习的铝型材缺陷检测过程

    铝型材表面的脏点缺陷和碰伤缺陷面积相对较小,仅用最后一层特征图检测效果不理想。yolov3算法采用金字塔形式特征采样,从不同的感受野范畴采集不同语义的特征,形成不同尺寸的特征图,将不同尺寸的特征图,通过上采样的方式,在特征图通道方向融合,以此提高脏点和碰伤的检测准确率。其结构如图2所示。

    从图2可以看到,原始铝型材缺陷图像经过特征提取网络,得到3种不同尺寸的特征图。低尺寸的特征图包含着更多大面积缺陷,比如凸粉,擦花的隐含特征,高尺寸的特征图包含更多小尺寸缺陷凸粉,脏点的隐含特征。

    图2 yolov3金字塔结构图

    图3 检测器模块

    铝型材原始图像经过特征提取网络和检测器模块的处理,形成3种不同尺寸的特征网格图。算法把3个不同尺寸的网格图映射到铝型材原始图像上,把原始图像划分成不同大小的网格。算法在每一个网络当中设定3个不同尺寸的anchor-box,并且在每一个网格当中输出3个缺陷预测框向量,向量数值包括预测框包含缺陷的置信值,预测框相对于anchor-box的长宽偏差,中心坐标偏差,以及擦花,碰伤,凸粉,脏点出现的概率。算法根据图像标签以及ground-truth的坐标长宽计算误差,Gaussian-yolov3算法在yolov3的基础上,计算缺陷预测框长宽,中心坐标的置信度,置信度越高,预测框约准确率。损失函数当中加入置信度函数计算误差,误差反向反馈到卷积神经网络当中,使用梯度下降法计算权重梯度,更新权重得到全局最优解。anchor-box的示意图如图4所示。

    图4 anchor-box机制

    2 改进Gaussian-yolov3方案-密集连接块

    在铝型材缺陷样品当中,脏点缺陷的数量相对于其他缺陷少很多,只占了10%,而且脏点面积小,颜色与背景色有一定的相似度,所以为了加强模型对小缺陷的纹理特征和颜色特征的提取能力,更加充分利用卷积层的输出信息,在Gaussian-yolov3的基础上,本文在特征提取网络当中加入密集连接块,通过对特征极致的使用,提高模型对脏点缺陷的检测准确率。密集连接块的结构如图5所示。

    图5 密集连接块

    在一个密集连接块中,第L层的输出与它之前的每一层都有关,设第L层的输出为XL,第L层的激活函数为HL,则有:

    (1)

    式中,[]代表拼接操作,指将第L-1层的输出与前面各层的输出按照通道数维度组合在一起,再通过激活函数增加非线性。

    在特征提取网络当中。包含一个常规卷积层和5个残差单元。特征提取网络接受铝型材缺陷原始图像作为输入,经过一个3×3卷积层的初步特征提取,形成初步特征图,初步特征图沿着网络结构进入五个残差单元结构。残差单元由和若干个残差块组合而成。残差块设计参考了残差网络网络,为了缓解梯度消失,不断加深网络结构深度。

    本论文在8个残差块当中使用密集连接的方式,使每一个残差块之间的特征信息得到共享互补,使模型可以充分提取到脏点缺陷和碰伤缺陷的纹理特征和颜色特征。在残差块内部使用了残差连接,特征融合方式是特征图对应的像素相加,虽然生成了新特征,但是原有特征在一定程度上有损失。而密集连接的特征融合方式是在通道维度上拼接形成新特征,卷积网络自动学习特征的组合,避免了人为干预特征融合带来的影响,保证融合过程中没有特征损失。

    同时使用密集连接技术,加强了特征的重复使用,加强了底层特征对预测结果的影响。当网络深度够深,密集连接可以缓解梯度消失和梯度爆炸的问题。

    3 改进Gaussian-yolov3方案-横向变形卷积

    普通卷积神经网络模型主要依赖数据本身多样性,克服特征图的几何变化。模型内部不具有适应几何变化的机制。根据对铝型材表面缺陷的分析,擦花缺陷大多数都是呈横向的,细长状的缺陷,并且长度不一致,严重的擦花缺陷长度较长,轻微的擦花长度较短。擦花缺陷如图7所示。

    图6 Gaussian-yolov3中的密集连接结构

    图7 部分擦花缺陷样本

    基础Gaussian-yolov3的卷积层都是固定的正方形形状,对这种条状的缺陷特征提取能力不够强。为了解决这个不足,在Gaussian-yolov3算法的基础上,使用可变形卷积的卷积技术[11],改变普通卷积固有的几何形状。基础的可变形卷积在XY方向上都会有偏移,但是从擦花缺陷的形态上分析,大部分以横向缺陷为主,所以为了减少计算量和计算速度,本论文设计的可变形卷积只在X方向进行偏移。

    普通2D卷积分两个步骤:1)在输入特征图上使用固定尺寸的卷积核R进行采样;2)使用卷积核的权重进行计算采样,并且把计算结果相加。3*3的卷积核R的定义如下:R={(-1,-1),(-1,0),(0,0)....(0,1),(1,1)}对于输出特征图上的一个点p0, 特征图输出如下所示:

    (2)

    对于横向变形卷积,在固定卷积R的基础上,增加了偏移量Δpn,偏移量用于改变数据采集点的位置,使达到可变卷积的效果。可变卷积的计算如下:

    (3)

    横向变形卷积在特征图上的每一个位置都生成一个X方向偏移量,对于原始特征图输入,横向变形卷积算法单独学习一个位置偏移矩阵,位置偏移矩阵的尺寸与输入特征图的尺寸保持一致,保证输入特征图的每一个特征点都有横向偏移量。位置偏移矩阵的通道数是输入特征图的通道数保持一致,储存X方向的偏移。位置偏移矩阵计算如图8所示。

    图8 横向变形卷积输入特征图

    经过一个额外的卷积计算操作,生成另外一个位置偏移矩阵。对于位置偏移矩阵的每一个数据点,都对应原始特征输入的位置偏移。

    4 实验结果分析

    4.1 实验评判指标

    在铝型材缺陷检测任务当中,使用mAP和AP来衡量算法的分类和检测性能,把改进算法对一张图像的检测时间作为性能指标,衡量一个算法的效率。同时将目标检测算法和其他传统检测算法做性能比较。mAP,AP公式如下:

    精确率

    (4)

    召回率

    (5)

    其中:TP表示检测出铝型材缺陷判断正确的数目,FP为判断错误数目,FN表示没有检测出铝型材缺陷的数目。针对每一种铝型材缺陷,计算精确度和召回率,画出PR曲线,计算PR曲线的面积便是平均精度APmAP是所有铝型材缺陷的平均精度。

    (6)

    (7)

    其中:AP是衡量某一个缺陷的分类效果的指标,p(r)表示当分类阈值取不同的值r的时候,计算出来的准确率。r的取值范围是0,0.1,0.2....1,n=11。APi表示类别iAP值。

    4.2 不同检测算法对比实验

    数据集包含了2 000张缺陷图像,由于缺陷样本数比较少,所以利用一定的数据增强技术,比如翻转,旋转,剪裁等,扩展数据集,并且使用迁移学习技术初始化模型权重。把缺陷图像均匀的打乱,把整个数据集分成三部分,第一部分是训练数据,用于训练模型,第二部分是验证数据,在训练模型的时候,对验证图像进行预测,计算mAP或者损失函数等指标。第三部分是测试数据,用于验证训练好的模型的精度和性能。训练数据占有70%,验证数据和测试数据分别占有15%。

    实验室硬件配置CPU为Intel Core i7-7700。软件配置系统为Ubantu16.04。深度学习框架使用Pytorch,编写代码的编译环境使用Jupyter。标注数据的工具使用LabelImg。图形处理工具使用python的集成工具opencv。编程语言使用python 3.0。

    针对同样的训练和测试图像数据,把常见的目标检测算法和改进的Gaussian-yolov3进行了性能对比,对比mAP和针对每一张图像的检测速度。对比组实验的算法包括SSD[12],Faster R-cnn[13]

    从表1的数据可以看到,SSD512使用多尺度检测方法,mAP达到了87.92%,和Gaussian-yolov3对比没有优势。从检测速度可以看到,SSD512的检测速度是Gaussian-yolov3两倍检测速度,SSD512是51.2 ms,改进的Gaussian-yolov3检测算法是27.8 ms。SSD模型另外一个改进版本SSD300,检测速度是26.4 ms,和Gaussian-yolov3检测速度基本一样,但是mAP是78.13%,和Gaussian-yolov3的mAP精度相差较大。Faster-Rcnn属于two-stage目标检测算法,所以Faster-RCNN的检测速度慢很多,136.6 ms,精度只有82.89%mAP。从对比实验可以看到,由于Gaussian-yolov3使用多尺度目标检测,检测精度对比其他目标检测算法有很大优势,结合残差网络结构,检测速度也是优于其他算法。

    表1 不同目标检测算法实验对比

    SSD300Faster-RcnnSSD512改进Gaussian-yolov3mAP/%78.1382.8987.9288.85 检测时间/ms26.4136.651.227.8

    为了验证对Gaussian-yolov3改进策略的有效性,本实验将原始的Gaussian-yolov3模型与通过改进的算法进行实验对比,得到总体的检测mAP指标,各种缺陷单独的AP指标以及检测单张图像所需要的检测时间。

    表2 改进算法的mAP有效性验证1

    擦花碰伤脏点凸粉mAP原始Gaussian-yolov383.9280.2781.7184.9882.72Gaussian-yolov3+密集连接84.3683.5183.2186.2584.33Gaussian-yolov3+横向变形卷积87.4284.9283.8789.2786.37改进的Gaussian-yolov387.9789.2588.3889.8188.85

    表3 改进算法的准确率有效性验证2

    擦花碰伤脏点凸粉原始Gaussian-yolov392.4190.7289.9292.96Gaussian-yolov3+密集连接96.7495.9094.1197.64Gaussian-yolov3+横向变形卷积98.6196.7294.4298.12改进的Gaussian-yolov398.7397.5896.7398.81

    从上表可以看出,经过密集连接算法改进,碰伤和脏点等小缺陷的检测准确率有明显的提高,验证了密集连接结构的改造有效性。使用了横向变形卷积,除了擦花缺陷检测准确率有明显提高,其他缺陷的检测准确率也有明显提高。单张图像的检测速度,改进的Gaussian-yolov3的检测速度27.8 ms,能满足工业实时检测的需求。

    4.3 不同数据增强策略对算法性能的对比实验

    在生产线上铝型材出现缺陷的情况概率比较低,训练图像数量非常有限。如果训练图像数量不足,模型容易出现过拟合。为了避免出现过拟合的现象发生,对训练数据进行一定程度的增强,增强目的是增加图像的数量,同时保持原本缺陷的完整性。采用常规的数据增强的方法,图像旋转、图像翻转、图像剪裁、增加噪音、添加模糊。

    针对每一个样本,设置初始概率30%。每一个样本有25%的概率进行图像旋转10°;30%的概率进行翻转;40%的概率进行剪裁;10%的概率进行模糊;10%的概率添加噪音。策略a是旋转;策略b是旋转和翻转;策略c是旋转、翻转、剪裁;策略d是旋转、翻转、剪裁、模糊;策略e是旋转、翻转、剪裁、模糊、噪音。实验结果如表4所示。

    表4 不同数据增强对比

    数据增强策略mAP(%)没有80.86旋转83.61翻转+旋转85.29翻转+旋转+剪裁86.72翻转+旋转+剪裁+模糊87.52翻转+旋转+剪裁+模糊+噪音88.85

    4.4 传统机器视觉分类算法与Gaussian-yolov3算法对比实验

    设置不同的对比实验,对比传统的图像分类算法与Gaussian-yolov3分类准确率,使用准确率作为评判指标。(1)GLCM:计算灰度图像得到图像共生矩阵,计算共生矩阵得到矩阵的部分特征值,比如反差,能量,相关性,熵,分别代表图像的某些纹理特征。(2)HOG:HOG特征用于物体检测的特征描述子。通过计算和统计图像局部区域的梯度方向直方图来构成特征。具体实现方法是:将图像分成小的连通区域,采集连通中各像素点的梯度的或边缘的方向直方图;把这些直方图组合起来构成特征描述器。

    通过GLCM和HOG得到特征向量,使用SVM和MLP做多分类任务。使用SVM作为基分类器,使用一对多作为分类策略,训练4个SVM模型,4个模型做投票分类。MLP是一个多层的神经网络,由输入层,隐藏层,输出层组成。输入层的维度由特征向量的维度决定,隐藏层有15个隐藏单元,每个单元的里面的维度和输入层的维度保持一致。输出层由4个输出单元组成。实验结果如表5所示。

    表5 SVM,MLP,Gaussian-yolov3准确率实验对比

    擦花碰伤凸粉脏点GLCM+MLP81.45%75.31%79.12%79.45%GLCM+SVM79.15%76.32%82.25%82.95%HOG+MLP75.45%76.97%78.63%81.71%HOG+SVM82.55%81.73%82.91%81.55%改进Guassian-yolov398.73%97.58%96.73%98.81%

    由上表可以看出,使用HOG和GLCM作为特征提取算法,SVM和MLP作为分类算法,4种缺陷的分类准确性均比改进的Gaussian-yolov3要低。而且基于HOG和GLCM的特征提取需要大量人工设计特征,消耗大量时间成本。所以改进的Gaussian-yolov3要优于传统的分类算法。

    5 结束语

    针对铝型材表面缺陷检测,使用Gaussian-yolov3作为基础目标检测算法。为了解决小缺陷检测问题,使用密集连接的方式增强特征融合能力。为了解决铝型材部分条状缺陷检测问题,使用横向变形卷积技术,增强卷积核在特征图上采集特征的能力。通过多组实验对比,改进的Gaussian-yolov3算法比原始的Gaussian-yolov3算法在检测准确度上更高。改进的Gaussian-yolov3算法检测速度和检测准确度均比其他主流目标检测算法要高,该算法具有较好的实时性,不仅可以提高生产效率,降低用人成本,而且可以帮助企业实现升级改造。如果能够获取更多原始缺陷样本数据,将进一步提高模型准确性。

     
    (文/小编)
    打赏
    免责声明
    • 
    本文为小编原创作品,作者: 小编。欢迎转载,转载请注明原文出处:https://2024.dingdx.com/news/show.php?itemid=501 。本文仅代表作者个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,作者需自行承担相应责任。涉及到版权或其他问题,请及时联系我们。
    0相关评论
     

    © Copyright 深圳市鼎达信装备有限公司 版权所有 2015-2022. All Rights Reserved.
    声明:本站内容仅供参考,具体参数请咨询我们工程师!鼎达信作为创新真空产品研发制造商,我们提供海绵吸具,海绵吸盘,真空吸盘,真空发生器,真空泵,真空鼓风机,缓冲支杆,真空配件,真空吊具等等产品

    粤ICP备17119653号