随着智能制造[1-2]在自动化领域的不断深入,机器视觉和机器人得到广泛的应用。为适应新时代的发展,培养符合新工科[3-5]要求的高素质综合型的人才,在高校本科教学中,需要增大机器视觉和机器人技术方面的教学实践内容。开设课程设计等实践教学环节,对学生深刻掌握理论知识起到事半功倍的作用[6]。
为满足我院机械电子工程专业的教学培养目标,培养符合新工科背景的创新复合型人才,开发设计了基于机器视觉的机器人智能分拣实验平台。该平台是以多边形形状的平面类工件作为分拣对象,利用机器视觉技术采集图片,利用HALCON软件编程得到当前工件形心坐标等信息,再利用面向对象语言VB.net进行混合编程,发送给机器人实现智能分拣操作。
1 实验要求
所开发的实验平台主要用于本科实验教学工作,以锻炼学生的单片机控制技术、光学图像采集系统搭建、机器人手眼标定和控制、图像处理等各方面能力,因此需让学生掌握以下几方面知识:(1)设计并制作单片机控制系统[7],包括继电器控制电路、传感器检测电路[8]等,并与计算机进行串口通信,实现相机触发拍照,控制传送带的启动停止; (2)搭建光学图像采集系统[9],包括掌握各种工业相机、镜头、照明光源的光学特性参数,并进行正确选型; (3)将采集的工件图像利用HALCON软件[10]进行图像处理,包括手眼标定[11]和形状匹配[12],获得分拣工件的位置姿态信息; (4)掌握并利用TCP/IP协议的Socket通信[13],和串口通信技术,上位机将信息传送给机械手控制器,并控制传送带启动、停止; (5)根据具体工件的实际情况,选用电磁铁或者是真空吸盘吸附的方式,设计并搭建真空分拣气动回路[14]; (6)掌握机器人操作的知识,包括示教操作、I/O控制等,并掌握面向对象语言VB.net[15]的混合编程。
2 实验平台结构和功能设计
2.1 实验平台的整体结构
实验平台硬件部分主要由物料传送系统、光学图像采集系统、机器人分拣系统、单片机传送控制系统组成,如图1所示。
图1 实验平台
(1) 物料传送系统:由传送带传送工件,利用光电检测开关实现工件的到位检测,利用传送带配置的调速器进行速度调节。
(2) 光学图像采集系统：主要由工业相机、工业镜头、照明光源系统组成,工业镜头可以根据检测对象选用定焦镜头、变焦镜头或者双远心镜头中的一种,照明光源可选用环形LED光源,面阵LED光源,或者线阵LED光源,照明的形式主要为落射照明的方式。
(3) 机器人分拣系统:主要由机器人和分拣机构组成,分拣机构可以根据实际情况,选用电磁铁吸附或真空吸附形式,将电磁铁或真空吸盘连接到机械手的末端,实现分拣。
(4) 单片机传送控制系统:单片机系统可通过继电器控制传送的启动与停止,由单片机控制系统与计算机进行串口通信,控制相机的触发拍照,计算机通过单片机控制传送的启停,方便分拣。
2.2 智能分拣的工作流程
使用该实验平台实现基于机器视觉的智能分拣的流程如下:
(1) 首先进行开机前的初始化设置,包括传送带的速度调节、开启气泵、光学图像采集系统工作距离调整、手眼标定和匹配模板数据的输入等;
(2) 按下开机按钮,传送带启动,将工件传送到检测位置;
(3) 传感器检测到工件,单片机系统将工件到位信号通过串口传送给上位机,触发相机拍照,同时通过继电器模块停止传送带;
(4) 上位机进行图像处理,通过形状匹配方法,得到工件形心坐标和旋转角度等信息;
(5) 上位机将位姿信息通过Socket通信,发送给机器人ACE软件; 再次启动传送带;
(6) 当工件再次到达分拣位置时,传感器检测到工件,单片机通过继电器模块停止传送带,并通过串口将到位信息传送给上位机,启动机器人,实现智能分拣;
(7) 分拣完毕,再次启动传送带;
(8) 按下停止按钮,系统关闭。
3 实验项目开发
利用该实验平台可开设如下实验:
(1) 物料传送装置拆装测绘实验。主要让学生拆解传送平台,了解其中的机械结构和传动原理,包括皮带传送的传动形式、皮带滚筒轴承安装与润滑、张紧装置和方法等[16],并测绘内部一些关键零部件的参数; 用SolidWorks进行三维图建模与装配,用AutoCAD等绘图软件绘制零件二维图与装配图,提高学生的机械设计能力、三维建模能力和绘制机械图纸的基本能力。
(2) 光学图像采集系统搭建实验。该系统主要由工业相机、工业镜头和照明光源组成。主要让学生掌握工业相机、工业镜头和照明光源的各种性能参数,进行正确的选型,搭建光学图像采集系统,调节好镜头的工作距离和照明光源的照明角度,以采集清晰无畸变的图像,以供进行图像处理。
(3) 单片机控制系统设计实验。单片机控制系统(见图2)主要功能是利用51单片机系统,控制传送带的启动和停止,利用PWM控制传送带电机的传送速度,通过传感器实现工件到位检测,通过串口与上位机通信。学生主要设计单片机控制系统,包括单片机最小系统板设计、继电器启停控制电路设计、传感器检测电路设计、串口通信、PWM调速电路等,并利用KeilC51进行编程以完成相关功能。
(4) 真空吸盘搬运分拣气动回路设计实验。真空吸盘搬运分拣的功能主要是让机械手通过真空吸盘吸附工件,将工件搬运到指定位置。该实验主要让学生选用不同类型的真空搬运回路,比如带真空破坏(见图3)和不带真空破坏两种气动回路的设计,进行相关元器件的选型,如真空吸盘、电磁阀、真空发生器、过滤器等元器件,学生自己动手搭建气动回路。真空吸附搬运整个工作过程:气源提供压缩空气,经过气体二联件(空气过滤器和减压阀)处理后,传送到真空供给阀和真空破坏阀。当工件需要被真空吸盘吸附时,真空吸盘与工件紧密贴合,控制真空供给阀3的电磁铁得电,压缩空气进入真空系统,真空发生器吸取真空吸盘的空气,产生真空,此时压差开关关闭,吸盘吸起工件; 当到达指定位置需要释放工件时,真空破坏阀开始工作,压缩空气通过真空破坏阀进入真空系统,压差开关开启,破坏真空,工件由于自重而下落。
图2 单片机控制系统功能框图
图3 带真空破坏气动分拣回路
(5) 手眼标定与形状匹配图像处理实验。智能分拣的图像处理主要有手眼标定和形状匹配两方面。手眼标定功能是将采集到的图像进行标定,实现图像坐标系、机器人坐标系和世界坐标系的统一,各坐标系的关系如图4所示。形状匹配目的是为了获得工件的形心坐标,以及工件形状对比于匹配模板形状的旋转角度,从而实现正确的定位搬运的目的。本实验主要是让学生利用HALCON软件的标定助手进行相机标定,标定流程如图5所示,获得图像尺寸和实际尺寸的标定系数,并掌握形状匹配方法,利用HALCON的shape_based_match方法,输入匹配模板图像,利用find_shape_model算子获取工件形心坐标以及工件与模板的旋转角度。在HALCON中编程之后,导出为VB.net模块,在VB.net中进行使用。
图4 手眼标定各坐标系关系
(6) 机器人操作控制实验。机器人操作控制主要是实现智能分拣搬运的目的。学生利用控制器自带的ACE编程软件和V+编程语言,将工件从指定坐标搬运到指定的位置,一方面为手眼标定提供数据,另一方面实现智能搬运。另外，还需要通过I/O接口控制电磁阀产生或者破坏真空，并掌握TCP/IP协议的Socket通信的知识,在ACE软件端编程设置相关信息,如IP地址、端口号、通信速率等,以接收VB.net发送过来的工件位姿信息。图6是机器人控制器软件ACE编程界面。
图5 HALCON标定助手流程
图6 机器人控制软件ACE软件界面
(7) 上位机软件开发实验。上位机软件开发编程实验的目的是让学生掌握面向对象的VB编程语言,利用VB.net进行混合编程,编程界面见图7。实现3个功能:①利用HALCON导出的图像处理模块,得到工件的形心和旋转角度的信息,需要注意HALCON的Htuple类型和VB语言的double双精度数据类型的类型转换;②掌握网络通信的TCP/IP协议的Socket通信,掌握套接字的设置,如IP地址、端口号、通信速率等,将计算机和机器人控制器进行网络通信,从而将工件的坐标信息发送给控制器,控制机器人运动;③与单片机的串口通信:主要是让学生掌握串口通信的相关知识,利用VB.net的SerialPort控件,进行串口号选择、波特率、校验位等设置,和单片机进行正确通信,一方面接收传感器的检测信号触发相机拍照,一方面可以在计算机软件端控制传送带的启动、停止以及速度调节。
图7 VB.net混合编程界面
4 结语
本文设计的基于机器视觉的机器人智能分拣实验平台,可以开设包括光学、机械、电子、计算机控制等方面的实验,综合了多门学科知识,对于学生深刻掌握机器视觉和机器人控制技术,培养新工科背景的复合型人才有着十分显著的教学效果,还可用此平台开展有关机器人机器伺服方面的科研工作,实用性强,用途广泛。
参考文献(References)
[1]周济. 智能制造：“中国制造2025”的主攻方向[J]. 中国机械工程, 2015, 26(17):2273-2284.
[2]白瑞峰,韩洪洪,于赫洋,等. 智能制造虚拟实验系统设计与集成[J]. 实验技术与管理, 2016, 33(6):129-131.
[3]钟登华.新工科建设的内涵与行动[J].高等工程教育研究,2017(3):1-6.
[4]孙科学,郭宇锋,肖建, 等.面向新工科的工程实践教学体系建设与探索[J].实验技术与管理,2018,35(5):233-235.
[5]林健. 面向未来的中国新工科建设[J]. 清华大学教育研究, 2017, 38(2):26-35.
[6]李颀, 强华. 工业机器人实验教学平台[J]. 实验技术与管理, 2018，35(4)：165-170.
[7]邵贝贝.龚光化.单片机认识与实践[M].北京:北京航天航空大学出版社,2006.
[8]贾伯年, 俞朴, 宋爱国. 传感器技术[M]. 南京:东南大学出版社, 2007.
[9]穆向阳, 张太镒. 机器视觉系统的设计[J]. 西安石油大学学报(自然科学版), 2007, 22(6):104-109.
[10]金贝. 基于HALCON的机器视觉教学实验系统设计[D]. 北京:北京交通大学, 2012.
[11]卢泉奇, 苗同升, 汪地,等. 基于HALCON的机械手视觉抓取应用研究[J]. 光学仪器, 2014, 36(6):492-498.
[12]吴源远. 高速分拣机械手视觉识别技术研究[D]. 无锡:江南大学, 2009.
[13]刘艳菊, 张宏烈. 基于TCP/IP协议关于SOCKET通信程序的研究[J]. 齐齐哈尔大学学报(自然科学版),2003(3):51-53.
[14]SMC(中国)有限公司.现代实用气动技术[M].3版. 北京:机械工业出版社,2008.
[15]邵峰晶. VB.NET程序设计[M]. 北京:电子工业出版社, 2011.
[16]李绍炎. 自动机与自动线[M]. 北京:清华大学出版社, 2015.
