第41卷第11期
2020年11月
自㊀动㊀化㊀仪㊀表
PROCESS AUTOMATION INSTRUMENTATION
Vol.41No.11
Nov.2020
收稿日期:2020-03-20
基金项目:国家自然科学基金资助项目(51975293)
作者简介:余厚云(1975 ),男,博士,讲师,硕士生导师,主要从事机器视觉和几何量计量测试方向的研究,E-mail:meehyyu@nuaa.edu
余厚云1,2,张㊀辉1
(1.南京航空航天大学机电学院,江苏南京210016;2.南京航空航天大学无锡研究院,江苏无锡214187)
摘㊀要:为了解决复杂外形结构的汽车涡轮壳零件表面质量检测难题,研究了基于机器视觉的表面缺陷检测方法㊂首先,分别采用高角度和低角度打光方式,获取凹坑类和划痕类表面缺陷图像,并通过图像滤波和图像增强提高图像的信噪比㊂然后,采用基于连通域的轮廓提取算法,确定感兴趣区域㊂最后,在感兴趣区域内利用灰度分割㊁形态学处理和断点连接等算法分割出缺陷特征,从而得到零件表面缺陷检测结果㊂选取60个涡轮壳缺陷件进行了测试㊂测试结果表明,该方法能够检测出直径0.5mm 以上的凹坑类和划痕类缺陷,漏检率低于1%,单工
位检测时间小于2s㊂基于机器视觉的表面缺陷检测方法能够替代人工完成复杂结构零件的表面质量检测任务,并有效提高了检测精度和检
测效率㊂实际应用中,该方法配合机械臂还可进一步提高检测系统的柔性㊂
关键词:表面质量;缺陷检测;涡轮壳零件;机器视觉;感兴趣区域;断点连接
中图分类号:TH161.14㊀㊀㊀㊀文献标志码:A㊀㊀㊀㊀DOI:10.16086/jki.issn1000-0380.2020030071
Visual Inspection of Surface Quality of Automobile Turbine Housing
YU Houyun 1,2,ZHANG Hui 1
(1.College of Mechanical and Electrical Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China;
2.Wuxi Institute,Nanjing University of Aeronautics and Astronautics,Wuxi 214187,China)
Abstract :In order to solve the problem of surface quality inspection of automobile turbine housing with complex shape structure,the
method of surface defect inspection based on machine vision is studied.Firstly,the surface defect images of pits and scratches are
obtained by high angle and low angle polishing respectively,and the signal-to-noise ratio of the image is improved by image filtering
and image enhancement.Then,the contour extraction algorithm based on connected region is used to determine the region of interest.
Finally,in the region of interest,gray segmentation,morphological processing and breakpoint connection are used to segment the defect
features,so as to get the surface defect detection results.60defective parts of turbine housing were tested.The test results show that the method can detect pit and scratch defects with a diameter of more than 0.5mm.The rate of missing detection is less than 1%,and the
detection time of single station is less than 2seconds.The surface defect detection method based on machine vision can replace human to complete the surface quality detection task of complex structural parts,and effectively improve the detection accuracy and efficiency.
In practical application,the cooperation with the manipulator can further improve the flexibility of the detection system.
Keywords :Surface quality;Defect detection;Turbine housing;Machine vision;Region of interest;Breakpoint connection
0㊀引言
涡轮壳是汽车发动机涡轮增压器的核心部件,其进气口端㊁中间壳端和出气口端等处的表面质量直接影响涡轮增压器的装配精度和密封性能,因此生产企业对涡轮壳零件表面缺陷检测提出了很高的要求㊂但目前绝大多数企业仍采用人工目视的检测方式,检验人员劳动强度大㊁长时间工作眼睛易疲劳,并且检测过程还会受到外界环境光干扰,导致检测效率低,并经常
出现误检㊂
随着近年来机器视觉技术的迅猛发展,视觉检测作为一种快速㊁准确的非接触无损检测方法,已广泛应用于工业制造领域[1]㊂国内外在金属(特别是钢板)㊁
印刷品㊁纺织品㊁玻璃㊁电路板等的表面缺陷检测方面取得了大量研究成果,基于机器视觉的产品表面质量检测已成为应用研究的热点㊂其中,Pichate Kunakornvong 研究了基于块矩阵的图像分割算法[2],
开发出一套空气轴承表面缺陷检测系统㊂张学武等根
第11期㊀汽车涡轮壳零件表面质量视觉检测㊀余厚云,等
据生物视觉仿生机理,设计了铜带表面缺陷检测模型[3],完成了铜带质量检测和缺陷分类㊂张伟等提出一种应用于复杂纹理的手机外壳缺陷检测方法[4],采用一系列中值滤波㊁形态学运算等方法来综合处理并提取缺陷㊂但目前大部分表面质量视觉检测面向的是结构相对简单的产品㊂对于汽车涡轮壳这种复杂零件,考虑到实现难度和成本,相关研究很少㊂尤其是表面划痕的检测极为困难,检测精度低,经常会出现漏检的情况㊂
针对涡轮壳零件表面质量检测问题,根据零件外形结构,分别采用高㊁低角度打光方式获取被测表面图像㊂对于凹坑类缺陷,首先通过基于连通域的轮廓提取算法定位感兴趣区域(region of interest,ROI),然
后在ROI内利用灰度分割识别出缺陷㊂在划痕类缺陷检测时,为了解决背景区域的干扰问题,首先通过边缘提取和轮廓追踪实现ROI的粗定位,然后利用基于连通域的轮廓提取算法精定位,最后通过形态学处理和断点连接方法分割出划痕缺陷㊂
1㊀图像预处理
受光照影响以及图像采集与传输过程中的信号干扰,在涡轮壳零件表面图像中往往存在噪声㊂这将增加表面缺陷的检测难度,并影响检测结果的正确性㊂因此,在表面缺陷检测前,首先要对图像进行滤波㊁增强等预处理,以提高图像的信噪比㊂
一般来说,图像噪声是随机的,很难测定和描述㊂根据统计特征,图像噪声主要分为椒盐噪声和高斯噪声两大类㊂常用滤波算法包括均值滤波㊁高斯滤波㊁中值滤波以及双边滤波等[5]㊂采用这几种滤波算法,分别对夹杂了高斯噪声和椒盐噪声的涡轮壳零件出气口端表面图像进行滤波去噪㊂通过试验对比发现,双边滤波对高斯噪声的处理效果最好,中值滤波和高斯滤波次之㊂而中值滤波处理椒盐噪声的效果最好,高斯滤波和均值滤波次之,双边滤波则几乎无法消除椒盐噪声㊂综合考虑,选用中值滤波对涡轮壳零件表面图像进行去噪处理,既能很好地滤除椒盐噪声,同时又对高斯噪声具有一定的抑制作用㊂
涡轮壳零件表面的划痕缺陷呈细长状且尺度很小,即便是在低角度打光方式下仍然特征不够明显㊂因此,在划痕检测时要先进行图像增强处理,以提高划痕特征的对比度㊂目前,常用的图像增强手段有灰
度变换和直方图增强等㊂灰度变换是通过图像中的像素点运算得到像素灰度值,是一种 从像素到像素 的变换操作,并不改变图像内的空间关系[6]㊂直方图均衡则是通过拉伸直方图分布范围,使得直方图分布不均匀的图像变换成具有均匀灰度的新图像,从而扩大图像的动态范围[7]㊂
涡轮壳零件表面图像增强效果如图1所示㊂从图1可以看出,对数变换和直方图均衡化使图像的亮度整体增强,尤其是直方图均衡化破坏了图像边缘特征㊂而指数变换则有效凸显了划痕特征,增强效果明显优于对数变换和直方图均衡化㊂因此,在涡轮壳零件表面缺陷检测时,采用指数变换进行图像增强
㊂
图1㊀涡轮壳零件表面图像增强效果Fig.1㊀Results of image enhancement of turbine housing
2㊀表面凹坑检测
零件表面的凹坑类缺陷一方面是由于零件在转运过程中与其他零件或设备间的相互挤压或磕碰,另一方面则是来自铸件本身产生的缩孔㊁缩松等㊂采用高角度打光方式可以凸显表面凹坑类缺陷,有利于该类缺陷的视觉检测㊂
2.1㊀ROI定位与提取
涡轮壳零件表面缺陷的待检测区域是与其他零件相配合的机加工表面,只占零件表面图像的一小部分㊂大量背景区域不仅会增加图像处理的计算量,而且还会对零件表面缺陷检测造成干扰㊂因此,首先应从图像中提取感兴趣区域,以提高检测效率和正确率㊂涡轮壳零件出气口端原始图像如图2所示㊂出气口端表面图像包含三个环形检测区域㊂为了准确定位它们的边界,采用基于连通域的轮廓提取算法提取边界点㊂首先对图2中的原始图像灰度分割得到二值化图像,然后设置面积阈值并通过8邻域分析法划分和标记出连通域㊂涡轮壳零件出气口端连通区域局部图像如图3所示㊂
㊃7㊃
自㊀动㊀化㊀仪㊀表
第41
卷
图2㊀涡轮壳零件出气口端原始图像
Fig.2㊀Original image of outlet end of turbine housing
图3㊀涡轮壳零件出气口端连通区域局部图像Fig.3㊀Local image of connecting area at outlet end
of turbine housing
标记连通区域后,使用边界追踪算法可以出区域轮廓上的像素㊂图4所示为采用摩尔邻域追踪算法[8]得到的涡轮壳零件出气口端轮廓提取结果,轮廓检测效果良好
㊂
图4㊀涡轮壳零件出气口端轮廓提取结果
Fig.4㊀Extraction results of outlet end contour of turbine housing
各个连通区域的轮廓提取出来后被存储在不同的数组中,后续只需单独对这些数组中的数据进行处理㊂由于已知涡轮壳出气口端表面缺陷检测的感兴趣区域为环形,因此通过最小二乘法[9]可以拟合得到B 1~B 6共六个轮廓圆㊂环形区域轮廓圆拟合结果如表1
所示㊂
表1㊀环形区域轮廓圆拟合结果
Tab.1㊀Fitting result of the contours of circular regions
轮廓圆心坐标半径/mm B 1(1248,1030)
954.8B 2(1247,1026)
808.5B 3(1248,1030)
779.6B 4(1247,1027)
713.8B 5(1247,1025)
701.9B 6
(1247,1024)
663.7
㊀㊀由此可以构建出涡轮壳出气口端的掩膜图像,并进一步利用掩膜图像,从涡轮壳零件出气口端的原始图像截取出如图5所示的涡轮壳零件出气口端凹坑检测ROI 图像
㊂
图5㊀涡轮壳零件出气口端凹坑检测ROI 图像Fig.5㊀ROI image of pit detection at the outlet end
of turbine housing
2.2㊀缺陷特征识别涡轮壳零件出气口端凹坑缺陷检测结果如图6
所示
㊂
图6㊀涡轮壳零件出气口端凹坑缺陷检测结果Fig.6㊀Detection results of pit defects at the outlet end
of turbine housing
根据涡轮壳产品表面质量要求,视觉系统需要检
测出直径大于0.5mm 的凹坑㊂通过与标准样板比
对,该尺度的凹坑在图像中占据的面积约为20pixel 2㊂
㊃
8㊃
第11期㊀汽车涡轮壳零件表面质量视觉检测㊀余厚云,等
因此,当检测出的凹坑区域面积超过20pixel 2时,判定为缺陷㊂采用灰度阈值分割对涡轮壳出气口端ROI
内进行凹坑检测,共检测出四处缺陷㊂
3㊀
表面划痕检测
划痕是涡轮壳零件表面的另一种常见缺陷㊂它将
影响零件的强度和涡轮增压器的整体密封性,造成燃烧率的下降,并留下很大的安全隐患㊂与凹坑类缺陷不同,划痕检测时需要采用低角度打光方式㊂3.1㊀ROI 定位与提取
低角度光照射下的涡轮壳零件出气口端表面划痕图像如图7所示
㊂
图7㊀涡轮壳零件出气口端表面划痕图像Fig.7㊀Image of scratches on the surface of the outlet
end of turbine housing
虽然划痕特征呈现较高的灰度值,但由于划痕本身的尺度及其在感兴趣区域内所占的比重极小,并且检测区域与周围背景都是低灰度,因此无法通过上文基于连通域的轮廓提取算法来准确定位环形感兴趣区域㊂为此,首先通过边缘检测和轮廓追踪实现ROI 粗定位,去除环形区域以外的背景干扰,然后再利用连通域轮廓提取算法精确提取ROI㊂涡轮壳零件出气口端边缘检测结果局部图像如图8所示
㊂
图8㊀涡轮壳零件出气口端边缘检测结果局部图像Fig.8㊀Local image of edge detection results of outlet port
of turbine housing
边缘检测是基于像素的不连续性进行分割的一种方法,常用的边缘检测算法包括梯度边缘检测㊁形态学边缘检测等
[10]
㊂由图8可见,形态学梯度算子提取的
边缘准确㊁清晰,且连续性较好,有利于后续的轮廓追踪处理㊂
边缘检测可以提取出图像中像素差异变化的边界,但这些边界是离散的,并没有将轮廓作为一个整体㊂接下来,采用摩尔邻域追踪算法将边缘检测的结果整合成有序的轮廓;然后从轮廓图中出最大圆环的外边界,通过最小二乘法拟合出轮廓圆;最后制作掩膜图像并在此基础上提取出粗定位的ROI㊂接下来,参照2.1节的方法可进一步截取出如图9所示的涡轮壳零件出气口端表面划痕检测ROI 图像
㊂
图9㊀涡轮壳零件出气口端划痕检测ROI 图像
Fig.9㊀ROI image of scratch detection at the outlet
end of turbine housing
3.2㊀划痕特征识别与断点连接
确定ROI 区域后,图像中只包含划痕特征和ROI 背景㊂接下来通过阈值分割,就可以将划痕缺陷分割出
来㊂分别采用最大类间方差法㊁最大熵阈值法和均值迭代法得到分割结果㊂其中,最大类间方差法破坏了划痕特征,最大熵阈值法会将背景中的边缘特征误检为划痕缺陷㊂ROI 区域内的划痕识别结果如图10所示㊂均值迭代法既很好地保留了划痕特征,又有效地抑制了边缘轮廓的干扰,识别效果优于另外两种算法
㊂
图10㊀ROI 区域内的划痕识别结果Fig.10㊀Scratch identification results in ROI area
划痕一般是尖锐物体在零件表面刮擦产生的,因此具有很强的方向性,并且整条划痕在各段上的深度存在差异㊂这就导致了划痕对光的反射特性十分复杂㊂同一条划痕往往会被识别成多个小段,影响检测
㊃
9㊃
自㊀动㊀化㊀仪㊀表
第41卷
时对划痕的判断和尺度的度量㊂因此,从感兴趣区域内提取出划痕特征后,需要进一步对断开的划痕作断点连接处理㊂划痕断点连接处理结果如图11所示㊂对于图11(a)中的划痕二值化图像:首先通过形态学处理消除划痕区域内的孔洞,然后结合划痕的方向性,将断开的划痕沿断点连接方向生长,使之连成一个整体㊂划痕断点连接处理结果如图11(b)所示
㊂
图11㊀划痕断点连接处理结果
Fig.11㊀
Result of breakpoint connection of scratches
4㊀试验结果
为了验证上述方法的可行性,选择了60个涡轮壳缺陷样件进行测试㊂部分零件表面缺陷检测结果如表
2所示㊂
表2㊀部分零件表面缺陷检测结果
Tab.2㊀Inspection results of surface defects of some parts
序号检测时间/s
出气口端中间壳端衬套孔端缺陷数量/个检测结果
1 1.85 1.47 1.335正确
2 1.88 1.4
3 1.355正确3 1.80 1.43 1.337正确
4 1.83 1.46 1.326正确
5 1.8
6 1.42 1.366正确6 1.85 1.45 1.379正确
7 1.83 1.47 1.303正确
8 1.7
9 1.43 1.362虚检9
1.82 1.46 1.344正确10 1.83 1.48 1.375正确11 1.71 1.45 1.333正确12 1.72 1.47 1.327
正确13 1.70 1.49 1.3410正确14 1.69 1.46 1.286正确15 1.73
1.49
1.32
2正确
㊀㊀根据试验数据,可以计算出涡轮壳零件出气口端的平均检测时间为1.79s,中间壳端的平均检测时间汽车零件
为1.45s,衬套孔端面的平均检测时间为1.33s㊂系
统能够检测最小直径为0.5mm 的表面缺陷,从60个
缺陷件表面共检测出237个缺陷,漏检2个,虚检4个,系统缺陷漏检率为0.8%,虚检率为1.6%㊂
5㊀结论
针对汽车涡轮壳零件表面缺陷人工检测存在的检测精度和效率低㊁劳动强度大等不足,研究基于机器视觉的零件表面质量检测方法㊂首先,根据缺陷类型,分别采用高角度和低角度打光方式获取零件表面凹坑类和划痕类缺陷图像;然后,通过中值滤波㊁指数变换等预处理手段提高图像信噪比㊂对于凹坑类缺陷,通过基于连通域的轮廓提取算法定位ROI,然后在ROI 内利用灰度分割识别出缺陷㊂对于划痕类缺陷,首先通过边缘提取和轮廓追踪实现ROI 的粗定位,然后利用基于连通域的轮廓提取算法精定位,最后在ROI 内通过形态学处理和断点连接方法分割出划痕缺陷,完成
了涡轮壳零件表面缺陷检测试验㊂单个工位检测时间小于2s,缺陷漏检率低于1%,能够满足工业现场的检
测速度和精度要求㊂
由于本系统目前是依据特征面积大小来判断缺陷的,判定条件较为单一,因此会受零件装夹一致性以及环境光等因素的影响而造成少量的误检㊂后续将在获取大量缺陷样本后引入深度学习方法,从而进一步提高系统的检测正确率㊂
参考文献:
[1]汤勃,孔建益,伍世虔.机器视觉表面缺陷检测综述[J].中国图
像图形学报,2017,22(12):1640-1663.
[2]KUANAKORNVONG P,TANGKONGKIET C,SOORAKSA P.
Defect detection on air bearing surface with luminance intensity
invariance[J].Fuzzy Systems and Knowledge Discovery (FSKD),
20129th International Conference on,2012.
[3]张学武,丁燕琼,段敦勤,等.基于视觉仿生机理的铜带表面缺
陷检测[J].中国图象图形学报,2011,16(4):593-599.[4]张伟,曾碧.针对复杂纹理的手机外壳缺陷检测方法[J].计算机应用与软件,2017,34(11):217-222.[5]王丽.高强度噪声条件下边缘保持的图像滤波和分割方法研究[D].南京:南京师范大学,2016.[6]张铮,徐超,任淑霞,等.数字图像处理与机器视觉[M].北京:人民邮电出版社,2014.
[7]SENGEE N,SENGEE A,CHOI H K.Image contrast enhancement
using Bi-Histogram equalization with neighborhood metrics [J].
IEEE Transactions on Consumer Electronics,2010,56(4):
2727-2734.
[8]SUZUKI S,BE K.Topological structural analysis of digitized binary
images by border following [J].Computer Vision Graphics and
Image Processing,1985,30(1):32-46.
[9]唐泽宇,高保禄,窦明亮.基于加权最小二乘法曲率计算的点云
精简算法[J].计算机工程与设计,2019,40(6):1606-1610.[10]秦玮,陈希,马原原.基于数学形态学的边缘检测算法分析[J].
信息技术,2019,43(11):33-36.
㊃
01㊃
发布评论