收稿日期：2020年8月9日，修回日期：2020年9月20日作者简介：刘瑞媛，女，硕士研究生，研究方向：机器视觉。茅健，男，博士，教授，硕士生导师，研究方向：精密仪器检测。陆文超，男，硕士研究生，研究方向：视觉检测。
∗
1引言
零件在制造过程中不可避免地会产生各种缺
陷，如尺寸偏差、磕伤、裂纹、划痕、表面污染等，这些缺陷是导致系统运行故障的重要因素，在高精密系统中更为严重，如汽车发动机内部分精密部件，外观缺陷检测是不可缺少的环节［1］。传统的检测依赖人工的手段，检测精度不高且影响因素较多，因此，提高精密零件检测精度势在必行。
机器视觉检测因其自身稳定性好、适用范围广、非接触测量等优点，被广泛应用于检测领域［2~4］。目前，已有研究将机器视觉系统用于汽车精密零件缺陷检测过程，厉晓飞［5］设计了一套完整的基于机
器视觉的汽车零件缺陷检测系统，包括光源、相机等硬件设备的选择和布置，以及图像处理技术的研究和基于LabVIEW 的软件系统的编写，实现了汽车零件的在线检测；刘艳雄等［6］针对汽车精冲零件断面缺陷，设计了基于机器视觉的检测硬件设施和图像处理技术，通过二值化处理分离缺陷，计算缺陷面积来判断零件是否合格。俞晓明等［7］针对精密零件，选取OTSU 算法进行图像分割，采用像素级和亚像素级边缘检测，以汽车圆孔零件为实验，实现了精密零件缺陷的完整检测。
本文提出了利用Otsu 改进Canny 算子来分割缺陷图像，Hu 矩提取缺陷及运用SVM 进行缺陷分类，实现对汽车精密零件缺陷的识别方法。搭建了
汽车精密零件外观缺陷视觉检测方法研究
∗
刘瑞媛
茅
健
陆文超
（上海工程技术大学机械与汽车工程学院
上海
201620）
摘
要
针对汽车精密零件质量检测的需求，提出了基于机器视觉的精密零件外观缺陷检测方法，搭建了相应的检测
平台。采用小波去噪进行图像预处理，基于Otsu 算法改进了Canny 算子中的双阈值的选取问题，较好地实现了图像的缺陷分割。利用Hu 矩进行缺陷特征提取并通过样本特征训练SVM 分类器，实现零件外观缺陷的识别与分类。以汽车转向器内部套筒为试验对象，搭建了检测系统，实验结果表明，该算法可有效实现了零件外观缺陷自动检测。
关键词
机器视觉；缺陷检测；精密零件
中图分类号
TN247
DOI ：10.3969/j.issn.1672-9722.2021.02.029
Research on Visual Inspection Method for Appearance Defects of
Automotive Precision Parts
LIU Ruiyuan
MAO Jian
LU Wenchao
（School of Mechanical and Automotive Engineering ，Shanghai University of Engineering Science ，Shanghai 201620）
Abstract
Aiming at the demand of quality inspection of automobile precision parts ，a method for detecting defects of preci ⁃
sion parts based on machine vision is proposed ，and a corresponding detection platform is built.Image preprocessing is performed
by wavelet denoising.Based on Otsu algorithm ，the selection of double threshold in Canny operator is improved ，and the defect seg ⁃mentation of image is better achieved.The Hu moment is used to extract the defect features and the SVM classifier is trained by the sample features to realize the identification and classification of the appearance defects of the parts.The detection system is built
with the inner sleeve of the steering gear of the car as the test object.The experimental results show that the algorithm can effectively realize the automatic detection of parts defects.
Key Words machine vision ，defect detecting ，precision parts
Class Number
TN247
第49卷
精密零件外观缺陷检测平台，选取了合适的相机及光源等硬件设备，并且利用汽车精密零件进行仿真实验。实验结果表明该方法可有效识别精密零件外观缺陷图像，并对其进行分类，且具有较高的检测率和准确率。
2检测方法总体设计
针对汽车精密零件的外观缺陷检测方法的主要步骤如下。
1）利用CCD相机及机械结构部分协同工作获取缺陷图像；
2）利用小波变换进行图像预处理，去除图像噪声；
3）利用改进的Canny算法分割图像缺陷，其中，Otsu算法用于确定Canny算子中的最佳阈值；4）利用Hu矩进行特征提取，得到缺陷特征的长度及面积参数；
5）将样本参数用于训练SVM分类器，使其可以对缺陷进行识别分类。
流程图如图1所示。
开始
读取图像
图像预处理
（小波去噪）
改进的Canny算
法分割缺陷
几何特征提取特征提取
特征训练
SVN分类
结束
图1缺陷检测方法流程图
3缺陷图像处理
沃尔沃c70改装
3.1图像预处理
图像在生成、传输或者变换的过程中不可避免地会与原始物体产生一定的差异，尤其在工业环境下，外界环境中光线、噪声带来的影响会导致图像质量的下降、特征比较模糊。因此，对于使用CCD 相机采集到的图像需要进行降噪处理。相比于传统的中值滤波和均值滤波［8］，小波变换由于其特有的可变分辨率特性，可以更好的根据图像特征进行降噪［9~11］。本算法采用Haar小波，选择的分解层数为两次。以汽车转向器内部套筒缺陷图像为例，通过Matlab软件进行仿真，可以得到三种不同滤波效果，如图2所示，均值滤波和中值滤波会造成零件图像边缘的损失，如图中标注位置，小波降噪后对
图像边缘保有性更好。
（a）原图（b）
中值滤波
（c）均值滤波（d）小波
图2降噪对比图
3.2图像分割
图像分割依赖于边缘检测算子来提取图像边缘，传统的边缘检测算子一般有Roberts算子、Sobel 算子等［12］，但是它们对噪声敏感，难以直接应用。因此，选择最佳边缘检测算子Canny算子，但是考虑到Canny算子中阈值的设定复杂［13］，本算法中采用Ostu算法替代传统的双阈值算法求出最佳阈值，对算法进行优化改进。
改进的Canny算法的步骤如下。
1）高斯滤波平滑图像
在小波去噪的图像基础上，采用Canny算法中的高斯滤波对图像进行进一步平滑处理，其中，高斯滤波的函数公式如（1）所示。
G(x y)=1
2Πσ2
e
-(x2+y2)
2σ2（1）用高斯函数处理后的图像的原理公式可得：
f
g
(x y)=f(x y)´G(x y)（2）2）计算梯度的幅值及方向（利用一阶偏导的有限差分）
刘瑞媛等：汽车精密零件外观缺陷视觉检测方法研究384
2021年第2期计算机与数字工程
采用2´2邻域内求有限差分均值来计算平滑
后的数据阵列，梯度算子为一阶导数。设图像函数
为f(x y)，则它的梯度定义为
D f(x y)=é
o牌车
ë
ê
ù
û
ú
G
x
G
y
=
é
ë
ê
ê
ê
ù
û
ú
ú
ú
¶f
¶x
¶f
¶y
（3）
幅度值和方向角分别为
M(x y)=(G2
x +G2
y
)
1
2（4）
θ(x y)=arctan(G
y
G
x
)（5）
3）进行梯度非极大值抑制
给定梯度幅度图像矩阵之后，利用梯度模式的门限操作来得到边缘像素点的轮廓。边缘点在Canny算法中定义为在梯度方向上局部强度最大的点，这个较强的约束，可以使通过门限法进行操作得到的目标边缘细化。非最大抑制的目的是到所有可能存在的边缘点，基本思想是通过计算当前点相邻周围方向上像素的梯度值来判断该点是否具有局部最大梯度值，如果是，那么该点判为可能的边缘点，否则为非边缘点。
4）双阈值选取
传统的Canny算子中，应用预先设定的高低阈值来进行图像分割，而实际图像因受到外界因素的影响，导致图像边缘的变换，以至于预先设定的阈值不能更好的实现图像分割。为了实现阈值自适应且
最优的选取，在改进Canny算子中，利用Otsu 算法，根据所给图像，求出最大类间方差，来确定高阈值的选取，并利用公式算出低阈值。
设q
1、q
2
分别为目标、背景占图像像素总数的
百分比，u
1、u
2
分别为对应的灰度均值，u
t
为总的
均值。则：
u t =q
1
´u
1
+q
2
´u
2
（6）
最大类间方差为
σ2=q
1´(u
1
-u
t
)2+q
2
´(u
2
-u
t
)
2（7）
图像的最优阈值为T
h =arg max
0£T£l-1
σ2，l表示所
划分的灰度级个数。
将最优阈值作为Canny算法的高阈值，由式（8）计算出低阈值。
T l =0.5T
h
（8）
4缺陷图像识别
4.1特征提取
为便于缺陷进行分类，需要进行特征提取来获得缺陷的特征数据，包括图形特征，颜特征等。根据常见精密零件缺陷特征，划痕、油污等，选择
Hu矩［14］的特征提取方法对缺陷进行提取。在笛卡尔坐标系下，Hu矩利用二阶和三阶归一化中心矩阵构造了七个不变矩，其中图像p+q的几何矩、中心矩和归一化的中心矩为
m
pq
=å
y=1
N
å
x=1
M
x p y q f(x y) p q=0 1 2 （9）
μ
pq
=å
y=1
N
å
x=1
M
æ
è
ö
ø
x-x-
p
æ
è
ö
ø
y-y-
q
f(x y) p q=0 1 2
（10）
η
pq
汽车3c认证=
μ
pq
μρ
ρ=
p+q
2
+1（11）
M1=η
20
+η
02
（12）
M2=(η
20
-η
02
)2+4η
丰田刹车门
11
2（13）4.2SVM分类
机器视觉检测的目的在于对缺陷进行分类识别，通过样本的特征数据对分类器进行训练即可实现。相比于BP、MLP、KNN等一些分类算法，支持向量机SVM是一个有监督的学习模型［15］，其主要思想为通过非线性映射算法将低维不可分样本转化为高维特征空间使得线性可分。即将低维不可分问题上升为高维线性可分问题。SVM分类器［15］利用结构风险最小化原理，构建特征空间中的最优分割面，从而得到全局的最优化效果。其分类示意图如图2所示。
x2
x1
图3分类示意图
具体分类过程描述如下：设有N个样本为
(x
1
y
1
) (x
2
y
2
) (x
N
y
N
)，SVM分类的线性判别函数的表达式为（14），根据式（15）来确定一个超平面，该超平面距离最
为接近。利用几何关系计算距离M，M的最大值即为L(w)的最小值，如式（17），采用拉格朗日优化方法，得到最优超平面w和b的偏差［11］。
g()x=w T x+b（14）
385
第49卷
||w T
x +b =1
（15）M =2
|
|w T
x +b
w =2
w （16）
min w b L (w )=12
w 2 y i (W T X i +b )³1 i =1 2 n （17）
5
缺陷检测平台
5.1
平台简介
针对汽车精密零件缺陷检测，搭建了外观缺陷
视觉检测平台，如图4所示，该平台采用CCD 相机、LED 光源前向照明、零件放置台及计算机等。平台中主要设备及参数如表1所示。工作原理如下：当零件到达检测区域时，触发光电开关信号，同时触
发CCD 相机进行拍照。之后根据工件转动的角度度计算出工件每转动90°所需的时间，并根据计算所得时间触发相机进行拍摄。对于每一个零件，检测系统可获得四张图像，对获取的图像进行算法处理及分析，最终得出零件的检测结果。
表1
主要设备及其参数设备设备型号参数CCD 相机BASLER
acA2440-20gc
分辨率：5MP 靶面尺寸：23''水平/垂直像素
尺寸：3.45μm ´3.45μm
帧速率：23fps
光学镜头AZURE-0814M
5M
分辨率：1501p/mm （5MP ）
阿斯顿 马丁v8画面尺寸：23''焦距：8mm
后焦距：9.91mm 光源JL-LR-200X
30W
条形白光源
电压/功率：
24V/10.4W
长：212mm 宽：
33.5mm 图4
汽车精密零件外观缺陷视觉检测平台
5.2实验结果及分析
基于上述检测平台，选择汽车转向器内部套筒
零件为检测对象，从同一批零件中随机选取300个有缺陷的零件得到作为样本进行缺陷识别，图5为样本缺陷分割结果。
对汽车精密零件缺陷的面积、周长、Hu 矩这些特征进行提取，通过数据可以观察出不同缺陷的数
据特征差距较大，利用数据特征可以明显地区分出缺陷类别。表2所示为针对油污缺陷、划痕、压痕和加工缺陷的样本所进行的缺陷的几何特征和Hu
不变矩的特征数据实验结果。
（a ）原图（油污缺陷）（b ）预处理
（c ）缺陷分割
（d ）
缺陷提取
（a ）原图（油污缺陷）（b ）预处理
（c ）缺陷分割
（d ）
缺陷提取
（a ）原图（油污缺陷）（b ）预处理
（c ）缺陷分割
（d ）
缺陷提取
（a ）原图（油污缺陷）（b ）预处理（c ）缺陷分割（d ）缺陷提取
图5缺陷分割结果表2
特征提取结果缺陷类型油污缺陷划痕压痕加工缺陷
面积5694220
4631周长6462
高尔夫gti 汽车之家89
M14.110.130.193.08
M222.730.020.050.11
由表2可知，划痕、压痕面积、周长和Hu 矩较小，且其面积和周长相差较小；但是油污和加工缺陷的面积、周长及Hu 矩较大。并且其周长和面积相差也比较大。所以，特征提取的实验结果与实际情况相符，实验分组设计方案有效，能充分的验证四类缺陷的缺陷特征。
表3缺陷分类结果
缺陷类型油污缺陷划痕压痕加工缺陷
样本个数100806060
检出个数98775960
检测率98%96%98%100%
在得到缺陷特征之后，通过SVM 分类器进行缺陷的样本训练，便可对该零件进行缺陷分类。使
刘瑞媛等：汽车精密零件外观缺陷视觉检测方法研究386
2021年第2期计算机与数字工程
用SVM作为分类器，进行缺陷的训练和分类。分类结果如表3所示，SVM的分类结果与人工分类结果基本相符。
6结语
本文基于机器视觉系统研究了汽车精密零件外观缺陷检测方法，该方法利用小波去噪进行图像预处理，改善了图像质量。采用Otsu算法改进
Canny算子，实现Cany算子中阈值的最优选择，对图像缺陷进行分割。利用Hu矩实现了缺陷特征提取并进行SVM分类。搭建汽车精密零件外观缺陷检测平台进行实验，结果表明，该算法性能稳定，且检测结果与实际结果相差不大，检出率较高。
参考文献
［1］Chen YJ，Tsai JC，Hsu YC.A real-time surface inspec⁃tion system for precision steel balls based on machine vi⁃sion［J］.Measurement Science and Technology，2016，27（7）：074010.
［2］Tang B，Kong J Y，Wang X D，et al.Surface Inspection System of Steel Strip Based on Machine Vision［C］//2009 First International Workshop on Database Technology and Applications.IEEE，2009.
［3］汤勃，孔建益，伍世虔.机器视觉表面缺陷检测综述［J］.中国图象图形学报，2017，22（12）：1640-1663. TANG Bo，KONG Jianyi，WU Shiqian.Review of surface defect detection based on machine vision［J］.Journal of Image and Graphics，2017，22（12）：1640-1663.
［4］陈琦，阮鸿雁.基于机器视觉的滑动轴承缺陷检测系统设计［J］.组合机床与自动化加工技术，2017（05）：92-95，99.
CHEN Qi，RUAN Hongyan.Design of Detection System for Slide Bearing Defects Based on Machine Vision［J］. Journal of Modular Machine Tool&Automatic Manufactur⁃ing Technique，2017（05）：92-95，99.
［5］厉晓飞.基于机器视觉的汽车零件缺陷检测技术研究［D］.武汉：武汉理工大学，2012.
LI Xiaofei.Research of Auto Parts Defects Detection Tech⁃nology Based on Machine Vision［D］.Wuhan：Wuhan University of Technology，2012.
［6］刘艳雄，张亮杰，毛华杰.基于机器视觉的精冲零件断面缺陷检测系统研究［J］.制造业自动化，2016，38（04）：3-7.
LIU Yanxiong，ZHANG Liangjie，MAO Huajie.Research on the defect detection of fi ne blanking partsbased on the machine vision technology［J］.Journal of Manufacturing Automation，2016，38（04）：3-7.
［7］俞晓明，朱涛，孙霖.基于图像的精密零件缺陷检测技
术［J］.计算机仿真，2012，29（03）：273-276.
YU Xiaoming，ZHU Tao，SUN Lin.Defect Detecting Tech⁃nology Based on Image Precision Components［J］.Journal of Computer Simulation，2012，29（03）：273-276.
［8］何存富，刘溯，刘增华，等.小波降噪在钢绞线缺陷检测中的应用［J］.机械工程学报，2008（07）：118-122. HE Cunfu，LIU Shuo，LIU Zenghua，et al.Application of Wavelet Denoise in Defect Inspection of Steel Strands［J］. Journal of Mechanical Engineering，2008（07）：118-122.
［9］王蓓，张根耀，李智，等.基于新阈值函数的小波阈值去噪算法［J］.计算机应用，2014，34（05）：1499-1502. WANG Bei，ZHANG Genyao，LI Zhi，et al.Wavelet thresh⁃old denoising algorithm based on new threshold function ［J］.Journal of Computer Applications，2014，34（05）：1499-1502.
［10］吴光文，王昌明，包建东，等.基于自适应阈值函数的小波阈值去噪方法［J］.电子与信息学报，2014，36
（06）：1340-1347.
WU Guangwen，WANG Changming，BAO Jiandong，et al.
A Wavelet Threshold De-noising Algorithm Based on
Adaptive Threshold Function［J］.Journal of Electronics
&Information Technology，2014，36（06）：1340-1347.［11］Donoho D L.De-noising by soft-thresholding［J］.IEEE Transactiongs on Information Theory，2002，41（3）：
613-627.
［12］张志强，宋海生.应用Otsu改进Canny算子的图像边缘检测方法［J］.计算机与数字工程，2014，42（01）：
122-128，141.
ZHANG Zhiqiang，SONG Haisheng.Application of Otsu
to Improve Image Edge Detection Method in Canny Algo⁃
rithm［J］.Journal of Computer&Digital Engineering，
2014，42（01）：122-128，141.
［13］杨陶，田怀文，刘晓敏，等.基于边缘检测与Otsu的图像分割算法研究［J］.计算机工程，2016，42（11）：
255-260，266.
YANG Tao，TIAN Huaiwen，LIU Xiaomin，et al.Re⁃
search on Image Segmentation Algorithm Based on Edge
Detection and Otsu［J］.Computer Engineering，2016，42
（11）：255-260，266.
［14］文生平，刘云明.基于机器视觉的圆锥滚子外观缺陷检测系统研究［J］.计算机测量与控制，2017，25（01）：
40-43.
WEN Shengping，LIU Yunming.Research on Inspection
System of Tapered Roller's Appearance Defect Based on
Machine Vision［J］.Computer Measurement&Control
2017，25（01）：40-43.
［15］Zhang H，Berg A C，Maire M，et al.SVM-KNN：Dis⁃criminative Nearest Neighbor Classification for Visual
Category Recognition［J］.IEEE Computer Society，
2006，2：2126-2136.
387
发布评论