Journal of Image and Signal Processing 图像与信号处理, 2020, 9(1), 8-17
Published Online January 2020 in Hans. /journal/jisp
/10.12677/jisp.2020.91002
Methods of Vehicle Camera Dirty
Identification汽车摄像头
Yu Gao, Zhijun Wu
School of Automotive Studies, Tongji University, Shanghai
Received: Nov. 12th, 2019; accepted: Nov. 27th, 2019; published: Dec. 4th, 2019
Abstract
The degradation of image quality caused by dirty in lens surface will reduce the accuracy of image recognition algorithm, which eventually has a great impact on the driving safety of intelligent driving assistance system (IDAS). Images captured on the road are no reference images. In this ar-ticle, methods of no reference image quality assessment such as correlation coefficient, edge in-formation, frequency domain energy and average information entropy will be used in the image recognition. Those methods are used to distinguish the clear images and dirty images obtained on the road. The results show that those methods have a certain degree of distinction between clear images and dirty images.
Keywords
IDAS, No Reference, Image Quality, Definition
车载摄像头脏污识别方法
高宇，吴志军
同济大学汽车学院，上海
收稿日期：2019年11月12日；录用日期：2019年11月27日；发布日期：2019年12月4日
摘要
摄像头表面脏污引起的图像质量下降，会造成图像识别算法精度降低，最终对智能汽车驾驶安全造成很大的影响。汽车在实际道路行驶过程中拍摄到的图像都是无参考图像，本文将无参考图像质量评价方法中的相关系数、边缘信息、频域能量和平均信息熵等方法引入到道路图像的识别中，对在道路上获取的清晰序列和脏污序列图像进行判别，结果表明，该方法对清晰图像和脏污图像具有一定的区分能力。
高宇，吴志军
关键词
智能驾驶，无参考，图像质量，清晰度
Copyright © 2020 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY).
/licenses/by/4.0/
1. 引言
智能汽车是在普通汽车的基础上增加了先进的传感器(雷达、摄像)、控制器、执行器等装置，使车辆
具备智能的环境感知能力，能够自动分析车辆行驶的安全及危险状态，并自动地对车辆的行驶状态做出
调整。和传统汽车相比，智能汽车在节能减排、交通安全、缓解交通堵塞方面具有很大的优势，是汽车
未来发展的趋势。
智能汽车的传感器大多都暴露在车辆外部，在一些极端路况下行驶会受到不同程度的污染。以摄像头为
例，当汽车行驶在泥泞路段上时，路面上的泥浆很容易飞溅到摄像头表面，造成摄像头污染，被污染后的摄
像头拍摄到的图像清晰度下降，难以反应真实的路况信息，这些错误的信息传输到控制单元后，汽车会做出
错误的判断，容易引发交通事故。所以摄像头的清洗功能对智能汽车的安全驾驶尤为重要，但目前在智能驾
驶图像识别算法中还没有专门针对脏污图像的识别方法，仅靠驾驶员的主观判断。在摄像头表面受污染的过
程中，相机所拍摄到的图像由清晰变模糊，所以可以采用模糊图像识别的方法来判断摄像头是否受到污染。
目前对于模糊图像的识别方法主要分为两大类[1]，一类是主观评价方法，由一位观测者对一张图像
的模糊程度进行评价，这种方法稳定性较高，但是该方法效率低下，而且需要观测者做出判断，无法嵌
入到其他系统中，所以在实际应用中较少。另一类方法是客观评价方法，通过特定的算法对图像质量进
行评价，该类方法速度快，效率高，而且可以和其他系统结合，也是当今研究的重点。按照有无参考图
像，客观评价方法又可分为全参考方法、部分参考方法和无参考方法。全参考方法需要先选定一张参考
图像，再基于统计学原理得到目标图像和参考图像之间的一些统计量误差值，如对应位置像素值的均方
误差和整张图像的信噪比峰值，再根据这些误差值对目标图像的模糊程度做出判断，这种方法对参考图
像的要求较为严格，稳定性较低。无参考方法不需要参考图像，只需要从目标图像中提取一些特征值信
息，如图像的边缘信息、图像的频域能量和图像的信息熵，通过这些特征值的大小来判断图像的模糊程
度。半参考方法介于全参考方法和无参考方法之间，在评价过程中需要用到一张参考图像，但是只使用
参考图像中的部分信息和目标图像比较。
在实际应用中，车载摄像头拍摄到的图像都是不断变化的，而且路况信息复杂多变，很难到合适
的参考图像，所以本文主要研究了无参考图像模糊识别方法在车载图像识别方面的应用，通过提取相关
系数、边缘信息、频域能量和平均信息熵等特征值自动识别摄像头表面是否干净。
2. 图像获取及预处理
2.1. 实验图像获取
为了获取车辆行驶过程中实际道路的连续图像，本文使用佳能600D数码相机进行了道路图像采集，
测试者在行驶中的车辆副驾驶位置上使用相机正对车辆正前方拍照。在拍摄过程中，分别将一块如图1(a)
所示的干净亚克力板和如图1(b)所示的涂有泥浆的亚克力板固定于相机镜头前方，并保持相机的焦距、
感光度、光圈值、曝光时间等参数不变，获得了如图2所示的清晰图像和如图3所示的模糊图像序列。
高宇，吴志军
Figure 1.Acrylic plate placed in front of the camera: (a) Clear acrylic plate; (b) Dirty acrylic plate
图1. 置于相机前方的亚克力板：(a)干净的亚克力板；(b)涂抹泥浆后的亚克力板
从图2中可以看出，将干净的亚克力板置于镜头前方后，相机拍摄到的图像仍然是非常清晰的，所以可以排除亚克力板对图像质量的影响。
Figure 2.Clear image sequence
图2. 清晰图像序列
从图3中可以看出，将涂有泥浆的亚克力板置于镜头前方后，相机拍摄到的图像非常模糊，图像中很多信息都难以识别出来，并且尽管亚克力板上泥浆的面积非常小，但是在相机所拍摄到的图像中，泥浆覆盖的面积占了图像很大一部分面积，严重影响了图像的清晰度。
Figure 3.Dirty image sequence
图3. 脏污图像序列
2.2. 图像预处理
数码相机拍摄到的图像是彩图像，在进行图像质量评价之前，为了减少计算量，在提取相关系数、边缘信息、频域能量和平均信息熵等特征值之前，需要对图像进行灰度化处理，并对图像进行降噪处理。
考虑到对车载图像的实时判断，本文选择了运算速度较快的平均值法对图像进行灰度化处理，采用中值滤波法对图像进行降噪处理。
高宇，吴志军
3. 算法实现
3.1. 图像相关性检测
在车辆正常行驶过程中，摄像头所拍摄到的图像是不断变化的。但是当摄像头表面受到污染后，污染物和车辆始终保持相对静止，在图像中的位置始终不动。所以可以采用相关系数法对图像进行评价，选取多张连续的图片序列，如果多张图片存在相关性较大区域，则该区域有可能是摄像头拍摄到的污染物。本文选取了图像的强度相关性和结构相关性[2] [3] [4] [5]来对连续图像序列的质量进行评价。
强度相关性的研究对象是图像中某一像素点的像素值，在相机所拍摄到的图像中，像素值较低的点一般有两种可能，第一种是由于光强和物体本身材质导致物体像素值较低，第二种是当相机镜头表面有脏污物质时，光线不能穿透脏污覆盖的区域导致物体像素值较低。第一种情况在实际行驶过程中出现的频率很高，但持续时间很短。基于这一特性，本文主要研究第二种情况下镜头污染情况的判别算法，分别求得多张图像中同一位置像素值的平均值和标准差来判断镜头表面是否有泥浆覆盖。
为了统一度量单位使之具有可比性，本文通过式(1)对图像序列中同一个位置的像素值的平均值和标准差进行标准化处理，构建了平均值矩阵A 和标准差矩阵S ，并且绘制出如图4所示的像素平均值图像和图5的像素值标准差图像，图中颜越深，代表像素值的平均值或者标准差越小。
k r A =
(1)
式中：y 为标准化之后的像素值平均值或标准差；x 为原始的像素值平均值或标准差；x max 为原始像素值平均值或标准差的最大值；x min 为原始像素值平均值或标准差的最小值。
Figure 4. Average pixel image: (a) Clear image sequence; (b) Dirty image sequence 图4.
像素平均值图像：(a)
清晰图像序列；(b) 脏污图像序列
Figure 5. Pixel standard deviation image: (a) Clear image sequence; (b) Dirty image sequence 图5. 像素标准差图像：(a) 清晰图像序列；(b) 脏污图像序列
高宇，吴志军
从图4中可以看出，在脏污图像序列中，由于脏污物体覆盖在镜头表面，光线难以穿透这一区域，使得该区域的像素值平均值要小于其他区域。在清晰图像序列中，道路两旁的树位置几乎不动，且像素值较低，使得该区域的像素值平均值也小于其他区域，在实际应用过程中，可通过相关算法，先识别出道路两旁的树在图像中的位置，在进行平均值图像分析时，忽略这些区域。
从图5中可以看出，在脏污图像序列中，由于镜头表面的脏污物体始终和相机保持相对静止，所以在该
区域内的像素值标准差要小于其他区域。在清晰图像序列中，汽车实际行驶过程中，路面在图像中的形态几乎不动，所以路面区域的像素值标准差也要小于其他区域，在实际应用过程中，也可通过相关算法，先识别出路面在图像中的位置，在进行标准差图像分析时，忽略这些区域。
结构相关性的研究对象为整幅图像，和强度相关性检测的原理类似，当有泥浆覆盖在镜头表面时，连续图像序列中泥浆覆盖部分的像素值具有很强的相关性，所以两幅图像之间的相关性系数也比较大，
r= (2)
k
式中r k为图像序列中第k张图像和第k− 1张图像之间的相关性系数；A k和A k− 1分别代表第k张和第k−1张图像的像素值矩阵；m和n分别代表像素值矩阵的行数和列数；k A和1k A
分别代表第k张和第k− 1
−
张图像中所有像素点像素值的平均值。
利用公式求得了清晰图像序列连续两张图像的相关性系数和脏污图像序列中连续两张图像的结构相关系数，结果如图6所示。
Figure 6.Image structure correlation coefficient
图6. 图像结构相关系数
从图6中可以看出，脏污图像序列中连续两张图像的相关性要比清晰图像序列中的相关性要高，尽管有
个别点存在偏差，但是通过求得图像序列中的多个连续图像的相关系数的均值可以消除个别点的偏差。
3.2. 图像边缘信息
图像的边缘信息是图像非常重要的信息，一般认为，图像中物体的边缘是灰度值发生变化的区域，边缘切向方向灰度值的变化比较平缓，边缘法向方向灰度值的变化比较剧烈[6]。同时，图像的边缘信息
发布评论