张建国1，齐家坤1，李颖1，邵珞雯2
（1.上海应用技术大学机械工程学院，上海201418；2.上海应用技术大学计算机科学与信息工程学院，上海201418）
来稿日期：2019-12-06
基金项目：上海科技成果转化促进会联盟计划—难题招标专项资助项目
（LM201770）作者简介：张建国，（1979-），男，江苏常熟人，博士研究生，副教授，主要研究方向：图像处理和机器视觉方面的研究；齐家坤，（1994-），男，江苏淮安人，硕士研究生，主要研究方向：机器视觉方面的研究
1引言
车牌识别系统是智能交通系统[1]中的重要技术之一，目前主
要应用于公路上的车辆监控、停车场进出付费以及电子警察、高速公路收费站等[2]，关于汽车牌照识别
的技术主要由以下几个方面组成：图像采集、车牌定位[3]、字符分割[4]与图像识别[5]。目前比较常用的图像预处理方法是使用加权平均法对获取的汽车牌照图像进行灰度化处理，然后对经过处理后的车牌图像进行线性变换和分段线性变换处理[6-8]。但是这种传统方法在应对倾斜的图像时，识别效率并不高。因此研究对于倾斜的汽车牌照图像进行校正处理[9]以
后，再对校正后的图像识别的技术[10]非常重要。此外，由于传统的图像校正方法Radon 法校正的速度较慢，从而使车牌识别系统的整体识别效率降低。对此，本研究基于HALCON 平台，采用orienta-tion_region （）算子对车牌的倾斜角度进行测量，使用外接矩形旋转法对车牌进行旋转校正。并且以orientation_region （）算子为核心构建了一个车牌图像识别系统。经实验，此车牌识别系统比传统Radon 变换法的识别速率更快。
传统的校正方法Radon 变换法的原理比较简单，并且准确率也比较高。但是Radon 变换法的校正速度比较慢，而且特征量
摘要：随着图像处理技术的飞速发展，汽车牌照识别技术已成为目前计算机图像处理技术的重要研究方向和广泛应用
的领域之一。汽车牌照识别技术在目前的道路安全管理系统中起到非常重要的作用，这项技术可以大大加快道路安全信息化的速度。本研究采用了orientation_region （）算子对汽车车牌图像的倾斜角度进行
测量，使用外接矩形旋转法对汽车牌照图像进行旋转校正。并依据上述的方法创建了一个汽车牌照识别系统。本研究基于改进的倾斜校正算法的车牌识别系统，对含有汽车牌照的图像进行灰度处理，二值化处理，车牌定位，车牌校正和字符识别。对车牌定位技术和倾斜车牌校正技术进行了改进，提高此系统应对不同环境变化的能力。经实验表明，车牌的识别率得到了显著提高。关键词：车牌识别；图像预处理；车牌定位；倾斜校正中图分类号：TH16；U463.6
文献标识码：A
文章编号：1001-3997（2020）06-0058-04
Research on License Plate Recognition Method Based on Tilted Image
ZHANG Jian-guo 1，QI Jia-kun 1，LI Ying 1，SHAO Luo-wen 2
（1.College of Mechanical Engineering ，Shanghai Institute of Technology ，Shanghai 201418，China ；2.College of Computer Science and Information Engineering ，Shanghai Institute of Technology ，Shanghai 201418，China ）
粤遭泽贼则葬糟贼：With the rapid development of image processing technology ，vehicle license plate recognition technology has become one of the important research directions and widely applied fi
elds of computer image processing technology.The license plate recognition technology plays a very important role in the current road safety management system ，which can greatly accelerate the speed of road safety information.In this study ，the orientation_region （）operator is used to measure the tilt angle of the car license plate image ，and the external rectangular rotation method is used to rotate the license plate image.According to the above method ，a license plate recognition system was created.In this study ，the license plate recognition system is based on the improved tilt correction algorithm of license performs gray scale processing ，binary processing ，license plate location ，license plate correction and character recognition on images containing license plates.Improvements have been made to license plate location technology and tilted license plate correction technology to improve the ability of this system to cope with different environmental changes.Experiments show that the recognition rate of license plate has been significantly improved.
Key Words ：License Plate Recognition ；Image Preprocessing ；License Plate Location ；Tilt Correction
Machinery Design &Manufacture
机械设计与制造
第6期2020年6月
58
分析复杂。对此，使用了新orientation_region （）算子对系统进行重新设计，首先通过HSV 三通道处理后再进行二值化处理，获得了汽车牌照预处理图像，再用拆分连通域法对汽车牌照进行定位处理。定位完成后使用orientation_region （）算子对车牌倾斜角度进行计算，并使用外接矩形旋转法对车牌图像进行旋转校正，校正后再进行字符识别。本研究采用的车牌识别方法是基于模板匹配的算法，此算法比人工神经网络算法更加简洁，执行效率更高。
2系统框架
创建的车牌识别系统主要针对于含有车牌的图像进行定位
和识别处理。由于拍摄的汽车牌照图像会受到各种复杂环境因素的影响，所以首先要对采集到的图像进行预处理，然后执行边缘检测、二值化处理及膨胀处理等一系列处理。根据二值化图像对原图进行分割，提取车牌在原图中的有效区域，从而完成车牌定位的步骤。接着对车牌定位后所获取的车牌图像进行校正。再将校正后的图像进行字符分割和识别。本车牌图像识别系统的车牌识别流程，如图1所示。
Fig .1License Plate Recognition Process
3基于HALCON 的倾斜图像校正方法
3.1传统的Radon 变化法
传统的倾斜图像校正法是使用数学形态学对二值化后的图片进行边缘检测，使用Radon 算子对倾斜图片在水平和垂直方向的倾斜角进行测量，再通过旋转来对图像进行水平校正，用双线性插值来进行垂直边框校正。Radon 变换方法就是研究得到的图像在各个方向上的投影，在数学上表示为线性积分，即为在不同方向上的累积求和，
如图2所示。O
O
θ
x
R θ（x ′）
x ′
y ′
x ′
y ′y
f （x ，y ）
图2Radon 变化不同角度时几何关系图
Fig .2The Geometric Diagram of Radon Changing Different Angles
沿角度θ的二维图像函数f （x ，y ）的Radon 变换为：
R θ（x ′
）
=∞
-∞
∫
f （x ′cos θ-y ′sin θ，x ′sin θ+y ′cos θ）d y ′（1）由式（1）可得：R θ+180°（-x ）=R θ
（x ）（2）
式（2）告诉我们，Radon 变换具备周期性，且是奇函数，我们可以根据此性质来实现直线的构造，达到实现车牌定位倾斜度的校正。当存在倾斜度θ时我们可以通过调整变化角在0°≤θ≤180°范围内构造直线，在此范围内寻最优值，根据最优值反推得到θ和x ，最终实现校正。
3.2基于HALCON 的倾斜图像校正法
传统的图像校正方法Radon 法校正速度不够快，影响了图像的识别效率，对此创建了基于HALCON 的车牌校正识别系统。HALCON 软件包含的函数种类全面，被公认为识别效能最佳的
图像处理软件之一。基于HALCON 来创建识别效率高、识别时间短、鲁棒性好的车牌识别系统。
本研究先对获取的车牌图像进行预处理，将获取的车牌图像灰度化处理并转化为HSV 图像和去噪。然后经过对比选择车牌图像更清晰的通道。选择了S 通道。在S 通道的车牌图像下，对其进行二值化处理并选择出汽车牌照的候选区域，再将其校正定位，得到精准的汽车牌照区域。
3.2.1车牌图像处理
车牌定位是车牌识别系统中的关键步骤，根据图像的彩信息对汽车牌照区域进行定位，利用颜模型通过颜信息在原彩图像上到车牌所在位置。
在电视机、扫描仪、显示器等电器中，图像颜多以RGB 颜模型表示，但是在电视视频中一般使用HSV 颜空间标示法来进行车牌图像的定位。这种方法在表达人对颜信息的鉴别方面，有着更好的表现。本研究将其他形式的图像转换到HSV 空间进行分析。
本研究以RGB 颜空间到HSV 颜空间的转换为例进行说明。设I max =max ｛r ，g ，b ｝，I min =min
｛r ，g ，b ｝，HSV 模型各分量h ，s ，v 与RGB 模型各分量r ，g ，b 的转换关系为：
h =未定义，s =0，g-b I max -I min ×H max ，s ≠0，I max =g ，
2+b-r
汽车车牌
I max -I
min
(
)
×H max ，s ≠0，I max =g ，
4+r-g I max
-I min
()×H
max
，s ≠0，
I max
=b ，
⎧⎩⏐⏐⏐⏐
⏐⏐⏐⏐
⏐
⏐
⏐⏐⏐⏐⏐⎨⏐⏐⏐⏐⏐
⏐⏐⏐⏐⏐⏐⏐⏐⏐⏐
（3）
s =
0，I max =0，I max -I min I max ，I max ≠0，
v=I
max ，
⎧⎩
⏐⏐⏐⏐⏐
⏐⎨⏐⏐⏐⏐⏐⏐（4）
式中：I max 、I min —HSV 模型分量｛r ，g ，b ｝中的最大值和最小值；H max
—调个数。
在HSV 颜模型下，彩C 1=（h 1，s 1，v 1）与彩C 2=（h 2，s 2，
v 2）之间的距离为：
d （C 1，C 2）=（（v 1-v 2）2
+（s 1×cos h 1-s 2×cos h 2）2
+
（s 1×sin h 1-s 2sin h 2）2
）
1
2
（5）
两彩之间的相似度为：
S （C 1，C 2）=1-d （C 2-C 1）
5√（6）
式中：C 1，C 2—HSV 颜模型下的分量
中国的汽车根据底和字符颜的不同，主要分为四种类型，如表1所示。本研究基于HSV 颜空间表示法，结合汽车牌
第6期张建国等：倾斜图像的车牌识别方法研究
59
照底，可以得到彩空间距离以及相似度，再用投影法得到车牌的区域。基于HALCON平台，使用read_image（）算子提取采集的车牌图像，如图3（a）所示。一般来说，生活中采集到的图像都是彩的图像，我们需要对其进行灰度化处理。原图像和灰度图像，如图3（b）所示。可以很明显地发现汽车牌照区域与其他区域的对比度较低，不容易提取。对此，本研究使用HSV颜模式，如图3所示。HSV模式的优势在于此模式和人眼的观察效果更加相似，可以更好的区分车牌和其他区域。可以看出在S通道图像中，车牌图像的灰度值远高于其他区域。在将原图像转化HSV图像之前，还需将车牌图像转化为R、G、B三个单通道图像，然后再将这三个单通道的图像转化为HSV图像。再通过算子threshold （），对转化后的HSV图像进行二值化处理，得到比较有效的车牌区域，如图3（f）所示。
表1车牌颜组合
Tab.1License Plate Color Combinations
车牌底字符颜组合1蓝白
组合2黄黑
组合3白黑/红
组合4黑白
（a）原图像（b）灰度图
像
（c）H通道图像（d）S通道图
像
（e）V通道图像（f）二值化图像
图3原图与HSV三通道处理后以及S通道二值化图像
Fig.3Original Image and HSV Three-Channel Processing
and S-Channel Binarized Image
3.2.2车牌定位
经过图像预处理步骤之后，我们获得了较完整的汽车牌照候选区域，以便于接下来进行车牌定位的步骤，方法如下：（1）将二值化后的图像进行拆分。利用HALCON中的conn-ection（）算子，将二值化的图像根据连通域进行拆分，可以方便我们更加精确地确定车牌的位置。
（2）使用区域面积特征法并调用HALCON中的select_shape_std（）算子筛选并获取我们需要的汽车牌照候选区域，如图4（a）所示。
（3）由于铆钉区域可能会对车牌识别的识别率有一定影响，字符之间可能会发生字符相连的现象，这时我们需要对候选区域进行膨胀处理，从而使不同的连通域连接成同一个连通域，再对其进行填充处理。膨胀处理在HALCON中是将和车牌图像接触的所有背景点同时合并到车牌之中，能够使边界扩张，
膨胀处理可以用来桥接缝隙。这里使用膨胀算子dilation_circle（），定义膨胀半径为3.3。膨胀的定义为：
A⊕B=z（B）
z∩A^≠Φ
{}（7）式中：A⊕B—B对A的膨胀。
（4）经过膨胀处理之后，车牌的候选区域更加圆滑，并且减少了缝隙。之后我们再使用HALCON中的fill_up（）算子，将候选区域里的孔洞进行填充，得到比较完整的区域，此区域就是我们定位出的车牌区域
。
图4车牌定位流程
Fig.4License Plate Location Process
3.2.3车牌校正
由于传统的校正方法Radon法的处理速度不够快，降低了系统的识别效率，所以本研究基于HALCON平台，使用orientat-ion_region（）算子测量出车牌的倾斜度，再使用外接矩形旋转法对倾斜的车牌进行校正。该算子基于运算符elliptic_axis（），可以用来测试区域的方位，主要测量外部轮廓中的点而得到倾
斜角度。若这个点的y坐标小于重心点的y坐标时，此时的倾斜角度可以用Pi来表示。当系统对多个区域进行同时计算时，系统将对应各区域逐一输入。可以使用orientation_region（）算子计算出车牌的偏离角度。area_center（）算子，该算子用于测量区域的面积和中心位置。图像面积就是区域内的像素总和，若实验中出现多个输入区域，那么输出的变量分索引号也将和输入区域对应。如果区域为空，则参数的值为0。vector_angle_to_rigid（）算子可以从点对应和两个对应的角度计算刚性仿射变换，即由旋转和平移组成的变换，并将其作为均匀变换矩阵HomMat2D返回。矩阵由2个分量组成：旋转矩阵R和平移向量t（也见hom_mat2d_rotate和hom_mat2d_translate）。affine_trans_image（）算子可以对图像中给出的图像应用任意仿射2D变换，即缩放，旋转，平移和倾斜，并在ImageAffineTrans中返回变换后的图像，采用此算子来对图像进行旋转。具体操作如下：
（1）使用orientation_region（）算子对初步定位后得到的车牌图像求偏离角度；使用求连通域外接椭圆角度的方法，得到倾斜弧度θ。其示意图，如图5所示。
机械设计与制造
No.6 June.2020
60
（2）利用area_center （）算子求出矩形中心点O ，作为旋转中心；
（3）利用vector_angle_to_rigid （）计算出旋转角度rad （θ）；（4）利用affine_trans_image （）算子进行旋转。以O 为中心点，以rad （θ）为旋转角度，进行图像转正。
y
x
θ
图5外接椭圆角度示意图
Fig .5Schematic Diagram of the External Ellipse
4仿真结果
4.1车牌倾斜校正算法仿真
在测试中，本研究采用传统的Radon 算法和基于orientation_region （）算子的图像校正法对倾斜角度接近35°的包含车牌的图像进行校正，如图6（a ）所示。首先，将该图进行灰度处理，以增加后面车牌定位的效率，二值化后再对原图进行区域分割，选择出车牌区域，如图6（d ）所示。再对得到的车牌区
域进行填充，如图6（e ）所示。最后，本研究采用基于orientation_region （）算子的车牌图像倾斜校正算法对倾斜的车牌图像进行校正，校正的车牌图像，如图6（f ）所示
。
（e ）填充处理图6车牌倾斜校正仿真结果
Fig .6License Plate Tilt Correction Simulation Results
4.2数据分析
本研究使用传统的Radon 法和文献[9]的方法以及基于orien-tation_region （）算子的方法对多个倾斜角度的车牌图像进行了多
次校正实验，测试的结果，如表2所示。由表2可得知，当处理的倾斜图像相同时，基于orientation_region （）算子的倾斜校正算法在仿真时间上比传统的Radon 法降低近一半，校正成功率也提高了7%。和文献[9]的方法相比，在校正时间相差不多的情况下，校正成功率提高了12.5%。仿真中本研究创建的车牌识别系统用更短
的时间和更高的准确率完成了校正，从而提高了整个车牌识别系
统的识别效率。
表2算法时间对比
Tab.2Algorithm Time Comparison
算法样本个数/个校正成功个数/个校正成功率校正速度/s 传统Radon 法20016783.5%0.5718文献［9］
的算法20015678%0.3704这里算法
200
181
90.5
0.3432
5结语
车牌识别（LPR ）是智能交通系统（ITS ）的重要技术之一，目
前主要应用于车辆监控系统，道路安全监控系统等领域。而车牌倾斜校正技术是LPR 的重要组成部分，车牌倾斜校正技术具有广阔的应用前景。本研究对车牌图像倾斜校正技术进行了相关研究，实现了基于orientation_region （）算子的车牌图像倾斜校正算法的创建，与传统的倾斜校正方法相比较，本研究使用的方法校正速度更快，提高了汽车牌照的识别效率。下一步的研究将考虑硬件（DSP 、FP-GA ）算法的移植，以达到工程应用，使本系统发挥其应有的实用价值。
参考文献
［1］高美蓉.城市智能交通管理系统的研究与设计［J ］.电子测量技术，2018
（8）.
（Gao Mei-rong .Research and design of urban intelligent traffic manag-ement system ［J ］.Electronic Measurement Technology ，2018（8）.）
［2］Xie L ，Ahmad T ，Jin L .A New CNN-based method for multi-directional
car license plate detection ［J ］.IEEE Transactions on Intelligent Transp-ortation Systems ，2018（99）.
［3］赵莉，白猛猛，雷松泽.深度学习在车牌定位中的研究［J ］.计算机应用
研究，2018（10）.
（Zhao Li ，Bai Meng-meng ，Lei Song-ze .Vehicle license plate location by deep learning ［J ］.Application Research of Computers ，2018（10）.）［4］张东海，施云龙，张康.基于Laplacian 扩展算子的车牌字符分割方法
研究［J ］.应用激光，2017（4）：149-152.
（Zhang Dong-hai ，Shi Yun-long ，Zhang Kang .Research on license plate character segmentation based on laplacian extension operator ［J ］.App-lication Laser ，2017（4）：149-152.）［5］熊厚博.基于MATLAB 的车牌识别系统研究［J ］.自动化应用，2016（12）：
52-53.
（Xiong Hou -bo .Research on license plate recognition system based on MATLAB ［J ］.Automated Application ，2016（12）：52-53.）
（下转第65页）
机械设计与制造
No.6
June.2020
61
定位精度和重复精度0
50
100
150
200
250
300
06分析曲线-线性
目标
（mm ）-0722：12
均偏差范围M ：2.290系统偏差E ：4.500单向重复R ↑：2.143单向重复R ↓：1.802
反向差值B ：2.500
定位精度A ↑：4.136定位精度A ↓：3.977定位精度A ：6.021
210-1-2-3图7误差补偿后的定位精度
Fig.7The Result of Position Measuring After Error Compensation
误差补偿后的定位精度测量结果为：正向定位精度A ↑=
4.136μm ，正向重复定位精度R ↑=2.143μm ，负向定位精度A ↓=3.397μm ，负向重复定位精度R ↓=1.802μm ，双向的定位精度为A =6.021μm 。
可以看出进行了螺距误差补偿与间隙补偿后的定位平台的正负向的定位精度都提高了81%，双向定位精度提高了74%，正向重复定位精度提高了20%，负向重复定位精度提高了33%。
5结论
（1）定位平台的加速方式对平台的定位精度有影响，平缓的
加速方式有助于提高定位精度，S 曲线加速方式比匀加速方式重复定位精度提高45%。（2）定位平台
运动时的最大加速度大小对定位平台的运动精度有影响，在最大加速度较小时，定位平台的最终重复定位精度会越高，提高了（20~30）%。（3）相同分辨率的传感器由于反馈元件的安装误差会影响定位平台的定位精度。（4）通过使用螺距误差补偿与间隙补偿对定位平台进行补偿之后，平台的定位精度与重复定位精度都有明显的提高。
参考文献
［1］黄勇.空间三平移超精密定位平台及控制方法研究［D ］.赣州：江西理
工大学，2011.
（Huang Yong.Space three translational ultra precision positioning plat-form and control method ［D ］.Ganzhou ：Jiangxi University of Science and Technology ，2011.）
［2］谭溥学，孙文龙，舒悦.基于电磁弹射系统的直线电机研究［J ］.科协论
坛，2013（6）：49-50.
（Tan Pu-xue ，Sun Wen-long ，Shu Yue.Research on linear motor based on electromagnetic ejection system ［J ］.Science Association Forum ，2013（6）：49-50.）
［3］吴玉厚，宋德儒.PMAC 下直线电机定位精度分析与误差补偿技术［J ］.
沈阳建筑大学学报：自然科学版，2005（5）：168-172.
（Wu Yu-hou ，Song De-ru.PMAC ，positioning precision analysis and er-ror compensation technology for linear motor ［J ］.Journal of Shenyang Con-struction University ：Natural Science Edition ，2005（5）：168-172.）
［4］吴广荣.基于PMAC 的直线驱动气浮精密定位平台控制系统的研究与
开发［D ］.广州：广东工业大学，2013.
（Wu Guang-rong.Research and development of PMAC based control sy-stem for precision positioning platform of linear driven air floatation
［D ］.Guangzhou ：Guangdong University of Technology ，2013.）［5］龚乘龙.二维龙门式直线驱动气浮精密定位平台的运动特性研究［D ］.
广州：广东工业大学，2014.
（Gong Cheng-long.Research on motion characteristics of two dimensio-nal Longmen type linear driven air floating precision positioning platform ［D ］.Guangzhou ：Guangdong University of Technology ，2014.）［6］王燕.数控车削中心加工精度应用分析［J ］.化学工程与装备，2014
（12）：213-214+247.
（Wang Yan.Application and analysis of machining precision of CNC tu-rning center ［J ］.Chemical Engineering and Equipment ，2014（12）：213-214+247.）
［7］张伟汉.阀控非对称油缸控制系统及特性研究［D ］.长春：长春理工大学，
2002.（Zhang Wei -han.Valve controlled asymmetric cylinder control system and characteristics ［D ］.Changchun ：Changchun University of Science and Technology ，2002.）［8］涂雪飞，易传云，
钟瑞龄.基于光栅尺的数控机床定位精度和重复定位精度检测［J ］.机械与电子，2012（4）：32-34.
（Tu Xue-fei ，Yi Chuan-yun ，Zhong Rui-ling.Positioning precision and repeated positioning accuracy detection of NC machine tool based on grating ruler ［J ］.Machinery and Electronics ，2012（4）：32-34.）［9］王占领.基于PMAC 数控机床定位精度控制研究［J ］.机床与液压，
2014，42（22）：55-56+66.
（Wang Zhan-ling.Based on PMAC CNC machine tool positioning preci-sion control research ［J ］.Machine Tool and Hydraulic ，2014，42（22）：55-56+66.）
［10］李玉文.数控机床定位精度自动螺距补偿功能的应用［J ］.新技术新
工艺，2005（12）：64-67.
（Li Yu-wen.Application of automatic pitch compensation for position-ing precision of CNC machine tools ［J ］.New Technology and New Craft-work ，2005（12）：64-67.）机械设计与制造
No.6
June.2020
（上接第61页）
［6］张立国，杨瑾，李晶.基于小波包和数学形态学结合的图像特征提取方
法［J ］.仪器仪表学报，2010，31（10）：2285-2290.（Zhang Li -guo ，Yang Jin ，Li Jin .Image characteristic extraction method based on wavelet packet and mathematical morphology ［J ］.Chine
se Journal of Scientific Instrument ，2010，31（10）：2285-2290.）［7］Zheng L ，He X ，Samali B .An algorithm for accuracy enhancement of lic-ense plate recognition ［J ］.Journal of Computer &System Sciences ，2013，79
（2）：245-255.［8］Jiao J ，Ye Q ，Huang Q .A configurable method for multi -style license pl-ate recognition ［J ］.Pattern Recognition ，2009，42（3）：358-369.
［9］于明，李延果，于洋.融合Hough 与Radon 变换的车牌倾斜校正算法
［J ］.控制工程，2013，20（6）：1014-1017.（Yu Ming ，Li Yan-guo ，Yu Yang .A license plate tilt correction algorithm combined hough and radon transform ［J ］.Control Engineering of China ，2013，20（6）：1014-1017.）［10］张馨，林凤涛.图像处理技术在车牌定位与字符分割中的应用［J ］.机
械设计与制造，2012（12）：104-106.（Zhang Xin ，Lin Feng -tao .Application of image processing technology in license plate location and character segmentation ［J ］.Machinery Des-ign &Manufacture ，2012（12）：104-106.）
65
发布评论