A Quick Road Sign Recognition Support System
(1.深圳职业技术学院;2.湖南科技大学)许亚兰1  刘建勋2
Xu,Yalan Liu,Jianxun
摘要：本文提出了对道路标志进行快速别的一种辅助系统，该系统以人类的视觉及思维模式作为蓝本，可以较为快速的实现行进汽车中的交通标志识别。这一系统通过安装在汽车上的摄像机获取信息，通过子采样消除图像重影同时减少需要处理的数据量，然后根据交通标志的彩和形状两方面特征，寻画面帧中的交通标志，采用模板匹配的方法实现标志的定位和最终识别。
关键词：道路标志；识别；图像处理
中图分类号:TP391.41 文献标识码:A
Abstract:A new Road Sign Recognition system is designed to support quick survey of traffic signs. The image acquisition is based on a digital camera equipped on vehicle. Furthermore, the system use subsampling to eliminated the interlace. For the detection, color thresholding is used to segment the image and shape analysis to detect the signs. Recognition is done by matching the extracted features with previously stored features of standard signs.
Key words:road sign,recognition,image processing
汽车驾驶是一个完全基于视觉信息处理的任务。道路交通标志定义了一种可以为驾驶员所理解的视觉语言，为驾驶员的安全驾驶提供各种信息，引导、警示和规范他们的驾驶行为，帮助他们对驾驶条件的变化做出快速的反应，从而可以减少甚至避免交通事故的产生，实现安全驾驶。但是在驾驶过程中，当人处于疲劳状态时，会注意不到交通标志的存在，而在夜间驾驶时，也很容易被迎面的车灯所影响而错过交通标志，这些都有可能导致交通事故的发生，危及人的生命财产安全。因此安全的辅助驾驶甚至智能自动驾驶系统也成为汽车系统的重要部分，而实现对道路交通标志的自动理解则是实现自动驾驶和智能驾驶的重要前提。
计算机具有很强的计算能力，却不擅长目标检测和模式识别；而另一方面，人类的大脑在检测和识别方面表现出卓越的能力，而计算能力远不如计算机。如果系统能够模仿人类大脑的思维，那么它就能和人
一样快速准确的辨识交通标志。基于这一点，本文所设计的快速道路标志识别系统从画面的提取到标志探测识别都以人类的视觉思维模式为蓝本，并充分利用计算机的对大量数据快速准确的处理能力以实现对交通标志的实时快速的识别。它可作为汽车辅助驾驶系统的一个组成部分，安装在移动的汽车上，在各种不同的环境条件下帮助驾驶员的识别各种道路标志，对汽车进行相应的控制，或通过同步语音系统对驾驶员提出警示。
1  交通标志及其识别问题
1.1 交通标志特点
道路交通标志是用图形符号、颜和文字向交通参与者传递特定信息，用于管理交通的设施。道路交通标志的形状、图案、尺寸、设置、构造、反光和照明以及制作，是严格按照标准制作的，比如中国的现行道路交通标志是按照国标《道路交通标志和标线》（GBJ5768-1999）执行的。交通标志有明确的分类，比如主标志包括警告标志、禁令标志、指示标志、指路标志、旅游区标志、道路施工安全标志。而对每类的标志，标准对其形状，颜组合、文字书写等都有严格的标准。这为自动识别道路标志以及汽车的辅助驾驶甚至自动驾驶提供了可行的基础和便利。
1.2 交通标志的识别问题
道路标志通常位于道路的一侧，或位于车道的上部，具有醒目的颜或者特定的形状以将它们和背景区别开来，吸引司机注意并为其提供重要的交通信息。虽然道路标志的规范化，标准化给自动识别带来了便利。但是交通标志通常处于室外复杂的环境条件下，这使得道路标志的自动识别与其它的目标识别任务相比具有一定的困难性，影响道路标志自动识别的因素主要有下述几种：
1) 环境污染和天气状况，如雨、雾等会影响道路交通标志的能见度，从而导致拍摄效果的偏差；
2) 一天之中早晨、中午和黄昏光照的强度和方向会发生变化，交通标志的颜会随之变化；
3) 交通标志长期暴露在室外，会随时间而褪；
4) 部分交通标志可能因拍摄角度的问题而倾斜，或者被树叶部分遮盖；
5) 由于摄像机安装在行进的汽车上，会导致摄取的图像出现重影而模糊不清；
针对这些识别问题，本文设计得的辅助识别系统试图通过图像的采样和处理技术解决。
2  系统设计
基于上述原因，所设计的系统需具有一定的适应性才能够处理不同环境条件下的图像，从而识别标志。整个系统的设计结构可分成三大处理部分，如图1所示：
图1  道路标志识别辅助系统结构图
第一部分是通过数字摄像机拍摄到连续的画面传送到汽车内的计算机中，第二部分是整个系统的关键部分，在这一部分中通过一系列的图像处理完成道路标志的识别。最后一部分将探测识别的标志显示出来或通过语音系统进行警示。当系统探测到交通标志，将判断驾驶员是否遵循标志的指示，也可和计速器相连，检测汽车是否按限速标志的速度行驶，
图像处理部分是系统最重要的部分，其处理流程如图2所示：为了减少处理的数据量，在每一阶段都尽量滤出一些不包含有用信息的帧不参与后续的处理，通过摄像机获取的图像先通过图像（序列）提取以获得用于识别的图像序列；然后，对每帧图像，需要通过子采样消除因为隔行扫描拍摄引起图像帧的重影；接着，就行图像分割和特征提取与获得图像的特征图以和标准标志的特征图进行比较实现标志定位，和最终进行归类和最终确认。
图2  图像处理过程图3  交通标志图像
2.1 图像序列的提取
在此设计的道路标志识别系统中，道路标志图像的获取是通过一个放在汽车内部的数字摄像机(DV)来采集的，摄像机拍摄到的是一组连续的画面，如果将所有画面中逐帧进行分析，无疑需要较长的时间，这对于我们整个系统的实时快速性会有很大的影响。人类的视觉是目前最可靠最强大的识别系统，作为一个基于生物学的识别系统的第一个部分，这里采用了与人类目标辨识相似的分析方法。在驾驶的过程中，当汽车距离道路交通标志较远的时候，人眼能看到交通标志的存在，但不会注意它，随着汽车的行进，标志在人的视觉范围内渐渐增大，达到一定的尺寸时，人会花一至数秒的时间集中注意去识别它。在摄像机拍摄到的画面中，画面中的标志的大小也会随着距离变近而渐渐变大，这些连续的画面被传送到计算机中，只有当画面中标志的尺寸达到一个预定的阈值时，系统才会对这帧画面和它随后的数帧画面进行识别。当识别完成后，就不再对其它画面中的同一个标志进行识别，以减少数据处理的空间和时间。图像序列处理这个环节就是从输入的图像帧中选出用于识别处理的图像序列。
2.2 子采样
在本系统中，捕获图像的摄像机是普通的家用数码摄像机，其采用的是隔行（interlaced）扫描方式，其在1秒内完成50次隔行扫描。因为是隔行扫描，所以意味构成一帧(frame) 图像前后两次扫描（field）相差了0.02(1/50)秒。对于静态物体，两个半帧合在一起形成的图像是很好的。但是由于本系得DV是安装在车辆上的，传来处理的图像帧是在汽车行进时拍摄的，这样图像会出现如图3中的限速标志左图所示的重影，因为这0.02秒拍摄到的两个半帧实际上是有差异的，这种差异形成了重影。为了消除这种隔行
扫描拍摄相对运动物体引起的重影，这里采用子采样（subsample）方法来解决，这里的子采样就是采取间隔一行提取图像的像素，实际上是获取一次隔行扫描获取的半帧图像。如图3中左边的图通过子采样，可以获取到如图3右边的图像。
2.3 图像分割
交通标志都具有醒目的颜且有严格的标准，如图3中的限速标志，就是有红的圈和白底加黑的数字组成，因此通过彩来获取道路标志的信息是识别的第一步。通过摄像机获取的图像是RGB（红、绿、蓝）图像，如前所述，由于环境变化和褪的原因，光强会发生变化，而RGB颜空间对光强的变化较为敏感，在很多研究中将彩空间转换到HSV（度、饱和度、光强）空间再进行处理。但HSV空间是一个非线性空间，计算比较复杂，需要较长的转换和计算时间。为了在RGB彩空间解决环境变化和退这个问题，本系统采用的方法不是仅设置RGB度绝对值来作为某种彩的判断阈值，而是主要用RGB的相对比值作为彩滤波的阈值。例如，对于红的标志处理，有如图4所示的算法。其中αred，表示红与绿的比值的阈值、βred表示红与蓝的比值的阈值、Rset表示设定的红（R）的值。如果仅用Rset, 则通常要设
得比较大，但是这就解决不了退的问题。采用比值的方法，当图像受到光照的影响，导致某部分数值偏高或偏低，或者整体数值偏高或偏低时，其比值不会发生变化，所以不会因光照而受影响。但这种方
法过于灵敏，也有不利的一面，它可能会错误的获取一些非目标标志的图像。为解决这一问题，我们结合标志的形状特征进行进一步处理。
图4  分割红标志图像的处理算法
2.4 特征提取
某些特征对确定图像中是否存在道路标志候选目标很重要。如第二节介绍，交通标志除了有严格的颜规定外，还有严格的形状和大小的规定，这些特征是识别它的关键。获得这些特征的最佳方法是首先通过边缘探测提取边界线条，然后采取距离变换（Distance Transform, DT）方法进行处理。距离变换是将一个二值图像从边缘图像产生一个距离图，距离图中的灰度值表示每一个像素点到最近的特征点的距离。因为匹配的目标图像（也就是国标中的标准标志图像）也是用同样方法抽取特征，并把DT图存成标准模板。匹配的过程也就是将DT图和DT模板进行相关运算，如图5所示。相关值就反映了图像空间的相
似程度。采用DT法的优点是这一方法对非最佳特征图有很好的容错性。
图5  特征提取、变换与比较
2.5 标志定位
各种汽车标志标志定位的目的是到标志在图像中的位置，如对图3所示的标志识别，通过距离转换提取了图像中的环形或圆形图案，这些图案是通过模板匹配算法预先定义的，模板匹配将特征模板与特征图像进行相关运算，这一运算在输入图像的每一部份都运行，如果相关值低于预定的阈值，则匹配成功，匹配坐标进入侯选列表，意味着确认了包含道路标志的区域。
2.6 标志分类
图像中完成了道路标志探测后，下一步是对区域内部进行分析，根据内部符号对标志分类和识别。在分类之前，先将候选标志归一化，像素强度通过均方根运算进行统一，同样候选区域也按比例缩放为A×A正方形，其中非标志像素以空值表示。
以图3的限速标志的识别为例，候选区域随后被送入数字分类器中，以寻数字，这通常是在限速标志中出现的，如果到的是一个非法的数字组合，例如68，那么这一区域就会被舍弃。反之如果到的是合法的数值，那么就意味着标志探测成功，可将限速值提交给使用者。
3  结论与展望
交通标志的设计和位置都是从便于人类感知和识别的角度出发的，要让计算机完全达到人类的识别能力是一个很困难的任务。本文提出的道路标志快速识别系统中的主要创新点是：利用子采样解决因动态拍摄引起的重影问题；针对道路标志彩规范定义的特点利用RGB相对比值而不是绝对RBG值来解决交通标志褪问题从而提高图像分割的准确度；针对交通标志形状规范明确的特点采用二值特征模板和DT模板与图像特征进行匹配的方式进行标志快速识别。本系统可以识别在不同环境条件下的道路标志，并且
通过减少处理的帧数和每帧的数据量来实现快速的识别，但这种识别方法还存在着一定的误差，而对于实际的驾驶过程而言，是不允许出现误差的。下一步的研究中我们可以在识别的过程中采用神经网络来提高识别的准确度，为了进一步提高整个系统的可靠性，同时还会加入部分被遮盖和变形的标志的识别。
参考文献:
[1]《道路交通标志和标线》GBJ5768-1999，中国标准出版社出版.
[2]门蓬涛，张秀彬，张峰等.图像特征识别方法研究[J].微计算机信息,2OO4,5:103-105
[3]A. de la Escalera , L. E. Moreno , M. A. Salichs and J. M. Armingol. Road traffic sign detection and classification, IEEE Trans. on Industrial Electronics,1997, 44(5): 848-859.
[4]G. Piccioli et al. Robust method for road sign detection and recognition. Image and Vision omputing, 1996,14(3):209-223.
作者简介：许亚兰(1972-)，女，讲师，主要从事模式识别、图像处理等方面研究；刘建勋，男，汉族，教授，主要从事知识网格、信息系统等方面研究.
Biography:Xu yalan was born in 1972、She graduated from EE Department of Hunan University、Now she is a lecturer and working at Shenzhen Politechnic.
(518052 深圳职业技术学院电信学院)许亚兰
(Institute of Electronic&&Information， Shenzhen PolyTechnic， Shenzhen 518052，China)Xu,YaLan
(411201 湖南科技大学)刘建勋
(收稿日期:2006.2.16)  (修稿日期:2006.3.18)