^mmmm2021年第01期
(总第217期)基于深度学习的交通标志检测
黄咏曝
(湖北工业大学电气与电子工程学院,湖北武汉430070)
摘要:随着我国的汽车保有量速增长,自动驾驶的技术开始兴起,而交通标志检测是自动驾驶当中的一个重要的构成部 分。交通标志的检测往往会受到光线变化、道路天气、摄像机角度等等因素的干扰,而且交通标志的数据集通常包含大 量的小对象数据,这些问题已经成为交通标志检测领域中的难题。文章使用结合Darknet53的YOLOv3网络,增加对于 小型目标的检测能力,并且提升网络的整体检测速度。用本文的网络对交通标志进行检测,并与Faster R-CNN做对比 实验,得出YOLOv3的准确率比FasterR-CNN高出59%,并且最大的FPS可达到24.5。实验结果显示出本文算法的可 行性,具有卓越的实用价值。
关键词:深度学习;交通标志检测;YOLOv3;目标检测;卷积神经网络
中图分类号:TP391. 41 文献标识码:B 文章编号:2096-9759(2021 )01-0097-04
Traffic Sign Detection Based on Deep Learning
Huang Yongxi
(College of electrical and electronic engineering, Hubei University of technology, Wuhan 430070, China) Abstract:With the rapid growth of China's car ownership, automatic driving technology began to rise, and traffic sign detection is an important part of automatic driving. The detection of t raffic signs is often disturbed by light changes, road weather, camera angle and other factors,and the data set of traffic signs usually contains a large number of small object data,which has become
a difficult problem in the field of traffic sign detection. In this paper, we use the YOLOv3 network combined with Darknet53 to
increase the detection ability for small targets and improve the overall detection speed of the network. Compared with Faster R- CNN, the accuracy of Y OLOv3 is 59% higher than that of Faster R-CNN, and the largest FPS can reach 24.5. The experimental results show that the algorithm is feasible and has excellent practical value.
Key words:Deep learning; Traffic sign detection; YOLOv3; Target detection; Convolution neural network
〇引言
目前,我国全国汽车保有量迅速增长,千人汽车保有量从 原来不到10辆快速增长到180多辆。汽车给人们带来便利 的同时也产生了不少问题,比如交通道路拥挤、意外交通事故、化石能源枯竭风险等。其中,意外的交通事故往往会产生巨 大的社会危害,对当事人和被害者来说都会留下深深的伤害。而在导致意外交通事故发生的原因当中,疲劳驾驶占据了很 大的成分。如何保证安全驾驶,降低交通事故发生的概率已 经成为公共交通安全研宄的重点问题[1_2]。
自动驾驶领域当中的辅助驾驶是实现无人驾驶,减少交 通事故发生的一个关键性的技术,而交通标志检测是辅助驾 驶当中的一个重要的构成部分。交通标志检测可以提示驾驶 员道路上的每一个交通标志以及其代表的意义。因此交通标 志检测应用程序应该能够检测和了解每个交通标志,为了达到 这个需求,本文使用深度学习技术来处理视觉数据气当前的交通标志检测技术受到诸如照明变化,天气和摄 像机角度等因素的干扰,这使其不能令人满意地用于交通标 志检测。交通标志数据集通常包含大量的小对象,并且对象 的比例变化对于交通指示检测是巨大的挑战。因此,本文提 出了基于Y O L O v3的交通标志牌的检测M。
1交通标志检测研究背景
1.1目标检测方法
Ross Girshick早在2013年就提出了 R-C N N[6]网络用于目标的检测,这是一种分两步检测的目标检测
算法,在接下来 的几年当中人们又陆续的提出了分两步的目标检测算法例如 Fast R-C N N[7]、Faster R-C N N[8]、Mask R-C N N[9]等;也有人 提出了一步完成的目标检测算法例如S S D[10]、Y O L O[11-13]等。其中分两步的目标检测算法首先在原图上生成若干个候 选区域,这个候选区域表示可能会是目标的候选框,然后再把 这些候选框送到分类和回归网络中进行分类和回归,这种方 法分两步进行提高了候选框的准确率,但是这种方法的处理 速度过于缓慢,没有办法应用于大多数场景。而其中的一步 完成的目标检测方法生成的候选框只是一个逻辑结构,或者 只是一个数据块,只需要对这个数据块进行分类和回归就可 以完成检测,因此这种方法更具有鲁棒性,可以适用于大多数 场景。
1.2交通标志检测方法
目前,主要有四中类别的交通标志检测方法,分别是基于 标志形状的检测方法、基于标志颜的检测方法、基于特征融 合的检测方法以及基于深度学习的检测方法。以往机器学习 的方法往往会结合交通标志的形状和颜对其进行检测,2008 年,Keller等人提出了形状检测算法去检测各种形状的交通标 志,2010年,Jitendra等人提出了一种使用颜去匹配的检测 算法,然而这些仅仅基于形状与颜的算法其鲁棒性极差,非 常容易受到光线明暗、天气是否有雾、是否存在阴影、标志的 远近、地点的变化等等条件影响。
近年来,深度学习己得到积极应用在各个领域,包括计算
收稿日期:2020-11-12
作者简介:黄咏曦(1994-),男,湖北仙桃人,硕士,主要研宄方向:机器学习。97
机视觉,自动驾驶和社交网络服务。传感器和G P U以及深度 学习算法的发展加速了对基于人工智能的自动驾驶汽车的研 究。具有自动驾驶功能且无需驾驶员干预的自动驾驶汽车必 须准确检测汽车,行人,交通标志,实时交通信号灯等,以确保 安全和正确控制决策。为了检测此类物体,可以使用各种传 感器(例如相机,光线检测和测距(激光雷达),通常使用无线 电检测和测距(雷达)在自动驾驶汽车中。在这些各种类型中 的传感器,相机传感器可以根据纹理和颜特征准确地识别 物体类型,并且具有更多比其他传感器更具成本效益。尤其 是,使用摄像头传感器进行基于深度学习的物体检测在自动 驾驶汽车中变得越来越重要,因为就自动驾驶方面而言,它的 准确性要比其他方法更高,因此,它已成为自动驾驶系统中必 不可少的方法。
自动驾驶汽车的目标检测算法应满足以下两个条件。一 是需要道路物体的检测精度较高。二是实时检测速度对于车 辆控制器的快速响应和减少的等待时间。基于深度学习的对 象检测算法在自动驾驶汽车中必不可少,可以分为两种类别:两阶段和一阶段检测器。两阶段检测器,例如Fast R-C N N,Faster R-C N N和R F C N,进行区域提议生成的第一阶段,然后 是对象分类和b b o x的第二阶段回归。这些方法通常显示出 较高的准确性,但具有检测速度慢和效率较低。一级检测器,例如S S D和Y
O L O,在没有区域提议阶段的情况下同时进行 对象分类和b b o x回归。这些这些方法通常具有较快的检测 速度和较高的效率,但准确性较低。近年来,为了利用两种方 法的优点并弥补其各自的缺点,将各种方案已被广泛研宄。
2013年,Ross Girshick提出R-C N N网络之后,其被大量 的应用于目标检测方向,
但是,这种方法的检测速度过于缓慢,无法应用于实际场 景。为了解决这个问题,R e d m o m等人提出了 Y O L O系列的 网络,这种网络将候选框的生成和分类回归集成到同一个深 度学习网络当中,只用一步就完成分类检测。Y O L O v3可以 检测到多个物体单一推断,因此其检测速度非常快;另外,通 过采用多阶段检测方法,可以弥补Y O L O和Y O L O v2的缺点。基于这些优势,Y O L O v3适用于交通标志检测[14]。
综上,考虑到光线、天气、地点、远近对于检测的影响,本 文使用结合残差网络的Y O L O V3算法,并使用这种方法对交 通标志进行检测。最后,进行大量的实验,将其得出的数据进 行评估和对比,以得出结论。
2Y O L O算法
代替两阶段使用的区域提议方法探测器,Y O L O通过划 分图像来检测物体成网格单位。Y O L O检测
作为一个回归问 题。只需在测试时对新图像运行神经网络预测探测。该算法 对输入图像进行分割进入S x S网格。如果物体的中心点是真 实的落在某个网格内,网格负责检测对象。每个网格输出预 测边界框,包括边界框(中心)的位置信息点、坐标x、y、宽度 w、高度h和预测值。Y O L O输出层的特征图被设计为输出 bbox坐标,客观分数,以及分级得分,所以Y O L O可以通过一 次推理检测多个对象。因此,检测速度比传统检测方法速度 快。但是,由于处理了网格单元,定位误差大,检测精度为低, 因此不适用于自动驾驶应用。为了解决这些问题,Y O L O v2被 提出。Y O L O v2提高检测精度与Y O L O相比,使用批量归一 化卷积层,并应用锚框,多比例培训和细粒度的功能。但是,检测对于小的或密集的物体,精度仍然很低。因此,Y O L O v2 不适合自动驾驶应用,需要高密度的道路物体的地方,以及小 物件,例如交通标志和照明灯。
为了克服Y O L O v2的缺点,提出了 Y O L O v310L O v3由卷积层,如图1所示,并且由深度网络构成,以提高准确性。Y O-L O v3应用残差网络来解决深度网络和用途的消失梯度问题保 留的上采样和连接方法用于小物体检测的细粒度功能。的最 突出的特征是在三个不同的位置进行检测以与特征金字塔类 似的方式缩放网络。这使Y O L O v3可以检测物体各种尺寸。更详细地说,当R,G和B的三个通道输入到Y O L O v3网络, 如图1所示,有关对象的信息检测(即bbox坐标,客观性得分 和等级分数)从三个检测层输出。结合三个检测层的预测结 果并使用非最大抑制进行处理。后确定最终的检测结果。因此,权衡精度和速度两个方面,Y O L O v3适用于自动驾驶应用,并广泛用于交通标志检测。
Darknet53
Res21 Res2 \Res8 M Res8 )-p(Res4
upsample)
)
(conv^—[convl
)
[upsample
)
concat
1 [conv
—\
13x13x255
图1 Y O L O V3网络结构图
Y O L O v3借鉴了 Faster R-C N N的理念,它放弃手动选择 预测框并对边界维数进行k-means聚类获得好成绩的预测框,通过这种方法它能够获得9个集中心,可以更好的覆盖交 通标志的真实性特征。Y O L O v3也采用了类似F P N (特征金 字塔网络)的多尺度预测方法。因此预测在多比例尺的特征 图上,Y O L O v3获得了图像具有不同尺度的特征,大大提高了 小目标检测效率。
理论上来说,深层神经网络在网络训练的过程当中能力 更强,其网络的深度与产生的误差成反比,即网络越深,误差 越小。这是因为可以通过识别一个平面模型来构造深层模型 的结果。然而,净深度的增加将伴随着反向传播的过程。当不稳定因素增加时,很容易产生梯度爆炸或消失,这导致实际 结果与预期有很大不同结果。而Y O L O v3使用了 Darknet-53 来解决这个问题。
Y O L O v3是由Joseph等人提出的目标检测器,并将检测 过程作为回归任务。这个方法提高了检测速度并接受输入不 同大小的图片。Y O L O v3使用Darknet-53执行特征提取。Darknet-53 比 Darknet-19、ResNet-101 或 ResNet-152 更加强 大。Y O L O v3使用多尺度预测,这意味着可以在多尺度上对 其进行检测功能图。因此,目标检测的准确性得到改善。其 结构细节如图1所示。
在训练过程中,Y O L O v3损失功能分为三个主要部分:即 坐标损失,置信度损失和分类损失,可以用以下等式表示:
loss= Ibox+lobj+Ids⑴其中坐标损失:
98
A--i,f+(>-,-y,f]
M)
x^X(«l-i5i)J+(A -^)2]置信度损失:
M t 14
-U S i>T^toBK>+(I-4)l〇Bn-Q]
/•«
分类损失:
Ids^Y jf Z
M) ooim
+Z^ Z(l-p,(c))l〇ell-Ai(c))
H J C fd n a n (2)
(3)
(4)
Y O L O v3的损失函数考虑到了先验框位置的不同、置信 度的不用、类别的不同,从多个角度加快迭代的进行,使得迭 代过程快且准。
先验框的框架机制是由Fast R-C N N首次提出的。后来 在一阶段和两阶段目标检测的框架当中广泛传播,例如:S S D、Y O L O、RetinaNet等框架。先验框主要用于解决目标检测任 务的规模和范围从宽到高的变化太大所产生的问题。模型在 训练过程当中,实际标签被先验框编码为偏移量。模型试验 期间模型预测的先验框偏离决定识别结果通过先验框机制、规模和宽度将尺度空间划分为相应的子空间,减少了目标的 检测这项任务的难度使模型更容易实现学习。
Y O L O v3的测试过程如下:第一步,输入图像并将图像缩 放到标准尺寸;第二步,将输入图像分为13 * 13、26 * 26三个 尺度的52 * 52网格。如果中心点一个物体落在网格单元中,网格单元就会预测物体;第三步,使用k均值聚类来确定每个 网格单元上的边界框先验。在每个网格单元上有三种聚类, 每个网格单位总共有9个集;第四步,将图像输入网络以进 行特征提取。该模型首先生成一个特征图在13 ? 13的小范围 内;第五步,首先对13 * 13小规模特征图进行卷积集和2次 上采样,然后将其连接到26 * 26特征图之后输出预测结果; 第六步,对步骤5输出的26 * 26特征图进行处理,进行卷积 和2倍上采样,然后连接到52 * 52特征图并输出预测结果;第七步,来自三尺度预测的特征融合然后,使
用概率得分输出 一个阈值,以过滤掉大多数低锚点得分。然后使用非最大抑 制(N M S)用于后期处理,剩下更多准确的候选框;第八步,对候 选框进行回归操作得出最终结果[15]。
3数据预处理
为了验证Y O L O v3在检测交通标志上的效果,本文设置
了相同数据集以及相同的试验参数,去比较Y O L O v3和Faster
R-C N N在交通标志检测实验当中的表现。本文选取AP (Average-Precision) 值作为实验的评价标准 A P就是精确率和召回
率曲线下面的面积,通常来说一个越好的分类器,A P值越高、
准确率越高、检测效果越好。其实验结果如下表1。
表1实验对比结果
网络AP APIS FPS
Faster R-CNN0.4260.464 6.8
YOLOv30.6770.77224.5
因Y O L O v3在三个不同的位置进行检测以与特征金字塔
类似的方式缩放网络以进行的多尺度预测,所以Y O L O v3在
检测交通标志这种小物体上具有优势,表1可以看出Y O L O v3
不仅在精确度上高于Faster R-C N N,并且由于Y O L O v3网络
是一步完成的目标检测方法,它只需要对生成的逻辑结构或
者数据块进行分类和回归就可以完成检测,其检测速度也大
大高于 Faster R-C N N。
5结语
由于交通标志检测受到照明变化、天气、摄像机角度等因
素的干扰,且交通标志数据集通常包含大量的小对象,所以,
本文提出一步完成的目标检测方法Y O L O v3去完成交通标志
的检测,在与两步完成方法Faster R-C N N进行对比之后,得出
其最大的F P S可达到24.5并且其准确率比Faster R-C N N高
出59%,可知使用Y O L O v3对交通标志进行检测的方法不仅
更加高效而且更加的准确。
参考文献:
[1]邓天民,周臻浩,方芳,王琳.改进Y O L O v3的交通标志检测
方法研宄[J].计算机工程与应用,2020,56(20):28-35.
[2]Tabelini L,Berriel R,Paix? o T M,et al.Deep TrafiBc Sign
Detection and Recognition Without Target Domain Real Im-
ages[J].arXiv preprint arXiv:2008.00962, 2020.
[3]谭台哲,卢剑彪,温捷文,李楚宏,凌伟林.应用卷积神经网络
与R P N的交通标志识别[J].计算机工程与应用,2018,54
(21):251-256+264,
[4]任坤,黄泷,范春奇,高学金.基于多尺度像素特征融合的实时
小交通标志检测算法[J].信号处理;2020,36(09):1457-1463.
[5]伍晓晖,田启川.交通标志识别方法综述[J].计算机工程与
应用,2020,56(10):20-26.
本文使用谷歌开源图片库的交通标志图片进行拉伸变 换、加入噪声以及亮度变换后的5000张图像作为数据集,这 样的一种图像数据的扩充不但可以扩充训练样本的数量而 且也增加了样本的多样性,从而避免了模型发生过拟合的现 象。其中4000张的图片用于训练集,1000张图片用于测试 集。
4实验结果与分析
本文使用了多组的对照实验来验证算法的有效性和高效 性。为保证实验的客观性,让各组网络模型的
参数设置统一 化,其中图像输入端的分辨率统一设置为320*320,批次大小 统一设置为32,迭代次数设置为3200,原始的学习率设置为 0.001。[6] Girshick R, Donahue J, Darrell T, et al. Rich feature hierar
chies for accurate object detection and semantic segmentation [C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2014: 580-587.
[7] Girshick R. Fast r-cnn[C]//Proceedings of the IEEE interna
tional conference on computer vision. 2015: 1440-1448. [8] Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-t
ime object detection with region proposal networks[C]// Advances in neural information processing systems. 2015: 91-99.
[9] He K, Gkioxari G, Dollar P, et al. Mask r-cnn[C]//Proceed-
ings of the IEEE international conference on computer vision. 2017: 2961-2969. (下转第102 页)
99
Changjiang Information & Communications张忠来:光纤直放站在地铁通信中的应用研宄与分析
时候可以选用光纤直放站近端机和远端机的并联组网方式,这样各个远端机之间是相互独立的,如果有一个远端机出现 技术性故障而不能工作的时候,不会影响整个光纤直放站的 工作状态,而且这种组网方式还有一个明显的优点就是整个 光纤直放站的信号传输过程不会出现噪声的累计过程,从而 影响有效信号的提取质量。光纤直放站近端机和远端机的混 联组网方式可以很好地达到应用效果和应用目的。
3光纤直放站的传输距离
由于光纤直放站的主要作用就是通过信号处理来提高通 信信号无法覆盖或者覆盖强度较弱的地铁区域的信号强度,所 以光纤直放站的传输距离对于地铁通信来说是一个重要的研 宄方向。目前来看对于信号传输来讲主要关心的就是两方面 的特征,一个是信号的传输损耗,一个是信号的传输时延。首 先对于传输损耗来说,由于光纤直放站采用的是光信号传输的 方式,所以对于光纤直放站来说信号的传输损耗基本可以忽 略,按照统计数据大概维持在0.01%的水平,所以这方面基本 可以忽略;而对于信号的时延来说就需要结合信号传输的目的 和光纤直放站的传输距离来进行综合考虑,对于信号的实时性 要求不高的区域,可以适当增加光纤直放站的传输距离,这样 既可以保障信号的传输又,可以降低光纤直放站的建设成本,提高整个地铁通信系统的经济效益,而对于信号的实时性要求 比较高的区域,
比如关系到安全生产等领域的信号传输,则需 要充分结合光信号传播的速度和信号时延的误差范围,综合计 算一个合适的光纤直放站的传输距离,这样可以做到传输信号 的实时性和地铁通信系统的经济性的最优配置。目前来看,各 个地区的光纤直放站的传输距离各不相同,但是基本都维持在 5000~10000米的范围内,对于信号实时性要求较高的区域,光 纤直放站的传输距离维持3000-5000米的范围内。
4光纤直放站的冗余配置
光纤直放站的主要作用是通过信号处理来提高通信信号 无法覆盖或者覆盖强度较弱的地铁区域的信号强度,所以光 纤直放站的正常工作状态直接关系到地铁通信信号的传输状 态,其中至关重要的一个环节就是光纤直放站的工作状态会 影响地铁行车的调度安全,安全对于地铁交通是摆在第一位 的重点关注问题,所以光纤直放站在实际应用的时候必须要 做好冗余配置,具体的冗余配置的标准根据信号传输可靠性 程度和行车安全调度来综合考虑,目前主流的做法是配置光 纤直放站的时候进行两台主机模式的运行,相应的就需要2台光纤直放站的近端构造、2台光纤直放站的远端构造和2条光 纤直放站的光纤构造,这样会影响地铁通信系统的经济效益, 所以要在经济效益和地铁通信可靠性之间做一个综合性的平 衡考虑,如果光纤直放站的冗余配置的过高,确实可以提高地
(上接第"页)
[10] Liu W,Anguelov D,Erhan D,et al.Ssd:Single shot multibox
detector [C]//European conference on computer vision.
Springer,C h a m,2016: 21-37.
[11] Redmon J,Diwala S,Girshick R,et al.You only look once:
Unified, real-time object detection [C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016: 779-788.
进口汽车标志图片大全[12] Redmon J,Farhadi A.Y O L09000: better,faster, stronger 铁通信系统的可靠性和稳定性,但是必然会提高地铁通信的
经济成本;如果光纤直放站的冗余配置的过低,影响地铁通信
系统的可靠性和稳定性,但是会降低地铁通信的经济成本。
5结语
目前各个城市的地铁通信中主要的通信方式采用了光纤
直放站的形式,应用效果较好,之前通信信号无法覆盖或者覆
盖强度较弱的区域采用了光纤直放站之后,地铁通信信号都
得到了较大的提高。光纤直放站的构造主要分为三部分,分
别是光纤直放站的近端构造、光纤直放站的远端构造和光纤
直放站的光纤构造。其中光纤直放站的近端构造是地铁通信
信号的信号源,主要作用是发出地铁通信信号,光纤直放站的
远端构造主要分布在通信信号无法覆盖或者覆盖强度较弱的
区域,光纤直放站的光纤构造是光纤直放站的近端构造和光
纤直放站的远端构造的连接结构,这部分主要是通过光纤连
接的,光纤直放站的工作过程可以分为两部分,分别是光纤直
放站的信号上行过程和光纤直放站的信号下行过程。应用最
为广泛的光纤直放站的组网方式主要集中在三种方式,分别
是光纤直放站近端机和远端机的并联组网方式、串联网方
式和混联组网方式,其中各种组网方式各有优缺点,光纤直放
站近端机和远端机的串联组网方式可以降低经济成本,但是
系统稳定性和传输信噪比不高,而光纤直放站近端机和远端
机的并联组网方式系统稳定性和传输信噪比得到有效的提高,
但是经济成本较高,所以在实际应用的时候要综合考虑。光
纤直放站信号传输关键是两点:一是信号的传输损耗,二是信
号的传输时延。光信号传输的信号损耗基本可以忽略,而对
于传输时延则需要综合考虑信号的目的和传输距离来综合考 虑。光纤直放站在实际应用的时候必须要做好冗余配置,具
体的冗余配置的标准根据信号传输可靠性程度和行车安全调
度来综合考虑。本文对于光纤直放站在地铁中的应用具有较
好的理论指导意义和实际操作意义,对于地铁通信中的降本
增效具有很好的示范效应,可以作为后续推广的依据。
参考文献:
[1]李自刚,聂明新.基于A R M和G P R S的光纤直放站监控系
统的设计与实现[J].通信技术,2010,04:127-129.
[2]王振海.光纤直放站+时延模块技术在大型铁路编组站中
的应用研究[J].铁道标准设计,2014,07:131-134.
[3]魏林.浅析C D M A中搜索窗设置对光纤直放站施主扇区
选择的影响[J].通信世界,2014,08:8-9.
[4]苏轶.W C D M A数字光纤直放站与远端射频单元
R R U的比较[J].通信世界,2006,26:62-63.
[5]利用光纤直放站进行覆盖一阿尔贡赢得铁路覆盖合同
[J].邮电设计技术,2000,02:22.
[C]//Proceedings of t he IEEE conference on computer vision
and pattern recognition.2017: 7263-7271.
[13] Redmon J,Farhadi A.Y O L O v3: A n incremental improvem-
ent[J],arXiv preprint arXiv:1804.02767, 2018.
[14] 白士磊,殷柯欣,朱建启.轻量级Y O L O v3的交通标志检测
算法[J].计算机与现代化,2020(09):83-88+94.
[15] M a o Q C,Sun H M,Liu Y B,et al.Mini-Y O L O v3:real-time
object detector for embedded applications[J],IEEE Access,
2019, 7: 133529-133538.
102
发布评论