O b se rve观察
D0I:10.3969/j.issn.1009-847X.2018.04.004
相机标定算法
基于机器视觉的智能汽车环境感知算法研究综述►.......................................................................................................................................◄
杜伟松
摘要：基于机器视觉的智能汽车环境算法作为智能汽车规划决策和控制执行的基础环节，是智能汽车关键技术之一，也是智能汽车当前研究的热点问题。本文对目前基于机器视觉的环境感知技术研究的现状进行综述，首先总结了各类相机标定算法并阐述了其基本原理；然后论述了基于机器视觉的目标检测和多目标跟踪的研究现状，分析了各主要算法的实现步骤；最后对智能汽车环境感知技术的发展进行了总结，并对未来发展趋势进行了展望。
▼
相机标定主要是计算相机映射矩阵，确 定3D世界中任意点在2D图像中的位置。相 机标定算法整体可分为人工标定法、自标定 法两大类，其优缺点如下页表1。
人工标定法通过预先采集不同角度标定 靶图像、提取其中特征点标定出相机内参 数，再利用透视原理标定得到相应外参数。自标定法主要基于场景或运动物体之间的对 应关系(对积线约束)求出图像的映射矩阵，并通过全局优化的方法优化最终参数，两种 标定方法的研究现状见下页表2。
车道标志线识别算法
现有车道线提取算法通常围绕特征约束 和配准模型展开。车道线的直线特性已被广 泛应用，部分算法采用虚线模型来模拟复杂 的连续弯道道路。为提升算法鲁棒性、抗干 扰性，部分算法采用逆透视变换将透视图转 化为鸟瞰图来凸显车道线信息，国内外研究 现状详见表3 〇
车辆、标志牌识别算法
^近年来，为了缓解交通压力，降低人为因素引起的“人-车-路”各环节耦合失调 导致的交通事故，智能汽车已经在全世界范
围内得到广泛关注。作为汽车智能化关键技 术之一的机器视觉环境感知技术也得到了进 一步的发展。针对目前智能汽车环境感知算 法的研究，从相机标定、车道标志线识别、车辆和标志牌识别算法以及多目标跟踪算法 几方面对其进行综述。/@标检测\
I、智能汽车<1
关键词
车辆、标志牌检测属于模式识别领域中
目标识别内容。智能汽车行驶时，车辆被视
为障碍物，标志牌被视为信息物体。现有国
内外研究中，对车辆的研究集中在检测跟
踪，对图像中标志牌的识别则集中于检测、
跟踪、识别。国内外研究现状见表4。
⑩多目标跟踪算法
由于单帧检测算法无法满足动态环境下
连续性的需求，为此众多学者将目标跟踪引
人其中，以提升算法性能。目前为止，多目
标跟踪算法主要可分为三类：基于随机集概
观察
serve
表1单目相机标定算法研究现状
方法优点
缺点人工标定法關准确、高效无法用于动态平台自标定法_
可应用于动态平台中
精度较低
率密度模型(粒子滤波法、贝叶斯滤波法 等)、基于特征数据关联(根据数据间相关性 进行目标匹配)、基于运动信息配准(光流 法、卡尔曼滤波法等)，国内外研究现状详 见表5。
总结及展望
本文主要对单目相机、多目标检测和多 目标跟踪的研究现状进行综述，并从不同角 度对这些方法进行分析和比较。虽然智能汽 车环境感知系统的准确性和实时性不断提 高，但距离完全商用还有一段距离，未来将 从以下几个角度人手对环境感知系统进行深 人研究：
⑴逆透视变换稳定性。图像逆透视变换 函数是在相机外参数基础上建立的而，车辆 实际行驶中道路不
平引起的相机抖动会导致 相机外参数发生改变。为此，逆透视结果也 会受到影响，使得逆透视结果存在波动。后 续工作中，需增加惯性传感器以获取车身姿 态信息，来补偿动态环境下相机的外参数， 使得逆透视结果更佳稳定。
(2)
车道线检测算法普适性。车道线检测
算法属于基于先验知识的识别算法，此类算 法普适性不高，当需求条件增加或者相机位 置改变时，先验知识需重新设定。在硬件性 能不断提升的未来，同样可以采用模式识别 算法进行识别，以提升算法精度。
(3)
局部地图生成。环境感知作为无人驾
驶汽车的第一环节，是后续路径测、车辆控 制的基础。当未来有足够多的目标识别后，可 生成局部地图，并计算出局部地图中各个障碍 相对本车的速度与位置，提供给车辆路径规划 艱
，为后续车辆路径删做准备〇為
表2单目相机标定算法研究现状
I S
方法
[1]
[2]
[3]
[6]
[7]
对1889年至1951年所有相机标定相关的经典文献进行描述[1]，从整体上描述了人们对相机成像规律的认识及标定过程升级采用不同相机模型(线性模型[2]与非线性模型[3]；!下的张正友标定法。标定算法首先用相机采集不同视角下带标定靶的图像；再提
取采集图像的特征点；其次用“闭式求解法” 4十算相机的内、外参数；最终，采用最小二乘法估计映射
结果，并重新定义内外 参数直至最优
用于较大畸变情况下的标定方法角或鱼眼相机)。其主要思想是将鱼眼相机模型简化为在纵向、切向上具有较大畸变的针孔
机模型。映射规律满足泰勒级数开。标定算法首先建立23参数相机模型，并对其进行初始化；再通过反向投影计算映射矩 ........................................ ....................—....................... ：：乘法[4]，拉格朗日最小值[5])，重新计算内外参数，直至误相机模型〇 —— _____— ____________ 一…阵(t 相机内参h 其次，求取相机外参数；最终，优化投影误差(最小. 差数达到最/j 、值主要思想是通过匹配图象对应点来计算求取相机的旋转、平移矩阵和相机内参数的方法。标定算法首先通过相机采集至少3张 不同视角下带有标定靶的图像；其次，对于每张图片，提取圆、线，计算消失线，根据消失线及图像上任意两圆上点的距离计 算相机内、夕卜参数；最终，通过反投影优化最终结果，直至达到全局最小值。为提升标定精度，选用圆形控制点为主的标定板[6] (圆形经投影后会变成椭圆)以此放大误差
基于消失特性的标定方法％此类方法主要思想为利用对应图象对应信息提取出特殊边界后，在消失特性的约束下计算相机内 外参数，实现相机标定。该类标定法虽过程简单，但需更多先验知识。算法首先在多幅含有标定靶的图像中选取一系列具有消 失特性的直线；其次，利用消失特性作约束条件，计算出相机内参数和旋转、平移矩阵；再根据旋转、平移矩阵计算出相机内 参数。最终，利用全局优化算法优化相机参数
閱可義鼸歷系#繼I S 織S
觀先验知识。
算法利用至少4组图像之间的对应关系(对积线约束)即
表3车道标志线检测算法研究现状
I I
方法
[10]
主要思想是利用特征约朿筛选车道线检测结果。其中，文献yopj 用消失点与斜率约束。文献[11]利用的是长度与斜率约朿。
[11] 文献[12]利用颜和消失点约束筛选结果。为增加算法稳定性，支滅[10]增加逆透视变换(IPM )过程
[
12]
[14]模_53審還霜蠢續；车；?聽11繼議^1^^^$&雯&1^5^^^^^鐵辕®®计算
采用多个相机同时采集图像[15]，通过图像融合实现车道线快速检测方法。过程如下：
1.融合多个相机采集的图像，在HSV 空间下进行IPM 变换；
[15]
2.用子图像框进行搜寻，寻符合同时满足区域内H 值的变化超过设定阈值、局部彩直方图为极小值、主直方图处有明显的形状、方向特征三个车道线特征的图像；
3.用车道线模板及RANSAC 法拟合出最终结果。
[16] 车道线模型均采用曲线模型。文献[16；[中选用抛物线模型，文献[17]中选用双曲线模型，文献[18]选用B 样条曲线模型，文献[17] [19]中选用Catmull-Rom 曲线模型。算法步骤基本归纳为：[18]    1.选取R 0I 区域，在该区域内对图像进行边缘检测；
[19]
2.将检测得到的边缘与车道线模型进行对比，筛选符合要求的结果
过程如下：专为二值图像；3.迭代拟合法对车道线进行拟合。
文献£〇^中主要选用Hough 变换思想，用峰值检测法检测车道的特征点，并采用预设模板对特征点进行聚类、拟合、过滤得到 最终车H
文献[21]对现有Hough 直线检测法进行改进，提出用分层自适应Hough 变换方法
基于Hough 直线检测算法下的车道线检测方法，文献p 〇j 提出方法适用于夜晚情况下;1. 选取r 〇i 区域进行预处理后，使用设定模板对图像模糊，连接虚线为直线，^2. Hough 变换检测车道线可能存在范围，在范围内到强度最强的位置标记为车道线征顏寝麝競于隸醤慶盧幸產&會营S 几I 1 聽S r S 嘗与翁麗
主要提出基于视频中3D 车道线的检测方法[23]，整理思路均为将视频每帧车道线检测结果拼接起来，最终形成3D 车道线，过程
如下：
[23]
1.角逆透视变换、RANSAC 拟合、卡尔曼滤波等方法确定车道线可能存在范围；
2. 同文献[2〇1中步骤2类似，对车道线位置校准；
3. 将每帧结果拼接形成3D 车道线
[24]
间梯算I f U f e 将RGB 彩空酸化为其他彩空间’并在该彩空间下进行颜和边缘
提出用灰度值、纹理特征的特征向量检测车道线的方法。根据不同道路结构，分别对城市、乡村道路的车道线进行检测，过 程如下：
r9fil
1.通过纹理特征的均值对道路类型进行判别一城市还是乡村。
[26]
2.对于不同道路结构，选用24种纹理特征采用K 分类的方法对车道线、道路进行分类。
3. 根据纹理均勻性对分类结果进行聚类。4, 图像后处理操作，生成道路或者车道线
冏测■马尔科规，对检测的多条直线进行聚类，算法通过粒子雛和马尔科夫観爵相关胤瓶据曲线连续倾麵
网集
离线标定结果綱雛酿进行麗变换，并細雛采
基于直方图分割和决策树分类的车道线检测方法' 具体过程如下：1. 通过直方图分割，到车道线可能存在区域；
2. 提取各分割结果平均角度、图心、位置、最大宽度等特征，并采用决策树进行分类；
3. 根据2中结果，对相机车道线参数进行估计最终提取车道线基于扩展边缘连接法的车道线识别算法w ，具体步骤如下：[30]
1.选取R 0I 区域，对R 0I 区域内图像进行预处理操作；
2. 扩展边缘连接法，对边缘检测结果进行连接、搜晕、聚类、检査;
3. 图像后处理操作，通过最小二乘法对聚类结果拟备
参考文献p i] P2]
P3] [34] P5]
P6] P7] P8]
P9] [40]
[41]
[42]
[43]
[44]
[45]
[46]
[47]
[48]
[49]
[50]
[51]
[52]
观察serve
表4车辆、标志牌识别算法研究现状
方法
基于车辆边缘与对称特征的检测和跟踪方法_2]，过程如下：
1. 用Sobel算子分别检测横、纵向边缘，检测边缘根据尺寸等先验知识进行过滤，得到候选边缘；
2. 候选边缘分别经分直线型过滤环节得到最终的边缘，并用最小内切矩形赫，内切娜长宽比同样受先验知识约束。
文献[32]在此基础上增加了边缘对称性判别并使用回溯法在下帧中寻局部最大值，得到其在图像中的位置后，根据相机标定
参数预测车辆距离
基于特征模板的匹配方法识别车獅331351和标志牌1341。文献[33]设计了一种双层平行结构进行车辆检测，过程如下：
1. 对图像进行角点检测，并根据离线设计的类似矩形的相邻两边缘的4种角点模板进行配准；
2. 将配准后的角点生成矩形框，并判别其准确性；文献[35]则是通过计算R0I图像与设定模板之间的相似程度进行配准。
3. 根据重叠面积将所有符合要求的矩形框进行融合
基于某些特征的车辆检测方法，如线性特征[36]、模板差异特征[37或小波特征P8]，过程如下:
1. 在2D平面上检测水平、竖直边缘，并对图像进行分割；
2. 在设定方向上使用非极大值设定理论；
3. 根据连接关系将其进行分组
基于分类器的车辆识别算法。文献[39]利用Gabor特征和SVM算法实现车辆的检测，文献[40]采用边缘特征和Adaboost算法实现 的车辆i只别
基于光流法的车辆识别算法[41]。首先通过图像预处理与采样点采样；其次将动态图像稳定化，并采用光流法对目标进行预测;
最终，统计光流变化，根据统计结果提取出车辆
基于分类器和特征的标志牌识别算法。这些算法均是通过先验知识在图像中搜索标志牌候选区域，然后在候选区域内通过分类 器对标志牌进行检测，确定该区域内是否为标志牌。最后，利用机器学习算法实现标志牌上内容的识别，过程如下：
1. 通过先验知识如颜信息、轮廓信息[42H45]在图像中搜索标志牌候选区域；
2. 候选区域内标志牌的检测。文献[42]根据不同形状的标志牌，选用不同检测方法。文献[43]利用颜、形状、直方图特性对 候选区域标志牌进行检测。文献[44]用Adaboost级联分类器对候选区域内的标志牌进行检测。文献[45]用遗传算法对候选区域的标 志牌进行确认。文献[46]选用同遗传算法类似的算法进行检测。
3. 应用机器学习算法如神经网络[46]、SVM分类器实现标志牌识别
采用Adaboost分类器对标志牌进行检测，并提出基于颜、形状、运动的标志牌检测、跟踪和识别算法。算法采用滑框扫描法 搜索候选区域，无需任何先验知识寻过程如下：
1. 文献[47]Adab〇〇st分类器和Haar小波特征对图形中的标志牌进行检测。文献[48]釆用Adaboost分类器和随机森林分类器实现标 志牌的检测D
2. 采用贝叶斯分类器对标志牌进棚别
采用卷积神经网络方法对手动选取的标志牌进行识别胃01。并且利用该方法与SVM、LDA、SRC、NN等方法进行比较，得出卷 积神经网络识别效果最佳
针对特定标志牌开发的识别算法。文献[51]针对红边框圆形标志牌而设计基于5参数椭圆分割的检测算法D椭圆分割算法类 似于遗传算法，借鉴了个体、种、交叉等相应函数。文献[52]采用扩展Hough变换算法检测禁止和指示类的圆形标志牌以及广
告类三角形标志牌几种特定标志牌，并用神经网络算法进行识别
O b se rve观察
表5多目标跟踪算法研究现状
参考
文献所有汽车标志
方法
基于概率密度假设模型下的多目标跟踪算法乂该算法体系是将跟踪目标看成有限随机集(随机变量的集合，集合中随机变量个 ^数也是随机变量)。根据有限集的统计理论和随机集的统计性质，考虑不同维状态空间之间的比较，可视为贝叶斯算法的扩展。
…算法整体可分为预测、更新、重采样三个环节。
^文献[53]为经典粒子滤波算法，其粒子的初始化分布和相似度判别在文献[54]中得以优化，而多目标跟踪算法性能可通过文献L」[55]进行判别
基于数据关联的多目标跟踪算法。数据关联釆用后验结果，将多目标跟踪问题转化为全局最优问题。为
提升关联性能，通常引 ^人轨迹约束[57]或建立更完善的后验模型[58]〇此外，部分文献在关联方式上加以改进，如采用双重拉格朗日函数[59]、目标特征及其组成分繩61等。
全局最优S题也可转化为随机图最短路问题62]，以解决多目标长时间跟踪问题。算法利用马尔科夫随机模型预测下一时刻目标 =的最佳位置，并根据引力模型，生成连接图，用最短路问题解决方法进行目标跟踪
最新兴起的跟踪、学习、检测算法[63][54]在单目标长时间跟踪上具有较好效果。该框架在传统的检测算法基础上，增加在线学习 2环节。算法由跟踪器、检测器、学习器三部分组成D其中跟踪器利用正逆向光流法进行目标跟踪、预测；检测器采用方差分类L J器、随机蕨分类器、最近邻分类器对待观测目标进行分类；学习器可估计检测器误差，并更新相应的检测器参数
将学习算法融入传统数据关联算法中，以此得到更好的性能。文献[65]釆用Boost分类器离线训练连接模型，在线过程中用连接
[65]模型进行数据关联。文献[66]离线训练得到连接模型后，应用了RankBoost理论计算目标连接时产生的损失。
[66] 分层网络结构[67]的提出使得跟踪网络结构得以优化，并将多目标跟踪问题转化为分层网络问题。整体思路为设计分层网络结
[67]构，底层网络为帧间连接层，用于快速连接帧间对应目标；中层网络为轨迹连接层，用于连接长轨迹；高层为循环评判层，判别
连接是否满足终止条件
(责任编辑一丁)
参考文献
[lJClarke T A, Fryer J G. The Development of Camera Calibration Methods and Models[J]. Photogram- metric Record, 1998,16(91)：51—66.
[2] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis
& Machine Intelligence，2000, 22(11): 1 330-1 334.
[3] Tsai R Y. A Versatile Camera Calibration Tech­nique for High—Accuracy 3D Machine Vision Metrolo­
gy Using O ff- the- Shelf TV Cameras and Lenses[J].
IEEE Journal on Robotics & Automation，1987，3⑷：
323-344.
[4] Scaramuzza D, Martinelli A, Siegwart R. A Flexible Technique for Accurate Omnidirectional Cam­
era Calibration and Structure from Motion[C]. IEEE In­ternational Conference on Computer Vision Systems. IEEE, 2006:45.
[5] Shah S, Aggarwal J K. Intrinsic parameter cali­bration procedure for a (high—distortion) fish-eye lens camera with distortion model and accuracy estimation* [J]. Pattern Recognition, 1996, 29(11):1 775-1 788.
[6] Meng X, Hu Z. A new easy camera calibration technique based on circular points[J]. Pattern Recogni­
tion, 2003,36(5)：1155-1164.
[7] CipolIa R, Drummond T, Robertson D P. Cam­era Calibration from Vanishing Points in Image of Ar­chitectural Scenes[C]. British Machine Vision Confer-
ence 1999, BMVC 1999, Nottingham, 13-16 Septem­
ber. DBLP, 1999.
[8] Hartley R I. Self- calibration from multiple views with a rotating camerafC]. European Conference
on Computer Vision. 1994. 471-478.
[9] Luong Q T, Faugeras 0 D. Self-Calibration of a Moving Camera from Point Correspondences and Fun­