10.16638/jki.1671-7988.2020.23.012
控制技术
文翊1，孙国正1，李泽彬1，吴相昆2
（1.东风汽车集团股份有限公司技术中心，湖北武汉430000；2.东风汽车股份有限公司，湖北武汉430000）
摘要：论文深入研究NV夜视系统及AEBS自主紧急制动系统图像处理的特征原理，从基本的成像原理出发，利用夜视系统对夜间目标物识别能力，嵌套入AEBS自主制动系统。通过不同的融合方法对AEBS系统图像和NV 夜视系统图像融合，并采用基本行人检测算法，使行人识别和展现能力增强，并使得AEBS系统夜间识别能力大幅提升。同时，为更多传感器数据融合及优势互补开拓了新的研究方向。
关键词：夜视系统；AEBS系统；图像融合；行人识别
中图分类号：U471.1 文献标识码：A 文章编号：1671-7988(2020)23-33-07
Night control technology of AEBS system based on NV night vision system fusion
Wen Yi1, Sun Guozheng1, Li Zebin1, Wu Xiangkun2
（1.Dongfeng Motor Corporation Technology Center, Hubei Wuhan 430000;
2.Dongfeng Automobile Co. Ltd., Hubei Wuhan 430000）
Abstract:This thesis fully studies the image processing characteristics of the NV night vision system and the AEBS autonomous emergency automatic system. Starting from the basic imaging principles, the night vision system is used to recognize night-time targets. When certain conditions are met, the nesting such as The AEBS autonomous emergency automatic system uses two different fusion methods to fuse the AEBS system image and the NV night vision system image, and the basic pedestrian detection algorithm, which greatly improves the night recognition ability of the AEBS system, and has made a breakthrough in pedestrian recognition and display capabilities. It will open up the direction for data fusion and complementary advantages of more sensors in the future.
Keywords: Night vision system; AEBS system; Image fusion; Pedestrian recognition
CLC NO.: U471.1 Document Code: A Article ID: 1671-7988(2020)23-33-07
1 序言
众所周知，ADAS（智能驾驶辅助系统）是当今汽车科技的重要的发展方向，而作为ADAS系统标志性功能的AEBS（自主紧急制动）系统已成为重要的汽车安全功能，装备率与日俱增且技术日趋成熟；NV（夜视）系统作为ADAS 家族的最新加入的高级功能，在夜间可以有效感知周围环境，特别是无灯光的道路上，极大提升驾驶员视野提升驾驶安全性。
但由于AEBS环境感知传感器，是基于可见光原理，对于白天彩详实对比丰富的正常环境有良好的表现，而对于夜间，特别是人眼也无法探知的行人的表现退坡明显，严重影响到夜间的功能安全；由于NV夜视红外传感器，是基于
作者简介：文翊，ADAS系统工程师，就职于东风汽车集团股份有
限公司技术中心，从事ADAS系统的开发工作。
33
汽车实用技术
34 红外成像原理，对于夜间红外物体有很好的探知能力，但其成像能力极差，若直接使用提供给驾驶员展示诟病无穷，且无法描绘行人轮廓限制了其功能。
本文实现了AEBS 系统和NV 夜视系统的系统融合，通过AEBS 系统图像和NV 夜视系统图像强度及对比度的双重滤波提取，有效使用行人边沿，角端特征点探测等方法，对双重滤波后的两幅图像再次融合，使得AEBS 系统的夜间识别识别探测能力提升，并辅助完成行人的标注及展现，本文中将AEBS 系统和NV 夜视系统的系统融合的AEBS 控制技术简称为AEBS-Night （下文同）。
2 基于图像融合及可信度比较的AEBS-Night 方案设计
2.1 现有AEBS 系统的工作原理
AEBS 系统是ADAS 领域目前比较成熟的系统：对于基于环境感知传感器+毫米波雷达方案来说其工作“感知-数据融合—运算—执行”各自反馈条件形成闭环过程，当环境感知传感器识别到目标为车或人后，采用毫米波雷达实时地测出与目标障碍物的距离，结合车辆状态参数信息，利用算法实时计算安全时距TTC ，根据毫米波雷达测出的实际TTC 比较，当实际距离小于安全时距时，系统会主动向ESC 发送对应减速度请求，车辆执行对应的减速度，自主紧急制动从而避免碰撞。故AEBS 系统有效动作的先决条件为系统识别到目标为车或人。
图1 本公司现有AEBS 系统原理图
2.2 夜视图像及环境图像融合技术介绍
NV 夜视摄像头针对行人或事物温差及红外辐射量级不同进行图像提取成像，是夜间可视化探测的唯一选择，复杂道路环境对其影响小且不受树枝扬尘等半遮蔽型障碍物干扰
[1]
。美中不足的是，夜视图像行人细节及轮廓羽化失真、低
对比度、因此其AEBS 系统无法识别出夜视图像中的行人目标（如图2）。
AEBS 环境感知传感器与NV 夜视摄像头功能原理差异较大，和人眼识别类似，影响其性能的重要因素在于目标反射光的接收，所以AEBS 环境感知传感器在波长齐全颜丰富的可见光下的信息反馈良好，通过成熟的技术和算法识别出行人和车辆；美中不足的是，夜间或有遮挡等人眼无法识
别的目标时无能为力。
图2 单纯夜视系统成像效果
图3 单独AEBS 及单纯夜视功能实测图
（单独AEBS 无法识别夜间行人能力及单纯夜视功能无行人框选功能）
图4 图像融合流程图
针对AEBS 环境感知传感器的局限性，本文提出了结合
NV 传感器和AEBS 传感器图像的提取和再融合方法，其基本原理：首先，先对两种传感器图像进行亮度、度与饱和度3个维度的预处理；然后，对两种传感器图像对比度进行RGB 格式的颜对比度分量提取；再通过降低可视图像的度和饱和度，利用夜视摄像头亮度高度可信的优势，利用夜视图像的亮度参数换AEBS 环境感知摄像头的亮度参数；最后，参数的拼接融合后新的亮度参数单元和AEBS 环境感知摄像头的度和饱和度进行逆变换。通过这样变化换后可以得到夜间用于AEBS 系统的处理后的图像。通过AEBS 环境感知传感器进行亮度、度与饱和度变换，将度与饱和度及RGB 提取的颜分量赋予夜视系统，使用基于对比度的重构逆变换[2]，最终完成可视夜视图像的融合。简单流程图如图3。本文方法保留了AEBS 环境感知传感器中的大量信息为下一步夜视系统中行人轮廓的展示提醒提供了必要的先决条件。
文翊 等：基于NV 夜视系统融合的AEBS 系统夜间控制技术
35
2.3 AEBS 功能AEBS-Night 夜视增强系统方案设计
本文研究的AEBS 系统AEBS-Night 夜视增强系统，其工作的核心是在于控制其中加入两个运算模式：（1）图像融合模块，（2）条件判断单元。对于图像融合模块来说其工作为两种方案的图像融合过程，对双重滤波后的两幅图像再次融合，本文中主要对AEBS 系统可引用的图像进行介绍。当环境光照足够暗满足AEBS-Night 夜视增强系统模块激活要求后，域控制器采用可信度比较法模块对AEBS-Night 融合图像与ADAS 环境感知传感器原始图像进行可信度比选。若AEBS-Night 融合图像在比选中可信度胜出，AEBS 系统会依
据AEBS-Night 融合图像产生夜视目标OBJ （NV ），OBJ （NV ）会正常参与AEBS 系统正常识别的目标物比选，OBJ （NV ）自身参数满足成为主目标的条件后，结合车辆状态参数信息，夜视目标计算安全时距TTC ，正常请求对应减速度。
图5 AEBS-Night 夜视增强系统原理图
3 AEBS-Night 夜视增强系图像融合及夜间行人特征识别算法的研究
在AEBS-Night 夜视增强系统图像融合和处理的过程中必须要尽最大可能保留融合图像中的目标轮廓或主要特征，因为AEBS 系统是通过识别轮廓及主要特征点判别目标。
小波分解技术是成熟的图像融合处理方法，通过高频分量（对比度、度）的滤波优化处理，保留了几
乎的全部图像信息，这些信息很好地呈现了细节、纹理信息视觉特征信息。出于保留目标轮廓或主要特征的目的，本文采用的对比度、度的滤波方式为标准差法比对标准差后取其大致，其适用范围为选定的融合范围，灰度值越分散，纹理等信息包含越丰富时，通过本文方法加以保留。
本文研究的算法流程主要包括：（1）图像的拼合重构；（2）标准差法的图像融合变换；（3）统一光强的图像处理。以下分别加以说明。 3.1 图像的拼合及重构
NV 夜视摄像头和AEBS 环境感知传感器是两个功能原理完全不同的传感器，其视角必然不同，其布置位置差异也较大。所以第一步为图像的校准和拼合。
在车辆设计和标定的过程中，分别选取环境一致的像素区域作为配准区域，由于两传感器安装角度必然不同，明暗及扭曲的变形是必然的，为了消除图像融合的痕迹，本文中快速融合算法采用加权平均值法，其基本原理公式可表示为
[3]
：假设P NV 、P AEB 为NV 夜视图像和AEBS 环境感知图像的
像素点，融合图像P A 可表示为：
（1）
其中式中d 1、d 2代表了其重叠区域宽度代表值，令该式
中满足d 1+d 2=1，
故d 1、d 2很好地代表了NV 夜视图像和AEBS 环境感知图像中单个像素点的权重值。在图像拼接融合的过程中，对于远端视觉不可见场景，d 1渐变至0，d 2渐变至1，通过加权平均值法完成了NV 夜视图像和AEBS 环境感知图像在选定配准区域内平滑过渡问题。
本方法实现了在95%以上的选定的重叠区域内夜视图像和AEBS 环境感知图像的平滑过渡问题，不会出现带状锯齿，且速度快稳定性高。
3.2 基于标准差法的图像融合变换
环境感知图像融合的步骤是首先对重叠区域分别选取一个目标像素组块，由于无可视化要求，可在工程上不进行严格的图像拼接，而后统筹比较目标像素组块标准差的值，选
取大的值的分量作为最后分量的值。
重叠区域的标准差的表达式可归纳如下：
（2）
重叠区域选取目标像素组块的m ×n 区域，K 表示为该像素点不同方向高频部分的分量，L 表示在内部信息层的高频分量，
代表了图像像素点（i ，j ）上高频分量的灰度
值，代表了图像上所有像素点上高频分量的灰度平均值[4]。
故该标准差法的图像变换图像融合方案的表达式如下：
（3）
通过本变化融合图像中图像能够清晰地看到目视可见的，车辆、道路和地面等背景信息；但是图像被烟雾，遮挡了目标信息部分，或夜间肉眼不可见的夜视系统识别部分虽然很容易观察到肉眼不可见的行人目标或者发热源，但其纹理不是理想的清晰，轮廓呈现毛刺状态，影响下一步主要工作。
3.3 基于统一光强的图像变换处理
通过研究分析，本文基本确认出现图像仍然无法供AEBS 系统直接引用的原因为夜视图像独有的识别部分在融合过程中其光强值明显高于其度及对比度，类似强光下的炫目效果。故图像的下一步处理需要将选取夜视图像的特有
汽车实用技术
36 部分光强因子等比例缩放后作为融合图
像的光强因子，对于对及对比度数值部分的梯度取最大值的方法，将梯度值最大时的系数作为最终的高频。
本文充分利用夜视系统优势进行如下运算， 将图像由标准RGB 图像模型正变换为光波空间模型：
（4） 其中S NV 为光饱和度反馈组成光颜纯度；H NV 为像素点颜组成的光波的主波长，直观反馈光的频谱即度；I NV 为像素点组成的光强。
通过本组公式得到夜视系统图像的各像素点的亮度、度与饱和度信号，其中光强信号I NV 保留并存储。
将提取到的光强信号I NV 按最大梯度法处理后，进行融合图像的逆变换，该梯度值最大法后的图像变换表达式如下：
（5） 通过本方法提出得到的图像如下，AEBS 系统可以判断出图中行人，满足自身动的基本条件。
4 基于AEBS-Night 夜视增强系统的AEBS 功能方案设计
AEBS-Night 夜视增强系统的AEBS 功能方案从四个维度：（1）功能激活条件；（2）AEBS-Night 融合图像与原始图像可信度比较；（3）目标特征识别；（4）目标优先级比选。若四个维度满足要求，则AEBS 系统会依据AEBS-Night 融合图像产生夜视目标OBJ （NV ）计算安全时距TTC ，正常请求对应减速度。
图6 单纯夜视系统成像效果
4.1 功能激活条件及图像可信度比选
本文中关于AEBS 系统夜间性能提升的设计原理是，在光照条件达到300流明以下，NV 系统及AEBS 系统无故障，车速大于5km/h 时，AEBS-Night 夜视增强系统自动开启运行。
该模式下，AEBS 系统可引用本文引用融合图像，和AEBS 原始图像根据AEBS 系统信息语义的输出可信度值；夜视摄像头与摄像头计算距离的综合比较， 雷达判别距离、
环境感知摄像头判别距离、夜视融合图像距离判别信息3个
维度标定后的曲线MAP 如：图7；在不同情况下选取不同可信距离作为AEBS 功能执行的图像输入；本MAP 图可根据装配在车辆上红外摄像头及环境感知摄像头实际情况标定。
图7 可信度比较MAP 图
经过本方法的判定和比选，夜间及对树荫、临时障碍物
等半透过性遮挡目标时，AEBS-Night 夜视增强系统95%以上
会胜出。
4.2 行人目标特征识别算法
系统识别融合图像的首要工作时，将图像中所有元素进行真值判定，当目标确定为人且可信度较高时，系统将产生OBJ （NV ）目标。本节中出于融合图像简明的特点简化目标特征条件检测。
在生产的融合图像中，判定目标物头部、身体和腿部均能检测出来的条件为：
（6）
当人体任意部位X 被探测出来后，我们记做C x ，我们随之生产与其匹配的主动探测区，人体3个部位的主动探测区为Z x ，用函数f (Z x )表示对各个主动探测部位的响应值，x ∈{T,S,F }。故主动检测和原始检测结果会产生容差值，我们可以表示如下：
（7）
Y x 是关于探测的x 部位可信度的基本阀值，所以我们可以得到初步判决结果：
（8）
使得C x x ∈{0,1}，x ∈{T,S,F}，那么我们可以定义C x =1
则该部位可信，C x =0则该部位不可信。
当C x =1时，我们将定义精确判别函数h （x ）：
文翊 等：基于NV 夜视系统融合的AEBS 系统夜间控制技术
37
（9）
若h （x ）×g （Z x ）>t ，我们将目标物定义为人，AEBS 系统可按正常方式产生OBJ （NV ）对应的位置，速度，距离等信息。
4.3 行人目标区域的选定算法
向梯度直方图（HOG ）是行人识别的重要算法，其广泛应用于各种基于可见呈现系统的目标识别，利用梯度直方算法进行统计和计算图像固定像素组区的向梯度直方图。
梯度直方算法在夜视系统中的应用是这样的：融合图像优化统一后的像素组块区域256*128 像素矩阵。首先，人为地将像素组块区域256*128 像素矩阵划分成小固定识别区，工程中固定识别区的大小通常设置为 8*8A 像素矩阵，显而易见像素矩阵被割裂成 32×16=512 个特征识别区。然后按照AEBS 系统成熟的目标提取算法每个特征识别区中的各像素点矩阵的轮廓线或称为梯度的直方图边界提取出来。最后要做到是将提取出来的梯度的直方图进行转变形成信息语义。最终为了进一步提高夜视系统的性能，提高识别率，将8*8A 像素矩阵相邻的4个像素矩阵划分为命名为8*8B 像素矩阵。
如果行人或物体运动每个8*8A 像素矩阵的位移而形成8*8B 像素矩阵，8*8B 像素矩阵每次位移一个8*8A
像素矩阵的宽度，对于工程展示图中256*128的图像每次位移只是可以得到465个8*8B 像素矩阵。
图5是描述8*8B 像素矩阵与8*8A 像素矩阵的关系：
图8 像素矩阵关系图
东风汽车公司技术中心用梯度方向的加权投影法对8*8A 像素矩阵内任何像素点处理，就得到了该8*8A 像素矩阵的梯度方向直方图[5]，如图6所示。最后将单个的8*8A 像素矩阵组合相邻的、有关的8*8B 像素矩阵组。通过这样处理，在一个B 像素矩阵组内四个A 像素矩阵的特征向量就关联起来了，最后得到该B 像素矩阵组的梯度运动特征。统筹计算之后的B 像素矩阵组特征描述就可以输出为行人特征的信息语义，最后判定为行人B 像素矩阵组范围就是夜视系统的行人提升框的范围。当然B 像素矩阵组的识别和处理对于AEBS 系统是成熟且复杂的过程，本文不另行描述。
夜视系统梯度直方图特征算法实现用下面流程图如图9表示：
图9 直方图特征算法流程图
首先将本文第一章处理后的夜视融合图像P c 的图片流注意提取，在行人识别功能中图片的颜信息无任何作用，且图片本身黑白化，原始的颜信息仅供满足视觉要求，压缩图片还具备进一步改善图片局部暗点和炫光效果的作用。工程上应用中我们的做法是图片转化为光亮度图具体公式为：
（10）
其中x 的取值可根据车辆传感器的实际情况标定，本文中处理按
处理，接下来计算梯度方向值：
（11）
在本文使用的公式中P i （i ，j ）、 P j （i ，j ）、G （i ，j ）分别表示输入图片像素矩阵的水平梯度、垂直梯度、像素点所在位置。单个的像素点（i ，j ）的幅度值和梯度方向的计算公式我们采用：
（12）
再次计算每个8*8A 像素矩阵的梯度直方分布，之后进行加权投影处理。
最后将8*8A 像素矩阵合成大的8*8B 像素矩阵，得到区域内梯度直方分布。用来排除光照强度的变化的干扰。并统一输出为行人特征的信息语义。最后HMI 将符合条件所有8*8B 像素矩阵显示出来，我们就还可以被框选的行人目标。 4.4 AEBS-Night 夜视增强系统的AEBS 功能的执行
最后的执行和正常AEBS 系统基本一致，夜视目标成为主目标后，采用时间距离TTC 计算，具体逻辑为：
当前TTC 小于安全时距，且驾驶员没有对应操作，则使得采用制动距离d br ，令D 为两车间距，d 0为安全距离（取d 0 = 3 m ），则有：
（13）
本文TTC 算法中： 分为TTC=1.4 s ，TTC=0.8s 两个工作区间，也可称为正常制动区间和危险制动区间。当计算实
发布评论