10.16638/jki.1671-7988.2020.02.050
张世琦,吴春海
汽车记录仪(中汽研汽车检验中心(天津)有限公司,天津300300)
摘要:文章阐述了进行汽车用摄像头系统图像质量评价的必要性和意义,介绍了现有汽车用摄像头系统图像质量评价的国内评价体系与UN-R46/ISO 16505评价体系,指出了两体系间的异同点与优缺点,并提出了建立基于新时代下汽车用摄像头系统产品特性的图像评价体系的展望与建议。
关键词:汽车用摄像头系统;图像质量评价
中图分类号:U463 文献标识码:A 文章编号:1671-7988(2020)02-153-04
A Survey of Image Quality Evaluation System for Automotive Camera Systems
Zhang Shiqi, Wu Chunhai
(CATARC Automotive Test Center (Tianjin) Co., Ltd., Tianjin 300300 )
Abstract:This paper expounds the necessity and significance of image quality evaluation for automotive camera system, introduces the domestic evaluation system of image quality evaluation of existing automotive camera system and UN-R46/ ISO 16505 evaluation system, and points out the similarities and differences between the two systems. The advantages and disadvantages of each system. The paper puts forward the prospects and suggestions for establishing an image evaluation system based on the characteristics of automotive camera systems in the new era.
Keywords: Automotive camera system; Image quality evaluation
CLC NO.: U463 Document Code: A Article ID: 1671-7988(2020)02-153-04
前言
通话曾经是手机的唯一功能,就如同汽车曾经一度只能用于驾驶。社会在发展,时代在改变,带有摄像头和各种传感器的手机现在是无处不在的“数字”助理,而汽车即将成为多传感器、多摄像头、多模式的自主人工智能(AI)平台。推动这种发展和改变的因素有很多,其中,提升汽车的安全性与高效性的需求是最为显著的驱动因素。
世界卫生组织最近指出,由于道路交通事故,全世界每年有超过125万人死亡,另有2000万至5000万人遭受非致命伤害,其中许多人因受伤而致残。这对个人及其家庭和整个国家造成了相当大的经济损失,相当于大多数国家国内生产总值(GDP)的约3%[1]。因此具备驾驶辅助系统的汽车越来越受到市场的青睐,人们越来越需求于行车安全、方便舒适的汽车。
汽车行驶过程作为一个闭环系统,驾驶员作为系统“控制器”,系统输入为单次驾驶行为的驾驶目的,系统输出为汽车实时状态[2]。为稳定“控制器”的控制,避免有限甚至是错误的主观判断,汽车安全驾驶辅助系统可协助系统“控制器”进行决策,提升交通通行质量,维护交通参与者的合法权益。基于视觉图像的感知技术是汽车安全驾驶辅助系统的关键技术之一,因为视觉图像最为贴合驾驶员置于车内感知车外环境的传统目视方法,而正是汽车用摄像头系统为车辆和驾驶员提供了直观的视觉图像。
与人控车辆相比,先进的图像传感技术可以实现更紧密
作者简介:张世琦(1990-),男,硕士,助理工程师,就职于中汽
研汽车检验中心(天津)有限公司,主要从事研究汽车零部件测试
(汽车用摄像头图像性能测试)。
153
汽车实用技术
154 的车辆间行驶距离,减少不必要的车道宽度,为更宽的人行道、自行车道和其他设施腾出空间。此外,向自动驾驶汽车的过渡为新的机动性商业模式带来了巨大的机遇[3]。汽车即服务(CaaS )也可为
全球大部分人口提供汽车移动服务[4],因为这种模式不再需要驾驶执照,是一种经济实惠的交通解决方案。
虽然汽车用摄像头系统对于车辆感知其周围环境至关重要,但迄今为止,在汽车工业中还没有一致的方法来测量其图像质量。
1 意义
汽车用摄像头类系统,包含但不限于摄像监视系统(CMS )、车载视频行驶记录系统、汽车流媒体后视镜、汽车用红外探测装置、全景视觉泊车辅助系统、倒车影像、智能前照灯、高级辅助驾驶系统(ADAS )、驾驶员监测系统等。诸多汽车用摄像头类系统,均以视觉图像的采集分析传递为核心功能,有效提升汽车出行的效率和质量。
汽车用摄像头的图像质量至关重要,以车载视频行驶记录系统(行车记录仪)为例,作为机动车行驶状态的视频记录仪,以安全为核心目标,可为公安交警处理道路交通事故提供直观的视频数据,可为机动车驾驶员及乘客提供可追溯的真实场景记录,因此其图像性能,作为功能核心,必须经过考核验证,从而使行车记录仪记录的视频具备对实景有足够流畅清晰的识别与反应,为机动车、机动车驾驶员及其他交通参与者的安全提供技术保障。
对某一类产品进行统一的检测验证,是保证产品符合政府、主机厂以及人民众实际需求的必然要求。长久以来,汽车用摄像头类系统并无专一的测试标准与要求,更多采用其他领域内的图像测试规程,无法满足车规级的评价需要,因此,未来有必要在分析现有测试标准与要求的基础上,提出并建立一系列连贯关键的量化图像性能指标的评价标准,来满足汽车用摄像头系统多样且独特的成像条件:复杂多变的天气气候与光照条件。
2 现有评价体系
目前国内可采用的汽车用摄像头系统图像质量评价可分为两个体系:一是以QC/T 《汽车用摄像头》为基础和参照的中国国家强制性标准、国家推荐性标准体系;二是以UN-R46/ISO 16505为核心的摄像监视系统(CMS )安全法规。
QC/T 《汽车用摄像头》与UN-R46/ISO 16505虽面向的摄像头产品不同,但其大体的测试布置相类似,且此种测试布置也是摄像头类产品进行图像测试的基础布置,如图1所示。
根据测试项目不同,选取不同的图卡,将摄像头光轴调
整至与图卡法线重合,在既定光照条件和满足图卡体现在终端图像中像素数量要求的情况下进行拍摄,根据摄像头产品种类的不同,选择不同的图像来源进行图像数值量化的处理分析。例如,在CMS 的图
像评价中,用于处理分析的图像来源于CMS 的监视器,在行车记录仪的图像评价中,用于处理分析的图像来源于行车记录仪的存储器,而在视觉泊车辅助系统的图像评价中,用于处理分析的图像来源于产品内部的视频流。当用于处理分析的图像来源于产品监视器的情况下,产品监视器同样存在既定光照条件。
图1  基础测试布置
两个评价体系均从产品性能与安全角度出发对汽车用摄像头类系统进行图像评价,但国内的体系更多地考量了产品在设计中的量化性能指标,而UN-R46/ISO 16505评价体系则更多地考量了产品在实际使用环境下的安全功效。 2.1 国内评价体系
QC/T 《汽车用摄像头》作为国内首个将影视技术导入汽车行业的标准,自2015年年初开始调研,已报批,预计2019年年底发布。QC/T 《汽车用摄像头》是现行正在制定的流媒体后视镜、全景视觉泊车辅助系统、高级辅助驾驶系统(ADAS )、车载视频行驶记录系统等标准的零部件级的支持性标准和引用标准,也可作为第三方认证机构对整车认证的参考性标准和检测依据,也可作为准入管理的引用标准。
此体系的图像考核项如下:帧率、有效像素、视场角、MTF 值、SNR 、动态范围、最高照度、最低照度、光轴中心精度、自动增益、白平衡、启动时间、系统延时、彩还原、炫光、鬼像,包含了摄像头系统的彩性能、分辨率性能、时间特性以及对亮暗不同光照环境下的图像处理性能。此评价体系将汽
车用摄像头系统的图像质量逐项细化至底层指标,以这些指标来限制汽车用摄像头系统最终输出的图像质量。诸多指标的要求往往来源于以往测试的经验结果,参考了照相摄像行业、安防及消费类电子行业的相关系统要求,理论推算较少。
帧率,摄像头系统单位时间内成像的次数;有效像素,表征摄像头系统的像素分布与数量;视场角,是摄像头系统的水平垂直视野范围;MTF 值,表征摄像头系统在正常光照条件下的分辨率质量;SNR ,信噪比,表征摄像头系统成像的噪点大小相关,是视频信号的大小与噪声信号(无用信号)
张世琦 等:汽车用摄像头系统图像质量评价体系综述
155
大小的比例;动态范围,表征摄像头系统影像层次的分明程度,是摄像设备能够记录的从最黑到最白之间的最大影调范围;最高照度,可试验摄像头系统在午间大照度下的成像能力;最低照度,可试验夜间低照度条件下分辨率质量;光轴中心精度,是摄像头系统的镜头光学校核;自动增益,要求摄像头系统在亮暗、暗亮切换条件下响应时间不高于1s ,使车辆在进出隧道涵洞时保持连续的记录能力;白平衡,描述了摄像头系统对于不同光源照明条件下的被拍摄物体所得到的影像还原应具有与人眼在相同照明条件下观察被拍摄物体相符合的彩再现的能力;启动时间和系统延时,保证了摄像头系统开机和正常运行下的及时反应;彩还原,即摄像头系统真实重现被摄物体颜的能力,基于CIE 1976度空间;炫光,由于视野中不适宜的亮度分布,在空间或时间上存在极端的亮度对比,以致引起视觉不舒适和降低物体可见度的视觉条件,表征了摄像头系统在极端的亮光照射下的亮度处理能力,炫光模拟了日常成像条件中最为严苛的一种;鬼像,代表了摄像头系统在视界中存在高亮度点光源引发的附加像的情况下的亮度处理能力。
MTF 值、SNR 、动态范围、最高照度、最低照度、自动增益、白平衡、彩还原均采用如图1所示的基础测试布置,取得不同光照条件(光源类型与照度)下拍摄不同图卡的图像进行度、亮度以及调制传递函数方面的数字解像;而帧率、启动时间作为摄像头系统的时间特性,多数采用秒拍法试验;有效像素、视场角、光轴中心精度属于摄像头系统的硬件参数验证,分别由图像播放器、多轴云台测定;炫光
、鬼像源于实际使用时的恶劣光学环境,需要特定的太阳光模拟器与鬼像点光源来模拟光照条件,再对拍摄图像进行亮度解像。
图2  车载视频行驶记录系统白平衡实测图
国内评价体系,为兼顾多种汽车用摄像头类系统,评价项较多而杂,覆盖了目前世界上主流的图像评价项目,但未能针对不同汽车用摄像头类系统的实际使用场景进行足够的模拟测试,也未能根据当前汽车用摄像头类系统的产品设计而提出全新的测试评价方法。 2.2 UN-R46/ISO 16505评价体系
自UN-R46更新至ECE R46/Rve.1/Add.45/rev6/2016版本,世界上首次在安全法规领域大体明确了摄像监视系统(CMS )作为间接视野的最低图像质量要求,规定了CMS
替代传统光学视镜的情况下也必须提供最低限度的行驶安全以及人体工程学的性能要求。
摄像监视系统(CMS ),是目前汽车工业为减轻传统间接视野装置的风阻、风噪、重量,改变目前传统间接视野装置固定反射率、存在视野盲区、直接视野需穿过车窗的劣势,而推出的汽车用摄像头系统,基本由摄像单元与监视器单元构成,可针对不同天气道路环境具备多种工作模式,提升恶劣道路环境下的视野能力。
此体系下的图像考核项如下:亮度调整、监视器各向同性、亮度和对比度复现、灰度等级复现、彩还
原、伪影、锐度和视野深度、几何变形、闪变、时间特性、放大倍数和分辨率。此体系重在考核CMS 在恶劣光照条件下的图像工作能力。
亮度调整,是CMS 监视器基础的亮暗调整功能校验;监视器各向同性,以亮度为基准考核了CMS 监视器的人机功能能效;亮度和对比度复现,对日间、黄昏、夜间、阳光直射四种状态下的监视器图像辨识度实施亮度解像;灰度等级复现,属于判别CMS 对不同光密度值灰度块的真实反映能力,也在一定程度上代表了动态范围的能力;彩还原,即CMS 真实重现被摄物体颜的能力;伪影点光源重现了CMS 在夜间对于后方250m 远处的车辆近光灯的识别能力,伪影漏光、伪影光晕和镜头耀光辨别了CMS 对于视野内存在高亮点光源的情况下的伪影处理能力和保留足够正常视界的能力;锐度,要求计算CMS 成像中心区域和70%视场区域的MTF50值,表征了CMS 图像的锐化清晰程度;视野深度(分辨率),要求CMS 在4m 、6m 和10m 的距离上有足够的清晰度;几何变形,表征了CMS 作为汽车用摄像头系统的终端图像畸变程度;闪变,要求CMS 监视器的闪烁对于人眼有足够的“亲和”程度;时间特性,保证了CMS 在开机和正常运行下的及时反应;放大倍数,使CMS 确认具备与传统间接视野装置同样的实景缩放能力。
此体系下近乎所有的测试均采用如图1所示的基础测试布置,取得不同光照条件下拍摄不同图卡的图像进行度、
光度以及调制传递函数方面的数字解像,与国内评价体系最大的不同在于UN-R46/ISO 16505评价体系针对监视器提出了特别的光照条件和专攻的测试项目,例如监视器各向同性。
图3  CMS 灰阶实测图1
汽车实用技术
156UN-R46/ISO 16505评价体系着重于CMS替代传统间接
视野装置的安全性能,以人眼观看CMS监视器为基准,以CMS监视器显示亮度为基础测试来源,可以保证CMS至少具备所替代的传统间接视野装置的图像性能,并在夜间、强光照射下具备更优的成像能力。但,UN-R46/ISO 16505评价体系规避了对CMS的产品设计参数进行底层评价(例如明确的信噪比与动态范围测试),也未包含详尽的道路灯光环境与天气环境进行模拟测试。
图4 CMS灰阶实测图2
3 思考与建议
现行的汽车用摄像头图像质量评价体系最大的问题在于未能及时跟随汽车用摄像头系统的产品进步。汽车用摄像头系统产品已为适应复杂多变的天气气候、光照条件和道路环境进行了设计改善,但相应的测试手段和方法还停留在传统影像行业的水平,未能匹配汽车用摄像头系统大广角、高动态范围的图像特点,且未能完全重现当前交通道路的光学环境。
为适应当今和未来交通道路的光学环境、为驾驶员和车辆提供信息足够且令人满意的图像,应着力发展相应的测试方法与自动化动态测试设备解决以下问题:
(1)LED闪烁问题。交通道路的光学环境充斥着越来越多的各LED光源,LED光源由不同频率和占空比的信号驱动,可以每秒脉冲数百次,且具有变化的占空比,这类光源对于人眼是恒定发光的,但是如若汽车用摄像头系统没有比LED光源“开启时段”更短的成像时间,也就是当汽车用摄像头系统成像定位与LED光源不匹配时,会输出给驾驶员或车辆错误的灯光信息,例如观察到后方车辆闪烁的前照灯或无法辨别交通信号灯的状态,导致严重的安全隐患。
(2)图像愉悦度与图像实用性的平衡。例如,为了获得对实景细节有足够反馈的夜间图像,会不得不
降低图像的信噪比,出现明显噪点,而人眼对于噪点非常敏感,人眼更倾向于观看高对比度、高信噪比的图像。需要定义甚至是重新提出足够平衡的参数来同时满足图像实用性与人眼观看图像愉悦度的矛盾要求。
(3)机器视觉成像评估。高级辅助驾驶系统(ADAS)所用的机器视觉目前不存在专用的系统级别图像评价方法,如若ADAS图像链出现失误,将导致严重的道路交通安全事故。
其他例如全景视觉泊车辅助系统的全景图像评价、高动态范围与彩稳定性、SNR稳定性、运动模糊度关联下的评价,也都需要进一步的研究发展。
实际上,IEEE P2020工作组自2016年开始汽车用摄像头系统图像质量专用评价体系的研究与制定,致力于定义汽车用摄像头系统图像质量的专有指标、对目前诸多种类的汽车用摄像头系统提出特有的测试方法。国内外对汽车用摄像头系统图像质量的评价必将逐步达成一个统一的、可以被广泛接受的解决方案。
参考文献
[1] World Health Organization (WHO), Road Traffic Injuries, 19
February 2018, www.who.int/mediacentre/ factsheets/fs358/ en/.
[2] 廖传锦,秦小虎,黄席樾,以人为中心的汽车主动安全技术综述[J].
计算机仿真.2004,21(9):152-156.
[3] Gao, P., Kaas H., Mohr D., and Wee D., Disruptive trends that will
transform the auto industry, McKinsey&Company (Automotive and Assembly), Report, January 2016.kinsey/ indus -tries/ automotive-and-assembly/ our-insights/ disruptive-trends-that -will-transform-the-auto-industry.
[4] Business Wire,“Google Leads Technology, Testing, Software
Development for Autonomous Driving; Additional Strategies Also under Way for Implementation, IHS Says,”November 12, 2015.
www.businesswire/news/home/20151112005451/en/goo gle-leads-technology-testing- software-development-autonomous.