摄像头是ADAS核⼼传感器，相⽐毫⽶波雷达和激光雷达，最⼤优势在于识别（物体是车还是⼈、标志牌是什么颜⾊）。汽车⾏业价格敏感，摄像头硬件成本相对低廉，因为近⼏年计算机视觉发展迅速，从摄像头⾓度切⼊ADAS感知的创业公司数量也⾮常可观。
这些创业公司可以统称为视觉⽅案提供商。他们掌握核⼼的视觉传感器算法，向下游客户提供车载摄像头模组，芯⽚以及软件算法在内的整套⽅案。前装模式下，视觉⽅案提供商扮演⼆级供应商的⾓⾊，与Tier1配合为OEM定义产品。后装模式⾥，除了提供整套设备，也存在售卖算法的模式。
本⽂中将对视觉ADAS功能、硬件需求、评价标准等进⾏解析，在内容中将参考Mobileye，对国内11家创业公司的产品进⾏详细解读。
视觉ADAS供应链体系
⼀、视觉ADAS可实现功能
因为安全记录、停车等需要，摄像头在车上的⼤量应⽤是⾏车记录仪、倒车影像等辅助功能。⼀般通过安装在车⾝各个位置的⼴⾓摄像头采集影像，经过标定和算法处理，⽣成影像或拼接形成视图补充驾驶员视觉盲区，不⽤涉及整车控制，因此更加注重视频处理，技术已经成熟并逐渐普及。
⽬前在⾏车辅助功能中，摄像头可⽤来单独实现很多功能，并且按照⾃动驾驶发展规律逐渐演进。
这些功能更加强调对输⼊图像的处理，从拍摄的视频流中提取有效⽬标运动信息做进⼀步分析，给出预警信息或直接调动控制机构。相⽐视频输出类功能，强调⾼速下的实时性，这部分技术正处在发展上升期。
⼆、视觉ADAS软硬需求
视觉系ADAS产品由软硬件组成，主要包括摄像头模组、核⼼算法芯⽚以及软件算法。硬件⽅⾯考虑⾏车环境（震动、⾼低温等），⼤前提是要符合车规级要求。
（⼀）车载ADAS摄像头模组
车载ADAS摄像头模组需要定制化开发。为了适应车辆全天候全天时的需要，⼀般要满⾜在明暗反差
过⼤的场合（进出隧道），很好平衡图像中过亮或太暗部分（宽动态）；对光线⽐较灵敏（⾼感光），避免给芯⽚带来太⼤压⼒（并不是⼀昧追逐⾼像素）。
摄像头模组是基础。好⽐⼀张底⼦不错的照⽚才有修饰美化的余地，保证拍摄图像够⽤的基础上，算法才能更好地发挥效⼒。
另外在参数上，ADAS与⾏车记录仪对摄像头的需求不同。⽤于⾏车记录仪的摄像头需要看清车头周围尽可能多的环境信息（后视镜位置看向两个前轮，⽔平视⾓约要110度）。ADAS的摄像头更讲究为⾏车时预留更多判断时间，需要看得更远。类似相机镜头⼴⾓和长焦，两项参数不能兼得，ADAS在硬件选取时只能取其平衡。
驾驶员c1（⼆）核⼼算法芯⽚
图像相关算法对计算资源有很⾼的要求，因此芯⽚性能讲究。如果在算法上叠加深度学习来帮助识别率提升，对硬件性能的要求只增不减，主要考虑的性能指标是运算速度、功耗、以及成本。
⽬前⽤于ADAS摄像头的芯⽚多数被国外垄断，主要供应商有瑞萨电⼦（Renesas Electronics）、意法半导体（ST）、飞思卡尔（Free scale）、亚德诺（ADI）、德州仪器（TI）、恩智浦（NXP）、富⼠通（Fujitsu）、赛灵思（Xilinx）、英伟达（NVIDIA）等，提供包括ARM、DSP、ASIC、MCU、SOC、FPGA、GPU等芯⽚⽅案 。
ARM、DSP、ASIC、MCU、SOC是软件编程的嵌⼊式⽅案，FPGA因为对硬件直接编程，和嵌⼊式相⽐处理速度更快。
GPU和FPGA并⾏处理能⼒强。图⽚这样的⽂本，尤其在使⽤深度学习算法需要多个像素点同时计算，FPGA和GPU会更有优势。两类芯⽚的设计思路类似，都是为了处理⼤量简单重复的运算。GPU的性能更强但耗能也更⾼，FPGA因为编程和优化都是直接在硬件层⾯进⾏的，能耗会低很多。
因此在平衡算法和处理速度，尤其是⽤于前装并且算法稳定时，FPGA被视为⼀个热门⽅案。FPGA是个好选择。但同时，FPGA对技术要求也很⾼。原因在于计算机视觉算法是C语⾔，FPGA硬件语⾔是verilog，两种语⾔不同，将算法移植到FPGA的⼈既要有软件背景，⼜要有硬件背景。在⼈才最贵的今天，是笔不⼩的成本。
现阶段可⽤于传统计算机视觉算法的车规级芯⽚有多种选择，但是适⽤于传统算法叠加深度学习算法的低功耗⾼性能芯⽚，还没有真正出现。
（三）算法
ADAS视觉算法的源头是计算机视觉。
传统的计算机视觉识别物体⼤致可以分为图像输⼊、预处理、特征提取、特征分类、匹配、完成识别
⼏个步骤。
有两处尤其依赖专业经验：第⼀是特征提取。在识别障碍时可⽤特征很多，特征设计尤其关键。判断前⽅障碍物是不是车，参考特征可能是车尾灯，也可能车辆底盘投在地⾯的阴影等。第⼆是预处理和后处理，预处理包括对输⼊图像噪声的平滑、对⽐度的增强和边缘检测等。后处理是指对分类识别结果候选进⾏再处理。
科研中的计算机视觉算法模型运⽤到实际环境中，不⼀定就能表现得很好。因为科研得出的算法会增加诸如天⽓、道路复杂情况在内的条件限制，现实世界⾥除了关注复杂环境的算法表现，还要考虑各种环境下算法的鲁棒性（是否稳定）。
算法上⽐较重要的⼀个变化是深度学习的渗透。
深度学习让计算机模拟⼈类思考的神经⽹络，可以⾃⼰学习判断。通过直接向计算机输⼊标定后的原始数据，⽐如挑选⼀堆异形车图⽚，然后丢给计算机让它⾃⼰学习什么是⼀辆车。这样就可以免去计算视觉特征提取、预处理等步骤，感知过程可以简化为输⼊图⽚-输出结果两步。
业内⽐较⼀致的观点认为，在感知⽅⾯，深度学习将会弯道超车传统视觉算法。⽬前深度学习的算法模型已经开源，⽽且算法种类不多，因此有降低门槛⼤量优秀结果涌现的可能。但是受限于没有合适的车端平台，离产品化还有⼀段距离。
业内对深度学习在ADAS应⽤的看法都⽐较客观冷静。不少观点认为深度学习算法是⼀个⿊箱（Blackbox）算法，类似⼈感性决策的过程，可以很快输出⼀个结果，很难在发⽣事故后反查原因，因此在使⽤深度学习时要加⼊理性决策部分，并且分区块设计。
也有观点认为传统计算机视觉算法⽐我们想象的“智能”，在不断寻车辆图⽚共性和差异的过程中，也能检测出⼀些异形车辆。并且在叠加深度学习算法后，传统计算机视觉算法也可以帮助减少深度学习神经⽹络的层数，简化算法。
可以肯定的是，⽆论哪种算法，数据都是⽤来训练测试的宝贵资源，⽽且不是单纯的越多越好，⽽是越有效越好（符合实际⽤车环境并保证多样化）。
（四）不同摄像头平台
单⽬和双⽬
视觉⽅案要完成ADAS任务，⼀般要实现测距（本车与前⽅障碍物距离）和识别（障碍物是什么）两项⼯作。按照车载摄像头模组的不同，⽬前主流ADAS摄像头可以分为单⽬和双⽬两种技术路线。
单⽬摄像头的算法思路是先识别后测距：⾸先通过图像匹配进⾏识别，然后根据图像⼤⼩和⾼度进⼀步估算障碍与本车时间。在识别和估算阶段，都需要和建⽴的样本数据库进⾏⽐较。想要识别各种车，
就要建⽴车型数据库，想要识别麋⿅，就要建⽴麋⿅数据库。
双⽬摄像头的算法思路是先测距后识别：⾸先利⽤视差直接测量物体与车的距离，原理和⼈眼类似。两只眼睛看同⼀个物体时，会存在视差，也就是分别闭上左右眼睛看物体时，会发现感官上的位移。这种位移⼤⼩可以进⼀步测量出⽬标物体的远近。然后在识别阶段，双⽬仍然要利⽤单⽬⼀样的特征提取和深度学习等算法，进⼀步识别障碍物到底是什么。
因为视差越远越⼩的缘故，业内有观点认为，双⽬在20⽶内有明显的测距优势，在20⽶距离外，视差减⼩测距存在难度，可以⽤⾼像素摄像头和更优秀的算法来提升测距性能，该处是难点也是核⼼竞争⼒。
双⽬镜头间距和测距是两个此消彼长的参数，镜头间距越⼩，检测距离越近，镜头间距越⼤，检测距离越远。考虑车内美观和ADAS需要，⼩尺⼨远距离双⽬产品更受欢迎。
因为增加了⼀个镜头，带来更多运算量，整个摄像头模组的性能要求和成本都更⾼了。⽽且在两者都有的标定⼯作上，双⽬要⽐单⽬更加复杂。
⽽且选择双⽬⽅案切⼊市场并不能完全绕开单⽬⽅案的难点，在第⼆个阶段，你依然要需要⼀个庞⼤的数据库，依然需要打磨算法。
汽车评测视频
单双⽬⽐较
多摄像头⽅案
除了单双⽬之外，还有多摄像头组成的平台。有的⽅案中选⽤长焦和⼴⾓摄像头于ADAS主摄像头配合，兼顾周围环境与远处物体探测。⽐如Mobileye⽅案，在下⽂会介绍。
也有在环视平台上叠加ADAS功能的情况。例如对于环视做车道偏离预警（LDW），与单⽬实现该功能⽐有⼀定优势。在⼤⾬天⽓或者前⽅强光源的情况下，前视摄像头有可能看不清车道线，环视摄像头斜向下看车道线且可以提供多个⾓度，基本不会受到地⾯积⽔反光的影响，功能可以⽐前视做得更稳定。但同时也要考虑侧向⽆车灯照射时，摄像头的夜间表现。
这⼏种⽅案在技术路线上和单⽬没有本质差别，更多是基于不同平台，发挥不同类型摄像头模组的优势分配任务，或者提供更多视⾓来解决⼀些复杂环境中单⽬势单⼒薄的情况。
三、视觉系ADAS产品测试与评价
⽬前没有统⼀的ADAS测试评价标准。常规的测试⼀般分为两个阶段：
在算法库测试，库中包含了各类⼯况下收集的⾏车场景视频，通过⽤库中的场景视频跑分，测试算法
识别率。⽬前测试库由各家⾃采⾃测，因为采集所⽤的传感器不同，不同企业间的测试单看结果没有可⽐性。
由德国卡尔斯鲁厄理⼯学院和芝加哥丰⽥技术研究所联合创办的KITTI，是国际上权威性较⾼的机动车辅助驾驶应⽤技术评估的算法评测平台。⽬前有部分公司在该⽹站测试算法，结果公开可查。不同公司跑分的⽤时存在差异，因此在看结果排名时，也不能忽略多个参数⽐较。
在实车测试阶段，将产品DEMO安装到车上测试，根据漏报、误报判断算法可靠性，对发现问题进⾏反复调试。现阶段⾼质量的实车测试⼤多由主机⼚和零部件供应商掌握，准确测量需要借助激光雷达等设备，在相互校验的过程中完成测量，成本略⾼，检测周期也略长。
业内⼈⼠表⽰，测试产品能⼒70-90分的区分更多使⽤算法库测试，区别90-95分，甚⾄是95-98分时，必须进⾏实车定量测试。⽽⽬前ADAS各家拉开差距正是在于将90分提⾼到99分。想做到这点必须要通过⼤量的实际道路测试打底，并对算法的准确性和鲁棒性不断打磨。因此从某种程度上来说，经历过主机⼚Tier1严苛训练的⽅案提供商，产品可靠性更⾼，前装经验会成为下⼀次合作洽谈的资本。
⽬前企业对外宣称衡量算法能⼒的“识别率”指标不能说完全没有参考价值。前提是谈论所谓的识别率要把产品放在不同复杂场景下评估，并且单独讲识别率指标没有意义，需要把它和其他指标放在⼀起考量。产品必须确保在不同的路况、天⽓、车型，对不同姿态的⼈、不同的车道线，算法都能稳定⼯作
（鲁棒性）。
四、⼀哥Mobileye
讲视觉系ADAS不得不提⼀家以⾊列公司Mobileye，1999年成⽴，2007年推出⾸款产品，2014年8⽉1号在纽交所上市。公司主要从事汽车⼯业的计算机视觉算法和驾驶辅助系统芯⽚技术的研究。Mobileye的产品覆盖了全球50个国家，据官⽅资料显⽰，截⾄2015年
底，Mobileye在全球有1000万的装载量，到2016年底会有273款车的SOP的合同。
（⼀）公司定位
前装业务中，这家以⾊列公司作为⼆级零部件供应商向Tier1提供产品，涉及车辆应⽤的部分会和主机⼚配合。通过⼀级供应商提供集成、个性化开发以及测试⼯作。后装采取代理销售的⽅式。
（⼆）产品功能
⽬前可⽤安装在后视镜后的单颗彩⾊摄像头（⾮标准RGB Sensor）对⽬标物进⾏检测、识别和分类，同时还会对物体的运动轨迹进⾏跟踪、分析，并分析道路状况。实现功能包括车道检测、车辆检测、⾏⼈检测、动物检测、交通标志识别、红绿灯识别、灯光控制。
理想one回应“停产降价”：属实
Mobileye具有⾃主研发设计的芯⽚EyeQ系列，由意法半导体公司⽣产供应。现在已经量产的芯⽚型号有EyeQ1、Eye Q2、
EyeQ3，EyeQ4正在开发进⾏中，预计将于2018年推出，其⼯程样本有望在2016年第四季度发布。2016年5⽉Mobileye宣布将与意法联⼿合作研发下⼀代将⽤于⾃动驾驶的EyeQ5芯⽚，2018年开始提供⼯程样品。
⽬前Mobileye后装产品的终端售价约为8000元左右，前装价格会低很多。
Mobileye不同芯⽚可以实现不同的ADAS功能。其中EYEQ2⽀持产品级的AEB，EyeQ3是⽀持full AEB。EyeQ2等级只能做到ASIL-
B，EyeQ3可以做到ASIL-D等级。（ASIL，Automotive Safety Integration Level，汽车安全完整性等级，是ISO26262中的系统危害风险等级指标，从A到D产品的安全等级依次增加。）
Mobileye EyeQ1-EyeQ3产品地图
2007年在沃尔沃上实现了摄像头+雷达集成防撞预警的功能。（EyeQ1）
2008年在宝马上实现了单摄像头车道偏离预警、交通标志识别等功能。（EyeQ1）
2010年在沃尔沃上做到了⾏⼈防撞检测，⾸个⾏⼈检测AEB。（EyeQ2）
在宝马、通⽤、欧宝上，⽤单摄像头实现了拥堵情况下车道内跟车⾏驶。（EyeQ2）
2013年在宝马和尼桑上⽤⼀个摄像头实现AEB功能（部分） 。（EyeQ2）别克凯越2013款
利⽤EYEQ2实现了宝马量产的基于摄像头的⾃适应巡航（ACC）和交通拥堵辅助（Traffic Jam Assistant）。（EyeQ2）
2015年在奥迪上实现了基于摄像头的全AEB功能。（EyeQ3）
在特斯拉车型上实现了交通等检测、利⽤深度神经⽹路判断⾃由空间和路径规划。（EyeQ3）
在Mobileye的过往演讲和介绍中，提到了⼀些前车识别算法上的细节：
从前车识别来看，⼀般单⽬有两种算法来进⾏预估，⼀种是THW（Time Headway），⼀种是TTC（Time to Collision）。THW计算公式中时间t=两车距离/本车速度；TTC公式中时间t'=辆车距离/两车相对速度。TTC对于计算要求也更⾼⼀些，因为除了本车速度之外，还要实时测算出前车的速度，计算⽅法是通过两车之间的距离变化以及本⾝速度进⾏估算。
Mobileye将两种算法⽤在不同场景。
前向碰撞检测（FCW）⽅⾯采⽤TTC，尤其是⾼速⾏驶前车急刹的情况，可以很明显发现，TTC的算法更符合实际情况。Mobileye检测规划路径中会遇到的前车后（不仅仅是识别本车道车辆）⽤图像的变化快慢来做TTC，以此判断碰撞可能，采取⼲预、控制、刹车操控。
⽬前 Mobileye 的后装产品 TTC时间设定为 2.7 秒，官⽅给出的FCW精准度⼤约在99.99%。前装⽅⾯，对离本车最近的本车道车辆来计算TTC做AEB，AEB⼀般在1秒上下的区间⾥起作⽤。
Mobileye采⽤THW算法，未来加上控制，可以做到⽤单个摄像头做ACC或低速Traffic Jam Assistant。⽬前市⾯上这两个功能都是毫⽶波雷达来实现，如果⽤摄像头完成，可以融合视觉检测到的车道、静⽌障碍物、车辆横向运动、限速牌，汇总多个信息来做ACC决策，控制会更精准。
Mobileye后装产品THW时间设置可以从2.5秒到0.1秒。
（三）⾃动驾驶规划
关于⾃动驾驶如何实现，Mobileye⼀共会涉及三个⽅⾯：感知、地图与驾驶策略。
感知⽅⾯，根据Mobileye的规划，单⽤摄像头⽅案实现⾃动驾驶功能且不考虑冗余的情况下，需要8个摄像头来满⾜360度全⽅位感知的需要。2015年Mobileye发布了三路摄像头做ADAS功能。三个摄像头分⼯不同：中间的主摄像头可以实现⼤部分功能，检测距离可以达到150⽶，检测到之后跟踪距离可以
达到250⽶。另有⼀枚⼩⾓度摄像头探测更远距离，⼀枚⼴⾓镜头探测更宽视野。
算法上主要实现四项内容，并且对深度学习的要求逐项增加：
1.识别道路上移动/固定的物体；
2.识别出道路分割线以及其他交通标识；
3.在道路上没有分割线或者分割线不清晰的情况下，分辨出哪些是可以通过的空间，并勾勒出可通过空间与其他部分的隔离线；
4.可驾驶的路径：在识别出可通过空间之后，到⼀条可供于驾驶的路线。
地图⽅⾯是对感知系统的冗余设计，包含Roadbook、⾼精度定位、可⾏驶路径三个⽅⾯。Mobileye打算⽤具备深度学习功能的图像识别体系制作⾼精度地图。数据采集上会与车企合作，⽤众包⽅式获得和更新数据。
驾驶策略⽅⾯，车企可以通过提供的SDK访问Mobileye预先训练的⽹络应⽤层，让控制单元很快计算并得出可通⾏的路径⽅案。车企在其提供的算法基础之上，再以⾃⾝在车辆控制上的经验进⾏优化或者再次开发。这⼀功能会基于Eye实现。
Mobileye计划2016年推出半⾃动汽车技术，准备研发的系统可以让汽车阅读交通、街道各类信号，从⽽与其它车辆保持适当车距。⼤众、宝马和通⽤购买了2018 年⽣产的系统，该系统可使车辆在⾼速上⾃动⾏驶。2016年5⽉Mobileye与两家保密车企已经达成协议，将在2019年为后者提供全⾃动驾驶汽车系统。
在2016年7⽉，Mobileye和宝马、英特尔共同开发⽆⼈驾驶汽车技术。2016年8⽉宣布和德尔福汽车公司共同开发SAE（美国汽车⼯程协会）4/5级⾃动驾驶全套解决⽅案。
（四）团队介绍
创始⼈之⼀是耶路撒冷希伯来⼤学计算机科学系教授阿姆农·沙书亚（Amnon Shashua）。Mobileye在美国、德国、⽇本、西班⽛也有分部或研究部门，现在公司员⼯约600多⼈，研发⼈员占⽐为70%-80%。⽬前在中国仅有⾯向后装的销售团队，办公地点位于上海，没有研发⼈员。
（五）投融资
2006年5⽉，获得1500美⾦投资。
2007年10⽉，⾼盛投资的1亿美⾦投资。
xrv东风本田镇江汽车
2013年7⽉Mobileye向5家独⽴的⾦融投资⽅出售4亿美元股份。投资⽅包括⿊⽯、Fidelity、Wellinton、恩特租车公司以及中国投资公司赛领国际投资基⾦。这笔交易对Mobileye的除现⾦外估值达到15亿美元。
发布评论