作者简介：丁震（1980-），男，高级工程师，现任职于国家能源集团煤炭运输部，主要从事煤矿机电技术、煤矿智能化、露天卡车无人驾驶研究及管理工作。Tel：189****8513，E-mail：***********************
1引言
露天煤矿运输一般需要全天候作业，这就需要每台车配备多名司机。而矿区的环境复杂尤其是夜间环境更为恶劣，这对司机提出了更高要求。目前，露天煤矿运输中司机普遍存在用工难，而司机的各项支出不仅增加了开采成本，而且影响开采效率，尤其是冬季用煤高峰期，影响尤其重大，所以无人驾驶技术在露天煤矿卡车上的应用具有重要的现实意义。矿卡无人驾驶关键技术主要由3部分组成：环境感知、规划决策、控制执行。其中，环境感知是整个煤矿卡车无人驾驶系统的关键，决定了上层系统是否有完整、准确的数据作为决策依据；规划决策系统是根据环境感知数据、道路及地图数据、车辆状态数据，实时判断如何规划决策车辆；控制执行主要接收规划决策系统的指令，完成车辆实际控制，同时反馈车辆的实时状态信息。环境感知，由多种传感器来采集环境信息，其中多采用雷达+视觉的方式，为了采集较为丰富的环境信息供决策系统分析，激光雷达需要多线激光，这就导致传感器的成本居高不下，而激光只是点位信息，要想在此基础上实现目标识别、语义分割比较困难，这
就需要借助视觉传感器，而视觉和雷达的信息融合存
在处理效率低下、配准精度不高、目标识别困难等问题。本文针对激光雷达存在的问题，研究了4D 光场技术在煤矿卡车无人驾驶系统中的应用，在提高系统的可靠性、实时性、安全性以及降低成本方面具有重要的意义。
2
煤矿卡车无人驾驶系统
2.1
国内外自动驾驶发展现状近年来，国内外自动驾驶研究呈上升态势。国外，Google 于2009年4月开启了Waymo 自动驾驶研究计划，随后Uber 、特斯拉、福特、博世、梅赛德斯奔驰、丰田等也相继进军自动驾驶领域［1］。国内，2018年1月百度展示了Apollp 的全线产品，加快了自动驾驶的进程。国内政策方面，北京已出台智能汽车与智慧交通应用示范五年行动计划，将在2020年底完成北京经济技术开发区范围内所有主干道路改造，分阶段部署1000辆全自动驾驶汽车的应用示范。江苏于2016年11月与工信部、公安部签订三方合作协议，共建国家智能交通综合测试基地，还有其他各大城市，也在逐步积极推进自动驾驶测试
4D 光场在露天煤矿卡车无人驾驶系统中的应用研究
丁震1孟峰1何适2
（1.国家能源集团煤炭运输部，北京，100011；2.航天重型工程装备有限公司，湖北
武汉，430000）
摘要：露天煤矿的封闭性、作业的高强度特性、煤矿卡车的低速特性为无人驾驶技术提供了很好
的应用场合，采用无人驾驶技术可以提高露天煤矿的运输效率和运输安全性，减少运输成本。感知数据作为无人驾驶系统决策的依据，由数量众多的传感器提供，其中激光雷达是重要的传感器之一，但激光雷达存在成本高、获取数据点数少、无颜信息、目标识别困难等特点，在一定程度上制约了无人驾驶系统在煤矿卡车上的应用。针对激光雷达存在的问题，本文研究了4D 光场技术在煤矿卡车无人驾驶系统中的应用，通过单一的工业相机实时获取三维点云和二维颜信息，极大地丰富了无人驾驶系统获取的有效数据，有效降低后续系统处理的复杂性，在提高系统的可靠性、实时性、安全性以及降低成本方面具有重要意义。
吉利远景论坛关键词：4D 光场露天煤矿卡车无人驾驶三维点云目标识别中图分类号：TD57文献标识码：A 文章编号：2096-7691（2020）12-018-05
第12期丁震等：4D光场在露天煤矿卡车无人驾驶系统中的应用研究
工作［2］。当前国内外各大互联网企业纷纷推出自己
的自动驾驶软件平台，使无人驾驶技术成为研究开
发的热点。
2.2无人驾驶在煤矿卡车上的应用状况
煤矿卡车的特定运行环境为无人驾驶技术的应
用提供了很好的落地场所，同时无人驾驶技术又为
煤矿运输带来较大的经济效益。无人驾驶在煤矿卡
车上的应用要求主要体现有安全性和经济效益。没
有安全作为前提，一切就无从谈起，对于机器自动操
作的安全性，人们对它出错的容忍度几乎为零，如果
一门新技术出现安全事故，往往会使得新技术的应
用大打折扣，所以说安全是无人驾驶在煤矿卡车上
应用的前提，没有该前提，无人驾驶技术不可能推广
应用。如果没有经济效益，无人驾驶技术的应用和推
广就没有内在的动力，所以无人驾驶系统的软硬件
成本成为该技术在无人煤矿运输中应用的关键
所在。
当前，国内外有很多企业在矿用无人驾驶技术上
做了大量研究，并已经有一些成果。在国外，卡特彼勒
是最早进入无人驾驶的企业，目前在澳大利亚所罗门
铁矿已有运营的无人驾驶卡车60余台；2012年俄罗
斯的别拉斯完成了无人驾驶煤矿卡车样车的生产；
2008年，小松自动矿用自卸车在智利和澳大利亚开
始运营。在国内，有航天重工、湘电重装、徐工矿机等
都在进行无人驾驶煤矿卡车的改装和实验，目前国内
煤矿卡车无人驾驶大多停留在实验阶段，还没有批量
安装和长时间运营。
2.3无人驾驶技术系统构成
无人驾驶系统组成如图1所示，由环境感知、规
划决策和控制执行组成。
决策
启动停
车
绕
障
卸
载
…
…
感知控制
类型速
度
距
离
大
车优保小
…
…
…
…
油
门
油
门
刹
车
方
向
盘
举
升
图1无人驾驶系统组成
环境感知指无人驾驶系统从环境收集信息并提取相关数据的能力。它相当于人的眼睛、耳朵等感官系统，是无人驾驶的基础，没有信息的获取，无人驾驶车辆就像一个瞎子、聋子，后续的规划决策也就无从谈起。环境感知主要由雷达、视觉传感器、GPS、惯导等传感器组成，GPS和惯导解决静态位置的问题，即在静态地图中定位车辆所处的位置。
规划决策以人工智能为基础，通过对无人驾驶煤矿卡车进行路径规划、行为规划和动作规划，进而做出正确的决策。它相当于人的大脑，对环境感知的信息进行融合、分析和决策指挥。在无人驾驶系统中，目前人工智能以卷积神经网络应用最为流行，大多以开源的框架为基础，各大平台厂商利用海量的数据对模型进行训练。
控制执行通过将规划好的动作实现并实时反馈，完成既定任务，包括对油门、制动、转向、举升、灯光等通过软件进行控制和精准执行。它相当于人的四肢，接受大脑的指令，做出相应的动作。控制执行一般由车辆生产厂商将线控车辆开放相应的通讯接口实现，或者在后期对车辆进行线控改装，达到无人驾驶车辆的控制精度。
无人驾驶系统对于环境的实时动态信息的获取主要依靠激光雷达和视觉传感器来采集，对于煤矿运输卡车，车身高大，需要获取前方更远距离的人、车、障碍物等信息，这就要求需要多线激光雷达，而对于
乐驰1.0128线激光雷达，获取100m距离的人的信息、激光点落在人身上基本也就两三个点，从激光雷达的点云信息无法对其识别。而依赖视觉识别，激光定位，需要视觉传感器与激光雷达进行标定和信息融合，存在一定误差，导致远距离小目标的识别很困难，给煤矿卡车无人驾驶系统安全性带来一定隐患。而高线数的激光雷达价格昂贵，极大地提高了整个无人驾驶系统的成本，因此研究新型传感器在无人驾驶系统中应用具有迫切的现实需求。
3光场技术
3.1光场简介
光场相机是在图像传感器前面加入微透镜阵列，它能够获取更多的信息，可以在拍照之后，改变焦点。光场相机拍摄的照片包含了解算3D场景的信息，使得光场相机实际上是1台3D相机。图2是光场相机拍摄的图片，包含了经过编码的4D光场解析，后期通过算法可以解析为4D光线信息，同时也可以解析生成3D点云信息和2D数据。
·
·19
第12
期
图2光场图片
随着科技的进步，人们获取光线数据的方法发生了多次革命性变化，现如今摄影已成为人们日常生活
中常用的记录方式。然而传统相机采集到的图像，只是三维空间中光线在二维传感器上的辐射积分结果，遗失了光线的角度信息。另外，传统相机的成像只有一个焦点，且只在该点所对应焦平面上的物体，其成像才清晰。当拍摄多个目标物时，无法保证所有目标都能够清晰成像，而在高速运动场景拍摄目标时，也易发生各种聚焦问题导致图像模糊。
为了突破传统相机的这种局限性，许多学者展开了光场成像的研究。在理论方面，Gershun A.［11］于1939年首先提出光场的概念，Adelson E.H.和Ber⁃gen J.R.［12］在1991年提出全光函数，
可以描述光场内的任意一条光线，Levoy M.和Hanraham P.［13］和哈佛大学的Gortler S.J.等人［14］分别对全光函数进行简化，提出了不同的双平面模型。在光场采集设备的研究中，Ives 早在1902年就提出了针孔阵列成像技术来获取光场信息［15］，Levoy M.和Hanraham P.［13］则在1996年提出，可以用安装到可移动支架上的相机，配合运动结构采集光场，Wilburn B.［16］等人则在2005年的实现了相机阵列，Ren Ng.［6］等人于2005年设计的手持式光场相机，成为后续主要的光场采集设备和研究方向。
Ren Ng.［6］等人设计的光场相机通过在主镜头及传感器之间安装了一个微透镜阵列，其中的每个微透镜将接收到的经过主透镜的光线，传送到感光器件。通过算法解析每条光线，就能够获得包含光线位置和方向信息的原始光场数据，完成对光线视角和空间方向的采集。通过计算，可以从光场原始数据中恢复任意视角、任意对焦位置的二维平面图像。
光场相机在20世纪发展比较缓慢，而在最近10年内才有了较快发展，其原因在于，初始光场理论过于复杂，无法实现工程化，后续理论的光场相机所依赖的光学器件其制造工艺难度较大，而传感器的尺寸和价格也随着视觉设备的发展而趋于合理。光场相机
记录的光线的位置和方向，需要通过矢量计算来解
析，其解算也需要一定的算力支持，而这种算力在GPU 得到发展之后才具备小型化和广泛应用的可能。
近十几年，随着制造工艺的不断提升，大尺寸、高分辨率Sensor 的出现，GPU 技术、计算机视觉技术和人工智能技术的快速发展等，使得光场技术得以快速发展。
此外，由于具备了完整的光线信息，使得光场相机具备像人眼一样，对已经采集完的数据，进行物理光线级的处理能力，能对光场数据进行重聚焦，解决图像失焦等问题，如图3所示；从光场数据中合成2D 数据，去除遮挡物，得到多视角大景深的图像；以及利用光场数据重建三维数据，合成拍摄目标的立体图［17］。同时，4D 光场数据在显著性检验［18-19］、目标检测［20］、光场定位等方面，都能发挥重要的作用，如图3
所示。
宝马520报价图3光场相机进行重聚焦处理的效果
3.2
4D 光场相机的特点
光场相机具有以下特点：（1）一次曝光获取所有信息，光场相机在一次曝光时间之内（毫秒级），跟传统相机的拍摄方式相同，可以获取光线的强度、位置、方向信息。这些信息里面蕴含了传统相机的二维信息，同时也可以解算出三维信息。传统信息获取手段，二维和三维用不同的传感器来获取，
后续需要信息的配准和叠加运算，无法获得高速运动物体的二维、三维信息。而光场相机在这方面具有天然的优势，使得快速运动的目标捕捉更加容易。由于二维、三维数据同源，使得后期处理变得简单高效，无需更多的运算便可获得高精度的二维、三维匹配的数据。
（2）数据点数多，光场相机一次采集可以很轻松地获取到1000×1000的点云数据，而激光雷达受限于机械旋转结构很难做到1000线，角度分辨率也无法和光场相机比拟。大量的数据在提高信息采集分辨率的同时，使其识别的距离增加，识别远处小目标成为可能。
这样上层的决策系统有更多的信息可以利用，
·
·20
第12期极大地提高整体系统的可靠性和安全性。
（3）价格优势，光场相机主要由光学传感器和计算单元组成。随着大尺寸Sensor 的发展，高级光学镜头的价格与激光雷达相比具有很大的优势，而且随着并行计算技术的发展，显卡的运算能力越来越强，价格将越来越低。4光场相机在煤矿卡车无人驾驶中的应用
研究
光场相机的特点使得它在煤矿卡车无人驾驶上的应用成为可能。在煤矿卡车上安装光场相机，可以前后各装1台，两侧可以再各安装1台，这样可以获取煤矿卡车周围全方位的二维、三维信息。基于成本考虑，前后2台可以用高分辨率大视角相机，来获取远距离高分辨率的信息。两侧可以采用低分辨率相机，获取近距离的信息。
光场相机用于煤矿卡车无人驾驶，具有很高的角分辨率，可以获取并有效识别远距离的小石头、人、车等障碍物信息，与现有激光雷达相比，具有很大优势，对提高无人化作业的安全性具有重要意义，如图4所示。也在特殊驾驶场景下为决策提供有效的依据，如在车辆事故无法避免的情况下，决策系统可以优先保护人，从而使无人驾驶系统更人性化，如图5所示。
4cm
1.4~1.6m
22.1cm
激光&光场对比
图4光场与激光雷达对比
广场2D 数据广场3D 数据
驾驶室画面外部画面
图5光场在矿区多目标识别
同时，光场相机还可以识别激光雷达不易识别的小型障碍物，如石头、水坑等，能够实时感知输出障碍物的类别、距离、大小等详细数据，供煤矿卡车无人驾驶系统科学规划决策，极大地提高了无人驾驶矿卡作业运行的安全性，是矿区真正实现无人驾驶作业的必要手段之一，如图6所示。
影响安全的小型障碍物的识别
水坑凹坑识别及时绕行风险路段
雨雪天气感知安全性提高
粉尘、雾气环境适应性强stone ：51.29，0.24，0.31stone ：44.47，0.26，0.38
puddle ：57.54，6.12，1.04
puddle ：40.56，2.27，0.67
图6复杂环境稳定运行
光场技术作为一个新兴的技术，其市场化程度还
无法和激光雷达相比。在国外由少数厂商垄断，其价格昂贵，且容易被供应商所垄断，国内虽然也有一些大学、科研院所和公司在研究，但还没有形成成熟的工业化批量产品。目前，拥有自主知识产权的国产光场相机，打破了国外垄断，为国外同样参数性能的光场设备价格的1/3，使整个煤矿卡车无人驾驶系统感知更精准、成本大幅降低，矿区无人驾驶系统更具经济效益。此外，矿区无人驾驶要求具有高实时性和稳定性，也对软件提出了更高的要求。
5结束语
通过研究，可以看到光场相机在矿区无人驾驶领
域，解决了现有煤矿卡车无人驾驶系统的多个关键安全问题，消除了激光雷达感知的安全风险，具有重要的应用价值及广泛的应用前景。此外，根据光场相机可以同时获得二维、三维信息的特点，除无人驾驶感知之外，光场技术还可以应用到实时地图采集和动态更新，无卫星反向车辆定位等领域，为整个矿山无人驾驶系统提供更高的技术安全保障和更全面的基础信息服务。随着光场技术的发展和市场批量化应用，以及矿区无人驾驶的发展，未来必然将矿区无人驾驶带领至新的高度。参考文献：
［1］王金强，黄航，郅朋，等.自动驾驶发展与关键技术综述［J ］.电子
技术应用，2019，45（6）：28-36.
［2］王禹，吴石峰，陶恂.自动驾驶中多传感器信息融合技术的研究
［J ］.福建电脑，2019，35（1）：110-112.
丁震等：4D 光场在露天煤矿卡车无人驾驶系统中的应用研究
·
·21
第12期
［3］Frederic E Ives.Parallax stereogram and process of making
same：US 1903.
［4］Lippmann，Gabriel.Epreuves reversibles，photographies integrales
［J ］.Comptes-Rendus Academie des Sciences，1908，146（3）：446-451.
［5］Adelson E H，Wang J Y A.Single Lens Stereo with a Ple-noptic Camera ［J ］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，14（2）：99-106.
［6］NG R，LEVOY M，BREDIF M，et al.Light field photogra-phy with a hand-held plenoptic camera ［J ］.Computer Science Technical Report，2005，2（11）：1-11.
［7］Marc Levoy，Ren Ng，Andrew Adams，Matthew Footer，Mark
Horowitz.Light field microscopy［J ］.ACM Transactions on Graphics （TOG ），2006，25（3）.
［8］GEORGIEV T，INTWALA C.Light field camera design for in-tegral view photography ［R ］.San Jose：Adobe System，Inc.，Tech-nical Report，2006：1-13.
［9］Lumsdaine A，Georgiev T.Full Resolution Lightfield Rendering
［R ］.Adobe Tec hnical
Report ，2008.［10］Lumsdaine
A ，Georgiev
T
.The focused
plenoptic
camera ［C ］.//IEEE International Conference
on Computational Photography.IEEE ，2010.
［11］Gershun A ，The
light field ［J ］.Studies
in
Applied
五菱汽车下乡Mathematics ，
1939，18（1-4）：51-151.
［12］Adelson E
H.
The
Plenoptic Function and
the
Elements
of
Early Vision ［C ］.//MIT Press ，1991.
［13］Levoy
M ，Hanrahan P.
Light
field rendering ［J ］.Proceedings
of
the
23rd Annual
Conference on
Computer Graphics and Interactive Techniques.
New York ：ACM ，1996：31-42．
［14］Gortler S
J ，Grzeszczuk
R ，Szeliski
R ，et al.奥拓论坛
The
Lumi⁃
graph ［J ］.Proc Siggraph ，1996（96）：43-54.
［15］Ives
F.Parallax ，sterogram
and
process
of making same ［p ］，1902.09：1-17.
［16］Wilburn B ，Joshi
N ，Vaish V ，et
al.
High
performance
imaging using
large camera arrays ［C ］.ACM，2005：765-776.
［17］Boyaci H，Doerschner K，Snyder J L，et al.Surface color
perception in three-dimensional scenes ［J ］.Visual Neurosci-ence，2006（233-4）：311-321.
［18］Zhang X，Wang Y，Zhang J，et al.Light field saliency vs.
2D saliency：A comparative study ［J ］.Neurocomputing，2015（166）：389-396.
［19］Li N，Sun B，Yu J.A Weighted Sparse Coding Framework
for Saliency Detection ［C ］.CVPR 2015.IEEE Computer Soci-ety，2015：5216-5223.
［20］Maeno K，Nagahara H，Shimada A，et al.Light Field Dis-tortion Feature for Transparent Object Recognition ［C ］.2013：2786-2793.
Research on Application of 4D Light Field in Unmanned Systems
for Mining Trucks of Open-pit Coal Mines
Ding Zhen 1，Meng Feng 1，He Shi 2
（1.CHN Energy Coal and Transportation Department ，Beijing ，100011；2.Aerospace Heavy Industry Co.，Ltd.，Wuhan ，Hubei ，430000）
Abstract ：The closure of open-pit coal mines ，the high strength of operation ，and the low speed
of mining trucks create a good application condition for the unmanned technology.Application of the unmanned technol⁃ogy can improve the transportation efficiency and safety of the open-pit coal mines and reduce the transporta⁃tion cost.As the basis for decision-making of the unmanned system ，the perception data is provided by many sensors.However ，as one of the important sensors ，laser radar is featured by high cost ，few data points ，no color information ，difficulty in target identification ，etc.，which limit the application of the un⁃manned technology in the mining trucks to a certain extent.Aiming at the problems of laser radar ，this arti⁃cle studies the application of the 4D light field in the unmanned system of the mining trucks and obtains the 3D point cloud and 2D color information in real time through a single industrial camera ，which greatly enriches the effective data obtained by the unmanned system ，reduces the complexity of the subsequent sys⁃tem processing ，and is of great significance in improving the reliability ，real-time performance and security of the unmanned system and reducing the cost.
Key Words ：4D light field ；open-pit coal mines ；trucks ；unmanned driving ；3D point cloud ；target identi⁃fication
（收稿日期：2020-07-29
责任编辑：穆建玲
）
·
·22
发布评论