煤矿井下无轨胶轮车无人驾驶系统研究
周李兵1,2
(1. 中煤科工集团常州研究院有限公司,江苏 常州 213015;2. 天地(常州)自动化股份有限公司,江苏 常州 213015)
摘要:煤矿井下无轨胶轮车无人驾驶可大幅减少井下辅助运输作业人员数量,降低人员劳动强度,是辅助运输智能化的主要发展方向之一。相较于地面汽车无人驾驶,煤矿井下无轨胶轮车无人驾驶存在一系列新的挑战:井下巷道“长廊效应”、“多径效应”干扰;狭窄场景内人车混行等复杂路况对车辆精准控制的高要求;井下卫星拒止环境带来的定位问题;井下光照多变且巷道壁阻挡影响机器视觉的应用;设备需满足MA 认证;安全措施需多重冗余设计等。针对上述挑战,提出了以车联网为核心的煤矿井下无轨胶轮车无人驾驶系统架构,分析了系统实现的关键技术:利用基于激光同步定位与建图(SLAM )和超宽带(UWB )/惯性导航系统(INS )的组合定位方式,实现车辆高速移动状态下的精确定位;依托车身多传感器(毫米波雷达、激光雷达、超声波雷达、摄像头)、矿用智能路侧单元等识别车身周边路况信息,并通过车联网共享相关信息;利用多源数据采集技术获得环境感知数据、车辆运行数据、路侧监控数据、移动目标数据,海量数据经5G 等无线通信网络交互至基于边缘计算的分布式算力单元融合分析后,结合全局和局部路径规划算法合理规划车辆行驶路径,实现仓库管理
系统化的车辆智能调度;考虑到井下机电设备安全准入要求,感知、线控、决策控制装备需实现矿用化设计且应尽量采用矿用本安型产品,以满足成本低、体积小、效率高的设计需求;井下无人驾驶车辆需实现感知、决策与控制环节的冗余设计,以实现非正常状况下车辆的安全可靠控制。现场测试结果表明:车辆定位精度可达0.3 m ,通信带宽≥50 Mbit/s ,数据通信时延≤50 ms ,定位精度和数据交互满足井下无人驾驶基本需求;针对T 形支巷及U 型弯道等典型环境可实现避障及连续路径规划;基于多传感器融合策略,可实现多种目标感知能力提升;车辆动态跟随误差<0.54 m/s ,垂直于巷道壁方向平均控制误差<0.2 m ,满足无人驾驶车辆的控制要求。
关键词:井下无轨胶轮车;无人驾驶;井下车联网;路况识别;井下路径规划;边缘计算;机器视觉中图分类号:TD525/67 文献标志码:A
Research on unmanned driving system of underground trackless rubber-tyred vehicle in coal mine
ZHOU Libing 1,2
(1. CCTEG Changzhou Research Institute, Changzhou 213015, China ;2. Tiandi(Changzhou) Automation Co., Ltd., Changzhou 213015, China)
Abstract : The unmanned driving of underground trackless rubber-tyred vehicles in coal mine
can significantly reduce the number of underground auxiliary transportation operating personnel, and reduce labor intensity. It is one of the leading development directions of intelligent auxiliary transportation. Compared with the unmanned driving of the ground vehicles, there are a series of new challenges for unmanned driving of underground trackless rubber-tyred vehicles. There is the interference of 'corridor effect' and 'multipath effect' in the underground roadway. There are high requirements for precise vehicle control under complex road conditions
收稿日期:2022-05-10;修回日期:2022-06-23;责任编辑:盛男。
基金项目:天地科技股份有限公司科技创新创业资金专项项目(2021-TD -ZD004);中煤科工集团常州研究院有限公
司科研项目(2022TY6001);天地(常州)自动化股份有限公司科研项目(2022FY0003)。
作者简介:周李兵(1984−),男,湖北黄梅人,高级工程师,硕士,主要从事矿山自动化与信息化方面的研究与应用工
作,E -mail : 。
引用格式:周李兵. 煤矿井下无轨胶轮车无人驾驶系统研究[J ]. 工矿自动化,2022,48(6):36-48.
本田广告
ZHOU Libing . Research on unmanned driving system of underground trackless rubber -tyred vehicle in coal mine [J ]. Journal of Mine Automation ,2022,48(6):36-48
.
第 48 卷 第 6 期工 矿 自 动 化
Vol . 48 No . 62022 年 6 月
Journal of Mine Automation
Jun . 2022
文章编号:1671−251X (2022)06−0036−13
DOI :10.13272/j.issn.1671-251x.17946
such as mixed traffic in narrow scenes. The underground satellite refusal environment causes positioning problems. Machine vision application is affected by the changeable illumination underground and the blocking of the roadway wall. The equipment shall meet MA certification. Multiple redundancy design is required for safety measures. In order to solve the above challenges, the architecture of the unmanned driving system for underground trackless rubber-tyred vehicle in coal mine based on the vehicle-to-everything is proposed. And the critical technologies of system implementation are analyzed. The integrated positioning method based on simultaneous localization and mapping (SLAM) and ultra wide band (UWB)/inertial navigation system (INS) is used to realize t
he precise positioning of the vehicle in the state of high-speed movement. By relying on the multi-sensor (millimeter-wave radar, laser radar, ultrasonic radar, camera) of the vehicle body and mining intelligent roadside unit, the road condition information around the vehicle body is identified. Through the vehicle-to-everything, the relevant information is shared. The multi-source data acquisition technology is used to obtain environmental perception data, vehicle operation data, roadside monitoring data, and mobile target data. The massive data is exchanged through 5G and other wireless communication networks to the distributed computing unit based on edge computing for fusion analysis. The vehicle driving path is reasonably planned in combination with global and local path planning algorithms to realize the systematic vehicle intelligent scheduling of warehouse management. Considering the safety access requirements of underground electromechanical equipment, the perception, wire control and decision-making control equipment shall be designed for mining. The mining intrinsically safe products shall be used as far as possible to meet the design requirements of low cost, small volume and high efficiency. Underground unmanned driving vehicles need to realize the redundant design of perception, decision-making and control links to realize the safe and reliable control of vehicles under abnormal conditions. The field test results show that the vehicle positioning precision can reach 0.3 m. The communication bandwidth is more than or equal to 50 Mbit/s. The data communication delay is less than or equal to 50 ms. Therefore the positioning
precision and data exchange can meet the basic requirements of underground unmanned driving vehicles. The obstacle avoidance and continuous path planning can be realized for typical environments such as T-shaped roadway and U-shaped curve. Based on the multi-sensor fusion strategy, the perception capability of multiple targets can be improved. The vehicle dynamic following error is less than 0.54 m/s, and the average control error perpendicular to the roadway wall is less than 0.2 m. These results meet the control requirements of unmanned driving vehicles.
Key words: underground trackless rubber-tyred vehicle; unmanned driving; underground vehicle-to-everything; road condition identification; underground path planning; edge computing; machine vision
0 引言
煤矿生产中根据运输任务不同,可分为主要运输和辅助运输。煤矿辅助运输泛指煤矿生产中除煤炭运输之外各种运输的总和,主要包括材料、设备、人员和矸石等的运输。目前国内外大中型井工煤矿较常用的新型高效辅助运输设备主要有无轨运输设备(无轨胶轮车)、轨道运输设备和单轨吊车3大类。我国西北煤田主力生产矿井以斜井开拓为主,主要采用无轨胶轮车完成煤矿辅助运输作业。由于煤矿辅助运输线路随工作地点的迁移而经常变化、运输线路水平和倾斜互相交错连接、运输线路环节
多、待运物料品种繁多且形状各异等客观因素,导致井下辅助运输作业环节用工数量多、安全事故频发。国家八部委联合制定并发布了《关于加快煤矿智能化发展的指导意见》等文件[1],吹响了全国范围内煤矿智能化建设的冲锋号,作为煤矿智能化建设的关键环节,煤矿井下无轨胶轮车无人驾驶的研究正受到行业高度关注。
区别于城市汽车等无轨交通无人驾驶,在煤矿井下开展无轨胶轮车无人驾驶存在一系列新的挑战[2]:①井下巷道狭长,“长廊效应”、“多径效应”明显,对激光雷达、毫米波雷达、同步定位与建图(Simultaneous Localization and Mapping,SLAM)等技术的应用等带来较大干扰。②井下巷道载人车辆、载货车辆、搬运车、工程车及行人等混行,主力矿井车辆及人员通行密集,且巷道两侧多存在排水沟等干扰因素,对车辆横纵向控制精度要求高。
③井下巷道为卫星拒止环境,无全球导航卫星系统(Global Navigation Satellite System,GNSS)信号,无法
2022 年第 6 期周李兵:煤矿井下无轨胶轮车无人驾驶系统研究• 37 •
honda
下巷道光照条件多变,且交通路口多为巷道壁等阻
挡,对机器视觉技术的应用带来较大挑战。⑤由
于煤矿井下存在瓦斯等爆炸性气体,井下设备受
GB 3836等标准约束,需取得MA认证,产品功耗、
结构件材质与产品形态等应遵守更为严苛的技术规
范,增加了技术实现难度。⑥系统设计需遵循故障
安全与功能安全原则,安全措施需多重冗余设计。
鉴此,笔者提出了煤矿井下无轨胶轮车无人驾
下对系统进行了测试验证。
1 系统架构
煤矿井下无轨胶轮车无人驾驶系统由无轨胶轮
车、车载智能感知系统、车载决策控制系统、矿用智
能路侧单元、通信网络、远程控制平台等组成,如
图1所示。
辅助运输车辆
监控系统
生产过程
管控系统
矿用环网接入器
4G/WiFi/5G/工业环网
井下
底层适配单元
域控制器
线控
油门
线控
档位
线控
双模转向
电子
液压制动
车载决策控制系统
比亚迪l3①
①
①①
①
①
①①
①
①
①
①
① 超声波雷达
②②
② 激光雷达
④
丰田佳美2.4参数④ 毫米波雷达
⑤ OBU
③
③ 机器视觉传感器
⑤
车载智能感知系统
激光
雷达
工业
相机
精确
定位
域控制器
5G
激光
雷达
工业
相机
精确
定位
域控制器
5G
激光
雷达
工业
相机
精确
定位
域控制器
5G
V2N V2N
V2I V2I
V2V V2P
毫
米
波
雷
达
机
器
视
觉
长安福克斯传
感
器
超
声
波
雷
达
激
光
雷
达
机
器
视
觉
传
感
器
毫
米
波
雷
达
④
③矿用智能路侧单元矿用智能路侧单元矿用智能路侧单元
图 1 煤矿井下无轨胶轮车无人驾驶系统架构
Fig. 1 Unmanned driving system architecture of trackless rubber-tyred vehicle in underground coal mine (1)车载智能感知系统。主要包括超声波雷
达、毫米波雷达、激光雷达、车载机器视觉传感器及
车载单元(On Board Unit,OBU),可实现全天候、复
杂工况环境下车辆行驶路径范围内路况及障碍物的
高精度智能感知,以及一定安全系数的感知冗余设
计。超声波雷达一般均布在车辆四周适当高度,可
测量0.05~1 m范围内的障碍物信息,常用频率为
49 kHz,通过RS485总线挂接在车载智能感知系统
内。目前主流毫米波雷达一般工作在77 GHz主频,
可同时跟踪识别64个及以上动目标,最高识别速度
可达250 km/h,识别精度高达厘米级,一般通过CAN
总线挂接在车载智能感知系统内。目前可实现矿用
本质安全(以下简称本安)型设计的车载激光雷达最
高激光通道数为16线,可在煤矿井下巷道场景有效
扫描50 m以上距离,出点数量≥31万/s,垂直视场角
为−15~15°,绝对精度一般可达厘米级。车载机器
视觉传感器参数适配于其后端机器视觉或视觉即时
定位与地图构建(Visual Simultaneous Localization and
Mapping,VSLAM)算法,一般建议清晰度720P及以
上、灰度鉴别等级7级及以上、水平分辨率350TVL
及以上,具备车规级抗震、外壳防护设计,以矿用本
安型为主。OBU用于车辆与矿用智能路侧单元间通
信,一般需兼容5G/4G/WiFi/Uu/PC5无线通信制式,具备一定数据处理能力和本地存储空间。
(2)车载决策控制系统。主要包括域控制器、底层适配单元、线控油门、线控档位、线控双模转向、电子液压制动等。域控制器是全车无人驾驶的算力中心,一般设计为矿用本安型,考虑到矿用本安型设备的功耗限制,其对应算力输出受限,因此多数情况下需多组矿用本安型域控制器组合使用,以提供足够算力输出。底层适配单元一般用于监控车辆工作时输入的各种数据和汽车运行的各种状态
(加速、打滑、油耗/电耗等),并按照预先设计的程序计算各种传感器数据,执行预定的控制功能。线控油门、档位、转向、刹车用于对车辆的横向(垂直于巷道壁方向)与纵向(沿巷道壁方向)控制,一般控制响应延时≤100 ms,车身控制精度≤20 cm。
(3)矿用智能路侧单元。主要包括5G、超宽带(Ultra Wide Band,UWB)精确定位、激光雷达、工业相机及域控制器等。5G用于车端与路侧单元端的无线通信。UWB精确定位用于车辆在井下的粗定位,一般动态定位精度可达0.3~0.7 m。激光雷达和工业相机一般用于巷道交叉路口的补盲感知、违章抓拍等。域控制器用于处理矿用智能路侧单元基础数据,并可在5G网络等支撑下,实现车端、多个矿用智能路侧单元间的分布式算力部署与共享功能。
(4)通信网络。由煤矿局域网、辅助运输巷道的工业环网、链接车端的无线接入网构成,建立从地面到井下的数据交互通道,实现管控命令交互、状态信息传输、图像视频信号传输等功能。
(5)远程控制平台。由无轨胶轮车远程驾驶舱、辅助运输车辆监控系统、生产过程管控系统、基于UWB的人员与车辆精确定位系统等组成。无轨胶轮车远程驾驶舱可实现紧急状况下对井下无人驾驶车辆的紧急接管,且可快速切换实现对多辆车辆的远程控制。辅助运输车辆监控系统、生产过程管控系统等可实现车辆运输物资管控、车路协同管控和运输作业管控。
2 系统关键技术
2.1 井下车辆动态精确定位技术
在无人驾驶系统中,车辆精确定位是保证整个系统安全性与可靠性的基石。对于地面无人驾驶,定位是由GNSS及GNSS/惯性导航系统(Inertial Navigation System,INS)组合导航实现,输出频率一般为10 Hz,定位精度可达厘米级;但对于井下封闭环境,GNSS及GNSS/INS 组合导航技术已无法进行有效定位,需要参考室内定位技术开发适用于井下的精确定位方式。主要的室内定位技术特点及适用范围见表1。
2015款途观表 1 室内定位技术对比
Table 1 Comparison of indoor positioning technologies
技术精度/m能耗传输距离/m抗干扰能力优点缺点
蓝牙 3.0低100较弱功耗低,穿透力较强抗干扰能力较弱,定位精度较差UWB0.3较低250强抗干扰能力强,定位精度较高需额外设备,部署较难RFID 1.0~5.0低5弱功耗低,数据传输速率高无法连续定位,定位精度差ZigBee 3.0较低75弱成本及功耗较低定位精度较差,抗干扰能力较弱WiFi 5.0较低50较弱成本低,方便部署定位精度差
激光0.1高300强定位精度高,抗干扰能力强功耗大,只可在可视范围内测距超声波 1.0较低10强功耗
较低,抗干扰能力强有效定位距离短,部署难
相较于RFID、ZigBee、蓝牙等室内定位技术,UWB技术由于具有极大的带宽和超高的时间分辨率,对多径及非视距问题有更高的鲁棒性,能提供高达分米级的定位精度,近年来成为煤矿井下主流精确定位方式。
UWB/INS组合定位利用INS解算结果减少UWB 中非视距误差的影响,提高位置信息输出频率;利用UWB测距或解算信息抑制INS误差随时间的迅速累计,从而获得更高的导航定位精度及相对UWB更高的定位输出频率。但UWB/INS组合定位是基于UWB标签接收不在1条直线上的3个或3个以上信号,通过三边位置量化数据解算实现二维定位。在井下实际应用时,由于存在大段长直巷道,受成本约束,长直巷道不宜高密度布置,存在3个参与定位的近似于布置在同一直线上的可能性,导致UWB/INS组合定位无法实现井下全部路段的高可靠性、高精度二维位置解算[3]。
激光SLAM技术是近年来随着无人驾驶发展而
2022 年第 6 期周李兵:煤矿井下无轨胶轮车无人驾驶系统研究• 39 •
逐步普及的感知与定位技术,且经优化的激光SLAM受外界光照变化影响小,尤其适用于煤矿井下巷道场景。激光雷达扫描巷道信息得到激光点云,提取点云特征,基于提取的特征点构建相邻帧间的约
束关系,通过列文伯格−马夸特法(Levenberg-Marquardt,LM)或高斯牛顿法(Gauss-Newton,GN)进行非线性优化得到姿态变换矩阵,再将得到的特征点进一步处理,得到扫描帧与特征点云地图的约束关系,构建全局地图,并获得无人驾驶车辆在地图中的位置。但由于煤矿井下巷道特征退化,尤其是长直巷道特征基本一致,这对通过扫描周围环境获得特征信息并与地图信息做匹配的激光雷达定位是非常大的挑战。
综合以上定位技术的优缺点,提出了基于激光SLAM和UWB/INS的组合定位技术。激光雷达的特征提取方式借鉴了基于可变地形优化的激光雷达测程和测绘(Lightweight and Ground-Optimized Lidar Odometry and Mapping,LeGO-LOAM)算法[4-5],首先对激光点云进行分割得到地面与非地面点云,再根据激光点云的光滑度进行特征提取,得到角特征点与面特征点,结合INS加速度与角度数据补偿车辆运动导致的点云失真;然后融合UWB一维定位数据对激光点云局部滑动窗口进行优化,缩小需要匹配的地图范围;最后通过点云匹配算法−迭代最近点(Iterative Closest Point,ICP)算法得到精确的目标位置姿态信息。
2.2 井下车辆路况识别技术
毫米波雷达具备精确测量远距离目标速度和空间信息的能力,同时不受恶劣光照和煤尘的影响,是井下车辆无人驾驶应用的重要传感器。毫米波雷达的波长为1~10 mm,频率范围为30~300 GHz。毫
米波雷达发射的电磁波信号被其传播路径上的物体阻挡并反射,在接收天线收到雷达回波并解调后,控制器对模拟信号进行数字采样并滤波,再利用快速傅里叶变换将信号从时域变换至频域,并采用恒虚警检测算法(Constant False-Alarm Rate,CFAR)去除杂波。在得到反射点后,通过具有噪声的基于密度的聚类算法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)得到相应目标及对应的距离、速度和角度信息。
激光雷达通过测定传感器发射器与目标物体之间的传播距离,分析目标物体表面的反射能量大小及反射波谱的幅度、频率和相位等信息,从而呈现出周围路况精确的三维结构信息−三维激光点云。扫描得到的障碍物点云通常比背景更密集,通过传统分类聚类(如欧氏聚类[6]、超体素聚类[7]等)方法可进行障碍物感知。近年来深度学习在激光雷达目标检测领域得到了广泛应用,根据神经网络输入格式可分为体素、图像及点云3种算法。考虑到井下域控制器功率与算力限制,以体素为输入的算法(如VoxelNet等)由于计算量过大不适用;将激光点云转为俯视图再进行三维目标检测的图像深度学习算法(如YOLO3D,PIXOR等),以及以激光雷达原始点云数据为输入的点云深度学习算法(如PointNet,LaserNet等)在井下有较大应用空间,可精确得到障碍物大小、种类及相对位置。
随着卷积神经网络的发展,基于摄像头的机器视觉近年来得到广泛运用,主要分为单阶段(one-stage)与两阶段(two-stage)的目标检测算法。单阶段目标检测算法(如SSD,YOLOv4等)直接生成候选框并对候选框进行分类回归;两阶段目标检测算法(如Faster-RCNN等)首先生成候选区域,
在候选区域进行分类和回归,得到目标候选框。虽然两阶段目标检测算法在准确率上有较好的表现,但在实时性上表现较差。对于井下目标检测任务,单阶段目标检测算法更为合适。
单类传感器在感知能力方面存在一定的局限性,如车载摄像头受环境影响较大、缺乏深度信息,激光雷达分类准确率较低、无法获取图像信息,毫米波雷达对金属敏感、误报多等。为满足井下非结构化环境无人驾驶感知需求,需充分利用多传感器特性进行冗余感知。多传感器融合技术分为多传感器前融合技术与多传感器后融合技术。多传感器前融合技术是指在原始数据层面将所有传感器的数据进行直接融合,通过1种感知算法输出感知目标的类别、位置、速度等信息。多传感器后融合技术是指各个传感器均独立采用各自的算法输出探测数据,在对各传感器数据进行处理后,根据位置及分类信息进行融合,得到感知信息。考虑到井下环境恶劣及算力功耗限制,为实现分布式算力分配及避免单个传感器故障导致整个感知算法失效,多传感器后融合技术更适用于井下车辆路况识别。基于多传感器融合的井下车辆路况识别如图2所示。
图 2 基于多传感器融合的井下车辆路况识别Fig. 2 Road condition recognition of underground vehicle
based on multi-sensor fusion
• 40 •工矿自动化第 48 卷
发布评论