10.16638/jki.1671-7988.2021.06.016
智能驾驶环卫车5G远程驾驶系统
朱剑1,陈海云1,赵江南1,张彦平1,马世典2,路保松2
(1.南京汽车集团有限公司汽车工程研究院,江苏南京210000;
2.江苏大学汽车与交通工程学院,江苏镇江212000)
摘要:文章介绍了智能驾驶环卫车远程驾驶系统的研究开发现状和进展,基于5G网络通信技术和智能驾驶控制技术提出一种用于智能驾驶环卫车的远程遥控系统架构。进而分别设计了环境感知、远程通信和远程驾驶操控系统,并按照功能模块对软硬件进行集成开发,最终通过8大功能场景进行试验验证,结果表明文章所设计智能驾驶环卫车远程控制系统工作稳定可靠,满足实际应用要求。
关键词:智能驾驶环卫车;5G通信;远程驾驶系统
中图分类号:U495 文献标识码:A 文章编号:1671-7988(2021)06-52-06
Intelligent Sweeper Trucks Remote Driving System Based on 5G Communication Zhu Jian1, Chen Haiyun1, Zhao Jiangnan1, Zhang Yanping1, Ma Shidian2, Lu Baosong2
( 1.Nanjing Automobile (Group) Corporation, Jiangsu Nanjing 210000;
2.School of Automotive and Traffic Engineering of JiangSu university, Jiangsu Zhenjiang 212000 )
Abstract: Firstly, the current research and development status of the remote driving system for intelligent sweeper trucks are introduced. Then based on 5G network communication technology and intelligent driving control technology, a remote control system architecture for intelligent driving sweeper trucks is proposed. Furthermore, the environment perception system, the remote communication system and the remote driving control system are designed separately, and the software and hardware are developed and integrated according to the functional modules. Finally, the test verification is carried out through 8 major functional scenarios. The results show that the intelligent sweeper trucks remote control system is stable and reliable, and meets the requirements of practical applications.
Keywords: Intelligent sweeper trucks; 5G communication; Remote driving system
CLC NO.: U495 Document Code: A Article ID: 1671-7988(2021)06-52-06
引言
2020年2月,国家发改委、科技部、工信部等11个国家部委联合印发《智能汽车创新发展战略》,提出到2025年,中国标准智能汽车的技术创新、产业生态、基础设施、法规标准、产品监管和网络安全体系基本形成[1]。该战略的推出,作为标志性事件,意味着车联网产业将在中国获得高速发展的重大机遇。该发展战略将“市场主导、跨界融合”作为基本原则之一,而且还强调了“构建跨界融合的智能汽车产业生态体系”,智能汽车的跨界融合显得尤为宏大而深远[2]。
随着5G、人工智能等技术的发展及居民需求水平的提升,汽车不再是简单的交通工具,它将成为一个移动生活终端。人们对于车辆的“场景化”、“智能化”有了更高的要求,L4级自动驾驶技术的商业化落地也成为“众望所归”。在进入5G时代后,V2X也将加速实现终极目标——“实现人、车、路三者的完全协同”,成为智慧交通中最重要的一环。5G
作者简介:朱剑,就职于南京汽车集团有限公司汽车工程研究院。
52
朱剑 等:智能驾驶环卫车5G 远程驾驶系统
53
将极大地改变人类社会的工业生产、生活和娱乐等各个方面,车联网产业迅速发展,以科技力量实现未来交通变革。5G 网络能以近乎实时的速度进行信息传输,在远程环境感知、信息交互和协同控制等关键技术上取得突破,让车路协同、远程接管、车辆编队等智能网联技术能够有更好的实现效果
[3,4]
。5G 技术给环卫车的远程遥控提供了强有力的支持。 环卫车市场颁布《节能与新能源汽车产业发展规划(2012
-2020年)》,对新能源汽车提出到2020年,新能源汽的车生产能力达200万辆、累计产销量超过500万辆的要求[5]。环卫车的远程遥控无疑将给环卫工人带来便利,改善了其工作环境也会提高安全舒适性。吴震云等人提出的基于AES 技术的汽车遥控系统优化改进了KEELOQ 可扩展性以及可靠性的缺陷[6]。王健城就龙岩市环卫车自动化项目的实施展开了调查,做了现场测试并给出了相应的建议[7]。随科学技术的进步,远程作业驾驶在工程机械领域的应用渐渐地广泛起来,王晓帅等人就集装箱起重机远程作业的实现构建了ARMG 远程作业系统[8]。NavLab 系统是美国卡内基梅陇大学(Carne -gie Mellon University )机器人研究所研制的一款智能驾驶系统,该系统能够实现对传感器信息的自主融合处理,控制车体的横向运动等功能[9,10]。
坚持“5G+单车智能”的技术路线,改善交通质量[11],在充分发挥单车智能的基础上,结合5G 通信,通过车与道路基础设施、车与车之间的协同运作,来实现汽车的高度自动化,真正实现车路协同[12,13]。同时5G 通信技术也可应用到远程接管和车辆编队行驶中[14]。本文介绍的智能驾驶环卫车5G 远程遥控系统融合了5G 网络通信技术和智能驾驶控制技术,为智能驾驶环卫车提供了一套遇到故障或处理极端情况的解决方案。
1 系统概述
1.1 系统应用场景
在自动驾驶车辆遇到故障或者难以处理的极端情况下,将通过5G 网络实现环式视频回传,使操作员“身临其境”。操作员将在模拟驾驶舱进行更可靠的人车交互。操作员可实时获取高精度的车辆运行环境信息和车辆行驶状态信息,在模拟驾驶舱对远端道路上的车辆进行操作控制,车辆远程控制系统通过实时获取的远端操作员控制指令并下发至车辆控制器实现远程驾驶,实现安全驾驶。 1.2 系统架构设计
基于5G 的远程遥控驾驶是利用遥控驾驶管理平台,通过5G 网络与被远程遥控车辆的自动驾驶系统以及视频采集设备进行数据交互,实现对遥控车辆的实时监测和管控,实现自动驾驶和远程驾驶平滑切换。伍庆龙基于RCD (车辆的遥控驱动器)介绍了其基本功能,并介绍了实现基本功能所
需的硬件配置,提出了新能源汽车RCD 的系统架构设计方案和控制策略并展望了RCD 未来的发展[15]。本文系统是由智能驾驶车辆端、视频采集设备(车端)、5G 网络、远程辅助驾驶控制器和驾驶平台等部分组成的协同共驾系统。系统原理框图如图1所示。
图1  系统原理框图
系统的控制的基本原理可以理解为将被遥控环卫车上安装的相关传感器以及视频采集设备采集到的数据
通过5G 网络技术实时的呈现在远程驾驶室上,驾驶员通过采集到的环卫车的行驶情况适时地操控环卫车做出反应。
外场车辆端通过安装鱼眼摄像头,配合高精度定位和车身传感器,将车辆驾驶员前方240°视野图像、车辆位置信息、周边情况等回传到驾驶台上的三块高清显示屏上,辅助驾驶员进行路况判断和驾驶决策。
5G 网络作为连接远程驾驶室与被控车辆的桥梁具有高数据速率、低延迟、节约能源、低成本和大规模设备连接的优点。被控环卫车采集到的数据通过5G 网络实时的传递到远程驾驶室,远程驾驶室中驾驶员对于车辆方向盘、油门和刹车的操控信号,可以通过5G 网络精准传达到无人驾驶车辆上。
远程驾驶端作为驾驶员作业的平台,拥有方向盘、油门以及制动踏板等控制环卫车的设施。驾驶员在远程驾驶室操控,驾驶的信息数据通过5G 网络传递给无人驾驶的环卫车,从而达到控制环卫车的目的。
2 系统设计
2.1 车载感知系统设计
车载感知系统主要由四个鱼眼摄像头(详细参数见表1),ST-769视频采集卡(详细参数见表2),12V 电源,PC 机(充当处理器、显示器和存储器)构成。
图2  鱼眼摄像头
汽车实用技术
54表1 鱼眼摄像头性能参数
由于感知系统需要采集四路鱼眼摄像头的视频图像信息,因此需要一款能够同时采集四路视频信息的采集卡。ST-769视频采集卡通过USB接口与图像处理模块连接且支持同时接收四路音频四路视频信号。
表2 ST-769视频采集卡性能参数
图3 ST-769视频采集卡
图4 系统软件算法流程图
车载光电周视感知系统的主要流程介绍如下:车辆四周的环境信息通过前后左右四个鱼眼摄像头获取,再通过合理的畸变校正算法对得到的图像进行校正。然后,通过图像俯投影技术将校正后的四幅图像投
影到同意坐标系中,提取相邻图像中重叠区域的特征点并进行匹配,根据配准的结果完成周视俯瞰图的拼接。根据车道线检测算法和车道线识别算法完成周视鸟瞰图像中车道线信息的感知,通过障碍物感知算法完成周视鸟瞰图中特殊障碍物的感知。综上,系统的软件算法流程图如图4所示。
2.2 远程通信架构设计
远程通信系统主要分为车载终端和控制中心两部分。车载终端主要由车载终端和各种传感器外设组成,负责车辆环境下的位置信息、视频信息等信息的采集和上传。控制中心将车载终端采集并上传的数据进行处理,作为车辆远程管理的数据依据。系统的软件构架如图5所示。
图5 软件结构图
软件数据处理采用多线程的方法,每个模块的信息处理都在单独的线程内完成,数据保存在相应的子线程缓冲区中,主线程按照JT/T808协议封装子线程缓冲区数据,最后再调用5G通信子线程发送数据。多线程技术在提高了数据处理速度的前提下,降低了系统的开销,使得繁杂的数据处理变得高效简洁。
2.3 驾驶操控系统
随着车载网络、微处理器的迅速发展,各种车辆动力学控制系统向低成本化、多功能化、智能化、网络化、集成化方向发展,线控底盘集成控制是未来的发展趋势。汽车线控技术降低了机械系统部件的复杂性,线路布置较为灵活,从而提高了控制系统的可靠性和安全性。
2.3.1 线控制动系统设计
线控制动系统执行器,包括动力装置、传动装置、制动钳体和传感器4个部分。其工作原理如图6所示。
图6 线控制动系统执行器工作原理
动力装置采用137LWX无刷直流电机,将电能转化为机械能为执行器提供能量,是执行器的主要部件。
传动装置包括两部分:减速装置,用于降低电机输出转速、提高输出转矩;运动转换机构,用于将旋转
运动转化为直线运动。
传感器用于为线控制动系统控制器实时采集相关信号。转速传感器采用长春华特光电技术有限公司E2040型光电编码器;压力传感器采用德国HBM公司的C9B型压力传感器及AE101型放大器,量程0~20 kN,响应频率1kHz。
2.3.2 线控转向系统设计
线控转向系统分为操纵机构、执行机构和中央控制单元,系统设计如图7所示。
朱剑 等:智能驾驶环卫车5G 远程驾驶系统
55
图7  线控转向系统总体设计
转向系统的操纵机构主要包括转向盘、转角传感器、转矩传感器、路感电机及其减速器。转角传感器和转矩传感器将驾驶员的转向意图传递给中央控制单元同时接受中央控制单元向路感电机发送的控制信号,产生转向盘回正力矩,为驾驶员提供路感信息。
转向系统的执行机构主要包括齿轮齿条转向器、转向执行电机、转向阻力传感器和直线位移传感器。转向阻力传感器和直线位移传感器将信号发送给中央控制单元,同时接收中央控制单元发送的转向信号,驱动执行电机旋转,带动齿轮齿条转向器产生相应前轮转角,实现车辆转向。 2.4 系统集成
2.4.1 车载部分
环卫车部分主要由被遥控的驾驶车辆、摄像头*4、车载主机、5G CPE 几部分组成。
1)自动驾驶车辆具备线控能力,可以通过CAN 线进行车辆控制;
2)车载主机部署自动驾驶系统,接收远程驾驶舱模拟数据并通过CAN 进行车辆控制;
3)架设摄像头拍摄车内外视频,采集车辆外部左前、正前、右前及内部视频;
4)5G CPE 为4个摄像头提供5G 网络接入能力并将实时视频回传到展厅屏幕;
5)外场自动驾驶系统根据收到的实时数据,实现对车辆行驶的控制。
2.4.2 远程驾驶部分
远程操控部分主要由模拟驾驶舱、驾驶舱侧主机、显示器*4、5G CPE 几部分组成。远程遥控驾驶策略主要是需要根据远程现场感知到的数据进行反馈操控,完成不断修正驾驶状态的任务。远程驾驶策略主要包含了转向策略、制动策略以及速度控制等策略。
1)驾驶舱端安装驾驶舱套件(驾驶舱如果能用遥控车辆同种车型更好);
2)展厅驾驶员通过模拟驾驶舱前端显示器观察车辆周边情况;
3)展厅驾驶员通过驾驶舱套件进行方向盘和油门操控; 4)显示器*4位于驾驶舱正前方,用于展示远程车辆车外左前、正前、右前及车内影像;
图8  远程驾驶室
5)驾驶舱侧主机部署远程驾驶系统,负责驾驶舱套件的数据采集、处理、传输;
6)远程驾驶系统接收驾驶舱套件油门、制动和转向数据,并通过5G 网络发送给外场自动驾驶系统;
7)5G CPE 为服务器提供5G 网络接入能力。
3 系统测试
本文选取了八个常见的环卫车行驶工况来测试远程操控系统。选取平整干燥的水泥路面进行远程操控的测试。大幅提高了测试效率和精度,降低了测试的工作强度,同时保证了测试的一致性。测试内容如表3。
表3  测试场景简表
3.1 演示用例1——远程驾驶启动
该示例测试的是环卫车在远程操控下的启动情况。
图9  远程启动测试
测试的预置条件:(1)驾驶舱端可以正常连接模拟套件;(2)驾驶舱端与工控机的网络处于连通状态。
测试的操作流程:(1)驾驶舱端连接模拟套件,界面显示连接方向盘成功;(2)驾驶舱端启动TCP 服务,等待车端工控机接入;(3)安全员将车进入可远控状态,同时告知驾驶舱端操作员;(4)车端工控机发起TCP 接入,界面车辆由
汽车实用技术
56 离线状态变为在线状态;(5)驾驶舱端收到车端工控机接入请求,在界面显示有车辆在线未进入远程驾驶,然后进入远程驾驶。
图10  启动测试流程
测试预期结果:(1)界面显示在线远程驾驶中;(2)车辆显示处于远程驾驶。 3.2 演示用例2——方向盘转向
该示例测试的是环卫车在远程遥控下方向盘的转向情况。
测试的预置条件:(1)驾驶舱端界面显示远程驾驶中;(2)车辆显示处于远程驾驶;(3)车辆处于静止状态。
测试的操作流程:(1)在驾驶舱端,将方向盘匀速向左打到底;(2)在驾驶舱端,将方向盘匀速回正;(3)在驾驶舱端,将方向盘匀速向右打到底;(4)在驾驶舱端,将方向盘匀速回正测试预期结果:(1)车辆方向盘先向左打到底,再回正;(2)车辆方向盘先向右打到底,再回正。
图11  方向盘转向测试
3.3 演示用例3——向前行驶
该示例测试的是遥控环卫车向前行驶的工况。 测试的预置条件:(1)驾驶舱端界面显示远程驾驶中;(2)车辆显示处于远程驾驶;(3)车辆处于静止状态。
测试的操作流程:(1)驾驶舱端将档位置为D ;(2)驾驶舱端轻踩油门,通过摄像头查看前方路况,过一段时间后踩刹车将车辆停稳;(3)驾驶舱端将档位置为N 。
图12  前行测试
测试预期结果:车辆向前行驶一段时间后,停车。 3.4 演示用例4——向后行驶
该示例测试的是远程遥控环卫车向后行驶的工况。 测试的预置条件:(1)驾驶舱端界面显示远程驾驶中;(2)车辆显示处于远程驾驶;(3)车辆处于静止状态。
测试的操作流程:(1)驾驶舱端将档位置为R ;(2)驾驶舱端轻踩油门,通过摄像头查看后方路况,过一段时间后踩刹车将车辆停稳;(3)驾驶舱端将档位置为N 。
图13  后退测试
测试预期结果:车辆向后行驶一段时间后,停车。
3.5 演示用例5——左转行驶
示例五测试的是环卫车向左转向行驶工况下远程遥控系统的稳定性。
测试的预置条件:(1)驾驶舱端界面显示远程驾驶中;(2)车辆显示处于远程驾驶;(3)车辆处于静止状态。
测试的操作流程:(1)驾驶舱端将档位置为D ;(2)驾驶舱端轻踩油门,通过摄像头查看前方路况,并在路口打方向盘左转;(3)驾驶舱端在转向后继续行驶,通过摄像头查看前方路况,过一段时间后踩刹车将车辆停稳;(4)驾驶舱端将档位置为N 。
图14  左转测试
测试预期结果:车辆向前行驶到路口处,然后左转,又行驶一段时间后停车。 3.6 演示用例6——右转行驶
示例六是测试远程遥控环卫车右转的情况。
图15  右转测试
测试的预置条件:(1)驾驶舱端界面显示远程驾驶中;(2)车辆显示处于远程驾驶;(3)车辆处于静止状态。
测试的操作流程:(1)驾驶舱端将档位置为D ;(2)驾驶舱端轻踩油门,通过摄像头查看前方路况,并在路口打方向盘右转;(3)驾驶舱端在转向后继续行驶,通过摄像头查看前方路况,过一段时间后踩刹车将车辆停稳;(4)驾驶舱端将档位置为N 。
图16  右转测试
测试预期结果:车辆向前行驶到路口处,然后右转,又行驶一段时间后停车。
南京汽车3.7 演示用例7——退出远程驾驶
该示例测试的是环卫车能否正常退出远程驾驶模式。 测试的预置条件:(1)驾驶舱端界面显示远程驾驶中;(2)车辆显示处于远程驾驶;(3)车辆处于静止状态。
测试的操作流程:驾驶舱端按X 键,界面显示在线未加入远程驾驶。
测试预期结果:车辆显示由远程驾驶状态退出。