机械设计与制造
Machinery Design & Manufacture
215
第6期
2021年6月
徐劲力，牛强强，陈春晓
（武汉理工大学机电工程学院，湖北武汉430070）
摘要：针对汽车后桥在生产培训和研发阶段拆卸繁琐、成本高的问题，以Microsoft Visual Studio 和Unity3D 为开发平台， 结合HoloLens 的人机交互和空间映射技术，建立了增强现实环境下的汽车后桥虚拟拆卸系统。该系统包括后桥零部件
展示、后桥的自动拆却和手动拆卸模块。系统测试表明：该系统可以实现后桥虚拟模型在真实台架上
的显示，能够通过
自动和手动的方式快速实现汽车后桥的虚拟拆卸，系统具有良好的沉浸性和交互性，可以为设计、生产培训人员和工程 应用提供有用的帮助。
关键词：虚拟拆卸；人机交互；增强现实;HoloLens
中图分类号:TH16;TP391.9文献标识码:A 文章编号:1001-3997(2021)06-0215-04
The Design of Virtual Disassembly System for Automobile
Rear Axle in Augmented Reality Environment
XU Jin-li , NIU Qiang-qiang , CHEN Chun-xiao
(School of Mechanical and Electronic Engineering , Wuhan University of Technology , Hubei Wuhan 430070, China)
Abstract : Aiming at the problems of cumbersome disassembly, long cycle and high cost of automobile rear axle in the stage of
production training and research and development , a virtual disassembly system of a utomobile rear axle in augmented reality en
vironment was established. Taking Microsoft Visual Studio and Unity3D as the development platform, combined with human
computer interaction and spatial mapping technology in HoloLens device 9 the design of v irtual simulation system was completed .
The virtual disassembly system includes presentation of components , automatic disassembly and manual disassembly module of automobile rear axle. The system test shows that The system can display the virtual model cf r ear axle on the real bench and quick
ly realize virtual disassembly of a utomobile rear axle and has good immersion and interaction. This system can provide useful help for designers, production trainers and engineering applications .
Key Words ： Virtual Disassembly ； Human-Computer Interaction ； Augmented Reality ； HoloLens
1引言
随着计算机技术的快速发展，机械产品在设计开发及相关
培训中越来越多的与计算机技术相结合叫逐渐形成一种全新的 产品开发与培训模式。在机械产品拆卸领域中，因传统的拆卸方 式对设备及场地要求较高，且实物拆卸成本高，因而虚拟仿真技 术被大量应用。文献卩基于Virtool 虚拟仿真平台对某变速箱进行 了虚拟拆卸；文献別用Pro^oolkit 建立二次开发平台，实现了产
品的拆卸再制造过程仿真；文献旳采用力反馈装置开发了交互式 虚拟拆卸系统；文献研究了数据手套和运动跟踪器在拆卸路径 规划中的应用。以上研究大多采用虚拟现实技术对产品进行虚
拟拆卸，所设计系统现实感比较差。
为了获得更好的沉浸性和真实感，采用增强现实技术问进行 汽车后桥虚拟拆卸系统的研究。系统设计以Unity3D 为三维引
擎，结合HoloLens 设备，在现实环境中实现汽车后桥的虚拟拆卸。
对工程前期的设计及培训财现实意义。
2虚拟拆卸系统的总体设计方案
2.1系统设计流程
虚拟拆卸系统开发过程涉及到汽车后桥零部件的建模，模 型的优化处理以及增强现实环境的搭建。综合考虑各种软件
及开发平台的综合性能及软件之间的数据转换和兼容性，采用 的流程进行系统设计，如图1所示。首先，利用UG 建立汽车后 桥三维模型，在3DMAX 中对模型进行优化处理；以Unity3D 为
三维引擎，借助其强大的物理引擎叫快速建立人机交互界面， 完成增强现实环境的搭建；利用H o loLens 设备实现后桥的虚拟
拆装。HoloLens 具有凝视、手势交互、语音识别及空间映射等功 能冏，可以快速而简洁实现交互功能，空间映射功能可以通过设
来稿日期:2020-04-18
基金项目：国家工信部智能制造项目（政府收支分类2159999）；柳州市科技攻关项目（2017AA10102）
作者简介：徐劲力，（1965-），男，湖北人，博士研究生，教授，主要研究方向：机械设计及理论；
牛强强,（1993-），男，山东人，硕士研究生，主要研究方向：汽车智能制造
216
徐劲力等：增强现实环境下汽车后桥虚拟拆卸系统的设计
第6期
备扫描周围环境将虚拟物体放置于环境中的任意位置，设备具
有良好的沉浸性。
STEP
格式 一]~H 3DMAX | 勺“”
UnityjF}
FBX 卫矜 Visual
格式]▼ __ ] Studio HoloLens |
模型装配一
模
型建立一
坐标转换一
模
型优化一
部件运动及检测
控
制界面设计-
人
机交互设计
模
型及场景渲染
图］系统总体设计流程
Fig.l Overall Design Flow of the System
2.2系统的主要功能模块
该系统主要包括汽车后桥零部件展示模块，后桥自动拆卸
模块以及手动拆卸模块。在零部件展示模块，后桥所有部件以爆 炸视图形式展开，并能展示各部件部件的名称，对主要零部件的 功能进行介绍，主要帮助操作人员对后桥所有零部件有基本的认
识；自动拆卸模块利用动画展示后桥的全部拆卸过程，为后桥的 手动拆卸做铺垫；手动拆卸模块是该系统的核心功能模块，人机 运、检测等增强现实相关技术均在 峭 块煎。
手动拆卸模块的主要目的是利用手势控制虚拟模型的移 动，以达到后桥拆卸的目的。该模块有两种模
式：辅助拆卸和自 由拆卸。辅助拆卸模块必须按规定的顺序，根据零部件坐标、文
字提示等帮助操作人员一步步实现后桥的拆卸；自由拆卸模块则
完全由操作人员本人控制，可以随意进行各部件的拆除。
3系统关键技术
增强现实环境下对汽车后桥进行拆卸，首先需要利用Holo-
Lens 空间映射功能来进行环境建立，并在碰撞检测的基础上实现
4100发动机人机交互功能。所涉及到的关键技术有空间映射技术、手势交互 技术、语音识别功能以及碰撞检测技术。
3.1空间映射技术
空间映射是利用基于视觉的SLAM (Simultaneous Localiza
tion and Mapping)技术问对真实环境进行三维场景重建，以使虚拟
模型可以放置于真实环境中，实现虚拟世界与真实世界的结合。
图2空间映射技术下扫描的周围环境模型
Fi&2 Environment Model Based on Spatial Mapping Technology
HoloLens 设备以四个环境感知摄像头和一个深度摄像头为
硬件载体实现SLAM 技术的应用。环境感知摄像头用来进行数 据采集，获取真实场景的图像；深度摄像头可以获得图像中每个
像素的深度值，从而计算出摄像头的相对位置；最后基于Kinect
Fusion 算法㈣，进行三维场景的构建，即通过不同角度的深度图，
计算并绘制出精确的周围环境和三维物体的3D 模型，将虚拟模 型加载到所绘制出的环境地图中，即可实现虚拟模型在现实环境
中的显示。后桥拆卸真实环境经过空间映射功能扫描后的模型
图片，如图2所示。
3.2碰撞检测技术
碰撞检测技术是实现增强现实的基本技术，碰撞检测主要
应用于以下两个方面：所建立系统中的一切人机交互活动，包括
模型的选取、移动以及功能模块的切换等，需要基于凝视射线的 碰撞检测技术进行；检测虚拟模型拆卸过程中是否发生相交，若
相交则反馈相关结果；使模型与地面产生碰撞效果。
3.2.1凝视原理
增强现实环境中，虚拟模型的选取通过凝视射线碰撞检测
进行，即通过向视线方向发送一条射线，当射线与虚拟物体发生 碰撞时，即返回虚拟物体的碰撞信息o HoloLens 主摄像机所在位 置为世界零点0(0,0,0)，相机的可视范围为图示四棱锥内范围, 主摄像机到裁剪面S1和S2的距离分别为相机所能看到物体的最
近和最远距离，如图3所示。视线方向会一宜存在一条射线，当 物体出现在HoloLens 主摄像机的可视范围内，且射线与虚拟物体
发生碰撞时，即会得到虚拟物体的碰撞信息同时射线停止发射。 图示PG,y,z)点为射线与虚拟物体的碰撞点,7\6莎皿1)点为射 线与近裁剪面的交点。
图3凝视原理
Fig.3 Gaze Principle
凝视射线由式(1)确定，式中0,W,a 均为三维空间向量,0 (0,0,0)为射线的起点，为射线上的某一个点,t 为时间,a 为射 线的方向向量。
W = 0 + t-a
(1)
射线到达Pi 点的时间为"，通过射线从发出到停止发射的
时间如可以得到P 点坐标，进而得知发生碰撞的物体。
方2%1 力2歹1 ^2^1 / \
P
) (2)
方1
方1
3.2.2碰撞检测
Unity3D 中，在模型之间进行碰撞检测有两种方式，一种是
利用碰撞器，一种是利用触发器。基本原理都是基于包围盒算法
将模型以碰撞体包围起来，代替模型进行碰撞检测。其中，碰撞 器会改变物体的运动状态，不能互相穿透对方；触发器则不干涉
部件运动状态。因此在模型与空间映射技术创建的地面之间建
立碰撞器关系，使模型可以落在地面上；模型之间采用触发器进 行干涉检测。
3.3人机交互技术
人机交互是虚拟拆卸系统的核心技术，操作人员需要通
过人机交互技术实现与系统中虚拟物体的交互操作。在设计中 采用语音识别、手势交互进行操作人员与模型之间的交互操作
。
No.6
June.2021机械设计与制造217
3.3.1语音识别
语音识别是HoloLens设备的主要输入控制方式之一，不需要借助手势，只需凝视要进行控制的对象并说出语音指令，即可令其进行相关操作。语音识别主要对手动拆装模块所需手势进行切换，主要语音指令为"Move Model"和"Rotate Model"o在程序编写时，语音识别的设计需要借助语音识别器KeywordRecog-nizer，将关键词存储于字典中，并为每一个关键词添加相关触发事件，在对®#诩!|器进行注册后进fiWL
标致307两厢价格3.3.2手势交互
通过手势进行与虚拟信息之间的交互能够提高系统的沉浸性，手势交互的关键是对各种手势进行识别
并进行相关操作。在凝视原理的基础上进行手势交互的设计，当凝视射线与物体相撞时，若识3倒相关手势则触发相关事件。
本系统中，所主要使用的手势为点击(Air Tap)和拖拽(Tap and Hold)手势。点击手势用于交互界面按钮点击操作，拖拽手势包括旋转手势Navigation以及平移手势Manipulation，用来旋转和移动模型。通过调用系统内部预先定义的函数(API)用于触发手势识别事件，包括对手部位置和速度进行识别的底层API以及借助手势识别器进行预设手势识别的高层API。
4虚拟拆卸系统的建立
4.1虚拟模型的处理
为了使虚拟模型在增强现实环境中建立的各功能模块真实而流畅的显示，需要对模型进行预处理。主要包括三维模型的建立，模型的优化与渲染。
4.1.1虚拟模型的建立与优化
在UG中根据CAD图纸提供的尺寸对汽车后桥进行建模，并创建用于盛放小型零部件的工具盒。因为汽车后桥模型结构复杂，为保证虚拟仿真系统设计及运行的流畅性，需要在3DMAX 中，保证模型不失真的前提下进行优化处理，以减少多余的顶点和面。优化时，采用3DMAX中的专业优化功能对模型
进行优化，根据自定义阀值按比例对模型的顶点数和面数进行减少，优化后的模型面数减少了6706182个，顶点数减少了3353111个。在优化完成后，需要将各零部件的坐标中心移至部件重心上，同时将整个装配体移至世界坐标的原点，以方便在Unity3D中对部件进行操作。
4.1.2虚拟模型的渲染
图4渲染后的虚拟模型
Fig.4Optimized Rear Axle Model
模型的渲染在Unity3D中进行，主要采取两种方式，对汽车后桥桥壳和轮毂等被涂成黑的外部部件以及在进行拆装时所用的盒体，采取贴图的方式进行渲染；其余部件根据其金属属性的颜值採用材质球添加的方式进行渲染。虚拟模型的最终渲染结果，如图4所示。
4.2功能模块的设计
在Unity3D中设计各功能模块，以实现后桥零部件的展示和虚拟拆卸。具体设计过程如下：
(1)零部件展7K模块：通过Unity3D中DOTween Animation动画制作组件制作后桥模型的爆炸视图，设计物体运动路径并控制运行时间，让模型按照设计好的路径进行移动或旋转，利用插值算法使运动过程平滑。后桥爆炸过程由后桥轮毂开始，依次对后桥半轴F体一主减速速器进行爆炸处理。
(2)后桥自动拆卸模块：根据汽车后桥的拆装过程，在Uni-ty3D的Scene场景中通过移动零部件模拟拆装过程，以确定各个零部件的移动路径，记录下每个零部件位置。利用Unity3D的Animation组件改变零部件不同时刻的位置坐标(Position)以及旋转坐标(Rotation)来控制每一帧的具体位置，可以实现零部件的旋转和移动，以达到自动拆卸后桥的目的。
⑶后桥手动拆卸模块：通过人机交互技术实现模型的手动拆卸，在拆卸过程中，配合干涉检测技术保证拆卸步骤和部件移动路径的正确性。手动拆卸交互功能实现的主要流程，如图5所示。通过加载拖拽手势和语音指令来执行相关操作。
|Position坐标指不
Rotation坐标指示
£
自
由
移
动
一
按
坐
标
轴
平
移
按坐标轴旋转模型
图5手动拆卸模块交互功能的实现流程
Fig.5Realization Process of Interactive Function
of Manual Disassembly Module
在手动拆卸中的辅助拆卸模块，利用个零部件实时坐标和终点坐标协助操作人员完成拆卸；自由拆卸模块则完全根据操作人员意愿进行拆卸，当零部件靠近地面或工具盒时，为部件自动添加重力属性，使其自动落在地面或工具盒中。
5系统的发布与测试
5.1系统的发布
利用Visual Studio将unity3D中建立好的系统以APP的形式发布于HoloLens设备中。系统发布之前，为保证各功能的正常运行，需打开unity3D中的语音输入功能Microphone，空间映射功能SpatialPerception以及虚拟现实支持命令Virture Reality Support-ed；发布时，利用HoloLens的IP地址将电脑与HoloLens关联在一-起，在HoloLens中生成应用
□
No.6
June.2021 218机械设计与制造
5.2系统的测试
打开生成的应用，根据人机交互界面的提示进行相关操作。首先需要利用空间映射技术将后桥虚拟模型放置在拆装台架上，如图6所示；在手动拆卸模块利用平移和旋转手势移动主减速器总成，旋转差速器总成，如图7所示。自由拆卸模式下的最终拆卸结果，如图8所示。
v70图6将后桥虚拟模型放置于真实台架上
Fig.6Place the Rear Axle Virtual Model on the Bench
图7利用平移和旋转手势移动模型
Fig.7Moving Model Using Moving and Rotating Gestures
图8后桥在自由拆卸模式下最终拆卸结果
Fig.8Result of Final Disassembly of Rear
Axle under Free Disassembly
6结论
通过Unity3D和HoloLens设备所建立的汽车后桥虚拟拆卸系统，可以将汽车后桥模型放置于现实环境中，完成了后桥零部件的展示和自动拆卸，并可以通过操作人员与虚拟模型之间的交互操作实现后桥的拆卸。该系统具有良好的操作性，可以实现快速的人机交互，从而掌握汽车后桥的拆卸过程。使该系统在汽车后桥的产品设计及拆卸培训中具有广阔的应用前景。
参考文献
[1]于根杰，杨俊红.机械设计制造及其自动化中计算机技术的应用分析
[J].内燃机与配件,2018(22)：207-209.
(Yu Gen-jie,Yang Jun-hong.Application and analysis of computer technology in mechanical design and automation[j].Internal Combustion Engine&Parts,2018(22)-207-209.)
⑵陈浩，张桂香，张庆洪.基于Virtools的机械装备虚拟拆卸系统研究
[J].现代制造工程,2015(1)：30-34+29.
(Chen Hao,Zhang Gui-xiang,Zhang Qing-hong.Virtual dismounting
with physical effects based on virtools platform[j].M odem Manufacturing Engineering,2015(l)：30-34+29.)
[3]魏培，刘光复，黄海鸿.面向再制造的基于Pro/Toolkit的拆卸仿真[J].
机械设计与制造,2012(5):144-146.
(Wei Pei,Liu Guang-Fu,Huang Hai—hong.A disassembly simulation for remanufacturing based on Pro/toolkit[J].Machinery Design&Manufacture,2012(5)：144-146.)
[4]李嘉，侯文，夏文文.基于力反馈的虚拟拆卸系统关键技术研究[J].图
学学报,2014,35(3).450-454.
(Li Jia,Hou Wen,Xia Wen-wen.Research on the key technology of virtual disassembly system based on force feedback[j].J ournal of Graphics,2014,35(3)：450-454.)
[5]ALEOTTI J,CASELLI S.Physics-based virtual reality for task learning
and intelligent disassembly planning[j].Virtual Real,2011,15(1)：41-54.
新款马自达6
⑹王宇希，张凤军，刘越•增强现实技术研究现状及发展趋势[J].科技导
报,2018,36(10):75-83.
(Wang Yu-xi,Zhang Feng-jun,Liu Yue.Augmented reality technology [j].Science&Technology Review,2018,36(10)：75-83.)
[7]朱泓光，宋永强，刘议聪.基于Unity3D的装卸料机运动控制仿真[j].
制造业自动化,2017,39⑻：107-110.
(Zhu Hong-guang,Song Yong-qiang,Liu Yi-cong.Manipulator crane simulation based on Unity3D[j].Manufacturing Automation,2017,39
(8):107-110.)
[8]高韵•虚拟现实技术发展与启示一以微软HOLOLENS为例[J].互联
网经济,2017(12)：50-55.
(Gao Yun.Development and enlightenment of virtual reality technology:
二手汽车音响豪江摩托车图片a case study of microsoft HOLOLENS[j].The Internet Econoy,2017
(12):50-55.)
⑼郑国强，周治平.一种基于视觉SLAM改进的增强现实注册方法[J].
激光与光电子学进展,2018:1-7.
(Zheng Guo-qiang,Zhou Zhi-ping.An improved augmented reality registration method based on VSLAM[j].Laser&Optoelectronics Progress, 2018:1-7.)
[10]IZADI S,KIM D,HILLIGES O.Kinect fusion:real-time3D reconstruc
tion and interaction using a moving depth camera[C].Proceedings of the24th Annual ACM Symposium on User Interface Software and Technology,Santa Barbara,CA,United states:UIST，11,Association for Computing Machinery,
2011:559-568.
发布评论