perclos嘴巴_汽车疲劳驾驶监测系统保障出⾏
驾驶疲劳是指驾驶员由于睡眠不⾜或长时间持续驾驶造成的反应能⼒下降，这种下降表现在驾驶员困倦、打瞌睡、驾驶操作失误或完全丧失驾驶能⼒。
驾驶疲劳反映在⽣理与⼼理两个⽅⾯，⽣理反映包括神经系统的功能、⾎液和眼睛的变化；⼼理反映包括反应时延长、注意⼒分散、动作不协调。美国印第安那⼤学对交通事故原因的调查研究发现85％的事故与驾驶员有关，车辆和环境因素只占15％。
驾驶员在事故发⽣前⼀瞬间的⾏为和故障直接导致了事故的发⽣，这些⾏为包括知觉的延迟、对环境的决策错误、对危险情况的处理不当等。在所有的驾驶员错误中，最常见的是知觉延迟和决策错误，这些错误会产⽣注意⼒不集中、反映迟钝、操作不当等，产⽣这些错误的根本原因就是驾驶疲劳。由于司机疲劳驾驶导致警惕性⽔平的下降，从⽽造成交通事故的增长，这已成为了社会普遍关注的⼀个热点。
如果司机疲劳驾驶，那么他的观察、识别和车辆控制能⼒都会显著下降，严重威胁⾃⾝的安全和其他⼈的⽣命。随着交通运输业的发展，交通事故已成为当前各国所⾯临的严重问题。
驾驶⼈疲劳状态主要监测⽅法
关于驾驶⼈疲劳及注意分散等安全状态的监测预警技术，由于它在交通事故预防⽅⾯的发展前景⽽受到
各国⾼度的重视，研究⼈员根据驾驶⼈疲劳时在⽣理和操作上的特征进⾏了多⽅⾯的研究，⼀些研究成果已形成产品并开始进⼊市场。
驾驶⼈疲劳状态的检测⽅法可⼤致分为基于驾驶⼈⽣理信号、基于驾驶⼈⽣理反应特征、基于驾驶⼈操作⾏为和基于车辆状态信息的检测⽅法。
1、基于驾驶⼈⽣理信号的检测⽅法
针对疲劳的研究最早始于⽣理学。相关研究表明，驾驶⼈在疲劳状态下的⽣理指标会偏离正常状态的指标。因此可以通过驾驶员的⽣理指标来判断驾驶⼈是否进⼊疲劳状态。⽬前较为成熟的检测⽅法包括对驾驶⼈的脑电信号EEG、⼼电信号ECG等的测量。
研究⼈员很早就已经发现EEG能够直接反映⼤脑的活动状态。研究发现在进⼊疲劳状态时，EEG中的delta波和theta 波的活动会⼤幅度增长，⽽alpha波活动会有⼩幅增长。另⼀项研究[6]通过在模拟器和实车中监测EEG信号，试验结果表明EEG对于监测驾驶⼈疲劳是⼀种有效的⽅法。研究⼈员同时发现，EEG信号特征有很⼤的个⼈差异，如性别和性格等，同时也和⼈的⼼理活动相关很⼤。
ECG主要被⽤于驾驶负担的⽣理测量中。研究表明在驾驶⼈疲劳时ECG会明显的有规律的下降，并且HRV (⼼率变化)和驾驶中的疲劳程度的变化有潜在的关系。
基于驾驶⼈⽣理信号的检测⽅法对疲劳判断的准确性较⾼，但⽣理信号需要采⽤接触式测量，且对个⼈依赖程度较⼤，在实际⽤于驾驶⼈疲劳监测时有很多的局限性，因此主要应⽤在实验阶段，作为实验的对照参数。
2、基于驾驶⼈⽣理反应特征的检测⽅法
基于驾驶⼈的⽣理反应特征的检测⽅法是指利⽤驾驶⼈的眼动特性、头部运动特性等推断驾驶⼈的疲劳状态。
驾驶⼈眼球的运动和眨眼信息被认为是反映疲劳的重要特征，眨眼幅度、眨眼频率和平均闭合时间都可直接⽤于检测疲劳。⽬前基于眼动机理研究驾驶疲劳的算法有很多种，⼴泛采⽤的算法包括PERCLOS，即将眼睑闭合时间占⼀段时间的百分⽐作为⽣理疲劳的测量指标。
利⽤⾯部识别技术定位眼睛、⿐尖和嘴⾓位置，将眼睛、⿐尖和嘴⾓位置结合起来，再根据对眼球的追踪可以获得驾驶⼈注意⼒⽅向，并判断驾驶⼈的注意⼒是否分散。
利⽤头部位置传感器检测驾驶⼈点头动作，通过电容传感器阵列输出驾驶⼈头部距离每个传感器的位置，可实时跟踪头部的位置，根据头部位置的变化规律判定驾驶⼈是否瞌睡, 该研究发现点头的动作和瞌睡有⾮常好的相关性。
基于驾驶⼈⽣理反应特征的检测⽅法⼀般采⽤⾮接触式测量，对疲劳状态的识别精度和实⽤性上都较好。
3、基于驾驶⼈操作⾏为的检测⽅法
基于驾驶⼈操作⾏为的驾驶⼈疲劳状态识别技术，是指通过驾驶⼈的操作⾏为如⽅向盘操作等操作推断驾驶⼈疲劳状态。
利⽤对监测到的驾驶⼈的⽅向盘操作数据进⾏处理，研究结果在⼀定程度上揭⽰了驾驶⼈的⽅向盘操作与疲劳之间的关系。研究指出⽅向盘的操作是⼀种有效的驾驶疲劳的判断⼿段。
总体来说，⽬前利⽤驾驶⼈操作⾏为进⾏疲劳识别的深⼊研究成果较少。驾驶⼈的操作除了与疲劳状态有关外，还受到个⼈习惯、⾏驶速度、道路环境、操作技能的影响，车辆的⾏驶状态也与车辆特性、道路等很多环境因素有关，因此如何提⾼驾驶⼈状态的推测精度是此类间接测量技术的关键问题。
4、基于车辆⾏驶轨迹的检测⽅法
利⽤车辆⾏驶轨迹变化和车道线偏离等车辆⾏驶信息也可推测驾驶⼈的疲劳状态。这种⽅法和基于驾驶⼈操作⾏为的疲劳状态识别技术⼀样，都以车辆现有的装置为基础，不需添加过多的硬件设备，⽽
且不会对驾驶⼈的正常驾驶造成⼲扰，因此具有很⾼的实⽤价值。
基于视频技术的疲劳驾驶识别系统
1999年4⽉，美国联邦公路管理局⾸先提出了把PERCLOS作为预测机动车驾驶员驾驶疲劳的可⾏⽅法。经过多年的发展，⽬
前，PERCLOS ⽅法已被公认为最有效的、车载的、实时的驾驶疲劳测评⽅法。PERCLOS是Percentage of Eyelid Closure Over the Pupil Time的缩写，意为单位时间⾥眼睛闭合时间所占的百分⽐。
PERCLOS的原理即为统计在⼀定时间内眼睛闭合时所占的时间⽐例。我们的系统所采⽤的评判标准为PERCLOS80，指眼睑遮住瞳孔的⾯积超过80%就认为眼睛闭合。
PERCLOS测量原理
通过测量出t1-t4就能计算出PERCLOS的值：
英国汽车测评节目
其中F代表眼睛闭合时间的百分⽐，即PERCLOS的值。
基于视频技术的疲劳驾驶识别系统系统⽅案及⼯作流程
驾驶员疲劳监测系统通过视频采集设备获得驾驶员实时图像，⾃动分析驾驶员的头部姿态、眼睛运动规律以及⾯部特征等信息来确定驾驶员精神状态，并给出相应的预警提⽰。研究表明，相⽐脸部或头部运动规律⽽⾔，眼睛的活动规律，如眨眼频率、眨眼快慢、眼睛张开幅度以及眼睛的注视⽅向等能更好地反映出当前时刻实验对象的精神状态好坏。
因此，如果能够获得每⼀帧图像中的双眼⼤⼩、位置信息以及运动变化，就可以将⼀段时间内驾驶员的眼部活动规律统计出来，结合疲劳状态分析指标，就能够对驾驶员疲劳状态进⾏评价。系统流程如图所⽰：
图像预处理
在驾驶环境下通过视频流采集的图像会受到诸多因素的影响⽽包含噪声信息，如分辨率、系统噪声、突变背景等，给接下来的图像运算带来⼲扰。因此，我们对源图像通过直⽅图均衡化的⼿段进⾏预先处理，去除噪声，增强图像对⽐度，凸显图像细节，提⾼图像质量。
均衡化前                            均衡化后
均衡化前的直⽅图                  均衡化后的直⽅图
⼈脸检测
⼈脸检测环节是⼈眼定位前的重要步骤。系统采⽤Adaboost算法，利⽤提供的样本训练和检测⽅法。⾸先采集样本，从已采集的样本集中训练出分类器，该分类器可以很好地区别出⼈脸和⾮⼈脸；在检测环节，加载待检图像帧⾄分类器中，通过对图像像素点的扫描，到图像中包含的⼈脸，标定该区域。后续操作会在已标定的⼈脸区域中进⾏，缩⼩计算区域，排除⾮⼈脸因素的⼲扰，极⼤地提⾼了系统的运⾏速率。
眼定位
该环节包括⼈眼粗略定位和⼈眼精确定位两个阶段。⾸先，根据中国传统的三庭五眼的先验知识，粗略定位肯定存在⼈眼的⼤致区域，该区域可能同时包含眉⽑，发⾓等⼲扰，但却进⼀步地缩⼩了计算区域；接着，将⼈眼粗略区域通过⼀定阈值转换为⼆值化图像，再进⾏垂直⽅向上的灰度投影，求得直⽅图，因为⼈眼和周围⽪肤的灰度存在较⼤差异，所以可从直⽅图中的波峰波⾕判断出⼈眼上下边缘的Y坐标，继⽽可对眼睛进⾏精确定位。
眼睛状态判断
通过最⼤类间⽅差法(Otsu)在不同的光线下对⼈眼精确区域进⾏不同阈值的⼆值化，分别获取最佳的⼈眼睁闭状态时的眼部形状。通过对连续N帧的对⽐可以判断，⿊⾊像素值⾯积最⼩时可认为驾驶员当前处于闭眼状态，其他情况下处于睁眼或者半睁眼状态。
疲劳分析
系统选取⽬前公认有效的PERCOLS疲劳程度评价指标，即通过闭眼帧在连续N帧内所占的时间⽐例来分析疲劳状态，睁眼帧记录
为“1”值，闭眼帧记录为“0”值，这样，连续N帧后便可获取关于“1”“0”交错出现的序列，疲劳状态的分析即可⽤“0”值在该序列中所占的⽐例来描述，当百分⽐⾼于⼀定的实验⽐例后即可认为司机可能出现疲劳。
通过以上五个步骤的操作处理，系统可由采集设备获取的视频流中分析出当前驾驶员是否处于疲劳状态及疲劳程度，给出不同程度的提醒警报，从⽽达到系统⽬标。
疲劳程度的综合判定
驾驶员疲劳的判定会因错误检查带来不良影响，通过 PERCLOS、眼睛闭合时间、眼睛眨眼频率、嘴巴张开程度、头部运动的计算，进⾏疲劳程度的综合判定，可以准确、有效地进⾏驾驶员疲劳的检测。
PERCLOS
PERCLOS是指眼睛闭合时间占某⼀特定时间的百分率。PERCLOS ⽅法有 P70，P80 和 EM 三种判定标准。研究表明P80与疲劳程度间具有最好的相关性。
嘴巴张开程度
嘴巴的状态通常有三种，闭合，说话及打哈⽋，在疲劳状态下，⼈会频繁地打哈⽋。在⼈脸下半部分进⾏⽔平灰度投影，观察不同单⼈图像的⽔平灰度投影曲线，会发现该区域下半部分的⽔平灰度投影曲线有⼀个波⾕，即为嘴唇间位置。对⼈脸下半部分区域⼆值化，从嘴唇间向上、下计算连通区域(连通区域可以防⽌⿐孔及胡须对计算带来影响)的像素值，即可得到嘴巴的张开程度。
眼睛⾼度及嘴巴⾼度补偿
在上眼睑到下眼睑的垂直距离及上嘴唇到下嘴唇的垂直距离时，由于驾驶员头部相对于检测设备有位置移动，因此为了实现驾驶员眼睛⾼度和嘴巴⾼度的准确计算，需要修正眼睛、嘴巴与检测设备距离相对变化引起的变化。
眼睛闭合时间
眼睛闭合时间，⼀般⽤眼睛闭合到睁开所经历的时间来表⽰。⼈处于正常清醒状态时，眼睛闭合时间是很短的，会迅速睁开眼。⽽当疲劳时，眼睛闭合时间会明显变长，因此眼睛闭合时间能直接反映驾
驶员的精神状态。通过计算从眼睛闭合到睁开的最⼤帧数，帧数越多，闭合时间就越长，则疲劳程度就越严重。
眼睛眨眼频率
⼈在疲劳状态下，眨眼频率会⽐清醒状态下频率⾼。本⽂也将其作为⼀项参数作为疲劳判断的依据。眼睛闭合到睁开为眨眼⼀次。累加⼀段时间内眨眼次数，作为疲劳判断的⼀项参数。
头部运动的疲劳参数
驾驶员在疲劳状态下会出现频繁点头，头部向前倾。通过⽔平灰度积分投影得到眼睛瞳孔、嘴⾓的⽔平位置。 假设d1为瞳孔⽔平位置到采集图⽚的上边缘距离，d2为嘴⾓的⽔平位置到采集图⽚的下边缘距离。在驾驶员疲劳出现点头情况，则 d1增⼤且 d2减⼩。驾驶员疲劳时，头部向前倾，则 d1增⼤且 d2增⼤。点头和头部向前倾可以作为疲劳判断的⼀项重要的依据。
疲劳驾驶监测技术现状
美国Attention Technologies 公司推出的Driver Fatigue Monitor(DD850) 是⼀款基于驾驶⼈⽣理反应特征的驾驶⼈疲劳监测预警产品。该产品通过红外摄像头采集驾驶⼈眼部信息，采⽤PERCLOS作为疲劳报警指标，可直接安装在仪表盘上，报警的敏感度和报警⾳量均可调节，⽬前已推⼴应⽤，但只有
晚上才有效。
美国Digital Installations 开发的S.A.M.疲劳报警装置利⽤置于⽅向盘下⽅的磁性条检测⽅向盘转⾓。如果⼀段时间内驾驶员没有对⽅向盘进⾏任何修正操作，则系统推断驾驶员进⼊疲劳状态，并触发报警。
美国AssistWare Technology 公司的SafeTRAC 利⽤前置视频头对车道线进⾏识别，当车辆开始偏离车道时进⾏报警，该产品也可通过车道保持状态结合驾驶⼈的⽅向盘操作特性判断驾驶⼈的疲劳状态。
英国的ASTiD装置综合考虑驾驶员的睡眠信息、已完成的驾驶时长和类型，以及驾驶员的⽅向盘操作等各种因素判断驾驶⼈疲劳状态。装置运⾏前需要驾驶员输⼊⾃⼰过去24⼩时的睡眠信息。当视觉报警到⼀定程度时，触发声⾳报警，建议驾驶员停车并休息。休息⼀段时间后，内置闹钟会叫醒驾驶员，并重置驾驶时间。
除了上述这些产品之外，还有通过⼿腕运动检测疲劳的疲劳报警⼿镯和可挂在眼睛腿上的利⽤加速度运动信息检测头部运动的疲劳检测眼镜等其它⼀些疲劳检测预警产品。
对驾驶⼈疲劳状态监测⽅法与装置的研究, 对于预防由疲劳驾驶引起的交通事故有重要意义, 其应⽤前景⼴阔, 可以预见在未来很长⼀段时间内都将是汽车安全技术领域的⼀个热点⽅向。但是，驾驶⼈的疲
劳状态受多种因素影响，到⽬前为⽌还没有发现⾮常有效的指标或模型能够对疲劳等级进⾏精确的评价。因此需要进⼀步深⼊研究各种指标与驾驶⼈疲劳等级之间的关系。另外，现有的驾驶⼈疲劳状态监测⽅法⼤都基于某⼀单项指标，虽然在限定条件下能够达到⼀定的精度，但在实际复杂多变的⾏车环境下，其准确性和可靠性上还存在问题，难以达到预期要求。针对这⼀问题，多源信息融合⽅法将成为⼀个发展⽅向。