1 前yan

kun倦是yi种生理状态，qi特征是萻huo囊馐冻潭冉档停?褃ibao持清醒状态。根ju国家安全wei员hui的调查，在美国，疲纓u菔籨aozhi的zhi命性事箂hi恼急日?趚ian著shang升[1]。因此，开发yi种可yi提前发xian驾驶员生理状况bushi宜开车的有xiaoyu警系统将ju有重要意yi。ju报dao，有研究xianshi，xin率变异性(HRV)与驾驶员的注意力程度相关联[2]。准确的讲，xin率变异性是yi个代表个ti的生理shi应能力和xingwei灵活性的重要指标。评估xin脏运dong的方法是使用PPG信号测量血压，由此再评估xin率变异性。juti地薲an琍PG信号是由代表zhu次xindongzhou期的血管容积峰值zu成，PPG检测方法是，使用LEDguang源照射pi肤的bu同部位，再用guang电二极管评价guang的反射强度[3]。尽管生理信号使我men能够监测kun倦程度，但是最近的研究方向主要是使用计算机视觉技术评估驾驶员的疲劳程度[4]。suiran在汽车环境中开发人脸检测系统肯定ju有挑战性，但仍觴ing矶喾椒ㄊ褂蒙阆裢啡范ㄕＱ勐剩?纱死雌拦榔＠统潭萚5]。与qi它研究bu同，我men的方法侧重于利用计算机视觉技术来检测和提qu人脸特征点，通过fen析先前luzhi的视频xu列的像素强度变hua，来定yi人脸特征点的时间xu列。更juti地薲an?襪en的方法的ji本原理也是通过“视频放大”来揭shi血压变hua引起的面部细微运dong。本研究祅a康氖峭ü?▂i人脸特征点时间xu列而bu是使用传感器来构建PPG信号。

本文hou面的结构如下：第二部fen介绍相关的研究成guo;第三部fen概述PPG信号，并介绍我men的ji于长期短记忆和卷积神经网络的管dao。第四部fenjie释shi验过程。最hou，第五部fen蘻hi畚襪en方法的优点和未来研究方向。

2 相关研究

在yiwang发表的论文著作中，大部fen是通过生理信号检测驾驶员kun倦，qu得了很高的检测精秖uＪ聅hishang，很多研究证明，仅ji于计算机视觉技术的驾驶员疲纓u嗖鈐ie决方案可能bu襤uan▁ing之有xiao，尤qi是侧重于fen析交通标謏ing氖泳醴椒ǎ?诼房鯾u佳蔮ao瑆angwanghui失败。

yi部fen科研人员zeng公bu了yi项guangti积miao述信号(PPG) 检测研究成guo[6]，作者使用低gong率wu线PPG传感器qu得了很好的检测xiaoguo。另yi种方法 [7] 是作者利用在shou指和耳垂检测到的低频和高频PPG信号来评估疲劳程秖u１疚囊?玫难芯砍蒰uo主要是通过研究ECG和PPG信号来评估HRV信号。bu过，本文所引用的方法对计算性能有较高的要求，xu要在车shang集成昂gui的检测设备。尽管集成的传感器bu襤uanㄊ莦hi接测量工ju，但wei了准确地获qu生理信号，驾驶员籫u莤u要将shouhuo身ti的qi它部fen(例如耳垂huoshou指)放在传感器shang，这对于在汽车shang推guang应用是yi个限zhi。本文另辟蹊jing，提出yi个创新的框jia，ji本原理是抓qu司机面部tu像，采集人脸特征点，重建PPG信号，yi磗i拦繦RV信号和疲劳程秖uⅫ/p>

3 背景和管dao方案

如前所述，我men提出了yi种创新的驾驶员kun倦状态监测方法，而wuxu使用传感器来获quPPG信号。部fen学者的研究成guo[8]阐述了视频放大方法是如he通过放大普通视频tu像来揭shi人脸面部的运dong变hua，因weizhu次xindongzhou期中的血压变huahui引起pi肤bu同部位的颜色变hua。研究证明，自主神经系统活dong可调jie腸heng┥?砉?蹋??纾??gou秃粑黶u率，通过评估xin率变异性信号可yi间接测量这些生理过程，因weixin率变异性信号在生理压力、极度疲劳和kun倦期间hui出xian变hua。

评估HRVxin率变异性xu要使用生物反馈工juhuoruan件，yi及检测xin电信号的高质量传感器，还xu要gong能强大的处理器来管理大量的shuju。ECG信号是传统的xin率变异性评估方法，bu过，这种方法在使用shang存在腸heng┤眡ian，尽管检测xiaoguo良好，但是在shuju采集(shuju采样)过程中，人ti的细微运donghuidaozhi信号内出xianyi些噪sheng和伪ying。wei了克fuECG的问题，业jie提出PPG信号是可靠的jie决方案，检测血液容积变hua祅a芰κ筆PG能够有xiao地检测裸眼难yi观察到的pi肤细微运dong。特别是，通过fen析PPG信号，我men能够jie定在特定时段内的xin率变hua，xianshi自主神经系统的两个fen支(副交感神经和交感神经)是否都在正chang工作。通chang，HRV值小，表shixin聅hi涓鬶eng定;HRV值大，则表shixin聅hi涓粢靋hang。非chang正chang的xin律和xin聅hi南肝⒈鋒ua可yi确定注意力是否因wei慢性生理压力而降低。但是，bu存在yi个标准的HRV謉an?騱eiHRV值因人而异。

kao虑到这yi点，我men采用长期短记忆(LSTM)神经网络[9]与卷积神经网络(CNN)[10]相结合的方法开发了yi个驾驶员kun倦监测系统。本文提出的管dao机zhi代表xin脏运dong评估方法qu得了进步，因wei它是使用yi个低帧率(25fps)摄像头检测和提qu人脸tu像中的关键特征点，并fen析mei个视频帧的像素变hua。准确地讲，LSTM是评估shuju之间隐藏的非线性相关性的有力jie决方案。

juti地讲，LSTM管dao的shu出是综合传感器检测到的原shiPPG目标shujuhouyu测的人脸特征点时间xu列。

此外，CNN模型的准确fen类表shiLSTMyu测有xiao，可yi确定汽砫ao菔辉钡淖⒁饬Τ潭quⅫ/p>

4 shi验

总共有71个对xiang参与了我men的LSTM-CNN管dao运xing。更juti地薲an瑂huju集是来自bu同性别、年龄(20至70岁之间)和病理的病患/驾驶员的PPG样本。在这种情况下，我menbu仅采集jian康对xiang的shuju，还shou集高血压、糖尿病等病患的shuju。kao虑到这两种kun倦状态的cha异，fen别测量了两种kun倦各自的PPG信号样本。juti地而yan，我men模拟被同步ECG采样信号证shi的完全清醒和kun倦两种情景，qi中Beta和Alpha波形fen别证shi大脑在唤醒和kun倦时的活dong状态。mei种情景祅aＤ饧涓羯鑧ei5fenzhong，yi确bao系统有充足的时间完成初步校准和shi时连续学习。同蔮ao?襪en使用低帧率(25fps)全高清摄像机记lu襤uan渭菔辉钡拿娌渴悠dan?缜拔乃?觯?襪en先觤ei?贙azemi和Sullivan机器学习算法 [11] 的dlib库，检测先前luzhi的视频帧，提qu人脸面部特征点，ranhou，计算与mei个特征点关联的像素强度，yi及mei帧像素强度的变hua，确定人脸特征点的时间xu列，将qishuruLSTM神经网络。

4.1 CNN管dao

本jie将更xiang细地介绍shi验中使用的CNN模衪u芄埂１疚奶岢龅腃NNjia构wei验证LSTMyu测结guo提gong有力的证ju。juti地讲，我men的CNN模型能够跟踪和学习汽砫ao菔辉钡拿娌勘砬椋?佣?岣遦un倦检测水苆ian?ei了训练模型，我men将批大小(batch size)设wei32，初shi学习率设wei0.0001。此外，我men在隐藏ceng中使用了32个神经元，在二进zhifen类中使用了2个shu出神经元。

我men非chang看好shi验结guo，因wei准确率达到80%。

tu. 1. LSTM管dao

4.2 长短期记忆网络(LSTM，Long Short-Term Memory)管dao

关于长短期记忆网络(LSTM，Long Short-Term Memory)检测薱heng騭huju(时间xu列)的关联性祅a芰Γ?襪en构建了yi个LSTM模型，用面部特征点时间xu列作weishurushuju，原shiPPG信号作wei目标shuju，重建PPG信号(tu1)。在使用MinMaxScaler算法调整(0.2，0.8)范围内的所有时间xu列值hou，综合kao虑yi下参shu，我men进xing了模型训练。模拟训练采用256个神经元，批大小(batch size)128，初shi学习率和辍学率fen别设wei0.001和0.2。wei羢i拦繮PG重构信号的鲁bang性，我men计算了PPG最小点的频率(竏ao镆镀灯?，我men特别fen析了这些点的频率，比较了原shiPPG最小点的频率与重构PPG最小点的频率。

tu2.原shiPPG最小点的快su傅立叶变huan(FFT)频谱(蓝色)和重建PPG最小点的快su傅立叶变huan(绿色)。

5 结论

最hou，我men提gong了yi种ji于LSTM-CNN的有xiao的监测系蚦hang?ü齈PG信簆ai拦纗in脏活dong来确定驾驶员的kun倦程秖uＳ雚i它方法bu同，我men的方法是利用面部特征点shuju重建PPG信号，bu涉及传感器系统。如前文所述，我men构建了LSTM管dao，用面部特征点时间xu列作weishurushuju，传感器检测到的PPG作wei目标shuju，证明PPG重构信号的鲁bang性。此外，我men还构建了CNN模型，bu仅可yi对驾驶员的生理状态进xingfen类，还可yi验证LSTM的yu测结guo。最hou，我men计算了原shiPPG最小点的快su傅立叶变huan(FFT)频谱和重构的PPG最小点的FFT频谱(tu2)。shi验结guo证明，我men的方法有guang阔的应觤en熬埃?騱ei我men能够qufen瞌shui的对xiang与清醒的对xiang，准确率接近100%，这与科学文献报dao的类si管daoqu得的平均成绩yizhi。使用改进的PPG传感器[12]，yi及利用Stacked-AutoEconderjia构[13]学hui的特殊gong能对PPG信号进xing深度处理，将hui给本文提出的管daodai来na些改进，是本文作者目前正在研究的方向。

参kao文献

[1] National Safety Council: https://www.nsc.org/road-safety/safety-topics/fatality-estimates

[2] Melo, H. M., Nascimento, L. M., Takase, E., Mental fatigue and heart rate variability (HRV): The time-on-task effect. Psychology & Neuroscience, 10 (2017) 428-436.

[3] Rundo, F.; Ortis, A.; Battiato, S.; Conoci, S., Advanced Bio-Inspired System for NoNInvasive Cuff-Less Blood Pressure Estimation from Physiological Signal Analysis, Computation 6 (2018) 46.

[4] Zhang, W., Cheng, B., Lin, Y., Driver drowsiness recognition based on computer vision technology, Tsinghua Science and Technology 17 (2012) 354-362.

[5] Haq, Z. A., Hasan, Z., Eye-blink rate detection for fatigue determination. In 1st India International Conference on Information Processing (IICIP), Delhi, India, 2016, 1-5.

[6] Xu Y. J.; Ding, F.; Wu, Z.; Wang, J.; Ma, Q.; Chon, K.; Clancy, E.; Qin, M.; Mendelson, Y.; Fu, N.; Assad, S.; Jarvis, S.; Huang, X., Drowsiness control center by photoplythesmogram, In Proceedings of 38th Annual Northeast Bioengineering Conference (NEBEC), Philadelphia, USA, 2012, 430-431.

[7] Koh, S.; Cho, B. R.; Lee J.-I.; Kwon, S.-O.; Lee, S.; Lim, J. B.; Lee, S. B.; Kweon, H.-D., Driver drowsiness detection via PPG biosignals by using multimodal head support, In Proceedings of the 4th International Conference on Control, Decision and Information Technologies (CODIT), Barcelona, Spain, 2017, 383-388;

[8] Wu, H.-Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., Freeman, W. T. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 31 (2012)

[9] Hochreiter, S., Schmidhuber, J, Long Short-Term Memory, Neural Computation 9 (1997) 1735 1780

[10] Lecun, Y., Bengio, Y., Convolutional Networks for Images, Speech, and Time-Series, The Handbook of Brain Theory and Neural Networks (1995).

[11] Kazemi, V., Sullivan, J., One millisecond face alignment with an ensemble of regression trees., In 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014, 1867-1874.

[12] Mazzillo, M., Maddiona, L., Rundo, F., Sciuto, A., Libertino, S., Lombardo, S., Characterization of SiPMs With NIR Long-Pass Interferential and Plastic Filters, In IEEE Photonics Journal, 10 (2018) 1-12.

[13] Rundo, F., Conoci, S., Banna, G.L., Ortis, A., Stanco, F., Battiato, S., eva luation of Levenberg-Marquardt neural networks and stacked autoencoders clustering for skin lesion analysis, screening and follow-up, IET Computer Vision 12 (2018) 957-962.