李婧婷 东子朝 刘 烨,2 王甦菁,2 庄东哲

    ·研究构想(Conceptual Framework)·

    基于人类注意机制的微表情检测方法*

    李婧婷1东子朝1刘 烨1,2王甦菁1,2庄东哲3

    (1中国科学院行为科学重点实验室(中国科学院心理研究所), 北京 100101) (2中国科学院大学心理学系, 北京 100039)(3中国人民公安大学公共安全行为科学实验室, 北京 100038)

    微表情是一种持续时间极短、不易被察觉的面部动作, 揭示了个体的真实情绪, 可以被广泛地应用于谎言识别等领域。而微表情检测的研究受到小样本问题的限制。针对该问题, 本文结合计算机视觉技术与认知心理学实验方法进行探索。首先, 结合眼动技术和呈现?判断范式与阈下情绪启动效应的行为实验范式, 考察微表情识别中选择注意分配的认知机制, 细化人类识别微表情时的特征兴趣区域。其次, 结合人类注意机制, 提出基于自监督学习的多模态微表情检测方法。通过理论和关键技术的突破, 为真实场景下微表情检测的应用奠定基础。

    微表情检测, 小样本问题, 人类注意机制, 自监督学习, 深度信息

    1 问题提出

    微表情是一种持续时间极短、不易被察觉的面部动作, 往往会在高风险情况下产生(Ekman & Friesen, 1969)。它由Haggard和Isaacs于1966年发现(Haggard & Isaacs, 1966), 之后由Ekman和Friesen命名。微表情的持续时间通常在1/25到1/5秒之间(Ekman & Friesen, 1969), 是非常重要的非语言交流线索, 它可以揭示真实的情绪和个人的心理状态(Haggard & Isaacs, 1966)。作为谎言识别的重要线索之一, 微表情的有效性甚至显著高于言语内容、语音、语调、身体姿势等其他线索(Owayjan et al., 2012), 可以被广泛地应用于国家安全、司法实践、临床诊断、学生教育、卫生防疫等领域。例如微表情可以作为重要线索来帮助此次新冠疫情的排查工作, 包括甄别人员是否对旅行史、密切接触情况以及发热症状等有所隐瞒。

    持续时间短和动作幅度低是微表情的主要特征。如图1所示, 被试通过极其轻微的皱眉流露出厌恶的情绪, 但观察者单纯通过肉眼很难在视频中捕捉人脸微表情。微表情的人工检测和识别需要花费大量的人力物力, 并且参与分析的人员需要经过专业的训练。Ekman在2002年开发了第一个微表情培训工具(Micro-Expression Training Tool, METT) (Ekman, 2003), 其目的是训练人类检测和识别微表情 ......