罗霄骁 康冠兰 周晓林,2,3,4

    McGurk效应的影响因素与神经基础*

    罗霄骁1康冠兰1周晓林1,2,3,4

    (1北京大学心理与认知科学学院, 北京 100871) (2北京大学机器感知与智能教育部重点实验室, 北京 100871) (3北京大学IDG麦戈文脑科学研究所, 北京 100871) (4浙江师范大学心理与脑科学研究院, 金华 321004)

    McGurk效应(麦格克效应)是典型的视听整合现象, 该效应受到刺激的物理特征、注意分配、个体视听信息依赖程度、视听整合能力、语言文化差异的影响。引发McGurk效应的关键视觉信息主要来自说话者的嘴部区域。产生McGurk效应的认知过程包含早期的视听整合(与颞上皮层有关)以及晚期的视听不一致冲突(与额下皮层有关)。未来研究应关注面孔社会信息对McGurk效应的影响, McGurk效应中单通道信息加工与视听整合的关系, 结合计算模型探讨其认知神经机制等。

    McGurk效应; 视听言语感知; 视听整合; 多感觉整合

    1 前言

    多感觉整合(multisensory integration)是将不同感觉通道输入的信息有效合并为统一、连贯、稳定的知觉的过程(Stein & Stanford, 2008; 文小辉, 李国强, 刘强, 2011; 文小辉等, 2009)。视听言语感知(audiovisual speech perception)是一种典型的多感觉整合过程——在与他人面对面交流时, 个体会整合视觉信息和听觉信息进行言语理解, 也即视听整合(audiovisual integration)。其中, “视觉信息”指的是说话人的口唇发音动作、面部肌肉活动及表情等。个体可以利用这些信息形成连续的视知觉, 并与头脑中储存的词语表象相比较和联系, 进而理解说话者表达的内容。该过程也称为“唇读” (lipreading) (Summerfield, 1992; 朴永馨, 2006; 徐诚, 2013)。例如：听力障碍者主要依赖视觉信息进行言语感知(雷江华, 方俊明, 2005)。“听觉信息”指的是说话人的语音信息。对听力正常者 而言, 听觉信息在言语感知中起主导作用, 视觉信息是辅助信息。即使如此, 视觉信息对言语感知的影响仍然存在, 例如同时呈现听觉信息和相应的视觉信息时, 言语感知准确率比单独呈现听觉信息时高(Ross, Saint-Amour, Leavitt, Javitt, & Foxe, 2007)——这体现了视听整合的益处 ......