王 苹 潘治辉 张立洁 陈煦海

    (陕西省行为与认知神经科学重点实验室,陕西师范大学心理学院,西安 710062)

    成功地识别和加工情绪信息是社会交往的关键环节之一。当前情绪认知研究多关注单通道(如面孔或语音)所传达情绪的加工,但现实生活中我们所接收的情绪信息往往不是单一感觉通道传递的,而是多个感觉通道同时传递(Klasen,Chen,& Mathiak,2012;Robins,Hunyadi,&Schultz,2009)。近年来,“多通道情绪信息的整合加工机制”已引起心理学和认知神经科学研究者的关注,已有研究发表在PNAS等国际权威杂志上(Hagan et al.,2009)。

    然而,当前研究主要考察多通道结合相对于单通道的优势、多通道情绪刺激加工的时间进程(when)和相关脑区(where),对“多通道情绪信息是否能整合为一致情绪客体？如果能,来自不同通道的情绪信息是如何在神经振荡层面整合(how)为一？”等问题都缺乏系统研究。对这些问题的系统探讨,从理论上可以推进情绪认知神经机制研究以及多通道信息整合的脑机制研究。从应用上可以为精神分裂症、自闭症和广泛性发展障碍的诊断以及微情绪识别等应用研究提供理论参考。

    1 国内外研究现状

    1.1 面孔和语音情绪整合的表现及影响因素

    多通道感觉整合是人类知觉中普遍存在的现象,著名的如McGurk效应——视觉呈现“ba”的嘴型,同时听觉呈现“ga”的声音,人们感觉自己听到的是“da”(McGurk&MacDonald,1976)。这种现象也发生在情绪信息的知觉加工中,主要表现为视听通道的情绪信息一致时,相对于不一致或单通道的情绪信息,人们完成情绪判断的准确率更高,反应更快(Kreifelts,Ethofer,Grodd,Erb,&Wildgruber,2007;Massaro&Egan,1996),被试会整合双通道的信息来评价情绪(De Gelder&Vroomen,2000),当其中一个通道的信息模糊时,另一通道的作用会更大(Massaro&Egan,1996)。此外,双通道信息整合中,视觉情绪信息所起的作用更大 (Jessen&Kotz,2011;Watson et al.,2014a)。

    面孔、语音情绪信息的整合会受诸多因素的影响。首先,面孔和语音情绪信息的整合受刺激驱动加工和任务驱动加工(Wildgruber,Ethofer,Grandjean,&Kreifelts,2009;Klasen et al.,2012)的影响 ......