黄顺森 陈豪杰 来枭雄 代欣然 王 耘

    (北京师范大学认知神经科学与学习国家重点实验室,北京 100875)

    1 背景

    科学研究的可重复性主要有两层含义：一是对同一个数据集,由不同的研究者使用相似的方法对原研究结论进行验证(一般用reproducibility表示);二是不同研究者使用相似的方法,收集新的数据检验已有研究结果的可靠性(一般用replicability表示) (Artner et al.,2020;Nosek et al.,2022)。一直以来,心理科学研究备受可重复性危机的诟病,引发了国内外心理学研究者的广泛关注(Aarts et al.,2015;Nosek et al.,2022;Pashler &Wagenmakers,2012;Tackett et al.,2019;朱滢,2016;胡传鹏 等,2016;骆大森,2017)。开放科学联盟(Open science collaboration,OSC)在Science期刊发表了一篇探讨心理学研究可重复性的文章,发现大部分心理学研究结果不可重复,并提出最关键的原因是“可疑操作”,即选择性分析、选择性呈现研究结果,或者不充分呈现研究结果(Aarts et al.,2015)。换言之,对于任何数据集,研究者都有大量可操作的空间,可以自由、自主地选择只呈现某一种分析结果,这种单一结果的非代表性加剧了可重复性危机 (Aarts et al.,2015;Simonsohn et al.,2020;Steegen et al.,2016)。国内研究者通过分析OSC 的研究材料,进一步区分可重复危机产生的两大源头(传统统计学体系的局限和人为偏差)的差异,发现原研究的阳性结果中,真阳性结果不到三分之一,相当部分的结果,极有可能是人为偏差造成的(骆大森,2017),例如p值操纵(P-hacking)、研究者自由度(researcher degree of freedom)、“小径分叉的花园” (garden of forking paths) (Gelman &Loken,2014;Simmons et al.,2011;胡传鹏 等,2016)。这种人为偏差主要体现在研究者设计、分析、发表过程中对变量选择、分析策略的主观操作上。而过于追求阳性或显著性的结果是导致研究者选择分析变量、选择性报告结果的重要原因。因此,心理科学研究中常常出现两种现象——过度追求统计显著性或夸大化效应(inflated effects)、抵制或忽略小效应(G?tz et al.,2020;Ioannidis,2008;胡传鹏 等,2016) ......