陈 平 代 艺 黄颖诗

    ·研究方法(Research Method)·

    测验模式效应：来源、检测与应用*

    陈 平 代 艺 黄颖诗

    (北京师范大学中国基础教育质量监测协同创新中心, 北京 100875)

    测验模式效应(Test Mode Effect, TME)是指同一测验采用不同测验形式施测而产生的测验功能差异。TME的存在会对测验公平、选拔标准和测验等值等产生影响, 因此对TME进行准确检测和合理解释具有重要意义。通过对TME的来源、检测(包括实验设计和检测方法)以及研究结果进行系统梳理, 全面展示TME研究的方法论。对TME模型进行进一步解释、对TME研究中的测验形式进行拓展以及将TME的研究成果应用于我国的大规模教育测评项目, 都是TME领域的未来重要发展方向。

    测验模式效应, 测验公平, 测量不变性, 计算机测验

    1 引言

    随着计算机技术的进步和网络的普及, 计算机测验已经在测量和评估领域得到广泛使用。大到国际大规模测评项目, 小到课堂测试, 都越来越多地使用计算机进行施测。测验形式正经历着从传统“纸笔测验(Paper-based Testing, PBT)”向“计算机测验(Computer-based Testing, CBT)”的转变。与PBT相比, CBT具有很多优点, 比如: (1)采用计算机辅助测验, 测量更加高效、公平; (2)可以呈现高生态效度和高交互性的新颖题型, 增加被试的作答兴趣(Pomplun et al., 2006); (3)可以方便记录被试的作答步骤、动作序列和作答时间等过程性信息, 从而更全面地评价被试。正因如此, CBT已在国际学生评估项目(Programme for International Student Assessment, PISA)、国际数学和科学趋势研究(Trends in International Mathematics and Science Study, TIMSS)、美国国家教育进展评估(National Assessment of Educational Progress, NAEP)等大规模测评项目中得到广泛应用(檀慧玲等, 2018)。

    尽管大多数测验都在朝着CBT的方向发展, 但这并非一个简单的过程。在进行测验形式的转化之前, 研究者和实践者面临一个关键性问题: 当同一测验采用不同测验形式(比如PBT和CBT)施测时, 其测验结果不一定相同, 因而不能盲目地对它们进行直接比较(Jerrim, 2016) ......