聂旭刚 陈 平 张缨斌 何引红

    (1北京师范大学中国基础教育质量监测协同创新中心; 2北京师范大学教育学部;3北京师范大学数学科学学院, 北京 100875)

    1 引言

    在1984年至1986年的美国教育进展评估项目(The National Assessment of Educational Progress,NAEP)中, 9岁和17岁受测群体的阅读成绩出现难以置信的异常下降, 这一事件引发一项为期 3年的调查研究, 也即后来被大家所熟知的“1986年NAEP阅读异常研究” (详见Beaton et al., 1988;Beaton & Zwick, 1990)。后续研究表明：导致这一现象的主要原因是NAEP中题册间锚题位置与情境的变化(Zwick, 1991)。这一现象作为测量领域的一个警钟, 提醒研究者们：题目位置和情境的变化会对受测者的作答反应产生不容忽视的影响,尤其是在测验等值设计中。

    目前, 测验中因题目位置变化所产生的影响,主要是从题目位置变化如何影响题目参数的角度进行探究。在此背景下, 本文将题目位置效应(Item Position Effect, IPE)定义为：在剔除随机误差的影响之后, 同一个题目在不同测验间因题目位置的变化而导致题目参数的变化。由上述定义并结合以往研究, 可以看出 IPE会对依赖于项目反应理论(Item Response Theory, IRT)参数不变性(parameter invariance)1特征的相关应用、测验公平性以及考生的作答心理等方面造成不利影响。

    首先, 在心理与教育测量中, 参数不变性特征是IRT的最大优点(罗照盛, 2012)。IRT正是由于具备这一特性, 才使得它在指导题库建设、计算机化自适应测验(Computerized Adaptive Testing,CAT)中发挥着无法比拟的作用。同时, 参数不变性特征也是测验等值技术得以实现的前提条件;在多种等值设计中, 非等组锚测验设计(Kolen,2006)是最常见的等值数据搜集方法, 这种设计通过一组内嵌在两个平行测验中的锚题来实现两个测验间的等值。而且该设计有一个关键假设：锚题的统计学特性在不同的测验间应该是稳定的,即锚题参数不变性假设。另外, 在矩阵取样(matrix sampling)技术中, 为了实现不同学生之间成绩的比较, 需要在不同题册间设置相同的组块(block)加以链接, 并且组块的位置在各个题册间也是不同的。此时, 链接所使用题目的参数稳定性, 对于矩阵取样设计的有效性具有决定性影响 ......