郭 磊 秦海江

    基于信号检测论的认知诊断评估：构建与应用*

    郭 磊1,2秦海江1,3

    (1西南大学心理学部;2中国基础教育质量监测协同创新中心西南大学分中心, 重庆 400715) (3贵阳市第三十七中学, 贵阳 550003)

    作答选择题可被看作从噪音中提取信号的过程, 研究提出了一种基于信号检测论的认知诊断模型(SDT-CDM)。新模型的优势在于：(1)无需对选项进行属性层面的编码。(2)能获得传统诊断模型无法提供的题目区分度和难度参数。(3)可以直接表达每个选项之间的合理性差异, 对题目性能刻画更加细微全面。两个模拟研究结果表明：(1)EM算法可以实现对新模型的参数估计过程, 便捷有效。(2) SDT-CDM具备良好性能, 分类准确性和参数估计精度较高以外, 还能提供选项层面的估计信息, 用于题目质量诊断与修订。(3)属性数量、题目质量与样本量等因素会影响SDT-CDM的表现。(4)与称名诊断模型NRDM相比, SDT-CDM在所有实验条件下对被试的分类准确性更高。实证研究表明：SDT-CDM比NRDM具有更好的模型数据拟合结果, 其分类准确性和一致性更高, 尤其当属性考察次数较少时具有很强的稳定性, 难度和区分度参数与IRT模型估计结果的相关性也更高, 值得推广。

    信号检测论, 认知诊断, 选择题, EM算法

    1 引言

    自Kelly (1916)第一次提出选择题(Multiple-Choice, MC)测验形式, 因其客观、有效、便捷等特点而广受欢迎, 直至当下仍是测验主流题型之一, 并广泛应用在TIMSS、PISA、NAEP和TOEFL等标准化测验。MC题型具有诸多优势：不受主观误差影响、提高测验信度、易于批阅且计分快速、满足内容平衡需求等(郭磊, 周文杰, 2021)。通常, MC作答数据被当作0-1计分形式(即答对或答错)处理, 但这样会造成干扰项信息的损失。为了充分挖掘干扰项的诊断信息, 提高个体知识状态的分类精度, 研究者提出了许多方法, 如MC-DINA模型(Multiple- Choice DINA; de la Torre, 2009)及其拓展的结构化MC-DINA模型(Ozaki, 2015), 包含干扰项信息的SICM模型(Scaling Individuals and Classifying Misconceptions Model; Bradshaw & Templin, 2014)和GDCM-MC模型(Generalized Diagnostic Classification Models for Multiple Choice Option-Based Scoring; DiBello et al., 2015), 以及基于选项层面的非参数认知诊断方法(郭磊, 周文杰, 2021; Wang et al., 2023) ......