通过分析人才测评工具中项目的内部一致性来确定区分度。项目效度代表题目与外在效标的关系,内部一致性则更多地代表人才测评的题目与总分的关系,通常可以用测验各部分与测评总分之间的相关指标来检测项目区分度。
有时仅使用效标难以进行诸如成就测验的项目分析,而只有用人才测评中测验总分代替效标来考查、分析个别项目或试题与总分的一致性。这种分析的结果就是内部一致碑性的指标,但不是题目对效标的有效性。而这种分析的方法与分析项目效度的方法相同,只是分析的变量不同,即以人才素质测评中测验总分替代外在效标成绩。具体地说,这个分析方法包括:
①求解试题反应与总分的相关程度。这可以 采用点二列相关和二列相关系数来表示内部一致性的高低。
②比较 总分高低两组在每道题上通过率的差异,求得区分度指数高低。如 果D值越大,就表示该题能对总分高低不同的被测者作出区别。
③分析总分方差与它所实际包含的各个试题方差的相关。
④计算每道人才测评的测评题与其他所有项目合成分数之间的相关。而这样的合成分数 一般难以直接算得,但可依据一定变量进行估计。
最后的分析是,当每个试题或项目的方差都相同时,或者测评题较多 以致各题所贡献的方差比例都较小时,就可以把项目和总分的相关作为项目区分度的指标。需要指出的是,选择较高的内部一致性 目,并不一定与外在效标有很高相关:而部分具有很高项目效度的题目与测验总分之间也并不一定高相关。这即是说,项目效度和内部 一致性并不一定没有矛盾。因而,在编制测验时一般均根据测验的 目的确定选择题目的区分度指标,但对预测性测验来说则多采用较 高的项目效度为区分度指标。