编制测评试题时,因测评方法本身的性质不同,其编制的流程和要求也各不相同,但原理大致相同,一般包括以下几个步骤:
(一)测评目标需求分析与分解 在测评试题编制开始前,首先要明确测评对象与测评内容,由于测评目的不同,所涉及的测评形式、所采用的试题形式、题目的范围和难度都有所不同,一般可以分为显示性测评和预测性测评,显示性测评实质测评题目与需要测量的行为相似,如成就测验、态度测验;预测性测评是预测一些没有受到测量的行为,如角色扮演、文件筐处理等测评方式。 然后将测评目标进行分解,转化成可操作的测评指标,为后续工作奠定基础。
(二)制定编题计划 要事先设计编制题目的蓝图———编题计划。编题计划通常是一张双向细目表,确定测评包含的指标体系的要素和权重,以此为基础去确定测评编制什么样的试题,多少试题。一个测评往往包含多个测评方法,每一个测评又包含不同的测评内容,因此编题计划要充分考虑这一点。
(三)编制测评题目 这是最关键的一个阶段,可细分为三个步骤。第一步,收集和筛选测评素材,根据各个测评的分目标和编题计划来进行。这里包括三个原则:一是针对性,相关素材要符合测评目标;二是代表性,素材来源尽可能丰富;三是普遍性,要对被测者普遍适用,并注意文化背景的差异。第二步,选择好测评素材后,要讲究命题的方法和技术,具体的编制过程要经历写出、编辑、预试、修改等一系列的步骤,在获得满意的测评试题之前,要反复不断重复这一步骤。第三步,确定相应的评价标准。
(四)试题的试测和分析 将初步选出的试题结合成一种或几种备选测试,经过实际的试测来获得客观性的材料,然后是信度与效度分析,对项目的难度、区分度进行统计分析,判断出每个项目的性能优劣,从而进一步筛选题目。试测完成后还要对测评结果进行质和量的分析。
(五)组合测评试题 根据分析的结果,选择鉴别力较高的、符合难度分布要求的题目,再结合测验的目的、 性质和性能,来最终选择出合适的试题来组合成测评。在测评试题的编排上,通常有两种方式:一是并列直进式,即将试题按试题材料的性质分成若干分测验,同一分测验中的试题按其难度由易到难排列;二是混合螺旋式,这种方式是将试题依难度分为若干不同的层 次,再将不同性质的试题予以组合,作交叉排列,其难度渐次升级。
(六)测评试题的标准化 严格说明如何控制与得分步骤有关的各个要素,以尽量减少无关因素对测验目的的影响,减少误差。具体包括测验内容、指导语、测验时限、施测过程、评分过程和制定常模。
(七)对测评试题的鉴定 测评试题编好后,必须对其测量的可靠性和有效性进行考验,为此要收集信度和效度资料。在心理测量学上,有一整套计算信度、效度的方法。只有具有了一定的信度和效度,才可能是一个优良的测评试题。另外,还要根据制定常模参照量表,将原始分转化为标准的量表分。常用的心理测验量表有百分量表、标准分数量表、T量表、发展量表、商数等。
- 上一篇:职业锚的几种类型介绍
- 下一篇:测评方法组合的步骤