几种效度的估计

构想效度



所谓构想效度是指测验对理论上的构想或特质的测量程度。


（一）确定构想效度的基本步骤


确定构想效度的基本步骤是，首先从某一理论出发，提出关于某一心理特质的假设，然后设计和编制测验并进行施测，最后对测验的结果采用相关或因素分析等方法进行分析，验证与理论假设的相符程度。例如，我们假设“智力与学习成绩有着密切关系”，那么我们就可以根据假设编制测验，并对测验结果进行分析，如果智力与学业成就有着较高的相关，那就说明我们的假设是正确的，这就为构想效度提供了有力证据。


（二）确定构想效度的方法


1．测验内法这类方法主要是通过研究测验内部结构，如测验的内容以及题目间的关系等来分析测验的构想效度。


（1）确定测验的内容效度


通过确定测验取样的内容范围，我们就可以利用这些资料来定义测验所要测的构想的性质。例如，在编制语文能力测验时，我们将内容总体描述为对词汇下定义、对语言进行类比推理以及在文章篇句中正确运用文字的能力，这在实际上就是给“语文能力”的构想下了定义。因此，确定测验的内容效度便为构想效度提供了有关证据。


（2）分析被试对项目作反应的过程


通过观察被试的操作，询问他们的解题过程，以及做必要的统计分析，可发现究竟是哪些因素影响了反应，因而也可以确定该测验是否真正测到所欲测量的心理结构。


（3）考查测验的同质性


通过对被试在项目上的反应与总分的相关计算，以及α系数、库德—理查逊等指标的计算，可以推估测验所测的是单一特质还是多种特质，从而确定测验是否具有构想效度。


2．测验间法


通过对几个测验的比较研究，找出它们所测的共同特质，这样便可确定这些测验是否具有构想效度。


（1）相容效度


确定构想效度的最简单的方法是计算被试在新旧两个同类测验上的分数之间的相关。如果相关高，则说明两个测验所测的是相同的特质。例如，许多新编制的智力测验大都是和世界上公认有效的斯坦福—比奈量表作比较，以证明其有效性。


（2）区分效度


一个有效的测验不仅应与其他测量同一构想的测验有较高的相关，而且还应与测量不同构想的测验具有较低的相关，用此种方法确定的效度叫区分效度。例如，数学推理能力测验应与平时的数学考试成绩具有高相关，而应与阅读能力测验具有低相关。若与后者相关高，便说明前者受了阅读能力的影响，因而效度是可疑的。


（3）因素效度


建立构想效度最为常用的方法是，通过对一组测验进行因素分析，找到影响测验分数的共同因素，每个测验在共同因素上的负荷量即每个测验与共同因素的相关，称做测验的因素效度。


3．效标关联法


如果一个测验与效标具有高相关，那么该测验所预测的效标的性质与种类就可以作为测验所测量的构想的指标。


4．实验操作法


通过控制某些实验条件，观察其对测验分数的影响，也可以获得构想效度的信息。例如，在进行一个关系重大的考试前，对被试施测焦虑测验，如果考前的焦虑分数比平时显著提高，则说明该焦虑测验有较高的构想效度。


（三）对构想效度的评价


构想效度是一个有争议的概念，有人赞赏它反映了效度的本质，但也有人批评它无法直接考查。总的来说，构想效度促使研究者把着眼点放在提出假设、检验假设上，使得测验成为理论研究的重要工具，而不再只是实际决策的辅助工具，从而使测验有了更广阔的发展前景。构想效度的主要缺点是，有些构想概念模糊，没有一致的定义，确定效度时没有明确的操作步骤，没有单一的数量指标来描述有效程度。





内容效度


（一）什么是内容效度


内容效度是指项目对欲测的内容或行为范围取样的适当程度。例如，教师在讲授了一段时间课程之后就要进行考试，而试卷不可能包含所有内容，只能从中选出一个代表性样本来测试，再根据分数来推论学生在该范围内的知识技能的掌握情况。如果测试题目是该范围内容的好样本，推论就有效。


一个测验要具备较好的内容效度必须满足两个条件。


①要确定好内容范围，并使测验的全部项目均在此范围内。所谓内容范围可以是具体知识或技能，也可以是复杂行为。成就测验的主要目的在于测量学生的学习效果，因此特别重视内容效度。


②测验项目应是已界定的内容范围的代表性样本。换句话说，就是选出的项目能包含所测的内容范围的主要方面，并且使各部分项目所占比例适当。具体做法是对内容范围进行系统分析，将该范围划分为具体纲目，并对每个纲目作适当加权，然后根据权重，从每个纲目中随机取样。


（二）确定内容效度的方法


1．专家判断法


确定测验内容效度常用的方法是由专家对测验项目与所涉及的内容范围进行符合性判断，这是一种定性分析的方法。对于成就测验来说，学科专家要先对教学大纲或教材有全面了解，然后与测验题目进行系统比较，看题目是否能代表所规定的内容。具体方法步骤如下：


①定义好内容总体，并描绘出有关知识与技能的轮廓；


②划分细纲目，并根据重要性规划好各个纲目的加权比例，作出尽可能详细的描述；


③确定每道题所测的知识与技能，将自己的分类与测验编制者的纲目作比较；


④制订评定量表，从各方面对测验作出评定。


2．复本法


克伦巴赫认为，内容效度可由一组被试在取自同样内容范围的两个测验复本上得分的相关来作数量上的估计。如果相关低则说明两个测验中至少有一个缺乏内容效度，但无法确定究竟哪一个缺乏内容效度。当相关高时，一般推论测验具有内容效度，但也可能出现两个测验有相同偏差的情况。


3．再测法


先将测验施测于被试，由于被试对测验内容了解甚少，因而得分较低，然后对他们进行教学训练，结束时再测一次，如果成绩提高很大，则说明测验对于教学具有较高的内容效度。


4．经验法


不同的被试团体在测验上的得分和对每题的反应存在较大差异，一般说，高年级比低年级的水平要高，如果总分和题目的通过率随着年级而增高，则说明测验对于教学具有内容效度。


（三）内容效度的应用


作为一种方法，内容效度较为适合于评价教育成就测验和职业选拔测验。在这种测验中，测验内容应是知识、技能和实际工作的代表性样本。内容效度不仅是评价教育成就测验和职业选拔测验的较好方法，而且也是编制任何测验都应加以考虑的基本方面。内容效度对标准参照测验更为重要，因为在标准参照测验中我们主要关心的是被试对一定范围内的知识、技能掌握得如何。


在实际应用中，内容效度容易与表面效度相混淆。所谓表面效度指的是外行人从表面上看测验是否有效。表面效度不是效度的客观指标，它不能真正反映测量的有效程度，但是它能影响被试的动机，从而影响测验的效果。所以在编制测验时，表面效度是一个必须考虑的问题。


内容效度既具有一定的优点，也有一定的局限。它的主要缺点是缺乏可靠的数量指标，因而妨碍了各测验间的相互比较。





效标效度


衡量测验有效性的一个重要方法是看根据测验所做出的预测是否能证实，如果一个测验的预测与将来实际发生的事情非常接近，那么这就是一个好测验。例如，用大学入学考试来预测被试入学后的学习，如果预测准确性高，便说明这是一个好测验。在这里，被预测的行为是衡量测验是否有效的标准，简称效标。所谓效标效度，就是考查测验分数与效标的关系，看测验对我们感兴趣的行为预测得如何。因为效标效度需要有实际证据，所以又叫实证效度。


（一）预测效度与同时效度


根据搜集效标的时间，可以将效标效度分为预测效度和同时效度。


1．同时效度同时效度的效标资料是与测验分数同时搜集的。例如大学入学考试可以用中学成绩作效标。同时效度常用的效标是在校的学业成绩、教师的等级评定、临床检查等。


2．预测效度


预测效度的效标资料需要过一段时间才可搜集到。此种效度对人员的选拔和安置工作非常重要。常用的效标是专业训练的成绩、实际工作的表现等。


（二）效标和效标测量


1．效标


所谓效标指的是衡量测验有效性的外在标准，通常是指我们所要预测的行为。


可以用来作为效标的变量有很多。效标可以是连续变量（如分数），也可以是分类变量（如职业）；可以是自然的现成的指标（如产量、薪水），也可以是人为设计的指标（如课堂测验）；可以是主观评判，也可以是客观测量。归纳起来，常见的效标主要有学业成就、等级评定、临床诊断、特殊训练成绩、实际工作表现、对团体的区分、其他测验成绩。

2．效标测量


阿斯汀（A.W.Astin）将效标分为观念效标和效标测量。观念效标是一个概念，效标测量则是对观念效标的数量化。例如：对于大学入学考试来说，我们感兴趣的是“大学学习的成功”，这是观念效标，而大学的学习成绩，则是效标测量。如果无效标测量，观念效标是毫无用处的。


好的效标测量应符合以下几个条件：


①效标测量必须真实地反映观念效标的重要侧面；


②效标测量必须稳定可靠；


③效标测量必须客观，避免偏见；


④在保证有效性的前提下，效标测量必须尽可能简单、省时、花费少。


（三）效标效度的估计方法


效标效度一般可以通过统计分析得到一个数量指标，因此有人又叫它统计效度。常用的估计方法有相关法、分组法、预期表法等。


1．相关法


确定效标效度最常用的方法是计算测验分数与效标测量的相关。根据变量的性质不同，可分别采用积差相关法、等级相关法、二列相关法等。相关法的优点是：


①提供了预测源与效标间的数量关系；②可利用回归方程式来预测每个人的效标分数。


相关法的缺点是：


①如果预测源与效标之间不是直线关系，便会低估测验的效度；②不能提供关于取舍正确性的指标。


2．分组法


确定效标效度的另一种方法是看测验分数能否区分由效标测量所定义的不同团体。例如在大学里，我们根据教师评定，把学生分为合格与不合格两组，然后回过头去查阅他们的高考分数，若两组在高考分数上有显著差异，那就可以认为高考是有效的，否则便认为是无效的。


3．预期表法


预期表法是将预测源分数和效标分数制成双维图表，并将每个变量按水平分成若干档次，然后列出每个档次上的人数百分比。从预期表我们可以看出效标效度的高低。从右下角到左上角的对角线上各格中的数字越大，说明效标效度越高。

谢谢！：-）

谢啦！新的考试内容不错啊，

胭脂MM
谢谢~

谢谢，呵呵！

抢个沙发。不错！