Free考研资料

标题: CTT中关于测验信度和效度的一些点拨 [打印本页]

作者: xy188554294 时间: 13-9-16 22:24
标题: CTT中关于测验信度和效度的一些点拨
本帖最后由 xy188554294 于 2013-9-17 08:55 编辑

Lz半个月前正式开始了研究生的生活，刚开始上测量课，老师复习了一下本科测量的一些知识，其中有一些觉得讲的比较好的，对考研复习的同学会有一些帮助的问题，拿出来跟大家分享一下。

1、样本团体同质和异质对测量信度的影响

现在有两个组，分别是①高水平+低水平（异质组）和 ②中等水平1+中等水平2（同质组）

两次测验之后，得出的结果是

组别		1	2
第① 组	高水平	90	95
第① 组	低水平	65	60
第② 组	中等水平1	78	75
第② 组	中等水平2	75	78

稍微分析一下我们就可以看出，对于组①这个异质组来说，第一次考高分的（高水平）第二次还是考高分，第一次考低分的（低水平）第二次还是考低分。高仍然高低仍然低，测验的信度就比较好。

对于②这个同质组，第一次考得高的是中等水平1，第二次考的高的是中等水平2。虽然分数之间差别很小，但是存在一个高变低低变高的问题，这样的话我们就可以说测验结果的信度是比较低的。

所以说，测验的分数需要拉开距离，才能够保证有着较高的信度。这样就需要样本团体异质。

2、测验难度对测验信度的影响

有三种情况的测验：

① 所有题目难度分布在0.5左右

② 题目难度均匀分布在0.2-0.8

③ 题目难度集中分布在0.2和0.8

这三种情况下，难度分布在0.5的时候测验信度最高

因为这样测验的“对子数”（产生的变异数）最大，比如说一个测验100个人，10个人通过90个人不通过，对子数=10*90=900，如果有50个人通过50个人不通过，对子数=50*50=2500（最大值）。

产生的变异数大了，也就还是上面的那句话，分数拉开了距离，测验信度就大。【分数分布≠难度分布】

但是我们又不能令所有的题目的难度都是0.5，因为这样会有一半人通过一半人不通过，而且分数都一样。这样我们就让一些题目难度低于0.5，用于区分能力较高的被试，一些题目难度高于0.5，用于区分低水平的被试。（难度其实是通过率，值越大越简单）

3、信度：rxx，效度r2xy

信度可以通过两个平行测验的相关来求得，就是这两个测验的结果比较是否有差异，可以粗略理解为长度的比较；而效度则是所测的和要测的心理特点之间的吻合程度，吻合度我们可以理解为面积形状是否吻合，则要加平方。

4、效度所有的效度都是求解X和Y之间的吻合程度

内容效度 X：测验 Y:双向细目表（专家）

校标效度 X：测验 Y：事实校标（实践）

结构效度 X：测验 Y：理论结构

写这个帖子的时候比较仓促，有什么问题大家可以留言指出来，大家共同讨论一下。

PS：考研大纲出来了，大家加油复习，一定要坚持，坚持+方法+努力=胜利！

作者: 笔为剑 时间: 13-9-16 22:26
很好很好，看来你今晚没喝多。

作者: 小勋xp 时间: 13-9-16 22:40
学姐的帖子好好，对知识点的理解又加深了，感激不尽呐

作者: 花园蕾 时间: 13-9-16 22:50
学姐，关于第二个问题，测量书上说，一般难度以0.5为中点的的正太分布时，区分度较好，但是难度又不能分布太广，这样会影响信度，这该怎么解释？分布的广的话不是区分的更好么，这样团体不是越异质，那么信度不是会提高么？

作者: xy188554294 时间: 13-9-17 08:42

花园蕾发表于 2013-9-16 22:50
学姐，关于第二个问题，测量书上说，一般难度以0.5为中点的的正太分布时，区分度较好，但是难度又不能分布太 ...

我之前对这个问题也是弄不太清楚，不过今天老师讲了一个“对子数”的概念，当一个测验难度为0.6的时候，100个人有60个人通过，40个人不通过，对子数=2400，难度为0.2的时候，100个人20个人通过80个人不通过，对子数=1600，对子数越大，这一题的作答结果产生的变异数就越大。理论中所有题目都为0.5难度的时候，总的对子数是最大的。

书上说的也正确，因为它考虑到了实际测验中，整套试卷的一个作答结果，正如我上面说的，全部题目都是0.5难度时候，会有一半人通过一半人不通过，而且分数都一样。

这样我们就让一些题目难度低于0.5，用于区分能力较高的被试，一些题目难度高于0.5，用于区分低水平的被试。（难度其实是通过率，值越大越简单）。一般就是让难度趋于于0.5的正态分布。

而你的问题中最后一句话很有问题，难度分布广和样本团体异质，前者针对题目，后者针对被试群体，这两个怎么会有一个“分布越广越异质”的关系呢？

作者: xy188554294 时间: 13-9-17 08:45

笔为剑发表于 2013-9-16 22:26
很好很好，看来你今晚没喝多。

还好、、一桌两瓶红的而已、、

你看看我有木有讲错的呀、、昨天下午是光明师兄上的课、、我回来照着笔记整理的、、第一次写这种帖子、、写错就丢人啦、、哈哈、、

作者: xy188554294 时间: 13-9-17 08:46

花园蕾发表于 2013-9-16 22:50
学姐，关于第二个问题，测量书上说，一般难度以0.5为中点的的正太分布时，区分度较好，但是难度又不能分布太 ...

还有就是，不要把【难度分布】等同于【分数分布】了、、

作者: 花园蕾 时间: 13-9-18 23:48

xy188554294 发表于 2013-9-17 08:42
我之前对这个问题也是弄不太清楚，不过今天老师讲了一个“对子数”的概念，当一个测验难度为0.6的时候，1 ...

恩恩，最后一句我也觉得有问题，可能是想偏了，我知道难度与区分度的关系，应该就是以你的对子数解释的吧？但是我还是不明白难度分布越广，为什么会影响信度。。。还有就是，我理解的难度分布越广就好比是一个测验的题目，有0.1 、0.3、 0.5、0.7、0.9等或者难度划分更细的题目，不知道理解的可有误？

作者: xy188554294 时间: 13-9-21 15:46

花园蕾发表于 2013-9-18 23:48
恩恩，最后一句我也觉得有问题，可能是想偏了，我知道难度与区分度的关系，应该就是以你的对子数解释的吧 ...

对子数就是产生的变异数，对子数大，能够将不同水平的人区分开来，所以测验的结果就可信，测验信度大。
所以说难度和区分度的关系和难度与测验信度的关系是分不开的~

难度分布广的问题：
实际上最理想的难度分布就是均值为0.5的正态分布，最多是0.5难度的题目，但跟你说的一样，也含有0.1、0.9难度的题目。
但是太难太易的题目都不能太多，不能【0.1的题目数=0.2的=0.3的=0.4的=0.5的……】
这样区分度就会减小，不能准确地将能力不同的人区分开来，信度就会小。

这样说你好理解一点了么

作者: 花园蕾 时间: 13-9-21 17:21

xy188554294 发表于 2013-9-21 15:46
对子数就是产生的变异数，对子数大，能够将不同水平的人区分开来，所以测验的结果就可信，测验信度大。
...

嗯呢，学姐你说的我明白，各个难度的题目不是等概率的，应该0.5的最多，这样区分度才比较好，而区分度越好，信度也会相应提高是不是？可是我还是不理解“难度分布越广，信度会降低”中的，难度分布“越广”是怎么个意思，我知道难度分布，但是这个“越广”是怎样理解呢？（我的理解是从小到大，各个难度的题目都有，比如我之前举得例子中0.1~0.9的难度的题目，只是说不同难度的题目数量有所不同，以0.5为均值的正太分布时区分度最好，可是这不就又与信度降低相矛盾了？学姐不要怪我太啰嗦，就是有个弯一直没绕出来，请耐心指教~）

作者: xy188554294 时间: 13-9-22 08:53

花园蕾发表于 2013-9-21 17:21
嗯呢，学姐你说的我明白，各个难度的题目不是等概率的，应该0.5的最多，这样区分度才比较好，而区分度越好 ...

你钻牛角尖啦孩子~

那你就理解成它的“越广”是指各个难度的题都有，而且平均分布。。

作者: 花园蕾 时间: 13-9-22 14:57

xy188554294 发表于 2013-9-22 08:53
你钻牛角尖啦孩子~

那你就理解成它的“越广”是指各个难度的题都有，而且平均分布。。

嘿嘿，我知道错了，学姐你抓狂了吧

对了，学姐你考的是那个学校啊？我之前定的学校自主了，所以打算换学校，可是一直都没有头绪，学姐可有什么推荐的啊？

作者: xy188554294 时间: 13-9-23 21:02

花园蕾发表于 2013-9-22 14:57
嘿嘿，我知道错了，学姐你抓狂了吧
对了，学姐你考的是那个学校啊？我之前定的学校自主了，所以打 ...

额这个问题吧、、我从一开始冲着一个学校去的、、对别的学校倒没有太多了解、、
其实换了自主你也可以掂量考虑一下、、因为大家都是这个时候才知道变成自主，对所有人也还是公平的、、

作者: 花园蕾 时间: 13-9-24 17:26

xy188554294 发表于 2013-9-23 21:02
额这个问题吧、、我从一开始冲着一个学校去的、、对别的学校倒没有太多了解、、
其实换了自主你也可以 ...

恩恩，也是啊，那我再考虑考虑吧，谢谢你啊，学姐~[a:38]

欢迎光临 Free考研资料 (http://bbs.freekaoyan.com/)