Free考研资料

标题: 有个问题一直不理解。是关于信度。 [打印本页]

---

作者: 萧紫宁    时间: 11-6-27 08:02
标题: 有个问题一直不理解。是关于信度。
     戴海崎的书，P55    第三节 提高测量信度的方法

1.被试方面  的 第二段，倒数第三行“此外，若团体的平均水平太高或太低，同样会使测验总分的分布变窄，低估测量的真正信度。”

  想问一下，为什么把团体平均水平影响信度的原因又扣回了团体内部水平的离散程度？？？难道团体的平均水平和团体内部水平离散程度是一回事？

  信度指的是测量结果的稳定性程度。。那举个例子，把高考题给小学生做（即被试团体水平较低的情况），所得结果分数都很低，而且每一次测量分数都很低，这不是很稳定吗？？信度不应该很高吗？（只是没效度罢了），为何说平均水平太高或太低会低估真正的信度？？  

  求解。

---

作者: fuzhouzsh    时间: 11-6-27 14:01
“信度是测量结果的稳定性程度。”这是信度的定性描述，这里的“稳定性”只是个抽象概念。但心理测量实际应用中要把这个抽象的“稳定性”给操作化，通常大都用求取“相关系数”来估计信度值。

相关系数受被试全距（分布）影响很大，而分布情况主要由离散程度、平均数决定。所以这些都影响相关系数，进而影响信度估计值（注不是信度本身）。平均水平太低或太高，都会使计算出来的估计值较实际的值偏低。（可见散点图）

对于你所举的例子，高考试卷给小学生做，他们的分数是都是很低，每次分数都很稳定，若根据信度的定性描述，信度是高（当然是毫无效度的）。但是在实际应用中，信度高低通常用信度系数（信度值）来表示的，其所说的高低，也常指值的大小。而这个值又是以“相关系数”来估计的。这样假设小学生群体两次施测都全部得1分，那么算出来的信度估计值即相关系数近于等于0，那么很显然信度很低。

总之，心理测量实际应用中，我们不能用“稳定性”直接描述信度值，（很稳定与有点稳定，你能说出他们差多少吗？），我们要把“稳定性”量化，于是就有了用“相关系数”来作为信度估计值。书上那节所说的高低也即指估计值的高低。这样就有了凡是影响相关系数的因素都影响以相关系数为估计值的信度。

（测量中很多与统计中相关密切联系，楼主若还有不解可再复习统计相关部分的主要思想）

---

作者: 熊位锦    时间: 11-6-27 15:04
嗯，好久没来论坛啦哈，这个问题呢，我说说我的看法哈。。。。。
团体的平均水平太高（大家都得高分）或太低（大家都得低分），这就出现了所谓的天花板或是地板效应，大家的分数分布就会集中在高分段，或者低分段，这就使得分数的分布范围变小。然而“分数分布的范围越广，信度值就越大”，反之，分布范围变小，信度值就降低。所以取样时要保证被试群体的异质性。
团体的平均水平和团体的内部的离散程度不是一回事，这个团体的平均水平过高应该是相对于常模而言的，平均水平过高，说明所取的被试分数都比较高，差异较小。。。同理，平均分数过低也是这样。。。

---

作者: 萧紫宁    时间: 11-6-27 22:12

fuzhouzsh 发表于 2011-6-27 14:01
“信度是测量结果的稳定性程度。”这是信度的定性描述，这里的“稳定性”只是个抽象概念。但心理测量实际应 ...

太感谢了，你说的极其透彻，解决了我多天的困惑  

---

作者: 萧紫宁    时间: 11-6-27 22:16

熊位锦 发表于 2011-6-27 15:04
嗯，好久没来论坛啦哈，这个问题呢，我说说我的看法哈。。。。。
团体的平均水平太高（大家都得高分）或太 ...

谢了。祝你暑假达成愿望啊，哈哈

---

作者: 萧紫宁    时间: 11-6-27 22:17

勤思教育 发表于 2011-6-27 13:04
信度的估计通常是求相关系数，散点图是表示相关的一种直观方法。散点图里会有测验分数分布的问题，楼主可以 ...

好的，谢谢。。。

---

作者: 熊位锦    时间: 11-6-27 22:54

萧紫宁 发表于 2011-6-27 22:16
谢了。祝你暑假达成愿望啊，哈哈

嗯，刚看了一下勤思教育的答复，觉得根据他的理解应该是最简单的，我开始没看到最后一段话。这个问题的另外一种解释可以参照戴老师的P76页关于测验难度对测验的影响的倒数第二行，有个公式，那里有详细的说明。。

---

作者: 加油好孩子    时间: 11-6-30 13:47

熊位锦 发表于 2011-6-27 15:04
嗯，好久没来论坛啦哈，这个问题呢，我说说我的看法哈。。。。。
团体的平均水平太高（大家都得高分）或太 ...

说的很好呀！但是你说应该注意团体的异质性，异质性越大，信度越高。。又是那个老问题，郑日昌那本书写的正好相反。。我都受不了这快了。

---

作者: 加油好孩子    时间: 11-6-30 17:10

fuzhouzsh 发表于 2011-6-27 14:01
“信度是测量结果的稳定性程度。”这是信度的定性描述，这里的“稳定性”只是个抽象概念。但心理测量实际应 ...

帮我解释下，为啥两次小学生都只得到一分，然后相关为零呗。。我觉得既然两次都是零，应该是高相关呀！！

---

作者: 方良简    时间: 11-6-30 17:21

加油好孩子 发表于 2011-6-30 17:10
帮我解释下，为啥两次小学生都只得到一分，然后相关为零呗。。我觉得既然两次都是零，应该是高相关呀！！

散点图说明  分数集中到低分段    就是靠近坐标原点的那一小块区域  相关很低  
文字说明就是  第一次考的不影响第二次考的   第一次也不会 第二次也不会 有个第三变量就是知识水平  影响两次成绩   第一次和第二次没什么关系  
公式说明就是    XY共变/X变Y变    XY共同变化的那个协方差算出来是很低的

---

作者: 加油好孩子    时间: 11-6-30 17:38

方良简 发表于 2011-6-30 17:21
散点图说明  分数集中到低分段    就是靠近坐标原点的那一小块区域  相关很低  
文字说明就是  第一次考 ...

那我怎么知道第一次考的成绩不影响第二次考试成绩。这道题是咱们实现知道用高考去测试小学生，但要如果真的去拿一个测验去检测话，我们就不能说第一次不影响第二次了。。可能就是实际情况。。还有那个协方差是怎么回事。这个我不太懂。推荐一本书，我去看下。。散点图那个一会我翻翻书。。再议。。真纠结呀！！

---

作者: 方良简    时间: 11-6-30 18:17

加油好孩子 发表于 2011-6-30 17:38
那我怎么知道第一次考的成绩不影响第二次考试成绩。这道题是咱们实现知道用高考去测试小学生，但要如果真 ...

嗯   你问的也有道理  我只是想到一方面  第三变量的事情

一般测两次就是那个  复测信度了    这本来就是测量信度的方法之一  书上也有讲练习效应时间间隔之类影响因素的

协方差那玩意就是 X  和  Y  一起变化的程度   皮尔逊里面就是∑（X- MX）(Y-MY)

那就从 你直接从结果推相关说吧  这么推是不对滴  比如美国孩子出生率和澳大利亚大楼建造率一起上升了就相关了吗   

我估计   第一次考第二考那个分数都很低   平均数也都很低（分布集中） 皮尔逊的分子就特别低   相关就特别小  
从而得出相关不大的

---

作者: 加油好孩子    时间: 11-6-30 21:54

方良简 发表于 2011-6-30 18:17
嗯   你问的也有道理  我只是想到一方面  第三变量的事情

一般测两次就是那个  复测信度了    这本来 ...

我和同学纠结了一下。。我俩最后的观点是：看信度，一定要先看效度，没有效度都是白扯。。就像我们老师所说的，没有人会用高考卷子去测验小学生。。这个问题先讨论到这里吧。。我要疯了。。

---

作者: 方良简    时间: 11-6-30 22:01

加油好孩子 发表于 2011-6-30 21:54
我和同学纠结了一下。。我俩最后的观点是：看信度，一定要先看效度，没有效度都是白扯。。就像我们老师所 ...

表疯表疯

我被信号检测论也要搞疯~\(≧▽≦)/~啦啦啦
没错   高效度导致高信度  高信度不一定有高效度

就这样吧  等回头顿悟吧

---

作者: 加油好孩子    时间: 11-6-30 22:10

方良简 发表于 2011-6-30 22:01
表疯表疯

我被信号检测论也要搞疯~\(≧▽≦)/~啦啦啦

信号检测论。。这个很有意思。。我发现好多东西我看过了都忘记了，记得四月份看的信号检测论，然后老师上课讲的时候就发现好多东西都弄不准。。。看牢考试前还得系统复习。

---

作者: 方良简    时间: 11-6-30 22:16

加油好孩子 发表于 2011-6-30 22:10
信号检测论。。这个很有意思。。我发现好多东西我看过了都忘记了，记得四月份看的信号检测论，然后老师上 ...

你看我的那个帖子   分辨 C  和  β   都快搞疯了

········

---

作者: fuzhouzsh    时间: 11-6-30 22:42

加油好孩子 发表于 2011-6-30 17:10
帮我解释下，为啥两次小学生都只得到一分，然后相关为零呗。。我觉得既然两次都是零，应该是高相关呀！！

要弄清楚这个问题，首先要对“相关关系”的概念再做下理解。
“相关关系”是指，两个变量在发展变化的方向与大小方面的联系。若A变量值变化了，B变量的值也会做有规律的变化。
以两个平行测验的相关关系举例，理解相关：
一、存在相关的情况，A变化了B也跟着有规律的变化，如图
[attach]247732[/attach]

二、不存在相关的情况，A变化了B也跟着无规律的变化，如图
[attach]247733[/attach]

三、对于之前举的小学生两次都只得1分的例子，严格来说是衡量不出相关关系的，因为没有表明当A变化时，B变化的情况，如图
[attach]247734[/attach]

所以如你所觉得“两次都是1分，应该是高相关”，是片面理解的，它并没有迹象表明A值变化后，B值将是什么情况。
如它无法证明假如有一个可以在A测验得5分的小学生，在B测验是否跟着变化而得5分，若可以证明，则才更有可能存在相关。

另补充下之前的，小学生两次都只得1分的例子，完整的应是这样一种极端假设：
小学生对高考试卷测试内容只有1分的作答能力（即，设其真分数T为1分），其所得的卷面原始分X=真分数T+随机猜测误差E
两个平行测验的原始分X的变化应该是在以1分为平均分的周围随机变化。变化是无规律随机的，所以相关系数近于0.（如上图二）

花了大半天解析了下，供交流！不足之处，望大家指正

---

作者: fuzhouzsh    时间: 11-6-30 22:53

加油好孩子 发表于 2011-6-30 21:54
我和同学纠结了一下。。我俩最后的观点是：看信度，一定要先看效度，没有效度都是白扯。。就像我们老师所 ...

简而概之，高考卷子去测验小学生有信度无效度。信度虽高，但难以用 “以相关系数为估计值”的信度系数去衡量。
而书中有时说信度高低，仅指代以“以相关系数为估计值”的信度系数的高低。
另，信度的估计不并一定都是以“相关系数”为基础的，如目标参照测验中的信度估计，更适合的是用概化理论的可靠性指数衡量，它是以方差分量分析为基础的。

---

作者: 加油好孩子    时间: 11-7-1 13:26

fuzhouzsh 发表于 2011-6-30 22:42
要弄清楚这个问题，首先要对“相关关系”的概念再做下理解。
“相关关系”是指，两个变量在发展变化的方 ...

我去！！爱死你了。。真是。。真是。。。真是。。。

---

作者: 萧紫宁    时间: 11-7-1 22:27

熊位锦 发表于 2011-6-27 22:54
嗯，刚看了一下勤思教育的答复，觉得根据他的理解应该是最简单的，我开始没看到最后一段话。这个问题的另 ...

其实我问这个问题的时候就表明了，我不想从公式理解。因为公式是有诸多限制性前提假设的，只想问问为什么和信度的定义有出入，呵呵

---

作者: 萧紫宁    时间: 11-7-1 22:30

加油好孩子 发表于 2011-6-30 21:54
我和同学纠结了一下。。我俩最后的观点是：看信度，一定要先看效度，没有效度都是白扯。。就像我们老师所 ...

把高考题给小学生做这个例子不是我凭空想的，是曹天啸课上讲的，说高考题给小学生做，信度很高，但没有效度

---

作者: 萧紫宁    时间: 11-7-1 22:33

fuzhouzsh 发表于 2011-6-30 22:53
简而概之，高考卷子去测验小学生有信度无效度。信度虽高，但难以用 “以相关系数为估计值”的信度系数去衡 ...

同学你说的太好了，我就一直想说相关系数来估计信度太不科学了，它有太多的限制性前提假设，看到后面的项目反应理论和概化理论就豁然开朗了。

---

作者: 加油好孩子    时间: 11-7-2 07:35

萧紫宁 发表于 2011-7-1 22:30
把高考题给小学生做这个例子不是我凭空想的，是曹天啸课上讲的，说高考题给小学生做，信度很高，但没有效 ...

我知道呀！！我们老师也讲过这。。只是我个人觉得这个例子好无聊。。但经过咱们的讨论发现信度也不好，如果深究话

---

作者: 萧紫宁    时间: 11-7-2 22:33

加油好孩子 发表于 2011-7-2 07:35
我知道呀！！我们老师也讲过这。。只是我个人觉得这个例子好无聊。。但经过咱们的讨论发现信度也不好，如 ...

唉，本身CTT就很崩溃。。。

---

作者: 加油好孩子    时间: 11-7-3 22:01

萧紫宁 发表于 2011-7-2 22:33
唉，本身CTT就很崩溃。。。

这个。我倒是喜欢，毕竟有点数学的思想

---

作者: 萧紫宁    时间: 11-7-3 22:05

加油好孩子 发表于 2011-7-3 22:01
这个。我倒是喜欢，毕竟有点数学的思想

我看好项目反应理论和概化理论

---

作者: 加油好孩子    时间: 11-7-4 13:24

萧紫宁 发表于 2011-7-3 22:05
我看好项目反应理论和概化理论

这个。。你这两个都是新加的东西呀!!

---

作者: ruansj    时间: 11-8-16 21:27

fuzhouzsh 发表于 2011-6-30 22:42
要弄清楚这个问题，首先要对“相关关系”的概念再做下理解。
“相关关系”是指，两个变量在发展变化的方 ...

哇高手！配以图解！茅塞顿开！太感谢了！

---

作者: 笔为剑    时间: 11-8-16 21:37

加油好孩子 发表于 2011-7-4 13:24
这个。。你这两个都是新加的东西呀!!

哪里新加了？07年大纲里就有这两个东西

---

作者: 加油好孩子    时间: 11-8-17 17:01

笔为剑 发表于 2011-8-16 21:37
哪里新加了？07年大纲里就有这两个东西

这个。。好吧！我只看过11年大纲。。可能是错误记忆，老师当时不怎么讲，觉得不重要。。吼吼。。

---

欢迎光临 Free考研资料 (http://bbs.freekaoyan.com/)

Powered by Discuz! X3.2