2015年7月27日 星期一

內部一致性

內部一致性 (信度)

定義: 測驗中的所有項目是否評測到相同之概念或建構,因此和測驗中所有項目間之相關性
          (inter-relatedness)有關。
表示: Cronbach alpha (數值介於0-1),0.7-0.95是較好的數值,一般來說,0.9是最建議之數值,alpha值過高則代表有測驗項目測量到相同東西而顯得多餘。

重要性: 知道測驗之內部一致性可以知道哪些題目要增加或捨棄,可以確保效度。

特性:  測驗中項目彼此愈相關則alpha值越高,但高的alpha值不總是代表高的內部一致性,測驗題目的增加可以提高alpha值。

影響alpha值之因素:
1.測驗長度: 測驗長度太短時,alpha值的價值減低,會造成信度之低估。
2.測驗向度: 測驗項目具多向度,會造成信度之低估。
3.項目間相關性

與unidimensionality之比較:
      內部一致性為unidimensionality之必要而非充分條件,測驗具unidimensionality則題目有內部一致性;但有內部一致性不一定是unidimensionality之測驗。信度之概念假設測驗項目為unidimensional,若有違背,可能造成測驗項目信度之低估。
     藉由因素分析或IRT分析可以確認測驗之dimension,一個multidimensional之測驗alpha值不必然小於unidimensional之測驗,因此alpha值無法純粹代表內部一致性。當測驗包含許多不同概念或建構時,就不適合用alpha值來代表整個測驗,而應分開不同概念之項目來計算。



Reference:
Tavakol M, Dennick R. Making sense of cronbach's alpha. Int J Med Educ. 2011;2:53-55





圖一、此圖展現內部一致性與單向度之關係,具內部一致性不一定為單向度。

Reference:
Gardner, P. Measuring attitudes to science: Unidimensionality and internal consistency revisited. Research in Science Education.1995;25:283-289.






圖二、
reflective model中之項目高度相關,且可互換(interchangeable),屬於單向度;相反,則稱formative model,例如壓力之測量可藉由詢問不同情境、事件之發生與否,這些事件並不高度相關,因此不適合評量內部一致性。

Reference:
Mokkink LB, Terwee CB, Knol DL, Stratford PW, Alonso J, Patrick DL, et al. The COSMIN checklist for evaluating the methodological quality of studies on measurement properties: A clarification of its content. BMC Medical Research Methodology. 2010;10:22



心得:
之前老師提到若未驗證單向度,則內部一致性之意義有限。由文獻可看出,多向度的測驗在每個向度中仍可看其內部一致性。然而,我所採用之社會認知評估工具,應為單向度較合理,故仍須藉由因素分析等方法來確認其向度。


問題:
1. 弦外之音測驗只有五題,如此少題是否也不適合內部一致性之檢驗?
2. 想請問圖二之checklist中,missing items是指未評到之部分嗎? missing items對心理計量驗證之結果影響會很大嗎?







2 則留言:

  1. 1. 若是 unidimension 即可
    2. 就是 missing data. No a worry at this stage.

    回覆刪除