Internal consisitency
判斷指標:Cronbach's alpha係數值
影響Cronbach's alpha係數值的因素:
- 真正的題目一致程度
- 測驗題目的多寡
- 題目的同質性
→因此Cronbach's alpha係數無法代表單向度,也無法代表其他效度。因為他太容易受到題目的多寡影響數值,但目前內在一致性的判斷指標還是使用Cronbach's alpha值
Cronbach's alpha判定指標:
0.7 → group-level
0.9 → individual-level
※group-level 的internal consistency不需要跟individual-level的標準一樣高。原因是因為group-level會取平均值,個體之間的差異會因為平均而抵銷,所以group-level不需要individual-level的精準度。研究多使用group-level,但臨床需要用到individual-level
Cronbach's alpha數值可提供的實用價值:
- 量表的發展
- 可檢驗評估工具中,項目彼此之間的相關性(平均的相關係數)
test-retest/inter-rater/intra-rater reliability(item-level)
判斷指標:
- Percent agreement(不受極端值影響)
- Kappa係數值
- Weighted Kappa係數值(權重)
Kappa vs. Weighted Kappa
- Kappa係數值較可能包含個案猜測的機率
- Weighted Kappa會因個體差異產生不同的一致性,而有權重。此可排除個案猜測的機率。
影響Kappa係數值的因素:
- 兩次測驗真正的一致性
- 樣本的極端值
- 個體施測評估工具時猜測的機率
Kappa數值可提供的實用價值:一評估工具由同一人於不同時間點評估的一致程度
test-retest reliability vs. intra-rater reliability
- 評估工具是否受到rater的影響
- 若為標準化測驗,評分需要rater的判斷,則包含intra-rater reliability;如果評估工具不需要太多rater的主觀判斷,則為test-retest reliability
|
test-retest reliability
|
intra-rater reliability
|
用途
|
追蹤評估及驗證療效
|
rater的客觀性
|
評估的面向
|
個案本身的改變
|
評估工具的類推性
|
test-retest reliability及intra-rater reliability再測時間間距需考量之因素:
- 受試者之病情改變
- 練習效應