[心理計量特性]Internal consistency (Cronbach’s alpha)/Item-level test-retest/inter-rater agreement (Kappa, weighted kappa)

Internal consisitency

判斷指標：Cronbach's alpha係數值

影響Cronbach's alpha係數值的因素：

1. 真正的題目一致程度
2. 測驗題目的多寡
3. 題目的同質性

→因此Cronbach's alpha係數無法代表單向度，也無法代表其他效度。因為他太容易受到題目的多寡影響數值，但目前內在一致性的判斷指標還是使用Cronbach's alpha值

Cronbach's alpha判定指標：

0.7 → group-level

0.9 → individual-level

※group-level 的internal consistency不需要跟individual-level的標準一樣高。原因是因為group-level會取平均值，個體之間的差異會因為平均而抵銷，所以group-level不需要individual-level的精準度。研究多使用group-level，但臨床需要用到individual-level

Cronbach's alpha數值可提供的實用價值：

1. 量表的發展
2. 可檢驗評估工具中，項目彼此之間的相關性(平均的相關係數)

test-retest/inter-rater/intra-rater reliability(item-level)

判斷指標：

1. Percent agreement(不受極端值影響)
2. Kappa係數值
3. Weighted Kappa係數值(權重)

Kappa vs. Weighted Kappa

1. Kappa係數值較可能包含個案猜測的機率
2. Weighted Kappa會因個體差異產生不同的一致性，而有權重。此可排除個案猜測的機率。

影響Kappa係數值的因素：

1. 兩次測驗真正的一致性
2. 樣本的極端值
3. 個體施測評估工具時猜測的機率

Kappa數值可提供的實用價值：一評估工具由同一人於不同時間點評估的一致程度

test-retest reliability vs. intra-rater reliability

1. 評估工具是否受到rater的影響
2. 若為標準化測驗，評分需要rater的判斷，則包含intra-rater reliability；如果評估工具不需要太多rater的主觀判斷，則為test-retest reliability

	test-retest reliability	intra-rater reliability
用途	追蹤評估及驗證療效	rater的客觀性
評估的面向	個案本身的改變	評估工具的類推性

test-retest reliability及intra-rater reliability再測時間間距需考量之因素：

1. 受試者之病情改變
2. 練習效應