與暑期研究營的依靜同學一起分析資料時,發現Trail Making Test part B的ICC值分析結果為負值!(因為此次分析的ICC model為two-way random,所以以下皆探討two-way random之情形)
以ICC原始公式來看,ICC值不可能呈現負值!
ICC(2, 1)值基本概念為:two-way ANOVA中,「受測者間之變異量/全部的變異量」(Bartko, 1966; Shrout & Fleiss, 1979) 。又「變異量」是個平方值,所以ICC值理論上不會呈現負值。
計算上ICC值可能呈現負值!
上述之「受測者間之變異量」及「全部的變異量」皆指母群而言,然而研究中都只抽取一群樣本,因此需以樣本之數值推論母群之「受測者間之變異量」及「全部的變異量」,以樣本數值推論母群ICC之公式為:(MSP - MSE)/[MSP + MSE(k - 1) + k(MSR - MSE)/n] (Bartko, 1966; Shrout & Fleiss, 1979) 。
(MSP為受測者間差異之平均平方和;MSE為誤差之平均平方和,亦可解釋為受測者與重複評估間交互作用之平均平方和;MSR為重複評估差異之平均平方和;k為重複評估之次數;n為受測者人數。)
從此算式中可發現,若MSE>MSP則可能造成ICC呈現負值!意即若two-way ANOVA中受測者與重複評估間交互作用非常大,且受測者之間的差異很小,則ICC值計算出來可能呈現負值。
回頭檢視依靜的原始資料,總共8位受測者中,有7位受測者第二次測驗結果都比第一次快,但有1位受測者與其他人相反,而且第二次測驗結果比第一次慢許多。換句話說,這筆資料中可能有「受測者與重複評估間交互作用」。
另外因為樣本數太小,所以只要其中一筆資料與其它資料有出入,就可能影響整筆資料分析之結果。
我認為需先確認資料收集或登記是否有誤,導致某一位受測者之數值變化趨勢與其他人有很大的差異。若資料收集及處理過程皆無問題,也只能接受這樣的分析結果。應將此ICC結果呈現出來並解釋造成ICC值為負值之原因。
後記:
1. 即便刪除一筆與其它資料有出入的資料後,ICC值仍為負值。推測造成ICC值為負值的原因除上述「受測者與重複評估間交互作用大」之外,樣本同質性太高(受測者間變異量小)應該也是原因之一!
2. 仔細確認資料收集及分析各環節後,ICC值的確是負值。此一現象可當成一致性很差來看待。
另外可考慮將那人資料當成 outlier, 不予分析。
回覆刪除