1. 如果每位個案之前後測由不同rater施測,則施測結果會因為不同rater間評分的差異而變得更不穩定,且不符合test-retest reliability之定義。
2. 如果每位個案之前後測由同一位rater施測,但全部的受測者由多位raters施測,則不影響Intra class Correlation(ICC)。因為ICC主要計算前後測分數的差異,所以只要前後測時評分標準一致即可。但若由多位raters共同收案,可能因為有些raters給分較高,有些raters給分偏低,則會造成個案間能力之歧異度增加,進而影響Bland-Altman plot (縱軸為前後測分數差,橫軸為前後測分數平均)之分佈情形。且目前未有文獻驗證SDMT及DVT的Interrater reliability。
rater 對 SDMT DVT 施測過程及結果,「如何」造成影響?
雖然SDMT及DVT皆為標準化測驗,但不同rater仍可能對於SDMT及DVT施測過程及結果造成影響,影響層面如下:
1. 不同rater對於SDMT或DVT之熟悉度必定有差異,因此施測方法之指導語是否完整清楚地說明,可能影響受測者操作時之正確率或操作速度。
2. 不同rater的計分/計時方式可能有些許差異。如:施測SDMT時,90秒一到受測者寫到一半的題目是否當成答對題數。受測者完成DVT時,rater什麼按下碼錶時間停止之時機(受測者主動告知時才停止或rater主動停止碼錶)等。
rater對於評估工具之影響程度,會因為評估工具施測方式或評估目的等差異而影響!
rater對於SDMT及DVT之影響程度有限。
rater對於評估工具之影響程度,會因為評估工具施測方式或評估目的等差異而影響!
rater對於SDMT及DVT之影響程度有限。
您可補充 rater 對 SDMT DVT 施測過程及結果,「如何」造成影響?
回覆刪除many thanks!
回覆刪除您提的 rater 所造成的問題,您覺得影響結果的程度如何!? 1~5 (1 很小;5 很大)
我覺得在標準化評估工具中,rater之影響不至於太大,影響程度1~5分中我覺得約2分。對於此篇文獻而言,也許rater之影響不是個critical的問題?!
刪除yes, 因為 rater 的影響不大,所以毋須擔心。
回覆刪除也就是,不是一個值得煩惱的問題。
從事研究須放眼(解決)大問題,毋須鑽研小問題。
是,謝謝老師指教。
刪除