2016年4月1日 星期五

控制練習效應再驗證二種版本工具之相關性

 背景及問題:CDVT及DVT收案時,每位個案美次評估時皆須完成此二測驗,且此二測驗施測順序為counterbalance 設計。意即一群個案中,半數個案先施測CDVT再測DVT,另一半則先測DVT再測CDVT。
然而同一次評估中,較晚測驗的測驗結果可能受到前一次測驗之練習效應影響(例如先完成CDVT再做DVT的個案,其DVT的測驗結果可能受到個案操作CDVT的經驗影響),因而造成研究者高估較晚測驗的測驗結果

解決辦法:先校正(控制)同一次評估中,較晚測的測驗結果(例如先完成CDVT再做DVT的個案,我們可以透過回歸分析將DVT分數之練習效應排除)[1],接著再進行後續之資料分析,包含信度及效度等。

比較原始(未校正)與校正後心理計量特性:
再測信度分析結果

Tests
Adjacent assessments
ICC (95% CI)
MDC
MDC%
Differencea
(Mean ± SD)
Effect sizeb
pc
C-DVT
Time 1-2
0.71 (0.54-0.83)
68.5
24.1%
6.8 ± 31.9
0.21
0.14
Time 2-3
0.83 (0.70-0.90)
44.0
15.9%
7.8 ± 21.7
0.36
0.02
Time 3-4
0.89 (0.81-0.93)
35.5
12.9%
-4.6 ± 19.6
-0.23
0.11
DVT
Time 1-2
0.95 (0.91-0.97)
156.0
29.7%
0.1 ± 71.0
0.00
0.99
Time 2-3
0.95 (0.90-0.97)
134.9
26.2%
22.7 ± 61.6
0.37
0.01
Time 3-4
0.96 (0.93-0.98)
110.1
22.2%
14.3 ± 47.3
0.30
0.04
C-DVT (校正)
Time 1-2
0.71 (0.53-0.82)
67.9
23.9%
6.8 ± 31.9
0.21
0.14

Time 2-3
0.82 (0.68-0.89)
44.8
16.2%
7.8 ± 22.2
0.35
0.02

Time 3-4
0.87 (0.78-0.92)
38.3
13.9%
-4.6 ± 20.8
-0.22
0.13
DVT (校正)
Time 1-2
0.91 (0.84-0.95)
175.6
33.4%
0.1 ± 93.5
0.00
0.99

Time 2-3
0.93 (0.87-0.96)
157.2
30.6%
22.7 ± 72.0
0.32
0.03

Time 3-4
0.93 (0.87-0.96)
129.5
26.1%
14.3 ± 66.4
0.22
0.14
Notes. aSDifference=Scorepre-Scorepost
bEffect size=MeanDif / SDDif
cSignificant level=0.02 (0.05/3)


同時效度分析結果(CDVT與DVT之相關):

Time 1
Time 2
Time 3
Time 4
原始 (Pearson r)
0.53
0.61
0.54
0.64
校正後 (Pearson r)
0.75
0.76
0.76
0.79

生態效度分析結果 (CDVT vs both PSP and Lawton IADL scale):

IADL
PSP
C-DVT
r=-0.44
r=-0.45
DVT
r=-0.15
r=-0.30
C-DVT(校正)
r=-0.40
r=-0.44
DVT(校正)
r=-0.20
r=0.34

結果總結:
信度:校正後,C-DVT的隨機測量誤差變小,而DVT隨機測量誤差變大
同時效度:校正後大幅提升。
生態效度:校正後之差異不大。


二種分析方法之選擇:使用校正後之分析結果撰寫論文。

參考文獻:
1. Ibrahim, I., Tobar, S., Elassy, M., Mansour, H., Chen, K., Wood, J., et al. (2015). Practice effects distort translational validity estimates for a Neurocognitive Battery. Journal of Clinical and Experimental Neuropsychology, 37, 530-537.