然而同一次評估中,較晚測驗的測驗結果可能受到前一次測驗之練習效應影響(例如先完成CDVT再做DVT的個案,其DVT的測驗結果可能受到個案操作CDVT的經驗影響),因而造成研究者高估較晚測驗的測驗結果。
解決辦法:先校正(控制)同一次評估中,較晚測的測驗結果(例如先完成CDVT再做DVT的個案,我們可以透過回歸分析將DVT分數之練習效應排除)[1],接著再進行後續之資料分析,包含信度及效度等。
比較原始(未校正)與校正後心理計量特性:
再測信度分析結果
Tests
|
Adjacent assessments
|
ICC (95% CI)
|
MDC
|
MDC%
|
Differencea
(Mean ± SD)
|
Effect sizeb
|
pc
|
C-DVT
|
Time 1-2
|
0.71 (0.54-0.83)
|
68.5
|
24.1%
|
6.8 ± 31.9
|
0.21
|
0.14
|
Time 2-3
|
0.83 (0.70-0.90)
|
44.0
|
15.9%
|
7.8 ± 21.7
|
0.36
|
0.02
|
|
Time 3-4
|
0.89 (0.81-0.93)
|
35.5
|
12.9%
|
-4.6 ± 19.6
|
-0.23
|
0.11
|
|
DVT
|
Time 1-2
|
0.95 (0.91-0.97)
|
156.0
|
29.7%
|
0.1 ± 71.0
|
0.00
|
0.99
|
Time 2-3
|
0.95 (0.90-0.97)
|
134.9
|
26.2%
|
22.7 ± 61.6
|
0.37
|
0.01
|
|
Time 3-4
|
0.96 (0.93-0.98)
|
110.1
|
22.2%
|
14.3 ± 47.3
|
0.30
|
0.04
|
|
C-DVT (校正)
|
Time 1-2
|
0.71
(0.53-0.82)
|
67.9
|
23.9%
|
6.8 ± 31.9
|
0.21
|
0.14
|
Time 2-3
|
0.82
(0.68-0.89)
|
44.8
|
16.2%
|
7.8 ± 22.2
|
0.35
|
0.02
|
|
Time 3-4
|
0.87
(0.78-0.92)
|
38.3
|
13.9%
|
-4.6 ± 20.8
|
-0.22
|
0.13
|
|
DVT (校正)
|
Time 1-2
|
0.91
(0.84-0.95)
|
175.6
|
33.4%
|
0.1 ± 93.5
|
0.00
|
0.99
|
Time 2-3
|
0.93
(0.87-0.96)
|
157.2
|
30.6%
|
22.7 ± 72.0
|
0.32
|
0.03
|
|
Time 3-4
|
0.93
(0.87-0.96)
|
129.5
|
26.1%
|
14.3 ± 66.4
|
0.22
|
0.14
|
Notes. aS Difference=Scorepre-Scorepost
bEffect size=MeanDif / SDDif
cSignificant level=0.02 (0.05/3)
同時效度分析結果(CDVT與DVT之相關):
Time 1
|
Time 2
|
Time 3
|
Time 4
|
|
原始 (Pearson
r)
|
0.53
|
0.61
|
0.54
|
0.64
|
校正後 (Pearson
r)
|
0.75
|
0.76
|
0.76
|
0.79
|
生態效度分析結果 (CDVT vs both PSP and Lawton IADL scale):
IADL
|
PSP
|
|
C-DVT
|
r=-0.44
|
r=-0.45
|
DVT
|
r=-0.15
|
r=-0.30
|
C-DVT(校正)
|
r=-0.40
|
r=-0.44
|
DVT(校正)
|
r=-0.20
|
r=0.34
|
結果總結:
信度:校正後,C-DVT的隨機測量誤差變小,而DVT的隨機測量誤差變大。
同時效度:校正後大幅提升。
生態效度:校正後之差異不大。
二種分析方法之選擇:使用校正後之分析結果撰寫論文。
參考文獻:
1. Ibrahim, I., Tobar, S., Elassy, M., Mansour, H., Chen, K., Wood, J., et al. (2015). Practice effects distort translational validity estimates for a Neurocognitive Battery. Journal of Clinical and Experimental Neuropsychology, 37, 530-537.
沒有留言:
張貼留言