2016年6月24日 星期五

CAAT 收案規劃

電腦化交替性注意力測驗 (Computerized Alternating Attention Test, CAAT)預計於7月開始收案,目前之收案規劃如下:


*迷宮測驗為MATRICS Consensus Cognitive Battery之子測驗

由於CAAT練習題+模擬測驗之題數較多(約正式測驗之2倍,詳底下測驗流程之介),因此CAAT施測時毋須重複多次練習或重複多次正式測驗。

CAAT介紹

測驗目的:評量受測者轉換且交替使用二種不同認知任務之能力。
CAAT中採用之二種認知任務為:「判斷數字是否小於5」及「判斷形狀是否左右對稱」(如下圖)。




測驗流程

CAAT包含三個測驗階段:示範/練習題、模擬測驗、及正式測驗。示範/練習題又分為三個部分:規則一~三之示範及練習。
示範/練習題之規則一,受測者須瞭解及熟悉規則一(判斷數字是否小於5)之操作方式;
規則二,須瞭解及熟悉規則二(判斷數字是否小於5)之操作方式;
規則三,須瞭解及熟悉【規則一及二交替出現】之操作方式。

模擬測驗及正式測驗中,皆為【規則一及二交替出現】,因此受測者須不斷地交替使用此二種認知任務。





2016年6月21日 星期二

暑假休假規劃

6/27(一)~ 6/30(四)家庭出遊
7/28(四)~ 7/30(六)員工旅遊

2016年6月13日 星期一

工作記憶測驗:台灣數字奇偶序列測驗 (Taiwan Odd-Even Number Sequencing Test, TOENST)

由臺大心理系花茂棽教授團隊所編製,TOENST之發展目的為:克服「字母數字順序測驗 (Letter Number Sequencing)之語言隔閡(因使用英文字母作為測驗刺激物所致)。
TOENST為語音系統WM評量工具,以評量受測者記憶語音訊息並將訊息重新排列之能力。

測驗方式:施測者朗讀一串阿拉伯數字數列(28個數字組成,數字為09),受測者須將數列中的阿拉伯數字重新排列並唸出,唸出數列的方式為:「先依照遞減的順序唸出奇數數字,再依照遞增的順序唸出偶數數字」。例如:施測者唸出之數列為「3245」則受測者須唸出「3542」。

測驗題目(數列)之長度有7種(28個數字),每種長度之題目底下包含3個小題。施測者從2個數字的題目開始施測,依次增加題目之長度。施測終止條件為:受測者連續答錯同一長度題目中的3個小題。TOENST之主要分數為:受測者答對的小題題數。受測者每答對一個小題可得一分,分數範圍為021,分數越高表示受測者之語音系統WM越佳。

TOENST可能之問題:年紀較大者可能不熟悉「奇偶數」概念,導致難以操作測驗或測驗結果偏低。研究結果亦顯示65歲以上常人之得分偏低,平均得分=5分,±1SD之得分分別為102分。若對思覺失調症患者而言,分數可能更低,導致測驗難以區隔受測者之能力,或影響其反應性。

未來可考慮先將TOENST加入WM驗證之效標測驗,以測試思覺失調症患者之臨床可行性。如果可行性高,後續可增加驗證此測驗之其它(此研究未包含)心理計量特性,如反應性。

參考文獻:
http://www.ncbi.nlm.nih.gov/pubmed/27161505

2016年5月2日 星期一

2016大核心研究能力自評雷達圖



【統計】及【閱讀】為全部能力中最高分的6分。
進研究所至今,幾乎每學習都有修習【統計】課。已修習之統計包括基礎統計、廣義線性迴歸、結構方程模型、多變量分析、文獻回顧及統合分析(本學期)、重複測量分析(本學期)、及羅序分析等。
這些統計課對於其它核心研究能力有所幫助,有助於「文獻閱讀的理解/批判」、「研究議題之擬定」、甚至「寫作時之概念及結果解釋」
【閱讀】為最常練習之能力,因為文獻看的較多、統計方法越來越熟悉、且開始練習寫作,所以對於閱讀文獻之效率及讀懂的程度也隨著提高。

【研究方向】、【研究設計】、【寫作】、【溝通能力】、及【時間管理】同為4分。
博班以來,撰寫論文及研究計畫之機會很多,最直接影響就是【寫作】能力,尤其是英文寫作能力。目前英文寫作上可較精準地表達我想表達之概念。
經驗隨著寫計畫之經驗增加,【研究方向】及【研究設計】之能力也隨之增加。
【溝通能力】則隨著與共同作者合作之溝通機會增加,而慢慢提升溝通之效率。

【建構團隊】之分數最低(3分),因目前仍較少有機會執行。

2016年4月1日 星期五

控制練習效應再驗證二種版本工具之相關性

 背景及問題:CDVT及DVT收案時,每位個案美次評估時皆須完成此二測驗,且此二測驗施測順序為counterbalance 設計。意即一群個案中,半數個案先施測CDVT再測DVT,另一半則先測DVT再測CDVT。
然而同一次評估中,較晚測驗的測驗結果可能受到前一次測驗之練習效應影響(例如先完成CDVT再做DVT的個案,其DVT的測驗結果可能受到個案操作CDVT的經驗影響),因而造成研究者高估較晚測驗的測驗結果

解決辦法:先校正(控制)同一次評估中,較晚測的測驗結果(例如先完成CDVT再做DVT的個案,我們可以透過回歸分析將DVT分數之練習效應排除)[1],接著再進行後續之資料分析,包含信度及效度等。

比較原始(未校正)與校正後心理計量特性:
再測信度分析結果

Tests
Adjacent assessments
ICC (95% CI)
MDC
MDC%
Differencea
(Mean ± SD)
Effect sizeb
pc
C-DVT
Time 1-2
0.71 (0.54-0.83)
68.5
24.1%
6.8 ± 31.9
0.21
0.14
Time 2-3
0.83 (0.70-0.90)
44.0
15.9%
7.8 ± 21.7
0.36
0.02
Time 3-4
0.89 (0.81-0.93)
35.5
12.9%
-4.6 ± 19.6
-0.23
0.11
DVT
Time 1-2
0.95 (0.91-0.97)
156.0
29.7%
0.1 ± 71.0
0.00
0.99
Time 2-3
0.95 (0.90-0.97)
134.9
26.2%
22.7 ± 61.6
0.37
0.01
Time 3-4
0.96 (0.93-0.98)
110.1
22.2%
14.3 ± 47.3
0.30
0.04
C-DVT (校正)
Time 1-2
0.71 (0.53-0.82)
67.9
23.9%
6.8 ± 31.9
0.21
0.14

Time 2-3
0.82 (0.68-0.89)
44.8
16.2%
7.8 ± 22.2
0.35
0.02

Time 3-4
0.87 (0.78-0.92)
38.3
13.9%
-4.6 ± 20.8
-0.22
0.13
DVT (校正)
Time 1-2
0.91 (0.84-0.95)
175.6
33.4%
0.1 ± 93.5
0.00
0.99

Time 2-3
0.93 (0.87-0.96)
157.2
30.6%
22.7 ± 72.0
0.32
0.03

Time 3-4
0.93 (0.87-0.96)
129.5
26.1%
14.3 ± 66.4
0.22
0.14
Notes. aSDifference=Scorepre-Scorepost
bEffect size=MeanDif / SDDif
cSignificant level=0.02 (0.05/3)


同時效度分析結果(CDVT與DVT之相關):

Time 1
Time 2
Time 3
Time 4
原始 (Pearson r)
0.53
0.61
0.54
0.64
校正後 (Pearson r)
0.75
0.76
0.76
0.79

生態效度分析結果 (CDVT vs both PSP and Lawton IADL scale):

IADL
PSP
C-DVT
r=-0.44
r=-0.45
DVT
r=-0.15
r=-0.30
C-DVT(校正)
r=-0.40
r=-0.44
DVT(校正)
r=-0.20
r=0.34

結果總結:
信度:校正後,C-DVT的隨機測量誤差變小,而DVT隨機測量誤差變大
同時效度:校正後大幅提升。
生態效度:校正後之差異不大。


二種分析方法之選擇:使用校正後之分析結果撰寫論文。

參考文獻:
1. Ibrahim, I., Tobar, S., Elassy, M., Mansour, H., Chen, K., Wood, J., et al. (2015). Practice effects distort translational validity estimates for a Neurocognitive Battery. Journal of Clinical and Experimental Neuropsychology, 37, 530-537.




2016年3月9日 星期三

MDC 或 MDC% 選用

背景
我們驗證「電腦化數字警醒測驗 (Computerized Digit Vigilance Test, C-DVT)之3種不同施測方式,對於隨機測量誤差 (random measurement error)之影響」。C-DVT之3種施測方式分別為:【二次測量取平均】、【增加練習時間】及【原始施測】(及練習及施測各一次)。

驗證結果如下表:
施測方法
Time 1
Time 2
ICC
MDC
MDC%

Mean ± SD
Mean ± SD
二次測量取平均
263.3 ± 48.5
249.9 ± 27.9
0.74
54.9
21.4
增加練習時間
300.3 ± 30.7
286.5 ± 43.3
0.69
57.0
19.4
原始施測
263.7 ± 48.9
248.4 ± 25.8
0.70
58.5
22.9
ICC: intraclass correlation coefficient; MDC: minimal detectable change.

問題
比較【二次測量取平均】及【增加練習時間】之隨機測量誤差大小時,採用MDC及MDC%所得之判斷結果完全相反
僅看MDC:【二次測量取平均】 (54.9)之隨機測量誤差小於【增加練習時間】 (57.0)。
僅看MDC%:【增加練習時間】 (19.4%)之隨機測量誤差小於【二次測量取平均】 (21.4%)。

造成此一現象之原因為:MDC%之計算公式為:MDC/平均完成時間。
【增加練習時間】組之完成C-DVT時間(秒)大於【二次測量取平均】組 (300.3 vs. 263.3),因【增加練習時間】組之MDC%公式中的分母較大,所以【增加練習時間】組之MDC雖較大一點,但MDC%反而小。

MDC 及 MDC% 選用
同一測驗時(測驗結果之單位相同)應使用MDC以比較「不同施測方式」或「不同族群」之隨機測量誤差。

理由
MDC為「判斷測驗分數改變是否由隨機測量誤差造成之閾值」,此閾值越大即代表測驗分數受到隨機測量誤差之影響越大。
於同一測驗之情況下(如:【二次測量取平均】及【增加練習時間】組之C-DVT隨機測量誤差),因測驗分數相同(即單位相同),所以MDC可直接比較。MDC值越大之組別,表示該組之測驗分數受到隨機測量誤差之影響越大。
因此我們驗證的結果支持【二次測量取平均】 (54.9)之隨機測量誤差小於【增加練習時間】 (57.0)

MDC%之計算是為了能夠比較不同測驗(單位不同)間之隨機測量誤差,因此需要將MDC「去單位」(變成百分比後就沒有單位的問題,因此可以比較不同測驗的MDC%),所以採用「測驗分數之全距」或「測驗分數之平均值」除MDC來達成「去單位」之目的。
如果要比較同一測驗之不同組別,因不同組別間測驗結果的單位相同,所以無須再計算MDC%
此外,概念上「隨機測量誤差大小」應不受「測驗平均得分高低」影響(二者互相獨立)!因為「隨機測量誤差大小」是變異的概念,而「測驗平均得分高低」則是平均數(或期望值)的概念。
然而以MDC%公式(MDC/平均完成時間)而言,「隨機測量誤差大小」卻會受到「測驗平均得分高低」之影響!此時選用MDC%判讀「隨機測量誤差大小」可能會有bias。

結論
比較同一測驗(測驗結果之單位相同)但不同「施測方式」或「族群」之隨機測量誤差時,以MDC做為比較之效標較合理,而不用計算MDC%。
因此我們驗證之結果支持【二次測量取平均】 (MDC=54.9)之隨機測量誤差小於【增加練習時間】 (MDC=57.0)


2016年2月25日 星期四

松德研討會題目(未確定)

理論篇:
  1. 注意力應評估之向度及現有評估工具介紹
  2. 不同形式認知測驗之品質與效能(紙筆、電腦化測驗、CAT及階層性測驗)
  3. 電腦化(注意力)測驗之發展流程
  4. 工作記憶應評估之向度及現有評估工具介紹
實務篇:
  1. C-DVT用在思覺失調症患者之再測信度、收斂效度及生態效度