2017年1月17日 星期二

多向度CAT如何控制各向度之施測題數

背景及問題:
     目前正在發展一個4向度CAT(CAT-FASE,評量向度包含上肢/下肢動作、平衡能力、及BADL),我們採用之CAT停止施測條件 (stopping rule)只考量「測驗信度(包含信度增加量及信度>0.90)」,再依據採用各種stopping rule下施測CAT之「最終信度」及「施測總題數」選擇一較佳之stopping rule作為CAT之最終stopping rule。
     上述作法(原始施測法)並未考量「個別向度所需之施測題數」,因此可能產生「部分向度(如CAT-FASE之BADL向度)可能未施測任何一題(或施測極少題)即估計出該向度之能力值」之現象。此現象可能造成2個問題:
(1) BADL向度未施測任何一題,卻可估計出個案BADL之能力值,令人質疑該向度能力估計值之有效性;
(2) 從資料分析角度而言,「BADL向度的分數與其它BADL測驗分數的相關性」可能低於「其與上肢動作/下肢動作/平衡能力測驗分數之相關性」,因BADL向度的分數是藉由其它3個向度(上肢/下肢動作及平衡能力)的測量結果所估計。

可能之解決辦法:
     於CAT之stopping rule中增加「個別向度之施測題數」,而「個別向度之施測題數」有2類決定方法:
     (1) 相對題數:平均各向度間之施測題數(若總測驗題數為8題,則4向度各施測2題)。
實際作法:CAT選題時每4題1組,每組必須包含4個面向的題目,且每人至少測4題。
     (2) 絕對題數:各向度至少需施測N題(如1題),但向度間題數不平均。如:總測驗題數為8題,4向度題數可能為為4、2、1、1題。
實際作法:CAT選題時前4題分別選自4個向度,且每人至少測4題(因此確保各向度至少可施測1題),第5題開始則施測具有最大訊息量的題目,而不論該題來自何向度。

資料分析結果:絕對題數之結果較理想相較於相對題數法)
優點
     (1) 施測效率較高:相對題數法強制要求「CAT選題時每4題1組,每組必須包含4個面向的題目」,而非選擇「訊息量最大」的題目(而是各向度中訊息量最大的題目),因此相對題數法CAT可能施測訊息量較低的題目,進而造成CAT所需施測之題數多於絕對題數CAT
     (2) 反應性較佳:相對題數法並非選擇「訊息量最大」的題目,因此每施測一題後個案能力估計值變化起伏較大,進而造成個案前後測分數差異之SD大(SRM不佳)。故而相對題數法之反應性劣於絕對題數法。

然而無論絕對或相對題數CAT,皆無法克服上述之問題2(「BADL向度的分數與其它BADL測驗分數的相關性」可能低於「其與上肢動作/下肢動作/平衡能力測驗分數之相關性」)。問題2可能存在於「題庫」(例如:BI同分的人較多,因此CAT-BI vs. BI的相關性較低),而非選擇CAT的stopping rules可克服。

2017年1月10日 星期二

C-DVT之評量建構探討

問題背景:投稿「C-DVT於思覺失調症之心理計量特性」稿件時,審查者認為僅有C-DVT vs 原版DVT之相關,不足以支持C-DVT之評量建構為持續性注意力。
甚至質疑C-DVT之評量建構可能更接近「訊息處理速度 (processing speed)」。

有鑑於此,我們分析C-DVT與效標測驗(含認知測驗及功能性測驗)之相關性,以進一步探討C-DVT之評量建構。

效度分析:
效標測驗
目前我們有多筆C-DVT應用於思覺失調症(3筆)及中風患者之資料(2筆),每筆資料中之效標測驗不盡相同。總括多筆資料而言,我們蒐集之效標測驗包含SDMT/T-SDMT(Symbol Digit Modalities Test,評量「訊息處理速度」)、BI(評量BADL)、Lawton IADL(評量IADL)、PSP(Personal and Social Performance Scale,評量「社會功能」)、及CPT-IP(Continuous Performance Test-identical pairs version,評量「工作記憶 (working memory, WM)」*)。

分析結果
C-DVT與各效標測驗之相關 (Pearson's r)如下表:



Assessing constructs
Stroke
Schizophrenia
DVT
Sustained attention
0.86~0.88
0.75~0.79
T-SDMT
Processing speed
-0.84~-0.79
-0.62~-0.57
SDMT
Processing speed
-0.74~-0.73
-
CPT-IP
Working memory
-
-0.31~-0.39
BI
BADL
-0.60
-
Lawton IADL
IADL
-
-0.44
PSP
Social function
-
-0.45


數據解讀:
1. 現有數據仍無法肯定C-DVT之評量建構,僅能推論C-DVT之建構近似於DVT,但DVT之建構為何仍待驗證。
2. C-DVT與「訊息處理速度」測驗相關為中度至高度,符合過去文獻呈現之「持續性注意力」vs.「訊息處理速度」相關程度。[1]
3.  C-DVT與WM測驗 (CPT-IP)之相關程度低亦符合過去文獻呈現之「持續性注意力」vs.「WM」相關程度。[1, 2]

C-DVT後續:
1. C-DVT於schizophrenia稿件繼續投稿,因我們的數據未支持C-DVT為「訊息處理速度」測驗。此外,「持續性注意力」之定義若採用:測驗時間大於3分鐘作,[3] 則C-DVT絕對符合此定義。
2. 必要時,可將3筆C-DVT於思覺失調症之資料同時發表(上表最右邊欄位之內容),以提升C-DVT驗證於思覺失調症患者之完整性。
3. 未來C-DVT(或其它認知測驗)收案時,應增加多個不同認知向度之convergent validity效標測驗(如processing speed、WM及memory等)。concurrent validity之效標除原版測驗外亦可再增加至少1個(如CPT-II及Psychomotor Vigilance Task [available online] [4]),以加強效度驗證之證據力。【未來研究計畫可考慮之】

* CPT-IP為WM測驗理由為:CPT-IP之測驗內容屬於WM測驗:N-back,[5] CPT-IP要求個案判斷最新看到的一組數字(2~4個數字組成)與前一組數字是否相同。測驗中,個案需不斷記憶前一組看到的數字(訊息儲存之能力),並判斷最新看到的數字組與記憶中的是否相同(訊息提取並操弄/比較之能力)。由於CPT-IP測驗個案之訊息儲存及操弄能力,因而被視為WM測驗。


參考文獻
1. Schretlen DJ, Peña J, Aretouli E, Orue I, Cascella NG, Pearlson GD, et al. Confirmatory factor analysis reveals a latent cognitive structure common to bipolar disorder, schizophrenia, and normal controls. Bipolar Disorders. 2013;15:422-433.
2. Genderson MR, Dickinson D, Diaz-Asper CM, Egan MF, Weinberger DR, Goldberg TE. Factor analysis of neurocognitive tests in a large sample of schizophrenic probands, their siblings, and healthy controls. Schizophrenia Research. 2007;94:231-239.
3. Loetscher T, Lincoln N. Cognitive rehabilitation for attention deficits following stroke. The Cochrane Database of Systematic Reviews. 2013;5:CD002842.
4. Khitrov MY, Laxminarayan S, Thorsley D, Ramakrishnan S, Rajaraman S, Wesensten NJ, et al. PC-PVT: A platform for psychomotor vigilance task testing, analysis, and prediction. Behavior Research Methods. 2014;46:140-147.
5. Pukrop R, Matuschek E, Ruhrmann S, Brockhaus-Dumke A, Tendolkar I, Bertsch A, et al. Dimensions of working memory dysfunction in schizophrenia. Schizophrenia Research. 2003;62:259-268.