2017年3月6日 星期一

C-DVT之中風病人入出院資料心理計量特性驗證議題

C-DVT及T-SDMT於中風個案入出院評估資料以蒐集暫告一段落。
該資料的變項包含C-DVT、T-SDMT及BI-SS之前後測;
此外前測時評估「個案自陳認知功能狀態量表-李克氏量表版 (Gog-Status-Scale)」及「個案自陳認知功能狀態量表-VAS版 (Gog-Status-VAS)」;
另外後測時評估「個案自陳認知功能改變量表-李克氏量表版 (Gog-Change-Scale)」及「個案自陳認知功能改變量表-VAS版 (Gog-Change-VAS)」。

這筆資料可能驗證之議題如下圖(可點圖放大)。
心理計量特性驗證可能議題。
黑色字表示主要分析議題;和色字表示次要分析議題。
Gog-Change-Scale:個案自陳認知功能改變量表(李克氏量表)
Gog-Change-VAS:個案自陳認知功能改變量表(VAS量表)
Gog-Status-Scale:個案自陳認知功能狀態量表(李克氏量表,僅前測時評估)
Gog-Status-VAS:個案自陳認知功能狀態量表(VAS量表,僅前測時評估)
主要分析議題:
1. C-DVT及T-SDMT之反應性(含個別&團體層級)及MID
【此資料中,認知測驗MID恐不可行...因自陳有「些微進步(如0~7分自陳認知進步量表中得2~3分)」的個案數約10人】
2. BI-SS之MID

次要分析議題:
1. C-DVT及T-SDMT之生態效度(交叉驗證)、收斂效度(交叉驗證)、及預測效度
2. BI-SS反應性(交叉驗證)


2017年2月21日 星期二

Effect size (Cohen's d)轉換 Overlapping coefficient

Effect size (Cohen's d)表示兩個常態分配的(標準化後)平均數差異值(如下圖所示)。
圖片來原:http://rpsychologist.com/d3/cohend/

從圖中可以發現,Cohen's d的大小除了決定兩個分配間的距離多遠之外,同時也和兩個分配間重疊面積(圖中深綠色區域)大小有正向的關係。
因此,若研究者關心的議題是:某一指標(或測驗分數)可將二族群 (樣本)區隔多遠。
此時研究者可使用二族群指標間的Cohen's d轉換成重疊係數 (overlapping coefficient, OVL)。 [1]

例如:若研究者驗證已知組群效度時,研究者關心某一測驗分數能否反應出(或能區隔的程度)多個已知族群間分數的差異。此時,即可採用OVL作為已知組群效度指標之一。
(然而使用尚須注意的是:目前未找到OVL好壞的判斷指標,此問題影響數值之判讀)

欲換算Cohen's d及OVL時,可藉由網站:http://rpsychologist.com/d3/cohend/ 協助。
網頁上可透過調整"Slide me",選擇您欲轉換的Cohen's d數值;
接著"% Overlap"處的數值即為OVL。

Reference:

1.     Inman HF, Bradley Jr EL. The overlapping coefficient as a measure of agreement between probability distributions and point estimation of the overlap of two normal densities. Commun Sta. Theory Methods. 1989;18:3851-3874.

2017年2月11日 星期六

博論測驗(COWMEM)發展進度

COWMEM為工作記憶測驗組 (working memory, WM)包含6個WM向度/次向度測驗:視空間WM、語音WM、訊息整合WM、集中性注意力、分配性注意力、及轉換性注意力,後三項為注意力測驗隸屬於WM之中央執行系統。

視空間WM、語音WM、及訊息整合WM等三測驗請明昆協助撰寫程式,目前視空間WM測驗已完成90%(僅餘資料匯出未完成,下週可完成)。後續二測驗之進展預期可快許多,因為後續二測驗之測驗架構近似於視空間WM測驗,僅出題形式不同(視覺圖片、語音訊息、或者事件記憶)。

集中性注意力、分配性注意力、及轉換性注意力等三測驗欲請業太之學弟Allen協助,下週一可獲得Allen之報價及預期進度。

2017年1月17日 星期二

多向度CAT如何控制各向度之施測題數

背景及問題:
     目前正在發展一個4向度CAT(CAT-FASE,評量向度包含上肢/下肢動作、平衡能力、及BADL),我們採用之CAT停止施測條件 (stopping rule)只考量「測驗信度(包含信度增加量及信度>0.90)」,再依據採用各種stopping rule下施測CAT之「最終信度」及「施測總題數」選擇一較佳之stopping rule作為CAT之最終stopping rule。
     上述作法(原始施測法)並未考量「個別向度所需之施測題數」,因此可能產生「部分向度(如CAT-FASE之BADL向度)可能未施測任何一題(或施測極少題)即估計出該向度之能力值」之現象。此現象可能造成2個問題:
(1) BADL向度未施測任何一題,卻可估計出個案BADL之能力值,令人質疑該向度能力估計值之有效性;
(2) 從資料分析角度而言,「BADL向度的分數與其它BADL測驗分數的相關性」可能低於「其與上肢動作/下肢動作/平衡能力測驗分數之相關性」,因BADL向度的分數是藉由其它3個向度(上肢/下肢動作及平衡能力)的測量結果所估計。

可能之解決辦法:
     於CAT之stopping rule中增加「個別向度之施測題數」,而「個別向度之施測題數」有2類決定方法:
     (1) 相對題數:平均各向度間之施測題數(若總測驗題數為8題,則4向度各施測2題)。
實際作法:CAT選題時每4題1組,每組必須包含4個面向的題目,且每人至少測4題。
     (2) 絕對題數:各向度至少需施測N題(如1題),但向度間題數不平均。如:總測驗題數為8題,4向度題數可能為為4、2、1、1題。
實際作法:CAT選題時前4題分別選自4個向度,且每人至少測4題(因此確保各向度至少可施測1題),第5題開始則施測具有最大訊息量的題目,而不論該題來自何向度。

資料分析結果:絕對題數之結果較理想相較於相對題數法)
優點
     (1) 施測效率較高:相對題數法強制要求「CAT選題時每4題1組,每組必須包含4個面向的題目」,而非選擇「訊息量最大」的題目(而是各向度中訊息量最大的題目),因此相對題數法CAT可能施測訊息量較低的題目,進而造成CAT所需施測之題數多於絕對題數CAT
     (2) 反應性較佳:相對題數法並非選擇「訊息量最大」的題目,因此每施測一題後個案能力估計值變化起伏較大,進而造成個案前後測分數差異之SD大(SRM不佳)。故而相對題數法之反應性劣於絕對題數法。

然而無論絕對或相對題數CAT,皆無法克服上述之問題2(「BADL向度的分數與其它BADL測驗分數的相關性」可能低於「其與上肢動作/下肢動作/平衡能力測驗分數之相關性」)。問題2可能存在於「題庫」(例如:BI同分的人較多,因此CAT-BI vs. BI的相關性較低),而非選擇CAT的stopping rules可克服。

2017年1月10日 星期二

C-DVT之評量建構探討

問題背景:投稿「C-DVT於思覺失調症之心理計量特性」稿件時,審查者認為僅有C-DVT vs 原版DVT之相關,不足以支持C-DVT之評量建構為持續性注意力。
甚至質疑C-DVT之評量建構可能更接近「訊息處理速度 (processing speed)」。

有鑑於此,我們分析C-DVT與效標測驗(含認知測驗及功能性測驗)之相關性,以進一步探討C-DVT之評量建構。

效度分析:
效標測驗
目前我們有多筆C-DVT應用於思覺失調症(3筆)及中風患者之資料(2筆),每筆資料中之效標測驗不盡相同。總括多筆資料而言,我們蒐集之效標測驗包含SDMT/T-SDMT(Symbol Digit Modalities Test,評量「訊息處理速度」)、BI(評量BADL)、Lawton IADL(評量IADL)、PSP(Personal and Social Performance Scale,評量「社會功能」)、及CPT-IP(Continuous Performance Test-identical pairs version,評量「工作記憶 (working memory, WM)」*)。

分析結果
C-DVT與各效標測驗之相關 (Pearson's r)如下表:



Assessing constructs
Stroke
Schizophrenia
DVT
Sustained attention
0.86~0.88
0.75~0.79
T-SDMT
Processing speed
-0.84~-0.79
-0.62~-0.57
SDMT
Processing speed
-0.74~-0.73
-
CPT-IP
Working memory
-
-0.31~-0.39
BI
BADL
-0.60
-
Lawton IADL
IADL
-
-0.44
PSP
Social function
-
-0.45


數據解讀:
1. 現有數據仍無法肯定C-DVT之評量建構,僅能推論C-DVT之建構近似於DVT,但DVT之建構為何仍待驗證。
2. C-DVT與「訊息處理速度」測驗相關為中度至高度,符合過去文獻呈現之「持續性注意力」vs.「訊息處理速度」相關程度。[1]
3.  C-DVT與WM測驗 (CPT-IP)之相關程度低亦符合過去文獻呈現之「持續性注意力」vs.「WM」相關程度。[1, 2]

C-DVT後續:
1. C-DVT於schizophrenia稿件繼續投稿,因我們的數據未支持C-DVT為「訊息處理速度」測驗。此外,「持續性注意力」之定義若採用:測驗時間大於3分鐘作,[3] 則C-DVT絕對符合此定義。
2. 必要時,可將3筆C-DVT於思覺失調症之資料同時發表(上表最右邊欄位之內容),以提升C-DVT驗證於思覺失調症患者之完整性。
3. 未來C-DVT(或其它認知測驗)收案時,應增加多個不同認知向度之convergent validity效標測驗(如processing speed、WM及memory等)。concurrent validity之效標除原版測驗外亦可再增加至少1個(如CPT-II及Psychomotor Vigilance Task [available online] [4]),以加強效度驗證之證據力。【未來研究計畫可考慮之】

* CPT-IP為WM測驗理由為:CPT-IP之測驗內容屬於WM測驗:N-back,[5] CPT-IP要求個案判斷最新看到的一組數字(2~4個數字組成)與前一組數字是否相同。測驗中,個案需不斷記憶前一組看到的數字(訊息儲存之能力),並判斷最新看到的數字組與記憶中的是否相同(訊息提取並操弄/比較之能力)。由於CPT-IP測驗個案之訊息儲存及操弄能力,因而被視為WM測驗。


參考文獻
1. Schretlen DJ, Peña J, Aretouli E, Orue I, Cascella NG, Pearlson GD, et al. Confirmatory factor analysis reveals a latent cognitive structure common to bipolar disorder, schizophrenia, and normal controls. Bipolar Disorders. 2013;15:422-433.
2. Genderson MR, Dickinson D, Diaz-Asper CM, Egan MF, Weinberger DR, Goldberg TE. Factor analysis of neurocognitive tests in a large sample of schizophrenic probands, their siblings, and healthy controls. Schizophrenia Research. 2007;94:231-239.
3. Loetscher T, Lincoln N. Cognitive rehabilitation for attention deficits following stroke. The Cochrane Database of Systematic Reviews. 2013;5:CD002842.
4. Khitrov MY, Laxminarayan S, Thorsley D, Ramakrishnan S, Rajaraman S, Wesensten NJ, et al. PC-PVT: A platform for psychomotor vigilance task testing, analysis, and prediction. Behavior Research Methods. 2014;46:140-147.
5. Pukrop R, Matuschek E, Ruhrmann S, Brockhaus-Dumke A, Tendolkar I, Bertsch A, et al. Dimensions of working memory dysfunction in schizophrenia. Schizophrenia Research. 2003;62:259-268.

2016年11月17日 星期四

IRB研究案展延時,新、舊版同意書使用要點

新、舊版同意書之使用要點有二:

1. 新版同意書從展延/修正案通過日即生效舊版同意書不再使用
2. 留意申請展延/修正研究期限時,是否勾選「重新簽署受試者同意書」
如果選擇重簽同意書,則所有簽過舊版同意書的個案都要重簽新版同意書
如果沒有選擇重簽同意書,則展延/修正案通過日之後新收的個案簽新版同意書即可(如第1點)。已簽過舊版同意書的個案不影響。

例如:CAAT舊版同意書的有效期限雖未過期(至2016/12/31),但因新版同意書已於2016/11/15通過。因此11/15之後新收的個案都簽屬新版同意書。


2016年10月25日 星期二

CAT模擬分析─能力估計疊代不收斂

「能力估計疊代不收斂」的現象
        使用MAP能力估計法進行多向度CAT模擬分析時,有些受測者作答至某一題時突然出現能力估計疊代無法收斂(即每次疊代後的能力改變量無法小於某一特定的值,如0.001),此時這些受測者之模擬分析將無法繼續。換句話說,若使用此CAT於臨床上,將有些受測者因能力估計不收斂而無法完成CAT

能力估計疊代不收斂的原因有二

  1. 受測者作答反應與IRT模型預期差距太大。例如:模型估計受測者於某一題得0分的機率很低(如0.002),但該受測者實際作答結果竟為0分。
    由於前述期望機率與真實觀察到的作答兩者差距過大,使得MAP能力估計疊代法 (Newton-Raphson)之計算過程中,一階微分(觀察值減去期望值,為能力改變量估計之分子)無法趨近0,進而造成疊代後的能力改變量無法小於某一特定的值(不收斂)。甚至造成能力改變量絕對值成遞增。
  2. 受測者能力分布的變異數過大(相較於題目難度的分布範圍)。此現象將導致能力疊代時,各向度的能力變化程度非常大,而不易收斂。


2種解決辦法,以確保每位受測者都可完成CAT

  1. 增加測驗終止條件:當受測者之能力估計不收斂時,即停止CAT施測。並以【不收斂前一次估計結果當成最終施測結果】。
    例如受測者作答第5題時不收斂,即以作答前4題之能力估計值當作最終CAT施測結果。
  2. 改為使用EAP估計能力,以取代MAP。因為EAP能力估計時無須進行疊代,因此沒有收斂與否之議題。
二種解決方法1、2之缺點及選擇
方法1之缺點:CAT施測結果之信度較差。
方法2之缺點:EAP估計能力法於多向度CAT之效率很低。


若使用MAP估計時,疊代不收斂之人數不多,可考慮採用方法1。因為人數不多,所以對於CAT施測信度之影響不大。
反之,若疊代不收斂之人數多則選擇方法2。

後續應用
FAST CAT模擬分析時,約2%受測者遇到此問題。
未來將採用解決方法1重新分析,並比較方法1個結果是否與原本分析結果差異很大。



(上述內容感謝業太教導)