Mazes統合分析

Mazes迷宮測驗為MCCB之子測驗。
我於PubMed檢索Mazes或MCCB驗證於schizophrenia患者之再測信度文獻，共查獲3篇（表一之前三篇）。加上我們的收案資料，共使用4篇文獻進行統合分析。

Mazes之再測信度統合分析結果顯示（表二）：Mazes之再測信度係數 良好 (pooled ICC & Pearson's r = 0.80)，但隨機測量誤差大 (pooled MDC% = 63.6%)，且有微小至小的練習效應 (pooled SRM & Cohen's d = 0.26 & 0.18, respectively)。Mazes之SRM森林圖 (forest plot)呈現於圖一。
Note: ICC & Pearson's r的森林圖未附上於此，因二者的森林圖是呈現z值而非ICC & Pearson's r，使得森林圖之數值不易解讀。ICC & Pearson's r於統合分析時都須先轉換成常態z值，再用z值進行運算。
未來可找其它軟體或方法繪製呈現ICC & Pearson's r的森林圖

未來須檢索其它資料庫（如Embase, PsycINFO, and CINAHL），以確認Mazes之再測信度文獻是否有漏網之魚。

表一：Mazes應用於schizophrenia患者之再測信度文獻基本資料

Author	Year	評估次數	複本測驗	再測間隔 (週)	樣本數
Nuechterlein, et al.	2008	2	有	4	167
Jędrasik-Styła, et al.	2015	2	有	4	61
Fonseca, et al.	2017	2	有	4	45
Ours	2017	2	無	2	58

表二：Mazes之再測信度

Author	n	ICC	Pearson's r	MDC	MDC%	SRM	Cohen's d
Nuechterlein, et al.	167	0.83	0.83	7.9	65.2%	0.15	0.08
Jędrasik-Styła, et al.	61	-	0.74	8.8	53.8%	0.51	0.38
Fonseca, et al.	45	-	0.83	8.0	77.2%	0.18	0.10
Ours	58	0.67	0.70	10.5	71.8%	0.41	0.34
Pooled estimates	331	0.80 (0.75~0.83)	0.80 (0.75~0.85)	8.5	63.6%	0.26 (0.15~0.37)	0.18 (0.07~0.30)

圖一：Mazes之SRM統合分析結果

CAAT@schizo.之信效度分析結果

CAAT預期評量之認知功能：規則轉換 (rule switching)，規則轉換屬於何種認知功能尚無定論，常被視為「轉換性注意力 (alternating attention)」的一種或「認知彈性 (cognitive flexibility)」的一種基礎能力。

發展動機：過去研究發現思覺失調症患者之規則轉換能力有缺損，且目前缺乏評估工具。

測驗內容：CAAT要求受測者轉換於二種測驗規則：「判斷數字是否小於5」及
「判斷圖形是否為左右對稱」（詳CAAT介紹）。
CAAT之正式測驗含三部分：僅數字題、僅圖形題、及規則轉換題。每部分含24題，前二部分受測者無需規則轉換，但第三部分數字與圖形題各半，受測者需規則轉換。

CAAT主要分數：CAAT之正式測驗第三部分之「平均反應時間」。本研究樣本於4次評量之CAAT分數如表一。
我們假設第三部分的平均反應時間 > 第一、二部份的平均反應時間。因於第三部分中，患者應須花費額外的認知能力（時間）以處理「規則轉換」之任務。

表一：CAAT第三部分平均反應時間

施測次數	1	2	3	4
平均反應時間 (秒)	0.80 (0.17)	0.78 (0.16)	0.77 (0.17)	0.75 (0.19)

研究評估流程：本研究招募症狀穩定之思覺失調症患者進行4次評估，患者每次評估皆須完成CAAT。此外於第一、三次評估時須額外完成迷宮測驗 (Mazes test)及T-SDMT；第二、四次評估須完成Lawton IADL。

心理計量特性驗證結果
再測信度：幾乎無練習效應，但ICC及隨機測量誤差僅達可接受之邊緣（數值呈現於表二）。

表二：CAAT再測信度、隨機測量誤差及練習效應

	Difference (SD), 秒	ICC	SEM, (秒)	MDC, (秒)	MDC%	SRM	p
CAAT_Time1~2	0.03 (0.12)	0.74	0.09	0.25	31.3%	0.25	0.86
CAAT_Time2~3	0.01 (0.14)	0.66	0.09	0.25	32.1%	0.07	0.70
CAAT_Time3~4	0.02 (0.12)	0.78	0.08	0.22	28.6%	0.17	0.28

效度：
建構效度不佳：CAAT「Part3」與「Part1&2」之平均反應時間無顯著差異，此結果表示：Part3之平均反應時間（CAAT的主要指標）無法顯示出患者處理「規則轉換」任務須額外花費的時間。

生態效度不佳：和IADL分數相關性低。（然而IADL與這次所有測驗的相關性都<0.20，原因尚不明）

收斂效度可接受：和T-SDMT有中度相關；和MAZE弱相關。

結論：CAAT應用於思覺失調症患者之再測信度勉強可接受，但效度不佳...

可能原因：「規則轉換提醒」至「呈現規則轉換題」的間隔太長（目前為5秒），導致CAAT無法偵測到患者「轉換規則需額外花費的時間」。

同筆資料中亦可分析MCCB-Mazes測驗的再測信度：

Mazes-Time1, mean (SD) = 13.4 (6.9)

Mazes-Time2, mean (SD) = 15.8 (7.9)

	Difference (SD), 秒	ICC (95% CI)	SEM, (秒)	MDC, (秒)	MDC%	SRM	p
Mazes_Time1~2	2.38 (5.75)	0.67 (0.46~0.80)	3.96	10.95	81.6%	0.25	0.003

我們研究結果顯示Mazes的隨機測量誤差極大，且ICC與練習效應的effect size與MCCB發展時之數據有相當大的出入 。MCCB原始論文呈現之 ICC = 0.80，練習效應之effect size = 0.08。

此出入可能來自於「再測間隔之差異」，我們研究之間隔為2週，而雖然原始論文的間隔為4週。

原始論文：
Nuechterlein KH, Green MF, Kern RS, Baade LE, Barch DM, CohenJD, Essock S, Fenton WS, Frese FJ 3rd, Gold JM, Goldberg T,Heaton RK, Keefe RS, Kraemer H, Mesholam-Gately R, SeidmanLJ, Stover E, Weinberger DR, Young AS, Zalcman S, Marder SR:The MATRICS Consensus Cognitive Battery, part 1: test selection,reliability, and validity. Am J Psychiatry 2008; 165:203–213

C-DVT之中風病人入出院資料心理計量特性驗證議題

C-DVT及T-SDMT於中風個案入出院評估資料以蒐集暫告一段落。
該資料的變項包含C-DVT、T-SDMT及BI-SS之前後測；
此外前測時評估「個案自陳認知功能狀態量表-李克氏量表版 (Gog-Status-Scale)」及「個案自陳認知功能狀態量表-VAS版 (Gog-Status-VAS)」；
另外後測時評估「個案自陳認知功能改變量表-李克氏量表版 (Gog-Change-Scale)」及「個案自陳認知功能改變量表-VAS版 (Gog-Change-VAS)」。

這筆資料可能驗證之議題如下圖（可點圖放大）。

心理計量特性驗證可能議題。
黑色字表示主要分析議題；和色字表示次要分析議題。
Gog-Change-Scale：個案自陳認知功能改變量表（李克氏量表）
Gog-Change-VAS：個案自陳認知功能改變量表（VAS量表）
Gog-Status-Scale：個案自陳認知功能狀態量表（李克氏量表，僅前測時評估）
Gog-Status-VAS：個案自陳認知功能狀態量表（VAS量表，僅前測時評估）

主要分析議題：

1. C-DVT及T-SDMT之反應性（含個別&團體層級）及MID
【此資料中，認知測驗MID恐不可行...因自陳有「些微進步（如0~7分自陳認知進步量表中得2~3分）」的個案數約10人】

2. BI-SS之MID

次要分析議題：

1. C-DVT及T-SDMT之生態效度（交叉驗證）、收斂效度（交叉驗證）、及預測效度

2. BI-SS反應性（交叉驗證）

Effect size (Cohen's d)轉換 Overlapping coefficient

Effect size (Cohen's d)表示兩個常態分配的（標準化後）平均數差異值（如下圖所示）。

圖片來原：http://rpsychologist.com/d3/cohend/

從圖中可以發現，Cohen's d的大小除了決定兩個分配間的距離多遠之外，同時也和兩個分配間重疊面積（圖中深綠色區域）大小有正向的關係。
因此，若研究者關心的議題是：某一指標（或測驗分數）可將二族群 (樣本)區隔多遠。
此時研究者可使用二族群指標間的Cohen's d轉換成重疊係數 (overlapping coefficient, OVL)。 [1]

例如：若研究者驗證已知組群效度時，研究者關心某一測驗分數能否反應出（或能區隔的程度）多個已知族群間分數的差異。此時，即可採用OVL作為已知組群效度指標之一。
（然而使用尚須注意的是：目前未找到OVL好壞的判斷指標，此問題影響數值之判讀）

欲換算Cohen's d及OVL時，可藉由網站：http://rpsychologist.com/d3/cohend/ 協助。
網頁上可透過調整"Slide me"，選擇您欲轉換的Cohen's d數值；
接著"% Overlap"處的數值即為OVL。

Reference:

1.     Inman HF, Bradley Jr EL. The overlapping coefficient as a measure of agreement between probability distributions and point estimation of the overlap of two normal densities. Commun Sta. Theory Methods. 1989;18:3851-3874.

博論測驗(COWMEM)發展進度

COWMEM為工作記憶測驗組 (working memory, WM)包含6個WM向度/次向度測驗：視空間WM、語音WM、訊息整合WM、集中性注意力、分配性注意力、及轉換性注意力，後三項為注意力測驗隸屬於WM之中央執行系統。

視空間WM、語音WM、及訊息整合WM等三測驗請明昆協助撰寫程式，目前視空間WM測驗已完成90%（僅餘資料匯出未完成，下週可完成）。後續二測驗之進展預期可快許多，因為後續二測驗之測驗架構近似於視空間WM測驗，僅出題形式不同（視覺圖片、語音訊息、或者事件記憶）。

集中性注意力、分配性注意力、及轉換性注意力等三測驗欲請業太之學弟Allen協助，下週一可獲得Allen之報價及預期進度。

多向度CAT如何控制各向度之施測題數

背景及問題：
     目前正在發展一個4向度CAT（CAT-FASE，評量向度包含上肢/下肢動作、平衡能力、及BADL），我們採用之CAT停止施測條件 (stopping rule)只考量「測驗信度（包含信度增加量及信度>0.90）」，再依據採用各種stopping rule下施測CAT之「最終信度」及「施測總題數」選擇一較佳之stopping rule作為CAT之最終stopping rule。
     上述作法（原始施測法）並未考量「個別向度所需之施測題數」，因此可能產生「部分向度（如CAT-FASE之BADL向度）可能未施測任何一題（或施測極少題）即估計出該向度之能力值」之現象。此現象可能造成2個問題：
(1) BADL向度未施測任何一題，卻可估計出個案BADL之能力值，令人質疑該向度能力估計值之有效性；
(2) 從資料分析角度而言，「BADL向度的分數與其它BADL測驗分數的相關性」可能低於「其與上肢動作/下肢動作/平衡能力測驗分數之相關性」，因BADL向度的分數是藉由其它3個向度（上肢/下肢動作及平衡能力）的測量結果所估計。

可能之解決辦法：
     於CAT之stopping rule中增加「個別向度之施測題數」，而「個別向度之施測題數」有2類決定方法：
     (1) 相對題數：平均各向度間之施測題數（若總測驗題數為8題，則4向度各施測2題）。
實際作法：CAT選題時每4題1組，每組必須包含4個面向的題目，且每人至少測4題。
     (2) 絕對題數：各向度至少需施測N題（如1題），但向度間題數不平均。如：總測驗題數為8題，4向度題數可能為為4、2、1、1題。
實際作法：CAT選題時前4題分別選自4個向度，且每人至少測4題（因此確保各向度至少可施測1題），第5題開始則施測具有最大訊息量的題目，而不論該題來自何向度。

資料分析結果：絕對題數之結果較理想（相較於相對題數法）
優點：
     (1) 施測效率較高：相對題數法強制要求「CAT選題時每4題1組，每組必須包含4個面向的題目」，而非選擇「訊息量最大」的題目（而是各向度中訊息量最大的題目），因此相對題數法CAT可能施測訊息量較低的題目，進而造成CAT所需施測之題數多於絕對題數CAT。
     (2) 反應性較佳：相對題數法並非選擇「訊息量最大」的題目，因此每施測一題後個案能力估計值變化起伏較大，進而造成個案前後測分數差異之SD大（SRM不佳）。故而相對題數法之反應性劣於絕對題數法。

然而無論絕對或相對題數CAT，皆無法克服上述之問題2（「BADL向度的分數與其它BADL測驗分數的相關性」可能低於「其與上肢動作/下肢動作/平衡能力測驗分數之相關性」）。問題2可能存在於「題庫」（例如：BI同分的人較多，因此CAT-BI vs. BI的相關性較低），而非選擇CAT的stopping rules可克服。

C-DVT之評量建構探討

問題背景：投稿「C-DVT於思覺失調症之心理計量特性」稿件時，審查者認為僅有C-DVT vs 原版DVT之相關，不足以支持C-DVT之評量建構為持續性注意力。
甚至質疑C-DVT之評量建構可能更接近「訊息處理速度 (processing speed)」。

有鑑於此，我們分析C-DVT與效標測驗（含認知測驗及功能性測驗）之相關性，以進一步探討C-DVT之評量建構。

效度分析：
效標測驗
目前我們有多筆C-DVT應用於思覺失調症（3筆）及中風患者之資料（2筆），每筆資料中之效標測驗不盡相同。總括多筆資料而言，我們蒐集之效標測驗包含SDMT/T-SDMT（Symbol Digit Modalities Test，評量「訊息處理速度」）、BI（評量BADL）、Lawton IADL（評量IADL）、PSP（Personal and Social Performance Scale，評量「社會功能」）、及CPT-IP（Continuous Performance Test-identical pairs version，評量「工作記憶 (working memory, WM)」*）。

分析結果
C-DVT與各效標測驗之相關 (Pearson's r)如下表：

	Assessing constructs	Stroke	Schizophrenia
DVT	Sustained attention	0.86~0.88	0.75~0.79
T-SDMT	Processing speed	-0.84~-0.79	-0.62~-0.57
SDMT	Processing speed	-0.74~-0.73	-
CPT-IP	Working memory	-	-0.31~-0.39
BI	BADL	-0.60	-
Lawton IADL	IADL	-	-0.44
PSP	Social function	-	-0.45

數據解讀：
1. 現有數據仍無法肯定C-DVT之評量建構，僅能推論C-DVT之建構近似於DVT，但DVT之建構為何仍待驗證。
2. C-DVT與「訊息處理速度」測驗相關為中度至高度，符合過去文獻呈現之「持續性注意力」vs.「訊息處理速度」相關程度。[1]
3.  C-DVT與WM測驗 (CPT-IP)之相關程度低亦符合過去文獻呈現之「持續性注意力」vs.「WM」相關程度。[1, 2]

C-DVT後續：
1. C-DVT於schizophrenia稿件繼續投稿，因我們的數據未支持C-DVT為「訊息處理速度」測驗。此外，「持續性注意力」之定義若採用：測驗時間大於3分鐘作，[3] 則C-DVT絕對符合此定義。
2. 必要時，可將3筆C-DVT於思覺失調症之資料同時發表（上表最右邊欄位之內容），以提升C-DVT驗證於思覺失調症患者之完整性。
3. 未來C-DVT（或其它認知測驗）收案時，應增加多個不同認知向度之convergent validity效標測驗（如processing speed、WM及memory等）。concurrent validity之效標除原版測驗外亦可再增加至少1個（如CPT-II及Psychomotor Vigilance Task [available online] [4]），以加強效度驗證之證據力。【未來研究計畫可考慮之】

* CPT-IP為WM測驗理由為：CPT-IP之測驗內容屬於WM測驗：N-back，[5] CPT-IP要求個案判斷最新看到的一組數字（2～4個數字組成）與前一組數字是否相同。測驗中，個案需不斷記憶前一組看到的數字（訊息儲存之能力），並判斷最新看到的數字組與記憶中的是否相同（訊息提取並操弄/比較之能力）。由於CPT-IP測驗個案之訊息儲存及操弄能力，因而被視為WM測驗。


參考文獻
1. Schretlen DJ, Peña J, Aretouli E, Orue I, Cascella NG, Pearlson GD, et al. Confirmatory factor analysis reveals a latent cognitive structure common to bipolar disorder, schizophrenia, and normal controls. Bipolar Disorders. 2013;15:422-433.
2. Genderson MR, Dickinson D, Diaz-Asper CM, Egan MF, Weinberger DR, Goldberg TE. Factor analysis of neurocognitive tests in a large sample of schizophrenic probands, their siblings, and healthy controls. Schizophrenia Research. 2007;94:231-239.
3. Loetscher T, Lincoln N. Cognitive rehabilitation for attention deficits following stroke. The Cochrane Database of Systematic Reviews. 2013;5:CD002842.
4. Khitrov MY, Laxminarayan S, Thorsley D, Ramakrishnan S, Rajaraman S, Wesensten NJ, et al. PC-PVT: A platform for psychomotor vigilance task testing, analysis, and prediction. Behavior Research Methods. 2014;46:140-147.
5. Pukrop R, Matuschek E, Ruhrmann S, Brockhaus-Dumke A, Tendolkar I, Bertsch A, et al. Dimensions of working memory dysfunction in schizophrenia. Schizophrenia Research. 2003;62:259-268.