多向度CAT如何控制各向度之施測題數

背景及問題：
     目前正在發展一個4向度CAT（CAT-FASE，評量向度包含上肢/下肢動作、平衡能力、及BADL），我們採用之CAT停止施測條件 (stopping rule)只考量「測驗信度（包含信度增加量及信度>0.90）」，再依據採用各種stopping rule下施測CAT之「最終信度」及「施測總題數」選擇一較佳之stopping rule作為CAT之最終stopping rule。
     上述作法（原始施測法）並未考量「個別向度所需之施測題數」，因此可能產生「部分向度（如CAT-FASE之BADL向度）可能未施測任何一題（或施測極少題）即估計出該向度之能力值」之現象。此現象可能造成2個問題：
(1) BADL向度未施測任何一題，卻可估計出個案BADL之能力值，令人質疑該向度能力估計值之有效性；
(2) 從資料分析角度而言，「BADL向度的分數與其它BADL測驗分數的相關性」可能低於「其與上肢動作/下肢動作/平衡能力測驗分數之相關性」，因BADL向度的分數是藉由其它3個向度（上肢/下肢動作及平衡能力）的測量結果所估計。

可能之解決辦法：
     於CAT之stopping rule中增加「個別向度之施測題數」，而「個別向度之施測題數」有2類決定方法：
     (1) 相對題數：平均各向度間之施測題數（若總測驗題數為8題，則4向度各施測2題）。
實際作法：CAT選題時每4題1組，每組必須包含4個面向的題目，且每人至少測4題。
     (2) 絕對題數：各向度至少需施測N題（如1題），但向度間題數不平均。如：總測驗題數為8題，4向度題數可能為為4、2、1、1題。
實際作法：CAT選題時前4題分別選自4個向度，且每人至少測4題（因此確保各向度至少可施測1題），第5題開始則施測具有最大訊息量的題目，而不論該題來自何向度。

資料分析結果：絕對題數之結果較理想（相較於相對題數法）
優點：
     (1) 施測效率較高：相對題數法強制要求「CAT選題時每4題1組，每組必須包含4個面向的題目」，而非選擇「訊息量最大」的題目（而是各向度中訊息量最大的題目），因此相對題數法CAT可能施測訊息量較低的題目，進而造成CAT所需施測之題數多於絕對題數CAT。
     (2) 反應性較佳：相對題數法並非選擇「訊息量最大」的題目，因此每施測一題後個案能力估計值變化起伏較大，進而造成個案前後測分數差異之SD大（SRM不佳）。故而相對題數法之反應性劣於絕對題數法。

然而無論絕對或相對題數CAT，皆無法克服上述之問題2（「BADL向度的分數與其它BADL測驗分數的相關性」可能低於「其與上肢動作/下肢動作/平衡能力測驗分數之相關性」）。問題2可能存在於「題庫」（例如：BI同分的人較多，因此CAT-BI vs. BI的相關性較低），而非選擇CAT的stopping rules可克服。

C-DVT之評量建構探討

問題背景：投稿「C-DVT於思覺失調症之心理計量特性」稿件時，審查者認為僅有C-DVT vs 原版DVT之相關，不足以支持C-DVT之評量建構為持續性注意力。
甚至質疑C-DVT之評量建構可能更接近「訊息處理速度 (processing speed)」。

有鑑於此，我們分析C-DVT與效標測驗（含認知測驗及功能性測驗）之相關性，以進一步探討C-DVT之評量建構。

效度分析：
效標測驗
目前我們有多筆C-DVT應用於思覺失調症（3筆）及中風患者之資料（2筆），每筆資料中之效標測驗不盡相同。總括多筆資料而言，我們蒐集之效標測驗包含SDMT/T-SDMT（Symbol Digit Modalities Test，評量「訊息處理速度」）、BI（評量BADL）、Lawton IADL（評量IADL）、PSP（Personal and Social Performance Scale，評量「社會功能」）、及CPT-IP（Continuous Performance Test-identical pairs version，評量「工作記憶 (working memory, WM)」*）。

分析結果
C-DVT與各效標測驗之相關 (Pearson's r)如下表：

	Assessing constructs	Stroke	Schizophrenia
DVT	Sustained attention	0.86~0.88	0.75~0.79
T-SDMT	Processing speed	-0.84~-0.79	-0.62~-0.57
SDMT	Processing speed	-0.74~-0.73	-
CPT-IP	Working memory	-	-0.31~-0.39
BI	BADL	-0.60	-
Lawton IADL	IADL	-	-0.44
PSP	Social function	-	-0.45

數據解讀：
1. 現有數據仍無法肯定C-DVT之評量建構，僅能推論C-DVT之建構近似於DVT，但DVT之建構為何仍待驗證。
2. C-DVT與「訊息處理速度」測驗相關為中度至高度，符合過去文獻呈現之「持續性注意力」vs.「訊息處理速度」相關程度。[1]
3.  C-DVT與WM測驗 (CPT-IP)之相關程度低亦符合過去文獻呈現之「持續性注意力」vs.「WM」相關程度。[1, 2]

C-DVT後續：
1. C-DVT於schizophrenia稿件繼續投稿，因我們的數據未支持C-DVT為「訊息處理速度」測驗。此外，「持續性注意力」之定義若採用：測驗時間大於3分鐘作，[3] 則C-DVT絕對符合此定義。
2. 必要時，可將3筆C-DVT於思覺失調症之資料同時發表（上表最右邊欄位之內容），以提升C-DVT驗證於思覺失調症患者之完整性。
3. 未來C-DVT（或其它認知測驗）收案時，應增加多個不同認知向度之convergent validity效標測驗（如processing speed、WM及memory等）。concurrent validity之效標除原版測驗外亦可再增加至少1個（如CPT-II及Psychomotor Vigilance Task [available online] [4]），以加強效度驗證之證據力。【未來研究計畫可考慮之】

* CPT-IP為WM測驗理由為：CPT-IP之測驗內容屬於WM測驗：N-back，[5] CPT-IP要求個案判斷最新看到的一組數字（2～4個數字組成）與前一組數字是否相同。測驗中，個案需不斷記憶前一組看到的數字（訊息儲存之能力），並判斷最新看到的數字組與記憶中的是否相同（訊息提取並操弄/比較之能力）。由於CPT-IP測驗個案之訊息儲存及操弄能力，因而被視為WM測驗。


參考文獻
1. Schretlen DJ, Peña J, Aretouli E, Orue I, Cascella NG, Pearlson GD, et al. Confirmatory factor analysis reveals a latent cognitive structure common to bipolar disorder, schizophrenia, and normal controls. Bipolar Disorders. 2013;15:422-433.
2. Genderson MR, Dickinson D, Diaz-Asper CM, Egan MF, Weinberger DR, Goldberg TE. Factor analysis of neurocognitive tests in a large sample of schizophrenic probands, their siblings, and healthy controls. Schizophrenia Research. 2007;94:231-239.
3. Loetscher T, Lincoln N. Cognitive rehabilitation for attention deficits following stroke. The Cochrane Database of Systematic Reviews. 2013;5:CD002842.
4. Khitrov MY, Laxminarayan S, Thorsley D, Ramakrishnan S, Rajaraman S, Wesensten NJ, et al. PC-PVT: A platform for psychomotor vigilance task testing, analysis, and prediction. Behavior Research Methods. 2014;46:140-147.
5. Pukrop R, Matuschek E, Ruhrmann S, Brockhaus-Dumke A, Tendolkar I, Bertsch A, et al. Dimensions of working memory dysfunction in schizophrenia. Schizophrenia Research. 2003;62:259-268.

IRB研究案展延時，新、舊版同意書使用要點

新、舊版同意書之使用要點有二：

1. 新版同意書從展延/修正案通過日即生效，舊版同意書不再使用。
2. 留意申請展延/修正研究期限時，是否勾選「重新簽署受試者同意書」。
如果選擇重簽同意書，則所有簽過舊版同意書的個案都要重簽新版同意書。
如果沒有選擇重簽同意書，則展延/修正案通過日之後新收的個案簽新版同意書即可（如第1點）。已簽過舊版同意書的個案不影響。

例如：CAAT舊版同意書的有效期限雖未過期（至2016/12/31），但因新版同意書已於2016/11/15通過。因此11/15之後新收的個案都簽屬新版同意書。

CAT模擬分析─能力估計疊代不收斂

「能力估計疊代不收斂」的現象
        使用MAP能力估計法進行多向度CAT模擬分析時，有些受測者作答至某一題時突然出現能力估計疊代無法收斂（即每次疊代後的能力改變量無法小於某一特定的值，如0.001），此時這些受測者之模擬分析將無法繼續。換句話說，若使用此CAT於臨床上，將有些受測者因能力估計不收斂而無法完成CAT。

能力估計疊代不收斂的原因有二

1. 受測者作答反應與IRT模型預期差距太大。例如：模型估計受測者於某一題得0分的機率很低（如0.002），但該受測者實際作答結果竟為0分。
   由於前述期望機率與真實觀察到的作答兩者差距過大，使得MAP能力估計疊代法 (Newton-Raphson)之計算過程中，一階微分（觀察值減去期望值，為能力改變量估計之分子）無法趨近0，進而造成疊代後的能力改變量無法小於某一特定的值（不收斂）。甚至造成能力改變量絕對值成遞增。
   
2. 受測者能力分布的變異數過大（相較於題目難度的分布範圍）。此現象將導致能力疊代時，各向度的能力變化程度非常大，而不易收斂。

2種解決辦法，以確保每位受測者都可完成CAT

1. 增加測驗終止條件：當受測者之能力估計不收斂時，即停止CAT施測。並以【不收斂前一次估計結果當成最終施測結果】。
   例如受測者作答第5題時不收斂，即以作答前4題之能力估計值當作最終CAT施測結果。
2. 改為使用EAP估計能力，以取代MAP。因為EAP能力估計時無須進行疊代，因此沒有收斂與否之議題。

二種解決方法1、2之缺點及選擇

方法1之缺點：CAT施測結果之信度較差。

方法2之缺點：EAP估計能力法於多向度CAT之效率很低。

若使用MAP估計時，疊代不收斂之人數不多，可考慮採用方法1。因為人數不多，所以對於CAT施測信度之影響不大。
反之，若疊代不收斂之人數多則選擇方法2。

後續應用

FAST CAT模擬分析時，約2%受測者遇到此問題。

未來將採用解決方法1重新分析，並比較方法1個結果是否與原本分析結果差異很大。

（上述內容感謝業太教導）

FAST CAT分析結果及進度規劃

FAST CAT簡介

FAST CAT包含4個向度：上肢動作、下肢動作、平衡、及BADL，此4向度之題目分別來自：UE-STREAM、LE-STREAM、PASS、BI等4個測驗。

模擬分析方法

FAST CAT模擬分析共使用2類（共8種）「測驗停止規則 (stopping rule)」，第1類測驗停止規則僅考慮「信度增加量」，此類規則包含4種，分別為若多測1題後，「信度增加量小於 0.005、0.010、0.015、及0.020」則停止測驗。

第2類測驗停止規則同時考慮「信度增加量及測驗最終信度」，此類規則亦包含4種，分別為「信度≧0.90或信度增加量小於 0.005、0.010、0.015、及0.020」則停止測驗。

模擬分析結果

FAST CAT模擬分析結果呈現於 (Table 1)。整體趨勢顯示第1類測驗停止規則之Rasch信度略優於第2類；然而第2類測驗停止規則之測驗效率優於第1類（所需測驗題數較少）。

第1及第2類測驗停止規則中，FAST CAT各向度之Rasch信度皆介於0.89~0.94。第1類測驗停止規則之測驗平均題數為6.6~10.4；第2類測驗停止規則則為6.2~8.4

測驗停止規則選擇

停止規則選擇條件有2：(1) 4向度的信度皆≧0.90；(2)平均測驗題數<10題。

滿足以上條件之測驗規則僅1個：信度增加量小於 0.010 (Table 1, set B)。

使用此測驗停止規則之FAST CAT，其各向度Rasch信度皆介於0.90~0.94，平均測驗題數8.4題（全距4~17題）。

Table 1. Precision and efficiency of the 8 sets of stopping rules for the FAST CAT

Sets of rules/Measures	A	B	C	D		E	F	G	H	Item bank
Precision (Rasch reliability)
UE-STREAM
Average	0.91	0.90	0.90	0.90		0.90	0.89	0.89	0.89	0.92
Maximal	0.99	0.99	0.99	0.99		0.99	0.99	0.99	0.99	1.00
Minimal	0.35	0.34	0.33	0.33		0.35	0.34	0.33	0.33	0.36
% of the patients with reliability≧0.70	91.6	92.2	90.9	90.5		91.6	92.2	90.9	90.5	91.6
% of the patients with reliability≧0.90	72.6	74.0	72.6	73.3		73.3	74.0	72.6	73.3	74.0
LE-STREAM
Average	0.93	0.92	0.91	0.91		0.91	0.91	0.90	0.90	0.94
Maximal	0.98	0.98	0.98	0.97		0.98	0.98	0.97	0.97	0.99
Minimal	0.47	0.47	0.47	0.47		0.47	0.47	0.47	0.47	0.47
% of the patients with reliability≧0.70	97.6	97.6	97.6	97.6		97.3	97.6	97.6	97.6	98.0
% of the patients with reliability≧0.90	81.1	78.7	78.4	73.3		81.1	78.7	78.4	73.3	82.4
PASS
Average	0.94	0.94	0.93	0.92		0.94	0.93	0.92	0.92	0.97
Maximal	0.98	0.98	0.98	0.97		0.98	0.97	0.97	0.97	0.99
Minimal	0.79	0.77	0.77	0.77		0.79	0.77	0.77	0.77	0.79
% of the patients with reliability≧0.70	100.0	100.0	100.0	100.0		100.0	100.0	100.0	100.0	100.0
% of the patients with reliability≧0.90	91.2	85.8	81.1	75.3		91.2	85.8	81.1	75.3	96.3
BI
Average	0.91	0.90	0.89	0.89		0.91	0.90	0.89	0.89	0.95
Maximal	0.95	0.94	0.94	0.94		0.95	0.94	0.94	0.93	0.97
Minimal	0.78	0.77	0.77	0.77		0.78	0.77	0.77	0.77	0.79
% of the patients with reliability≧0.70	100.0	100.0	100.0	100.0		100.0	100.0	100.0	100.0	100.0
% of the patients with reliability≧0.90	78.4	73.3	66.6	56.4		78.7	73.6	66.9	56.8	95.9
Efficiency (number of items)
Average	10.4	8.4	7.4	6.6		8.4	7.3	6.7	6.2	58
Medium (Q1–Q3)	10 (18–13)	9 (7–10)	8 (6–9)	7 (5–8)		7 (6–11)	7 (6–9)	7 (5–9)	6 (5–8)	58 (58–58)
Range	4–17	3–13	3–12	3–12		3–17	3–13	3–12	3–12	58
% of the patients using > 5 items	97.0	88.5	77.0	67.2		76.0	71.6	63.5	55.7	100.0
% of the patients using > 10 items	49.3	17.6	5.1	1.0		28.7	13.9	4.1	1.0	100.0
% of the patients using > 15 items	2.0	0.0	0.0	0.0		2.0	0.0	0.0	0.0	100.0

Sets of stopping rules A~D: LRI (A: < 0.005, B: < 0.010, C: < 0.015, D: < 0.020);

Sets of stopping rules E~H: Rasch reliability ≧ 0.90 or LRI (E: < 0.005, F: < 0.010, G: < 0.015, H: < 0.020);

LRI: limited reliability increase.

FAST CAT稿件寫作進度：每週2-3個半天，至少3段。