CAT模擬分析─能力估計疊代不收斂

「能力估計疊代不收斂」的現象
        使用MAP能力估計法進行多向度CAT模擬分析時，有些受測者作答至某一題時突然出現能力估計疊代無法收斂（即每次疊代後的能力改變量無法小於某一特定的值，如0.001），此時這些受測者之模擬分析將無法繼續。換句話說，若使用此CAT於臨床上，將有些受測者因能力估計不收斂而無法完成CAT。

能力估計疊代不收斂的原因有二

1. 受測者作答反應與IRT模型預期差距太大。例如：模型估計受測者於某一題得0分的機率很低（如0.002），但該受測者實際作答結果竟為0分。
   由於前述期望機率與真實觀察到的作答兩者差距過大，使得MAP能力估計疊代法 (Newton-Raphson)之計算過程中，一階微分（觀察值減去期望值，為能力改變量估計之分子）無法趨近0，進而造成疊代後的能力改變量無法小於某一特定的值（不收斂）。甚至造成能力改變量絕對值成遞增。
   
2. 受測者能力分布的變異數過大（相較於題目難度的分布範圍）。此現象將導致能力疊代時，各向度的能力變化程度非常大，而不易收斂。

2種解決辦法，以確保每位受測者都可完成CAT

1. 增加測驗終止條件：當受測者之能力估計不收斂時，即停止CAT施測。並以【不收斂前一次估計結果當成最終施測結果】。
   例如受測者作答第5題時不收斂，即以作答前4題之能力估計值當作最終CAT施測結果。
2. 改為使用EAP估計能力，以取代MAP。因為EAP能力估計時無須進行疊代，因此沒有收斂與否之議題。

二種解決方法1、2之缺點及選擇

方法1之缺點：CAT施測結果之信度較差。

方法2之缺點：EAP估計能力法於多向度CAT之效率很低。

若使用MAP估計時，疊代不收斂之人數不多，可考慮採用方法1。因為人數不多，所以對於CAT施測信度之影響不大。
反之，若疊代不收斂之人數多則選擇方法2。

後續應用

FAST CAT模擬分析時，約2%受測者遇到此問題。

未來將採用解決方法1重新分析，並比較方法1個結果是否與原本分析結果差異很大。

（上述內容感謝業太教導）

FAST CAT分析結果及進度規劃

FAST CAT簡介

FAST CAT包含4個向度：上肢動作、下肢動作、平衡、及BADL，此4向度之題目分別來自：UE-STREAM、LE-STREAM、PASS、BI等4個測驗。

模擬分析方法

FAST CAT模擬分析共使用2類（共8種）「測驗停止規則 (stopping rule)」，第1類測驗停止規則僅考慮「信度增加量」，此類規則包含4種，分別為若多測1題後，「信度增加量小於 0.005、0.010、0.015、及0.020」則停止測驗。

第2類測驗停止規則同時考慮「信度增加量及測驗最終信度」，此類規則亦包含4種，分別為「信度≧0.90或信度增加量小於 0.005、0.010、0.015、及0.020」則停止測驗。

模擬分析結果

FAST CAT模擬分析結果呈現於 (Table 1)。整體趨勢顯示第1類測驗停止規則之Rasch信度略優於第2類；然而第2類測驗停止規則之測驗效率優於第1類（所需測驗題數較少）。

第1及第2類測驗停止規則中，FAST CAT各向度之Rasch信度皆介於0.89~0.94。第1類測驗停止規則之測驗平均題數為6.6~10.4；第2類測驗停止規則則為6.2~8.4

測驗停止規則選擇

停止規則選擇條件有2：(1) 4向度的信度皆≧0.90；(2)平均測驗題數<10題。

滿足以上條件之測驗規則僅1個：信度增加量小於 0.010 (Table 1, set B)。

使用此測驗停止規則之FAST CAT，其各向度Rasch信度皆介於0.90~0.94，平均測驗題數8.4題（全距4~17題）。

Table 1. Precision and efficiency of the 8 sets of stopping rules for the FAST CAT

Sets of rules/Measures	A	B	C	D		E	F	G	H	Item bank
Precision (Rasch reliability)
UE-STREAM
Average	0.91	0.90	0.90	0.90		0.90	0.89	0.89	0.89	0.92
Maximal	0.99	0.99	0.99	0.99		0.99	0.99	0.99	0.99	1.00
Minimal	0.35	0.34	0.33	0.33		0.35	0.34	0.33	0.33	0.36
% of the patients with reliability≧0.70	91.6	92.2	90.9	90.5		91.6	92.2	90.9	90.5	91.6
% of the patients with reliability≧0.90	72.6	74.0	72.6	73.3		73.3	74.0	72.6	73.3	74.0
LE-STREAM
Average	0.93	0.92	0.91	0.91		0.91	0.91	0.90	0.90	0.94
Maximal	0.98	0.98	0.98	0.97		0.98	0.98	0.97	0.97	0.99
Minimal	0.47	0.47	0.47	0.47		0.47	0.47	0.47	0.47	0.47
% of the patients with reliability≧0.70	97.6	97.6	97.6	97.6		97.3	97.6	97.6	97.6	98.0
% of the patients with reliability≧0.90	81.1	78.7	78.4	73.3		81.1	78.7	78.4	73.3	82.4
PASS
Average	0.94	0.94	0.93	0.92		0.94	0.93	0.92	0.92	0.97
Maximal	0.98	0.98	0.98	0.97		0.98	0.97	0.97	0.97	0.99
Minimal	0.79	0.77	0.77	0.77		0.79	0.77	0.77	0.77	0.79
% of the patients with reliability≧0.70	100.0	100.0	100.0	100.0		100.0	100.0	100.0	100.0	100.0
% of the patients with reliability≧0.90	91.2	85.8	81.1	75.3		91.2	85.8	81.1	75.3	96.3
BI
Average	0.91	0.90	0.89	0.89		0.91	0.90	0.89	0.89	0.95
Maximal	0.95	0.94	0.94	0.94		0.95	0.94	0.94	0.93	0.97
Minimal	0.78	0.77	0.77	0.77		0.78	0.77	0.77	0.77	0.79
% of the patients with reliability≧0.70	100.0	100.0	100.0	100.0		100.0	100.0	100.0	100.0	100.0
% of the patients with reliability≧0.90	78.4	73.3	66.6	56.4		78.7	73.6	66.9	56.8	95.9
Efficiency (number of items)
Average	10.4	8.4	7.4	6.6		8.4	7.3	6.7	6.2	58
Medium (Q1–Q3)	10 (18–13)	9 (7–10)	8 (6–9)	7 (5–8)		7 (6–11)	7 (6–9)	7 (5–9)	6 (5–8)	58 (58–58)
Range	4–17	3–13	3–12	3–12		3–17	3–13	3–12	3–12	58
% of the patients using > 5 items	97.0	88.5	77.0	67.2		76.0	71.6	63.5	55.7	100.0
% of the patients using > 10 items	49.3	17.6	5.1	1.0		28.7	13.9	4.1	1.0	100.0
% of the patients using > 15 items	2.0	0.0	0.0	0.0		2.0	0.0	0.0	0.0	100.0

Sets of stopping rules A~D: LRI (A: < 0.005, B: < 0.010, C: < 0.015, D: < 0.020);

Sets of stopping rules E~H: Rasch reliability ≧ 0.90 or LRI (E: < 0.005, F: < 0.010, G: < 0.015, H: < 0.020);

LRI: limited reliability increase.

FAST CAT稿件寫作進度：每週2-3個半天，至少3段。