使用 cumulative–reliability function 結取信度較高的部分測驗分數

Cumulative–reliability function (CRF) 概念介紹：
傳統測驗理論中，長度越長（題數越多）的測驗通常具備較佳之信度，包含再測信度及內在一致性。
然而測驗需要多長的題數才可達到理想（或可接受）的信度程度呢？這個問題可藉由CRF分析幫助回答。
CRF旨在模擬分析同一測驗在各個長度 (1%~100%) 下的信度。
例如Computerized Digit Vigilance Test (C-DVT) 是一持續性注意力測驗，包含120題判斷螢幕是否有呈現數字六，C-DVT主要分數為完成120題之總時間。
CRF應用於C-DVT之再測信度分析時，我們使用所有受測者完成第1～N (N = 1~120，即測驗長度1%~100%) 題的總完成時間，一一分析再測信度 (Pearson's r & ICC)。
分析完120次（測驗長度1、1～2、1～3、...、1～120）再測信度後，在使用測驗長度vs.信度指標繪製散布圖，即可瞭解信度隨著測驗長度增加之變化，如下圖。

應用目的/價值：
1. 發展短版測驗：若前幾%的測驗已可達到不錯的信度（如上圖60%時，再測信度二指標已接近 0.90），則後面題目可捨去以發展短版測驗，提昇評估效率。
2. 計算分數時排除前幾%之題目：受測者作答前幾%之題目時，可能因為對題目不夠熟悉或緊張等因素，導致其表現不穩定，進而影響測驗的信度（如上圖的前30%）。此時研究者可不採納前幾%題目之分數，以計算最後的測驗分數。
以上圖為例，C-DVT的主要分數可用「31%~100%的總完成時間」，而非原本的「全部測驗完成 (1%~100%) 總時間」。

綜合上述2項應用目的，我們建議採用「C-DVT之31%~60%的題目」組成短版C-DVT，以提升評估效率，並兼具測驗信度。

適用之測驗：
較適用任務相同但重複多題的認知心理測驗，如：C-DVT每題的任務都相同：判斷有沒有數字六。
若整份測驗題目雖多，但每題內容/任務不同（如生活品質問卷），則每題可提供獨特的訊息/資訊，故不宜用CRF捨去測驗前面或後面幾%之題目。

C-DVT及T-SDMT反應性資料探索

以下為C-DVT及T-SDMT可能發表之論文主題：

C-DVT

主題1：C-DVT之MID

結果：18位中風患者之自覺持續性注意力改變量為2-3分（最大改變量7分），這群患者之C-DVT前後測進步秒數為13.9秒（總完成時間），即C-DVT之MID=13.9秒。

Note：後續可延伸分析C-DVT短版之MID

主題2：C-DVT原版 VS. 短版 之反應性

結果：

	原版	短版 (31st-60th percentile)
全部樣本數 (N = 41)
Group level (SRM)	0.31	0.18
Individual level (% of patients whose change score > MDC)	34.1%	29.2%
前後測間隔天數≥14 (N = 27)
Group level (SRM)	0.57	0.51
Individual level (% of patients whose change score > MDC)	85.7%	71.4%

T-SDMT

主題1：T-SDMT之MID

結果：14位中風患者之自覺分配性注意力改變量為2-3分（最大改變量7分），這群患者之T-SDMT前後測進步之答對題數為4.3題，即T-SDMT（施測三次取平均）之MID=4.3題。

主題2：T-SDMT不同施測方式之反應性比較

結果：

	施測一次	施測二次取平均	施測三次取平均
全部樣本數 (N = 44)
Group level (SRM)	0.58	0.67	0.69
Individual level (% of patients whose change score > MDC)	25.0%	20.5%	20.5%
前後測間隔天數≥14 (N = 31)
Group level (SRM)	0.45	0.52	0.55
Individual level (% of patients whose change score > MDC)	22.6%	16.1%	12.9%

解讀：施測二次取平均之反應性與施測三次取平均相仿，或許未來使用T-SDMT只要施測二次即可（須同時考量test-retest reliability之結果）。

Note:【施測二次取平均】及【施測三次取平均】之個體層級反應性可能低估。因【施測二次取平均】及【施測三次取平均】之個體層級反應性參照【施測一次】之MDC值，但【施測二次取平均】及【施測三次取平均】之MID應 <【施測一次】之MDC值。

電腦化認知及社會認知測驗之常模

20-29歲常人 (n=104)做答C-DVT、COTIME（弦外之音測驗）及COWMEM之主要指標描述性資料如下：

變項名稱	可能之最高分	Mean	SD
C-DVT總時間（秒）	-	204.5	13.9
		Median	Q1	Q3
C-DVT_錯誤個數	0	1	0	2
COTIME測驗題總分	54	51	53	50
圖片WM_答對題數	48	46	47	45
語音WM_答對題數	48	48	48	47
整合WM_答對題數	48	43	44	40
COMET_答對題數
總分	168	120	126	115
快樂	24	20	21	18
悲傷	24	16	18.75	14
生氣	24	18	20	16
厭惡	24	18	19	16
害怕	24	9	12	7
驚訝	24	18	20	16.25
平靜	24	22	23	20

依據上述資料計算判別測驗結果優劣的critical value如下：

變項名稱	Critical value	計算方法
C-DVT總時間（秒）	>232	Mean+2*SD
C-DVT_錯誤個數	≥3	成績位於第12百分位數之受試者分數 （底標分數的算法）
COTIME測驗題總分	≤49
圖片WM_答對題數	≤44
語音WM_答對題數	≤46
整合WM_答對題數	≤39
COMET_答對題數
總分	≤109
快樂	≤17
悲傷	≤12
生氣	≤13
厭惡	≤13
害怕	≤5
驚訝	≤15
平靜	≤19