2018年2月9日 星期五

使用 cumulative–reliability function 結取信度較高的部分測驗分數

Cumulative–reliability function (CRF) 概念介紹:
傳統測驗理論中,長度越長(題數越多)的測驗通常具備較佳之信度,包含再測信度及內在一致性。
然而測驗需要多長的題數才可達到理想(或可接受)的信度程度呢?這個問題可藉由CRF分析幫助回答。
CRF旨在模擬分析同一測驗在各個長度 (1%~100%) 下的信度
例如Computerized Digit Vigilance Test (C-DVT) 是一持續性注意力測驗,包含120題判斷螢幕是否有呈現數字六,C-DVT主要分數為完成120題之總時間。
CRF應用於C-DVT之再測信度分析時,我們使用所有受測者完成第1~N (N = 1~120,即測驗長度1%~100%) 題的總完成時間,一一分析再測信度 (Pearson's r & ICC)。
分析完120次(測驗長度1、1~2、1~3、...、1~120)再測信度後,在使用測驗長度vs.信度指標繪製散布圖,即可瞭解信度隨著測驗長度增加之變化,如下圖。


應用目的/價值:
1. 發展短版測驗:若前幾%的測驗已可達到不錯的信度(如上圖60%時,再測信度二指標已接近 0.90),則後面題目可捨去以發展短版測驗,提昇評估效率。
2. 計算分數時排除前幾%之題目:受測者作答前幾%之題目時,可能因為對題目不夠熟悉或緊張等因素,導致其表現不穩定,進而影響測驗的信度(如上圖的前30%)。此時研究者可不採納前幾%題目之分數,以計算最後的測驗分數。
以上圖為例,C-DVT的主要分數可用「31%~100%的總完成時間」,而非原本的「全部測驗完成 (1%~100%) 總時間」。

綜合上述2項應用目的,我們建議採用「C-DVT之31%~60%的題目」組成短版C-DVT,以提升評估效率,並兼具測驗信度。

適用之測驗:
較適用任務相同但重複多題的認知心理測驗,如:C-DVT每題的任務都相同:判斷有沒有數字六。
若整份測驗題目雖多,但每題內容/任務不同(如生活品質問卷),則每題可提供獨特的訊息/資訊,故不宜用CRF捨去測驗前面或後面幾%之題目。