使用 cumulative–reliability function 結取信度較高的部分測驗分數

Cumulative–reliability function (CRF) 概念介紹：
傳統測驗理論中，長度越長（題數越多）的測驗通常具備較佳之信度，包含再測信度及內在一致性。
然而測驗需要多長的題數才可達到理想（或可接受）的信度程度呢？這個問題可藉由CRF分析幫助回答。
CRF旨在模擬分析同一測驗在各個長度 (1%~100%) 下的信度。
例如Computerized Digit Vigilance Test (C-DVT) 是一持續性注意力測驗，包含120題判斷螢幕是否有呈現數字六，C-DVT主要分數為完成120題之總時間。
CRF應用於C-DVT之再測信度分析時，我們使用所有受測者完成第1～N (N = 1~120，即測驗長度1%~100%) 題的總完成時間，一一分析再測信度 (Pearson's r & ICC)。
分析完120次（測驗長度1、1～2、1～3、...、1～120）再測信度後，在使用測驗長度vs.信度指標繪製散布圖，即可瞭解信度隨著測驗長度增加之變化，如下圖。

應用目的/價值：
1. 發展短版測驗：若前幾%的測驗已可達到不錯的信度（如上圖60%時，再測信度二指標已接近 0.90），則後面題目可捨去以發展短版測驗，提昇評估效率。
2. 計算分數時排除前幾%之題目：受測者作答前幾%之題目時，可能因為對題目不夠熟悉或緊張等因素，導致其表現不穩定，進而影響測驗的信度（如上圖的前30%）。此時研究者可不採納前幾%題目之分數，以計算最後的測驗分數。
以上圖為例，C-DVT的主要分數可用「31%~100%的總完成時間」，而非原本的「全部測驗完成 (1%~100%) 總時間」。

綜合上述2項應用目的，我們建議採用「C-DVT之31%~60%的題目」組成短版C-DVT，以提升評估效率，並兼具測驗信度。

適用之測驗：
較適用任務相同但重複多題的認知心理測驗，如：C-DVT每題的任務都相同：判斷有沒有數字六。
若整份測驗題目雖多，但每題內容/任務不同（如生活品質問卷），則每題可提供獨特的訊息/資訊，故不宜用CRF捨去測驗前面或後面幾%之題目。

Mazes統合分析

Mazes迷宮測驗為MCCB之子測驗。
我於PubMed檢索Mazes或MCCB驗證於schizophrenia患者之再測信度文獻，共查獲3篇（表一之前三篇）。加上我們的收案資料，共使用4篇文獻進行統合分析。

Mazes之再測信度統合分析結果顯示（表二）：Mazes之再測信度係數 良好 (pooled ICC & Pearson's r = 0.80)，但隨機測量誤差大 (pooled MDC% = 63.6%)，且有微小至小的練習效應 (pooled SRM & Cohen's d = 0.26 & 0.18, respectively)。Mazes之SRM森林圖 (forest plot)呈現於圖一。
Note: ICC & Pearson's r的森林圖未附上於此，因二者的森林圖是呈現z值而非ICC & Pearson's r，使得森林圖之數值不易解讀。ICC & Pearson's r於統合分析時都須先轉換成常態z值，再用z值進行運算。
未來可找其它軟體或方法繪製呈現ICC & Pearson's r的森林圖

未來須檢索其它資料庫（如Embase, PsycINFO, and CINAHL），以確認Mazes之再測信度文獻是否有漏網之魚。

表一：Mazes應用於schizophrenia患者之再測信度文獻基本資料

Author	Year	評估次數	複本測驗	再測間隔 (週)	樣本數
Nuechterlein, et al.	2008	2	有	4	167
Jędrasik-Styła, et al.	2015	2	有	4	61
Fonseca, et al.	2017	2	有	4	45
Ours	2017	2	無	2	58

表二：Mazes之再測信度

Author	n	ICC	Pearson's r	MDC	MDC%	SRM	Cohen's d
Nuechterlein, et al.	167	0.83	0.83	7.9	65.2%	0.15	0.08
Jędrasik-Styła, et al.	61	-	0.74	8.8	53.8%	0.51	0.38
Fonseca, et al.	45	-	0.83	8.0	77.2%	0.18	0.10
Ours	58	0.67	0.70	10.5	71.8%	0.41	0.34
Pooled estimates	331	0.80 (0.75~0.83)	0.80 (0.75~0.85)	8.5	63.6%	0.26 (0.15~0.37)	0.18 (0.07~0.30)

圖一：Mazes之SRM統合分析結果

Effect size (Cohen's d)轉換 Overlapping coefficient

Effect size (Cohen's d)表示兩個常態分配的（標準化後）平均數差異值（如下圖所示）。

圖片來原：http://rpsychologist.com/d3/cohend/

從圖中可以發現，Cohen's d的大小除了決定兩個分配間的距離多遠之外，同時也和兩個分配間重疊面積（圖中深綠色區域）大小有正向的關係。
因此，若研究者關心的議題是：某一指標（或測驗分數）可將二族群 (樣本)區隔多遠。
此時研究者可使用二族群指標間的Cohen's d轉換成重疊係數 (overlapping coefficient, OVL)。 [1]

例如：若研究者驗證已知組群效度時，研究者關心某一測驗分數能否反應出（或能區隔的程度）多個已知族群間分數的差異。此時，即可採用OVL作為已知組群效度指標之一。
（然而使用尚須注意的是：目前未找到OVL好壞的判斷指標，此問題影響數值之判讀）

欲換算Cohen's d及OVL時，可藉由網站：http://rpsychologist.com/d3/cohend/ 協助。
網頁上可透過調整"Slide me"，選擇您欲轉換的Cohen's d數值；
接著"% Overlap"處的數值即為OVL。

Reference:

1.     Inman HF, Bradley Jr EL. The overlapping coefficient as a measure of agreement between probability distributions and point estimation of the overlap of two normal densities. Commun Sta. Theory Methods. 1989;18:3851-3874.

多向度CAT如何控制各向度之施測題數

背景及問題：
     目前正在發展一個4向度CAT（CAT-FASE，評量向度包含上肢/下肢動作、平衡能力、及BADL），我們採用之CAT停止施測條件 (stopping rule)只考量「測驗信度（包含信度增加量及信度>0.90）」，再依據採用各種stopping rule下施測CAT之「最終信度」及「施測總題數」選擇一較佳之stopping rule作為CAT之最終stopping rule。
     上述作法（原始施測法）並未考量「個別向度所需之施測題數」，因此可能產生「部分向度（如CAT-FASE之BADL向度）可能未施測任何一題（或施測極少題）即估計出該向度之能力值」之現象。此現象可能造成2個問題：
(1) BADL向度未施測任何一題，卻可估計出個案BADL之能力值，令人質疑該向度能力估計值之有效性；
(2) 從資料分析角度而言，「BADL向度的分數與其它BADL測驗分數的相關性」可能低於「其與上肢動作/下肢動作/平衡能力測驗分數之相關性」，因BADL向度的分數是藉由其它3個向度（上肢/下肢動作及平衡能力）的測量結果所估計。

可能之解決辦法：
     於CAT之stopping rule中增加「個別向度之施測題數」，而「個別向度之施測題數」有2類決定方法：
     (1) 相對題數：平均各向度間之施測題數（若總測驗題數為8題，則4向度各施測2題）。
實際作法：CAT選題時每4題1組，每組必須包含4個面向的題目，且每人至少測4題。
     (2) 絕對題數：各向度至少需施測N題（如1題），但向度間題數不平均。如：總測驗題數為8題，4向度題數可能為為4、2、1、1題。
實際作法：CAT選題時前4題分別選自4個向度，且每人至少測4題（因此確保各向度至少可施測1題），第5題開始則施測具有最大訊息量的題目，而不論該題來自何向度。

資料分析結果：絕對題數之結果較理想（相較於相對題數法）
優點：
     (1) 施測效率較高：相對題數法強制要求「CAT選題時每4題1組，每組必須包含4個面向的題目」，而非選擇「訊息量最大」的題目（而是各向度中訊息量最大的題目），因此相對題數法CAT可能施測訊息量較低的題目，進而造成CAT所需施測之題數多於絕對題數CAT。
     (2) 反應性較佳：相對題數法並非選擇「訊息量最大」的題目，因此每施測一題後個案能力估計值變化起伏較大，進而造成個案前後測分數差異之SD大（SRM不佳）。故而相對題數法之反應性劣於絕對題數法。

然而無論絕對或相對題數CAT，皆無法克服上述之問題2（「BADL向度的分數與其它BADL測驗分數的相關性」可能低於「其與上肢動作/下肢動作/平衡能力測驗分數之相關性」）。問題2可能存在於「題庫」（例如：BI同分的人較多，因此CAT-BI vs. BI的相關性較低），而非選擇CAT的stopping rules可克服。

CAT模擬分析─能力估計疊代不收斂

「能力估計疊代不收斂」的現象
        使用MAP能力估計法進行多向度CAT模擬分析時，有些受測者作答至某一題時突然出現能力估計疊代無法收斂（即每次疊代後的能力改變量無法小於某一特定的值，如0.001），此時這些受測者之模擬分析將無法繼續。換句話說，若使用此CAT於臨床上，將有些受測者因能力估計不收斂而無法完成CAT。

能力估計疊代不收斂的原因有二

1. 受測者作答反應與IRT模型預期差距太大。例如：模型估計受測者於某一題得0分的機率很低（如0.002），但該受測者實際作答結果竟為0分。
   由於前述期望機率與真實觀察到的作答兩者差距過大，使得MAP能力估計疊代法 (Newton-Raphson)之計算過程中，一階微分（觀察值減去期望值，為能力改變量估計之分子）無法趨近0，進而造成疊代後的能力改變量無法小於某一特定的值（不收斂）。甚至造成能力改變量絕對值成遞增。
   
2. 受測者能力分布的變異數過大（相較於題目難度的分布範圍）。此現象將導致能力疊代時，各向度的能力變化程度非常大，而不易收斂。

2種解決辦法，以確保每位受測者都可完成CAT

1. 增加測驗終止條件：當受測者之能力估計不收斂時，即停止CAT施測。並以【不收斂前一次估計結果當成最終施測結果】。
   例如受測者作答第5題時不收斂，即以作答前4題之能力估計值當作最終CAT施測結果。
2. 改為使用EAP估計能力，以取代MAP。因為EAP能力估計時無須進行疊代，因此沒有收斂與否之議題。

二種解決方法1、2之缺點及選擇

方法1之缺點：CAT施測結果之信度較差。

方法2之缺點：EAP估計能力法於多向度CAT之效率很低。

若使用MAP估計時，疊代不收斂之人數不多，可考慮採用方法1。因為人數不多，所以對於CAT施測信度之影響不大。
反之，若疊代不收斂之人數多則選擇方法2。

後續應用

FAST CAT模擬分析時，約2%受測者遇到此問題。

未來將採用解決方法1重新分析，並比較方法1個結果是否與原本分析結果差異很大。

（上述內容感謝業太教導）

控制練習效應再驗證二種版本工具之相關性

 背景及問題：CDVT及DVT收案時，每位個案美次評估時皆須完成此二測驗，且此二測驗施測順序為counterbalance 設計。意即一群個案中，半數個案先施測CDVT再測DVT，另一半則先測DVT再測CDVT。
然而同一次評估中，較晚測驗的測驗結果可能受到前一次測驗之練習效應影響（例如先完成CDVT再做DVT的個案，其DVT的測驗結果可能受到個案操作CDVT的經驗影響），因而造成研究者高估較晚測驗的測驗結果。

解決辦法：先校正（控制）同一次評估中，較晚測的測驗結果（例如先完成CDVT再做DVT的個案，我們可以透過回歸分析將DVT分數之練習效應排除）[1]，接著再進行後續之資料分析，包含信度及效度等。

比較原始（未校正）與校正後心理計量特性：
再測信度分析結果

Tests	Adjacent assessments	ICC (95% CI)	MDC	MDC%	Differencea (Mean ± SD)	Effect sizeb	pc
C-DVT	Time 1-2	0.71 (0.54-0.83)	68.5	24.1%	6.8 ± 31.9	0.21	0.14
	Time 2-3	0.83 (0.70-0.90)	44.0	15.9%	7.8 ± 21.7	0.36	0.02
	Time 3-4	0.89 (0.81-0.93)	35.5	12.9%	-4.6 ± 19.6	-0.23	0.11
DVT	Time 1-2	0.95 (0.91-0.97)	156.0	29.7%	0.1 ± 71.0	0.00	0.99
	Time 2-3	0.95 (0.90-0.97)	134.9	26.2%	22.7 ± 61.6	0.37	0.01
	Time 3-4	0.96 (0.93-0.98)	110.1	22.2%	14.3 ± 47.3	0.30	0.04
C-DVT (校正)	Time 1-2	0.71 (0.53-0.82)	67.9	23.9%	6.8 ± 31.9	0.21	0.14
	Time 2-3	0.82 (0.68-0.89)	44.8	16.2%	7.8 ± 22.2	0.35	0.02
	Time 3-4	0.87 (0.78-0.92)	38.3	13.9%	-4.6 ± 20.8	-0.22	0.13
DVT (校正)	Time 1-2	0.91 (0.84-0.95)	175.6	33.4%	0.1 ± 93.5	0.00	0.99
	Time 2-3	0.93 (0.87-0.96)	157.2	30.6%	22.7 ± 72.0	0.32	0.03
	Time 3-4	0.93 (0.87-0.96)	129.5	26.1%	14.3 ± 66.4	0.22	0.14

Notes. ^aSDifference=Score_pre-Score_post

^bEffect size=Mean_Dif / SD_Dif

^cSignificant level=0.02 (0.05/3)

同時效度分析結果（CDVT與DVT之相關）：

	Time 1	Time 2	Time 3	Time 4
原始 (Pearson r)	0.53	0.61	0.54	0.64
校正後 (Pearson r)	0.75	0.76	0.76	0.79

生態效度分析結果 (CDVT vs both PSP and Lawton IADL scale):

	IADL	PSP
C-DVT	r=-0.44	r=-0.45
DVT	r=-0.15	r=-0.30
C-DVT（校正）	r=-0.40	r=-0.44
DVT（校正）	r=-0.20	r=0.34

結果總結：
信度：校正後，C-DVT的隨機測量誤差變小，而DVT的隨機測量誤差變大。
同時效度：校正後大幅提升。
生態效度：校正後之差異不大。


二種分析方法之選擇：使用校正後之分析結果撰寫論文。

參考文獻：
1. Ibrahim, I., Tobar, S., Elassy, M., Mansour, H., Chen, K., Wood, J., et al. (2015). Practice effects distort translational validity estimates for a Neurocognitive Battery. Journal of Clinical and Experimental Neuropsychology, 37, 530-537.

variable V.S. variance

variable （變項、變因、變數）

• a property（屬性或特質） of an object or event that can take on different values.
• e.g. hair color, self-confidence, social support, gender or treatment group
• must be operationally defined (the methods for measuring or evaluating them must be clearly delineated)

variance （變異數）

• 分散情形的指標，表示一個團體內各成員在某一變項方面的個別差異大小
• the larger variance, the greater the dispersion of  scores
• the larger variance, the smaller the more homogeneous the scores

平均數假設之整理

統計學 大哉問

開學前，謝老師推薦我可以先自習《統計學與Excel資料分析之實習應用(第六版)》一書。看的時候當然是懵懵懂懂，對於很多概念或來由不甚了解，想說：等我上課之後就知道了。沒想到我現在開始上心理統計學課，心中的疑惑不減反增。
為什麼推估母群時，標準差的分母是自由度？為什麼偏態、峰度的公式長這樣？
當然不是每個問題都那麼重要，重要到我一定要清楚知道它的來龍去脈。
這有點回到之前謝老師提出過的問題：背下來就好還是一定要理解？
就目前我對統計學的認識，公式的來源似乎可以略分為兩類，
一類是概念清楚，直觀公式便可以理解它的意涵。
另一類公式可能由代數推導而來，概念較難理解。
對於第一類的公式，無論在理解、記憶或運用上都簡單的多。
但第二類的公式，目前好像也只能背下來，知道使用此公式用於何時、如何運用。
其實很多知識也都是背下來，久了之後就變成知識或者學問的基礎不是嗎？
為什麼「負負得正」？說真的，不知道。但是從小到大老師都這麼教，我們也都這麼學。長大之後大家朗朗上口，但當有人認真的打破砂鍋問到底時，我也只能心虛地說：不知道。雖然心虛，但話說回來，我們真的有必要知道每一件事情的根由嗎？
莊子覺得不需要，「生也有涯而知也無涯，以有涯追無涯，怠已！」
我也覺得應該沒有這個必要性吧！
回到統計課而言，也許很多公式就像「負負得正」那麼基礎卻不容易理解背後的原因。
所以不用每件事情都要追根究柢，不過要知道什麼時候該打破砂鍋，什麼時候不需要。
此時，老師跟前輩就扮演著很關鍵的角色。如此才不會有所遺漏或只掌握枝微末節的資訊。