CAAT@schizo.之信效度分析結果

CAAT預期評量之認知功能：規則轉換 (rule switching)，規則轉換屬於何種認知功能尚無定論，常被視為「轉換性注意力 (alternating attention)」的一種或「認知彈性 (cognitive flexibility)」的一種基礎能力。

發展動機：過去研究發現思覺失調症患者之規則轉換能力有缺損，且目前缺乏評估工具。

測驗內容：CAAT要求受測者轉換於二種測驗規則：「判斷數字是否小於5」及
「判斷圖形是否為左右對稱」（詳CAAT介紹）。
CAAT之正式測驗含三部分：僅數字題、僅圖形題、及規則轉換題。每部分含24題，前二部分受測者無需規則轉換，但第三部分數字與圖形題各半，受測者需規則轉換。

CAAT主要分數：CAAT之正式測驗第三部分之「平均反應時間」。本研究樣本於4次評量之CAAT分數如表一。
我們假設第三部分的平均反應時間 > 第一、二部份的平均反應時間。因於第三部分中，患者應須花費額外的認知能力（時間）以處理「規則轉換」之任務。

表一：CAAT第三部分平均反應時間

施測次數	1	2	3	4
平均反應時間 (秒)	0.80 (0.17)	0.78 (0.16)	0.77 (0.17)	0.75 (0.19)

研究評估流程：本研究招募症狀穩定之思覺失調症患者進行4次評估，患者每次評估皆須完成CAAT。此外於第一、三次評估時須額外完成迷宮測驗 (Mazes test)及T-SDMT；第二、四次評估須完成Lawton IADL。

心理計量特性驗證結果
再測信度：幾乎無練習效應，但ICC及隨機測量誤差僅達可接受之邊緣（數值呈現於表二）。

表二：CAAT再測信度、隨機測量誤差及練習效應

	Difference (SD), 秒	ICC	SEM, (秒)	MDC, (秒)	MDC%	SRM	p
CAAT_Time1~2	0.03 (0.12)	0.74	0.09	0.25	31.3%	0.25	0.86
CAAT_Time2~3	0.01 (0.14)	0.66	0.09	0.25	32.1%	0.07	0.70
CAAT_Time3~4	0.02 (0.12)	0.78	0.08	0.22	28.6%	0.17	0.28

效度：
建構效度不佳：CAAT「Part3」與「Part1&2」之平均反應時間無顯著差異，此結果表示：Part3之平均反應時間（CAAT的主要指標）無法顯示出患者處理「規則轉換」任務須額外花費的時間。

生態效度不佳：和IADL分數相關性低。（然而IADL與這次所有測驗的相關性都<0.20，原因尚不明）

收斂效度可接受：和T-SDMT有中度相關；和MAZE弱相關。

結論：CAAT應用於思覺失調症患者之再測信度勉強可接受，但效度不佳...

可能原因：「規則轉換提醒」至「呈現規則轉換題」的間隔太長（目前為5秒），導致CAAT無法偵測到患者「轉換規則需額外花費的時間」。

同筆資料中亦可分析MCCB-Mazes測驗的再測信度：

Mazes-Time1, mean (SD) = 13.4 (6.9)

Mazes-Time2, mean (SD) = 15.8 (7.9)

	Difference (SD), 秒	ICC (95% CI)	SEM, (秒)	MDC, (秒)	MDC%	SRM	p
Mazes_Time1~2	2.38 (5.75)	0.67 (0.46~0.80)	3.96	10.95	81.6%	0.25	0.003

我們研究結果顯示Mazes的隨機測量誤差極大，且ICC與練習效應的effect size與MCCB發展時之數據有相當大的出入 。MCCB原始論文呈現之 ICC = 0.80，練習效應之effect size = 0.08。

此出入可能來自於「再測間隔之差異」，我們研究之間隔為2週，而雖然原始論文的間隔為4週。

原始論文：
Nuechterlein KH, Green MF, Kern RS, Baade LE, Barch DM, CohenJD, Essock S, Fenton WS, Frese FJ 3rd, Gold JM, Goldberg T,Heaton RK, Keefe RS, Kraemer H, Mesholam-Gately R, SeidmanLJ, Stover E, Weinberger DR, Young AS, Zalcman S, Marder SR:The MATRICS Consensus Cognitive Battery, part 1: test selection,reliability, and validity. Am J Psychiatry 2008; 165:203–213

CAAT收案：每週二臨床觀察

CAAT本週開始於工作坊收案。

CAAT之操作方法較複雜（包含二討答題規則且須交替使用），因此需藉由實際觀察個案之作答情形及表現，以最為後續測驗發展/改良之依據。

目前預計每週二（為期一個月）與沛綺同去工作坊收案全天。
收案過程仍由沛綺為主，我則在旁觀察，必要時給予協助。

CAAT 收案規劃

電腦化交替性注意力測驗 (Computerized Alternating Attention Test, CAAT)預計於7月開始收案，目前之收案規劃如下：

*迷宮測驗為MATRICS Consensus Cognitive Battery之子測驗

由於CAAT練習題+模擬測驗之題數較多（約正式測驗之2倍，詳底下測驗流程之介紹），因此CAAT施測時毋須重複多次練習或重複多次正式測驗。

CAAT介紹

測驗目的：評量受測者轉換且交替使用二種不同認知任務之能力。
CAAT中採用之二種認知任務為：「判斷數字是否小於5」及「判斷形狀是否左右對稱」（如下圖）。

測驗流程：

CAAT包含三個測驗階段：示範/練習題、模擬測驗、及正式測驗。示範/練習題又分為三個部分：規則一～三之示範及練習。

示範/練習題之規則一，受測者須瞭解及熟悉規則一（判斷數字是否小於5）之操作方式；

規則二，須瞭解及熟悉規則二（判斷數字是否小於5）之操作方式；

規則三，須瞭解及熟悉【規則一及二交替出現】之操作方式。

模擬測驗及正式測驗中，皆為【規則一及二交替出現】，因此受測者須不斷地交替使用此二種認知任務。

電腦化交替性注意力測驗 (Computerized Alternating Attention Test, CAAT)最新版

二種測驗規則：

1. 「判斷數字是否小於5」，小於5按ü，大於5按X」，及
2. 「判斷圖形是否為左右對稱」，是左右對稱按ü，不是左右對稱按X」（圖一）。

圖一、CAAT之測驗刺激物

目前此版本於正常人測試結果顯示，兩種規則之難易度相近。且數值上的確可以發現「規則交替所需之反應時間」大於「持續操作同一規則之反應時間」，此時間差異可代表「規則交替所需之時間」，亦即本測驗之主要建構。

目前已將此新版的測驗內容製作成PPT，近期即可交由明昆協助發展成單機版測驗。

7月底之前的任務/進度

任務	目前進度	預計完成時間
QOL稿件	已按照老師及共同作者建議修改一回	7月底前可投稿
松德106院內計畫_構想書	尚未開始 （7/15開始撰寫）	7/28以前完成交給李主任
松德105院內計畫_IRB	尚未開始 （7/20開始撰寫）	l  7月底送行政審查&初審 l  10月初送複審
CAAT修改	l 待測試新的規則於同學/學姊 l 依照之前同學/學姊們測試建議修改後的目前最新規則：「判斷數字是否大於5」及「判斷圖片裡的東西是否屬於動物」	8月底前可測試完畢

電腦化交替性注意力測驗 (Computerized Alternating Attention Test, CAAT)修改

CAAT應用於中風個案之心理計量特性分析結果發現，具有較大之隨機測量誤差。

（前一版本之CAAT設計詳連結：http://ghlin.blogspot.tw/2013/11/computerized-alternating-attention-test.html）

我認為隨機測量誤差較大之可能原因有：

1. 兩套規則的刺激物過於相近（都是形狀），導致中風患者作答時易受干擾；
2. 刺激物出現前無提示，導致刺激物出來時患者還沒做好答題準備；
3. 中風患者較晚才熟悉測驗規則，導致有時記得規則，有時卻又忘記。

可能之修改辦法：

1. 針對「二套規則的刺激物過於相近」之問題，我預計更換CAAT的刺激物。修改構想如下：

• 此測驗之認知要求有二項，分別為「判斷數字是否小於5」，小於5按ü，大於5按X」，
  及「判斷紅色圓點是否出現在方框的上方」，出現在方框的上方按ü，不是在方框的上方按X」。

• 二項rules之刺激物假隨機出現，出現比例為1:1。

2. 針對「刺激物出現前無提示」之問題，可在刺激物出現前給予視覺提示。

3. 針對「較晚才熟悉測驗規則」之問題，可在練習題及正式測驗之間增加模擬測驗。以促進受試者熟悉測驗規則。

上述版本請研究室同仁測試後之主要問題如下：

1. 數字題比紅點題難

   可能原因：受測者判斷數字是否大於5時，需要比較畫面上的數字與「5」的大小。但數字5並未出現在畫面上，須憑受測者自行想像；但受測者判斷紅點的上下時，僅需依據紅點在在正方形中的位置判斷即可。換句話說，受測者回答數字題時，多一個自行想像「參照點」的認知程序，因此受試者覺得「數字題難度高於紅點題」。

   解決辦法：
   (1) 數字題的指導語考慮改成「數字是不是大的？」，是大的數字請打勾，不是大的數字請打叉。此外把數字「4」跟「6」拿掉，應可減少數字題之難度。因「4」跟「6」離中間的數字 「5」比較近，判斷上較為困難。
   (2)紅點改成「判斷圖片中的物品是不是動物？」，是動物請打勾，不是動物請打叉。以期圖片分類之難度與數字大小判斷較為相等。

2. 刺激物出現前的十字架沒有達到提示的效果

   可能原因：測試版本中的十字架較小，因此受測者可能較不易察覺。

   解決辦法：加大十字架的size。

3. 數字或紅點持續出現3~4題後，再變換出題規則較有做到規則轉換。

   可能原因：受測者重複使用一套規則後再轉換成另一套規則，能產生較明顯規則轉換的感受。因為要從相對已經熟悉的規則轉換到新的規則，會難於從不熟悉的規則轉換到新的規則。

   解決辦法：把規則轉換間的題目數增加到3題或以上。

修改完成後，可再邀請實驗室同仁協助測試，並進行認知訪談。

認知訪談之問題包括：(1)受測者操作測驗時，可請受測者邊操作邊說出其思考過程，以利瞭解受測者答題的方式；(2)請問您覺得這個測驗所評估的能力為何？(4)請問您覺得兩種規則之操作難度是否相當？(4)請問每一道題目前面的十字架是否有助於轉換作答規則？

CAAT修改方向

練習題流程修正

1. 每講解完一種操作規則後立即進入該部分之練習題。如：說明/示範「看到塗黑色的圖案要判斷圖案是不是正方形」之後，進入塗黑色圖案的練習提。再說明/示範「看到沒塗色的圖案要判斷大的跟小的形狀是否一樣」之後，進入沒塗色圖案的練習題。
2. 當受測者在練習題中答錯時，給予更明確的錯誤提示（如：您作答的方式和規則不太一樣）。接著再給予該部分練習題的規則說明。
3. 當第三個部份的練習題（塗黑色跟沒塗色二種圖案交替出現）結束後，進行模擬測驗。如此一來可改善現在第三部分練習題題目太多的問題。在模擬測驗中不會提示受測者答對或答錯。
4. 模擬測驗結束後，給予休息20秒。休息結束後給予受測者選擇進入正式測驗或再聽一次規則。若受測者選擇再聽一次規則，則重第三部分練習題開始重新說明規則。

指導語說明

1. 說明文字比較多的畫面，增加「打開語音」的設定（類似CPDT的設計）。預設的情況下，文字較多的畫面部出現語音說明，以免影響閱讀。
   但操作示範仍會自動撥放語音。
2. 在講解規則時，先不要讓操作示範的手出現，等要示範動畫開始時再讓手出現，減少不必要的訊息。
3. 「一不一樣」的字樣皆改為「是否一樣」。

感謝沛綺幫忙進行CAAT修改建議的認知訪談及意見彙整！
期待再版的CAAT可以讓受測者更快更直覺地瞭解規則，以期達到受測者無須協助即可自行完成測驗。