目前手上待開發及修改的電腦化測驗有6：3個COWMEM的注意力測驗、FAS-CAT、
CAAT改版、及PRO認知部份。5向測驗目前進度分別如下：
COWMEM的注意力測驗 (Allen幫忙)
原本預期進度：6月中旬完成
目前進度：有2個測驗差不多完成，有1個測驗的進度Allen須向合作者確認。(6/20取得之回覆)
FAS-CAT (Allen幫忙)
尚未收到Allen回覆開發進度評估及報價。(6/12：第一次詢問；6/20：再次詢問)
CAAT改版（預計請明昆幫忙）
預期進度：7/14將測驗修改構想交由明昆修改
目前進度：測驗內容及規則設計中。
PRO—認知
目前進度：設計施測平台之界面（包含：認知篩選工具、測驗列表〔依認知向度分類〕、測驗結果輸出＆個案個人profile〔cross-sectional & longitudinal〕）
2017年6月26日 星期一
2017年6月3日 星期六
「第14屆歐洲復健研究論壇會議」心得
此次參與英國Glasgow研討會之心得主要有下列四點：
（一）歐洲復健研究以質性研究為主：約高達8成的研究都是質性研究，歐洲研究者反而對於量性研究之研究方法不太熟悉。量性研究中幾乎都是隨機分派研究，與我研究主題（測驗發展及心理計量特性）相關之研究則少。由此點可知，國內復健領域之研究品質及研究方法相當不錯，甚至勝過歐洲國家。
值得一提的是，很多質性研究者之研究結果都顯示出「評估的重要性及評估工具的不足」，可見雖然歐洲真正參與發展評估工具的研究者不多，但對於卻瞭解其重要性。
（二）歐洲研究者間之交流較頻繁：會議期間，無論何時何地幾乎都有研究者熱烈地交談，無論討論專業議題或日常閒聊。對於討論或與他人互動的動機似乎都比國人還要高許多，國內研討會時，研究者間幾乎很少主動討論或閒聊，即便海報或口頭報告期間也少有人提問。我認為討論有助於研究者拓展人脈或釐清自身之疑問，此乃研究之重要基礎。
（三）國外研究者對自己的研究充滿熱誠且自信：國外研究者多會積極且主動地向他人介紹自己的研究內容、重要性、或應用性等，且當他們分享他們研究成果時總是帶著興奮的語氣，令聽眾忍不住想多瞭解一些他們的研究內容。相對地，國內的研究者，常以謙虛的態度對自己的研究有所保留，反而另聽眾對於其研究成果失去興趣。
（四）國外研究者習慣先看到別人研究的優點：國外研究者在聽完報告或看完海報後，總是先真誠地提出他人研究的優點或對重要性，接著再分享自己與該研究之相關經驗，很少一開口就直接提出對於研究的質疑或修改建議。這樣的風氣讓研究者間的關係彼此較像同事而非敵人，彼此反而都較樂於分享更多自己的看法或接受別人的建議。
相反的，國內研討會常常對於報告者直接提出指教及建議，即便稱讚他人也像「形式上」的稱讚並草草帶過。如此一來容易讓研究者間彼此無意間產生敵意或不舒服的感覺，反而對於他人的建議不太能接受。
（一）歐洲復健研究以質性研究為主：約高達8成的研究都是質性研究，歐洲研究者反而對於量性研究之研究方法不太熟悉。量性研究中幾乎都是隨機分派研究，與我研究主題（測驗發展及心理計量特性）相關之研究則少。由此點可知，國內復健領域之研究品質及研究方法相當不錯，甚至勝過歐洲國家。
值得一提的是，很多質性研究者之研究結果都顯示出「評估的重要性及評估工具的不足」，可見雖然歐洲真正參與發展評估工具的研究者不多，但對於卻瞭解其重要性。
（二）歐洲研究者間之交流較頻繁：會議期間，無論何時何地幾乎都有研究者熱烈地交談，無論討論專業議題或日常閒聊。對於討論或與他人互動的動機似乎都比國人還要高許多，國內研討會時，研究者間幾乎很少主動討論或閒聊，即便海報或口頭報告期間也少有人提問。我認為討論有助於研究者拓展人脈或釐清自身之疑問，此乃研究之重要基礎。
（三）國外研究者對自己的研究充滿熱誠且自信：國外研究者多會積極且主動地向他人介紹自己的研究內容、重要性、或應用性等，且當他們分享他們研究成果時總是帶著興奮的語氣，令聽眾忍不住想多瞭解一些他們的研究內容。相對地，國內的研究者，常以謙虛的態度對自己的研究有所保留，反而另聽眾對於其研究成果失去興趣。
（四）國外研究者習慣先看到別人研究的優點：國外研究者在聽完報告或看完海報後，總是先真誠地提出他人研究的優點或對重要性，接著再分享自己與該研究之相關經驗，很少一開口就直接提出對於研究的質疑或修改建議。這樣的風氣讓研究者間的關係彼此較像同事而非敵人，彼此反而都較樂於分享更多自己的看法或接受別人的建議。
相反的，國內研討會常常對於報告者直接提出指教及建議，即便稱讚他人也像「形式上」的稱讚並草草帶過。如此一來容易讓研究者間彼此無意間產生敵意或不舒服的感覺，反而對於他人的建議不太能接受。
2017年4月27日 星期四
Mazes統合分析
Mazes迷宮測驗為MCCB之子測驗。
我於PubMed檢索Mazes或MCCB驗證於schizophrenia患者之再測信度文獻，共查獲3篇（表一之前三篇）。加上我們的收案資料，共使用4篇文獻進行統合分析。
Mazes之再測信度統合分析結果顯示（表二）：Mazes之再測信度係數 良好 (pooled ICC & Pearson's r = 0.80)，但隨機測量誤差大 (pooled MDC% = 63.6%)，且有微小至小的練習效應 (pooled SRM & Cohen's d = 0.26 & 0.18, respectively)。Mazes之SRM森林圖 (forest plot)呈現於圖一。
Note: ICC & Pearson's r的森林圖未附上於此，因二者的森林圖是呈現z值而非ICC & Pearson's r，使得森林圖之數值不易解讀。ICC & Pearson's r於統合分析時都須先轉換成常態z值，再用z值進行運算。
未來可找其它軟體或方法繪製呈現ICC & Pearson's r的森林圖
未來須檢索其它資料庫（如Embase, PsycINFO, and CINAHL），以確認Mazes之再測信度文獻是否有漏網之魚。
表一：Mazes應用於schizophrenia患者之再測信度文獻基本資料
表二：Mazes之再測信度
我於PubMed檢索Mazes或MCCB驗證於schizophrenia患者之再測信度文獻，共查獲3篇（表一之前三篇）。加上我們的收案資料，共使用4篇文獻進行統合分析。
Mazes之再測信度統合分析結果顯示（表二）：Mazes之再測信度係數 良好 (pooled ICC & Pearson's r = 0.80)，但隨機測量誤差大 (pooled MDC% = 63.6%)，且有微小至小的練習效應 (pooled SRM & Cohen's d = 0.26 & 0.18, respectively)。Mazes之SRM森林圖 (forest plot)呈現於圖一。
Note: ICC & Pearson's r的森林圖未附上於此，因二者的森林圖是呈現z值而非ICC & Pearson's r，使得森林圖之數值不易解讀。ICC & Pearson's r於統合分析時都須先轉換成常態z值，再用z值進行運算。
未來可找其它軟體或方法繪製呈現ICC & Pearson's r的森林圖
未來須檢索其它資料庫（如Embase, PsycINFO, and CINAHL），以確認Mazes之再測信度文獻是否有漏網之魚。
表一：Mazes應用於schizophrenia患者之再測信度文獻基本資料
Author
|
Year
|
評估次數
|
複本測驗
|
再測間隔 (週)
|
樣本數
|
Nuechterlein,
et al.
|
2008
|
2
|
有
|
4
|
167
|
Jędrasik-Styła,
et al.
|
2015
|
2
|
有
|
4
|
61
|
Fonseca, et
al.
|
2017
|
2
|
有
|
4
|
45
|
Ours
|
2017
|
2
|
無
|
2
|
58
|
表二：Mazes之再測信度
Author
|
n
|
ICC
|
Pearson's r
|
MDC
|
MDC%
|
SRM
|
Cohen's d
|
Nuechterlein,
et al.
|
167
|
0.83
|
0.83
|
7.9
|
65.2%
|
0.15
|
0.08
|
Jędrasik-Styła,
et al.
|
61
|
-
|
0.74
|
8.8
|
53.8%
|
0.51
|
0.38
|
Fonseca, et
al.
|
45
|
-
|
0.83
|
8.0
|
77.2%
|
0.18
|
0.10
|
Ours
|
58
|
0.67
|
0.70
|
10.5
|
71.8%
|
0.41
|
0.34
|
Pooled estimates
|
331
|
0.80
(0.75~0.83)
|
0.80
(0.75~0.85)
|
8.5
|
63.6%
|
0.26
(0.15~0.37)
|
0.18
(0.07~0.30)
|
 |
| 圖一：Mazes之SRM統合分析結果 |
2017年4月14日 星期五
CAAT@schizo.之信效度分析結果
CAAT預期評量之認知功能：規則轉換 (rule switching)，規則轉換屬於何種認知功能尚無定論，常被視為「轉換性注意力 (alternating attention)」的一種或「認知彈性 (cognitive flexibility)」的一種基礎能力。
測驗內容：CAAT要求受測者轉換於二種測驗規則：「判斷數字是否小於5」及
「判斷圖形是否為左右對稱」（詳CAAT介紹）。
CAAT之正式測驗含三部分：僅數字題、僅圖形題、及規則轉換題。每部分含24題，前二部分受測者無需規則轉換，但第三部分數字與圖形題各半，受測者需規則轉換。
CAAT主要分數：CAAT之正式測驗第三部分之「平均反應時間」。本研究樣本於4次評量之CAAT分數如表一。
我們假設第三部分的平均反應時間 > 第一、二部份的平均反應時間。因於第三部分中，患者應須花費額外的認知能力（時間）以處理「規則轉換」之任務。
研究評估流程：本研究招募症狀穩定之思覺失調症患者進行4次評估，患者每次評估皆須完成CAAT。此外於第一、三次評估時須額外完成迷宮測驗 (Mazes test)及T-SDMT；第二、四次評估須完成Lawton IADL。
心理計量特性驗證結果
再測信度：幾乎無練習效應，但ICC及隨機測量誤差僅達可接受之邊緣（數值呈現於表二）。
發展動機：過去研究發現思覺失調症患者之規則轉換能力有缺損，且目前缺乏評估工具。
測驗內容：CAAT要求受測者轉換於二種測驗規則：「判斷數字是否小於5」及
「判斷圖形是否為左右對稱」（詳CAAT介紹）。
CAAT之正式測驗含三部分：僅數字題、僅圖形題、及規則轉換題。每部分含24題，前二部分受測者無需規則轉換，但第三部分數字與圖形題各半，受測者需規則轉換。
CAAT主要分數：CAAT之正式測驗第三部分之「平均反應時間」。本研究樣本於4次評量之CAAT分數如表一。
我們假設第三部分的平均反應時間 > 第一、二部份的平均反應時間。因於第三部分中，患者應須花費額外的認知能力（時間）以處理「規則轉換」之任務。
表一：CAAT第三部分平均反應時間
施測次數
|
1
|
2
|
3
|
4
|
平均反應時間 (秒)
|
0.80 (0.17)
|
0.78 (0.16)
|
0.77 (0.17)
|
0.75 (0.19)
|
研究評估流程：本研究招募症狀穩定之思覺失調症患者進行4次評估，患者每次評估皆須完成CAAT。此外於第一、三次評估時須額外完成迷宮測驗 (Mazes test)及T-SDMT；第二、四次評估須完成Lawton IADL。
心理計量特性驗證結果
再測信度：幾乎無練習效應，但ICC及隨機測量誤差僅達可接受之邊緣（數值呈現於表二）。
表二：CAAT再測信度、隨機測量誤差及練習效應
Difference (SD),
秒
|
ICC
|
SEM, (秒)
|
MDC, (秒)
|
MDC%
|
SRM
|
p
|
|
CAAT_Time1~2
|
0.03 (0.12)
|
0.74
|
0.09
|
0.25
|
31.3%
|
0.25
|
0.86
|
CAAT_Time2~3
|
0.01 (0.14)
|
0.66
|
0.09
|
0.25
|
32.1%
|
0.07
|
0.70
|
CAAT_Time3~4
|
0.02 (0.12)
|
0.78
|
0.08
|
0.22
|
28.6%
|
0.17
|
0.28
|
效度：
建構效度不佳：CAAT「Part3」與「Part1&2」之平均反應時間無顯著差異，此結果表示：Part3之平均反應時間（CAAT的主要指標）無法顯示出患者處理「規則轉換」任務須額外花費的時間。
建構效度不佳：CAAT「Part3」與「Part1&2」之平均反應時間無顯著差異，此結果表示：Part3之平均反應時間（CAAT的主要指標）無法顯示出患者處理「規則轉換」任務須額外花費的時間。
生態效度不佳：和IADL分數相關性低。（然而IADL與這次所有測驗的相關性都<0.20，原因尚不明）
收斂效度可接受：和T-SDMT有中度相關；和MAZE弱相關。
結論：CAAT應用於思覺失調症患者之再測信度勉強可接受，但效度不佳...
可能原因：「規則轉換提醒」至「呈現規則轉換題」的間隔太長（目前為5秒），導致CAAT無法偵測到患者「轉換規則需額外花費的時間」。
同筆資料中亦可分析MCCB-Mazes測驗的再測信度：
Mazes-Time1, mean (SD) = 13.4 (6.9)
Mazes-Time2, mean (SD) = 15.8 (7.9)
Difference (SD),
秒
|
ICC
(95% CI) |
SEM, (秒)
|
MDC, (秒)
|
MDC%
|
SRM
|
p
|
|
Mazes_Time1~2
|
2.38 (5.75)
|
0.67
(0.46~0.80)
|
3.96
|
10.95
|
81.6%
|
0.25
|
0.003
|
我們研究結果顯示Mazes的隨機測量誤差極大，且ICC與練習效應的effect size與MCCB發展時之數據有相當大的出入 。MCCB原始論文呈現之 ICC = 0.80，練習效應之effect size = 0.08。
此出入可能來自於「再測間隔之差異」，我們研究之間隔為2週，而雖然原始論文的間隔為4週。
2017年3月6日 星期一
C-DVT之中風病人入出院資料心理計量特性驗證議題
該資料的變項包含C-DVT、T-SDMT及BI-SS之前後測；
此外前測時評估「個案自陳認知功能狀態量表-李克氏量表版 (Gog-Status-Scale)」及「個案自陳認知功能狀態量表-VAS版 (Gog-Status-VAS)」；
另外後測時評估「個案自陳認知功能改變量表-李克氏量表版 (Gog-Change-Scale)」及「個案自陳認知功能改變量表-VAS版 (Gog-Change-VAS)」。
這筆資料可能驗證之議題如下圖（可點圖放大）。
 |
| 心理計量特性驗證可能議題。 黑色字表示主要分析議題；和色字表示次要分析議題。 Gog-Change-Scale：個案自陳認知功能改變量表（李克氏量表） Gog-Change-VAS：個案自陳認知功能改變量表（VAS量表） Gog-Status-Scale：個案自陳認知功能狀態量表（李克氏量表，僅前測時評估） Gog-Status-VAS：個案自陳認知功能狀態量表（VAS量表，僅前測時評估） |
1. C-DVT及T-SDMT之反應性（含個別&團體層級）及MID
【此資料中，認知測驗MID恐不可行...因自陳有「些微進步（如0~7分自陳認知進步量表中得2~3分）」的個案數約10人】
【此資料中，認知測驗MID恐不可行...因自陳有「些微進步（如0~7分自陳認知進步量表中得2~3分）」的個案數約10人】
2. BI-SS之MID
次要分析議題：
1. C-DVT及T-SDMT之生態效度（交叉驗證）、收斂效度（交叉驗證）、及預測效度
2. BI-SS反應性（交叉驗證）
2017年2月21日 星期二
Effect size (Cohen's d)轉換 Overlapping coefficient
Effect size (Cohen's d)表示兩個常態分配的（標準化後）平均數差異值（如下圖所示）。
圖片來原：http://rpsychologist.com/d3/cohend/
從圖中可以發現，Cohen's d的大小除了決定兩個分配間的距離多遠之外，同時也和兩個分配間重疊面積（圖中深綠色區域）大小有正向的關係。
因此，若研究者關心的議題是：某一指標（或測驗分數）可將二族群 (樣本)區隔多遠。
此時研究者可使用二族群指標間的Cohen's d轉換成重疊係數 (overlapping coefficient, OVL)。 [1]
例如：若研究者驗證已知組群效度時，研究者關心某一測驗分數能否反應出（或能區隔的程度）多個已知族群間分數的差異。此時，即可採用OVL作為已知組群效度指標之一。
（然而使用尚須注意的是：目前未找到OVL好壞的判斷指標，此問題影響數值之判讀）
欲換算Cohen's d及OVL時，可藉由網站：http://rpsychologist.com/d3/cohend/ 協助。
網頁上可透過調整"Slide me"，選擇您欲轉換的Cohen's d數值；
接著"% Overlap"處的數值即為OVL。
從圖中可以發現，Cohen's d的大小除了決定兩個分配間的距離多遠之外，同時也和兩個分配間重疊面積（圖中深綠色區域）大小有正向的關係。
因此，若研究者關心的議題是：某一指標（或測驗分數）可將二族群 (樣本)區隔多遠。
此時研究者可使用二族群指標間的Cohen's d轉換成重疊係數 (overlapping coefficient, OVL)。 [1]
例如：若研究者驗證已知組群效度時，研究者關心某一測驗分數能否反應出（或能區隔的程度）多個已知族群間分數的差異。此時，即可採用OVL作為已知組群效度指標之一。
（然而使用尚須注意的是：目前未找到OVL好壞的判斷指標，此問題影響數值之判讀）
欲換算Cohen's d及OVL時，可藉由網站：http://rpsychologist.com/d3/cohend/ 協助。
網頁上可透過調整"Slide me"，選擇您欲轉換的Cohen's d數值；
接著"% Overlap"處的數值即為OVL。
Reference:
1. Inman HF, Bradley Jr EL. The overlapping
coefficient as a measure of agreement between probability distributions and
point estimation of the overlap of two normal densities. Commun Sta. Theory
Methods. 1989;18:3851-3874.
2017年2月11日 星期六
博論測驗(COWMEM)發展進度
COWMEM為工作記憶測驗組 (working memory, WM)包含6個WM向度/次向度測驗：視空間WM、語音WM、訊息整合WM、集中性注意力、分配性注意力、及轉換性注意力，後三項為注意力測驗隸屬於WM之中央執行系統。
視空間WM、語音WM、及訊息整合WM等三測驗請明昆協助撰寫程式，目前視空間WM測驗已完成90%（僅餘資料匯出未完成，下週可完成）。後續二測驗之進展預期可快許多，因為後續二測驗之測驗架構近似於視空間WM測驗，僅出題形式不同（視覺圖片、語音訊息、或者事件記憶）。
集中性注意力、分配性注意力、及轉換性注意力等三測驗欲請業太之學弟Allen協助，下週一可獲得Allen之報價及預期進度。
視空間WM、語音WM、及訊息整合WM等三測驗請明昆協助撰寫程式，目前視空間WM測驗已完成90%（僅餘資料匯出未完成，下週可完成）。後續二測驗之進展預期可快許多，因為後續二測驗之測驗架構近似於視空間WM測驗，僅出題形式不同（視覺圖片、語音訊息、或者事件記憶）。
集中性注意力、分配性注意力、及轉換性注意力等三測驗欲請業太之學弟Allen協助，下週一可獲得Allen之報價及預期進度。
訂閱：
文章 (Atom)