2014年3月7日 星期五

信度研究是否需要counterbalanced design

C-DVT及C-SDMT再測信度及練習效應驗證研究中,每位受試者須接受二次評估sessions,每個sessions要求受測者於一週內完成4個測驗,分別為DVT, C-DVT, SDMT, and C-SDMT,這4個測驗的施測順序採取counterbalanced design,每次每位受試者操作上述四個測驗的順序接隨機決定。
我們認為受試者的注意力表現會隨著測驗時間增加而減弱,造成此現象的主要因為疲乏(fatigue),例如一位受試者連續操作二次注意力測驗,第二次的測驗表現應該會比第一次差。
然而這樣的研究設計可能使得研究結果之再測信度及練習效應被低估
同一測驗於前後二次sessions之施測順序不同,如此一來二次評估分數間的變異一定會增加。再測信度驗證方面,因為注意力疲乏的因素可能造成二次測驗結果有差異,進而導致再測信度驗證結果可能變小。練習效應驗證方面,若欲驗證的測驗原本有練習效應,所有人的分數都因為練習而有些進步,但有些受試者的練習進步量被注意力疲乏(因施測順序不同)所抵銷,因此可能低估該測驗原有的練習效應。

1 則留言:

  1. counterbalanced design 的主要目的是為了減少「順序」所帶來的誤差
    因此若有「疲勞效應」,各個工具所受影響應該一致
    所以您提「低估練習效應」應該是被「過渡評估」且無「適當休息」所造成,而非 counterbalanced design 的影響。

    回覆刪除