心理計量的"錯誤"或"不同概念"之paper searching

 Bland altman

1.  Yang KG, Raijmakers NJ, Verbout AJ, Dhert WJ, Saris DB. Validation of the short-form womac function scale for the evaluation of osteoarthritis of the knee. J Bone Joint Surg Br. 2007;89:50-56

      說明:

      Bland altman使用方法不同:  同時用於信度與效度的驗證  (SF WOMAC FS之再測信度、SF WOMAC和 modified WOMAC與tradional版之收斂效度)，且主要非由此方法看一致性程度而是藉由視覺呈現Bland altman plot 來看是否有 heteroscedasticity，進而判斷工具評量之準確度是否會受到症狀嚴重度之影響。

         問題之處 :  1. 沒有external criteria

                   2. 僅看收斂效度證據薄弱 ?

Predictive validity 

 2.  Czaikowski BL, Liang H, Stewart CT. A pediatric four score coma scale: Interrater reliability and predictive validity. J Neurosci Nurs. 2014;46:79-87

   說明:

本篇驗證PFSS之預測效度，外在效標為PCPC(看functional outcomes)。預測效度之概念也是看工具預測功能(包括outcomes和 mortality)之能力，但採用之方法卻非使用皮爾森相關而是用ROC曲線，看曲線下面積AUC大小來判斷工具診斷出poor outcome之效能(分成分數1-3及4-6兩類, 4-6為poor outcome)。

問題之處 :研究目的是想看工具預測差的outcomes和院內死亡的效能，因為研究設計是同時驗證(在admission和discharge)，似乎就不太能符合研究目的(預測未來功能表現)。

ecological validity

3.  Junghaenel DU, Schneider S, Stone AA, Christodoulou C, Broderick JE. Ecological validity and clinical utility of patient-reported outcomes measurement information system (promis(r)) instruments for detecting premenstrual symptoms of depression, anger, and fatigue. J Psychosom Res. 2014;76:300-306

  說明:

本研究驗證PROMIS-CAT用於偵測經前症候群婦女憤怒、憂鬱、疲累症狀之生態效度，生態效度概念一樣是看測驗分數是否能反映出於日常生活之表現，方法為看PROMIS-CAT及corresponding daily measure之相關。

疑問之處：

１.文章驗證生態效度方法有二如下ａ、ｂ，然不知驗證（ａ）之意義何在　

(a) differences in mean symptom levels on CAT and daily　short forms

(b) correlations between CATs and daily scores for　each week.

２. 生態效度計算Baseline　week、Pre-menstrual　week、Menstrual　week、Post-menstrual　week及Pooled　across　weeks，未針對premenstrual，另外在這四週，症狀會有不同的變化，然卻同時用來驗證生態效度，是否會不當。

Responsiveness reading 整理

Individual level 指標 :(偵測個別個案前後測是否有差異之能力)

1. 以總分改變量分成三等級，比較各等級人數比例
    (a)超過 MDC95：代表功能進步具備統計顯著
    (b)0 ~ MDC95：代表未進步或進步量未具備統計顯著
    (c)低於 0：退步

2.相對風險(relative risk, RR) :  驗證兩個量表於各等級人數之相對比值以及是
   否具備顯著差異[比較兩工具]

3.最小可偵測變化值比值: 總分之改變量除以個別量表之最小可偵測變化值

Group level 指標: (評估工具呈現團體前後測改變量之能力)

1. 效應值 d (effect size d)
2. 標準化反應平均值 (standardized response mean)
3. 配對 t 檢定 : 可以看改變是否有顯著差異or [比較兩工具] 總分於前後二次測量之平均分數是否有顯著差異

P.S. MDC為sample independent， 可類推個案
     
* 以Tests of Marginal Homogeneity(卡方檢定X2 /G2) 檢驗兩工具三等級的資料分佈是否相同

心理計量文獻閱讀問題-單向度

Q.

1. Guttman scales相加之overall scores是否有意義

2. Rasch是否不適合驗證單向度?欲轉成interval scale才用rasch?若只為確認單向度驗證Mokken?

    Guttman scales是更簡易之指標?

3. 何謂”IRFs of the scale do not intersect?"

4. Mokken指標The scalability coefficient H : a global indicator of the degree to which patients can be accurately ordered on the upper extremity function by means of their sum scores  à此sum scores 只能做比較用，而不看能力差異之大小?

5. 何謂Intermodel agreement?

-----------------------------------------------------------------------------------------------------

Points:

Guttman scale

由單向或具有同一性質的項目所組成，項目由弱到強連續性排序

Standard:(to be a valid cumulative and unidimensional Guttaman model)  

Coefficient of Reproducibility(CR): how well the observed responses corresponded to the responses that would have been predicted if the items were perfectly ordered. (CR>.90)

Coefficient of Scalability(CS): the proportion of responses which can be correctly predicted from the total score (CS>.60)

Mokken analysis

1.      an non-parametric item response theory model

2.      examine accuracy of ordering between person’s raw sum scores

3.      need sample size>200

4.      standard: MH modal:The scalability coefficient H>0.5

                  DM modal: adequate: largest Crit value per item <40

                                      violated: both Crit values for an item>80

Rasch analysis

1.      parametric item response theory model

2.      examine whether sum scores of a measure can be transformed into interval scores.

(interval property can quantify change and do arithmetic operations)

3.      Limitation: exclude items whose scores cannot be transformed into an interval scale, but which do fit the Mokken model’s expectations

sharing from class: CI &Statistical Significance

信賴區間與統計顯著性之關係:  不一定等價

1. 兩平均值CI不重疊，則兩平均值具顯著差異
2. 兩平均值CI重疊，則說兩平均值不具顯著差異"不一定正確"

例如 :兩獨立樣本

first sample mean  =9  
second sample mean =17
SE相同=2.5

95% CI of first sample =(4.1, 13.9)
95% CI of second sample=(12.1, 21.9)
兩個信賴區間有重疊

 t-檢定(comparing two means) : T=(17-9)/√(2.5*2.5+2.5*2.5)=2.26 拒絕虛無假設,兩平均值具顯著差異

在解釋數據時需要小心~~~~

_______________________________________________

tennis class :
開始嘗試雙打比賽、學習計分規則，從比賽中可以知道需要練習的部分-->發球真的很重要，因為發球的區域不大很容易就出界，需要準確控制。

完整的發球動作需要 :重心往前--->              往後                  --->     往前
                                                            (右手後劃弧,左手拋球)
*菜刀持拍(same as羽球正拍)
*球放手指與掌面交界處，thumb在上面輕扣
*球拋到右上方，身體需朝球之去向

動作越好，攻擊性越強，但因為重心移動的關係，這種動作比先拉好拍、直接拋打來的難許多!

寫作評析問題

1.  評析心理計量特性好不好時，應該用提供驗證結果之paper所取之標準，還是用自己認為合理之標準?

2. 計劃書是否要寫研究假設?

3. 再測信度r=0.9比0.89或內部一致性0.93比0.91之差異是否可忽略?

4. (同一研究)在患者上驗證之心理計量特性結果比正常人上之結果更好是否合理?

5.內部一致性驗證於患者或正常人是否應該差異很小?

6.測驗間歸屬同架構(因素效度ok)但卻收斂效度差是否有問題?

心理計量文獻閱讀重點&寫作課紀錄

心理計量文獻閱讀重點


內容效度 :
1. 由專家檢驗
2. 檢驗:  是否評到預評估之特質、建構
                內容與評估對象之相關性
                項目數
                用詞
3.指標 : 各專家對scale與item之同意度百分比


表面效度 :
1. 常由患者檢驗
2. 在內容效度驗證之後進行
3. 檢驗 :與內容效度相似 , more of a qualitative feedback

--------------------------------------------------------------------------------------

寫作課紀錄

no perfect design--->盡量設計,try your best

計劃書:

1.計劃書的階段，因為尚未看到成果，所以要寫的詳細一點，在實際進行研究的時候才比較好follow

2.procedure是最重要的，包括要做什麼與要達成什麼目的，data analysis之後可再修改

3.程序的寫作: 

ａ、不只是寫零碎的流程，先把主要目的內容寫出來，top-down結構才抓的到重點 

ｂ、subtitle應meaningful

ｃ、不一定要有排除條件，可用正向之寫法

ｄ、考量可行性，有方法學之concern再用更好之方法（方法科學-->倫理）

4. 寫評估工具之優點不要限制了應用性，要看工具適用對象是否受限

＊科技部計劃：

因為無法face to face defense,所以創新性、必要性外，預期的critical問題都要寫進去

MDC文獻閱讀重點與問題

重點 :

1.  MDC : 可以代表測驗隨機測量誤差的大小。
                  提供判斷個案是否達統計意義上的真實改變之cut-point。
2.  MDC: determine true change
                 abosolute amount of  random measurement error
-----------------------------------------------------------------------------------

     MDC%: determine relative true change
                    relative amount of  random measurement error

3. ceiling effect(造成高估信度)及sample size會影響MDC的數值，需特別注意。

4. 驗證MDC時，個案測驗之次數增加，可以降低MDC數值。

5. 有heteroscedasticity則宜用MDC%來代替MDC。

6. MDC group數值小，通常非concern。

7. 在看病人是否有true change時，也要注意他們是否有受到其他因素之影響而改變，e.g.藥物。



問題:

1.看病人發生的真實改變時，MDC與 Bland-altman plot差別在哪，可以同時看?

2. group level的MDC是怎麼得來的? 都是先算individual level MDC再用公式轉換?

文獻問題

1.      If zero is included in the 95% CI, no significant systematic change in the

mean is present.

請問這個判斷基準是否缺乏重要姓，因為文獻說雖然TF20的CI沒有包含0，但因為CI 小且靠近0，又加ICC高，所以仍為reliable； 另不知此方法和t-test看兩分數之差異，哪方法比較prefer?

2.      Result 部分: TDPM would need to decrease between 10% (TE20) and 38% (TF20), and increase between 17% (TF40) and 24% (TE40) in groups of uninjured subjects to be 95% confident of detecting a real change.

還是無法理解，因為有了LoA，可知超過LoA就是real change，但現在要調整TDPM的分數是什麼意思呢，另外不知數據是從何而算 ?好像無法從資料推出?

3.      雖然文獻如此寫，但判斷 heteroscedasticity 僅用相關係數恰當嗎?  

4.   LoA怎樣算大怎樣算小是看多數人對於某個評估工具分數的界定? 是很主觀的?

reference :

Ageberg E, Flenhagen J, Ljung J. Test-retest reliability of knee kinesthesia in healthy adults. BMC Musculoskeletal Disorders. 2007;8:57

增益效度&本周to do

本周預計完成:

1.      篩選完常用ToM工具~~~5年內相關文獻352篇

2.      完成2.2(新增測驗之介紹、檢索過程、優缺點比較、心理計量表格、strange stories 區辨效度)  

3.      統整之前寫作及citation

4.      心理計量h.w

  

增益效度(incremental validity)

概念:

用來判斷某測驗是否較其他測驗更能準確預測某一效標；若某測驗分數為A，其他測驗分數為B，效標為Y變項，則增益效度指A對於Y之解釋是否優於B對Y之解釋。

計量原理:

公式是一種半淨相關，實際操作利用多元回歸分析而得，計算解釋力之增加量並進行顯著考驗，即代表增益效度。

(3.2新增part)

眼神辨識測驗(Reading the mind in the eyes test,RMET)

… …

      然而，測驗具有較差之增益效度(incremental validity)，雖然測驗結果和功能能力表現(UPSA-B分數)及社交能力表現(SSPA分數)有中度相關，但迴歸分析結果顯示預測功能能力表現(UPSA-B分數)及社交能力表現(SSPA分數)能力不顯著。

暗示作業(Hinting task)

… …

另外Hinting task測驗結果和功能能力表現(UPSA-B分數)及社交能力表現(SSPA分數)有中度相關，可顯著預測功能能力表現(UPSA-B分數)及社交能力表現(SSPA分數)。

8/11 record及討論記錄

8/11主要任務	進展與困難
瞭解MDC概念	已閱一篇文獻，心得記錄於下。
列出論文題目以及明確研究目的(欲驗證那些心理計量特性)	已確認測驗，及討論目前規劃的驗證方向。

8/12主要任務	目標
列出論文題目以及明確研究目的(欲驗證那些心理計量特性)	修正並完成列表。
找出2~4篇 model papers 涵蓋上述研究目的	找到合適文獻並開始閱讀。

(1) MDC概念閱讀心得:

     研究可加入探討MDC的部分，因為只要有ICC值及SD值就可算出SEM，然後就可算出MDC，不管病人是否在前後測有明顯變化，都可利用前後測結果來算出MDC，以瞭解當病人變化到何種程度時才算是有真正的改變(超過MDC時)。另外MDC%(MDC/mean)可以讓我們瞭解隨機測量誤差的大小(<30%為可接受，<10%為極佳)，當MDC%太大，病人需要很大的改變量才能算是有真正的變化，評估工具的實用性就會受到威脅。

結論: 研究有要加入計算MDC。

參考: Lee P, Liu CH, Fan CW, Lu CP, Lu WS, Hsieh CL. The test-retest reliability and the minimal detectable change of the purdue pegboard test in schizophrenia. J. Formos. Med. Assoc. 2013;112:332-337

     

(2)討論記錄:

1.       寫作或討論、發表言論都要採用TOP-DOWN模式，先掌握與敘述重點與主題。敘述時不要引用他人的話，但可以吸收他人觀點再以自己的話表達。

2.      反應性是評估工具很重要之心理計量特性，要驗證評估工具反應性，通常要長時間追蹤，才會有較好之結果，故考量可行性與難度，我研究不太可能驗證反應性。

3.      雖然我研究設計只有前測與後測，仍可看出測驗之練習效應，雖然可能無法完整明瞭測驗之練習效應，但可以累積部分證據，而限制的部分可於”討論”的段落中陳述。

4.      PSP和SFST此兩生態效度之效標，若考量可行性及施測便利性，PSP優於SFST，且SFST因為為多向度的測驗，較難以使用。

5.      Model paper之選擇以越貼近研究主題、族群等越佳，找到合適之paper考驗資料檢索之功力。

6.      生態效度或收斂效度實質價值其實有限，因為例如中度的相關r=0.6，只能解釋0.36變異量。

8/10 record

8/10主要任務	進展與困難
文獻閱讀	已閱讀練習效應文獻一篇，最後決定不驗證練習效應。(記錄於下)
CGI或BSRS間之選擇	決定使用CGI。(記錄於下)

8/11主要任務	目標
列出論文題目以及明確研究目的(欲驗證那些心理計量特性)	修正完成之前的設計。
找出2~4篇 model papers 涵蓋上述研究目的	找到合適文獻並開始閱讀。

1.      練習效應是否驗證

之前問題

1. 還未很清楚練習效應相關研究方法，有看到施測4次間隔1-2周的研究，然還不清楚只施測兩次，間隔一個月這樣是否可看出測驗之練習效應 ? 或此練習效應是否具意義?

                             

2. 再測信度之間隔時間選擇是希望受測者不會因做過測驗而影響到施測結果，再測信度和練習效應的驗證是否會有衝突?

整理文獻Chiu EC, Koh CL, Tsai CY, Lu WS, Sheu CF, Hsueh IP, et al. Practice effects and test-re-test reliability of the five digit test in patients with stroke over four serial assessments. Brain Injury. 2014;28:1726-1733可知:

    練習效應是指重複施測同樣測驗時，個案因為先前經驗而表現有進步。練習效應按順序先後分成累積期(個案顯著進步)及平原期(個案無顯著進步)，練習效應通常在第三次及第四次施測時最為顯著，越複雜的測驗，練習效應的發生可能會越晚。練習效應的存在代表個案可能經由重複施測發展出作測驗之策略或對測驗內容有記憶，因此專業人員在解釋測驗結果時必須特別小心。另外，施測間隔會影響練習效應之效果，為了更全面瞭解一個測驗之練習效應，可檢驗在不同時間間隔(例如:一周、一個月、三個月、六個月、甚至一年)時之練習效應。

因此根據我研究只測兩次之設定，不適合針對”練習效應”作驗證，理由為只有施測兩次難以深入了解測驗之練習效應，如可能尚無法看到平原期，也無法知道不同時間間隔之影響。

關於pratice effect的應用，好奇假若一測驗一定間隔時間下測4次達plateau，那病人實際能力是應該看第幾次測的結果(我在想因為只有第一次不受練習影響)?
--->恭宏認為可以看plateau後之分數或是4次平均分數。

2.      CGI/BSRS 選擇:

 士捷有使用CGI但只是用來看個案症狀是否穩定，並非做為區辨效度使用。原來我研究設定5 受試者是針對慢性思覺失調患者，因此當初我會覺得使用較詳細的BSRS來區分嚴重度會比使用較粗略的CGI來的好。但莞薈學姊提供另一個想法，我可以只使用CGI，但收的受試者改為急性及慢性患者兩類，此兩族群之CGI分數應該會有較大之差異，我想應該就適合做為區辨效度之效標，且評分簡易，因此我最後決定採用CGI。