心理計量的"錯誤"或"不同概念"之paper searching

 Bland altman

1.  Yang KG, Raijmakers NJ, Verbout AJ, Dhert WJ, Saris DB. Validation of the short-form womac function scale for the evaluation of osteoarthritis of the knee. J Bone Joint Surg Br. 2007;89:50-56

      說明:

      Bland altman使用方法不同:  同時用於信度與效度的驗證  (SF WOMAC FS之再測信度、SF WOMAC和 modified WOMAC與tradional版之收斂效度)，且主要非由此方法看一致性程度而是藉由視覺呈現Bland altman plot 來看是否有 heteroscedasticity，進而判斷工具評量之準確度是否會受到症狀嚴重度之影響。

         問題之處 :  1. 沒有external criteria

                   2. 僅看收斂效度證據薄弱 ?

Predictive validity 

 2.  Czaikowski BL, Liang H, Stewart CT. A pediatric four score coma scale: Interrater reliability and predictive validity. J Neurosci Nurs. 2014;46:79-87

   說明:

本篇驗證PFSS之預測效度，外在效標為PCPC(看functional outcomes)。預測效度之概念也是看工具預測功能(包括outcomes和 mortality)之能力，但採用之方法卻非使用皮爾森相關而是用ROC曲線，看曲線下面積AUC大小來判斷工具診斷出poor outcome之效能(分成分數1-3及4-6兩類, 4-6為poor outcome)。

問題之處 :研究目的是想看工具預測差的outcomes和院內死亡的效能，因為研究設計是同時驗證(在admission和discharge)，似乎就不太能符合研究目的(預測未來功能表現)。

ecological validity

3.  Junghaenel DU, Schneider S, Stone AA, Christodoulou C, Broderick JE. Ecological validity and clinical utility of patient-reported outcomes measurement information system (promis(r)) instruments for detecting premenstrual symptoms of depression, anger, and fatigue. J Psychosom Res. 2014;76:300-306

  說明:

本研究驗證PROMIS-CAT用於偵測經前症候群婦女憤怒、憂鬱、疲累症狀之生態效度，生態效度概念一樣是看測驗分數是否能反映出於日常生活之表現，方法為看PROMIS-CAT及corresponding daily measure之相關。

疑問之處：

１.文章驗證生態效度方法有二如下ａ、ｂ，然不知驗證（ａ）之意義何在　

(a) differences in mean symptom levels on CAT and daily　short forms

(b) correlations between CATs and daily scores for　each week.

２. 生態效度計算Baseline　week、Pre-menstrual　week、Menstrual　week、Post-menstrual　week及Pooled　across　weeks，未針對premenstrual，另外在這四週，症狀會有不同的變化，然卻同時用來驗證生態效度，是否會不當。

Responsiveness reading 整理

Individual level 指標 :(偵測個別個案前後測是否有差異之能力)

1. 以總分改變量分成三等級，比較各等級人數比例
    (a)超過 MDC95：代表功能進步具備統計顯著
    (b)0 ~ MDC95：代表未進步或進步量未具備統計顯著
    (c)低於 0：退步

2.相對風險(relative risk, RR) :  驗證兩個量表於各等級人數之相對比值以及是
   否具備顯著差異[比較兩工具]

3.最小可偵測變化值比值: 總分之改變量除以個別量表之最小可偵測變化值

Group level 指標: (評估工具呈現團體前後測改變量之能力)

1. 效應值 d (effect size d)
2. 標準化反應平均值 (standardized response mean)
3. 配對 t 檢定 : 可以看改變是否有顯著差異or [比較兩工具] 總分於前後二次測量之平均分數是否有顯著差異

P.S. MDC為sample independent， 可類推個案
     
* 以Tests of Marginal Homogeneity(卡方檢定X2 /G2) 檢驗兩工具三等級的資料分佈是否相同

區辨效度部分研究

議題

1.慢性病患可行性較高 (急性組取消)

2. CGI-S或PANSS使用

根據資料統計:

心湖&文山坊CGI-S統計結果顯示大部分集中在level 1-2

[pretest]
CGI-S  一分    40人
CGI-S  二分    26人
CGI-S  三分      9人

[postest]
CGI-S  一分    49人
CGI-S  二分    20人
CGI-S  三分      4人


(59/73人 前後分數一致)


*  慢性病患CGI-S差異不大，仍可以使用CGI-S，但只能預期差異大概不顯著

*  根據莞薈學姊之說明，約 1月會去松德說明收案可以一起去，但若需使用PANSS則需跟她一起收， 學姊約5、6月才開始收案


問題

1. 這樣看起來是採用CGI-S較好嗎 ?  還是要跟學姊收才有辦法呢? 

2.  是否加入正常組 ?

流程問題確認

1. 急性組收案條件之一:  已開始1~2周之精神科職能治療   ? 

        考量 :   

          1. 病人症狀 (evidence :  4~6星期可有效控制，急性發作6個月逐漸穩定)，和慢性組區隔

           2.  適合評估---個案治療師評估?

           3.  案量  : 未出院

學者葉玲玲、藍忠孚與鄭若瑟（2003）利用國家衛生研究院全民健保資料庫抽樣 10 萬人，分析顯示：精神分裂症患者的急性病房 平均住院日數是 37.6 天，各醫院層級中，以醫學中心急性病房平均住院日數最長（55.7 天），其次為區域醫院（41.1 天），再其次為地區醫院（22.3 天）。

2. 施測者間信度:    驗證2個測驗 ?   量表 (ICC)  或項目(KAPPA) 的選擇?  

3. 使用MMSE

心理計量文獻閱讀問題-單向度

Q.

1. Guttman scales相加之overall scores是否有意義

2. Rasch是否不適合驗證單向度?欲轉成interval scale才用rasch?若只為確認單向度驗證Mokken?

    Guttman scales是更簡易之指標?

3. 何謂”IRFs of the scale do not intersect?"

4. Mokken指標The scalability coefficient H : a global indicator of the degree to which patients can be accurately ordered on the upper extremity function by means of their sum scores  à此sum scores 只能做比較用，而不看能力差異之大小?

5. 何謂Intermodel agreement?

-----------------------------------------------------------------------------------------------------

Points:

Guttman scale

由單向或具有同一性質的項目所組成，項目由弱到強連續性排序

Standard:(to be a valid cumulative and unidimensional Guttaman model)  

Coefficient of Reproducibility(CR): how well the observed responses corresponded to the responses that would have been predicted if the items were perfectly ordered. (CR>.90)

Coefficient of Scalability(CS): the proportion of responses which can be correctly predicted from the total score (CS>.60)

Mokken analysis

1.      an non-parametric item response theory model

2.      examine accuracy of ordering between person’s raw sum scores

3.      need sample size>200

4.      standard: MH modal:The scalability coefficient H>0.5

                  DM modal: adequate: largest Crit value per item <40

                                      violated: both Crit values for an item>80

Rasch analysis

1.      parametric item response theory model

2.      examine whether sum scores of a measure can be transformed into interval scores.

(interval property can quantify change and do arithmetic operations)

3.      Limitation: exclude items whose scores cannot be transformed into an interval scale, but which do fit the Mokken model’s expectations

sharing from class: CI &Statistical Significance

信賴區間與統計顯著性之關係:  不一定等價

1. 兩平均值CI不重疊，則兩平均值具顯著差異
2. 兩平均值CI重疊，則說兩平均值不具顯著差異"不一定正確"

例如 :兩獨立樣本

first sample mean  =9  
second sample mean =17
SE相同=2.5

95% CI of first sample =(4.1, 13.9)
95% CI of second sample=(12.1, 21.9)
兩個信賴區間有重疊

 t-檢定(comparing two means) : T=(17-9)/√(2.5*2.5+2.5*2.5)=2.26 拒絕虛無假設,兩平均值具顯著差異

在解釋數據時需要小心~~~~

_______________________________________________

tennis class :
開始嘗試雙打比賽、學習計分規則，從比賽中可以知道需要練習的部分-->發球真的很重要，因為發球的區域不大很容易就出界，需要準確控制。

完整的發球動作需要 :重心往前--->              往後                  --->     往前
                                                            (右手後劃弧,左手拋球)
*菜刀持拍(same as羽球正拍)
*球放手指與掌面交界處，thumb在上面輕扣
*球拋到右上方，身體需朝球之去向

動作越好，攻擊性越強，但因為重心移動的關係，這種動作比先拉好拍、直接拋打來的難許多!

寫作評析問題

1.  評析心理計量特性好不好時，應該用提供驗證結果之paper所取之標準，還是用自己認為合理之標準?

2. 計劃書是否要寫研究假設?

3. 再測信度r=0.9比0.89或內部一致性0.93比0.91之差異是否可忽略?

4. (同一研究)在患者上驗證之心理計量特性結果比正常人上之結果更好是否合理?

5.內部一致性驗證於患者或正常人是否應該差異很小?

6.測驗間歸屬同架構(因素效度ok)但卻收斂效度差是否有問題?

心理計量文獻閱讀重點&寫作課紀錄

心理計量文獻閱讀重點


內容效度 :
1. 由專家檢驗
2. 檢驗:  是否評到預評估之特質、建構
                內容與評估對象之相關性
                項目數
                用詞
3.指標 : 各專家對scale與item之同意度百分比


表面效度 :
1. 常由患者檢驗
2. 在內容效度驗證之後進行
3. 檢驗 :與內容效度相似 , more of a qualitative feedback

--------------------------------------------------------------------------------------

寫作課紀錄

no perfect design--->盡量設計,try your best

計劃書:

1.計劃書的階段，因為尚未看到成果，所以要寫的詳細一點，在實際進行研究的時候才比較好follow

2.procedure是最重要的，包括要做什麼與要達成什麼目的，data analysis之後可再修改

3.程序的寫作: 

ａ、不只是寫零碎的流程，先把主要目的內容寫出來，top-down結構才抓的到重點 

ｂ、subtitle應meaningful

ｃ、不一定要有排除條件，可用正向之寫法

ｄ、考量可行性，有方法學之concern再用更好之方法（方法科學-->倫理）

4. 寫評估工具之優點不要限制了應用性，要看工具適用對象是否受限

＊科技部計劃：

因為無法face to face defense,所以創新性、必要性外，預期的critical問題都要寫進去

寫作問題

(2-2)
1. 各信度、效度指標是否需再稍微說明以何方式求得?
2. 練習效應是否要歸在信度?
3. 結尾是否要再次強調心理計量特性之重要性?

(2-3)表格
1. 表格之設計是否清楚?
2. 結構方程模式分析之結果是否應提供數據?

MDC文獻閱讀重點與問題

重點 :

1.  MDC : 可以代表測驗隨機測量誤差的大小。
                  提供判斷個案是否達統計意義上的真實改變之cut-point。
2.  MDC: determine true change
                 abosolute amount of  random measurement error
-----------------------------------------------------------------------------------

     MDC%: determine relative true change
                    relative amount of  random measurement error

3. ceiling effect(造成高估信度)及sample size會影響MDC的數值，需特別注意。

4. 驗證MDC時，個案測驗之次數增加，可以降低MDC數值。

5. 有heteroscedasticity則宜用MDC%來代替MDC。

6. MDC group數值小，通常非concern。

7. 在看病人是否有true change時，也要注意他們是否有受到其他因素之影響而改變，e.g.藥物。



問題:

1.看病人發生的真實改變時，MDC與 Bland-altman plot差別在哪，可以同時看?

2. group level的MDC是怎麼得來的? 都是先算individual level MDC再用公式轉換?

寫作建議record

1.      新概念之介紹不要一開始出現太多專有名詞，描述盡量統一。

2.      減少贅字與口語用字。

3.      適當斷句，以利閱讀。

4.      介紹英文縮寫代表後面同樣名詞會以英文縮寫表達。

5.      可增加圖示。

6.      了解清楚目前相關理論(理論以什麼角度來看)，並再尋找是否有相關review可參考分類，發展階段或可歸入其中一種。

7.      許多工具是發展於理論之前，因此較難連結，但仍要分析究竟工具評測到什麼。

8.      ToM理論與工具目前仍百家爭鳴，且架構不明確，若有其中一個理論已趨成熟，優勢就會顯現。

其他:

1)不同格式，數字呈現方式不同。如APA格式:  一般情形之下，小於 1 的數，需於小數點之前要加 0，如：0.12，0.96 等，但當某些特定數字不可能大於 1 時（如相關係數、比率、機率值），小數之前的 0 要去掉，如：r＝.26，p＜.05 等。 http://webcache.googleusercontent.com/search?q=cache:kGQ04By3PUIJ:www.takming.edu.tw/study/upload/filedownload150318163116.pdf+&cd=1&hl=zh-TW&ct=clnk&gl=tw

2) 前言通常是給不熟悉相關領域的人看，投期刊時第一版前言列主要重點就好，不要太冗長，再依reviewer建議修改。

文獻問題

1.      If zero is included in the 95% CI, no significant systematic change in the

mean is present.

請問這個判斷基準是否缺乏重要姓，因為文獻說雖然TF20的CI沒有包含0，但因為CI 小且靠近0，又加ICC高，所以仍為reliable； 另不知此方法和t-test看兩分數之差異，哪方法比較prefer?

2.      Result 部分: TDPM would need to decrease between 10% (TE20) and 38% (TF20), and increase between 17% (TF40) and 24% (TE40) in groups of uninjured subjects to be 95% confident of detecting a real change.

還是無法理解，因為有了LoA，可知超過LoA就是real change，但現在要調整TDPM的分數是什麼意思呢，另外不知數據是從何而算 ?好像無法從資料推出?

3.      雖然文獻如此寫，但判斷 heteroscedasticity 僅用相關係數恰當嗎?  

4.   LoA怎樣算大怎樣算小是看多數人對於某個評估工具分數的界定? 是很主觀的?

reference :

Ageberg E, Flenhagen J, Ljung J. Test-retest reliability of knee kinesthesia in healthy adults. BMC Musculoskeletal Disorders. 2007;8:57

This week's plan

本周計劃

(1)  完成 2.3 各測驗心理計量比較與增加評論(CH3)

(2) 修改與調整寫作內容

(3) 心理計量kappa/cronbach a整理、ppt與討論

(4)  心理計量  limits of agreement/ heteroscedasticity整理、ppt

本周計劃(10/19 renew)

   Done:

      (1)修改寫作&大綱，增加(與修改)

       1.3  心智推理之層級與分類

2.1 心智推理之評估工具

2.2 優良評估工具之特性

(2) 改  citation

(3)心理計量文獻

 

----------------------------------------------------------

本周計劃 :

(1)  完成3.1  弦外之音測驗發展背景與測驗特色 

              3.2  弦外之音測驗實用功能

      (2) 修改2.2(新增測驗之介紹、檢索過程、優缺點比較、心理計量表格、strange stories 區辨效度、篩選、結論)  

(3)  改  citation

(4)    心理計量文獻

10/07 record

工具篩選 progress: 200/ 352 sheets


Tennis Record :

雙手反手拍 (初學者一般用雙手反拍，但切球會用單手反拍)

 持拍 :

右手掌握1號面 (握腳踏車把手方式)，拇指和羽球反拍不同，彎曲而非平貼。
左手握右手上方，小指面掌跟肉貼近右手虎口位置。


腳步 :
1. 預備姿勢
2. 身體左轉，右腳跟離地，拍子拉到身體左側靠近(左手微彎)，此時拍頭略下垂一點沒關係
3. 右腳前踏
4. 揮拍(揮拍不能和正手拍一樣用旋轉的[很多人常犯錯誤]，揮到約肚臍前方擊球後，直直往上放鬆揮完。

*反手開始揮的過程，拍頭要拉到水平
*反手拍肩膀放鬆，朝球來方向
*雙手反拍以左手協助控制方向
*正手拍時左手記得朝球來方向

增益效度&本周to do

本周預計完成:

1.      篩選完常用ToM工具~~~5年內相關文獻352篇

2.      完成2.2(新增測驗之介紹、檢索過程、優缺點比較、心理計量表格、strange stories 區辨效度)  

3.      統整之前寫作及citation

4.      心理計量h.w

  

增益效度(incremental validity)

概念:

用來判斷某測驗是否較其他測驗更能準確預測某一效標；若某測驗分數為A，其他測驗分數為B，效標為Y變項，則增益效度指A對於Y之解釋是否優於B對Y之解釋。

計量原理:

公式是一種半淨相關，實際操作利用多元回歸分析而得，計算解釋力之增加量並進行顯著考驗，即代表增益效度。

(3.2新增part)

眼神辨識測驗(Reading the mind in the eyes test,RMET)

… …

      然而，測驗具有較差之增益效度(incremental validity)，雖然測驗結果和功能能力表現(UPSA-B分數)及社交能力表現(SSPA分數)有中度相關，但迴歸分析結果顯示預測功能能力表現(UPSA-B分數)及社交能力表現(SSPA分數)能力不顯著。

暗示作業(Hinting task)

… …

另外Hinting task測驗結果和功能能力表現(UPSA-B分數)及社交能力表現(SSPA分數)有中度相關，可顯著預測功能能力表現(UPSA-B分數)及社交能力表現(SSPA分數)。

分類與層級段落修改

Q: 如此修改是否就可清楚呈現主要之分類方式?

2.1  心智推理之分類與層級

          

    心智推理根據steele等人的分類[1]，可分為早期心智推理、基礎心智推理、進階心智推理。思覺失調症患者之心智推理評估主要著重在基礎及進階之心智推理。基礎心智推理包含情緒理解及初級錯誤信念的理解，進階心智推理則包含次級錯誤信念的理解及區辨謊話與玩笑，理解非表面語意、辨認失禮情境以及由眼神或聲音察覺他人心態等能力。其中，基礎心智推理中包含的初級錯誤信念理解需要初級之心智推理，進階心智推理包含之次級錯誤信念理解需要次級之心智推理，初級與次級為因心智推理過程複雜度不同的層級之分，其詳述如下:

    心智推理的層級由簡單到難可分為初級(第一級)心智推理(first-order ToM) 、次級(第二級)心智推理(second-order ToM)、第三級心智推理等[2]，次級(含)以上之心智推理合稱較高級心智推理(higher order ToM) [3]，此層級為依照個體於心智推理時推論了幾個人(或幾次)的心智狀態來分級，推論的心智狀態愈多，心智推理之過程愈複雜，層級愈高。初級心智推理過程最簡單，歸屬於基礎之心智推理；次級(含)以上之較高級心智推理則皆屬於進階心智推理。

    舉例來說，初級心智推理指受測者推論與判斷一個角色A之心智狀態的能力；次級心智推理則指受測者推論與判斷一個角色A覺得另一角色B之心智狀態為何的能力；第三級心智推理則指受測者推論與判斷一個角色A覺得另一角色B推論另一角色之心智狀態為何的能力。這些不同層級心智推理中，以初級及次級心智推理最為常見，實際範例如Wimmer與Perner(1983)編製的測驗故事(Maxi與巧克力)，故事中Maxi把巧克力放到藍色櫥櫃中後離開，但後來Maxi母親把巧克力移至綠色櫥櫃[4]；在這個測驗中考驗初級心智推理的問題為「Maxi認為巧克力在哪個櫥櫃」，考驗次級心智推理的問題為「Maxi母親認為Maxi會覺得巧克力在哪個櫥櫃」。