일치도 분석에서의 일반화 카파 통계량 비교에 관한 연구

Abstract

일치도는 평가자가 표본을 여러 번 반복, 혹은 여러 평가자가 같은 표본을 측정한 결과가 어느 정도 일치하는가를 알아보는 신뢰도 평가의 척도이다. 평가의 결과가 범주형일 때 일치의 정도로 카파 통계량을 빈번하게 쓰이고 있다. 평가자가 둘인 경우에는 자료의 형태에 따라 단순 카파 통계량이나 가중 카파 통계량으로 일치도를 구하고, 평가자가 셋 이상인 경우에는 일반화 카파 통계량 을 사용한다. 본 연구의 목적은 일반화 카파 통계량으로 제시된 Fleiss(1971), Conger(1980), Randolph(2005), 그리고 Gwet(2008)의 방법들을 비교하는데 있다. 같은 조건에서 주변 확률을 변화시키면서 각 방법의 일반화 카파 통계량이 주변 동질성(marginal homogeneity)과 균형적 주변 분포(balanced marginal distribution) 여부에 어느 정도 민감하게 반응하는지 알아보고, 평가자수, 참여자수, 범주수가 변화함에 따른 추정값을 relative bias와 coverage rate을 통해 비교, 평가하였다. 비교해 본 결과, 주변 동질성에는 영향을 받지 않고 오로지 균형적 주변 분포 여부에만 영향을 받았다. 특히 Fleiss와 Conger의 방법은 균형적 주변 분포가 심하게 위배될수록 값이 매우 작아졌고, Randolph의 방법은 주변 분포에 상관이 없이 값이 일정했으며 Gwet의 방법은 균형적 주변분포가 위배될수록 오히려 관찰된 일치비율 이 값에 가까워졌다. 이 현상은 범주수가 커지면서 정도가 약해지고 값이 와 비슷해졌다. 전체적으로는 Randolph, Gwet, Conger, Fleiss의 방법 순으로 relative bias가 낮게 나타났다. Coverage rate은 Gwet, Randolph와 Conger의 방법은 높았으며 Fleiss의 방법이 현저히 낮았다. 또한 아동 환자의 수신증 자료를 통해서 네 가지 방법을 이용한 결과가 어떻게 다른지 확인할 수 있었다.