여러 평가자들의 진단자료에서 질병 예측의 최적 기준점 선정에 대한 비교 연구

Abstract

의학 분야에서 질병 진단을 위해 영상 또는 혈액검사 등 여러 진단 도구들을 활용한다. 이러한 진단도구들의 진단 정확도를 평가하는 것은 필수적인 과정이다. 진료 환경에서 유용하게 사용하기 위해 질병 예측력을 최대로 하는 최적의 기준점을 선정하는 과정 또한 필수적이다. 특히 영상 판독 결과를 질병 진단에 사용하는 경우 평가자의 주관이 개입될 가능성이 존재한다. 따라서 본 논문은 여러 평가자 간 변이를 고려하여 종합적인 질병 진단 평가 결과를 이용한다. 종합적인 평가 결과로 진단 도구의 정확성 평가와 최적 기준점 선정은 Multi-Reader Multi-Case (MRMC) ROC Curve를 이용하여 수행한다. MRMC ROC Curve 분석 방법은 모수적 방법 (Gallas, 2006)과 ANOVA를 기반으로 분석하는 비모수적 방법이 있다. 비모수적 방법은 DBM 모형 (Dorfman, Berbaum, and Metz, 1992)과 OR모형 (Obuchowski and Rockette, 2000)이 대표적으로 사용된다. MRMC ROC Curve의 연구는 활발하게 진행되어 왔지만, MRMC ROC Curve에서 최적의 기준점을 선정하는 방법에 대한 선행 제안 및 비교 연구 사례는 존재하지 않는다. 따라서 본 연구는 평가자가 한 명일 때, ROC Curve에서 최적의 기준점을 찾는 방법들(Efficiency, Youden index, Euclidean, Likelihood Ratio, Mutual Information)을 MRMC ROC Curve에 적용하여 비교하였다. 본 연구의 모의실험은 여러 상황들을 가정하여 방법에 따라 선정되는 최적 기준점을 살펴보았다. 그 결과, 두 모형(고정효과, 임의효과)의 두 가정(등분산, 이분산)에서 유사한 패턴으로 최적의 기준점이 선정되는 것을 확인할 수 있었다. 방법 Youden index와 Euclidean은 유병률과 관계없이 일정한 최적의 기준점을 선정하는 것을 확인하였다. 그러므로 모집단의 유병률과 표본집단의 유병률의 편차가 심한 경우, 방법 Youden index와 Euclidean을 사용할 것을 권장한다. 이외의 경우는 연구자의 연구목적에 따라 방법을 선정하는 것을 권장한다.

In the medical field, various diagnostic tools such as medical images or blood tests are used to diagnostic test. Is it also essential to select an optimal cutoff that maximizes disease predictability for useful in a clinical setting. Particularly, there is a possibility that the reader’s subjectivity will be involved in the case of using the image reading result for diagnosis of disease. Therefore, this paper uses the results of combined disease diagnostic test result considering various deviations. As a result of the combined disease diagnostic test result, the accuracy evaluation of the diagnostic tool and the selection of the optimal cutoff are performed using the Multi-Reader Multi-Case (MRMC) ROC Curve. MRMC ROC Curve analysis methods are parametric (Gallas, 2006) and nonparametric based on ANOVA. The DBM model (Dorman, Berbaum, and Metz, 1992) and OR model (Obuchowski and Rockette, 2000) are used for the nonparametric method.

MRMC ROC Curve study has been actively performed. However, there are no previous proposals and comparative studies on how to select the optimal cutoff in MRMC ROC Curve. Accordingly, this study compared the methods (Efficiency, Youden index, Euclidean, Likelihood Ratio, and Mutual Information). The methods of finding the optimal cutoff in the ROC Curve was applied to the MRMC ROC Curve. The simulations of this study are based on various situations and examined the optimal cutoff according to the method. As a result, it was confirmed that the optimal cutoff value was selected in a similar pattern in the two assumptions (equal variance, unequal variance in between disease group and nondisease group) of two models (fixed effect, random effect about reader). In Youden index and Euclidean method, the stable optimal cutoff was selected regardless of prevalence. Therefore, if there are significant differences between the prevalence of the population and the prevalence of the sample population, we recommend using the method Youden index and Euclidean. In other cases, it is recommended to select a method according to the researcher’s research purpose.