내포 관계인 두 모형의 AUC 차이를 검정하는 방법 비교

Abstract

의학적 기술의 발달로 새롭게 발견되는 생체지표나 새롭게 이루어지는 수술 등 기존에 알려진 지표 이외에도 활용 가능한 변수는 다양하다. 기존에 알려진 지표들로 이루어진 모형과 새로운 지표가 추가된 모형 사이에는 내포(nested) 관계가 형성되는데, 모형의 성능이 얼마나 증가하였는지 검정하는 것은 통계학적 관점과 임상적 관점에서 모두 중요하다. 모형의 성능을 평가하는 지표 중 ROC(receiver operating characteristic) 곡선 아래의 면적인 AUC(area under the curve)는 가장 널리 사용되는 척도이다. 실제 새롭게 발견된 지표가 통계학적으로 유의하더라도 AUC는 기존 모형에 비해 크게 증가하지 않는 연구 결과가 빈번하다. 최근 다양한 연구를 통해 DeLong의 방법이 너무 보수적이라고 보고되고 있어, 본 연구에서는 내포 관계에 있는 두 모형의 AUC 차이를 검정하기 위하여 기존의 Hanley와 McNeil의 방법(1983), DeLong의 방법(1988), 그리고 최근 제안된 정확한 붓스트랩 분산을 계산한 Bandos의 방법(2007), 일반화 추축량 개념을 이용한 Li의 방법(2008)과 최대순위상관 추정량을 활용한 Heller의 방법(2017)을 비교한다. 연구 결과 두 모형의 고정된 상관계수를 사용하며 AUC 평균이 적어도 0.70 이상이 되어야 하는 Hanley와 McNeil의 방법은 현실적으로 적용하기에 어려움이 존재한다. DeLong의 방법은 실제 모형의 성능을 증가시킬 수 있는 변수가 추가되었음에도 이를 잘 반영하지 못한다. Bandos의 방법은 DeLong 방법의 결과와 유사하며, 내포 관계에 있는 두 모형의 AUC 차이를 검정하기에 부적절하다. 최종적으로 Li의 방법이 AUC의 차이를 가장 잘 반영하며 전반적으로 신뢰구간 간격도 좁아, 비교한 5가지 방법 중에서 가장 좋은 검정 방법이다.