Application of machine learning on ultrasound images to differentiate follicular neoplasm of the thyroid gland

Abstract

Purpose : To evaluate the diagnostic performance of machine learning in differentiating follicular adenoma from carcinoma using preoperative ultrasound (US) images. Methods : In this retrospective study, preoperative US images of 348 nodules from 340 patients were collected from two tertiary referral hospitals. Two experienced radiologists independently reviewed each image and categorized the nodule according to the 2015 American Thyroid Association (ATA) guideline. The nodules were manually segmentated and 96 radiomic features were extracted from each region of interest. Ten significant features were selected and used as final input variables to our in-house developed classifier models based on artificial neural network (ANN) and support vector machine (SVM). The diagnostic performance of radiologists and both classifier models were calculated and compared. Results : Two hundred and fifty-two nodules from 245 patients were confirmed as follicular adenoma and ninety-six nodules from 95 patients were diagnosed as follicular carcinoma. The averaged diagnostic performance of sensitivity, specificity and accuracy of two experienced radiologists in discriminating follicular and adenoma and carcinoma on preoperative US images were 24.0%, 84.0% and 64.8%, respectively. The sensitivity, specificity and accuracy of ANN and SVM based models were 32.3%, 90.1%, 74.1% and 41.7%, 79.4%, 69.0%, respectively. The kappa value of the two radiologists was 0.076 and showed slight agreement. Conclusion : Machine learning based classifier models showed better diagnostic performance compared with experienced radiologists in discriminating follicular adenoma and carcinoma using preoperative US images. 목적 : 현재 영상의학 분야에서 많이 이용되고 있는 기계 학습을 이용하여 여포성 샘종과 여포암을 수술 전 초음파를 이용하여 감별해 보고자 한다. 방법 : 본 후향적 연구는 2개의 3차 병원에서 모은 340명의 환자의 348개의 갑상선 결절의 수술 전 초음파 영상을 대상으로 시행되었다. 각 초음파 영상의 그려진 관심영역에서 96개의 라디오믹스 소견을 추출하였으며 그 중 최종적으로 10개의 소견만 라디오믹스 분류 모델의 학습에 이용되었다. 또한, 두 명의 영상의학과 의사도 같은 초음파 영상을 독립적으로 평가하여 2015년도 American Thyroid Association 지침에 따라 각 결절을 양성인지 악성인지 분류하였다. 두 영상의학과 의사와 라디오믹스 기반의 분류 모델들의 진단능을 비교 평가하였다. 결과 : 245명의 환자로부터 진단된 252개의 여포성 샘종과 95명의 환자에서 진단된 96개의 여포암이 본 연구에 포함이 되었다. 두 영상의학과의 평균 민감도, 특이도 그리고 정확도는 24.0%, 84.0% 그리고 64.8% 였다. 인공신경망에 기반한 분류 모델과 Support vector machine에 기반한 분류 모델의 민감도, 특이도 정확도는 각각 32.3%, 90.1%, 74.1% 그리고 41.7%, 79.4%, 69.0% 였다. 두 영상의학과 의사간의 카파 (ĸ) 값은 0.076 으로 경미한 상관 관계만을 보였다. 결론 : 기계 학습에 기반한 분류 모델은 영상의학과 의사들보다 수술전 초음파 영상을 이용한 여포성 샘종과 여포함의 감별에 더 나은 진단능을 보였으며, 이러한 분류 모델들은 상관 관계가 높지 못한 사람과 다르게 비교적 일정한 결과를 보여줄 수 있는 데에 의의가 있겠다.