Diagnosis of thyroid micronodule on ultrasound using deep convolutional neural network

Abstract

Backgrounds: We implemented computer-aided diagnosis based on a convolutional neural network (CNN) model to investigate the performance of CNN to discriminate malignant from benign thyroid nodules measuring < 10 mm. We also compared the diagnostic performance of CNN with those of radiologists. Methods: The CNN was trained by using ultrasound (US) images of 13,560 nodules measuring ≥ 10 mm collected from Severance Hospital. Between March 2016 and February 2018, US images of 370 nodules measuring < 10 mm from 362 consecutive patients were retrospectively collected from Severance Hospital. All nodules were confirmed as malignant or benign from aspirate cytology or surgical histology. The diagnostic performance of CNN and radiologists were assessed and compared in area under curve (AUC), sensitivity, specificity, accuracy, positive predictive value, and negative predictive value (NPV). Subgroup analysis were performed based on the nodule size with cutoff value of 5 mm. The categorization performance of CNN and radiologists were also compared. Results: Among 370 nodules, 323 nodules were malignant, and 47 nodules were benign. CNN showed significantly higher NPV (35.3 vs. 22.6, P=0.048) and AUC (0.663 vs. 0.567, P = 0.045) than radiologists. CNN also showed better categorization performance than radiologists. In subgroup of nodules measuring ≤ 5 mm, CNN showed higher AUC (0.629 vs. 0.507, P=0.077) and specificity (68.2% vs. 9.1%, P<0.001) than radiologists. Conclusion: CNN trained with thyroid nodules ≥ 10 mm showed overall better diagnostic performance with radiologists in diagnosis and categorization of thyroid nodules < 10 mm, especially in nodules ≤ 5mm.

심층 컨볼루션 신경망 (convolutional neural network, CNN) 을 이용하여 10 mm 미만의 크기를 가지는 갑상선 결절의 진단 및 분류 능력을 평가하고, 이를 영상의학과 의사의 진단 능력과 비교하고자 하였다. 10 mm 초과의 크기를 가지는 13,560 개의 갑상선 결절의 초음파 영상을 이용하여 CNN 을 훈련하였다. 2016년 3월부터 2018년 2월까지 세브란스병원에서 세포흡입검사 혹은 수술적 절제를 통해 양성, 악성 여부가 확인된 10 mm 미만의 크기를 갖는 갑상선 결절 370개를 대상으로 CNN과 영상의학과 의사의 진단 능력을 평가하고, 곡선하면적 (area under curve, AUC), 민감도, 특이도, 정확도 등을 이용하여 비교하였다. 결절의 크기 5 mm 기준으로 하위 그룹을 정의하고 각 그룹에서의 진단 능력을 분석하였다. 또한 갑상선 결절의 악성 위험도에 따른 분류 능력을 서로 비교하였다. 370개의 결절 중 323개가 악성, 47개가 양성이었다. CNN은 영상의학과 의사와 비교하여 유의하게 높은 AUC 값을 보였고 (0.663 vs. 0.567, P=0.045), 더 뛰어난 분류 능력을 보였다. 또한 5 mm 이하 크기를 가지는 결절에 대한 하위분석에서도 CNN은 영상의학과 의사와 비교하여 높은 AUC와 특이도를 보였다. CNN 은 10 mm 이상의 갑상선 결절의 초음파 영상으로 훈련하였을 때 10 mm 미만의 작은 갑상선 결절을 진단함에 있어 우수한 진단 및 분류 능력을 보인다.