Ensemble Monte Carlo dropout based uncertainty quantification in automated classification of spinal bone metastasis using abdominal CT scans

Abstract

Purpose: To enhance the automatic detection and classification of spinal bone metastases from abdominal computed tomography (CT) scans, this study aimed to address the challenges in diagnostic sensitivity and efficiency by integrating uncertainty quantification. Methods: This retrospective study analyzed 11,468 abdominal CT images from 116 patients diagnosed with spinal bone metastases and included data from 11 healthy normal-control participants, contributing 957 images to the dataset. The images were annotated and classified into "normal," "disc," and "metastasis." We introduced a novel and efficient technique for uncertainty quantification called ensemble Monte Carlo dropout (EMCD). This technique leverages the DenseNet201 architecture with added dropout layers for uncertainty management and employs YOLOv5m for precise spine region detection, complemented by a weighted voting ensemble for classification. The uncertainty quantification was articulated through numerical values, predictive probability intervals, and Uncertainty-CAM visualizations. Our performance evaluations focused on assessing spine detection efficiency, metastasis classification accuracy, and the robustness of the model against both healthy controls and out-of-distribution data. Results: The YOLOv5m model achieved a high mean average precision of 0.995 in spine detection. The EMCD model showed superiority in multi-class classification with an area under the receiver-operating-characteristic curve (AUC) of 0.93, outperforming traditional and other uncertainty quantification models. At 50% data retention, the EMCD model reached an AUC of 0.96 and an accuracy of 96%. Moreover, it maintained a high accuracy of 90% on a normal-control dataset. Additionally, the model demonstrated excellent calibration with an Expected Calibration Error (ECE) of 0.09. Conclusion: The EMCD model significantly advances the automated detection of spinal bone metastases, offering superior diagnostic accuracy and a novel approach for uncertainty quantification. This contributes to more informed clinical decision-making and highlights the potential of integrating advanced artificial intelligence methodologies to improve patient care.

복부 CT 스캔을 이용해 척추의 골 전이를 자동으로 탐지하고 분류하는 것을 개선하는 것을 목표로 한다. 특히, 정량화된 불확실성을 도입함으로써 진단의 민감도와 효율성에 대한 문제를 해결하고자 한다. 이 후향적 연구에서는 척추 골 전이 진단을 받은 116명의 환자로부터 얻은 11,468개의 복부 CT 이미지를 분석했으며, 11명의 건강한 대조군으로부터 얻은 957개의 이미지를 데이터셋에 포함시켰다. 이미지는 '정상', '디스크', '전이'으로 분류되어 주석 처리되었다. 불확실성 추정을 위해 DenseNet201 구조에 dropout 층을 추가하였고, 정밀한 척추 영역 탐지를 위해 YOLOv5m을 사용하며, 불확실성 가중치 투표 앙상블을 통해 새롭고 효과적인 ensemble Monte Carlo dropout (EMCD) 모델을 도입하였다. 계산된 불확실성은 수치 값, 예측 확률 간격, 그리고 Uncertainty-CAM를 통해 표현되었다. 성능 평가는 척추 탐지의 효율성, 전이 분류의 정확도, 그리고 건강한 대조군 및 분포 외 데이터에 대한 모델의 견고성에 중점을 두었다. YOLOv5m 모델은 척추 탐지에서 mean average precision 0.995를 달성했다. EMCD 모델은 다중 클래스 분류에서 area under the receiver operating characteristic curve (AUC) 0.93으로 우수한 성능을 보여, 기존 및 기타 불확실성 정량화 모델들을 능가했다. 50%의 데이터를 유지할 때, EMCD 모델은 AUC 0.96과 96%의 정확도를 달성했다. 건강한 대조군 데이터셋에서는 EMCD 모델이 90%의 높은 정확도를 유지했다. EMCD 모델은 척추 골 전이의 자동 탐지 및 분류에서 현저한 향상을 제공하며, 우수한 정확도와 더불어 예측과 함께 불확실성 측정을 동시에 제공하는 새로운 접근법을 도입함으로써, 임상의가 기존 딥러닝 모델에서는 볼 수 없었던 새로운 정보에 기반한 의사 결정을 내릴 수 있을 것으로 보인다. 이는 정보에 기반한 보다 정확한 임상 의사결정을 가능하게 하여, 환자의 삶의 질에 긍정적인 영향을 미칠 수 있다.