Development of artificial intelligence algorithm for screening colorectal cancer lesions in routine abdominopelvic CT without bowel preparation

Abstract

Background: Unlike CT colonography, routine abdominopelvic CT (APCT) is performed without bowel preparation, which can lead to the occasional oversight of unsuspected colorectal cancer (CRC). Objective: To develop an AI-based algorithm to detect CRC in contrast-enhanced APCT acquired without bowel preparation. Methods: 2,662 patients with CRC who underwent APCT before treatment between January 2010 and December 2014 were enrolled to train the AI model. The model was retrospectively tested with internal and external datasets. Both testing datasets comprised APCTs from consecutive patients with or without CRC who underwent CT and colonoscopy within two months at two independent tertiary hospitals between January and June 2018. For reference standard annotation, an expert radiologist labeled bounding boxes enclosing colorectal cancer in each CT axial slice, referencing colonoscopic reports. For CRC detection, a contemporary transformer-based object detection network, i.e., DEtection with TRansformer (DETR), was adapted and trained. The alternative free-response receiver operating characteristic (AFROC) was used to evaluate the performance of the AI algorithm, which was then compared to that of two expert radiologists. Results: In the internal 841-patient (mean age, 58 years; 92 patients with 93 CT-detectable CRCs) testing dataset, the area under the AFROC curve (AUAFROC) was 0.867. Sensitivity and specificity were 79.6% (74/93; per-lesion) and 91.2% (683/749; per-patient), respectively, at the point of maximal Youden index. In the external 442-patient (57 years; 26 patients with 26 CT-detectable CRCs) testing dataset, AUAFROC was 0.808. Sensitivity and specificity were 80.8% (21/26; per-lesion) and 90.9% (378/416; per-patient), respectively. Two expert radiologists showed sensitivities (73.1% [19/26] vs. 80.8% [21/26]) and specificities (98.3% [409/416] vs. 98.6% [410/416]) similar to each other. When compared to the AI, the sensitivities were similar (p = 0.743 and 1.0, respectively), but the specificities were higher for the human readers (p < 0.001, both). Conclusion: This study demonstrated the potential feasibility of an AI-based algorithm for detecting CRC in unprepared APCT. Clinical Impact: By assisting radiologists in detecting cancer in patients not clinically suspected of having CRC, the model can improve outcomes, especially in settings with a shortage of expert radiologists. 연구배경: CT colonography와 달리 일반 복부골반CT는 장 정결 없이 촬영되기 때문에, 임상적으로 의심하지 않았던 직대장암은 종종 놓쳐지곤 한다. 연구목적: 장 정결 없이 시행된 조영증강 복부골반CT 영상에서 직대장암을 자동 탐지할 수 있는 인공지능 기반 알고리즘을 개발하고자 한다. 연구방법: 2010년 1월부터 2014년 12월까지 치료 시작 전에 복부골반CT를 시행받았던 직대장암 환자 2,662명을 대상으로 인공지능 모델을 학습시켰다. 개발된 모델의 성능은 내부 및 외부 데이터셋을 이용하여 후향적으로 검증하였다. 두 검증 데이터셋 모두 2018년 1월부터 6월 사이, 각각의 3차 병원에서 2개월 이내에 CT와 대장내시경 둘 다를 시행받았던 모든 환자들의 CT 영상으로 구성되었고, 따라서 직대장암 환자와 정상 환자가 모두 포함되었다. 표준 참조(reference standard)를 위한 병변 표지는, 소화기영상의학 세부전공 전문의가 대장내시경 결과지를 참고해가며 병변이 포함되어 있는 모든 CT 축상 단면 각각에서 직대장암을 최대한 정확히 감싸도록 네모 표시를 하는 식으로 구성하였다. 직대장암 탐지를 위한 인공지능 모델로는 transformer 기반 최신 객체 탐지 네트워크인 DETR(DEtection with TRansformer)을 이용하였다. 모델 성능은 Alternative free-response receiver operating characteristic(AFROC) 분석을 이용하여 평가하였고, 두 명의 소화기영상의학 세부전공 전문의의 성능과도 비교하였다. 결과: 내부 검증 데이터셋은 총 841명(평균 연령 58세)의 환자로 구성되었으며, 이 중 92명의 환자에서 93개의 CT에서 발견 가능한 직대장암 병변이 존재하였다. AFROC 곡선하면적(AUAFROC)은 0.867이었다. 최대 Youden index 지점에서 민감도(병변별)는 79.6%(74/93), 특이도(환자별)는 91.2%(683/749)였다. 외부 검증 데이터셋은 총 442명의 환자(평균 연령 57세)로 구성되었으며, 이 중 26명의 환자에서 26개의 CT로 탐지 가능한 직대장암 병변이 있었다. 이 데이터셋에서 AUAFROC는 0.808이었으며, 민감도(병변별)는 80.8%(21/26), 특이도(환자별)는 90.9%(378/416)였다. 두 명의 영상의학 전문의의 민감도는 각각 73.1%(19/26) 및 80.8%(21/26)였으며, 특이도는 각각 98.3%(409/416) 및 98.6%(410/416)로 서로 유사하였다. 인공지능 모델의 성능과 전문의들의 성능을 비교하였을 때, 민감도는 유의한 차이를 보이지 않았으나(각각 p = 0.743 및 1.0), 특이도는 전문의들의 성능이 인공지능 보다 유의하게 높았다(두 전문의 모두 p < 0.001). 결론: 본 연구는 장 정결 없이 시행된 일반 복부골반CT에서 직대장암을 자동 탐지할 수 있는 인공지능 모델의 임상 적용 가능성을 보여주었다. 임상적 의의: 본 인공지능 모델은 임상적으로 직대장암이 의심되지 않았던 환자들에 대한 영상의학과 의사의 판독 업무를 보조하는 식으로 활용될 수 있다. 이는 특히 소화기영상의학 세부전공 전문의 인력이 부족한 의료 기관에서 더욱 유용할 것으로 기대된다.