Endodontic forecasting model by analyzing preoperative dental radiographs: A pilot study on an endodontic predictive deep neural network combined with clinical features

Abstract

Developing a prognostic model for endodontic treatment is necessary to design an optimum treatment plan for a tooth with apical periodontitis. Recently, diagnostic systems based on artificial intelligence (AI) have shown promising results in medical imaging; however, there is no released research on AI clinical prognosis models for endodontic treatment to date. The purpose of the present study was to evaluate the efficacy of deep convolutional neural network (DCNN) algorithms for the prognostication of root canal treatment using input from preoperative periapical radiographs. A database of single-root premolars (maxillary second premolars and all lower premolars) that had received nonsurgical root canal treatment or retreatment by endodontists in Yonsei University Dental Hospital, between 2006 to 2014 was prepared, and two groups were selected as input database, judged by the three-year outcome: 1) Success: periapical index (PAI) = 1 (absence of periapical lesion) in the three-year periapical radiograph, 2) Fail: PAI = 4 or 5 (certain presence of periapical lesion), or extracted. Preoperative periapical radiographs of the two groups were used as the input images (N = 598). After cropping, images with and without preprocessing were applied as a two-channel input layer. [Experiment 1] Three-year endodontic data were trained, validated, and tested with two DCNNs: a 17-layered DCNN with self-attention (AtteNet17) as an experiment group and released ResNET-18 as control group. Accuracy, sensitivity (or recall), specificity, precision, and the F1 score (harmonized mean of precision and recall) were computed with a confusion matrix. The three-year endodontic prognostic accuracy by AtteNet17 was 68.0%, and the F1 score was 42.9%, which is better than that of ResNET-18 (accuracy = 61.0%, F1 score = 31.6%). [Experiment 2] To validate the performance of AtteNet17, 10 clinical features were analyzed: Full coverage restoration; absence of proximal teeth; coronal defect; root rest; temporary restoration; canal visibility; previous filling; dental post; periapical radiolucency; and sinus tract. These aspects were trained with AtteNet17 and the gradient-based class activation map (Grad-CAM) was exported. Except for dental post, which has few presences, nine clinical features have shown preferable detection accuracy and F1 score by AtteNet17 training; moreover, Grad-CAM correctly detected the feature site. [Experiment 3] Ten clinical features used in Experiment 2 were directly input into the penultimate fully connected (FC) layer of the AtteNet17 model (positive control). For selecting clinical features that could improve the endo-forecasting performance of AtteNet17, the erasing feature selection method was used until the best model performance was derived. Root rest, temporary restoration, and full coverage restoration were identified as the factors that hindered prognosis prediction when emphasized. Positive control shows 62% accuracy and a 38.71 F1 score, and by erasing emphasis of three features (root rest, temporary restoration, full coverage restoration), the prognostic performance improved (accuracy = 67.0%, F1 score = 49.23%). [Experiment 4] The overall experiment design was the same as Experiment 1; however, to reduce arch position variables, all maxillary images were vertically flipped to the form of mandibular teeth. Endo-forecasting performance of both AtteNet17 and ResNET-18 models was improved, especially “mandibularized” AtteNet17, which showed 71.0% accuracy, and a 55.4% F1 score. The receiver operating characteristic (ROC) curve shows that this model can be a valid forecasting model of endodontic prognostication. Considering the limitation of the study such as small dataset, DCNN algorithms can be used for prognostication of root canal treatment. Reducing variables by flipping upper teeth image or adding clinical features can be complementarily used to improve the endo-forecasting performance in small dataset.

근관치료의 예후를 예측하는 모델을 개발하는 것은 치근단 치주염의 최적의 치료계획을 제공하는데에 있어서 필요한 영역이다. 최근 심층합성곱신경망(Deep Convolutional Neural Network, DCNN)을 중심으로 하여 인공지능을 활용한 영상 분석이 치과 각 분야에서도 활발하게 이뤄지고 있다. 그러나 아직까지, 근관치료의 예후를 예측하는 인공지능 모델은 개발되지 않았다. 본 연구의 목적은 술전 치근단방사선사진을 이용하여 근관치료 3년 후의 예후를 예측하는 인공신경망 모형의 유효성을 평가하고, 변수나 임상적 특징의 변이를 통해 예측 성공률을 높일 수 있을지 파악하는 것이다. 2006년부터 2014년까지 연세대학교 치과대학병원 치과보존과에서 근관치료를 시행했던 환자들의 치아 중 단근 소구치(상악 제 2대구치와 하악 소구치)를 근관치료 3년 후의 치근단 방사선사진 상의 상태에 따라 두 그룹으로 나누어졌다. 1) 성공: 3년후 영상에서의 periapical index(PAI)=1 (치근단 병소 없음), 2) 실패: 3년후 영상에서의 PAI=4 혹은 5 (명확한 치근단 병소) 혹은 발치 시행된 것이 확인된 증례. 이 치아들의 술전 치근단 방사선사진을 입력 영상으로 정하였다. Crop을 시행 후, 전처리 한 영상과 하지 않은 영상을 2개의 입력 채널로 설정 후 자체적으로 개발한 AtteNet17 심층합성곱신경망 및 기존의 개발된 ResNET-18 인공신경망을 이용해 학습 및 예후 예측을 시행하였다. [실험 1] 자체적으로 개발한 17 Layer self-attention DCNN(AtteNet17)이 실험에 사용되었다. 3년후 근관치료 예후에 대한 인공신경망의 교육 및 검증 과정을 거친 후 실험 데이터셋을 분석하는 과정으로 예후 예측을 시행하였다. 이 예측모형의 성능은 기존에 공개 되어있는 비슷한 layer 수의 DCNN인 ResNET-18 인공신경망을 대조군으로 하여 비교하였다. AtteNet17의 3년 후 근관치료 예후예측 Accuracy은 68%, F1 score는 42.9%로, ResNET-18(Accuracy= 61.0%, F1 score= 31.6%)보다 높았다. [실험 2] 개발된 AtteNet17의 치근단방사선사진 판별 능력을 검증하기 위해, 치근단방사선사진 상에서 관찰 가능한 10 가지 임상 특징들을 AtteNet17을 통해 교육 및 판독하도록 하였고, radiant-based class activation map(Grad-CAM)을 통해 예측의 근거를 시각화 하였다. 개수가 적었던 Post를 제외한 9개의 임상적 특징들은 양호한 accuracy와 F1 score를 보였으며, Grad-CAM은 임상적 특징 영역을 정확하게 가리켰다. [실험 3] 실험 2에서의 10 가지 임상적 특징을 AtteNet17 모형의 fully connected layer (FC) 직전 단계에 변수로서 투입하였고 이를 양성 대조군으로 설정하였다. 실험군은 이 10 가지 변수 중 하나의 수치를 무작위화하여 변수를 제거하는 효과를 갖도록 하였다 (Erasing feature selection method). 실험군 중 제거시 가장 높은 F1 score를 기록한 군을 최종적으로 제거한 다음 다음 실험 단계를 진행하는 것을 반복하였으며, 어떤 변수를 제거하더라도 직전단계의 결과보다 평균 F1 score가 개선되지 않는 시점에서 실험을 종료하였다. 실험은 총 네번의 사이클에 걸쳐 진행되었으며, Root rest, temporary restoration, 그리고 full veneer가 근관치료 예후 예측을 위한 AtteNet17 성능향상을 방해하는 소견으로 파악되었다. 초기 양성대조군 (Accuracy = 62%, F1 score = 38.71%)와 비교하여, 위 3개의 변수를 삭제한 실험군의 예후 예측도는 개선되었다 (Accuracy = 67.0%, F1 score = 49.23%). [실험 4] 근관치료 예후 예측을 위한 AtteNet17의 성능 향상을 위해 상하악 위치에 관계없이 일괄적으로 하악 치아의 치근단방사선처럼 보이도록 영상을 전도하였다. 두 DCNN model 모두 근관치료 예후 예측 성능이 향상되었으며, 특히 하악화된 AtteNet17의 경우, 가장 양호한 예후 예측 성능이 도출되었으며 (Accuracy = 71.0%, F1 score = 55.4%), ROC curve 상으로도 유효한 진단모형이 될 수 있음을 보였다. 탐사연구로서 데이터의 개수가 한정적이지만, 본 연구는 근관치료의 예후 예측에 사용될 수 있는 인공신경망 모델을 개발하는 것이 가능함을 시사한다. 임상적 특징 소견을 보조적인 변수로 활용하거나 치아 위치와 같은 변수를 줄임으로써 적은 데이터 개수의 환경에서도 향상된 성능의 근관치료 예후 예측 인공신경망을 구성할 수 있을 것으로 전망한다.