Multi-modal Assessment for Dental Diagnosis Assistant: Self-supervised Integration of Radiographic and Clinical Data

Abstract

Introduction Accurate dental diagnosis is achieved by synthesizing various data including patient history, clinical examinations, and radiographic images. Therefore, actual diagnosis heavily relies on the clinician's experience in synthesizing these data, resulting in variations in diagnostic accuracy. Dental diagnostic assistance utilizing artificial intelligence (AI) learning is expected to contribute to improving this accuracy. While various AI applications are currently emerging in dentistry, research in the diagnostic field is still limited to single-modal learning that uses only radiographic images. This study aims to overcome these limitations by developing a multi-modal AI model that utilizes various types of data necessary for diagnosis through self-supervised learning methods, which are pre-training techniques. The objectives of this study are as follows: first, to develop a single-modal AI diagnostic model using clinical examination data; second, to develop a single-modal AI diagnostic model using periapical radiographic images; and third, to develop a multi-modal AI model combining both models and compare the diagnostic performance among the three models utilizing self-supervised learning techniques. Methods For AI model development, 3,341 clinical datasets from 1,344 patients who visited Yonsei Dental Hospital were utilized. Through a screening process, 705 clinical datasets with matching periapical radiographs suitable for training were selected. To develop a single-modal AI diagnostic model using clinical examinations, data were extracted from medical records. The data included categorized patient complaints, gender, and age as basic information, along with seven clinical examinations commonly used for single tooth diagnosis: percussion, mobility, bite, air, cold, hot, and electric pulp test. Self-supervised learning techniques were applied to induce efficient learning, and during the accuracy improvement process, clinical examination types were selected and missing data were imputed with the most frequent values. To create an AI diagnostic model using periapical radiographic images, 705 periapical radiographs were used. These radiographs corresponded to the diagnostic timepoint of the clinical examinations used in the previous model. To induce efficient learning, a masked autoencoder, which is a self-supervised learning technique for images, was applied. To improve accuracy, lesions and feature points in periapical radiographs were labeled in a detection format, and optimization was performed to reduce errors. After maximizing the performance of single-modal AI models using clinical examination data and periapical radiographic images respectively, a multi-modal AI model was constructed by combining the two single-modal models. Subsequently, optimization processes were conducted to reduce overall errors. Model performance was evaluated through target metrics such as accuracy and precision, confusion matrices, and receiver operating characteristic (ROC) curve analysis, and compared through ablation studies that modularized each component. When developing a multimodal AI diagnostic model, training based on image classification of radiographic data did not fully leverage the advantages of multimodality due to model complexity. In contrast, the detection-based approach demonstrated superior diagnostic performance in the multimodal setting compared to the single modality, particularly in the diagnosis of dental caries, tooth fractures, and pulpitis. Notably, a significant improvement was observed in the diagnosis of tooth fractures. Conclusion This study evaluated and compared the diagnostic performance of multi-modal and single-modal approaches in AI-based diagnosis. It also confirmed that the consistency of clinical examination standards, precision of radiographic image labeling, and the quantity and quality of data significantly impact the diagnostic performance of AI models. This research presents the possibilities and limitations of multi-modal approaches in AI-based dental diagnosis and emphasizes the importance of retrospective AI research and the standardization and integration of clinical data. Future research plans to analyze modal data with complementary characteristics according to diagnostic categories and explore the possibilities for improving multi-modal performance in diagnosis

서론 정확한 치과 진단은 환자 병력, 임상 검사, 방사선 영상을 포함한 다양한 데이터를 종합하여 이루어집니다. 때문에 실제 진단은 이러한 데이터를 종합하는 임상의의 경험에 크게 의존하게 되어 진단 정확도에 편차가 발생합니다. 인공지능학습을 활용한 치과 진단 보조는 이러한 정확도 향상에 기여할 것으로 기대됩니다. 현재 치과에서도 다양한 인공지능의 응용이 나타나고 있으나, 아직 진단 분야의 인공지능 연구는 방사선 영상만을 사용하는 단일 양상 학습에 제한되어 있습니다. 본 연구는 사전 학습의 방법 중 하나인 자가지도학습을 통해 진단에 필요한 다양한 유형의 데이터를 활용하는 다중 양상 인공지능 모델을 개발함으로써 이러한 한계를 극복하는 것을 목표로 합니다. 본 연구의 목적은 다음과 같습니다. 첫째, 임상 검사 데이터를 사용한 단일 양상 인공지능 진단 모델을 개발하고, 둘째, 치근단 방사선 영상을 사용한 단일 양상 인공지능 진단 모델을 개발하며, 셋째, 두 모델을 결합한 다중 양상 인공지능 모델을 개발하여 자가지도학습 기법을 활용해 세 모델 간의 진단 성능을 비교하는 것입니다. 본론 인공지능 모델 개발을 위해 연세대학교 치과대학병원을 방문한 1,344 명 환자의 3,341 개 임상 데이터를 활용했습니다. 선별 과정을 통해 훈련에 적합한 치근단 방사선 사진과 일치하는 705 개의 임상 데이터를 선별했습니다. 임상 검사를 사용한 단일 양상 인공지능 진단 모델을 개발하기 위해 진료 기록부에서 데이터를 추출했습니다. 데이터에는 범주화 된 환자의 주소, 성별, 연령이 기본 정보로 포함되었고, 일반적으로 단일 치아의 진단에 사용되는 7 가지 임상 검사인 타진, 동요도, 교합, 공기자극, 냉자극, 온자극, 전기 치수 검사가 포함되었습니다. 효율적인 학습을 유도하기 위해 자가지도학습 기법을 적용했으며, 정확도 향상 과정에서 임상 검사 유형을 선별하고 변수 처리시 결측 데이터는 최빈값으로 대체했습니다. 치근단 방사선 영상을 사용한 인공지능 진단 모델을 만들기 위해 705 장의 치근단 방사선 사진을 사용했습니다. 이 방사선 사진들은 이전 모델에서 사용된 임상검사의 진단 시점과 일치합니다. 효율적인 학습을 유도하기 위해 영상에서의 자가지도학습 기법인 마스킹 오토인코더 (Masked Autoencoder, MAE)를 적용했습니다. 정확도 향상을 위해 치근단 방사선 사진의 병변과 특징점을 탐지 형식으로 주석을 달고 오류를 줄이기 위한 최적화를 수행했습니다. 임상 검사 데이터와 치근단 방사선 영상을 각각 사용한 단일 양상 인공지능 모델의 성능을 최대화한 후, 두 단일 양상 모델을 결합한 다중 양상 인공지능 모델을 구축했습니다. 이후 전체 오류를 줄이기 위한 최적화 과정을 진행했습니다. 모델성능은 정확도와 정밀도, 혼동 행렬, 수신자 조작 특성 곡선(ROC) 분석 등의 목표지표를 통해 평가되었으며, 각 구성 요소를 요소 제거 실험(Ablation Study)을 통해 비교했습니다. 다중 양상 인공지능 진단 모델 개발 시, 방사선 영상 이미지를 분류 기반으로 학습한 경우에는 모델의 복잡성으로 인해 다중 양상의 이점이 충분히 발휘되지 않았습니다. 반면, 탐지 기반 학습에서는 단일 양상보다 다중 양상 모델이 치아우식증, 치아파절, 치수염 진단에서 더 우수한 성능을 보였으며, 특히 치아파절 진단에서 뚜렷한 성능 향상이 관찰되었습니다. 결론 본 연구는 인공지능 기반 진단에서 다중 양상과 단일 양상 접근법의 진단 성능을 평가하고 비교했습니다. 또한 임상 검사 표준의 일관성, 방사선 영상 표기의 정밀도, 데이터의 양과 질이 인공지능 모델의 진단 성능에 크게 영향을 미친다는 것을 확인했습니다. 본 연구는 인공지능 기반 치과 진단에서 다중 양상 접근법의 가능성과 한계를 제시하며, 후향적 인공지능 연구와 임상 데이터의 표준화 및 통합의 중요성을 강조합니다. 향후 연구에서는 진단명에 따라 상호 보완성을 가지는 양상 데이터를 분석하고, 이를 통해 진단에서의 다중 양상 성능 향상 가능성을 탐구할 계획입니다.