Clinical validity and precision of deep learning-based cone-beam computed tomography automatic landmarking algorithm

Abstract

This study was performed to assess the clinical validity and accuracy of a deep learning-based automatic landmarking algorithm for cone-beam computed tomography (CBCT). Three-dimensional (3D) CBCT head measurements obtained through manual and automatic landmarking were compared. A total of 80 CBCT scans were divided into 3 groups: non-surgical (39 cases); surgical without hardware, namely surgical plates and mini-screws (9 cases); and surgical with hardware (32 cases). Each CBCT scan was analyzed to obtain 53 measurements, comprising 27 lengths, 21 angles, and 5 ratios, which were determined based on 65 landmarks identified using either a manual or a 3D automatic landmark detection method. In comparing measurement values derived from manual and artificial intelligence landmarking, 6 items displayed significant differences: R U6CP-L U6CP, R L3CP-L L3CP, S-N, Or_R-R U3CP, L1L to Me-GoL, and GoR-Gn/S-N (P<0.05). Of the 3 groups, the surgical scans without hardware exhibited the lowest error, reflecting the smallest difference in measurements between human- and artificial intelligence-based landmarking. The time required to identify 65 landmarks was approximately 40-60 minutes per CBCT volume when done manually, compared to 10.9 seconds for the artificial intelligence method (PC specifications: GeForce 2080Ti, 64GB RAM, and an Intel i7 CPU at 3.6 GHz). There were 4 differences in length, 1 difference in angle, and 1 difference in ratio, and in the surgical group, there was a significant difference in the measurement errors for length and ratio depending on the presence or absence of the hardware. It is necessary to re-evaluate whether the clinical application of the measurement values is meaningful by comparing the differences between human and between AI and human in the measurement values (length, angle, ratio). In conclusion, although there are still limitations, there is a clear advantage in terms of efficiency, and it can be used in the clinical range.

본 연구의 목적은 수동 랜드마킹과 딥러닝으로 학습된 랜드마킹을 기반으로 하는 3 차원 CBCT 두부 계측값을 비교하여, 딥러닝 기반 CBCT 자동랜드마킹 알고리즘의 임상적 유효성 및 정확성 평가하는 것이다. 80 개의 CBCT 를 비수술 그룹(39 case), 하드웨어가 있는 수술그룹(32 case), 하드웨어가 없는 수술 그룹(9 case) 로 구분하였으며, 총 53 개의 계측값(measurements)(27 개의 길이(Length), 21 개의 각도(angle), 5 개의 비율(ratio))을 측정하여, 다음과 같은 결론을 얻었다. 1. 사람과 인공지능이 찍은 landmarking 을 기반으로 하는 계측값을 비교했을 때, 6 개 항목 R U6CP-L U6CP (P=0.030), R L3CP-L L3CP (P=0.000), S-N 37(P=0.002), Or_R-R U3CP (P=0.041), L1L to Me-GoL (P=0.045), GoR-Gn/S N (P=0.025))에서 통계적으로 유의미한 차이가 있었다. 2. 비수술 그룹과 수술 그룹에 대하여 사람과 인공지능이 landmarking 을 기반으로 하는 계측값을 비교하였을 때, 하드웨어가 없는 수술 그룹이 가장 낮은 계측치 오차를 가졌다. 3. 65 개의 landmarking 에 소요되는 시간은, 수동 방식의 경우, CT 볼륨 하나 당 대략 40-60 분인 반면, 인공지능 방식의 경우, 10.9초 (PC 사양: a GeForce 2080Ti, 64G RAM, and Intel i7 CPU 3.6 GHz)였다. 길이에서 4 개, 각도, 비율에서 각 1 개씩 차이가 있었고, 수술 그룹에서는 하드웨어 유무에 따라 길이와 비율에 대한 계측치 오차가 유의미한 차이를 보였다. 계측값(길이, 각도, 비율)에서 사람 간의 차이와 AI 와 사람간 차이를 비교하여, 측정값의 임상적 적용 의미가 있는지 다시 평가할 필요가 있다. 결론적으로 아직까지 한계는 존재하지만, 효율성 측면에서는 확실한 이점이 존재하며, 임상적 범위에서 사용 가능하다.