Deep learning model based on YOLO for detection and visualization of fracture areas in 3D skeletal images

Abstract

Background: Utilizing artificial intelligence (AI) offers valuable support in fracture detection and diagnostic decision-making. ‘You only look once’ (YOLO) v4 proves to be a suitable model for identifying bone fractures in medical images. As YOLO v4 detects fractured regions slide by slide on two-dimensions (2D) computed tomography (CT) images using bounding boxes, multiple boxes across various slides intuitively delineate the fractured area on 3D reconstructed bone images. This process enhances the comprehensibility of the fractured region within the bone structure. Methods: Total individual images for training were 280,000 CT images via data augmentation. Preprocessed data is fed into the backbone from the input. The data accepted into the backbone is diversified through DarkNet-53 (CSPDarkNet-53). Extract feature maps using Spatial Pyramid Pooling (SPP) and Path Aggregation Network (PAN) in the neck part. The head part aggregates and generates the final output. all bounding boxes by the YOLO v4 were mapped onto the 3D reconstructed bone images after being resized to match the same region as shown in the 2D CT images. Individually, the YOLO v4 based AI model was evaluated through precision-recall curve (PR Curve) Results: Our proposed system facilitated an intuitive display of the fractured area through a distinctive red mask overlaid on the 3D reconstructed bone images. All PR curves were acquired by using dataset for tibia and elbow, respectively. The high average precisions (> 0.60) were reported 0.71, and 0.81 from PR curve of tibia and PR curve of elbow, respectively. IoU were calculated as 0.6327 (tibia) and 0.6638(elbow). Conclusion: We verified the viability and effectiveness of integrating YOLO v4 based fracture detection with intuitive visualization and 3D reconstructed bone images derived from CT scans. When utilized by orthopedic surgeons in real clinical scenarios, this AIpowered 3D diagnosis support system enables quick and accurate trauma diagnosis, making the process effortless regardless of the surgeons' experience or expertise level. 인공지능(AI)을 활용하면 골절이 발생한 부위에 대해 검출 및 진단을 결정하는데 있어서 큰 도움이 된다. 본 연구에서는 You only look once (YOLO) v4 의 골절 부위 검출과 3 차원 재구성을 이용하여 직관적인 골절 진단 시스템의 가능성을 보여주고자 한다. YOLO v4 는 골절 부위에 바운딩 박스로 마스킹 처리하여 2 차원 컴퓨터 단층 촬영(CT) 이미지에서 슬라이드별로 골절 부위를 감지하는데, 이를 여러 슬라이드에 걸쳐 표시된 여러 개의 박스가 3 차원으로 재구성된 뼈 이미지에 골절 부위를 직관적으로 묘사한다. 이 과정을 통해 뼈 구조 내에서 골절된 부위를 입체적으로 확인할 수 있게 되어 이해도를 높일 수 있다. 본 연구에서 다리 뼈(넙적다리뼈, 정강이뼈, 종아리뼈)와 팔꿈치 뼈(윗팔뼈, 자뼈, 노뼈) 골절에 대해 약 250,000 개의 CT 이미지가 YOLO v4 의 훈련에 사용되었다. YLOL v4 모델의 학습에 대한 전 과정을 설명하자면 다음과 같다. MATLAB 을 통해 골절부위를 전처리하고 전처리가 완료된 데이터셋은 input 에서 backbone 으로 공급되며 Cross Stage Partial DarkNet-53(CSPDarkNet-53)을 통해 다각화된다. Neck 부분에서는 Spatial Pyramid Pooling (SPP)과 Path Aggregation Network (PAN)를 사용하여 feature map 을 추출한다. head 부분에서는 2 차원 CT 영상에 바운딩 박스로 마스킹 처리된 것과 동일한 영역과 일치하도록 크기를 조정한 후 3 차원으로 재구성된 뼈 영상에 빨간색 마스크로 매핑하여 최종 결과물을 생성한다. 마지막으로 모델의 성능평가를 위해 정밀도-회상 곡선 (Precision Recall curve) 및 IoU(Intersection over Union) 값을 통해 모델을 평가했다. 3D 로 재구성된 뼈 이미지에 골절 부위에 빨간색 마스크를 겹쳐서 골절 부위를 직관적으로 표시할 수 있도록 하였다. 학습 결과, 다리 뼈의 PR 곡선과 팔꿈치의 PR 곡선에서 각각 0.71, 0.81 의 평균 정밀도(0.60 이상)를 나타냈고 IoU 값은 각각 다리 뼈 0.6327, 팔꿈치 뼈 0.6638 로 적은 학습 데이터에도 불구하고 비교적 높은 모델의 정확도를 보여줬다. 본 연구를 통해 3 차원으로 재구성된 뼈 이미지와 YOLO v4 기반 골절 검출 시스템을 통합하여 빠르고 정확하면서 직관적인 골절 진단 보조 시스템으로써 가능성과 효과를 확인하였다. 정형외과 전문의가 실제 임상 시나리오에서 본 AI 기반의 3 차원 진단 지원 시스템을 활용하면 골절에 대한 진단을 빠르고 정확하게 할 수 있어 외과의의 경험이나 전문 지식과 의료 기술 수준에 관계없이 손쉽게 외상 진단을 진행할 수 있을 것으로 보인다. 추후에 모델의 성능을 높이고 사용성과 범용성을 향상시키기 위해 더 다양하고 많은 학습 데이터를 확보하여 경골과 팔꿈치를 넘어 보다 광범위한 해부학적 영역을 포괄하여 훈련 범위를 확대할 계획이다.