Predicting Branch Retinal Vein Occlusion Development: A Multimodal Deep Learning Using Pre-onset Retinal Vascular Hemisection Images

Abstract

Purpose: Branch retinal vein occlusion (BRVO) is a major cause of visual impairment in working-age individuals. In addition to systemic vascular risk factors, retinal vascular features are considered predisposing factors for BRVO. However, predicting BRVO occurrence based solely on retinal vascular features remains elusive. We aimed to develop a deep learning model for BRVO prediction using pre-onset, metadata-matched pairs of fundus hemisection images. Methods: We retrospectively collected fundus images obtained before disease onset, including 27 paired hemisection images from affected and 81 from unaffected eyes, to use as fundamental learning data. A U-net model was constructed to segment the retinal optic disc and blood vessels (BVs). Fundus and BV segmented images were divided into upper and lower halves based on the optic disc center and labeled according to BRVO occurrence. A BV-enhanced multimodal convolutional neural network model for BRVO prediction was developed using 108 fundus and 108 BV hemisection images. Results: The BV-enhanced multimodal model achieved an area under the receiver operating characteristic curve (AUC) of 0.76 (95% confidence interval [CI], 0.66‒0.83) and accuracy of 68.5% (95% CI, 58.9‒77.1%), outperforming the unimodal models based solely on fundus (AUC=0.68) or BV images (AUC=0.72). The multimodal model mainly focused on the retinal vascular arcade, particularly arteriovenous crossing sites. Conclusions: Incorporating U-net BV segmentation enabled the development of a deep learning model for predicting BRVO occurrence using a metadata-matched dataset. The BV-enhanced multimodal model could predict BRVO occurrence from fundus images. Compiling a learning dataset of fundus images obtained before BRVO onset through a multicenter study is expected to improve the model’s predictive performance.

목적: 분지망막정맥폐쇄(branch retinal vein occlusion, BRVO)는 근로 연령층에서 시력 손상의 주요 원인이다. 심혈관 질환의 위험 요소와 함께 망막 혈관의 형태적 특성 또한 BRVO 의 위험인자로 알려져 있다. 그러나 망막 혈관 특성만으로 BRVO 발생을 사전에 예측하는 것은 현재로서는 불가능하다. 이에 본 연구는 BRVO 발병 전 안저 사진의 반단면 이미지 쌍을 사용하여 BRVO 를 예측하기 위한 딥러닝 모델 개발을 목표로 한다. 방법: 단안 BRVO 환자의 발병 전 촬영한 양안의 안저 사진을 후향적으로 수집하여 기본 학습 데이터로 활용했다. 전이 학습된 U-net 분할 모델을 사용해 시신경유두와 망막 혈관 이미지를 추출했다. 시신경유두를 중심으로 안저 사진과 혈관 이미지를 상하 반단면으로 나누어, BRVO 발생한 27개의 반단면 이미지와 발생하지 않은 81개의 반단면 이미지를 구분했다. BRVO 예측을 위해, 108개의 안저 이미지 기반 단일모달 모델과 108개의 혈관 반단면 이미지 기반 단일모달 모델을 결합하여 혈관 강화 멀티모달 모델을 개발했다. 모든 모델은 사전학습된 EfficientNetB0를 기반 구조로 사용했다. 모델의 성능을 평가하고 작동 메커니즘을 분석했다. 결과: 혈관 강화 멀티모달 모델은 수용자 작용 특성 곡선(area under the curve, AUC) 0.76(95% 신뢰구간[confidence interval, CI] = 0.66-0.83)과 68.5%의 정확도(95% CI = 58.9-77.1%)를 달성하여, 안저 사진 기반 단일모달 모델(AUC = 0.68) 및 혈관 이미지만을 사용한 모델(AUC = 0.72)보다 우수한 성능을 보였다. Grad-CAM 기술을 활용한 분석 결과 멀티모달 모델은 주로 망막 동정맥 교차 부위에 초점을 맞추며, 예각의 동정맥 교차가 BRVO 발생 예측과 관련이 있음을 보여주었다. 결론: 메타데이터가 일치하는 데이터셋을 구축하고, 전이 학습 기반의 U-net 혈관 분할 및 멀티모달 구조를 통해 망막 혈관에 초점을 맞춘 BRVO 발생 예측 모델을 개발할 수 있었다. 향후 다기관 연구를 통해 BRVO 발생을 보다 정확하게 사전에 예측할 수 있게 되면, 고위험 환자들을 대상으로 한 적극적인 예방 조치가 가능해질 것으로 기대된다.