Deep-Learning based Restoration Methods for Missing Vessels in 2D X-ray Angiography Images

Abstract

Purpose - Coronary artery procedures are primarily performed based on 2-dimensional (2D) X-ray angiography images. However, inherent noise and cardiac motion artifacts in these images often make it challenging to operate image-guided catheter procedures. In specific, in the case of chronic total occlusion (CTO), in which the coronary artery is completely occluded, the contrast does not pass and the path of the vessel is indistinguishable, therefore vessel perforation may occur frequently due to the excessive wiring manipulation. To address these challenges, this paper introduces a deep learning-based frameworks designed to restore missing coronary arteries by reconnecting the fragmented coronary artery segmentation results and to reconstruct the 2D X-ray angiography images to facilitate more precise image-guided interventions. Methods - First, this paper proposes a method to restore the missing coronary arteries by reconnecting the broken segmentation results. This is clinically useful as it provides a more accurate coronary artery area and vascular path to operators. While a simple convolutional neural network (CNN) based segmentation model can be obtained through supervised learning leveraging a pair of images and their respective ground truths, it faces difficulties in inferring the intricate and thin structures of coronary arteries, often yielding partially fragmented results. In addition, the coronary arteries, which should be connected smoothly and seamlessly, are partially invisible since vessel information does not exist in the image due to lesions such as CTO. To this end, this research proposes sophisticated post-processing techniques that use local details and geometric priors to reconnect partially broken coronary arteries. Secondly, a generative adversarial networks (GAN) based 2D X-ray reconstruction model is proposed. It restores vascular regions in which it is indistinct due to image noise or lesions, and its clinical utility lies in its potential to provide a clearer vessel path for operators. Unlike the previous method, this reconstruction model is learned via unsupervised learning, solely utilizing X-ray images. This method aims to restore invisible vessel regions using only X-ray images, without necessitating any other external modalities. Results - The proposed post-processing methods for reconnecting fragmented coronary arteries showed promising results in performance evaluation. Notably, the number of disconnected regions significantly reduced from 2.308 per image in the initial segmentation to 1.197 after applying the proposed method. Furthermore, when the post-processing methods was applied to the initial segmentation results of state-of-the-art segmentation models, the dice similarity coefficient (DSC) improved by 2.33 times in average, and the Jaccard index (JI) increased by an average of 2.88 times in the disconnected regions. \\ Moreover, the proposed reconstruction model demonstrated its superiority compared to other state-of-the-art reconstruction models in three image quality metrics such as peak signal-to-noise ratio (PSNR), mean squared error (MSE) and similarity indexing methods (SSIM). Qualitatively, it was observed that the proposed method is capable of preserving the vessel centerline which is clinically crucial element for the interventional procedure guidance. Conclusions - Our proposed two methods provides vascular segmentation results or X-ray images that are clearly valuable for clinicians during procedures. Therefore, we expect that these techniques will be applied in real clinical settings in the near future. 목적 - 관상동맥 시술은 주로 X-선 혈관조영 영상을 기반으로 시행된다. 그러나, X-선 혈관조영 영상 내의 노이즈 또는 심장 모션 아티팩트는 영상 내 관상동맥을 정확히 파악하는 것을 어렵게 만들기 때문에 영상기반 카테터 시술 시 많은 어려움이 존재한다. 뿐만 아니라, 관상동맥이 완전히 폐색된 만성 완전폐색(CTO)의 경우 조영제가 통과되지 않아 혈관의 주행 경로를 알지 못하여 무리한 와이어 조작으로 인해 빈번하게 혈관 천공 및 응급 상황이 발생할 수 있는 문제점이 존재한다. 이러한 문제점을 해결하기 위하여 영상기반 가이딩 시술을 보조하기 위한 딥러닝 기반 프레임워크를 제안한다. 관상동맥 시술은 주로 2차원(2D) X-선 혈관 조영 영상을 기반으로 시행된다. 그러나 X-선 혈관 조영 영상 내의 노이즈나 심장 모션 아티팩트는 영상에서 관상동맥을 정확하게 식별하는 것을 어렵게 만들기 때문에, 영상 기반 카테터 시술에서 많은 어려움이 존재한다. 뿐만 아니라, 관상동맥이 완전히 폐쇄괸 만성 완전 폐색(CTO)의 경우 조영제가 통과되지 않아 혈관의 경로를 알 수 없으며, 과도한 와이어 조작으로 인해 혈관 천공 및 응급 상황이 빈번히 발생할 수 있는 문제점이 존재한다. 본 논문에서는, 영상 유도 절차를 지원하기 위해 파손된 관상 동맥 분할 결과를 다시 연결하거나 2차원 X-선 혈관 조영 이미지를 재구성하여 누락된 관상 동맥을 복원하기 위한 딥 러닝 기반 프레임워크를 제안한다. 방법 - 영상 내 관상동맥을 강건하게 분할할 수 있는 모델은 시술자에게 보다 정확한 관상동맥 영역 및 혈관 경로를 제공할 수 있으므로 임상적으로 유용하다. 헤딩 모델은 영상과 영상 내 관상동맥에 해당하는 참 값의 쌍을 통한 지도 학습을 통해 얻어진다. 하지만 단일 합성곱 신경망(CNN) 모델은 관상동맥의 복잡하고 얇은 구조를 분할하는데 한계가 존재하여, 종종 관상동맥 분할 시 부분적으로 끊어진 결과를 출력하게 된다. 뿐만 아니라 만성 완전 폐색 등의 병변으로 인하여 영상 내 혈관 정보가 존재하지 않는 문제로 인하여 하나로 연결되어 있어야 하는 관상동맥이 부분적으로 유실되어 분할되게 딘다. 본 연구에서는 지역 정보 및 기하학적 사전지식을 활용하여 부분적으로 끊어진 관상동맥 영역을 재연결하기 위한 정교한 후처리 기법을 제안하였다. 뿐만 아니라, 영상 내 잡음 또는 병변으로 인하여 혈관 조영이 선명하게 이루어지지 않아 혈관 주행 경로가 명확히 구분되지 않는 영상에서 혈관 영역을 선명하게 복원할 수 있는 모델은 시술자에게 보다 정확한 혈관 경로를 제공할 수 있으므로 임상적으로 유용하다. 해당 모델은 X-선 영상만을 사용하는 비지도 학습을 통해 얻어질 수 있다. 본 논문에서는 어떠한 다른 모달리티에도 의존하지 않고 오직 X-선 영상만을 기반으로 혈관 영역을 복원하는 생성적 적대 신경망(GAN) 모델 기반의 혈관 복원 기법을 제안하였다. 결과 - 먼저, 끊어진 관상동맥 분할결과를 재연결하기 위해 제안된 후처리 기법의 성능을 테스트 해본 결과, 초기 분혈 결과에서 영상 당 2.308개 존재하였던 끊어진 영역이 제안 기법을 통해 1.197개로 크게 줄어드는 것을 확인하였다. 뿐만 아니라, 최신의 분할모델의 초기 분할 결과에 제안된 후처리 기법을 적용한 결과 지역적으로 끊어진 영역에서 혈관 체적 일치도가 평균 약 2.33배 증가하였으며, 자카드 인덱스의 경우 평균 약 2.88배 증가하는 것을 확인하였다. 또한, 제안된 혈관 복원 결과의 경우 다른 최신의 복원 모델들에 비하여 3개의 영상 품질 측정 지표에서 가장 우수한 성능을 보이는 것을 정량적으로 확인하였으며, 가이딩 중재 시술시 중요한 혈관의 중심선을 잘 보존하여 혈관을 복원한 것을 정성적으로 확인하였다. 결론 - 본 학위논문에서는 관상동맥 중재 시술 시 시술자가 참조할 수 있는 영상을 제공하기 위한 딥러닝 기반의 기법들을 제안하였다. 이를 위하여, 혈관 분할 결과 시 끊어진 영역을 재연결하기 위해 지역적 정보를 활용한 후처리 기법과, 영상 내 혈관 주행 경로가 명확하지 않을 때 혈관 영역을 복원하기 위한 영상 생성 기법을 제안하였다. 제안된 각각의 기법은 시술자가 시술 시 참조할 수 있을만한 수준의 혈관 분할 결과 또는 X-선 영상을 제공한다는 점에서, 우리는 제안된 기법이 가까운 시일 내 실제 임상 현장에 활용될 수 있을 것이라 기대된다.