An Explainable Artificial Intelligence-Enabled Electrocardiogram Model for the Prediction of Coronary Artery Calcification

Abstract

The coronary artery calcium (CAC) score, assessed via computed tomography (CT) to quantify calcium deposits in the coronary arteries, is a marker of atherosclerosis and a robust predictor of coronary events. Current cardiovascular disease (CVD) risk prediction models, such as the ACC/AHA Pooled Cohort Equations (PCE), guide primary prevention but often yield borderline risk classifications, leaving decision-making uncertain. In such cases, CAC scoring is recommended by guidelines as an additional tool to guide decisions. The presence of CAC often favors initiating primary prevention measures like statin therapy, while its absence may lead to withholding statins. However, routine CAC scoring is limited by high costs, radiation exposure, and lack of insurance coverage. In contrast, electrocardiograms (ECGs) are widely used, non-invasive, cost-effective, and radiation-free. Advances in deep convolutional neural networks have enabled artificial intelligence (AI) models to detect previously undetectable conditions from ECGs. An AI-ECG capable of predicting CAC could provide valuable CVD risk insights. Especially in routine health screenings, where ECGs are widely performed, this approach could enable opportunistic CAC screening in the general population, facilitating earlier detection of coronary artery calcification and timely implementation of primary prevention strategies. We aimed to develop an AI-ECG model to predict CAC and validate its potential for opportunistic screening in health screening settings. To ensure broader applicability, we aimed to perform external validation in health screening settings at two separate institutions. Additionally, we aimed to evaluate the clinical implications and potential impact of our AI-ECG model on decision-making through multinational retrospective cohort analyses spanning two different countries. Finally, we aimed to provide visual morphological explainability of model predictions. The AI-ECG model was trained on over 194,000 ECGs annotated with CAC scores from Severance Hospital (SH). It was tested on a health checkup dataset (SH, 14,242 ECGs) where participants had both ECG and CT measurements of CAC on the same visit. External validation used datasets from Yongin Severance Hospital (YSH, 729 ECGs) and Ajou University Medical Center (AUMC, 2056 ECGs). In multinational retrospective cohort analyses, 52,400 ECGs from SH health screenings (not matched with CAC measurements) and 30,623 ECGs from the United Kingdom Biobank (UKB) were utilized. A variational autoencoder (VAE) pre-trained on over 5 million ECGs was employed to enhance interpretability by providing visual explanations of ECG features influencing predictions. Our AI-ECG model showed strong performance in predicting CAC, achieving an AUROC of 0.841 for CACS ≥ 400 and an AUROC of 0.720 for CAC > 0 in the health screening test dataset. Our AI-ECG model demonstrated robust performance in external validation, with AUROCs of 0.784 and 0.814 in YSH and AUMC datasets for predicting CACS ≥ 400, and 0.691 and 0.701 for CACS > 0. The AI-ECG model could screen individuals in the PCE low-risk group with the highest likelihood of having CAC, and those in the PCE moderate-risk group with the lowest likelihood of having CAC: In the PCE low-risk category, 24.9% had CAC > 0; among these individuals, the proportion increased to 45.7% when selecting those identified as high-risk by the AI-ECG model; In the PCE moderate-risk category, 35.4% had CACS = 0; among these individuals, the proportion increased to 60.9% when selecting those identified as low-risk by the AI-ECG model. Among PCE low-risk individuals who were reclassified as high-risk by AI-ECG, the incidence rate (IR) of major adverse cardiovascular event (MACE) was higher compared to those in the PCE moderate-risk category who were reclassified as low-risk by AI-ECG (SH cohort analysis dataset MACE IR per 1000 person-year [PY]: 6.0 vs. 3.3, P = 0.007, UKB cohort analysis dataset MACE IR per 1000 PY: 8.3 vs. 7.0, P = 0.360). Thus, it would be more reasonable to withhold statin therapy (down-risk) in individuals classified as PCE moderate risk but AI-ECG low risk, and to initiate statin therapy (up-risk) in those classified as PCE low risk but AI-ECG high risk. AI-ECG was an independent risk factor for MACE (adjusted hazard ratio [95% CI]: 1.087 [1.053–1.123] in the SH cohort analysis dataset and 1.117 [1.061–1.175] in the UKB cohort analysis dataset). AI-ECG provided additional predictive value beyond the PCE, with the combined PCE plus AI-ECG score outperforming the PCE alone in terms of C-index. The association between AI-ECG and MACE remained consistent across all demographic and PCE-based subgroups. We provided visual morphological interpretations of ECG factors associated with increased predicted risk, identifying potential changes such as upward shift of the ST segment in the anteroseptal leads with reciprocal downward shift in the inferolateral leads, downward shift of the ST segment in all leads, longer PR interval, and others, to be associated with CAC. Our AI-ECG model proves to be an effective tool for predicting coronary artery calcification. We demonstrated the potential integration of our AI-ECG model into clinical workflow by showing its dual utility: it can either screen individuals who would benefit most from CACS measurement, or directly guide decisions regarding statin therapy initiation or withholding through patient reclassification. The ubiquitous availability of ECGs, combined with our finding that the AI-ECG model serves as an independent risk factor for cardiovascular events, suggests its potential for incorporation as a CVD risk prediction tool. Particularly in routine health screenings where ECGs are universally performed, AI-ECG-based CAC prediction could enable opportunistic CAC screening in the general population, paving the way for earlier detection and timely implementation of primary prevention strategies.

관상동맥 석회화(coronary artery calcium, CAC) 점수는 관상동맥에 칼슘이 침착된 정도를 양적으로 평가하기 위해 컴퓨터 단층촬영(computed tomograph, CT)으로 측정되며, 죽상동맥경화증의 지표이자 관상동맥 사건의 강력한 예측 인자이다. 현재의 심혈관 질환 위험 예측 모델, 예를 들어 ACC/AHA Pooled Cohort Equations (PCE) 등은 일차 예방을 위한 지침을 제공하지만, 종종 경계선 위험 분류를 초래하여 의사 결정이 불확실해지는 경우가 많다. 이러한 경우, CAC 점수는 의사 결정을 안내하기 위한 추가 도구로 지침에서 권장된다. CAC가 존재할 경우 일차 예방 조치(예: 스타틴 요법) 시작이 권장되는 반면, CAC가 없을 경우 스타틴 사용이 보류될 수 있다. 그러나 CAC 점수 측정은 비용, 방사선 노출, 보험 적용 부족으로 인해 일상적인 사용이 제한된다. 반면 심전도(electrocardiogram, ECG)는 널리 사용되며, 비침습적이고, 비용 효과적이며 방사선 노출이 없다. 딥 컨볼루션 신경망의 발전은 심전도를 통해 이전에는 탐지할 수 없었던 상태를 탐지할 수 있는 인공지능(artificial intelligence, AI) 모델을 가능하게 했다. CAC를 예측할 수 있는 AI-ECG는 심혈관 질환 위험에 대한 통찰력을 제공할 수 있다. 특히 심전도가 널리 수행되는 건강 검진에서 이러한 접근법은 일반 인구에서 기회적인 CAC 탐지를 가능하게 하여 관상동맥 석회화를 조기에 발견하고 일차 예방을 적시에 실행하게 할 수 있다. 본 연구에서는 CAC를 예측하기 위한 AI-ECG 모델을 개발하고, 건강 검진 환경에서의 기회적 선별 가능성을 검증하고자 하였다. 더 넓은 적용 가능성을 보장하기 위해 두 개의 별도 기관에서 건강 검진 데이터를 이용하여 외부 검증을 수행하고자 했다. 또한, 본 연구는 두 개국에 걸친 다국적 후향적 코호트 분석을 통해 AI-ECG 모델의 임상적 함의와 잠재적 영향을 평가하고자 하였다. 마지막으로, 모델 예측에 영향을 미치는 심전도 특징의 시각적 형태적 설명을 제공하고자 하였다. AI-ECG 모델은 연세대학교 세브란스병원에서 CAC 점수로 라벨링된 194,000개 이상의 심전도를 사용해 훈련되었다. 이 모델은 동일 방문에서 심전도와 CT 기반 CAC 측정을 모두 수행한 14,242개의 세브란스병원 건강 검진 데이터를 통해 테스트되었다. 외부 검증은 용인세브란스병원(729개의 심전도)과 아주대학교병원 (2,056개의 심전도) 데이터를 사용하여 수행되었다. 다국적 후향적 코호트 분석에서는 세브란스병원 건강 검진에서 52,400개의 심전도와 United Kingdom Biobank (UKB)에서 수집된 30,623개의 심전도를 활용하였다. 해석 가능성을 높이기 위해 500만 개 이상의 심전도로 사전 훈련된 변분 오토인코더를 사용하여 예측에 영향을 미치는 심전도 특징을 시각적으로 설명하였다. AI-ECG 모델은 CAC를 예측하는 데 있어 강력한 성능을 보여주었으며, 건강 검진 테스트 데이터셋에서 CAC 점수 ≥ 400의 경우 AUROC 0.841, CAC 점수 > 0의 경우 AUROC 0.720을 기록하였다. 외부 검증에서도 용인세브란스병원과 아주대학교병원 데이터셋에서 각각 CAC 점수 ≥ 400의 AUROC 0.784와 0.814, CAC 점수 > 0의 AUROC 0.691과 0.701로 강력한 성능을 입증하였다. AI-ECG 모델은 PCE 저위험군에서 CAC 가능성이 가장 높은 개인과 PCE 중간 위험군에서 CAC 가능성이 가장 낮은 개인을 선별할 수 있었다: PCE 저위험군에서 24.9%가 CAC > 0을 나타냈으며, AI-ECG 모델에 의해 고위험으로 식별된 경우 이 비율은 45.7%로 증가했다. PCE 중간 위험군에서 35.4%가 CACS = 0을 나타냈으며, AI-ECG 모델에 의해 저위험으로 식별된 경우 이 비율은 60.9%로 증가했다; PCE 저위험군에서 AI-ECG에 의해 고위험으로 재분류된 그룹은 PCE 중간 위험군에서 AI-ECG에 의해 저위험으로 재분류된 그룹보다 주요 심혈관 사건 발생률이 더 높았다(세브란스병원 코호트 분석 데이터셋에서 1000 인년당 주요 심혈관 사건 발생률: 6.0 vs. 3.3, P = 0.007, UKB 코호트 분석 데이터셋에서 1000 인년당 주요 심혈관 사건 발생률: 8.3 vs. 7.0, P = 0.360). 따라서, PCE 중간 위험군으로 분류되었지만 AI-ECG에서 저위험으로 분류된 개인에게는 스타틴을 보류하는 것이 더 합리적이며, PCE 저위험군으로 분류되었지만 AI-ECG에서 고위험으로 분류된 개인에게는 스타틴을 시작하는 것이 더 합리적일 것이다. AI-ECG는 주요 심혈관 사건의 독립적 위험 요인으로 확인되었다(조정된 위험비 [95% 신뢰구간]: 세브란스병원 코호트 분석 데이터셋에서 1.087 [1.053–1.123], UKB 코호트 분석 데이터셋에서 1.117 [1.061–1.175]). PCE와 AI-ECG 점수를 결합한 경우, 단독 PCE보다 높은 C-index를 보였다. 증가된 예측 위험과 관련된 심전도 요인을 시각적으로 해석했으며, upward shift of the ST segment in the anteroseptal leads with reciprocal downward shift in the inferolateral leads, downward shift of the ST segment in all leads, longer PR interval 등과 같은 변화를 CAC와 연관지었다. AI-ECG 모델은 관상동맥 석회화를 예측하는 데 효과적인 도구임을 입증하였다. 본 연구는 AI-ECG 모델이 이중적 유틸리티를 통해 임상 워크플로에 통합될 가능성을 보여주었다. 즉, CAC 점수 측정이 가장 필요한 개인을 선별하거나, 환자 재분류를 통해 스타틴 치료 시작 또는 보류 결정을 직접 안내할 수 있음을 입증하였다. 심전도가 널리 사용된다는 점과 AI-ECG 모델이 심혈관 사건의 독립적 위험 요인으로 확인된 결과를 바탕으로, 본 모델은 심혈관 질환 위험 예측 도구로 통합될 잠재력을 가지고 있다. 특히 심전도가 일반적으로 수행되는 정기 건강 검진에서, AI-ECG 기반 CAC 예측은 일반 인구에서 기회적 CAC 검사를 가능하게 하여 조기 발견과 초기 예방 전략의 적시 실행으로 이어질 수 있다.