Development of clinically validated artificial intelligence model for detecting ST-segment elevation myocardial infarction

Abstract

Background and aim: Although the importance of primary percutaneous coronary intervention (PCI) has been emphasized for ST-segment elevation myocardial infarction (STEMI), the appropriateness of the cardiac catheterization laboratory (CCL) activation remains suboptimal. This study aimed to develop a precise artificial intelligence (AI) model for diagnosis of STEMI and accurate CCL activation. Methods: We used electrocardiography (ECG) waveform data from a prospective PCI registry in Korea in this study. Two independent board-certified cardiologists confirmed the true label of each ECG based on corresponding coronary angiography data. A deep ensemble model was developed by combining five convolutional neural networks. Clinical validation based on a symptom-based ECG dataset, comparisons with clinical physicians, and external validation were performed. Additive benefit on top of the critical pathway for detection of STEMI was evaluated. ECGs were visualized by the Gradient-weighted Class Activation Mapping (Grad-CAM) for assessment of model explainability. Results: A total of 18,697 ECGs were used for the model development dataset and 1,745 (9.3 %) were STEMI. The AI model achieved an accuracy of 92.1 %, sensitivity of 95.4 % and specificity of 91.8 %. The performances of the AI model were well-balanced and outstanding in the clinical validation, comparison with clinical physicians, and the external validation. The AI model correctly re-classified 31.6 % of patients who incorrectly diagnosed as STEMI. Conclusions: The deep ensemble AI model showed a well-balanced and outstanding performance. As visualized with the Grad-CAM, the AI model has a reasonable explainability.

배경 및 목적: ST-분절 상승 심근경색 (ST-segment elevation myocardial infarction, STEMI)에 대해 일차적 경피적 관상동맥 중재술 (percutaneous coronary intervention, PCI)이 강조되고 있지만, 적절한 심도자실 활성화가 이루어지지 못하는 경우가 많다. 본 연구에서는 적절한 심도자실 활성화를 위해 인공지능 (artificial intelligence, AI)을 이용한 STEMI 진단 모델을 개발하고 성능을 평가하고자 한다. 방법: 본 연구에서는 전향적 PCI 레지스트리에 등록된 환자들의 심전도 파형 정보를 이용하였다. 두 명의 독립적인 심장내과 전문의가 환자의 관상동맥 조영술 결과를 기반으로 각 심전도의 STEMI 여부를 확인하였다. 5개의 개별 합성곱 신경망 (convolutional neural network, CNN)을 통합하여 딥 앙상블 모델 (deep ensemble model)을 개발하였다. 모델 성능 검증을 위해 증상-기반 데이터셋을 바탕으로 한 임상 검증, 임상의와의 성능 비교, 원내 진료지침 (critical pathway, CP)과의 성능 비교, 및 외부 검증을 시행하였다. 모델의 설명 가능성을 확인하기 위해 Grad-CAM 방법을 이용해 시각화하였다. 결과: 총 18,697 개의 심전도가 모델 개발에 사용되었으며, 이 중 1,745 (9.3 %) 개의 심전도가 STEMI로 확인되었다. 개발된 AI 모델은 92.1 %의 정확도, 95.4 %의 민감도 및 91.8 %의 특이도를 보였다. 임상 검증, 임상의와의 비교, 및 외부 검증에서 AI 모델은 민감도 및 특이도 측면에서 균형 잡힌 성능을 보였다. AI 모델은 원내 CP를 통해 STEMI로 잘못 확인된 환자 중 31.6 %를 비-STEMI로 재분류하였다. Grad-CAM을 통한 시각화에서는 심전도의 ST 분절이 강조되는 것이 확인되었다. 결론: 본 연구를 통해 개발된 딥 앙상블 AI 모델은 균형 잡힌 높은 성능을 보였다. Grad-CAM에서의 ST 분절의 강조를 통해 본 AI 모델의 합리적인 설명 가능성을 확인하였다.