A Fully Convolutional Hybrid Fusion Network for Identification of S1 and S2 from Phonocardiogram

Abstract

Cardiac auscultation is simple, inexpensive, and helps in the early diagnosis of heart diseases. However, because it requires extensive training, only a few specialists can detect abnormal heart sounds via auscultation. A phonocardiogram (PCG) is a recording of heart sounds, and a computerized algorithm for PCG analysis can support the clinical use of cardiac auscultation. It is important to detect the fundamental components—i.e., the first heart sound (S1) and second heart sound (S2)—in PCG analysis. In this study, we propose a fully convolutional deep fusion network that comprehensively analyzes heterogeneous envelopes and scalogram features. We evaluated three variants of the proposed method—early, late, and hybrid fusion—and found that multimodal factorized bilinear pooling-based hybrid fusion produced the best results. Specifically, it exhibited state-of-the-art segmentation performance, with an accuracy of 0.9455, positive predictive value of 0.9688, and sensitivity of 0.9832. To the best of our knowledge, this is the first study to completely interpret the heterogeneous features in PCG segmentation.

심장 청진법은 간단하고 저렴하며 심장 질환의 조기 진단에 도움을 준다. 그러나 심장 청진음을 듣고 심장 질환을 구별하는 것은 상당한 노력과 훈련이 필요하기 때문에, 심장 청진음을 통해 비정상적인 심장 소리를 감지하는 것은 소수의 전문가만이 가능했다. PCG (Phonocardiogram)는 심장 청진음을 녹음한 것으로, 심장 청진의 임상적 사용을 지원하기 위해 디지털화된 PCG 분석 알고리즘은은 꾸준히 연구되어 왔다. PCG 분석에서 가장 중요한 것 중에 하나는, 심장음의 주성분인 첫 번째 심장음(S1)과 두 번째 심장음(S2)을 구별하는 것이다. 본 연구에서는 심장음의 서로 다른 특성을 갖는 포락선 특징과 스칼로그램 특징을 종합적으로 분석하는 완전 컨볼루션(합성곱) 연산 기반의 하이브리드 융합 네트워크를 제안한다. 본 논문에서 제안한 융합 방법의 강건함을 증명하기 위해 세 가지 변형인 초기, 후기 및 하이브리드 융합 방법 또한 평가했다. 특징 융합 방법들 중, 서로 다른 모달리티를 입력으로 받은 후 이중 선형 풀링 기반(MFB)으로 특징을 융합하는 하이브리드 융합이 최상의 결과를 보였다. 구체적으로 0.9455의 정확도, 0.9688의 양의 예측값, 0.9832의 민감도로 현존하는 가장 높은 성능을 보였다.