Personalized Progressive Federated Learning with Leveraging Client-Specific Vertical Features

Abstract

연합학습은 분산된 사용자들 사이에서 모델을 학습시키기 위한 방식이다. 하지만, 기존의 수평 연합 학습은 모델의 복잡성을 증가시키기 위해 수직 분할 데이터를 활용하지 못하며, 수직 연합 학습은 모든 사용자에게서 많은 양의 동일한 사용자가 공유 되어야한다. 반면, 연합 학습의 주요 과제 중 하나는 사용자 사이의 데이터 이질성과 독립-항등 분포가 아닌 환경에서의 학습이다. 본 연구에서 사용자 특징적인 수직 분할 데이터를 활용할 수 있는 다중 모델 기반 개인화된 알고리즘인 개인화된 점진 연합 학습 (Personalized Progressive Federated Learning, PPFL)을 제안한다. PPFL 의 성능은 Physionet Challenge 2012 와 eICU 및 세브란스 병원 데이터로 이루어의 현실 세계 데이터의 두 데이터에서 평가되었다. 병원 내 사망과 병원 체류 기간 예측의 두 가지 문제에 대해 정확도와 수신자 조작 특성 곡선 면적 (Area Under Receiver Operating Characteristic, AUROC)에 기반하여 평가하였다. PPFL 은 병원 내 사망 예측에서 평균 0.849 의 정확도와 0.790 의 AUROC 의 성능을 보여주었으며, 다른 비교 모델들에 비해 가장 높은 점수를 보여주었다. 체류 기간 예측에서 PPFL 은 평균 0.808 AUROC 로 비교 모델들 중 가장 높은 성능을 보였다. Federated learning (FL) has been used for model building across distributed clients. However, conventional horizontal federated learning (HFL) cannot leverage vertically partitioned features to increase model complexity, and vertical federated learning (VFL) requires all clients to share a large number of overlapping sample-ids. On the other hand, the main challenge of FL is the distributed setting of data heterogeneity and non-independent and identically distributed (non-I.I.D) data among clients. In this study, we proposed a personalized progressive federated learning (PPFL) model, which is a multi-model-based personalization that allows the leveraging of vertically partitioned client-specific features. The performance of PPFL was evaluated using two datasets: the Physionet Challenges 2012 dataset and a real-world dataset composed of eICU data and highly intensive care unit (HICU) data from the Severance Hospital, Seoul, South Korea. We compared the performance of in-hospital mortality and length of stay task prediction between our model and the comparison models based on the accuracy and area under receiver operating characteristic (AUROC). The PPFL showed an accuracy of 0.849 and AUROC of 0.790 in in-hospital mortality prediction, which are the highest scores compared to comparison models. For length-of-stay prediction, PPFL also showed an AUROC of 0.808 in average which was the highest among all comparators.