Dynamically Expendable Representation-Minority Weighted Class Imbalanced Incremental Learning

Abstract

The imbalance in data occurring in various fields, including the medical field using artificial intelligence models, negatively affects classification performance. It is necessary to develop a multi-classification model that is not affected by imbalance. And Deep neural networks suffer from catastrophic forgetting when learning new categories. Many works called incremental learning have been proposed to alleviate this phenomenon. However, even in these tasks, class imbalance has an adverse effect. Dynamically Expandable Representation (DER) model is the latest deep learning method used for incremental learning, and the model can update various tasks, and sequentially expand classification tasks for new classes for each learning defined as incremental steps. We developed a DER Minority weighted (DER-MiW) incremental learning model using classifier balanced learning with Focal loss, a learning loss calculation method specialized in class imbalance problems. In the CIFAR-10-LT imbalance dataset, our method was compared with the latest incremental learning methods, and our model showed high Accuracy and F1 score. We developed DER-MiW incremental learning method is proposed to improve the adverse effects of dataset imbalance in classifier performance. We applied a focal loss calculation method suitable for imbalanced data, we have better classification performance in minor classes with fewer data.

인공 지능 모델을 이용한 의료 분야를 비롯한 다양한 분야에서 발생하는 데이터의 불균형은 분류 성과에 부정적인 영향을 미친다. 따라서 데이터 불균형 문제를 가지고 있는 상황에서도 잘 동작할 수 있는 다중 분류 모델의 개발이 필요하다. 또한 심층 신경망이 새로운 범주를 학습할 때, 이전의 지식을 잃어버리는 재앙적인 망각이라는 문제를 동반한다. 이러한 현상을 완화하기 위해 증분 학습이라고 불리는 많은 방법들이 제안되고 있지만, 증분 학습에서도 역시 데이터의 불균형은 분류 성능에 악영향을 야기한다. DER(Dynamic Expandable Representation) 모델은 증분 학습에 사용되는 최신의 학습 방법으로, 인공 지능 모델 다양한 분류 범위를 연속해서 업데이트할 수 있으며, 각 증분 단계를 거쳐 신규 클래스에 대한 분류 과제를 순차적으로 확대할 수 있다. 본 연구에서는 데이터 불균형 문제가 있는 데이터의 학습에 특화된 학습 방법인 Focal Loss 학습 손실 적용과 분류기 균형 학습을 이용한 DER-Minority 가중(DER-MiW) 증분 학습 모델을 개발하였다. 결론으로 우리는 불균형 데이터가 분류 성능에 작용하는 악영향을 개선하기 위해 DER-MiW 증분 학습 방법을 고안하여 CIFAR-10-LT 불균형 데이터셋에서 우리의 방법을 최신 증분 학습 방법들과 비교하였다 우리의 모델이 높은 정확도와 F1 점수를 보였으며, 데이터가 적은 마이너 클래스에서 분류 성능을 확인하였다.