Multi-Scale Conditional Generative Adversarial Network for Small Diseases using Class Activation Region Influence Maximization

Abstract

Automatic detection and classification of thoracic diseases using deep learning algorithms have many applications supporting radiologists' diagnosis and prognosis. However, in the medical field, the class-imbalanced problem is extremely common due to the differences in prevalence among diseases, making it difficult to develop these applications. Many GAN-based methods have been proposed to solve the class-imbalance problem on chest X-ray (CXR) data. However, these models have not been trained well for small-sized diseases because it is challenging to extract sufficient information with only a few pixels. In this paper, we propose a novel deep generative model called a class activation region influence maximization conditional generative adversarial network (CARIM-cGAN). The proposed network can control the target disease's presence, location, and size with a controllable conditional mask. We newly introduced class activation region influence maximization (CARIM) loss to maximize the probability of disease occurrence in the bounded region represented by a conditional mask. To demonstrate an enhanced generative performance, we conducted numerous qualitative and quantitative evaluations with the samples generated using a CARIM-cGAN. The results showed that our method has a better performance than other methods. In conclusion, because the CARIM-cGAN can generate high-quality samples based on information on the location and size of the disease, we can contribute to solving problems such as disease classification, -detection, and -localization, requiring a higher annotation cost.

의료분야에서 데이터의 수적 부족 및 불균형 문제는 빈번하며 이로 인해 발생하는 딥러닝 네트워크 성능저하 문제는 꾸준히 제기되어왔고 여전히 도전적인 문제이다. 최근 적대적 생성 신 경망(GAN) 기술을 활용해 데이터를 생성함으로써 의료 인공지 능 학습 성능을 향상시키는 다양한 연구들이 제안되어왔다. 그러나 의료영상 생성에 있어 크기가 큰 질환은 판별자에 의 해 분류가능한 특징을 비교적 잘 학습하지만 크기가 작은 질환 의 경우 전체 영상대비 해당 질환의 비율이 작기 때문에 특징학 습이 상대적으로 어렵다. 본 학위논문에서는 작은 질환 생성을 보장하기 위해 조건부 마스크(conditional mask)와 클래스 활성 지역 영향력 최대화 (class activation region influence maximization, CARIM) 손실함수를 사용한 새로운 심층 생성 네트워크를 제안한다. 해당 네트워크 는 조건부 마스크를 입력으로 받아 질환의 존재, 위치 및 크기 를 제어할 수 있고, 클래스 활성 최대화 손실함수를 통해 조건 부 마스크에서 질환 발생 확률이 최대화될 수 있도록 추가적인 제약을 부여한다. 따라서 본 네트워크는 질환이 포함된 영상과 포함되지 않은 영상을 생성할 수 있으며, 질환이 포함된 영상의 경우 질환의 크기 및 위치 조건을 잘 반영한 고해상도 흉부 X 선 영상(CXR) 을 얻을 수 있다. 결과적으로 제안한 네트워크는 조건부 마스크기반으로 영상을 생성하기 때문에 영상 어노테이션(annotation) 비용을 줄일 수 있 어 비용효과적이며, 레이블링이 된 충분한 양의 학습데이터 확 보가 가능해 질환 분류(classification), 검출(detection) 및 지역화 (localization) 문제 성능을 향상시키는데 활용될 수 있다. 이는 기존 정확도가 낮아 임상현장 적용이 어려웠던 의료인공지능 기 술을 개선해 궁극적으로 치료 및 진단 의료자동화 발전에 기여 할 수 있다.