A geographical patch generation with soft voting method for the deep learning-based classification of lung adenocarcinoma intratumoral heterogeneity

Abstract

서론 폐의 악성 종양은 전세계 암사망에서 높은 순위를 차지하는 중요한 암으로 병기와 종양의 조직학적 분류에 따라 치료가 달라질 수 있다. 특히, WHO는 2015년 폐선암의 조직학적 유형을 H&E 염색 병리학에 기초하여 5개의 아형으로 분류하였다. 미세유두형과 고형형 아형의 경우 전체의 20%를 넘으면 high grade로 분류하고, 초기부터 적극적인 치료 전략을 취할 것을 권유하고 있다. 병리 영상의 정량적 분석은 치료 방향을 결정하는 중요한 자료가 될 수 있으나 분석에 필요한 노동력이 증가하여 정밀한 분석에 한계가 있다. 종양 내 이질성의 정량적 분석은 딥 러닝 기반 모델이 의료 행위 보조 도구로 사용되기에 좋은 영역일 수 있다. 그러나 훈련된 모델의 정확도가 분석 자체의 난이도, 관찰자 간 가변성의 존재, 훈련 데이터를 생성하는 데 사용되는 주석 방법 자체의 한계로 인해 제한될 수 있는 한계를 가지고 있다. 본 연구는 임상 상황에서 사용되는 방법을 모방하여 이러한 한계를 극복하기 위해 수행되었다. 방법 연구는 2005년부터 2009년까지 아산병원에서 폐엽절제술 및 림프절 절제술을 시행한 환자의 병리학 H&E 염색 전체 슬라이드 영상 24,528장을 이용하여 진행하였다. 1,897개의 WSI(Whole Slide Image)에서 총 199,623, 512X512 픽셀 패치 이미지가 훈련에 사용되었다. 정확도를 향상시키기 위해 ResNet152 네트워크와 전이 학습을 사용했다. 그리고 기존 ROI(Region of Interest)에서 25% 슬라이딩하여 새로 생성된 9개의 패치로 소프트 보팅 방식을 채택했습니다. 이를 통해 ROI 주변 조직에서 정보를 얻을 수 있는 모델을 활용하였다. 소프트 보팅 방법과 결합된 전이 학습이 있는 ResNet 152를 10배 교차 검증 모델과 결합된 전이 학습이 있는 ResNet 152와 비교했다. 그리고 병리학자의 보조적 기능을 위해 가시화 기법으로서 소프트 보팅 방법을 실험하였다. 결과 ResNet-152 모델을 통한 학습 정확도는 0.37이었고, ResNet-152와 전이 학습을 결합했을 때 정확도는 0.76이었다. 개발된 지리적 패치 생성 방법과 소프트 보팅이 결합된 ResNet 152를 적용했을 때 정확도가 0.78로 증가했다. 이때 Acinar, micropapillary, papillary 및 solid에 대한 AUROC(Area under the ROC Curve)가 각각 0.91, 0.94, 0.95 및 0.98 이었다. 10X 교차 검증 모델과 결합된 전이 학습이 있는 ResNet 152에서 정확도는 0.583 이었다. 이때 Acinar, micropapillary, papillary 및 solid에 대한 AUROC 는 각각 0.72, 0.83, 0.80 및 0.93 이었다 결론 본 연구는 대량의 데이터 일관성 저하, 데이터 레이블의 불일치, 관찰자 간 가변성과 같은 의료 데이터에서 흔히 볼 수 있는 기존 주석 기술의 한계를 극복하기 위해 진행되었다. 그 결과 0.91~0.95 이상의 비교적 높은 수준의 AUROC를 도출할 수 있는 모델을 선보였다. 또한, 폐 선암의 종양 내 이질성을 정량화하고 평가하는 도구로서 또 병리학자를 지원하는 시각화 보조 기능으로도 사용될 수 있어, 그 활용성이 높다 Introduction Malignant tumors of the lungs are important cancer that ranks high in cancer deaths worldwide, and treatment may vary depending on the stage and histological classification of the tumor. In particular, the WHO classified lung adenocarcinoma histologic type into 5 subtypes based on the H&E stain pathology. In the case of micropapillary and solid subtypes, if it exceeds 20% of the total, it can be graded as high grade, and aggressive treatment strategies from the beginning are recommended to take. Quantitative analysis of pathological images can be important data for determining the direction of treatment, but the rigorous analysis is limited due to the increased labor required for this analysis. Quantitative analysis of intratumoral heterogeneity can be a good area for deep learning-based models to be used as medical practice aids. However, the accuracy of the trained model is limited due to the difficulty of analysis itself, the reason for the interobserver variability, and the limitation of the annotation method used to generate the training data. This study was conducted to overcome these limitations by mimicking the method used in clinical situations. Materials and Methods The study was conducted using 24,528 pathology H&E stain whole slide images of patients who underwent lobectomy and lymph node dissections from 2005 to 2009 at Asan Hospital. And a total of 199,623, 512X512 pixel patch images from 1,897 Whole Slide Images (WSI) were used for training. ResNet152 network and transfer learning were used to improve the accuracy. And we adopted the soft voting method with 9 more patches newly generated from 25% sliding from the original region of interest(ROI). By that, we are trying to generate a model that can get information from the context of ROI. ResNet 152 with transfer learning combined with the soft voting method was compared to ResNet 152 with transfer learning combined with 10 fold cross-validation model. And soft voting method as a visualization technique is tested for the auxiliary function of pathologists. Results The learning accuracy through the ResNet-152 model was 0.37, and when ResNet-152 and transfer learning were combined, the accuracy was 0.76. When the ResNet 152 with soft voting combined with the geographic patch generation method developed was applied, the accuracy increased to 0.78 with Area under the ROC Curve(AUROC) for Acinar, micropapillary, papillary, and solid is 0.91, 0.94, 0.95 and 0.98 respectively. In ResNet 152 with transfer learning combined with 10 fold cross-validation model, accuracy was only 0.583 with AUROC for Acinar, micropapillary, papillary, and solid is 0.72, 0.83, 0.80, and 0.93 respectively. Conclusion The method developed by this research is for despising a large amount of data, the data label is inconsistent, inter-observer variability, and limitation of conventional annotation technique that is common in medical data. It also showed a relatively high level of AUROC of over 91~95%. In addition, it can also be used as an auxiliary function to support pathologists as a tool to quantify and evaluate intratumor heterogeneity of lung adenocarcinoma, to make prediction results more interpretable.