Integrating Large Language Models and Image-Based Techniques for Radiotherapy Toxicity Prediction

Abstract

Radiation Therapy (RT) is an important treatment modality for patients with thoracic cancer along with concurrent chemotherapy and surgery. Although RT aims to precisely target tumors, nearby normal tissues may still receive substantial radiation doses, leading to RT-induced toxicities such as esophagitis, cardiac toxicity, and pneumonitis, which can adversely affect patients' quality of life. With the growing number of long-term survivors, reducing treatment-related toxicities has become a key priority in the planning of radiation therapy. Management of such toxicities can be addressed at various stages of the RT planning workflow. During the simulation phase, patients undergo a CT scan that serves as the basis for treatment planning. However, respiratory motion can introduce imaging artifacts and lead to discrepancies between the planned and delivered doses. Breath-hold techniques are commonly employed to reduce motion-related variability, but the current standard methods often require patients to hold their breath for extended periods, which can be difficult for some individuals. In the planning stage, accurate delineation of organs-at-risk (OARs) and tumor volumes is critical to ensure accurate RT planning, yet remains a significant challenge. Manual contouring is labor-intensive and prone to interobserver variability, making it a potential bottleneck in the clinical workflow. Finally, in the period between planning and treatment delivery, incorporating patient-specific toxicity prediction models can provide valuable decision support, enabling clinicians to better anticipate and mitigate potential adverse effects. However, as individual responses to RT vary, building these prediction models can be challenging. Therefore, the aim of this thesis is to develop novel methods to address key challenges in the management of RT–induced toxicity. The thesis is structured into three chapters, each presenting a distinct contribution toward improving various aspects of toxicity management in the RT workflow. We first start with clinically implementing a novel breath-hold technique called continous positive airway pressure. Its clinical feasibility was tested on patients with breast cancer who underwent RT and geomtrically and dosimetrically compared against conventional methods including free-breathing and deep inspiration breath-hold. In the subsequent chapter, we explore the role of a deep learning-based automated segmentation algorithm as a tool for streamlining RT planning while ensuring the accuracy needed to reduce errors that may impact RT-induced toxicity. Our deep learning algorithm was applied to retrospective breast cancer patient data, where we evaluated the geometric accuracy of the segmentations. These results were compared with the conventional atlas-based segmentation method to assess improvements in precision and efficiency. In the final chapter, we focus on the development of a multi-modal prediction model for RT-induced esophagitis in patients with esophageal cancer. This chapter introduces an innovative approach by integrating both imaging and clinical data. We employ a pretrained image encoder to extract relevant features from medical images, alongside a large language model to incorporate clinical information, marking a shift away from traditional image-only prediction models. This multi-modal framework aims to enhance the accuracy and clinical utility of predicting RT-induced esophagitis, ultimately offering a more comprehensive tool for personalized patient care. 방사선 치료(RT)는 항암화학요법 및 수술과 더불어 흉부암 환자에게 중요한 치료 방식이다. RT는 종양을 정밀하게 표적하는 것을 목표로 하지만, 인접한 정상 조직이 상당한 방사선량을 받을 수 있으며, 그 결과 식도염, 심장 독성, 폐렴 등 방사선 유발 독성이 발생할 수 있다. 이러한 독성은 환자의 삶의 질에 악영향을 줄 수 있으며, 장기 생존 환자의 수가 증가함에 따라 치료 관련 독성을 줄이는 것이 방사선 치료 계획의 핵심 과제로 부각되고 있다. 이러한 독성 관리는 방사선 치료 계획의 여러 단계에서 고려될 수 있다. 시뮬레이션 단계에서는 치료 계획의 기반이 되는 CT 영상이 획득된다. 그러나 호흡으로 인한 움직임은 영상에 아티팩트를 유발하고, 계획된 선량과 실제 전달된 선량 간의 차이를 초래할 수 있다. 이를 줄이기 위해 숨참기 기법이 활용되지만, 기존의 표준 방식은 환자가 오랜 시간 숨을 참아야 하므로 일부 환자에게 부담이 된다. 치료 계획 단계에서는 위험 장기(OAR) 및 종양의 정확한 윤곽선 구획이 필수적이나, 여전히 주요 도전 과제로 남아 있다. 수동으로 수행되는 윤곽선 구획은 많은 시간이 소요되고 관찰자 간 편차가 커 임상 워크플로우의 병목으로 작용할 수 있다. 마지막으로, 치료 계획과 실제 치료 사이의 기간에는 환자 맞춤형 독성 예측 모델을 도입함으로써 임상의가 잠재적인 부작용을 보다 잘 예측하고 대응할 수 있는 의사결정 지원이 가능하다. 그러나 방사선 치료에 대한 환자의 반응이 개별적으로 다르기 때문에 예측 모델을 구축하는 데 어려움이 존재한다. 따라서 본 논문의 목적은 방사선 치료로 유발되는 독성 관리와 관련된 주요 문제를 해결하기 위한 새로운 방법을 개발하는 데 있다. 본 논문은 세 개의 장으로 구성되며, 각 장은 방사선 치료 과정 내 독성 관리를 향상시키기 위한 독립적인 연구 성과를 제시한다. 첫 번째 장에서는 지속적 양압 호흡법(CPAP)이라는 새로운 숨참기 기법의 임상 적용을 다룬다. 해당 기법은 방사선 치료를 받은 유방암 환자를 대상으로 적용되었으며, 기존의 자유호흡 및 깊은 흡기 숨참기 방식과 기하학적, 선량학적으로 비교 분석되었다. 두 번째 장에서는 딥러닝 기반의 자동 분할 알고리즘이 방사선 치료 계획을 효율화하는 도구로서의 역할을 탐색한다. 본 알고리즘은 유방암 환자의 후향적 데이터를 기반으로 적용되었으며, 생성된 분할 결과의 기하학적 정확도를 평가하였다. 또한 기존의 아틀라스 기반 분할 방식과 비교하여 정확성과 효율성의 향상 정도를 분석하였다. 마지막 장에서는 식도암 환자에서 방사선 치료로 유발되는 식도염을 예측하는 다중 모달 예측 모델의 개발을 다룬다. 본 장에서는 영상 정보와 임상 정보를 통합하는 새로운 접근 방식을 도입하였다. 의료 영상으로부터 특징을 추출하기 위해 사전학습된 이미지 인코더를 사용하였으며, 임상 정보는 대형 언어 모델을 통해 반영하였다. 이는 기존의 영상 기반 예측 모델에서 벗어나 다중 모달 기반의 통합 예측 모델을 제안하는 것으로, 식도염 예측의 정확도와 임상적 활용 가능성을 높이고자 한다. 해당 프레임워크는 환자 맞춤 치료를 위한 보다 포괄적인 도구로 기능할 수 있다.