Language guided image generation to enhance fracture risk prediction using lateral spine plain radiograph

Abstract

Spine radiography along with deep neural networks is capable of detecting prevalent vertebral fractures and osteoporosis. However, whether the generative model predicts fracture risk remains uninvestigated. Clinical variables and lateral spine X-ray images from patients aged 50 or older who presented to Severance Hospital, Korea between January 2007 and December 2018 were collected. The incident fracture was defined using follow-up X-ray radiographs. Our model consists of two language-guided latent diffusion models (LDM) to extract feature maps of morphological structure and generate new images with clinical prompts on training set (80% hold-out set) and test set (20% hold-out set). Verte-X prevalent vertebral fracture scores (pVF scores) were calculated on the baseline images (BpVF) and 10-year generative images (GpVF). Fracture risk assessments were then conducted, categorizing them into three groups based on these scores: 1) low risk for both BpVF & GpVF (LL), 2) low risk for BpVF & high risk for GpVF (LH), 3) and high risk for BpVF regardless of GpVF status.low risk for both BpVF and GpVF (LL), low risk for BpVF but high for GpVF (LH), and high risk for BpVF regardless of GpVF status. A total of 29,307 lateral spine plain X-rays for 9,276 patients with (mean age 65.7 years, women 66%; VF prevalence 18.6%) were analyzed in the derived cohort. Over a mean follow-up period of 34.8 months, 9.9% of patients experienced vertebral fractures (921 out of 9,276 in the whole dataset) after baseline. Generative images revealed possible changes in the spine at different time points. The mean (SD) error in pVF scores between real-follow up and generative X-ray images was 0.06 ± 0.20 with a correlation coefficient r of 0.655 (0.547,0.741). When stratified into the risk group, LH group and HH risk group were associated with 109% and 391% increased risk of fracture respectively (hazard ratio [HR], 2.092 and 4.911; P=<0.001 for all), showing an improved model fit by adding age, sex, and BMI to covariates (likelihood ratio 105.7, p <0.001). The association between risk groups with incident fracture remained robust ([HR] 1.461; P=<0.001) after adjustment for FRAX major osteoporotic probability. In summary, generative image-based risk stratification showed its potential to improve clinical workflow and fracture risk assessments. 서론: 골다공증과 골절은 고령사회에서 사망률 및 이환률, 의료비용지출을 초래하는 주요질병 부담 중 하나이다. 효과적인 진단도구와 약물이 존재함에도 불구하고 치료를 받지 못하고 있는 환자가 40% 달하는 만큼 치료가 필요한 위험군을 효과적으로 스크리닝하여 낮은 진단율과 치료율에 대한 개선이 필요하다. 본 연구는 언어를 기반으로 가이드를 줄 수 있는 측면 X-ray 생성 모델을 구축하고, 생성된 이미지를 활용한 환자 맞춤형 골절 위험도를 예측하여, 골절 위험군을 나누어 개선 여부를 검정하였다. 연구방법: 모델구축 코호트는 2007년 1월 부터 2018년 12월까지 세브란스병원을 방문한 환자 중 측면 X-ray를 촬영한환자로 구성되었다. 미래에 발생된 척추 골절은 첫 방문 이후 추적관찰을 통해 정의되었다. 미래 이미지의 생성 모델은 두개의 확산모델로 구성되어 있고, 첫번째 모듈은 기존 이미지에서의 특징을 추출하고, 두번째 모듈에서는 언어 가이드를 입력 받아 이미지 생성한다. 초기 영상과 생성된 10년 후 영상에서 VERTE-X pVF 점수를 계산하고 (0~1점), 이를 기반으로 4개의골절 위험군 (LL, LH, HIGH)으로 나누어 콕스비례위험모델을 활용한 골절 위험도를 예측한다. 결과: 총 9,276 명의 29,307장의 영상이 수집되었고(평균나이 65.7 세, 여성비율 66%), 평균 34.8 개월의 추적관찰기간동안 9.9%의 대상자에게서 골절이 발생되었다 (921 명 골절 발생). 추적관찰에서 얻은 영상과 만들어진 영상 간 pVF 값의 차이는 0.06 ± 0.2 로 0.655의 상관계수를 보이고 있다. LL그룹 대비 LH그룹, HIGH그룹에 속했을 때 골절발생위험도가 각각 109%, 391% 증가하였고 (위험비 [HR], 2.092, 4.911; P=0.001), 위험 그룹을 나이, 성별, 체질량지수로 이루어진 기본 모델에 추가하였을 때 모델의 적합도를 유의하게 개선 시켰다 (likelihood ratio 105.7, p <0.001). 골절 위험 그룹의 골절 예측력은 기존 FRAX 점수를 보정하였을 때에도 독립적으로 유의하였다. (위험비 [HR], 1.461; P=<0.001) 결론: X-ray와 기본 임상정보를 활용한 미래영상 생성과 pVF 점수는 개별화된 골절 위험도를 도출하고 추가비용없이 골절 예측력을 개선시킬 가능성이 있다.