Delirium Prediction Models in Intensive Care Unit Patients Using Nursing Data

Abstract

섬망은 중환자실에서 빈번히 발생하는 신경 정신장애로 부적절한 행동과 생각, 인지 및 감각의 급격한 변화를 나타낸다. 중환자실 환자에서 섬망 발생은 환자의 예후에 부정적인 영향을 미쳐 재원 기간을 연장하고, 사망률을 높이며, 의료비용과 의료진의 업무 부담을 증가시킨다. 중환자실에서는 섬망을 조기에 선별하고, 관리하기 위한 전략으로 섬망 선별도구를 이용하여 섬망을 주기적으로 사정하고, 이에 따라 중재를 제공하고 있지만, 모든 환자를 대상으로 한 섬망 선별과 예방 중재는 많은 자원과 인력의 투입이 필요하다. 따라서 섬망을 정확하게 예측하고, 고위험 대상자에게 맞춤형 중재를 제공하는 것이 환자 예후와 의료자원 관리를 위해 중요하다. 전자의무기록에서 간호데이터는 환자 상태에 대한 간호사의 관찰 및 임상 판단과 관련된 정보를 포함하고 있어 빠르게 변화하는 환자의 상태를 예측하는데 중요한 지표로 활용될 수 있다. 따라서 본 연구는 전자의무기록에서 시간의 변동성이 반영된 간호데이터를 이용하여 기계학습 방법을 기반으로 중환자실 환자의 섬망 예측모델을 개발하고 검증하는데 있다. 본 연구는 전자의무기록을 이용한 후향적 연구로 섬망 예측모델 개발 및 내부 타당도 검증을 위해 미국 중환자실 데이터인 Medical Information Mart for Intensive Care (MIMIC) 데이터베이스를 이용하였고, 외부 타당도 검증을 위해 국내 상급종합병원의 전자의무기록을 이용하였다. 본 연구에서는 중환자실에서 24시간 이상 치료를 받은 18세 이상의 대상자 중 입실 24시간 이내에 섬망 선별도구를 이용한 기록이 1회 이상인 환자를 대상으로 하였고, 호스피스나 완화치료를 받고 있거나 입실 24시간 이내에 섬망이 발생한 대상자는 제외하였다. 모델 개발에 포함된 예측인자는 섬망 발생 직전 24시간 데이터를 추출하여 대상자별로 소인요인, 촉진요인, 간호사정 기록, 간호기록의 빈도와 중재 패턴을 선별하였다. 최종 생성된 개발 코호트는 9,491명, 외부 코호트는 2,629명의 대상자가 포함되었고, 이중 섬망은 17.0%, 8.4%에서 발생하였다. 개발 코호트는 섬망 클래스에 대한 데이터 불균형을 해결하기 위해 결합 샘플링 방법을 이용하여 데이터의 균형을 유지하였다. 본 연구에서는 기계학습 방법 중 로지스틱 회귀분석, 서포트 벡터 머신, 랜덤 포레스트, 신경망을 기반으로 10배 교차검증을 수행하여 예측모델을 개발하였고, 개발된 모델의 예측성능을 확인하기 위해 내부 검증과 외부 코호트 데이터를 이용하여 외부 검증을 수행하였다. 40개의 예측인자로 개발된 모델 I에서는 랜덤 포레스트 기반 알고리즘 모델이 가장 높은 예측 성능을 보였고, 곡선 아래 면적 (Area under the receiver operating characteristic, AUROC)은 내부 검증에서 0.975, 외부 검증에서 0.770으로 확인되었다. 개발된 모델의 예측변수 중 Glasgow Coma Scale (GCS), Richmond Agitation-Sedation scale (RASS), 통증, 간호기록의 빈도 패턴은 변수 중요도 지수에서 소인이나 촉진요인보다 더 높은 중요도에 위치함을 확인하였다. 본 연구는 간호데이터를 이용하여 중환자실 환자의 섬망 예측모델을 개발하고, 개발된 모델의 성능을 내부 및 외부 데이터를 이용하여 평가하였다. 또한, 간호사의 임상적 판단이 포함된 간호데이터는 섬망 예측의 중요한 변수로 확인되었다. 본 연구 결과는 섬망 예측모델을 임상 현장에 적용하기 위해 전자의무기록의 의사결정지원 시스템의 형태로 예측 알고리즘을 개발하는데 기초자료로 활용될 수 있을 것이다. Introduction: Delirium frequently occurs among patients in intensive care units (ICU), leading to prolonged ICU stays, increased mortality, and higher healthcare costs. Nursing data include information related to nurses’ observations and clinical judgments about patients’ conditions; these data can be valuable indicators for predicting clinical deterioration in patients with rapidly changing clinical status. This study aimed to develop and validate machine learning-based delirium prediction models for ICU patients using nursing data that reflects time variation in electronic medical records (EMR). Methods: This retrospective cohort study was performed using the Medical Information Mart for Intensive Care (MIMIC) database and the EMR from a single tertiary hospital in Seoul, South Korea. The cohorts included patients aged 18 years or older with a delirium screening tool record admitted to the ICU for at least 24 hours. Patients who received hospice or palliative care were excluded from the study. EMR data included in the model predictors were extracted as forms of predisposing and precipitating factors, nursing assessments, and the frequency and intervention patterns of nursing documentation. Patient data were extracted for 24 hours before the occurrence of delirium based on the sliding window method. As a class imbalance, this study used combination sampling to obtain a balanced dataset and trained with five repetitions of stratified 10-fold cross-validation. Logistic regression, support vector machine, random forest, and neural network were used. Results: The development and external validation cohorts included 9491 and 2629 admissions, among whom, delirium occurred in 17.0% and 8.4% of cases, respectively. The mean duration of delirium onset was 2.6 days in the development cohort. The best model performance of the Model I (40 predictors) was observed in the random forest method; and the area under receiver operating characteristics (AUROCs) and 95% confidence intervals (CIs) of the internal and external validation cohorts were 0.975 [0.967, 0.982] and 0.770 [0.733, 0.808], respectively. The Model II (31 predictors) used candidate predictors, excluding the Glasgow Coma Scale (GCS) and Richmond Agitation-Sedation Scale (RASS) among Model I predictors, and the random forest model exhibited the best performance (AUROC and 95% CI: 0.951 [0.940, 0.962]). Among the important predictors of the developed models, GCS, RASS, pain, and nursing documentation frequency were ranked higher than the precipitating and predisposing factors. Conclusion: This study used nursing data that reflected time variation to develop and validate machine learning-based delirium prediction models for ICU patients. Nursing data, including nurses’ judgments, were important data resources in the delirium prediction models. The developed models were validated internally and externally with acceptable performance in two hospitals’ EMR environments. The models developed in the current study may be used as fundamental resources for developing the clinical decision support algorithms in EMR for predicting delirium in ICUs.