Optimization of Medical Device Clinical Evaluation Design Based on Analysis of Clinical Effectiveness and Usability

Abstract

"Clinical evaluation is the evaluation of whether the clinical evidence is sufficient to confirm whether a device complies with the requirements for safety and performance. This is evaluated through clinical investigation and usability evaluation. Standards have been created and implemented to properly conduct clinical evaluations and prove the safety, effectiveness, and usability of medical devices. However, adverse events exist in the actual medical environment, and it shows that complete safety cannot be guaranteed even if clinical evaluations produce entirely positive results. Therefore, this study aims to propose a method for evaluating the effectiveness and usability of medical devices through an optimized clinical evaluation design and to present decision criteria for applying it to the clinical evaluation of medical devices. To derive a clinical evaluation design optimization model, a case study was conducted on the patient monitoring device, one of the important components of the intensive care unit, to design and conduct clinical evaluation, and finally present the clinical evaluation design optimization model and application criteria. The proposed clinical evaluation design optimization model consists of clinical evaluation in the actual use environment and clinical evaluation in the simulated environment. Clinical evaluation in an actual use environment is a model that integrates clinical effectiveness evaluation and usability evaluation and proceeds simultaneously. While conducting the clinical investigation, usability evaluation is also conducted, and both clinical effectiveness endpoint and usability endpoint data are collected. Clinical evaluation in a simulated environment performs qualitative and quantitative evaluation through usability testing. To determine whether to apply the clinical evaluation optimization model when evaluating medical devices, it is necessary to consider whether the medical device is multifunctional and complicated to use, whether urgent decision-making and fast-paced use are required when using the device, whether the medical staff cares for multiple patients, whether there are multiple alarms, lots of noise, and flashing lights. The proposed clinical evaluation model can be used for the clinical evaluation of various medical devices used in environments such as operating rooms, various intensive care units, emergency rooms, and ambulances to consider key aspects of actual patient care or risk-related use. It is possible to identify errors and usability problems that occur during actual use. Therefore, it is expected that the evaluation of clinical effectiveness and usability can be performed more accurately.

임상평가는 기기가 안전 및 성능에 대한 요구 사항을 준수하는지 확인하기 위한 임상 증거가 충분한지를 평가하는 것이다. 평가에는 기기가 의도한 성능을 달성한다는 것과 디자인이 사용 오류의 위험을 줄이고 의도된 사용자에게 적합하다는 사용성적합성 확인이 포함된다. 이는 임상시험과 사용적합성 평가로 평가되는데 임상평가의 올바른 수행과 의료기기의 안전성과 사용적합성, 유효성을 입증하기 위해 규정이 마련되어 활용되고 있다. 그러나 여전히 실제 의료 환경에서는 의료기기의 문제로 인한 이상사례들이 발생하고 있으며, 임상평가에서 긍정적인 결과를 보이더라도 완전한 안전을 보장할 수 없음을 보여준다. 따라서 본 연구에서는 최적화된 임상평가 설계를 통해 의료기기의 임상 유효성 및 사용적합성을 평가하는 방법을 제안하고 의료기기 임상평가에 이를 적용하기위한 결정 기준을 제시하고자 한다. 임상평가 설계 최적화 모델을 도출하기 위해 중환자실의 중요 구성요소 중 하나인 환자감시장치에 대한 사례연구를 수행하여 임상평가를 설계 및 수행하고 최종적으로 임상평가 설계 최적화 모델과 해당 모델의 적용 기준을 제시하였다. 제시된 임상평가 설계 최적화 모델은 실제 사용 환경에서의 임상 평가와 시뮬레이션 환경에서의 임상평가로 구성된다. 실제 사용 환경에서의 임상평가는 임상 유효성 평가와 사용성 평가를 통합하여 동시에 진행하는 모델이다. 임상시험을 수행하면서 사용적합성의 평가도 함께 진행하여 환자의 의료기기 적용과 사용자의 의료기기사용에 따른 임상적 유효성 평가 변수와 사용적합성 평가 변수 데이터를 모두 수집하게 된다. 시뮬레이션 환경에서의 임상 평가는 사용적합성 테스트를 통해 사용적합성을 정성적, 정량적으로 평가한다. 의료기기의 임상평가 시 최적화 설계 모델의 적용 여부를 결정하기 위해서는 의료기기가 다기능의 사용하기 복잡한 기기인지, 의료기기 사용 시 긴급한 의사결정 및 신속한 사용이 필요한지, 의료진이 동시에 여러 환자를 진료하는지, 많은 경보와 소음 및 깜박이는 표시등이 있는지를 고려해야 한다. 제안된 임상평가 모델은 수술실, 다양한 중환자실, 응급실, 구급차 등 환경에서 사용되는 다양한 의료기기 임상평가에 활용되어 평가에 소요되는 시간과 자원을 절약하고 실제 환자 치료의 주요 측면이나 위해관련 사용이 고려된 평가를 수행할 수 있다. 이를 통해 실제 사용 중 발생하는 오류 및 사용상의 문제를 파악할 수 있어 보다 정확한 임상 유효성과 사용적합성 평가가 수행될 수 있을 것으로 기대된다."