Development and Pilot Testing of a Tool to Measure the Mid- to Long-Term Impact of Invitational Training Programs for Healthcare Policy Experts from Low- and Middle-Income Countries

Abstract

중저소득국 보건 정책 전문가 초청연수의 중·장기 성과 측정을 위한 도구 개발 및 시범적용 배경: 국제 보건 연수 프로그램은 중저소득국가(LMICs) 보건의료 전문가의 역량 강화를 목표로 운영되고 있으나, 이들의 중·장기적 효과를 체계적으로 측정하기 위한 도구는 부족한 실정이다. 한국국제보건의료재단(KOFIH)이 운영하는 이종욱 펠로우십 프로그램(LJWFP)은 보건 정책 및 거버넌스 분야의 리더 양성을 목표로 하나, 이에 대한 장기적인 성과 평가가 제한적이었다. 목표: 본 연구는 LJWFP 의 중·장기 성과를 체계적으로 측정할 수 있는 평가 도구를 개발하고, 그 타당성과 신뢰성을 검증하는 것을 목적으로 하였다. 방법: 본 연구는 국제 보건정책 연수 프로그램의 중장기적 성과를 평가하기 위한 도구를 개발하고 타당화하기 위해 세 단계에 걸쳐 연구 방법론을 설계하였다. 첫째, 기존의 연수 평가 모델(예: Kirkpatrick, Kaufman, CIPP, OECD DAC)에 대한 광범위한 문헌 고찰과 프로그램 수료생 대상 인터뷰 및 자유서술형 응답에 대한 질적 분석을 통해 초기 평가 항목 풀을 도출하였다. 이후 글로벌 헬스 및 의학교육 분야 전문가 5 인을 118 대상으로 포커스 그룹 인터뷰를 실시하여 항목을 검토하고 개선 방향을 논의하였으며, 이어서 10 명의 전문가를 대상으로 2 차례 델파이 조사를 진행하였다. 델파이 조사에서는 5 점 척도 리커트 스케일을 사용하여 각 항목의 관련성, 명확성, 포괄성을 평가하였고, 내용타당도비(content validity ratio, CVR)와 전문가 합의 기준에 따라 최종 항목을 선정하였다. 이를 통해 경력 발전, 실행 계획 이행, 지식 공유, 학술 성과, 조직 기여, 국제 협력, 공동 프로젝트, 전문가 네트워킹 등 9 개 항목으로 구성된 설문지가 완성되었다. 자료 수집은 2023 년에 연수를 수료한 이종욱 펠로우십 프로그램(Dr. LEE Jong-wook Fellowship Program) 졸업생 52 명을 대상으로 진행된 파일럿 테스트를 통해 이루어졌다. 설문조사는 전자 방식으로 실시되었으며, 9 개의 폐쇄형 리커트 척도 문항과 함께 실행 경험 및 도전 과제에 대한 정성적 의견을 수집하기 위한 자유서술형 문항도 포함되었다. 양적 자료는 기술통계 분석, 탐색적 요인분석(EFA)을 통한 도구 구조 확인, Cronbach’s α를 이용한 신뢰도 분석을 통해 검토되었다. 추가적으로 지역, 성별, 프로그램 유형에 따른 결과 비교를 위해 t-검정과 ANOVA 를 실시하였으며, 단기 및 장기 지표 간의 관계를 분석하기 위해 회귀분석 및 상관분석도 수행되었다. 또한 각 문항에 개방형 응답을 더하여 주제별분석을통해구현도전과제,맥락적영향, 지속가능성 요구사항을 식별할 수 있도록 하였다. 결과: 시범적용 분석 결과 평가 도구는 커리어, 학술, 정책, 네트워크, 프로젝트 등 5개 핵심 요인을 기반으로 높은 타당도와 신뢰도를 보였다. 참가자들은 직무역량 향상과 지식 확산 활동에서 높은 성과를 보였으며, 지역 간 성별간 차이에 대한 성과의 차이는 119 통계적 의미가 있을 정도는 아니었다. 다만, 참여 프로그램 간 성과의 차이는 있었으며, 석사과정 참가자의 경우 학술성과가 두드러졌다. 연수 직후 측정한 현업 적용도는 장기성과와 유의한 상관관계를 보였다. 또한 연수생 개인적인 성취가 국가 정책이나 커뮤니티에 미치는 영향에도 강한 긍정적인 관계가 있는 것으로 확인되었다. 한편, 본 설문 내에 개방형 질적 구성요소를 포함하여 도전 과제, 지속가능성 요인, 영향력 확산을 위한 개별 맥락 등을 파악하는 것을 시도하였다. 이러한 통찰은 향후 맞춤형 교육 및 후속지원 개선, 국제보건 연수 프로그램의 전략적 방향수립 등에 기여할 것으로 기대된다. 결론: 본 연구에서 개발된 평가 도구는 국제 보건 연수 프로그램의 중·장기 성과를 측정하는 데 있어 효과적인 수단이 될 수 있으며, 프로그램 개선 및 정책 결정에 실질적인 자료로 활용될 수 있다. 향후 지속적인 사후평가와 맞춤형 지원, 연속적 추적조사가 필요함을 강조한다.

Development and Pilot Testing of a Tool to Measure Mid- to Long-Term Impact of Invitational Training Programs for Healthcare Policy Experts from Low- and Middle-Income Countries Background: International training programs for health professionals in low- and middle-income countries (LMICs) often lack robust methods to assess their long-term impacts (Rotem, 2010; Vallejo, 2016; Kim et al., 2020). The Dr LEE Jong-wook Fellowship Program (LJWFP), operated by the Korea Foundation for International Healthcare (KOFIH), aims to build leadership and governance capacity in LMIC healthcare sectors. However, evaluations of the sustained effects of the program are limited. Objective: This study aimed to develop and validate a comprehensive evaluation tool capable of measuring the mid- to long-term impact of LJWFP, focusing on career progression, policy influence, academic contributions, professional networking, and contextual factors influencing implementation. Methods: The methodology for this study was structured into three sequential phases to develop and validate a tool for assessing the mid- to long-term impacts of international healthcare policy training programs (Kirkpatrick, 1959; Stufflebeam, 1971; Kaufman, 2005; Oh & Yoon, 2024). First, an initial pool of evaluation items was generated through an extensive literature review of established training evaluation models (such as Kirkpatrick, Kaufman, vi CIPP, and OECD DAC), a qualitative analysis of interviews, and open-ended responses from program alumni. These items were refined based on expert input. Five specialists in global health and medical education participated in focus group interviews to review and suggest improvements, after which a two-round Delphi process with ten experts was conducted. In the Delphi rounds, experts rated the relevance, clarity, and comprehensiveness of each item using a 5-point Likert scale, with the content validity ratio (CVR) and consensus thresholds guiding item selection. This resulted in a final set of nine questionnaire items, covering career advancement, action plan implementation, knowledge sharing, academic output, organizational contributions, international cooperation, joint projects, and professional networking. Open-ended voluntary questions were added to each question to obtain a more in-depth understanding of the qualitative results. For data collection, the finalized tool was pilot tested with 52 alumni of the LJWFP, who completed their training in 2023. The survey, administered electronically, included nine closed-ended Likert-scale items and open-ended questions to capture qualitative insights into implementation experiences and challenges. Quantitative data were analyzed using descriptive statistics and exploratory factor analysis (EFA) to confirm the tool’s structure (with KMO and Bartlett’s tests for sampling adequacy) and reliability testing using Cronbach’s alpha. Additional analyses included t-tests and ANOVA to compare outcomes by region, gender, and program type as well as correlation and regression analyses to examine the relationships between the indicators. The qualitative responses were subjected to thematic analysis to identify implementation challenges, contextual influences, and sustainability needs. Results: The evaluation tool demonstrated high content validity and moderate reliability across five vii factors: career progression, academic achievement, policy contribution, network utilization, and joint project proposals (Lawshe, 1975; Yusoff, 2019; Costello & Osborne, 2005). The participants showed strong outcomes in terms of professional development and knowledge- sharing. There were no notable variations among gender or regional differences, whereas graduate program participants showed significantly higher academic achievement. Early indicators such as satisfaction and application rates were correlated with long-term outcomes. Personal achievements, such as professional and academic achievements, showed a strong correlation with long-term impacts such as policy contributions. This study underscores the value of integrating open-ended qualitative components within the questionnaire to capture implementation challenges, sustainability factors, and the broader context of impact. These insights are expected to be used to enhance follow-up evaluations, customize support, and inform strategic improvements in global health capacity-building initiatives. Conclusion: This validated tool offers a robust framework for assessing the long-term impact of international healthcare training programs by combining quantitative measurements with qualitative contextualization. This study underscores the value of integrating open-ended qualitative components to capture implementation challenges, sustainability factors, and the broader context of impact. These insights are critical for enhancing follow-up evaluations, customizing support, and informing strategic improvements in global health capacity building initiatives.