뇌심혈관 질환과 업무 환경의 연관성 판단을 위한 AI 모델의 개발 및 전문가 판단과의 일치도 분석

Abstract

연구 배경: 뇌심혈관 질환은 전세계적으로 주요한 건강 문제로 다양한 원인에 의해 발생할 수 있다. 그 중 과로 및 과도한 업무 부담으로 인해 발병 및 악화할 수 있으며, 이는 업무상 질병으로 인정될 수 있다. 그러나 뇌심혈관 질환 및 업무상 질병 판정에 대한 지식이 부족한 일반 근로자는 본인의 질환과 업무 환경과의 관계를 인식하기 어렵다. 이에 따라 일반 근로자들도 쉽게 뇌심혈관 질환과 업무상 질병과의 관계를 이해하고 판단할 수 있게 도와주는 AI 모델을 개발하고자 한다. 연구 방법: 모델 학습에 사용한 데이터는 의학적, 법적 전문 지식과 실제 근로복지공단의 2021년도 업무상질병판정서 데이터이다. 학습에 사용한 모델은 대규모 한국어 데이터를 학습하여 한국어 성능이 좋은 Polyglot-ko-5.8B 모델을 사용하였다. 학습 이전 모델과 전문 지식만 학습한 모델, 그에 더하여 실제 업무상 질병 판정 사례까지 복합적으로 학습한 모델의 응답을 근로복지공단 실제 판정 사례와 비교한다. 학습된 모델의 성능은 정확도, 정밀도, 민감도, F1-score로 확인하였다. 마지막으로, 모델 응답을 읽고 직업환경의학 의사의 의견 및 보완점을 통해 전문가의 의견을 확보하였다. 연구 결과: 세 모델의 응답 비교 결과, 전문지식과 다양한 업무상 질병 판정 사례를 복합적으로 학습한 모델이 다른 두 모델에 비해 성능이 제일 높았다. 정확도는 학습 이전 모델, 전문지식 학습모델, 복합 학습 모델 순서대로 0.60, 0.65, 0,91이었고, 정밀도는 순서대로 0.71, 0.86, 0.84였다. 민감도는 0.54, 0.54, 0.95였고, 마지막으로 F1-score는 순서대로 0.64, 0.67, 0.93이었다. 그러나 복합 학습 모델도 몇몇 일관되지 못하거나 잘못된 응답을 출력하였다. 이에 대해 전문가는 단기 과로 및 야간근로 등 다양한 사례에 대한 학습이 추가적으로 더 필요하고, 추후에 chatbot을 위한 template 형식의 모델이 필요하다고 제언하였다. 고찰: 세 가지 모델(학습 이전 모델, 전문지식 학습모델, 복합 학습 모델)을 사용하여 뇌심혈관 질환의 업무상 질병 판정에 대한 응답을 비교하였다. 결과적으로, 복합 학습 모델이 가장 정확한 판단을 보였다. 본 연구는 근로복지공단의 업무상질병판정서라는 실제 사례를 fine-tuning 시킨, 기존에 없던 새로운 AI모델을 개발한 것에서 의의가 있다. 자신의 뇌심혈관질환과 업무적 요인 간의 연관성에 대한 배경지식이 없는 근로자와, 자신의 업무적 정보에 대해서 업무상질병 인정을 받을 수 있는지 궁금한 근로자에게 기초적인 스크리닝 도구가 될 수 있다. 그리고 한국어 친화적인 polyglot-ko 모델을 기반 모델로 사용했기 때문에 한국인 근로자에게 유용하게 사용될 수 있다. 그러나 업무적 요인 외에 다양한 요인을 학습하지 못했기 때문에 다양한 사례에 대한 판단이 어렵다. 또한 아직은 업무상질병 인정/불인정만을 판단할 수 있고, 추후에 어떤 건강관리 방안이나 어떤 절차가 필요한지 등 해결책을 제시하기엔 어려움이 있다. 추후에 업무상질병으로 인정된 사람에게 건강관리 방안이나 추후에 어떤 건강행동을 취해야 하는지 등 어떤 중재 요인을 줄 수 있는지에 대한 추가적인 연구나 개발단계가 필요하다. 결론: 본 연구는 뇌심혈관 질환과 근로 시간, 업무 요인 간의 관계 및 업무상 질병 인정 여부를 파악할 수 있는 AI 모델을 개발하였다. 복합 학습 모델은 전문 지식과 실제 업무상 질병 판정 사례를 학습하여 가장 높은 성능을 보였지만, 다양한 사례에 대한 판단이 부족하다는 점과 추후 건강관리 방안 제공이 어렵다는 점 등의 한계점이 있었다. 따라서 모델의 성능 향상 후, 실제 근로자들이 사용할 수 있게 챗봇 형식의 webUI 개발이 필요하다고 판단되며, 이를 위해 근로자의 상세한 정보를 반영할 Template-based 방식의 모델로의 보완이 필요하다고 판단된다. Background: Cerebrovascular disease(CVD) is a major health problem worldwide and can be caused by a variety of factors. Among them, overwork and excessive workload can cause and exacerbate the condition, which can be recognized as an occupational disease. However, due to the lack of knowledge on CVD and occupational disease determination, it is difficult for the average worker to recognize the relationship between their condition and their work environment. Therefore, we aimed to develop an AI model that can help general workers easily understand and judge the relationship between CVD and occupational diseases. Methods: The data used to train the model includes medical and legal expertise and actual cases of occupational diseases. The model used for training is the Polyglot-en-5.8B model, which has good performance in Korean by training on large-scale Korean data. The responses of the model before training, the model that learned only specialized knowledge, and the model that learned a combination of specialized knowledge and actual occupational disease cases are compared with the actual cases. The performance of the trained model was checked by accuracy, precision, sensitivity, and F1-score. Finally, expert opinions were obtained by reading the model responses and reviewing the opinions and points of improvement from occupational and environmental medicine doctor. Results: As a result of comparing the responses of the three models, the model that learned a combination of expert knowledge and various occupational disease determination cases had the highest performance compared to the other two models. The accuracy was 0.60, 0.65, and 0.91 for the pre-learning model, the expert knowledge learning model, and the complex learning model, in that order, and the precision was 0.71, 0.86, and 0.84 in that order. Sensitivity was 0.54, 0.54, and 0.95, and finally, F1-score was 0.64, 0.67, and 0.93 in that order. However, the complex learning model also output some inconsistent or incorrect responses. In response to this, the expert suggested that additional learning is needed on various cases such as short-term overwork and night work, and that a template-type model for chatbot is needed in the future. Discussion: Responses to the occupational disease determination of CVD were compared using three models (transfer learning model, expert knowledge learning model, and complex learning model). As a result, the complex learning model showed the most accurate judgment. This study is significant in that it developed a new, unprecedented AI model that fine-tuned an actual case study called the Korea Workers' Compensation and Welfare Service's Occupational Disease Declaration. It can serve as a basic screening tool for workers who do not have background knowledge about the relationship between their cerebrovascular disease and work-related factors, and for workers who are curious about whether their work-related information can be recognized as an occupational disease. And because the Korean-friendly polyglot-ko model was used as the base model, it can be useful for Korean workers. However, it is difficult to make judgments about various cases because various factors other than business factors have not been learned. In addition, it is currently only possible to determine recognition/disapproval of occupational diseases, and it is difficult to suggest solutions such as what health management measures or procedures are needed in the future. Additional research or development steps are needed to determine what intervention factors, such as health management plans or what health behaviors to take in the future, can be given to people who are later recognized as having an occupational disease. Conclusion: This study developed an AI model that can determine the relationship between cerebrovascular diseases, working hours, work factors, and whether occupational diseases are recognized. The complex learning model showed the highest performance by learning expert knowledge and actual occupational disease diagnosis cases, but it had limitations such as lack of judgment for various cases and difficulty in providing future health management plans. Therefore, after improving the performance of the model, it is judged that it is necessary to develop a webUI in the form of a chatbot so that actual workers can use it. To this end, it is judged that it is necessary to supplement with a template-based model that will reflect the detailed information of workers.