Quantitative Comparison of the 21 CFR Part 820 and ISO 13485:2016

Abstract

Previously, a qualitative comparison approach was used to identify similarities and differences between 21 CFR Part 820 and ISO 13485:2016. This approach aimed to integrate regulations and standards into a quality management system that fully encompasses all requirements. In contrast, this study quantitatively analyzes the similarities between 21 CFR Part 820 and ISO 13485:2016 and proposes ISO 13485:2016 requirements that can replace 21 CFR Part 820 requirements. Korea and Japan established standards for the facilities and quality of medical devices by integrating additional requirements based on ISO 13485:2016. These countries also defined additional requirements to regulate organizations and individuals involved in medical device production or related activities. On the other hand, the United States regulates organizations and individuals engaged in such activities under 21 CFR Part 820. Natural language processing (NLP) is a process and outcome of human-computer communication used for translation, search, comparison, analysis, extraction, and generation. In the past, NLP relied on word occurrence frequencies and transformed vector values. However, modern NLP techniques can now determine whether 'John' in a sentence refers to a person’s friend or the biblical figure. This advancement is attributed to the advent of Neural Networks, which improved the ability of computers to understand complex contexts, and Word2Vec, which can learn vectorized word representations. Additionally, the development of Transformer models allows for the parallel processing of all input values while maintaining their sequential order through attention mechanisms. This study employs Sentence-BERT, which integrates the Transformer architecture to generate sentence embeddings. Cosine Similarity, Normalized Discounted Cumulative Gain (NDCG), and AAMI TIR 102:2019 were used to compare 21 CFR Part 820 and ISO 13485:2016. Cosine Similarity measures semantic similarity, with values closer to 1 indicating very high similarity and values closer to 0 indicating dissimilarity. However, it lacks predefined thresholds for interpreting similarity values. To address this limitation, this study introduces AAMI TIR 102:2019 and NDCG. AAMI TIR 102:2019 provides bidirectional mappings between 21 CFR Part 820 and ISO 13485:2016, while NDCG is primarily used to evaluate the quality of ranked search results. NDCG assesses how well the order of search results aligns with user expectations, with higher relevance scores for items appearing at the top of the list indicating better quality. In this study, relevance scores were assigned based on mappings provided in AAMI TIR 102:2019, with a score of 1 for matches and 0 for mismatches. Finally, to overcome the lack of threshold values in NLP analysis results, ranges for cosine similarity and NDCG values were established. Cosine similarity scores were categorized into three ranges: very high similarity (1 ~ 0.8), moderate similarity (0.8 ~ 0.6), and dissimilarity (less than 0.6). Similarly, NDCG scores were classified into high agreement (1 ~ 0.8), partial agreement (0.8 ~ 0.6), and low agreement (less than 0.6) based on the alignment of cosine similarity scores with annotations from AAMI TIR 102:2019. Sections 820.30, 70, 72, 90, and 180 demonstrated very high similarity (greater than 0.8) with ISO 13485:2016 clauses and high agreement with AAMI TIR 102:2019 annotations. These sections can be replaced by the corresponding ISO 13485:2016 clauses when establishing each section. Sections 820.20, 22, 25, 40, 50, 60, 75, 80, 86, 100, 120, 130, 150, 160, 170, 184, 198, and 200 showed moderate similarity (0.8 ~ 0.6) with ISO 13485:2016 clauses, indicating partial agreement with AAMI TIR 102:2019 annotations. These sections appear replaceable with corresponding ISO 13485:2016 clauses but require further review. However, sections 820.5, 65, 140, 181, 186, and 250 showed dissimilarity (less than 0.6) with ISO 13485:2016 clauses and low agreement with AAMI TIR 102:2019 annotations. These sections cannot be replaced by matching ISO 13485:2016 clauses, and the requirements of these sections must be retained as is to establish a new quality management system. As a result of quantitatively analyzing and evaluating the similarities between the sections of 21 CFR Part 820 and the clauses of ISO 13485:2016, this study concluded that 5 sections of 21 CFR Part 820 can be replaced with corresponding ISO 13485:2016 clauses to implement a quality system for manufacturers in Korea to export or manufacture medical devices in the United States. 18 sections of 21 CFR Part 820 appear replaceable with ISO 13485:2016 clauses but require appropriate review. Finally, 6 sections of 21 CFR Part 820 cannot be replaced at all with ISO 13485:2016 clauses, and the requirements of these sections must be adopted as is to establish a new quality system.

21 CFR Part 820와 ISO 13485:2016을 정성적으로 비교하여 유사점과 차이점을 도출하고, 규제와 표준을 통합하여 요구사항을 모두 포함하는 품질경영시스템을 수립하는 접근 방식이 있었다. 본 연구는 21 CFR Part 820와 ISO 13485:2016의 유사성을 정량적으로 분석하고, 21 CFR Part 820 요구사항을 대체할 수 있는 ISO 13485:2016 요구사항을 도출하는 방법을 제시한다. 한국과 일본은 ISO 13485:2016을 기반으로 추가 요구사항을 통합하여 의료기기의 시설 및 품질에 대한 표준을 수립했으며, 해당 국가에서 의료 기기를 생산하거나 관련 활동에 참여하는 조직과 사람들을 규제하기 위한 추가 요구사항을 제시하고 있다. 반면 미국은 21 CFR Part 820이라는 규정에 따라 의료 기기를 생산하거나 관련 활동에 참여하는 조직과 사람들을 규제하고 있다. 자연어 처리란 번역, 검색, 비교, 분석, 추출 및 생성에 사용되는 인간과 컴퓨터의 의사소통의 프로세스 및 결과이다. 과거에는 자연어 처리가 단어의 발생 빈도와 변환된 벡터 값에 의존했으나, 오늘날의 최첨단 자연어 처리에서는 문장에 "John"이 나오는지, 누군가의 친구 John인지, 아니면 성경 속 인물 John인지 판별할 수 있다. 이는 컴퓨터가 복잡한 맥락을 이해하는 능력을 향상시킨 Neural Network, 벡터화된 단어 표현을 학습할 수 있는 Word2Vec의 출현 덕분에 가능하다. 그리고 Transformers 모델의 출현으로 입력의 순차적 순서를 유지하면서 병렬적인 어텐션 메커니즘을 통해 모든 입력 값을 처리가 가능하다. 본 연구는 Transformer 아키텍처를 통합하고 문장 임베딩을 생성할 수 있는 Sentence-BERT를 사용하였으며, Cosine Similarity와 Normalized Discounted Cumulative Gain(NDCG), AAMI TIR 102:2019을 활용하여 21 CFR Part 820과 ISO 13485:2016을 비교하였다. Cosine Similarity는 의미적 유사성을 측정하는데, 1에 가까운 값은 매우 높은 유사성을 나타내고, 0에 가까운 값은 비유사성을 나타낸다. 그러나 유사성 값에 대한 사전 정의된 임계 값이 없다. 이 제한점을 해결하기 위해 AAMI TIR 102:2019와 NDCG를 도입하였다. AAMI TIR 102:2019는 21 CFR Part 820과 ISO 13485:2016 간의 양방향 매핑을 제공하는 반면 NDCG는 주로 순위가 매겨진 검색 결과의 품질을 평가하는 데 사용되는 지표이다. NDCG는 검색 결과 순서가 사용자가 원하는 결과와 얼마나 일치하는지 평가한다. 검색 결과 목록 상단에 관련성 점수가 높은 항목이 있다면, 검색 결과의 품질이 좋음을 의미한다. 본 연구에서 관련성 점수는 AAMI TIR 102:2019에 제공된 매핑을 기반으로 할당되었으며, 일치 시 1점, 일치하지 않는 경우 0점을 부여하였다. 마지막으로, 자연어 처리 분석의 결과에 대한 임계 값이 없는 제한점을 해결하기 위해 코사인 유사도와 NDCG 값의 범위를 설정하였다. Cosine Similarity 점수는 매우 높은 유사도(1 ~ 0.8), 중간적 유사도(0.8 ~ 0.6), 유사하지 않음(0.6 미만)의 세 가지 범주로 분류하였다. 마찬가지로 NDCG 점수는 Cosine Similarity와 AAMI TIR 102:2019의 주석과의 일치도에 따라 매우 높은 일치도(1 ~ 0.8), 부분적 일치도(0.8 ~ 0.6), 낮은 일치도(0.6 미만)의 세 가지 범주로 분류하였다. 섹션 820.30, 70, 72, 90 및 180은 ISO 13485:2016 조항과 매우 높은 유사성(0.8 이상)을 보였으며, AAMI TIR 102:2019의 주석과 높은 일치를 보였다. 이러한 섹션은 각 섹션을 수립할 때 일치하는 ISO 13485:2016 조항으로 대체할 수 있다. 또한, 섹션 820.20, 22, 25, 40, 50, 60, 75, 80, 86, 100, 120, 130, 150, 160, 170, 184, 198, 200은 ISO 13485:2016 조항과 중간 수준의 유사성(0.8 ~ 0.6)을 보였으며, AAMI TIR 102:2019의 주석과 부분적으로 일치함을 나타낸다. 이러한 섹션은 일치하는 ISO 13485:2016 조항과 대체 가능한 것으로 보이지만 추가 검토가 필요하다. 그러나 섹션 820.5, 65, 140, 181, 186 및 250은 ISO 13485:2016 조항과 불일치(0.6 미만)를 보였으며, AAMI TIR 102:2019의 주석과 낮은 일치성을 나타냈다. 이러한 섹션은 일치하는 ISO 13485:2016 조항으로 대체할 수 없으며, 해당 섹션의 요구사항을 그대로 수용하여 새로운 품질 시스템을 구축해야 한다. 본 연구에 21 CFR Part 820의 섹션과 ISO 13485:2016의 조항 사이의 유사점을 정량적으로 분석하고 평가한 결과, 대한민국 의료기기 제조업체들이 미국에 의료기기를 수출하거나 미국에서 의료기기를 제조하기 위해서 구축할 품질 시스템 요구사항 중 21 CFR Part 820의 5개 섹션은 일치하는 ISO 13485:2016의 조항으로 대체하여 품질 시스템을 구현할 수 있고, 21 CFR Part 820의 18개 섹션은 일치하는 ISO 13485:2016의 조항으로 대체 가능하지만 적절성에 대한 검토가 필요하다. 21 CFR Part 820의 6개 섹션은 일치하는 ISO 13485:2016의 조항으로 전혀 대체할 수 없고, 해당 섹션의 요구사항을 그대로 수용하여 새로운 품질 시스템을 구축해야 한다.