Validity and reliability of equal-apprearing interval scales for speech intelligibility test of dysarthria
Authors
박혜진
Issue Date
2007
Description
언어병리학 협동과정/석사
Abstract
[한글]
말명료도란 환자의 말을 상대방이 의미적으로 알아들을 수 있는 정도를 말한다. 말명료도를 평가함으로써 말의 하부체계들이 독립적이면서 상호적으로 기능하는지, 실제로 환자가 타인과 어느 정도의 대화가 이루어질 수 있는지를 알아볼 수 있다. 말명료도 평가에 가장 널리 사용되고 있는 청지각적 평가방법은 등간척도법으로서, 청자가 각 자극을 듣고 눈금이 그려진 연속적인 선 위에 환자의 상태에 해당하는 수를 표시하는 방법이다. 여러 연구자가 각자 사용하는 등간척도 점수 종류는 다양하지만 일정한 기준 없이 척도 점수를 사용하고 있으며, 어떤 척도 점수가 가장 타당도와 신뢰도가 높은지에 대한 연구가 이루어지지 않았다.이에, 본 연구에서는 마비말장애 환자의 말명료도를 3점, 5점 및 7점의 세 가지 등간척도법으로 평가하여 각 척도 점수에 대한 타당도와 신뢰도를 알아보고자 하였다. 또한 언어치료 경험의 여부에 따라 평가 집단을 둘로 나누어 언어치료 경험이 있는 평가자 집단과 경험이 없는 평가자 집단 사이에 평가 척도에 따라 수행력이 차이가 있는지 알아보고자 하였다.본 연구를 위해 17명의 평가자를 모집하였는데, 7명은 1년 이상의 언어치료 경험이 있는 언어치료전문가들이며, 10명은 치료 경험이 없는 대학원생들이었다. 이들은 미리 녹음된 25명의 마비말장애 환자들의 문단읽기 발화 샘플을 들으면서 3, 5, 7점의 등간척도법을 사용해 말명료도를 평가하였다. 등간척도평가 결과는 일음절 낱말대조 명료도 검사 결과와 비교하여 Pearson 상관분석을 통해 공인타당도 검정을 하였다. 또한 평가자내 신뢰도와 평가자간 신뢰도를 알아보기 위해 Pearson 상관분석을 실시하였다. 본 연구의 결과는 다음과 같다.첫째, 공인타당도의 경우 세 가지 등간척도법에 대해 언어치료전문가와 대학원생 집단이 모두 유의한 타당도를 보였다.둘째, 평가자내 신뢰도의 경우, 3점 척도를 사용했을 때, 언어치료전문가와 대학원생 집단에서 각각 43%와 30%의 평가자만이 유의한 신뢰도를 보였다. 반면, 5점 척도에서는 언어치료전문가와 대학원생 집단의 평가자 모두가 유의한 신뢰도를 보였다. 7점 척도에서는 언어치료전문가 집단 평가자는 모두 유의한 신뢰도를 보인 반면, 대학원생 집단은 60%의 평가자만 유의한 신뢰도를 보였다.셋째, 평가자간 신뢰도의 경우에는 두 집단이 공통적인 양상을 보였다. 3점 척도의 경우 두 집단에서 각각 두 쌍의 평가자들이 유의하지 않은 신뢰도를 보였으나, 5점 및 7점 척도에서는 두 집단이 모두 유의한 신뢰도를 보였다.본 결과들을 종합해보면, 언어치료전문가 집단에서는 5점 척도와 7점 척도가, 대학원생 집단에서는 5점 척도만이 타당도 및 신뢰도를 가진 평가법으로 나타났다. 따라서 치료경험의 여부와 상관없이 타당도와 신뢰도가 높은 평가방법은 5점 척도라고 할 수 있다. 그러나 평가자의 치료경험이 많아지면 평가자의 신뢰도가 높아지므로 7점 척도 역시 타당도와 신뢰도가 높은 평가방법이 될 수 있을 것이다. 이러한 결과는 5점 척도가 환자의 상태를 충분히 설명할 정도로 등간이 세분화되어 있으며 평가 신뢰도에 방해를 주지 않는 좋은 평가법이라고 인식되어온 이전의 주장을 지지해주며, 평가자의 치료경험이 증가할수록 평가자의 신뢰도가 높아진다는 이전의 연구를 뒷받침한다. 본 연구의 의의는 이러한 주장에 대한 구체적 근거를 제시해 주었다는 점이다. 이에 따라, 향후 여러 연구와 치료에서 다양하게 사용되었던 등간척도 점수를 통일해서 사용하는데 도움이 될 수 있을 것이다.
[영문]Speech intelligibility is a measure of the degree to which a person’s speech can be understood by a listener. Speech intelligibility is a measure of functional limitation, providing global information regarding how well the speech subsystems work together to produce speech. The most common method of assessing dysarthric speech intelligibility is the use of Equal-Appearing Interval (EAI) scales. EAI scales require listeners to assign a number between 1 and n to a speech sample, where n is the number of points on the scale. In previous studies, speech language pathologists (SLPs) used various point scales with no rationale given to validate the choice. The purpose of this study was to compare different rating scales to investigate the most valid and reliable scale among 3-, 5-, and 7-point EAI.Seventeen raters participated in this study. Seven raters were licensed SLPs with experience in assessment and treatment of dysarthria. The other 10 were graduate program in speech and language pathology with no experience in speech therapy. Twenty-five dysarthric subjects showed various levels of dysarthric severity. Each subject was evaluated with the Phonemic Contrast Test (PCT) which utilizes a closed set of response choice method. Each subject was to read a Korean standard passage, ‘Autumn’ and the speech intelligibility of each subject was compared with raw scores of PCT performances to investigate validity using Pearson’s correlations. The ratings were repeated after one week for assessing intra-judge reliability. Pearson’s correlations were calculated for intra- and inter-judge reliabilities.The results were as follows:1. In terms of concurrent validity, all four rating scale methods were significantly correlated with PCT.2. In terms of intra-judge reliability, only 43% of SLP raters and 30% of the graduate student raters showed significant reliability in the 3-point scale. Using the 5-point scale, all raters of two groups showed significant reliability. In the 7-point scale, all of the SLPs and only 60% of the graduate students were significantly reliable.3. In terms of inter-judge reliability, both groups had significant reliability using the 5- and 7-point scales. However, two pairs of each group did not show significant reliability using the 3-point scale.In conclusion, both 5- and 7-point scales in the SLP group, and only the 5-point scale in the graduate student group were valid and reliable. Therefore, the 5-point scale was the most valid and reliable scale regardless of experience. Furthermore, as raters have more experience, the 7-point scale can be considered as a valid and reliable method as well. These results supported other research that considered the 5-point scale of EAI as a widespread and reliable method. Further studies are needed to apply these results to other speech dimensions such as hypernasality and monopitch.