Spike train decoding에 기반한 인공와우 어음처리방식 성능평가

Abstract

[한글]인공와우장치는 소리정보를 담은 전기자극펄스를 이용하여 청신경을 직접 자극함으로써 청력을 회복시켜준다. 인공와우장치 구성부분 중 어음처리기는 입력되는 소리정보를 지정된 어음처리방식에 기반하여 전기자극펄스 형태로 바꾸어 청신경을 자극하므로 어음처리방식의 성능평가는 필수적이다. 인공와우의 시술 및 재활훈련 등을 통한 어음처리방식의 평가는 비용, 시간 그리고 시술대상이 사람이라는 점 등 제한이 많으므로 대부분의 연구에서 어음처리방식의 평가방법으로 acoustic simulation을 이용하고 있다. 그러나 인공와우 이식과 재활훈련 이후의 성능을 예측하기에는 한계점이 있으며 어음처리방식의 실제적인 성능평가를 위해서는 다각적인 방법을 이용하여야 한다. 본 연구에서는 새로운 어음처리방식 평가방법으로 spike train decoding에 기반한 평가법을 제안한다. 이 방법을 이용하여 인공와우 어음처리방식의 성능평가에 관한 연구를 수행하였다.현재 널리 이용되고 있는 어음처리기는 달팽이관 (cochlear)의 tonotopy특성을 모방하여 입력음성을 주파수 성분으로 분해하는 주파수 분석부와 이로부터 전기자극펄스의 크기를 결정하는 포락선 추출부로 나눌 수 있다. 본 연구에서는 일반적으로 사용되고 있는 시불변-선형 필터뱅크 기반 어음처리방식, 잡음하에서 강인한 음성정보 전달특성을 갖도록 주파수 분석부가 수정된 시변-비선형 필터뱅크 기반 어음처리방식, 음성시작점 정보 전달특성을 개선하기 위하여 포락선 추출부가 수정된 어음처리방식의 성능평가를 수행하였다.우선 시불변-선형 필터뱅크 기반 어음처리방식과 시변-비선형 필터뱅크 기반 어음처리방식을 이용할 경우 음성정보의 청신경 응답 인코딩특성을 관찰하였다. 두 어음처리방식을 spike train decoding에 기반한 평가방법을 이용하여 비교하였다. 실험결과 시변-비선형 필터뱅크에 기반한 어음처리방식을 채택할 경우 선형 필터뱅크에 의한 경우보다 청신경 응답에 인코딩된 음성정보를 충실히 복원할 수 있었고 잡음레벨이 강할수록 특히 음성과 유사한 형태의 잡음 하에서 잡음에 강인한 특성을 보였다.다음으로 어음처리방식에 적응효과를 추가하여 포락선 추출특성을 개선한 어음처리방식을 이용할 경우 음성의 시작점에 대한 정보 전달이 효과적으로 이루어지는지 관찰하였다. 정상인의 경우 내측유모세포와 청신경 사이의 화학적 시냅스에 의한 적응효과가 발생하지만 청신경을 전기적으로 자극하여 소리정보를 전달하는 인공와우의 경우 이를 기대할 수 없다. 그러므로 어음처리방식에 이를 추가하여야 한다. 어음처리방식에 적응효과를 적용 전후 음성시작점 정보 전달특성을 Spike train decoding에 기반한 방법을 이용하여 평가하였다. 실험결과 어음처리방식에 적응효과를 적용함으로써 음성시작점 정보 전달특성이 개선됨을 알 수 있었다.

[영문]This study suggest a novel method for the evaluation of cochlear implant (CI) speech processing strategy based on neural spike train decoding. From formant trajectories of input speech and auditory nerve responses responding to the electrical pulse trains generated from a specific CI speech processing strategy, optimal linear decoding filter was obtained, and used to estimate formant trajectory of incoming speech. Performance of a specific strategy is evaluated by comparing true and estimated formant trajectories. We compared a newly-developed strategy rooted from a closer mimicking of auditory periphery using nonlinear time-varying filter with a conventional linear-filter-based strategy. It was shown that the formant trajectories could be estimated more exactly in the case of the nonlinear time-varying strategy. The superiority was more prominent when background noise level is high, and the spectral characteristic of the background noise was close to that of speech signals. This confirms the superiority observed from other evaluation methods, such as acoustic simulation and spectral analysis.Adopting the rapid adaptation, investigated in the responses of auditory nerves, in the cochlear implant speech processing strategy can improve speech intelligibility. This improvement would be mostly due to the better delivery of place of articulation and speech onset. We applied adaptation in the biological cochlea to speech processing strategies. We could detect the speech onset easier by applying adaptation effect. So, it is possible to expect the improvement of speech intelligibility by offering the information of place of articulation and speech onset to CI users.