Attention-based canonical microcircuit model for spiking neural network

Abstract

선택적 주의(selective attention)는 모호한 환경 속에서 목표와 관련된 자극을 우선적으로 처리할 수 있도록 하는 핵심적인 인지 기능이다. 본 연구는 콜린성 주의 조절을 포함한 신경조절 메커니즘(neuromodulation)에서 영감을 받아, 뉴런의 흥분도를 동적으로 조절하는 생물학적으로 타당한 주의 메커니즘을 스파이킹 신경망(Spiking Neural Network, SNN)에 구현하였다. 제안된 모델은 두 구획(two-compartment) 구조의 뉴런으로 구성된 세 개의 은닉층을 포함하며, 과제 단서(cue)에 따라 입력 이미지의 전경 혹은 배경 숫자에 주의를 집중하도록 설계되었다. 학습은 일반 숫자 이미지로 기본적인 분류 능력을 학습하는 사전 학습 단계와, 겹쳐진 숫자 이미지와 주의 단서를 함께 제공하여 주의 조절을 학습하는 미세 조정 단계로 구성되었다. 실험 결과, 주의 메커니즘을 적용한 모델은 주의를 사용하지 않은 기본 모델 및 무작위 주의 모델에 비해 높은 정확도를 보였으며, 과제와 무관한 숫자에 반응하는 ‘반전 오류’를 현저히 줄였다. 특히 가장 깊은 은닉층(3층)에서 주의 조절의 효과가 가장 뚜렷하게 나타났으며, 에너지 사용 효율도 높아졌다. 또한 억제를 억제하는(disinhibition) 방식의 주의 조절이 해당 층에서 주로 이루어졌으며, 주의가 과제와 관련된 숫자 영역에 정확하게 집중된다는 점도 확인되었다. 본 연구는 생물학적 신경조절 원리를 바탕으로 스파이킹 신경망에서 과제 기반 선택적 처리를 효과적으로 구현할 수 있음을 보여주며, 향후 복잡한 환경이나 다양한 주의 과제를 다루는 신경망 설계에 기초적인 방향을 제시한다.

Selective attention allows organisms to prioritize goal-relevant stimuli under ambiguity. Inspired by neuromodulatory mechanisms—especially cholinergic modulation—we propose a biologically grounded attention mechanism for spiking neural networks (SNNs). Our model dynamically regulates neuronal excitability by modulating firing thresholds using task-driven attention signals. The network consists of three hidden layers of two-compartment neurons and receives top-down attention cues that guide focus toward either the front or back digit in overlapped MNIST images. Training was performed in two stages: pretraining on standard MNIST digits without attention, and fine-tuning with attention cues on overlapped digits. Our results show that the attention model significantly outperformed baseline and control models, reducing reversed prediction errors and restoring clean internal representations of target digits. Attention effects were strongest in the deepest hidden layer (Layer 3), which also showed the most efficient learning and energy optimization. Additional analysis revealed that attention operated via both excitation and disinhibition, and that spatial attention was accurately allocated to task-relevant regions. This study demonstrates the utility of neuromodulatory attention in SNNs and offers a biologically plausible approach for task-dependent selective processing.