스파이킹 신경망을 위한 심층 신경망 가중치 변환 기법

Abstract

딥러닝에서 사용하는 기계학습 모델인 심층 신경망은 인간의 뇌 구조를 모방한 덕분에 기존 모델에 비해 강력한 성능을 보이며 기계학습 방법을 비약적으로 발전시켰다. 두뇌의 뉴런이 시냅스를 통해 연결되어 있듯, 신경망의 노드도 가중치를 통해 서로 연결되어 있으며, 입력되는 데이터에 의해 가중치가 조정되며 신경망이 학습된다. 수백만 개의 노드가 동시에 연산을 하는 신경망의 특성상 학습과 운용에 드는 비용이 매우 크며, 자연어 처리 모델과 같은 대규모 모델이 개발되며 이는 필수적으로 해결해야 하는 문제로 대두되었다. 스파이킹 신경망은 뇌 구조뿐만 아니라, 뉴런의 메커니즘도 함께 차용한 신경망으로, 기존의 신경망보다 향상된 전력 효율성 덕분에 합성곱 신경망과 순환 신경망을 잇는 3세대 신경망으로 각광받고 있다. 그러나 아직 관련 연구가 충분히 이루어지지 않았고, 새로운 모델을 도입하기 위해서는 모델을 다시 학습해야 하는 문제 등 높은 진입장벽으로 상용화에 어려움을 겪고 있다. 본 논문에서는 스파이킹 신경망으로 분류 작업을 진행하여 기존 신경망과 성능을 비교하였고, 생성 작업을 진행하여 생성된 이미지를 확인하였다. 실험 결과, 스파이킹 신경망의 성능이 기존 신경망에 성능에 미치지는 못하였으나, 스파이킹 신경망 하이퍼 파라미터 조정 여부에 따라서 추론 시간과 정확도 등의 수치가 큰 폭으로 변화하는 것을 확인하였다. 또한, 기존 신경망의 기학습된 가중치를 스파이킹 신경망으로 전달하여 학습 없이 신경망을 사용할 수 있게 하는 가중치 변환을 설계하였다. 실험 결과, 10% 내외의 정확도 손실이 있었으나 성공적으로 가중치가 변환되었다. 본 실험들을 통해서, 스파이킹 신경망은 하이퍼 파라미터 조정에 따라서 다양한 도메인에 적용할 수 있으나, 보다 효율적으로 사용하기 위해서는 파라미터 최적화 연구가 필요함을 알 수 있었다. 또한, 가중치 변환을 통해서 효율적으로 모델을 전환하고, 빠르게 프로토타입 모델을 구축할 수 있음을 보였다.