스파이킹 심층 신경망을 위한 오픈신경망교환포맷

Abstract

스파이킹 신경망(Spiking Neural Network, SNN)은 3세대 신경망으로 1, 2세대 신경망과 다른 메커니즘(Mechanism)으로 동작한다. 비 스파이킹 신경망인 1세대 신경망 단일 계층 퍼셉트론(Single Layer Perceptron, SLP)과 2세대 신경망인 다중 계층 퍼셉트론(Multi Layer Perceptron, MLP)에서는 입력 값에 대해서 생물학적 메커니즘을 고려하지 않은 활성함수를 거쳐 출력 값을 내보낸다. 반면 3세대 신경망인 스파이킹 신경망에서는 기존 활성화함수보다 실제 뉴런의 생물학적 메커니즘과 가장 유사한 뉴런모델을 기반으로 동작한다. 하지만 스파이킹 신경망을 사용하지 않더라도 기존 비 스파이킹 신경망에서도 좋은 성과들이 있었다. 심층 신경망(Deep Neural Network, DNN)의 구조에 따라 성능이 개선되는 것인데 이러한 점에 영감을 받아 스파이킹 신경망에 비 스파이킹 심층 신경망 모델 구조를 가져와 뉴런모델만을 스파이킹 뉴런으로 대체하는 시도들이 있었다. 하지만 인공지능 프레임워크마다 다른 데이터 포맷 때문에 같은 신경망 구조를 각각의 프레임 워크에서 다른 데이터 포맷으로 표현한다. 이러한 문제 때문에 다른 프레임워크로 변환하는 과정이 필요하게 된다. 이러한 문제를 기존 인공지능 프레임워크에서는 오픈신경망교환포맷(Open Neural Network, ONNX)을 사용하여 해결했다. 다른 인공지능 프레임워크에서 만들어진 모델을 오픈신경망교환포맷으로 변환하고 변환 툴을 사용해서 변환하고자 하는 인공지능 프레임워크에 맞는 데이터 포맷으로 변환하는 방식이다. 즉 오픈신경망교환을 지원하는 프레임워크는 인공지능모델을 간단히 변환하여 사용할 수 있다. 하지만 스파이킹 신경망을 지원하는 프레임워크에서는 현재 오픈신경망교환포맷을 지원하고 있지 않고 있으며 오픈신경망교환포맷에 스파이킹 뉴런에 대한 정의도 되어 있지 않다. 본 논문에서 제안하는 내용은 다음과 같다. 첫 번째 오픈신경망교환포맷을 기반으로 스파이킹 신경망을 표현할 수 있도록 하기 위해 ONNX-SNN을 제안하고 오픈신경망교환포맷에서 ONNX-SNN로 변환방법에 대해 소개한다. 두 번째 ONNX-SNN을 Nengo 프레임워크상에서 사용할 수 있는 모델 생성 및 코드 생성 방법을 제안한다.|Spiking Neural Network(SNN) is a third-generation natural network and operations with a different mechanism from the first and second-generation natural networks. The non-spiking neural network Single Layer Perceptron(SLP) and the second generation neural network Multi Layer Perceptron(MLP) export output values through active functions that do not consider biological mechanisms for input values. In contrast, the third-generation neural network, Spiking Neural Networks, operates on a neuron model that is most similar to the biological mechanism of the actual neuron than to the existing activation function. However, even if the network is not used, there have been good results in the existing non-spiking neural network. Inspired by this, there have been attempts to take a non-spiking deep neural network model structure into the spiking neural network and replace only the model of neuron with a spikng neuron. However, due to different data formats for each artificial intelligence framework, the same neural network structure is expressed in different data formats in each framework. Because of this problem, the process of converting to another framework is necessary. This problem was solved by using ONNX(Open Neural Network Exchange) in previous artificial intelligence frameworks. It converts models made in other AI frameworks into ONNX. and The conversion tool is used to convert to a data format able for the artificial intelligence framework that you want to convert. That is, a framework that supports ONNX. can be used simply by converting an artificial intelligence model. However, the framework that supports the Spike Neural Network does not currently support ONNX, nor does ONNX have a definition of a Spike neuron. The contents proposed in this paper are as follows. First, ONNX-SNN is proposed to enable the expression of the neural network of spikes based on ONNX. In addition, the conversion method from ONNX to ONNX-SNN is introduced. Second, A model conversion and code generation method is proposed that ONNX-SNN can be used in the Nengo framework.

KEYWORD: Perceptron, Spiking Neural Network, Open Neural Network