딥러닝 기반 자동 작곡에서 마디 임베딩을 이용한 곡의 생성 및 정량적 평가 방법에 대한 연구

Abstract

딥러닝(Deep Learning)을 이용하여 음악을 생성하는 연구는 다양하게 진행이 되어 왔으나, 생성된 음악에 대한 평가 방법 연구는 상대적으로 적다. 생성된 곡(song)의 품질을 평가할 수 없는 상태에서 자동 작곡 모델의 성능을 개선하기는 어렵기 때문에 평가는 매우 중요하며, 평가에는 또한 기준이 중요하다. 아직까지 가장 완성도가 높은 음악은 인간이 만든 곡이기 때문에 우리는 인간이 작곡한 곡을 평가의 기준으로 설정해서 자동 작곡 모델이 인간이 작곡한 곡과 얼마나 유사하게 곡을 생성하는지에 대한 정량적 평가를 진행하였으며, 인간이 작곡한 곡과 유사하게 곡을 생성할수록 평가 점수가 높게 나올 수 있는 평가 지표를 가진 정량적 평가 방법이 필요하였다. 이전 연구자들이 연구한 정량적인 평가 방법이 풍부하지 않기 때문에 본 연구에서는 기계 번역(Machine Translation, MT)이나 이미지 캡셔닝(Image Captioning) 같은 딥러닝의 다른 분야에서 사용되는 정량적 평가 방법들에 대해서 자세하게 분석한 후, 이를 딥러닝 기반 자동 작곡 모델 평가에 적용해보았다. 모든 자동 작곡 모델은 수학적인 모델이기 때문에 모델의 구현을 위해서는 음표를 모델이 인식할 수 있는 수치 데이터(numerical data)로 변환해야 한다. 음표를 수치 데이터로 변환하는 방식에는 0과 1의 2가지 정수만을 이용하는 원-핫 인코딩(one-hot encoding) 방식과 자연어 치리 분야에서 단어를 변환하는 방식인 단어 임베딩을 응용해서 구현한 음표 임베딩(note embedding) 방식이 있는데 본 연구에서는 두 가지 방식을 모두 사용하여 자동 작곡 모델을 구현하였으며 앞에서 서술한 바와 같이 딥러닝의 다른 분야에서 사용되는 정량적 평가 방법을 이용하여 이 두 가지 방식 중에서 어느 방식이 인간이 작곡한 곡과 더 유사하게 곡을 생성하는지를 평가하였다. 뿐만 아니라 자연어 처리 분야에서 문자 임베딩과 단어 임베딩이 가능하듯이 음악에는 음표와 마디가 있으므로 임베딩을 적용하는 단위를 세분화하여 새롭게 마디 임베딩(bar embedding) 방식을 구현하였으며 기존의 음표 임베딩 방식과 비교하여 어느 방식이 인간이 작곡한 곡과 더 유사하게 곡을 생성하는지를 정량적으로 평가하였다. 이를 통해서 딥러닝의 다른 분야의 정량적 평가 방법을 자동 작곡 분야에 적용함에 있어서 적용이 가능한 것과 적용할 수 없는 것을 확인하였으며, 원-핫 인코딩 방식과 음표 임베딩 방식 중에서는 음표 임베딩 방식의 평가 점수가 더 높았으며, 이번에 새롭게 구현한 마디 임베딩 방식과 음표 임베딩 방식 중에서는 마디 임베딩 방식의 평가 점수가 더 높았다. 이번 연구 결과를 통해서 기존의 원-핫 인코딩 방식이나 음표 임베딩 방식보다 마디 임베딩 방식이 인간이 작곡한 곡과 더 유사하게 곡을 생성한다는 사실을 확인하였기에 자동 작곡에서 마디 임베딩 방식을 사용하기를 제안한다.