딥러닝 기반 자동작곡에서 구성을 갖춘 곡 생성방법에 대한 연구

Abstract

최근 딥러닝 기술의 발전으로 인해 거의 모든 분야에서 인공지능을 활용한 방법이 도입되고 있다. 심지어 인공지능은 사람만 할 수 있다고 여겨져 왔던 창작의 영역에서도 활발하게 적용되고 있다. 2018년 뉴욕 크리스티 경매장에서는 최초로 인공지능이 그린 작품인 ‘에드몬드 벨라미의 초상화(Edmond De Belamy)’가 약 5억원(432,000달러)에 판매되었다. 음악에서도 인공지능은 예외가 아니다. 인공지능을 사용하여 새로운 곡을 작곡하는 많은 시도가 이루어지고 있다. 2016년 구글은 음악과 미술 창작이 가능한 인공지능 알고리즘을 설계하는 마젠타 프로젝트를 발표하였다. 그러나 이러한 여러 가지 시도에도 불구하고 아직도 사람이 작곡한 것과 같은 자연스러운 구성을 갖춘 곡을 생성하는 경우는 찾아보기 어렵다. 일반적으로 곡은 도입부, 전개부, 간주, 후렴부, 후주 등의 일정한 형식을 가지고 있다. 기존의 인공신경망을 이용한 자동작곡 모델들은 학습된 곡의 멜로디를 가지고 새로운 곡을 출력하므로 사람이 작곡한 것과 같은 특정한 구성을 갖춘 곡을 출력하는 데는 어려움이 있다. 본 논문에서는 인공신경망을 이용한 자동작곡에서 음악 구성적으로 부족한 부분을 개선하기 위해 멜로디에 곡 구성 정보를 함께 넣어주는 방법을 제안한다. 이를 위하여 기존 음악 데이터를 시간의 흐름에 따라서 변하는 동적 데이터인 멜로디와 보조적인 정적 데이터인 곡 구성 정보로 나누어 학습을 시키는 방법을 고안하였다. 실험 데이터로는 기승전결의 단순한 구성을 가지는 동요 곡들을 사용하였고, 생성된 곡의 정량적 판단을 위해 METEOR 점수와 BLEU 점수를 사용하여 평가하였다. 실험 결과 제안한 모델을 사용하였을 때 새로운 멜로디와 함께 의도한 대로 곡 구성 순서에 맞춰서 곡이 창작되는 것을 확인할 수 있었다. 또한 METEOR와 BLEU를 사용한 평가에서도 더 우수한 성능을 보이는 것을 확인할 수 있었다.