심층신경망을 위한 GPU 기반 시스템에서의 우선순위 기반 성능 격리 및 스케줄링 기법

Abstract

GPU 기반 시스템에서 CPU의 응용들은 DNN 연산을 GPU에 전달한다. 이때 CPU 측 OS에 의해 설정된 응용의 우선순위에 관계없이 DNN 연산은 FIFO 방식으로 GPU에 전달된다. 본 논문에서는 GPU 기반 시스템을 임베디드 시스템과 서버 시스템으로 나눠서 각 시스템에 맞는 GPU 스케줄링 기법을 제안한다. 제한된 환경을 갖고 있는 임베디드 시스템에선 CPU측의 높은 우선순위를 가진 DNN 응용이 GPU에서 최우선적으로 처리되어야한다. 본 논문에서는 임베디드 시스템에서 다수의 DNN 모델이 동시에 실행될 때 우선순위를 고려해서 GPU 리소스를 할당하는 스케줄링 기법을 제안한다. 낮은 우선순위의 DNN 응용이 먼저 실행되고 있어도 높은 우선순위의 DNN 응용이 이를 선점할 수 있어 높은 우선순위의 DNN 응용의 빠른 응답 특성을 보장한다. 다중 GPU로 구성되어있는 서버 시스템에서는 각 DNN 응용이 우선순위에 비례한 GPU 점유율을 가질 수 있는 gCFS를 제안한다. gCFS는 CPU 측의 공정 공유 스케줄링(fair-sharing scheduling) 을 계승하여 우선순위에 비례하여 성능 분리를 달성한다. 스케줄링 단위를 세분화하여 GPU 점유 시간을 보다 정확하게 제어할 수 있으며 DNN 워크로드를 더 조밀하게 대기열에 넣을 수 있어 GPU 유휴 시간을 단축할 수 있다. 스케줄링 시 DNN 워크로드의 길이는 주어진 GPU 점유 시간으로 조정되고 최적의 GPU 선택이 동적으로 수행된다. 각 시스템에서 다수의 DNN 모델이 동시에 실행될 때 스케줄링 기법이 존재하는 경우가 존재하지 않는 경우에 비해 성능 향상이 크게 개선되었으며 전체 실행 시간이 각각 최대 76.6%, 40.4% 단축된다.