도메인 간 특징 분리 및 합성 기반의 내재적 생성 데이터 증강 기술을 활용한 Rainy 이미지 분할 향상

Abstract

비는 일반적인 기상 조건 중 하나로, 물체 감지 및 분할과 같은 자율 주행 시스템에서 화질 저하의 주요 원인이 되어 악천후 조건에서의 자율 주행을 어렵게 만든다. 현재 맑은 날씨 조건에서의 시맨틱 세그멘테이션 모델은 큰 발전을 이루었으나, 이미지 품질이 저하되는 악천후 상황에서는 성능이 급격히 떨어진다. 비 오는 상황에서도 세그멘테이션 성능을 유지 하기 위해, 비 오는 영상과 깨끗한 영상이 쌍으로 존재하는 데이터셋을 사용하여 세그멘테이션 모델을 파인튜닝하려 했으나, 세그멘테이션 GT가 함께 존재하지 않는다는 문제가 발생했다. 또한 지금까지의 연구는 비 오는 영상을 디레이닝한 후 다른 세그멘테이션 모델로 추론하는 방식이었으나, 성능이 좋지 않았다. 기존의 비 오는 영상과 원본 영상이 쌍으로 존재하는 데이터셋은 주행 영상이 아닌 다른 도메인의 영상으로 구성되어 있어 세그멘테이션 GT가 없고, 세그멘테이션 데이터셋은 비 오는 영상을 제공하지 않는다. 이를 해결하기 위해 본 연구에서는 비 오는 영상을 생성할 수 있으며, 생 성된 비 오는 영상에서 세그멘테이션이 잘 이루어지도록 해야 한다고 주 장한다.DSANet은 배경 특징과 비 특징을 분리하고 이를 다시 합성하여 배경을 더 잘 보존하고 다양한 비 효과 적용을 용이하게 함으로써 비오는 영상을 증강할 수 있다. 본 연구에서는 DSANet을 활용한 rainy image augmentation을 통해 자율 주행 영상을 비 오는 영상으로 생성하고, 이를 사용해 세그멘테이션 모델을 파인튜닝하였다. 그 결과, 기존 세그멘테이션 모델에 비해 우리 모델의 성능이 훨씬 우수했으며, 기존의 디레이닝 모델 을 통해 비를 제거한 후 사전 학습된 세그멘테이션 모델에 적용한 다른 모델들에 비해 탁월한 성능을 보였다.