Segment Anything Model(SAM)을 활용한 광학 및 SAR 위성 융합 영상 기반 객체 추출

Abstract

2023년 4월, Meta AI는 제로샷(Zero-shot) 학습 기능을 지원하는 대규모 영상 분할 모델인 Segment Anything Model (SAM)을 발표하였다. 이후 객체 분할 기술이 다양한 분야에서 주목받기 시작했다. 특히, 원격탐사 분야에서 위성 영상을 활용한 수체 추출은 중요한 연구 주제로 수체의 정확한 식별은 환경 모니터링, 재해 관리, 수자원 평가, 도시 및 농업 계획 등 도움을 제공한다. 따라서 이번 연구에서는 고해상도 위성 영상인 KOMPSAT-3 광학 영상과 KOMPSAT-5 Synthetic Aperture Radar (SAR) 영상을 융합한 후 SAM을 활용하여 수체를 추출하였다. 일반적으로 광학 영상은 색상 정보를 제공하지만, 구름이나 대기 조건에 의해 식별 정확도가 저하될 수 있다. 반면 SAR 영상은 날씨 및 구름의 영향을 받지 않아 관측에 유리하지만, 노이즈가 많고 텍스처 정보가 부족하다. 이러한 문제를 해결하기 위해 두 영상의 특성을 결합하는 Wavelet 기반 이미지 융합 기법을 적용하였다. 융합 영상과 KOMPSAT-3 광학 영상을 사용하여 각각 SAM을 적용하였으며 평가를 위해 국토지리정보원의 수계 수치지도와 Open Street Map (OSM)의 수체 자료를 비교 자료로 사용하였다. mean Intersection over Union (mIoU) 와 가중치 Weighted IoU (WIoU) 지표를 사용하여 값을 분석한 결과, SAR 영상을 융합한 영상에서 수체 탐지 정확도가 향상됨을 확인하였다. SAM의 제로샷 분할 기능은 일반적인 객체에는 강점을 보이나, 다양한 형태를 가진 수체와 같이 특화된 객체에 대해서는 성능이 제한적일 수 있다. 이를 보완하기 위해 GLH-Water 데이터셋을 활용하여 미세조정(Fine-tuning)을 수행하였다. 또한 실제 환경을 위해 Google Street View (GSV)로부터 국내 수부 이미지를 수집하여 데이터셋에 추가하였다. 기본 모델에 비해 Fine-tuned 모델이 복잡하고 다양한 형태의 수체를 보다 정확하게 추출하며 성능이 향상됨을 확인하였다. 이는 고해상도 위성 영상에서의 수체 탐지 성능이 영상 융합 기법과 SAM의 미세 조정을 통해 효과적으로 향상될 수 있음을 보여준다. 특히, 다양한 지형과 환경 조건에서도 경계가 복잡한 수체를 안정적으로 분할할 수 있다는 점에서, 재난 대응, 수자원 관리 등 공간 정보 기반의 다양한 실무 분야에 실질적인 활용 가능성을 제시한다.

【주요어】KOMPSAT-3, KOMPSAT-5, Segment Anything Model, Water body, Wavelet-based Image Fusion, Fine-tuning|In April 2023, Meta AI introduced the Segment Anything Model (SAM), a large-scale image segmentation model capable of zero-shot learning. Since then, segmentation technologies have gained attention across various fields. In remote sensing, extracting water bodies from satellite images has become an important research topic due to its applications in environmental monitoring, disaster management, water resource assessment, and urban or agricultural planning. This study applies SAM to high-resolution satellite images by fusing KOMPSAT-3 optical images with KOMPSAT-5 Synthetic Aperture Radar (SAR) data to extract water bodies. Optical images offer color information but are affected by atmospheric conditions such as clouds, while SAR images are robust to weather but contain noise and lack detailed textures. To overcome these limitations, a wavelet-based image fusion method was used to combine the complementary characteristics of both image types. SAM was applied to both the optical and fused images, and performance was evaluated using river maps from the National Geographic Information Institute (NGII) and OpenStreetMap (OSM) water data. Accuracy was measured with mean Intersection over Union (mIoU) and Weighted IoU (WIoU), showing improved results for the fused images. Although SAM performs well in general object segmentation, its baseline version is limited when detecting complex and irregular water shapes. To enhance its performance, fine-tuning was conducted using the GLH-Water dataset, supplemented by domestic water body images collected from Google Street View (GSV). The fine-tuned model achieved better accuracy in segmenting diverse and small-scale water features. These results demonstrate that water body detection in high-resolution satellite imagery can be improved through image fusion and SAM fine-tuning. The proposed method can be practically applied in fields that require reliable spatial information, such as disaster response and water resource management, by enabling stable segmentation of water bodies under various geographic and environmental conditions.

【Keyword】 KOMPSAT-3, KOMPSAT-5, Segment Anything Model, Water Body, Wavelet-based Image Fusion, Fine-tuning