확장현실 협업 환경을 위한 장면 합성 프레임워크 설계

Abstract

To facilitate sophisticated and organic collaboration and interaction between mixed reality (MR) users based on real-world environments and virtual reality (VR) users operating within computer-generated environments, the seamless alignment and generation of corresponding spaces and scenes between reality and virtuality are essential. This study proposes a scene synthesis framework aimed at accurately and effectively generating virtual scenes from real-world scenes. The proposed framework comprises geometric analysis to understand the three-dimensional structure of the real space and semantic interpretation to classify objects by type and features, facilitating the calculation of information necessary for virtual scene generation. To analyze the three-dimensional geometric information of real spaces, Microsoft HoloLens 2 device and Scene Understanding SDK are utilized to scan real scenes and extract mesh information of objects (such as walls, ceilings, and objects). Subsequently, semantic interpretation is performed using Azure Custom Vision to recognize and classify object types. Objects' types (features) in the real space are classified into tags, and labeling tasks are conducted to connect the geometric information (position) of all classified objects. Leveraging the object data (tags, transformations) from the real space, three-dimensional virtual objects are automatically placed, followed by fine adjustments for rotation and size, resulting in the creation of virtual scenes corresponding to reality. Based on this, the efficiency and performance of the proposed framework are evaluated by measuring the time required for each task, revealing the ability to effectively generate virtual scenes based on reality in approximately 10 minutes. Furthermore, this research aims to create educational content in creative studio spaces, fostering collaboration and interaction between MR and VR users in the same space. Additionally, a survey experiment is conducted to analyze the impact of the virtual environments created through the proposed framework on VR user experience. The results confirm the positive effects of real-based virtual scenes on user immersion, concentration, and adaptation, highlighting their potential for enhancing user experiences.| 현실을 기반으로 하는 혼합현실 사용자와 컴퓨터 그래픽을 통해 생성된 환경을 기반으로 하는 가상현실 사용자가 정교하고 유기적인 협업 및 상호작용을 수행하기 위해서는 현실과 가상이 동일한 좌표를 기준으로 대응되는 공간과 장면 생성이 필요하다. 본 연구는 현실 장면으로부터 가상 장면을 정확하고 효과적으로 생성하는 장면 합성 프레임워크를 제안한다. 제안하는 프레임워크는 현실 공간을 구성하는 3차원 구조와 객체의 구성 정보를 파악하기 위한 기하학적 분석, 객체의 종류와 특징을 분류하여 가상 장면 생성에 필요한 정보를 계산하기 위한 의미론적 해석으로 구성된다. 현실 공간의 3차원 기하학적 정보를 분석하기 위해 마이크로소프트 홀로렌즈 2 기기와 Scene Understanding SDK((Software Development Kit)를 사용하여 현실 장면을 스캔하고, 공간을 구성하는 객체의 메시 정보를 추출한다. 또한, Azure 커스텀 비전을 활용하여 객체의 종류를 인식하고 분류하는 의미론적 해석을 수행한다. 현실 공간을 구성하는 객체의 종류를 태그로 분류하고, 분류된 모든 객체의 기하학적 정보를 연결하는 라벨링 작업을 수행한다. 현실 공간을 구성하는 객체 데이터를 활용하여 3차원 가상 객체를 자동으로 배치하고, 회전과 크기에 대한 미세 조정을 거쳐 현실과 대응되는 가상 장면을 생성한다. 이를 기반으로 제안하는 프레임워크의 효율성과 성능을 검증하기 위해 작업별로 시간을 측정하였다. 결과적으로 각 단계별 10분 내외의 시간으로 현실을 기반으로 하는 가상 장면을 효과적으로 생성할 수 있음을 확인하였다. 또한, 본 연구는 현실을 기반으로 정교하게 설계된 가상 장면으로부터 혼합현실 사용자와 가상현실 사용자가 같은 공간에 함께 참여하여 협업하고 상호작용할 수 있는 체험 환경을 제시하는 것을 목표로 한다. 이를 위해 크리에이티브 스튜디오 공간에서 교육 활동을 목적으로 하는 콘텐츠를 제작하고, 제안하는 프레임워크를 통해 제작된 가상 환경이 가상현실 사용자의 경험에 미치는 영향을 분석하기 위한 설문 실험을 진행하였다. 실험을 통해 현실을 기반으로 만들어진 가상 장면이 몰입, 집중 그리고 적응 등 사용자의 경험에 긍정적인 영향을 미친다는 것을 확인하였다.