몰입형 가상환경을 위한 모션 캡처 기반의 가상 아바타 응용

Abstract

본 연구는 몰입형 가상환경에서 가상현실 사용자의 몰입감을 높이고 다 양한 경험을 제공하기 위한 방법으로 모션 캡처 기반의 가상 아바타를 응용 하는 방법을 제안한다. 이를 위해 PC, 모바일과 같은 비몰입형 사용자와 VR HMD를 사용하는 몰입형 사용자가 함께 참여하여 실시간으로 스트리밍된 모 션 캡처 데이터를 통해 가상공간에서 생성된 모션 캡처 기반의 가상 아바타 와 상호작용할 수 있는 통합 개발 환경을 구축하였다. 먼저 제안하는 배우 기 반 모션 캡처 아바타가 가상현실 사용자에게 주는 긍정적인 효과를 분석하기 위해 사전에 정해진 패턴에 따라 동작하는 비사용자(NPC) 아바타와 같은 가 상환경에서 순서대로 사용자와 상호작용한다. 이를 기반으로 수행한 사용자 설문 실험 결과 모션 캡처를 활용한 배우 기반 아바타를 통해 사용자에게 불 규칙하며 예측할 수 없는 다양한 경험을 제공하며 이를 통해 높은 몰입과 긍 정적인 경험을 제공하는 것을 확인하였다. 배우 기반 아바타는 사용자에게 높 은 몰입감을 제공할 수 있지만 마커를 부착한 배우와 캡처 장소 및 캡처 장 비를 필요로 하며 이는 높은 비용을 요구한다. 이를 완화하면서 가상환경 사 용자에게 높은 몰입감을 제공하기 위한 방법으로 추가적으로 강체 추적 기반 아바타를 제안한다. 이를 위해 보다 적은 비용으로 배우의 신체 정보를 추적, 기록하는 방식이 아닌 실시간 강체 추적 기반 역운동학을 통해 가상 아바타 의 현실적인 동작을 추정한다. 제안하는 강체 추적 기반 아바타를 사용하여 몰입형 가상환경에 관한 응용을 실험 및 분석하기 위해 과학실험 교육 콘텐 츠를 제작하고 제안하는 강체 추적 방법과 시청각 교육, 전신 추적 방법과 사 용자 설문을 통해 몰입과 교육 효과를 비교 분석하였다. 결과적으로 강체 추 적 기반의 가상 아바타를 활용하여 전통적인 시청각 교육보다 높은 몰입과 교육 효과를 얻을 수 있으며 전신 추적을 위한 많은 작업이 없이 긍정적인 경험을 제공할 수 있음을 확인하였다. 【주요어】 모션 캡처, 가상 아바타, 강체 추적, 몰입형 가상환경, 가상현실|This study proposes the application of motion capture-based virtual avatars as a method to enhance the immersion of virtual reality users and provide diverse experiences in immersive virtual environments. To achieve this, we established an integrated development environment where both non-immersive users, such as those using PCs or mobile devices, and immersive users using VR headsets could participate together. This environment allows real-time interaction with motion capture-based virtual avatars in the virtual space through streaming motion capture data. To analyze the positive effects of the proposed actor-based motion capture avatars on virtual reality users, interactions were conducted sequentially with non-player character (NPC) avatars that follow predetermined patterns in a virtual environment. Based on the results of user surveys conducted after these interactions, it was confirmed that the actor-based avatars utilizing motion capture provide users with unpredictable and diverse experiences, leading to high immersion and positive experiences. While actor-based avatars offer high immersion to users, they require the attachment of markers to actors, specific capture locations, and capture equipment, resulting in high costs. To address this, we additionally propose rigid-body tracking-based avatars as a method to provide high immersion to virtual environment users while mitigating the cost. For this purpose, we estimate the motion of virtual avatars in real-time based on inverse kinematics using rigid-body tracking, which is not based on tracking and recording the bodily information of actors but is a more cost-effective solution. To experimentally and analytically apply the proposed rigid-body tracking-based avatars to immersive virtual environments, we created scientific educational content. We compared and analyzed immersion and educational effects through auditory education, whole-body tracking methods, and user surveys. As a result, it was confirmed that the use of rigid-body tracking-based avatars can achieve higher immersion and educational effects than traditional auditory education, providing a positive experience without the need for extensive work on whole-body tracking.【Key words】 Motion Capture, Virtual Avatar, Rigid-Body Tracking, Immersive Virtual Environment, Virtual Reality