가상현실과 증강현실로 구성된 비대칭 가상환경에서 몰입형 상호작용을 위한 사용자 인터페이스 설계

Abstract

본 연구는 가상현실 사용자와 증강현실 사용자로 구성된 비대칭 가상환경에서 향상된 현존감과 만족하는 경험을 제공할 수 있는 새로운 체험환경과 몰입형 상호작용을 위한 사용자 인터페이스를 설계한다. 제안하는 체험환경은 사용자의 참여 방식과 특징을 고려하고 부가적인 장비의 활용을 최소화함으로써 접근성과 범용성을 높이는 것이 핵심 목표이다. 또한, 가상환경 또는 사용자 사이의 효과적인 의사소통과 신체를 활용한 직접적인 상호작용을 기반으로 직관적이면서 몰입감 높은 사용자 인터페이스를 제안한다. 우선, 가상현실과 증강현실 체험환경의 차이와 각각의 특징을 고려하여 시점 기반의 비대칭 상호작용을 설계한다. HMD(Head Mounted Display)를 활용하여 가상환경에 참여하는 가상현실 사용자는 1인칭 시점에서 컨트롤러와 손 제스처를 대응시킨 인터페이스를 기반으로 손 제스처와 객체제어에 대응한 상호작용을 설계하여 가상환경, 객체 등과의 직관적인 상호작용이 가능하도록 한다. 증강현실 사용자는 모바일 플랫폼환경에서 3인칭 시점을 통해 가상 장면을 전체적으로 인지하면서 상황을 판단하고 터치 입력방식을 활용하여 가상환경, 객체는 물론 사용자와의 직접적인 의사소통이 가능한 인터페이스 및 3인칭 상호작용이 가능하도록 한다. 다음으로, 컨트롤러와 같은 입력 장비나 GUI를 통한 의사결정 과정을 최소화하여 빠르고 직관적인 상호작용을 제공할 수 있도록 딥러닝을 활용한 비대칭 가상환경(Asymmetric Virtual Environments)을 제안한다. 가상현실 사용자는 컨트롤러가 아닌 실제 손을 활용하여 가상환경과 직접 상호작용하고 딥러닝을 기반으로 손 제스처에서 행동으로 빠르게 연결되는 제스처 인터페이스를 설계한다. 증강현실 사용자는 터치 입력방식에 딥러닝을 응용하여 손 글씨로부터 행동을 직접 연결하는 텍스트 인터페이스를 설계한다. 시점과 딥러닝을 기반으로 한 인터페이스와 몰입형 상호작용을 설계함으로써 향상된 현존감, 만족하는 경험을 제공하는 새로운 비대칭 가상환경을 제안함을 목적으로 가상현실, 증강현실 사용자가 함께 참여하는 체험환경을 구성한다. 또한, 각각의 체험환경에 부합한 애플리케이션을 제작하여 사용자 대상의 설문실험을 수행한다. 설문은 USE(usefulness, satisfaction, easy for use)(Lund, 2001)를 통한 인터페이스 만족도, PQ(presence questionnaire)(Witmer et al., 2005), Networked Minds Measure of Social Presence(Biocca et al., 2001)를 활용한 비대칭 가상환경에서의 사용자별 현존감 분석, GEQ(game experience questionnaire)(Poels et al., 2007)로부터 비대칭 가상환경에서의 경험을 통계 분석한다. 이러한 과정을 통하여 제안하는 인터페이스와 이를 기반으로 구성된 새로운 비대칭 가상환경에서 사용자는 참여하는 체험환경의 특징과 역할에 따른 경험과 향상된 현존감과 함께 플랫폼에 적절하게 대응되는 인터페이스 만족도까지 통계적으로 큰 유의미한 차이 없이 가상현실, 증강현실 사용자 모두에게 긍정적인 효과가 있음을 확인하였다.