3D 실린더 모델기반 머리자세추정을 이용한 텔레프레즌스 화상회의시스템의 구현

Abstract

본 논문에서는 대화 상대의 머리 움직임을 모사하는 디스플레이장치를 가진 화상회의용 텔레프레즌스 로봇 시스템을 제안한다. 대화 상대의 머리자세는 동의나 부정을 나타내는 의사표시나 시선 방향을 통한 관심 표현의 단서를 제공하는 비언어적 소셜 신호 중 하나로, 이를 통해 원격지에 있는 사용자 간 영상기반 상호작용의 몰입감과 실존감을 증대시킬 수 있음이 알려져 있다. 이러한 실감형 텔레프레즌스 로봇 시스템을 구현하기 위해서는 영상 시퀀스로부터 화자의 머리 자세를 효과적으로 추정할 수 있는 알고리즘, 자연스러운 실재감을 유지하기 위한 매개체들 간의 실시간 통신, 합리적인 비용의 활용성이 높은 매개 로봇 장치가 필요하다. 본 논문에서는 먼저, 머리자세 추정 방법에 대한 선행 연구들을 분석하여 그 중에서 추정 정확도가 높고 실시간 환경에 적합하다고 알려져 있는 방법을 기반으로, 머리의 3D 모델과 특징점 추적을 결합한 효과적인 머리자세 추적 방법을 제안한다. 입력 영상으로부터 얼굴검출 시 피부색을 이용하는 방법을 제안함으로써, 얼굴 검출 모듈이 표정이나 각도 변화에 강인한 특성을 가지게 한다. 특히 온라인 참조 프레임 등록을 통하여 변화하는 얼굴 자세와 주변 환경의 변화에 적용할 수 있도록 한다. 매개 장치는 스마트기기와 저가의 범용 로봇 키트를 사용하여 누구나 간편하게 상호작용 효과가 증대된 텔레프레즌스 시스템을 구현할 수 있도록 한다. 제안된 시스템을 통해 간단한 구성으로 원격 환경 사이의 텔레프레즌스 화상회의 시스템을 구현할 수 있음에 따라, 고가의 제품들로 개인화가 힘들었던 텔레프레즌스 시스템의 보급이 확대되어, 일반 사용자들에게 교감형 텔레프레즌스 도구로서 활용될 수 있을 것으로 기대한다.| It was reported that a telerobot that communicates more than simply audio or video but also expressive gestures, body pose and proxemics allows for a more engaging and enjoyable interaction. To provide such social expression at a reasonable cost, this thesis proposes a cost-effective telepresence robot system for video communication which can deliver speaker’s head motion through it’s display stanchion. Head gestures such as nodding and head-shaking can deliver crucial information during conversation, and we can assume the eye-gaze of the speaker, which is known as one of the key non-verbal signals for interaction, from his/her head pose. In order to develop an efficient head tracking method, a 3D cylinder-like head model is employed and the Harris corner detector is combined with the Lucas-Kanade optical flow to be suitable for extracting 3D motion information of the model. Especially, a skin color-based face detection algorithm is proposed to achieve robust performance upon variant directions while maintaining reasonable computational cost. The performance of the proposed head tracking algorithm is verified through the experiments using BU's standard data sets. A design of the robot platform is also described in detail, as well as the design of supporting systems such as video transmission and robot control interfaces. Through some in-person experiments between apart sites it was found that the suggested telerobot system can deliver smooth head motion for more natural interaction.