Implementation of Interactive Media Content Production Framework based on Gesture Recognition

In this paper, we propose a content creation framework that enables users without programming experience to easily create interactive media content that responds to user gestures. In the proposed framework, users define the gestures they use and the media effects that respond to them by numbers, and link them in a text-based configuration file. In the proposed framework, the interactive media content that responds to the user's gesture is linked with the dynamic projection mapping module to track the user's location and project the media effects onto the user. To reduce the processing speed and memory burden of the gesture recognition, the user's movement is expressed as a gray scale motion history image. We designed a convolutional neural network model for gesture recognition using motion history images as input data. The number of network layers and hyperparameters of the convolutional neural network model were determined through experiments that recognize five gestures, and applied to the proposed framework. In the gesture recognition experiment, we obtained a recognition accuracy of 97.96% and a processing speed of 12.04 FPS. In the experiment connected with the three media effects, we confirmed that the intended media effect was appropriately displayed in real-time according to the user's gesture. Keyword : gesture recognition, interactive media, dynamic projection mapping, deep learning, convolutional neural network 특집논문 (Special Paper) 방송공학회논문지 제25권 제4호, 2020년 7월 (JBE Vol. 25, No. 4, July 2020) https://doi.org/10.5909/JBE.2020. 25.4. 545 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) 546 방송공학회논문지 제25권 제4호, 2020년 7월 (JBE Vol. 25, No. 4, July 2020) a) 서울미디어대학원대학교 뉴미디어학부 미디어공학&인공지능 응용소프트 웨어학과(Department of Newmedia, Seoul Media Institute of Technology, Seoul, South Korea) ‡Corresponding Author : 최유주(Yoo-Joo Choi) E-mail: yjchoi@smit.ac. kr Tel: +82-2-6393-3235 ORCID: https://orcid.org/0000-0001-7520-097X ※This research was supported by Basic Science Research Program through the National Research Foundation of Korea (NRF-2017R1D1 A1B03035718) funded by the Ministry of Education. Manuscript received June 17, 2020; Revised June 23, 2020; Accepted June 23, 2020. I. 서 론 프로젝션 맵핑은 투사하는 대상의 표면에 가상의 무대 공간을창조할수있기때문에빠른무대장면전환을통한 이야기전개가가능하다. 전통적인극장공연및다양한대 형행사의무대연출에서현대의첨단기술은 해당 콘텐츠 생산에 핵심적인 요소로 작동하고 있다. 기존의 무대 제 작 방식에 비해 창작자의 의도대로 무대 연출이 자유롭고 물리적, 경제적한계가적으며스토리에따라쉬는시간없 이빠르게전환이 가능한무대연출은관객의 흥미와몰입 을강화시키는요인중하나이다. 이에따라디지털사이니 지(Digital Signage)와같은마케팅분야를포함하여공공장 소디스플레이, 전시공간, 공연무대, 패션쇼등다양한분 야에서맵핑을활용한융복합콘텐츠가퍼져나가고있다. 특히 실시간으로 사물이나 사람의 위치와 동작 등을 추적 하여그에 어울리는 효과를 발생시키는 ‘제스처 기반의 동 적 프로젝션 맵핑 콘텐츠’는 융복합 인터랙티브 미디어 콘 텐츠들 중 하나로, 공연 예술계에서 지속적으로 시도되고 있다. 하지만동적프로젝션맵핑콘텐츠제작은사전에필 요한준비과정이 많고 구현 난이도가높은데다기존에배 포되어 있는 프로젝션맵핑유료상용화 툴은 제스처기반 의 동적 프로젝션 맵핑을 지원하지 않으며 개발자가 직접 툴을수정하는것이불가능하다. 따라서공연자의동작에 따른 효율적인 미디어 이펙트에 대한 처리가 복잡한 프로 그래밍 과정 없이 용이하게 이루어질 수 있도록 하는 ‘인 터랙티브 콘텐츠 제작 프레임워크’가 요구되고 있다. 이에 본 논문에서는 사용자의 제스처에 따라 반응하는 인터랙티브미디어콘텐츠를프로그래밍경험이없는사용 자가쉽게제작할 수있도록 하는 콘텐츠제작프레임워크 를 제안한다. 제안 프레임워크에서 사용자는 제스처와 파 티클 효과를 숫자로 표현하고, 텍스트 기반의 구성화일에 서 제스처와 이에 대응하는 파티클 효과를 정의함으로써 별도의 프로그래밍 과정 없이 사용자 제스처에 반응하는 인터랙티브미디어콘텐츠를제작할수있도록한다. 또한, 사용자의제스처에따라반응하는미디어콘텐츠를사용자 의 위치를 추적하여 프로젝션 시키기 위하여 동적 프로젝 션 맵핑 모듈과 연결한다. 높은인식률의효율적인제스처 인식을 위하여 의미있는 제스처를 한 장의 흑백 이미지로 표현하고, 이를 입력으로 사용하는 모션 히스토리 영상 (motion history image) 기반의제스처 인식 합성곱신경망 (Convolutional Neural Network) 모델을 설계하고, 이를 제 안 프레임워크에적용한다. 마지막으로제안프레임워크를 활용한 콘텐츠 제작 실험을 통하여 제안 프레임워크의 성 능과 유용성을 입증하고자 한다.