情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C67
2016/3/2

HMD と Leap Motion を用いた神社参拝体験システム
市田 泰貴†1

曽我 麻佐子†1

概要：本研究では，外国人観光者に日本文化の作法やマナーの理解を深めてもらうことを目的として，HMD と Leap
Motion を用いた神社作法の疑似体験システムを開発した．本システムでは，神社の 3DCG を HMD で表示し，仮想空間内で観光することができる．Leap Motion と HMD を用いて入力したジェスチャにより，神社作法である手水舎，拝礼，おみくじの 3 つを体験することができる．手水舎とおみくじでは，Leap Motion で手の検出を行い，それぞれの作法に沿ったジェスチャ入力をすることで体験ができる．拝礼では，Leap Motion で拍手のジェスチャ認識を行い，HMD で検出した頭部の傾きを用いてお礼の認識を行うことで，二礼二拍手一礼などの体験ができる．

Virtual Experience System for Learning Japanese Shrine Manners
using HMD and Leap Motion
TAIKI ICHIDA†1

ASAKO SOGA†1Abstract: In this research, we developed a virtual experience system so that such tourists can learn the manners of Japaneseshrines with HMD and Leap Motion to deepen their understanding of ritual in Japanese culture. This system allows users to visit
a virtual shrine by HMD. By gestures that are input using Leap Motion and HMD, users can virtually experience three actions:chozuya (purification), hairei (worship), and omikuji (written fortune) at the virtual shrine. In the chozuya and omikujiexperiences, Leap Motion detects the motions of hands and users can virtually experience these actions with particular gestures
based on customs. For the sanpai experience, Leap Motion recognizes the clapping gesture, and HMD finds the incline of theuser’s head. Users can playnirei-nihakushu-ichirei (two bows, two claps, and one bow) as a virtual experience of Japanese shrinemanners.

1. はじめに
近年，日本の文化建造物が観光地として賑わっているが，を用いた天体観測システムの開発[2]では，仮想空間内に星空を作成し，指差すことでその情報を知ることができる．
本研究では，身体の動きが必要な作法を学習できるよう

外国人観光客の中には，日本文化の作法やマナーについてにするため，Leap Motion による手のジェスチャ入力だけでの知識が少ない方もいる．一方，タッチやジェスチャなどなく，Oculus Rift を用いた頭の傾きの検出も行う．仮想空

人間の自然な振る舞いや動作により機器を操作することが間内を見渡しながら実際の作法の動作を行うことで，神社できるナチュラルユーザインタフェース(NUI)が普及して参拝を体験してもらうことを目的としている．

いる．また，ゲームエンジンの普及により，ヘッドマウントディスプレイ(HMD)を用いたバーチャルリアリティコンテンツを容易に作成できるようになった．

2. システム概要
本システムの概要図を図 1 に示す．ユーザは Leap Motion

そこで本研究では，日本文化の一つである神社の作法をを装着した Oculus Rift を被り，3DCG で作成された神社内理解してもらうことを目的とした疑似体験システムを開発を参拝客として自由に移動し観光する．移動の操作は，した．本システムでは，手指の位置や動きを検出する Leap

HMD の画面上に表示されたボタンを押すことにより，前Motion と，HMD である Oculus Rift を用いて，仮想空間内進，後退，左右の旋回が可能であり，HMD のヘッドトラにおける神社作法の体験を実現する．疑似体験システムをッキング機能により視点の方向を変更することもできる．

用いることで，見る，聞く以外に体を動かし，参拝の作法

Leap Motion と Oculus Rift を用いて入力したジェスチャにをより理解できると期待できる．
関連研究として，日本文化である「わび・さび」を伝えより，以下の 3 つの作法の体験ができる．
(1) 手水舎

るために身体的インタラクションと認知的インタラクショ①右手で柄杓を取って水を汲み，それを左手にかけて清めンを用いた研究がある[1]．この研究では，身体的インタラる．②左手に柄杓を持ちかえて，同様に右手に水をかけてクションに全身の動きを検出する Kinect，認知的インタラ清める．③再び柄杓を右手に持ちかえて，左の手のひらにクションに Oculus Rift を用いることで日本文化の様々なシ水を受け，口をすすぐ．⑤柄杓を元の位置に伏せて置く．

ミュレーションを行っている．また，HMD と Leap Motion(2) 拝礼①お金を賽銭に入れる．②鈴を鳴らす．③④二礼，⑤⑥二†1 龍谷大学
Ryukoku University© 2016 Information Processing Society of Japan

拍手，⑦一礼を行う．

442

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C67
2016/3/2

Oculus Rift

表1

ジェスチャによる操作一覧

Leap Motion

Table 1

List of operation using gesture

体験

ジェスチャ
①②柄杓で汲んだ水を手にかける(左右)手水舎③手を手前に持ってくる

VR体験④透明な柄杓に触れる①お金に触れる②鈴の綱を揺らす

拝礼

⑤⑥拍手
手水舎体験

拝礼体験

図1

システム概要図

Figure 1③④⑦お礼①手を水平に振る

おみくじ体験

おみくじ

操作と結果
柄 杓 を 持ち 替 える (左右)
水を口に入れる音を鳴らす
柄杓を元に戻す
賽銭にお金が入り，その音が鳴る
鈴の音が鳴る
拍手として認識・手を叩く音が鳴る
お礼として認識
吉凶結果が表示される

System summary(3) おみくじ①おみくじ筒を振る．筒から 1 本の棒が出て，吉凶結果(大吉，中吉，小吉，凶)が表示される．
本システムは神社作法の知識が少ない人でも操作でき40°るようにするため，各作法の説明と次に行うジェスチャを画面に表示するようにした．順序に従って作法が行われる
図2と説明が順番に消えていく．作法の流れを間違えると体験

Figure 2は最初からやり直しとなる．

お礼の認識
Recognition of bow

3. ジェスチャ認識と実行例
各体験で行うジェスチャとそれに伴った操作結果を表 1に示す．手水舎とおみくじでは，Leap Motion で手の検出を行い，それぞれの作法に沿ったジェスチャ入力をすることで体験ができる．拝礼では，Leap Motion で拍手のジェスチ
ャ認識を行い，HMD で検出した頭部の傾きを用いてお礼の認識を行うことで，二礼二拍手一礼の体験ができる．
図 2 および図 3 は，拝礼のジェスチャと実行例である．
お礼の動作は図 2 に示すように Oculus Rift で検出した頭部

図3の傾き角度が 40°以上の時，「下がった」と判定し，さらFigure 3

拍手の認識
Recognition of clapにその後に 5°以下に戻った時，「上がった」と判定することで認識する．拍手の動作は図 3 に示すように，まず Leap
Motion で両手を検出し，左右の手を同時に水平方向に今後の課題として，観光の時の移動や手水舎の時の水を350mm/秒以上の速さで閉じた場合に認識する．以上の 2 つかける操作が難しかったことから，これらの操作性を改善のジェスチャを画面上の説明に従い順に行うことで，二礼する必要がある．また，神社以外のさまざまな日本文化の二拍手一礼の流れを体験することができる．

バーチャル体験システムを開発していきたい．

4. おわりに本研究では，外国人観光者に日本文化の作法やマナーの理解を深めてもらうことを目的として，神社参拝の疑似体験システムを開発した．
開発したシステムを 10 人に体験してもらい，評価実験を行った．その結果，所々の操作性には難があったが，神社の作法を理解することができ，インタラクションを楽しむことができたとの意見が多く得られた．

© 2016 Information Processing Society of Japan

謝辞

本研究の一部は，JSPS 科研費 26350390 の助成によるものである．

参考文献
1) 鈴木光, 安田千夏, 荒井有莉, 長田翔子 他, 身体的インタラク
ションと認知的インタラクションを伴うディジタルコンテンツの一連の開発, インタラクション 2015 論文集, pp.783-788, 20152) 渡辺大樹, 瀬田陽平, 横山真男, HMD と Leap Motion を用いた天体観測システムの開発, 情報処理学会第 77 回全国大会講演論文集, pp.4-651~4-652, 2012443