百鬼面：ジェスチャ・インタフェースを用いた複合現実型アトラクションの開発
菊谷 康太†
阿部 はるか†原 祥子†
松野 友貴†

新里 友基†
四方 香菜†

伊地知 聖貴†大島 登志一†

本稿では，複合現実感技術を応用したエンタテインメント・コンテンツ『百鬼面』について述べる．百鬼面は，プレイヤが特殊な忍者となり，ビデオシースルーHMD (Head-Mounted Display)を装着することで現実空間の中に出現する仮想の鬼を視認し，ジェスチャ・インタフェースで手裏剣を発射して鬼を撃退する複合現実型アクション・シューティングゲームである．両手に磁気式位置センサを装着し，左右の手のひらを上下に合わせて構えると仮想のレーザポインタが照準となり，鬼に狙いをつけて右手を前方にスライドさせると手裏剣が発射される．本研究では，複合現実感の特質を活かしたコンテンツのデザインと実装について説明する．

Hyak-Ki Men: Development of a Mixed Reality Attraction
with Gestural User Interface
KOTA KIKUYA†SHOKO HARA†
YUKI SHINZATO†HARUKA ABE†
TOMOTAKA MATSUNO†
KANA SHIKATA†KIYOTAKA IJICHI†TOSHIKAZU OHSHIMA†

We are developing an interactive attraction system using mixed reality technologies. The system is titled as"Hyak-Ki Men: The Anti-Ogre Ninja's Mask," which means special ninja-masks with mysterious power tofight against ogres. This project is intended to be an experimental case study of a mixed reality entertainment
with gestural user interface. Players become selected special ninja warriors, and they can see virtual littleogres merged on the real scene by wearing video see-through HMDs (Head-Mounted Displays). Their
mission is to defeat the ogres by shooting virtual shuriken blades with gestural user interface; two polhemus
sensors are attached to both hands of a player and the movement of them are analyzed to recognize gesturecommands. This paper describes the design and implementation.

1. はじめに
本稿では，複合現実感技術を応用したエンタテイン（1）3 次元空間性
従来のビデオゲームのように固定された画面の制約なく，プレイヤの周囲全体を 3 次元的にゲームフィー

メント・コンテンツ『百鬼面』について述べる．百鬼ルドとして活用することができる．

面は，プレイヤが特殊な忍者となり，ビデオシースル（2） 現実空間の活用

ーHMD (Head-Mounted Displays) を装着することで現現実空間の豊富な情報量を活かし，映像全体の情報実空間の中に出現する仮想の鬼を視認し，ジェスチ量を増強することができる．

ャ・インタフェースで手裏剣を発射して鬼を撃退する（3） 複合現実空間の共有複合現実型アクション・シューティングゲームである．

複合現実感を応用したマルチプレイヤゲームでは，

複合現実感は，現実空間の情報を基盤として，仮想プレイヤ同士が互いに視認しつつ，仮想空間と同時に空間の情報を融合提示することにより，多感覚な情報現実空間をも共有することができる．

量を増強する技術であり，複合現実感を様々なエンタ本研究では，上記のような複合現実感の特質を活かテインメントに応用することにより，あたかも VFXしつつ，コンテンツの開発を行った．特に，複合現実（Visual Effects，特殊視覚効果）を活用した映画を主感システムにおいては，身体動作による対話操作が 3観視点でかつインタラクティブに体験するような，新次元空間とのインタラクションに適していると考え，しい形式の体験型エンタテインメントが実現できると両手を使ったジェスチャ・インタフェースを採用した．

期待される．このような複合現実型エンタテインメン

以下，本システムのデザインと実装について述べる．

トは，従来のビデオゲームと比較した場合，下記のような相違・利点があると考えられる．

2. 関連研究
複合現実感をエンタテインメントなどに応用した初† 立命館大学映像学部
College of Image Arts and Sciences, Ritsumeikan University

期 の 代 表 的 な 研 究 事 例 と し て は ， Mah-Jongg 1) ，情報処理学会 インタラクション 2011

Shared Space 2)，AR2Hockey 3)，RV-Border Guards 4) なに，対話操作における身体性を効果的に実現するためどがある．に，身体動作を使ったジェスチャをインタフェースとMah-Jongg は，仮想のマージャン牌を操作するものすることとした．

で，複合現実空間において複数人で情報を共有すると上記方針に基づきデザインしたゲームコンテンツの同時に排他的に隠蔽する仕組みをも示した．Shared

初期のイメージスケッチを図 1 に示す．敵キャラクタ

Space では，ビデオ会議システムや神経衰弱カードゲ

は「鬼」とされる謎の生物（図 2）であり，3 名のプームへの応用を示した．これらの研究では，現実空間レイヤが特殊武装の忍者となり，協力しながら鬼を倒で仮想空間情報を共有する事例としてロジックを重視すアクション・シューティングゲームである．図 1 は，するタイプのゲームを取り上げてはいるが，特にエンラストステージで大鬼と対峙する体験イメージである．

タテインメントへの応用に主眼を置いた研究ではない．
AR2Hockey は，ビデオシースルーHMD を使用し，現実のテーブル上で仮想のパックを打ち合う複合現実型エアホッケーゲームである．上記の他の事例と異なる点は，機敏な身体動作を要求する対戦型ゲームを前提とすることで，位置合わせや応答性などの技術要求レベルを高く設定し，実用的なエンタテインメントへの応用可能性を示した点にある．
また，RV-Border Guards は，3 名以上が参加できる複合現実型マルチプレイヤシューティングゲームである．AR2Hockey のコンセプトを発展させ，ビデオシースルーHMD 方式の特長を活かして，複合現実感の3 次元空間性を積極的に活用することを意図した複合

図 1 プレイ風景（イメージスケッチ）

現実型エンターテインメントシステムに関する初期の代表的な研究事例である．個別技術要素の進展は他に多数報告されているものの，身体動作によるジェスチャインタフェースとビデオシースルーHMD を用いたマルチプレイヤ複合現実型エンターテインメントシステムとしてのフレームワークに関して，その基本形の一つを示すものとなった．RV-Border Guards とシステ
ム構成上類似した事例としては，Contact Water 5) ，Nature Contact 6)，Kaidan 7) などがある．本論文の『百鬼面』も基本構成としては，RV-Border Guards 型のフレームワークを採用している．

3. 百鬼面のコンテンツ・デザイン
複合現実感技術が持つ利点を引き出すことを前提として，コンテンツの設計を行った．プレイヤ数は，システムの設計仕様上は 3 名以上参加可能とし，互いの姿が見えるよう，ゲームフィールドを囲む形のレイア

図 2 小鬼 CG モデル（Maya 操作画面）

4. システムの実装
百鬼面を実現するシステムの技術的な要点について説明する．

ウトを基本とした．ゲームのコンテンツとしては，予4.1

備知識がなくとも体験しやすく，また短時間のプレイプレイヤの装備を図 3 に示す．プレイヤは，ジェスでも楽しめるよう比較的ルールの簡単なシューティン

チ ャ 認 識 用 の 磁 気 式 位 置 セ ン サ （ Polhemus 社 製

グ系のアクション・ゲームとした．

Fastrak）を手に装着し，複合現実感を体験する表示装また，3 次元空間全体を活用するために，空間を広く使って敵キャラクタに行動させることとした．さらビデオシースルーHMD と位置合わせ置として，ビデオシースルーHMD（キヤノン製 VH2007）を頭部に装着する．

百鬼面：ジェスチャ・インタフェースを用いた複合現実型アトラクションの開発

図 5 「手裏剣」のジェスチャ
図 3 プレイヤの装備

図 6 ジェスチャ認識の状態遷移図

4.3
図 4 位置合わせ方式

システム構成各プレイヤのシステムは，画像生成および各処理を実行するための PC １台と，磁気式位置姿勢計測装置，また位置合わせ方式としては，MR-Platform（キヤノン製 MR SDK）を利用し，F-Code マーカを用いたおよびビデオシースルーHMD からなる．プレイヤシステムの機能ブロック図を図 7 に示す．

（図 3）．プレイヤは，周囲を広く見回す動作をする

プログラム本体はインタラクティブ 3DCG コンテ

ため，複数の F-Code マーカをゲームフィールドに分ンツ開発ツール Virtools（仏 Dassault Systems 製）上で散配置した．
4.2

ジェスチャ・インタフェース

身体性を活かした対話操作を実現するため，ジェス構築しており，主に 6 つの機能ブロックから構成される．ジェスチャ認識アルゴリズムも Virtools で実装している．

チャをインタフェース方式として採用した．
ジェスチャの設計では，記号的なコマンドとして特に意識することなく，目的とする行為と直感的に関連した動作を行うことによって，その目的を達せられるように配慮した．手裏剣発射の動作は，図 5 に示すよ
うに，左右の手のひらを上下に合わせて構えると仮想のレーザポインタが照準となり，鬼に狙いをつけて右手を前方にスライドさせると手裏剣が発射される．
両手に磁気式位置姿勢センサを装着し両手の位置姿勢を計測して，相対的な位置関係と時間変化を分析して，特定のジェスチャを認識・同定する．図 6 のような状態遷移図に基づいてジェスチャを認識する．

図 7 プレイヤシステム機能ブロック図

情報処理学会 インタラクション 2011

図 8 展示風景
図 9 体験者視点の映像

5. まとめ謝辞

以上，複合現実感技術を応用したエンタテインメン

SIGGRAPH2010 Exhibition での評価実験に多大なるト・コンテンツ『百鬼面』について説明した．本シス

ご協力をいただいた極東貿易株式会社の石井久夫氏とテムは，SIGGRAPH2010 の企業展示にて 250 名以上平手友雄氏に感謝の意を表する．の見学者に体験してもらい好評を得た．図 8 に展示風景を示す．図 9 は体験者の主観視点映像である．
ジェスチャ・インタフェースに関しては，複合現実感の体験とともに，本作品を特徴付ける従来にないゲーム・インタフェースとして好評であったが，説明員の補助の下，数回ほど練習してコツをつかむ必要もあり，今後はトレーニング用ステージの追加と併せて，パラメータの調整やアルゴリズム自体の再検討を行う予定である．練習を重ねることで上達することができれば，ゲームを繰り返し体験しようとする動機付けとなるため，単に誰でもすぐにできるような簡単なインタフェースにするのではなく，訓練と上達の過程を考慮した設計論を導入すべきと思われる．
位置合わせに関しては，マーカだけで位置合わせを行ったが，照明環境の不都合によって認識率が落ちたりするなどの現象が発生した．マーカの設置方法や照明環境の調整について，さらに検討する必要がある．
本システムの改良と併せて，今回の知見を元に，複合現実感の特長をさらに活かした様々なアトラクションや各種ジャンルのアプリケーションの開発に取り組んで行きたい考えである．

参考文

献1) Z. Szalavari, E. Eckstein, M. Gervautz: Collaborative
gaming in augmented reality, Proc. VRST '98, pp.
195 – 204 (1998).
2) M. Billinghurst, S. Baldis, E. Miller, S. Weghorst:
Shared Space: Collaborative information spaces,Proc. HCI International '97, pp. 7 – 10 (1997).
3) T. Ohshima, K. Satoh, H. Yamamoto H. Tamura:AR2 Hockey: a case study of collaborative
augmented reality, Proc. VRAIS '98, pp. 268 – 275(1998).
4) 大島登志一，佐藤清秀，山本裕之，田村秀行：
RV-Border Gurads: 複数人参加型複合現実感ゲー
ム，日本バーチャルリアリティ学会論文誌，
Vol.4, No.4, pp. 699 - 706 (1999).
5) T. Murakami: Contact Water, Art Gallery: N-Space,SIGGRAPH 2001 (2001).
6) Nature Contact, 2005 年国際日本博覧会（愛・地球博）日立グループ館アトラクション展示(2005).
7) K. Inoue et al.: Kaidan: Japanese Horror Experiencein Interactive Mixed Reality, Emerging Technology,
SIGGRAPH ASIA 2009 (2009).