情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C71
2015/3/7

MR-Cyborg Soldiers 2:
観客・プレイヤ協調型複合現実感ゲーム
堀田 亮介†

望月 茂徳†

大島 登志一†

概要：筆者らは，MR による主観視点体験と共に周囲の観客の体験を重視した複合現実型エンタテインメントの研究に取り組んでいる．本研究では，HMD を装着した MR 体験の主体となる「プレイヤ」と，観客でありながら敷居の低いインタラクションによって気軽に体験に参加できる「オーディエンス」の双方が協力してコンテンツを体験できるプレイヤ・オーディエンス協調型の新しいエンタテインメントシステムを実現する．

MR-Cyborg Soldiers 2: An Audience-Player Cooperative Gameusing Mixed Reality
RYOSUKE HORITA† SHIGENORI MOCHIZUKI†TOSHIKAZU OHSHIMA†
Abstract: This paper describes possibility of fun of virtual transformation experience using Mixed Reality by MR entertainmentsystem, "MR-Cyborg Soldiers 2." The authors are developing a new Mixed Reality entertainment of Hero Transformation. This
study uses a video see-through HMD to bring a highly-tuned immersive experience in MR space, and whole-body gestureinterface to improve a sense of role-play. In "MR-Cyborg Soldiers 2", players can transform into a combat cyborg. It brings
transforming experience to players because player’s body is overlaid equipment of cyborg’s body graphics. Audience can alsoeasily participate in the MR space by using easy interaction without any device in their hand. Player and audience cancooperatively enjoy the MR entertainment.

1. はじめに筆者らは，複合現実感 (Mixed Reality; MR) 技術を応用

2. 観客の参加を積極的に促すアプローチ
2.1 MR 体験の LOD

し，主観視点体験を活用した MR エンタテインメントの研本研究では，体験の参加者を「プレイヤ」「オーディエ究に取り組んでおり，これまでに，RV-Border Guards 3[1]ンス」「ギャラリー」の 3 タイプに分類する．すなわち，主や百鬼面[2]，MR-Cyborg Soldiers[3]，MR Coral Sea[4]など体的な参加者を「プレイヤ」とすれば，その他に，展示のの開発と展示実験を行ってきた．これらの研究においては，場で足を止め傍観する「ギャラリー」と，積極的に視聴・HMD (Head-Mounted Display) によるプレイヤの主観視点鑑賞を楽しむ「オーディエンス」という参加形態である．3

体験を主としながらも，プレイヤと共に周囲の観客も一緒タイプの参加形態を図 1 に示す．に楽しめることを重視している．すなわち，現実空間を体験空間の主要な部分として活用する MR エンタテインメン
トでは，体験者本人と周囲で観賞している観客らが一体となって一つの体験を構築するということを前提としている．
本研究では，MR エンタテインメントのこの特徴に着目し，体験者の主観視点体験に加えて観客に対する能動的な参加を促す仕組みを含むフレームワークを提案し，MR 空間を共有できる利点を強化する．その事例として MR シューティングゲーム MR-Cyborg Soldiers 2 の開発を行い，展
示実験を通して体験者や観客らが協力して楽しむことがで

図 1

きる観客・プレイヤ協調型の MR エンタテインメントシス

Figure 1

MR 体験の参加形態
Participating into MR Space

テムの要件を明らかにしていく．
このようにユーザを分類した上で，各ユーザタイプでの体験に適した視覚ディスプレイやユーザインタフェースによる体験レベルの増強，ギャラリーからオーディエンスへの誘導，オーディエンスからプレイヤへの誘導と循環，異† 立命館大学大学院 映像研究科
Graduate School of Image Arts, Ritsumeikan University© 2015 Information Processing Society of Japan

なるユーザタイプ間での体験共有の増強を研究の要素とす

994

る．また，これらの 3 種の参加形態は，MR 体験の度合い

では，アトラクションとして観客にも楽しめることを重視の相違として考えられる．すなわち，ギャラリーからオーしているが，観客によるインタラクションは含まれていなディエンス，プレイヤへと遷移するに従い，MR 空間へのかった．本研究では，オーディエンスとして観客が体験に没入性やインタラクションの度合いが高くなる．これを参加するためのインタラクションを設計することで，MR「MR 体験の LOD (Level-of-Detail）」と呼ぶことにする．

技術を応用したエンタテインメントの新たな可能性を探る．

2.2 MR 体験のフレームワーク
プレイヤは，主に HMD などを通した主観視点体験や聴覚・力覚に作用する装着型デバイスによって，MR の特性

4. 実験用コンテンツのデザインを存分に活かした没入感の高いエンタテインメント体験をMR-Cyborg Soldiers 2（以下，本システム）は，本研究の楽しむことができる．その一方で，オーディエンスには，趣旨にしたがって，プレイヤとオーディエンスとが一体とスクリーンやモニタに映る MR 空間や，実空間のプレイヤなって楽しめるようデザインした．これは戦闘型サイボーの動きなどの観賞を行うだけでなく，事前のインストラク

グに変身するプレイヤと，簡単な身体動作で攻撃するオーションが不要なインタフェース，例えば簡易な道具の操作ディエンスの両者が，MR 空間に現れる敵を協力して倒すや，簡単な身体の動作などによって，MR 体験に参加できシューティングゲームである．図 3 に，本システムにおけるようにする．これによって，オーディエンスをプレイヤる体験イメージを示す．

と共に体験を盛り立てる積極的な参加者とする．図 2 に，本研究における MR 体験のフレームワークを示す．

図 3
Figure 3
図 2

MR 体験のフレームワーク

Figure 2

Framework of MR Experience

体験イメージ
Vision of Experience4.1 体験のポイント
本システムでは，プレイヤとオーディエンスの双方の体

3. 関連研究
観客の参加を実現した事例として，Loren らは，観客に験を実現するにあたって，以下の 2 点を重要なポイントとして定める．
1) プレイヤとオーディエンスの役割分担

表裏で色の異なる反射板をあらかじめ渡しておき，スクリプレイヤとオーディエンス，双方の協力によって楽しむ

ーン上で大勢の観客が同時に参加できるインタラクティことができるコンテンツを作る上で，双方の役割を分担す

ブ・システムを開発した[5]．また Dan らは，Loren らのイることで体験に幅を持たせることが可能となる．本システ

ンタラクティブなアトラクションを受けて，大勢の観客がムは，体験内容のわかりやすさを重視して，プレイヤとオシアターのスクリーン上で同時に体験に参加できるシステーディエンスが共に，手の先から弾丸を発射して敵を攻撃

ムについて，検討すべき点などをまとめた[6]．これらの研して遊ぶものとした．しかし，プレイヤの攻撃はより強力

究と比べて本研究では，観客数の規模は小さくなるものの，な攻撃として実装することで，プレイヤが主力として戦い，観客一人ひとりの体験への参加の度合いが大きい点と，スオーディエンスはプレイヤを支援する形での戦闘するようクリーン上でなく 3 次元的な MR 空間内での観客の参加をに工夫した．

実現する点が異なる．

2) オーディエンスへの情報提示

また大島らは，MR をエンタテインメントに応用した事

オーディエンスに対して，できる限り気軽な体験の参加

例として，複数プレイヤ参加型のシステムを開発した[7][8]．

を可能とするために，現在体験に参加していることをわかOkuno らや竹村らもまた，複数プレイヤ参加型の MR エンりやすく示す提示方法が必要となる．本システムでは，オタテインメントシステムを開発した[9][10]．これらの研究ーディエンス用の映像提示として，オーディエンスの後方© 2015 Information Processing Society of Japan995

上部からの俯瞰視点である，客観視点 MR 映像をスクリー

また，特定のジェスチャによって，自らの CG で武装しンに投影する．また，オーディエンスが体験エリアに入った身体から弾丸を発射して攻撃を仕掛けることができる．

たことを感知したときに，スクリーンに表示されているオオーディエンスと比較して，強力な攻撃が可能となっていーディエンスの頭上にカーソルの重畳描画を行う．また，るので，敵を攻撃して次々と倒す爽快な体験ができる．図

同時に効果音を鳴らすことで，オーディエンス自身が参加

6 にプレイヤの体験の様子を示し，図 7 に HMD による主していると気付きやすいように工夫した．

観視点映像を示す．

4.2 体験の流れ
本システムの体験の流れは，はじめに MR 空間内に敵が配置され，それらの敵をプレイヤとオーディエンスが協力して攻撃し，すべての敵を倒すことができるとゲームクリアとなる．倒した敵は一定時間で復活するので，プレイヤとオーディエンスが協力して手際よく敵を倒し，敵が復活する前に全滅させなくてはならない．
また，プレイヤとオーディエンスの間の機能の差を考慮し，どちらを体験するかによって体験の流れを変化させる．
プレイヤの場合，主観視点体験を生かした没入感の高い体験を重視するため，戦闘状態に入る前に「変身ポーズ」を行う必要がある．反対に，オーディエンスに対しては気軽な体験ができることを重視するので，「変身ポーズ」をとらずにセンサ側から自動的に認識を行う．図 4 に，プレイヤ

図 6

プレイヤの体験風景
Figure 6の状態遷移図を示す．また，図 5 にオーディエンスの状態

Player遷移図を示す．

図4
Figure 4

図5
Figure 5

プレイヤの状態遷移図

State Transition Diagram for Player

オーディエンスの状態遷移図
State Transition Diagram for Audience
図 7

4.3 プレイヤの体験

HMD での MR 体験

Figure 7

First-Person View

プレイヤは頭部に HMD を装着し，また頭部と両手の三箇所に磁気式センサ(Fastrak)を装着する．デバイスの装着

4.4 オーディエンスの体験

後，変身ポーズをとることで戦闘型サイボーグへと変身しオーディエンスは素手のまま体験に参加し，プレイヤとCG(Computer Graphics)による武装を駆使して，MR 空間に共に協力して MR 空間に現れる敵を倒す．ビジョンベー現れる敵を倒す．プレイヤの体験の特徴は，主観視点でのス・センサを使用してオーディエンスの手の位置と動作をMR 体験を増強することを目的として，身体動作を用いた取得することで，手軽な体験を実現する．

ジェスチャインタフェースを採用した点である．プレイヤオーディエンスは，取得した身体動作のデータを利用すの身体の動きに合わせてサイボーグの身体を重畳描画するることで，手の先から弾丸を発射して敵と戦うことができことで，プレイヤは自身がサイボーグへと変身している体る．プレイヤと比較して弱い攻撃を行うが，弾丸を当てる

験を強く意識することができる．とノックバック効果で敵の位置を後方に動かすことができ© 2015 Information Processing Society of Japan996

る．これにより，プレイヤが狙いやすい位置へと敵を誘導のデバイスを装着しなくて済むように Kinect を使用する．

することで，プレイヤがまとめて一気に倒すことを補助す

客観視点の MR 映像では，固定したカメラからの映像を使る．図 8 にプレイヤとオーディエンスの体験の様子を示す．

用する．固定カメラでは，オーディエンスに MR 空間の全体をわかりやすく提示するために俯瞰視点とする．客観視点の映像をプロジェクタで投影することで，オーディエンスに MR 空間の様子を提示する．

図 10
図8

プレイヤとオーディエンスの体験風景
Figure 8Player and Audience

また，前方に配置されるスクリーンを観ながらオーディエンスは体験に参加する．スクリーンには，オーディエンスの後方から俯瞰で撮影した客観視点 MR 映像が投影される．客観視点 MR 映像には，敵の姿やプレイヤとオーディエンスの攻撃のほか，オーディエンスの頭上にゲームに参加していること示すカーソルが表示される．図 9 にスクリ

Figure 10

装置構成

System Configuration

ワークステーションでは，以下の 3 つのプログラムモジ
ュールから本システムを構成している．プレイヤとオーデ
ィエンスの動作の入力からゲームの状態を管理するモジュール，プレイヤが体験する HMD からの主観視点 MR 映像を生成するモジュール，オーディエンスを含めた MR 空間全体を捉える客観視点 MR 映像を生成するモジュールの 3つである．本システムの機能ブロック図を図 11 に示す．

ーンに投影される客観視点映像を示す．

図 11

機能ブロック図Figure 11

Block Diagram

展示時のフロアプランを図 12 に示す．プレイヤとオーディエンスは互いに向かい合う形となり，双方の間に CGによる敵が現れる．プレイヤは HMD に表示される映像を
図9

スクリーンでの MR 体験

Figure 9

Third-Person View

5. システム構成
本システムの装置構成を図 10 に示す．プレイヤのジ

通して，オーディエンスはスクリーンに投影される映像を通して体験する．オーディエンスの身体動作は，プレイヤ側に設置された Kinect から計測を行う．スクリーンとプロジェクタ，及び客観カメラは，天井から吊り下げることで各装置や体験者と干渉しないようにする．

ェスチャインタフェースで使用する両手の動作と，ヘッドトラッキングには，HMD を使用した 360 度動き回る視点を実現するために磁気式位置センサ Fastrak を使用している．その一方で，オーディエンスの動作入力には，何らか© 2015 Information Processing Society of Japan

997

図 12

フロアプラン

Figure 12

Floor Plan

4) Tanaka, C. and Ohshima, T.: MR Coral Sea. Laval Virtual 2014,
ReVolution demo (2014)5) Loren Carpenter experiment California 1991 - 1 Translation(s)Dotsub,http://dotsub.com/view/2ba18e4f-3d43-4abf-85ab-f8b3f7741a90
6) Dan Maynes-Aminzade, Randy Pausch and Steve Seitz:
Techniques for interactive audience participation, Proc. ICMI '02, pp. 15- 20 (2002)
7) 大島登志一，佐藤清秀，山本裕之，田村秀行: AR²ホッケー ：協調型複合現実感システムの実現，日本バーチャルリアリティ学会論文誌 Vol. 3, No. 2, pp. 55 - 60 (1998)
8) 大島登志一，佐藤清秀，山本裕之，田村秀行:
RV-BorderGuards：複数人参加型複合現実感ゲーム，日本バーチャ
ルリアリティ学会論文誌 Vol. 4, No. 4, pp. 699 - 705 (1999)
9) Yasuhiro Okuno, Hiroyuki Kakuta, Tomohiko Takayama, andKazuhiro Asai,: Jellyfish Party: Blowing soap bubbles in mixed reality
space, Proc. ISMAR 2003, 2003
10) 竹村雅幸, 原口俊吾, 大田友一: 複合現実空間におけるインタラクティブ・アトラクション：BLADESHIPS, 日本バーチャルリアリティ学会論文誌 Vol. 10, No. 1, pp. 119 - 127 (2005)

6. おわりに
今後，展示実験を通して，プレイヤとオーディエンスのコンテンツへの関わり方や楽しみ方について，アンケートなどによるユーザスタディを行う．また，展示実験を行いながら，システムおよびコンテンツの改良も継続して進めていく．具体的には，オーディエンス同士の位置関係に応じて，攻撃力を増加させるなど攻撃方法を変化させることや，オーディエンスの攻撃で敵をかく乱する間に，プレイヤが隙をついて敵の弱点に強力な攻撃を当てるといった遊び方の誘導を行い，プレイヤとオーディエンスとの協力プレイを促進する．
また本システムでの実験から得られた結果をもとに考察を深め，MR 技術を応用したエンタテインメントにおけるオーディエンス体験の要件を明らかにしていく．その過程には，システムの構築方法や技術的側面だけでなく，コンテンツデザインやフロアプラン，展示時のシステム運用面なども検討対象とする．さらにギャラリー，オーディエンス，プレイヤの体験を総合し，図 1 で示したような MR 体
験の LOD について検討を進め，MR エンタテインメントの創出を目指していきたい．
謝辞

本プロジェクトでの開発および展示実験に関わった立命館大学映像学部・映像研究科の大島研究室所属学生各位に謝意を表します．本研究は JSPS 科研費 24500159,24220004 の助成を受けたものです．

参考文献
1) Ohshima, T. et al.: RV-Border Guards 3 – Attack of the
Mech-Insects, Laval Virtual 2012, ReVolution demo (2012)2) Ohshima, T. et al.: Hyak-Ki Men – Anti-Ogre Ninja Mask, LavalVirtual 2013, ReVolution demo (2013)3) 堀田亮介，大島登志一: MR-Cyborg Soldiers: 複合現実感による変身エンタテインメントの実現，エンタテインメントコンピューティングシンポジウム 2013 論文集，pp. 227 – 231 (2013)© 2015 Information Processing Society of Japan998