情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C15
2015/3/7

MR Coral Sea - フィジカル MR ディスプレイによる多感覚的な複合現実型アクアリウム
大島 登志一†1川口 駿†1田中 友麻†1田中 千遥†2

概要：MR Coral Sea は，複合現実感（MR）を用いた小さな水族館のメディアアート作品であり，MR の映像体験と「サンゴディスプレイ」を介して，バーチャルな魚と遊ぶことができる．サンゴディスプレイは，魚と手に反応して振動と光を提示する．サンゴディスプレイは，現実空間に物理的なフィードバックを提示することで MR 体験を多感覚的に増強し，バーチャル空間での事象を直接的に体感できる「フィジカル MR ディスプレイ」である．本システムでは，投影型の MR 映像とサンゴディスプレイとを併せたマルチモーダルなインタフェースにより，プレイヤと共に周囲の観客も一緒に楽しめる MR エンタテインメントを実現した．

MR Coral Sea - Mixed Reality Aquarium with Physical MR Display
TOSHIKAZU OHSHIMA†1 SHUN KAWAGUCHI†1YUMA TANAKA†1 CHIHARU TANAKA†2Abstract: MR Coral Sea is a mixed-reality (MR) aquarium using which a user can play with virtual fish via a Coral

Display, which mediates between the real and virtual spaces with multi-sensory physical feedback. We propose
physical MR displays such as Coral Display to enhance MR experience for users. In response to hand movements,
fish bait appears on the palm, and fish will come to eat it. The device provides feeling of the existence spatially byillumination and tactile and auditory sensation to the user.

1. はじめにれる．図 1 に本システムの体験の様子を示す．デバイスの上にかざした手のひらにエサと魚の映像が投影されている．

著者らは，複合現実感（MR; Mixed Reality）を活用した新たなエンタテインメントを創出することを目指す MR エンタテインメント・プロジェクトに取り組んでいる．本プ
ロジェクトでは，特に HMD（Head-Mounted Display）による主観視点体験を主軸にしながらも，プレイヤと共に周囲の観客も一緒に楽しめることを重視する．その一環として，現実のフィールドに物理的なフィードバックを提示することで MR 体験を多感覚的に増強し，HMD を装着しなくてもバーチャル空間での事象を直接的に体感できる「フィジカル MR ディスプレイ」の開発を試行している．
MR Coral Sea は，南の海をイメージした MR によるインタラクティブなメディアアート作品である．ユーザは MR
映像体験とフィジカル MR ディスプレイである「サンゴディスプレイ」を介して，バーチャルな魚と遊ぶことができ

図1
Figure 1

体験の様子

Experience of MR Coral Sea system

る。ユーザの手が検出されると手のひらにエサが現れ，魚2. フィジカル MR ディスプレイはこれを求めて泳いでくる。このとき、魚の位置に応じて2.1 MR エンタテインメント・プロジェクト

サンゴディスプレイが反応し，光および振動と音によってバーチャルな存在を空間的・多感覚的に示す．

MR Coral Sea は，幅広いユーザ層を対象として，MR 技術を応用した新しい体験型エンタテインメントの創出を目

本システムでは，現実空間に直接映像を投影するプロジ的とする「MR エンタテインメント・プロジェクト」の一ェクションベースの MR 体験をメインとし，周囲の観衆も環である．本プロジェクトでは，主に HMD などを装着しサンゴディスプレイを含む現実空間を直視することによって能動的に MR 体験を行うユーザである「プレイヤ」だけて MR 空間を共有し複数人での体験を増強できると期待さでなく，プレイヤの同伴者や場を共有する周囲の観客である「オーディエンス」も楽しめることを重視している．

†1 立命館大学 映像学部
College of Image Arts and Sciences, Ritsumeikan University†2 キヤノンソフトウェア株式会社
Canon Software Inc.

© 2015 Information Processing Society of Japan

典型的な MR 体験は，ビデオシースルーHMD による MR空間への没入的な主観視点体験として特徴づけられる．す778

なわち，HMD を装着しないオーディエンスにとっては，映画の特殊映像技術に例えれば，通常の MR 視覚体験はHMD を装着するプレイヤが体験している MR 空間を同様CG 合成による VFX（Visual Effects）にあたり，フィジカには共有できないということを意味する．この制約は，家ル MR ディスプレイでの効果は現場の仕掛けによる SFX族連れや友人グループを含む多人数の観客を対象とするエ（Special Effects）に相当するともいえる．物理的なフィーンタテインメント応用領域において大きな課題である．

ドバックとしては，視覚効果，照明効果，音響効果，力学

本プロジェクトでは，このような課題に対していくつか的効果，さらには香りなどの化学的効果も考えられる．のアプローチを試みている．その一環として取り組んでいMR Coral Sea でのサンゴディスプレイは，このようなフるのが，異なる形式による MR 視覚体験の相補的併用と，ィジカル MR ディスプレイの事例研究として開発したもの

バーチャル空間で何が起こっているかを物理的に伝え，視である．図 3 でサンゴディスプレイは，プレイヤとバーチ覚体験との相乗効果で MR 体験の共有感を増強するフィジ

ャルな魚とのインタラクションの媒介となっている．

カル MR ディスプレイの開発である．フィジカル MR ディ

2.3 3 形式の MR 視覚体験

スプレイを体験フィールドに据えて，プレイヤとオーディエンスに提示する MR 体験のフレームワークを図 2 に示す．

図 2 のフレームワークでは，以下の 3 形式の主要な MR視覚体験を包含し，そのいくつかを選択的に併用する．
1) HMD ベース方式：HMD を装着するプレイヤに対して，主観視点映像体験を提供する．没入感が高いが，他のユーザとの体験共有やコミュニケーションの度合いが限られる．
2) モニタ（スクリーン）ベース方式：HMD を装着しないで体験する場合のプレイヤおよびオーディエンスに対して，固定もしくは可動のカメラ視点の映像体験を提供する．主観視点に近い視覚体験とするか，俯瞰する客観的な視覚体験とするかなど，用途に応じてカメラの設置場所を適宜調整することにより，様々な視覚体験を提示しうる．
3) プロジェクションベース方式：現実のフィールドにバーチャル空間の情報をプロジェクタで直接的に投影提示する．
多様な形状・質感の物体表面上に投影されるため，映像自図2
Figure 2

MR 体験のフレームワーク

体のリアリティは限られるが，どのユーザからも現実空間

Framework of the MR experienceの一部としてバーチャル情報を視認することができる．
MR Coral Sea システムでは，プロジェクションベース方

2.2 フィジカル MR ディスプレイ

式を主たる MR 体験として採用し，MR 空間の状況を俯瞰

フィジカル MR ディスプレイは，MR の基本的な視覚体的に分かりやすく示すためにスクリーン（モニタ）ベース

験と併せて，バーチャル空間での事象に連動した物理的な方式を併用している．図 4 にその映像を示す．このようにフィードバックを現実空間に対して提示することによって，異なる 2 つの形式の MR 視覚体験を併用し，フィジカルプレイヤおよびオーディエンスの MR 体験を増強しようと

MR ディスプレイのサンゴディスプレイが双方の映像の整するものである．図 3 にフィジカル MR ディスプレイを媒合性を高め，体験の共有感の増強を図る．

介とした MR 空間でのインタラクションの流れを示す．

図3

フィジカル MR ディスプレイを媒介とした MR 空間でのインタラクション
Figure 3

図4

スクリーン上の固定視点 MR 映像

Figure 4

Image from Screen-based system

Image from Screen-based system© 2015 Information Processing Society of Japan779

3. 関連研究息しており，このエサを食べようとユーザの手に向かって

Poupyrev らは，ユーザの操作に応じて発光し上下するロッドの配列からなるインタフェースデバイスを開発した[1]．串山らは，アクチュエータの動きによって触感を得ら泳いでくる．エサがなくなれば，手を一旦振ると再びエサが得られる．また，図 6 に示すように 3 種類の魚を選択できる．ファンタジーであり淡水魚・海水魚の別はない．

れるプロジェクション型の多感覚ディスプレイによるインタラクティブ作品を発表している [2][3]．また，中安らは，イソギンチャクの触手の動きに着目し，これを形状記憶合金アクチュエータによって表現する手法を提案した[4]．
これらの事例では，フィジカル MR ディスプレイ単体と図6

機能的には同様の作用を含むものでもあるが，本研究では特に 3 次元の MR 空間での映像体験との併用を前提としており，多感覚的な相乗効果に着目する点で主旨が異なる．
また，複数のプレイヤが同時体験できる MR エンタテイ
ンメントの事例としては，AR2 Hockey [5]，RV-Border Guards[6]などがある．これらにおいても，オーディエンスの体験を重視しており，複数視点の MR 映像をオーディエンスに提示した．フィジカル MR ディスプレイと同様の試みは他

Figure 6

魚の種類
Variety of fish

システム全体の様子を図 7 に示す．サンゴディスプレイ
上に映像を投影するプロジェクタと手の位置をトラッキングする LeapMotion を三脚で設置し，壁面をスクリーンとして客観視点映像を投影している．プログラムでは描画にOpenGL を使用し，サンゴディスプレイと映像との初期位置合わせには ARToolKit を用いている．にもいくつか報告されている．MR-Space Odyssey [7]では，MR の VFX 映画制作への応用を想定した撮影リハーサルのアトラクション型デモ展示で，複数のカメラ視点の切り替えと併せて，銃の発射と連動したストロボによる現実空間への照明効果などが施された．
著者らが試行したフィジカル MR ディスプレイとして機能するユーザインタフェースの事例を図 5 に示す[8][9][10][11]．図 5(a)では，シューティングゲームにおいて力覚フィードバックをプレイヤに提示すると共に，高輝度 LED で発火炎を模した閃光を発する．図 5(b)では，HMDおよび手に装着した LED インジケータがプレイヤのパワーや武器装備に応じた発光パターンを提示する．いずれもプレイヤ自身ではなく周囲のオーディエンスに情報を提示するために備えた機能である．

図7

MR Coral Sea システム全体の様子

Figure 7

Installation of MR Coral Sea system

4.2 サンゴディスプレイ
魚の挙動に合せて泡や音のエフェクトを表すと共に，図8 に示すように，サンゴディスプレイの触手が魚の位置に連動して光り振動する．魚の映像が手の上にきたときに，サンゴディスプレイからの振動を感じることとなる．サン
ゴディスプレイに触れて発光パターンを見ることで，バーチャルな魚の存在をマルチモーダルに感じることができる．

図5

フィジカル MR ディスプレイの試行事例

Figure 5

Case studies of physical MR display

4. MR Coral Sea とサンゴディスプレイ
4.1 コンテンツデザイン
MR Coral Sea の体験内容は，バーチャルな魚にエサを与えて遊ぶコンテンツであり，ルールは特になくエンドレスで自由に楽しむことができる．手の甲がサンゴディスプレ
イに触れるようにかざすと，手のひらに貝殻の皿にのったエサの映像が投影される．サンゴディスプレイには魚が生© 2015 Information Processing Society of Japan

図8

サンゴディスプレイが機能している様子
Figure 8

Coral Display in operation780

サンゴディスプレイは一見してイソギンチャクのようコロニーユニットにはポリプモジュールが装着されてにも見えるが，これはサンゴの構造を模して設計されていおり，ベースユニットからの赤外線制御信号によって触手る．図 9 に示すように，サンゴは核となる骨格を覆う多数のバイブレータと LED が作動する．の独立したサンゴポリプのコロニーとして生息している．

ポリプモジュールの機構を図 12 に示す．3 本の触手のほか，基部には 3 つの LED とディスク型バイブレーションモータがある．触手は半透明のシリコンゴム製チューブであり，LED が発光するとチューブ全体が柔らかく発光するようになっている．また，チューブは適度な弾性を持っており，手が接触したときに柔軟に変形するとともに，バイブレータからの振動を手に程良く伝搬する．

図9Figure 9

サンゴの構造Structure of coral

サンゴディスプレイは，図 10 に示すように 24 個の独立した「ポリプモジュール」から構成される．各ポリプモジ
ュールは 3 本の触手を備えており，そのそれぞれには接触検知，発光・触覚提示の機能がある．

図 12ポリプモジュール

Figure 12

Coral polyp module

3 つの触手は以下のようにそれぞれ異なる機能を持つ．
1) タッチセンサ触手：フォトリフレクタをセンサとして備え，手の接触を検知する．手が接触すると基部のバイブレータが動作し，手に振動を提示する．また同時に LED も点灯する．これは実際のサンゴの触手には毒針があり，不用意に触れると刺すという反応を模している．LED による
図 10サンゴディスプレイの構造

Figure 10

Structure of Coral Display

光は視覚的な「警告」を表現したものである．
2) LED 触手：魚が触手に接近すると発光する．魚の接近は，モジュール底部の赤外フォトセンサに入射する赤外信

また，サンゴディスプレイでは多数の制御信号ラインを無線化しメンテナンス性を向上させるため，図 11 に示すように内側のベースユニットと外側のコロニーユニットの分離した二層構造としている．ベースユニットの内部には，
PC とマイクロコンピュータ（Arduino）によって制御される赤外線 LED が配置されており，コロニーユニット上のポリプモジュールのコントローラとして機能する．

号によって伝達される．
3) バイブレーション触手：魚が触手に接近すると LED触手と共に作動し振動を発生する．

5. 展示実験とまとめ
本作品は，初期のバージョンについて Laval Virtual 2014
ReVolution[12]，EC2014[13],日本バーチャルリアリティ学会
大会芸術展示[14]にて展示実験をおこない，そのフィードバックから改良を重ねてきたものであり，現在のバージョンについて SIGGRAPH ASIA 2014[15]にて展示を実施した．
Laval Virtual 2014 ReVolution でのデモでは，本作品の基本的なコンテンツとサンゴディスプレイによるインタフェースの有効性を検証できた．サンゴディスプレイは特にむずかしい操作も必要のないインタフェースであり，小さな子供でも楽しめる様子が確認できた．コンテンツ的にもかわいい魚の泳ぐ様子は，図 13 に示すような家族連れに特に好評であった．HMD ベースとスクリーンベースの 2 種類の MR 視覚ディスプレイシステムを同時に運用したが，

図 11
Figure 11

サンゴディスプレイの内部機構

一般公開日では特に家族連れや友人グループが多く，HMDInternal mechanism of Coral Display

ベースよりも複数人で一緒に楽しむことのできるスクリー© 2015 Information Processing Society of Japan781

ンベース MR 体験が主に好まれて選択された．

図 13

本作品を楽しむ親子連れの様子

Figure 13

A family enjoys the demo

さらに改良を続けながら国内学会でのデモ展示を重ねたがその過程で明らかとなった主要な課題は，サンゴディスプレイでのインタラクションとスクリーンに映された映像体験とが分離している状況の改善であった．これを受けて，現在の構成では，手の上に直接映像を投影する投影型 MR表示モードを主たる体験とした．またサンゴディスプレイに関して，初期バージョンではポリプモジュール基部にのみアクチュエータを備えていたものを触手にもアクチュエータとセンサを内蔵し，双方向のインタラクション機能と感覚提示機能の増強を実現した．SIGGRAPH ASIA 2014
Emerging Technologies での展示において，上記 2 点の大きな相乗効果を見ることができた．
今後さらに展示実験を重ねて，MR Coral Sea システムに3 形式すべての MR 表示方式を統合し，サンゴディスプレイとの組み合わせについて評価実験をおこないたい考えである．魚の種類を増やすなどコンテンツ面での充実を行うとともに，サンゴディスプレイのさらなる改良も行う．サンゴディスプレイに関しては，形状の変更やセンサ機能・アクチュエータ機能の多様化と，3 種の触手の機能を一本に統合することを試み，他のフィジカル MR ディスプレイ

参考文献
1) Poupyrev, I., Nashida, I., Maruyama, S., Rekimoto, J. and Yamaji, Y.:
Lumen: Interactive visual and shape display for calm computing,
SIGGRAPH 2004, Emerging Technologies (2014)
2) Kushiyama, K., Ikei, R. and Sasada, S.: Tactile Grass Landscape.
SIGGRAPH 2008, Posters (2008)
3) Kushiyama, K., Sasada, S. and Takeyama, S.: FUR-FLY, SIGGRAPH
2009, Art Gallery (2009)4) 中安翌，高松潔：Tentacles：形状記憶合金アクチュエータを用いたイソギンチャクの触手の蠢きの表現，日本バーチャルリアリ
ティ学会論文誌, Vol.17, No.4, pp.299-305 (2012)5) 大島登志一，佐藤清秀，山本裕之，田村秀行：AR²ホッケー：協調型複合現実感システムの実現，日本バーチャルリアリティ学会論文誌, Vol.3, No.2, pp.55-60 (1998)
6) 大島登志一，佐藤清秀，山本裕之，田村秀行：RV-BorderGuards：複数人参加型複合現実感ゲーム，日本バーチャルリアリティ学会
論文誌, Vol.4, No.4, pp.699-705 (1999)
7) 大島登志一，黒木剛，小林俊広，山本裕之，田村秀行：2001 年
MR 空間の旅：複合現実感技術の映像制作分野への応用，日本バーチャルリアリティ学会論文誌, Vol.7, No.2, pp.219-225 (2002)
8) Ohshima, T. et al.: RV-Border Guards 3 – Attack of the Mech-Insects,Laval Virtual 2012, ReVolution demo (2012)9) Ohshima, T. et al.: Hyak-Ki Men – Anti-Ogre Ninja Mask, Laval
Virtual 2013, ReVolution demo (2013)10) 柴田雄樹，一色康平，速水洸，田中千遥，大島登志一：『百鬼面』- 複合現実型エンタテインメントコンテンツ制作の体系化の検討, 第 18 回日本 VR 学会大会論文集, 13C-3 (2013)11) Ohshima, T. et al.: Hyak-Ki Men – The Study of Framework for
Creating Mixed Reality Entertainment, SIGGRAPH ASIA 2013, Posters(2013)
12) Tanaka, C. and Ohshima, T.: MR Coral Sea. Laval Virtual 2014,
ReVolution demo (2014)13) 田中友麻，田中千遥，大島登志一：MR Coral Sea – フィジカ
ル MR ディスプレイによるミクストリアリティ・アクアリウム，
エンタテインメントコンピューティングシンポジウム 2014 論文集, pp. 22 - 25 (2014)14) 田中友麻，田中千遥，大島登志一：MR Coral Sea – フィジカ
ル MR ディスプレイによる複合現実型アクアリウム，第 19 回日本バーチャルリアリティ学会大会論文集，芸術展示 21B-4，pp. 256- 257 (2014)15) Ohshima, T and Tanaka, C. : MR Coral Sea – Mixed Reality
Aquarium with Physical MR Display, SIGGRAPH ASIA 2014,
Emerging Technologies (2014)の実現に応用できる知見を集積していく．遠隔地点間のフィジカル MR ディスプレイによるコミュニケーション手段

謝辞

本プロジェクトでの開発および展示実験に関わとしての可能性も検討していきたい．また，作品としてのった立命館大学映像学部・映像研究科の大島研究室所属学

実用性の観点から実際に設置して運用実験を行うなどの評

生各位と写真の掲載を快諾された Laurent Gosselin 氏に謝価も検討することとしたい．

意を表する．本研究は JSPS 科研費 24500159, 24220004 の助成を受けたものである．

© 2015 Information Processing Society of Japan782