〈一般研究課題〉 空間認識技術を揺れ表現に活用する
MR地震体験の実装
助 成 研 究 者

名古屋市立大学

中川隆

空間認識技術を揺れ表現に活用する
MR地震体験の実装
中川 隆（名古屋市立大学）

Design and Implementation of an MR-based earthquake experienceutilizing spatial recognition technology for shaking expression
Ryu Nakagawa(Nagoya City University)

Abstract：
In recent years, VR (Virtual Reality) and MR (Mixed Reality) have been utilized for disastermitigation education. Compared to VR, which uses CG to represent a virtual space, MR allows
users to experience their living space as it is, making it easier for them to be aware of it as theirown, which is considered effective for disaster mitigation education. Several MR-based pseudodisaster experiences have been proposed so far. However, we are not able to confirm MR-based
earthquake experiences. The main reason for this is that when considering the interaction with real
space, which is the essence of MR, it is normally difficult to represent earthquakes in MR because
real space cannot be freely shaken. Of course, this is possible in places like earthquake experiencefacilities, however the essence of MR cannot be fully utilized when used in such situations. In thisstudy, we examined the representation of earthquake shaking using a spatial recognition technology
and implemented an MR-based earthquake experience demonstration system that allows users toexperience disaster in various living spaces. We then mentioned its potential as an educational
experience for earthquake disaster mitigation.
1．はじめに近年、世界各地で多くの災害が頻発し、世界的に防災・減災意識の啓発が求められている。とり－ 189 －わけ今後も巨大地震の起こる確率が極めて高いと言われる日本においては国民一人ひとりに対して、地震災害を前提にして被害を抑えるための減災意識の向上が求められている。現在、地震による減災意識啓発のため地震体験施設や地震体験車両等を用いた地震の擬似体験が活用されている。
これらは体験空間自体を実際に揺らすことで地震をリアルに再現し、体験者の身体に直接地震の恐怖を植え付ける。こういったものの中には地震のリアリティを高めるため施設の壁面に地震による被害映像を投影するものもあり、昨今では仮想現実（VR）ヘッドセットを併用し、より体験のリアリティを高めた装置も開発されている。こういった地震の擬似体験は減災意識の向上に非常に有効であると考えられるものの、地震体験施設として仮構された場は日常空間から切り離されてしまい、ある種のアトラクション的な非日常性を帯びてしまっている点は否めないのではないだろうか。もちろん昨今のVR技術を用いれば非日常空間ではなく、体験者にとって馴染み深い場所をリアルに再現することも可能であり日常性を担保することも可能である。しかし、そういったVR体験を用意するには多くの制作コストと時間が必要となる。
VRの 他 に 現 実 を 拡 張 す る 技 術 と し て、 拡 張 現 実（augmented reality; AR）や 複 合 現 実（mixedreality; MR）があるが、これらを用いることで現実空間にバーチャルなオブジェクトを重ねて表現することができる。ARはMRの下位概念として知られているが [1]、一般的には前者はスマートフォンやタブレット端末等を用いて端末搭載カメラによって実時間で取得される現実風景の映像にバーチャルなCGを合成して画面に表示するものを指し、後者はシースルー型ゴーグルで半透明スクリーン部分にバーチャルなCGを表示し、それが眼前の実空間内に存在するかのように表現するものを指すことが多い[2]。つまり、AR、MRいずれも体験の場における“実空間の風景をそのまま活用した体験”となるため、減災教育に使用することで体験者に因んだ生活空間をそのまま活用した被災擬似体験をデザインすることが可能となる。ひいては、減災教育に最も重要な要素の一つである“被災を他人事ではなく自分事として捉える意識の向上”へと繋がると考えられる。
2．関連研究板宮らによる「Disaster Scope」は、スマートフォンにインストールして使用する浸水および火災煙擬似体験ARアプリである[3]。スマートフォンと紙製ゴーグルによるARゴーグルを用いて津波や洪水発生時の浸水体験、および、火災煙による被災を擬似体験することが可能である。いずれの被災体験も映像や写真による被災の伝達とは異なり、体験者の身体と実空間との相互作用によるリアルな浸水、煙を体験可能であるため、体験者自身の身を以て災害の危険性について理解を深めることに繋がると考えられる。また、同氏らによる「Disaster Scope Fire & Smoke」は、AR火災煙体
験・消火訓練が可能なARアプリであり、AR体験が可能なVR用ヘッドセットを使用して体験することができる[4]。この体験では実空間内で発生したバーチャルな火災を、消火器を操作して鎮火させる体験ができる。この手法を応用することで様々な生活空間における擬似火災訓練を体験することが可能となる。こういった最近のバーチャル技術を応用することでMR被災体験および訓練が可能となるが、本研究提案時においてMRを用いた地震体験に関する先行事例は確認できなかった。これはMRの本質である“実空間との相互作用”を前提とした時、特殊な装置を用いない限り、通常は実空間自体を自由に揺らすことができないことが主な理由と考えられる。本研究では、MRデバイスによる空間認識技術を応用した地震の揺れ表現を検討し、様々な生活空間での地震疑似体－ 190 －

験が可能なMR地震体験を実装することを目的とする。そして、この実装作業を通してMR地震体験による減災教育の可能性の一端を明らかにする。先行研究として、酒井らによる「MRHMDを用いた室内における地震シミュレーションの体験および訓練システムの提案」[5]があげられる。ただし、本研究と酒井らの研究は“MRHMD（MRヘッドマウントディスプレイ）を使用した地震シミュレーション”というテーマでは類似しているものの、酒井らの研究では本研究の目的である地震の揺れ表現の生成手法についてほとんど触れておらず主に訓練システムに焦点が当てられている。
3．実装
3.1

システムの概要

本研究では、MRHMDであるHoloLens2を用いて実空間上にバーチャルオブジェクト（virtualobject; VO）を展開し、これらに地震の揺れを適用してVOの落下・崩壊・軋み音といった3Dアニメーションや3D音響と連動させMR空間にバーチャルな地震を構成した。この地震の揺れ表現は、実空間をスキャン・抽象化して生成した空間オブジェクト（space object; SO）を3Dアニメーションによって揺らし、物理シミュレーションによりVOと相互干渉させることで実装している。図1は
本MR地震体験におけるシステムの状態遷移を示したものである[図1]。

図１．体験におけるシステムの状態遷移

3.2

開発環境

本研究では以下の機材、ソフトウェアを用いて開発を行った。
【ハードウェア】
・ HoloLens2【ソフトウェア】
・ Unity 2020.3.17f1－ 191 －

・ Mixed Reality Tool Kit 2.7.2・ OpenXR Plugin 1.0.0
・ Scene Understanding SDK 0.6.0
3.3

Scene Understanding SDKによる空間スキャンと地震の揺れ表現

本システムではHoloLens2を用いて空間スキャンをおこないMR空間を実装するが、空間スキャン・データに対してScene Understanding SDK（以下、SUSDK）を用いてアクセスしている。ここではスキャンした空間構成要素のラベリング、および、ラベリングされた各オブジェクトの抽象化が行われる[図 2]。具体的にはスキャンした空間が「Background」、「Wall」、「Floor」、「Celling」、「Platform」、「World」、「Unknown」といった要素にラベリングされ、それぞれの要素はQuad状のオブジェクトに抽象化（変換）される。つまり、スキャンした空間が要素ごとにラベリングされた単純なQuadオブジェクトの集合体として置き換えられる。
本制作における具体的なSUSDKの活用手法は次の通りである。1）ラベリング・抽象化されたPlatformオブジェクトと、ほぼ水平と判定されたBackgroundオブジェクトは、実空間における机や棚の水平面を抽象化したQuad状オブジェクトであるが、これらのオブジェクト上に自動でVOを設置できるようにした。2）すべての抽象化オブジェクトを一まとめにして空間オブジェクト（SO）を構成し、SOに予め準備した地震の揺れアニメーションを適用した。3）2のSOには透明のマテリアルを適用して不可視とし、異なる階層にまとめたVOと擬似的に物理干渉させて地震を表現した。
なお、SOの揺れアニメーションは気象庁が公開している強震観測データ[6]をもとに作成している。
3.4

音声入力によるシーン遷移

体験のシーン遷移にはKeywordRecognizer (KR)によるボイスコマンドを採用している。具体的には以下の通り構成した。1）空間スキャン待機時に「Update」と発音することで、ス
キャンの停止と空間の抽象化を行う（SOの 生 成）[図 2]。2）空 間

図2．Scene Understanding SDK (SUSDK)によって抽象化された空間

抽象化後「Install」と発音することで、VOが自動で設置される。ここでは机や棚などの水平面に仮想の日用品オブジェクト（A4ファイル・ガラスコップ・ハサミ・ペットボトル等）が、その面の面積に応じた数だけ自動的に設置される[図3]。3)「Earthquake」と発音することでバーチャル地震の揺れアニメーションを起動する。
地震の揺れがおさまった後は、再度1〜3のボイスコマンドにより任意の状態から繰り返し地震体験が可能である[図１]。

－ 192 －図3．
（左画像）
体験者視点による実空間のテーブルに設置されたバーチャルオブジェクト(VO)。HoloLens２で撮影。
（右画像）
左画像におけるVOを黒塗りで表示。

3.5

SUSDKと3DCGアニメーションによるMR地震表現

バーチャル地震が起動すると、テーブルや棚に設置されたVOが揺れ動き、床に落ちたり、天井が崩壊し天井板が落下したりする等のバーチャルな地震現象が発生する。これらはSUSDKによって抽象化された空間オブジェクトと予め制作した3DCG崩壊アニメーションによって構成されている[図4, 5]。

図4．
（左画像）
体験者視点によるVO（ガラスコップ）の落下と破損。HoloLens２で撮影。
（右画像）
左画像におけるVOを黒塗りで表示。

－ 193 －図5．
（左画像）
体験者視点によるVO（天井）の崩落。HoloLens２で撮影。
（右画像）
左画像におけるVOを黒塗りで表示。

3.6

Sound Systemについて

地震音はステレオサウンド（2D音響）で再生し、各VOの衝突音は3D音響によって再生している。
つまり、地震音は体験空間内を移動しても一定の音量で再生され、各VOの音量は体験者がVOに接近するほど音量が大きく、VOから離れるほど小さくなる。
4．まとめ
4.1

体験者からのフィードバック

5名（20〜40代）の本システム体験協力者に対して、体験の感想、および、本体験の減災教育体験としての可能性についてインタビューを行い、以下のような回答を得た。
【感想（自由回答）】•VRによる地震体験と比べるとリアリティに乏しい（筆者らによるVR地震[7]の経験者）。

•音によって多少地震らしさが感じられる。

• 仮想オブジェクト（VO）が現実の物と同じように存在して見えるので面白いが、透けて見えるためリアリティに欠ける。
• 実際のオブジェクトが倒れずにVOのみ動いていることに違和感が生じてしまい地震らしさや危機感を抱くまでに至らない。
•体験としては面白いが恐怖感は感じられなかった。

•天井の崩落が意外で面白い。砂埃も効果的。自分の普段の行動範囲を見直すきっかけになる。

•ペットボトルやA4ファイルなど、リアルに見えるものと、そうでないものに差がある。

• 机自体をバーチャルなものにしてしまって、それを揺らせばもっとリアルに感じるかもしれない。
•地震の低音があった方が良い。ウーファースピーカーを併用してはどうか。

•一部、実際の物を何らかの機構によって仮想地震と連動させて動かしてみてはどうか。

－ 194 －

【減災教育としての可能性の有無】•リアリティに欠けるが、試みとしては面白い。

• 物の落下を体験することで普段の物の置き方に注意しようと思った点では意味があると感じる。
•自宅や職場で体験できる点はとても可能性がある。

• ビ デオ方式のMRを用いることで、照明の明滅が表現できるし、仮想オブジェクトも透化せずに表現可能なため是非ビデオ方式で実装したものを体験してみたい。ビデオ方式のMRであれば減災教育として可能性を感じる。
•

現状では難しそうだが可能性はある。

図6．体験の様子

4.2

考察、今後の展望

体験者からのフィードバックを総合すると、本制作物の評価は、“ある程度は地震の表現はできているもののそれほどリアルに感じられない”という点にまとまった。一方で、減災教育体験としての可能性は有していると考えられる。
本研究制作を通して得られた知見から、次にあげることを実施することでリアルなMR地震体験を創出可能であると考えている。a）ビデオ方式のMRHMDを使用、b）体験空間に設置された実際の物を揺らす機構の設置、c）外部音響装置の活用。aに関してはビデオ方式を用いることで、スクリーン映像を揺らすことや、画面エフェクトによって室内照明にアプローチすることが可能となり、今回表現不可能であった部分にアプローチが可能となる。ただし現時点においてはMR地震体験に向くようなスタンドアロン型のビデオ方式MRHMDはリリースされていない。bについては、アクチュエーター等を活用して実際の物もいくつかバーチャル地震の揺れに同期させて揺らすことが考えられる。cについては外部音響装置を使用することで低音が表現可能になり、リアルな地震を感じさせることが可能となると考えられる。
本稿では、筆者が開発した空間認識技術を地震の揺れ表現に活用するMR地震体験の実装手法について紹介した。今後は本研究で得られた知見をもとに、実際に減災教育ツールとして使用に耐えうる構成について検討を重ねていく。

－ 195 －参考文献
[1]Paul Milgram, Fumio Kishino, A Taxonomy of Mixed Reality Virtual Displays, IEICE
Trans。 Information Systems, E 77-D (12) (1994)[2]

Wired Magazine May 2016 New Reality, ASIN: B01EQHGIL2.

[3]

板宮 朋基, 吉村 達之, 複合現実による災害想定没入体験アプリDisaster Spopeの開発と避難訓練における活用, 日本災害情報学会論文誌 災害情報, 16, 2, pp.191-198.

[4]板宮朋基, 平川俊貴, 新間幹久, 近田静也, 西部連, 富田祐規, バーチャル火点を現実空間の任意の場所に配置できる AR 消火訓練アプリの開発, 第24回日本バーチャルリアリティ学会大会論文集 5D-03[5]酒井 航太, 吉野 孝,MR HMD を用いた室内における地震シミュレーションの体験および訓練システムの提案, 第82回全国大会講演論文集 2020(1), pp.403-404.

[6]

国土交通省気省庁・強震観測データ，
https://www.data.jma.go.jp/svd/eqev/data/kyoshin/jishin/index.html[7]Sayuri Ohashi, Akari Kamiya, Soji Mochizuki, Ken Sonobe, Ryu Nakagawa, Takayoshi Aoki,
SVR-1 (Beta Version): An Educational VR Experience for Earthquake Disaster Mitigationin Bhutan, Proceedings of 17 th International Conference of Asia Digital Art and Design
2019 (ADADA2019) pp.7-8－ 196 －