情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B38
2018/3/5

AI 技術を用いた地震 VR シミュレーションシステム
鈴木亮太†1飯樋遼輝†2邱玥†2

岩田健司†1 佐藤雄隆†1

概要：地震多発国である日本において，起震車，フルモデル 3DCG などの非常に大掛かりで高コストな設備・準備を必要としない地震シミュレーションの体験システムが求められている．本稿では，近年隆盛を見せている AI による物体認識技術および VR 技術の統合による，個人が簡単に地震を体験できる VR 地震シミュレーションシステムを提案する．入手が容易な安価なセンサで個人の部屋を計測し，AI により部屋の構成およびインテリアの物理的特徴を推定し，適切な物理特性が与えられた既存の 3D モデルに置き換えて仮想空間を構築し，リアルタイム物理シミュレーションを行い，その結果を HMD に投影する．

VR Earthquake simulation system by introducing AI technology
RYOTA SUZUKI†1 RYOKI IITOI†2 QIU YUE†2
KENJI IWATA†1 YUTAKA SATOH†1Abstract: We propose a VR earthquake simulator that can easily simulate arbitrary real indoor environment by introducing AItechnologies. The user first scans any room using inexpensive RGBD sensors such as Kinect sensor. Then, automatic model
generator detects objects in RGBD data by using deep learning-based classification method and generates 3D models given
appropriate physical characteristics such as centroid and friction. In this way, users can obtain appropriate contents for earthquake
simulation simply by scanning the room. The contents can provide the user with a real experience in the event of an earthquake inthe room.

1.

はじめに日本は地震が多く，突発的な大震災もしばしば起こることから，地震対策は重要な社会的課題の一つである．2003

ができるコンテンツが複数提案されている[2][3]．しかし，
3D モデリングは現在においてもコストが高く，個人が日常空間を 3D モデリングして地震シミュレーションすることは容易でない．

～2005 年に発生した大地震による負傷者の約三割～五割

そこで本研究では，個人が部屋とそこにある家具などのは家具の転倒及び落下が原因であったというデータがある

3D モデルを容易に取得可能な計測システムを構築し，更[1]．そのため，地震が起きた時に家具がどのような配置でに AI によって物体を自動認識し，適切な物理特性をモデあれば転倒及び落下の危険を減らせるかを，事前に把握しルに自動的に与えることで，簡単に地震のシミュレーショ対策できることが望ましい．

ンを行うことを可能にするシステムの開発を行う（図 1）．

日常生活レベルで実践可能な地震対策は，吸着マットやストッパーなどで家具が倒れないようにすることや，被害を最小化するように家具の配置を変えるなどがある．しか2.

し，ある程度の対策を行ったとしても，地震が起こった際日本は地震多発国であるため，地震をシミュレートしたに部屋に配置されたそれぞれの家具が実際にどのような挙揺れを体験させ，備えの重要性を実感させるための取り組動をするかの予測は困難であり，固定しきれず家具が転倒みは古くからなされている．地震体験施設を始め，移動式関連研究及び落下する可能性もある．地震が起きた場合どの家具がどのような挙動をするか事前に知ることができれば，倒れた家具により避難が困難になるといったリスクを回避することができるようになる．
地震時に起こりうる状況の予測の方法として，現実の空間を 3D モデルに置き換えることで構成された仮想空間において地震シミュレーションを行うことが考えらえる．近
年では，VR 技術の発展，普及に伴い，VR による地震体験†1 産業技術総合研究所
National Institute of Advanced Industrial and Science Technology†2 筑波大学大学院
Graduate School of Tsukuba University© 2018 Information Processing Society of Japan

図 1 全体システム概要
Figure 1

Whole system overview

670

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B38
2018/3/5の地震体験車（起震車）も数多く開発され，自治体や消防2局などによる市民向けのイベントなどで活用されている．

2.1

部屋内の物体を Deep Learning 等を用いて認識

しかしながら，これらの設備は非常に大がかりで高コスト2.2認識された物体ごとに予め用意した重さ，重心，空間認識であることから，より手軽に誰もが体験できるような新しいシステムの開発が望まれていた．
一方，バーチャルリアリティ技術もその歴史は古く，摩擦係数などの物理特性を割り当てる
3

地震シミュレーション

3.1

1960 年には初の HMD 特許とされている Tele-sphere Maskが登場しているほか，1980 年代には現在のものとほぼ同等

リアルタイム物理演算エンジン PhysX によって物理シミュレーションを行う3.2

物理シミュレーションの結果に基づきヘッドの HMD がリリースされ，1990 年代には SGI 社の 3D グマウントディスプレイ（HMD）出力用の画像をラフィックス用大型コンピュータを用いて高品質の 3D モ

高速にレンダリングデルに没入することが可能になった．しかしながら，シス

3.3

HMD を通してユーザに提示するテムが極めて大がかりであるため，その体験は特別な施設に限られていた．このような中，2012 年に Oculus Rift がクラウドファンディングに登場し，その後，HTC Vive やSONY PlayStation VR が続くなど，家庭レベルで気軽に使用できる HMD が入手可能になった．

4. 3D 空間計測
Kinect をはじめとする安価な RGB-D センサの流通により，個人で入手可能な 3D 計測センシングが行えるように

このような背景から，HMD を前提とした地震体験シスなってきた．本研究では RGB 画像，デプス画像をそれぞれテムも提案されるようになった．例えば，起震車の中に通VGA の解像度で取得可能な XTION を用いる．まず，[4]の常配置される家具セットの代わりに，予め作成しておいた手法により，RGB-D カメラのキャリブレーションを行い，VR 空間に HMD を通じて没入，身体・視覚の両方で地震を体感できるシステムが提案されている[2]．また，屋内空間を Kinect で撮影し，3D モデルを自動的に生成し，体験目的で簡易な地震シミュレーションを行うシステムの提案も行われている[3]．
本研究は，以上の従来の流れである(a)地震への備えという重要な課題への 1 つのアプローチとして，(b)可能な限りリアルで安価なコンテンツ・装置で，(c)ユーザに体験させることで理解を含めリスクを予測可能にする，という文脈を共有する．一方で従来と異なるコンセプトとしては，3Dセンシング技術と AI による認識技術を駆使し，ユーザの手によってセンシングされた家具などのオブジェクトを含む 3D 空間を AI が認識・理解したうえで，適切な物理特性をオブジェクトに自動的に与えつつ空間全体の再構成を行い，再構成された世界に対して物理シミュレーションを行い，ユーザを没入させるという点がある．以降，具体的な実装と実験について述べる．

3. システム概要
システムの処理フローの概要は以下の通りである．
次節からは，大項目ごとに詳細を述べる．
13D 空間計測

1.1

安価な RGB-D センサにより部屋をスキャン

1.2

SLAM (Simultaneous Localization and Mapping)
技術により計測を統合，部屋全体の点群データを作成

1.3

ロバスト統計を用いて品質の低い点群データから高品質のサーフェスデータを作成

図 2 マルチ RGB-D センサの構成
Figure 2

Configuration of multi-RGBD sensorsystem.

© 2018 Information Processing Society of Japan671

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B38
2018/3/5

低歪みな計測を行えるようにする．この RGB-D センサを

3.1

𝑆から面素𝑖をランダムに選択する．

複数組み合わせ，各センサ間の位置・姿勢関係をキャリブ

3.2

面素𝑖に対し，向きと距離の両方が近い𝑆中の周レーションし，マルチ RGB-D センサを構築する（図 2）．
一つのキャリブレーション済み RGB-D センサでも低歪み辺面素の個数を数え，𝑛𝑖 とする．
4

3 で乱択した面素のうち，𝑛が最大である面素𝑐を，あな部屋の計測は可能であり，より安価に部屋の計測を行える平面を仮に代表する面素として選択する．このとき，るが，計測中に無地の壁のような特徴のごく少ない領域の𝑛𝑐 が一定数未満の場合，3 からやり直す．

みを映してしまった場合，歪んだ部屋の再構成を行ってし5まうことがあるため，その事態を回避するような計測時の手腕的技術が求められる．一方，マルチ RGB-D センサを用を𝑆から抽出する．
6

いることで，センサの数だけセンサシステムは高価になるが，一度に広視野の計測が行え，常に特徴的な領域を捉えることができ，計測時の負担が少ない．
次に，SLAM によって部屋全体の 3D 点群を得る[5]．各計測フレーム間の画像特徴のマッチングを行い，空間中のセンサ・位置と 3D 点群の取得を同時に，逐次的に行っていく．最終的に，図 3 のような統合データが得られる．
このように得られた低歪みな部屋全体の 3D 点群データを平面へと置き換えていく．まず，近接した点同士で局所的な面を張り，これらをロバスト統計の枠組みを用いて，面同士の距離および向きの近さを判断基準として，大域的な面を推定していく．局所的な面は 3D 点群の元となるデプスカメラ画像の画素の，画像上における 4 近傍の隣接関係のうち，一定未満のユークリッド距離であるものを辺として構成する．本稿では以降これらの面を面素と呼称する．
これらの面素に対し，以下のアルゴリズムで大域的な面を推定する．
1

𝑆 ≔ 全面素群

2|𝑆|が一定数以上なら，3～7 を繰り返す：

3

3.1～3.2 を数回繰り返す：

面素𝑐に対し，向きと距離の両方が近い周辺面素群𝑆𝑐𝑐および𝑆𝑐 の各要素から矩形平面を最小二乗法により推定する．

7𝑐および𝑆𝑐 の各要素を𝑆から取り除く．すなわち，𝑆 ∶={𝑥 | 𝑥 ∈ 𝑆, 𝑥 ≠ 𝑐, 𝑥 ∉ 𝑆𝑐 }．
更に，得られた矩形面についてテクスチャを生成する．

矩形面の推定に用いた面素に対応する RGB 画像の部分領域の射影・統合を行う．画素値の統合では複数枚の画像が重複しているが，そのうち最も精細に撮影されている部分画像を選択してつなぎ合わせるモザイギングを行う．
図 4 に，一つの XTION ないし 9 つの XTION によるセンサアレーを用いて作成した 3D データの例を示す．どちらも床や壁がそれぞれ一枚の平面として認識されている様子が見られる．図 4 左の単 XTION による結果については，一方の壁が無地であるため，SLAM に若干の歪みが生じ，本来平行であるはずが平行になっていない壁が見られるが，少々の手動補正を行えば十分利用可能になる程度のデータが作成できている．

5. 空間認識
最近の AI 技術，特に，2 次元画像の物体認識技術における深層学習の適用が著しい成果を挙げている．本システム
では，4 節に示した手法により面のテクスチャが得られており，これらの物体認識技術が適用可能である．本研究では，セマンテ ィックラ ベル 付き 画像デー タセット MSCOCO[6]による YOLO v2[7]の学習済みモデルを物体検出

図4
図 3 マルチ RGB-D センサデータによる SLAM
Figure 3

SLAM by multi RGB-D data.

© 2018 Information Processing Society of Japan

3D センシング・3D モデル化例（左：単RGB-D センサ使用，右：マルチ RGB-D センサ使用）
Figure 4

Examples of 3D Sensing/Modeling.

672

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B38
2018/3/5器として用い，2.5 次元的に部屋の中の物体の検出を行うことで空間のコンポーネントを認識する．

本研究では，デモンストレーションとして，本棚と認識された部分について，地震により強い力がかかった時に本適用例を図 5 に示す．統合されたテクスチャ上におけるが噴出する VR 地震シミュレーションコンテンツを作成した．その様子の例を図 5 に示す．自室のレイアウト，見え本棚および椅子の検出が行えている．

が地震体験を妨げない程度に再現された仮想環境により，ユーザは身近な脅威を感じることができるようになる．

7. おわりに
本論文では，部屋とそこにある家具などの 3D モデルをユーザが容易に取得し，更に AI によって物体を自動認識し，適切な物理特性をモデルに自動的に与えることで，簡単に地震のシミュレーションを行うことを可能にするシステムの開発について述べた．

参考文献
[1]

[2]

図5
Figure 5

物体検出適用結果例

Example of Deep Learning Object Detection.

6. 地震シミュレーション

[3]

[4]

地震のシミュレーションを行うために，物理シミュレーションを行う．物理演算は非常に処理コストが高いことが[5]知られており，リアルタイムシステムの障壁の一つとなっていた．しかしながら近年では，GPU（Graphics ProcessingUnit）の性能向上が目覚ましく，GPGPU（General-purposecomputing on graphics processing units）と呼ばれるように，[6]

本来のグラフィック描画機能だけでなく，ストリームプロセッシングや物理演算などが極めて高速に実行できるようになった．本研究では，NVidia の物理エンジン PhysX[7]を[7]“オフィス家具・電化製品の転倒・落下防止対策に関する調査研究委員会における検討結果”．
http://www.tfd.metro.tokyo.jp/hp-bousaika/kaguten/okt.html, (参照 2017-12-25)．
中本涼菜，吉野孝，今西武．VR を用いた防災教育のための地震体験システムの開発．情報処理学会関西支部大会．
2016，D-08，5p．
石井裕剛，半田大樹，下田宏．屋内環境の自動モデル化機能を備えた VR 地震体験システムの開発と評価．日本バーチャ
ルリアリティ学会論文誌．2016，vol. 21，no. 2，p. 345357．
佐藤雄隆，岩田健司，永見武司，竹内啓五．RGB-D カメラから得られる Depth データの歪み補正．ビジョン技術の実利用ワークショップ(ViEW2013)．2013，IS1-F6，6p．
林クン，佐藤雄隆，岩田健司．統計的基準に基づくキーフレーム導入による SLAM の累積誤差低減に関する考察．ビジ
ョン技術の実利用ワークショップ(ViEW2015)．2015，IS120．
Lin, T.Y., Maire, M., Belongie, S., Bourdev, L., Girshick, R., Hays,J., Perona, P., Ramanan, D., Zitnick, C.L. and Dollár, P.. Microsoft
COCO: Common Objects in Context. arXiv preprint. 2014,arXiv:1405.0312, 15p.
Redmon, J. and Farhadi, A.. YOLO9000: Better, Faster, Stronger.
arXiv preprint. 2016, arXiv:1612.08242, 9p.

使用することで，リアルタイムの物理演算を可能にした．
地震データは気象庁の公開する 2011 年東日本大震災の強震計データを使い，実際の地震をシミュレートした．加速度計の示す時系列加速度データを変位データに変換して利用した．

図5Figure 5© 2018 Information Processing Society of Japan

地震シミュレーションの例

Example consequent scenes of simulation.

673