E6-2
クラウドサーバを介した IoT デバイス連携による臨場感強化型 VRHMD システムの開発

Development of VRHMD System with Enhanced Realism
by Linking IoT Devices via Cloud Server
千田 和範*1，日下拓人*2，稲守 栄*1
Kazunori CHIDA*1，Takuto KUSAKA*2，Sakae INAMORI*1*1 釧路工業高等専門学校 電気工学科*2 ジョンソンコントロールズ株式会社*1 Department of Electrical Engineering, National Institute of Technology, Kushiro College*2 Johnson Controls, Inc
Email: chida@kushiro-ct.ac.jp
あらまし：VRHMD を用いることによって，視覚的に高い臨場感が得られるシステムが様々な分野で活用されつつある．しかし，視覚以外の感覚情報を扱う場合，触覚については一部実現されつつあるが，まだ事例は少ない．そこで本研究では IoT デバイスをクラウドサーバ経由で VRHMD と連携させることで、これまで困難であった感覚情報の提供による高度な臨場感が得られるシステムについて報告する．
キーワード：VR，IoT，臨場感，クラウド，体験型学習

1.

はじめに

IoTクラウドサーバ

VR 技術は高い臨場感を与える視覚情報によって，ユーザーの関心を引き理解を深めさせることができるツールとして近年教育現場で注目を集めている(1)．
これまで，VR は高性能 PC が必要だったが，最近では PC が不要なオールインワン型 VR ヘッドマウン
トディスプレイ（以降 VRHMD）が利用できつつある．このため，クラス単位での授業活用も考慮できるようになってきた．この様に高い臨場感が得られる VR であっても視覚情報および音声情報を提供することが限界で，触覚情報などを提供するためには高価なハプティックデバイスに頼るほかなかった．
ここで，最近産業界で注目を集めている技術に IoT技術がある． IoT 技術とは通信機能が組み込まれたセンサーやアクチュエータなどがインターネットを介して接続され互いの情報・機能を相互交換する仕組みである．この IoT 技術でネットワーク接続が可能となったセンサーやアクチュエータユニットをVRHMD と連携することで，様々な感覚の擬似的な再現が期待できる。また IoT 技術で用いられるクラウドサーバ経由で VRHMD がお互いに接続できれば、これまで単独でしか活用できなかった VR 教材を協働学習のために用いることも容易となる．
本研究では、VR 用 HMD に IoT デバイスを連携させることで、これまで困難であった体感情報の提供により臨場感を強化することができる臨場感強化型 VRHMD システムの開発を行う．

2.

臨場感強化型 VRHMD システムの構成

臨場感強化型 VRHMD システムの概念図を図１に示す．この臨場感強化型 VRHMD システムは，VRHMD を中核に，様々な感覚情報を提示するためのアクチュエータ，環境情報を取得するためのセンVRHMD

仮想環境状態（イベント信号）
外部メッセージ

制御命令

センサ情報
WiFi機能付
組込みマイコン

制御命令

アクチュエータ
(送風機)

センサー
(温度計)

アクチュエータ(モータ)

図１．臨場感強化型 VRHMD システムの概要

サー，それらを統括制御する Wi-Fi 機能付組込みマイコン，そして VRHMD や組込みマイコンの各種情報などを蓄積する IoT クラウドサーバ（以後サーバと呼ぶ）から構成される．本システムは，まずVRHMD の内部状態となるアクションやセンサーからの計測信号がサーバに送信される．この送信された信号はデータとしてサーバに保存される．同時にサーバに接続している組込マイコンは定期的にサーバに蓄積されたデータを確認し，データの種別に応じて対応するアクチュエータを動作させる．これにより，今までの VR システムでは困難だった様々な感覚情報を体験者に提示できるようになる．
またサーバに蓄積されたデータは VRHMD からもアクセスできるため，複数の体験者はサーバを介してメッセージをやり取りすることも可能となる．したがって，従来は体験者単独でしか利用できなかった VR 環境を複数の体験者で共有し体験できる可能性がある．また教師がサーバにイベント信号を送信することで，そのサーバに接続されている VRHMD
や臨場感強化型 VRHMD システムを一斉に制御するという使い方も可能となる．

― 281 ―

教育システム情報学会 JSiSE2020
第45回全国大会
2020/9/2-9/4

3.

臨場感強化型 VRHMD システムを用いた地震災害体感システムの試作

3.1 地震災害体感システムの概要
今回，臨場感強化型 VRHMD システムの検証用として，地震災害体感システムを試作した．この試作したシステムは，これまでの VRHMD では映像でしか表現できなかった地震災害を，地盤の揺れと地震によって生じた火災による熱を映像に合わせて提示することによって，臨場感を強化したものである．
ここで，VRHMD には Oculus 社製 Oculus Quest，IoT デバイスおよびアクチュエータ制御用として，SwitchScience 社製 ESPr Developer，IoT クラウドサーバとして Google 社の Firebase を使用した．試作した体感システムを図２に示す．揺動ベースは搭乗者の安全を考慮し左右に 12mm/s，揺動幅 200mmを限界値とした．また，熱風生成器は市販のヒートガンを流用した．これらのデバイスは ESPr を介して Firebase に Wi-Fi 接続されている．また，図２の VRHMD の隣の画像は，VRHMD に投影されている映像となっている．
3.2 VRHMD，IoT デバイスと Firebase 連携
地震災害体感システムにおいて，VRHMD からIoT デバイスを制御する方法について説明する．まず VRHMD 上の何らかのアクションをトリガーとして，Firebase 上の RealtimeDatabase の指定したノードに設定されたパラメータを変更する．今回，そのアクションをスティックコントローラの操作とした．このアクションを VRHMD が検出した時点
で ， VRHMD は Firebase の ノ ー ド
dev_RockingBoard（以降 dev_Brd）と dev_HotAirを図３の様に“stop”から“run”に書き換える．
次に，IoT デバイス側について説明する．まず揺動 ベ ー ス を 制 御 す る ESPr は 一 定 時 間 ご と に
firebase の決められたノード，ここでは dev_Brd の値を監視する．その値が“run”に変化した時点で，ESPr に接続された揺動ボードの制御を開始する．
こ こ で は ESPr に 接 続 さ れ た Cytron 社 製
SmartDriveDuo-30 を介して直動モータを正弦波状の動きをするように制御した．なお，揺動ボードの停止は VRHMD 側ではなく，揺動ボードが一定時間動作した後，ESPr が当該ノードの値を“stop”に変更することで対応した．
熱風発生用 IoT デバイスについても，揺動ボードと同等の制御系で構成した．この様に IoT デバイスの増設は非常に簡単に実現できる．ただし，熱風発生器は 100V 動作のため，マイコンから直接制御はできない．そこで，マグネットコンタクタ（omron製 J7AN-E3）を経由することで IoT デバイス制御用マイコンでも対応可能とした．この方法により，市販の家電の利用も容易になると考えられる．

熱風発生デバイス

VRHMD

Firebase

熱風発生デバイス

揺動ベース
（内部）

揺動ベース

図２．臨場感強化型 VRHMD を基に試作した
地震災害体感システム

停止時

図３．体感システムの Firebase のノードと値の状態

VRHMD からのイベント信号を元に所定の揺動動作，熱風の知覚ができることを確認した． VRHMD
で見た映像と足場が揺れることで，これまで実現できなかった臨場感を強化できた．しかし，揺れている映像の振幅と，揺動ベースの振幅が一致していないなかったため，違和感が生じることがわかった．
また，イベント信号を送信してから臨場感強化型
VRHMD システムが動作を開始するまで若干のタイムラグがあることがわかった．これらの問題点は今後の臨場感強化のためにも改良を行っていく．

5.

まとめ

今回開発した臨場感強化型 VRHMD システムは，VRHMD とアクチュエータを，IoT デバイスを用いて連携することで，これまで困難だった臨場感の強化が可能となった．今回提案したシステムは Wi-Fi
機能付組込みマイコンを介してアクチュエータやセンサーを制御する構成のため，市販されている様々な センサーやアクチュエータを組み合わせる事で多様な臨場感を提示できる可能性がある．
今後は様々な臨場感を提示するために臨場感強化型 VRHMD システムのバリエーションを増やすことと，今回明らかになった応答性能の改善などを行っていく．
謝辞
本研究の一部は科学研究費基盤研究（C）課題番号
19K03102 の助成を受けたものである．ここに記して謝意を表す．

参考文献

4.

地震災害体験システムを用いた体感実験
今回作成した臨場感強化型 VRHMD システムは，(1) 袖山賢治: “拡張現実(AR)と仮想現実(VR)の教育分野への応用”, 日本教育工学協会 第 42 回全国大会，A-2-3（2016）― 282 ―