中国地区

教育システム情報学会 2020年度学生研究発表会

Leap Motion を用いた仮想化学実験環境における非接触型インターフェース
Non-contact Interface in Virtual Chemistry Experimental Environment
using Leap Motion
岡本拓土*1, 岡本勝*1, 松原行宏*1, 岩根典之*1

Takuto OKAMOTO*1, Masaru OKAMOTO*1, Yukihiro MATSUBARA*1, Noriyuki IWANE*1*1 広島市立大学大学院情報科学研究科*1 Graduate School of Information Sciences, Hiroshima City University

Email: mf67002@e.hiroshima-cu.ac.jp

あらまし：本研究では，実際の実験器具や薬品を一切使わず安全な自習環境を構築することを目的とし，実際に Leap Motion を用いた手のトラッキングによる仮想実験環境を作成した．Leap Motion は 2 つのカメラを使い，手の形や位置を正確に出すことが可能である．その特性から，ユーザーは PC 画面上にあるオブジェクトを直観的に掴むことや動かすことが可能となる．その結果，仮想空間内の実験で有っても実際の実験に近い環境を構築することが可能であることを示した．
キーワード：仮想実験環境，教育支援，化学実験，非接触型インターフェース

1.

はじめに

学校教育における化学では，実験を通して基本的な概念や，法則を理解することが重要視されている．
しかし，実際に勉強をする環境では，化学薬品などを使用する実験は危険な薬品を使う場合もあるため実際に実験をしながら自習を行うことは困難である．
そのため，岡本らは AR 型反応実験環境を開発した（1）（2）．このシステムでは，AR マーカを入力インターフェースとして用いており，マーカのみの操作で仮想現実を行うことができることで仮想現実を実際の実験動作に近づけることができると考えられる．
しかし，AR マーカを用いた場合には実際に動かすために AR マーカを印刷する必要性や，カメラからの映る角度や手などが間に入ることによって起きるマーカの認識の問題などがある．
このマーカの認識問題を解決するために，AR マーカではなく VR 環境で実験器具を動かすという方法も考えられるが，VR 環境を用意するために性能の高いパソコン(以下 PC)が要求される上により設定などに手間がかかるため，自習用に用意するためには理想的な環境とは言えない．
そこで本研究では，AR マーカではなく，LeapMotion を用いて PC 画面上に表示された 3D モデルを動かすことにより，実際の実験動作に近い操作を簡単に行うことが可能な操方法についての評価を行う．

2.

ある手のオブジェクトを動かすことができる．オブジェクトを動かす際には，実際に手で掴む動作をすると，仮想環境上にある手のオブジェクトが仮想環境上で触れている図 2 のような仮想の験器具などを掴むことができる．本研究では中和反応を想定して，システムを開発しおり，今回のシステムにおける中和反応は，仮想環境上の薬品の入っている試験官掴んで動かし，フラスコに試験官が当たると，フラスコ側が試験官側の薬品の情報を読み取り，その試験官に入っている薬品に対応した薬品がフラスコに入っていた場合中和反応の処理を行う．この試験官を掴み，動かすことによって仮想環境での実験を行う．

図 1 提案環境の外観

システム構成図 1 に提案環境の外観を示す．本システムは PCとその PC に繋がれた Leap Motion の 2 つで構成される．この Leap Motion は手の形や位置などを 2 つのカメラを用いてトラッキングしており，API を導入
うし USB で PC と繋ぐだけでリアルタイムに PC 画面上に表示された仮想空間の手を現実の手とほぼ同じ動きをすることが可能である．この Leap Motionを用いてトラッキングした情報を基に，PC 画面上に

図 2 実験器具

183

中国地区

3.

教育システム情報学会 2020年度学生研究発表会

評価実験

本研究で提案した Leap Motion を用いた実験操作の評価を行う．初めに Leap Motion のトラッキング性能の評価を行った後に提案システムの仮想実験環境の評価を行った．
3.1 Leap Motion のトラッキング性能の評価
Leap Motion を使用し，手のトラッキングを行った
例を図 3 に示す．この図から見て分かる通り，Leap
Motion を用いると，手の向いている方向，指の曲がり方，手の存在する場所を性格にトラッキングし，表示ができているという事が分かる．また，Laep
Moption は 2 つのカメラを用いて手の形をトラッキングしているが，カメラに指と手の全体が認識できる程度に映る場合は性格な指形を認識が可能であり，映っていなくても手の位置などの情報を正確にトラッキングすることが可能であることが分かった．

図 4 実験器具を掴む例

3.2 仮想の実験器具を掴む動作における評価
仮想の実験器具は図 4 のように掴むことによって，動かすことが可能である．この掴む動作を実際に100 回行った場合での結果を図 5 に示す．この結果から，100 回中 85 回が掴むことができ，15 回は掴めなかったという事が分かった．また掴めなかった理由としては，通常の PC 画面である 2 次元の画面上で奥行きを表現しているため，実際のオブジェクトと画面上の手の位置に対する距離感が分かりにくく，試験管の位置の前後で掴んでいたため，掴めていないということが分かった．そのため，当たり判定を実際のサイズよりも少し大きく取り，より掴みやすくなるように調整をする必要性があるということが分かった．

図 5 掴む動作の評価

3.3 実験動作における評価
提案システムにおける中和反応の実験動作を 100回行い，その実験動作にかかった時間を図 6 に示す．
実験動作にかかった時間の平均は 2.61 秒であった．
また，最短時短であった 1.21 秒から平均時間の 2.61秒程度の時間がかかった操作の場合は， 1 回もしくは 2 回の掴む動作によって試験官を掴め，スムーズに操作を行えた場合である．一方，一番時間のかかった 4.94 秒のような 4 秒以上掛かっているような場
合は実験器具を複数回掴むことができずスムーズに操作ができなかったため，操作に時間がかかっていた．この結果から操作は簡単であり，多少掴めない場合があるが，実際の操作時間が長くなりすぎるといった可能性が少ないため，影響があまり無いということが分かった．

図 6 実験の操作時間

4.

まとめと今後の課題

本研究では，Leap Motion を用いて PC 画面上の仮想の実験器具を動かすことによる仮想実験環境での学習環境の評価を行った．実験の結果から，トラッキング性能の制約の上で仮想環境での化学実験は行うことが可能であるということが分かった．また，従来の手法とは違い，Leap Motion を PC につなぐだ
けで良いため，より簡単に現実に近い形の学習環境を構築することが可能であることが分かった．今後の課題として，実験器具を掴む際の当たり判定を行う広さの調整や，実験器具を増やすことにより，様々な実験が可能であると考えられるため，実験の種類を増やすこと(電気分解や蒸留など)が挙げられる．
参考文献(1) 岡本勝, 隅田竜矢, 松原行宏: “拡張現実型マーカを用いた無機化学学習支援システム”, 電子情報通信学会
論文誌 D, Vol. J98-D, No. 1, pp. 83-93（2015）(2) 岡本勝, 石村司, 松原行宏: “ヘッドマウントディスプ
レイと拡張現実感技術を用いた無機化学学習支援システムの開発”, 教育システム情報学会誌, Vol. 35, No.
4, pp. 312-321（2018）

図 3Leap Motion による手のトラッキング例

184