中国地区

教育システム情報学会 2016年度学生研究発表会

ハンドトラッキングコントローラと HMD を用いた仮想化学実験環境の構築
Virtual Chemistry Experiments Environment using
HMD and Hand Tracking Controller
*1

*2

*2

*2

林 純平 , 岡本 勝 , 松原 行宏 , 岩根 典之*2*2*2
Junpei HAYASHI , Masaru OKAMOTO , Yukihiro MATSUBARA and Noriyuki IWANE*1
広島市立大学 情報科学部*1
Faculty of Information Sciences, Hiroshima City University*2
広島市立大学大学院 情報科学研究科*2
Graduate School of Information Sciences, Hiroshima City University
Email: lhayashi@lake.info.hiroshima-cu.ac.jp*1

あらまし：本研究では，身体動作を伴う HMD 型仮想化学実験環境を構築する．仮想化学実験での必要な基本操作を「物を持つ」，「物を移動させる」，「物を手放す」の 3 操作とし，学習者はハンドトラッキングコントローラを用いることで，仮想化学実験環境内の白金線などの物体を操作することができる．評価実験では，被験者が仮想化学実験環境において，身体動作を用いることによって炎色反応実験が可能であることを確認した．
キーワード：仮想化学実験，Virtual Reality，ハンドトラッキングコントローラ，HMD(Head Mounted Display)

1.

はじめに

2.

システム外観

仮想化学実験環境

高校化学の学習指導要領では実験を通じて学ぶことは重要とされている(1). しかし，安全面や授業時間の少なさから十分に実験が行われないといった現状がある．このような問題点を解決するために，岡本らは AR を用いて仮想的に化学実験を行えるシステ
ムを開発した (2). このシステムでは実験器具や試薬にそれぞれ対応した AR マーカを操作して仮想無機化学実験を進めることができる．このシステムの評
価実験では，身体動作を伴う学習が知識獲得に良い影響を与える可能性が示された．一方で，VR を用いた仮想化学実験環境の構築が考えられるが，HMDを装着していると手元が見えないため，常に手に持ち続ける入力デバイスなどの利用を検討する必要がある．
そこで本研究では，ハンドトラッキングントロー
ラを用いた VR 型仮想化学実験環境を構築する．ハ
ンドトラッキングコントローラは，自身の位置と角度の取得およびトリガー入力ができる手に持つデバイスである．提案システムではハンドトラッキングコントローラで実現可能な，ものを「持つ」，「移動させる」，「手放す」の 3 操作を実装した．学習者はハンドトラッキングコントローラを用いることで，VR 空間内で身体動作を伴いながら無機化学実験を行うことができる．

代替オブジェクト

HMD

実験器具操作
インタフェース

図 1 システムの外観と仮想化学実験環境
ッキングコントローラを模した 2 つの代替オブジェ
クト，ガスバーナー，高校化学の炎色反応で主に扱われるイオンが入った 7 つのビーカー，問題解答スペースがある．ハンドトラッキングコントローラの動きは仮想実験環境内の代替オブジェクトに反映され，HMD の動きは仮想実験環境内の視界に反映される．仮想実験環境の映像は HMD に出力される．
ハンドトラッキングコントローラを用いた実験器具の操作方法を図 2 に示す．ハンドトラッキングコン
トローラを動かして実験器具に代替オブジェクトを重ねた状態にし，ハンドトラッキングコントローラに搭載されたトリガーを引くことで，その実験器具を「持つ」ことができる．
「持つ」状態のままハンドトラッキングコントローラを動かすことで，実験器具を代替オブジェクトに追従させるように「移動させる」ことができる．また，トリガーを離すと実験器具を「手放す」ことができる．この 3 操作を用いて仮想無機化学実験を行うことで，身体動作を伴った仮想実験を行うことができる．また，実験に目的を持たせるため，システム内の問題解答スペースで問題の提示と正誤判定を行っている．

提案システム提案システムの仮想化学実験環境とシステムの外観を図 1 に示す．学習者は HMD を装着し，ハンドトラッキングコントローラを片手に 1 つずつ持って仮想実験を行う．提案システムでは炎色反応実験を行う環境を実装した．仮想実験環境にはハンドトラ187

中国地区

教育システム情報学会 2016年度学生研究発表会

ONz軸[m]

0.4

持つ

0.2
0(b)

(c)

-0.2

(a)

-0.4-0.6

移動させる

00.2

0.4
x軸[m]

0.60.8

図 3 被験者 A の白金線を持った時のx-z 平面上の移動軌跡

手放す
OFF

検証実験

検証実験では，提案システムを用いて身体動作を伴った炎色反応の仮想実験が行えるか被験者を用いて確認した．被験者らにはシステムの操作方法を説明した上で，システム内に表示される設問に答えなさいと指示し，自由にシステムを利用してもらった．
被験者は A, B の 2 名とし，被験者らの行った実験中のハンドトラッキングコントローラを模した代替オブジェクトの位置，トリガー入力および仮想実験環境内の実験器具の位置座標から身体動作を伴った仮想実験が行えているのか確認した．被験者 A が白金線を持った時のハンドトラッキングコントローラの代替オブジェクトの移動軌跡を図 3 に示す．また，
図 3 中の時点(a)から時点(c)での被験者 A の実空間での動作を図 4 に示す．被験者 A は時点(a)から時点(b)にかけて体の向きを変えて手を伸ばしている．時点(b)から時点(c)にかけて体の向きを戻して時点(a)と同じ位置に手を伸ばしている．被験者 A は仮想炎色反応実験を身体動作を伴いながら行うことができた．
被験者 B が白金線を持った時のハンドトラッキング
コントローラの代替オブジェクトの移動軌跡を図 5に，被験者 B の実空間での動作を図 6 に示す．被験者 B も被験者 A と同様に，時点(d)から時点(e)にかけて体の向きを変えて手を伸ばし，そこから時点(f)にかけて体の向きと手を元の位置まで戻している．
被験者 B は仮想炎色反応実験を身体動作を伴いながら行うことができた．これらのことから，本システ
ムを用いて仮想実験を身体動作を伴って行うことができることが確認できた．

4.

(c)

図 4 図 3 中の各時点での被験者 A の動作

z軸[m]

3.

(b)

(a)

図 2 操作方法とトリガー入力

0.4
0.2
0-0.2
-0.4-0.6-0.8-1(e)
(f)

(d)

v
-0.5

00.5

1x軸[m]

図 5 被験者 B の白金線を持った時のx-z 平面上の移動軌跡

(d)

(e)

(f)

図 6 図 5 中の各時点での被験者 B の動作行うことができる．検証実験から，学習者が提案システムを用いて身体動作を伴った仮想実験を行うことができることを確認した．今後の課題として，学習効果の検証や AR 型仮想化学実験環境との学習効果の比較，また AR 型仮想化学実験環境のマーカが増えた場合との操作比較が挙げられる．
参考文献(1) 文部科学省:“高等学校学習指導要領解説 理科編 理数編”, 実教出版株式会社, pp. 49-71 （2009）(2) 岡本勝, 隅田竜矢, 松原行宏:“拡張現実型マーカを用いた無機化学学習支援システム”, 電子情報通信学会
論文誌, Vol. J98-D, No. 1, pp. 83-93 （2015）

まとめと今後の課題

本研究では，身体動作を取り入れた VR 型仮想化学実験環境を構築した．ハンドトラッキングコント
ローラを用いることで身体動作を伴った仮想実験を188