第 18 回日本バーチャルリアリティ学会大会論文集 (2013 年 9 月)

VR 化学実験体験システムのための
タッチパネル 3D インタフェース
Touch Panel Interface in 3D Virtual Space for Chemical Laboratory Experience System内山享佑 1) ，舟橋健司 2)

Kyosuke UCHIYAMA and Kenji FUNAHASHI
1) 名古屋工業大学 情報工学専攻（〒 466-8555 名古屋市昭和区御器所町, uchikyon@center.nitech.ac.jp ）2) 名古屋工業大学 情報工学専攻（〒 466-8555 名古屋市昭和区御器所町, kenji@nitech.ac.jp ）概要:

当研究室では小学生程度を対象とした VR 化学実験体験システムを開発している．本システム

は，3 次元空間内でビーカーなどの容器を移動，回転することで溶液を混ぜ合わせ，その反応を視覚的に確認するものであり，3 次元位置センサなどを利用している．本研究では実際に教育現場への導入が進んでいるタブレット PC 上でこのシステムを実現する．その際，液体操作に利用する容器を傾ける操
作は 2 次元平面であるタッチパネルを介して自然に行いたい．そこでタッチパネル上の指の動きを，容器を内包する球の緯度成分と経度成分に分解し，経線と緯線に沿って回転するインタフェースモデルを提案する．本モデルにより違和感なく期待通りの 3 自由度回転操作が可能である．
キーワード ： 対話操作, タッチパネル , 3D インタフェース

1.

はじめに
近年，バーチャルリアリティ技術に関する研究が盛んに行なわれ医療や産業、教育などの分野で活用されている．その際に，固体や液体，気体など の挙動の厳密な再現に重点実現している．本モデルでは容器で液体をすくう，受け止める，こぼすなど の現実世界における化学実験の際に考えられる液体操作が実現可能である．
このシステムでは液体操作に利用する容器の操作のパラをおく研究と対話操作，すなわち実時間処理に重点をおく

メータは 3 次元モーションセンサを介して得ている．しか研究がある．本研究はこの後者に位置付けられる．

し 移動の容易なシステムも需要があるだろう．一方，キー当研究室では，小学生程度を対象とした VR 化学実験体

ボードを持たないタブレット型 PC の普及が進んでおり，e-験システムを開発している [1]．これはビーカーやフラスコlearning 端末として教育現場への導入が進んでいる [3]．そを実際に操作することで実験の手順や化学反応を確認する

こで本研究では，VR 化学実験体験システムの普及を目指ことが可能なシステムである．臨場感の高い化学実験体験し，タブレット PC 上でシステムの構築を行う．その際，液システムを構築するにあたり液体の挙動表現が必要となる．

体操作に利用する容器の操作はタブレット PC で主に用い

この際，粒子法の 1 種である SPH 法を用いることで厳密なられているタッチパネルにより実現したい．2 次元平面を介液体の挙動の再現が可能である [2]．しかし，厳密な挙動をした 3 次元空間の物体操作，特に 3 自由度回転操作を行な再現するためには膨大な計算が必要であり，また高い性能うため，本研究ではいくつかの実現方法を考察したうえでの計算機が必要となる．このため，一般家庭や教育機関で緯線，経線にそって地球を回すようなモデルを提案する．本

利用してもらうことを目的とした本システムには適していモデルを用いることで違和感なく期待通りに 3 自由度の回ない．

転操作を実現できる．

そこで，本研究室では VR 化学実験体験システムのため

以下，2 章では VR 化学実験体験システムのための粒子・に粒子・体積ベース仮想液体操作モデルを提案している．本

体積ベース仮想液体操作モデルの概要，3 章では 2 次元平モデルでは対話操作を重視し ，液体を自由落下状態と容器面を介した 3 自由度回転を行なうモデル，4 章では実験と内状態の 2 つに分けて考える．液体が前者の状態ではお互

その結果について述べる．

いの干渉を考えない粒子により表現し ，後者の状態では体積に基づき表現すことで安価な PC でも高速な処理速度を‫ݕ‬஼݀ଶ݀ଵ݀ଷφθ ψCrbaCQC݀ସCλC ab λ‫ݔ‬஼‫ݖ‬஼

B

仮想容器QAAB(a)(b)

図 1: 容器の傾きと向きの表現

粒子・体積ベース仮想液体操作モデル

2.
2.1

図 2: 典型的なインタフェースモデル

液体モデル

当研究室で提案している粒子・体積モデルでは，液体を次の 2 つの状態に分けて考える．

3.

2 次元平面を介した 3 自由度操作(1) 自由落下状態 (蛇口や容器からこぼれ落ちる液体)

3.1

球体回転のインタフェースモデル

これまでのデスクトップ PC ベース VR 化学実験体験シ(2) 容器内状態 (コップなどの容器に溜まっている液体)状態 (1) の液体は粒子に基づいた表現を行なう．本モデルでステムでは，2.2 節の容器のパラメータ (θ, φ, ψ) は 3 次元

は対話操作を重視しているため，粒子一つ一つの大きさや，モーションセンサを介して値を得ていた．しかし，VR 化学

分子間力や粒子同士の衝突など の粒子同士の干渉は考慮し実験体験システムの普及を目指し ，タブレット PC での同ないものとする．各粒子は重力および慣性のみに従い移動システムの構築を行うにあたり 3 次元モーションセンサをし ，時刻 t における座標 Pi (t)(i = 1, 2, …, N ; N : 粒子数)利用するのは可搬性の面から困難である．そのため，本研は移動量と重力による加速を考慮して次式 (1) により決定

究では 3 次元空間内の容器操作，特に 3 自由度の回転につされる．

いて容器を内包する球をタッチパネルなどの 2 次元平面をPi (t) = 2Pi (t − ∆t) − Pi (t − 2∆t) + g∆t2

介して回すようなインタフェースモデルを提案する．球体(1)の回転についてはいくつかの方法が考えられ一長一短があ

ここで g は下向きの重力加速度ベクトルであり，∆t は描画る．そこで本研究では球体に緯度，経度を表す地理座標系

更新間隔，すなわち描画更新レート (f rames/sec.) の逆数を取り入れ，タッチパネル上の指の動きを緯度成分，経度である．一方，状態 (2) の液体は体積に基づいた表現を行な成分に分解した上で経線，緯線に沿って地球を回すようなう．時刻 t における容器内の液体は体積 Vt と表す．容器のインタフェースモデルを提案する．まず 2 つの典型的なイ姿勢とその中の液体の体積が決まれば ，定常状態におけるンタフェースモデルについて述べる．

液面の高さが決定できる．上記 2 つの状態間での遷移があっ中心のみが固定された球の回転た場合には換算比 N [粒子数/体積] による換算を行なう．例

1 つ目は中心のみが固定された球の回転である．図 2(a)えば，状態 (2) から (1) への遷移を考える．容器内に体積 Vに示すように，タッチパネル上で指が点 A から点 B へと移の状態 (2) の液体が存在するとし ，それらを全て容器外に動した場合，それに対応する 3 次元球体上の点を a, b とす落下させた場合は容器内の液体体積を 0 とし ，状態 (1) のる．点 a, b, C を含む平面の法線を回転軸 Q とし，角 λ を

液体を N V 増加させる．

回転角とし 球の回転を行なう．しかし ，このモデルでは指仮想容器のモデルを横になぞるように動かした場合，円の中央部と上部によ2.2

本モデルでは 3 次元空間内の容器に対して，それを内包り回転が異なり，地球儀を回すような回転を思い描いた場する球を考え，その中心を C ，半径を r とし ，容器の位置合に違和感を覚える．

をベクトル C により表現する．また内包球に C を原点としスクリーンに平行な軸での回転た容器座標系 (軸 xc , yc , zc ) を設定し，軸 yc と球との交点2 つ目はスクリーンに平行な軸での回転である．図 2(b)(図 1 の d1 ) の位置の変化 (極座標的な表現) により容器の傾に示すようにタッチパネル上の指の動きに垂直かつ球の中きを表現する．具体的には各軸の回転を考え，xc を軸とし心を通る軸を回転軸 Q とし ，角 λ0 を回転角とし球の回転て点 d1 が点 d2 に移動するように容器を角度 φ だけ回転し，を行なう．これにより，前述のモデルでの違和感を解消する

更に zc を軸として点 d2 が点 d3 に移動するように容器を角ことができる．しかし ，前述のモデルでは円周上に軌跡を度 θ だけ回転する．この二つのパラメータ (φ, θ) により容描くことで可能であったスクリーンに垂直な軸における回器の傾きを表現する．また，容器の方向は yc を軸として角転が，このモデルではできない．

度 ψ だけ回転を行うことで，点 d4 により表現できる．次節ではこの回転をタッチパネルを介して行うことを考える．

wba(a)
図 3: 指の動きの分解(b)図 5: 円と補助円の間と判定された時い補助円を設定する (図 5(a))．この円と円の間に触れた場
合，触れた点と円の中心を結んだ直線と投影された円との交点を実際に処理する点とすることで，円周上をなぞる操C

஼作を可能とする (図 5(b))．

௔஼

aQ

4.

実験とその結果上述のモデルに基づいた実験システムをタブレット PC:

ICONIA TAB A500-10S16，OS: Android Honeycomb 3.1，
஼CPU: Tegra2，1GHz 上に構築した．本実験システムでは操作者が 6 自由度の移動を行なえる移動容器の操作を，通図 4: 緯度成分による回転の回転軸

常のド ラッグ操作による 2 自由度の平行移動，2 本指のド地理座標系を取り入れた球体回転モデルプすることで回転移動モード に変更した上で本提案モデル

ラッグ操作によるスクリーンに垂直な平行移動，容器をタッ

3.2

そこで 3.1 節で考察した 2 つのモデルの問題点を解消するために地理座標系 (緯度経度座標系) を取り入れたインタフ
ェースモデルを提案する．球体上の点は直交座標系:(x, y, z)，極座標系:(θ, φ)，地理座標系:(α(緯度), β(経度)) のように複数の表現が可能である．球体の回転については，2 次元平面上の指の軌跡を緯度成分と経度成分へ分解し ，それぞれの成分において球体の回転を考える．具体的には図 3 に示
すようにタッチパネル上の指の移動前，移動後に対応する球体上の点をそれぞれ a, b とする．この時，指の動きを緯度成分，経度成分に分解するために，点 w を定義する．点a, b の地理座標をそれぞれ (αa , βa ), (αb , βb ) とすると，点w は (αb , βa ) と表せる．緯度成分，すなわち緯度の変化分により地球が地軸回りに回転すると考える．この時球体は y軸を回転軸とし，角度 (βb − βa ) だけ回転する．また経度成による回転操作とした．実際に実験を行っている様子を図 6に示す．容器の回転を行う際には 2 つの円が表示され，図 7のように内側の円を斜めになぞることで，容器が斜めに傾いている様子が確認できる．また，図 8 では内側の円と外側の円の間をなぞることで，スクリーンに垂直な軸での回転を行い容器が横に傾いてる様子が確認できる．
次に，容器の直感的な回転操作について 20 代男性 9 名に5 段階評価してもらった結果を図 9 に示す．3.1 節で問題となっていた挙動を解決することで操作者が期待する容器の回転操作が実現でき， 「直感的に操作できる」， 「期待通りの回転ができ違和感がない」などの高い評価が得られ，

9 人中 7 人から 4 点以上の評価を得ることができた．この結果より，本提案モデルは 2 次元平面を介した 3 次元空間に対する操作として有用であることがわかる．

分，すなわち経度の変化分により，描かれた等経度線が見た目上動かないような回転を考える．回転軸 Q は点 a, w, Cを含む平面の法線ベクトル，つまり経度線 βa を含む平面の法線ベクトルとし (図 4)，角度 (αb − αa ) だけ回転する．これら 2 つの回転を組み合わせ，タッチパネル上での指の軌跡をもとに回転後の容器の傾きと方向 (θ, φ, ψ) を決定する．

3.3

投影された円周上付近における判定

本モデルでは円周上をなぞる指の動きを行なえばタッチパネルに垂直な軸による回転が可能である．しかし ，指の太さや，タッチパネルの感度などの条件により，正確に円周上をなぞる事は困難である．そこで本モデルでは，タッチパネル上に投影された円よりも半径が定められた分だけ長図 6: 実験の様子

図 7: 内側の円内での容器の回転

図 8: 円と円の間での容器の回転• タブレット PC の各種センサーを用いたインタフェー

人数9876543210スの考案• 実際の教育現場での評価実験
特に教育現場での実験において実際に小学生程度を対象とした場合ど のようなインタフェースが有用であるかを調査し ，より臨場感の高い VR 化学実験体験システムの開発に継げていきたい．
12345

評価点数
謝辞
図 9: 容器の直感的な回転操作に関する評価結果

研究を進めるにあたり，有益な議論を頂いた本研究室諸氏に感謝する．なお，本研究の一部は JSPS 科研費24501186 の研究助成による．

参考文献[1] Y. Natsume, A. Lindroos, H. Itoh and K. Funahashi，

5.

むすび

“The Virtual Chemical Laboratory Using Particle

本論文では当研究室で開発中の VR 化学実験体験システ

and Volume Based Liquid Model”, Proc. SCIS & ISIS

ムの普及を目指し ，タブレット PC 上での同システムの構築を行い，2 次元平面であるタッチパネルを介した 3 自由度

2010, pp.1354-1359, 2010.
[2] Jun Chen, Kejian Yang, Yuan Yuan,“SPH-based vi-

回転のインタフェースモデルを提案した．本提案モデルに

sual simulation of fluid”, The 4th International Con-より 3 次元モーションセンサなどを利用しなくても，違和ference on Computer Science and Education (ICCSE

感なく期待通りに 3 次元空間内の物体の 3 自由度回転操作2009), pp.690-693, 2009.
[3] 長谷川聡，佐原理，長谷川旭，田川隆博，尾崎志津子，が可能となった．今後の課題としては以下が考えられる．

• 容器操作モデルのマルチタッチインタフェースへの拡張“タブレット端末の教育利用 -名古屋文理大学におけるiPad 導入-”，ヒューマンインタフェース学会誌，Vol.12,
No.4, pp.245-252, 2010.