情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1A-06
2019/3/6

視線追跡 HMD と眉間を用いた「目掴み」の評価
池田沙厘奈†

薄羽大樹†

宮下芳明†

概要：本稿では，視線追跡装置を搭載した HMD と眉間の動きを利用し，VR 空間内においてコントロー
ラを用いずともドラッグ&ドロップが可能な「目掴み」を提案する．提案システムでは，ドラッグしたいオブジェクト上で眉間を寄せ，オブジェクトを選択し，そのままポインタを動かし（ドラッグ），目的の領域上で眉間を離す（ドロップ）ことでドラッグ&ドロップが可能である．実験の結果，操作時間はターゲットまでの距離とターゲットの直径に影響され，エラー率はターゲットの直径に強く依存することが分かった．また，評価実験を踏まえ，システムの改善案を示した．

1. はじめに
近年，仮想現実感（Virtual Reality: VR）技術の普及と発関連研究
1.1 視線追跡と HMD に関する研究展が急速に進んでいる．それに伴い，ヘッドマウントディ

山浦らは，ユーザの視線に追随したエフェクトを重畳す

スプレイ（Head Mount Display: HMD）も様々存在している．

ることでデジタルコンテンツの体験を拡張する手法を提案

また，視線追跡の開発も進んでいる．これにより，ユーザした[6]．エフェクトを重畳によって，そのコンテンツに対がどこを注視しているのかを把握でき，注視情報を応用しする印象の評価値が上昇することや，コンテンツにより集たインタラクション技術の開発が可能となってきている

中できることが分かった．Thammathip らは，目の主要な 3[1]．従来の研究では，PC のスクリーンを対象とした視線追つの動きに注目し，視線追跡を用いた HMD の操作を提案

跡が主であったが，今では，アイトラッカーが搭載されたした[7]．提案された操作は，（1）対象物に視線を向ける高HMD も存在する．例えば，「StarVR one[2]」「Tobii Pro VR[3]」速で一過性の眼球運動であるサッケードを用いた Duo-

「FOVE 0[4]」である．HMD にアイトラッカーが搭載されReticles，（2）スムーズな追跡を用いた Radial Pursuit，（3）ることで，視野の中心付近だけを高解像度で見せる「フォ前庭動眼反射を用いた Nod and Roll である．

ービエイテッド・レンダリング」が可能になるなど，HMD

1.2 表情に関する研究においても視線を利用する技術が期待されている．

Chiba らは，従来の HMD がユーザの顔を隠してしまう

本稿第 3 著者らは，F.A.R Vision を提案した[5]．F.A.R

ことを問題視し，IR（赤外線）パスフィルタと IR カメラをVision は，拡張現実感を対象としたシステムであり，シー用いて顔を撮影できる HMD を提案した[8]．鈴木らは，スルー型 HMD にフォトリフレクタを取り付け，眉間の動HMD の内側と外周部にフォトリフレクタを組み込み，きをセンシングしている．そのため，眉間の動きによってHMD を装着したユーザの表情を認識する技術を提案した

フェーダー操作を行うことが可能である．

[9]．提案手法によって，ユーザの表情をアバターへ反映でこれに対し，本稿では，VR 空間内において眉間の動きのきるようになった．
（株）360Channel は，FOVE 0 と口や顎よってドラッグ&ドロップが行える「目掴み」を提案する．の動きを取得できる Facial Tracking Camera によって表情を提案システムでは，眉間を寄せることでオブジェクトを掴3D アバターに反映させている[10]．Yamashita らは，光セン

むことができ，眉間を寄せたままポインタを動かし，眉間

サを HMD に取り付け，額[11]や頬[13]上でのタッチ操作をを離すことでオブジェクトを離す．これによって，VR 空間可能にした．菊池らは，光センサと機械学習を用いて，耳内においても，コントローラを用いずともドラッグ&ドロを入力インタフェースにするイヤホン型デバイス「 Earップが可能である．また，素早く眉間を開閉すれば，クリTouch」を提案した[12]．

ック操作も行える．視線追跡が可能な HMD に実装されて1.3 ポインタに関する研究おり，ユーザは視線と頭部の動きによってポインタを操作

山中らは，注視していない領域の特定が容易であることする．本稿では，ドラッグ&ドロップタスクによって「目掴を応用し，注視していない領域ではポインタの速度を増加み」の操作性能についても調査する．

させる手法を提案した[14]．村田らは，視線入力装置でポインタを操作し，決定操作にはマウス，もしくは，視線入力（視線が一定時間停留した場合には決定操作になる）を用† 明治大学

© 2019 Information Processing Society of Japan193

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

いたポインティング実験を実施した[15]．実験によって，視1A-06
2019/3/6

2.2 構成線でのポインティングの精度を高めるには，20 pixels 以上提案システムの構成を図 1 に示す．FOVE 0 の眉間にあのターゲット間隔，40 pixels 以上のターゲット幅にすべきたる位置に穴を空けフォトリフレクタを内蔵した（図 2）．

であると示された．また，縦方向よりも横方向のポインテ

これにより，眉間を寄せているか・離しているかをセンシ

ィングの精度が高いことも示された．村田らは，同様の入ングすることが可能である．また，FOVE 0 からは視線と頭力デバイスでドラッグ＆ドロップの実験も実施した[16]．

部の動きを取得する．そして，Unity でそれらの情報を統合

ドラッグ＆ドロップでは，マウスを用いる方が視線入力よし，ポインタなどを FOVE 0 内のスクリーンに描画する．

りも作業時間が短いことが示された．大和らは，視線の動

FOVE 0 の解像度は 2560×1440 pixels，フレームレートはきとマウスを併用した操作を提案した[17]．マウスのみの

70 fps，視野角は 100 度，視線追跡器のトラッキング精度は操作に比べて，操作の誤りを増やすことなく，平均で 17%1 度未満，フレームレートは 120 fps である．

（0.4 秒）短く操作できることが示された．また初心者を想定し，利き手ではない手を用いた実験も実施した．操作の誤りが減り，そして，平均で 27%（0.8 秒）短く操作できた．
暦本は，ドラッグ＆ドロップ操作を複数の PC で可能にした，Pick and Drop を開発した[18]．PC 上で Pick したデータをもう 1 台の PC に Drop することができ，ファイル転送コマンドを意識せずともファイルの移動が可能になった．

2. 提案システム
2.1 概要ドラッグ&ドロップは GUI 上で行われる頻繁な操作の 1つである．例えば VR 空間内では，まず，ドラッグしたい

図 1

提案システムの構成

オブジェクト上でコントローラのボタンを押し，ボタンを押したままコントローラを動かし（ドラッグ），目的の領域上でボタンを離す（ドロップ）ことで，ドラック&ドロップが行える．これに対し，提案システムでは，眉間を寄せているか・離しているかをセンシングし，その情報を用いることでドラック&ドロップを実現する．つまり，提案システムでは，VR 空間内において，コントローラを用いずともドラック&ドロップが行える．

図 2

FOVE 0 と取り付けられたフォトリフレクタ

提案システムでは，まず，ドラッグしたいオブジェクト上で眉間を寄せ，オブジェクトを選択し，そのままポイン

視線のキャリブレーションについては，FOVE 0 のシス

タを動かし（ドラッグ），目的の領域上で眉間を離す（ドロテムを用いた．また，眉間のキャリブレーションについてップ）ことで，ドラッグ&ドロップが行える．つまり，さなは，F.A.R Vision[5]での手順を用い，2 セット行った．F.A.R

がら，眉間でオブジェクトをつかんでいるような操作が行

Vision のキャリブレーション方法とは，まず，計測した 2

える．マウス操作で例えるなら，眉間を寄せることがマウ

セットのデータから各セットの最大値と最小値を求める．

スダウンであり，眉間を離すことがマウスアップにあたる．

次に得られた 2 セットの各最大値と最小値から「2 セットまた，ポインタの操作は頭部の動きと視線によって行う．の中で小さい最大値」と「2 セットの中で大きい最小値」

提案システムの応用例として，クリック操作があげられを求め，その値を出力値の最大と最小として認めた．そしる．近年では，「OptiKey[19]」などの視線計測を用いた文字て検出幅はその差と定義した．3 つのフォトリフレクタの入力インタフェースが存在する．OptiKey では，視線でポうち，検出幅が一番大きいものを採用した．閾値は，検出インタを動かし，マウスやコントローラなどのボタンを押幅の半分の値を最小値に足したものとした．

すことで文字の選択が可能である．一方で，提案システム
では，視線や頭部の動きによってポインタを動かし，素早3. 実験

く眉間を開閉することでクリック操作が行え，文字の入力

3.1 参加者が行えると考えている．

参加者は，21~24 歳の男子大学生 7 名であった．参加者

ポインタは注視点に黒色で表示されている．眉間が寄っのうち 2 名は眼鏡を日常的に使用しているが，眼鏡を装着ている状態では，ポインタの色は黒色から緑色に変わる．

した状態で FOVE 0 のキャリブレーションを行うことがで© 2019 Information Processing Society of Japan

194

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

きなかったため，裸眼で実験を行った．
3.2 タスク

1A-06
2019/3/6

3.5 計測項目
開始ターゲット上で眉間を寄せてから，終了ターゲット参加者が行うタスクの内容を図 3 に示す．まず，参加者上で眉間を離すまでの時間（MT），エラー率を記録した．

は開始ターゲット（赤色）上まで視線と頭部によってポインタを動かし，眉間を寄せ，試行を開始させた．その後，眉間を寄せたまま，視線と頭部でポインタを動かし，終了ターゲット（黄色）を目指し，眉間を離すことでその試行が終了する．眉間を離したとき，ポインタの座標が終了ターゲット上であった場合には，その試行を成功とした．試行が成功した場合にはベル音が再生された．また，それ以外の場合（例えば，途中で眉間が離れた場合，終了ターゲット外で眉間が離された場合）はエラーとし，失敗を伝える音が再生された．
図 4

実験デザイン

4. 結果
1680 回のデータのうち，6 回のデータが欠損した．また，エラーした試行のうち，ポインタが開始ターゲット付近で終了している 81 個のデータは，開始直後に眉間を離してしまった試行であるため，外れ値として除いた．最終的に
図 3

実験システムの画面

は，実験データとして 1593 回のデータを用いた．独立変数
を W，D，方向，従属変数を MT とエラー率とし，分散分析3.3 デザインを行った．その後の検定には Bonferroni 法を用いた．全体

実験デザインの概要を図 4 に示す．開始・終了ターゲッのエラーは 358 回（22.5%）であった．グラフ中のエラーバ

トの直径（W）は，1.2 m（視角 9.15°）, 1.5 m（視角 11.42°）,ーは標準誤差を示す．多重比較によって有意差が見られた

1.8 m（視角 13.69°），開始ターゲットの中心から終了ター場合には，グラフ中に p 値を記述している．

ゲットの中心までの距離（D）は 4.78 m（視角 35.35°），4.1 D と W と方向の MT への影響

5.75 m（視角 41.95°）であった．開始ターゲットから終了

操作時間に関する結果についてはエラー試行を排除した

ターゲットまでの方向は 4 種類であり，上から下，下から上で計算を行った．D（F 1, 6 = 44.13 , p < 0.01）と W （F 2,12上，右から左，左から右であった．VR 空間内では，カメラ= 4.58, p < 0.05）では，MT に主効果があることが示された．

からターゲット面までの距離は 7.5m であった．1 セットは一方，方向（F 3,18 = 0.47, p > 0.10）には，主効果が見られW（3） × D（2） × 方向（4） = 24 試行であり，W，D，なかった．また，多重比較の結果，W が小さくなるほど（W方向の出現順序はランダムであった．

= 1.2 m と W=1.8 m 間では p < 0.05）MT が増加した（図 5）．

3.4 手順
まず，参加者に実験の内容を説明し，眉間と視線のキャリブレーションを行った．そして，参加者は 1 セットの練習を行い，その後，10 セットを実験用のデータとして行った．つまり，全体では W（3）× D（2）×方向（4）× 10
セット × 7 名 ＝ 1680 回のデータが集計された．実験終了後，提案システムに関してのアンケートを実施した．それぞれの参加者が実験に要した時間は 30 ~ 50 分であった．

図 5

D と W と方向の MT への影響

参加者は回転可能な椅子に着席しており，ターゲットを選択する際には視線を動かしても頭を動かしても良いと伝えた．また，実験中，参加者が眼疲労や酔いを訴えた場合は休憩や中断が可能であることを伝えた．

© 2019 Information Processing Society of Japan

4.2 エラー率W（F 2,12 = 9.61, p < 0.01）では，エラー率に主効果があることが示された．一方，D（F 1,6 = 0.28, p > 0.10）と方向（F195情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1A-06
2019/3/6

3,18 = 0.14 , p > 0.10）には主効果が見られなかった．また，加者によって回答は異なり，個人差があると考えられる．

多重比較の結果，直径 W が小さくなるほど（W =1.2 m と W

また，実験中 30～50 分 HMD を装着していたのにも関わら=1.8 m 間，W =1.5 m と W =1.8 m 間では p < 0.05，それ以外ず，酔いにくいことが分かった．操作がしやすかった方向・

は p > 0.10）エラー率が増加した（図 6）．

しづらかった方向については，7 名中 4 名が「眉間を寄せたままだと上下の動きがしづらい」と答えた．
「上下よりも左右の動きがやりやすかった」，「上を見たときに眉間の寄せが外れてしまったかもしれない」という回答も得られ，主観的には，上下方向のドラッグ&ドロップが難しいことが分かった．自由記述欄では，「視線計測がもっと正確であれば十分に使えると感じた」，「眉間を動かすコツを途中でつかんでから操作が楽になった」という意見があった．また，実験では眉間を使って 240 回の試行をするため「眉間図 6D と W と方向のエラー率への影響で長時間操作するのは，普段あまり使わない筋肉を使うので疲れた」という意見もあった．

また，図 7 に示すように，D×方向では交互作用が見られ（F 3,8 = 3.80, p < 0.05），左から右に操作を行う場合には，D が小さいほどエラー率が減少することが観察された．

5. 考察
5.1 視線のぶれと眉間キャリブレーション
MT が大きくなる・エラー率が高くなる原因は，ターゲッ
トの直径などの実験条件以外では，眉間を寄せることによる視線のぶれであると考えられる．FOVE 0 の視線計測は，目に反射する赤外線を用いて行っている．そのため，眉間を寄せ，目が細くなると赤外線を反射できなくなるため，視線計測が難しくなり，計測される視線にぶれが生じる．
ターゲットの直径が小さい場合には，ぶれを考慮しながらポインタをターゲット上にのせる必要があるため，ドラッグ&ドロップがより難しくなる．本実験では，視線と頭部の動きによってポインタ操作してもらったが，ポインタを図 7

D と各方向のエラー率

常にスクリーンの中央に配置し，頭部の動きのみで操作する方法も考えられる．また，赤外線を用いた視線計測ではなく，眉間周辺の映像をカメラで取得し，画像処理によっ

4.3 アンケート
実験終了後，アンケートを行った．日常的に HMD で VR体験をしているか，提案システムの操作はしやすかったか，て視線を推定できれば，たとえ眉間を寄せたとしても視線がぶれることなく操作が行えるだろう．

また，システム使用後の目の疲労と酔い，操作がしやすか

提案システムでは，HMD を一度外し再び装着すると，った方向・しづらかった方向，提案システムについての自HMD 内に入る光の量が変化し，また，フォトリフレクタと由記述を回答してもらった．７名中１名が，普段から VR眉間の位置もずれてしまう．そのため，フォトリフレクタ体験をしていると答えた．操作のしやすさ，目の疲労，酔から得られる値が大幅に変わってしまい，キャリブレーシ

いについては図 8 に示す．

ョンを再度行う必要があった．また，眉間にしわが寄りやすい参加者・寄りにくい参加者がいた．これらのことを考慮すると，眉間のセンシングに関しては，より精度を上げる必要があると考えられる．
5.2 D と W と方向の影響
ターゲットまでの距離（D）とターゲットの直径（W）が眉間によるドラッグ＆ドロップの操作時間（MT）へ影響を与えることが分かった．D に関しては，ターゲット間の距

図 8アンケートの結果離が小さくなるほど MT が小さくなることが分かった．Wに関しては，1.2 m と 1.5 m 間，1.5 m と 1.8 m 間には差が視線と眉間によるドラッグ&ドロップについては，操作なかった．5.1 節でも述べたが，眉間を寄せた状態の視線計しづらいと答えた人が多かった．目の疲労については，参測は難しく，ポインタがぶれ，それが影響したと考えられ© 2019 Information Processing Society of Japan

196

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1A-06
2019/3/6

る．そのため，W = 1.2 m と W = 1.8 m の間では大きく MTによってポインタを動かし，目的の領域で眉間を離すことに差がついたと考えられる．一方で，アンケートでは「上でドラッグ&ドロップ操作が行える手法である．

下の動きがしづらい」という回答があったものの，方向に実験により，ターゲットまでの距離（D）が小さくなるほ関しては主効果が見られなかった．

ど，また，ターゲットの直径（W）が大きくなるほど操作時5.3 エラー率間（MT）が減少した．そして，エラー率に関しては，D や

図 6 に示すように，W がエラー率へ影響を与えることが向きの影響は少なく，W に強く依存することが分かった．

分かった．5.1 節で述べたように，眉間を寄せたままである

また，眉間を寄せることによる視線のぶれが MT やエラーとポインタが安定しないということが，エラー率にも影響率に影響していることも明らかになった．

したと考えられる．W = 1.2 m と W = 1.8 m 間，W=1.5 m と今後，視線のキャリブレーションについては，赤外線光W = 1.8 m 間では差があったことから，眉間を用いた手法にによるものではなく画像処理で行う方法など検討し，視線おいては，ターゲットの直径が W = 1.8 m 以上あるとエラのぶれを改善する必要がある．また，より様々な方向などー率が少なく，安定して操作できると考えられる．一方で，を加えた実験によって，眉間によるドラッグ&ドロップのKumar ら[21]によれば，PC 画面上で視線ポインティングを性能を明らかにしていく予定である．

行う場合のエラー率は，ターゲット幅が 22 pixels のとき16%, 33 pixels のとき 17%, 44 pixels のとき 15%であること

参考文献が分かっている．我々と Kumar らの実験結果を比較すると，[1]

W = 1.8 m 以下のターゲットにおいても，より低いエラー率で操作できる方が理想であると考えられる．
D×方向においては，交互作用が見られた．一方で，MT[2][3]×方向では交互作用は見られなかったが，各方向での D ごとのエラー率を見てみると，D = 4.78 m のとき MT = 1.35sec，D = 5.75 m のとき MT = 2.00 sec であった（図 9）．差はなかったものの，他方向に比べ D = 4.78 m のときの MT

[4]
[5]

は小さく，D = 5.75 m のとき MT は大きくなっていた．つまり，D = 4.78 m のとき，MT が小さいためエラー率が高くなり，D = 5.75 m のとき，MT が大きいためエラー率が低く[6]なっていたと考えられる．実験条件に斜めの方向を加え，4 方向から 8 方向に増やした実験を行うことで，ドラッグ&ドロップの性能と方向の関係がより明らかになるだろう．

[7]

[8]

[9]

[10]
[11]

図 9

D と方向の MT への影響
[12]

6. 結論・課題
本論文では，視線追跡装置を搭載した HMD FOVE 0 に眉[13]間をセンシングする機構を加えた「目掴み」を提案し，その操作性についての調査を行った．眉間を寄せることでオブジェクトを選択し，眉間を寄せたまま視線と頭部の動き© 2019 Information Processing Society of Japan[14]

R.J.K. Jacob. What you look at is what you get: eye movementbased interaction techniques. CHI 1990, pp.11-18, 1990.
“StarVR one”. https://www.starvr.com/products/（参照 2018-10-19）.
“Tobii Pro VR Integration”.
https://www.tobiipro.com/ja/product-listing/vr-integration/（参照 2018-10-19）.
“FOVE Rye Tracking Virtual Reality Headset: Home”.
https://www.getfove.com/（参照 2018-10-19）.
Hiromi Nakamura, Homei Miyashita. Control of augmented reality
information volume by glabellar fader. AH2010. Vol.20, pp.1-3,2010.
山浦祐明, 田村柾優紀, 中村聡史. 視線に追随したエフェク
ト重畳によるデジタルコンテンツの体験拡張手法の提案.研究報告ヒューマンコンピュータインタラクション, Vol. 2016HCI-169, No. 13, pp.1-8, 2016.
Thammathip Piumsomboon, Gun Lee, Robert W. Lindeman, Mark
Billinghurs. Exploring natural eye-gaze-based interaction for
immersive virtual reality. 3DUI2017, 2017.
Mariko Chiba, Wataru Yamada, Hiroyuki Manabe. Transparent
Mask: Face-Capturing Head-Mounted Display with IR Pass Filters.
UIST2018, pp.149-151, 2018.
鈴木克洋, 中村文彦, 正井克俊, 伊藤勇太, 杉浦裕太, 杉本麻樹. AffectiveHMD: 組み込み型反射型光センサを利用した表情認識とバーチャルアバターへの表情のマッピング. バーチャルリアリティ学会論文誌, Vol.22, No.3, pp. 379-389,2017.
“FACE ~Face And Communication Entertainment~”.
https://face.360ch.tv/（参照 2018-10-19）.
Koki Yamashita, Yuta Sugiura, Takashi Kikuchi, Maki Sugimoto.
DecoTouch: Turning the Forehead as Input Surface for Head
Mounted Display. ICEC2017, pp.481-484, 2017.
菊地高史, 正井克俊, 杉本麻樹, Bruce H. Thomas, 杉浦裕太.
EarTouch: 耳の入力インタフェース化. 日本バーチャルリア
リティ学会論文誌, Vol.22, No.4, pp.477-483, 2017.
Koki Yamashita, Takashi Kikuchi, Katsutoshi Masai, MakiSugimoto, Bruce H. Thomas, Yuta Sugiura. CheeckInput: turning
your cheek into an input surface by embedded optical sensors on ahead-mounted display. VRST2017, No.19, 2017.
山中 祥太, 栗原 一貴, 宮下 芳明. 注視していないことを197

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1A-06
2019/3/6

利用したマウスカーソル高速化手法. WISS2012, pp.127-132,2012.
[15] 村田 厚生, 三宅 貴士, 森若 誠. 視線入力システムによるメニュー選択方法の有効性－若年者と高齢者の比較－. 人間工学, Vol.47, No.1, pp.20-30, 2011.
[16] 村田厚生, 三宅貴士, 森若誠. 視線入力システムによるポイ
ント操作時のクリック方法とドラッグ&ドロップ方法の提案－若年者と高齢者の比較－. 人間工学, Vol.47, No.1, pp.1019, 2011.
[17] 大和正武, 神代知範, 門田暁人, 松本健一. 視線・マウス併用型インタフェースのドラッグ&ドロップ操作への適用. 情報処理学会論文誌, Vol.44, No.1, pp.166-175, 2003.
[18] 暦本純一. Pick-and-Drop: 複数コンピュータ環境での直接操作技法. WISS1997, pp.141-150, 1997.
[19] “OptiKey”. https://github.com/OptiKey/OptiKey/wiki（参照 2018-12-19）.
[20] 神代知範, 大和正武, 門田暁人, 松本健一, 井上克郎. ドラッグ＆ドロップの操作時間を視線情報とマウスを併用して短縮する方法. 第 59 回全国大会講演論文集（インタフェース）, pp.33-34, 1999.
[21] Manu Kumar, Andreas Paepcke, Terry Winograd. EyePoint:
Practical Pointing and Selection Using Gaze and Keyboard.
CHI2007, pp.421-430, 2007.

© 2019 Information Processing Society of Japan

198