情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2P-73
2023/3/1

アイトラッカー搭載 VRHMD を寝ながら使用した場合の視線入力パフォーマンス
阿部 広河1,a)

石川 博規2

真鍋 宏幸1,b)

概要：VR（Virtual Reality）向け HMD （Head Mounted Display）は，立ちながら，あるいは座りながらのだけでなく，寝ながら使用することが可能である．寝ている姿勢で VRHMD を利用することができれば，障がい等で寝たきりの生活を送る人が快適に VR コンテンツを触れられるようになるだけでなく，VRHMD をスマートフォンのようにどのような姿勢でも使用できる身近なデバイスへと進化させる．VR用インタラクション手法として期待されている中に視線入力がある．既存の VR 向けインタラクション
手法は寝ながらの使用を想定して設計されているわけではないが，視線入力には頭を動かす必要や手を動かす必要がないことにも特徴があり，寝ながらの使用に適している可能性がある．そこで本研究では，
VRHMD に搭載されたアイトラッカーを用いて行う視線入力手法に対し，ユーザの姿勢が与える影響についての調査を行った．その結果，VRHMD での視線入力手法は，座った状態と比較して寝ながら使用した場合，そのパフォーマンスは同等あるいは優れていることを確認することができた．

られている．しかし，現在一般的に用いられている，モー1. はじめにションコントローラを用いた VR 向けインタラクション手VR やメタバースなどのコンテンツに対する知名度が上

法は，立ったあるいは座った姿勢での利用が想定されてお昇している．それに伴い，VR コンテンツに触れるためのり，寝ながらでは使いづらいという問題が存在する．一部

デバイスである HMD の普及も進んでおり，VRHMD 製の VRHMD ではアイトラッカーが搭載されており，VR 向品の一つである Oculus Quest 2 は，2022 年 6 月には 1500

け入力手法の一つに視線入力がある．このアイトラッカー*1万台を売り上げているという調査結果 がある．

を用いたした手法は，ユーザの姿勢によらず利用可能であ

今後，HMD のユーザが増えることにより，従来ではあまると考えられ，寝ながら VR 体験を行う際の有力な手段とり一般的とは言えない用途で使用するユーザも増えると予なりえる．そこで本研究では，座った状態と寝た状態にお想される．具体的には，HMD は様々な姿勢で使用するこける，VRHMD のアイトラッカーを用いた視線入力のパとができるため，寝ながら使用することも一般的な用途にフォーマンスに関する比較調査を行う．

含まれるようになる可能性がある．すでに，VRSNS と呼ばれる VR 空間内でのコミュニケーションを主としたサービスでは，座りながらあるいは寝ながら利用しているユー

2. 関連研究2.1 アイトラッキング手法とデバイス製品例

ザが存在しており，頭の動きによって VR 動画の再生位置アイトラッキングを行う手法には，サーチコイル法 [3]などを操作する PillowVR という研究 [1] なども存在する．

や EOG 法 [4][5] などの侵襲型，非侵襲型の角膜反射法やまた，ICU などに入院している，体を自由に動かすこと強膜反射法 [6] が存在するが，製品として実用化されていができない患者に対して，VRHMD による視覚的な刺激るものは非侵襲型の IR カメラや赤外線センサーを用いてはリラックス効果などがあり有用であることが示されていいるものがほとんどである．その中には，デスクなどに置る [2]．このように，寝ている姿勢での VRHMD 利用が注いて使用する設置型のデバイスと，メガネのように身体目されつつあり，そのためのインタラクション手法が求めに着用して使用する着用型のデバイスが存在する．前者
は Tobii Eye Tracker*2 ，後者は Pupil Invisible*3 や VIVE12a)b)*1

芝浦工業大学NTT ドコモ
ma22009@shibaura-it.ac.jp
manabe@shibaura-it.ac.jp
https://uploadvr.com/quest-2-sold-almost-15-million-idc/© 2023 Information Processing Society of Japan*2*3Tobii Eye Tracker 5 — Tobii Gaming
https://gaming.tobii.com/product/eye-tracker-5/
Pupil Invisible — Pupil Labs
https://pupil-labs.com/products/invisible/

784

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2P-73
2023/3/1

いる．ユーザが選択したい対象を瞬時に見た際，ER は瞬Pro Eye*4 などが挙げられる．
HMD にアイトラッキング機能を組み込んだものがいく

時に対象物へと移動し，IR がそれに追従する形でゆっくつか存在する．前述した VIVE Pro Eye や，Hololens 2 なりと対象物へと重なる．そして，重なっている状態が一定

どの製品が例として挙げられる．これらは，設置型のアイ時間維持されていると対象物が選択される．注視型選択手

トラッカーとは異なり，注視先のディスプレイとアイト法には前述したように，注視時間が短い場合は意図しないラッカーが一体となっている．また，装着型のデバイスで対象物を注視しないようにユーザー側が意識を向ける必要あり，ディスプレイと眼球の相対的な位置がズレにくい．

があり，それがプレッシャーになるという問題と，注視時そのため，設置型のデバイスと比較してキャリブレーショ間が長い場合はユーザーのストレスになるという問題を抱ン時の状態を維持しやすいため，キャリブレーションの頻えている．これらの問題を，Thammathip らの手法では視度も減らすことができ，利用の手間も少ない．アイトラッ

覚的効果により解決している．また，崔らは，VR 向け視カーを備えた XR デバイスは，他のものと比較して高価で線入力手法として Kuiper Belt を提案している [11]．極端あるという問題は存在するが，それが解消できれば視線入な視線角度を用いることで，Midas Touch 問題を解決して力は XR において主流な入力手法となりえる．

いる．

2.2 注視型選択手法を用いた視線入力

2.3 マウスの入力と視線入力を同時に用いた手法*5

アイトラッキングデバイスを用いたインタラクション

前述した Midas Touch 問題を解決するための手段の一手法の研究は昔から数多く存在している．Thomas ら [7]つとして，コントローラなどの別の入力ソースを用いたは，Erica と呼ばれる視線応答インターフェースを備えた解決方法が存在する．Shumin らは，視線による入力と，コンピューターについて紹介している．Erica では画面上マウスなどの手動入力装置を併用した手法である MAGICに等間隔で 9 つのメニューボックスが表示されている．そ(Manual and gaze input cascaded) を提案した [12]．このの表示されているメニューボックスを，2〜3 秒の間注視手法は，視線入力はサッカード運動による大まかなポインすることにより選択を行う．このような視線のみを入力にティングのみを行い，大まかなポインティングを行った後用いたデバイスでは，注視により選択を行うことが一般的のポインタの微調整にマウスなどの入力装置を用いるといである．しかしこの手法は，Midas Touch 問題 [8] と呼ばう手法である．MAGIC 法は，純粋なジョイスティックにれる，ただ対象物を見ているだけなのか，選択を行うためよるポインタの移動を行う手法よりも速い速度でポインに注視しているのかが判別できない問題が存在する．そこティングを行うことができたことが示されている．

で Pallavi ら [9] は，視線入力のみでこの Midas Touch 問題を解決する DualGaze を提案している．この手法では，“フラグ” と呼ばれる選択確定用の小さなボタンを，現在2.4 VR コントローラの入力と視線入力を同時に用いた手法

見ているボタンの横に表示する．このフラグボタンは，本柿沼は，視線に VR コントローラの角度やタッチパッド来のボタンの上下左右いずれか一箇所に表示される．このの入力を組み合わせて，ポインティングを行う手法の実験

際，目線がボタンに侵入した方向にフラグボタンが表示さ結果について述べている [13]．視線入力に VR コントローれるため，ユーザーは現在の視線の移動方向とは逆の方向

ラを併用することで，ポインティング速度は VR コントに切り替えす必要があり，この動作が選択の正確性を向上

ローラのみの結果とほぼ同等な速度を維持しつつも，純粋させている．また，注視型と比較した実験も行っており，な視線入力と比較して疲れにくくなることを報告してい入力速度は実験後半になるにつれて注視型より DualGazeる．また，トリガーボタンを押している間のみ，入力手法の方が早く選択できるようになり，入力精度は全体におが視線入力から VR コントローラの回転を用いた入力に切いて DualGaze が優れていると報告している．ほかにも，り替わるような手法 [14] も提案している．しかし，コント

サッカード運動と呼ばれる，眼球が瞬時に動くような運動

ローラのトリガーボタンを押しながらコントローラを動かを活用し，Midas Touch 問題を解決使用とした手法も存在したり，スティックなどの追加操作を求めることは，操作する．Thammathip らは，視線の動きに完全に追従するレの複雑性を上げてしまう．我々は，そのような複雑な操作

ティクル (ER) と，それにゆっくりと追従するレティクルは，指の疲労感を上げてしまい，インタラクション手法の(IR) の二つのレティクルを使用した手法 [10] を提案して性能低下を招いてしまうという問題を確認している [15]．

*43. 実験*5

VIVE Pro Eye Overview — VIVE United States
https://www.vive.com/us/product/vive-pro-eye/overview/
Microsoft HoloLens — Mixed Reality Technology for Business
https://www.microsoft.com/en-us/hololens© 2023 Information Processing Society of Japan

本研究では，VR 体験中のユーザの姿勢が視線入力のパフォーマンスに与える影響を調査する．実験では，視線のみを用いたポインティング手法を，寝た状態と座った状態

785

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2P-73
2023/3/1




ː

ː

ː




 11.89


9.23




5.79
5.23




図1

アプリケーションの動作画面．入力された数字は緑，そうでな

9.12
8.39

8.86
7.65

8.07
5.91

6LW /D\6LW /D\6LW /D\6LW /D\

6LW /D\අ‫ंݩ‬$අ‫ंݩ‬%අ‫&ंݩ‬අ‫'ंݩ‬අ‫(ंݩ‬

い数字は黒で表示される（ピンク色の線はデバッグ用の表示であり，HMD 内では見えていない）．

図 2座り（Sit），寝（Lay）の 2 つの状態におけるタスク完了秒数の平均（縦軸は秒数，エラーバーは標準偏差）の 2 姿勢において比較する．なお，ポインティングの確定にはコントローラのトリガーボタンを使用する．被験者は 20 代の大学生 5 人であり，実験には VIVE Pro Eyeと VIVE Controller を使用した．比較には，実験のためにUnity で開発した，図 1 に示す比較用のアプリケーションを用いて，タスクの完了までにかかる時間とタスク中のミ

ス入力の回数を計測し，そのデータを用いた．また，学習効果による結果への影響を考慮し，被験者ごとに寝た状態

と座った状態の実験の順番を入れ替えた．
画面上に表示されたランダムな 4 桁の数字を，画面上にːː





0.72
0.48
0.28

0.38
0.28

0.18

0.38
0.36

0.28
0.22

表示された 1 から 9 のボタンを用いて入力するタスクを行

6LW /D\6LW /D\

6LW /D\

6LW /D\

6LW /D\う．数字を入力すると，表示されている 4 桁の数字が一桁අ‫ंݩ‬$අ‫ंݩ‬%

අ‫&ंݩ‬

අ‫'ंݩ‬

අ‫(ंݩ‬

ずつ緑色に点灯していき，4 桁の数字を入力し終えると次の試行へと移行する．なお，入力された数字が間違ってい図 3座り（Sit），寝（Lay）の 2 つの状態におけるタスク中ミス入力回数の平均（縦軸は回数，エラーバーは標準偏差）る場合も緑色に点灯し，タスク中はミスをしたのかどうかを判別できないようにしている．このタスクを各手法，各線の移動時に大きくブレてしまうため，RotateTowards 関姿勢において 50 回ずつ試行した．

数を用いて秒間で最大 67.5°までのみ移動するように制限実験の手順として，まず Vive Pro Eye に標準で搭載さしている．また，視線の細かいブレによって瞬間的にボタれている，キャリブレーションソフトウェアを用いて，瞳ンの選択が解除されてしまうことを防止するために，ポイ孔間距離の調整とアイトラッカーのキャリブレーションをンターがボタンから離れてから選択が実際に解除されるま行った．その後，アイトラッカーを用いたポインティングでに 0.5 秒の遅延を設けている．

手法の操作方法を確認するために，練習用のタスクを数回行わせた．その上で，2 つの姿勢において順に実験を行った．また，姿勢を切り替えるタイミングでは 1 分間の休憩を挟んだ．

3.2 実験結果
寝た状態と座った状態の 2 つの姿勢にて，各タスクの完了にかかる時間の平均を表したグラフが図 2 である．被験者 A，被験者 B，被験者 E は座った状態よりも寝た状態に

3.1 比較用アプリケーションの実装

おいてタスク完了時間が短くなった．また，被験者 C と被比較用アプリケーションは Unity2019 4.31f1 を用いて開験者 D は座った状態のタスク完了時間の方がが短いもの発した．画面上には 1 から 9 の数字が書かれたボタンがの，寝た状態のタスク完了時間との有意差を確認すること表示されている．4 桁の数字と 9 つのボタンは HMD からはできなかった．図 3 は，2 つの姿勢にて，各タスクのう正面方向に 1.5 メートル移動した位置に表示され，各ボタちの入力ミスをした回数の平均を表したグラフである．こンは 5 センチメートルの間隔で配置している．ボタンはちらは被験者 A と被験者 C のみ姿勢間の有意差があり，他10 センチメートル四方の正方形である．視線は ViveSR のの被験者では有意差を確認することができなかった．以上

SRanipal Eye Framework を用いて，HMD に内蔵されたの結果から，寝た姿勢での視線入力は，座った姿勢でのそアイトラッカーからのデータを取得する．生データでは視れと同等あるいはそれ以上のパフォーマンスを発揮すると© 2023 Information Processing Society of Japan786

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2P-73
2023/3/1

言える．

4. 議論
[2]

まず，ミス回数が多い被験者や，タスク完了時間が長い被験者には共通して，押しづらそうにしているボタンが存在していた．例として，2 のボタンを注視している場合のみ視線が少し横にずれてしまい，ボタンが意図通りに選択できないような状況が挙げられる．実験では，座った状態よりも寝た状態におけるタスク完了時間が短い場合には有[3][4]意差が確認でき，逆の場合でも有意差は確認できなかった．
寝た姿勢では，アイトラッキングだけでなく，コントロー
ラのみを使用して入力することもできる．しかし，寝た姿
勢ではコントローラの動きの範囲が制限されるため，コン[5]トローラによる入力パフォーマンスの低下が懸念される．
そのため，コントローラのみを使用する手法と比べ，アイトラッキングを用いた手法は寝ながらの使用において有用[6]である可能性がある．今後，さらなる比較実験を行っていく必要がある．
今回は，RotateTowards 関数を用いてポインティング先にある程度のスムージング処理を行っていたが，それでも[7]ポインタには細かいブレが存在していた．主観的な感想ではあるものの，寝た場合における利用ではこのポインタのブレが，座った状態と比べて抑えられているように感じら[8]

れた．これが，寝た場合においてポインティング手法の使いやすさを向上させ，結果としてタスク完了時間の短縮につながった可能性がある．今回の実験では 10 センチメー
トル四方の正方形のボタンを用いたが，これを更に小さく[9]すれば恐らくアイトラッキングを用いた手法のみではポインティングが困難になると推測される．よって，小さなポインティングターゲットを用いた場合に，アイトラッキン[10]

グのみを用いた手法と，コントローラなどを併用した手法の精度の比較などを行う必要がある．また，今回はボタンを HMD の正面に配置していたが，視点の端にあるようなボタンに対する，アイトラッキングを用いた手法のポイン[11]ティング性能についても，追加で調査をする必要がある．

5. おわりに[12]

本研究では，VR 体験中のユーザの姿勢が，VRHMD に搭載されたアイトラッカーを用いた視線入力パフォーマンスに与える影響の調査を行った．実験では，寝た姿勢での[13]

視線入力は，座った姿勢と比較してより良いパフォーマンスを発揮する場合があることを確認することができた．さらに，VRHMD でのアイトラッキングに関する課題につい[14]て議論した．
[15]

参考文献
[1]

Doil Kwon, Hyeonah Choi, Hyung Jun Cho, Juyoung
Lee, and Gerard Kim. Pillowvr: Virtual reality in bed.

© 2023 Information Processing Society of JapanIn Proceedings of the 25th ACM Symposium on VirtualReality Software and Technology, VRST ’19, New York,NY, USA, 2019. Association for Computing Machinery.
Stephan M. Gerber, Marie-Madlen Jeitziner, PatricWyss, Alvin Chesham, Prabitha Urwyler, René M. Müri,Stephan M. Jakob, and Tobias Nef. Visuo-acoustic stimulation that helps you to relax: A virtual reality setup
for patients in the intensive care unit. Scientiﬁc Reports,
Vol. 7, No. 1, p. 13228, Oct 2017.
Heiko Drewes. Eye gaze tracking for human computerinteraction, March 2010.
Hari Singh Dhillon, Rajesh Singla, Navleen Singh Rekhi,and Rameshwar Jha. Eog and emg based virtual keyboard: A brain-computer interface. In 2009 2nd IEEE
International Conference on Computer Science and Information Technology, pp. 259–262, 2009.
Ali Usakli, Serkan Gurkan, Fabio Aloise, Giovanni Vecchiato, and Fabio Babiloni. On the use of electrooculogram for eﬃcient human computer interfaces. Computational intelligence and neuroscience, Vol. 2010, p.
135629, 01 2010.
Ioannis Rigas, Hayes Raﬄe, and Oleg Komogortsev.
Photosensor oculography: Survey and parametric analysis of designs using model-based simulation. IEEE
Transactions on Human-Machine Systems, Vol. PP, ,07 2017.
T.E. Hutchinson, K.P. White, W.N. Martin, K.C. Reichert, and L.A. Frey. Human-computer interaction usingeye-gaze input. IEEE Transactions on Systems, Man,and Cybernetics, Vol. 19, No. 6, pp. 1527–1534, 1989.
Robert J. K. Jacob. What you look at is what you get:
Eye movement-based interaction techniques. In Proceedings of the SIGCHI Conference on Human Factors in
Computing Systems, CHI ’90, p. 11–18, New York, NY,USA, 1990. Association for Computing Machinery.
Pallavi Mohan, Wooi Boon Goh, Chi-Wing Fu, and SaiKit Yeung. Dualgaze: Addressing the midas touch problem in gaze mediated vr interaction. In 2018 IEEE International Symposium on Mixed and Augmented Reality
Adjunct (ISMAR-Adjunct), pp. 79–84, 2018.
Thammathip Piumsomboon, Gun Lee, Robert W. Lindeman, and Mark Billinghurst. Exploring natural eyegaze-based interaction for immersive virtual reality. In
2017 IEEE Symposium on 3D User Interfaces (3DUI),
pp. 36–39, 2017.
崔明根, 坂本大介, 小野哲雄. Kuiper belt: バーチャルリ
アリティにおける極端な視線角度を用いた視線入力手法の検討. インタラクション 2022 論文集, INT22001, p. 1–10,2022.
Shumin Zhai, Carlos Morimoto, and Steven Ihde. Manual and gaze input cascaded (magic) pointing. In Proceedings of the SIGCHI Conference on Human Factors
in Computing Systems, CHI ’99, p. 246–253, New York,NY, USA, 1999. Association for Computing Machinery.
柿沼育, 小宮山摂. VR 空間における視線とコントローラを用いた 2D ポインティング手法の検討. 第 18 回情報科学技術フォーラム (FIT2019) 講演論文集第 3 分冊, pp.
281–286, 2019.
柿沼育, 小宮山摂. VR 空間における視線ポインティングにコントローラを併用する効果. ヒューマンインタフェー
ス学会論文誌, Vol. 23, No. 1, pp. 89–100, 2021.
阿部広河, 真鍋宏幸. VR コントローラを用いた寝ながら快適に文字入力が行える手法の提案,. インタラクション
2022 論文集, pp. 497–501, 2022.

787