情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-36
2024/2/28

VR 空間内ハンズフリー入力インタフェースに視線ジェスチャを利用する手法の研究

尾瀬泰規†1秋田純一†2

概要：VR 技術分野における視線入力に関する研究事例は多数存在するものの，身体障害者を対象としたハンズフリー操作インタフェースとしての研究はあまり前例がない．今回の研究では，両手に装着するハンドコントローラ機能を十分に扱えない方向けの，視線を利用した代替手法として”視線ジェスチャ”を利用する手法を新たに提案し，既存の視線ポインティング方式との比較検証を行う．検証の結果，視線ジェスチャ方式には視線ポインティング方式と比較して，一定の疲労軽減効果があることなど，その特徴や優位性などが確かめられた．

1. はじめに2023 年現在，Meta 社の Meta Quest2 をはじめとする，市手足の動きが制限されている車椅子利用者のための，頭部ジェスチャによるハンズフリー車椅子制御システムの提案を行った[2]．

場価格が数万円台の比較的安価な VR 機器が普及し始めてハンズフリー車椅子制御に関しては他にも多数の研究いる．これにより，バーチャルリアリティ技術への認知度事例があり，視線入力を用いる比嘉らの研究[3]や，脳波なも増加傾向にあり，2021 年の LINE リサーチによる調査[1]ど生体信号を用いる森川らの研究[4]などが挙げられる．

では，「VR（バーチャルリアリティ）の現状と認知度」のまた，VR 技術分野におけるハンズフリー操作の研究事

項目において，「（VR を）知っている」と回答した割合は全

例は，中尾らの頭部ジェスチャ入力インタフェースに関す体で 90%という結果を示している．これらのことから，今る研究[5]や，Tregillus らの頭の傾きを利用したハンズフリ

後，新たな VR 機器や利便性の高いアプリケーションの開ーVR ナビゲーションシステムの研究[6]が該当する．

発が進めば，VR 技術が一般の消費者にとってますます身近なものになることが予想できる．

以上の先行研究から，VR 技術分野に限らずハンズフリーな操作を可能にするインタフェースの事例は多数存在し，現在普及している VR 機器のほとんどは，頭部に装着す

これらは VR 空間内ハンズフリー入力インタフェースを設る HMD (Head Mounted Display)と両手に装着するハンドコ計する上で，入力方式の採用理由など，参考にできる事項

ントローラによって構成されている．しかし，上肢に障害が多い．

を抱える身体障害者のような，腕や指の動きが制限されている方が VR 機器を利用する際，トリガー操作など，ハンドコントローラに搭載されている機能を十分に発揮できない問題点がある．
この問題点を解決する手法として，入力インタフェース

2.2 VR 技術分野における視線入力に関する研究
VR 技術分野においては，アイトラッキング機能を搭載した HMD による視線入力に関する研究事例が多数存在す
る．に頭の向きや視線ポインティングを利用する手法など，い柿沼らの研究では，視線ポインティング方式にコントロ

くつかの方法が存在する．その中でも，本研究では後述すーラによる操作を併用することで，操作速度の向上や疲労る”視線ジェスチャ”を利用する手法を提案し，既存手法で度の軽減などの効果がどのように変化するのかという調査

ある注視選択を用いた手法との比較検証を行い，その特徴を実施している[7]．この研究は単純なポインティング操作や優位性について検討する．の特徴や課題などを踏まえ，従来のコントローラ操作と組み合わせた操作との比較を行うといった発展的な研究内容

2. 関連研究2.1 ハンズフリー操作インタフェースの研究
身体障害者の利用を想定したハンズフリー入力インタフ
ェースの研究は，VR 技術分野以外では車椅子制御に関する研究事例が多く見られる．
Jia らは，パーキンソン病や四肢麻痺などの病気が原因でとなっている．
視線ポインティング以外の視線入力方式には，張らの視線ジェスチャ識別に関する研究が存在する[8]．この研究では，文字を書くように視線を動かすことで，学習モデルによる文字入力認識システムの提案が行われている．これは単なるポインティングでない視線操作であるため，直感的

1 金沢大学大学院 自然科学研究科 電子情報通信学専攻
2 金沢大学 融合研究域 融合科学系© 2024 Information Processing Society of Japan343

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

な入力のしやすさや疲労軽減効果などが期待できる．

1B-36
2024/2/28

表 1. 視線ジェスチャ方式の操作方法

また，視線入力を含む複数の入力方式を組み合わせてシ前進

上から下に視線移動

ステムとのインタラクションを行う，マルチモーダルイン

後退

下から上に視線移動

タフェースの研究も参考にしたい．Park らは視線と頭部ジ

左旋回

右から左に視線移動

ェスチャを併用するマルチモーダルジェスチャを利用した

右旋回

左から右に視線移動

ハンズフリーインタラクションの研究を行っている[9]．このような複数の入力方式を組み合わせる操作方式は，うま表 2. 視線ポインティング方式の操作方法

く活用することで互いのデメリットを補い合う効果が期待

前進

下パネルを 1 秒間注視できる．

後退

上パネルを 1 秒間注視

左旋回

左パネルを 1 秒間注視

右旋回

右パネルを 1 秒間注視

3. 研究目的とシステム概要
3.1 研究目的
先行研究から，VR 技術分野において視線入力を取り扱う研究は採用方式の検討や利用法など，様々な視点から行われていることがわかる．しかし，身体障害者を対象としたハンズフリー操作インタフェースとしての文脈を持つ研究については前例が少ない．また，ハンドコントローラに依存しない操作法として，VR におけるハンズフリー操作

4. 実験の詳細
4.1 実験環境
今回の研究では，使用デバイスとして Meta Quest Pro に搭載されているアイトラッキング機能を利用し，視線の計測，VR 空間内への反映を行う．実験用アプリケーションの制作には Unity を使用する．

手法を追求するという意味でも，研究の意義があるといえる．

4.2 実験目的

今回の研究では，張ら[8]が採用していた視線ジェスチャ方式を VR 空間内ハンズフリー操作法として利用する新たな手法を提案し，従来の視線ポインティング方式との比較・視線入力操作によるタスクの達成時間とアンケートによる主観評価を用いて，視線ジェスチャと視線ポインティン
グにどのような特徴や優位性があるのかを調査する．

検証を行う．
4.3 実験方法
3.2 システム概要
今回使用するシステムは，HMD 側で取得した視線情報を VR 空間内に反映させ，頭部正面に設置されている円形の入力パネルに視線で入力を行い，VR 空間内での移動ができるよう設計する．入力パネルの形状は図 1 に図示する．
移動については，前進と後退，左右への旋回運動を行える．
視線ジェスチャ型は，2 つのパネル間で視線を移動させることで入力が可能になる．対する視線ポインティング型
は，パネルを 1 秒間注視することで入力できる．それぞれの操作方法をまとめたものを表 1，表 2 に示す．

実験参加者には，HMD を装着した状態で椅子に座り，操作方式にある程度慣れるまで練習をさせてから，設定したタスクに取り組んでもらう．
タスクの内容は，幅のある直線型のステージに複数用意されたチェックポイントをすべて通過するというもので，緑の開始地点に触れると計測が始まり，黄色のチェックポイントを通過していき，赤色の終了地点に触れると計測が終了する．
この実験アプリケーションの概観を図 2 に示す．
このタスクは操作方式ごとに計 5 回行う．また，操作方式ごとのタスク終了時に，アンケートに回答してもらう．
アンケートは 1（否定的）から 5（肯定的）の 5 段階のリッカート尺度を用い，「操作のしやすさ」
・「目の疲労度」について調査を行う．なお，計測結果に偏りが出ないようどちらの操作方式を先に体験するかはランダムに決定した．
実験参加者は計 5 名で，いずれもインタフェースデバイ
ス研究室所属の学生である．

図 1. 入力パネルの形状© 2024 Information Processing Society of Japan344

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-36
2024/2/28

図 4. 視線ジェスチャ方式の「操作のしやすさ」（1. 操作しにくい ~ 5. 操作しやすい）
図 2. 実験用アプリケーションの概観
4.4 実験結果
1.

タスク達成時間
参加者全員の記録の分布と，全体平均を棒グラフで表した結果を図に示す．全体平均については，視線ジェスチャ方式は 60.74 秒，視線ポインティング方式は 42.05 秒を記録した．分布度合いについては，視線ジェスチャ方式の方が視線ポインティング方式と比較して，個人差が大きい結果となった．
図 5. 視線ポインティング方式の「操作のしやすさ」（1. 操作しにくい ~ 5. 操作しやすい）

図 6. 視線ジェスチャ方式の「目の疲労度」
図 3. タスク達成時間の分布と全体平均
2.

（1. 疲れにくい ~ 5. 疲れやすい）

アンケート結果
参加者個人の方式ごとの回答について比較を行うと，「操作のしやすさ」の項目については，5 人中 5 人が視線ポインティング方式の方が操作しやすいという回答であった．
また，「目の疲労度」の項目については，5 人中 3 人が視線ジェスチャ方式の方が疲れにくいという回答で，残りの 2人のうち 1 人は変化がなく，もう 1 人は視線ポインティング方式の方が疲れにくいという回答であった．アンケートの累計票数のグラフを図 4 から図 7 に，個人の回答の変遷を表 3 と表 4 に示す．

図 7. 視線ポインティング方式の「目の疲労度」（1. 疲れにくい ~ 5. 疲れやすい）© 2024 Information Processing Society of Japan345

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-362024/2/28

表 3. 個人の回答の変遷「操作のしやすさ」
参加者思われるため，次回検証時に向けて解決を図ることとする．

視線

視線ポイン

優位性

ジェスチャ

ティング

(操作しやすい方)A

45Pointing

今回の研究は視線入力における 2 つの方式の比較検証で

B

2

3

Pointingあった．そのため，複数方式を組み合わせたマルチモーダ

C

3

4

Pointing

ルインタフェースのような操作方式については新たに比較

D

3

4

Pointing

検証を進めていく余地がある．

E

2

3

Pointing

5.3 今後の展望

今後は視線入力と頭部ジェスチャを組み合わせたハンズフリー操作インタフェースを設計し，視線ジェスチャや視線ポインティングなどの異なる入力方式でどのような特徴

表 4. 個人の回答の変遷「目の疲労度」
参加者

視線

視線ポイン

優位性

ジェスチャ

ティング

(疲れにくい方)A

41

Pointing

B

2

3GestureC

24GestureD

23Gesture

E33----

5. 考察と課題，今後の展望や優位性が表れるのかを比較検証する研究を計画している．

参考文献
[1]

[2]

[3]

[4]

5.1 考察タスク達成時間については，図 3 の結果より，視線ジェ[5]スチャの方が全体平均時間が長いことがわかる．これは視線ジェスチャが 2 つのパネル間で視線を移動させるという[6]

やや複雑な操作のため，単純な操作の視線ポインティングより時間がかかってしまったことが原因だと考えられる．
また，達成時間の個人差が大きくなった理由としては，複[7]

雑な操作をうまく理解できないために操作に時間がかかってしまった参加者の存在が挙げられる．
アンケート結果については，表 3 と表 4 より，「操作のし[8]やすさ」では視線ポインティングの方が優位性を示し，「目の疲労度」については視線ジェスチャがおおむね優位性を示す結果となった．視線ジェスチャに疲労軽減効果がある[9]"流行体感から読み解くサービス未来予測 流行予想シリーズ～VR（バーチャルリアリティ）編～" https://lineresearchplatform.blog.jp/archives/38203466.html (最終確認 2023-12-21)
Jia, Pei, et al. "Head gesture recognition for hands‐free control of
an intelligent wheelchair." Industrial Robot: An InternationalJournal 34.1 (2007): 60-68.
比嘉聖, 山田孝治, 神里志穂子. "視線・顔情報を用いた電動車いす操作における特徴量抽出." 研究報告ヒューマンコン
ピュータインタラクション (HCI) 2020.25 (2020): 1-4.
森川真依子, 高橋和彦, 橋本雅文, 島田将成. "生体信号による電動車椅子の走行制御 (医療・福祉ロボティクス・メカトロニクス)." ロボティクス・メカトロニクス講演会講演概要
集 2008. 一般社団法人 日本機械学会, (2008).
中尾勇介, 池井寧, 広田光一, 廣瀬通孝. "ウェアラブル指向型頭部ジェスチャ入力インタフェースに関する研究." 日本
バーチャルリアリティ学会論文誌 12.4 (2007): 607-614.
Tregillus, Sam, Majed Al Zayer, and Eelke Folmer. "Handsfree
omnidirectional VR navigation using head tilt." Proceedings of the2017 CHI Conference on Human Factors in Computing Systems.
(2017).
柿沼育, 小宮山摂. "VR 空間における視線ポインティングにコントローラを併用する効果." ヒューマンインタフェース
学会論文誌 23.1 (2021): 89-100.
張翔, 坂本大介, 杉浦裕太. “VR ゴーグルに内蔵されたアイトラッカを用いた視線ジェスチャの識別” 第 25 回日本バーチャルリアリティ学会大会論文集 (2020).
Park, Kyeong-Beom, et al. "Hands-free human–robot interaction
using multimodal gestures and deep learning in wearable mixedreality." IEEE Access 9 (2021): 55448-55464.

根拠としては，視線ポインティングの一定時間注視という日常生活ではあまり行わない動作より，視線を移動させるという日常的に行う動作の方が負担が感じられにくいのではないか，という予想ができる．
以上の結果から総合的に判断すると，視線ジェスチャは視線ポインティングより操作がやや複雑ではあるものの，比較的目を酷使せずに済む，新たな操作手法として確立できるのではないかと考えられる．
5.2 課題と解決案
視線ジェスチャ方式の操作をうまく理解できない参加者が発生した問題については，VR 空間内でガイドを見せるなど，操作を理解しやすくする工夫によって改善できると© 2024 Information Processing Society of Japan346