立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (C) ]意図しない操作に対して堅牢な視線に基づくコンピュータの操作手法
Gaze-based interaction robust for unwante interaction
2207001

研究代表者

筑波大学 大学院
システム情報工学研究群

博士後期課程礒本俊弥

意図しない操作の発生は凝視入力のアルゴリ[研 究 の 目 的]ズムに起因している。コンピュータはユーザが本研究の目的は，視線追跡機器から得られるある対象をじーっと見ていることを認識するた

ユーザの視線にまつわる情報を用いた入力インめに，「ユーザの視線座標が一定時間以上あるタフェースである，視線入力インタフェースに対象の中に入り続けている」かどうかを調べる。

おける課題である意図しない操作に対して堅牢一定時間以上入り続けている場合に，ユーザがなコンピュータの操作手法を確立することであその対象を選択したくて見ていると判断し，選る。

択を実行する。この時間閾値が短い場合には，ぱっと見た・見てしまった時にも選択が実行さ

背景．人間は日常的に意識的・無意識的に眼をれ，意図しない操作が発生する。一方で 2 秒と動かし，ある対象に注意を向けることや，あるいった長い時間の閾値を用いることで意図しな対象の情報を得るといったことを行っている。

い操作の解決は可能であるが，選択するまでにまた，周囲の明るさや，見ている対象への興味必要以上に見続ける必要があり，操作性が減少によって瞳孔径の大きさも変化する。こういっしてしまう。先行研究では，意図しない操作がた眼の動きや，眼周辺の状態をコンピュータの発生しない，かつ操作性を減少させない時間閾

操作に用いる操作を視線入力インタフェースと値の探索が行われてきた[b]。

呼ぶ。中でも，操作したい対象をじーっと見続[研究の内容，成果]ける操作があり，これは凝視入力[a] と呼ばれ，マウスやタッチパネルを用いたコンピュータの操作における，左クリックやタップにより行う

本研究では，意図しない操作を解決する方法選択に相当する。凝視入力は視線入力インタとして，先行研究とは異なり，時間閾値に加えフェースのなかでも，簡単な操作としてこれまて，見続けている時および見続ける前に，ユーで多くの研究が行われてきた。凝視入力は操作ザの眼にまつわる情報がどのように変化をしたが簡単である一方で，人間が無意識的に動かしかを用いる。これらの情報からユーザが操作をている眼の動きを使用するため，意図しない操しようとしているのか，そうでないかの意図を作が発生することが知られている。この意図し検出し，凝視入力に適応する。本研究においてない操作の解決は長く研究されてきたが未だ解眼にまつわる情報とは，サッカード，フィク決されていない課題である。

セーションと呼ばれる人間の認知処理にまつわ― 1 ―立石科学技術振興財団

る眼の動き，瞳孔径，および輻輳反応のことを場合にのみ，選択を実行する手法である (図指し，いずれも市販の視線追跡機器から得られ1) [2]る情報である。
本研究では，凝視入力時に生じる意図しない実験 1

DTD 手法を実装するためのユーザ実操作を防ぐ手法として，2 つの凝視入力手法を験を行った。実験では 14 名を対象とし，実験示した。

参加者には，2 秒間画面に表示された点 (図ま ず 一 つ め が，DTD (Dwell-Time-2a) を見つめるよう指示した。表示された点をDispersion) 手法である。これは，従来の凝視見つめている際の各時間閾値での視線のばらつ

入力では，ある対象の中に一定時間以上視線がき を 調 査 し た (図 2b, c)。こ の 結 果 を 基 に入っていることをもとにユーザの操作意図を検DTD 手法に用いる時間閾値とばらつき閾値を，出していたのに対して「一定時間内の視線座標それぞれ 600 ms および 0.3 度とした。のばらつきが一定範囲未満である」かどうかをもとに操作意図を検出する。つまり，時間閾値

実験 2 DTD-ML 手法における機械学習部分に加え，ばらつき (dispersion) の閾値を用いを実装するための実験を実施した。実験では，て，ユーザの意図を検出する手法である[1, 2]。 文字，単語，画像，動画を DTD 手法にて選択2 つ め が，DTD-ML 手 法 で あ る。こ れ はするタスク，おうよび動画を視聴するタスクをDTD 手 法 に，機 械 学 習 (machine-learning:採用した。これは，DTD-ML 手法が DTD 手ML) による，意図検出を組み合わせたもので法において，検出できなかった意図しない操作ある。具体的には，DTD 手法により，意図をを，防ぐことを目的としているためである。ま

検出したのちに，その意図が選択意図であれば，た，眼にまつわる情報は，何を見ているかや，さらに DTD 手法を行う以前の眼にまつわる情タスクによって異なるため，複数タスクにおけ報を用いて機械学習による 2 回目の意図検出をる眼にまつわる情報を収集した。実験は 24 人行う。そして機械学習の結果も選択意図があるを対象として行った。また，機械学習に必要な

図1

本研究にて示す凝視入力 (DTD-ML) の実行の流れ [2]

図2

DTD 手法を実装するために行った実験の結果 [2]― 2 ―Tateisi Science and Technology Foundation

正解ラベルは，各選択が行われた際に実験参加

・Leave-one-participant-out 交差検証：0.890

者に，その選択は意図した者であったかを質問

・Leave-one-task-out 交差検証：0.601する形で収集した。

本結果より，作製した機械学習モデルは，ユーザに依存しないが，タスクに依存することがわ

機械学習モデルの作成

実験 2 にて収集した眼かった。

にまつわる情報および正解ラベルを用いて意図検出を行う機械学習モデルを作成した。なお眼実験 3にまつわる情報は，視線追跡時に生じるノイズDTD-ML 手法が実際のインタフェースにおいが含まれ，個人によっても異なるため，ノイズてどの程度の性能であるかを示すための実験をおよび個人差を取り除くための以下の工夫を実施した。実験に使用したインタフェースを図行った。

3 に示す。なお，このインタフェースは実験 21) まず，視線追跡機から得られた情報を 20 サに用いたものとは異なるインタフェースである。

ンプルにダウンサンプルした

作製した機械学習モデルを使用した

20 名の実験参加者に，このインタフェースを2) その後，DTD 手法により選択が実行され従来の凝視入力手法 (DT 手法)，DTD 手法，た時間を基準とした変化値を計算した。

および DTD-ML 手法を用いて 10 分間自由に

3) 変化値に対して，表 1 に示す 127 の特徴量操作してもらった。実験 2 と同様に，各選択がを計算した。

行われた際に，その選択が意図したものであっ特徴量には，視線の x 座標および y 座標の変たかの質問を行った。

化を示す x，y，瞳孔径の変化を示す pupil，輻

実験 3 の結果を図 4 に示す。全実験参加者の輳距離の変化を示す diffx，およびサッカード， 意図しない操作の発生回数は，DT 手法が 449
フィクセーションを示す saccade，fixation の回，DTD 手法が 188 回，DTD-ML 手法が 43

統計量を用いた。

回であった。また，全選択に対する意図しない

上記の特徴量と正解ラベルを用いて機械学習操作の発生割合は，それぞれ 88.56%，64.16%，モデルを作製した。機械学習アルゴリズムには24.02% であった。実験参加者毎に見た場合でGradient Boosting Decision Tree のアルゴリズ

も，10 分間の操作において，DT 手法，DTDムである LightGBM を使用した。本機械学習

手法では，平均 37.42 回，15.67 回の意図しなモデルによって検出する意図は「操作を行う」

い操作が発生していたが，DTD-ML 手法にお「操作を行わない」の 2 値である。

いては，3.58 回と意図しない操作の発生回数が機械学習モデルのテスト結果を以下に示す。

減少していることがわかった。また各選択が生

なお性能指標には AUC-ROC (以下 AUC) をじるまでにどの程度自由にインタフェースを見用いた。

ることができていたかを示す時間は，DT 手法

・学習データ全体：0.903

が 4171ms，DTD 手 法 が 6659ms，DTD-ML
表 1 機械学習に用いた 127 の特徴量 [2]― 3 ―立石科学技術振興財団

図3

実験 3 に用いたインタフェース [2]

図4

実験 3 の結果 [2]

手法が 9079ms であった。これらから，DTD-を防ぐことにより，実験参加者が自由にインタML 手法は，DT 手法と比べて意図しない操作フェースを操作できたことに起因していると考を防ぐことができ，実験参加者は自由にインタえられる。

フェースを操作できていたことがわかる。
ま た，実 験 2 で は，leave-one-task-out の本研究の発展

本研究において，これまでの凝AUC が 0.601 であることから，学習に用いた視入力手法において課題とされてきた意図しなタスクとは異なるタスクにおいては十分な検出い操作の発生を，DTD 手法および DTD-ML精度が得られないと考えられていたが，実験 3手法を実現することにより減少させることがわ

では意図しない操作を防げていることがわかっかった。しかし，10 分間の操作において 3.58た。これは，実験 2 において，文字，単語，文回の意図しない操作が発生している。まずは，章，画像，動画と日常的に用いているインタ

特徴量選定，機械学習モデルの改良，およびさフェースに対する選択タスクを網羅的に行ったらなるデータ収集などを通して，意図しない操ことが貢献していると考えられる。

作の発生回数を減らすための改良を行っていく。

ユーザ評価もまた，DTD-ML 手法が他の手本研究は主に現実世界のディスプレイを対象

法と比べ優れていることもわかった。システムとした内容である。一方，近年視線追跡が可能のユーザビリティを定量的に示す指標であるなヘッドマウントディスプレイの登場により，

SUS (system usability scale) の 結 果 は，DT視 線 イ ン タ フ ェ ー ス を Augmented Reality，

手 法 が 31.88，DTD 手 法 が 50.62，DTD-ML

Virtual Reality に適応する研究が多く行われて手法が 69.38 であった。これも意図しない操作いる。本研究も発展系としてこれらの環境にお― 4 ―Tateisi Science and Technology Foundation

図5DTD-ML 手法を Virtual Reality 環境に適応したインタフェース [3]

いて使用可能とするための改良を行っている

Based Gaze Typing with Dynamic, Cascading Dwell(図 5) [3]。

Times. In Proceedings CHI 2017), 2558-2570.

また，眼にまつわる情報を用いた意図検出技
術に関しても，現状操作を行うか行わないかの2 値の意図のみ検出可能であるが，例えば，これを 3 値以上の意図を検出するといった改良も検討する。このとき，操作意図だけではなく感[受給者による成果の発表，論文など]
1 ．礒本俊弥，山中祥太，志築文太郎．時間および範囲をもとに認識する凝視に基づく操作手法．第 28
回インタラクティブシステムとソフトウェアに関するワークショップ予稿集，Article 15，6 pages．ソ

情や興味の強さなどを検出対象とすることで，フトウェア科学会，2020 年 12 月 (査読付き，口頭さらなるインタラクションの可能性が広がると発表)考える。もちろんこれらの改良はチャレンジン

2 ．Toshiya Isomoto, Shota Yamanaka, Buntarou
Shizuki. Dwell Selection with ML-based Intent

グな内容ではあるが，本研究における実験方法，Prediction Using Only Gaze Data. Proceedings of the

特徴量選定などが今後の研究にも貢献すると考ACMえている。

onInteractive,Mobile,Wearable

andUbiquitous Technologies, Vol. 6, No. 3, Article 120,
September 2022 (査読付き，論文誌)
3 ．Toshiya Isomoto, Shota Yamanaka, Buntarou
Shizuki. Interaction Design of Dwell Selection[関連研究][a]

Robert J. K. Jacob. 1990. What You Look at is
What You Get: Eye Movement-based Interaction
Techniques. In Proceeding CHI 1990, 11-18.

[b]

Martez E. Mott et al. 2017. Improving Dwell-― 5 ―Toward Gaze-based AR/VR Interaction. Proceedings of the 2022 ACM Symposium on Eye Tracking
Research & Applications, Article No. : 39, 2 pages,June 2022 (査読付き，ポスタ発表)