WISS 2019

視線追従と頭部ジェスチャによるオブジェクト選択と操作
樋口 啓太 ∗ 菅野 裕介 ∗佐藤 洋一 ∗概要. 本研究では、パブリックディスプレイにおけるインタラクション手法として、機械学習ベースの視線推定技術によるマルチユーザに対応可能な視線追従による対象選択と、頭部ジェスチャによる対象への操作を提案する。街中におけるパブリックディスプレイの活用において、通行者（ユーザ）の興味対象の推定や、ユーザからの入力を受け付けるための視線情報を活用したインタラクション技術が研究されている。
その一つに、画面上のオブジェクトに固有の動きを持たせ、人間がオブジェクトを視線で追従しているときに、視線の動きとオブジェクトの動きの相関が高くなることを利用する視線追従選択という手法がある。
この手法では、近距離にいる一人のユーザが、どのオブジェクトを選択したかという情報のみしか得ることできなかった。本研究の目的は、一般的なウェブカメラの映像から視線情報を得ることができる機械学習ベースの視線推定技術を利用することで、複数人同時の視線追従選択と頭部ジェスチャによる選択対象の操作を可能にすることである。

1

はじめに

街中におけるパブリックディスプレイの普及から、ユーザである通行者の興味対象や操作入力を認識するために、タッチやジェスチャ、視線などを利用したインタラクション手法が研究されている。視線情報を用いたインタラクション手法として、画面上のオブジェクトとユーザの視線の動きの類似度に基づくオブジェクト選択手法が提案されている [1]。人間が動いている物体を注視し続けているときのような追従している視線移動は Smooth Pursuit と呼ばれ、他の視線動作とは区別可能であること知られている。
この特性を利用し、画面上のオブジェクトそれぞれに固有の動きをさせ、ユーザの視線の動きとの相関を計算することにより、ユーザがどのオブジェクトを視線で追従しているかを特定することが可能である。このオブジェクト選択方法は静止オブジェクトへの注視による選択手法と違い、意図しない選択が起きにくいことと、動きの類似度のみで判定するためアイトラッカーが正確にキャリブレーションされていなくとも利用可能という利点がある。しかしながら、これまで提案されてきた手法では、1) 視線追跡装置の制約上同時に一人からの入力しか受け付けられない、2) 視線追従によるオブジェクト選択のみが考慮されている、といった制限もあった。
本研究では、通常のウェブカメラの RGB 映像から視線情報を得られる、機械学習ベースの視線推定技術を利用することにより、複数人同時の視線追従選択及び、ヘッドジェスチャにより操作も可能なインタラクション手法を提案する。機械学習ベースの視線推定は顔領域の画像のみから視線方向の推定を∗

Copyright is held by the author(s).
東京大学

図 1. 提案インタラクション手法のコンセプト図：画面上のオブジェクトを視線で追従しながら頭部ジェスチャを行うことで選択と操作が同時に可能行うため、カメラ映像中に複数人が撮像されている場合には全員の視線を推定することができ、複数人並列のオブジェクト選択が可能となる。さらに RGB
映像から視線によるオブジェクト追従中に頷きや首振りなどの頭部ジェスチャをすることで、オブジェクトへの操作も可能とする。人間が特定の対象を注視しているとき、頭部を上下や左右などに多少動かしても、対象を追跡するような動きをする補償性眼球運動が知られている。本研究ではこの眼球機能を利用することで、ユーザの視線の動きと頭部の動きから、視線追従による選択オブジェクトと頭部ジェスチャを同時認識する。オブジェクトへの選択と操作がそれぞれ認識になることにより、対象に対して複数の操作が可能なるほか、視線追従選択におけるマウスオーバーのようなインタラクションが可能となる。

WISS 2019

図 2. 予備実験における画面中のオブジェクト：オブジェ
クト A-D は固有の動きをしている（青点線）

本稿では、機械学習ベースの視線推定技術によるオブジェクト追従の検出手法を述べる。また、予備実験として頭部ジェスチャ中に視線によるオブジェクト追従を行った場合にも、対象オブジェクトを検出可能であるかを検証した。

2

視線によるオブジェクト追従の検出

本研究では画面上のオブジェクトの移動と、ユーザが視線でオブジェクトを追従しているとき視線移動の類似度を計算することにより、画面上オブジェクトへの選択を検出する。前提として、画面上にある選択可能なオブジェクトはそれぞれ固有の動きをしていると想定する。本研究では、OpenGaze を用いることでユーザの視線推定結果を得る [2]。 Vidalらの手法では、ある時間区間における視線とオブジェクトの座標の相関を計算係数することで類似度を計算していた [1]。本研究では、垂直や水平に動くオブジェクトとの類似度も計算可能とするために、移動角度の累積誤差により類似度を判定する。具体的には、視線とオブジェクトそれぞれの 1 フレームごとの動き方向の角度を算出し、ウィンドウ区間 w における、毎フレームの移動角度の誤差の合計を累積誤差として計算する。得られたそれぞれのオブジェク
トとの累積誤差から、もっとも誤差が小さく、事前に設定した閾値以下になったオブジェクトを、視線追従により選択したと判定する。

3予備実験

視線追従による選択と頭部ジェスチャによる操作を同時行うことができるのかを検証する予備実験として、視線によるオブジェクト追従中に頭部ジェスチャをしたときに、移動角度の累積誤差が十分小さいかを検証した。予備実験における画面中のオブジェ
クトを図 2 に示す。画面上には 4 つのオブジェクト
A-D があり、A) 時計回りの円移動、B) 半時計周りの円運動、C) 水平移動、D) 垂直移動をそれぞれしている。この予備実験では、一名の実験参加者が特

図 3. 予備実験の結果：4 種類の頭部ジェスチャ中における視線と対象オブジェクト B との動きの累積誤差定の頭部ジェスチャを行いながら、オブジェクト Bを視線追従する。実験参加者が行う頭部ジェスチャ
は、1) 動作なし、2) 頷き、3) 首振り、4) 首傾げの4 種類である。
図 3 に実験結果を示す。グラフ中の青線はオブジェ
クト B との累積誤差 (ウィンドウ区間 30 フレーム)であり、点線は他のオブジェクトとの累積誤差である。ハイライトされた領域は、参加者がオブジェク
ト B を追従するように指示された区間である。全頭部動作において追従区間でのオブジェクト B との累積誤差が最も小さくなっていることがわかる。
予備実験により、機械学習ベースの視線推定技術を利用した設定において、画面上のオブジェクトへの視線追従選択中に頭部ジェスチャを行っても、視線とオブジェクトの動きの類似度が高いままであることを確認できた。これは保障性眼球運動により、注視中に頭部を動かしたとしても視線方向が一定にだったためだと考えられる。一方で、首振りジェス
チャにおいては他のオブジェクトとの累積誤差が小さかったことから、オブジェクト選択の精度向上のため適切なジェスチャやオブジェクトの動きを検討したい。また、今後の課題として、複数人によるインタラクションのデザインと、オブジェクト追従中の頭部ジェスチャの認識精度の検証があげられる。

謝辞
本研究は JST SICORP JPMJSC1605 の助成を受けたものです．

参考文献[1] M, Vidal, A. Bulling, and H. Gellersen. Pursuits:spontaneous interaction with displays based onsmooth pursuit eye movement and moving targets. Ubicomp 2013.
[2] X. Zhang, Y. Sugano, and A. Bulling. Evaluationof Appearance-Based Methods and Implications
for Gaze-Based Applications. CHI 2019.