情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B48
2018/3/5

LookUp:視線移動情報の特徴と機械学習を用いた読書支援システム
中園 歩1

濱川 礼1

概要：本論文では，視線移動の特徴からユーザの状況を推定し，適切な読書支援を行うシステム「LookUp」について述べる．既存の視線入力インタフェースはユーザが能動的に視線によるジェスチャを行なうものが一般的である．しかし，これらは他のインタフェースと比べて入力に要する時間が長く，また，視覚による情報収集機能が制限されてしまう．LookUp では，視認行動のための視線移動から特徴を分析し，ユーザが要求する支援動作を読み取り実行する．ここでは，LookUp を用いた読書支援システムの有効性について述べる．

Reading support system using gaze movement feature
AYUMU NAKAZONO1

REI HAMAKAWA1

Abstract: In this paper, we describe a system that estimates user ’s situation from the features of gazemovement and performs appropriate reading support. In the existing gaze input interface, it was common
for the user to actively gaze by gaze. However, compared with other interfaces, these require longer input
time, and the visual information collection function is restricted. The purpose of this system is to obtainfeatures from gaze movement for viewing behaviors and to support user’s intention reading. Here we describe
the eﬀectiveness of the reading support system using this system.

1. はじめにら 1000ms とされており，また，Huckauf らの研究 [3] では
同じタスクに対して視線入力インタフェースではマウスに

近年，視線追跡技術が発展し，それと共に視線入力イン

よる操作の 2 倍の時間がかかるというデータが存在していタフェースの開発も増加してている．一般向けのソフト

る．さらに，この視線滞留時間中は他の部分に視線を向けウェアとしてリリースされるものも増えており，2017 年にることが不可能であり，そのため本来の作業に必要な情報は windows 10 のユーザ補助機能に，視線でキーボードとから，視線を一時的に外さなければならなくなり，作業時マウス操作が行える”Eye Control”機能が加えられた [1]．

間を遅延させる原因になってしまう．これらは，眼の本質

こうした視線入力インタフェースは，主に手足が不自由な的な役割が視覚情報の取得機能であるために，まずシステ障がい者向けのシステムとして活躍している．

ム側で視覚情報の取得なのか，あるいは視線入力なのか判

一方で，現在の視線入力インタフェースは入力に時間が定する仕組みを設けなければならないために発生する問題かかり，本来の目の役割である視覚情報の取得機能を一時である．このように，視線入力インタフェースはキーボー的に制限してしまう問題がある．視線入力インタフェース

ドやマウスと並ぶ利便性を持つとは言い難く，現状では視では一般的に，対象を注視することで選択動作として認識

線入力インタフェースの用途は限定的である．

される仕組みが多い．Majaranta らの研究 [2] では，注視

このような問題を解決するため，本研究では，視線が動として認識されるまでに必要な視線の滞留時間は 150ms かいているときの特徴を分析し，ユーザが求める支援操作を推定，その結果から実際に支援操作を自動実行する仕組

1

中京大学 工学部
School of Engineering Chukyo University© 2018 Information Processing Society of Japanみと，それを元にした辞書ポップアップインタフェース

1060

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B48
2018/3/5「LookUp」を開発した．LookUp は，ユーザに対して意図も存在する．上坂らは，自動車の運転手の視線情報から直的な視線入力を要求せず，本来の「見る」，「読む」という後の運転行動の予測が可能であるか研究を行った [7]．自動動作からユーザの状態を推定，ユーザにとって最適な読書車の運転手は右折や車線変更に際してミラーを確認するが，支援を行う．

実際にこの研究では，高確率で右左折，車線変更といった2. 関連研究各行動の予測が可能であることが判明している．さらに，短時間での視線分析結果をリアルタイムで反映しているシ

視線入力インタフェースを用いた研究は多数行われていステムとして，山本らが開発した，視線特徴からゲームのる．また，基礎研究として視線情報の分析手法の研究も多難易度を最適なものに調整するシステム「百人 eye 首」がく存在する．ここでは，既存の視線入力インタフェース及ある [8]．このシステムにおける視線分析はゲーム中に行び視線分析手法，本研究の位置づけを示す．

われ，分析結果がリアルタイムにゲームの難易度として反映されている．したがって，短時間での視線分析は状況を2.1 視線入力インタフェースの研究
視線入力インタフェースで問題となるのは，視線による入力をどこまで複雑化できるかという点である．視線追跡
デバイスから取得できるデータは，主に視線がどこを向い制限することによって，行動の予測が可能であると考えられる．

3. コンセプトているかという座標データのみであるため，マウスにおけLookUp では，人間の自然な視線移動を入力データとしるカーソル移動までは容易に実装できるが，その後のクて扱う．自然な視線移動とは，図 1 のように，文字や画像リックやドラッグという操作は工夫が求められる．鈴木らといった視覚情報を得るため視線を動かすことである．

は，視線を特定の手順で移動させるアイジェスチャを用いて，操作を指定するインタフェースの研究を行った [4]．こ3.1 既存の視線入力インタフェースのインタフェースでは，予めアイジェスチャを登録してお従来の視線入力インタフェースでは，主にアイジェスくことにより，視線操作のみで複数の操作を使い分けるこ

チャを用いたコマンド入力を行う手法と仮想コントローラとが可能となっている．しかし，このインタフェースでは，を用いた手法の 2 種類が存在した．

依然として入力動作に時間がかかってしまう上，アイジェ3.1.1 アイジェスチャを用いた視線入力インタフェース

スチャ入力のために読書を一時的に中断する必要がある．

アイジェスチャとは，スマートフォンなどに搭載されて本研究では，ユーザの行動を阻害することなく，ユーザがいるスワイプ，フリックといったタッチジェスチャのよう支援を欲するタイミングで実行される，レスポンスタイムに，特定の軌道で視線を動かすことによってシステム側でが短いシステムの開発を目的とする．

予め登録された機能を呼び出す手法である．図 2 は，ジェまた，Biedert らが開発した The eyeBook[5] は，本の中スチャを入力するために，視線を Z 字の形に動かしているにトリガを設定し，設定個所を読むと挿絵が切り替わると例である．このようなジェスチャを予めシステム側で実装

いったコンテンツを視線追跡技術によって実現している．

することにより，ユーザは視線移動のみで様々なコマンド

しかし，The eyeBook の手法では静的に埋め込まれたコンを実行することが可能になる．しかし，ジェスチャが単純テンツを動かすことは出来るが，リーダーとしての機能になものであった場合，自然な視線移動と間違えかねない．

は柔軟に対応することが困難である．LookUp では，読む

図 2 のような背景に文章があるような場面では，上から下コンテンツに関わらずユーザに対して適切な支援が行える

へ視線を動かすようなジェスチャでは文面を読んでいる状

汎用的なインタフェースを目指す．

態でも誤作動を起こしてしまう可能性がある．そうした問題を解決しようにすると，ジェスチャを複雑なものにしな

2.2 視線分析技術及び手法についての研究ければならず，それにより入力に時間がかかってしまう．

視線データは人間の興味や注意などを分析するための要

さらに，ユーザは事前に複雑なジェスチャと対応するコマ素となっており，マーケティングやスポーツ，プログラミンドを把握しておく必要があるため，負担がかかってしングなど，多くの分野で用いられている．Charles らは日

まう．

本語の文章の理解度を視線から分析できないか研究を行っ

3.1.2 仮想コントローラを用いた視線入力インタフェース

た [6]．その結果，読解を努力した個所には視線の滞留時間

仮想コントローラとはスクリーンキーボードのように画に特徴がみられることが判明した．しかし，こうした手法面上にコマンドを実行するためのボタンやパッドといったの多くは数分から数十分かけて行なわれたデータから検出GUI ツールである．視線入力インタフェースでは，まず画することが多く，本研究のようなリアルタイム性が求めら面上に表示したコントローラに視線を注視することでコマれる場合では活かすこと難しい．一方，短時間の入力デーンドを選び，次に操作対象を注視することでコマンドの実タによって視線から特徴を分析することを目的とした研究行を行う．図 3 の例では，まずコントローラから右クリッ© 2018 Information Processing Society of Japan1061

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

図 1 自然な視線移動の例

3B48
2018/3/5

図 2 アイジェスチャの例

図 3

仮想コントローラーの例

クを選択するため，コントローラの右下のアイコンを注視，その後，操作対象の箇所に視線を移動させている．この手法はアイジェスチャとは異なり，使用可能なコマンドが GUI によって示されているのでユーザが訓練する負担は少ない．しかし，こちらも誤操作を防止するため，注視を検出する時間が取られてしまう．また用意するコマンドの分だけコントローラの UI が肥大化し，画面のスペースを取ってしまうという問題がある．

3.2 自然な視線移動を使用する利点
LookUp で実装する自然な視線移動を入力データとして使用する手法では，既存の視線入力インタフェースと違い，入力のための視線移動の時間が発生せず，視覚情報の取図 4 システムの使用イメージ得が困難になるという問題も発生しない．また，システムが自動でユーザが求める支援動作を推定してくれるため，事前に訓練が必要といった負担もかからなくなる．しかし，LookUp で利用が想定される読書では，文面上のどこでユーザが支援を求めるか不明である．そこで，LookUp
では視線の移動量を機械学習によって分析することで，どこを見ていてもユーザが求める支援動作を推定できるようにした．

4. システム構成
LookUp は，ディスプレイ下部に設置する視線追跡デバ
イスとシステムを制御する PC からなる．システムの利用イメージを図 4 に示す．なお，LookUp における読書機
能部分は Amazon.com 社の電子書籍リーダー Kindle forPC を利用している．ユーザはディスプレイに表示されたKindle の画面を見て読書を行い，その際に視線追跡デバイスによって視線情報を取得される．取得された視線情報は，システムによって分析され，ユーザが求める支援動作を推定する．例えば，推定結果が，「辞書が見たい」となった場合，図 5 に示す Kindle の辞書機能が実行される．

4.1 視線追跡機能
LookUp では，ユーザの視線分析のために，視線追跡デバイスとして The Eye Tribe 社 [9] のアイトラッキングシ
ステムを使用した．このアイトラッキングシステムはディ© 2018 Information Processing Society of Japan

図 5

Kindle の辞書機能

スプレイ下部に設置して使用するタイプで，30Hz の速度(毎秒 30 件のデータ) で視線の動きを追跡することが出来る．アイトラッキングシステムを使用するにあたり，データ取得サーバの準備及びキャリブレーション機能が必要であるが，これは同社が提供しているクライアントアプリを使用した [10]．また，LookUp の内部実装においても，同様に提供されている SDK を使用して，開発を行っている．
このアイトラッキングシステムで得られる視線情報には，右目，左目，両目が画面上のどこを見ているかを示す座標，1062

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B48
2018/3/5

瞳の大きさなどがあり，LookUp では両目の中心の座標をう．そのため，入力データ Xt に対する学習データ生成時使用している．ここで，システム開始からの経過時間 t にには，1 秒先となる t + 1 から t + 30 までの操作ログに含対する両目の中心の座標 x, y 座標は，それぞれで xt , yt とまれる操作全てを格納するようにした．この処理を行うことによって，ユーザが経過時間 t の直後にどの支援を求めする．

るかという推定と，各操作の件数の増加させ学習モデルに認識させやすくした．

4.2 視線分析部
今回，視線分析部では Deep Belief Network(DBN) を用いて，視線の分析を行っている．深層学習の実装には，.NET

表 1
操作

操作と支援動作の例
支援動作

向けの機械学習ライブラリである Accord.NET Framework

無操作-を使用した．

左矢印キー

ページ送り

4.2.1 学習用データセット作成

右クリック辞書表示

Escape キー

辞書非表示

学習用データセットには，実際に筆者の中園が Kindleを使用して読書を行なった際の視線データと，マウス及びキーボードの操作ログを用いた．LookUp ではユーザの読書支援として，難解な単語を読んだ際に辞書を表示させる

学習に使用するネットワークはノード数 50 の隠れ層 4層とした．

機能を実装しているため，学習データにはそのような読解が困難な状況のデータが含まれることが望ましい．そこで，

4.3 読書支援部

データセット作成作業では，Kindle ストアで公開されていLookUp は windows フォームアプリとなっており，動作る森鴎外の「舞姫」[11] の原文を用いた．舞姫の原文は文

中は Kindle のウィンドウの上に被さる様に透明なウィン語体や旧字体となっており，読み物として難易度が高いとドウが配置される．これにより，背面にある Kindle の利判断したためである．データは 15 分間取得し，csv ファイ用を妨害をせずに描画処理を行うことが可能である．

ルとして出力，その後システム側で入力データの形式に変Kindle では，マウスやキーボードを用いることで，前述換している．の表 1 の機能を利用することが可能である．これを視線入4.2.2 学習モデル

力のみで利用するため，読書支援部では，視線分析の結果LookUp の目的は，視線情報を元にしたユーザが求めるを元に PC 操作をシミュレートする機能を実装している．

支援動作の推定であるため，学習データはデバイスが取得

例えば，ユーザが辞書表示機能を必要とした場合には，シした視線情報を時系列で並べたデータとユーザの状態を表ステムによりカーソル位置を視線の座標位置とした右クしたデータとなる．システム開始からの経過時間 t に対すリックの押下をシミュレートすることで Kindle の辞書機

る入力データ Xt は，視線追跡デバイスから取得した直近能がポップアップされる仕組みとなっている．これによ

5 秒分 (毎秒 30 件 × 5 秒 = 150 件) の視線の座標データ

り，ユーザはマウスやキーボードの操作を一切必要とせずを元に求めた各フレームごとの移動量 式 (1) を分解してに，Kindle の機能が利用できるようになる．

並べた式 (2) となる．文章をなぞる様に視線を動かした場

5. 実験結果合，図 6 のようになる．

5.1 学習モデルの評価(∆xt , ∆yt ) = (xt − xt−1 , yt − yt−1 )(1)

まず生成した学習モデルの評価を行った．評価用データ
は，学習用データセット作成時とは異なる書籍として中勘助の「銀の匙」[12] を使用し，学習データを収集する手順

Xt = [∆xt−149 , ∆yt−149 , ∆xt−148 , ∆yt−148 ,(2)..., ∆xt−1 , ∆yt−1 , ∆xt , ∆yt ]学習データ及び出力データはエミュレートに使用するマウスとキーボードの操作とする．学習データとして認識さと同様にして行なった．表 2 にその結果を示す．なお，ここでは学習モデルが 99%以上の確率と判定された推定デー
タのみをカウントしている．表 2 のデータから，学習モデルが各機能を推測することはほとんどないことが分かる．

せる際には，予め各操作が出力層のノードに対応するよう

表 2推定結果と実際の結果の組み合わせの比率にしている．表 1 に主な操作と支援動作を示す．出力デー

予想

タのノードには，各操作が求められている確率が格納され，学習データとして引き渡す際には 0, 1 の 2 値が渡される．

通常

ページ送り

辞書表示

辞書消去

一致

100.00%

0.93%

0.62%

12.29%

不一致

0.00%

0.65%

4.95%

16.55%

23062

181912721244

また，操作ログに含まれているマウスとキーボードの操作

結果

は，一度の操作に対し 1 件しか含まれておらず，このまま実データ数

ではデータ全件に対して，操作回数が極端に少なってしま© 2018 Information Processing Society of Japan1063

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B48
2018/3/5

図 6

取得された視線と入力データ

回のデータセット作成では，難解な単語を読んでいるか否

5.2 システムの有効性の評価
次に，実際にシステムを動作させ，実環境においてどれかというフラグを立て，電子書籍の読書に干渉しないようだけ正確な支援を行えるか評価を行った．谷崎潤一郎のにした．これにより，システムが求める，自然な視線移動「陰翳礼讃」[13] を使用し，15 分間，読書を行った．また，と同じ視線移動データを収集し，学習データとして利用す

この時，辞書の非表示やページ送りが実行されないなどのることが可能になった．

状況を除いて，可能な限りマウスとキーボードの操作を行わずに読書を継続した．結果を表 3 に示す．表 3 のデータ

5.4 新規学習モデルを併用したシステムの評価から，辞書機能については全く機能しなかったことが分か

これまでの学習モデルと新しく作成した学習モデルを併る．一方で，ページ送り機能については誤作動もあったが用したシステムを構築し，同様の評価実験を行った．表 4

一定回数の支援が行われた．これは，ページ送り時の視線にその結果を示す．この結果では，これまで出てこなかっの動きとして，書籍の端から端へ大きく動かすという特徴た辞書表示機能が動作しているのが分かる．正しく実行しがあったからだと推測される．そのため，一行前の文章をた回数は少ないが，辞書表示機能については本来の対象で再読しようとした際に，ページ送りが誤作動してしまうとある単語とは違う座標の単語が選ばれてしまうこともあっいう問題も発生した．

たため，視線追跡デバイスの精度についても考慮しなけれ

表 3推定結果と実際の結果の組み合わせの比率
ページ送り
辞書表示
辞書非表示

支援要求回数

97720

支援実行回数5300

支援誤作動回数1200ばならないことが考えられる．
表 4 推定結果と実際の結果の組み合わせの比率 (新学習モデルを併用時)
ページ送り

辞書表示

辞書非表示

支援要求回数

792118

支援実行回数5336

支援誤作動回数

122505.3 辞書表示機能の推定部
辞書機能が正しく動作するように，辞書表示機能のみに特化した学習モデルを作成した．この学習モデルには，こ6. 今後の展望

れまでのデータセットと違い，難解な単語を読んでいる最

本稿では，LookUp の有効性について評価を行ったが，中ということを示すフラグを視線データに与えたデータ

ユーザの視線分析について，正しい挙動を示さないというセットを学習させた．これまでの学習データ収集過程で問題があった．また，現状のシステムでは用途が限定的では，難解な単語を発見した際はマウス右クリックによってあり，依然としてマウスやキーボードなどに対する優位ポップアップを表示させていたが，この手法ではカーソル性は薄いものだと考えられる．LookUp の本質は，視線に操作のために視線がそちらに誘導されてしまう．そこで今

よってユーザの状態をリアルタイムに判別出来る点にあ© 2018 Information Processing Society of Japan1064

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B48
2018/3/5

り，それを活かすためにはより多彩な機能を使い分けられるようにする必要がある．今後は読書に限らず，様々な作業において有効性を示せることを目指す．
参考文献
[1]
[2]

[3]

[4]

[5]

[6]

[7][8]

[9]
[10]
[11]
[12]
[13]

Windows 10 視線制御 - マイクロソフト アクセシビリ
ティ, 2017.
Päivi Majaranta and Kari-Jouko Räihä. Text entry bygaze: Utilizing eye-tracking. Text entry systems: Mobility, accessibility, universality, pp. 175–187, 2007.
Anke Huckauf and Mario H. Urbina. Object selection ingaze controlled systems: What you don’t look at is what
you get. ACM Trans. Appl. Percept., Vol. 8, No. 2, pp.
13:1–13:14, February 2011.
鈴木若菜, 外山託海, Kunze Kai, 岩村雅一, 黄瀬浩一. 読書アノテーション支援システム実現に向けたアイジェス
チャの提案 (パターン認識・メディア理解). 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報,Vol. 113, No. 493, pp. 85–90, mar 2014.
Ralf Biedert, Georg Buscher, and Andreas Dengel. Theeyebook using eye tracking to enhance the reading experience. Informatik-Spektrum, Vol. 33, pp. 272–281,
2009.
Charles Lima Sanches, Koichi Kise, and Olivier
Augereau. Japanese reading objective understanding estimation by eye gaze analysis. In Proceedings of the2017 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings ofthe 2017 ACM International Symposium on Wearable
Computers, UbiComp ’17, pp. 121–124, New York, NY,USA, 2017. ACM.
上坂竜規, 野田雅文, 目加田慶人, 出口大輔, 井手一郎, 村瀬洋. ドライバの視線情報を利用した運転行動予測. 電子情報通信学会技術研究報告. MI, 医用画像, Vol. 111,No. 49, pp. 105–110, may 2011.
山本倫也, 米田宗弘, 長松隆, 渡辺富夫. 百人 eye 首：視線と札取り動作の予測に基づくテーブルトップ対戦型百人一首ゲーム. 情報処理学会論文誌, Vol. 54, No. 4, pp.
1551–1562, apr 2013.
The eye tribe, 2017.
Basics — eyetribe-docs, 2017.
森鴎外. 舞姫, 9 2012.
中勘助. 銀の匙, 9 2017.
谷崎潤一郎. 陰翳礼讃.

© 2018 Information Processing Society of Japan1065