情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-510-30
2017/3/2

視線情報を用いた背後参照情報の透過提示システム
吉田 圭佑1,a)

大囿 忠親1,b)

新谷 虎松1,c)

概要：プログラミングなどの PC 作業では，複数の情報を参照しながら作業すること，すなわち参照作業がおこなわれる．しかし，アプリケーションウィンドウの大きさや位置により重なりが発生し，参照したい情報が見えなくなる場合がある．本研究では，このような情報を背後参照情報と呼ぶ．この場合，従来では背後参照情報を表示しているアプリケーションウィンドウを前面に出すなどのウィンドウ操作が必要であった．このようなウィンドウ操作は，主となる作業の中断につながり，作業効率の低下につながる恐れがある．本研究では，視線情報を用いることで主となる作業と並行して，背後参照情報を提示するシステムを開発した．本システムによって，背後参照情報が従来よりも少ないウィンドウ操作で可能になると期待される．

A Translucent Exposure of Backward Reference Information with EyeTracking
Keisuke Yoshida1,a)Tadachika Ozono1,b)Toramatsu Shintani1,c)Abstract:
Users performs tasks on refering information such as programming, we call it reference works. When awindow is overlaid with another window, some information in the window become hidden. We call the information backward reference information. Then, users must manipulate windows such as activation to see
backward reference information in the window. The window manipulation could decrease eﬃciency of works
because of the interruption of tasks. In this study, we developed a translucent exposure of backward reference
information with eye tracking. Our system may enable users to refer information of backward windows withless window manipulations.

1. はじめに遂行環境を構築する．本稿では，このようなタスク遂行環境をワークスペースと呼ぶ．オーバラッピングウィンドウ

近年，主流となっている OS のウィンドウシステムでは，レイアウトでは，その自由度の高さから，ユーザの熟練度オーバーラッピングウィンドウレイアウトが採用されていによりワークスペース内のアプリケーションウィンドウのる．オーバーラッピングウィンドウレイアウトでは，アプ可視性が高くなることが期待されている [1]．

リケーションウィンドウの重なりを許し，アプリケーショ

我々は，オーバーラッピングウィンドウレイアウト上ンウィンドウの位置および大きさを自由に設定することがで，複数のアプリケーションを用いた作業の支援についてできる．ユーザーが PC 上であるタスクを遂行する場合，研究をしている．特に，他のアプリケーションに表示され利用するアプリケーションの組み合わせおよびデスクトッた情報を参照しながら，主のアプリケーション上で作業すプ上のアプリケーションウィンドウの配置によってタスクること（以降，参照作業）の支援のために，参照対象の情報（以降，参照情報）の提示手法について研究している．

1a)b)c)名古屋工業大学大学院 工学研究科 情報工学専攻
Department of Computer Science, Graduate School of Engineering, Nagoya Institute of Technology
kyoshida@toralab.org
ozono@toralab.org
tora@toralab.org© 2017 Information Processing Society of Japan

これまで，参照情報の提示方法および提示位置決定手法について，最前面，半透明かつクリックイベント透過による提示手法，画像処理技術により決定する手法を提案している [2]．また，ユーザの作業履歴と画像処理技術を併用する

486

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-510-30
2017/3/2

ことで，ワークスペース内のアプリケーションウィンドウの可視性を向上させる自動ウィンドウマネジメントシステ
ムについても提案している [3]．しかし，いずれもユーザが必要な参照情報の選択インターフェースについて改善の余地がある．
参照作業では，主に入力作業をおこなう主アプリケーションおよび情報の参照など副次的な利用のための副アプリケーションを併用する．また，参照作業は作業フェイズおよび参照フェイズからなり，それぞれ交互に繰り返すことで遂行される．システム開発を例に挙げると，Web 上のAPI を閲覧しながらプログラムを記述することが参照作業にあたる．プログラムを記述するための統合開発環境および Web 上の API を閲覧するための Web ブラウザが，それぞれ主アプリケーションおよび副アプリケーションにあたる．システム開発の例での作業フェイズは，統合開発環境上でプログラムを記述することである．また，参照フェイ
ズは，Web ブラウザで Web 上の API を閲覧することである．ここで，モニターの大きさおよび解像度が限られていることから，統合開発環境のウィンドウが Web ブラウザのウィンドウに重なる場合がある．この場合，Web ブラウ
ザのウィンドウ内に表示されている情報の一部は，統合開発環境の背後に隠れてしまう．本研究では，ウィンドウの重なりによって隠れた参照情報を背後参照情報と呼ぶ．従来は，背後参照情報を閲覧するためには，背後にある副アプリケーションを一度前面に出すなどのウィンドウ操作が必要であった．また，主アプリケーションでの作業に戻るときには，背後にある主アプリケーションをもう一度前面に出す必要があった．このように，参照作業時に背後参照情報を閲覧するためには，複数のウィンドウ操作の必要があった．つまり，背後参照情報の閲覧のためには，一度作業フェイズから参照フェイズに移行しなければならず，これは作業の中断につながる．参照作業において，作業の中断は作業効率の低下につながる恐れがある．
本研究では，視線情報に着目し，背後参照情報の透過提示システムを開発した．本研究の目的は，作業フェイズを中断することなく，背後参照情報を提示することで参照作業を支援することである．本システムでは，視線によって透過提示する背後参照情報を指定する．これによって，背後参照情報閲覧のためのウィンドウ操作が減少し，参照作業の効率化が期待できる．本稿では，2 章で参照作業支援について関連研究の紹介および考察について述べる．3 章
では透過提示する参照情報の指定手法について述べる．4章および 5 章では，それぞれ開発システムについてシステム構成および実行例を示し詳細を述べる．6 章では本研究における考察および，考察を踏まえた今後の展望について述べる．7 章で，本研究をまとめる．

2. 関連研究
参照作業を支援するアプローチとして，ウィンドウ操作の減少およびワークスペースの可視性の向上がある．以下
では，それぞれのアプローチについて，またそれについての考察を述べる．
ウィンドウ操作の減少することで，PC 上でのアプリケーション操作およびウィンドウ操作を支援する試みがされている．PC 上でのタスクの遂行のためには，複数のアプリケーションを利用する場面が想定され，多くのウィンドウ操作が行われることが知られているためである [4]．山中ら
は，マウスカーソルに z 軸方向の移動を加えることで，アクティブウィンドウの背後のアプリケーション操作を可能にした [5]．これにより，本来背後のアプリケーション操作のために必要なウィンドウ操作を削減することによって，背後のアプリケーション操作を伴うタスク遂行の時間短縮を実現した．柴田らは，作業毎にアプリケーションウィンドウをまとめることで，一括操作を可能にした [4]．これにより，複数のアプリケーションを利用する作業において，タスクの切り替え操作を支援しウィンドウ操作数を削減した．いずれも，ウィンドウ操作数を減らすことによって，あるタスクの完了時間を短縮している．このように，ウィンドウ操作数の減少は，PC 上での作業支援につながる．
ここで，ウィンドウ操作はウィンドウの重なりによって隠れたウィンドウ内の情報を閲覧する場合にも必要である．
上記の手法では，背後に隠れたウィンドウ内の情報を閲覧することについては着目していない．このことから少ないウィンドウ操作によって背後に隠れたウィンドウ内の情報を閲覧する手段が必要である．
また，アプリケーションウィンドウの透明度に着目して，ワークスペースの可視性を向上させる研究がされている [6][7]．Waldner らは，アプリケーションウィンドウ内の情報の重要度に着目し，透明度を変化させることで背後のウィンドウ内の情報の閲覧を可能にした．また評価実験
により，背後のウィンドウ内の情報の閲覧を可能にすること，すなわちワークスペースの可視性を向上させることで，参照作業の完了時間を短縮できることを示した [6]．このように，背後のウィンドウ内の情報の閲覧を可能にすることは，PC 上での作業支援につながる．しかし，これらはユーザの意図とは関係なく透明度が変化するため，必ずしも背後のウィンドウ内の閲覧したい情報が閲覧できるとは限らない．この場合，従来と同じようにユーザはウィンドウの位置および大きさの変更といったウィンドウ操作を行う必要がある．このことから，ユーザが意図的に背後のウィンドウ内の情報を閲覧できることが必要である．
以上より，少ないウィンドウ操作かつ意図的に背後のウィンドウ内の情報を提示するシステムが必要である．我々は© 2017 Information Processing Society of Japan487

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-510-30
2017/3/2

図 2

視線移動による透過レイヤーの移動

Fig. 2 Changing Transparent Layers with Eye Movements
図 1 オーバーラッピングウィンドウレイアウトにおけるウィンドウの重なり

Fig. 1 Layers on The Overlapping Window Layout

任意のウィンドウの情報を透過して提示するためには，さらに a) 透過レイヤーの変更，および b) 透過情報の固定の視線情報に着目することで，少ないウィンドウ操作かつ意二つの機能が必要である．

図的に背後のウィンドウ内の参照情報を提示するシステムa) 透過レイヤーの変更とは，透過して閲覧するウィンドの実現を目指す．つまり，視線情報によって背後参照情報ウが存在する層の変更である．透過レイヤーの変更は，透を選択し透過提示する．特に，視線情報による背後参照情過して閲覧するレイヤーを特定の操作によって変更する．

報の選択手法について 3 章で述べる．

本研究では特定の操作として，視線を対象ウィンドウへ移

3. 視線情報を用いた透過提示する参照情報の指定手法

動およびキーボードショートカットキー押下の二つを用意した．図 2 は，視線を対象ウィンドウへ移動する操作の概要である．図 2 では，視線がウィンドウ 1 からウィンド

参照作業では，キーボードおよびマウスでの入力作業とウ 2 へ移動し，その後ウィンドウ 1 に移動している．図 2

並行して情報を参照できることが望ましい．視線情報はのように，視線を見ているレイヤー上のウィンドウから見キーボードおよびマウスによる入力作業と並行して利用がたいウィンドウへ移動することで，透過レイヤーが奥に切できる．視線情報を用いることで，入力作業を中断せず，り替わる．これにより，ウィンドウが多層に重なっている

閲覧したい参照情報の指定ができる．参照作業における参場合も，目的の透過レイヤーに切り替えることができる．

照フェイズと作業フェイズの並行が可能になるため，参照視線を対象ウィンドウへ移動する操作では，背後のウィン作業を支援できると考えた．本章では，視線情報を用いたドウの情報を閲覧するために，マウス操作およびキーボー透過提示する参照情報の指定手法について述べる．

ド操作を必要としない．これにより，背後の情報の参照が背後のウィンドウ内の情報を透過して提示にするためには，視線情報によって任意のウィンドウおよび領域を指定キーボードおよびマウス操作での入力作業と並行して行えることが期待される．

できることが必要である．図 1 は，オーバーラッピング

キーボードショートカットキー押下では，設定したキーウィンドウレイアウトにおけるウィンドウの重なりのイボードショートカットキーを押下するたびに，透過レイメージ図である．オーバーラッピングウィンドウレイアウヤーが奥に切り替わる．キーボードショートカットキーをトでは，アプリケーションウィンドウは図 1 のように重用いて，背後のアプリケーションウィンドウの情報を確認なっている．図 1 が示すように，通常はアクティブになっする方法として，アプリケーションスイッチによる方法がた履歴に従って手前から奥へ重なっている．このようなある．アプリケーションスイッチによる方法とは，参照すウィンドウからなる層構造において，それぞれの層を透過るアプリケーションウィンドウをアクティベイトし情報をレイヤーとする．視線情報を用いたウィンドウの背後の情確認した後に，作業するアプリケーションウィンドウをも報の透過して提示することは，視線情報によって指定したう一度アクティベイトする方法である．この方法では，背透過レイヤー内の領域を半透明，最前面およびクリックイ後に隠れた情報は一時的にしか閲覧できない．キーボード

ベント透過で提示することで実現する．参照情報を半透明

ショートカットキー押下によって透過レイヤーを切り替えかつ最前面で提示することにより，ユーザは参照情報を常る方法では常に情報を参照することができる．この方法は，に閲覧することおよび参照情報が主のウィンドウに重なる

視線を対象ウィンドウへ移動する操作に比べ，キーボード場合の可視性低下の抑制が可能になる．視線情報を用いて入力操作を必要とするが，誤操作の減少が期待できる．

© 2017 Information Processing Society of Japan488

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-510-30
2017/3/2のことから，イベント監視モジュールは，アプリケーションスイッチイベントが発生すると，ウィンドウ配置の状態が変化したことを状態制御モジュールに送信する．キー
ボード操作イベントは，透過レイヤー変更機能および透過情報の固定機能を呼び出すために監視する．それぞれの機能に設定されたショートカットキーが呼び出されると，機能が呼び出されたことを状態制御モジュールに送信する．
本システムでの視線移動イベントの監視には，Tobii Eye

Tracker 4C*1 を用いた．視線移動イベントは，視線追跡デバイスから送られた視線情報を状態制御モジュールに送信する．
状態制御モジュールでは，イベント監視モジュールから得た情報を用いてシステムを制御する．アプリケーション
図 3 システム構成図

Fig. 3 A SystemArchitecture.

スイッチイベントが発生したとき，新しくウィンドウ配置情報を取得し，画像管理モジュールに送信する．透過レイ
ヤー変更機能が呼び出されたとき，透過レイヤーを奥に変b) 透過情報の固定とは，透過して提示している情報を更することを画像管理モジュールに送信する．透過情報の指定した場所に固定する機能である．視線はユーザが注視固定機能が呼び出されたとき，その時に透過している情報している場合でも，固視微動により不安定である．そのたを固定情報として登録することを画像管理モジュールに送め，確実に閲覧したい情報を表示させておくことが必要で信する．視線移動イベントが発生した時，視線の座標を描ある．また，半透明の情報が別の情報と重なった時，視認画モジュールに送信する．また，視線の移動によって透過性が低下する場合がある．文字と文字が重なった場合は，レイヤーが変更したとき，透過レイヤーを変更することを特に情報の視認性が低下する．視認性を改善するために，

画像管理モジュールに送信する．

情報を表示する位置を変更できることが必要である．これ

画像管理モジュールでは，描画する透過情報の生成およらのことから，透過して閲覧している情報を固定し，任意び保持をおこなう．状態制御モジュールから新しいウィンの位置に表示させつづけることができる機能が必要である

ドウ配置情報を受信したとき，その情報からウィンドウ画と考えた．本システムでは，キーボードショートカットお像を生成する．画像管理モジュールはウィンドウ画像をよび視線移動を併用することで実現する．

透過レイヤーにより合成し，描画画像として保持する．ま4. システム構成

た，透過レイヤーが変更されたとき，ウィンドウ画像を透過レイヤーにより合成し描画画像を更新する．状態制御モ

本システムは，アプリケーションウィンドウの視線情報

ジュールから，透過情報を固定している情報として登録すを用いて背後参照情報を透過提示するシステムである．参ることを受信したとき，現在の描画画像，描画の位置およ

照情報の透過提示は，指定した参照情報を半透明，最前面び大きさを固定描画画像として保持する．

かつクリックイベント透過で提示することによって実現す

描画モジュールは，画像管理モジュールが保持している．参照情報を半透明かつ最前面で提示することにより，る描画画像および固定描画画像を描画する．状態制御モ

ユーザは参照情報を常に閲覧することが可能になり，またジュールから視線情報を受信したとき，画像管理モジュー

参照情報が主のウィンドウに重なる場合の可視性低下の抑ルに描画画像および固定描画画像を要求する．画像管理モ

制が期待できる．参照情報の透過提示により，ユーザは参ジュールから描画画像および固定描画画像を受信したと照情報の上から作業ウィンドウの操作が可能になる．これき，それぞれの画像について視線位置の周辺に該当する部

らにより，参照作業における参照情報閲覧を支援する．

分を描画する．このとき描画画像および固定描画画像は，本システムの構成を図 3 に示す．本システムは，イベン
ト監視モジュール，状態制御モジュール，画像管理モジュー
ルおよび描画モジュールから構成される．本節では，各モジュールについて説明する．

最前面および半透明かつクリックイベント透過で描画，すなわち透過提示される．

5. システム実行例

イベント監視モジュールでは，アプリケーションスイッ

図 4 および図 5 は，本システムを利用している様子およチイベント，キーボード操作イベント，および視線移動イベびその時のスクリーンの状態を示している．図 4 およびントを監視する．アプリケーションスイッチすると，最前面に表示されているウィンドウが変化する場合が多い．こ© 2017 Information Processing Society of Japan*1

https://tobiigaming.com/eye-tracker-4c/489

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

図 4

図 6 透過情報の固定

本システムを利用しているユーザの様子

Fig. 4 A State of Using The Our System.

図 52-510-30
2017/3/2

Fig. 6 Fixing Transparent Information.

本システム利用時のスクリーンショット

Fig. 5 A Screenshot of Using The Our System.

図 7 固定した透過情報の移動Fig. 7 Moving The Fixed Transparent Information.

図 5 では，ユーザはスクリーン上のマウスカーソル付近を注視している．図 5 の黒枠は，ユーザがマウスカーソル付に文字が重なった場合に透過情報および前面のウィンドウ近を注視している際の情報の透過閲覧の様子およびその内の情報の視認性が悪くなることがある．この場合に，透拡大図を示している．図 4 では，ユーザはキーボードで入過情報の固定機能を利用することで，透過情報の重なりを力しながら，背後の情報を閲覧している．視線移動の検出解決することができる．図??の B では，透過情報を文字なは，図 4 のモニター下部に設置されたデバイスによっておどの情報がない位置に配置している．これによって，情報こなわれている．図 5 は，Instruments 上のデバッグ情報の重なりによる視認性の低下を抑制することができる．こを見ながら Xcode で作業している様子である．このとき

れにより，アプリケーションウィンドウ背後の情報の透過

Xcode のウィンドウは Instruments のウィンドウの前面に閲覧を支援する．

重なり，Instruments のウィンドウ内の情報の一部が見えなくなってしまう．これまで，このようにウィンドウの重6. 考察・展望なりにより隠れた情報を閲覧するためには，ウィンドウを本システムによって，参照作業時の情報閲覧が支援でき前面に出すなどのウィンドウ操作が必要だった．本システると期待できる．このことから，それぞれのアプリケームを用いることで，図 5 のように，ウィンドウの重なりにションウィンドウが重なってしまう場合がある．

より隠れた情報を閲覧しながら作業することができる．

マウスおよび視線を併用したインターフェースの評価実

図 6 および図 7 は，背後のアプリケーション内の情報を験 [8] では，操作効率を向上させることを示しているが，一確認しながら Xcode 上でシステム開発をしている例であ方で操作ミスの数が増減するというデータもある．本シス

る．図 6 および図 7 はそれぞれ，透過情報の固定および移テムにおいても，固視微動による認知的不可の向上が懸念

動の例を示している．図 6 の A は，透過情報の固定をしてされる．固視微動を軽減するために，視線移動の座標を平いる．これによって，視線が移動した場合でも継続して背滑化することが必要である．

後の情報を閲覧することができる．また，図 7 の B は，透また，3 章で述べた透過レイヤーの変更方法である視線過情報の固定機能を用いて図 6 の A の透過情報の位置を移を対象ウィンドウへ移動およびキーボードショートカッ動し固定した様子である．透過情報の重なりにおいて，特トキー押下について，どちらの方法が早く目的の情報を見© 2017 Information Processing Society of Japan490

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-510-30
2017/3/2

つけることができるかを検証する必要がある．前者の方法
は，視線移動のみでアプリケーションウィンドウ背後の情報を透過して閲覧することができる．一方で，後者の方法[7]

は，視線移動とキーボード操作を併用することで，アプリケーションウィンドウ背後の情報を透過して閲覧することができる．ここで，前者の方法は，キーボードおよびマウスでの入力作業を中断しないため，作業効率が向上すると期待できる．しかし，視線移動のみで操作するため，操作[8]

man Factors in Computing Systems, ACM, pp. 959–968(2011).
Ishak, E. W. and Feiner, S. K.: Interacting with hidden
content using content-aware free-space transparency, Proceedings of the 17th annual ACM symposium on Userinterface software and technology, ACM, pp. 189–192(2004).
大和正武，神代知範，門田暁人，松本健一ほか：視線・マ
ウス併用型インタフェースのドラッグ& ドロップ操作への適用，情報処理学会論文誌， Vol. 44, No. 1, pp. 166–175(2003).の習得が難しいと考えられる. そのため，本システムにおける情報の透過閲覧の習得難易度について調査する必要がある．
今後の展望として，本システムの有効性を示すため，評価実験を行う必要がある．本システムでは，視線情報を併用することで，キーボードおよびマウスによるウィンドウ操作を減らし，参照作業効率を向上させることが目的である．そのため，本システムを使う場合と使わない場合における参照作業タスク完了時間を計測する必要がある．

7. おわりに本研究では，視線情報に基づくウィンドウ背後の情報の透過提示システムを開発した．本稿では，参照作業の支援のために視線情報に基づく情報の透過提示手法を提案した．本システムを用いることで，視線移動によりアクティブウィンドウ背後の情報を閲覧することができる．本研究の特筆すべき点は，ウィンドウの重なりによって隠れてしまった情報の参照が，従来よりも少ないウィンドウ操作で可能になったことである．これによって，参照作業におけるウィンドウ操作時間が削減され，作業効率の向上が期待できる．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

Bly, S. A. and Rosenberg, J. K.: A comparison of tiled andoverlapping windows, ACM SIGCHI Bulletin, Vol. 17,
No. 4, ACM, pp. 101–106 (1986).
吉田圭佑，丹羽佑輔，大囿忠親，新谷虎松：重畳 Web ブラ
ウジングにおける視認性改善について，人口知能と知識処理研究会 2015， Vol. 115, No. 381, pp. 25–30 (2015).
Keisuke, Y., Tadachika, O. and Toramatsu, S.: FoXpace:
Manipulating Windows Based on the User’s Work History, Proceedings of the 4th International Conference on
Smart Computing and Artificial Intelligence, IIAI AAI,
pp. 698–703 (2016).
Hirohito, S. and Keingo, O.: Docking Window Framework: Supporting multitasking by docking windows, Proceedings of the 10th asia pacific conference on Computer
human interaction, ACM, pp. 227–236 (2012).
山中祥太，宮下芳明：重なりあったウィンドウ間を移動可能なマウスカーソル操作手法とその評価，ヒューマンインタ
フェース学会論文誌 The transactions of Human Interface
Society， Vol. 15, No. 1, pp. 313–326 (2013).
Waldner, M., Steinberger, M., Grasset, R. and Schmalstieg, D.: Importance-driven compositing window management, Proceedings of the SIGCHI Conference on Hu-© 2017 Information Processing Society of Japan491