情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B202021/3/10

視認推定に基づく視覚探索タスク支援とVR 環境における有効性評価
吉田 竣亮1,a)

施 真琴2,3

内海 章2

山添 大丈1,b)

概要：自動車運転などの視覚探索を要するタスクを支援するにあたって，人の注意を誘導することは重要である．特に時々刻々と変化する状況においては，適切なタイミングで注意誘導を行うことが重要であり，そのためには，人が注視対象を認識したかどうか（視認）を推定し，それに対応して適切に支援を行うことが必要となる．本研究では，複数の視覚探索タスクを連続して行うシーンを想定し，視認推定に基づいて注意誘導を行うことで，効率的な視覚探索タスク支援の枠組みの実現を目指している．本稿では，視認に基づくこの有効性評価のために作成した VR ゲームについて述べるとともに，VR ゲーム環境における視認推定に向けて行った予備実験とその結果について述べる．現在，予備実験結果に基づく VR ゲーム環境における視認推定と視覚探索タスク支援の実装を進めており，今後その有効性評価を進めていく．

1. はじめに自動車運転などの様々なタスクにおいて，人は視覚・聴覚など様々な感覚を通じて情報を収集，周辺状況を把握し，それに基づき適切な行動を決定している．一般に，視覚を通じて得られる情報は特に多く，人は全ての視覚情報を取得し処理することができないため，適切に注意を配分することで，情報の取捨選択を行っている．そのため，自動車運転などのタスクを支援するにあたっては，人の注意を誘導することが重要となる．
人の注意を誘導する手法については，これまでに多くの

図 1 VR ゲーム環境研究が行われている [1], [2]．自動車運転時のように時々刻々と変化する周辺状況において効率的に注意誘導を行うためには，適切なタイミングで注意誘導を行うことが必須である．そのためには，人（運転手）が注視対象を認識したかどうか（視認）を推定し，それに対応して，適切に注意誘導の対象を切り替えることが重要となる．
そこで本研究では，複数の視覚探索タスクを連続して行うシーンを想定し，視認推定に基づいて注意誘導を行うことで，効率的な視覚探索タスク支援の枠組みの実現を目指す．支援を行うタスクとして，図 1 に示す VR ゲームを作成した．このゲームでは，被験者（プレイヤ）はアルファおいて，指定されたターゲットの Box を発見し，その Boxのみを切ることがタスクとなる．前のターゲットを切った後に，次のターゲットへの注意誘導を行うのではなく，前のターゲットを視認した時点で，次のターゲットへの注意誘導を行うことで，より早い段階での注意誘導を実現し，それにより効率的なタスク支援を目指すのが，提案手法の基本的なアイデアである．
本稿では，視認推定に基づく視覚探索タスク支援を提案するとともに，上述の VR ゲーム環境において視認推定を行うために行った予備実験とその結果について述べる．

ベットが表示された大量の Box が接近してくるシーンに

2. 視認推定に基づく視覚探索タスク支援
12
3a)
b)

兵庫県立大学ATR インタラクション科学研究所
立命館大学
eo17u130@steng.u-hyogo.ac.jp
yamazoe@eng.u-hyogo.ac.jp© 2021 Information Processing Society of Japan

本章では，本稿で提案する視認推定に基づく視覚探索タ
スク支援の枠組みについて述べ，その前提となる視認推定について簡単に紹介する．

432

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B20
2021/3/10

図 2 １つ目のターゲットを含むシーンの例

図 3（小文字の中で，大文字 B,D,E が出現している）(a) 支援表示なし

２つ目のターゲットを含むシーンの例(大文字の後ろに，小文字 b,d,e が出現している）(b) 選択された１つ目ターゲットに対応する(c) 全てのターゲット候補に支援表示

ターゲットのみ支援表示,
図 4

２つ目のターゲットに対する支援表示の比較．支援表示されたターゲット Box は緑色に変化している（図 3 の中心部分を拡大）

2.1 視認推定

例えば，自動車運転においては，案内標識を発見・認識

人が注視対象を視覚的に認識したかどうかを推定する視すると，それに従って進路を変更し，その後，進行方向に認推定について，これまでにいくつかの研究が行われてい対応する標識を発見し，さらに進路を変更する，といったる [3], [4], [5], [6]．視認を推定する基本的な考え方は，注ように，次々と現れる案内標識や信号など，適切に発見し，視対象の領域内を一定時間以上注視したかどうかで視認のそれに基づき行動を変化していく必要がある．

有無を推定するというものである [3], [4]．しかし，視認推

本研究では，このような複数の視覚探索タスクを連続し定に一定時間の注視が必要なため，視認推定に時間がかかて行うシーンを想定し，視認推定に基づいた注意誘導を行るという問題がある．また，注視対象の視覚特性に関わらうことで，効率的な視覚探索タスク支援の枠組みを目指しず，一定の条件で視認の有無を推定しており，視覚特性がている．視認推定に基づき注意誘導の対象を切り替えてい大きく異なる場合には，正確に視認推定ができないといっくことで，視認後の行動の完了を待つことなく，より早いた問題もある．

段階で次の注意を向けるべき対象への注意誘導が可能とな

これに対し，阪口らは注視対象の視覚特性を踏まえた，り，効率的なタスク支援が実現できる．

より正確な視認推定を実現するため，注視対象の視認の難

本稿では，図 1 に示す VR ゲームを題材とした視認推定しさ（視認難易度）と視認の関係を分析した [5], [6]，そのに基づく視覚探索タスク支援手法を提案するとともに，そ結果，視認難易度が低い（見やすい）対象の場合には，対象の実装のための予備実験の結果を示す．と注視方向との距離が大きい段階で視認ができているのに対し，視認難易度が高い（見にくい）場合には，対象と注

3. 実験環境

視方向との距離が小さくならないと視認ができないといっ

１章で述べたように本研究では，視認に基づく視覚探索たように，視認難易度によって 視線の挙動が異なることをタスク支援の有効性を評価するため，VR を用いたゲーム明らかにした．本研究では，これらの知見に基づく視認推におけるタスク支援を対象とする．本章では実装した VR定を行い，人の視認状態に応じて注意誘導を行うことで，ゲームの詳細について述べる．

効率的な視覚探索タスク支援を目指す．

3.1 ゲームの概要
2.2 視認に基づくタスク支援
次に，本研究で提案する視認に基づくタスク支援について説明する．

© 2021 Information Processing Society of Japan

本研究で実装した VR ゲームでは，図 1-3 に示すように，被験者（プレイヤ）に対してアルファベットが表示された大量の Box が接近してくるというシーンにおいて，対象と433

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B20
2021/3/10なる文字が表示された Box を発見し，これを VR コントローラで切る（コントローラに固定された光の棒を接触させる）ことが目的である．
本研究では，複数の視覚探索タスクを連続して行う状況を対象とするため，以下で説明するように，２つのターゲット Box を連続して切るタスクとしている．図 2 に示
すように，Box に表示されるアルファベットの大半は小文字であるが，いくつかの大文字が表示された Box が出現する．これが１つ目のターゲット Box である．１つ目のター
ゲット Box の出現から一定時間経過後には，１つ目のターゲット Box に表示されたアルファベットの小文字が表示された Box が出現する（図 3）．これが２つ目のターゲッ

図 5

VR ゲームで得られる視線などのデータの例

ト Box であり，被験者は１つ目のターゲット Box を発見し切った後に，対応する２つ目のターゲット Box を発見しントローラにはその中心から Z 軸（正面）方向へ延びる長切るというタスクを繰り返し行ってもらう．

さ 1.05m，幅，高さ 2.5cm の直方体の当たり判定を持つ光

このとき，1 つ目のターゲットは同時に複数出てくる場合があるが，同時に複数のターゲットペアを対象にするこの棒が固定されており，被験者はこれをターゲットに接触させることでターゲットの Box を切る．とはできず，1 つ目のターゲットを切った際には，その直Box は 1 辺が 25[cm]，全面が白色の立方体であり，基準後に対応する 2 つ目のターゲット切らなければならない．

点（ゲーム開始時の被験者位置）から Z 軸（正面）方向 9[m]例えば，A と B が同時に出現したときに，A-B-a-b というの位置にある壁から出現する．この時，すべての Box が一順番で切ることは許されず，A-a もしくは B-b と切る必要

定の同速度で被験者に接近し，Box の X 座標（横方向），Yがある．

座標（縦方向）は変化しない．アルファベットは被験者から見える面に表示される．

3.2 ゲームにおけるタスク支援
タスク支援では，２つ目のターゲットとなる小文字が表3.4 取得データ示された Box の色を変更し、ターゲットを発見しやすく

本システムで取得できるデータは，視線データ，頭部運示す．以下では，この色の変更を支援表示と呼ぶこととす

動データ，Box の軌跡データと，Box を切ったタイミングる．以下の４種類のタスク支援を実装した．

データである．それぞれ，時刻ごとの方向や位置，ベクト(a) タスク支援を行わない場合ルなどとして記録できる．図 5 に，取得データの例を示す．

(b-1) 1 つ目のターゲットを切った時点で，対応する 2 つ

1 つ目，2 つ目のターゲットのペアが 1 組表示されており，目のターゲット Box のみに支援表示(b-2) 1 つ目のターゲットを視認後に，対応する 2 つ目のターゲットのみに支援表示

どちらのターゲットにも常に支援表示を行った時のデータの例である．VR 環境を上方から観測した平面（XZ 平面）
における視線や被験者から見た Box の角度などを示してい(c) 2 つ目のターゲット候補すべてに対して支援表示

る．グラフは，正面方向を基準（0 度）として右方向が正，記号はそれぞれ図 4 の記号に対応し，(b-1) と (b-2) の違い左方向が負である．

は，支援表示のタイミングの違いである．(b-2) が本稿で提案する視認に基づくタスク支援となる．

4. 予備実験
本研究では，視認推定に基づく視覚探索タスクの支援を3.3 システム構成行うことが目的であり，視認推定には，Sakaguchi らの視認

VR ゲームの実装に用いたシステム構成は以下の通りであ

難易度に基づく視認推定 [5] の知見を利用することを考える．デスクトップ PC（GALLERIA XA7C-R70S），VR 用ている．しかし，実験環境がことなるため，知見をそのまHMD（VIVE Pro Eye），VR 用コントローラ（HTC VIVE

ま本研究に用することはできない．そこで，まず，今回実コントローラ 2018）を用い，Unity（2019.4.10f1），VR 用装した VR ゲームにおいて視認推定を実現するために，視アセット（SteamVR，ViveSR）を用いてゲーム（VR）環

認難易度と視線行動との関係を分析する予備実験を行った．

境を構築した．

VR 環境中には，HMD とコントローラの位置・姿勢が4.1 予備実験の概要反映される仮想のカメラ，コントローラが存在し，HMD

予備実験では，被験者には図 6 に示す VR 環境内で被験の移動に伴って被験者は VR 空間中を移動できる．仮想コ

者正面の壁平面上を移動する文字がいくつか出現するシー© 2021 Information Processing Society of Japan434

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

図 62B202021/3/10

予備実験の仮想環境
図 7

実験のフローンにおいて，指定された文字が表示された場合にはコントローラのボタンを押下するというタスクを行ってもらう．
様々な視認難易度の文字を表示し，その間の視線行動を記録することで，VR 環境における文字探索タスクにおける視認難易度と視線行動との関係性を明らかにし，VR ゲームにおける視認推定につなげる．

4.2 実験環境
予備実験の環境は，3 章で述べた VR ゲーム環境と同様の機材・ゲーム環境構築用アセットを用いて構築した．実

図 8 視認難易度の違い

験中，被験者は椅子に座っており，HMD の位置・姿勢が仮想環境中の仮想カメラに反映される．仮想空間中の被験者前方 5[m] に壁が存在し，壁の中心点位置は実験開始時に，HMD と等しい高さに初期化される．

4.3 実験手順
実験では，図 7 に示すフローを繰り返し行ってもらう．
まず，(1) 壁の中心に黒い注視点が３秒間表示され，それを注視してもらう．その後，(2) ターゲットとなる文字が中心に３秒間表示される．消失後，(3) 1.5 秒周期で，文字の出現と中心から離れる方向への移動が 3〜7 回繰り返さ

図 9

視認難易度とターゲットと注視位置の最接近距離れる．(4) ターゲットとなる文字を出現したと被験者が認識したタイミングでコントローラのボタンを押下してもらい，一連のフローは終了となり，次のフローへと移る．ス
テップ (3) の文字の出現・移動では，壁上の中心点を中心とする半径 0.5[m] の円上にランダムに文字が出現し，中心から離れる方向に秒速 3[m] で移動する．中心から 2.5[m]離れると文字が消失する．
視認難易度としては，フォントサイズ 3 段階（s0：16，s1：32，s2：48），フォントのコントラスト（カラーのα値）
3 段階（c0：0.3，c1：0.6，c2：1.0）を組み合わせた計 9 段階を用意した．図 8 に視認難易度の違いによる見え方の違いを示す．ターゲットとなる文字は，VR ゲームでの利用

図 10 視認難易度と視認（ボタン押下）までの時間

易度の順序は，被験者間でカウンターバランスを取った．

を想定し，大文字と小文字の判別がしにくい文字を除いた

実験には 21〜23 歳の男性 5 名が参加した．実験参加者

9 文字（A，B，D，E，F，G，H，J，M）とした．図 7 のには予備実験の概要を説明した後，視線取得のためのキャフローの 9 回繰り返したものを実験 1 セットとし，実験 1リブレーションを行った．その後，実験の練習を行ってもセットには，ターゲット文字が 1 回ずつ，視認難易度もそらった後に，実験 5 セットを行ってもらい，視認難易度ごれぞれ 1 回ずつ含むこととした．ターゲット文字と視認難とに 5 回ずつのデータを取得した．

© 2021 Information Processing Society of Japan435

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B202021/3/10

表 1 ターゲットと注視位置の最接近距離の分散分析結果
Df Sum Sq Mean Sq F value
Prsize

10.98

0.98

22.73

<.01 *

cont

10.01

0.01

0.12

0.727

size*cont1*: p<.01

0.06

0.06

1.43

0.23

表 2

謝辞

参考文献
[1]

視認（ボタン押下）までの時間の分散分析結果
Df Sum Sq Mean Sq F value
Prsize

10.30

0.30

92.59

<.01 *

cont

10.07

0.07

21.48

<.01 *

1
size*cont*: p<.01

0.01

0.01

1.98

0.16

[2]

[3]

4.4 結果と考察実験から得られたデータから，文献 [5] と同様に，文字が提示される壁平面上でのターゲット文字の位置と注視位[4]

置との最接近距離を計測した．また，ボタン押下の時点では視認ができていることから，文字提示から視認までの時間として，ボタン押下時間を計測した．視認難易度条件ご[5]との最接近距離の結果を図 9 に，視認までの時間の結果を
図 10 に示す．
この結果に対し，2 要因分散分析を行った．結果を表 1 と表 2 に示す．結果より，最接近距離については，ターゲッ
トの文字サイズ (size) に関して，視認までの時間について

本 研 究 は ，JSPS 科 研 費 18K11383, 18H03269,20K21824 の助成を受けて実施したものである．

[6]

Ono, F., Okada, R., Takada, H. and Matsuura, Y.: Visualwarning method using attentional induction by light ﬂashing, FISITA World Automotive Congress 2008, Congress
Proceedings-Mobility Concepts, Man Machine Interface,
Process Challenges, Virtual Reality, Vol. 1, pp. 154–162(2008).
Arun, S., Murugappan, M. and Sundaraj, K.: Hypovigilance warning system: A review on driver alerting techniques, IEEE Control and System Graduate ResearchColloquium (ICSGRC) 2011, pp. 65–69 (2011).
Fletcher, L. and Zelinsky, A.: Driver inattention detection
based on eye gaze―Road event correlation，The international journal of robotics research, Vol. 28, No. 6, pp.
774–801 (2009).
Tawari, A., Møgelmose, A., Martin, S., Moeslund, T. andTrivedi, M.: Attention estimation by simultaneous analysis of viewer and view, pp. 1381–1387 (2014).
Sakaguchi, H., Utsumi, A., Susami, K., Kondo, T., Kanbara, M. and Hagita, N.: Analysis of relationship between
target visual cognition diﬃculties and gaze movements invisual search task, 2017 IEEE International Conference
on Systems, Man, and Cybernetics (SMC), pp. 1423–1428 (2017).
阪口栄穂，内海 章，須佐見憲史，近藤公久，神原誠之，
萩田紀博： 視線挙動と対象の視認難易度に基づく視認推定手法の検討，信学技報，pp. HIP2017–96 (2018).

は，ターゲットの文字サイズ (size) とコントラスト (cont)の両方で有意差が確認できた．以上より，文字が小さい場
合と比べて文字が大きい場合には，ターゲット文字と注視方向の距離が大きい段階で視認が可能であること，視認難易度が低い場合には，難易度が高い場合と比べて早い段階で視認が可能であることがわかった．
以上の結果から，視認難易度が低い（見やすい）場合には，より早い段階で視認ができていることを示しており，視認に応じたタスク支援により，早い段階で支援を切り替えることが可能となるため，効率のよいタスク支援の実現が示唆される結果といえる．
現在，この結果を踏まえ，VR ゲーム環境における視認推定の実装と，3.2 節に示したタスク支援の実装を進めており，今後，視認に基づくタスク支援の有効性評価を進めていく．

5. おわりに
本稿では，視認推定に基づく視覚探索タスク支援に向けて，VR 環境における視認難易度と視線行動との予備実験結果を示した．また，有効性評価のための実験環境として，VR ゲーム環境を実装しており，その詳細についても述べた．
現在，予備実験結果に基づくタスク支援の実験に向けて準備を進めているところであり，今後，視認推定に基づく視覚探索タスク支援の有効性評価を進めていく．

© 2021 Information Processing Society of Japan436