中部社研 IT フォーラム
当財団では、 2018 年度より会員相互の情報交換と幅広いネットワーク作りを主目的に、 参加者や賛助会員等から要望の強いテーマである AI やロボットなど IT 関連を講演テーマとして 「中部社研 IT フォーラム」を開催しております。
本レポートは、第11回 （2020 年7月29日） での講演 「視覚的インタラクションにフォーカスした環境・状況・状態認識技術」 を元に、 講演者の名古屋大学未来社会創造機構特任准教授 平山高嗣氏にその概要を執筆いただいたものです。

視覚的インタラクションにフォーカスした環境・状況・状態認識技術
名古屋大学未来社会創造機構特任准教授

１．視線の魅力平山 高嗣

ることは簡単ではありません。
では、 人間はどのようにして他者の内部状態を人間と共生するシステムを構築することはコンピ推定しているでしょうか？人間同士の対話に目をュータサイエンスにおける主要な課題の 1 つです。

向けると、 相手の内部状態を正確に理解したい場システムが人間と協調的に活動するためには、 人合に、 積極的に働きかけを行って、 その反応を観間の振る舞いを外部から観測し、 興味や意図など察していることが分かります。 そこで著者らはこれの内部状態を推定することが重要です。 その手がに類推して、 システムが主導権を持って積極的にかりとして、 発話、 表情、 姿勢、 動作などが挙げ対話を行うプロアクティブな対話ストラテジーを適られ、 視線もその 1 つです。 視線分析に関する近用し、 システムがユーザーに視覚的な働きかけを年の技術進展と長年の心理物理学知見の蓄積に行い、 それに対するユーザーの反応から内部状より、 視線計測を応用したインタフェース設計への態を推定するという視覚的インタラクション 「Mind関心が高まっています。

Probing」 を提案してきました。 本稿では、 一世紀古くから、 「目は心の窓、 口ほどにものを言う」を超えて行われてきた視線研究の進展を概観し、と言われ、 19世紀後半から心理物理学、 工学分著者らが取り組んできた 「Mind Probing」 に関わる野を中心に研究されています。 目は多くの情報を研究動向を、 インタラクションの参与対象が人間と入力し、 かつ内部状態を出力するインタフェースシステム、 人間と環境である場合に分類して紹介であるため、 視覚情報をメディアとするヒューマンコンピュータインタラクション （HCI） を設計する上で、 視線は非常に重要な要素となります。 システ
ムは時間的に連続するデータとして視線を計測でき、 人間はその中に無意識的に内部状態の情報を漏らしてしまうため、 コマンドやポインティングだけではない人間同士のやり取りを模した自然なインタラクションを実現できる可能性があります。 しかしながら、 人間を外から受動的に観察するだけで内部状態を推定することは困難です。 我々人間でさえも観察だけに頼って他者の内部状態を推定す

2

図 1 環境・状況・状態認識のための視覚的インタラクションのモデル化

中部圏研究 2020.12

します。 ここで、 これらのインタラクションが必ずし注目され始めます。 心理物理学分野においても、も厳密に相互作用する構造になっていないことに視覚的注意をめぐって 2 つの大きな進展がありまし注意されたい。

た。 まず、 Posner によって提案された 「先行手がかり （pre - cueing）」 を用いた実験パラダイムが視

2 ．視線研究の歴史覚的注意に関わる研究を活発化しました。 そして、工学分野にも影響を及ぼす 2 つのモデルが提案さ

視線は 19 世紀後半から工学、 心理物理学分野れました。 Treisman & Gelade による特徴統合理論を中心に、 主に計測と分析の観点で研究されてい（Feature integration theory） と Koch & Ullman によます。 視線を正確に計測するためには、 個人差る顕著性マップ （Saliency map） です。

がある眼球の形状と構造を推定する必要がありま

1990 年代に入ると、 ユーザビリティ評価への取す。 また、 視行動は不確定性を多く含む人間のり組みが再燃します。 特徴統合理論に対抗する内部状態の影響を受けやすいため、 その進展はモデルや顕著性マップに基づく視覚的注意の計ゆっくりしたものとなっています。

算モデルも多く提案されます。 対話研究におい現在の視線計測技術の主流である赤外光照ては、 心の理論獲得へと導かれるモジュールとし射法の原型といえる光源角膜反射法が 1901 年て、 視線によるインタラクションを内包するモデルに Dodge & Cline によって提案されました。 また、が Baron - Cohen によって提案されました。

対話分析で現在よく用いられている頭部装着型

近年は、 視線計測装置の高精度化、 小規模化、のものについては、 その半世紀後に Hartridge &低廉化と各分野での知見の蓄積が相まって、 学

Thomson によって開発されました。 視線分析への際分野での研究が活発化しています。 実験室か

視線計測装置の導入は 1950 年代に入ってから一ら外に出た環境での視線計測や多人数対話にお般的になり、 その多くは眼球運動の分類やコックける視覚的インタラクション分析、 視覚的注意の一ピットなどのユーザビリティの評価を目的としまし人称視点モデル設計、 霊長類の視線分析、 機械た。 1970 年以前は、 学習、 記憶、 注意、 認知的学習を導入した視覚的注意や視行動の計算モデ負荷といった認知要因に入り込まない研究が主でル構築といった研究も盛んに行われています。

した。
1960 年代後半から工学分野での高まりが一旦落ち着きます。 その一方で、 心理物理学分野に3 ．視線と内部状態の関係おいて認知要因を考慮した研究が盛んに行われ、人間の内部状態は多様な認知要因を基底とし、神経科学分野ではサルを用いた視覚分析の研究多次元変数で記述されるであろう一方で、 視線はが活発化しました。 Yarbus は、 視行動が観察者低次元情報であるため、 それらの関係を一意に定に課された心的課題に敏感に反応することと、 顔めることは困難ですが、 制限された状況や特定のなどの視対象においては、 自由視で注視箇所がタスクに対しては、 関係が明らかになりつつありまほぼ共通する場合があることを明らかにしました。

す。

また、 Just & Carpenter は、 物体や文字の比較とその中で、 知見が蓄積されているものとして、いう認知要因に注目し、 視行動の理論的モデルをまず、 インタフェースのユーザビリティ評価を目的提案しました。 共同注意という対話現象が研究対とした視行動の分析が挙げられます。 インタフェー象として注目され始めたのも 1970 年代のことです。

スから情報を抽出する難しさが固視の持続時間で視線計測のリアルタイム処理が可能になった説明できるという結果が得られています。 また、 イ

1970 年代後半から、 視線を入力モダリティとするインタフェース全領域での固視回数がモジュールのンタフェースが開発され、 HCI への視線の介入が検索効率と相関し、 各モジュール領域に対する固3

中部社研 ITフォーラム

視回数が各モジュールの重要性を表すとされています。 これらの関係に関わる重要な認知要因はインタフェースへの慣れです。

4 ．Mind Probing
外環境からの視覚的な働きかけに対する人間

次 に、 自 動 車 な ど の シ ス テ ム 操 作 時 の 安 全の反応に基づいて内部状態を推定する 「Mind性 評 価 を 目 的 と し て、 認 知 的 負 荷 （cognitiveProbing」 では、 外環境と視線それぞれのダイナミdistraction） と視行動との関係が盛んに分析されクスの関係、特に各々のイベント間の時間関係 （タています。 例えば、 自動車運転などの主タスクとイミング） に注目します。 先行手がかりを用いた視並行して暗算や音声遠隔対話といった副タスクを覚探索実験パラダイムと自動車運転時の認知的負被験者に課し、 主タスクのみの場合との視行動の荷を評価するための Peripheral detection task に差異が分析されます。 主タスクより副タスクに多くおいて、 外部イベントに対する反応時間が計測さの注意資源が割り当てられるほど視行動が単調にれることや、 対話における発話交替潜時から相手なり、 自動車運転状況であれば視方向が視野前の気持ちを読み取れることから、 内部状態を反映方に集中するという関係が一般的知見とされていするタイミングという人間の時間感覚が重要であるます。

ことが分かります。 内部状態とタイミングの関係を視覚探索課題においては、 注視点を固定して被験者に視覚刺激を探索させ、 探索達成時間をモデル化できれば、 あうんの呼吸で人間とやり取りするシステムを設計できる可能性があります。

計測することで潜在的注意 （covert attention） の分析を行うことが主流でした。 視線計測とパターン認識の技術進展とともに、 近年は注視点を固定せ5 ．人間とシステムの視覚的インタラクションずに、 視線滞留頻度から生成される注視点マップ

視覚情報をディスプレイに表示する状況においや注視点の時系列パターン （scan path） に基づて、 ユーザーがどのオブジェクトを注視しているかいた顕在的注意 （overt attention） の分析が多くという情報は、 ユーザーの興味や関心を知る上でなっています。 いずれの場合にも、 探索の先行重要な手がかりになります。 そして、 興味や関心手がかり （事前知識） の提示の有無と視行動とのを推定することによって、 気の利いた情報の推薦関係が比較されています。 また、 注視点マップやなどが可能になります。 また、 完全自動運転車のscan path をシミュレートする計算モデルも多々提実用化が現実的になってきましたが、 周囲の交通案されています。

参加者による無人車両の走行意図の理解が困難

上記ほどの知見の蓄積がないものの、 視対象への興味とその対象への累積注視時間や注視頻になることが危惧されています。 そこで、 視覚的インタラクションの設計が重要視されています。

度が相関するという分析結果が得られています。

（ 1 ）Gaze Probing ： イベント提示に基づく

注視対象推定ユーザーの注視対象を推定するために視線の計測が重要になりますが、 その計測精度は前述したように眼球の形状と構造の個人差やシステムに対するユーザーの立ち位置や顔向きなどの影響を受けます。 そこで、 オブジェクトに移動、 停止といった特徴的な動き （イベント） を持たせた動的
図2

4

Mind Probing のコンセプト

コンテンツを用いて、 オブジェクトと同調した眼球中部圏研究 2020.12

運動を引き出し、 双方の動きが同期したタイミング

ツの空間情報が記録されます。 次に、 (2) これまを抽出することによって注視対象を推定する Gaze

でに提示したコンテンツを同じ場所に再び表示しProbing を提案しました。 この原理は、 視線計測のます。 ただし、 ユーザーが興味のあるコンテンツ空間的な精度が十分に望めない状況でも、 オブを吟味できるように、 ページ切り替えの時間間隔をジェクトの動きと相関する眼球運動のパターンを抽長く設定します。 ここで、 コンテンツ間のページ切出することで注視対象を高精度に推定できます。

り替えの順番を、 ユーザーに予想させないために現在、 他の研究者によって改良が加えられて波及ランダムとしますが、 ユーザーが認知地図を参照しています。

して興味対象に注意を向けることを期待します。
興味の推定には、 吟味フェーズにおけるコンテ（ 2 ）能動的な情報提示に対する眼球運動の反応遅延に基づいた興味推定

ンツのページ切り替えイベントと眼球運動の発生イベント間のタイミング構造に注目します。 コンテン
ツ選択を行う被験者実験により、 興味対象を注視

人間は空間に並べられたさまざまな視覚情報かしている場合に、 ほかのページ切り替えへの反応ら好みのものを選択する状況において、 まず、 (1)が遅れる傾向や興味がない対象を注視している場

ふ かん

全体をざっと俯瞰し、 その後に、 (2) いくつかの情合に、 興味があるページ切り替えへの反応が早く報を吟味する傾向があります。 吟味状態では、 興なる傾向を確かめました。 この反応遅延に基づい味対象に能動的に注意を向けるため、 情報提供て、 最も興味のあるコンテンツを推定したところ、システムがユーザーの興味を推定する場合、 まず従来研究で用いられている注視時間と注視頻度よユーザーが吟味状態であるかどうかを認識するとり高い精度が得られました。

良いと考えられます。 そこで、 動的なコンテンツ設計によって、 ユーザーを吟味状態に強制的に誘導し、 興味対象に能動的に注意を向ける内因性眼球運動を誘発することを試みました。

（ 3 ）Gaze Mirroring ： ユーザー の興味を顕在化させる注視模倣

複数のページで構成されるコンテンツを複数提5．(1) と (2) で述べたプロアクティブな対話ストラ示する状況を想定します。 システムはまず、 (1) コ

テジーは、 おせっかいさや落ち着きの無さを受けンテンツを 1 つ表示して短い時間間隔でページを手に感じさせてしまう面があります。 そこで、 リアク

最後まで切り替え、 続いて、 ディスプレイの別のティブな対話ストラテジーでユーザーの内部状態位置にほかのコンテンツを同様に表示していきまを反応に引き出すことを試み、 擬人化エージェンす。 これによって、 ユーザーは一通りの情報を俯

トがユーザーと共同注意を実現する注視模倣Gaze

瞰することができ、 脳内の認知地図にはコンテンMirroring を設計しました。

図3 興味を反映した眼球運動を引き出す情報提示シナリオ

図 4 ユーザの興味を顕在化させる注視模倣5

中部社研 ITフォーラム

共同注意は、 他者の心を理解するプロセスの一れらには負の相関が確認されました。 これは、 歩

つで、 関心を共有する事物へ他者と共に注意を行者が自動運転車を注視し続けている際に、 走向けるように行動を調整することです。 これに基づ行意図を伝達することができれば、 安全感と安心

けば、 提示情報へのユーザーの注視行動を、 シ感を与え、 ひいては社会的受容や信頼感を醸成ステムが擬人化エージェントを用いて模倣することできる可能性を示唆します。

で、 ユーザーの注視行動に影響を与え、 興味を顕在化させられる可能性があります。 ユーザーが注視している対象をシステムが同調かつ同期して6 ．人間と環境の視覚的インタラクション

注視すると、 ユーザーがその対象に興味を持って対話状況以外の日常活動シーンにおいても動いる場合は共同注意を行うことに抵抗がなくそのま的な視覚刺激が溢れているため、 人間は外環境ま注視を続け、 興味を持っていない場合には注視から 「Mind Probing」 を仕掛けられているようなもを外す回避行動を取ることが期待できます。のです。 人間の内部状態を振る舞いに引き出すこシステムが複数のコンテンツをディスプレイに提とができている視覚刺激がどういったものであるか示し、 ユーザーの注視行動に応じてディスプレイ特定できれば、 環境設計などに応用することがで上の目玉エージェントの視線を変化させることできます。

Gaze Mirroring を行ったところ、 興味があるコンテンツ領域への注視持続時間が Gaze Mirroring を行わない場合に比べて有意に増加しました。 模倣を扱う HCI 研究は盛んに行われており、 その先駆け的な技術となりました。

（ 1 ）映像の顕著性変動と視線運動の時空間相関分析に基づいた集中状態検出あるタスクを遂行している人間の集中状態を検出することは、 システムがサポートするタイミングを（ 4 ）自動運転車の走行意図に対する歩行者の理解を反映する視行動の分析

6計る上で重要です。 著者らは、 人間が映像を視聴している状況を取り上げ、 視聴映像から視線運動に関連するプローブとなる映像ダイナミクスを抽

自動運転車の機能と性能は、 安全性を重視し出し、 それと視線運動との間の時空間構造から視て継続的に向上しています。 しかし、 社会的受容聴者の集中状態を検出する手法を提案しました。

や信頼感の不足などの問題に直面しています。 こ

映像を視聴する際に表出される視線運動は、の原因の 1 つとして、 歩行者と自動運転車がイン映像中に存在する顕著な領域 （生理的に視線がタラクションする際に、 歩行者が自動運転車の走向きやすい領域） の構成や変化に影響されます。

行意図を理解できないことが考えられます。

そこで、 ①顕著性マップを算出して映像中から顕従来は、 車載カメラ映像を用いた手動運転車著領域を抽出、 ②画面中の顕著領域数およびそとのインタラクションの分析が多く行われてきました

れらの動きに基づいて、 顕著領域の時空間的変が、 歩行者側の視点からの分析も重要です。 そこ動のパターンを分類、 ③被験者に映像視聴のみで、 自動運転車とのインタラクションにおける歩行をタスクとして課した場合 （集中状態） と副タスク者の視行動を分析しました。 歩行者の視線を計測として暗算を課した場合 （注意散漫状態） の視線し、 手動および自動運転車の走行に対する主観データを蓄積、 ④各パターンに対して表出された評価を得た結果、 手動運転車より自動運転車の視線運動から特徴量を抽出し、 機械学習によっ安全感、 安心感および走行意図に対する歩行者て両状態を識別する手法を提案しました。 そして、の理解度が低くなり、 手動運転車より自動運転車

従来手法より 20％ほど高精度な集中状態検出がに対する歩行者の注視時間が長くなりました。 こ

可能であることを確認しました。

中部圏研究 2020.12（ 2 ）周辺車状況変化と視線遷移の時空間相関分析に基づいた注意散漫状態検出的な分析ですが、 注意散漫状態の運転者の視線遷移が周辺車状況と同調しなかったことを示唆する妥当な結果が得られました。

集中状態を推定することが有用である状況としては、 自動車を運転する状況も挙げられます。 そこで、 周辺車状況の変化に対する運転者の視行動の時間的関係について、 運転集中状態と注意（ 3 ）サッカー指導の熟練者と未経験者の視行動分析

散漫状態における差異を大規模運転行動信号コ

スキル差に関わる視行動の違いは、 スポーツーパスを用いて分析しました。 追い抜き車両を外を対象に盛んに分析が行われています。 著者ら

部刺激として注目したところ、 通常走行時 （運転は、 サッカーの試合映像に対する熟練指導者 （S集中状態） は音声対話による楽曲検索走行時 （注級ライセンス保有者） と指導未経験者の視行動の意散漫状態） に比べ 500msec 程度、 有意に早く差異を、 映像内で重要度が高い動的対象である注視反応が起こることを確認しました。 そして、 追

ボールと視線運動の関連性に基づいて分析しましゆう ど

ちゅう し ん かしい抜き車両への注視の時間分布を尤度分布とし、た。 そして、 指導未経験者はボールを中 心 窩 視

機械学習によって両状態を識別する手法を提案（視野の中心） で捉えて追跡している時区間が多し、 従来手法に比べて 10％程度の精度向上を達く、 一方で熟練指導者は周辺視で捉える時区間成しました。

が多いことが分かりました。 フィールド上でのボー
ちゅう し ん かししかしながら、 得られた知見には、 あらゆる追いルの存在領域とボールへの中 心 窩 視 の割合との抜き状況に適用することができる汎用性がなく、 そ関係については、 指導未経験者がボールの存在もそも追い抜きが頻繁に生じる保証がありません。

領域によって割合をほとんど変化させないことに対そこで、 運転状況を機械的かつ網羅的に分析すして、熟練指導者は、センターライン付近では高く、るために発想を転換し、 まず、 運転者が視線方向ゴールラインに近くなるほど低くなる傾向がありましを遷移した時区間を検出して、 その際の周辺車状た。 つまり、 熟練指導者は、 時々刻々と変化する況を視線遷移パターンごとに統計解析するデータ

状況に応じて、 注視対象を効率良く変化させてい駆動型アプローチを提案しました。 そして、 視線ると考えられます。

遷移を誘発する周辺車状況を抽出し、 その時空また、 視覚環境ダイナミクスと視線運動間のイベ間的な位置関係を機械学習することで、 上述の手ント共起構造を記述し、 熟練者と未熟者間での差法よりさらに 20％程度の高精度かつ高効率な注意異構造を視行動のコツとして捉え、 データ駆動的散漫状態と集中状態の識別を実現しました。 定性に抽出するアルゴリズムを設計しました。 具体的に

図5

周辺車状況変化と運転者の視行動のタイミング
構造分析に基づく注意散漫状態検出

図6 データマイニングによる視行動のコツの抽出7中部社研 ITフォーラム

は、サッカーの試合映像を視聴する状況において、心視野を向けることを確認しました。

ボールだけではなく選手のダイナミクスに対する視また、 計測したデータに逆強化学習を適用して線運動パターンの依存性を指導の熟練者と未経視行動を数理的にモデル化したところ、 未熟時に験者との間で比較することで、 熟練者に特有な視おいては過剰に視線が変化し、 熟達時には遠方行動の抽出を実現しました。に視野を安定させていることを裏付けるモデルが構築されました。

（ 4 ）運転の熟達に伴う視行動変化のモデル化
運転者は、 視覚を通して運転に必要な情報の本稿では、 工学と心理物理学分野における視多くを取得しています。 膨大な情報が時々刻々と線研究の動向を概観し、 著者が過去に行った視変化する運転環境の中で、 適切な視行動を取る覚的インタラクション研究を紹介しました。 およそことが交通事故を防ぐことにつながります。 そのた一世紀前から視線計測技術の開発が始まり、 要め、 熟練ドライバーの視行動をモデル化し、 それ素還元を主体としてゆっくりしたペースで視線が分に基づいて交通環境を認識する機能を自動運転

析されてきましたが、 近年はタブレット PC やスマー知能に実装することで、 交通事故の削減につながトフォンに搭載可能な視線計測モジュールの開発ると考えられます。 事故が発生する要因が複数存が進展するなど、 視線を計測、 利用する場が実在する箇所で特に効率的な視行動が必要となるた

験室から日常環境へと移りつつあり、 今後はデー

め、 そのような箇所における視行動のモデル化がタの蓄積がこれまでとは全く異なる上昇曲線を描重要です。

き、 計算機資源を活用した分析が急速に進められこれまでにその試みは多く行われており、 近年
では車載カメラ画像上での注視点を深層学習を用いて予測する例も報告されています。 しかし、 周
囲の幾何的な情報を明示的に考慮していないた
め、 物標との 3 次元的な位置関係に基づいた視行動のモデルは実現されていません。 そこで、 3次元地図上で運転者の頭部位置を推定し、 死角あり狭路において運転者がどこから何を見るかを分析しました。 そして、 熟達に伴って、 または車速が速いほど、 より前方に存在するリスク要因に中図787 ．ますます熱い視線

逆強化学習を用いた視行動のモデル化るものと考えられます。