裸眼単視点３ DCG エージェントを用いた共同注視によるユーザの視線移動の分析
Analysis of User’s Eye Movement between a Joint Attention withGlassless 3DCG Agent
吉田 直人 1∗ 米澤 朋子 1
Naoto Yoshida1
Tomoko Yonezawa1
関西大学
Kansai University1

1

Abstract: Eye contact is an important communication factor for both a listener and a speaker,
and a joint attention is important process to share information with other people. In this paper,
we analyzed user s eye movement corresponding to a joint attention caused by Human-AgentInteraction using Glassless 3DCG Agent.

1

はじめに

人間同士の対面コミュニケーションにおいては言語情報に加えて，非言語情報が相互の意思疎通や情報共有に重要な役割を果たしている．なかでも視線移動や頭部運動は，物体の指示や必要―不必要，正解―不正解などの意思表示など言語情報と併せてスムーズな情報伝達のために用いられる [1]．また，これらの視線移動や頭部運動による物体指示は発話による指示に先駆けて行われ，相手の注意の対象を推測させる働きを持つ．結果，互いに注意対象を共有することによって，相手の意図を推測し情報の共有を図ろうとする一連のプロセスを共同注意という．共同注意は無意識的な視線の誘導を伴う．これにより物体の指示だけでなく，発話による周知よりも早く，未知の危険に対して方向やその危険度を伝達することが可能だと考えられる．記憶力，集中力，聴力などの低下した高齢者の支援において共同注意は有効である．たとえば，室内において探し物が見つからない場合や，火の不始末による火災の警告，病院における看護師とのコミュニケーションの促進などにおいて効果が期待される．
人間とロボットのコミュニケーションにおける共同注意に関しては，高齢者支援をはじめとする様々な活用シーンに応じた研究がなされている．神山らの研究[2] では高齢者の遠隔地との TV 会話システムにロボットを付加することによって，散漫しがちな視線を共同注意によりディスプレイ内の相手に向けさせ，会話を持続させるのに効果を発揮している．
∗ 連絡先：関西大学総合情報学部総合情報学科〒 569-1052 大阪府高槻市霊仙寺町２丁目１‐１E-mail: k463362@kansai-u.ac.jp

一方で，仮想エージェントを用いた共同注意に関しては，共同注意の対象物がエージェントと同じ平面上に配置される例 [3] はあるものの，２次元的な表現性の制約により現実空間におけるコミュニケーションに取り入れられた例は非常に少ない．仮想エージェントはロボットに対し，費用，メンテナンス，機能の追加変更，アピアランスや表情の自由度などにおいて優れている．例えば，高齢者には孫を思わせるような容姿や発話を行うエージェント，子どもに対しては威圧感を与えるような大人の容姿と低い声のトーンをもつエージェントなどが容易に設定可能である．これらによって，病院や学校などでの幅広い活用が期待される．
本稿では，ユーザの顔位置や顔向きに合わせてディスプレイ内の３次元空間における視点位置を変更し，エージェントを立体的に視認できる裸眼単視点 3DCG エージェント [4] を用いて，人間と仮想エージェントの現実空間における共同注意が可能であるか検証する．

2

関連研究

ロボットと人間の共同注意に関しては，主に２種類のアプローチがなされている．陳ら [5] は人間が注視している物体を視線や顔向きから特定し，ロボットがその物体を同様に注視しているように視覚させることで共同注意を実現させている．他方でロボットが人間の視線を無意識的に誘導することによって共同注意を実現した例もある [2][6]．
吉田らの研究 [6] では，顔パーツをドーム型のスクリーンに投影した頭部ロボットを用い，眼球運動と頭部運動それぞれが人間の視線誘導にどれほど効果があるのかを検証している．この実験の結果，ロボットの眼球運動に関して人間の視線誘導が起こることが示された．
本稿では仮想エージェントを用いて眼球移動と頭部運動による視線誘導が起こるかを検証する．加えて，実際にテーブル上におかれた物体を眼球運動・頭部運動と指示語「その〜」を用いた発話を組み合わせ，人間が現実空間における仮想エージェントの物体指示に適切に応答できるかについても検証する．

3

使用するシステム

3.1

裸眼単視点 3DCG エージェント

し，ユーザはディスプレイから 100 センチメートルの距離で適切に見えるよう設定されている．

図 1: 三次元空間表現における物体注視の例

4

実験

仮想エージェントを使ったシステムを用いて，共同注意のきっかけとなるユーザの視線誘導を引き起こす
裸眼単視点 3DCG エージェントは現実の物理空間にことができるか検証する．ロボットを用いた関連研究
おいて，相対位置による人間と仮想エージェントのイにおいて，ロボットの「眼球移動」と「頭部運動」がンタラクションを実現したものである．従来の仮想エーユーザの視線誘導を引き起こすという結果が得られてジェントは，ディスプレイに表示されるエージェントいる．このことから本研究において「仮想エージェンと正対した状態で対話するものがほとんであり，リアトの眼球運動や頭部運動によって，エージェントの視ルタイムに変化するユーザとエージェントの位置関係線が動いた方向に被験者の視線が誘導される」というを反映してコミュニケーションを変化させることは困仮説に基づき実験を行う．また，共同注意は「あれ」，難であった．裸眼単視点 3DCG エージェントは，ディ「これ」，「それ」などの指示語を用いた言語情報を伴っスプレイに提示された 3 次元空間における視点位置を，て行われる場合も多い．そのため仮想エージェントの物理空間におけるユーザの位置と同期させてリアルタ指示語を用いた言語情報と頭部移動で，被験者がエーイムに描画することで，ユーザがエージェントを 3 次
ジェントの指示した物体を正しく把握できるかについ元的に認識することが可能である．これによって，ユーても検証する．
ザは仮想エージェントとの位置関係を意識したコミュ
実験はエージェントの話しかけにユーザが応答するニケーションが可能である．
形で進められ，エージェントの発話および動作については WOZ 法を用いて行った．実験データの記録には，エージェントが表示されるディスプレイの下にビデオカ3.2 システム構成
メラを設置し，記録されたデータは目視にて判定した．
システム実行にはノート PC(Lenovo G570, WinTM
Rdows7 64bit, Intel⃝Core
i3-2310CPU@2.10GHz) を
4.1 実験環境
用い，17 インチ液晶モニタに提示した．液晶モニタ上部に Web カメラ（VGA），正面にマイクを設置した．顔被験者 14 名（男性 9 名，女性 5 名）で視線誘導実験
検出は Seeing Machine 社の顔画像トラッキングソフトおよび物体指示実験を行った．実験は衝立で仕切られウェア faceAPI を用いて行い，検出したデータを UDPた個室で行い，被験者はディスプレイから 100 センチ
プロトコルを用いてクライアントにあたる Processing
メートル離れた場所に置かれた椅子に着席する．共同に送っている．なお，発声時の音声データには SofTalk
注意の対象物は「時計」と「お菓子」で，ディスプレを用いて合成したものを用いている．
イから 40 センチメートル離れた場所に左右に各１つずつ置かれている．また，時計が被験者から見て左側が9 時，右側が 3 時である．お菓子は被験者から見て左3.3 眼球移動と頭部運動側がいちご，右側がぶどうである (図 2)．
仮想エージェントはパラメータの値を変化させることにより，指定した方向を眼球移動および頭部移動に
4.2 実験手順
よって常に見続けているような描画を 3D 表現と同時に行うことが可能である (図 1)．この際，指示したい被験者はあらかじめ実験に関する注意事項と裸眼単物体はディスプレイから 40 センチメートル場所に設置
視点 3DCG エージェントについての説明を受けた後，

1. エージェントの眼球（虹彩）の位置が注視する物
体の方向へ移動する (図 3-(1))．
2. エージェントの頭部が注視する物体の方向へ回転する (図 3-(2))．
この実験ではエージェントの動作があってから，次の発話があるまでに被験者の視線が動いたか否か，動いた場合はその方向を記録した．

4.4

図 2: 実験環境
実際にシステムを体験し，仮想エージェントが 3 次元的に体感できたことを確認する．また事前に被験者は仮想エージェントと人間がスムーズなコミュニケーションを行えるかどうか確かめる実験であると教示される．
エージェントは特定の発話を行った後，右または左に眼球移動または頭部運動を行う (視線誘導実験，図3-A)．その後，「その〜」という指示語を用いて特定の物体を指示する (物体指示実験，図 3-B)．視線誘導実
験と物体指示実験は対象を変えて（時計→お菓子）２度ずつ行う．なお，エージェントが注視する物体とその際の動作（眼球移動か頭部運動か）は事前に無作為に決定した順序リストを用いて実験を行った．実験終了後，被験者はアンケートに回答した．

図 3: 実験の流れ

4.3

物体指示実験

物体指示実験では，エージェントが指示した物体を被験者が適切に認識できたかを観察する．このときエー
ジェントは，視線誘導実験において動作した状態のままで，特定の物体に注視している状態である．この状態において，その物体の様子や特徴に関して被験者に質問する (図 3-B)．
この実験では，エージェントが言葉を発してからユーザの顔が動いたか，動いた場合はその方向，質問への解答の正誤について記録した．

4.5

実験結果

視線誘導実験の結果を表 1 に示す．視線の方向が変化した被験者のうち，エージェントと反対方向に視線の移動があった被験者は見られなかった．眼球運動の結果についてライアンの名義水準を用いた多重比較の結果，エージェントと同じ方向に視線の移動があった
人と反対方向を見た人の数の間に，p ＜.01 で有意差が得られた (表 2)．また，頭部運動の結果についても同様の比較において，p ＜.01 で有意差が得られた (表 3)．
よって仮想エージェントの眼球運動や頭部運動によって，エージェントの視線が動いた方向に被験者の視線が誘導されるといえる．
物体指示実験の結果を表 4 に示す．なお，エージェン
トの質問に正しく答えた中で，エージェントと反対方向に視線の移動があった被験者は見られなかった．よって仮想エージェントの指示語を用いた言語情報は視線移動と頭部運動により補完され，ユーザは 9 割以上の確率でエージェントの注視する物体を把握できるといえる．

視線誘導実験

視線誘導実験では，エージェントが物体を注視する際の方法を変えて，被験者の視線の変化を観察する．エー
ジェントの動作は次の 2 パターンに分けられる．

眼球移動頭部運動

表 1: ユーザの視線移動
視線変更に反応した同じ向き違う向き8090

反応なし

65

表 2: エージェントの眼球移動によるユーザの視線移動に関するχ二乗検定
度数
806
期待比率 0.25 0.25 0.5

表 4: 適切に物体を把握できた人数
適切に把握 被験者数 割合 (%)
眼球移動
131492.9
頭部運動1414100

χ 2 = 9.429, p ＜.017
表 3: エージェントの頭部運動によるユーザの視線移動に関するχ二乗検定
度数
905
期待比率 0.25 0.25 0.5
χ 2 = 12.714, p ＜.015

アンケートの結果より

実験後被験者に簡単なアンケートへの記述をお願いした．エージェントの動作に気づいた被験者にその行動の意図を記述していただいたところ，大半が「机のものを見ている」あるいは「エージェントのこれ（机上の物体）を見てという合図」といった解答であった．
共同注意を促す意図をほとんどの被験者が意識できていたといえる．ただし，一部「画面の中に何か物体があり，それを見ているのかと思った」という意見もあった．他に「目をそらした」，「うつむいたと思った」などの回答も見受けられた．また，頭部運動について「より見てくださいと強調している」という眼球移動と比較した意見もあった．

6

考察

仮想エージェントを用いて眼球移動と頭部運動，そして言語情報によって共同注意を実現できるか検証を行った．その結果，視線や顔向きを用いたノンバーバル情報のみであっても，仮想エージェントを用いて現実空間に存在する物体の指示が可能であると言える．また，指示語を用いてエージェントが発話することで，視線誘導に反応の無かった被験者のほとんどが適切にエージェントの視線方向を理解できた．加えて「時計」，「お菓子」などの具体的な名称を付加することで，エージェントの注視する物体の把握も可能であるといえる．一方で，アンケートの回答に見られた「画面の中にある物体を見ているのだと思った」という意見は，仮想空間と現実空間を結びつけたコミュニケーションを考える上での今後の課題である．

おわりに

本稿では，裸眼単視点 3DCG エージェントを用いた，人間と仮想エージェントの現実空間における共同注意について検証した．仮想エージェントと人間であっても，ロボットと人間同様，視線と顔向きによって共同注意を促すことができたといえる．
共同注意は一方的なアプローチのみではなく，相互の心理状態や行動の意図の推測によって成立する．今回のシステムでは，ユーザの位置や共同注意の対象物をあらかじめ設定して実験を行ったが，今後ユーザが注視する物体の推測など，よりインタラクティブなコミュニケーションが可能な仮想エージェントシステムの研究を目指す．

参考文献[1] 北村裕貴, 湯浅将英: 「人の視線」と「ロボットの視線」が伝える意図の比較分布-ロボットの「コチラガホシイ」の視線動作デザイン-, 社団法人 電子情報通信学会 信学技報 IEICE Technical Report,
HCS2009-83, pp. 55–59 (2010)[2] 神山祐一 米澤朋子: ロボット支援 TV 会話における高齢者の行動の分析, 社団法人 映像情報メディア学会技術報告 ITE Thechnical Report, Vol.34,
No18, pp. 19–22 (2010)[3] 平山高嗣, 朴惠宣: Gaze Mirroring: ユーザの興味を顕在化させるための注意模倣, 社団法人 電子情報通信学会 信学技報 IEICE Technical Report,
HCS2008-71, pp. 79-83 (2009)[4] 吉田直人, 米澤朋子: 裸眼単視点 3DCG エー
ジェントとユーザの相対位置による HAI 設計,
Human-Agent Interaction Symposium 2011, III1A-6 (2011)[5] 陳彬, 目黒 光彦: ユーザとロボットとのインタラクションにおける共同注意の形成方法情報科学技術フォーラム（FIT2002）講演論文集, 第 3 分冊,
K-22, pp. 411-412 (2002)[6] 吉田真也, 橋本稔: 頭部とボットの情動表出を伴う
視線誘導と状況提示, 日本感性工学会研究論文集,
Vol. 7, No. 4, pp. 791–796 (2008)