人とエージェントのインタラクション論文特集

論 文

ユーザの割込み拒否度を考慮した円滑な会話開始支援エージェント
田中 貴紘† a)

藤田 欣也†

Acceptable Dialog Start Supporting Agent Based on User Uninterruptibility
Takahiro TANAKA†a) and Kinya FUJITA†

あらまし 職場や自宅において，インスタントメッセンジングツールによるコミュニケーションが広く行われるようなったが，このコミュニケーションでは，“何か他の作業をしながら，会話もする（multi-tasking
communication）” ことが一般的である．そのため，他ユーザへの話しかけが，意図せず相手の作業を妨害することが懸念される．そこで，本研究では，円滑な会話開始支援を目的とし，アプリケーション切換による作業の切れ目に着目したユーザの割込み拒否度推定を行い，会話パートナへのアバタの姿勢・動作による状態表出機能と，視線制御によるアンビエントな話しかけ代行機能をもった，Acceptable Dialog Start Supporting（ADSS）
エージェントの開発を行った．ADSS エージェントは，ユーザから会話開始要求を受けると，対象ユーザへ共同
注視と視線交差の 2 種類の要求アピールを行うことで，会話開始要求に対する気づきを促し，対象ユーザからの話しかけによる円滑な会話開始を実現する．実験により，エージェントの視線制御による要求アピールがアンビエントな話しかけ実現に有効であることを確認し，より作業中のユーザを阻害しない円滑な会話開始の実現可能性を示した．
キーワード

エージェント，割込み拒否度，アバタ，オンラインコミュニケーション

相手の作業を妨害することが懸念される．

1. ま え が き

情報提示制御にユーザの作業状況を適切に反映す

近年，インターネットの普及やユビキタスコンピュー

るため，キー入力やマウス操作などの PC 操作量かティング環境が整備されるに従い，ユーザがシステム

ら，作業中のユーザの状態推定を行う研究には，いから随時情報提示される機会が増えてきている．しかくつかの先行研究がある [1], [2]．しかし，実際の作し，情報提示タイミングや頻度にユーザの作業状況が業には，思考を主とする作業も存在するため，この適切に反映されておらず，ユーザは提示情報の確認のような知的作業を考慮したユーザ状態推定が望まれために思考をたびたび中断されるという問題が指摘る．筆者らは，PC 作業におけるアプリケーション切

されている．そのため，情報システムがかえってユー

換（Application-Switching：AS）時の割込み拒否度

ザの知的生産性を低下させる可能性が懸念される．特は作業中と比較して有意に低く，ユーザに受け入れらに，職場や自宅において，インスタントメッセンジン

れやすいことを確認した [3]．しかし，本来，AS は次

グツールによるコミュニケーションが広く行われるよの作業の開始であり，一時的に低下した割込み拒否度うになっている．例えば，これらのツールの一つであは AS 直後から徐々に高まると考えられる．筆者らは，る Skype の国内利用者は年々増加しており，2008 年

NIRS（Near Infrared Spectroscopy：近赤外分光器）

で最大 760 万人になると予測されている [17]．このコによる AS 前後の脳活性量の計測を行い，その結果，

ミュニケーションでは，“何か他の作業をしながら，会

AS による拒否度低減効果時間は 2 秒程度であること話もする（multi-tasking communication）” ことが一が示唆された [4]．

般的であるため，他ユーザへの話しかけが，意図せず知的作業を含めた作業の切れ目として，AS 発生タ
イミングで話しかけ行動を行うことは，円滑な会話開†

東京農工大学大学院，小金井市

始につながると考えられるが，ユーザ状態推定は，本Tokyo University of Agriculture and Technology, 2–24–16

質的に推定誤差を避けられず，従来の音やポップアッ

Nakamachi, Koganei-shi, 184–8588 Japana) E-mail: takat@cc.tuat.ac.jp852

電子情報通信学会論文誌

プウィンドウのような割込み方法では，誤って割込み
c （社）電子情報通信学会 2009
A Vol. J92–A No. 11 pp. 852–863 論文／ユーザの割込み拒否度を考慮した円滑な会話開始支援エージェント

可能と推定した場合にユーザの作業を阻害することがカメラなどの撮像機器の利用は，ユーザに個人情報漏懸念される．また，AS 発生後から割込み可能な期間

えいの懸念を抱かせ，システムの利用を躊躇させる可は 2 秒程度と考えられるため，人間が AS 発生に合わ能性も考えられる．そのため，特別なセンサを使用せせて，割込み可能時間内に話しかけを行うことは困難

ずとも，ユーザへの割込みタイミング制御を可能とすである．また，いつ起こるか分からない AS を待ち続る，汎用性の高いユーザ状態推定方法が必要である．

けることは，話しかける側にとって負担が大きくなる

2. 2 アバタを介したコミュニケーション

ため，システムによる支援が必要と考えられる．

現在，オンラインコミュニケーション手段として，そこで，本研究では，ユーザの代わりに，話しかけ

テキスト・音声チャットシステムが広く使われている．

たい相手の AS 発生に合わせて，アバタの視線制御に

これらの多くは，ノンバーバル情報の提示手段をもたよるアンビエントな話しかけ行動を行う，Acceptable

ないか，非常に制限されている．これに対し，アバタ

Dialog Start Supporting（ADSS）エージェントの開（Avatar）と呼ばれる CG キャラクタをユーザの代理発を行った．ADSS エージェントにより，自然で円滑とするシステムの研究が盛んに行われており，近年でな会話の場の雰囲気をもったオンラインコミュニケー

は，商業的に広く利用されている [7]．身体性をもったションの実現を目指す．

アバタの使用は，表情表出やジェスチャを利用したノ本論文では，まず，2. にて関連研究と先行研究であンバーバル表現を可能にする．

る AS に着目した情報提示制御に関して述べ，次いで，人間同士のコミュニケーションにおいて，ノンバー

3. にて ADSS エージェントの役割，構成と機能につ

バル情報の中でも，視線は様々なコミュニケーション

いて述べる．更に，4. で ADSS エージェントによるコントロール機能をもつ．視線を会話相手と交差さ

会話開始実験について述べた後，5. でまとめる．

せることによって発話の移譲と要求を行う調整子機

2. 関 連 研 究

能 [18] や，同じ対象を見る共同注視により，対象を共有することで意図の推定を促すことが可能 [19] とい2. 1 ユーザ状態推定

われている．カメラを用いて会話中のユーザの視線をこれまで，ユーザコンテキストを利用してユーザの検知し，アバタの視線を自動制御する研究 [8] も行わ状態を推定する様々な研究が行われている．中でも，れているが，装置が大がかりとなり利用環境が制限さ

PC 作業中のユーザの忙しさを推定する研究では，キーれる問題も指摘されている．ユーザの割込み拒否度の入力やマウス操作に基づく推定方法が提案されてい表現は，ユーザにとって認知負荷の少ない直観的な表る [1], [2]．これらの研究では，ユーザの PC 操作量が現が望ましい．これまでにも，ノンバーバル表現を用多くなるほどユーザが忙しいと想定されており，ユー

いたアンビエントアウェアに関する研究も行われていザの作業が外部から観察可能な PC 操作量を伴う場合

る．頭部・顔・体の動きがノンバーバル情報の表出にには忙しさの推定に有効と考えられる．しかし，PC

有効である点 [9] や，視線移動中の頭部と体の姿勢に操作量を伴わない知的作業を阻害しないことも，情報

よってバーチャルなキャラクタの感情状態が理解でき提示において重要であるため，知的作業を含めたユー

る点 [10] などが報告されており，人間が日常的に実行

ザの忙しさの推定が検討課題として挙げられる．

する意味のあるモーションと類似したモーションをロ

また，マイクやカメラ，加速度センサなどを生活空

ボットが実行することで，それを観察したユーザが人間の中に遍在させ，そこから得られる情報をもとに間とのアナロジーを発見し，ロボットのマインド理解

コンテクストの推測を行う研究も多数試みられていが促進されるとされている [11]．本研究では，アバタ

る [5], [6]．また，PC 作業を行っている人が集中するによるノンバーバル表現を情報システムの情報提示方と作業対象の方へ上体が強く引き寄せられること [20]，

法の一つとして用いることで，直観的に，かつアンビ上体の向きや距離が，その人の興味の度合を表す傾向

エントに会話パートナーの状態を伝えることが可能でがあることが確認されている [13]．これらのセンサ情あると考える．

報は，ユーザの作業内容や忙しさの推定に有用な情報

2. 3 AS に着目した情報提示制御の可能性となる可能性は高いが，身体へのセンサ装着や利用環

2. 3. 1 AS 時ユーザ割込み拒否度の分析

境へのセンサ設置が必要であり，システム導入に際し従来研究において，アクティビティのみから，知的てはコストに加えて心理的な障壁が予想される．特に，作業をも反映した忙しさを推定することは容易ではな
853

電子情報通信学会論文誌 2009/11 Vol. J92–A No. 11
表 1 AS 時と NAS 時の割込み拒否度の比較
Table 1 Subjective evaluation of system interrupt at
AS and NAS.

NAS
AS

1
7
51

2
14
80

拒否度
3
4
5
22 20 1267 45 36

め変動が大きく，数分程度の積算が必要であることを示唆する結果となった．アクティビティのない NASなど，割込みに最適なタイミングが NAS 時に存在す

Ave.
3.2
2.8

る可能性は考えられるが，人間の思考は外部から認識できないため，NAS 時の拒否度の高低の判別が難し
く，NAS 時を対象とした拒否度推定は誤差のリスクが高いと考えられる．そこで，現在，拒否度の低い AS

かった．そこで筆者らは，作業が一段落したときには，を推定すべく，詳細な分析とモデル化を進めている．

作業内容にかかわらず集中度が一時的に低下し，割込

2. 3. 2 AS による拒否度低下期間の検討

みに対する拒否度も低下する可能性が高いと予想し，先行研究により，AS の利用は割込みタイミング制

利用アプリケーションの切換情報を作業の切り換わり御に有効であることが示されたが，AS は作業の切れとみなして，ユーザの割込み拒否度と AS の関連を実目であると同時に，次の作業の始まりである可能性

験的に検討した [3]．実験は，10 名の被験者から研究も高く，ユーザの作業に対する集中度は AS 直後から

室環境・自宅環境における PC 作業履歴 40 時間分を収徐々に高くなるため，AS による割込み拒否度低下効集し，分析を行った．収集する作業履歴は，キー入力

果は一時的なものであると予想された．そのため，推数，クリック数，ホイール使用量，アクティブウィン

定から割込みまでの遅延や情報提示方法によっては，ドウ名とした．また，システムが自動で被験者に割込

AS 発生タイミングであっても，かえってユーザの作

み，そのときの割込み拒否度の主観評価値を答えさせ業を阻害する可能性が懸念された．

た．拒否度の評価値は，“1：全く問題ない” から “5：（ 1 ） NIRS 実験

邪魔しないでほしい” の 5 段階で回答させた．

AS 時と作業継続（NAS）時の割込みに対する拒否

人間の思考をつかさどるとされる前頭前野を NIRS
（Near InfraredSpectroscopy：近赤外分光器）を用い度を比較した結果を表 1 に示す．表 1 は，AS・NASて計測を行った．先行研究 [12], [13] では，論理的思考

時の割込みが拒否度 1〜5 であったデータ数と，それを伴う作業の評価に使用するため，NIRS により前頭ぞれの平均値である．NAS 時の割込み拒否度の平均値

前野の計測が行われている．本研究でも，PC 作業時

3.2 に対して AS 時の平均値は 2.8 であった．t 検定のの思考を含む知的作業も考慮した割込み制御を目標と結果，AS 時の割込み拒否度が NAS 時に比べ平均でし，NIRS 実験では，被験者に PC 上で異なる 2 種類

有意に低く（t(278) = 2.509, p < 0.01），AS 時の割のタスク（パズル）を同時に行わせ，その間の AS 前

込みは，NAS 時に比べ拒否度が低くなるという予想

後の酸化ヘモグロビン量の変化の分析を行った．これを支持する傾向を確認した．複数のアプリケーション

は，一般的に脳の活動時には血液内の酸化ヘモグロビに跨る作業など，AS 時の割込みであっても高低が存

ン量が増加することから，AS 前後の酸化ヘモグロビ

在するため，すべての AS 時割込みの拒否度が低いとン量の時間的な変化や兆候など，脳の活動状態に生理はいえず，更なるデータの分析が必要である．現段階的な変化があるのかを確認し，後述する時間差割込み

では，頻度の低い AS の方が作業の切れ目としての意

実験における実験条件に関する知見を得ることを目的

味が大きく，特に 2 分以上継続して作業した後の ASとしている．

において拒否度の低減効果が大きいこと，ウィンドウ

実験は，5 × 3 個の測定用プローブを被験者の前頭のデストロイ信号発生時の AS は作業終了の意味合い

部付近に装着し，22 チャネル分の酸化ヘモグロビン

が強いことなどが，分析によって確認されている．

及び脱酸化ヘモグロビン量の増減を測定した．被験者

また，NAS 時を対象に，割込み拒否度と瞬時アクは，大学教員 2 名と大学生 6 名の成人男性 8 名，全員

ティビティ（キー入力数，クリック数，ホイール使用

が右利きであり，測定には島津製作所の FOIRE-3000

量の重み付き和）の 30 秒から 5 分間の積算値との関を用いた．実験は，“10 分間のタスク実行後，1 分間係を分析したところ，5 分間アクティビティ積算値とのレストをとる” を 1 セットとし，4 セット分繰り返

拒否度に弱い相関が観察された．瞬時アクティビティし行った．また，被験者には，二つのタスクを任意のは NAS 時のユーザの割込み拒否度をある程度反映すタイミングで切り換え実行させた．二つのタスクは，るが，瞬時アクティビティは思考等の影響を受けるた

共通して論理的思考を特に必要とすると考えられ，特854

論文／ユーザの割込み拒否度を考慮した円滑な会話開始支援エージェント

ングを要因とした，1 要因分散分析を行ったところ有意差が確認された（F (3, 338) = 2.69, p < 0.05）．そこで，LSD 法にて多重比較を行ったところ，AS 直
後と 4 秒後の間で 5%有意，AS 直後と 6 秒後の間で1%有意が確認された．更に，AS 後 2 秒以内の群とAS 後 4 秒以降の群の間で t 検定を行ったところ有意差（t(339) = −2.601, p < 0.01）が確認され，AS 後の割込み拒否度低下期間は，2 秒程度が目安となる知見が得られた．
図 1 時間差割込み実験結果
Fig. 1 Subjective evaluation of time diﬀerence
interrupt.

以上から，AS 時の割込みは，よりユーザに受け入れられやすいことから，ユーザの作業を阻害しない話
しかけタイミングとして有望である．しかし，AS 後に，論理的推論機能に関する部位 [16] とされる前頭部の拒否度低下期間は 2 秒程度であることが示唆されて左下の部位（ch17，ch18，ch22）のうち，ch18（被験おり，AS 発生に合わせた人手による話しかけは困難

者によってノイズが発生した場合は ch22）を対象としである．よって，AS 後の拒否度低下期間を利用するて計測・分析を行った．

ためには，システムによる支援が有効と考えられる．

まず，被験者ごとに，全 AS の前後 30 秒間の酸化ヘ
モグロビン量の測定値に 9 点移動平均（約 1 秒）をか

3. ADSS エージェント

け，AS 発生時刻を基準として同期加算平均を取った．

本研究では，オンラインながらコミュニケーション

次に，増減傾向が変化する点をもとに拒否度低下時間を対象として，自然で円滑な会話の場の雰囲気をもっの検討を行ったところ，AS 後の経過時間によって活たオンラインコミュニケーションシステムの実現を最性量が増加しピークに至ること，ピーク到達までの潜

終的な目的としている．本システムは，身体性をもっ時は平均で 5 秒程度という知見が得られた．また，ASたアバタによるノンバーバル表現を利用し，会話開発生時点での活性量は，平均でピークの 40.2%，AS

始から，会話中，そして会話終了前の 3 ステージにの 2 秒後にはピークの 70%，4 秒後には 90%に到達しわたって支援を行うことを目指している．そこで，まており，AS 後の割込み拒否度低下効果は一時的な効ず，会話開始ステージの支援を目的として，ユーザの果であるという予想を支持する結果であった．

代わりに，対象ユーザの割込み拒否度に合わせてアン（ 2 ） 時間差割込み実験

ビエントな話しかけ支援を行う，Acceptable Dialog

NIRS 実験で得られた知見に基づく時間差割込み実Start Suppoting（ADSS）エージェントの開発を行っ験を行い，拒否度低下期間の検討を行った．実験では，た．ADSS エージェントは，ユーザの PC 作業履歴か

AS 後の割込みに時間差（直後，2・4・6 秒後）を設け，ら割込み拒否度を推定し，アバタの姿勢・動作を用い実際に被験者に割り込んだときの割込み拒否度を収集た拒否度の表出，更には，視線制御によるアンビエン

し，検証を行った．被験者は大学生・教員の 13 名とトな話しかけ代行を行うことで，円滑な会話開始の支し，15 時間分のデータを [3] と同様の手法で収集した．

援を目指す．

AS 直後はデータ数 108 個，拒否度平均値は 2.7（SD3. 1 エージェントによる会話開始支援

1.34）であった．同様に，2 秒後はデータ数 66 個，平2. で述べたとおり，先行研究において，AS 時の割

均値 2.9（SD 1.26），4 秒後はデータ数 96 個，平均込みはタスク継続（NAS）時と比較して，ユーザに受値 3.1（SD 1.36），6 秒後はデータ数 72 個，平均値け入れられやすいことが示された．この知見に基づき，3.3（SD 1.29）となった．AS 後の割込みタイミング

システムがユーザの PC 操作をモニタしてユーザ状態

による拒否度の比較を図 1 に示す．AS 直後で割り込を推定し，ネットワークを介して，アバタの姿勢・動んだ場合の平均拒否度は 2.7 であり，表 1 で示した作によりユーザ状態を表出し合うことで，会話開始タ

AS 平均値と比較しても同程度の値であった．AS 直

イミング取得を支援する手法を提案してきた [14]．

後から，2 秒・4 秒・6 秒と時間が経つにつれ，平均

しかし，AS を利用した割込みには大きく三つの問拒否度も徐々に高くなる結果となった．割込みタイミ

題点がある．第 1 に，AS がいつ発生するか予測が困
855

電子情報通信学会論文誌 2009/11 Vol. J92–A No. 11

いて共同注視を行い，AS 時には視線交差を行うこと
で，会話開始要求への対象ユーザの気づきを促す．そして，このアピールに気づいた対象ユーザから，要求元ユーザへ発話が行われることで，会話が開始される．
図 2 ADSS エージェントによる会話開始支援
Fig. 2 Supporting for dialog initiation by ADSS
agent.

対象ユーザが実際に忙しい場合には気づかない程度のアンビエントな働きかけを行うことで，推定誤差が存在する場合であっても，対象ユーザの作業を阻害しに難であるため，AS に合わせて話しかけるには，ユー

くい働きかけが実現できると考えられる．従来研究にザが相手の AS 発生を待ち続ける必要がある．そのたおけるアバタを用いたノンバーバル表現手法を，情報め，ユーザ自身の作業を行うことができず，負担が大システムの情報提示方法に適用することの有効性検証

きい．第 2 に，時間差割込み実験結果が示すとおり，にもつながると考えられる．

AS 時の拒否度低減効果を利用するためには，AS 発

アピールに気づいた側からの話しかけによる会話開生から 2 秒以内の働きかけが望ましいが，通信遅延や始を実現することで，これまで一方的に割り込まれる

PC 操作の時間等を踏まえると，効果時間内に人手で側であった対象ユーザは，作業の切換や作業への集中

話しかけを行うことは困難である．そして，第 3 に，力低下によって相手のアピールに気づいたときに，会ユーザ状態推定は，本質的に推定誤差を避けることが話するかどうかの判断をすることができ，要求元ユー

できないため，表示された相手のユーザ状態をもとにザもまた，自身の作業をただ続けているだけで，無理割り込んだとしても，意図せず相手の作業を阻害するに割り込むことなく相手からの発話によって会話を開懸念がある．特に，従来の音やポップアップウィンド

始することができる．従来の話しかけたい側が割り込

ウによる割込み方法では，やはり推定誤差があった場

み，話しかけられる側が割り込まれるという関係を逆合に，相手の作業を妨害する危険性が高い．

転することで，双方の作業を阻害しない，円滑な会話

以上のことから，AS を利用した，より受け入れら開始が期待できる．

れやすい話しかけの実現には，ユーザの代わりに会話

3. 2 ADSS エージェントの構成

相手の AS 発生に合わせ，本当にユーザが忙しい場合

ADSS エージェントの構成を図 3 に示す．エージェ

であれば気づかず，余裕があれば気づく程度のアンビ

ントは，自ユーザの PC 操作をモニタし，割込み拒

エントな方法による話しかけを自動で行う必要がある．

否度を推定する．各ユーザのエージェントは，ネット

そこで本研究では，ユーザから会話開始要求を受けた

ワークを介して他のエージェントと拒否度を交換し合エージェントが，ユーザの代わりに対象ユーザに対し

い，送られてきた他ユーザの拒否度を，アバタを介して自律的に働きかけを行うことで，ユーザの負担を軽てアンビエントに表現する．更には，エージェントは，減し，話しかける側とかけられる側の双方の作業を阻

他ユーザから “自ユーザとの会話開始要求” を受け取害しない円滑な会話開始の実現を目指す．

り，要求元ユーザのアバタを用いて，アンビエントな

エージェントを介した会話開始までの流れは次のと表現によって要求をアピールする．エージェントの構おりである．まず，ユーザが話しかけたい相手（対象

成は大きく分けて，“割込み拒否度推定部”，“割込みユーザ）との会話開始をエージェントに要求すると，拒否度表出部”，“会話開始要求アピール部” の三つのエージェントは対象ユーザへの働きかけを開始する．

コンポーネントから構成される．

エージェントは，対象ユーザの PC 操作を逐次モニタ

3. 2. 1 割込み拒否度推定しているため，AS の発生を瞬時に認識し，それに合割込み拒否度推定部では，ユーザの PC 操作をモニわせた働きかけを行うことが可能であり，また，要求タし，作業履歴の分析 [3] で得られた知見に基づき，割

元ユーザは，実際に会話が開始されるまで自身の仕事込み拒否度を推定する．本研究における割込み拒否度を行うことができる．対象ユーザへの働きかけは，人は，ユーザが作業継続（NAS）時か作業切換（AS）時間が日常的に行っている，「話しかけたい相手の様子

かによって算出方法が異なる．NAS 時は作業の忙しをまずうかがう行動」により行う．具体的には，エー

さにより，ユーザがどの程度割り込まれたくないかをジェントは，アバタの視線制御による働きかけを行う．

表し，一方，AS 時はユーザの作業の切れ目であると対象ユーザの NAS 時には要求元ユーザのアバタを用考えられるため，作業中と比較し拒否度がどの程度下856

論文／ユーザの割込み拒否度を考慮した円滑な会話開始支援エージェント

なお，α と β は予備実験によって求めた係数であり，

α = 4，β = 10 とする．エージェントは，ユーザのNAS 時は毎秒ごとにアクティビティ要素 A(t) をサーバに送信し，ユーザの AS が発生したときは瞬時に，AS 発生と作業切れ目要素 T (t) を送信する [15]．
3. 2. 2 アバタの姿勢・動作による拒否度表出
割込み拒否度表出部は，送られてきた拒否度を，送信元ユーザのアバタを用いてユーザに表出する．アバ
タによる拒否度表出方法は，自然で直観的に理解可能であることが望ましい．また，割込み拒否度は，ユー
ザの作業状況に応じて，会話開始前から終了まで常に変化し続けるため，拒否度の表現方法は，会話開始前・中・終了前の 3 ステージにわたって，一貫していることが望ましいと考えられる．また，表情表出・うなづ
き・ジェスチャ等のアバタを用いた他のノンバーバル
表現と親和性が高いことも実用上は望ましい．そこで，
本研究では，アバタの姿勢・動作を用いてユーザの割
込み拒否度表出を行う方法を採用した．

NAS 時の拒否度表出は，“イスにもたれる・前屈み
図 3 ADSS エージェントの構成
Fig. 3 Architecture of ADSS agent.

になる” といった，アバタの「姿勢」により表現を行った．これは，サーバから毎秒受信する NAS 時拒否度の表出が，ユーザの作業を阻害しないよう，変化が目がったかを表す．
n

A(t) = αt

立たない静的な表現を行うためである．一方，AS 時(2Kt + Ct + Ht )N

T (t) = β nt1

拒否度の表出は，AS 発生のタイミングを表出するた(1)

め，“伸びをする” などの作業の切れ目の度合を示す「動作」による表現を行った．アバタの姿勢・動作に(2)(ASt )

よる拒否度表出を行うためには，拒否度の高低を，姿勢・動作を用いて表現する必要がある．先行研究では，

PC 作業時の上体と作業対象との距離が作業者の集中

NAS 時における割込み拒否度は，ユーザの 5 分間の度合を表し [20]，また，上体の向きや距離が対象に対PC 操作量をもとに算出しており，これをアクティビ

する興味の度合を表す [21] とされている．本研究でティ要素 A(t) として，式 (1) より求める．任意の時刻は，これら姿勢の向きや傾きが，これを見た他者にもt における割込み拒否度 A(t) は，t の 5 分前から t − 1

同様の印象を与えると予想した．そこで，予備調査とまでのアクティビティ量（キー打鍵数 Kt ＋クリック

して，人間の日常生活における「忙しい・忙しくない

回数 Ct ＋ホイール操作有無 Ht ）の移動平均値とすと印象を受ける姿勢・動作」の聞き取り調査を行った．

る．また，N は 5 分間のデータ数（0.5 秒間隔でデー

その結果，ワークスペース（机，PC）と体・手の距タを取得しているため，600 プロット）を表す．一方，

離・ワークスペースと顔・体の向きが，忙しさの印象

AS 時における割込み拒否度は，AS 時の拒否度の低下に影響を与えるという知見が得られた．この知見に基量を 5 分間の AS 発生回数の逆数によって算出しておづき，本研究では，忙しさの印象を与える姿勢・動作

り，これを作業切れ目要素 T (t) として，式 (2) よりを複数重ね合わせる（例：前屈みでキータイプ ＞ キー

求める．任意の時刻 t に発生した AS における割込みタイプ）ことで，拒否度の高低を表現した [14]．

拒否度 T (t) は，時刻 t の 5 分前から t − 1 までの AS

3. 3 アンビエントな会話開始要求の表現

回数をもとに算出する．ASt は，時刻 t 時の AS 発生

本研究では，ADSS エージェントに送られるユーザの有無（AS 発生なら 1，そうでなければ 0）を表す．

の要求は 2 種類存在する．一つは，任意のユーザとの857

電子情報通信学会論文誌 2009/11 Vol. J92–A No. 11

図5
Fig. 5•ADSS エージェントによる会話開始までの流れ
Example of dialog initiation by ADSS agent.

視線交差：AS 時には一時的に割込み拒否度が低下することを利用し，対象ユーザの方を見るという，
より強いアピールによる会話開始要求への気づきを促
図 4 視線制御による会話開始要求アピール
Fig. 4 Ambient appeal of dialog request using gazecontrol.

す．対象ユーザが AS を発生させた場合は，対象ユー
ザとの視線交差によるアピールを行う．視線交差は，ユーザが居るであろうモニタ正面に対しアバタの顔を会話開始要求であり，本研究ではこれを「待機モード」

向けることで行う．

と呼ぶ．もう一つは，自身が会話受入れ態勢にあるこ

エージェントは，共同注視によってユーザの作業をとを示す，「歓迎モード」である．前者の要求を受けた

阻害しないよう，対象ユーザの拒否度に応じて，アエージェントは，視線行動によるアンビエントな会話

ピールの発生確率を 26〜80%，注視間隔を 10〜36 秒

開始要求を行い，対象ユーザが会話開始要求に気づくの範囲で調整する．ユーザの拒否度が高いほど，発生よう促す．後者の場合は，他者が話しかけやすいよう，

確率を低く，注視間隔を長くし，逆に，拒否度が低い

自ユーザの拒否度を他ユーザの PC 上で実際よりも低ほど，発生確率を高く，注視間隔を短くするよう調整

く表示する．エージェントの会話開始要求アピールにする．

気づいた対象ユーザが，要求元のユーザに自ら話しかまた，本研究では，ユーザ間で送受信される情報けることで，推定誤差が存在する場合であっても，円（プライバシー）に配慮するため，PC 操作内容をその滑な会話開始支援が実現できると考えられる．

ままユーザ間で送受信することがないよう，各クライ

3. 3. 1 アバタの視線制御による要求アピール

アント内で拒否度を推定し，この推定値のみ共有する．

エージェントによる会話開始要求アピールは，対象

AS も一つのプライバシー情報と考え，通常状態では，ユーザの作業状況に応じ，共同注視と視線交差の 2 種

ユーザが他者の AS 発生を認知することができない設

類の視線制御方法を用いて行う．図 4 に対象ユーザの定とした．ユーザが会話開始要求を送信した場合のみ，状態と制御方法の対応を示す．

要求元ユーザに見られていることを対象ユーザが認識•

共同注視：対象ユーザが NAS 時の場合は，対できるのと引き換えに，要求元ユーザが対象ユーザの

象ユーザの使用しているウィンドウ（アクティブウィ

AS 発生を認識可能にすることで，両者の “見る・見らンドウ）方向に視線を向ける，共同注視によるアピー

れる” という立場が対等となるよう情報のコントロー

ルを行う．対象ユーザが注視している（と予想される）ルを行う．

作業スペースを，アバタも注視する素振りを見せるこ

3. 3. 2 ADSS エージェントによる会話開始の流れとで，自身の作業内容に興味がある/用事があるのでADSS エージェントの会話要求アピールによる会話はないかと，対象ユーザの作業を阻害しない程度の弱開始までの流れを図 5 に示す．要求送信から会話開始

いアピールにより気づきを促す．

までの流れは，次のとおりである．

858

論文／ユーザの割込み拒否度を考慮した円滑な会話開始支援エージェント（ 1 ） 会話開始要求の送信：ユーザ A は，画面上に表示されているユーザ B のアバタを見て，ユーザ B の
忙しさから会話開始要求を送信するかを判断する．もしユーザ A がユーザ B に話しかけたい場合は，会話開始要求ボタンを押し，待機モードに移行する．要求はサーバを介してユーザ B の ADSS エージェントに送信される．ユーザ A は，ユーザ B からのメッセージが届くのを待ちつつ，自身の作業に戻る．
（ 2 ） 要求アピールの開始：要求を受けたユーザ Bの ADSS エージェントは，ユーザ A のアバタを用いて，ユーザ B の AS・NAS 状態に応じた視線制御による要求アピールを開始する．要求アピールは，要求元のユーザ A が待機モードを解除するまで継続して行
Fig. 6われる．

図 6 実験の様子
Screenshot of subject’s screen.

（ 3 ） 対象ユーザの気づきと会話開始：アプリケー
ションの切換時や集中力が低下してふと画面の隅に目テムを利用した会話は行われておらず，実験データにをやったときなど，ユーザ B が要求アピールに気づも含まれていない．被験者には，実験中の PC 利用目

いた場合は，ユーザ B は，ユーザ A に話しかけるか

的に制限を与えず，自由に使用させた．主な使用目的どうかを判断する．ユーザ B との会話を望む場合は，は，システム開発・ブラウジング・データ整理などでシステムのインスタントメッセージ機能を用いてメッあった．また，会話回数や会話目的，会話内容についセージを送信する．一方，会話を後にしたい・望まなても制約を与えなかった．

い場合は，そのまま自身の作業を継続することができ

ADSS エージェントの要求アピールの効果を評価す

る．これは，ユーザ A も自身の作業を行っており，かるため，サーバ側での各ユーザの要求アピールとメッ

つ，ユーザ B がアピールに気づいているかどうか判断

セージ送信時間の記録と，アピールを受けた被験者をできないため，ユーザ B が積極的に反応を返す必要が対象に，視線によるアピールの気づきやすさの評価をないからである．

“1：全く気づかない” から “5：すぐに気づく” として

4. 実

験

回答させた．また，実験後，被験者に次のような聞き取り調査を行い，該当項目に対して回答させた．

ADSS エージェントによる視線制御を用いた会話開•

会話開始要求の目的

始要求アピールによって，ながらコミュニケーション•

要求後，相手の返信前に直接話しかけた理由

におけるユーザ間の円滑な会話開始が実現可能である•

要求後，相手の返信前に要求を取り下げた理由

かの検証を行った．

•

どのようなときに要求アピールに気づいたか

4. 1 実 験 方 法

被験者間の会話は，本システムのインスタントメッ

実験は，被験者に，本研究で開発しているオンライ

セージ機能によって行った．他の被験者への話しかけ

ンながらコミュニケーションシステムをインスタント

は，必ず ADSS エージェントに会話開始要求を送信す

メッセンジングツールとして使用させた．被験者は，ることとした．また，実験中は，各ユーザのアバタ表

日常的にインスタントメッセンジングツールを使用し示用ウィンドウが，他のアプリケーションの全画面表ている同じ研究室に所属する大学生の男女 6 名とし，示で隠れることがないよう，常に PC 画面の最前面に普段自身が使用している 3 部屋に別れ，普段どおりの表示されるよう設定した．実験の様子を図 6 に示す．

作業を行わせた．実験は 4 日間で合計 14 時間行った

アバタウィンドウの表示位置に関しては特に教示を与が，被験者がなるべく同室とならないよう考慮し，3えなかったが，ほぼすべての被験者が，画面右端に表名または 4 名により同時にシステムを利用させ，一人示させていた．

当り平均で 8 時間実験に参加させた．また，同室の被4. 2 実 験 結 果

験者間は直接会話することが可能であるため，本シス

表 2 に会話開始要求の回数と，サーバ側の記録を859

電子情報通信学会論文誌 2009/11 Vol. J92–A No. 11
表2

要求アピールの成立・不成立（*離席中，**自己都合）告が得られた．また，各項目の数字は報告数の内訳をTable 2示す．

Result of ambient dialog requests.

要求成立（12 回） 直接会話（2 回）
取下げ（5 回）
63 秒
17 秒
249 秒
404 秒
33 秒
59 秒
242 秒
10 秒
244 秒
1120 秒**
455 秒
448 秒
3852 秒*
112 秒
42 秒
404 秒
731 秒
381 秒
331 秒
605 秒（SD 996.0） 25 秒（SD 7.9） 377 秒（SD 402.5）［会話開始要求の目的］
・目的あり (9)：相手に聞きたいことがあった．雑談をしようかと思った．
・目的なし (2)：アバタの姿勢から相手が暇そうだったので，なんとなく．
・その他 (1)：相手がアピールに気づく程度に暇か確認したかった．
［直接会話の理由］
・待つつもりがなく，直接話しかけようと思った．(1)・すぐに回答が欲しかった．(1)［要求取下げの理由］

もとに算出した成立・不成立までの時間を示す．被験・自己解決 (3)：聞きたかったことを自己解決できた．

者の会話要求に対し，対象者からの話しかけで会話が・自己都合 (1)：要求後，席を外すことになったため．

開始された場合を「要求成立」，要求後に対象者から

・その他 (1)：特に目的はなかったため，気づかないの話しかけを待たずに直接メッセージを送信した場合なら良いと思った．

を「直接会話」，また，要求に対する応答がなく要求［要求アピールに気づいた瞬間］

解除した場合を「取下げ」とした．実験中，会話開始

・作業切り換わり時 (1)：別の作業に移ろうとしたと要求は 19 回行われ，要求成立が 12 回，不成立が 7 回

きに目に入って．

であった．不成立中 2 回は直接話しかけが行われ，取・作業中の区切り (10)：作業に行き詰ったとき．作業

下げは 5 回であった．成立までの平均時間は 605 秒，が一段落して，なんとなくアバタを見たとき．作業中

直接会話が 25 秒，取下げが 377 秒となった．要求成にたまたまアバタを見たとき．

立における標準偏差の値は 996.0 と高い数値となった・その他 (1)：離席から戻ったとき．

が，被験者が離席しておりアピールを受けていなかっ上記以外にも，相手の状態が分かると便利である，たデータ（3852 秒）が存在するためであり，これを話しかける用事はなくても相手の雰囲気が分かって良除くと平均 310 秒，標準偏差 191.0 となる．離席時のい，アピールに気づいてもらえると嬉しい，といったデータを除いた場合，大半が 200〜400 秒程度の範囲

報告も得られた．また，アバタウィンドウの最前面表

で会話が成立していた．また，被験者全員は，会話開示が問題であったという報告はなかった．

始要求の送信または受信を経験しており，被験者の一

4. 3 考部に会話が偏ることはなく，要求が時間的に一時期に実験の結果，被験者からの会話開始要求のうち 6 割

集中することはなかったが，親しい被験者間での要求

強が，エージェントの要求アピールにより成立した．

が多い傾向は見受けられた．

アピールの気づきやすさの評価は，ほぼ中央値の「ど察要求アピールの気づきやすさの評価は平均で 2.9 でちらでもない」とされ，被験者の多くが，作業の切れあった．ほとんどの被験者から，自分にある程度余裕

目や作業中の区切りで初めてアピールに気づいていた．

がないとアピールに気づかなかったという内観報告がまた，アピールがかえって作業の邪魔になったという得られ，要求を意図的に無視したという報告はなかっ

報告はなく，本研究が目指すアンビエントな話しかけた．また，アバタが画面に存在するため気になった，が実現できていたと考えられる．共同注視によるアアピールが気になり作業が妨害されたといった報告

ピールは，被験者が作業中であることも相まって，比や，他のユーザに監視されていると感じたといった報較的対象者に気づかれにくいことは予想どおりの結果

告はなかった．一方で，視線交差に比べ，共同注視はであるといえる．そのため，より強い気づきを促す視

分かりにくく，相手のアピールに気づかないことがよ線交差の利用は，会話成立の可能性を高めるのに有効くあったという報告もあった．

であったと考えられる．被験者の拒否度が低下する AS

実験後の聞き取り調査により，以下のような内観報
860

発生を利用することで，弱いアピールと強いアピール論文／ユーザの割込み拒否度を考慮した円滑な会話開始支援エージェントの効果的な併用が可能となり，ユーザの作業を阻害し注視・視線交差の状態の違いを際立たせることで，アにくく，かつ，会話成立の可能性を高めるアピールのピール状態であることをより認識されやすくする方法

実現に，有効に働いたのではないかと推測される．まも考えられる．3D アバタの特性を生かし，共同注視時

た，会話成立までの時間は，平均で約 10 分であった．

のアバタ表示位置の変更や視線交差時の顔へのアップ

要求送信後にすぐに会話が開始されなかった点は，アなどのカメラワークの工夫なども，アピールのコント

ンビエントなアピールに気づく程度まで，対象者の拒ラストを表現するのに有効であると考えられる．今後，否度が実際に低下してからの会話開始であったと考え割込み拒否度の推定精度を向上するとともに，拒否度られ，より作業中のユーザを阻害しない円滑な会話開に応じて会話開始要求をより強く・弱くダイナミック

始が実現できていたと考えられる．一方で，視線交差に表現することで，最終的にはアンビエントであるがによるアピールをより強いものとし，会話開始までの確実に会話を促せる表現を検討していく．

待機時間短縮の検討も必要である．

拒否度表示に関しては，相手の状態が分かる点が評

また，今回の実験では，4 割程度の要求が不成立で価され，また，要求に対して応答がなされない場合のあった．要求を意図的に無視したという報告はなく，理由付けや，直接会話への切換の判断に利用されていアピールに気づかなかったことが，不成立の主な原因

た．拒否度表示が会話開始支援に対しても有効であであると考えられる．直接会話の 2 件は，被験者が返ると考えられる．また，今回の実験では，被験者から信を待ち切れずに切り換えたというわけでなく，最初PC 操作履歴をモニタされること（プライバシー）にから相手からの返信を待つ意思がなかったためである．

関するクレームを受けることはなかった．本システム

拒否度表示を参考にした話しかけであれば，何も情報

では，各ユーザの PC 操作内容等を他者へ送信するこがない場合と比較し，相手の作業を阻害しにくいと考とは一切なく，あくまでもクライアント内で閉じていえられるが，相手の拒否度に合わせたエージェントにるため，ユーザ間で交わされる情報のコントロールによる直接話しかけ代行機能の検討も必要であるといえ関しては，特に問題なかったと考えられる．システム

る．5 件の要求取下げ理由は，返信を諦めたというネ

使用中に，アバタに監視されているという印象をもっガティブな理由は少なく，そのほとんどが要求者の都たという報告もなかった．アバタ自体は，基本的に表合により，会話開始要求を「キャンセル」したためで示用ウィンドウ内にあるワークスペース（PC モニタ）ある．対象者が気づく前のキャンセルは割込みと認識を見ている点，要求アピール以外ではユーザと視線交されず，「なかったこと」にすることが可能である．今差しない点，相手ユーザの実際の映像ではなく CG ア回の実験では，自己解決可能な問題に関する割込みをバタとした点，カメラ等の撮像機器を使用していない減少させる，一種のフィルタの役割を果たしていたと点などが，監視されているといったネガティブな印象も考えられる．取下げの大半は会話の必要がなくなっを被験者に与えなかったと考えられる．今後，ユーザたことが理由であるが，会話目的には複数の理由が考によるプライバシー情報の公開範囲の指定など，ネッ

えられるため，待ち時間に応じてユーザ自身がアピー

トワークを介して送受信される情報，常時アバタが表ルの強さを変更することで，要求成立の可能性をより示される影響についても検討する必要があると考えら高める手段の検討も必要である．また，ユーザが要求れる．

を取り下げた場合に，より要求が成立しやすい状況とまた，本実験は研究室に在籍する学生を被験者としなった時点で，エージェント側から再要求を提案するて行ったが，被験者間に共同作業のような特段の会話などの対応も考えられる．

の必要性がなかったことが，要求回数に影響したと考

特に，本実験では共同注視の表現がアピールとしてえられる．また，大半のケースが要求から数分で会話弱いという報告であった．作業を阻害しにくく会話開が成立したこと，不要になれば自発的に取り下げがで始要求を成立させやすい，矛盾する二つの要求を満たきることなどから，本システムによる会話開始支援は，すアピールの強さの変化については，今後の課題とい会話がより発生しやすい，オフィスやテレワークなど

える．既存の共同注視・視線交差の動作の大きさや頻の作業内容を共有する関係性がある場合にも，「電話度を変化させ，より目立たせる方法も考えられるが，をかけるほど火急ではないが，メールではなく，やりかえってユーザの作業を阻害することも懸念される．

取りをしたい」場合に有効であると予想される．現段

単純に動作を目立たせるのではなく，通常状態・共同

階では，1 対 1 のコミュニケーションを対象とした話
861

電子情報通信学会論文誌 2009/11 Vol. J92–A No. 11

しかけ支援を行っているが，複数ユーザ間のコミュニ

ruptibility with sensors: A wizard of oz feasibility

ケーションにも今後対応する必要があるといえる．複study, Proc. SIGCHI Conference on Human Factors

数ユーザの参加時刻の同期などに関しては，実空間でin Computing Systems, pp.257–264, 2003.
[6]

J. Lester, T. Choudhury, N. Kern, G. Borriello, andのコミュニケーション行動を参考に今後検討していく．

B. Hannaford, “A hybrid discriminative/generative

更には，対象ユーザが会話中であるかなどの表示機能

approach for modeling human activities,” Proc.
IJCAI-05, pp.766–772, 2005.

などが考えられる．また，会話の対象が増えることでアバタ表示数も増加することになるが，表示に利用できるスペースには限りがある．話しかけ機能に特化し[7]

Second Life, Linden Research, Inc. http://secondlife.

[8]

R. Vertegaal, “The GAZE groupware system: Me-com/
diating joint attention in multiparty communication

たアバタ 1 体のみの表示も考えられる．

and collaboration,” Proc. CHI 99, pp.15–20, 1999.

5. む す び[9]J. Lee and S. Marsella, “Nonverbal behavior generator for embodied conversational agent,” Proc. IVA06,

本研究では，円滑な会話開始支援を目的とした，ADSS エージェントの開発を行った．本エージェント

pp.243–255, Springer, 2006.
[10]

head and body movement during gaze shifts,” Proc.

は，ユーザの割込み拒否度推定を行い，他ユーザへアバタの姿勢・動作を用いてこれを表出する．また，B. Lance and S. C. Marsella, “Emotionally expressive
IVA07, pp.72–85, Springer, 2007.

[11]

K. Kobayashi and S. Yamada, “Informing a user of

ユーザの代わりに，共同注視と視線交差によるアンビ

robot’s mind by motion,” The Third International

エントな話しかけ支援を行う．実験により，エージェ

Conference on Computational Intelligence, Robotics
and Autonomous Systems (CIRAS 2005), SS4B-3,

ントの視線制御による要求アピールがアンビエントな話しかけ実現に有効であることを確認し，より作業中

2005.
[12]

のユーザを阻害しない円滑な会話開始の実現可能性を示した．
現段階では，エージェントからユーザに対する一方向の働きかけのみであるが，アバタが他のウィンドウ[13]

pp.149–154, 2008.
宮川道夫，新井直樹，前田義信，“インターフェース手法” ヒューの定量評価を目的とした前頭前野の NIRS 計測，[14]

マンインタフェースシンポジウム 2007, no.3231, 2007.
田中貴紘，藤田欣也，“オンラインながらコミュニケーショ
ンにおけるアバタを介した会話パートナのコンテキストア[15]

T. Tanaka, K. Matsumura, and K. Fujita, Un-に隠れている場合やユーザが離席している場合など，対象ユーザからの応答を期待できないときの要求元
ユーザへのフィードバックや，長時間応答がなく推定
誤差の可能性が考えられる場合での推定値補正，効果的なアピールの変化方法などが，今後の課題である．
謝辞” HAI シンポジウム 2007, 2007.
ウェア，
consciously harmonized online communication based

本研究の一部は，文部科学省特別教育研究費

on uninterruptibility estimation of interaction part-

共生情報工学研究推進経費によるものである．ここに記して感謝する．
文
[1]

[16]

ners,” Proc. APCHI2008, pp.77–85, Springer, 2008.
酒田英夫，外山敬介，脳・神経の科学 II 脳の高次機能，
岩波書店，1999.

[17]

Skype 動向分析レポート，ネットアンドセキュリティ総[18]

A. Kendon, “Some functions of gaze-direction in so-

献

本田新九郎，富岡展也，木村尚亮，大澤隆治，岡田謙一，
松下 温，“作業者の集中度に応じた在宅勤務環境の提” 情処学論，vol.39,
供：仮想オフィスシステム Valentine，研，2005.
cial interaction,” Acta Psychologia, vol.26, pp.22–63,

no.5, pp.1472–1483, 1998.
[2]

清水 健，平田敏之，山下邦弘，西本一志，國藤 進，“個” 第人作業状況アウェアネス提供システムの構築と評価，
二回知識創造支援シンポジウム，pp.78–85, 2005.

[3]

田中貴紘，松村京平，藤田欣也，“アプリケーションスイッ
チに着目した情報提示タイミング制御のための作業履歴の” 情処学論，vol.50, no.1, 2009.
分析，

[4]

田中貴紘，藤田欣也，“オンラインながらコミュニケーショ
ンにおけるユーザの割り込み拒否度を考慮した円滑な会話” HAI シンポジウム 2008, 2008.
開始支援エージェント，[5]

S.E. Hudson, J. Fogarty, C.G. Atkeson, D. Avrahami,
J. Forlizzi, and S. Kiesler, “Predicting human inter-862

宮城和音，近藤佑樹，榎本健治，石井裕剛，下田 宏，
岩川幹生，寺野真明，“パフォーマンステストによる知的” 第 47
生産性改善評価時の NIRS を用いた脳活動計測，
回ヒューマンインタフェース学会研究会，vol.10, no.1,

[19]

1967.
中島幸宏，武川直樹，湯浅将英，大和淳司，“擬人化エージェントとの視線・仕草による相互理解 —「じーっ，う” HAI2008, 2008.
ん」で，ワカッテクレタ？，[20] K. Sumi, K. Tanaka, and T. Matsuyama, “Measurement of human concentration with multiple cam[21]eras,” Proc. KES2005, vol.4, pp.129–135, 2005.
若井祐介，鷲見和彦，松山隆司，“画像を用いた人の選択
行動の興味度合い推定，” ViEW2005, 2005.

（平成 21 年 1 月 30 日受付，4 月 27 日再受付）

論文／ユーザの割込み拒否度を考慮した円滑な会話開始支援エージェント

田中貴紘

2001 名工大・工・知能情報システム卒．
2006 東京工業大学大学院総合理工学研究科博士後期課程了．博士（工学）．2007 東
京農工大学大学院共生科学技術研究院助教，
現在に至る．知的エージェント，ヒューマ
ンエージェントインタラクション，オンラ
インコミュニケーションに興味をもつ．人工知能学会，情報処
理学会各会員．

藤田欣也 （正員）1988 慶應義塾大学大学院理工学研究科
了．相模工業大学，東北大学医学部，岩手大学を経て，現在東京農工大学大学院教授．

共有仮想空間コミュニケーション，VR シ
ステムや感覚の遠隔共有など，人と共生する情報システムのためのヒューマンインタ
フェースの研究に従事．工博．

863