実世界コンテキストに埋め込まれた分身エージェントによる展示説明川口 洋平 †# 角 康之 †# 西田 豊明 †# 間瀬 健二 ‡#† 京都大学 ‡ 名古屋大学 # ATR メディア情報科学研究所

1

はじめに

我々は，実世界におけるユーザの行動を記録・蓄積し，そこからコンテンツを抽出して再び実世界に埋め込み再利用する事で知識流通を促進するサイクルの実現を目指している．本稿では，それを実現するシステムのプロトタイプとして，ユビ
キタスセンサ環境により展示会におけるポスター展示を説明するエージェントを録音音声の再生により自動生成するシステムを提案する．
本システムは ATR メディア情報科学研究所における体験キャプチャシステム [1] のサブシステムとして実現される．体験キャプチャシステムは複数人のインタラクションを複数センサ群により協調的に記録し，それらを体系的に解釈し，共有・追体験により新たな知識創造を生み出す事を目標としたシステムである．本稿ではそのシステムにおける主に体験共有・追体験の手法として分身エージェントによる表現を提案する．
プレゼンテーションエージェントの研究には [2]等が存在するが，その多くは時間的・精神的コストをかけて作者ユーザが作りこんだ台本の再生に頼っている．本システムでは実世界でのプレゼンテーションからコンテンツを自動抽出する事により，低コストで持続的な蓄積を可能とする．また，知能化し擬人化された表現は，単なる映像再生以上の状況調節の容易性や擬人化による共感性・対話性を生み出すと考えられる．

2

システム構成本システムは大きく分けて蓄積システムと表現システムにより構成される（図 1）．我々が扱う実Exhibition Guidance by Presentation Agents Embedded in the Real-World Contexts
Yohei
KAWAGUCHI(kawaguchi@ii.ist.i.kyotou.ac.jp) †#Yasuyuki SUMI(sumi@i.kyoto-u.ac.jp) †#Toyoaki NISHIDA(nishida@i.kyoto-u.ac.jp) †#Kanji MASE(mase@itc.nagoya-u.ac.jp) ‡#† Kyoto University‡ Nagoya University# ATR Media Information Science Laboratories

図 1: システム構成

世界環境においては，現状の音声認識技術を用いる事は困難なので，音声認識技術に頼らない，音声コラージュを中心にしたコンテンツの蓄積とエージェントによるインタラクションを実現した．

2.1

蓄積システムポスタープレゼンテーションにおけるインタラ
クションのパターンは，説明者の一方的説明である「レクチャー」と，説明者と来訪者，或いは来訪者と来訪者の会話である「インタラクション」の 2種類に大別できると仮定する．これらに対応する再利用可能な会話コンテンツをそれぞれ「LectureUnit」，「Interaction Unit」と定義する（以下，区別しない場合は単に Unit と書く）．Lecture Unit，Interaction Unit のどちらも，各 Unit は発言のリストと，時間や段落等といったアノテーションから構成される．また，各発言は時間や触れたタッチパネル上の座標等のアノテーションを持つ．ここでの段落とは，予め入力したタッチパネル上の意味的な矩形領域に対応する．
本システムでは，以下の自動処理によりプレゼンテーションデータから Unit が抽出されデータベースに蓄積される．

る．この様な対話的インターフェースにより状況に応じて異なったサービスを提供する．

3

図 2: 動作画面と動作風景

1. 発話区間検出とブース滞在情報によりブース近傍者間の話者交替の情報を推定する．
2. タッチパネルディスプレイにより，ユーザによるポスターのタッチ系列を取得する．
3. 説明者が発話権を長く保持する区間に対して，取得したポスタータッチと典型的説明のポスタータッチとの DP マッチングを行う事により，ポスター上の段落の情報も付与した Lecture Unit を抽出する．
4. 話者交替がなされる区間に対して，ポスタータッチの記録によりポスター上の内容の情報も付与した Interaction Unit を抽出する．
このシステムの構築により低コストのコンテンツ蓄積が可能となった．

2.2

エージェント表現システム

各 Unit として蓄積されたコンテンツとリアルタイムにセンシングできる来訪者ユーザの状況を利用して Unit の選択をリアルタイムにプラニングし，タッチパネルディスプレイ上を説明者や来訪者のエージェントが動き回り録音音声を発声する事で提示するシステムを実装した（図 2）．基本的なプランは蓄積システムで仮定した典型的説明パターンの遷移モデルに従うルールとして生成される．また，来訪者が既に聞いた段落の説明は省
略し，来訪者のブースからの近さを関心度とみなして遠ければ簡潔な（短い）Unit を選択し，来訪者が直接操作的にディスプレイを触って特定の箇所についての会話を望めばその座標に埋め込まれた Unit を提示するプランをリアルタイムに生成すシステムの実装

体験キャプチャシステムのサブシステムとして，我々のグループは，インタラクション・コーパスと称するインタラクションを階層的に解釈したデータベースを構築した [3]．本システムはそのデータベースを利用し，本システムのために構築したデータベース群もインタラクション・コーパスの派生として MySQL により構成した．コーパスからは，「来訪者 A がタグ B を見た」等の下位データベースから「来訪者 A はブース B に滞在した」といった上位データベースまで利用する．一方で，話者交替を考慮した発話に関するデータベース群等は，各 Unit のデータベースと共に本システムのために構築した．エージェント表現システムでは，Microsoft Agent を利用している．

4

おわりに

本研究では，説明者が不在の時でもエージェントが分身として説明等のインタラクションを可能とするための要素技術を提案した．今後は，各 Unitにおける面白さ・重要度を測るために共同行為に注目して，「（一同笑）」と推測される短い同時発話の発生等のアノテーションの付与や，エージェン
ト表現システムの評価実験を行いたい．
謝辞
本研究を進めるにあたり，多分のご意見，ご協力を賜り，タッチパネル記録取得システムを実装頂いた熊谷賢氏，インタラクション解釈部を実装された高橋昌史氏を初め，関係の皆様に感謝する．なお，本研究は情報通信研究機構の委託研究「超高速知能ネットワー
ク社会に向けた新しいインタラクション・メディアの研究開発」により実施した．
参考文献[1] 角康之, 伊藤禎宣, 松口哲也, Sidney Fels, 間瀬健二．
協調的なインタラクションの記録と解釈. 情報処理学会論文誌, Vol. 44, No. 11, pp. 2628-2637, 2003.

[2] 久保田 秀和, 黒橋 禎夫, 西田 豊明．知識カードを用いた分身エージェント，電子情報通信学会論文誌「ソフトウェアエージェントとその応用論文特集」，
volJ86-D-I，No. 8，pp. 600-607，2003．
[3] 高橋 昌史, 伊藤 禎宣, 土川 仁, 角 康之, 間瀬 健二,
小暮 潔. インタラクション解釈における階層構造の検討. 第 18 回人工知能学会全国大会, 2004．