博物館の協調見学を知識強化する
話題提供エージェントの構築：過去の会話シーンの再利用
古谷翔†

森元俊成†

康之†

角

写真撮影と写真への書き込みを実時間で共有できるコミュニケーション支援ツール PhotoChat を利用した体験共有型ワークショップを支援することを目的とし，PhotoChat 上で状況に応じた話題提供を行うエージェントの実現を目指す．博物館説明員による展示ガイドを通して蓄積された会話シーンを，コンテキスト（場所，注目対象，参加者の会話状況，PhotoChat の利用状況など）に応じて再利用する方法を提案する．

Interactive Information Agent that Augments Collaborative Museum
Touring Using Conversational Scenes by Human Facilitator andVisitors
SHO FURUTANI†TOSHINARI MORIMOTO†YASUYUKI SUMI†

This paper describes the design of a museum agent which supports experience shared workshops .The agent
shows photos and notes created in past workshops using context-matching method through PhotoChat.
We propose the approach of reusing conversational scenes accumulated during exhibition guides by museum
professionals.

1.

はじめに

2.

関連研究

本研究では複数人が体験を共有しながら知識の共博物館来館者の体験をより豊かにすることを目指し有･創造を行うことを目的とした体験学習や協調的なて提案されたシステムとして，Albertini らの研究[2]学習をターゲットとした支援を行う．

が挙げられる．Albertini らはカメラ付き携帯端末に画協調的な学習を行う場として学会参加，課外学習な像処理の技術を使い，壁にかかった絵画に関する知識ど様々な場があるが，そのひとつに博物館が挙げられを提供するシステムを構築した．この研究では，ユーる．博物館は，特定の分野についての学術的資料・美ザが壁に紐付けがなされた個別のデータにアクセスを術品・標本などを保存し，それらを展示として公開す行う．それに対し，我々の研究では，周囲の状況や端ることで，来館者にその分野について幅広く知識を提末のデータからユーザのコンテキストをセンシングす供する場であり，さらに展示物に加え，それに対するることでユーザに提示する情報を選択することを試み説明や歴史などの解説を提示することで来館者に多くる．の知識を提供するなど，体験学習や協調学習の場として注目されている．

本研究の特徴は，専門家と来館者が参加した過去に行われた体験型ワークショップの中から生まれたコン

また近年，博物館の見学や課外学習などで，携帯端テンツを利用することと，またその中からコンテンツ末を用いてユーザを支援することに対する需要が高ま出力のルールを獲得するところにある．このような，っている(Bell ら[1])．そこで，本研究では携帯端末を過去の会話シーンの再利用を目指した既存の研究とし用いた情報提示を通して博物館来館者の体験をより豊ては，岡田らの研究[3]や，熊谷らの研究[4]が挙げらかにすることにより，協調的学習の支援を目指す．本れる．岡田らは学習者が実世界の中で環境とどのよう研究の特徴は，専門家と来館者が参加した過去に行わに相互作用したかを事後学習資料として再構成し，グれた協調学習の中から生まれたコンテンツやコンテン

ループ形式での協同的な振り返り活動に供することで，ツ出力のためのルールを利用して情報を提供すること

実世界との相互作用過程を学習者に事後に意識化させ，である．

気付きを得ることを支援している．熊谷らはポスター
展示会場におけるポスターを介した会話に焦点をあて† 京都大学

情報学研究科

Graduate School of Informatics ,Kyoto University

会話場における視線や発話，実世界オブジェクトへの情報処理学会 インタラクション 2011

参照等の文脈情報を利用して，会話を構造化し，会話シーンの再利用を行なう手法を提案した．
このように本研究では，ユーザの周囲の状況や，携帯端末上での振る舞いからユーザのコンテキストをセンシングし，過去に蓄積された会話シーンを再利用することで話題提供を行うエージェントの設計を行う．

3.

システム概要本研究ではワークショップから得られた専門家の知識及びそれへの参加者の反応を記録し，それらをコンテンツとして情報提示するエージェントの構築を目指す．
3.1

システムの動作イメージ

図 1 にエージェントの動作イメージを示す．まずエ

図1 エージェント動作イメージ

ージェントは各種センサーからユーザのコンテキスト情報を獲得する．エージェントは専門家の知識・話題各ユーザの操作はログに残り，以下のような記録がさ

提供のデータ及び提供されたときのユーザの反応やコれる．

ンテキスト情報を構造化・記録しており，記録された• 撮影された写真の選択(写真名, 選択時刻)

データの中から，現在のユーザのコンテキストに近い• 撮影された写真への書込み(写真名, 書き込み時刻)

過去のデータをユーザに写真：＝シーンとして話題提供する．エージェントはユーザの反応を監視し，ユー• 写真撮影モードの開始時刻

ザがこの話題に興味があると推定すると，ユーザに次• 写真の撮影時刻のシーンを提供する．本エージェントはユーザの質問

本研究ではこのログをユーザのコンテキスト情報となどに答える「受身的」でなく，エージェントが会話の主導権を握るような「積極的」な知識・話題提供をして利用する．
またユーザ間の相対的体験共有空間を検出するため，行う．そのため，ここでは岡本ら[5]のように質問-応体験記録支援システム Neary を使用した[7]．Neary の答といった自然言語の処理を通してエージェントを構

会話場推定とは，同じ会話に参加しているメンバを推築することは行わず，コンテキストマッチングによっ測することを指し，この際に，物理的距離は考慮せず，てエージェントが積極的に知識・話題提供を行う．

会話が行われている場はすべて会話場として認識する．

3.2

本研究の特徴本研究は専門家と来館者が参加した過去の体験共有型ワークショップの中から生まれたコンテンツやコンテンツ出力のためのルールを利用してエージェントが情報を提供するところに特徴がある．ワークショップ

例えば近接対面会話であれ，ホールで行われている講演であれ，一つの会話として認識することを考える．
本研究ではこの Neary を利用してユーザ間の相対的位置を検出し，コンテキスト情報として利用する．

4.

実験及びエージェントの設計の中から生まれたコンテンツを利用することにより，専門家が参加者を相手にして話しているうちに初めて本研究はまず初めに体験共有型ワークショップに基気付いたアイディアをコンテンツに反映することがでづくデータ収集実験を行う．得られたデータに基づききる．また携帯端末の操作ログ等からコンテンツ出力

エージェントはコンテンツ及びコンテンツ出力のためのためのルールを獲得する枠組みは利用場面や展示内のルールを獲得する．

容が変わっても広く利用できることが期待される．
3.3

本研究で使用するツール

4.1

実現するエージェント

我々は博物館における来館者の体験をより豊かにす

本研究ではユーザ間の体験共有支援のためのシステるために，博物館エージェントによる情報提示を行う．

ムとして，写真とその上へのメモをカメラ付き携帯端

そこでは専門家による一方的な情報提示ではなく，来末上でリアルタイムに共有することによる体験共有支

館者と専門家の間で対話的に情報提示を行う方法を目援システム PhotoChat を使用した[6]．PhotoChat 上の指す．その手法により非専門家との対話の中で初めて

博物館の協調見学を知識強化する話題提供エージェントの構築：過去の会話シーンの再利用

専門家が気付いた発見（話題やその伝達の手段等）を人が同じ写真に集まって閲覧・書き込みをコンテンツの中に反映させることが可能となると期待している状況を指す．今回は専門家が提供される．

した写真の中で，直近でどの写真において4.2盛り上がりが存在したかあったかという情

エージェント設計のアプローチ

本エージェントは，体験共有型ワークショップを通報を用いた．それにより，どの内容でユーして，PhotoChat 上にて蓄積された専門家と来館者のザが盛り上がっているかという状況を理解

過去の会話シーンを提示することにより，話題提供をすることができると考えたためである．（ユ行う．それにより，専門家の視点で一方的に作りこまーザが撮った写真の内容を理解することはれたコンテンツではなく，専門家と非専門家である来現状では難しいので，今回は専門家の提供

館者の対話の中から生まれた発見をコンテンツに反映した写真を対象とした）することができると期待される．

各コンテキスト情報については，相対位置情報は各展

コンテンツの出力は過去の類似のシーンとのコンテ示の側に設置したマイクやユーザが所持する端末のマキストマッチングによって行う．今回，解釈を行いたイクとの音声入力の比較をする Neary から獲得する．

い状況としては以下のものが挙げられる．

時間情報及び会話的コンテキスト情報について は• 個人で見学している場合と，集団で一緒に見学している場合で，専門家が提供したいと思う話題にPhotoChat の各操作時にリアルタイムで記録されるログから獲得する．

違いがあるので，参加者同士の位置関係を把握し4.3

たいエージェントがコンテンツやコンテンツ出力のルーデータ収集• 見学者が滞在している展示物によって，提示するルを獲得するため，PhotoChat を用いたデータの収集話題が大きく異なるので，展示物との位置関係ををする必要がある．そこで専門家を交えて博物館にて把握したいデータ収集を行うこととした．

• 終盤になると，専門家は見学者がまだ注目してい4.3.1 収集するデータの構造ない点に気づいてほしいので，セッションのどの

図 2 に本エージェント構築のために収集するコンテ時間帯(終盤か否か)かという時間情報を把握したンツや利用するコンテキストのデータ構造を示す．図

い2 はワークショップのセッション開始直後に，来館者• 専門家はユーザがどのような話題で盛り上がってがモグラの標本をグループで固まって見学しながらいるかに応じて提供したい話題に違いがあるので，PhotoChat 上でモグラの手の大きさに注目している様

会話の盛り上がりの状況を把握したい子を表している．そのときに専門家が来館者たちの状

そこで，これらの状況を解釈するために以下の情報を況を見て，図のような話題提供をしているシーンであ用いることとした．

る．そのシーンはコンテキストとコンテンツの組み合• 状況コンテキスト


わせとして記録される．そのようにして蓄積されたデ

相対位置情報：ータはエージェントの話題提供の手段として利用される．

参加者同士の位置関係：個人で行動しているか，複数人で行動しているか．



展示物との位置関係：どの展示の周辺に滞在しているか．



時間情報：セッションのうち終盤かそうでないかという時間情報を用いる．終盤という時間的局面ではユーザは多くのコンテンツを見終わった後であり，その際に専門家が提供しようと考えるコンテンツは，それまでの時間帯のものとは異なるものだと考えたためである．

• 会話コンテキスト：
盛り上がりの状況：盛り上がりとは，複数

図2 コンテンツ・コンテキストデータの収集例

情報処理学会 インタラクション 2011

4.3.2 データ収集の流れ
図 2 のようなデータを収集するため，専門家の協力のもと，次のようなデータ収集を行う：1 セッション
30 分～1 時間程度を想定する．被験者及び専門家は各
自 1 台の PhotoChat 端末を所持して行動する．被験者
は個人またはグループで展示を自由に巡回・見学してもらい，PhotoChat で自由に写真の撮影や書き込みを行ってもらう．専門家は被験者の状況を見ながら話題提供を行う．
4.4

話題提供エージェントの実装

ここでは本研究で構築する話題提供エージェントの実装について説明する．
4.4.1 エージェントの動作の流れ
話題提供エージェントの動作は主にコンテキスト認
識プロセスと話題提供プロセスの二つからなる．
（１）コンテキスト認識プロセス
エージェントが提供する話題を選択するために与える入力データとしてのコンテキスト情報を取得するプロセスである．
（２）話題提供プロセス
以下に述べるコンテキストマッチングの手法により，ユーザに提示すべき話題を選択するプロセスである．
4.4.2 コンテキストマッチングの手法
状況コンテキストは，4.2 節で述べたように相対位置・時間情報の離散値の組み合わせによって表現される．過去の蓄積データから，現在の状況コンテキストと同じ状況コンテキストのときに出力されたデータの候補を絞り込む．
絞りこまれたデータがたくさんある場合は，会話コンテキストとの一致度が高いものを選択し話題提供を行うようにする．具体的には，最近盛り上がりがあった専門家の写真を参照して，どのような話題で盛り上がっていたかを見る．次に出力の候補となる過去のデータを見て，それが出力される前に盛り上がっていた写真の話題を見る．それが現在のセッションでの最近盛り上がっていた話題と近い場合に，出力するコンテンツとして選択する．
それを実現するために，あらかじめ用意している写真コンテンツに内容を表すタグを記録することで，過去に盛り上がっていた話題と，現在のセッションで最近盛り上がっていた話題が類似しているか判断する．
（同様の写真でも，切り口によって異なった内容とみなせる可能性があるが，今回は簡易的に先に用意された写真に内容を表すタグを１つ以上つけることで対処を行う．
）

5.

まとめと今後の展望

本研究ではまず専門家を交えて，PhotoChat を用いた体験共有型ワークショップを通じて，データ収集を行う．実験により得られたデータを基に，ユーザのコンテキストに応じて話題を提供するエージェントの構築を行う．今後はエージェントの使用実験を京都大学総合博物館にて実施し，話題提供エージェントを導入する効果を評価していく．
謝辞

本研究を実施するにあたって多大なる協力を頂いた京都大学総合博物館の塩瀬隆之准教授に深く感謝します．本研究は科研費・基盤研究(B)No.22300042
および新学術領域研究 No.22118505 の助成を受けたものである．

参考文

献1) Bell, B., Feiner, S. and Hollerer, T.: Information at aglance, Computer Graphics and Applications,IEEE,
Vol. 22, No. 4, pp. 6.9 (2002).
2) Albertini,A., Brunelli,R.,Stock,O.and Zancanaro,M.:
Communicating user’s focus of attention by image
processing as input for a mobile museum guide,
Proceedings of the 10th international conference onIntelligent user interfaces, ACM, pp. 299.301 (2005).
3) 岡田昌也, 鳥山朋二, 多田昌裕, 角康之, 間瀬健二, 小暮潔,萩田紀博: 実世界重要体験の抽出・再現に基づく事後学習支援手法の提案(ヒューマンコンピュータインタラクション), 電子情報通信学会論文誌. D, 情報・システム, Vol. 91,No. 1,pp. 65.77 (2008-01-01).
4) 角 康之, 熊谷 賢, 瀬戸口 久雄, 西田 豊明：
非言語情報を利用した会話シーンの抽出と意味的インデキシング, 情報処理学会研究報告（ヒューマンインタフェース）, HI119-13, 2006 年 7月.
5) 岡本昌之, 山中信敏：Wizard of Oz 法を用いた対話型 Web エージェントの構築, 人工知能学会
論文誌, Vol. 17, No. 3, pp. 293-300 (2002)
6) 角 康之, 伊藤 惇, 西田 豊明：PhotoChat：写真と書き込みの共有によるコミュニケーション支援システム, 情報処理学会論文誌, Vol.49, No.6,pp.1993-2003, 2008 年 6 月.
7) Toshiya Nakakura, Yasuyuki Sumi, and Toyoaki
Nishida:Neary: Conversation field detection based on
similarity of auditory situation, The Tenth Workshop
on Mobile Computing Systems and Applications(HotMobile 2009), Santa Cruz, February 23-24, 2009.