質問応答・情報推薦機能を備えた音声による情報案内システム
翠輝 久†
正 司 哲 朗††

河
美

原
濃

達
導

也†,††
彦†,††

音声が主要なモダリティである環境において，自然言語で記述された文書を知識源として，インタ
ラクティブにユーザに情報を提供する枠組みを提案する．これは，現在のオーディオガ イダンスのよ
うに，システム側から一方的に情報を提示するのではなく，ユーザ・システム双方が対話の主導権をとりながら，インタラクティブに情報検索・提示するものである．そのために，ユーザ主導の検索・質問応答（ pull ）モード と，システム主導の提示（ push ）モード を用意して，ユーザの状態に応じてこれらを切り替える．検索・質問応答モードでは，漠然とした検索要求に対して文書を要約して提示したり，特定の情報・事実を求める質問に応答する機能を実装した．また，提示モード においては，
システム側から，ユーザにとって有用な話題を動的に選択して，質問形式を用いて提示する方法を考えた．以上の枠組みを，顔認証機能を有するロボットエージェントに統合し，京都の観光案内システ
ムとして，京都大学博物館の企画展示において運用を行った．3ヶ月の運用期間中，のべ 2500 人のユーザの利用があった．収集された対話を分析・評価した結果，提案手法がおおむね有効に機能していることを確認した．

Speech-based Interactive Information Guidance Systemusing Question-Answering and Information Recommendation
Teruhisa Misu,† Tatsuya Kawahara,†,†† Tetsuo Shoji††
and Michihiko Minoh†,††This paper addresses an interactive framework for information navigation with speech interface. In conventional audio guidance systems, such as those deployed in museums, theinformation ﬂow is one-way and the content is ﬁxed. In order to make an interactive guidance system, we propose the application of question-answering (QA) techniques. Since users
tend to use anaphoric expressions in successive questions, we investigate appropriate handlingof contextual information based on topic detection, together with the eﬀect of using N-best
information in ASR (automatic speech recognition) output. Moreover, we apply the QA technique to generation of system-initiative information recommendation. A navigation system
on Kyoto city information was implemented. Eﬀectiveness of the proposed techniques was
conﬁrmed through a ﬁeld trial by a number of real novice users.

1. は じ め に
情報技術の進展により，我々は世界中に存在するあらゆる情報にアクセス可能な状況にある．しかしその反面，膨大な情報の中から本当に必要な情報を探すのが困難になりつつある．とりわけ，出先などで速やかに情報が欲しい場合には，携帯電話などにより，場所を選ばずに利用可能な音声により検索可能であると† 京都大学 情報学研究科
School of Informatics, Kyoto University†† 京都大学 学術情報メデ ィアセンター
Academic Center for Computing and Media Studies,
Kyoto University

好都合である．また，音声は我々が人同士のコミュニ
ケーションに用いる身近な存在であり，誰にでも使いやすいインターフェースとして注目を集めている．音声対話システムに関する従来の大半の研究・開発では，
天気案内1),2) やバスの運行情報案内3) などに代表される関係データベース (RDB) 検索を扱ったものがほとんどであったが，近年の Web 検索に代表される情報検索技術の発達に伴い，より一般的な文書検索を対象とした研究が盛んに行われている4) ．
しかし，これらの現状の音声による情報検索・案内システムに，人に何かを尋ねるような便利さがあるとは言い難い．実際，一般的な自動電話応答サービスな
どでは，基本的にユーザはシステムの示す手順に従っ情報処理学会 インタラクション 2007ࠦࡦࡇࡘ࡯࠲

ࠦࡦࡇࡘ࡯࠲
ᖱႎ⛔วࡕࠫࡘ࡯࡞⊓㍳⠪㗻↹௝
࠺࡯࠲ࡌ࡯ࠬ

㖸ჿวᚑ
ࡕࠫࡘ࡯࡞

ኻ⹤
೙ᓮ

⾰໧
ᔕ╵
ⷰశ᩺ౝᢥᦠ
࠺࡯࠲ࡌ࡯ࠬ
9KMKRGFKCߥߤᖱႎᬌ⚝ࡠࡏ࠶࠻೙ᓮ
ࡕࠫࡘ࡯࡞
ᔕ╵ᢥ↢ᚑ
ࡕࠫࡘ࡯࡞

㖸ჿ
⹺⼂⚿ᨐ
㖸ჿ⹺⼂
ࡕࠫࡘ࡯࡞,WNKWUࠨ࡯ࡏ㗻↹௝ߦࠃࠆ
୘ੱ⼂೎
ࠝࡓࡠࡦ
ࠞࡔ࡜↹௝

ࠬࡇ࡯ࠞ

ࡑࠗࠢ㖸ჿ
ࡠࡏ࠶࠻࡮ࡈࠖࡁ 0+%6

図 1 提案システムの構成
Fig. 1 System architectureて応答する必要があり，知りたい箇所に直接アクセス
することはできない．また，博物館や観光地などで利用されるオーディオガ イダンスでは，システムはユーザに一方的に情報を提示するだけであるため，聞き逃しをしたり，より詳細な説明を聞きたい場合であっても，聞き返しや補足質問をすることはできない．また，
音声対話による文書検索の研究の大半は，音声による検索方法のみを扱ったものであり，検索された文書の音声による提示方法を扱った研究はほとんど行われていない．
本研究では，このような現状を脱却し，ユーザフレ
ンド リーな情報案内を実現するために，ユーザ・シス
テムの双方が対話の主導権をとりながら，システムの持つ知識にアクセスする枠組みを提案する．具体的なタスクとしては，ユーザに観光情報を案内するタスクを想定して，バックエンドとなる文書を効率的にユーザに伝えることを目指す．
しかし ，このような情報案内を実現するためには，情報の提示方法が問題となる．音声により出力を行う
場合には，ユーザの理解しやすさを考慮すると長い文
書を読み上げるのは適切でない．ただし，単純に短く要約して提示すると，ユーザが知りたい重要な箇所を説明できない可能性がある．そこで，本研究では質問応答技術を利用して，知識中のあらゆる情報に対してランダムアクセスを可能とすることにより，自由に聞き返し・質問が可能なインタラクティブな提示を行う
ことを目指す．さらに，システム側からもユーザに対して積極的に関連項目の情報推薦を行うことを考える．
このようなシステム主導による提示機能は，ユーザがシステムの有している情報の一覧を把握しづらい状況下において，スムーズに対話を続けるために必要であり，また，観光案内のように明確なゴールが存在せず，
漠然と興味のある情報を収集する場合においても有効であると考えられる．
本研究ではさらに，ユーザをスムーズに対話に導入するために，ロボットエージェントを利用する．近年，
ヒューマンロボット 5) や，擬人化エージェント 6) を利用したマルチモーダルなインターフェースを備えた対話システムの開発が行われている．このようなシステ
ムは，ユーザがシステムに対して親近感を持ちやすいために，エージェントを用いない場合と比較して，多くのユーザに利用されることが報告されている7) ．本
研究ではこのようなエージェントの利用に加えて，顔画像認識を利用して名前の呼びかけを行うことにより，ユーザにとってより親しみやすいシステムを構築することを目指す．
以上の指針に基づいて，音声対話により京都の観光名所を案内するシステムを構築し，約 3ヶ月間の運用を行った．
以下に本論文の構成について述べる．まず，2 章においてシステムの概要について述べる．次に 3 章において，提案システムの音声インターフェースの構成について説明する．続いて 4 章では，フィールド テスト
における発話データの収集とその分析結果について述
べ，5 章において，音声対話部分の評価を行う．6 章は結論である．

2. システムの構成
本研究において開発した音声対話システムは，京都大学博物館において，来館者を対象に京都の観光案内を行うものである．また，テンプレートベースの応答を用意することにより，「こんにちは 」といったエー
ジェントに対するあいさつなどにも対処する．システ
ムは最初にユーザの顔画像認識を行い，名前を呼びかけるところから対話を始める．システムの構成を図 1に，外観を図 2 に示す．

質問応答・情報推薦機能を備えた音声による情報案内システム
対話管理部
無音区間の検出

ユーザ主導による検索・質問応答(pull mode)
質問・検索要求システム主導による情報推薦(push mode)

図 4 提案システムの対話の概要
Fig. 4 Overview of dialogue

図 2 京都大学博物館でのシステムの利用風景
Fig. 2 Field trial at the university museum

図 3 顔画像登録インタフェース
Fig. 3 Face Registration Interface

ユーザが対話を行う相手として，情報通信研究機構（ NICT ）で開発されたロボット・フィノ（モモコと命名）を用いる．このロボットは，頭，手，腰の 3 箇所の部位を動作させることが可能であり，これらの部位を動作させることによる 21 種類の動作パターンをもつ．写真左のディスプレ イは，提示中の情報に関係した（ 観光地などの）写真の提示を行う☆ ためのものであり，初期状態では京都の観光マップを表示している．

2.1 画像情報を利用したユーザへの声かけ
本研究では，ユーザを認識するために顔画像認識を利用する．以下に，ユーザの顔登録から声かけまでの流れを示す．
ユーザは最初に企画展入り口に設置された登録端末を利用して，顔画像と名前をデータベースに登録する．顔画像の撮影は，ユーザが名前を入力している最中に連続して行う．この理由は，顔画像認証において，ユーザの表情や顔の向きが変化するため，より多くの顔画像を登録することにより，ユーザの顔の変化に対応するためである．しかしながら，キーボード を使って名前を入力した場合，ユーザの顔が頻繁に下を向くため顔が検出できないことがある．そこで，本研究では，タッチモニタとソフトキーボード を利用して，
図 3 に示すように，ユーザの顔が検出し易い入力イン
タフェースを設計し，ユーザの名前と顔画像の登録を行う．
次に，ユーザが会場内のシステムの前に来た際に，ユーザの名前を呼び，声かけを行う．ユーザの認識はロボットに内蔵されているカメラを利用してユーザの撮影・顔検出を行い，顔画像データベースを照合することにより実現される．この際に，3 回連続して同じユーザが認証された場合のみ，認識成功とした．これは，1 回のみの認証では，認識精度が低下する恐れがあるためである．
なお，システムの顔検出・認識処理は，オムロン社の「 OKAO Vision ライブラリ」を使用した．また，顔画像の撮影は，Web カメラ（ 解像度 640×480 ）を用い，さらにユーザの顔の特徴（眼，鼻，口など ）が明確に捉えられるように照明環境を整えた．

2.2 インタラクティブな情報案内
ユーザ・システムが相互に主導権をとるインタラク
ティブな情報提示を実現するために，本研究ではユー
ザ主導の検索・質問応答モードと，システム主導の情報推薦モードを用意して，ユーザの状態に応じて対話
管理部がこれらの切り替えを行う．ユーザから検索要
求や質問があった場合に，検索・質問応答モードに遷移し，発話の意図にふさわしい応答を生成する．また，システム発話後から一定時間ユーザの発話がない場合には，システム主導の情報推薦モードに遷移して，現在のトピックに関連した情報を提示する．この概要を
図 4 に示す．
本研究では，システムが検索・提示する文書として，
Wikipedia☆☆ の京都に関する文書と，京都市産業観光局が提供する京都情報データベース☆☆☆ を使用する．
それぞれの文書の概要を表 1 に，Wikipedia の文書の例を図 5 に示す．
これらの文書は，Web ブラウザによりテキストの形で閲覧することを前提に作成されており，文体は書き言葉調であるため，音声合成によりそのまま読み上☆☆

☆

テキストの提示は行わない☆☆☆

http://ja.wikipedia.org/
http://raku.city.kyoto.jp/sight.phtml

情報処理学会 インタラクション 2007
表 1 システムが利用する知識ベース
Table 1 Speciﬁcation of the knowledge base
知識ベースの種類

Wikipedia の京都に関する文書
京都市観光局・
京都情報データベース
合計

件数

見出し

(節) 数

システム

ユーザ
音声認識

音声による
検索要求・質問

単語数

知識ベース

269

678

約 15 万

541

541

約7万

810

1219

約 22 万

検索

質問タイプ判定

検索結果



検索要求
と判定

質問と
判定

検索された
文書を要約

回答を含む
文の抽出

音声による
提示

慈照寺
(概要)
慈照寺は，京都府京都市左京区にあり，東山文化を代表する臨済宗相国寺派の寺院．通称銀閣寺，
山号は東山．開基は，室町幕府 8 代将軍の足利
義政，· · ·図 6 情報検索・質問応答処理の概要
Fig. 6 Overview of document retrieval and QAするために，コンテキスト情報の補完は重要な課題である．質問文に対して照応解析を行う方法9) も提案されているが，これは容易ではなく，十分な精度は得
室町幕府 8 代将軍足利義政は，1473 年，嗣子足られていない．そのため，本研究ではユーザの過去の利義尚に将軍職を譲り， 1482 年から，東山の月待山麓に東山山荘の造営を始めた．この地は，· · ·発話を用いて検索に必要なキーワードを補うことを考える．しかし，単純に全てのユーザの発話を利用する
境内と，対話中にトピックが変化した場合に，不要なキー
錦鏡池を中心とする池泉回遊式庭園．
「 苔寺」のワードを付与してしまう可能性がある．そこで，対話通称で知られる西芳寺庭園を模して造られたとされるが，江戸時代に改修されており，· · ·のトピックを同定することで，補うべきコンテキスト 長（ =利用する過去の発話数）を決定する．
図 5 Wikipedia の文書の例
本研究では，トピックとして，文書知識ベースにおFig. 5 Example of Wikipedia
いて一般的に利用可能なメタデータである，タイトル
情報を利用する．すなわち，応答を生成する基となっげるのは不自然になる．そのため，文末の助詞の変更，た文書を記憶・追跡することにより文脈解析を実現
書き言葉特有の語彙の平易な表現への言い換えを行する．
う8) ことで話し言葉調に変換した．本研究では，これ3.1.2 知識ベースの検索
らの文書を構文解析器 CaboCha ☆ により構文解析し本研究ではユーザの発話と知識ベース中の文書とのたものを知識ベースとして使用する．
類似度を計算するために，単語ベースのベクトル空間
モデルを採用する．具体的には，知識ベースの文書の3. 音声対話部の構成
節を単位として，知識ベース中の自立語に対して，タ
3.1 ユーザ主導の検索・質問応答
イトルに重み付けをした出現回数に基づく文書ベクト本研究ではユーザの発話を大きく二つのカテゴ リにルを作成する．たとえば，図 5 の例においては，概要，分類して扱う．一つは検索要求であり，たとえば「金沿革，境内の説明に対して，それぞれベクトルが作ら
閣寺について教えてください」のような発話がこれれる．ユーザ発話に対しては，音声認識結果（ 3-bestに該当する．このような発話に対しては，知識ベース
候補）
・現在のトピックに関するユーザの発話（コン中の文書の見出し（節）を単位として検索し，結果をテキスト情報）中の名詞に対して，事後確率に基づく
ユーザに提示する．もう一つは質問であり，「 建てられ音声認識の信頼度10) を各単語の重みとして，検索ク
たのはいつですか 」といった発話がこれに該当する．
エリベクトルを作成する☆☆ ．これらのベクトルの内積
このような質問に対しては，システムは知識ベースかにより類似度を計算する．
ら回答を含む文を抽出してユーザに提示する．以上のユーザの発話が検索要求である場合には，検索され手順を図 6 に示す．
た文書の中から，ユーザ発話との類似度が最大の見出3.1.1 トピック同定に基づく文脈解析
し（節）を提示する．ユーザの理解のしやすさを考慮
対話システムにおいて意味のある検索クエリを作成
沿革

☆☆
☆

http://chasen.org/˜taku/software/cabocha/

音声認識の信頼度は 0〜1 までの値をとり，本研究ではこの値をそのまま単語ベクトルの重みとして用いる

質問応答・情報推薦機能を備えた音声による情報案内システム

して，文書中での文の出現位置と文間のつながりを手がかりに重要文抽出による要約を行い，その結果を提示する．
なお，ユーザの発話の音声認識誤りに対処するために，音声認識の信頼度が低い場合には，文書のタイト
ルや見出しを利用して「金閣寺でよろしいでしょうか」のような確認を行う．

3.1.3 ユーザ発話の質問タイプ判定
ユーザ発話の質問タイプの判定には，人手によるヒューリスティックなルールを用いる．たとえば，認識結果中に「誰ですか」という表現が含まれる場合には，人名をたずねる質問であると判定し ，「いくらですか」という表現が含まれる場合には金額をたずねる質問であると判定する．このように用意したルールにより，上記の質問タイプに加えて「場所」
「日時」
「長
さ・高さ」
「アクセス方法」の合計 6 種類の質問に対応する．
また，「 なぜですか」といったシステムが回答できな
い質問に対しても判定ルールを用意し，ユーザがこのようなタイプの質問をした場合にも，システムが質問に回答できないことをユーザに伝えて対処する．用意したルールのいずれにも該当しない場合には，発話は検索要求であると判定する．
3.1.4 質問に対する回答の生成
ユーザの発話が質問である場合には，知識ベースの中から回答箇所を抽出してユーザに回答する．本研
究では，テキストベースの質問応答システムで利用される一般的な手法を実装した．具体的には検索された文書の中に含まれる質問タイプに対応する固有表現（ NE ）毎に以下の特徴量に対するスコアを求める．こ
れらの値の積により回答抽出スコアを計算し，それが最大となる NE を質問への回答とする．
• ユーザ発話と文書間の類似度 （ 3.1.2 節）• NE を含む文にユーザの発話した名詞が含まれる
個数• NE を含む文節に係る文節，NE を含む文節が係る文節にユーザの発話した名詞が含まれる個数
なお，「 創立」と「創建」のような表現の揺れの問題に対処するために，国語辞典から作成した同義語表現リストにより語彙拡張を行っている．
このようにして得られた回答をユーザに説明する際に，テキストベースのシステムのように，回答となる箇所（人名や年など ）のみを答えることも考えられるが，対話の継続性などを考慮して回答を含む文全体を読み上げる．
3.2 システム主導の情報推薦
インタラクティブな情報推薦を行うために，システ
ム主導の質問を生成することを提案する．質問集合は，

知識ベースの文書から半自動的に生成する．また，これに加えて従来の情報推薦手法として文書構造を利用した情報推薦と，文書間類似度による情報推薦を考える．

3.2.1 システム主導の質問（ 手法 1)
本システムではユーザの検索要求にマッチした文書を要約して提示しているが，要約の際に重要文として選ばれなかった箇所にも，有用な情報が含まれている可能性がある．このような部分をユーザに提示する方法として，たとえば「より詳細な説明をしましょう
か？」といったプロンプトを出すことも考えられるが，ユーザの現在の話題に対する興味を引き出すために，システム主導でユーザに質問をするという形式を考える．
具体的な処理としては，事前に質問応答（ 3.1.4 節）の回答候補となる固有表現（ NE ）を含む文を対象に，以下の手順で質問文に変換しておく．
( 1 ) 知識ベースの文書に対して名詞を対象に tf ∗idf
スコアを計算し，そのスコアが高い NE（＝ユーザが興味を持ちそうな箇所）を提示の対象語句として抽出する．
( 2 ) 文に含まれる NE を対応する疑問詞に置き換える．
( 3 ) 構文解析の情報を利用して，NE を含む文節に係る文節，NE が係る動詞を含む文節と，その動詞に係る文節以外の文節を削除する．
( 4 ) 文末表現を質問形にする．
この手法により知識ベース中の文を質問に変換した例
を図 7 に示す．このようにして生成した質問から不自然なものを人手で修正・除去し，合計 495 個の質問を用意した．この中から，現在のトピックに対応する質問をユーザへの推薦の候補とする．



原文：イギリスのエリザベス女王が石庭を絶賛した
ことが海外のマスコミでも報道されて，. . .
⇓（ 対象の名詞を対応する疑問詞に置き換え ）- イギリスのエリザベス女王が何を絶賛した
ことが海外のマスコミでも報道されて，. . .
⇓（ 対象の名詞が係る/係られる文節以外を削除）- イギリスのエリザベス女王が何を絶賛した⇓（ 疑問文に変換）
質問：イギリスのエリザベス女王が何を絶賛したか知っていますか？



Fig. 7

図 7 システム主導の質問の生成例
Example of system-initiative quetion generation

3.2.2 文書の階層構造・文書間類似度を利用した情報推薦システム主導の質問に加えて，一般的に用いられる
情報推薦手法として，以下の 2 つの手法を実装した．

情報処理学会 インタラクション 2007
Ｕ１： 銀閣寺について教えてください．
Ｓ１： 銀閣寺は京都市左京区にある東山文化を代表する
臨済宗相国寺派の寺院です．通称は銀閣寺，
山号は東山です．銀閣寺の歴史やみどころについて何か知りたいことはありますか？
Ｕ２： いつ建てられましたか？
Ｓ２： 銀閣寺の建立は 1482 年です．
（ 沈黙を検出）Ｓ３： では，銀閣寺は誰が建てたか知っていますか？
Ｕ３： わかりません．
Ｓ４： 銀閣寺の創立者は室町幕府８代将軍の足利義政，
開山は夢窓疎石とされています．
Ｕ４： ど うやって行けばいいですか？
......
図 8 システムとの対話例 1
Fig. 8 Example dialogue 1• 文書の階層構造を利用した情報推薦（ 手法 2 ）一般的に文書は，節など の見出しを用いて階層的に記述されていることが多い．本研究で扱う
Wikipedia においても，図 5 に示すように，見出し語を用いて階層的に記述されている．このような文書の階層構造を利用して現在提示中の文書の未提示の節を推薦する．
• 文書間類似度を利用した情報推薦（ 手法 3 ）Web など の情報推薦においては，ユーザの表示
履歴情報を利用して，ユーザの興味が近い文書を推薦することが一般的に行われている．このような情報推薦における知見を利用して，現在提示中の文書と類似度が高い文書を推薦する．
以上の対話戦略を実装したシステムによる対話の例を図 8 に示す．

4. フィールド テスト によるデータの収集
提案する対話の枠組みを京都大学総合博物館企画展「コンピュータに感覚を」の展示システムとして実装を行った．実装に際して，奈良先端大学院大学で開発7)された音声対話システム「たけまるくん」
をベースに情報検索・質問応答・情報推薦の機能を拡張した．
ユーザの発話を音声認識するための言語モデルとして，
著者らが文献11) において提案した手法により大量のWeb テキストから N-gram 言語モデルを作成した．シ
ステムの利用者は，企画展期間中に博物館を訪れた一般の来館者であり，子供から高齢者までの幅広い年齢層の話者である．
利用に際して，ユーザには顔画像認識を行うために，
しばらくロボットの目（カメラ）を見る必要があることを記した図を提示した．音声対話部に関しては，発話例（「○○について教えて」，「○○はいつですか 」
のみ）を提示した以外には，特別な教示は与えていな
い．顔画像認識による名前の呼びかけを含むシステム
による対話例を図 9 に示す．

（ 話者の顔認識に成功）
Ｓ１： ○○さんですよね！こんにちは，私は京都の観光案内をしているモモコと申します．
京都の観光地について何か知りたいことはありませんか？
Ｕ１： 龍安寺について教えてください．
Ｓ２： 龍安寺は，京都市右京区にある臨済宗妙心寺派の
山号を大雲山と称します．本尊は釈迦如来，
創立者は細川勝本，開山は義天玄承です．
Ｓ３： では，イギリスのエリザベス女王がこの寺の何を絶賛したか知っていますか？
Ｕ２： 教えて．
Ｓ４： イギリスのエリザベス女王が１９７５年に公式訪問した際に，石庭を絶賛したことが海外のマスコミに取り上げられて，一躍有名になりました．
......
図 9 システムとの対話例 2
Fig. 9 Example dialogue 2

4.1 データの収集結果
特別展開催期間の 2006 年 6 月 7 日から 8 月 27 日までの約 3ヶ月間の運用を行い，2,564 対話を収集した．図 10 に一週間毎の対話数（のべ利用者数）を示
す．8 月に入り，利用者が増加しているのは，夏休みに入り，入館者が増加したためであると考えられる．
システムの利用者は一日平均で約 50 名であった．これは，博物館の入場者が一日平均 150 名程度であり，本企画展の他に常設展やイベントが行われていたことを考慮すると，企画展を訪れた入場者の多くが本シス
テムを利用したと考えられる．さらに，顔画像認識を利用した声かけの回数を図 10 に併記する．システムが生成した呼びかけの回数は，対話数とほぼ同じであり，この機能が積極的に利用されていたことが確認された．
4.2 発話内容の分析
次に 6 月 17 日から，7 月 7 日までの 11 開館日を対象に，（ 無意味な入力なども含む）全ての発話を書き起こし，発話内容の分析を行った．この期間中に収集された対話数は 465 回で，この中の 52.7%にあたる 245
対話に京都観光案内に関する発話が含まれていた．また，質問を含む対話は全体の 23.4%にあたる 109 対話であった．なお，京都観光案内に関する発話に対する音声認識精度は 70.6%であった．
次に，発話内容の詳細な分析を行った．前述の対話中に含まれる発話数は合計 2930 回であった．この内訳を表 2 に示す．表中の “検索要求” は，本システムのメイントピックである京都の観光案内に関する検索要求（ 質問を除く）である．“質問” は，「 金閣寺はい
つできましたか？」といった，京都の観光地に関する
具体的な質問である．“受理/拒否” は，システムの生成する確認や，情報推薦に対する「はい」「お願いします」といったユーザの回答である．“あいさつ” には，「 こんにちは」といったロボットに対するあいさつ質問応答・情報推薦機能を備えた音声による情報案内システム
表 3 音声認識信頼度利用と QA 成功率の関係
Table 3 Eﬀect of using speech recognition conﬁdence
measure

600
500

話者数

400

顔認識による声かけ300

QA 成功率 (%)

あり

60.7 (62.9, 47.2)
55.7 (54.0, 66.0)

なし

200

表 4 N-best 候補利用と QA 成功率の関係
Table 4 Eﬀect of using N-best hypotheses

100

Ju
ne
_
Ju 1
ne
_
Ju 2
ne
_3
Ju
ne
_4
Ju
ly_
1
Ju
ly_
2
Ju
ly_
3
Ju
ly_
4
Au
g_
1
Au
g_
2
Au
g_
3
Au
g_
4

0

図 10 利用者数・顔画像認識利用回数
Fig. 10 Number of collected dialogue

N-best 候補の利用

QA 成功率 (%)

3-best 候補のマージ (proposed)
1-best 候補のみ (baseline)
最適候補の選択 (reference)

60.7 (62.9, 47.2)
57.9 (61.0, 39.6)
63.1 (65.8, 47.2)

表 5 コンテキスト利用と QA 成功率の関係
Table 5 Contextual eﬀect for QA

表 2 ユーザ発話の内訳
Table 2 Speciﬁcation of user utterances

コンテキスト利用

QA 成功率 (%)

現在のトピック (proposed)

60.7 (62.9, 47.2)
36.9 (30.4, 75.5)
54.6 (54.3, 56.6)
55.7 (56.9, 49.1)
55.5 (56.5, 49.1)

発話内容

比率 （サンプル数）

コンテキストなし

検索要求

17.5% (513)
8.0% (234)8.0% (672)
23.3% (684)
15.2% (444)
13.1% (383)

直前の 1 発話のみ

質問
受理/拒否
あいさつ
ド メイン外発話
非音声や，「 何歳ですか」といった，ロボット自身に関する質問が含まれる．このような発話に対しては，あらかじめ用意したテンプレートにより対処を行う．“ド メイ
ン外発話” は，以上のどれにも該当しない発話であり，
人が聞いても意味不明な発話も多い．“非音声” は，ロボットのサーボ音や周囲の雑音を拾ったもので，本来棄却することが望ましいものである．
“あいさつ” に分類される発話が多いのは，顔画像認
識による名前の呼びかけを行うエージェントが，ユー
ザにとって親し みやすいものであったためと考えられる．

5. 観光案内対話の性能評価
5.1 質問応答の性能評価
まず最初に，366 回の質問により質問応答の成功率の評価を行った☆ ．知識ベース中にユーザの質問の回答となる箇所が存在する場合には，該当箇所を含む文を提示できた場合に質問応答成功とした．また，回答箇所が存在しない場合には，質問の回答がないことをユーザに伝えられた場合に質問応答成功とした．評価の結果，質問応答の成功率は，60.7% （回答が存在する場合で 62.9%, 存在しない場合で 47.2% ）であった．
次に，音声認識の信頼度を用いることによる効果を調べた．提案システムでは，ユーザの発話と知識ベー☆

音声認識信頼度の有無

質問応答は MRR(mean reciprocal rank) により評価が行われることが多いが，音声で複数候補を提示することは困難なため単純な成功率により評価を行った．

直前の 5 発話
ユーザの全発話スとのマッチングの際に信頼度を重みとして利用している．表 3 に示すとおり，信頼度を利用することによる成功率の改善が確認された．
また，音声認識結果の 3-best 候補をマージして用いることによる効果を調べた．比較対象として，1-best
候補のみを用いる場合 (baseline) ，3-best 候補それぞれで回答抽出を行い多数決を行う場合，3-best の中から最適な候補を選択する場合との比較を行った．この結果を表 4 に示す．1-best のみ，3-best 候補で別々に検索して多数決をとる場合と比較して，3-best 候補をマージしてクエリを作成することによる成功率の改善が見られた．ただし，3-best 候補で別々に検索を行い，最適なものを選択することで，さらに高い成功率が得られることが示された．この成功率は，3-best 候
補の選択による上限値であり，著者らが文献12) において提案した検索後の確認を生成することによって得られると考えられる☆☆ ．
さらに，検索において利用するコンテキスト長（ =以前のユーザの発話数）の評価を行った．この結果を表 5 に示す．コンテキストの付与を行わない場合には，成功率が著しく低下している．一方，ユーザの全発話を利用した場合にも，成功率が低下しているため，必要以上の長さを付与することが成功率に悪影響を与えることが示された．従って，提案するトピック同定に基づくコンテキスト付与の有効性が示された．

5.2 システム主導の推薦の評価提案するシステム主導の質問の効果を確かめるため☆☆

現在のシステムには，この確認は実装されていない

情報処理学会 インタラクション 2007
表 6 システム主導の情報推薦の評価
Table 6 Comparison of recommendation method
推薦手法

受理率 (%)

質問 (Proposed method 1)

74.7
51.1
30.8

文書構造 (Method 2)
文書間類似度 (Method 3)に，利用可能な推薦候補をランダムに生成した．シス
テムが生成した情報推薦は 427 対話中で 319 回であった．ユーザがシステムの提案に沿って情報提供を受け
た☆ 場合に，推薦内容を受理したものとして評価した．
推薦手法毎の受理率を表 6 に示す．システム主導による質問（ 手法 1 ）受理率が他の手法と比較して高い．
これは，手法 1 がユーザに回答を答えさせるというイ
ンタラクティブ性が高く，ユーザの興味を引くものであったためとであると考えられる．
さらに，システム主導の検索・質問応答モード と，
システム主導の情報推薦モード の遷移回数に関する分析を行った．検索・質問応答モードから，情報推薦
モード への遷移は，185 回の対話で行われ，のべ回数は 420 であった．逆方向の遷移は，122 回の対話において 297 回行われた．これにより，システム主導の情報推薦を行うことで，ユーザの興味が喚起されて対話が長く継続していることが確かめられた．

6. お わ り に
本稿では，音声が主要なモダリティである環境において，インタラクティブに文書の検索・提示を行う音
声対話システムの提案を行った．インタラクティブに情報を提示するために，ユーザ主導の検索・質問応答
モードと，システム主導の情報推薦モードを用意した．
また，質問応答技術・顔画像認識による名前の呼びかけを用いてインタラクティブな情報提示を行う枠組みを提案した．観光案内システムを構築し長期間にわたる運用を行い，提案手法が有効に機能していることを
確認した．

謝

辞

本研究に対して多大な協力を頂いた奈良先端科学技
術大学院大学教授鹿野清宏先生，京都大学教授黒橋禎夫先生，笹野遼平氏，及び顔画像認識を提供していた
だいたオムロン株式会社に深く感謝します．

参

考

文

献

1) Zue, V., Seneﬀ, S., Glass, J., Polifroni, J., Pao,
C., Hazen, T.J. and Hetherington, L.: Jupiter:
A telephone-based conversational interface forwaeather information, IEEE Trans. on Speech☆

人手により判断

and Audio Processing, Vol. 8, No. 1, pp. 85–96(2000).
2) 堂坂浩二，安田宜仁，相川清明：システム知識制
限下での効率的対話制御法，自然言語処理， Vol.9,
No.1, pp.43–63 (2002).
3) 安達史博，河原達也，奥乃 博，岡本隆志，中嶋宏：Voice XML の動的生成に基づく自然言語
音声対話システム，情処学研報，2002-SLP-40-23(2002).
4) Akiba, T. and Abe, H.: Exploiting Passage
Retrieval for N-Best Rescoring of Spoken Questions, Proc. Interspeech (2005).
5) 神田崇行，佐藤留美，才脇直樹， 石黒浩：対話型ロボットによる小学校での長期相互作用の試
み，ヒューマンインタフェース学会論文誌 (ソーシャルインタフェース特集号)， Vol.7, No.1, pp.
27–37 (2005).
6) 川本真一， 下平博，新田恒雄，西本卓也， 中村哲，伊藤克亘，森島繁生，四倉達夫，甲斐充彦，
李晃伸，山下洋一，小林隆夫，徳田恵一，広瀬啓吉，峯松信明， 山田篤， 伝康晴，宇津呂武
仁，嵯峨山茂樹：カスタマイズ性を考慮した擬人化
音声対話エージェントツールキットの設計，情報処理学会研究報告， Vol.43, No.7, pp.2249–2263(2002).
7) 西村竜一，西原洋平，鶴身玲典， 李晃伸，
猿渡洋，鹿野清宏：実環境研究プラットホームとしての音声情報案内システムの運用，電子情報通信学会論文誌，Vol.J87-DII, No.3, pp.789–798(2004).
8) Kaji, N., Okamoto, M. and Kurohashi, S.:
Paraphrasing Predicates from Written Language to Spoken Language Using the Web,
Proc. of HLT/NAACL (2004).
9) Matsuda, M. and Fukumoto, J.: Answering
Question of IAD Task using Reference Resolution of Follow-up Questions, Proc. the Fifth
NTCIR Workshop Meeting on Evaluation ofInformation Access Technologies, pp. 414–421(2006).
10)
李晃伸，河原達也：２パス探索アルゴ リズム
における高速な単語事後確率に基づく信頼度算出
法，電子情報通信学会技術研究報告，SP2003-160(2003).
11) Misu, T. and Kawahara, T.: A Bootstrapping Approach for Developing Language Modelof New Spoken Dialogue Systems by Selecting
Web Texts, Proc. Interspeech, pp.9–12 (2006).
12)
翠輝久，駒谷和範，清田陽司，河原達也：音声対話によるソフトウェアサポートタスクのための効率的な確認戦略，電子情報通信学会論文誌，Vol.J88-DII, No.3, pp.499–508 (2005).