(57)【要約】【課題】本発明は、ある対話システムを用いて作成された対話記録を使って談話理解部の性能を評価するときに、その対話システムの対話状態の保存を必要とせず、その対話システムの理解に依存しない形で性能を評価できるようにすることを目的とする。【解決手段】複数の評価用対話を作成対象として、ユーザ発話とシステム発話とユーザ発話により生じた対話状態の正解とについて記録する対話記録を作成して、記憶手段に保存する。そして、その作成した評価用対話の対話記録を選択し、評価対象の談話理解部に対して、その選択した評価用対話の対話記録が持つ発話をその記録順に提示し、その提示に応答して談話理解部が出力するユーザ発話により生じた対話状態と、記憶手段に保存されるその対話状態の正解とが一致するのか否かを判定して、その一致の判定が得られるまでに評価対象の談話理解部に提示した発話情報に基づいて性能評価値を算出する。【選択図】図３
2005258849.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが情報要求を入力するたびに、ユーザとのやり取りの履歴を用いてユーザの情報要求内容を特定し、それに応じてユーザに対して応答するという処理を行う対話システムの持つ談話理解部の性能を評価するために用いられる談話理解性能評価方法であって、
ある対話システムを用いて複数の評価用対話について作成されて、ユーザ発話とシステム発話とユーザ発話により生じた対話状態の正解とについて記録する対話記録が保存される記憶装置を参照する過程と、
上記記憶装置に保存される評価用対話の対話記録を選択し、評価対象の談話理解部に対して、その選択した評価用対話の対話記録が持つ発話をその記録順に提示する過程と、
上記発話の提示に応答して評価対象の談話理解部が出力するユーザ発話により生じた対話状態と、そのユーザ発話に対応付けて上記記憶装置に保存される対話状態の正解とが一致するのか否かを判定する過程と、
上記一致の判定が得られるまでに評価対象の談話理解部に提示した発話情報に基づいて、評価対象の談話理解部の性能評価値を算出する過程とを備えることを、
特徴とする談話理解性能評価方法。
【請求項２】
請求項１に記載の談話理解性能評価方法において、
ある対話システムを用い、複数の評価用対話を作成対象として、ユーザ発話とシステム発話とユーザ発話により生じた対話状態の正解とについて記録する対話記録を作成し、それを上記記憶装置に保存する過程を備えることを、
特徴とする談話理解性能評価方法。
【請求項３】
請求項１又は２に記載の談話理解性能評価方法において、
上記算出する過程では、上記一致の判定が得られるまでに評価対象の談話理解部に提示した発話の回数に基づいて、評価対象の談話理解部の性能評価値を算出することを、
特徴とする談話理解性能評価方法。
【請求項４】
請求項１又は２に記載の談話理解性能評価方法において、
上記算出する過程では、上記一致の判定が得られるまでに評価対象の談話理解部に提示した発話の長さを示す情報に基づいて、評価対象の談話理解部の性能評価値を算出することを、
特徴とする談話理解性能評価方法。
【請求項５】
請求項１ないし４のいずれか１項に記載の談話理解性能評価方法において、
上記記憶装置は、発話については音声データの形で保存するように構成されることを、
特徴とする談話理解性能評価方法。
【請求項６】
ユーザが情報要求を入力するたびに、ユーザとのやり取りの履歴を用いてユーザの情報要求内容を特定し、それに応じてユーザに対して応答するという処理を行う対話システムの持つ談話理解部の性能を評価するために用いられる談話理解性能評価装置であって、
ある対話システムを用いて複数の評価用対話について作成されて、ユーザ発話とシステム発話とユーザ発話により生じた対話状態の正解とについて記録する対話記録が保存される記憶手段と、
上記記憶手段に保存される評価用対話の対話記録を選択し、評価対象の談話理解部に対して、その選択した評価用対話の対話記録が持つ発話をその記録順に提示する提示手段と、
上記発話の提示に応答して評価対象の談話理解部が出力するユーザ発話により生じた対話状態と、そのユーザ発話に対応付けて上記記憶手段に保存される対話状態の正解とが一致するのか否かを判定する判定手段と、
上記一致の判定が得られるまでに評価対象の談話理解部に提示した発話情報に基づいて、評価対象の談話理解部の性能評価値を算出する算出手段とを備えることを、
特徴とする談話理解性能評価装置。
【請求項７】
請求項６に記載の談話理解性能評価装置において、
上記算出手段は、上記一致の判定が得られるまでに評価対象の談話理解部に提示した発話の回数に基づいて、評価対象の談話理解部の性能評価値を算出することを、
特徴とする談話理解性能評価装置。
【請求項８】
請求項６に記載の談話理解性能評価装置において、
上記算出手段は、上記一致の判定が得られるまでに評価対象の談話理解部に提示した発話の長さを示す情報に基づいて、評価対象の談話理解部の性能評価値を算出することを、
特徴とする談話理解性能評価装置。
【請求項９】
請求項１ないし５のいずれか１項に記載の談話理解性能評価方法の実現に用いられる処理をコンピュータに実行させるための談話理解性能評価プログラム。
【請求項１０】
請求項１ないし５のいずれか１項に記載の談話理解性能評価方法の実現に用いられる処理をコンピュータに実行させるための談話理解性能評価プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが情報要求を入力するたびに、ユーザとのやり取りの履歴を用いてユーザの情報要求内容を特定し、それに応じてユーザに対して応答するという処理を行う対話システムの持つ談話理解部の性能を評価するために用いられる談話理解性能評価方法及びその装置と、その談話理解性能評価方法の実現に用いられる談話理解性能評価プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
ユーザが文字列または音声を用いてシステムに情報要求を入力するたびに、ユーザとシステムのやり取りの履歴を用いて、システムが保持するユーザ情報要求内容を更新し、その更新したユーザ情報要求内容に応じて、ユーザに対して文字列または音声により応答するという処理を行う対話システムがある。
【０００３】
ユーザが対話システムに情報要求を入力する際に用いるユーザの文字列または音声をユーザ発話と呼び、ユーザ発話によって対話システムに伝達される情報要求内容のことを対話行為と呼ぶ。ユーザ発話から対話行為を導出することを言語理解といい、音声対話システムの場合は特に音声理解という。
【０００４】
なお、対話行為は、対話行為タイプとそれに付随する情報とに分けられる。対話行為タイプとは対話行為の大まかな意味種別を表す記号である。
【０００５】
対話システムが保持するユーザ情報要求内容は対話状態と呼ばれ、対話システムはユーザ発話の入力のたびに、ユーザとシステムのやり取りの履歴を用いて、対話状態を更新する。この更新プロセスのことを談話理解と呼ぶ。言語理解、談話理解など、ユーザ発話の入力により、システムの内部状態が変更されることを一般に理解という。ユーザの入力が音声に限られた対話システムのことを、特に音声対話システムと呼ぶ。
【０００６】
対話システムにおける談話理解性能を評価する手法としては、以下のものが挙げられる。
【０００７】
〔１〕実被験者を用いた対話実験
評価したい談話理解部を組み込んだ対話システムを準備して、実被験者に対話システムを使用してもらい、対話システムからサービスの提供を受けるのに必要とされる一連の作業を行うのに要する時間（タスク達成時間）や、そのサービスを受けることのできる達成率（タスク達成率）といったような指標を用いて、従来の対話システムと比較する。
【０００８】
タスク達成率やタスク達成時間が改善されていれば、談話理解部は改善されたものといえる。
【０００９】
〔２〕対話記録を用いた評価実験
談話理解部を持つ初期システムを準備し、実被験者に初期システムを使用してもらい、ユーザ発話の直前と直後における初期システムの対話状態を対話記録に保存する。その後、対話記録に対して、人手で対話状態の正解を与える。
【００１０】
次に、評価したい談話理解部（初期システムから進化した談話理解部など）を用意して、対話記録の発話直前の対話状態から、人手で与えられた正解にどれほど近づけるかを算出し、その値を用いて評価する。
【００１１】
下記に示す非特許文献１では、音声対話システムにおいて、音声認識の複数の候補とＩＳＳＳ（Incremental Sentence Sequence Search）という手法とを組み合わせる方法により、談話理解の精度が向上することを報告しているが、その検証を行うために、この評価方法を用いている。
【非特許文献１】宮崎昇, 中野幹生, 相川清明,"ｎ−ｂｅｓｔ音声認識と逐次理解法によるロバストな音声理解",SIG-SLP-40, 2002, 121-126
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、『実被験者を用いた対話実験』による従来の評価方法では、実ユーザによる対話実験を必要とすることから、人的及び時間的にコストが高いという問題があるとともに、被験者の個人差による影響を受けるという問題がある。
【００１３】
また、『対話記録を用いた評価実験』による従来の評価方法では、実ユーザによる対話実験を必要としないことから、コストの問題は解消されるようになるものの、初期システムによる対話状態をすべて保存しておく必要があるという問題がある。
【００１４】
そして、初期システムからどの位改善されたのかを尺度する形での評価であるので、評価できる性能に限界があるという問題がある。さらなる性能の改善を評価できるようにするためには、改善されたシステムを新たに初期システムとして対話実験を行い、その対話記録を用いて評価を行う必要があるという問題もある。
【００１５】
本発明はかかる事情に鑑みてなされたものであって、ある対話システムを用いて作成された対話記録を使って評価対象の談話理解部の性能を評価するという構成を採るときにあって、その対話システムの対話状態の保存を必要とせず、さらに、その対話システムの理解に依存しない形で、評価対象の談話理解部の性能を評価できるようにする新たな談話理解性能評価技術の提供を目的とする。
【課題を解決するための手段】
【００１６】
この目的を達成するために、本発明の談話理解性能評価装置は、ユーザが情報要求を入力するたびに、ユーザとのやり取りの履歴を用いてユーザの情報要求内容を特定し、それに応じてユーザに対して応答するという処理を行う対話システムの持つ談話理解部の性能を評価するために、（１）ある対話システムを用いて複数の評価用対話について作成されて、ユーザ発話とシステム発話とユーザ発話により生じた対話状態の正解とについて記録する対話記録が保存される記憶手段と、（２）記憶手段に保存される評価用対話の対話記録を選択し、評価対象の談話理解部に対して、その選択した評価用対話の対話記録が持つ発話をその記録順に提示する提示手段と、（３）提示手段の提示した発話に応答して評価対象の談話理解部が出力するユーザ発話により生じた対話状態と、そのユーザ発話に対応付けて記憶手段に保存される対話状態の正解とが一致するのか否かを判定する判定手段と、（４）判定手段による一致の判定が得られるまでに評価対象の談話理解部に提示した発話情報に基づいて、評価対象の談話理解部の性能評価値を算出する算出手段とを備えるように構成する。
【００１７】
この構成を採るときにあって、記憶手段は、音声認識技術の改良が進むことを考慮して、ユーザ及びシステムの発話を音声認識結果の文字コードで保存するのではなくて、音声データの形で保存することがある。
【００１８】
また、算出手段は、例えば、一致の判定が得られるまでに評価対象の談話理解部に提示した発話の回数（例えばユーザ発話の回数）に基づいて、評価対象の談話理解部の性能評価値を算出したり、一致の判定が得られるまでに評価対象の談話理解部に提示した発話の長さを示す情報（例えば単語数）に基づいて、評価対象の談話理解部の性能評価値を算出する。
【００１９】
以上の各処理手段が動作することで実現される本発明の談話理解性能評価方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００２０】
本発明では、ある対話システムを用い、複数の評価用対話を作成対象として、ユーザ発話とシステム発話とユーザ発話により生じた対話状態の正解とについて記録する対話記録を作成し（対話状態の正解については手入力となる）、それを記憶手段に保存する。そして、このようにして記憶手段に保存した対話記録を使って、評価対象の談話理解部の性能の評価を行う。
【００２１】
すなわち、この記憶手段に保存される評価用対話の対話記録を選択し、評価対象の談話理解部に対して、その選択した評価用対話の対話記録が持つ発話をその記録順に提示する。そして、その発話の提示に応答して評価対象の談話理解部が出力するユーザ発話により生じた対話状態と、そのユーザ発話に対応付けて記憶手段に保存される対話状態の正解とが一致するのか否かを判定して、その一致の判定が得られるまでに評価対象の談話理解部に提示した発話情報に基づいて、評価対象の談話理解部の性能評価値を算出することで、評価対象の談話理解部の性能を評価する。
【００２２】
例えば、音声対話を用いた天気情報案内システムの持つ談話理解部の性能評価を行う場合、ある天気情報案内システムを用いて、図１の左側に示すような対話記録を作成して、それを記憶手段に保存することになる。
【００２３】
ここで、図１の左側に示す対話記録は、ある評価用対話についてのものであり、このような対話記録が評価用対話ごとに作成されることになる。また、記憶手段に保存される対話記録では、対話収録時の対話状態の理解結果については保存しておく必要がないが、図１の左側に示す対話記録では、これを保存する例を示してある。
【００２４】
この記憶手段に保存される対話記録を使って、本発明に従って談話理解部Ａ，Ｂの性能を評価すると、談話理解部Ａについては、例えば２発話目のユーザ発話で正解の対話状態を理解し、談話理解部Ｂについては、例えば３発話目のユーザ発話で正解の対話状態を理解したというような結果が得られる。
【００２５】
この結果により、談話理解部Ａ，Ｂのどちらとも、記憶手段に保存される対話記録の収録に用いた談話理解部よりも性能的に優れているということが評価できるとともに、談話理解部Ａの方が談話理解部Ｂよりも性能的に優れているということが評価できることになる。
【００２６】
もちろん、談話理解部が異なればシステムの確認発話内容も変化すると考えられる。例えば、
『明日の東京の天気を教えて下さい』
というユーザ発話Ｕ１に対しての談話理解部Ｂにおける対話状態は、この例では、
＜今日，ｎｕｌｌ，天気＞
である。そのため、次のシステム発話Ｓ１は、実際には、
『明日の京都の天気についてですね？』
とはならないと考えられる。
【００２７】
しかるに、本発明では、記憶手段に保存される対話記録に従って、続いて、談話理解部Ｂに対して、
『明日の京都の天気についてですね？』
というシステム発話Ｓ１を提示することにより、談話理解部Ｂが、
『明日の京都の天気についてですね？』
というシステム発話Ｓ１を発話した対話状態を作り出すようにしている。
【００２８】
この点については、対話システムの文脈理解の過程を考えると何ら矛盾することではない。
【００２９】
すなわち、本発明者らが「東中，中野，相川."複数文脈を用いる音声対話システムにおける統計モデルに基づく談話理解法".情処研報 2003-SLP-45, pp.101-106,2003.」で開示しているように、対話システムでは、図２に示すように、対話状態の可能性をすべて保持しながらユーザ発話を理解していくことになる。
【００３０】
これから、談話理解部Ｂは、選択可能な複数の対話状態の候補の中から、ユーザ発話Ｕ１の対話状態として、
＜今日，ｎｕｌｌ，天気＞
を選択したと考えることができる。その場合、談話理解部Ｂは、理解結果として、
＜明日，京都，天気＞
についても潜在的に保持していると考えられ、これから、
『明日の京都の天気についてですね？』
というシステム発話Ｓ１を発話しないとは言い切れない。
【００３１】
結局、対話システムは対話状態の正解にたどり着くまで誤った確認などを繰り返すことから、談話理解部は、それらの情報も対話状態の確定に利用すればよいと考えられる。
【発明の効果】
【００３２】
以上に説明したことから分かるように、本発明によれば、ある対話システムを用いて作成された対話記録を使って評価対象の談話理解部の性能を評価するという構成を採るときにあって、その対話システムの対話状態の保存を必要とせず、さらに、その対話システムの理解に依存しない形で、評価対象の談話理解部の性能を評価できるようになる。
【００３３】
これから、本発明によれば、評価できる談話理解部の性能の幅が広くなり、これにより、談話理解部の改善を効率的に実行できるようになる。
【発明を実施するための最良の形態】
【００３４】
以下、実施の形態に従って本発明を詳細に説明する。
【００３５】
図３に、本発明を実現するシステムの構成の一例を図示する。
【００３６】
図中、１は本発明を具備する談話理解性能評価装置、２は本発明の談話理解性能評価装置１の備える対話記録装置、３は本発明の談話理解性能評価装置１の評価対象となる評価対象対話システムである。
【００３７】
評価対象対話システム３は、どのような対話システムであってもよいが、例えば、音声対話を用いた天気情報案内システムがある。
【００３８】
対話システムでは、ユーザ発話を受け付けて、対話状態の内容が一定の条件を満たせば、ユーザに応答を返すように設計されている。例えば、天気情報案内システムの場合、ユーザがシステムに地名、日にち、情報種別（天気、気温、降水確率のいずれか）を伝え終わった後に、システムはユーザに天気情報を提供する。ユーザが一方的にシステムに要件を伝えるだけではなくて、状況によっては、システムが発話によってユーザ発話を促す場合もある。
【００３９】
図４に、音声対話を用いた天気情報案内システムのような音声対話システムの基本的な構成を図示する。
【００４０】
この図に示すように、音声対話システムは、主に、音声認識部・言語理解部・談話理解部からなる発話理解部と、内容生成部・表層生成部・音声生成部からなる発話生成部とから構成される。
【００４１】
この音声認識部は、ユーザ発話音声を受け取り、認識単語列を出力する。言語理解部は、認識単語列を入力とし、構文解析・意味解析等の言語処理を行い、対話行為と呼ばれる発話意図、発話内容の理解結果を出力する。単独のユーザ発話から発話意図、発話内容を得ることを音声理解と呼ぶ。
【００４２】
談話理解部（図３中に示す３０）は、音声理解の結果である対話行為と、現時点での対話状態を入力とし、対話状態を更新する。
【００４３】
ここで、対話状態とは、正確には、システムが内部に保持するさまざまな対話に関する情報のことを指し、文脈と同義となるものである。例えば、対話状態は、対話の各時点でのユーザ意図の理解結果、ユーザ発話履歴、システム発話履歴などを含むものである。ただし、本発明の談話理解性能評価装置１で用いる対話状態とは、図１に記載するように、そのうちのユーザ発話により生じた対話状態だけを指し、本発明の談話理解性能評価装置１は、そのような対話状態の理解結果に対しての正解を使って、評価対象対話システム３の持つ談話理解部３０の性能評価を行うことになる。
【００４４】
発話生成部は、更新された対話状態を元に次発話を生成する。適切に応答するには、システムはできるだけ適切に対話状態を更新する必要がある。
【００４５】
本発明の談話理解性能評価装置１は、このような構成に従う評価対象対話システム３の持つ談話理解部３０の性能を評価する処理を行うものであるが、この評価を実現するために、あらかじめ、ある対話システム（例えば、評価対象対話システム３のある時点のシステム）を用い、ユーザとシステムとの対話記録を収録して対話記録装置２に保存する処理を行う。
【００４６】
この対話記録装置２に保存される対話記録には、対話収録時のユーザ発話及びシステム発話（音声認識結果を含むことがある）が記録されるとともに、ユーザ発話毎に対話状態の正解がタグ付けされている。ここで、対話収録時の対話状態の理解結果については記録しておく必要はない。なお、この対話状態の正解については、正解のタグ付けを行う者により別途入力されることになる。
【００４７】
このユーザ発話については、図３中に示すユーザ発話音声ファイル２０に保存され、システム発話については、図３中に示すシステム発話音声ファイル２１に保存され、システム発話及びユーザ発話の音声認識結果（文字コードで表現される）については、音声認識結果ファイル２２に保存され、対話状態の正解については対話状態正解ファイル２３に保存されることになる。
【００４８】
なお、音声認識結果についてはその都度得ることができるので、音声認識結果ファイル２２については省略することも可能である。音声認識技術の進歩を考えると、音声認識結果についてはその都度得るようにした方のが好ましいので、音声認識結果ファイル２２については省略する方が好ましい。
【００４９】
本発明の談話理解性能評価装置１は、対話記録提示部１００と対話状態正解判定部１０１と評価部１０２とで構成される性能評価部１０を備えることで、対話記録装置２に保存される対話記録の発話列を順次評価対象の談話理解部３０に提示し、この提示に応答して談話理解部３０が出力する対話状態を受け取り、対話状態正解ファイル２３に保存されるその対話状態の正解と照合することで、談話理解部３０が正解を得たのか否かを判定して、正解を得るまでに提示した発話の回数をカウントすることで、談話理解部３０の性能を評価する処理を行う。
【００５０】
談話理解部３０は、ユーザとシステムとの発話のやり取りから、迅速かつ正確に対話状態を理解することが望ましい。そのため、対話記録における発話列を順に理解し、なるべく短い発話列から正解の対話状態を理解できる談話理解部３０ほど、その性能が高いと言える。
【００５１】
本発明の談話理解性能評価装置１は、この観点から、図５及び図６に示すフローチャートを実行することで、評価対象の談話理解部３０の性能を評価する処理を行う。
【００５２】
次に、このフローチャートに従って、本発明の談話理解性能評価装置１が実行する処理について詳細に説明する。
【００５３】
本発明の談話理解性能評価装置１は、評価対象の談話理解部３０の性能評価の要求があると、図５及び図６のフローチャートに示すように、先ず最初に、ステップ１０で、変数ｊに“１”をセットし、続くステップ１１で、変数「評価値」に“０”をセットする。
【００５４】
続いて、ステップ１２で、対話記録装置２に保存される複数の評価用対話の対話記録の中から、ｊ番目の評価用対話の対話記録を読み出す。すなわち、図１の左側に示すような対話記録を読み出すのである。
【００５５】
続いて、ステップ１３で、変数ｉに“０”をセットする。
【００５６】
続いて、ステップ１４で、読み出した対話記録の中から、前回取り出したユーザ発話との間に記録されるシステム発話を取り出し、続くステップ１５で、その取り出したシステム発話を評価対象の談話理解部３０に入力する。
【００５７】
続いて、ステップ１６で、読み出した対話記録の中から、ｉ番目のユーザ発話（ステップ１３で取り出したシステム発話に続くユーザ発話）を取り出し、続くステップ１７で、その取り出したユーザ発話を評価対象の談話理解部３０に入力する。
【００５８】
続いて、ステップ１８で、ユーザ発話の入力に応答して評価対象の談話理解部３０が出力する対話状態を受け取り、続くステップ１９で、その対話状態が対話記録装置２に保存される正解の対話状態と一致するのか否かを判断する。
【００５９】
このステップ１９の判断処理により、評価対象の談話理解部３０の出力する対話状態が正解にまで到達していないことを判断するときには、ステップ２０に進んで、変数ｉの値が読み出した対話記録の持つ全てのユーザ発話の処理終了を示しているのか否かを判断して、未処理のユーザ発話が残っていることを判断するときには、ステップ２１に進んで、変数ｉの値を１つインクリメントしてから、ステップ１４に戻る。
【００６０】
一方、ステップ１９の判断処理により、評価対象の談話理解部３０の出力する対話状態が正解に到達したことを判断するときには、ステップ２４に進んで、変数「評価値」の値にｉを加算したものを新たな変数「評価値」の値とする。
【００６１】
続いて、ステップ２５で、変数ｊの値が対話記録装置２に保存される全ての評価用対話の対話記録の処理終了を示しているのか否かを判断して、未処理の評価用対話の対話記録が残っていることを判断するときには、ステップ２６に進んで、変数ｊの値を１つインクリメントしてから、ステップ１２に戻る。
【００６２】
一方、ステップ２５で、変数ｊの値が対話記録装置２に保存される全ての評価用対話の対話記録の処理終了を示していることを判断するときには、ステップ２７に進んで、変数「評価値」の値を評価対象の談話理解部３０の評価値として出力する。
【００６３】
そして、ステップ２０で、変数ｉの値が読み出した対話記録の持つ全てのユーザ発話の処理終了を示していることを判断するときには、ステップ２２に進んで、変数ｊの値が対話記録装置２に保存される全ての評価用対話の対話記録の処理終了を示しているのか否かを判断して、処理終了を示していないことを判断するときには、ステップ２３に進んで、変数ｊの値を１つインクリメントしてから、ステップ１２に戻り、処理終了を示していることを判断するときには、ステップ２７に進んで、変数「評価値」の値を評価対象の談話理解部３０の評価値として出力する。
【００６４】
このようにして、本発明では、談話理解部３０が対話記録における発話列を順に理解し、その発話列から正解の対話状態を理解できるまでのユーザ発話数の総和を使って、その談話理解部３０の性能を評価するように処理するのである。
【００６５】
次に、本発明の有効性を検証するために行った実験結果について説明する。
【００６６】
この実験では、対話記録として、天気情報案内システムにおける１２０対話を収録した（後述するように、このうちの９０対話を評価用対話として用いた）。対話データの収集については、音声対話システムを過去に使ったことのないユーザを対象にして、簡易防音を施した部屋で行った。被験者は実験者の指示に基づき、都道府県名か市名、日付、情報種別（天気・気温・降水確率のいずれか）をシステムに伝え、天気情報の提供を受けた。この対話記録におけるユーザ発話はすべて書き起こされ、各ユーザ発話後の対話状態の正解のタグ付けを行った。
【００６７】
評価対象となる談話理解部３０としては、本発明者らが「東中，中野，相川."複数文脈を用いる音声対話システムにおける統計モデルに基づく談話理解法".情処研報 2003-SLP-45, pp.101-106,2003.」や、「Corpus-based Discourse Understanding in Spoken Dialogue Systems, Ryuichiro Higashinaka, Mikio Nakano, Kiyoaki Aikawa, ACL2003, pp.240-247,2003. 」で開示しているコーパスベース談話理解法を用いて、複数の談話理解部を用意した。
【００６８】
コーパスベース談話理解法とは、過去の対話記録から得られた統計情報を理解に用いる手法であり、統計情報をどの程度の重みで適用するかによって、理解の仕方を変動させることが可能である。重みを大きくすることで、より過去の対話記録に沿った理解を行うようになる。
【００６９】
本発明者らが開示したコーパスベース談話理解法では、統計情報の重みは二つのパラメタにより表現される。その一つは対話行為の連鎖確率に関するパラメタβであり、もう一つは対話状態と対話行為との共起確率（対話状態の変化の仕方についての確率）に関するパラメタγである。
【００７０】
このβとγとを用いて、本発明者らが開示したコーパスベース談話理解法では、ｍ個のスコア付き対話行為とｋ個のスコア付き対話状態との組み合わせによって、
Ｓt+1 ＝Ｓt ＋α×ｓact ＋β×ｓngram ＋γ×ｓcol 
ただし、  Ｓt     ：  更新前の対話状態のスコア
ｓact   ：  対話行為のスコア
ｓngram ：  連鎖確率に関するスコア
ｓcol   ：  共起確率に関するスコア
という算出式に従って、ｍ×ｋ個のそれぞれの対話状態のスコアＳt+1 を算出し、この中で最もスコアの高いものを最尤の対話状態として、それに基づいてユーザ応答を行うようにしている。
【００７１】
今回、βとγをそれぞれ０.0から２.0まで０.1ずつ変動させ、その組み合わせにより、全部で４４１個（２１×２１個）の談話理解部を作成した。β＝０，γ＝０の場合は、統計情報を全く用いない談話理解部であり、常に音声認識結果が一位ものを優先して理解に用いるという談話理解部である。なお、統計情報については、対話記録のうち、ランダムに選択した３０対話（約５００発話）から抽出した。
【００７２】
統計情報の抽出に用いた３０対話を除いた９０対話を、評価用対話として用いて談話理解部の評価を行った。４４１個の談話理解部を用いて９０対話を評価したため、全部で３９６９０対話をオフラインで評価したことになる。それぞれの対話について、正解の対話状態を保持するまでのユーザ発話数を求めた。また、最後まで正解の対話状態に達することができなかった対話については、タスク失敗としてカウントした。
【００７３】
図７は、４４１個の談話理解部それぞれのタスク達成率を元に作成した等高線図である。ここでいうタスク達成率とは、評価において、収録時の談話理解部よりも早く（または同時に）対話状態の正解に到達できた確率である。
【００７４】
色の濃いほどタスク達成率が高いことを示している。最もタスク達成率が高い談話理解部は、β＝０.4，γ＝０.1のものであり９５.1％であった。また、β＝０.0，γ＝０.0の場合は９３.2％であった。この差は、比較的認識率の低い３対話における差である。全体の傾向としては、βとγが０周辺のときにタスク達成率が高く、γを大きくするに従って、タスク達成率が低下する。
【００７５】
図８は、タスク達成した対話のみを対象としたときの、対話状態の正解を得るまでの平均発話数の等高線図である。
【００７６】
色が濃いほど平均発話数が多いことを示している。最も平均発話数が少ない談話理解部は、β＝０.1，γ＝１.0のものであり３.5３であった。また、β＝０.0，γ＝０.0の場合は３.8１であった。全体的に、βが小さくγが大きいときに平均発話数が少ない。
【００７７】
図７と図８との比較から、統計情報の重みが小さい方がタスク達成率は高く、タスクが達成可能な対話に関しては、統計情報の重みが有効に機能していると評価できる。
【図面の簡単な説明】
【００７８】
【図１】本発明の説明図である。
【図２】対話システムの説明図である。
【図３】本発明を実現するシステムの構成の一例を示す図である。
【図４】音声対話システムの基本構成を示す図である。
【図５】本発明の談話理解性能評価装置が実行するフローチャートである。
【図６】本発明の談話理解性能評価装置が実行するフローチャートである。
【図７】本発明の有効性を検証するために行った実験の実験結果を示す図である。
【図８】本発明の有効性を検証するために行った実験の実験結果を示す図である。
【符号の説明】
【００７９】
１      談話理解性能評価装置
２      対話記録装置
３      評価対象対話システム
１０    性能評価部
２０    ユーザ発話音声ファイル
２１    システム発話音声ファイル
２２    音声認識結果ファイル
２３    対話状態正解ファイル
３０    談話理解部
１００  対話記録提示部
１０１  対話状態正解判定部
１０２  評価部
【図１】
2005258849.tif 000003
【図２】
2005258849.tif 000004
【図３】
2005258849.tif 000005
【図４】
2005258849.tif 000006
【図５】
2005258849.tif 000007
【図６】
2005258849.tif 000008
【図７】
2005258849.tif 000009
【図８】
2005258849.tif 000010