(57)【要約】【課題】音声対話システムにおけるユーザ情報要求内容の理解結果の信頼度の推定精度を高める。【解決手段】プロトタイプの音声対話システムを用いて，システム発話の情報と，ユーザ発話の情報と，ユーザ発話毎の音声対話システムによるユーザ情報要求内容の理解結果およびその正誤に関する情報とを含む対話記録１０を作成し，記憶装置に保存する。保存された対話記録１０からシステムとユーザのやり取りに関する談話情報を取り出し，談話特徴量抽出部３０によって談話特徴量を抽出する。信頼性尺度作成部５０は，ユーザ情報要求内容の理解結果の信頼度を評価するための信頼性尺度を，ユーザ発話音声の音響・言語的特徴量に加え，談話情報から抽出した談話特徴量を用いて識別学習により作成する。【選択図】図１
2006039484.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが音声を用いてコンピュータによる音声対話システムに情報要求を入力するたびに，ユーザと音声対話システムとのやり取りの履歴を用いて，音声対話システムが保持するユーザ情報要求内容の理解結果を更新し，更新されたユーザ情報要求内容の理解結果に応じてユーザに音声により応答する音声対話システムにおけるユーザ情報要求内容の理解結果の信頼度算出処理方法であって，
既存の音声対話システムを用いて，システム発話の情報と，ユーザ発話の情報と，ユーザ発話毎の音声対話システムによるユーザ情報要求内容の理解結果およびその正誤に関する情報とを含む対話記録を作成し，記憶装置に保存する過程と，
前記記憶装置に保存された対話記録からユーザと音声対話システムとのやり取りに関する談話情報を取り出し，その談話情報におけるユーザ情報要求内容の理解結果の特徴に関する談話特徴量を抽出する過程と，
少なくとも，前記記憶装置に保存された対話記録から読み出したユーザ情報要求内容の理解結果と，その正誤に関する情報と，ユーザ発話音声の音響・言語的特徴量と，前記談話情報から抽出した談話特徴量とをもとに，識別学習を用いてユーザ情報要求内容の理解結果の信頼度を評価する信頼度評価手段を作成する過程とを有し，
音声対話システムにおけるシステム発話の情報と，ユーザ音声の認識結果およびその音響・言語的特徴量を含むユーザ発話の情報と，ユーザ発話毎の音声対話システムのユーザ情報要求内容の理解結果の情報と，ユーザと音声対話システムとのやり取りに関する談話情報から抽出した談話特徴量とをもとに，前記信頼度評価手段を用いてユーザ情報要求内容の理解結果の信頼度を算出する
ことを特徴とする対話理解結果の信頼度算出処理方法。
【請求項２】
前記談話特徴量を抽出する過程では，
ユーザ情報要求内容の理解結果の現在の値の出現比率，ユーザ情報要求内容の理解結果において最も出現回数が多い値の出現比率，ユーザ情報要求内容の理解結果における出現値の種類数，ユーザ情報要求内容の理解結果の現在の値が打ち消された回数，ユーザ情報要求内容の理解結果の現在の値が他の値により上書きされた回数，ユーザ情報要求内容の理解結果の現在の値がいくつ前まで同じ値を持っているかを示す値，ユーザ情報要求内容の理解結果の現在の値がいくつ前まで違う値を持っているかを示す値，ユーザ情報要求内容の理解結果の値を音声対話システムが確認をした後で同じ値をユーザが音声対話システムに伝達した回数，ユーザ情報要求内容の理解結果の現在の値と同じ値がこれまでのユーザ発話の中に何回出現したかを示す値，ユーザ情報要求内容の理解結果の現在の値と異なる値がこれまでのユーザ発話の中に何回出現したかを示す値，ユーザ情報要求内容の理解結果の現在の値と同じ値がこれまでのシステム発話の中に何回出現したかを示す値，またはユーザ情報要求内容の理解結果の現在の値と異なる値がこれまでのシステム発話の中に何回出現したかを示す値の少なくとも一つ以上を談話特徴量として抽出する
ことを特徴とする請求項１記載の対話理解結果の信頼度算出処理方法。
【請求項３】
前記信頼度評価手段を作成する過程では，
識別学習として，線形判別法，サポートベクターマシンまたは決定木学習を用いる
ことを特徴とする請求項１または請求項２記載の対話理解結果の信頼度算出処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，コンピュータが音声を用いて人と対話する音声対話技術に関し，特に，音声対話システムにおいて，ユーザ情報要求内容の理解結果の信頼度を，ユーザ音声の音響・言語的特徴に加え，ユーザとシステムとのやり取りに関する談話情報を用いて算出する対話理解結果の信頼度算出処理方法に関するものである。
【背景技術】
【０００２】
ユーザが音声を用いてシステムに情報要求を入力するたびに，ユーザとシステムのやり取りの履歴を用いて，システムが保持するユーザ情報要求内容の理解結果を更新し，更新されたユーザ情報要求内容の理解結果に応じて，ユーザに音声により応答するシステムのことを音声対話システムと呼ぶ。
【０００３】
音声対話システムの一般的な構成を図２に示す。１は発話理解部，２は発話生成部である。発話理解部１において，１００は音声認識部，１０１は言語理解部，１０２は談話理解部である。発話生成部２において，２００は内容生成部，２０１は表層生成部，２０２は音声生成部である。１０３は文脈理解規則・知識が格納される文脈理解規則・知識データベース（ＤＢ），１０４は構文意味理解規則・知識が格納される構文意味理解規則・知識ＤＢ，１０５は対話状態が格納される対話状態ＤＢ，１０６は対話制御応答生成規則・知識が格納される対話状態応答生成規則・知識ＤＢ，１０７はユーザが知りたいデータが格納されているデータベース，１０８は生成規則テンプレートが格納される生成規則テンプレートＤＢである。
【０００４】
ユーザが音声対話システムの発話理解部１に情報要求を入力する際に用いるユーザ音声をユーザ発話と呼び，ユーザの一発話によって音声対話システムに伝達される情報要求内容のことを対話行為と呼ぶ。ユーザ発話から対話行為を導出することを言語理解という。
【０００５】
音声対話では，まず発話理解部１の音声認識部１００は，ユーザ発話音声を受け取り，認識結果の単語列を出力する。言語理解部１０１は，認識結果の単語列を入力とし，構文意味理解規則・知識ＤＢ１０４内の構文意味理解規則・知識を用いて，キーワード抽出や構文解析・意味解析等の自然言語処理を行い，対話行為と呼ばれる発話意図，発話内容の理解結果を出力する。
【０００６】
談話理解部１０２は，対話行為と，現時点での対話状態を入力とし，文脈理解規則・知識ＤＢ１０３内の文脈理解規則・知識を用いて，対話状態ＤＢ１０５中の対話状態を更新する。対話状態とは，システムが内部に保持するさまざまな対話に関する情報のことを指す。主な要素はユーザ情報要求内容の理解結果であり，他に，ユーザ発話履歴，システム発話履歴なども保持する。
【０００７】
発話生成部２の内容生成部２００は，更新された対話状態をもとに，対話制御応答生成規則・知識ＤＢ１０６内の対話状態応答生成規則・知識とデータベース１０７内の情報とを用いて，システムの発話内容としての対話行為を生成し，表層生成部２０１は，それをもとに生成規則テンプレートＤＢ１０８内の生成規則テンプレートを用いて，発話文字列を出力し，音声生成部２０２がシステム発話を生成する。
【０００８】
図３に対話例と，ユーザ発話毎の音声対話システムの情報要求内容の理解結果を示す。図３の例では，ユーザ情報要求内容の理解結果はフレーム表現により表されている。フレーム表現は，スロットと呼ばれる属性値対から構成されるデータ構造であり，多くのシステムでユーザの情報要求内容の理解結果の表現に用いられている。図３に示す「ｐｌａｃｅ，ｄａｔｅ，ｉｎｆｏ」の全体の枠がフレームであり，「ｐｌａｃｅ」，「ｄａｔｅ」，「ｉｎｆｏ」の個々の要素がスロットである。ユーザ発話によりそれぞれのスロットに適切な値が埋まることで，音声対話システムはユーザの情報要求内容を理解する。スロットを埋める値として，例えば音声認識結果に含まれる特定の単語（キーワード）などが考えられる。
【０００９】
図３（Ａ）に示すように，各スロット「ｐｌａｃｅ」，「ｄａｔｅ」，「ｉｎｆｏ」に対する値が埋まっていない場合に，例えば，第１のシステム発話（Ｓ１）の「ご用件をどうぞ」という発話に対して，第１のユーザ発話（Ｕ１）として「明日の天気を教えてください」が返されたとする。  
【００１０】
音声対話システムが，第１のユーザ発話（Ｕ１）中の「明日」を「今日」と誤認識したとすると，Ｕ１の後のユーザの情報要求内容の理解結果は，図３（Ｂ）に示すように，スロット「ｄａｔｅ」に対する値として「今日」，スロット「ｉｎｆｏ」に対する値として「天気」が埋まった状態となる。
【００１１】
次に，例えば，第２のシステム発話（Ｓ２）の「どこの天気ですか」という発話に対して，第２のユーザ発話（Ｕ２）として「東京です」が返されたとすると，Ｕ２の後のユーザの情報要求内容の理解結果は，図３（Ｃ）に示すように，スロット「ｐｌａｃｅ」に対する値として「東京」，スロット「ｄａｔｅ」に対する値として「今日」，スロット「ｉｎｆｏ」に対する値として「天気」が埋まった状態となる。
【００１２】
次に，例えば，第３のシステム発話（Ｓ３）の「今日の東京の天気ですね」という発話に対して，第３のユーザ発話（Ｕ３）として「いいえ，明日です」が返されたとすると，Ｕ３の後のユーザの情報要求内容の理解結果は，図３（Ｄ）に示すように，図３（Ｃ）のユーザの情報要求内容の理解結果におけるスロット「ｄａｔｅ」に対する値「今日」が「明日」に変更された状態となる。そこで，音声対話システムは，第４のシステム発話（Ｓ４）として，「お伝えします。明日の東京の天気は晴れでしょう。」を返す。
【００１３】
音声対話システムは，ユーザに正しい情報を伝えるために，正しくユーザの情報要求内容を理解する必要がある。しかし，音声認識器の出力は完全ではないため，ユーザと対話した結果として音声対話システムが保持するユーザの情報要求内容は誤りを含むことがある。そのため，ユーザの情報要求内容の理解結果の信頼度を算出し，情報要求内容の誤りを検知する技術が従来研究されている。このような技術により，誤った箇所の訂正要求や優先的な確認が可能となるなど，対話を円滑に進めることができる。
【００１４】
図４にユーザ発話の音声認識結果に含まれる単語の信頼度を用いたユーザ情報要求内容の信頼度の割り当て例を示す。図４では，ユーザ発話中の単語に信頼度がそれぞれ割り当てられており，その単語がスロットに入ると，そのスロット値の信頼度がその単語の信頼度になっている。すなわち，ユーザの情報要求内容の理解結果ごとにその理解結果が正しいかどうかを示す信頼度が算出され，それぞれのスロットに割り当てられる。
【００１５】
例えば，音声対話システムが，第１のユーザ発話（Ｕ１）中の単語「明日」を「今日」と誤認識したとすると，Ｕ１の後のユーザの情報要求内容の理解結果は，図４（Ａ）に示すように，スロット「ｄａｔｅ」に対する値として単語「今日」が埋まり，その信頼度として「ｃ１」が割り当てられるが，第３のユーザ発話（Ｕ３）として「いいえ，明日です。」が入力されたとすると，Ｕ３の後のユーザの情報要求内容の理解結果において，図４（Ｃ）に示すように，スロット「ｄａｔｅ」に対するスロット値が，単語「今日」から単語「明日」に変更され，その信頼度として，Ｕ３中の単語「明日」の信頼度である「ｃ９」が割り当てられる。
【００１６】
この信頼度は，信頼度の値に応じて，ユーザの情報要求内容の理解結果の棄却や，「今日の天気ですか？」というようなシステム発話による確認を行うために用いられる。
【００１７】
ユーザの情報要求内容の理解結果の信頼度を算出する従来手法としては，音声認識器が出力する音響スコアを信頼度として用いる方法，事前に調査された音声認識器の認識精度を用いる手法，音声認識結果の音響・言語的特徴量から信頼度を求める尺度を作成してその尺度を用いる手法などが挙げられる。
【００１８】
下記の非特許文献１は，ユーザの情報要求内容の理解結果に含まれる各要素について，事前に調査されたその要素が正しい確率を信頼度として割り当てる手法を提案している。例えば，ユーザが「東京」というキーワードを含む発話をした場合，事前に作成された対話記録において，正しく「東京」と聞き取れた確率を求めておき，その値を信頼度として用いる。
【００１９】
非特許文献２は，ユーザの情報要求内容の理解結果を直接的には扱わないが，ユーザの情報要求内容の理解結果を構成し得る，ユーザ発話中の各要素（単語や文）について，音声認識器が出力する音響・言語的特徴量から高精度に信頼度を求める手法を提案している。
【００２０】
具体的には，まず，ユーザ発話を複数事前に収集し，それらの発話音声に対して音声認識器が出力する音声認識結果と音響・言語的特徴量を求める。図５は，ユーザ発話中の単語に関する音響・言語的特徴量の例を示す。図５中の「音素信頼度」とは，各音響フレームでのＨＭＭの最尤ステートとのスコア差のフレーム数平均frame purity（N-best purity を各音響フレームでの音素に対して考えたもの）である。図６は，発話に関する音響・言語的特徴量の例を示している。次に，音声認識器の出力（単語や文）について，それらが正しいかどうかをラベル付けする。最後に，音響・言語的特徴量から音声認識結果の各要素が「正解」か「不正解」かを判別する式（以降，信頼性尺度と呼ぶ）を作成する。
【００２１】
音声認識システムは，このように作成された信頼性尺度を用いることで，将来における未知のユーザ発話中の単語について正解か，不正解の分類を行うことができる。また，分類精度を信頼度として用いることができる。
【００２２】
非特許文献３は，音声認識器が出力する音声認識結果と音響・言語的特徴量を用いる点において非特許文献２と類似しているが，対象とするユーザ発話の直前のシステム発話の内容ごとに信頼性尺度を作成する工夫をしている。また，直前のシステム発話という談話的情報を用いている点において，本発明と類似しているが，本発明は談話情報を数値化して表現しており，この点において従来技術と異なる。
【非特許文献１】"Efficient Spoken Dialogue Control Depending on the Speech Recognition Rate and System's Database," Kohji Dohsaka and Norihito Yasuda and Kiyoaki Aikawa,In Proc.Eurospeech, 2003, pp.657-660
【非特許文献２】"Recognition confidence scoring and its use in speech understanding systems," Timothy J. Hazen,Stephanie Seneff and Joseph Polifroni, Computer Speech and Language, 2O02, vol.16, pp.49-67
【非特許文献３】"Estimating Semantic Confidence for Spoken Dialogue systems," Sameer S. Pradhan and Wayne H. Ward, In Proc. ICASSP, 2002, pp.233-236
【発明の開示】
【発明が解決しようとする課題】
【００２３】
従来法では，対話はシステムとユーザのやり取りで成り立っているにもかかわらず，ユーザ情報要求内容の理解結果の信頼度を，主に音声認識結果が出力する音響的特徴と言語的特徴のみを用いて推定しているため，推定精度に問題がある。
【００２４】
本発明は，上記従来技術の問題点を解決し，ユーザ情報要求内容の理解結果の信頼度の推定精度を高めることを目的とする。
【課題を解決するための手段】
【００２５】
上記課題を解決するため，本発明は，ユーザが音声を用いてコンピュータによる音声対話システムに情報要求を入力するたびに，ユーザと音声対話システムとのやり取りの履歴を用いて，音声対話システムが保持するユーザ情報要求内容の理解結果を更新し，更新されたユーザ情報要求内容の理解結果に応じてユーザに音声により応答する音声対話システムにおいて，以下の方法によりユーザ情報要求内容の理解結果の信頼度を算出する。
【００２６】
まず，プロトタイプの音声対話システムを用いて，システム発話の情報と，ユーザ発話の情報と，ユーザ発話毎の音声対話システムによるユーザ情報要求内容の理解結果およびその正誤に関する情報とを含む対話記録を作成し，記憶装置に保存する。
【００２７】
次に，前記記憶装置に保存された対話記録からユーザと音声対話システムとのやり取りに関する談話情報を取り出し，その談話情報におけるユーザ情報要求内容の理解結果の値の出現回数または出現比率または変化などを示す特徴に関する談話特徴量を抽出する。
【００２８】
この談話特徴量としては，例えば次の特徴量の少なくとも一つ以上を含む。
・ユーザ情報要求内容の理解結果の現在の値の出現比率
・ユーザ情報要求内容の理解結果において最も出現回数が多い値の出現比率
・ユーザ情報要求内容の理解結果における出現値の種類数
・ユーザ情報要求内容の理解結果の現在の値が打ち消された回数
・ユーザ情報要求内容の理解結果の現在の値が他の値により上書きされた回数
・ユーザ情報要求内容の理解結果の現在の値がいくつ前まで同じ値を持っているかを示す値
・ユーザ情報要求内容の理解結果の現在の値がいくつ前まで違う値を持っているかを示す値
・ユーザ情報要求内容の理解結果の値を音声対話システムが確認をした後で同じ値をユーザが音声対話システムに伝達した回数
・ユーザ情報要求内容の理解結果の現在の値と同じ値がこれまでのユーザ発話の中に何回出現したかを示す値
・ユーザ情報要求内容の理解結果の現在の値と異なる値がこれまでのユーザ発話の中に何回出現したかを示す値
・ユーザ情報要求内容の理解結果の現在の値と同じ値がこれまでのシステム発話の中に何回出現したかを示す値
・ユーザ情報要求内容の理解結果の現在の値と異なる値がこれまでのシステム発話の中に何回出現したかを示す値
次に，記憶装置に保存された対話記録から読み出したユーザ情報要求内容の理解結果と，その正誤に関する情報と，ユーザ発話音声の音響・言語的特徴量と，前記談話情報から抽出した談話特徴量とをもとに，識別学習を用いてユーザ情報要求内容の理解結果の信頼度を評価するための信頼性尺度を作成する。
【００２９】
この信頼性尺度は，システム発話の情報と，ユーザ音声の認識結果およびその音響・言語的特徴量を含むユーザ発話の情報と，ユーザ発話毎の音声対話システムのユーザ情報要求内容の理解結果の情報と，ユーザと音声対話システムとのやり取りに関する談話情報から抽出した談話特徴量とを入力し，ユーザ情報要求内容の理解結果の信頼度を出力するものであり，計算式に相当するものである。具体的には，例えば関数化されたプログラムやデータ群によって実現される。ここでは，これを信頼度評価手段と呼ぶ。
【００３０】
実運用で用いる音声対話システムでは，作成された信頼度評価手段を用いて，システム発話の情報と，ユーザ音声の認識結果およびその音響・言語的特徴量を含むユーザ発話の情報と，ユーザ発話毎の音声対話システムのユーザ情報要求内容の理解結果の情報と，ユーザと音声対話システムとのやり取りに関する談話情報から抽出した談話特徴量とをもとに，ユーザ情報要求内容の理解結果の信頼度を算出する。
【発明の効果】
【００３１】
本発明は，音声対話システムにおける，ユーザ情報要求内容の理解結果の信頼度を高精度に計算可能とする。このことにより，信頼度の低い理解結果の棄却や，信頼度の高いものについては確認しないといったことを高精度で実現でき，人とシステムの間でより円滑な対話が実現できる。
【発明を実施するための最良の形態】
【００３２】
以下に，図を用いて本発明の実施の形態を説明する。図１は，本発明の信頼性尺度算出方法を実現する装置構成を示す図である。図１に示す信頼性尺度算出装置は，システム発話とユーザ発話が記録される対話記録１０，対話記録１０内の発話毎の情報要求内容の理解結果が記録される談話メモリ２０，談話メモリ２０内の情報要求内容の理解結果に基づいて談話特徴量を抽出する談話特徴量抽出部３０，発話毎に，後述する信頼性尺度作成に用いるデータが蓄積されるデータメモリ４０，信頼性尺度を作成する信頼性尺度作成部５０によって実現される。
【００３３】
本発明では，非特許文献２と同様に，信頼性尺度の構築を通して，情報要求内容の理解結果の信頼度を獲得する。図７は，信頼性尺度構築の流れを示す図である。
【００３４】
［ステップＳ１］：図２のように構成されたプロトタイプシステムを用い，対話記録１０を収録する。対話記録１０には，対話収録時のシステム発話とユーザ発話（ユーザ音声と音声認識結果および音響・言語的特徴量），ユーザ発話毎の情報要求内容の理解結果と，情報要求内容の理解結果の正誤がラベリングされている。
【００３５】
［ステップＳ２］：ｉ＝０とし，発話番号ｉを初期化する。
【００３６】
［ステップＳ３］：発話番号ｉをインクリメントする。
【００３７】
［ステップＳ４，Ｓ５］：ｉ番目の発話を対話記録１０から取り出す。対話記録１０にｉ番目の発話がなければステップＳ１１へ進む。
【００３８】
［ステップＳ６，Ｓ７］：ｉ番目の発話がシステム発話であれば，システム発話内容を談話メモリ２０に追加し，ステップＳ３へ戻る。
【００３９】
［ステップＳ８，Ｓ９］：ｉ番目の発話がユ−ザ発話であれば，まず発話内容とユーザ発話直後の情報要求内容の理解結果を談話メモリ２０に追加し，談話メモリ２０内の情報要求内容の理解結果に基づいて談話特徴量を抽出する。
【００４０】
［ステップＳ１０］：次に，
（ａ）ユーザ発話直後の情報要求内容の理解結果，
（ｂ）情報要求内容の理解結果の正解，
（ｃ）ユーザ発話音声の音響・言語的特徴量，
（ｄ）談話メモリ２０から談話特徴量抽出部３０により獲得される談話特徴量，
をそれぞれ求め，発話番号ｉと，上記（ａ），（ｂ），（ｃ），（ｄ）とをひとまとまりとして，データメモリ４０に追加し，ステップＳ３へ戻る。
【００４１】
［ステップＳ１１］：データメモリ４０に含まれるデータから，信頼性尺度作成部５０により，信頼性尺度を作成する。信頼性尺度の作成法としては，上記非特許文献２に多く挙げられる識別学習を用いた手法が一般的である。識別学習には，線形判別法や，Support Vector Machines （ＳＶＭ），決定木学習などが挙げられる。ここでは，識別学習の一例として線形判別法を説明する。
【００４２】
図８に，線形判別法による線形判別分析のイメージ図を示す。線形判別法は別名判別分析と呼ばれ，サンプルを２グループに分割する直線を見つける方法である。図８では，特徴量１と特徴量２を持つ２種類（Ａ群とＢ群）のサンプルが線形判別直線によって２つに分割されている様子を示している。ＳＶＭや決定木学習も同様に，複数のサンプルを２分（またはそれ以上に分割）する直線（または平面，超平面）を見つける手法であり，ＳＶＭや決定木学習などによる識別学習を用いても，同様に信頼性尺度を作成することができる。
【００４３】
非特許文献２に記載されている手法では，以下の式により，まずサンプルの特徴量ベクトル↑ｆからスカラ値ｒに変換する変換ベクトル↑ｐを求める。↑ｐの初期値は，線形判別法によって求めることができる。
【００４４】
ｒ＝↑ｐT ・↑ｆ
すべてのサンプル（ｘ1 ，…，ｘn ）に対し，ｒi を実際に計算し，Ａ群のサンプルｒAiの確率分布（平均と分散），Ｂ群のサンプルのｒBjの確率分布（平均と分散）をそれぞれ求める。ここで，未知のサンプルを変換ベクトル↑ｐによって変換した結果であるｒが，Ａ群に属すかＢ群に属すかを以下の式により求める。
【００４５】
ｃ＝ log［｛ｐ（ｒ｜Ａ）Ｐ（Ａ）｝／｛ｐ（ｒ｜Ｂ）Ｐ（Ｂ）｝］−ｔ
ｒの値を持つときにＡ群である確率（ｐ（ｒ｜Ａ）Ｐ（Ａ））と，Ｂ群である確率（ｐ（ｒ｜Ｂ）Ｐ（Ｂ））の比を取り，閾値ｔでその値を調整する。比の値は，ｒのＡらしさを表現している。ｔの値を大きくすれば，ｃの値を小さくすることができ，同じｒの値に対してＢ群になりやすくすることができる。ｃは信頼度を示す値であり，正ならＡ群，負ならＢ群のように決める。変換ベクトル↑ｐと閾値ｔは，既知のサンプルに対して，Ａ群，Ｂ群の分類誤りを最小にするように調節される（非特許文献２参照）。
【００４６】
上記ステップにより作成される信頼性尺度を用いることで，ユーザ発話音声の音響・言語的特徴量，談話特徴量から，ユーザ発話直後の情報要求内容の理解結果の信頼度を求める。
【実施例１】
【００４７】
以下に，気象情報案内システムにおける事例を用いて，本発明の実施例を説明する。
【００４８】
〔対話実験〕
本発明の実施例では，実際に図２の構成を持った音声対話システムを構築し，対話実験により，対話記録を作成した。対話データ収集は音声対話システムを過去に使ったことのないユーザを対象に行われた。１８人の被験者がシステムとそれぞれ１６対話行い，全体で２８８対話が収録された。実験は３人ずつ６回にわたり行われた。それぞれの回に行われた対話記録を，SET001，SET002，SET003，SET004，SET005，SET006と呼ぶ。対話記録におけるユーザ発話は，すべて書き起こされ，各ユーザ発話後のユーザ情報要求内容について正解・不正解のラベルが付与された。
【００４９】
〔談話特徴量〕
情報要求内容の理解結果はフレーム表現で表されるが，その構成要素であるスロットの信頼度を求める信頼性尺度を作成した。スロットの値は，ユーザ発話に含まれるキーワードにより埋められるものとし，スロットが埋められているときの，その値に関する特徴量から，その信頼度を推定する信頼性尺度を作成する。フレームには複数のスロットが含まれるが，天気情報システムであれば，［ｐｌａｃｅ，ｄａｔｅ，ｉｎｆｏ］のそれぞれのスロットに対し，談話特徴量抽出部３０は，以下に説明する談話特徴量を求める。
【００５０】
音響・言語的特徴量は，上記図５に示すユーザ発話中の単語に関する音響・言語的特徴量または図６に示す発話に関する音響・言語的特徴量といった，従来と同様のものを用い，加えて談話特徴量として以下のものを導入する。図９は，以下に記述するスロット値に関する談話特徴量Ｄ１〜Ｄ１２をまとめたものである。
【００５１】
［Ｄ１］：Slot purity in context
現在の理解結果までに経てきた理解結果のそれぞれに関して，どの値が何回その当該スロットに入っているかをカウントし，現在の値がその内何割を占めるかを表す値。例えば値が東京→大阪→京都→大阪と変化したならぱ，４回値が変わった内，現在の値である大阪が占める数は２であるので，１／２となる。図２のｄａｔｅスロットの例では，スロットの値「明日」は１／３となる。
【００５２】
［Ｄ２］：Top slot purity in context
現在の理解結果までに経てきた理解結果のそれぞれに関して，どの値が何回その当該スロットに入っているかをカウントし，最も割合の多かった要素の割合。例えば値が東京→大阪→京都→大阪と変化したならば，東京は１／４，大阪は１／２，京都は１／４であるので，最大値は大阪の１／２であるので，値は１／２となる。図２のｄａｔｅスロットの例では，「今日」は２／３，「明日」は１／３であるので，最大値は２／３となる。
【００５３】
［Ｄ３］：Slot variety
理解パス上のスロット値が何種類の値をこれまで持ったことがあるかを示す値。東京→大阪→京都→大阪の場合には，値が［東京，大阪，京都］の三種類なので３となる。図２のｄａｔｅスロットの例では，「今日」，「明日」の２種類であるので２となる。
【００５４】
［Ｄ４］：Deny count
現在のスロット値がこれまでのユーザとのやり取りにおいて，打ち消された回数。例えば値が東京→なし→京都→東京というスロット値の変化があった場合，現在の東京という値は以前一度「なし」になっている（打ち消されている）ため，値は１となる。
【００５５】
［Ｄ５］：Overwrite count 
現在のスロット値がこれまでのユーザとのやり取りにおいて，他の値により上書きされた回数。例えば値が東京→大阪→京都→東京というスロット値の変化があった場合，現在の東京という値は以前は一度「大阪」により上書きされているので，値は１となる。
【００５６】
［Ｄ６］：Continue count
現在のスロット値が理解パス上のいくつ前まで同じ値を持っているかを示す値。例えば値がなし→東京→東京→東京というスロット値の変化があった場合，現在の値の直前に二度「東京」があるため，値は２となる。
【００５７】
［Ｄ７］：Different value count 
現在のスロット値が理解パス上のいくつ前まで違う値を持っているかを示す値。例えば値が東京→大阪→京都→東京というスロット値の変化があった場合，現在の値の直前に二度「東京」ではない値があるため，値は２となる。
【００５８】
［Ｄ８］：Same key pair count 
システムがあるスロット値について確認をし，ユーザがその値について肯定も，否定もせず全く同じスロット値をシステムに伝達することは，やり取りとして冗長性の観点から不自然であると考えられる。例えば，システム：「東京の天気ですね？」→ユーザ：「東京です」というやり取りはあまり起こらないと予想される。よって，現在システムが保持しているスロット値について，過去にシステムがその値について確認をして，同じ値をユーザがシステムに伝達した回数をカウントする。
【００５９】
［Ｄ９］：Same key count user 
これまでのユーザ発話の中に現在のスロット値と同じ値がいくつあるかを示す値。例えば，現在のシステムのスロット値が「東京」である場合，これまでシステムが理解してきたユーザ発話履歴の中に「東京」が何回出ているかをカウントする。
【００６０】
［Ｄ１０］：Different key count user
これまでのユーザ発話の中に現在のスロット値と異なる値がいくつあるかを示す値。例えば，現在のシステムのスロット値が「東京」であり，これまでシステムが理解してきたユーザ発話履歴の中に「東京」と異なる値が何回出ているかをカウントする。
【００６１】
［Ｄ１１］：Same key count system 
これまでのシステム発話の中に現在のスロット値と同じ値がいくつあるかを示す値。例えば，現在のシステムのスロット値が「東京」である場合，これまでシステムが確認等により発話してきたシステム発話履歴の中に「東京」が何回出ているかをカウントする。
【００６２】
［Ｄ１２］：Different key count system
これまでのシステム発話の中に現在のスロット値と異なる値がいくつあるかを示す値。例えば，現在のシステムのスロット値が「東京」である場合，これまでシステムが確認等により発話してきたシステム発話履歴の中に「東京」と異なる値が何回出ているかをカウントする。
【００６３】
〔評価結果〕
まず対話記録中のスロット値のデータの内，次の（１），（２）のものを除外した。
【００６４】
（１）本発明における特徴量は，スロットの値が２種類以上の値を持つときを想定している。そのため，値がない状態から初めて値を持った場合のスロット値や，誤認識を繰り返し，音声認識器が特定の値しか出力しないといった場合のスロット値のデータは除外した。初めて値を持った場合のスロット値の信頼度は，その値に関する十分な談話的要素がないことから音響・言語的特徴量から推定することが可能であると考えられる。また，誤認識の繰り返しにより音声認識器が特定の値しか出力しない場合は，その値の変動の少なさから信頼度を求めることは可能かもしれないが，音声認識器が正解の単語を認識し続けている場合との区別が困難であり，音響・言語的特徴量から推定する方が妥当であると考えられる。
【００６５】
（２）確認済みのスロット。対話の途中でシステムはスロット値についてシステムの保持する値が正しいかどうかの確認を行うことがある。ユーザが確認に対し承認すれば，そのスロット値は正しいといえる。従って，システムがあるスロットの値について確認済みであるとしている場合はその信頼度はおおよそ正しいため，対象から除外した。
【００６６】
スロットの信頼性尺度作成には，全データ中で，上記条件１，２に合致するスロットの値を除外した７７７個のスロットの値を用いた。そして，６つのセットの内一つをテストデータ，残りを訓練データとし，信頼性尺度を学習しテストすることをすべてのセットについて行い，信頼性尺度の性能を調べた。
【００６７】
以下に，従来法との比較における本発明による信頼性尺度生成について説明する。図１０は，従来法における信頼性尺度生成に用いるデータ例を示す。１行目の「purity」から「 num＿of＿words 」は音響・言語的特徴量名のリスト，２行目以降はデータであり，２行目の一つ目の項目「slot-level-label」は，この行がスロットのデータであることを示し，二つ目の項目（例えば「１」または「０」）は，正解（「１」で表される）・不正解（「０」で表される）のラベルである。
【００６８】
図１１は，本発明における信頼性尺度生成に用いるデータ例を示す。図１１に示すデータ例は，データメモリ４０に格納されている。１行目の「slot＿purity＿in＿context 」から「 num＿of＿words 」は，談話特徴量名と音響・言語的特徴量名のリスト，２行目以降はデータであり，２行目の一つ目の項目「slot-level-label」は，この行がスロットのデータであることを示し，二つ目の項目（例えば「１」または「０」）は，正解（「１」で表される）・不正解（「０」で表される）のラベルである。
【００６９】
図１０および図１１において，１行目のリストにおける音響・言語的特徴量は，図５および図６に示したものであり，図１１において，１行目のリストにおける談話特徴量は，図９に示したものである。
【００７０】
図１２は，従来法を用いて音響・言語的特徴量のみから作成した信頼性尺度と，本発明を用いて音響・言語的特徴量と談話特徴量の両方から作成した信頼性尺度との精度比較を示す図である。図１２中，False Acceptance Rate とは誤りを正解と分類してしまう率，False Rejection Rateとは正解を誤りと分類してしまう率である。それぞれ信頼性尺度の評価に用いられる指標であり，以下の式で求められる。
【００７１】
----------------------------------------------------------------
False Acceptance Rate 
＝ False Positive 数／（ False Positive 数＋ True Negative数）
----------------------------------------------------------------
False Rejection Rate
＝ False Negative 数／（ True Positive数＋ False Negative 数）
----------------------------------------------------------------
上記の式において， False Positive とは，誤って正解と分類することを指し， True Negativeとは，正しく不正解に分類することを指す。また， True Positiveとは，正しく正解と分類することを指し， False Negative とは，誤って不正解に分類することを指す。
【００７２】
図１２に示すように，本発明は，False Acceptance Rate の値，False Rejection Rateの値が，ともに従来法に比べて低いことがわかる。
【００７３】
図１３は，従来法と比較した本発明の正誤分類性能を示す。全サンプルを対象とし，本願発明のみが正解になる場合が７２サンプル，従来法のみが正解になる場合が１５サンプルあった。下記の参考文献１に記載されるMcNemar Testという手法によりこの結果に統計的優位差があるかの検定を行ったところ，ｐ＝４．２６ｅ−１０（＜０．０１）となり，統計的な優位差が認められ，本発明が有効であることが示された。
［参考文献１］
"Some Statistical Issues in the Comparison of Speech Recognition Algorithums," L. Gillick and S. Cox, ICASSP 89, v. 1, pp.532-535.
図１４は，スロットに関する信頼性尺度のFalse Acceptance Rate - False Rejection Rate曲線である。この曲線はサンプルを正解・不正解に判別するものについて，求められる一般的なものである。このグラフはFalse Acceptance Rate を縦軸に，False Rejection Rateを横軸にプロットしたものである。
【００７４】
本発明の曲線が従来法のものよりも常に下部に位置するため，本願発明により作成された信頼性尺度は，従来法を用いて作成された信頼性尺度よりも高性能であるといえる。
【図面の簡単な説明】
【００７５】
【図１】本発明の信頼性尺度算出方法を実現する装置構成を示す図である。
【図２】音声対話システムの一般的な構成を示す図である。
【図３】対話例と，ユーザ発話毎の音声対話システムの情報要求内容の理解結果を示す図である。
【図４】ユーザ発話の音声認識結果に含まれる単語の信頼度を用いたユーザ情報要求内容の信頼度の割り当て例を示す図である。
【図５】単語に関する音響・言語的特徴量の例を示す図である。
【図６】発話に関する音響・言語的特徴量の例を示す図である。
【図７】信頼性尺度構築の流れを示す図である。
【図８】線形判別分析のイメージ図である。
【図９】スロット値に関する談話特徴量を示す図である。
【図１０】従来法における信頼性尺度作成に用いるデータ例を示す図である。
【図１１】提案法における信頼性尺度作成に用いるデータ例を示す図である。
【図１２】信頼性尺度の精度比較を示す図である。
【図１３】従来法と比較した本発明の正誤分類性能を示す図である。
【図１４】False Acceptance Rate - False Rejection Rate曲線を示す図である。
【符号の説明】
【００７６】
１  発話理解部
２  発話生成部
１０  対話記録
２０  談話メモリ
３０  談話特徴量抽出部
４０  データメモリ
５０  信頼性尺度作成部
１００  音声認識部
１０１  言語理解部
１０２  談話理解部
１０３  文脈理解規則・知識ＤＢ
１０４  構文意味理解規則・知識ＤＢ
１０５  対話状態ＤＢ
１０６  対話制御応答生成規則・知識ＤＢ
１０７  データベース
１０８  生成規則テンプレートＤＢ
２００  内容生成部
２０１  表層生成部
２０２  音声生成部
【図１】
2006039484.tif 000003
【図２】
2006039484.tif 000004
【図３】
2006039484.tif 000005
【図４】
2006039484.tif 000006
【図５】
2006039484.tif 000007
【図６】
2006039484.tif 000008
【図７】
2006039484.tif 000009
【図８】
2006039484.tif 000010
【図９】
2006039484.tif 000011
【図１０】
2006039484.tif 000012
【図１１】
2006039484.tif 000013
【図１２】
2006039484.tif 000014
【図１３】
2006039484.tif 000015
【図１４】
2006039484.tif 000016