(57)【要約】【課題】音声認識結果の信頼性をシステムが自律的に精度よく評価する。【解決手段】ユーザの発話音声、システムの状態などの対話情報を記録し、ユーザの発話音声をシステムが認識した単語系列に対して、対話が終了した時点で得られる指標を含めて発話単位、単語単位のそれぞれについて発話単位指標値及び単語単位指標値を計算し、算出されたそれぞれの指標値と、ユーザの発話をシステムが認識した単語の系列と、記録手段に記録されている実際に発話した単語系列の正解とを比較して得られる発話単位、単語単位での正しさを０と１の二値で示した指標との関連を求めることにより発話単位、単語単位での信頼性を評価するための尺度を作成し、以後の対話における音声認識結果の発話単位−単語単位の指標値を尺度に当てはめ、信頼性評価値を計算する。【選択図】  図１
2004240086.tif 000002
【特許請求の範囲】
【請求項１】
音声を用いてシステムに情報の要求を入力する情報要求入力手段と、
この情報要求入力手段から入力される情報及びシステムの状態を記録する対話情報記録手段と、
上記情報の要求を計算機が利用できる形式に変換する形式変換手段と、
上記情報の要求を満たす内容を文字列又は音声により出力するために、上記情報の要求のための音声を上記情報の要求のために発話したと推定される単語の系列として認識する音声認識手段と、
上記情報の要求が入力される毎に上記情報の要求を解釈し、上記情報の要求についての質問又は上記情報の要求についての応答を文字列又は音声により出力し、上記情報の要求内容が確定された場合は上記情報の要求を満たす内容を文字列又は音声により出力する情報提供手段とを具備して構成される音声対話システムの音声認識信頼性評価方法であって、
上記対話情報記録手段に記録した対話情報から上記情報の要求のために発話したと推定される単語の系列（Ａ）を抽出し、
この抽出した単語の系列（Ａ）から解釈される上記情報の要求内容を（Ａ）´に特定し、
上記単語の系列（Ａ）に含まれる単語をそれぞれ（Ｂ０）、（Ｂ１）、（Ｂ２）…（Ｂｎ）として抽出し、
上記単語系列（Ａ）に対応する上記情報の要求のために実際に発話した単語の系列の正解を（Ｃ）と特定し、
この単語の系列の正解（Ｃ）から解釈される上記情報の要求内容の正解を（Ｃ）´と特定し、
上記単語列（Ｂｉ）に対応する上記情報の要求のために実際に発話した単語を（Ｄｉ）と特定し、
上記情報入力手段から入力される情報とシステムのやり取りの各時点で、上記音声認識手段が音声を認識し、上記情報入力手段から入力された情報と推定される単語の系列（Ａ）をその結果の候補として推定するために計算した指標に加え、上記情報入力手段から入力された情報とシステムとのやり取りが終了した時点で得られる指標を、発話単位及び単語単位でそれぞれについて発話単位指標値及び単語単位指標値を計算し、計算された発話単位指標値及び単語単位指標値と、上記情報入力手段から入力された情報をシステムが認識した単語の系列と、上記対話情報記録手段により記録されている実際に発話した単語の系列の正解とを比較して得られる発話単位及び単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位及び単語単位での信頼性を評価するための信頼性尺度を作成し、作成された信頼性尺度によって、その信頼性を評価すべき音声認識結果の指標値を計算し、信頼性尺度の評価式に当てはめて信頼性評価値を得ることを特徴とする音声認識信頼性評価方法。
【請求項２】
音声を用いてシステムに情報の要求を入力する情報要求入力手段と、
この情報要求入力手段から入力される情報及びシステムの状態を記録する対話情報記録手段と、
上記情報の要求を計算機が利用できる形式に変換する形式変換手段と、
上記情報の要求を満たす内容を文字列又は音声により出力するために、上記情報の要求のための音声を上記情報の要求のために発話したと推定される単語の系列として認識する音声認識手段と、
上記情報の要求が入力される毎に上記情報の要求を解釈し、上記情報の要求についての質問又は上記情報の要求についての応答を文字列又は音声により出力し、上記情報の要求内容が確定された場合は上記情報の要求を満たす内容を文字列又は音声により出力する情報提供手段とを具備して構成される音声対話システムで用いられる音声認識信頼性評価装置であって、
上記対話情報記録手段に記録した対話情報から上記情報の要求のために発話したと推定される単語の系列（Ａ）を抽出する単語系列抽出手段と、
この単語系列抽出手段が抽出した単語の系列（Ａ）から解釈される上記情報の要求内容を（Ａ）´に特定する情報要求内容特定手段と、
上記単語の系列（Ａ）に含まれる単語をそれぞれ（Ｂ０）、（Ｂ１）、（Ｂ２）…（Ｂｎ）として抽出する単語抽出手段と、
上記単語系列（Ａ）に対応する上記情報の要求のために実際に発話した単語の系列の正解を（Ｃ）と特定する正解単語特定手段と、
この正解単語特定手段が特定した単語の系列の正解（Ｃ）から解釈される上記情報の要求内容の正解を（Ｃ）´と特定する正解情報要求内容特定手段と、
上記単語列（Ｂｉ）に対応する上記情報の要求のために実際に発話した単語を（Ｄｉ）と特定する発話単語特定手段と、
上記情報入力手段から入力される情報とシステムのやり取りの各時点で、上記音声認識手段が音声を認識し、上記情報入力手段から入力された情報と推定される単語の系列（Ａ）をその結果の候補として推定するために計算した指標に加え、上記情報入力手段から入力される情報とシステムとのやり取りが終了した時点で得られる指標を、発話単位及び単語単位でそれぞれについて発話単位指標値及び単語単位指標値を計算する発話単位指標値計算手段及び単語単位指標値計算手段と、
計算された発話単位指標値及び単語単位指標値と、上記情報入力手段から入力された情報をシステムが認識した単語の系列と、上記対話情報記録手段により記録されている実際に発話した単語の系列の正解とを比較して得られる発話単位及び単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位及び単語単位での信頼性を評価するための尺度作成する発話単位信頼性尺度作成手段及び単語単位信頼性尺度作成手段と、
作成された信頼性尺度によって、その信頼性を評価すべき音声認識結果の指標値を計算し、信頼性尺度の評価式に当てはめて信頼性評価値を得る発話単位信頼性評価値計算手段および単語単位信頼性評価値計算手段と、
を具備して構成される音声認識信頼性評価装置。
【請求項３】
コンピュータに、
音声を用いてシステムに情報の要求を入力する情報要求入力ステップと、
この情報要求入力ステップで入力される情報及びシステムの状態を記録する対話情報記録ステップと、
上記情報の要求を計算機が利用できる形式に変換する形式変換ステップと、
上記情報の要求を満たす内容を文字列又は音声により出力するために、上記情報の要求のための音声を上記情報の要求のために発話したと推定される単語の系列として認識する音声認識ステップと、
上記情報の要求が入力される毎に上記情報の要求を解釈し、上記情報の要求についての質問又は上記情報の要求についての応答を文字列又は音声によりユーザに出力し、上記情報の要求内容が確定された場合は上記情報の要求を満たす内容を文字列又は音声により出力する情報提供ステップと
を実行させる音声対話プログラムと共に用いられる音声認識信頼性評価プログラムであって、
上記音声対話プログラムと共に、上記コンピュータに、
上記対話情報記録ステップで記録した対話情報から上記情報の要求のために発話したと推定される単語の系列（Ａ）を抽出するステップと、
この抽出した単語の系列（Ａ）から解釈される上記情報の要求内容を（Ａ）´に特定するステップと、
上記単語の系列（Ａ）に含まれる単語をそれぞれ（Ｂ０）、（Ｂ１）、（Ｂ２）…（Ｂｎ）として抽出するステップと、
上記単語系列（Ａ）に対応する上記情報の要求のために実際に発話した単語の系列の正解を（Ｃ）と特定するステップと、
この単語の系列の正解（Ｃ）から解釈される上記情報の要求内容の正解を（Ｃ）´と特定するステップと、
上記単語列（Ｂｉ）に対応する上記情報の要求のために実際に発話した単語を（Ｄｉ）と特定するステップと、
上記情報入力手段から入力される入力情報とシステムのやり取りの各時点で、上記音声認識手段が音声を認識し、上記情報入力手段から入力された情報と推定される単語の系列（Ａ）をその結果の候補として推定するために計算した指標に加え、上記情報入力手段から入力された情報とシステムとのやり取りが終了した時点で得られる指標を、発話単位及び単語単位でそれぞれについて計算する発話単位指標値計算ステップ及び単語単位指標値計算ステップと、
計算された発話単位指標値及び単語単位指標値と、上記情報入力手段から入力された情報をシステムが認識した単語の系列と、上記対話情報記録手段により記録されている実際に発話した単語の系列の正解とを比較して得られる発話単位及び単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位及び単語単位での信頼性を評価するための尺度を作成する発話単位信頼性尺度作成ステップ及び単語単位信頼性尺度作成ステップと、
作成された信頼性尺度によって、その信頼性を評価すべき音声認識結果の指標値を計算し、信頼性尺度の評価式に当てはめて信頼性評価値を得る発話単位信頼性評価値計算ステップおよび単語単位信頼性評価値計算ステップとを実行させる音声認識信頼性評価プログラム。
【請求項４】
コンピュータが読取り可能な記録媒体で構成され、コンピュータが解読可能な符号列によって記述された請求項３記載の音声認識信頼性評価プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は文字列又は音声を用いて人と対話する音声対話システムの音声認識信頼性評価方法、装置、音声認識信頼性プログラム及びこのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
ユーザが音声を用いシステムに情報要求を入力する情報要求入力手段と、ユーザの情報要求を満たす内容を文字列又は音声によりユーザに出力するために、ユーザの情報要求のための音声を、ユーザが情報要求のために発声したと推定される単語の系列として認識する音声認識手段と、ユーザの情報要求を計算機が利用できる形式に変換する形式変換手段を具備して構成され、ユーザの情報要求が入力される毎に、ユーザの情報要求を解釈し、ユーザの情報要求についての質問又はユーザの情報要求内容が確定された場合は、ユーザの情報要求を満たす内容を文字列又は音声によりユーザに出力する情報提供とを具備して構成される音声対話システムの音声認識の信頼性を評価する評価方法において、ユーザの情報要求のための音声から音声認識手段が認識した、ユーザが情報要求のために発話したと推定される単語の系列の各単語が、実際にユーザが発話した単語の系列の各単語と一致する可能性の評価に関する従来技術に、信頼性尺度（ｃｏｎｆｉｄｅｎｃｅ  ｍｅａｓｕｒｅ）がある。このような尺度に基づいて、信頼性評価値（ｃｏｎｆｉｄｅｎｃｅ  ｓｃｏｒｅ）として、信頼性を評価する技術がある。（非特許文献１）。
【０００３】
信頼性尺度は、音声認識結果の正しさを評価するための尺度であり、ユーザの発話音声を認識し、ユーザが発話した単語の系列を推定する時点で得られる、図５に示す１５の指標Ｕ１〜Ｕ１５を用いて、ユーザの１つの発話音声を音声認識手段が認識した単語の系列の正しさを評価する発話単位の信頼性尺度と、同じくユーザの発音音声を認識し、ユーザの発話した単語の系列を推定する時点で得られる、図６に示す１０の指標Ｗ１〜Ｗ１０を用いて、ユーザの１つの発話音声を音声認識手段が認識した各単語の正しさを評価する、単語単位の信頼性尺度とがある。
【０００４】
【非特許文献１】
”Ｒｅｃｏｇｎｉｔｉｏｎ  ｃｏｎｆｉｄｅｎｃｅ  ｓｃｏｒｉｎｇ  ａｎｄ  ｉｔｓ  ｕｓｅ  ｉｎ  ｓｐｅｅｃｈ  ｕｎｄｅｒｓｔａｎｄｉｎｇｓｙｓｔｅｍｓ”，Ｔｉｍｏｔｈｙ  Ｊ．Ｈａｚｅｎ，Ｓｔｅｐｈａｎｉｅ  Ｓｅｎｅｆｆ  ａｎｄ  Ｊｏｓｅｐｈ  Ｐｏｌｉｆｒｏｎｉ，ＣｏｍｐｕｔｅｒＳｐｅｅｃｈ  ａｎｄ  Ｌａｎｇｕａｇｅ  ２００２  ｖｏｌ．１６  ｐｐ．４６−６７
【０００５】
【発明が解決しようとする課題】
従来技術である信頼性尺度は、ユーザの発話音声をシステムが認識した、単語の系列もしくは各単語の正しさを評価するために多くの指標を用いているが、それらの指標はすべてユーザとシステムとのやり取りの内容と独立に、ユーザの１つの発話音声をシステムが認識し、ユーザの発話した単語の系列を推定する時点で得ることが可能であるようなものに過ぎないため、ユーザとシステムとのやり取りにおいて、ユーザが情報要求している内容との整合性が考慮されず、システムが認識した単語の系列の、実際にユーザが発話した単語の系列に対する、単語単位での正しさ、及び発話単位で単語の系列を解釈して得られるユーザの情報要求内容の正しさを、精度良く評価するための要因が不足している。
【０００６】
【課題を解決するための手段】
本発明の概要は図１に示すように、ユーザとシステムとの対話の各時点において、ユーザの発話音声、システムの状態などの対話の情報を記録する対話情報記録手段１と、ユーザとシステムとの対話における、各時点での、ユーザの発話音声からシステムが認識した単語の系列、システムの内部状態に基づいて、ユーザの発話音声をシステムが認識した単語系列に対して、従来技術で利用される指標（Ａ）に加え、対話が終了した時点で得られる指標（Ｂ）を、発話単位、単語単位のそれぞれについて計算する発話単位指標値計算手段２及び単語単位指標値計算手段４と、これらの指標値計算手段２と４で計算された、発話単位、単語単位でのそれぞれの指標値と、ユーザの発話をシステムが認識した単語の系列と、記録されている実際に発話した単語の系列の正解と比較して得られる、発話単位、単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位、単語単位での信頼性を評価するための尺度を作成する発話単位信頼性尺度作成手段３及び単語単位信頼性尺度作成手段５と、これら尺度作成手段３と５で作成した尺度に基づいて発話単位及び単語単位で信頼性評価値を計算する発話単位信頼性評価値計算手段６と、単語単位信頼性評価値計算手段７とによって構成される。
指標（Ｂ）は従来技術では用いられていなかった、ユーザとシステムとの対話において確定したユーザの情報要求内容に代表される、対話が終了した時点で、対話全体を総括して得られるものであり、ユーザとシステムとの対話というやり取りの情報を有効に活用可能な指標である。本発明の具体的な手法は以下の如くである。
【０００７】
この発明の請求項１では音声を用いてシステムに情報の要求を入力する情報要求入力手段と、この情報要求入力手段から入力される情報及びシステムの状態を記録する対話情報記録手段と、上記情報の要求を計算機が利用できる形式に変換する形式変換手段と、上記情報の要求を満たす内容を文字列又は音声により出力するために、上記情報の要求のための音声を上記情報の要求のために発話したと推定される単語の系列として認識する音声認識手段と、上記情報の要求が入力される毎に上記情報の要求を解釈し、上記情報の要求についての質問又は上記情報の要求についての応答を文字列又は音声により出力し、上記情報の要求内容が確定された場合は上記情報の要求を満たす内容を文字列又は音声により出力する情報提供手段とを具備して構成される音声対話システムの音声認識信頼性評価方法であって、
上記対話情報記録手段に記録した対話情報から上記情報の要求のために発話したと推定される単語の系列（Ａ）を抽出し、この抽出した単語の系列（Ａ）から解釈される上記情報の要求内容を（Ａ）´に特定し、上記単語の系列（Ａ）に含まれる単語をそれぞれ（Ｂ０）、（Ｂ１）、（Ｂ２）…（Ｂｎ）として抽出し、上記単語系列（Ａ）に対応する上記情報の要求のために実際に発話した単語の系列の正解を（Ｃ）と特定し、この単語の系列の正解（Ｃ）から解釈される上記情報の要求内容の正解を（Ｃ）´と特定し、上記単語列（Ｂｉ）に対応する上記情報の要求のために実際に発話した単語を（Ｄｉ）と特定し、上記情報入力手段から入力される情報とシステムのやり取りの各時点で、上記音声認識手段が音声を認識し、上記情報入力手段から入力された情報と推定される単語の系列（Ａ）をその結果の候補として推定するために計算した指標に加え、上記情報入力手段から入力された情報とシステムとのやり取りが終了した時点で得られる指標を、発話単位及び単語単位でそれぞれについて発話単位指標値及び単語単位指標値を計算し、計算された発話単位指標値及び単語単位指標値と、上記情報入力手段から入力された情報をシステムが認識した単語の系列と、上記対話情報記録手段により記録されている実際に発話した単語の系列の正解とを比較して得られる発話単位及び単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位及び単語単位での信頼性を評価するための信頼性尺度を作成し、作成された信頼性尺度によって、その信頼性を評価すべき音声認識結果の指標値を計算し、信頼性尺度の評価式に当てはめて信頼性評価値を得る音声認識信頼性評価方法を提案する。
【０００８】
この発明の請求項２では音声を用いてシステムに情報の要求を入力する情報要求入力手段と、この情報要求入力手段から入力される情報及びシステムの状態を記録する対話情報記録手段と、上記情報の要求を計算機が利用できる形式に変換する形式変換手段と、上記情報の要求を満たす内容を文字列又は音声により出力するために、上記情報の要求のための音声を上記情報の要求のために発話したと推定される単語の系列として認識する音声認識手段と、上記情報の要求が入力される毎に上記情報の要求を解釈し、上記情報の要求についての質問又は上記情報の要求についての応答を文字列又は音声により出力し、上記情報の要求内容が確定された場合は上記情報の要求を満たす内容を文字列又は音声により出力する情報提供手段とを具備して構成される音声対話システムで用いられる音声認識信頼性評価装置であって、
上記対話情報記録手段に記録した対話情報から上記情報の要求のために発話したと推定される単語の系列（Ａ）を抽出する単語系列抽出手段と、この単語系列抽出手段が抽出した単語の系列（Ａ）から解釈される上記情報の要求内容を（Ａ）´に特定する情報要求内容特定手段と、上記単語の系列（Ａ）に含まれる単語をそれぞれ（Ｂ０）、（Ｂ１）、（Ｂ２）…（Ｂｎ）として抽出する単語抽出手段と、上記単語系列（Ａ）に対応する上記情報の要求のために実際に発話した単語の系列の正解を（Ｃ）と特定する正解単語特定手段と、この正解単語特定手段が特定した単語の系列の正解（Ｃ）から解釈される上記情報の要求内容の正解を（Ｃ）´と特定する正解情報要求内容特定手段と、上記単語列（Ｂｉ）に対応する上記情報の要求のために実際に発話した単語を（Ｄｉ）と特定する発話単語特定手段と、上記情報入力手段から入力される情報とシステムのやり取りの各時点で、上記音声認識手段が音声を認識し、上記情報入力手段から入力された情報と推定される単語の系列（Ａ）をその結果の候補として推定するために計算した指標に加え、上記情報入力手段から入力される情報とシステムとのやり取りが終了した時点で得られる指標を、発話単位及び単語単位でそれぞれについて発話単位指標値及び単語単位指標値を計算する発話単位指標値計算手段及び単語単位指標値計算手段と、計算された発話単位指標値及び単語単位指標値と、上記情報入力手段から入力された情報をシステムが認識した単語の系列と、上記対話情報記録手段により記録されている実際に発話した単語の系列の正解とを比較して得られる発話単位及び単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位及び単語単位での信頼性を評価するための尺度を作成する発話単位信頼性尺度作成手段及び単語単位信頼性尺度作成手段と、作成された信頼性尺度によって、その信頼性を評価すべき音声認識結果の指標値を計算し、信頼性尺度の評価式に当てはめて信頼性評価値を得る発話単位信頼性評価値計算手段および単語単位信頼性評価値計算手段とを具備した音声認識信頼性評価装置を提案する。
【０００９】
この発明の請求項３ではコンピュータに、音声を用いてシステムに情報の要求を入力する情報要求入力ステップと、この情報要求入力ステップで入力される情報及びシステムの状態を記録する対話情報記録ステップと、上記情報の要求を計算機が利用できる形式に変換する形式変換ステップと、上記情報の要求を満たす内容を文字列又は音声により出力するために、上記情報の要求のための音声を上記情報の要求のために発話したと推定される単語の系列として認識する音声認識ステップと、上記情報の要求が入力される毎に上記情報の要求を解釈し、上記情報の要求についての質問又は上記情報の要求についての応答を文字列又は音声によりユーザに出力し、上記情報の要求内容が確定された場合は上記情報の要求を満たす内容を文字列又は音声により出力する情報提供ステップとを実行させる音声対話プログラムと共に用いられる音声認識信頼性評価プログラムであって、
上記音声対話プログラムと共に、上記コンピュータに、上記対話情報記録ステップで記録した対話情報から上記情報の要求のために発話したと推定される単語の系列（Ａ）を抽出するステップと、この抽出した単語の系列（Ａ）から解釈される上記情報の要求内容を（Ａ）´に特定するステップと、上記単語の系列（Ａ）に含まれる単語をそれぞれ（Ｂ０）、（Ｂ１）、（Ｂ２）…（Ｂｎ）として抽出するステップと、上記単語系列（Ａ）に対応する上記情報の要求のために実際に発話した単語の系列の正解を（Ｃ）と特定するステップと、この単語の系列の正解（Ｃ）から解釈される上記情報の要求内容の正解を（Ｃ）´と特定するステップと、上記単語列（Ｂｉ）に対応する上記情報の要求のために実際に発話した単語を（Ｄｉ）と特定するステップと、上記情報入力手段から入力される入力情報とシステムのやり取りの各時点で、上記音声認識手段が音声を認識し、上記情報入力手段から入力された情報と推定される単語の系列（Ａ）をその結果の候補として推定するために計算した指標に加え、上記情報入力手段から入力された情報とシステムとのやり取りが終了した時点で得られる指標を、発話単位及び単語単位でそれぞれについて計算する発話単位指標値計算ステップ及び単語単位指標値計算ステップと、計算された発話単位指標値及び単語単位指標値と、上記情報入力手段から入力された情報をシステムが認識した単語の系列と、上記対話情報記録手段により記録されている実際に発話した単語の系列の正解とを比較して得られる発話単位及び単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位及び単語単位での信頼性を評価するための尺度を作成する発話単位信頼性尺度作成ステップ及び単語単位信頼性尺度作成ステップと、作成された信頼性尺度によって、その信頼性を評価すべき音声認識結果の指標値を計算し、信頼性尺度の評価式に当てはめて信頼性評価値を得る発話単位信頼性評価値計算ステップおよび単語単位信頼性評価値計算ステップとを実行させる音声認識信頼性評価プログラムを提案する。
【００１０】
この発明の請求項４ではコンピュータが読取り可能な記録媒体で構成され、コンピュータが解読可能な符号列によって記述された請求項３記載の音声認識信頼性評価プログラムを記録した記録媒体を提案する。
作用
この発明によって、対話が終了した時点で計算可能な指標値を利用して、対話中のユーザの発話をシステムが認識して得られる単語の系列の推定結果や、それを解釈して得られるユーザの情報要求内容の推定結果の正しさを推定するための信頼性尺度を作成し、以降の対話における推定結果の正しさを、対話が終了した時点で計算した指標値を信頼性尺度に当てはめることで得られる信頼性評価値で測り、システムが対話中に行ったユーザ発話の音声認識や、その内容の理解の正誤をシステムが自律的に判定することが可能となる。
【００１１】
【発明の実施の形態】
図２及び図３にこの発明による音声認識信頼性評価方法の手順を示す。図２は主に音声対話システムに関わる手順を示す。
ステップＳＰ１はユーザに情報要求の入力を促す処理を実行する。
ステップＳＰ２はユーザが入力した対話情報を記録する処理を行なう。
ステップＳＰ３は入力された音声を計算機が利用できる形式に変換する処理を実行。
ステップＳＰ４はユーザが入力した音声を音声認識する。
ステップＳＰ５は対話が終了したか否かを判別する。対話が終了していない場合はステップＳＰ１に戻り、ステップＳＰ１からステップＳＰ５を繰返す。
対話が終了するとステップＳＰ６に進み、ユーザにユーザが要求した情報を音声又は文字列等で情報を提供する。
以上は音声対話システムの動作である。
【００１２】
図３はこの発明で提供する音声対話システムに用いる音声認識信頼性評価方法を実行する場合の手順の一例を示す。尚、ここでは対話終了後に音声認識信頼性評価の処理を開始するものとして説明するが、従来技術の項で説明したように従来の評価方法で求める指標値の算出は対話中でも求められるものであるから、その部分の指標値の計算は必ずしも対話終了後でなくても実行することはできる。
図３に示すステップＳＰ７ではユーザが情報要求のために発話したと推定される単語の系列（Ａ）を抽出する。
ステップＳＰ８では推定した単語の系列（Ａ）から解釈されるユーザの情報要求内容を（Ａ）´と特定する。
ステップＳＰ９ではステップＳＰ７で抽出した単語の系列（Ａ）に含まれる単語をそれぞれ（Ｂ０）（Ｂ１）（Ｂ２）…（Ｂｎ）として特定する。
ステップＳＰ１０では単語の系列（Ａ）に対応するユーザが情報要求のために実際に発話した単語の系列の正解を（Ｃ）と特定する。
ステップＳＰ１１では単語の系列の正解（Ｃ）から解釈されるユーザの情報要求内容の正解を（Ｃ）´と特定する。
ステップＳＰ１２では単語列（Ｂｉ）に対応するユーザが情報要求のために実際に発話した単語を（Ｄｉ）と特定する。
【００１３】
ステップＳＰ１３ではユーザとシステムのやり取りの各時点において音声認識手段がユーザの音声を認識し、ユーザが発話したと推定される単語の系列（Ａ）をその結果の候補として推定するために計算した指標に加え、ユーザとシステムとのやり取りが終了した時点で得られる指標を発話単位及び単語単位でそれぞれについて会話単位指標値及び単語単位指標値を計算する。
ステップＳＰ１４では計算された発話単位指標値及び単語単位指標値と、ユーザの発話をシステムが認識した単語の系列と、上記対話情報記録手段により記録されている実際に発話した単語の系列の正解とを比較して得られる発話単位及び単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位及び単語単位での信頼性を評価するための尺度を作成する。
ステップＳＰ１５では、ステップＳＰ７と同様に単語系列（Ａ）を抽出する。ステップＳＰ１６では、ステップＳＰ８と同様に単語系列（Ａ）から解釈されるユーザの情報要求内容を（Ａ）′と特定する。
ステップＳＰ１７では、ステップＳＰ９と同様に単語列（Ｂ０）（Ｂ１）（Ｂ２）…（Ｂｎ）を特定する。
ステップＳＰ１８では、ステップＳＰ１３と同様に発話単位及び単語単位でそれぞれ指標値を計算する。
ステップＳＰ１９では、計算された発話単位指標値および単語単位指標値を、ステップＳＰ１４で作成した発話単位信頼性尺度および単語単位信頼性尺度に当てはめ、発話単位信頼性評価値および単語単位信頼性評価値を計算する。
【００１４】
図４にコンピュータによって実現した音声対話システムと、この音声対話システムの音声認識信頼性の評価を行なう音声認識信頼性評価装置の実施例を示す。
コンピュータはよく知られているように、プログラムを解読し、実行するＣＰＵ１１と、読出専用メモリＲＯＭ１２と、プログラム等を格納し、実行するためのＲＡＭ１３と、入力ポート１４、出力ポート１５等によって構成される。
ＲＡＭ１３には情報要求入力手段１３Ａを構成するためのプログラムと、対話情報記録手段１３Ｂを構成するプログラム、形式変換手段１３Ｃを構成するプログラム、音声認識手段１３Ｄを構成するプログラム、対話終了判定手段１３Ｅを構成するプログラム、情報提供手段１３Ｆを構成するプログラムが格納され、これらのプログラムとＣＰＵ１１とによって音声対話システム１００が構成される。
【００１５】
音声認識信頼性評価装置２００は音声対話システム１００の構成に加えて、ＲＡＭ１３に単語系列（Ａ）の抽出手段１３Ｇを構成するプログラムと、情報要求内容（Ａ）´特定手段１３Ｈを構成するためのプログラム、単語列Ｂ０、Ｂ１、Ｂ２…抽出手段１３Ｉを構成するプログラム、正解単語特定手段１３Ｊを構成するプログラム、正解情報内容特定手段１３Ｋを構成するプログラム、発話単語特定手段１３Ｌを構成するプログラム、会話単位指標値計算手段及び単語単位指標値計算手段１３Ｍを構成するプログラム、発話単位信頼性尺度作成手段及び単語単位信頼性尺度作成手段１３Ｎを構成するプログラム、発話単位及び単語単位信頼性評価値計算手段１３Ｐを構成するプログラムが格納され、これらのプログラムが音声対話システム１００を構成するプログラムと共にＣＰＵ１１により実行されて音声認識信頼性評価装置２００が構成され音声認識信頼性評価方法が実行される。
【００１６】
以下に各部の実施例を説明する。例として、音声対話によるバス時刻表案内システムを用いる。同システムでは、ユーザはシステムに「乗車するバス停」「降りるバス停」「バスの経由地」「時間」「指定するのは出発する時間／到着する時間のどちらか」「曜日」の６つの情報を伝え、システムは、該当するバスの発車時刻をユーザに伝える。
同システムにおける対話情報記録手段、指標値計算手段、信頼性尺度作成手段の詳細は以下のようになる。
【００１７】
対話情報記録手段
音声対話システムはユーザの情報要求を、属性と値の対として理解する。これをスロットと呼ぶ。システムは複数のスロットから成るデータ構造を用いて、ユーザの情報要求を保持し、対話を進める。このデータ構造を対話状態と呼ぶ。バス時刻表案内システムにおける対話状態は、以下の６つのスロットで構成される。
（ＳＴＯＰ＿ＦＲＯＭ．ｖａｌｕｅ）：「乗車するバス停」
（ＳＴＯＰ＿ＴＯ．ｖａｌｕｅ）：「降りるバス停」
（ＶＩＡ．ｖａｌｕｅ）：「バスの経由地」
（ＴＩＭＥ．ｖａｌｕｅ）：「時間」
（ＴＩＭＥ＿ＴＹＰＥ．ｖａｌｕｅ）：「指定するのは出発する時間／到着する時間のどちらか」
（ＤＡＹ．ｖａｌｕｅ）：「曜日」
また、ユーザの発話をシステムが解釈した結果得られる、「スロット（Ｓ）に値（ｓ）を埋める」などの、ユーザの発話に含まれる意味表現を、対話行為と呼ぶ。例えば、「○○バスセンターから※※学院大学まで」というユーザの発話に対する対話行為は、以下のように表現される。
（ＳＥＴ‐ＳＴＯＰ＿ＦＲＯＭ（○○バスセンター））（ＳＥＴ‐ＳＴＯＰ＿ＴＯ（＊＊学院大学））
システムはユーザとの対話の各時点において、ユーザの発話音声を記録し、対話が終了した時点で、確定しているユーザの情報要求内容を、対話状態の形で記録する。
【００１８】
発話単位指標値計算手段
記録されたユーザの各発話音声に対し、対話記録時と同じ音声認識手段を用い、ユーザの発話音声を認識し、ユーザが発話した単語の系列を、最大５個まで推定し、各認識結果候補に対し、各認識結果候補の単語の系列と認識の過程で用いたスコアに基づいて、図７に示す発話単位での指標値を計算する。
発話単位信頼性尺度作成手段
発話単位指標値計算手段で計算された指標値に基づいて、ユーザの発話を認識した結果得られる単語の系列を（Ａ）、対応する発話を人間が書き起こして得られる単語の系列の正解を（Ｂ）として、（Ａ）を解釈したときの対話行為が、（Ｂ）を解釈したときの対話行為と一致する信頼性を、計算する尺度を作成する。文献［”Ｒｅｃｏｇｎｉｔｉｏｎ  ｃｏｎｆｉｄｅｎｃｅ  ｓｃｏｒｉｎｇ  ａｎｄ  ｉｔｓ  ｓｐｅｅｃｈ  ｕｎｄｅｒｓｔａｎｄｉｎｇ  ｓｙｓｔｅｍｓ”，Ｔｉｍｏｔｈｙ  Ｊ．Ｈａｚｅｎ，Ｓｔｅｐｈａｎｉｅ  Ｓｅｎｅｆｆ  ａｎｄ  Ｊｏｓｅｐｈ  Ｐｏｌｅｆｒｏｎｉ，Ｃｏｍｐｕｔｅｒ  Ｓｐｅｅｃｈａｎｄ  Ｌａｎｇｕａｇｅ  ２００２  ｖｏｌ．１６  ｐｐ．４６−６７］
発話単位指標値計算手段で算出された指標の列ベクトルｆ＾、同次元の列ベクトルｐ＾を用いて、（Ａ）を解釈したときの対話行為が、（Ｂ）を解釈したときの対話行為と一致する信頼性を、式１及び式２により、１次元の値ｃを用いて評価する。
【数１】
2004240086.tif 000003
式２の、ｔはしきい値、ｐ（ｒ｜ｃｏｒｒｅｃｔ）、ｐ（ｒ｜ｉｎｃｏｒｒｅｃｔ）は、それぞれｒが正しい発話音声認識結果に基づく指標値、誤った発話認識結果に基づく指標値であったときの、ガウス密度関数（式３、式４）であり、Ｐ（ｃｏｒｒｅｃｔ）、Ｐ（ｉｎｃｏｒｒｅｃｔ）は、それぞれ正しい発話音声認識結果、誤った発話音声認識結果を観測する事後確率である。発話音声認識結果が正しいかったときのｒの平均をμ（ｃｏｒｒｅｃｔ）、分散をσ２（ｃｏｒｒｅｃｔ）、発話音声認識結果が誤っていたときのｒの平均をμ（ｉｎｃｏｒｒｅｃｔ）、分散をσ２（ｉｎｃｏｒｒｅｃｔ）とすると、ｐ（ｒ｜ｃｏｒｒｅｃｔ）、ｐ（ｒ｜ｉｎｃｏｒｒｅｃｔ）は、それぞれ式３、式４で計算できる。
【数２】
2004240086.tif 000004
発話単位信頼性尺度作成手段では、発話音声認識結果に対する正解となる、対応する発話音声の書き起こしの存在する少量の記録を用いて、発話音声認識結果と、その発話認識結果を解釈して得られる対話行為が正しいかどうかの二値表現との関係から、式（１）―（４）を適用するためにに必要な、ベクトルｐ＾の各要素の最適な値を求め、対応するｔ、μ（ｃｏｒｒｅｃｔ）σ２（ｃｏｒｒｅｃｔ）、μ（ｉｎｃｏｒｒｅｃｔ）、σ２（ｉｎｃｏｒｒｅｃｔ）を求める。Ｐ＾は、Ｆｉｓｈｅｒの線形判別分析法に基づいて初期値を設定し、正解／不正解の分類誤りが最小になるように、各要素の値を山登り法に基づいて繰り返し更新して求める。
【００１９】
発話単位信頼性評価値計算手段
信頼性尺度を作成したときとは別の対話記録中の音声認識結果に対して計算された発話単位指標値を、発話単位信頼性尺度（式２）に当てはめ、発話単位信頼性評価値を計算する。
単語単位指標値計算手段
発話単位指標値計算手段で用いたものと同じユーザの発話音声認識結果を用い、各認識結果候補の単語の系列と認識の過程で用いたスコアに基づいて、各認識結果に含まれる単語に対して、図８に示す単語単位での指標値を計算する。図８の”ｕｔｔｅｒａｎｃｅ  ｓｃｏｒｅ”に関しては、発話単位信頼性尺度作成手段で作成された尺度を用いて計算する。
【００２０】
単語単位信頼性尺度作成手段
ユーザの発話を認識した結果得られる単語を（Ｃ）、対応する発話を人間が書き起こして得られる単語の正解を（Ｄ）として、発話単位信頼性尺度作成手段と同様の処理を施すことにより、単語単位での信頼性尺度を作成することができる。
単語単位信頼性評価値計算手段
信頼性尺度を作成したときとは別の対話記録中の音声認識結果に対して計算された単語単位指標値を、単語単位信頼性尺度（式２）に当てはめ、単語単位信頼性評価値を計算する。
【００２１】
実際の処理の流れ
音声対話システムを用いてデータ収集を行なう。対話例を以下に示す。対話例中、Ｓはシステムの発話を、Ｕはユーザの発話をシステムが認識した結果得られた単語の系列を示す。また、括弧内は実際のユーザの発話を書き起こしたものである。
Ｕ：○○バスセンター８時は※※学院大学へ１時
（○○バスセンター発、※※学院大行き）
Ｓ：はい
Ｕ：１１時台出発のバス午後７時の３時
（１１台出発のバスを教えてください）
Ｓ：はい
Ｓ：出発地はどちらですか？
Ｕ：○○バスセンターです
（○○バスセンターです）
Ｓ：はい
Ｓ：どちらのバス停までですか？
Ｕ：※※学院大学で
（※※学院大学です）
Ｓ：はい
Ｓ：経由地を指定しますか？
Ｕ：しません
（しません）
Ｓ：はい
Ｓ：平日、土曜、日曜の、どの時刻表ですか？
Ｕ：休日です
（休日です）
Ｓ：はい○○バスセンターから※※学院大学まで経由地指定なし休日１９時までに到着の時刻表ということでよろしいでしょうか？
Ｕ：１２時台に出発の時刻表です
（１１時台に出発の時刻表です）
Ｓ：１２時台に出発デスネ？
Ｕ：１１時発車で
（１１時発です）
Ｓ：１１時台に出発デスネ？
Ｕ：はい
（はい）
Ｓ：○○バスセンターから※※学院大学まで経由地指定なし休日１１時台に出発の時刻表ということでよろしいでしょうか？
Ｕ：はい
（はい）
Ｓ：かしこまりました○○バスセンター発○○３６系統△△経由※※学院大学方面※※学院大学行き休日１１時台のバスの発車時刻は５分５５分です。
【００２２】
対話情報記録手段は、対話の各時点におけるユーザの発話音声及び、対話終了時に確定したユーザの情報要求内容（以下に例示）を記録する。
（ＴＩＭＥ＿ＴＹＰＥ．ＤＥＰＡＲＴＵＲＥ）（ＴＩＭＥ．１１）（ＤＡＹ．休日）
（ＳＴＯＰ＿ＴＯ．※※学院大学）（ＶＩＡ．ＡＲＢＩＴＲＡＲＹ）（ＳＴＯＰ＿ＦＲＯＭ．○○バスセンター）
次に、対話の各時点において記録したユーザの発話音声を、データを収集したときと同じ音声認識手段を用いて認識し、最大５個の認識結果候補及び、音声認識スコアファイル１に出力させる。ファイル１の内容は以下のようになる（以下は最尤候補のみを抜粋）。
2004240086.tif 000005
ファイル１の内容で、
ｒｅ−ｃｏｍｐｕｔｅｄ  ＡＭ  ｓｃｏｒｅを単語数で除算したものが、図７の指標Ｕ６に相当する。
各単語のｔｏとｆｒｏｍの差が、図８の指標Ｗ７に相当する。
各単語のｎ−ｓｃｏｒｅが、図８の指標Ｗ１２に相当する。
各単語のＣＭ−ｍｅａｎが、図８の指標Ｗ５に相当する。
各単語のＣＭ−ｖａｒの平行根が、図８の指標Ｗ４に相当する。
各単語のＣＭ−ｍｉｎが、図８の指標Ｗ３に相当する。
また、認識結果候補の数が、図８の指標Ｗ９に相当する。
【００２３】
そして、ファイル１に出力された認識結果候補から、図７の指標Ｕ１０、Ｕ１２と図８の指標Ｕ１０、Ｕ１２と図８の指標Ｗ１１を得るために必要な、認識結果候補での単語出現頻度を計算する。以下に示すように、認識結果候補間で一致する単語の位置を合わせをして、認識結果候補中のある単語が、他の認識結果で同じ場所に現れる頻度を計算する。以下の例では、「発車」という単語の出現頻度は１００％、「１時」という単語の出現頻度は６０％である。
最尤候補：１１時          発車  で
第２候補：１０時１時          発車  で
第３候補：１５時１時        発車  で
第４候補：１４時１時        発車  で
第５候補：１２時        で  発車  まで
また、システムが単語の系列を構文解析するために用いる語彙定義及び文節定義（以下に抜粋）を用いて、
2004240086.tif 000006
各認識結果候補を構文解析した結果（以下に抜粋）から正しく構文解析できなかった単語の系列（未知文節と呼ぶ）を探し、図７の指標Ｕ１９及び図８の指標Ｗ１３を計算する。
【００２４】
（１１時）時間文節｜（発車で）普通名詞＿出発文節
（１０時）時間文節｜（１時）時間文節｜（発車で）  普通名詞＿出発文節
（１５時）時間文節｜（１時）時間文節｜（発車で）  普通名詞＿出発文節
（１４時）時間文節｜（１時）時間文節｜（発車で）  普通名詞＿出発文節
（１２時で）時間文節｜（発車）  普通名詞＿出発文節｜（まで）未知文節
そして、対話中の各ユーザ発話に対する各認識結果候補システムが解釈した結果得られる対話行為（以下に抜粋）を求め、図７の指標Ｕ１８を、さらに、対話終了時に確定したユーザの情報要求内容を比較し、図７のＵ１６、Ｕ１７を計算する。
（ＳＥＴ−ＴＩＭＥ（１１））（ＳＥＴ＿ＴＹＰＥ（ＤＥＰＡＲＴＵＲＥ））
（ＳＥＴ−ＴＩＭＥ（１０））（ＳＥＴ＿ＴＹＰＥ（ＤＥＰＡＲＴＵＲＥ））
（ＳＥＴ−ＴＩＭＥ（１５））（ＳＥＴ＿ＴＹＰＥ（ＤＥＰＡＲＴＵＲＥ））
（ＳＥＴ−ＴＩＭＥ（１４））（ＳＥＴ＿ＴＹＰＥ（ＤＥＰＡＲＴＵＲＥ））
（ＳＥＴ−ＴＩＭＥ（１２））（ＳＥＴ＿ＴＹＰＥ（ＤＥＰＡＲＴＵＲＥ））
また、各ユーザ発話を人間が書き起こした単語の系列と、各認識結果候補の各単語一致していいるかどうかが、書き起こした単語の系列から得られる対話行為と、認識結果候補から得られる対話行為がすべて一致しているかどうかを比較して、その結果を０と１の二値で表現する。
【００２５】
書き起こした単語の系列及びそれらから得られる対話行為
１１時発です（＊「発」は認識語彙に含まれていない）
（ＳＥＴ−ＴＩＭＥ（１１））（ＳＥＴ−ＴＩＭＥ＿ＴＹＰＥ（ＤＥＰＡＲＴＵＲＥ））
以上から得た指標値をまとめ、発話単位の指標をファイル２に、単語単位の指標をファイル３に、それぞれ書き出す。図８の指標Ｗ１１はまだ計算できないため、記号で表現してある。
2004240086.tif 000007
複数の対話記録のユーザ発話に対して以上の処理を行ない、発話単位の指標をまとめたファイル２を用いて、発話単位信頼性尺度を作成する。作成された信頼性尺度の各パラメータを以下に示す。各指標名に対応する値が、式１のベクトルｐの各要素であり、ＣＯＲＲＥＣＴ＿ＧＡＵＳＳＩＡＮ−ＩＮＣＰＲＲＥＣＴ＿ＧＡＵＳＳＩＡＮに対応する値が、左からそれぞれ平均μ、分散σ２、事後確率Ｐである。
2004240086.tif 000008
【００２６】
発話単位の信頼性評価値は、上記のパラメータを持つ尺度に対し、発話単位指標値を当てはめて式２の計算をすることで得られる。ファイル３の記号［ＵＴＴＥＲＡＮＣＥ＿ＳＣＯＲＥ］を、対応する発話の発話単位信頼性評価値を計算し、その値に置き換える。
2004240086.tif 000009
更新されたファイル３を用いて、単語単位信頼性尺度を作成された信頼性尺度のパラメータを以下に示す。
2004240086.tif 000010
単語単位の信頼性評価値は、上記のパラメータを持つ尺度に対し、単語単位指標値を当てはめて式２の計算をすることで得られる。
【００２７】
ここで、信頼性を評価したい、別の対話記録中の発話について、発話単位指標値をファイル４に、単語単位指標値をファイル５に、それぞれ書き出す。
ファイル４の内容（抜粋）
２００２１１２７−０１−０３＿０６−２４．１８８６６７  １００  ９０  １  ０  ０．１５７８９４７３６８４２１０５  ０
ファイル５の内容（抜粋）
○○○○駅  −６．５９７９  １．２７９７−１．４６２５  １２３  １  ４［ＵＴＴＥＲＡＮＣＥ＿ＳＣＯＲＥ］  −２４．１５８１  ０
出発  １−６．３３２５  １．４４４８−１．９７２６  ６７  １  ４［ＵＴＴＥＲＡＮＣＥ＿ＳＣＯＲＥ］  −２５．０３１２  ０
ファイル４の発話単位指標値と、発話単位信頼性尺度を用いて、発話単位信頼性評価値を計算する。
２００２１１２７−０１−０３＿０６    １．８４２５５５８９０６１４８５
また、この発話単位信頼性評価値でファイル５の記号［ＵＴＴＥＲＡＮＣＥ＿ＳＣＯＲＥ］を置き換え、更新されたファイル５の内容（抜粋）
○○○○駅  −６．５９７９  １．２７９７−１．４６２５  １２３  １  ４  １．８４２５５５８９０６１４８５−２４．１５８１  ０
出発  １−６．３３２５  １．４４４８−１．９７２６  ６７  １  ４  １．８４２５５５８９０６１４８５−２５．０３１２  ０
更新されたファイル５の発話単位信頼性評価値と、単語単位信頼性尺度を用いて、単語単位信頼性評価値を計算する。
○○○○駅  ２．２４７３８４１９３９１７５１
出発  １．１９６９１５８４９９９６８５
以上説明したこの発明による音声認識信頼性評価方法はコンピュータが解読可能な符号列で記述された音声認識信頼性評価プログラムをコンピュータに備えられているＣＰＵに解読させ、実行させることにより実現される。音声認識信頼性評価プログラムはコンピュータが度見取り可能な記録媒体に記録されてコンピュータにインストールされて実行されるか、又は通信回線を通じてコンピュータにインストールされる場合もある。
【００２８】
【発明の効果】
以上説明したように、対話が終了した後に得られる情報を利用して音声認識結果の信頼性を評価するための信頼性尺度を作成し、それに基づいてユーザの情報要求内容の理解結果の正しさを発話単位および単語単位で信頼性評価値として数値化することができるから、その評価値を用いることにより、発話内容の理解の信頼性を評価し、システムが対話中に行ったユーザ発話の音声認識や、その内容の理解の正誤をシステムが自律的に判定することが可能となる。この結果として、対話を通じてシステムが自らの行動を評価し、正しい行動をとったものは以後の対話においても同様の行動をとれるように、また誤った行動をとったものは以後同じ誤りを繰り返さないように、システムが学習することが可能となる。
【図面の簡単な説明】
【図１】この発明の概要を説明するためのブロック図。
【図２】この発明の音声認識信頼性評価方法の手順を説明するためのフローチャート。
【図３】図２の続きを説明するためのフローチャート。
【図４】この説明の音声認識信頼性評価装置の一実施例を説明するためのブロック図。
【図５】従来の音声認識評価方法に用いられている評価のための指標を説明するための図。
【図６】図５と同様の図。
【図７】この発明の音声認識信頼性評価方法で用いる評価のための指標を説明するための図。
【図８】図７と同様の図。
【符号の説明】
１          対話情報記録手段
２          発話単位指標値計算手段
３          発話単位信頼性尺度作成手段
４          単語単位指標値計算手段
５          単語単位信頼性尺度作成手段
１００          音声対話システム
２００          音声認識信頼性評価装置
【図１】
2004240086.tif 000011
【図２】
2004240086.tif 000012
【図３】
2004240086.tif 000013
【図４】
2004240086.tif 000014
【図５】
2004240086.tif 000015
【図６】
2004240086.tif 000016
【図７】
2004240086.tif 000017
【図８】
2004240086.tif 000018