(57)【要約】【課題】コンピュータを用いた音声対話システム等における音声解釈の信頼性と、柔軟性の向上。【解決手段】音声認識した結果に信頼性情報付加手段１４により逐次信頼性情報を付加し、更に形態の異なる規則型解釈手段１８Ａと、特定種単語抽出手段１８Ｂと、事例型解釈手段１８Ｃとでそれぞれ有限状態トランスデューサを生成させ、この有限状態トランスデューサの結合形態の中から解釈結果選別手段１５で最も重みの小さい、つまり信頼性の最も高い組合せを選択して音声解釈結果として出力する。【選択図】  図１
2005257917.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
システムに音声情報を入力する音声入力処理と、音声を単語の系列として認識する音声認識処理と、認識した各単語に対してその認識の信頼性を逐次評価する音声認識信頼性評価処理と、認識した単語の系列と各単語の認識の信頼性を基に入力された音声情報を解釈する音声解釈処理とを実行させる音声解釈システムの音声解釈方法であって、
上記音声入力処理で得られた音声情報（Ａ）を、音声認識処理によって単語の系列（Ｂ）として認識し、この単語の系列に含まれる単語（Ｂ０），（Ｂ１），…，（Ｂｎ）のそれぞれに対して音声認識信頼性評価処理によって音声認識の信頼性評価値（Ｃ０），（Ｃ１），…，（Ｃｎ）を計算し、単語（Ｂ０），…，（Ｂｎ）と、音声認識の信頼性評価値（Ｃ０），（Ｃ１），…，（Ｃｎ）から入力された音声（Ａ）に対する音声解釈結果（Ｄ）を特定することを特徴とする音声解釈方法。
【請求項２】
請求項１記載の音声解釈方法において、
登録された特定の単語の系列（Ｅ０），（Ｅ１），…，（Ｅｉ）を含む単語の系列が入力されたとき、それと対応する解釈結果の系列（Ｆ０），（Ｆ１），…，（Ｆｊ）を出力する規則型解釈処理と、
ある特定種類の単語（Ｇ）を含む単語の系列が入力されたとき、上記特定種類の単語（Ｇ）を出力する特定種単語抽出処理と、
データベース内に事例として蓄積されている単語の系列（Ｈ０），（Ｈ１），…，（Ｈｋ）と対応する解釈結果の系列（Ｉ０），（Ｉ１），…，（Ｉｉ）の組があり、上記単語の系列（Ｈ０），…，（Ｈｋ）を含む単語の系列が入力されたとき、上記解釈結果の系列（Ｉ０），（Ｉ１），…，（Ｉｉ）を出力する事例型解釈処理とに基づき、上記規則型解釈処理、特定種単語抽出処理、事例型解釈処理とを組み合わせた有限状態トランスデューサを用いた解釈結果選別処理とを実行して最善の音声解釈結果（Ｄ）を特定する音声解釈方法。
【請求項３】
請求項２記載の音声解釈方法において、
上記データベースに蓄積する事例として音声認識信頼性評価値（Ｍｉ）がある値よりも大きい単語系列（Ｊｉ），（Ｌｉ）の組を登録し、この登録された単語系列（Ｊｉ），（Ｌｉ）を上記事例型解釈処理で事例として利用することを特徴とする音声解釈方法。
【請求項４】
請求項３記載の音声解釈方法において、
上記事例型解釈処理で用いる音声認識信頼性評価値（Ｍｉ）は、
上記対話情報記録手段に記録した対話情報から実際に発話したと推定される単語の系列（Ｐ）を抽出し、
この抽出した単語の系列（Ｐ）から解釈される上記対話情報の内容を（Ｐ）′に特定し、
上記単語の系列（Ｐ）に含まれる単語をそれぞれ（Ｑ０），（Ｑ１），（Ｑ２），…，（Ｑｎ）として抽出し、
上記単語の系列（Ｐ）に対応する実際に発話した単語の系列の正解を（Ｒ）と特定し、
この単語の系列の正解（Ｒ）から解釈される上記対話情報の内容の正解を（Ｒ）′と特定し、
上記単語列（Ｑｉ）に対応する上記対話情報の実際に発話した単語を（Ｓｉ）と特定し、
上記抽出された単語の系列（Ｐ）をその結果の候補として推定するために計算した指標に加え、上記対話情報記録手段に記録された対話情報で得られる指標を、発話単位及び単語単位でそれぞれについて発話単位指標値及び単語単位指標値を計算し、計算された発話単位指標値及び単語単位指標値と、上記対話情報記録手段から読み出された対話情報をシステムが認識した単語の系列と、上記対話情報記録手段により記録されている実際に発話した単語の系列（Ｐ）の正解（Ｒ）とを比較して得られる発話単位及び単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位及び単語単位での信頼性を評価するための信頼性尺度を作成し、作成された信頼性尺度によって、その信頼性を評価すべき音声認識結果の指標値を計算し、信頼性尺度の評価式に当てはめて求めた信頼性評価値であることを特徴とする音声解釈方法。
【請求項５】
システムに音声情報を入力する音声入力手段と、上記の音声情報を単語の系列として認識する音声認識手段と、認識した各単語に対してその認識の信頼性を評価する音声認識信頼性評価手段と、認識した単語の系列と各単語の認識の信頼性をもとに入力された音声を解釈する音声解釈手段とで構成される音声解釈システムであって、
上記音声入力手段から入力された音声（Ａ）を、音声認識手段によって単語の系列（Ｂ）として認識し、この単語の系列に含まれる単語（Ｂ０），（Ｂ１），…，（Ｂｎ）のそれぞれに対して音声認識信頼性評価手段によって音声認識の信頼性評価値（Ｃ０），（Ｃ１），…，（Ｃｎ）を計算し、単語（Ｂ０），…，（Ｂｎ）と認識の信頼性評価値（Ｃ０），（Ｃ１），…，（Ｃｎ）から、入力された音声（Ａ）に対する音声解釈結果（Ｄ）を特定することを特徴とする音声解釈装置。
【請求項６】
請求項５記載の音声解釈装置において、
登録された特定単語の系列（Ｅ０），（Ｅ１），…，（Ｅｉ）を含む単語の系列が入力されたとき、それと対応する解釈結果の系列（Ｆ０），（Ｆ１），…，（Ｆｊ）を出力する規則型解釈手段と、ある特定種類の単語（Ｇ）を含む単語の系列が入力されたとき、上記特定種類の単語（Ｇ）を出力する特定種単語抽出手段と、データベース内に事例として蓄積されている単語の系列（Ｈ０），（Ｈ１），…，（Ｈｋ）と対応する解釈結果の系列（Ｉ０），（Ｉ１），…，（Ｉｌ）の組があり、上記単語の系列（Ｈ０），…，（Ｈｋ）を含む単語の系列が入力されたとき、上記解釈結果の系列（Ｉ０），…，（Ｉｌ）を出力する事例型解釈手段とに基づき、規則型解釈手段、特定種単語抽出手段、事例型解釈手段を組み合わせた有限状態トランスデューサを利用した解釈結果選別手段によって、最善の音声解釈結果（Ｄ）を特定する音声解釈装置。
【請求項７】
請求項６記載の音声解釈装置において、
上記データベースに蓄積する事例として音声認識信頼性評価値（Ｍｉ）がある値よりも大きい単語系列（Ｊｉ），（Ｌｉ）の組を登録する事例登録手段を具備し、この登録された単語系列（Ｊｉ），（Ｌｉ）を上記事例型解釈手段が事例として利用することを特徴とする音声解釈装置。
【請求項８】
請求項７記載の音声解釈装置において、上記事例型解釈手段で用いる音声認識信頼性評価値（Ｍｉ）は対話情報記録手段に記録した対話情報から実際に発話したと推定される単語の系列（Ｐ）を抽出する単語系列抽出手段と、
この単語系列抽出手段が抽出した単語の系列（Ｐ）から解釈される上記情報の内容を（Ｐ）′に特定する情報内容特定手段と、
上記単語の系列（Ｐ）に含まれる単語をそれぞれ（Ｑ０），（Ｑ１），（Ｑ２），…，（Ｑｎ）として抽出する単語抽出手段と、
上記単語系列（Ｐ）に対応する上記実際に発話した単語の系列の正解を（Ｒ）と特定する正解単語特定手段と、
この正解単語特定手段が特定した単語の系列の正解（Ｒ）から解釈される上記情報内容の正解を（Ｒ）′と特定する正解情報特定手段と、
上記単語列（Ｑｉ）に対応する上記実際に発話した単語を（Ｓｉ）と特定する発話単語特定手段と、
上記抽出された単語の系列（Ｐ）をその結果の候補として推定するために計算した指標に加え、上記対話情報記録手段に記録されている対話情報で得られる指標を、発話単位及び単語単位でそれぞれについて発話単位指標値及び単語単位指標値を計算する発話単位指標値計算手段及び単語単位指標値計算手段と、
計算された発話単位指標値及び単語単位指標値と、上記対話情報記録手段から読み出された対話情報をシステムが認識した単語の系列と、上記対話情報記録手段により記録されている実際に発話した単語の系列の正解とを比較して得られる発話単位及び単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位及び単語単位での信頼性を評価するための尺度作成する発話単位信頼性尺度作成手段及び単語単位信頼性尺度作成手段と、
作成された信頼性尺度によって、その信頼性を評価すべき音声認識結果の指標値を計算し、信頼性尺度の評価式に当てはめて信頼性評価値を得る発話単位信頼性評価値計算手段および単語単位信頼性評価値計算手段とによって算出されることを特徴とする音声解釈装置。
【請求項９】
コンピュータが解読可能なプログラム言語によって記述され、コンピュータに上記請求項１乃至４記載の音声解釈方法を実行させることを特徴とする音声解釈プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声を用いて人の要求を受け付ける音声解釈システムの音声解釈方法および音声解釈装置、音声解釈プログラムに関する。
【背景技術】
【０００２】
システムに音声を入力する音声入力手段と、音声を単語の系列として認識する音声認識手段と、認識した各単語に対してその認識の信頼性を評価する音声認識信頼性評価手段と、認識した単語の系列と各単語の認識の信頼性をもとに入力された音声を解釈する音声解釈手段とで構成される音声解釈システムの音声解釈方法であって、音声入力手段から入力された音声を、音声認識手段によって単語の系列として認識し、単語の系列から入力された音声に対する解釈結果を特定することに関する従来技術に、単語の系列を中間表現に変換し、中間表現の共起確率を統計モデルとして表現することで音声認識の誤りの影響で解釈結果に誤りが生じることを避けるという技術がある（非特許文献１）。
【非特許文献１】「統計処理による入力文から中間表現への変換を用いた音声言語理解」政瀧浩和、谷垣宏一、匂坂芳典、電子情報通信学会論文誌Ｄ−II Vol.Ｊ８２−Ｄ−II No.２ pp.１６９−１７７，１９９９年２月
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の技術では、音声認識手段によって得られる単語の系列のみを利用して音声解釈を行っていたため、認識した単語の系列のどの単語が認識誤りであるかを考慮することができなかった。そのことにより、音声認識手段によって十分な確信を持って単語の系列が得られた場合でも、ほとんど確信が持てないような単語の系列が得られた場合でも、その単語の系列自体が一致していれば、同じ解釈の結果が導かれることになり、音声認識の誤りによる悪影響を軽減する効果は十分でない。また、従来の技術で利用されている統計的モデルを利用するためには十分な量の人間の発話データベースが学習のために必要であり、そのデータを集めるために別の音声解釈システムを利用したり、人間同士の対話によって人間とコンピュータシステムとの対話を模擬的に記録することが必要であった。
【課題を解決するための手段】
【０００４】
この発明の請求項１では、音声を用いてシステムに入力を行う音声入力処理と、上記の音声を単語の系列として認識する音声認識処理と、認識した各単語に対してその認識の信頼性を評価する音声認識信頼性評価処理と、認識した単語の系列と各単語の認識の信頼性をもとに入力された音声を解釈する音声解釈処理とを含む音声解釈システムの音声解釈方法であって、上記音声入力処理から入力された音声（Ａ）を、音声認識処理によって単語の系列（Ｂ）として認識し、この単語の系列に含まれる単語（Ｂ０），（Ｂ１），…，（Ｂｎ）のそれぞれに対して音声認識信頼性評価処理によって音声認識の信頼性評価値（Ｃ０），（Ｃ１），…，（Ｃｎ）を計算し、単語（Ｂ０），…，（Ｂｎ）と認識の信頼性評価値（Ｃ０），（Ｃ１），…，（Ｃｎ）から、入力された音声（Ａ）に対する音声解釈結果（Ｄ）を特定する音声解釈方法を提案する。
【０００５】
この発明の請求項２では、音声入力処理から入力された音声（Ａ）を、音声認識処理によって単語の系列（Ｂ）として認識し、この単語の系列に含まれる単語（Ｂ０），…，（Ｂｎ）と、音声認識信頼性評価処理によって計算された音声認識の信頼性評価値（Ｃ０），（Ｃ１），…，（Ｃｎ）から、入力された音声（Ａ）に対する音声解釈結果（Ｄ）を特定する音声解釈方法を実現するために、登録された特定の単語の系列（Ｅ０），（Ｅ１），…，（Ｅｉ）を含む単語の系列が入力されたとき、それと対応する解釈結果の系列（Ｆ０），（Ｆ１），…，（Ｆｊ）を出力する規則型解釈処理と、ある特定の種類の単語（Ｇ）を含む単語の系列が入力されたとき、（Ｇ）を出力する特定種単語抽出処理と、データベース内に事例として蓄積されている単語の系列（Ｈ０），（Ｈ１），…，（Ｈｋ）と対応する解釈結果の系列（Ｉ０），（Ｉ１），…，（Ｉｌ）の組があり、（Ｈ０），…，（Ｈｋ）を含む単語の系列が入力されたとき、（Ｉ０），…，（Ｉｌ）を出力する事例型解釈処理とに基づき、規則型解釈処理、特定種単語抽出処理、事例型解釈処理を組み合わせた有限状態トランスデューサを利用した解釈結果選別処理によって、最善の音声解釈結果（Ｄ）を特定する音声解釈方法を提案する。
この発明の請求項３では請求項２記載の音声解釈方法において、データベースに蓄積する事例として音声認識信頼性評価値（Ｍｉ）がある値よりも大きい単語系列（Ｊｉ），（Ｌｉ）の組を登録し、この登録された単語系列（Ｊｉ），（Ｌｉ）を事例型解釈処理で事例として利用する音声解釈方法を提案する。
【０００６】
この発明の請求項４では、請求項３に記載の音声解釈方法において、事例型解釈処理で用いる音声認識信頼性評価値（Ｍｉ）は対話情報記録手段に記録した対話情報から実際に発話したと推定される単語の系列（Ｐ）を抽出し、この抽出した単語の系列（Ｐ）から解釈される上記対話情報の内容を（Ｐ）′に特定し、単語の系列（Ｐ）に含まれる単語をそれぞれ（Ｑ０），（Ｑ１），（Ｑ２），…，（Ｑｎ）として抽出し、単語系列（Ｐ）に対応する実際に発話した単語の系列の正解を（Ｒ）と特定し、この単語の系列の正解（Ｒ）から解釈される上記対話情報の内容の正解を（Ｒ）′と特定し、単語列（Ｑｉ）に対応する対話情報の実際に発話した単語を（Ｓｉ）と特定し、抽出された単語の系列（Ｐ）をその結果の候補として推定するために計算した指標に加え、上記対話情報記録手段に記録された対話情報で得られる指標を、発話単位及び単語単位でそれぞれについて発話単位指標値及び単語単位指標値を計算し、計算された発話単位指標値及び単語単位指標値と、上記対話情報記録手段から読み出された対話情報をシステムが認識した単語の系列と、上記対話情報記録手段により記録されている実際に発話した単語の系列（Ｐ）の正解（Ｒ）とを比較して得られる発話単位及び単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位及び単語単位での信頼性を評価するための信頼性尺度を作成し、作成された信頼性尺度によって、その信頼性を評価すべき音声認識結果の指標値を計算し、信頼性尺度の評価式に当てはめて求めた信頼性評価値とした音声解釈方法を提案する。
【発明の効果】
【０００７】
この発明によれば、音声解釈のために定義した規則と、注目したい特定種の単語とを利用することで、簡易な定義によって音声解釈を可能にし、さらに事例を集めることでより多様な表現に対して柔軟に音声解釈をできるように変更可能で、かつ、音声認識の誤りに対して、信頼性の低い単語を棄却して音声解釈をする枠組みが組み込まれており、音声認識の誤りに対して頑健な音声解釈を可能にする。また、事例型解釈のための事例は、あらかじめデータを収集して、発話を書き起こし、対応する解釈結果のラベルを付けた形式で作成するだけでなく、システムが集めた対話記録から信頼性の高い事例を集めて、自動的に作成することも可能である。
【発明を実施するための最良の形態】
【０００８】
図１にこの発明を実施するための最良の形態を示す。図１に示す１０はこの発明による音声解釈装置、２０はこの音声解釈装置１０で用いるデータベースを作成するデータベース作成部を示す。
この発明による音声解釈装置１０は、入力音声１１を取り込むための音声入力手段１２と、入力された音声の内容を音声認識する音声認識手段１３と、音声認識手段１３で音声認識した認識結果に信頼性情報を付加する信頼性情報付加手段１４と、信頼性情報が付加された単語の系列から、データベース１７に登録されているデータに従って割当られたモードに従って解釈結果を出力し、有限状態トランスデューサを生成する有限状態トランスデューサ生成部１８と、有限状態トランスデューサ生成部１８が出力した有限状態トランスデューサを利用して最善のものを選別する解釈結果選別手段１５とによって構成され、この解釈結果選別手段１５から音声解釈結果１６が出力され、音声又は文字として表示される。
【０００９】
有限状態トランスデューサ生成部１８は信頼性情報付加手段１４で信頼性情報を付加された単語の系列から、データベース１７に登録された特定の単語の系列を抽出し、対応する解釈結果を出力する規則型解釈手段１８Ａと、同じく信頼性情報を付加された単語の系列から、データベース１７に登録された特定の種類の単語を抽出し、出力する特定種単語抽出手段１８Ｂと、同じく信頼性情報を付加された単語の系列から、データベース１７内に事例として蓄積されている単語の系列を抽出し、データベース１７内の対応する解釈結果の値を参照して出力する事例型解釈手段１８Ｃとによって構成される。
データベース作成部２０は事例ファイル２１から事例登録手段２２を通じてデータベース１７に事例を登録する構成と、対話情報記録手段２３から事例信頼性情報付加手段２４で対話情報に音声認識信頼性情報を付加し、この音声認識信頼性情報が付加された対話情報の中から信頼性の高い情報を事例選択手段２５で選択し、その選択した情報を事例登録手段２２を通じてデータベース１７に書き込む構成とが考えられる。
【００１０】
以下に各部の動作を図１に示した各ステップ表示に従って説明する。
ステップ１  データベース１７には規則型解釈手段１８Ａで利用される音声解釈規則、特定種単語抽出手段１８Ｂで利用される特定種単語、事例型解釈手段１８Ｃで利用されるデータベース１７中の事例を記述したファイル（システム記述ファイル）を準備する。
ステップ２  システム記述ファイルで定義された音声解釈規則に基づいて、音声認識手段１３で音声認識した音声認識結果の単語の系列を解釈するための規則型解釈手段１８Ａを起動する。具体的には、規則で定義された単語の系列を入力とし、対応する解釈結果を出力とするような重み付き有限状態トランスデューサとして表現する。ここで、ひとつの規則の適用に対して、一定の重みを加える。
ステップ３  音声認識手段１３で音声認識した単語の中でシステム記述ファイルで定義された特定の内容を表す種類の単語が存在した場合、その単語を出力する形で解釈とする機能を持つ特定種単語抽出手段１８Ｂを起動する。具体的には、特定種の単語が入力された場合には特定種類の単語であることを明示した上で、一定の重みで単語を出力し、それ以外の単語については、それより大きな重みでそのまま単語を出力するような重み付き有限状態トランスデューサとして表現する。
ステップ４  システム記述ファイルに記載された、データベース１７に蓄積されている単語の系列と対応する解釈結果の事例に基づいて、過去の事例にあった解釈を利用して音声解釈を行う事例型解釈手段１８Ｃを起動する。動作は規則型解釈手段１８Ａの場合とほぼ同じで、重み付き有限状態トランスデューサの重みの与え方が異なる。事例による解釈を適用するときの重みは、データベース１７中での事例の生起確率の対数の符号を反転させた値を用いる。
ステップ５  規則型解釈手段１８Ａ・特定種単語抽出手段１８Ｂ・事例型解釈手段１８Ｃのそれぞれで生成した３つの重み付き有限状態トランスデューサを結合し、解釈結果選別手段１５に入力する。
ステップ６  音声入力手段１２により入力音声１１を受け取る。
ステップ７  音声認識手段１３により音声認識処理を行う。
ステップ８  信頼性情報付加手段１４により、音声認識の結果得られる単語の系列に、音声認識信頼性情報を付加した有限状態トランスデューサに変換する。信頼性の高い単語が優先されるように、信頼性評価値の高いものほど小さい重みを持つようにする。
ステップ９  音声認識の信頼性情報を付加した有限状態トランスデューサと、規則型解釈手段・特定種単語抽出手段・事例型解釈手段を組み合わせた重み付き有限状態トランスデューサと合成し、合成された重み付き有限状態トランスデューサ（解釈結果選別手段）から、もっとも重みの小さい経路を選び、その出力を音声解釈結果１６として出力する。
【００１１】
データベース作成部２０では一つの方法として、
ステップＡ１  人間が実際に発話した単語の系列と、対応する解釈結果について記述した情報を記録したファイル（事例ファイル２１）を準備する。
ステップＡ２  事例登録手段２２により、事例ファイル２１の単語の系列と解釈結果の組をデータベース１７の事例に登録する。
他の方法として、
ステップＢ１  事例信頼性情報付加手段２４により、対話記録の音声認識結果の単語の系列に対し、発話単位信頼性評価値を計算し、対話記録の音声認識結果の単語の系列に発話単位信頼性情報を付加する。この発話単位信頼性評価値の算出方法に関しては先願である「特願２００３−２７９２６号」で提案した「音声認識信頼性評価方法」を用いることができる。先願の発話単位信頼性評価値の計算方法に関しては後に詳細に説明する。
ステップＢ２  事例選択手段２５により、信頼性評価値が別に指定した閾値より大きい音声認識結果を選別し、ファイル（選択事例ファイル）として保存する。
ステップＢ３  事例登録手段２２により、選択事例ファイルに書き出された信頼性の高い音声認識結果の単語の系列と、対応する解釈結果をデータベース１７の事例に登録する。
【実施例】
【００１２】
以下に各部の実施例を説明する。例として、バスの時刻表をコンピュータシステムに質問するための音声解釈システムを用いる。同システムでは、人間はシステムに「乗車するバス停」「降車するバス停」「バスの経由地」「出発時間もしくは到着時間」「曜日」の５つの情報を伝えることができる。
信頼性情報付加手段１４
音声認識手段１３で音声認識した単語の系列を、各単語の音声認識の信頼性の情報を付加した重み付き有限状態トランスデューサに変換する。ここで用いる信頼性評価方法としては例えば参考文献１に記載の技術を用いることができる。
（参考文献１）
“Recognition confidence scoring and its use in speech understanding systems”，Timothy J.Hazen,Stephanie Seneff and Joseph Polifroni,Computer Speech and Language 2002 vol.16 pp.46-67
信頼性の高い単語が優先されるように、信頼性評価値が高いものほど小さい重みが与えられるようにする。本実施例では、信頼性評価値の符号を反転させた数を重みとして用いる。そして、音声認識の誤りがあった場合に、誤って認識された単語を棄却することができるように、有限状態トランスデューサの状態遷移の際に一定の重みで単語を棄却する枠組みを導入する。
【００１３】
例として、単語を棄却する場合の状態遷移の重みを＋３．０とし、音声認識結果の第一候補が「バスセンター（信頼性評価値＋２．０）から（信頼性評価値＋１．２）」、第二候補が「バスセンター（信頼性評価値＋２．０）から（信頼性評価値＋１．０）は（信頼性評価値−０．８）」であった場合の重み付き有限状態トランスデューサの表現は、以下のようになる。以下の例では、各行が遷移規則を表し、第１列が現在の状態番号、第２列が遷移先の状態番号、第３列が状態遷移の際の入力シンボル、第４列が状態遷移の際の出力シンボル、第５列が状態遷移の重み（空欄の場合は０）である。状態番号０が開始状態で、第１列にのみ要素が入っている場合は、その状態番号が終了状態となる。epsilonは何も入力されない、もしくは何も出力されない状態遷移であることを示している。単語の棄却は、出力がepsilonとなるような状態遷移によって実現される。
========
第１列  第２列    第３列          第４列      第５列
０      １      epsilon         epsilon
１      ２    バスセンター    バスセンター   -2.0
１      ２    バスセンター     epsilon        3.0
２      ３        から        バスセンター   -1.2
２      ３        から         epsilon        3.0
３
０      ４    バスセンター    バスセンター   -2.0
０      ４    バスセンター     epsilon        3.0
４      ５        から        バスセンター   -1.0
４      ５        から         epsilon        3.0
５      ６         は            は           0.8
５      ６         は          epsilon        3.0
========
規則型解釈手段１８Ａ
あらかじめ定義された音声解釈規則に基づいて、音声認識結果の単語の系列を解釈する。具体的には、規則で定義された単語の系列を入力とし、対応する解釈結果を出力とするような重み付き有限状態トランスデューサとして表現する。ひとつの規則の適用に対して、一定の重みを加える。
【００１４】
例として、規則を適用する際の重みを＋１．０とし、「研究所前 から バスセンター まで」という単語の系列が入力されたとき、「stopfrom＝(busstop＝(研究所前))，stopto＝(busstop＝(バスセンター))」という音声解釈結果を出力するような音声解釈規則を適用する重み付き有限状態トランスデューサは、以下のようになる。
========
０  １     epsilon    stopfrom=(研究所前)),stopto=(busstop=(バスセンター))  1.0
１  ２    研究所前                        epsilon
２  ３      から                          epsilon
３  ４    バスセンター                    epsilon
４  ５      まで                          epsilon
５
========
特定種単語抽出手段１８Ｂ
あらかじめ定義された特定の内容を表す種類の単語について、その単語を出力する形で解釈とする機能を実現する。具体的には、特定種の単語が入力された場合には特定種類の単語であることを明示した上で、一定の重みで単語を出力し、それ以外の単語については、それより大きな重みでそのまま単語を出力するような重み付き有限状態トランスデューサとして表現する。
【００１５】
例として、特定種単語を出力するときの重みを＋２．０、特定種単語として明示的に定義されてはいないが、システムが扱うことのできる語彙に含まれる単語を出力するときの重みを＋３．０とし、「バス停名はバスセンター」という内容を表すbusstopという種類の単語「バスセンター」と、「時間は８時」という内容を表すhourという種類の単語「８時」と、種類が明示的に定義されていない単語「です」を扱う重み付き有限状態トランスデューサは以下のようになる。
========
０  １    バスセンター      busstop＝(バスセンター)    2.0
０  １       ８時                hour＝(8)             3.0
０  １       です                です                  3.0
１
========
事例型解釈手段１８Ｃ  
データベース１７に蓄積されている単語の系列と対応する解釈結果の事例に基づいて、過去の事例にあった解釈を利用して音声解釈を行う。構成法は規則型解釈手段１８Ａの場合とほぼ同じで、重み付き有限状態トランスデューサの重みの与え方が異なる。事例による解釈を適用するときの重みは、データベース中での事例の生起確率の対数の符号を反転させた値を用いる。
【００１６】
例として、「研究所前１０時 発」という単語の系列と、「stopfrom＝(busstop＝(研究所前）），departtime＝(hour＝(8))」という解釈結果の組がデータベースに蓄積されており、そのデータベース中での生起確率が０．００１であったとすると、この事例を適用する重み付き有限状態トランスデューサは以下のようになる。
========
０  １     epsilon  stopfrom＝(研究所前)),departtime＝(hour＝(8))  -log(0.001)
１  ２    研究所前                      epsilon
２  ３      10時                        epsilon
３  ４      発                          epsilon
４
========
解釈結果選別手段１５
規則型解釈手段１８Ａ、特定種単語抽出手段１８Ｂ、事例型解釈手段１８Ｃのそれぞれを利用して単語の系列に対する解釈結果を与えることができるが、それぞれが独立して動作すると上記３つのどの手段によって得られた解釈結果が妥当であるかを判別することができないため、それぞれで構成された重み付き有限状態トランスデューサを並列に組み合わせることで、組み合わされた重み付き有限状態トランスデューサで受理される単語の系列の中で最も重みの小さくなるものを選択し、解釈結果として採用する。その際、任意の長さの単語の系列と、音声理解規則にある単語の系列・特定種単語・データベース中の事例にある単語の系列の任意の回数の繰り返しに対応するために、規則型解釈手段１８Ａ・特定種単語抽出手段１８Ｂ・事例型解釈手段１８Ｃのそれぞれの重み付き有限状態トランスデューサを並列に組み合わせ、さらにその閉包（トランスデューサの各終了状態から開始状態への経路が存在し、任意の回数繰り返してトランスデューサのネットワークをたどれるようにしたもの）を構成し、解釈結果を選別する手段として用いる。
事例登録手段２２
【００１７】
事例型解釈手段１８Ｃが用いるデータベースへ蓄積する事例として、単語の系列と対応する解釈結果の組を登録するための手段である。単語の系列と対応する解釈結果の組を書き出したファイルを入力として、その組を事例としてデータベースに登録する。入力とされるファイルには２種類のものがあり、１種類目は、人間とコンピュータシステムとの対話記録を基に、実際に人間が発話した単語の系列（書き起こし）と、その解釈結果をラベルづけしたものを書き出したファイル（事例ファイル）であり、２種類目は、事例選択手段２５によって作成されたファイル（選択事例ファイル）である。
事例選択手段２５
人間が書き起こしや意味内容のラベルづけなどをした、整備された対話記録を用いるのではなく、システムが記録しただけで整備されていない対話記録を用いて、事例型解釈手段１８Ｃが用いるデータベース１７への事例の登録を可能にするための方法である。事例信頼性情報付加手段２４によって信頼性情報が付加された音声認識結果の単語の系列と対応する解釈結果の組から、信頼性評価値が一定値よりも高いものを選択して、データベース１７に備えたファイル（選択事例ファイル）に書き出す。
事例信頼性情報付加手段２４
事例信頼性情報付加手段２４により、対話記録の音声認識結果の単語の系列に対し、発話単位信頼性評価値を計算し、対話記録の音声認識結果の単語の系列に発話単位信頼性情報を付加し、事例選択手段２５に渡す。その際利用する信頼性評価法として、「特願２００３−２７９２６号で提案した音声認識信頼性評価方法」を適用することができる。
【００１８】
［実施の処理の流れ］
まず、音声解釈装置１０の動作を説明する。以下の例では説明の簡略化のため、バスの時刻表を扱う音声解釈システムの、「経由地」に関する情報を解釈する部分についてのみ触れる。他の内容について解釈する部分についても同様の処理が行われる。
音声解釈規則は以下のような書式でＸＭＬ形式のファイル（A.xml:システム記述ファイル）に記録しておく。
<class name=“specify_via”type=“Action”>
<entry>観音坂 経由</entry>
<entry>経由地 は 船子</entry>
<class>
上記の例では、「経由地を指定する（specify_via）」というタイプの発話を定義している。
【００１９】
特定種単語の定義は、以下のような書式で同じＸＭＬファイル（A.xml）に記録しておく。
<class name=“via”type=“Key”>
<entry>観音坂</entry>
<entry>船子</entry>
<entry>広町橋</entry>
</class>
上記の例では、「経由地（via）」という種類の単語を定義している。
【００２０】
一方、事例型解釈手段１８Ｃが参照するデータベースは、以下のような書式で単語の系列と対応する解釈結果を事例としてデータベース１７に備えたシステム記述ファイルに記録されている。
観音坂 を 経由：specify_via via＝(観音坂)
船子 を 通る：specify_via via＝(広町橋）
上記の事例を含むファイルは、実際に人間が発話した単語の系列と対応する解釈結果の組をあらかじめデータを収集して、発話を書き起こし、対応する解釈結果のラベルを付けた形式の事例ファイルとして作成するか、人間とシステムとの対話記録を参照し、後に説明する特願２００３−０２７９２６の音声認識信頼性評価方法を用いて、発話単位信頼性評価値を計算し、音声認識結果の発話単位信頼性評価値が付加された下記の書式のファイルを作成し、この中から信頼性評価値が一定の閾値より大きい（例えば０より大）ものを選択した選択事例ファイルとして作成する。
20021114-02-02_08,0.861485:船子 を 通る［CONCEPT］specify_via via=(船子)
20021114-02-02_21,-1.65177:１時 まで［CONCEPT］specify_time hour=(1)
上記のファイルの書式は、左から発話のＩＤ、発話単位信頼性評価値、音声認識結果の単語の系列、そして［CONCEPT］以下が音声認識結果の単語の系列に対応する音声解釈結果である。
【００２１】
そして、データベースに蓄積された事例を取り出し、以下のような書式でシステム記述ファイル（A.xml）に記録しておく。
<example>
<entry acttype=“specify_via”concept=“via=(観音坂)”prob=“0.01”>観音坂 を 経由</entry>
<entry acttype=“specify_via”concept=“via=(広町橋)”prob=“0.001”>船子 を 通る</entry>
</example>
上記の例では、観音坂という経由地を指定する「観音坂 を 経由」という単語の系列が、確率０．０１でデータベース中の事例に含まれており、また、広町橋という経由地を指定する「広町橋 を 通る」という単語の系列が、確率０．００１でデータベース中の事例に含まれていることを示している。
【００２２】
上記のような内容が記録されたシステム記述ファイル（A.xml）を処理して、規則型解釈手段１８Ａ、特定種単語抽出手段１８Ｂ、事例型解釈手段１８Ｃでそれぞれの重み付き有限状態トランスデューサを作成する。なお、規則型解釈手段１８Ａで定義した単語の系列や事例型解釈手段１８Ｃで利用される事例の単語の系列に特定種単語が含まれる場合は、同じ種類の単語に置き換えても同じ規則が適用できるように変更を加える。なお、規則型解釈手段１８Ａで規則を適用する際の重みは＋１．０、特定種単語抽出手段１８Ｂで特定種単語（この例では「観音坂」「船子」「広町橋」）を抽出する際の重みは＋２．０、特定種として定義されていない単語（特定種単語として定義されていないものすべて：この例では「えーと」「バス」「です」など）を受け付ける際の重みは＋３．０、とした。そして、それらを並列に組み合わせた上、閉包とした重み付き有限状態トランスデューサの例を図２に示す。
【００２３】
図中で、初期状態は０、各状態を丸印で示してあり、丸印の中の数字が状態番号である。二重丸で示されている状態は終了状態を示す。また、状態遷移の矢印は、「入力シンボル、出力シンボル／重み」の書式で状態遷移時の入力シンボル、出力シンボル、重みの情報を表示している。入力シンボルと出力シンボルのepsilonは、入力シンボルもしくは出力シンボルがない状態遷移であることを示す。
このとき、この重み付き有限状態トランスデューサを用い、重みが最小となるような状態遷移系列を求めることで、音声解釈結果を得ることが可能となる。
【００２４】
上記の音声解釈規則および特定種単語の定義に基づいて、「（経由地）種に含まれる単語」経由」および「経由地は（「経由地」種に含まれる単語）」という単語の系列に対して解釈が可能となる。例として、「経由地 は 広町橋」という単語の系列に対する解釈結果はspecify_via via=(広町橋)（広町橋という経由地を指定している）のようになる。その際の状態遷移系列は、0->1->6-（「経由地」を入力）->7-（「は」を入力）->8-（「広町橋」を入力）->9->10（終了状態）で、重みは１となる。このとき、音声解釈装置１０からの出力は、
1.0      specify_via via=(広町橋)
のようになり、この解釈の重みと、解釈結果の組として出力される。
【００２５】
また、「えーと 観音坂」のように、音声解釈規則には含まれていないが、特定種（経由地）の単語を含む単語の系列に対しては、via=(観音坂)（観音坂という経由地を発話をした）という解釈結果が得られる。その際の状態遷移系列は、0->1->11-（「えーと」を入力）->12->13->24->0->1->11-（「観音坂」を入力）->12->13（終了状態）で、重みは５となる。このとき、音声解釈装置１０からの出力は、
5.0      via=(観音坂)
のようになる。
【００２６】
さらに、「船子 を 通る バス です」という単語の系列が入力された場合は、「船子 を 通る」という単語の系列はデータベースの事例に含まれているため、事例型解釈手段１８Ｃによって解釈され、「バス です」という特定種単語として定義されていない単語に対しては、特定種単語抽出手段１８Ｂで特定種でない単語として扱われるため、specify_via via=(船子)という解釈結果が得られる。この際の状態遷移系列は、0->1->19-（「船子」を入力）->20-（「を」を入力）->21-（「通る」を入力）->22->23->24->0->1->11-（「バス」を入力）->12->13->24->0->1->11-（「です」を入力）->12->13（終了状態）で、重みは８となる（-log(0.001)=3）。このとき、音声解釈装置１０からの出力は、
8.0      specify_via via=(船子)
のようになり、この解釈の重みと、解釈結果の組として出力される。
【００２７】
そして、以下のような音声認識結果が得られたとき、
観音坂（信頼性評価値+1.5）は（信頼性評価値-0.5）経由（信頼性評価値+1.0）
観音坂（信頼性評価値+1.5）が（信頼性評価値-1.0）経由（信頼性評価値+1.0）
認識結果の単語を棄却するときの重みを＋３．０としたとき、信頼性情報付加手段１４によって信頼性情報を付加（信頼性評価値の符号を反転させた値を重みとする）した重み付き有限状態トランデューサは図３のようになる。図３の音声認識結果の単語系列を表す重み付き有限状態トランスデューサの出力シンボルを、図２の音声解釈手段を表す重み付き有限状態トランスデューサの入力シンボルとして扱う形で、２つの重み付き有限状態トランスデューサを合成し、合成された重み付き有限状態トランスデューサ上で重みが最小となるような状態遷移系列を求めれば、最適な音声解釈結果を得ることができる。図２と図３の例では、図３側の状態遷移系列を0->1->2-（「観音坂」を入力、「観音坂」を出力）->3-(「は」を入力、「は」は棄却)->4-（「経由」を入力、「経由」を出力）->5（終了状態）とし、「観音坂 経由」という出力をして、図２側の状態遷移系列は0->1->2-（「観音坂」を入力）->3-（「経由」を入力）->4->5（終了状態）としたときが最も重みが小さくなり、その際の図３側での重みは０．５、図２側での重みは１となる。最終的に、
1.5      specify_via via=(観音坂)
という解釈結果が得られる。仮に、図３の単語の棄却をする枠組みがなかったとし、「観音坂 は 経由」という単語の系列を図３の重み付き有限状態トランスデューサの状態遷移に当てはめると、規則型解釈、事例型解釈によって解釈できないことから、
8.0      via=(観音坂)
となり、「経由地を指定する」という発話タイプであることを解釈できない。
【００２８】
以下に先願である特願２００３−２７９２６号で提案した音声認識信頼性評価方法を説明する。先の出願では音声対話システムに併設する音声認識信頼性評価方法及び装置を提案している。以下では可能な限り音声認識信頼性評価方法及び装置に絞って説明することにする。
図４は先に出願した音声対話システムに用いる音声認識信頼性評価方法を実行する場合の手順の一例を示す。尚、ここでは対話終了後に音声認識信頼性評価の処理を開始するものとして説明する。
【００２９】
図４に示すステップＳＰ１で対話情報記憶手段から対話情報を読み込む。
ステップＳＰ２ではユーザが情報要求のために発話したと推定される単語の系列（Ｐ）を抽出する。
ステップＳＰ３では推定した単語の系列（Ｐ）から解釈されるユーザの情報要求内容を（Ｐ）′と特定する。
ステップＳＰ４ではステップＳＰ２で抽出した単語の系列（Ｐ）に含まれる単語をそれぞれ（Ｑ０）（Ｑ１）（Ｑ２）…（Ｑｎ）として特定する。
ステップＳＰ５では単語の系列（Ｐ）に対応するユーザが情報要求のために実際に発話した単語の系列の正解を（Ｒ）と特定する。
ステップＳＰ６では単語の系列の正解（Ｒ）から解釈されるユーザの情報要求内容の正解を（Ｒ）′と特定する。
ステップＳＰ７では単語列（Ｑｉ）に対応するユーザが情報要求のために実際に発話した単語を（Ｓｉ）と特定する。
【００３０】
図５に示すステップＳＰ８ではユーザとシステムのやり取りの各時点において音声認識手段がユーザの音声を認識し、ユーザが発話したと推定される単語の系列（Ｐ）をその結果の候補として推定するために計算した指標に加え、ユーザとシステムとのやり取りが終了した時点で得られる指標を発話単位及び単語単位でそれぞれについて会話単位指標値及び単語単位指標値を計算する。
ステップＳＰ９では計算された発話単位指標値及び単語単位指標値と、ユーザの発話をシステムが認識した単語の系列と、上記対話情報記録手段により記録されている実際に発話した単語の系列の正解とを比較して得られる発話単位及び単語単位での正しさを０と１の二値で示した指標との関連を求めることにより、発話単位及び単語単位での信頼性を評価するための尺度を作成する。
ステップＳＰ１０では、ステップＳＰ２と同様に単語系列（Ｐ）を抽出する。ステップＳＰ１１では、ステップＳＰ３と同様に単語系列（Ｐ）から解釈されるユーザの情報要求内容を（Ｐ）′と特定する。
【００３１】
ステップＳＰ１２では、ステップＳＰ４と同様に単語列（Ｑ０）（Ｑ１）（Ｑ２）…（Ｑｎ）を特定する。
ステップＳＰ１３では、ステップＳＰ８と同様に発話単位及び単語単位でそれぞれ指標値を計算する。
ステップＳＰ１４では、計算された発話単位指標値および単語単位指標値を、ステップＳＰ９で作成した発話単位信頼性尺度および単語単位信頼性尺度に当てはめ、発話単位信頼性評価値および単語単位信頼性評価値を計算する。
【００３２】
図６にコンピュータによって実現した音声対話システムと、この音声対話システムの音声認識信頼性の評価を行なう音声認識信頼性評価装置の実施例を示す。
コンピュータはよく知られているように、プログラムを解読し、実行するＣＰＵ３１と、読出専用メモリＲＯＭ３２と、プログラム等を格納し、実行するためのＲＡＭ３３と、入力ポート３４、出力ポート３５等によって構成される。尚、出力ポート３５には拡声装置４１が接続され、この拡声装置４１でスピーカを駆動し、システムからの応答が音声で出力される場合を示す。
【００３３】
ＲＡＭ３３には情報要求入力手段３３Ａを構成するためのプログラムと、対話情報記録手段３３Ｂを構成するプログラム、形式変換手段３３Ｃを構成するプログラム、音声認識手段３３Ｄを構成するプログラム、対話終了判定手段３３Ｅを構成するプログラム、情報提供手段３３Ｆを構成するプログラムが格納され、これらのプログラムとＣＰＵ３１とによって音声対話システム１００が構成される。
音声認識信頼性評価装置２００は音声対話システム１００の構成に加えて、ＲＡＭ３３に単語系列（Ｐ）の抽出手段３３Ｇを構成するプログラムと、情報要求内容（Ｐ）′特定手段３３Ｈを構成するためのプログラム、単語列Ｑ０、Ｑ１、Ｑ２…抽出手段３３Ｉを構成するプログラム、正解単語特定手段３３Ｊを構成するプログラム、正解情報内容特定手段３３Ｋを構成するプログラム、発話単語特定手段３３Ｌを構成するプログラム、発話単位指標値計算手段及び単語単位指標値計算手段３３Ｍを構成するプログラム、発話単位信頼性尺度作成手段及び単語単位信頼性尺度作成手段３３Ｎを構成するプログラム、発話単位及び単語単位信頼性評価値計算手段３３Ｐを構成するプログラムが格納され、これらのプログラムが音声対話システム１００を構成するプログラムと共にＣＰＵ３１により実行されて音声認識信頼性評価装置２００が構成され音声認識信頼性評価方法が実行される。
【００３４】
以下に各部の実施例を説明する。例として、音声対話によるバス時刻表案内システムを用いる。同システムでは、ユーザはシステムに「乗車するバス停」「降りるバス停」「バスの経由地」「時間」「指定するのは出発する時間／到着する時間のどちらか」「曜日」の６つの情報を伝え、システムは、該当するバスの発車時刻をユーザに伝える。
同システムにおける対話情報記録手段、指標値計算手段、信頼性尺度作成手段の詳細は以下のようになる。
【００３５】
対話情報記録手段
音声対話システムはユーザの情報要求を、属性と値の対として理解する。これをスロットと呼ぶ。システムは複数のスロットから成るデータ構造を用いて、ユーザの情報要求を保持し、対話を進める。このデータ構造を対話状態と呼ぶ。バス時刻表案内システムにおける対話状態は、以下の６つのスロットで構成される。
（STOP_FROM.value）:「乗車するバス停」
（STOP_TO.value）:「降りるバス停」
（VIA.value）:「バスの経由地」
（TIME.value）:「時間」
（TIME_TYPE.value）:「指定するのは出発する時間/到着する時間のどちらか」（DAY.value）:「曜日」
また、ユーザの発話をシステムが解釈した結果得られる、「スロット（Ｓ）に値（ｓ）を埋める」などの、ユーザの発話に含まれる意味表現を、対話行為と呼ぶ。例えば、「○○バスセンターから※※学院大学まで」というユーザの発話に対する対話行為は、以下のように表現される。
（SET-STOP_FROM（○○バスセンター））（SET-STOP_TO（＊＊学院大学））
システムはユーザとの対話の各時点における、ユーザの発話音声と、対話が終了した時点で、確定しているユーザの情報要求内容を、対話状態の形で対話記録として記録する。
【００３６】
発話単位指標値計算手段
記録されたユーザの各発話音声に対し、対話記録時と同じ音声認識手段を用い、ユーザの発話音声を認識し、ユーザが発話した単語の系列を、最大５個まで推定し、各認識結果候補に対し、各認識結果候補の単語の系列と認識の過程で用いたスコアに基づいて、図７に示す発話単位での指標値Ｕ１〜Ｕ１９を計算する。
発話単位信頼性尺度作成手段
発話単位指標値計算手段で計算された指標値に基づいて、ユーザの発話を認識した結果得られる単語の系列を（Ｐ）、対応する発話を人間が書き起こして得られる単語の系列の正解を（Ｑ）として、（Ｐ）を解釈したときの対話行為が、（Ｑ）を解釈したときの対話行為と一致する信頼性を、計算する尺度を作成する。文献[“Recognition confidence scoring and its speech understanding systems”,Timothy J.Hazen,Stephanie Seneff and Joseph Polefroni,Computer Speech and Language 2002 vol.16 pp.46-67]
【００３７】
発話単位指標値計算手段で算出された指標の列ベクトルf＾、同次元の列ベクトルp＾を用いて、（Ｐ）を解釈したときの対話行為が、（Ｑ）を解釈したときの対話行為と一致する信頼性を、式１及び式２により、１次元の値Ｒを用いて評価する。
【数１】
2005257917.tif 000003
式２の、ｔはしきい値、p（r|correct）、p（r|incorrect）は、それぞれrが正しい発話音声認識結果に基づく指標値、誤った発話認識結果に基づく指標値であったときの、ガウス密度関数（式３、式４）であり、P（correct）、P（incorrect）は、それぞれ正しい発話音声認識結果、誤った発話音声認識結果を観測する事後確率である。発話音声認識結果が正しいかったときのrの平均をμ（correct）、分散をσ2（correct）、発話音声認識結果が誤っていたときのrの平均をμ（incorrect）、分散をσ2（incorrect）とすると、p（r｜correct）、p（r｜incorrect）は、それぞれ式３、式４で計算できる。
【数２】
2005257917.tif 000004
【００３８】
発話単位信頼性尺度作成手段では、発話音声認識結果に対する正解となる、対応する発話音声の書き起こしの存在する少量の記録を用いて、発話音声認識結果と、その発話認識結果を解釈して得られる対話行為が正しいかどうかの二値表現との関係から、式（１）―（４）を適用するためにに必要な、ベクトルｐ＾の各要素の最適な値を求め、対応するt、μ（correct）σ2（correct）、μ（incorrect）、σ2（incorrect）を求める。Ｐ＾は、Fisherの線形判別分析法に基づいて初期値を設定し、正解／不正解の分類誤りが最小になるように、各要素の値を山登り法に基づいて繰り返し更新して求める。
【００３９】
発話単位信頼性評価値計算手段
信頼性尺度を作成したときとは別の対話記録中の音声認識結果に対して計算された発話単位指標値を、発話単位信頼性尺度（式２）に当てはめ、発話単位信頼性評価値を計算する。
単語単位指標値計算手段
発話単位指標値計算手段で用いたものと同じユーザの発話音声認識結果を用い、各認識結果候補の単語の系列と認識の過程で用いたスコアに基づいて、各認識結果に含まれる単語に対して、図８に示す単語単位での指標値Ｗ１〜Ｗ１３を計算する。図８の“utterance score”に関しては、発話単位信頼性尺度作成手段で作成された尺度を用いて計算する。
【００４０】
単語単位信頼性尺度作成手段
ユーザの発話を認識した結果得られる単語を（Ｒ）、対応する発話を人間が書き起こして得られる単語の正解を（Ｓ）として、発話単位信頼性尺度作成手段と同様の処理を施すことにより、単語単位での信頼性尺度を作成することができる。
単語単位信頼性評価値計算手段
信頼性尺度を作成したときとは別の対話記録中の音声認識結果に対して計算された単語単位指標値を、単語単位信頼性尺度（式２）に当てはめ、単語単位信頼性評価値を計算する。
【００４１】
音声対話システムを用いてデータ収集を行なう。対話例を以下に示す。対話例中、Ｓはシステムの発話を、Ｕはユーザの発話をシステムが認識した結果得られた単語の系列を示す。また、括弧内は実際のユーザの発話を書き起こしたものである。
Ｕ：○○バスセンター８時は※※学院大学へ１時
（○○バスセンター発、※※学院大行き）
Ｓ：はい
Ｕ：１１時台出発のバス午後７時の３時
（１１台出発のバスを教えてください）
Ｓ：はい
Ｓ：出発地はどちらですか？
Ｕ：○○バスセンターです
（○○バスセンターです）
Ｓ：はい
Ｓ：どちらのバス停までですか？
Ｕ：※※学院大学で
（※※学院大学です）
Ｓ：はい
Ｓ：経由地を指定しますか？
Ｕ：しません
（しません）
Ｓ：はい
Ｓ：平日、土曜、日曜の、どの時刻表ですか？
Ｕ：休日です
（休日です）
Ｓ：はい○○バスセンターから※※学院大学まで経由地指定なし休日１９時までに到着の時刻表ということでよろしいでしょうか？
Ｕ：１２時台に出発の時刻表です
（１１時台に出発の時刻表です）
Ｓ：１２時台に出発デスネ？
Ｕ：１１時発車で
（１１時発です）
Ｓ：１１時台に出発デスネ？
Ｕ：はい
（はい）
Ｓ：○○バスセンターから※※学院大学まで経由地指定なし休日１１時台に出発の時刻表ということでよろしいでしょうか？
Ｕ：はい
（はい）
Ｓ：かしこまりました○○バスセンター発○○３６系統△△経由※※学院大学方面※※学院大学行き休日１１時台のバスの発車時刻は５分５５分です。
【００４２】
対話情報記録手段２３は、対話の各時点におけるユーザの発話音声及び、対話終了時に確定したユーザの情報要求内容（以下に例示）を記録する。
（TIME_TYPE.DEPARTURE）（TIME.11）（DAY.休日）
（STOP_TO.※※学院大学）（VIA.ARBITRARY）（STOP_FROM.○○バスセンター）
次に、対話の各時点において記録したユーザの発話音声を、データを収集したときと同じ音声認識手段（図１に示す音声認識手段１３に相当する）を用いて認識し、最大５個の認識結果候補及び、音声認識スコアファイル１に出力させる。ファイル１の内容は以下のようになる（以下は最尤候補のみを抜粋）。
【００４３】
sentencel:11時発車で
wseq1:＜s＞11時発車で＜/s＞
phseq1:silB| j u: i ch i j i | h a q sh a | d e | silE
score1:−6708.832031
===word alignment begin===
id:from to n_score CM−meam CM−var CM−min CM−max
applied HMMs (logical [physical ]or[pseudo])
――――――――――――――――――――――――――――――――――
(0:0 52 −22.2466−1.0495 0.7000−2.8045 0.0000 silB)
(1:53 166−26.9416−2.204 1.8629−9.2010 0.0000 j＋u:[j＋u] j−u:＋i[y−u:＋i] u:−i＋ch[u−i＋ch] i−ch＋i ch−i＋j i−j＋i j−i＋h[v−i＋h])
(2:167 232−27.1568−2.9200 1.8325−7.3065 0.0000 i−h＋a h−a＋q a−q＋sh q−sh＋a sh−a＋d[y−a＋d])
(3:233 250 −27.1151−2.9540 2.4125−8.7062 −0.4162 a−d＋e d−e)
(4:251 254 −28.4927−6.0016 1.6088−8.5824 −4.3282 silE)
re−conputed AM score:−6645.894531
(log−likelihood−ratio:−576.595320 (normalized to−2.261158))
Acoustic−score :−6645.894531(normalized to−26.062331)
===Word alignment end===
ファイル１の内容で、
re−computed AM scoreを単語数で除算したものが、図７の指標Ｕ６に相当する。
【００４４】
各単語のtoとfromの差が、図８の指標Ｗ７に相当する。
各単語のn−scoreが、図８の指標Ｗ１２に相当する。
各単語のCM−meanが、図８の指標Ｗ５に相当する。
各単語のCM−varの平行根が、図８の指標Ｗ４に相当する。
各単語のCM−minが、図８の指標Ｗ３に相当する。
また、認識結果候補の数が、図８の指標Ｗ９に相当する。
そして、ファイル１に出力された認識結果候補から、図７の指標Ｕ１０、Ｕ１２と図８の指標Ｕ１０、Ｕ１２と図８の指標Ｗ１１を得るために必要な、認識結果候補での単語出現頻度を計算する。以下に示すように、認識結果候補間で一致する単語の位置を合わせをして、認識結果候補中のある単語が、他の認識結果で同じ場所に現れる頻度を計算する。以下の例では、「発車」という単語の出現頻度は100％、「１時」という単語の出現頻度は60％である。
【００４５】
最尤候補:11時          発車  で
第2候補:10時1時      発車  で
第3候補:15時1時      発車  で
第4候補:14時1時      発車  で
第5候補:12時      で  発車  まで
また、システムが単語の系列を構文解析するために用いる語彙定義及び文節定義（以下に抜粋）を用いて、
(1時   いちじ        時間      nil 1)
(11時  じゅーいちじ  時間      nil 11)
(12時  じゅーにじ    時間      nil 12)
(14時  じゅーよじ    時間      nil 14)
(15時  じゅーごじ    時間      nil 15)
(で      で      助詞デ      ＊      ＊)
(まで    まで    助詞マデ      :made ＊)
(発車    発車    普通名詞_出発:departure)
(普通名詞_出発文節
(普通名詞_出発(opt(or助詞ハ  提示する語  助詞デ))))
(時間文節
(時間(opt  普通名詞_台))
(opt(or
助詞ノ  助詞デ  助詞ニ  (助詞マデ(opt  助詞ニ))
提示する語  終助詞の間投詞的用法))))
各認識結果候補を構文解析した結果（以下に抜粋）から正しく構文解析できなかった単語の系列（未知文節と呼ぶ）を探し、図７の指標Ｕ１９及び図８の指標Ｗ１３を計算する。
【００４６】
(11時)時間文節|(発車で)普通名詞_出発文節
(10時)時間文節|(1時)時間文節|(発車で) 普通名詞_出発文節
(15時)時間文節|(1時)時間文節|(発車で) 普通名詞_出発文節
(14時)時間文節|(1時)時間文節|(発車で) 普通名詞_出発文節
(12時で)時間文節|(発車) 普通名詞_出発文節|(まで)未知文節
そして、対話中の各ユーザ発話に対する各認識結果候補システムが解釈した結果得られる対話行為（以下に抜粋）を求め、図７の指標Ｕ１８を、さらに、対話終了時に確定したユーザの情報要求内容を比較し、図７のＵ１６、Ｕ１７を計算する。
【００４７】
(SET−TIME(11))(SET_TYPE(DEPARTURE))
(SET−TIME(10))(SET_TYPE(DEPARTURE))
(SET−TIME(15))(SET_TYPE(DEPARTURE))
(SET−TIME(14))(SET_TYPE(DEPARTURE))
(SET−TIME(12))(SET_TYPE(DEPARTURE))
また、各ユーザ発話を人間が書き起こした単語の系列と、各認識結果候補の各単語一致していいるかどうかが、書き起こした単語の系列から得られる対話行為と、認識結果候補から得られる対話行為がすべて一致しているかどうかを比較して、その結果を０と１の二値で表現する。
【００４８】
書き起こした単語の系列及びそれらから得られる対話行為
11時発です(＊「発」は認識語彙に含まれていない)
(SET−TIME(11))(SET−TIME_TYPE(DEPARTURE))
以上から得た指標値をまとめ、発話単位の指標をファイル２に、単語単位の指標をファイル３に、それぞれ書き出す。図８の指標Ｗ１１はまだ計算できないため、記号で表現してある。
ファイル２の内容（抜粋）
ID correct U6 U10 U12 U16 U17 U18 U19
20021125−02−04_10 1 −26.062331 84 76.5517241379311 0.5 0.5 0.2 0
ファイル３の内容（抜粋）
ID correct W3 W4 W5 W7 W9 W10 W11 W12 W13
11時1 −9.2010 1.8629 −2.2024 113 0.04 5 [UTTERANCE_SCORE] 
−2.69416 0 
発車 0 −7.3065 1.8325 −2.9200 65 1 5 [UTTERANCE_SCORE]−27.1568 
0
で   0 −8.7062 2.4125 −2.9540 17 1 5 [UTTERANCE_SCORE]−27.1151 
0
複数の対話記録のユーザ発話に対して以上の処理を行ない、発話単位の指標をまとめたファイル２を用いて、発話単位信頼性尺度を作成する。作成された信頼性尺度の各パラメータを以下に示す。各指標名に対応する値が、式１のベクトルpの各要素であり、CORRECT_GAUSSIAN−INCPRRECT_GAUSSIANに対応する値が、左からそれぞれ平均μ、分散σ2、事後確率Pである。
【００４９】
top_choice_average_acoustic_score             0.4071058
top_choice_average_nbest_purity               0.0590583
average_nbest_purity                          0.0049878
top_choice_average_consistent_concept_rate    2.2632635
top_choice_inconsistent_concept_rate        −8.8873672
top_choice_average_concept_frepuency          6.3129411
top_choice_unparsed_bunsetsu_rate             0.0453356
CORRECT_GAUSSIAN: −25.7632580 1.4265214   0.47988507
INCORRECT_GAUSSIAN:−30.7077694 4.5412450  0.52011490
発話単位の信頼性評価値は、上記のパラメータを持つ尺度に対し、発話単位指標値を当てはめて式２の計算をすることで得られる。ファイル３の記号[UTTERANCE_SCORE]を、対応する発話の発話単位信頼性評価値を計算し、その値に置き換える。
【００５０】
更新されたファイル３の内容（抜粋）
11時1−9.2010 1.8629−2.2024 113 0.04 5−2.07607612356411−26.9416 0
発車 0−7.3065 1.8325−2.9540 17 1 5 −2.07607613256411−27.1151 0
で   0−8.7062 2.4125−2.9540 17 1 5 −2.07607613256411−27.1151 0
更新されたファイル３を用いて、単語単位信頼性尺度を作成された信頼性尺度のパラメータを以下に示す。
minimum_acoustic_score                       0.1656796
acoustic_score_standard_deviation          −0.0581996
mean_difference_from_maximum_score           2.0266259
number_of_acoustic_observations              0.0187305
square_nbest_purity                          1.6731033
number_of_nbest                            −0.1339422
utterance_score                              0.1814701
noumalized_score                           −0.1636039
unparsed_bunsetsu_violation                −0.5617342
CORRECT_GAUSSIAN: 1.3205144 2.4545729 0.58425194
INCORRECT_GAUSSIAN:−3.6866648 4.1660976 0.41574803
単語単位の信頼性評価値は、上記のパラメータを持つ尺度に対し、単語単位指標値を当てはめて式２の計算をすることで得られる。
【００５１】
ここで、信頼性を評価したい、別の対話記録中の発話について、発話単位指標値をファイル４に、単語単位指標値をファイル５に、それぞれ書き出す。
ファイル４の内容（抜粋）
20021127-01-03_06-24.188667 100 90 1 0 0.157894736842105 0
ファイル５の内容（抜粋）
○○○○駅  -6.5979 1.2797-1.4625 123 1 4[UTTERANCE_SCORE] -24.1581 0
出発  1-6.3325 1.4448-1.9726 67 1 4[UTTERANCE_SCORE] -25.0312 0
ファイル４の発話単位指標値と、発話単位信頼性尺度を用いて、発話単位信頼性評価値を計算する。
20021127-01-03_06 1.84255589061485
また、この発話単位信頼性評価値でファイル５の記号[UTTERANCE_SCORE]を置き換え、更新されたファイル５の内容（抜粋）
○○○○駅  -6.5979 1.2797-1.4625 123 1 4 1.84255589061485-24.1581 0
出発  1-6.3325 1.4448-1.9726 67 1 4 1.84255589061485-25.0312 0
更新されたファイル５の発話単位信頼性評価値と、単語単位信頼性尺度を用いて、単語単位信頼性評価値を計算する。
○○○○駅  2.24738419391751
出発  1.19691584999685
以上説明した音声認識評価方法によれば発話に対する評価値の信頼性が高い。従って例えば音声解読装置或は対話システム等に適用することにより、発話に対する理解度が向上し、人との対話を円滑に実行できることとなる。
【００５２】
以上説明したこの発明による音声解釈方法及び装置はコンピュータが解読可能な符号列で記述された音声解釈プログラムをコンピュータに備えられているＣＰＵに解読させ、実行させることにより実現される。音声解釈プログラムはコンピュータが読み取り可能な記録媒体に記録されてコンピュータにインストールされて実行されるか、又は通信回線を通じてコンピュータにインストールされる場合もある。
【産業上の利用可能性】
【００５３】
この発明による音声解釈方法及び装置は例えば音声対話システム、自動案内システム等に活用することができる。
【図面の簡単な説明】
【００５４】
【図１】この発明による音声解釈装置の一実施例を説明するためのブロック図。
【図２】この発明による音声解釈方法の動作を説明するためのフローチャート。
【図３】図２と同様のフローチャート。
【図４】先に提案した音声認識評価方法の手順を説明するためのフローチャート。
【図５】図４の続きを説明するためのフローチャート。
【図６】先に提案した音声認識評価装置の構成を説明するためのブロック図。
【図７】図６に示した音声認識評価装置の動作を説明するための図。
【図８】図７と同様の図。
【符号の説明】
【００５５】
１０  音声解釈装置
１１  入力音声
１２  音声入力手段
１３  音声認識手段
１４  信頼性情報付加手段
１５  解釈結果選別手段
１６  音声解釈結果
１７  データベース
１８  有限状態トランスデューサ生成部
１８Ａ  規則型解釈手段
１８Ｂ  特性種単語抽出手段
１８Ｃ  事例型解釈手段
２１  事例ファイル
２２  事例登録手段
２３  対話情報記録手段
２４  事例信頼性情報付加手段
２５  事例選択手段
【図１】
2005257917.tif 000005
【図２】
2005257917.tif 000006
【図３】
2005257917.tif 000007
【図４】
2005257917.tif 000008
【図５】
2005257917.tif 000009
【図６】
2005257917.tif 000010
【図７】
2005257917.tif 000011
【図８】
2005257917.tif 000012