(57)【要約】【課題】学習データのラベル誤り候補を効率的に抽出することができるようにする。【解決手段】学習データベース１０から音声データ・ラベル対を読み出す手段２１と、読み出した音声データを音声認識し、その認識結果に対するフレーム単位の認識スコアを計算する認識スコア計算手段３１と、読み出した音声データを音声認識し、読み出したラベルに対するフレーム単位の学習スコアを計算する学習スコア計算手段３２と、認識スコアと学習スコアを比較し、学習スコアが認識スコアより低い区間を誤りとして、ラベルの信頼度を計算する信頼度計算手段３３と、信頼度と読み出した音声データ・ラベル対とを組として蓄積する手段３５と、その蓄積手段３５から信頼度が低い順にラベルの誤り候補を抽出して出力する手段３６とを具備する。【選択図】図１
2008292789.tif 000002
【特許請求の範囲】
【請求項１】
音声データと、その音声データの発話内容を示すラベルとが対とされた音声データ・ラベル対が多数格納されている学習データベースにおけるラベルの誤り候補を抽出する装置であって、
前記学習データベースから音声データ・ラベル対を読み出す手段と、
その読み出した音声データを音声認識し、その音声認識結果に対するフレーム単位の認識スコアを計算する認識スコア計算手段と、
前記読み出した音声データを音声認識し、前記読み出したラベルに対するフレーム単位の学習スコアを計算する学習スコア計算手段と、
前記認識スコアと前記学習スコアとを比較し、学習スコアが認識スコアより低い区間を誤りとして、前記読み出したラベルの信頼度を計算する信頼度計算手段と、
その計算された信頼度と前記読み出した音声データ・ラベル対とを組として蓄積する手段と、
その蓄積手段から信頼度が低い順にラベルの誤り候補を抽出して出力する手段とを具備することを特徴とする学習データのラベル誤り候補抽出装置。
【請求項２】
請求項１記載の学習データのラベル誤り候補抽出装置において、
前記信頼度計算手段は前記学習スコアが前記認識スコアより低い区間長の総和の逆数を信頼度として計算することを特徴とする学習データのラベル誤り候補抽出装置。
【請求項３】
請求項１記載の学習データのラベル誤り候補抽出装置において、
前記信頼度計算手段は前記学習スコアが前記認識スコアより低いフレーム数の総和の逆数を信頼度として計算することを特徴とする学習データのラベル誤り候補抽出装置。
【請求項４】
請求項１記載の学習データのラベル誤り候補抽出装置において、
前記信頼度計算手段は前記学習スコアから前記認識スコアを減算してスコア差を求め、前記学習スコアが前記認識スコアより低い区間のスコア差の総和を信頼度として計算することを特徴とする学習データのラベル誤り候補抽出装置。
【請求項５】
音声データと、その音声データの発話内容を示すラベルとが対とされた音声データ・ラベル対が多数格納されている学習データベースにおけるラベルの誤り候補を抽出する方法であって、
前記学習データベースから音声データ・ラベル対を読み出す過程と、
その読み出した音声データを音声認識し、その音声認識結果に対するフレーム単位の認識スコアを計算する過程と、
前記読み出した音声データを音声認識し、前記読み出したラベルに対するフレーム単位の学習スコアを計算する過程と、
前記計算した認識スコアと学習スコアとを比較し、学習スコアが認識スコアより低い区間を誤りとして、前記読み出したラベルの信頼度を計算する過程と、
その計算された信頼度と前記読み出した音声データ・ラベル対とを組として蓄積する過程と、
その蓄積された信頼度と音声データ・ラベル対の組から信頼度が低い順にラベルの誤り候補を抽出して出力する過程とを含むことを特徴とする学習データのラベル誤り候補抽出方法。
【請求項６】
請求項５記載の学習データのラベル誤り候補抽出方法において、
前記学習スコアが前記認識スコアより低い区間長の総和の逆数を信頼度として計算することを特徴とする学習データのラベル誤り候補抽出方法。
【請求項７】
請求項５記載の学習データのラベル誤り候補抽出方法において、
前記学習スコアが前記認識スコアより低いフレーム数の総和の逆数を信頼度として計算することを特徴とする学習データのラベル誤り候補抽出方法。
【請求項８】
請求項５記載の学習データのラベル誤り候補抽出方法において、
前記学習スコアから前記認識スコアを減算してスコア差を求め、前記学習スコアが前記認識スコアより低い区間のスコア差の総和を信頼度として計算することを特徴とする学習データのラベル誤り候補抽出方法。
【請求項９】
請求項５乃至８記載のいずれかの学習データのラベル誤り候補抽出方法をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９記載のプログラムを記憶した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音響モデルや言語モデルを構築するために使用される学習データに対して、音声データに付与されて音声データと対とされているラベルの誤り候補を発話単位で抽出する学習データのラベル誤り候補抽出装置、その方法及びプログラム、その記録媒体に関する。
【背景技術】
【０００２】
図４は学習データのラベル誤り候補抽出装置の従来構成例を示したものである。
学習データベース１０には音声データと、その音声データの発話内容を示すラベルとが対とされた音声データ・ラベル対が多数格納されており、この学習データベース１０から音声データ・ラベル対が読み出し手段２１によって読み出される。
【０００３】
読み出された音声データ・ラベル対の音声データ（音声信号）は音声信号入力端子２２に入力され、入力された音声データはＡ／Ｄ変換手段２３でディジタル信号に変換され、このディジタル信号が音声認識手段２４に入力される。音声認識手段２４は入力されたディジタル信号から特徴量（音響特徴パラメータ系列）を抽出し、その特徴量に対して、音響モデルパラメータメモリ２５に格納されている音響モデルと、言語モデルパラメータメモリ２６に格納されている言語モデルとを用いて音声認識を行い、単語列の認識結果を得る。
【０００４】
認識結果／ラベル一致判定手段２７は音声認識手段２４から入力された音声認識結果の単語列と、前述の読み出し手段２１によって読み出された音声データ・ラベル対のラベルとが一致するか否かを判定し、不一致の場合はそのラベルをラベル誤り候補として出力する。
【０００５】
このように、音声データ・ラベル対を順次読み出し、その音声データとラベルとの一致／不一致の検証を音声認識手段を用いて行うといったことが従来行われている（例えば、特許文献１参照）。
【０００６】
一方、特許文献２には音声認識において、その認識結果に信頼度を付与することが記載されており、信頼度として音声認識結果の１位の単語と、１位の単語と異なる単語の内でスコアの最も高い単語との間のスコア差を用いることが記載されている。
【特許文献１】特開平１１−２４２４９２号公報
【特許文献２】特開２００５−１４８３４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、学習データに対するラベル付けやラベルのチェックは、通常、一定区間の無音に挟まれた１発話単位で行われる。特許文献１に記載されているような単語の一致／不一致に基づく方法から、学習データ中の１発話を認識して、その発話中に含まれる認識結果単語と学習データの単語の一致度を学習データのラベルの信頼度として用いることが考えられるが、出現する単語が異なるようなタスクが異なる学習データを使うことはできない。
【０００８】
特許文献２に記載されているような信頼度を学習データのラベルの信頼度として用いることを考えた場合、音声認識結果の上位Ｎ個のうちから学習データのラベルと一致する単語を１位の単語として、単語単位の信頼度を計算し、単語単位の信頼度の総和を学習データのラベルの信頼度として用いることになり、この場合、発話区間で平均化されて正解区間の影響や発話の長さの影響を受けてしまうため、実際に誤っている区間があってもラベル誤りを抽出できないといったことが生じうる。
【０００９】
この発明の目的はこの問題に鑑み、学習データのラベル誤り候補を効率良く抽出することができるようにした抽出装置、抽出方法、そのプログラム及び記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
請求項１の発明によれば、音声データと、その音声データの発話内容を示すラベルとが対とされた音声データ・ラベル対が多数格納されている学習データベースにおけるラベルの誤り候補を抽出する装置は、学習データベースから音声データ・ラベル対を読み出す手段と、その読み出した音声データを音声認識し、その音声認識結果に対するフレーム単位の認識スコアを計算する認識スコア計算手段と、前記読み出した音声データを音声認識し、前記読み出したラベルに対するフレーム単位の学習スコアを計算する学習スコア計算手段と、認識スコアと学習スコアとを比較し、学習スコアが認識スコアより低い区間を誤りとして、読み出したラベルの信頼度を計算する信頼度計算手段と、その計算された信頼度と読み出した音声データ・ラベル対とを組として蓄積する手段と、その蓄積手段から信頼度が低い順にラベルの誤り候補を抽出して出力する手段とを具備する。
【００１１】
請求項２の発明では請求項１の発明において、信頼度計算手段は学習スコアが認識スコアより低い区間長の総和の逆数を信頼度として計算する。
【００１２】
請求項３の発明では請求項１の発明において、信頼度計算手段は学習スコアが認識スコアより低いフレーム数の総和の逆数を信頼度として計算する。
【００１３】
請求項４の発明では請求項１の発明において、信頼度計算手段は学習スコアから認識スコアを減算してスコア差を求め、学習スコアが認識スコアより低い区間のスコア差の総和を信頼度として計算する。
【００１４】
請求項５の発明によれば、音声データと、その音声データの発話内容を示すラベルとが対とされた音声データ・ラベル対が多数格納されている学習データベースにおけるラベルの誤り候補を抽出する方法は、学習データベースから音声データ・ラベル対を読み出す過程と、その読み出した音声データを音声認識し、その音声認識結果に対するフレーム単位の認識スコアを計算する過程と、前記読み出した音声データを音声認識し、前記読み出したラベルに対するフレーム単位の学習スコアを計算する過程と、計算した認識スコアと学習スコアとを比較し、学習スコアが認識スコアより低い区間を誤りとして、読み出したラベルの信頼度を計算する過程と、その計算された信頼度と読み出した音声データ・ラベル対とを組として蓄積する過程と、その蓄積された信頼度と音声データ・ラベル対の組から信頼度が低い順にラベルの誤り候補を抽出して出力する過程とを含む。
【００１５】
請求項６の発明では請求項５の発明において、学習スコアが認識スコアより低い区間長の総和の逆数を信頼度として計算する。
【００１６】
請求項７の発明では請求項５の発明において、学習スコアが認識スコアより低いフレーム数の総和の逆数を信頼度として計算する。
【００１７】
請求項８の発明では請求項５の発明において、学習スコアから認識スコアを減算してスコア差を求め、学習スコアが認識スコアより低い区間のスコア差の総和を信頼度として計算する。
【００１８】
請求項９の発明では請求項５乃至８記載のいずれかの学習データのラベル誤り候補抽出方法をコンピュータに実行させるためのプログラムを提案する。
【００１９】
請求項１０の発明では請求項９記載のプログラムを記憶した記録媒体を提案する。
【発明の効果】
【００２０】
この発明では、学習スコア（学習データのラベルに対する音響スコア・言語スコア）が認識スコア（音声認識結果の音響スコア・言語スコア）より低い区間のみに着目して、ラベルの信頼度として用いるものとなっており、よってこの発明によれば学習データのラベル誤り候補を効率的に抽出することができる。
【発明を実施するための最良の形態】
【００２１】
この発明の実施形態を図面を参照して実施例により説明する。
図１はこの発明による学習データのラベル誤り候補抽出装置の一実施例の構成を示したものであり、この例ではラベル誤り候補抽出装置は読み出し手段２１と音声信号入力端子２２とＡ／Ｄ変換手段２３と音響モデルパラメータメモリ２５と言語モデルパラメータメモリ２６と認識スコア計算手段３１と学習スコア計算手段３２と信頼度計算手段３３と書き込み手段３４と信頼度蓄積手段３５と信頼度ソート手段３６とによって構成されている。
【００２２】
読み出し手段２１は学習データベース１０から音声データ・ラベル対を読み出し、その読み出した音声データ・ラベル対の音声データを音声信号入力端子２２に入力する。また、読み出した音声データ・ラベル対を学習スコア計算手段３２に入力する。
【００２３】
Ａ／Ｄ変換手段２３は音声信号入力端子２２に入力された音声データ（音声信号）をディジタル信号に変換し、その入力音声ディジタル信号を認識スコア計算手段３１及び学習スコア計算手段３２に出力する。
【００２４】
認識スコア計算手段３１は入力音声ディジタル信号から特徴量（音響特徴パラメータ系列）を抽出し、その特徴量に対して、音響モデルパラメータメモリ２５に格納されている音響モデルと、言語モデルパラメータメモリ２６に格納されている言語モデルとを用いて音声認識結果を得ると共に、音声認識結果におけるフレーム単位（通常、音声認識では窓長３０ｍｓｅｃ、窓シフト１０ｍｓｅｃのフレームでの音響分析を行っている）の認識スコア（音響スコア及び言語スコア）を計算する。そして、得られた認識スコアを信頼度計算手段３３に出力する。
【００２５】
なお、学習データベース１０が音響モデルの学習用として用いられ、つまりこの学習データのラベル誤り候補抽出装置を音響モデル学習用のラベル誤り候補の抽出に用いる場合は、認識スコア計算手段３１は認識スコアとして音響スコアを信頼度計算手段３３に出力する。
【００２６】
一方、学習データベース１０が言語モデルの学習用として用いられ、つまりこの学習データのラベル誤り候補抽出装置を言語モデル学習用のラベル誤り候補の抽出に用いる場合は、認識スコア計算手段３１は認識スコアとして言語スコアを信頼度計算手段３３に出力する。
【００２７】
学習スコア計算手段３２は入力音声ディジタル信号から特徴量を抽出する。そして、音響モデル学習用のラベル誤り候補を抽出する場合には、特徴量に対して、音響モデルパラメータメモリ２５に格納されている音響モデルを用いて音声認識し、読み出し手段２１から入力された音声データ・ラベル対のラベルの発音表記に対するフレーム単位の音響スコアを計算し、その音響スコアを学習スコアとして信頼度計算手段３３に出力する。
【００２８】
一方、言語モデル学習用のラベル誤り候補を抽出する場合には、学習スコア計算手段３２は特徴量に対して、音響モデルパラメータメモリ２５に格納されている音響モデルと、言語モデルパラメータメモリ２６に格納されている言語モデルとを用いて音声認識し、読み出し手段２１から入力された音声データ・ラベル対のラベルに対するフレーム単位の言語スコアを計算し、その言語スコアを学習スコアとして信頼度計算手段３３に出力する。
【００２９】
なお、学習スコア計算手段３２は上述した学習スコアと共に、音声データ・ラベル対を信頼度計算手段３３に出力する。
【００３０】
信頼度計算手段３３は入力された認識スコアと学習スコアとを比較し、学習スコアが認識スコアより低い区間を誤りとして、入力された音声データ・ラベル対のラベルの信頼度を計算する。ここでは、フレーム単位のスコア差を、
スコア差＝学習スコア−認識スコア
とした時、スコア差＜０となる区間長の総和の逆数を信頼度とし、この信頼度を計算する。信頼度計算手段３３は計算した信頼度と音声データ・ラベル対とを組として出力する。
【００３１】
書き込み手段３４は信頼度計算手段３３から出力される信頼度と音声データ・ラベル対との組を信頼度蓄積手段３５に書き込み、信頼度蓄積手段３５は信頼度と音声データ・ラベル対とを組として（対応付けて）蓄積する。
【００３２】
信頼度ソート手段３６は信頼度と音声データ・ラベル対との組が信頼度蓄積手段３５に一定数以上蓄積された段階で、信頼度が低い順に並ぶように音声データ・ラベル対を並び替え、信頼度が低い順に音声データ・ラベル対からラベルを抽出し、ラベルの誤り候補として出力する。
【００３３】
図２は上記のような構成を有する学習データのラベル誤り候補抽出装置の処理手順を示したものであり、以下、処理手順を説明する。
【００３４】
音声データ・ラベル対を学習データベース１０から読み出し（ステップＳ１）、その読み出した音声データ・ラベル対の音声データを音声認識して、その音声認識結果に対するフレーム単位の認識スコアを計算する（ステップＳ２）と共に、読み出した音声データを音声認識して、読み出したラベル（学習データのラベル）に対するフレーム単位の学習スコアを計算し（ステップＳ３）、それら認識スコアと学習スコアとから読み出したラベルの信頼度を計算する（ステップＳ４）。ここでは、信頼度は学習スコアが認識スコアより低い区間長の総和の逆数とし、この信頼度を計算する。計算された信頼度は音声データ・ラベル対と組とされて蓄積される（ステップＳ５）。
【００３５】
信頼度と音声データ・ラベル対との組の蓄積が一定数になるまで、上記ステップＳ１〜Ｓ５の処理を繰り返し実行し、信頼度と音声データ・ラベル対との組の蓄積が一定数に達すると（ステップＳ６）、信頼度が低い順に並ぶように音声データ・ラベル対を並び替える（ステップＳ７）。そして、信頼度が低い順に音声データ・ラベル対からラベルを抽出してラベル誤り候補として出力する（ステップＳ８）。
【００３６】
このように、この例では学習スコアが認識スコアよりも低い区間に着目し、この低い区間を誤りとして信頼度を求めている。通常、学習データに対するラベル付けやラベルのチェックは、一定区間の無音に挟まれた１発話単位で行われ、そのため１発話当たりのラベル誤り区間が長いものを抽出できると効率的である。その点、この例では１発話当たりのラベル誤り区間が長い方が信頼度が低くなるため、ラベル誤り候補を効率的に抽出することができる。
【００３７】
図３は認識スコア及び学習スコアが音響スコアであり、つまり音響モデル学習用のラベル誤り候補の抽出において、計算された認識スコア、学習スコア及びスコア差の一例を音声認識結果及びラベルと共に示したものであり、図３中、スコア差＜０のＡで示した区間がラベル誤り候補の区間となる。
【００３８】
上述した例においては、１発話中の学習スコアが認識スコアより低い（スコア差＜０）区間長の総和の逆数を信頼度として用いるものとしているが、これに替え、学習スコアが認識スコアより低いフレーム数の総和の逆数を信頼度として用いるようにしてもよい。
【００３９】
また、ラベルの誤り具合を考慮し、学習スコアが認識スコアより低い区間のスコア差の総和を信頼度として用いることもできる。ラベル誤りとされる区間の長さだけでなく、ラベルの誤り具合の大きさを考慮したスコア差の総和を用いることで、高精度にラベル誤り候補を抽出することができる。
【００４０】
ラベル誤り候補の抽出は信頼度が低い順に行うものとしているが、例えば出力表示する際、信頼度が最も低いものから所定数をラベル誤り候補として出力表示するようにしてもよく、また信頼度が予め定めた閾値以下のものを出力表示してもよい。
【００４１】
さらに、表示する際、誤り候補区間のラベルを文字の色を変えるなどして強調表示することで、修正作業を効率良く進めることが可能となる。
【００４２】
なお、言語モデルとしては音素間の接続が自由な音節タイプライタを用いることができ、また様々なタスクの学習コーパスを用いて生成された汎用的な言語モデルや特定のタスクに特化した特定言語モデルを用いることもできる。音節タイプライタを用いた場合は音響モデル学習用のラベル誤り候補の抽出を行うことができる。汎用的な言語モデルや特定言語モデルを用いた場合は音響スコアを用いれば音響モデル学習用のラベル誤り候補の抽出を行うことができ、言語スコアを用いれば言語モデル学習用のラベル誤り候補の抽出を行うことができる。
【００４３】
以上説明した学習データのラベル誤り候補抽出方法、抽出装置はコンピュータと、コンピュータにインストールされた学習データのラベル誤り候補抽出プログラムによって実現することができる。プログラムはコンピュータが解読可能な符号列によって記述され、コンピュータが読み取り可能な磁気ディスク又はＣＤ−ＲＯＭ等の記録媒体に記録される。コンピュータにインストールされた学習データのラベル誤り候補抽出プログラムはコンピュータのＣＰＵによって解読されてコンピュータに上述した学習データのラベル誤り候補抽出方法を実行させる。
【図面の簡単な説明】
【００４４】
【図１】この発明による学習データのラベル誤り候補抽出装置の一実施例の構成を示すブロック図。
【図２】この発明による学習データのラベル誤り候補抽出方法の一実施例の処理手順を示すフローチャート。
【図３】認識スコア、学習スコア及びスコア差の具体例を示す図。
【図４】学習データのラベル誤り候補抽出装置の従来構成例を示すブロック図。
【図１】
2008292789.tif 000003
【図２】
2008292789.tif 000004
【図３】
2008292789.tif 000005
【図４】
2008292789.tif 000006