(57)【特許請求の範囲】
【請求項１】
複数の音声から成る音声群を入力として、上記音声をベース音響モデルに基づいて音声認識処理した結果の音声認識結果テキストとその音声を出力する音声認識部と、
上記音声の音響特徴量抽出をフレーム毎に行い当該フレームの音響特徴量の出力確率を上記ベース音響モデルに含まれる全音素の全状態について求め、当該出力確率の最大値を当該フレームの出力確率の総和で除して１位音素の事後確率とし、当該１位音素の事後確率の音素毎の平均値を上記音声単位で求めた音素事後確率を当該音声単位で並べて事後確率ベクトルとし当該事後確率ベクトルから、予め求めた上記音声群全体の音声群全体事後確率ベクトルを減算して上記音声の音素誤り傾向ベクトルとして生成する音素誤り傾向ベクトル生成部と、
上記音声と上記音声認識結果テキストと上記音素誤り傾向ベクトルとの３つの組群を入力として、上記音素誤り傾向ベクトル間の類似度を尺度に、上記３つの組群を所定の数のクラスのクラスタに分類すると共に当該クラスタ中の上記音素誤り傾向ベクトルの平均ベクトルであるセントロイドを求め、上記クラスタとセントロイドを出力するクラスタリング部と、
上記クラスタとセントロイドを入力として、各クラスタに含まれる音声と音声認識結果テキストに基づいて、上記ベース音響モデルを上記クラスタ毎に適応させた適応後音響モデルを生成するベース音響モデル適応部と、
上記クラスタ毎に上記適応後音響モデルを記録する適応後音響モデル記録部と、
を具備する音響モデル適応装置。
【請求項２】
請求項１に記載した音響モデル適応装置において、
上記音素誤り傾向ベクトル生成部は、
上記音声を入力としてフレームごとに音響特徴量抽出を行い音響特徴量を出力する音響特徴量抽出手段と、
上記フレームごとの音響特徴量の出力確率を、ベース音響モデルの全てのモノフォンモデルの全状態について算出する出力確率算出手段と、
上記全てのモノフォンモデルについて算出された出力確率の総和を、フレームごとに計算する出力確率総和計算手段と、
各フレームで最大の上記出力確率を１位音素の最大出力確率とし、当該１位音素の最大出力確率を上記全状態の出力確率の総和で除して１位音素の事後確率として計算する最大出力確率音素の事後確率計算手段と、
上記１位音素の事後確率を全フレームにわたって合計した値を、当該音素が１位音素である場合の数で除して音素ごとの音素事後確率を計算する音素事後確率計算手段と、
上記音素事後確率を上記音声単位で並べて事後確率ベクトルを生成する事後確率ベクトル生成手段と、
上記事後確率ベクトルを、外部から入力される予め求めた上記音声群全体の音声群全体事後確率ベクトルを減算して上記音声の音素誤り傾向ベクトルとして生成する音素誤り傾向ベクトル生成手段と、
を備えることを特徴とする音響モデル適応装置。
【請求項３】
請求項１又は２に記載した音響モデル適応装置によって生成された適応後音響モデルを含む複数のクラスタとそのセントロイドとを組みにして記録した適応後音響モデル記録部と、
認識対象音声の音響特徴量抽出をフレームごとに行い当該フレームの音響特徴量の出力確率をベース音響モデルに含まれる全音素の全状態について求め、当該出力確率の最大値を当該フレームの出力確率の総和で除して１位音素の事後確率とし、当該１位音素の事後確率の音素毎の平均値を上記音声単位で求めた音素事後確率を当該音声単位で並べて事後確率ベクトルとし当該事後確率ベクトルから、外部から入力される予め求めた上記音声群全体の音声群全体事後確率ベクトルを減算して認識時音素誤り傾向ベクトルとして生成する認識時音素誤り傾向ベクトル生成部と、
上記認識時音素誤り傾向ベクトルと、上記複数のクラスタと組みのセントロイドとの類似度が最大となる適応後音響モデルを適用音響モデルとして選択して出力する最近傍セントロイド選択部と、
上記認識対象音声を、上記適用音響モデルに基づいて音声認識処理して音声認識結果テキストを出力する音声認識部と、
を具備する音声認識装置。
【請求項４】
複数の音声から成る音声群を入力として、上記音声をベース音響モデルに基づいて音声認識処理した結果の音声認識結果テキストとその音声を出力する音声認識過程と、
上記音声の音響特徴量抽出をフレーム毎に行い当該フレームの音響特徴量の出力確率を上記ベース音響モデルに含まれる全音素の全状態について求め、当該出力確率の最大値を当該フレームの出力確率の総和で除して１位音素の事後確率とし、当該１位音素の事後確率の音素毎の平均値を上記音声単位で求めた音素事後確率を当該音声単位で並べて事後確率ベクトルとし当該事後確率ベクトルから、予め求めた上記音声群全体の音声群全体事後確率ベクトルを減算して上記音声の音素誤り傾向ベクトルとして生成する音素誤り傾向ベクトル生成過程と、
上記音声と上記音声認識結果テキストと上記音素誤り傾向ベクトルとの３つの組群を入力として、上記音素誤り傾向ベクトル間の類似度を尺度に、上記３つの組群を所定の数のクラスのクラスタに分類すると共に当該クラスタ中の上記音素誤り傾向ベクトルの平均ベクトルであるセントロイドを求め、上記クラスタとセントロイドを出力するクラスタリング過程と、
上記クラスタとセントロイドを入力として、各クラスタに含まれる音声と音声認識結果テキストに基づいて、上記ベース音響モデルを上記クラスタ毎に適応させた適応後音響モデルを生成するベース音響モデル適応過程と、
上記クラスタ毎に上記適応後音響モデルを記録する適応後音響モデル記録過程と、
を備える音響モデル適応方法。
【請求項５】
認識対象音声の音響特徴量抽出をフレームごとに行い当該フレームの音響特徴量の出力確率をベース音響モデルに含まれる全音素の全状態について求め、当該出力確率の最大値を当該フレームの出力確率の総和で除して１位音素の事後確率とし、当該１位音素の事後確率の音素毎の平均値を上記音声単位で求めた音素事後確率を当該音声単位で並べて事後確率ベクトルとし当該事後確率ベクトルから、外部から入力される予め求めた上記音声群全体の音声群全体事後確率ベクトルを減算して認識時音素誤り傾向ベクトルとして生成する認識時音素誤り傾向ベクトル生成過程と、
上記認識時音素誤り傾向ベクトルと、請求項１又は２に記載した適応後音響モデル記録部に記録された複数のクラスタと組みのセントロイドとの類似度が最大となる適応後音響モデルを適用音響モデルとして選択して出力する最近傍セントロイド選択過程と、
上記認識対象音声を、上記適用音響モデルに基づいて音声認識処理して音声認識結果テキストを出力する音声認識過程と、
を備える音声認識方法。
【請求項６】
請求項１又は２に記載した音響モデル適応装置又は請求項３に記載した音声認識装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、教師なし音響モデル適応を行う音響モデル適応装置とその音響モデルを用いた音声認識装置とそれらの方法と、プログラムに関する。
【背景技術】
【０００２】
音声認識に使用する音響モデルを更新する際には、学習データ中の事例ができるだけ多く成り立つようにモデルのパラメータの最適化処理を行う。この処理を「音響モデルの適応」と呼び、一般に、音声ファイルと当該音声ファイルの発話内容を表す正解テキストとを学習（適応）データとして用いる。音響モデルの適応は、正解テキストを、音声ファイルに対応する読みを人間が書き起こすことにより得る教師あり適応と、音声ファイルの音声認識結果として得る教師なし適応とに大別される。教師なし適応の方が、人手による正解テキストを必要としない分、音声認識システムの開発コストを低く抑えることができる。
【０００３】
例えば非特許文献１に、教師なし音響モデル適応を行う際、システムに蓄積された音声を音響的な類似度に基づいていくつかのクラスに分類し、各クラスに対して教師なし音響モデル適応を行うことによってクラスごとに音響モデルを生成し、システムに音声が入力された時に適切なクラスの音響モデルを選択して音声認識に用いることで、通常の教師なし音響モデル適応よりも音声認識精度を高められる技術が開示されている。
【０００４】
その技術は、蓄積された音声を、はじめはランダムに分類したクラスごとに音声ＧＭＭ（Gaussian Mixture Model）を学習し、各音声をＧＭＭ尤度が最大となるクラスに割り当て直すことを繰り返して音声をクラスに分類してクラスごとに教師なし音響モデル適応を行う方法である。そして、音声認識を行う際は、各クラスの音声ＧＭＭで入力音声に対する尤度を算出し、尤度が最大となったクラスの音響モデルを選択して音声認識を行う。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】佐藤ほか「２段階クラスタリングに基づく選択学習による音響モデル適応化」電子情報通信学会論文誌、D-II,Vol.J85-D-II,No2,pp.174-183,2002.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に開示された従来の方法では、音声間の類似度として音声ＧＭＭにより算出した尤度を用いている。音声ＧＭＭの学習では、音声の中で発声されている音素の種類を考慮せず、全ての音素を同一視して一つの音声ＧＭＭパラメータを決定する。そのため、音声ＧＭＭ間の距離を音声間の類似度として用いると、音素別に詳細に見れば違いのある２つの音素の類似度を高く見積もってしまい大きく異なる音素が同じクラスに分類されてしまう場合がある。このようなクラスに対して音響モデル適応を行っても、異なりの大きい音素を正しく認識できるようにパラメータを設定することが困難（一方に合わせればもう一方が認識できない）であるため、適応の効果が小さくなってしまう。
【０００７】
この発明は、このような課題に鑑みてなされたものであり、音素別に類似度を評価して類似度が高い音声が同じクラスに分類されるようにして教師なし音響モデル適応を行う音響モデル適応装置と、音声認識装置とそれらの方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の音響モデル適応装置は、音声認識部と、音素誤り傾向ベクトル生成部と、クラスタリング部と、ベース音響モデルと、ベース音響モデル適応部と、適応後音響モデル記録部と、を具備する。音声認識部は、複数の音声から成る音声群を入力として、入力音声をベース音響モデルに基づいて音声認識処理した結果の音声認識結果テキストとその音声を出力する。音素誤り傾向ベクトル生成部は、入力音声の音響特徴量抽出をフレーム毎に行い当該フレームの音響特徴量の出力確率をベース音響モデルに含まれる全音素の全状態について求め、当該出力確率の最大値を当該フレームの出力確率の総和で除して１位音素の事後確率とし、当該１位音素の事後確率の音素毎の平均値を音声単位で求めた音素事後確率を当該音声単位で並べて事後確率ベクトルとし当該事後確率ベクトルから、予め求めた上記音声群全体の音声群全体事後確率ベクトルを減算して上記音声の音素誤り傾向ベクトルとして生成する。クラスタリング部は、上記音声と音声認識結果テキストと音素誤り傾向ベクトルとの３つの組群を入力として、音素誤り傾向ベクトル間の類似度を尺度に、３つの組群を所定のクラスのクラスタに分類すると共に当該クラスタ中の音素誤り傾向ベクトルの平均ベクトルであるセントロイドを求め、クラスタとセントロイドを出力する。ベース音響モデル適応部は、クラスタとセントロイドを入力として、各クラスタに含まれる音声と音声認識結果に基づいて、ベース音響モデルをクラスタごとに適応させた適応後音響モデルを生成する。適応後音響モデル記録部は、クラスタごとに適応後音響モデルを記録する。
【０００９】
また、この発明の音声認識装置は、適応後音響モデル記録部と、音素誤り傾向ベクトル生成部と、近傍セントロイド選択部と、適用音響モデルと、音声認識部と、を具備する。適応後音響モデル記録部は、上記した音響モデル適応装置によって生成された適応後音響モデルを含む複数のクラスタとそのセントロイドとを組みにして記録する。音素誤り傾向ベクトル生成部は、認識対象音声の音響特徴量抽出をフレーム毎に行い当該フレームの音響特徴量の出力確率をベース音響モデルに含まれる全音素の全状態について求め、当該出力確率の最大値を当該フレームの出力確率の総和で除して１位音素の事後確率とし、当該１位音素の事後確率の音素毎の平均値を音声単位で求めた音素事後確率を当該音声単位で並べて事後確率ベクトルとし当該事後確率ベクトルから、外部から入力される予め求めた上記音声群全体の音声群全体事後確率ベクトルを減算して認識時音素誤り傾向ベクトルとして生成する。最近傍セントロイド選択部は、認識時音素誤り傾向ベクトルと、複数のクラスタと組みのセントロイドとの類似度が最大となる適応後音響モデルを選択して適用音響モデルとして出力する。音声認識部は、認識対象音声を、適用音響モデルに基づいて音声認識処理して音声認識結果テキストを出力する。
【発明の効果】
【００１０】
この発明の音響モデル適応装置は、音声毎に音素別の傾向を考慮した音素数次元の音素誤り傾向ベクトルを求め、その音素誤り傾向ベクトル間の類似度に基づいて各音声とその音声認識結果テキストを複数のクラスタに分類する。よって、各クラスタには音素誤り傾向が似ている音声が分類される。その音素誤り傾向が似ている音声とその音声認識結果テキストを用いて、ベース音響モデルを教師なし適応させるので音響モデルの適応効果を高めることが可能になる。
【００１１】
また、この発明の音声認識装置によれば、認識対象音声の認識時音素誤り傾向ベクトルを求め、その認識時音素誤り傾向ベクトルと、上記したこの発明の音響モデル適応装置で適応させた適応後音響モデルのセントロイド（音素誤り傾向ベクトル）との類似度の高い適応後音響モデルを選択した適用音響モデルを用いて音声認識処理するので、音声認識の認識精度を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の音響モデル適応装置１００の機能構成例を示す図。
【図２】音響モデル適応装置１００の動作フローを示す図。
【図３】音素誤り傾向ベクトル生成部２０のより具体的な機能構成例を示す図。
【図４】フレーム毎の音響特徴量Ｏitと出力確率の関係を模式的に示す図。
【図５】１位音素の事後確率と音素毎の事後確率との関係を模式的に示す図。
【図６】この発明の音声認識装置２００の機能構成例示す図。
【図７】音声認識装置２００の動作フローを示す図。
【図８】評価実験結果を示す図。
【発明を実施するための形態】
【００１３】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００１４】
図１に、この発明の音響モデル適応装置１００の機能構成例を示す。その動作フローを図２に示す。音響モデル適応装置１００は、音声認識部１０と、音素誤り傾向ベクトル生成部２０と、クラスタリング部３０と、ベース音響モデル４０と、ベース音響モデル適応部５０と、適応後音響モデル記録部６０と、を具備する。音響モデル適応装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００１５】
音声認識部１０は、複数の音声から成る音声群を入力として、その音声をベース音響モデル４０に基づいて音声認識処理した結果の音声認識結果テキストとその音声を出力する（ステップＳ１０）。音声はディジタル信号で与えられ、所定の数の音声ディジタル信号を１フレーム（例えば２０ms）としたフレーム毎に、音声認識処理が施される。音声認識した結果の音声認識結果テキストは、その音声と組で出力される。なお、音声認識部１０は従来技術で構成される。
【００１６】
音素誤り傾向ベクトル生成部２０は、上記音声ディジタル信号の音響特徴量抽出をフレーム毎に行い当該フレームの音響特徴量の出力確率をベース音響モデル４０に含まれる全音素の全状態について求め、その出力確率の最大値を当該フレームの出力確率の総和で除して１位音素の事後確率とし、その１位音素の事後確率の音素毎の平均値を音声単位で求めた音素事後確率をその音声単位で並べて事後確率ベクトルとしその事後確率ベクトルから、予め求めた上記音声群全体の音声群全体事後確率ベクトルを減算してその音声単位の音素誤り傾向ベクトルとして生成する（ステップＳ２０）。ここで、音声群を成す複数の音声のそれぞれは、例えば数分間の電話会話や１時間程度の講演会の講義を録音した音声や動画の音声等である。ここで、音声群全体の音声群全体事後確率ベクトルとは、音素誤り傾向ベクトル生成部２０が行う音響モデルを作る為に入力される音声群に対して事後確率ベクトルを生成するまでの処理を施して生成した事後確率ベクトルのことであり、予め求めておく。音声群全体事後確率ベクトルは、外部から入力してもよいし、音素誤り傾向ベクトル生成部２０に予め記録させておいてもよい。音声群全体事後確率ベクトルを含めた音素誤り傾向ベクトル生成部２０の詳しい動作説明は後述する。
【００１７】
クラスタリング部３０は、音声認識部１０が出力する音声認識結果テキストとその音声と、音素誤り傾向ベクトル生成部２０が出力するその音声の音素誤り傾向ベクトルとの３つの組群の集まりである全体集合を入力として、音素誤り傾向ベクトル間の類似度を尺度に、３つの組群を所定の数（ｋ個）のクラスのクラスタに分類すると共に、当該クラスタ中の音素誤り傾向ベクトルの平均ベクトルであるセントロイドとを求め、クラスタとセントロイドを出力する（ステップＳ３０）。１個のクラスタは、音声、音声認識結果テキスト、音素誤り傾向ベクトル、の３つの組が集合した部分集合である。分類数ｋは、所望のクラスタ数に全体集合を分割する数であり、例えばｋ＝４８とされる。分類数ｋは、外部からクラスタリング部３０に与えてもよいし、予めクラスタリング部３０に設定しておいてもよい。分類数ｋは５０位〜１００位を目安に設定する。
【００１８】
ベース音響モデル適応部５０は、クラスタリング部３０が出力するクラスタとセントロイドを入力として、各クラスタに含まれる音声と音声認識結果テキストに基づいて、ベース音響モデル４０をクラスタ毎に適応させた適応後音響モデルを生成し、適応後音響モデルと当該クラスタのセントロイドのペアを出力する（ステップＳ５０）。ベース音響モデル適応部５０は、クラスタの数ｋ個にそれぞれ対応するｋ個の音響モデル適応部５０１〜５０ｋで構成される。
【００１９】
適応後音響モデル記録部６０は、クラスタ毎の適応後音響モデルとセントロイドのペアを記録する（ステップＳ６０）。複数の適応後音響モデル１〜ｋは、それぞれ適応後音響モデル６０１〜６０ｋとして別々に記録される。
【００２０】
以上のように動作することで、ベース音響モデル４０は、音素誤り傾向が似た音声の部分集合（クラスタ）毎に、その音声と音声認識結果テキストを用いた教師なし音響モデル適応処理によって適応後音響モデルに変換される。したがって、音響モデル適応装置１００は、従来の音響モデル適応装置よりも音響モデルの適応効果を高めることができる。
【００２１】
〔音素誤り傾向ベクトル生成部〕
音響モデル適応装置１００の各部の機能を具体的に示して更に詳しく説明する。図３に、音素誤り傾向ベクトル生成部２０の機能構成例を示す。音素誤り傾向ベクトル生成部２０は、音響特徴量抽出手段２１と、出力確率算出手段２２と、出力確率総和計算手段２３と、最大出力確率音素の事後確率計算手段２４と、音素事後確率計算手段２５と、事後確率ベクトル生成手段２６と、音素誤り傾向ベクトル生成手段２７と、を備える。
【００２２】
音響特徴量抽出手段２１は、複数の音声Ｕall（Ｕ１,Ｕ２,…,Ｕｎ）の音声Ｕｉの音響特徴量Ｏitをフレーム毎に抽出する。ｔは音声Ｕｉ中でのフレーム番号を表す。音響特徴量Ｏitは、例えばメル周波数ケプストラム係数（ＭＦＣＣ）分析によって算出される。音響特徴量Ｏitは、音声認識部１０から入手してもよい。その場合、音響特徴量抽出手段２１は不要である。
【００２３】
出力確率算出手段２２は、各フレームにおいて、ベース音響モデル４０に含まれる全音素のモノフォンモデルの全状態について、当該フレームの音響特徴量Ｏitの出力確率を算出する。第ｔフレームの音響特徴量Ｏitの出力確率をＰ（Ｏit|ｓｊ）と表記する。ここで、ｓｊはベース音響モデル４０に含まれるモノフォンＨＭＭのｊ番目の状態を表す。
【００２４】
図４に、フレーム毎の音響特徴量Ｏitと出力確率の関係を模式的に示す。音声Ｕｉの先頭から、例えば２０msの時間幅のフレーム毎にその音響特徴量Ｏitが抽出される。第８番目のフレームｔi8の音響特徴量Ｏi8の出力確率を、ベース音響モデル４０に含まれる全音素のモノフォンモデルの全状態について算出する。全音素とは、例えば/a/,/i/,/u/,…/N/のローマ字の表記に相当する音素のことであり、その数は例えば２６個である。音素のモノフォンモデルの全状態とは、/a/〜/N/の第１状態〜第３状態の全ての状態のことであり、音素数を２６個、状態数を３個とすると７８個になる。出力確率算出手段２２は、この全状態についての出力確率Ｐ（Ｏi8|ａ１）〜Ｐ（Ｏi8|N３）を算出する。Ｐ（Ｏi8|ａ１）〜Ｐ（Ｏi8|N３）は、Ｐ（Ｏi8|ｓ１）〜Ｐ（Ｏi8|ｓ７８）である。
【００２５】
出力確率総和算出手段２３は、各フレームの出力確率の総和Ｐ（Ｏit）を式（１）で計算する。
【００２６】
【数１】
0005749186.tif 000002
【００２７】
最大出力確率音素の事後確率算出手段２４は、各フレームにおいて、当該フレームで最大の出力確率となる音素を＾ｐとして、その最大出力確率（式（２））を各フレームの出力確率の総和Ｐ（Ｏit）で除した値を、当該フレームの１位音素の事後確率Ｐ（＾ｐ|Ｏit）として計算する（式（３））。図４は、音素/ｉ/の第２状態を最大出力確率とした例を示す。
【００２８】
【数２】
0005749186.tif 000003
【００２９】
なお、式（３）の分子は、最大出力確率を示す状態の出力確率でもよいし、その音素の第１状態〜第３状態の出力確率の和でもよい。
【００３０】
音素事後確率計算手段２５は、各フレームの１位音素の事後確率の音素毎のフレーム平均値を、音声Ｕｉ単位で求めて音素毎の事後確率とする。図５に、１位音素の事後確率と音素毎の事後確率との関係を模式的に示す。図５では、音声Ｕｉ内のフレームｔ８とｔ２４とｔｎの１位音素が/ｉ/であった場合を示している。他の音素の１位音素の事後確率の表記は省略している。
【００３１】
音素事後確率計算手段２５は、音素/ｉ/の事後確率が１位のフレームの事後確率を音声Ｕｉ内の全フレームにわたって合計した値を、音素/ｉ/の事後確率が１位のフレーム数で除して音素毎の音素事後確率を計算する。他の各々の音素についての音素事後確率も同様に計算される。
【００３２】
事後確率ベクトル生成手段２６は、音素毎の音素事後確率を並べて事後確率ベクトルを生成する。音素事後確率を並べる順序としては、例えば音素名を辞書式順序で昇順に並べた順序とすればよい。事後確率ベクトルは、音声Ｕｉの時間長が短い場合には出現する音素が少ないのでスパースになる場合が想定される。しかし、音声Ｕｉは上記したように例えば電話会話における一通話のような長い単位を１つの適応データとするので全音素の音素事後確率が並べられる場合が多い。音素数を例えば２６個とすると、事後確率ベクトルは２６次元のベクトルとなる。
【００３３】
音素誤り傾向ベクトル生成手段２７は、事後確率ベクトル生成手段２６が出力する事後確率ベクトルから、外部から入力される予め求めた音声群全体事後確率ベクトルを減算することで各音声Ｕｉの音素誤り傾向ベクトルを生成する。音声群全体事後確率ベクトルは、音響モデル適応装置１００に入力される全ての音声Ｕｉについて、音素誤り傾向ベクトル生成部２０が行う事後確率ベクトルを生成するまでの処理を施して生成したものである。ベース音響モデル４０を同じものとすることで、事後確率ベクトルと音声群全体事後確率ベクトルの次元数は同じになる。
【００３４】
音素誤り傾向ベクトル生成手段２７は、各音声Ｕｉの各音素の事後確率を、音響モデルを造る為の全音声の事後確率で正規化する処理を行う。この処理によって得られた音素誤り傾向ベクトルの各要素の値は、その音素の認識誤り傾向を表す音素の誤り傾向スコアとなる。ある音声Ｕｉにおいて、音素の誤り傾向スコアの値が正の場合はその音素は通常よりも正しく認識できることを表す。負の場合は、当該音素は通常よりも誤認識し易いことを表す。
【００３５】
〔クラスタリング部〕
クラスタリング部３０は、音声認識部１０が出力する音声認識結果テキストと音声Ｕｉと、音素誤り傾向ベクトル生成部２０が出力するその音声Ｕｉの音素誤り傾向ベクトルとの３つの組群を入力として、音素誤り傾向ベクトル間の類似度を尺度に、３つの組群を所定の数（ｋ個）のクラスのクラスタに分類すると共に、当該クラスタ中の音素誤り傾向ベクトルの平均ベクトルであるセントロイドとを求め、上記クラスタとセントロイドを出力する。
【００３６】
ｋ個のクラスタの分類は、ベクトル間の類似度を尺度にして行う。ベクトル間の類似度の尺度としては、例えばコサイン類似度を用いることができる。次元数が等しい２つのベクトルＶ１とＶ２の間のコサイン類似度Ｓ（Ｖ１,Ｖ２）は、式（４）で計算される。
【００３７】
【数３】
0005749186.tif 000004
【００３８】
Ｖ１・Ｖ２はベクトルＶ１とＶ２の内積、|Ｖ１|と|Ｖ２|はそれぞれベクトルＶ１とＶ２のノルムを表す。
【００３９】
クラスタリング部３０は、各音声Ｕｉの音素誤り傾向ベクトルをＶ１,Ｖ２として、各音声間のコサイン類似度を式（４）で計算し、そのコサイン類似度の値を用いて各々の音声Ｕｉを、ｋ個のクラスタに分類する。そして、各クラスタ内の音素誤り傾向ベクトルを平均してそのクラスタのセントロイドを求める。複数の音声Ｕｉを、ｋ個のクラスタに分類する処理は、例えば大規模データでも比較的に高速に処理できる周知のk-means法を用いることができる。分類処理そのものは、この発明の主要部では無いので詳しい説明は省略する。
【００４０】
〔ベース音響モデル適応部〕
ベース音響モデル適応部５０は、クラスタの数ｋ個に対応する数の音響モデル適応部５０１〜５０ｋで構成される。音響モデル適応部５０１〜５０ｋは、音声、音声認識結果テキスト、音素誤り傾向ベクトル、の３つの組群の部分集合で構成されるｋ個のクラスタをそれぞれ入力として、各クラスタに含まれる音声Ｕｉと音声認識結果テキストに基づいて、ベース音響モデル４０を、クラスタ毎に教師なし適応させて適応後音響モデルを生成し、適応後音響モデルと当該クラスタのセントロイドのペアを出力する。
【００４１】
音響モデル適応アルゴリズムは従来技術であり、例えば参考文献（J.-L. Gauvain and C.-H. Lee,”Maximum a Posteriori Estimation for Multivariate Gaussian Mixture Observations of Markov Chains,”IEEE trans. on Speech and Audio processing, 2(2), pp.291-298,1994.）に記載された方法で行う。
【００４２】
ベース音響モデル４０をクラスタ毎に教師なし適応させた適応後音響モデルは、セントロイドと組み（ペア）でクラスタ毎に適応後音響モデル記録部６０に記録される。その適応後音響モデルは、類似度の高い音声単位ごとに教師なし音響モデル適応を行わせたものなので、適応効果の高い音響モデルにすることができる。
【００４３】
次に、この発明の音響モデル適応装置１００で生成した適応後音響モデルを用いて音声認識処理を行う音声認識装置２００を説明する。
【００４４】
〔音声認識装置〕
図６に、この発明の音声認識装置２００の機能構成例を示す。その動作フローを図７に示す。音声認識装置２００は、適応後音響モデル記録部６０と、認識時音素誤り傾向ベクトル生成部２１０と、ベース音響モデル４０と、最近傍セントロイド選択部２２０と、適用音響モデル２３０と、音声認識部２４０と、を具備する。適応後音響モデル記録部６０とベース音響モデル４０は、参照符号から明らかなように音響モデル適応装置１００と同じものである。音響モデル適応装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００４５】
適応後音響モデル記録部６０は、上記した音響モデル適応装置１００によって生成された適応後音響モデルを記録した複数のクラスタとそのセントロイドとを組みにして記録する。
【００４６】
認識時音素誤り傾向ベクトル生成部２１０は、認識対象音声の音響特徴量抽出をフレーム毎に行い当該フレームの音響特徴量の出力確率をベース音響モデルに含まれる全音素の全状態について求め、当該出力確率の最大値を当該フレームの出力確率の総和で除して１位音素の事後確率とし、当該１位音素の事後確率の音素毎の平均値を上記音声単位で求めた音素事後確率を当該音声単位で並べて事後確率ベクトルとし当該事後確率ベクトルから、予め求めた上記音声群全体の音声群全体事後確率ベクトルを減算して上記音声の認識時音素誤り傾向ベクトルとして生成する（ステップＳ２１０）。認識時音素誤り傾向ベクトル生成部２１０で行われる処理は、音響モデル適応装置１００の音素誤り傾向ベクトル生成部２０で行う処理と同じである。認識時音素誤り傾向ベクトル生成部２１０には、音声認識対象の認識対象音声が入力される点のみが異なる。
【００４７】
最近傍セントロイド選択部２２０は、認識時音素誤り傾向ベクトルと、適応後音響モデル記録部６０に記録された複数のクラスタと組みのセントロイドとの類似度が最大となる適応後音響モデルを、適用音響モデルとして選択して出力する（ステップＳ２２０）。適応後音響モデル記録部６０に記録された複数のクラスタと組みのセントロイドは、各クラスタ内の音素誤り傾向ベクトルを平均したものである。最近傍セントロイド選択部２２０は、そのセントロイド（音素誤り傾向ベクトル）と認識時音素誤り傾向ベクトルとの類似度を、音響モデル適応装置１００のクラスタリング部３０で用いたのと同じコサイン類似度（式（４））を用いて評価し、類似度が最大となる適応後音響モデルを選択して適用音響モデル２３０として出力する。
【００４８】
音声認識部２４０は、認識対象音声を、最近傍セントロイド選択部２２０で選択された適用音響モデル２３０に基づいて音声認識処理して音声認識結果テキストを出力する（ステップＳ２４０）。
【００４９】
音声認識装置２００によれば、認識対象音声と音素誤り傾向が類似する音声に適応した音響モデルを用いて音声認識処理が行われるので、認識率を向上させることができる。また、従来の方法では、複数の音響モデルごとに音声に対する尤度を計算して適切な音響モデルを選択するのに対し、この発明の方法では、1個のベース音響モデルから求めた1個の認識時音素誤り傾向ベクトルを生成することで、各音声の音素誤り傾向を評価するので高速に適切な音響モデルを選択することができる。その結果、音声を入力してから音声認識結果が出力されるまでのタイムラグを小さくすることができる。
【００５０】
〔評価実験〕
この発明の音響モデル適応方法と音声認識方法の効果を確認する目的で評価実験を行った。その結果について説明する。
【００５１】
まず実験条件について説明する。評価実験用の音声データとして２４名の話者による電話会話音声３９１通話を用いた。１名当たり１２通話から２２通話を収録した。各話者の通話の半数を集めたデータセット（１９６通話）と、残りの通話を集めたデータセット（１９６通話）を作成し、一方のデータセットを認識する際にはもう一方のデータセットを適応データとして用い、両実験の平均認識率で評価を行った。
【００５２】
適応データのクラスタリングにはk-means法を用いクラスタ数は４８とした。音響モデルの教師なし適応にはＭＡＰ適応（参考文献：「Gauvain et al., IEEE Trans. SAP, 2(2), 291-298,1994」）を用いた。
【００５３】
以上の前提で、次の４条件の認識率を比較した。その結果を図８に示す。横軸は話者ＩＤ、縦軸は認識率である。図８中の表記、■はベース音響モデルをそのまま用いた認識率（ベースライン）、×はクラスタリングを行わないで全ての適応データを用いて作成した１つの適応モデルを用いた認識率（１クラスタ）、●はクラスタリングした音響モデルを選択して用いた認識率（この発明）、▲は適応データを話者ごとに手動分類して適応を行った音響モデルを用いた認識率（話者既知の条件）である。
【００５４】
１クラスタ（×）と比較して、この発明（●）は２４名中２３名の話者で認識率の改善が得られた。残りの話者（ＩＤ＝１２）の認識率もほぼ同等であることから、この発明の音素誤り傾向に着目したクラスタリングとモデル選択の有効性が確認された。また、図８に示すようにこの発明の認識率（●）は、理想的な条件と考えられる話者既知の条件（▲）に近い認識率を示した。この発明と話者既知の条件とにおける話者２４名の平均認識率は、それぞれ84.55％と84.50％であり、この発明の方法によって話者既知の条件と同等の認識性能が得られることが確認できた。
【００５５】
このように、音声データによる音素誤り傾向の類似性に着目して適応データをクラスタリングし、分類されたクラスタ毎にベース音響モデルを教師なし適応させて適応後音響モデルを生成する音響モデル適応装置１００と、その適応後音響モデルを選択して用いる音声認識装置２００は、音声認識率を向上させることができる。
【００５６】
上記各装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００５７】
また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００５８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００５９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６０】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005749186.tif 000005
【図２】
0005749186.tif 000006
【図３】
0005749186.tif 000007
【図４】
0005749186.tif 000008
【図５】
0005749186.tif 000009
【図６】
0005749186.tif 000010
【図７】
0005749186.tif 000011
【図８】
0005749186.tif 000012