(57)【要約】【課題】この発明は、分割停止条件を人手で与えることなく、状態分割を自動的に停止させることができる音声認識用音響モデル構造生成方法を提供することを目的とする。【解決手段】処理対象の隠れマルコフモデルの各状態毎に、状態を環境方向に分割した場合および時間方向に分割した場合それぞれの、分割前後の情報量規準の変化量を計算するステップ、全状態に対して算出された情報量規準の変化量に基づいて、全ての状態で情報量規準が改善されなくなったか否かを判別するステップ、全ての状態で情報量規準が改善されなくなったと判別したときに、分割を停止させるステップを備えている。【選択図】　図１
2004109907.tif 000002
【特許請求の範囲】
【請求項１】
発声音声データに基づいて、単一ガウス分布の隠れマルコフモデルを生成し、生成した単一ガウス分布の隠れマルコフモデルを、処理対象の隠れマルコフモデルとする第１ステップ、
処理対象の隠れマルコフモデルの各状態毎に、状態を環境方向に分割した場合および時間方向に分割した場合それぞれの、分割前後の情報量規準の変化量を計算する第２ステップ、
全状態に対して算出された情報量規準の変化量に基づいて、全ての状態で情報量規準が改善されなくなったか否かを判別する第３ステップ、
少なくとも１つの状態において情報量が改善されていると判別した場合には、全ての状態に対する２種の分割法のうち、情報量規準が最も改善される状態および分割法を選択し、選択した状態を選択した分割法で分割する第４ステップ、
第４ステップにより更新された隠れマルコフモデルを処理対象の隠れマルコフモデルとした後、上記第２ステップに戻る第５ステップ、および
上記第３ステップにおいて、全ての状態で情報量規準が改善されなくなったと判別したときに、分割を停止させる第６ステップ、
を備えている音声認識用音響モデル構造生成方法。
【請求項２】
情報量規準が、ＭＤＬ規準、ＢＩＣおよびＡＩＣのうちから任意に選択された１つであることを特徴とする請求項１に記載の音声認識用音響モデル構造生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、音声認識用音響モデル構造生成方法に関する。
【０００２】
【従来の技術】
音響モデルにおいて、ａｌｌｏｐｈｏｎｅ　でのＨＭＭ状態共有構造を獲得するための代表的な方法として音素決定木クラスタリング（文献［１］　参照）、およびＭＬ−ＳＳＳ法（文献［２］　参照）がある。ここで、”ＭＬ”は、”Ｍａｘｉｍｕｍ　Ｌｉｋｅｌｉｈｏｏｄ”の略であり、”ＳＳＳ”は、”Ｓｕｃｃｅｓｓｉｖｅ　Ｓｔａｔｅ　Ｓｐｒｉｔｔｉｎｇ”の略である。
【０００３】
文献［１］　：Ｓ．Ｊ．　Ｙｏｕｎｇ，　Ｊ．Ｊ．　Ｏｄｅｌｌ，　ａｎｄ　Ｐ．Ｃ．　Ｗｏｏｄｌａｎｄ，”Ｔｒｅｅｂａｓｅｄ　ｓｔａｔｅ　ｔｙｉｎｇ　ｆｏｒ　ｈｉｇｈ　ａｃｃｕｒａｃｙ　ａｃｏｕｓｔｉｃ　ｍｏｄｅｌｉｎｇ，”　Ｐｒｏｃ．ｏｆ　ｔｈｅ　ＡＲＰＡ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｈｕｍａｎ　Ｌａｎｇｕａｇｅ　Ｔｅｃｈｎｏｌｏｇｙ，ｐｐ．　３０７−３１２，１９９４．
文献［２］　：Ｍ．Ｏｓｔｅｎｄｏｒｆ，　Ｈ．　Ｓｉｎｇｅｒ，　”ＨＭＭ　ｔｏｐｏｌｐｇｙ　ｄｅｓｉｇｎ　ｕｓｉｎｇ　ｍａｘｉｍｕｍ　ｌｉｋｅｌｉｈｏｏｄ　ｓｕｃｃｅｓｓｉｖｅ　ｓｔａｔｅ　ｓｐｌｉｔｔｉｎｇ，”　Ｃｏｍｐｕｔｅｒ　Ｓｐｅｅｃｈ　ａｎｄ　Ｌａｎｇｕｅｇｅ，　ｖｏｌ．　１１，ｐｐ．１７−４１，　１９９７．
【０００４】
音素決定木クラスタリング法は音素環境方向の状態分割を、ＭＬ−ＳＳＳ法は音素環境方向と時間方向、両者の状態分割をＭＬ規準で繰り返し行うことで、状態共有構造を得る。ＭＬ規準のみでは、一般にパラメータが多いほど、学習データに対する尤度は上昇するため、分割を停止できず、総状態数など、別の制約条件を実験的に設ける必要がある。
【０００５】
音素決定木クラスタリングにおいては、Ｍｉｎｕｍｕｍ　Ｄｅｓｃｒｉｐｔｉｏｎ　Ｌｅｎｇｔｈ（ＭＤＬ）規準、Ｂａｙｅｓｉａｎ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｃｒｉｔｅｒｉｏｎ（ＢＩＣ）といった情報量規準により状態分割を制御する方法が報告されている（文献［３］，［４］　参照）　。
【０００６】
文献［３］　：Ｋｏｉｃｈ　Ｓｈｉｎｏｄａ，　Ｔａｋａｏ　Ｗａｔａｎａｂｅ，”ＭＤＬ−ｂａｓｅｄ　ｃｏｎｔｅｘｔｄｅｐｅｎｄｅｎｔ　ｓｕｂｗｏｒｄ　ｍｏｄｅｌｉｎｇ　ｆｏｒ　ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ，”　Ｔｈｅ　Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅ　Ａｃｏｕｓｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ｊａｐａｎ　（Ｅ），　ｖｏｌ．　２１，　ｎｏ．　２，　ｐｐ．　７９−８６，　２０００．
文献［４］　：Ｗｕ　Ｃｈｏｕ，　Ｗ．Ｒｅｉｃｈｌ，　”Ｄｅｃｉｓｉｏｎ　Ｔｒｅｅ　Ｓｔａｔｅ　Ｔｙｉｎｇ　Ｂａｓｅｄ　ｏｎ　Ｐｅｎａｌｉｚｅｄ　Ｂａｙｅｓｉａｎ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｃｒｉｔｅｒｉｏｎ，”Ｐｒｏｃ．　ｏｆ　ＩＣＡＳＳＰ　’９９，　ｖｏｌ．　Ｉ，ｐｐ．３４５−３４８，１９９９．
【０００７】
ＭＬ−ＳＳＳ法のアルゴリズムの概略を述べる。ＭＬ−ＳＳＳ法のアルゴリズムでは、各状態について、環境方向（ｃｏｎｔｅｘｔｕａｌ　ｓｐｌｉｔｔｉｎｇ）と時間方向（ｔｅｍｐｏｒａｌ　ｓｐｌｉｔｔｉｎｇ）に分割し、対数尤度期待値が最も上昇する状態を選択する。これを総状態数がＮＳ　に達するまで行う。このとき、時間方向へのパス長制限ＮＰ　および総状態数ＮＳ　は事前に設定する必要がある。しかし、最適値は実験的に求めなければならない。
【０００８】
ここで、状態分割時に評価する対数尤度差分期待値の定義を示す。状態Ｓｉ　をＳｉ１とＳｉ２へ分割する場合について、環境方向の分割時に用いられる対数尤度差分期待値ＧＣ　（ＭＬ）（Ｓｉ　）の定義と、時間方向の分割時に用いられる対数尤度差分期待値Ｇｔ　（ＭＬ）（Ｓｉ　）の定義とを、次式（１），（２）にそれぞれ示す。
【０００９】
【数１】
2004109907.tif 000003
【００１０】
Σ（Ｓｉ　）は共分散行列，Г（Ｓｉ　）＝Σｔ　γｔ　（Ｓｉ　）は状態Ｓｉ　から遷移する回数の期待値、Ξ（Ｓｉ　，Ｓｊ　）＝Σｔ　ξｔ　（Ｓｉ　，Ｓｊ　）はＳｉ　からＳｊ　への遷移する回数の期待値，　ａｉｊはＳｉ　からＳｊ　への遷移確率である。環境方向の分割では、効率的な演算のため、分割する状態を選択する際には、遷移確率は再推定しない。このため、期待値ゲインでは遷移確率を考慮していない。
【００１１】
【発明が解決しようとする課題】
この発明は、分割停止条件を人手で与えることなく、状態分割を自動的に停止させることができる音声認識用音響モデル構造生成方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
請求項１に記載の発明は、発声音声データに基づいて、単一ガウス分布の隠れマルコフモデルを生成し、生成した単一ガウス分布の隠れマルコフモデルを処理対象の隠れマルコフモデルとする第１ステップ、処理対象の隠れマルコフモデルの各状態毎に、状態を環境方向に分割した場合および時間方向に分割した場合それぞれの、分割前後の情報量規準の変化量を計算する第２ステップ、全状態に対して算出された情報量規準の変化量に基づいて、全ての状態で情報量規準が改善されなくなったか否かを判別する第３ステップ、少なくとも１つの状態において情報量が改善されていると判別した場合には、第２ステップで算出された情報量規準の変化量に基づいて、全ての状態に対する２種の分割法のうち、情報量規準が最も改善される状態および分割法を選択し、選択した状態を選択した分割法で分割する第４ステップ、第４ステップにより更新された隠れマルコフモデルを処理対象の隠れマルコフモデルとした後、上記第２ステップに戻る第５ステップ、および上記第３ステップにおいて、全ての状態で情報量規準が改善されなくなったと判別したときに、分割を停止させる第６ステップを備えていることを特徴とする。
【００１３】
請求項２に記載の発明は、請求項１に記載の音声認識用音響モデル構造生成方法において、情報量規準が、ＭＤＬ規準、ＢＩＣおよびＡＩＣのうちから任意に選択された１つであることを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００１５】
分割状態選択条件としてＭＤＬ規準を用いた逐次状態分割法（以下、ＭＤＬ−ＳＳＳ法という）について説明する。
【００１６】
〔１〕ＭＤＬを用いた分割状態選択規準の説明
【００１７】
ＭＤＬを用いた分割状態選択規準について説明する。
【００１８】
モデルセット｛θ（ｉ）　，ｉ＝１，…，Ｉ｝が与えられた時のモデルｉに対するＭＤＬ規準の定義は次式（３）のようになる。
【００１９】
【数２】
2004109907.tif 000004
【００２０】
ここで、ｘ＝｛ｘ１　，…，ｘＮＴ｝は観測データ，αｉ　はフリーパラメータの個数であり、記号∧が頭に付けられたθ（ｉ）　（以下、∧θ（ｉ）　で表す）はモデルの最尤推定値である。第１項は∧θ（ｉ）　に対する観測データの対数尤度に負記号をつけたものに相当する。
【００２１】
ＭＤＬ−ＳＳＳ法では、上記のＭＤＬ規準を状態選択時の評価関数として用いる。すなわち、ＭＬ−ＳＳＳ法における状態分割を選択する際の評価基準として用いられる対数尤度の差分を、ＭＤＬ規準の差分に置き換える。音素環境方向の状態分割に対するＭＤＬ規準の差分は次式（４）のようになる。
【００２２】
【数３】
2004109907.tif 000005
【００２３】
ＭＤＬ規準の第１項は対数尤度に負記号をつけたものなので、差分をとった第１項は、上記式（１）に示すＭＬ−ＳＳＳ法での対数尤度差分期待値Ｇｃ　（ＭＬ）（Ｓｉ　）に負記号をつけたものになる。ＭＤＬ規準の第２項中の観測データの総数ＮＴ　はГ（Ｓａｌｌ　）＝Σｉ　Г（Ｓｉ　）で表すことができる。αｃ　，α’ｃ　はそれぞれ状態分割前，分割後のパラメータ数である。音素環境方向分割では出力確率のみを考慮しているので、正規分布のパラメータ数になる。総状態数がＭ個であるとする。１状態につき、１分布であり、各分布はＫ次元平均ベクトル、Ｋ次元対角共分散行列を持つとするとαｃ　＝２ＫＭとなる。
【００２４】
状態分割後はα’ｃ　＝２Ｋ（Ｍ＋１）であるので、結局、上記式（４）のＧｃ　（ＭＤＬ）　（Ｓｉ　）は、次式（５）のようになる。
【００２５】
【数４】
2004109907.tif 000006
【００２６】
同様に時間方向の状態分割に対するＭＤＬ規準の差分は、次式（６）のように定義できる。
【００２７】
【数５】
2004109907.tif 000007
【００２８】
Ｇｔ　（ＭＬ）（Ｓｉ　）は、上記式（２）に示すＭＬ−ＳＳＳ法での対数尤度差分期待値である。αｔ　，α’ｔ　は時間方向の状態分割前後のパラメータ数、Г（Ｓａｌｌ　），Г’（Ｓａｌｌ　）は時間方向の状態分割前後の観測データ数である。時間方向では分割されすぎると考慮されないセグメントが増えるため、観測データ数は変動する。そのため、環境方向と違い、状態分割前後でパラメータを変えている。時間方向の状態分割では状態遷移確率も考慮する。
【００２９】
本実施の形態では、各状態は自己遷移確率ａｉｉとひとつの遷移確率１−ａｉｉを持つとしている。遷移確率のパラメータ数は全状態でＭ個となる。したがって時間方向の状態分割でのモデルパラメータ数は、α’ｔ　＝２Ｋ（Ｍ＋１）＋（Ｍ＋１）＝（２Ｋ＋１）（Ｍ＋１）となる。
【００３０】
以上のように、ＭＤＬ規準の定義式（上記式（３））から、ＭＤＬ規準の差分（上記式（５），（６））が理論的に導出されるが、実際の応用では、モデルが大きく推定されるなど、うまく働かない。そこで、実用上は、ＭＤＬ規準の差分として、上記式（５），（６）の第２項にＣＣ　，Ｃｔ　という係数を導入することに得られる次式（７），（８）を採用する。
【００３１】
【数６】
2004109907.tif 000008
【００３２】
これらの係数ＣＣ　，Ｃｔ　として適切な値を使用すれば、学習データに対し、自動で精度のよいモデル構造を得ることができる。
【００３３】
〔２〕ＭＤＬ−ＳＳＳ法のアルゴリズムの説明
【００３４】
図１は、ＭＤＬ−ＳＳＳ法のアルゴリズムを示している。
【００３５】
まず、初期のＨＭＭ網（隠れマルコフモデル（ＨＭＭ）の状態ネットワーク）を生成し、生成した初期のＨＭＭ網を処理対象のＨＭＭ網とする（ステップ１）。例えば、発声音声データに基づいて、パーム−ウェルチ　アルゴリズム（Ｂａｕｍ−Ｗｅｌｃｈアルゴリズム）　を用いて、単一ガウス分布のＨＭＭ網を生成する。そして、生成したＨＭＭ網を処理対象のＨＭＭ網とする。
【００３６】
処理対象のＨＭＭ網の各状態Ｓｉ　毎に、環境方向に状態を分割することによって新しい２つの状態を生成した場合の分割前後のＭＤＬ規準の差分Ｇｃ　（ＭＤＬ）　（Ｓｉ　）を算出するとともに、時間方向に状態を分割することによって新しい２つの状態を生成した場合の分割前後のＭＤＬ規準の差分Ｇｔ　（ＭＤＬ）　（Ｓｉ　）を算出する（ステップ２）。
【００３７】
そして、各状態Ｓｉ　毎に、環境方向分割および時間方向分割のうち、ＭＤＬ規準の差分が小さい方の分割法を選択する（ステップ３）。ＭＤＬ規準の差分は、ＭＤＬ規準が改善されると負の値をとるとともに、ＭＤＬ規準の改善の度合いが高くなるほど負の値の絶対値が大きくなる。そこで、ステップ３では、ＭＤＬ規準の差分が小さい方の分割法を選択しているのである。
【００３８】
次に、全ての状態Ｓｉ　に対して算出したＭＤＬ規準の差分｛Ｇｃ　（ＭＤＬ）　（Ｓｉ　），Ｇｔ　（ＭＤＬ）　（Ｓｉ　）｝のうちから最も小さい差分を抽出し、抽出した差分最小値が正であるか否かを判定する（ステップ４）。上述したように、ＭＤＬ規準の差分は、ＭＤＬ規準が改善されると負の値をとる。したがって、全ての状態Ｓｉ　に対して算出したＭＤＬ規準の差分の最小値が正である場合には、すべての状態でＭＤＬ規準が改善されなくなったことを意味する。
【００３９】
ステップ４で、抽出した差分最小値が負であると判定した場合には、ステップ３で各状態Ｓｉ　毎に選択された分割法のうちから、ＭＤＬ規準の差分が最小値となる状態Ｓｉ　および分割法を選択し、選択した状態Ｓｉ　を選択した分割法で分割する（ステップ５）。そして、新しい状態が生成されたことに伴って、必要なパラメータを再推定する（ステップ６）。このようにして得られた新たなＨＭＭ網を処理対象のＨＭＭ網とした後（ステップ７）、ステップ２に戻る。
【００４０】
このようにして、ステップ２〜７の処理を繰り返して行い、ステップ４において、ＭＤＬ規準の差分の最小値が正であると判定した場合には、つまり、すべての状態でＭＤＬ規準が改善されなくなった場合には、分割を停止する。つまり、処理を終了する。
【００４１】
なお、ＭＬ−ＳＳＳ法では、状態を時間方向に分割する際にパス長を制約する必要があったが、ＭＤＬ−ＳＳＳ法では、パス長を制約する必要はない。
【００４２】
上記実施の形態では、分割状態選択条件としてＭＤＬ規準を用いたが、ＢＩＣ、ＡＩＣ（Ａｋａｉｋｅ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｃｒｉｔｅｒｉｏｎ）　等の他の情報量規準を用いてもよい。
【００４３】
〔３〕認識実験
〔３．１〕　実験条件
【００４４】
評価にはＡＴＲ旅行会話データベースＴＲＡを用いた。学習データとして４０７名が発声した対話（ＴＲＡ）および音素バランス５０３文（ＢＬＡ）、計約３０時間の音声を用いた。評価データには学習データに含まれない４２名による４２片対話を用いた。
【００４５】
分析条件はサンプリング周波数１６ｋＨｚ、フレーム長２０ｍｓｅｃ、フレーム周期１０ｍｓｅｃであった。特徴量としては、１２次ＭＦＣＣ、１２次ΔＭＦＣＣ、Δ対数パワーを用いた。音響モデルは、中心音素２６種類に対し、初期モデルを各音素３状態３ループとした。モデル構造学習の間は１状態１ガウス分布とし、音素区間の境界は固定とした。
【００４６】
モデル構造学習後、各状態５混合分布とし、連結学習を行い、性別依存モデルを作成した。無音モデルは３状態３ループのモデルを別途作成し、用いた。評価時の語彙数は２万７千語で、言語モデルとして多重クラス複合ｂｉｇｒａｍモデル（文献［５］　参照）を、認識エンジンとしてＡＴＲＳＰＲＥＣ（文献［６］　参照）を用いた。
【００４７】
文献［５］　：山本博史，　匂坂芳典，”接続の方向性を考慮した多重クラス複合Ｎ−ｇｒａｍ　言語モデル”信学技報，ＳＰ９８−１０２，ｐｐ．４９−５４，Ｄｅｃ．１９９８．
文献［６］　：内藤正樹ほか，　”　旅行会話タスクにおけるＡＴＲＳＰＲＥＣの性能評価，”音講論，３−１−９，ｐｐ．１１３−１１４，Ｓｅｐ．１９９９．
【００４８】
〔３．２〕実験結果
【００４９】
図２に、ＭＬ−ＳＳＳにおいて、いくつかのパス長制限と状態数に対して得られたモデルと、ＭＤＬ−ＳＳＳにおいて、いくつかのＣＣ　，Ｃｔ　に対して得られたモデルの単語認識率と総状態数を示す。
【００５０】
ＭＬ−ＳＳＳでは、パス長制限４、総状態数１４００のときが最高性能（８８．７２％）であった。ＭＤＬ−ＳＳＳでは、ＣＣ　＝２，Ｃｔ　＝２０のとき最も良く、８８．９０％の認識率が得られた。状態数は若干多いものの、ＭＤＬ−ＳＳＳの方が良い。ただし、性能は重み係数ＣＣ　，Ｃｔ　にそれほど敏感ではないといえる。ＣＣ　＝２，Ｃｔ　＝２０付近の値を用いれば、その学習データに対してほぼ最適なモデルを得られると考えられる。ＭＬ−ＳＳＳにおいて、総状態数およびパス長制限を与えることに比べれば、ＭＤＬ−ＳＳＳの重み係数のほうが設定しやすいといえる。
【００５１】
より詳細にＭＬ−ＳＳＳとＭＤＬ−ＳＳＳで得られるモデル構造の差を調べた。図３に各音素ごとの状態数、図４に各音素に対する最大パス長を示す。ほぼ同じ総状態数である、パス長制限４の”ＭＬ−ＳＳＳ（１４００　ｓｔａｔｅｓ）””ＭＤＬ−ＳＳＳ（１４１７　ｓｔａｔｅｓ）”で比較すると、各音素でほぼ同じ状態数になっている。
【００５２】
しかし、図４より、ＭＬ−ＳＳＳではどの音素も制限と同じだけ時間方向分割しているが、ＭＤＬ−ＳＳＳでは、／　ａ／　や／　ｓ／　のように長いものもあれば、／　ｇ／　や／　ｆ／　のように初期状態の３状態から分割されなかったものもある。より状態数の多いモデル”ＭＤＬ−ＳＳＳ（２０８６　ｓｔａｔｅｓ）”でも音素ごとに最大長が異なっている。よってＭＤＬ−ＳＳＳはＭＬ−ＳＳＳと比較して、時間方向分割において、より適切なモデルを選択できるといえる。これが性能向上に効果をもたらした原因と考えられる。
【００５３】
〔３．３〕少量学習データでの評価
【００５４】
ほぼ最適としたＣＣ　＝２，Ｃｔ　＝２０がデータ量が異なる場合に有効か調べた。ここでは、学習データをＴＲＡのみの約５．４時間データ，前実験での約１／６でモデル作成を行い、同じ評価データで評価した。図５に単語認識率を示す。前節で得られたＣＣ　，Ｃｔ　の適切な値で、最高性能を得られた。この場合では、ＭＬ−ＳＳＳより総状態数が小さいモデルが選択されており、ＭＤＬ規準により、学習データ量に応じて適切なモデルが選択されているといえる。
【００５５】
【発明の効果】
この発明によれば、分割停止条件を人手で与えることなく、状態分割を自動的に停止させることができるようになる。また、情報量規準により、学習データ量とモデルパラメータ数を考慮して、分割する状態を選択でき、学習データにオーバーフィッティングすることなく、より精度のよい音響モデル構造を作成できる。
【図面の簡単な説明】
【図１】ＭＤＬ−ＳＳＳ法のアルゴリズムを示すフローチャートである。
【図２】ＭＬ−ＳＳＳ法においていくつかのパス長制限と状態数に対して得られたモデルと、ＭＤＬ−ＳＳＳにおいていくつかのＣＣ　，Ｃｔ　に対して得られたモデルの単語認識率と総状態数との実験結果を示すグラフである。
【図３】各音素ごとの状態数の実験結果を示すグラフである。
【図４】各音素に対する最大パス長の実験結果を示すグラフである。
【図５】学習データにＴＲＡを用いたモデルでの単語認識率の実験結果を示すグラフである。
【図１】
2004109907.tif 000009
【図２】
2004109907.tif 000010
【図３】
2004109907.tif 000011
【図４】
2004109907.tif 000012
【図５】
2004109907.tif 000013