(57)【特許請求の範囲】
【請求項１】
多次元の入力ベクトルに対して、複数の多次元確率分布の中で最大の確率密度値を示す要素確率分布を探索するとともに、その要素確率分布の確率密度を探索する要素分布の探索方法において、その多次元の入力ベクトルの第１次元から展開済の第ｋ次元までの各次元値に対する各要素分布の各次元に存在する一次元の連続分布の確率値に基づいて、第１次元から第ｋ次元までの累積値を計算する過程と、その第ｋ次元までの累積値が最大の要素分布を選択する過程と、その選択された要素分布について、計算済の次元数を増加させて前記累積値を再計算する過程とを備え、展開済の次元数が入力ベクトルの次元数に一致するまで、次元方向にベストファースト探索を実行することを特徴とする要素分布の探索方法。
【請求項２】
次元数Ｋの多次元の入力ベクトルに対して、複数の多次元確率分布の中で最大の確率密度値を示す要素確率分布を探索するとともに、その要素確率分布の確率密度を探索する要素分布の探索方法において、次元数Ｋの多次元の入力ベクトルの第１次元から展開済の第ｋ次元までの各次元値に対する各要素分布の各次元に存在する一次元の連続分布の確率値に基づいて、第ｋ次元までの累積値と第ｋ＋１次元から第Ｋ次元までの累積値の推定値とから第ｋ次元までの評価値を計算する過程と、その評価値が最大の要素分布を選択する過程と、その選択された要素分布について、計算済の次元数を増加させて評価値を再計算する過程とを備え、展開済の次元数が増加する方向にベストファースト探索を実行することを特徴とする要素分布の探索方法。
【請求項３】
第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、自由度Ｋ−ｋのカイ２乗分布の分布関数値が所定値に達するときのカイ２乗分布の独立変数値に基づいて計算することを特徴とする請求項２記載の要素分布の探索方法。
【請求項４】
第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、学習用の音声データが示す値の分布に基づいて計算することを特徴とする請求項２記載の要素分布の探索方法。
【請求項５】
要素分布を複数のクラスタに分割し、各クラスタについて、第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、学習用の音声データが示す値の分布に基づいて計算することを特徴とする請求項２記載の要素分布の探索方法。
【請求項６】
ベストファースト探索で最初から複数個の解を求めて、その複数個の解の中で、上位複数個の評価値を有する要素分布を求めることを特徴とする請求項３から請求項５のうちのいずれか１項記載の要素分布の探索方法。
【請求項７】
第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、各要素分布における各次元の一次元の分布を各分布の平均値の数直線上での配列に基づいて複数の区間に分割し、各区間について求めた各次元毎の不等式と、入力ベクトルの各次元の数値とに基づいて計算することを特徴とする請求項２記載の要素分布の探索方法。
【請求項８】
第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、要素分布を複数のクラスタに分割し、複数のクラスタのそれぞれについて各次元毎に得られた不等式と、入力ベクトルの各次元の数値とに基づいて計算することを特徴とする請求項２記載の要素分布の探索方法。
【請求項９】
探索の閾値を設けて、第ｋ次元までの探索の累積値又は評価値が、その閾値を下回る場合、当該仮説の探索を打ち切ることを特徴とする請求項１から請求項８のうちのいずれか１項記載の要素分布の探索方法。
【請求項１０】
要素分布に依存して探索の閾値を設けて、第ｋ次元までの探索の累積値又は評価値が、その閾値を下回る場合、当該仮説の探索を打ち切ることを特徴とする請求項１から請求項８のうちのいずれか１項記載の要素分布の探索方法。
【請求項１１】
探索の閾値として、入力ベクトルの次元数をＫとし、自由度Ｋ−ｋのカイ２乗分布の分布関数が一定の数値に到達するときの独立変数の値に基づいて計算した値を用いることを特徴とする請求項９記載の要素分布の探索方法。
【請求項１２】
展開済の次元数を増加させる際に２以上次元数を増加させるベストファースト探索を実行することを特徴とする請求項１から請求項１０のうちのいずれか１項記載の要素分布の探索方法。
【請求項１３】
入力音声を分析して多次元の入力ベクトルに変換し、その多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアを計算し、認識単位の系列の中で最もスコアの累積値の高い認識単位の系列を認識結果として出力する音声認識方法において、その多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、評価値最大をとる要素確率分布の確率は前記ベストファースト探索の結果として計算された確率を用い、その他の要素確率分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定することを特徴とする音声認識方法。
【請求項１４】
入力音声を分析して多次元の入力ベクトルに変換し、その多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアを計算し、認識単位の系列の中で最もスコアの累積値の高い認識単位の系列を認識結果として出力する音声認識方法において、その多次元の入力ベクトルに対して、評価値の大きい方からＮ個の分岐確率密度のベストファースト探索を次元方向に実行し、評価値の大きい方からＮ個の分岐密度をとる要素確率分布の確率は前記ベストファースト探索の結果として計算された確率の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定することを特徴とする音声認識方法。
【請求項１５】
入力音声を分析して多次元の入力ベクトルに変換し、その多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアを計算し、１回目は認識単位の系列の中で経路の制約を緩めたスコアの推定値を求め、２回目は１回目で求めたスコアの推定値に基づいて認識単位の完全な系列の中で最もスコアの高い認識単位の系列を探索して求めるマルチパスの音声認識方法において、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、その多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、その評価値最大の要素分布の確率は前記ベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定することを特徴とするマルチパスの音声認識方法。
【請求項１６】
入力音声を分析して多次元の入力ベクトルに変換し、その多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアを計算し、１回目は認識単位の系列の中で経路の制約を緩めたスコアの推定値を求め、２回目は１回目で求めたスコアの推定値に基づいて認識単位の完全な系列の中で最もスコアの高い認識単位の系列を探索して求めるマルチパスの音声認識方法において、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、その多次元の入力ベクトルに対して、評価値の大きい方からＮ個の分岐確率密度のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の分岐密度をとる要素分布の確率は前記ベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定することを特徴とするマルチパスの音声認識方法。
【請求項１７】
入力音声を分析して多次元の入力ベクトルに変換する音声分析手段と、上記音声分析手段により変換された多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアを計算するスコア計算手段と、認識単位の系列の中でスコアの最も高い認識単位の系列を選択し、その系列を認識結果として出力する認識結果選択手段とを備えた音声認識装置において、上記スコア計算手段は、その多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、評価値最大をとる要素分布の確率は前記ベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を行うことを特徴とする音声認識装置。
【請求項１８】
入力音声を分析して多次元の入力ベクトルに変換する音声分析手段と、上記音声分析手段により変換された多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアを計算するスコア計算手段と、認識単位の系列の中でスコアの最も高い認識単位の系列を選択して、その系列を認識結果として出力する認識結果選択手段とを備えた音声認識装置において、上記スコア計算手段は、その多次元の入力ベクトルに対して、評価値の大きい方からＮ個の要素分布のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の要素分布の確率は前記ベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を行うことを特徴とする音声認識装置。
【請求項１９】
入力音声を分析して多次元の入力ベクトルに変換し、その多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアを計算し、１回目は認識単位の系列の中で経路の制約を緩めたスコアの推定値を求め、２回目は１回目で求めたスコアの推定値に基づいて認識単位の完全な系列の中で最もスコアの高い認識単位の系列を探索して求めるマルチパスの音声認識装置において、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、その多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、その評価値最大をとる要素分布の確率は前記ベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定することを特徴とするマルチパスの音声認識装置。
【請求項２０】
入力音声を分析して多次元の入力ベクトルに変換し、その多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアを計算し、１回目は認識単位の系列の中で経路の制約を緩めたスコアの推定値を求め、２回目は１回目で求めたスコアの推定値に基づいて認識単位の完全な系列の中で最もスコアの高い認識単位の系列を探索して求めるマルチパスの音声認識装置において、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、その多次元の入力ベクトルに対して、評価値の大きい方からＮ個の要素分布のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の要素分布の確率は前記ベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定することを特徴とするマルチパスの音声認識装置。
【請求項２１】
入力音声を分析して多次元の入力ベクトルに変換し、その多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布のモデルで表現された認識単位のスコアを評価値最大の要素分布のベストファースト探索を次元方向に実行し、その評価値最大をとる要素分布の確率は前記ベストファースト探索の結果として計算された要素分布の確率を用い、その他の要素確率分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行し、そのスコア計算の結果に基づいて、認識単位の系列の中でスコアの最も高い認識単位の系列を選択し、その入力音声の認識結果を決定するためのプログラムが記録された記録媒体。
【請求項２２】
入力音声を分析して多次元の入力ベクトルに変換し、その多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布のモデルで表現された認識単位のスコアを評価値の大きい方からＮ個の要素分布のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の評価値をとる要素分布の確率は前記ベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行し、そのスコア計算の結果に基づいて認識単位の系列の中でスコアの最も高い認識単位の系列を選択し、その入力音声の認識結果を決定するためのプログラムが記録された記録媒体。
【請求項２３】
入力音声を分析して多次元の入力ベクトルに変換し、その多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアの推定値を計算するスコア計算し、１回目は認識単位の系列の中で経路の制約を緩めたスコアの推定値を求め、２回目は１回目で求めたスコアの推定値に基づいて認識単位の完全な系列の中で最もスコアの高い認識単位の系列を探索して求め、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、その多次元の入力ベクトルに対して評価値最大の分岐確率密度のベストファースト探索を次元方向に実行し、その評価値最大をとる要素分布の確率は前記ベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して、認識結果を決定するためのプログラムが記録された記録媒体。
【請求項２４】
入力音声を分析して多次元の入力ベクトルに変換し、その多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアを計算し、１回目は認識単位の系列の中で経路の制約を緩めたスコアの推定値を求め、２回目は１回目で求めたスコアの推定値に基づいて認識単位の完全な系列の中で最もスコアの高い認識単位の系列を探索して求め、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、その多次元の入力ベクトルに対して、評価値の大きい方からＮ個の分岐確率密度のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の要素分布の確率は前記ベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して、認識結果を決定するためのプログラムが記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば、多次元の連続確率分布の演算量等を削減することができる要素分布の探索方法，ベクトル量子化方法，パターン認識方法，音声認識方法，音声認識装置及び認識結果を決定するためのプログラムが記録された記録媒体に関するものである。
【０００２】
【従来の技術】
図２７は混合連続分布ＨＭＭを用いる音声認識装置を示す構成図であり、図において、１０１は入力音声、１０２は入力音声１０１を音声分析して、Ｋ次元の入力特徴ベクトル１０３を出力する音声分析部、１０３は入力特徴ベクトル、１０４は混合連続分布ＨＭＭ１０８で表された音素ＨＭＭの確率演算を実行する確率演算部、１０５は経路演算を実行する経路演算部、１０６は最適な経路を決定する最適経路決定部、１０７は最適な経路を示す認識結果、１０８は混合連続分布ＨＭＭ、１０９は経路データである。
図２８は混合連続分布ＨＭＭの説明図であり、図２９は経路演算の説明図である。
【０００３】
次に動作について説明する。
音声分析部１０２で得られたＫ次元の入力特徴ベクトル１０３について、確率演算部１０４がＭ個のＫ次元正規確率密度関数の混合分布で表された音素ＨＭＭの確率演算を実行し、最適経路決定部１０６が各フレーム毎に単語の接続条件に従って、ビタビ演算を実行して最適な経路を求める。最適な経路を後戻り探索することで単語系列を求める。
時刻ｔの特徴ベクトルｘ（ｔ）に対する確率演算は次式に基づいて行われる。ただし、次式において、λ（ｍ）は第ｍ番目の要素分布の分岐確率を示し、ｆ（ｘ（ｔ），ｍ）は第ｍ番目の要素分布の分岐密度を示す。
【０００４】
【数１】
0003973789.tif 000002
【０００５】
さらに、要素分布の分岐密度ｆ（ｘ（ｔ），ｍ）は、各次元間に相関のない無相関正規分布は次式のように計算される。
ただし、ｘ（ｔ，ｋ）は入力ベクトルｘ（ｔ）の第ｋ次元目の要素の値、μ（ｍ，ｋ）は第ｍ番目の要素分布の第ｋ次元目の平均値、σ（ｍ，ｋ）は第ｍ番目の要素分布の第ｋ次元目の分散（即ち標準偏差の２乗）である。
なお、一般的な表記では肩に２乗を付すが、本明細書では、肩の２乗を付さずに分散を表す。
【０００６】
【数２】
0003973789.tif 000003
【０００７】
大語彙の音声認識装置では、音素のＨＭＭを用いる。
しかも、音素には前後の音素に依存した環境依存の音素モデルを用いるため、混合分布に含まれる要素分布の総数はかなり大きくなる。
例えば、環境依存音素モデルの各状態を２０００状態のＨＭＭで表現し、各状態を３２混合分布とすれば、全体で６４０００個の要素分布を有することになる。
【０００８】
これらをフレーム周期の１０ミリ秒毎に計算すると、１秒当り６４０００００個の要素分布計算が必要となり、混合分布計算をリアルタイムで処理するためには、１つの混合分布を約１５６ナノ秒で処理する必要があるが、これは現在の汎用のプロセッサでは実現困難である。
このため、以下に述べるような演算量削減の技術が提案されている。
【０００９】
・予備選択による方法：
混合連続分布ＨＭＭの計算量削減に関して次のような予備選択による方法が提案されている。
【００１０】
岩崎らは、文献（“混合連続分布ＨＭＭを用いた不特定話者連続音声認識のための演算量削減法”、日本音響学会講演論文集、３−５−４、平成３年１０月）で、各音素片ＨＭＭについて単一分布の出力確率により予備選択し、選択された音素片ＨＭＭのみ厳密な混合分布計算を行っている。
【００１１】
Ｂｏｃｃｈｉｅｒｉらは、文献（“Ｖｅｃｔｏｒ  ｑｕａｎｔｉｚａｔｉｏｎｆｏｒ  ｔｈｅ  ｅｆｆｉｃｉｅｎｔ  ｃｏｍｐｕｔａｔｉｏｎ  ｏｆ  ｃｏｎｔｉｎｕｏｕｓ  ｄｅｎｓｉｔｙ  ｌｉｋｅｌｉｈｏｏｄｓ”，ＩＣＡＳＳＰ９３予稿集，ＩＩ−６９２頁〜ＩＩ−６９５頁）で、ガウス分布の平均ベクトルを予めベクトル量子化して、入力ベクトルとこの量子化ベクトルとの距離情報を用いて混合ガウス分布のクラスタを予備選択した後、出力確率を計算した。
【００１２】
Ｄｉｇａｌａｋｉｓらは、文献（“Ｇｅｎｏｎｅｓ：ＧｅｎｅｒａｌｉｚｅｄＭｉｘｔｕｒｅ  Ｔｙｉｎｇ  ｉｎ  Ｃｏｎｔｉｎｕｏｕｓ  Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ−Ｂａｓｅｄ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｚｅｒｓ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  ａｕｄｉｏ  ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．４，ｎｏ．４，ｊｕｌｙ  １９９６，２８１頁〜２８９頁）で、上記Ｂｏｃｃｈｉｅｒｉらの方法を一般化音素ＨＭＭに用いる音声認識システムに適用して、それぞれの一般化音素ＨＭＭについて混合ガウス分布のクラスタを予備選択して、出力確率を計算した。
【００１３】
渡辺らは、文献（“木構造確率分布を用いた音声認識”、日本音響学会講演論文集、１−８−７、平成５年１０月、及び、特開平６−３４８２９２号公報）で、ガウス分布のクラスタの予備選択及び混合ガウス分布の出力確率計算において木構造を導入した。木構造の作成にはトップダウンクラスタリングを適用している。
【００１４】
小森らは、文献（“Ｒｏｕｇｈ  ＨＭＭとＤｅｔａｉｌ  ＨＭＭを用いた連続ＨＭＭ出力確率計算の高速化”、日本音響学会講演論文集、１−Ｑ−２０、平成７年３月）で、認識に貢献度の高そうなＨＭＭの状態を少数分布のＨＭＭを用いて予備選択後、多数分布の出力確率を再計算している。
【００１５】
中川らは、文献（“連続出力分布型ＨＭＭの出力確率計算の短縮法”、日本音響学会講演論文集、１−Ｑ−２２、平成７年３月）で、すべてのコードベクトルに対して出力確率を事前に計算してテーブル化しておき、入力ベクトルに一番近いコードベクトルに対応する出力確率の値を表引きし、必要に応じて確率の大きい場合のみ、従来の方法で再計算して出力確率を求めている。
【００１６】
以上の何れの方法も、実際に計算する総分布数の削減を行っている。しかし、上記の予備選択による方法には次のような問題がある。
岩崎らの方法は、混合分布の他に、混合分布をカバーする単一分布を用意する必要がある。
渡辺らの方法は、木の根に近い分布が、木の葉に近い分布をカバーするように、要素分布が木構造となるように設計されている必要がある。このため、任意の混合分布を有する既存の混合分布の演算削減には適用できない。
【００１７】
小森らの方法は、従来の混合分布のための記憶領域の他に、精度の荒い混合分布の記憶領域を用意するとともに、この精度の荒い混合分布の演算が前処理として必要である。
Ｂｏｃｃｈｉｅｒｉ，Ｄｉｇａｌａｋｉｓ及び中川らの方法は、ベクトル量子化のためのコードブックのための記憶領域と、入力ベクトルに対して最も距離の近いコードを決定するためのベクトル量子化演算が別途に必要である。
【００１８】
ところで、ベクトル量子化は複数の信号を個々に量子化せず、一括して一つの符合で表現する多次元信号量子化手法として、音声や画像の高能率符号化法として注目を集めている。
ベクトル量子化は入力ベクトルに最も近いコードベクトルを求め、そのコードで入力ベクトルを代表させる方法である。したがって、入力ベクトルと全コードベクトルとの距離演算が必要である。
ベクトル量子化による符号化誤差を小さくするため、コードブックの規模及びコードベクトルの探索時間が指数関数的に増大し、ハードウェア実現が困難になる。
【００１９】
ベクトル量子化の演算量を削減する手法として、次の３つの方法がある。
第１の方法は、２進木探索が可能なようにコードベクトルを設計し、入力ベクトルに対して距離最小のコードベクトルを２進木による探索により求めるものである。
【００２０】
渡辺らは、文献（“主成分分析を用いた２進木探索コードブックの設計法”、音声研究会資料ＳＰ８７−１２９、１９８７年２月）で、２進木探索が可能なコードブックの設計法を示している。２進木探索によれば、入力ベクトルと比較するコードベクトルの数は、ｌｏｇ2 （Ｎ）のオーダとなり、比較回数を大幅に削減できる。
【００２１】
第２の方法は、任意の構造を持ったコードベクトルの集合について、２進木探索を行うものである。
Ｃｈｅｎｇらは、文献（“Ａ  Ｆａｓｔ  ｃｏｄｅｂｏｏｋ  ｓｅａｒｃｈ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｎｅａｒｅｓｔ−ｎｅｉｇｈｂｏｒ  ｐａｔｔｅｒｎ  ｍａｔｃｈｉｎｇ”、ＩＣＡＳＳＰ８６  予稿集、２６５頁〜２６８頁、１９８６年）で、任意のコードベクトルからなるコードベクトル集合について、コードベクトルの全体集合から始めて、超平面によるコードベクトル集合の２分割処理を、要素一つからなるコードベクトル集合が得られるまで２進木にしたがって順次繰り返し、入力ベクトルに最も近いコードベクトルを探索する方法を提案している。
【００２２】
ノードｎに付随する超平面は、入力ベクトルｘ（ｔ）に対する係数ベクトルｕ（ｎ）と定数ベクトルｃ（ｎ）とで記憶されている。
入力ベクトルｘ（ｔ）に対して、各ノードで次の関係式を計算し、関係（Ａ）が満足されれば、左側の枝のノードに進み、入力ベクトルの最近隣コードは左側の部分集合ΩL に属するとする。また、関係（Ｂ）が満足されれば、右側の枝のノードに進み、入力ベクトルの最近隣コードは右側の部分集合ΩR に属するとする。
【００２３】
【数３】
0003973789.tif 000004
【００２４】
第３の方法は、一般の探索手法を用いるものである。
丸田らは、文献（“文字認識における距離計算の高速化の検討”、１９９７年電子情報通信学会総合大会予稿集、３１０頁）で、特徴空間を探索しながら最小距離を与えるカテゴリ（コードベクトルに相当）を検出している。
各カテゴリはテンプレートベクトルとして与えられる。
この方法では、何らかの方法で与えられた初期カテゴリを元に、カテゴリ毎に予め作成しておいた近傍のカテゴリリストを参照し、現在のカテゴリの近傍カテゴリについて、その中での最小距離を与えるカテゴリを選択し、このカテゴリを新たに種のカテゴリと設定して、再度探索を繰り返すものである。
【００２５】
以上のベクトル量子化の方法には次のような問題がある。
第１の方法では、２進木探索が可能なコードベクトルの設計が必要である。
第２の方法では、多次元空間を超平面で次々に分割して行くものであるが、超平面で多次元空間をうまく均等に分割することは一般には難しく、最終的に１個の要素分布にたどり着くには多くの判定が必要になり、演算量の削減の効果はほとんどない。また、判定のための情報を記憶するため、かなりのメモリを必要とする。
第３の方法では、初期ベクトルを与える方法が開示されていない。また、探索の結果がローカルミニマムに陥ることがあり、最適な解である保証はない。このため、ベクトル量子化の精度の劣化が生じる可能性がある。また、パターン認識に用いたときは認識精度劣化の可能性がある。
【００２６】
・共有化による混合分布演算の削減方法：
混合分布又はベクトル量子化の演算量削減の方法としては、上記の「予備選択による方法」の他に、ＨＭＭの部分を共通化して、演算量を削減する方法がある。
【００２７】
小森らは、文献（特開平７−２６１７８８号公報）で、認識時の演算量を減らすため、あるクラス内において、複数のＨＭＭのうち、そのＨＭＭの関連情報が同値であるＨＭＭを用いてクラス毎に音声認識する方法を示している。
高橋らは、文献（“４階層共有構造音素モデルにおける分散値共有化の効果”、日本音響学会講演論文集、１−Ｑ−２３、平成７年３月）及び文献（特開平８−２４８９８６号公報）で、ＨＭＭの各状態の多次元正規分布における各次元に存在する正規分布中の、平均値及び分散値が共に類似するものを共通化することにより、ＨＭＭの混合分布の演算量を削減する方法を示している。
【００２８】
上記のＨＭＭの部分の共有化による演算量削減の方法には次のような問題がある。
共有化を進めると演算時間は減少するものの、ＨＭＭの分解能が低下し、認識精度が低下する。
また、共有化された後のＨＭＭについてはすべて演算を行う必要があり、演算量の削減には限界がある。
【００２９】
以上、ＨＭＭの混合分布の演算量削減に関する従来の技術について説明した。
次に、経路探索の演算量削減に関する従来の技術について説明する。
経路探索の演算量削減法としては、音声のフレームに同期して仮説の数を制限するビーム探索して音声認識する方法がある。
また、１パス目では制約の緩い経路にそって経路スコアの推定値を求め、２パス目ではこの経路スコアの推定値に基づいて、最適な経路の探索を行うマルチパスの音声認識の方法がある。
【００３０】
野田らは、文献（“前向きヒューリスティック関数を用いたビーム探索によるＨＭＭ―ＬＲ）音声認識の検討”、日本音響学会講演論文集、３−８−１６、平成６年１０月）で、ビーム探索において、前向きヒューリスティクスを導入し、経路探索の演算を削減している。
【００３１】
加藤らは、文献（“連続分布ＨＭＭのよる単語音声認識のＶｉｔｅｒｂｉ  ｂｅｓｔ−ｆｉｒｓｔサーチにおける推定スコア設定法の検討”、日本音響学会講演論文集、３−８−１５、平成６年１０月）で、マルチパスの音声認識において、１パス目では、混合分布の最大分岐密度及び最大経路スコアを推定スコアとして求め、２パス目では、ベストファースト探索を行うことにより、経路探索に要する演算量を削減している。
【００３２】
１パス目で求める最大経路スコアとしては、音素内、単語内、全単語内で求める方法が示されている。
なお、ベストファースト探索は、仮説（探索の途中であるので部分仮説と呼ばれる）を展開する際に、現在のスコアと将来のスコアの推定値に基づいて評価値を計算し、この評価値が最大の仮説を優先的に展開し、探索を進める方法である。
【００３３】
ここで、スコアの推定値が真のスコアに比較して大きいか、等しいとき、Ａ＊条件を満足すると言われる。ベストファースト探索において、Ａ＊条件を満足する推定値を用いる探索をＡ＊探索という。
Ａ＊探索では、探索の最初に見つかる解がフル探索での最適解と一致することが知られている。
【００３４】
上記の方法では次のような問題がある。
野田らの方法では、ビーム幅を一定値以下に下げると精度が劣化する。
加藤らの方法では、Ａ＊探索の条件が満足されるので、精度劣化はない。しかしながら、１回目のパスで、推定スコアを求める際に、混合分布のなかで最大分岐密度を有する要素分布を求める必要がある。実際には、大語彙の音声認識に適用する場合、このための演算量は無視できないものとなる。
【００３５】
【発明が解決しようとする課題】
従来の音声認識装置は以上のように構成されているので、前処理としてベクトル量子化の演算を必要とし、また、混合分布として木構造化された分布を用いる必要があり、さらに、予備選択のために別の混合分布が必要であるため、演算量が膨大になり、音声認識処理に長時間を要する課題があった。
また、共有化による認識精度が低下する課題があり、また、マルチパスの音声認識処理において、推定スコアの演算量が無視できないほど大きくなる課題もあった。
【００３６】
この発明は上記のような課題を解決するためになされたもので、演算量を削減することができる要素分布の探索方法，ベクトル量子化方法，パターン認識方法，音声認識方法，音声認識装置及び認識結果を決定するためのプログラムが記録された記録媒体を得ることを目的とする。
【００３７】
【課題を解決するための手段】
この発明に係る要素分布の探索方法は、展開済の次元数が入力ベクトルの次元数に一致するまで、次元方向にベストファースト探索を実行するようにしたものである。
【００３８】
この発明に係る要素分布の探索方法は、展開済の次元数が増加する方向にベストファースト探索を実行するようにしたものである。
【００３９】
この発明に係る要素分布の探索方法は、第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、自由度Ｋ−ｋのカイ２乗分布の分布関数値が所定値に達するときのカイ２乗分布の独立変数値に基づいて計算するようにしたものである。
【００４０】
この発明に係る要素分布の探索方法は、第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、学習用の音声データが示す値の分布に基づいて計算するようにしたものである。
【００４１】
この発明に係る要素分布の探索方法は、要素分布を複数のクラスタに分割し、各クラスタについて、第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、学習用の音声データが示す値の分布に基づいて計算するようにしたものである。
【００４２】
この発明に係る要素分布の探索方法は、ベストファースト探索で最初から複数個の解を求めて、その複数個の解の中で、上位複数個の評価値を有する要素分布を求めるようにしたものである。
【００４３】
この発明に係る要素分布の探索方法は、第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、各要素分布における各次元の一次元の分布を各分布の平均値の数直線上での配列に基づいて複数の区間に分割し、各区間について求めた各次元毎の不等式と、入力ベクトルの各次元の数値とに基づいて計算するようにしたものである。
【００４４】
この発明に係る要素分布の探索方法は、第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、要素分布を複数のクラスタに分割し、複数のクラスタのそれぞれについて各次元毎に得られた不等式と、入力ベクトルの各次元の数値とに基づいて計算するようにしたものである。
【００４５】
この発明に係る要素分布の探索方法は、探索の閾値を設けて、第ｋ次元までの探索の累積値又は評価値が、その閾値を下回る場合、当該仮説の探索を打ち切るようにしたものである。
【００４６】
この発明に係る要素分布の探索方法は、要素分布に依存して探索の閾値を設けて、第ｋ次元までの探索の累積値又は評価値が、その閾値を下回る場合、当該仮説の探索を打ち切るようにしたものである。
【００４７】
この発明に係る要素分布の探索方法は、探索の閾値として、入力ベクトルの次元数をＫとし、自由度Ｋ−ｋのカイ２乗分布の分布関数が一定の数値に到達するときの独立変数の値に基づいて計算した値を用いるようにしたものである。
【００４８】
この発明に係る要素分布の探索方法は、展開済の次元数を増加させる際に２以上次元数を増加させるベストファースト探索を実行するようにしたものである。
【００５１】
この発明に係る音声認識方法は、多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、評価値最大をとる要素確率分布の確率はベストファースト探索の結果として計算された確率を用い、その他の要素確率分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するようにしたものである。
【００５２】
この発明に係る音声認識方法は、多次元の入力ベクトルに対して、評価値の大きい方からＮ個の分岐確率密度のベストファースト探索を次元方向に実行し、評価値の大きい方からＮ個の分岐密度をとる要素確率分布の確率はベストファースト探索の結果として計算された確率の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するようにしたものである。
【００５３】
この発明に係る音声認識方法は、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、その評価値最大の要素分布の確率はベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するようにしたものである。
【００５４】
この発明に係る音声認識方法は、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、多次元の入力ベクトルに対して、評価値の大きい方からＮ個の分岐確率密度のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の分岐密度をとる要素分布の確率はベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するようにしたものである。
【００５５】
この発明に係る音声認識装置は、多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、評価値最大をとる要素分布の確率はベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を行うようにしたものである。
【００５６】
この発明に係る音声認識装置は、多次元の入力ベクトルに対して、評価値の大きい方からＮ個の要素分布のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の要素分布の確率はベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を行うようにしたものである。
【００５７】
この発明に係る音声認識装置は、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、その評価値最大をとる要素分布の確率はベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するようにしたものである。
【００５８】
この発明に係る音声認識装置は、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、多次元の入力ベクトルに対して、評価値の大きい方からＮ個の要素分布のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の要素分布の確率はベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するようにしたものである。
【００５９】
この発明に係る認識結果を決定するためのプログラムが記録された記録媒体は、多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布のモデルで表現された認識単位のスコアを評価値最大の要素分布のベストファースト探索を次元方向に実行し、その評価値最大をとる要素分布の確率はベストファースト探索の結果として計算された要素分布の確率を用い、その他の要素確率分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行し、そのスコア計算の結果に基づいて、認識単位の系列の中でスコアの最も高い認識単位の系列を選択するようにしたものである。
【００６０】
この発明に係る認識結果を決定するためのプログラムが記録された記録媒体は、多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布のモデルで表現された認識単位のスコアを評価値の大きい方からＮ個の要素分布のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の評価値をとる要素分布の確率はベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行し、そのスコア計算の結果に基づいて認識単位の系列の中でスコアの最も高い認識単位の系列を選択するようにしたものである。
【００６１】
この発明に係る認識結果を決定するためのプログラムが記録された記録媒体は、多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアの推定値を計算するスコア計算し、１回目は認識単位の系列の中で経路の制約を緩めたスコアの推定値を求め、２回目は１回目で求めたスコアの推定値に基づいて認識単位の完全な系列の中で最もスコアの高い認識単位の系列を探索して求め、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、その多次元の入力ベクトルに対して評価値最大の分岐確率密度のベストファースト探索を次元方向に実行し、その評価値最大をとる要素分布の確率はベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して、認識結果を決定するようにしたものである。
【００６２】
この発明に係る認識結果を決定するためのプログラムが記録された記録媒体は、多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアを計算し、１回目は認識単位の系列の中で経路の制約を緩めたスコアの推定値を求め、２回目は１回目で求めたスコアの推定値に基づいて認識単位の完全な系列の中で最もスコアの高い認識単位の系列を探索して求め、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、その多次元の入力ベクトルに対して、評価値の大きい方からＮ個の分岐確率密度のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の要素分布の確率はベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して、認識結果を決定するようにしたものである。
【００６３】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による音声認識装置を示す構成図であり、図において、１は入力音声、２は入力音声１を分析して特徴ベクトル３に変換する音声分析手段、４は特徴ベクトル３に対して、ＨＭＭ記憶手段８に記憶された混合連続分布ＨＭＭの状態ＨＭＭの確率を計算する確率演算手段（スコア計算手段）、５は経路データ記憶手段９の経路データに従って、状態ＨＭＭの連結から音素や単語を構成し、経路の各状態において、その状態に至る状態ＨＭＭの系列の中でスコアが最大の経路を決定し、そのスコアを求める経路演算手段（スコア計算手段）、６は経路演算手段５の決定した経路を音声の終端から後ろ向きに探索して最適な経路に沿う状態ＨＭＭの系列を求めて、入力音声１に対する認識結果７を出力する最適経路決定手段（認識結果選択手段）である。
【００６４】
次に動作について説明する。
音声分析の周期は１０ｍｓであり、特徴ベクトル３は、分析次数１２のメル周波数軸ケプストラム分析の結果得られたｃ（０），ｃ（１），ｃ（２），…，ｃ（１２）と、それらの時間変化率であるΔｃ（０），Δｃ（１），Δｃ（２），…，Δｃ（１２）とをベクトルの成分とした２６次元のベクトルである。
以後特徴ベクトル３の次元をＫとする。
【００６５】
ＨＭＭ記憶手段８には状態ＨＭＭが記憶されている。図２は状態ＨＭＭの構造を示す。状態ＨＭＭは、２状態１ループの構造を持つ。
状態遷移に付随する出力確率分布は、複数（本実施の形態では１６個）の連続分布を要素分布とした混合連続分布となっている。
また、各状態遷移に付随する出力確率分布は、いわゆる結びの関係を持たせ共通なものとしてある。
【００６６】
状態ＨＭＭは、全体で２０００個ある。音素ＨＭＭは、音素環境依存型であり、これらの状態ＨＭＭのうちの何れかを３つ連結し、３状態のＨＭＭとして構成される。
単語ＨＭＭは、さらにこのようにして構成される３状態の音素ＨＭＭを単語の音素表記に従って音素数分連結したものとして構成される。
【００６７】
時刻ｔの入力ベクトルｘ（ｔ）に対するある状態ＨＭＭの出力確率は、厳密には、次式で求められる。ただし、Ｍ（ｊ）は第ｊ番目の状態の混合連続分布に含まれる要素分布の個数であり、本実施の形態では全状態とも１６である。
以下、状態ｊの混合分布を説明対象とするので、インデックスｊを省略して、Ｍ（ｊ）をＭ、λ（ｊ，ｍ）をλ（ｍ）などと略記する。
【００６８】
【数４】
0003973789.tif 000005
【００６９】
また、ｆ（ｘ（ｔ），ｍ）は第ｍ番目の要素分布の分岐密度（連続分布の密度関数）であり、無相関正規分布である本実施の形態では、次式で与えられる。
ただし、ｘ（ｔ，ｋ）は入力ベクトルｘ（ｔ）の第ｋ次元目の要素の値、μ（ｍ，ｋ）は第ｍ番目の要素分布の第ｋ次元目の平均値、σ（ｍ，ｋ）は第ｍ番目の要素分布の第ｋ次元目の分散である。
【００７０】
【数５】
0003973789.tif 000006
【００７１】
上記の出力確率は、分岐密度の和として計算されるが、本実施の形態では、この出力確率計算の近似式として、次式のように、分岐確率λ（ｍ）と分岐密度ｆ（ｘ（ｔ），ｍ）の積λ（ｍ）ｆ（ｘ（ｔ），ｍ）（以後、分岐出力確率と呼ぶ）の最大値を用いている。
この近似式による出力確率（以後、最大分岐出力確率と呼ぶ）を用いたときの精度低下は僅かであることは認識実験により確認されている。
【００７２】
【数６】
0003973789.tif 000007
【００７３】
本実施の形態では、最大化出力確率ｂ‘（ｘ（ｔ））を以下のベストファースト探索を適用して計算する。
【００７４】
以下、この方法について説明する。
まず、分岐出力確率λ（ｍ）ｆ（ｘ（ｔ），ｍ）の対数をとると、式（１）から次のように変形できる。
【００７５】
【数７】
0003973789.tif 000008
【００７６】
ここに、Ａ（ｍ）及びＢ（ｍ）は入力ベクトルに依存しないので、事前に計算しておく。対数関数の単調増加性から、最大化出力確率ｂ‘（ｘ（ｔ））を求めることと、式（２）のｍに関する最大値を求めることとは等価である。
よって、式（２）を最大とする要素分布を求められれば、式（１）はその値の指数関数（ｅｘｐ（ｘ））の値として計算することができる。
【００７７】
次に式（２）を最大とする要素分布を求める探索方法について説明する。
図３はこの探索で用いる機能の構成図である。仮説展開制御部２００１は仮説記憶部（スタックとも呼ぶ）２００２に記憶された仮説の取り出し、展開処理を行う。
【００７８】
仮説記憶部２００２に記憶される仮説は、それぞれ、分布の番号ｍ、計算済の次元数ｋ、第１次元から第ｋ次元までの各次元の一次元の分布の確率の累積値ｇ（ｍ，ｋ）の数値を有する。
累積値ｇ（ｍ，ｋ）は、式（２）のＣ（ｘ（ｔ），ｍ，ｋ）のＫをｋとしたときの値であり、
ｇ（ｍ，ｋ）＝Ａ（ｍ）＋Ｂ（ｍ）＋Ｃ（ｘ（ｔ），ｍ，ｋ）
である。
【００７９】
探索の途中の仮説はスタックに格納される。
スタックは、ヒープと呼ばれる完全２分木として作成することができる。図４はヒープを用いた仮説記憶部の説明図である。ヒープはメモリの１次元配列Ａとして実現される。配列Ａのインデックスを一般にｎと２* ｎ、２* ｎ＋１とすると、Ａ［ｎ］≧ｍａｘ（Ａ［２* ｎ］，Ａ［２* ｎ＋１］）の関係を有する。
【００８０】
ヒープで仮説を管理することで、最大値を有する仮説は配列Ａの先頭Ａ［１］に必ずあるため、極めて高速に最大値を取り出すことができる。
また、ヒープに仮説を格納するときは、ヒープの根（即ち配列の要素Ａ［１］）から葉に向かって、２分木を辿って、配列の要素を交換しながら、上記の大小関係Ａ［ｎ］≧ｍａｘ（Ａ［２* ｎ］，Ａ［２* ｎ＋１］）を満足する位置に仮説を格納する。
この処理は仮説の数の２の対数の２倍のオーダー（Ｏ（２ｌｏｇ２Ｎ））の演算量しか必要とせず、極めて高速に行われる。
【００８１】
図５は式（２）の計算を次元方向に探索を進めるベストファースト探索のフローチャートである。
次に各処理ステップについて説明する。
ステップＳＴ１において、第ｊ状態の混合連続分布のすべての要素分布（第１〜第Ｍ（ｊ）分布）について、初期仮説を生成する。生成された仮説は仮説記憶部２００２に記憶される。
ここで、第ｍ番目の要素分布の初期仮説は、分布の番号をｍ、計算済の次元数を０、各次元の一次元の分布の累積値ｇ（ｍ，０）を
ｇ（ｍ，０）＝Ａ（ｍ）＋Ｂ（ｍ）
とする。
【００８２】
ステップＳＴ２において、累積値最大の仮説を仮説記憶部２００２から取り出す。この仮説の要素分布番号、展開済次元数、累積値を、以下、それぞれ、ｍ，ｋ，ｇ（ｍ，ｋ）として説明する。
【００８３】
ステップＳＴ３において、計算済の次元数ｋが最終次元のＫ（本実施の形態では２６）に到達しているかを調べ、最終次元に到達している場合（ｋ＝２６のとき）は、ベストファースト探索の理論により、この仮説が確率最大の要素分布に該当するので、この仮説を探索された解として、解の処理を行うため、ステップＳＴ７に進む。
もし、最終次元に到達していない場合（ｋ＜２６のとき）は、ステップＳＴ４に進む。
【００８４】
ステップＳＴ４において、次元数を１増やし、ｋ＋１とする。
ステップＳＴ５において、次元数ｋ＋１までの累積値を計算する（ただし、ここでの次元数ｋはステップＳＴ４において１増やす前の値として説明する。なお、以下の実施の形態でも同様とする）。
この累積値は、次元ｋまでの累積値ｇ（ｍ，ｋ）に、次元ｋ＋１の一次元の連続分布の対数確率値（以後尤度と呼ぶ）を加算して、ｇ（ｍ，ｋ＋１）を次式のように計算する。ただし、一次元の連続分布の対数確率値に含まれる定数項−（１／２）ｌｏｇ（２πσ（ｍ，ｋ））はステップＳＴ１において既に定数項Ｂ（ｍ）の中で加算済であり除く。
【００８５】
【数８】
0003973789.tif 000009
【００８６】
ところで、分散σ（ｍ，ｋ）は正の値であり、かつ、分子も２乗されているため正の値であるので、累積値ｇ（ｍ，ｋ＋１）はｇ（ｍ，ｋ）に等しいか、より小さく、累積値ｇ（ｍ，ｋ）は次元数ｋに関して単調非増加関数となっている。
【００８７】
ステップＳＴ６において、この仮説の要素分布番号、展開済次元数、累積値を、それぞれ、ｍ，ｋ＋１，ｇ（ｍ，ｋ＋１）とした仮説を作成し、仮説記憶部２００２に記憶して、ステップＳＴ２に戻る。
ステップＳＴ２における処理は前述の通りであり、ステップＳＴ３において、解が見つかるまで以上の処理が繰り返される。
【００８８】
ステップＳＴ７では、仮説を解として記憶し、処理を終了する。
さて、ステップＳＴ７において、解として得られた仮説については、要素分布番号、展開済次元数、累積値は、それぞれ、ｍ、Ｋ、ｇ（ｍ，Ｋ）となっている。
ｇ（ｍ，Ｋ）は次式のように各次元の尤度の和であり、要素分布ｍの第１次元から第Ｋ次元までの尤度の和であり、Ｍ（ｊ）個の混合分布の中では、最大の尤度となっている。
ｇ（ｍ，Ｋ）＝Ａ（ｍ）＋Ｂ（ｍ）＋Ｃ（ｘ（ｔ），ｍ，Ｋ）
【００８９】
これによって、最大の尤度を有する要素分布は解として求まった仮説の要素分布番号ｍとして求められる。
また、その対数確率は解として求まった仮説の累積値として得られる。
【００９０】
図６は探索終了時点のスタックに残された仮説の様子をそれらの展開履歴と共に示すグラフ図である。
この図で□印が最終次元Ｋまで展開された各次元の尤度の累積値最大の仮説の展開履歴を示す。また、○印及び×印が途中の次元まで展開された仮説の展開履歴を示す。
【００９１】
さて、この図から分かるように、スタックに展開されずに途中次元の計算して残っている仮説については、その途中次元から最終次元までの一次元の尤度計算をしていない。
したがって、本実施の形態の方法では、演算回数はスタックに展開されずに残っている要素分布の残りの展開すべき次元数の分だけ、一次元の尤度計算をしなくて済み、全要素分布の確率を求めてから、確率の最大の要素分布を求める従来のフル探索の方法に比べて、演算量が削減される。
【００９２】
従って、本実施の形態では、ベストファースト探索を用いているので、フル探索に比較して、一次元の尤度計算の演算回数を削減して、尤度最大の分岐確率密度を求めることができるという効果がある。
また、ベクトル量子化や、元々の混合分布に含まれる要素分布以外に確率分布を用いる必要がないという効果がある。
また、ローカルミニマムに陥る危険のある一般の探索手法に比較して、ベストファースト探索により、必ず、最大の確率を有する要素分布を最初の解として求められるため、最大分岐出力確率の計算の精度を犠牲にすることがないという効果がある。
【００９３】
実施の形態２．
上記実施の形態１では、次元数Ｋの多次元の入力ベクトルに対して、第ｋ次元までの１次元の分布の確率値の第１次元から第ｋ次元までの累積値が最大の要素分布についての仮説を、次元方向に展開するベストファースト探索を用いた。
この場合、将来の第ｋ＋１次元から入力ベクトルの次元数であるＫ次元までの累積値の推定値の情報は用いていない。
【００９４】
そこで、本実施の形態では、第１次元から第ｋ次元までの累積値に、第ｋ＋１次元から前記第Ｋ次元までの累積値の推定値を加えて、解が得られるまでに要するベストファースト探索の仮説の展開回数の削減を図る。
【００９５】
図７は探索のためのフローチャート、図８は探索のための機能ブロック図である。仮説展開制御部２００１は仮説記憶部２００２に記憶された仮説の取り出し、展開処理を行う。
仮説記憶部２００２に記憶される仮説は、それぞれ、要素分布の番号ｍ、計算済の次元数ｋ、第１次元から第ｋ次元までの各次元の一次元の分布の尤度の累積値ｇ（ｍ，ｋ）、評価値ｆ（ｍ，ｋ）の各数値を有する。
【００９６】
累積値ｇ（ｍ，ｋ）は、要素分布ｍの第１次元から第ｋ次元までの各次元の尤度の累積値であり、式（２）のＣ（ｘ（ｔ），ｍ，ｋ）のＫをｋとしたときの値として、次式で計算した値である。
ｇ（ｍ，ｋ）＝Ａ（ｍ）＋Ｂ（ｍ）＋Ｃ（ｘ（ｔ），ｍ，ｋ）
また、評価値ｆ（ｍ，ｋ）は、この累積値ｇ（ｍ，ｋ）と推定値ｈ（ｍ，ｋ）とを用いて、次式で計算される。
ｆ（ｍ，ｋ）＝ｇ（ｍ，ｋ）＋ｈ（ｍ，ｋ）
【００９７】
ここで、推定値ｈ（ｍ，ｋ）は、要素分布ｍの第ｋ＋１次元から最終の第Ｋ次元までの各次元の尤度の累積値の推定値である。その具体例は実施の形態３以下で説明するので、ここでは、その詳細な説明を省略し、この推定値があるものとして、これを用いたベストファースト探索の概略を説明する。
次に各処理ステップについて説明する。
【００９８】
ステップＳＴ１１において、時刻ｔの特徴ベクトルｘ（ｔ）が与えられる。この入力ベクトルの各次元ｋ（ｋ＝１，２，…，Ｋ）の値をｘ（ｔ，ｋ）とする。ステップＳＴ１２において、要素分布ｍの第ｋ＋１次元から最終の第Ｋ次元までの各次元の尤度の累積値の推定値ｈ（ｍ，ｋ）（ｋ＝１，２，…，Ｋ）を計算する。
ただし、最終次元Ｋの推定値はｈ（ｍ，Ｋ）＝０とする。
【００９９】
ステップＳＴ１において、第ｊ状態の混合分布のすべての要素分布（第１〜第Ｍ（ｊ）分布）ついて、初期仮説を生成する。生成された仮説は仮説記憶部２００２に記憶される。
ここで、第ｍ番目の分布の初期仮説は、要素分布の番号をｍ、計算済の次元数を０、各次元の一次元の対数確率（尤度）の累積値をｇ（ｍ，０）、評価値をｆ（ｍ，０）とする。
ただし、次式のように累積値ｇ（ｍ，０）は要素分布の分岐出力確率の定数項とし、また、評価値ｆ（ｍ，０）は累積値ｇ（ｍ，０）と推定値ｈ（ｍ，０）に基づいて次式のように与える。
ｇ（ｍ，０）＝Ａ（ｍ）＋Ｂ（ｍ）
ｆ（ｍ，０）＝ｇ（ｍ，０）＋ｈ（ｍ，０）
【０１００】
ステップＳＴ２において、評価値ｆ（ｍ，ｋ）最大の仮説を仮説記憶部２００２から取り出す。
この仮説の要素分布番号、展開済次元数、累積値、評価値を、以下、それぞれ、ｍ，ｋ，ｇ（ｍ，ｋ），ｆ（ｍ，ｋ）として説明する。
【０１０１】
ステップＳＴ３において、計算済の次元数ｋが最終次元Ｋ（＝２６）に到達しているかを調べ、最終次元に到達している場合（ｋ＝２６のとき）は、ベストファースト探索の理論により、この仮説が評価値最大の要素分布に該当するので、この仮説を探索された解として、解の処理を行うため、ステップＳＴ７に進む。もし、最終次元に到達していない場合（ｋ＜２６のとき）は、ステップＳＴ４に進む。
【０１０２】
ステップＳＴ４において、次元数を１増やし、ｋ＋１とする。
ステップＳＴ５において、まず、次元数ｋ＋１までの累積値ｇ（ｍ，ｋ＋１）を計算する。
この累積値ｇ（ｍ，ｋ＋１）は、次式のように次元ｋまでの累積値ｇ（ｍ，ｋ）に、次元ｋ＋１の一次元の連続分布の尤度を計算して加える。ただし、一次元の連続分布の対数確率値に含まれる定数項−（１／２）ｌｏｇ（２πσ（ｍ，ｋ））はステップＳＴ１において既に定数項Ｂ（ｍ）の中で加算済であり除く。
【０１０３】
【数９】
0003973789.tif 000010
【０１０４】
また、第ｋ＋１次元から第Ｋ次元までの各次元の一次元の分布の累積値の推定値（ｈ（ｍ，ｋ＋１）とする）を推定値計算部２００３で計算する。
この推定値の具体的な計算例は以下の幾つかの実施の形態で説明されるのでここでの説明を省略する。
そして、累積尤度ｇ（ｍ，ｋ＋１）と推定値ｈ（ｍ，ｋ＋１）とに基づいて、評価値ｆ（ｍ，ｋ＋１）を次式で計算する。
ｆ（ｍ，ｋ＋１）＝ｇ（ｍ，ｋ＋１）＋ｈ（ｍ，ｋ＋１）
【０１０５】
ステップＳＴ６において、この仮説の要素分布番号、展開済次元数、累積値、評価値を、それぞれ、ｍ，ｋ＋１，ｇ（ｍ，ｋ＋１），ｆ（ｍ，ｋ＋１）とした仮説を作成し、仮説記憶部２００２に記憶して、ステップＳＴ２に戻る。
戻った後のステップＳＴ２における処理は前述の通りである。
【０１０６】
ステップＳＴ７では、仮説を解として記憶し、処理を終了する。
以下の幾つかの実施の形態では、推定値ｈ（ｍ，ｋ）の具体的な例について説明する。
【０１０７】
実施の形態３．
本実施の形態では、上記実施の形態２において、第ｋ＋１次元から最終の第Ｋ次元までの尤度累積値の推定値ｈ（ｍ，ｋ）を統計理論にに基づいて推定するものである。
【０１０８】
次元数Ｋの入力ベクトルに対して、分岐出力確率最大の要素分布を決定するためのベストファースト探索のフローチャートは図７に示したものと同一である。即ち、文献（Ｍｏｒｒｉｓｏｎ著：“Ｍｕｌｔｉｖａｒｉａｔｅ  Ｓｔａｔｉｓｔｉｃａｌ  Ｍｅｔｈｏｄｓ”、１０頁）に述べられているように、平均０、分散１の独立した正規分布に従うｎ個の確率変数、Ｘ１，Ｘ２，…，Ｘｎの和として定義される変数χは、自由度ｎのカイ２乗分布に従って分布する。
一般に、Ｘｉが独立した平均μｉ，分散σｉに従うとき
【０１０９】
【数１０】
0003973789.tif 000011
【０１１０】
として定義される変数は、自由度ｎのカイ２乗分布に従って分布する。
ところで、ある要素分布の第ｋ＋１次元から第Ｋ次元までの一次元の尤度の累積値は、前記式の通り、
【０１１１】
【数１１】
0003973789.tif 000012
【０１１２】
であり、形式的に上の式と一致する。
よって、第ｋ＋１次元から第Ｋ次元までの一次元の尤度の累積値は、比例定数（この場合−１／２）を除けば、自由度Ｋ−ｋのカイ２乗分布に従って分布すると期待される。
【０１１３】
図９は自由度ｎのカイ２乗分布の分布関数のテーブルの一部分を示す（テーブルの全体は上記文献の３６６頁に示されている）。
このテーブルから、例えば、自由度１０のカイ２乗分布の独立変数χの値が２．５６以下となる確率は１％、３．２５以下となる確率は２．５％、３．９４以下となる確率は５％等々であることが読み取れる。
従って、残り次元が１０次元の時、一次元の確率の累積値が２．５６×比例定数＝２．５６×（−１／２）＝−１．２８以上の値をとる確率は１％である。したがって、９９％の確率で、累積値は−１．２８より小さな値となることが期待される。
【０１１４】
この性質を使うことにより、第ｋ＋１次元から第Ｋ次元までの累積値の推定値ｈ（ｍ，ｋ）を次式で与える。
ｈ（ｍ，ｋ）＝Ｘ（Ｋ−ｋ，ｐ）×（−１／２）
ここで、Ｘ（ｎ，ｐ）は自由度ｎのカイ２乗分布のパーセントポイントがｐであるときの独立変数の値である（例えば、自由度１０のカイ２乗分布の５％ポイントはＸ（１０，０．０５）＝３．９４である）。この値は、図９で示したテーブルを検索して求められる。
【０１１５】
この式から明らかなように、本実施の形態の評価値ｈ（ｍ，ｋ）は、要素分布の各次元の平均値および分散には依存しないので、すべての要素分布に共通の評価値となる。このため、評価値の計算が仮説の展開済の次元数ｋをキーとしたテーブル検索で実現可能である。
【０１１６】
欠点としては、推定値が実際の累積値より小さくなる確率がｐパーセントあるので、この推定値に基づく評価値は、真の値より小さくなる可能性がｐパーセントあり、Ａ＊条件を満たさない可能性がある。このため、評価値最大の仮説を優先的に展開するベストファースト探索で最初に得られる解は、必ずしも、入力ベクトルによっては、分岐出力確率が最大の要素分布が得られず、即ち、探索エラーが生じる可能性がある。
【０１１７】
実施の形態４．
本実施の形態では、上記実施の形態２において、第ｋ＋１次元から第Ｋ次元までの累積値の推定値ｈ（ｍ，ｋ）をＫ次元の入力ベクトルのＩ個の標本ｘ（ｉ）（ｉ＝１，２，…，Ｉ）から求めた値とするものである。
【０１１８】
次元数Ｋの入力ベクトルに対して、分岐出力確率が最大の要素分布を決定するためのベストファースト探索のフローチャートは図７に示したものと同一である。
Ｋ次元の入力ベクトルの標本ｘ（ｉ）は、学習用の音声データを分析して求める。
【０１１９】
次に入力ベクトルの各標本ｘ（ｉ）について、第ｍ番目の要素分布を用いたときの第ｋ＋１次元から第Ｋ次元までの各次元の一次元の尤度の累積値ｈ（ｍ，ｋ，ｘ（ｉ））を次式で求める。
【０１２０】
【数１２】
0003973789.tif 000013
【０１２１】
ここで、ｘ（ｉ，ｎ）は標本ｘ（ｉ）のｎ次元目の値である。
探索に用いる推定値ｈ（ｍ，ｋ）は、これら標本から求めた累積値ｈ（ｍ，ｋ，ｘ（ｉ））を要素分布のインデックスｍ及び標本のインデックスｉに関する最大値として次式で求める。
【０１２２】
【数１３】
0003973789.tif 000014
【０１２３】
第ｋ＋１次元から第Ｋ次元までの累積値の推定値として、実際の入力ベクトルから求めた最大値を使うので、Ａ＊条件を満たさない可能性が減少する。この結果、探索エラーが減少するという効果がある。
【０１２４】
実施の形態５．
本実施の形態では、上記実施の形態２において、第ｋ＋１次元から第Ｋ次元までの累積値の推定値ｈ（ｍ，ｋ）をＫ次元の入力ベクトルの標本から求めた値とするものである。
さらに、要素分布を要素分布間の類似度に基づいて、複数のクラスタに分類し、このクラスタ毎に、推定値を求めるようにしたものである。
【０１２５】
次元数Ｋの入力ベクトルに対して、分岐出力確率最大の要素分布を決定するためのベストファースト探索のフローチャートは図７に示したものと同一である。
次に推定値の作成について説明する。
【０１２６】
まず、要素分布をＬＢＧアルゴリズムやＫ平均法などの適宜なクラスタリング手法によって、要素分布をＣ個のクラスタに分類する。ここでは、Ｋ平均法を用いている。
Ｋ平均法では、始めにＣ個の種となる要素分布をランダムに選択し、代表分布とする。
【０１２７】
次にこれらＣ個の代表分布を用いて、代表分布からの距離に基づいて、全要素分布の各要素分布を距離が最小の代表分布の分類とすることにより全要素分布を分類する。
分布間の距離はカルバックダイバージェンスや、チェルノフ距離、バッタチャリア距離などを用いることができるが、ここでは、分布間の距離は計算が簡単であることからカルバックダイバージェンスを用いている。
【０１２８】
次にＣ個の分類のそれぞれについて、その分類に分類された要素分布どうしの平均距離が最小となるように代表分布を選び直す。
さらに、選び直した代表分布を用いて全要素分布を再分類する。
以上の処理を分類が収束するまで繰り返す。
【０１２９】
次にＫ次元の入力ベクトルの標本は、学習用の音声データを分析して求める。この手続きは上記実施の形態４と同じである。
次に入力ベクトルの各標本ｘ（ｉ）（ｉ＝１，２，…，Ｉ、Ｉ標本数）について、第ｋ＋１次元から第Ｋ次元までの累積値ｈ（ｍ，ｋ，ｘ（ｉ））を次式で求める。
【０１３０】
【数１４】
0003973789.tif 000015
【０１３１】
ここで、ｘ（ｉ，ｎ）は標本ｘ（ｉ）のｎ次元目の値である。
探索に用いる推定値ｈ（ｍ，ｋ）は、これら標本から求めた累積値ｈ（ｍ，ｋ，ｘ（ｉ））をクラスタｃ（ｃ＝１，２，…，Ｃ）に属する要素分布のインデックスｍ（ｍ∈Ω（ｃ）、ただし、Ω（ｃ）はクラスタｃに属する要素分布のインデックス）及び標本のインデックスｉに関する最大値として次式で求める。
【０１３２】
【数１５】
0003973789.tif 000016
【０１３３】
以上の処理で求めた推定値は、実際の入力ベクトルから求めた最大値を使い、さらに、分類したクラスタ内について最大値をとるので、Ａ＊条件を満たさない可能性がさらに減少するため、探索エラーがさらに減少するという効果がある。
【０１３４】
実施の形態６．
本実施の形態では、ベストファースト探索を用いて、評価値の大きい方から所定の数（以下の説明ではＳ個とする）の解を順次求めて、これら所定の数Ｓ個の解の中で、最大の分岐出力確率を有する要素分布を決定する。
探索のための機能ブロック図は、図８と同一であり、仮説展開制御部２００１は仮説記憶部２００２に記憶された仮説の取り出し、展開処理を行う。
【０１３５】
仮説記憶部２００２に記憶される仮説は、それぞれ、分布の番号ｍ、計算済の次元数ｋ、第１次元から第ｋ次元までの各次元の一次元の分布の尤度の累積値ｇ（ｍ，ｈ）及び評価値ｆ（ｍ，ｈ）の各数値を有する。
累積値ｇ（ｍ，ｈ）及び評価値ｆ（ｍ，ｈ）は、上記実施の形態２と同様、それぞれ、次式で得られる。
ｇ（ｍ，ｋ）＝Ａ（ｍ）＋Ｂ（ｍ）＋Ｃ（ｘ（ｔ），ｍ，ｋ）
ｆ（ｍ，ｋ）＝ｇ（ｍ，ｋ）＋ｈ（ｍ，ｋ）
ここで、ｈ（ｍ，ｋ）は、要素分布ｍの第ｋ＋１次元から最終の第Ｋ次元までの各次元の尤度の累積値の推定値である。
【０１３６】
図１０は次元数Ｋの入力ベクトルに対して、評価値の大きい方からＳ個の要素分布を決定するためのベストファースト探索のフローチャートである。
ステップＳＴ１〜ＳＴ７の各処理ステップの動作は上記実施の形態２と同様であり、その説明を省略し、異なる部分の処理について説明する。
【０１３７】
ステップＳＴ２１において、解の数が所定の数であるＳ個に達したら、ステップＳＴ２２に行く。解の数が所定の数であるＳ個未満であればステップＳＴ２に戻る。
ステップＳＴ２２において、評価値が大きい方から順に記憶されたＳ個の解について、その要素分布の番号をｍ（ｓ）（ｓ＝１，２，…，Ｓ）として、これらの解の仮説どうしで、尤度の累積値ｇ（ｍ（ｓ），Ｋ）を比較して、尤度の累積値ｇ（ｍ（ｓ），Ｋ）が最大である解の仮説を選択して、この解の仮説の保持する要素分布の番号ｍを分岐出力確率最大の要素分布の番号として出力する。
【０１３８】
次にこの実施の形態の効果を説明する。
要素分布ｍの第ｋ＋１次元から最終の第Ｋ次元までの各次元の尤度の累積値の推定値ｈ（ｍ，ｋ）として、前記３つの実施の形態では、それぞれ、
（ａ）自由度Ｋ−ｋのカイ２乗分布の分布関数の値が所定の値に達するときの独立変数値、
（ｂ）学習用の音声データの示す値の分布、
（ｃ）クラスタリングされた要素分布の各クラスタについての学習用の音声データの示す値の分布から決めた値を用いた。
【０１３９】
このような推定値は、要素分布ｍの第ｋ＋１次元から最終の第Ｋ次元までの各次元の尤度の累積値の真の値より下回ることがある。
このため、上記３つの実施の形態では、評価値が入力ベクトルによっては、Ａ＊条件を満たさないことがあった。
このため、ベストファースト探索で最初に求まる解は最適解である保証は必ずしもなく（即ち、解が求められた時点での評価値が最大ではあるが、必ずしも、各次元の尤度の累積値は最大ではないので）、探索エラーが生じることがあった。
【０１４０】
そこで、本実施の形態では、ベストファースト探索で評価値が下位の順位の候補も含めた合計Ｓ個の解を求めているので、その中に真の尤度最大の仮説が含まれる可能性を高め、探索エラーを減少している。
よって、本実施の形態によれば、ベストファースト探索で最初からＳ個の解を求めて、さらに、その中で、尤度の最も大きい解を選択しているので、探索エラーの生じる可能性を少なくできるという効果がある。
【０１４１】
実施の形態７．
本実施の形態では、尤度最大の要素分布の探索に際して、探索エラーが生じないようにＡ＊条件を満足するように推定値を計算し、ベストファースト探索を行うようにした。
そのため、つぎの一般的な不等式を用いる。
ここで、右辺のμｍｉｎ及びμｍａｘは、それぞれ左辺にある平均値μの最小値及び最大値である。また、σｍａｘは左辺の分散σの最大値である。
【０１４２】
【数１６】
0003973789.tif 000017
【０１４３】
次に、この不等式に現れる平均値の最小値μｍｉｎ、最大値μｍａｘ及び、分散の最大値σｍａｘの求め方について説明する。
まず、一次元の分布の分類について説明する。
図１１は一次元の分布の分類のフローチャートである。また、図１２は数直線上の平均値と分割の様子を示す説明図である。
【０１４４】
次に動作について説明する。
ステップＳＴ３１において、変数ｋを０とする。以後、変数ｋは次元を表す。
ステップＳＴ３２において、次元を１増やす。
ステップＳＴ３３において、各要素分布の次元ｋの一次元分布の平均値μ（ｍ，ｋ）を数直線上に並べる。
【０１４５】
図１２は全要素分布の平均値を並べ終えた後の数直線上の平均値の配列の様子を示す。この例では、１６個の要素分布の平均値を数直線上の○印で示す。また、○印の上の数字は要素分布の番号を示す。
ステップＳＴ３４において、数直線上の平均値をＣ個の区間に分割する。図では４個ずつの平均値を含む４個の区間に分割した場合を示す。分割の仕方としては、例えば、各区間の平均値どうしの平均距離が最小になるように分割しても構わない。
【０１４６】
ステップＳＴ３５において、Ｃ個のそれぞれの区間について、区間の両端に位置する平均値、即ち、各区間の平均値の最小値μｍｉｎ（ｃ，ｋ）と最大値μｍａｘ（ｃ，ｋ）を求める。
図の例では区間２の平均値の最小値μｍｉｎ（２，ｋ）は要素分布７の平均値であり、また、同区間の平均値の最大値μｍａｘ（ｚ，ｋ）は要素分布１５の平均値である。
【０１４７】
ステップＳＴ３６において、Ｃ個のそれぞれの区間ｃについて、区間ｃの中に存在する平均値を所有する要素分布ｍ（∈Ω（ｃ）、ただしΩ（ｃ）はその次元ｋの一次元の分布の平均値が区間ｃに属する要素分布番号の集合とする）を求め、これら要素分布の中で次元ｋの各一次元の分布を見てそのなかで最大の分散σｍａｘ（ｃ，ｋ）を求める。即ち、
【０１４８】
【数１７】
0003973789.tif 000018
【０１４９】
図の例では区間２の最大の分散σｍａｘ（２，ｋ）は、要素分布７、１０、１３、１５の分散のなかの最大の分散の値として求める。
また、要素分布ｍの区間番号をｃ（ｍ，ｋ）として記憶する。
この区間番号の記憶ｃ（ｍ，ｋ）は、次の探索の中で仮説の次元ｋについて、要素分布番号ｍからその区間番号を求めるために使用される。
【０１５０】
次に時刻ｔの特徴ベクトルｘ（ｔ）に対して、分岐出力確率最大の要素分布を探索する動作について説明する。
図１３は探索のフローチャートである。図１４は探索のための機能ブロック図である。
ステップＳＴ１１において、特徴ベクトルｘ（ｔ）が入力される。
ステップＳＴ１２において、入力の特徴ベクトルｘ（ｔ）と、上記のように既に求められたＣ個のそれぞれの区間ｃについての次元ｋの平均値の最小値μｍｉｎ（ｃ，ｋ）、最大値μｍａｘ（ｃ，ｋ）、分散の最大値σｍａｘ（ｃ，ｋ）に基づいて、区間ｃに平均値を有する要素分布のための推定値ｈ（ｃ，ｋ）を計算する。推定値ｈ（ｃ，ｋ）は、次の漸化式で計算する。
【０１５１】
【数１８】
0003973789.tif 000019
【０１５２】
上の式に現れるθ（ｃ，ｋ）は、第ｃ番目の分割について、第ｋ＋１次元目の一次元の分布の平均値の最小値μｍｉｎ（ｃ，ｋ）、最大値μｍａｘ（ｃ，ｋ）、及び分散の最大値σｍａｘ（ｃ，ｋ）と、入力ベクトルｘ（ｔ）の第ｋ次元目の値ｘ（ｔ，ｋ）とから、上記不等式（３）の右辺の値を計算した値で次式のように計算される。
【０１５３】
【数１９】
0003973789.tif 000020
【０１５４】
この値は、Ａ＊探索の条件を満足する。
したがって、この値θ（ｃ，ｋ）を使って求めた上記推定値ｈ（ｃ，ｋ）もＡ＊探索の条件を満足する。
以上のようにして求められた推定値ｈ（ｃ，ｋ）は、推定値記憶部２００４に記憶される。
【０１５５】
ステップＳＴ１〜ＳＴ４については、上記実施の形態２と同様の動作であるのでその説明を省略する。
ステップＳＴ５において、まず、次元数ｋ＋１までの累積尤度ｇ（ｍ，ｋ＋１）を計算する。
この累積尤度ｇ（ｍ，ｋ＋１）は、上記実施の形態２と同様に次式のように計算する。
【０１５６】
【数２０】
0003973789.tif 000021
【０１５７】
次に第ｋ＋１次元から第Ｋ次元までの各次元の一次元の分布の尤度の累積値の推定値ｈ（ｃ，ｋ＋１）を推定値記憶部２００４から読み出す。そして、累積尤度ｇ（ｍ，ｋ＋１）と推定値ｈ（ｃ，ｋ＋１）とに基づいて、評価値ｆ（ｍ，ｋ＋１）を次式で計算する。
ｆ（ｍ，ｋ＋１）＝ｇ（ｍ，ｋ＋１）＋ｈ（ｃ，ｋ＋１）
ここで、番号ｃは要素分布ｍの区間番号ｃ（ｍ，ｋ）の記憶から求める。
【０１５８】
ステップＳＴ６では、ステップＳＴ５で作成された仮説を仮説記憶部２００２に記憶する。
最後に、効果について説明する。
本実施の形態によれば、評価値がＡ＊条件を満たすようにしたので、探索の結果、最初に見つかる評価値最大の解は、尤度の累積値が最大の解である。従って、探索エラーが生じることがない。また、評価値を探索に用いているので、評価値を探索に用いていない上記実施の形態１の場合に比較して、探索のなかで仮説の生成回数を減少させ、探索のための演算量を削減することができる。
【０１５９】
実施の形態８．
本実施の形態では、分岐出力確率最大の要素分布の探索に際して、探索エラーが生じないようにＡ＊条件を満足するように推定値を設計し、ベストファースト探索を行うようにした。そのため、本実施の形態でも、上記実施の形態７で用いたものと同一の一般的な不等式（３）を用いる。
この不等式については、上記実施の形態７で説明したので、説明を省略する。
【０１６０】
次に本実施の形態におけるこの不等式に現れる平均値の最小値、最大値、及び分散の最大値の求め方について説明する。
まず、混合分布を構成する要素分布をその類似の度合いに基づいて複数のクラスタに分割する。要素分布間の類似の程度は連続分布間の距離で測る。また、クラスタへの分割には、ＬＢＧアルゴリズムやＫ平均法などのクラスタリング手法が適用できる。
ここでは、要素分布間の類似度としてカルバックダイバージェンスを用い、クラスタリング手法としてＫ平均法を用いてクラスタリングを行う。この場合、クラスタリングについては、上記実施の形態４で述べたものと同じであり説明を省略する。
【０１６１】
次に探索の動作について説明する。
探索のフローチャートは図１３と同一であり、この図を用いて説明する。
その各部の動作は、ステップＳＴ１２の推定値の計算、及びステップＳＴ５における評価値計算が異なるだけで、その他は上記実施の形態７と同様であるため、これら同様部分の動作については説明を省略する。
【０１６２】
ステップＳＴ１２において、入力の特徴ベクトルｘ（ｔ）について、クラスタｃの要素分布ｍに関する次元ｋ＋１から最終次元Ｋまでの各一次元の分布の尤度の累積値の推定値ｈ（ｃ，ｋ）を計算し、推定値記憶部２００４に記憶する。推定値ｈ（ｃ，ｋ）は、次の漸化式を用いて計算する。
初期値：
ｈ（ｃ，Ｋ）＝０    Ｋ：最終次元
漸化式：
ｋ＝Ｋ−１，Ｋ−２，…，０について
ｈ（ｃ，ｋ）＝θ（ｃ，ｋ＋１）＋ｈ（ｃ，ｋ＋１）
【０１６３】
ここで、θ（ｃ，ｋ）は、第ｃ番目のクラスタについて、そのクラスタに含まれる要素分布の第ｋ＋１次元目の一次元の分布の平均値の最小値μｍａｘ（ｃ，ｋ）、最大値μｍｉｎ（ｃ，ｋ）及び分散の最大値σｍａｘ（ｋ）と、入力ベクトルｘ（ｔ）の第ｋ次元目の値ｘ（ｔ，ｋ）とから、前記の不等式（３）の右辺の値を次式で計算した値である。
【０１６４】
【数２１】
0003973789.tif 000022
【０１６５】
ステップＳＴ５において、評価値ｆ（ｍ，ｋ＋１）を計算する。
評価値ｆ（ｍ，ｋ＋１）は、累積値ｇ（ｍ，ｋ＋１）と推定値ｈ（ｃ，ｋ＋１）の和である。
推定値ｈ（ｃ，ｋ）は、ステップＳＴ１２において、推定値記憶部２００４に記憶された値を用いる。
なお、ステップＳＴ１２における漸化式から明らかなように、推定値を求めるための漸化式にｍａｘ演算を含んでいないので、上記の実施の形態７に比較して、推定値を計算するための計算量を削減できることが分かる。
また、そのなかに、クラスに関するｍａｘ演算を含まないので、他のクラスの推定値を考慮しなくて済むため、推定値が、より実際の値に近くなるため、評価値の精度が向上し、Ａ＊探索の理論から、最適解が得られるまでに必要な仮説の生成数が減少でき、探索の計算量を削減することができる。
【０１６６】
最後に、効果について説明する。
本実施の形態によれば、評価値がＡ＊条件を満たすようにしたので、探索の結果、最初に見つかる評価値最大の解は、尤度最大の解であり、その尤度は最大の尤度を見つける。また、評価値を探索に用いているので、評価値を探索に用いていない実施の形態１の場合に比較して、探索の仮説取り出しと展開のループのなかのループの回数を減少させ、演算量を削減することができる。また、推定値を計算するための計算量を削減することができる。また、推定値がより実際の値に近くなるため、探索の計算量を削減することができる。
【０１６７】
実施の形態９．
この実施の形態では、ある要素分布についての探索の途中で、途中の次元までの一次元の分布の尤度の累積値が、余りに小さいときは、その要素分布が最大の尤度累積値をとることがないと考えて、その要素分布の探索を打ち切る。
【０１６８】
図１５は本実施の形態のベストファースト探索のフローチャートである。
ステップＳＴ４１において、要素分布の最大の尤度の累積値が、これを下回ることがないという絶対的な閾値Θを設定する。具体的には本実施の形態での最大の尤度は２０〜７０の範囲に分布しており、その最小値より小さな値として数値０を設定する。
【０１６９】
ステップＳＴ２では仮説記憶部２００２にある仮説の中で尤度の累積値が最大の仮説を選択する。
ステップＳＴ４〜ＳＴ５において、次元数ｋを１増やして、累積値を計算する。
その後、ステップＳＴ４２において、ステップＳＴ５で計算された累積値がステップＳＴ４１で設定した閾値Θ（本実施の形態では０）より小さいときは、その仮説は最終次元においても、累積値は現在の累積値より大きくなることはない。したがって、最終次元の累積値は閾値より大きくなることはなく、したがって、現在の要素分布が最大の尤度を有する要素分布となることもないので、ステップＳＴ６には行かずに、ステップＳＴ２に戻る。
なお、計算された累積値が閾値Θより大きいときは、ステップＳＴ６に進み、その仮説はスタックに格納される。
【０１７０】
以上のような動作により、探索の途中で、スタックに格納される仮説の数がステップＳＴ６を通過しない分だけ減少する。
また、ステップＳＴ２でスタックにある仮説の中で累積値が最大の仮説を選択する際に、選択対象となる仮説はスタックの中の仮説全体である。このため、ステップＳＴ２の処理で使われる演算量が削減される。
【０１７１】
次に効果について説明する。
本実施の形態によれば、累積尤度が設定された閾値より小さいとき、仮説の展開格納を行わないので、探索途中で生じる仮説の数が減少し、演算量を削減できる。
なお、閾値を最大尤度の最小値より小さく設定することで、最大の尤度を有する要素分布を探索することができる。また、累積値と閾値を比較して仮説の展開を打ち切る場合について説明したが、上記実施の形態２〜実施の形態８のように、累積値と推定値とに基づいて評価値を計算する場合にも、適用しても構わない。この場合は、閾値との比較対象は、累積値と比較しても、また、評価値と比較しても同様の効果がある。
【０１７２】
また、要素分布を複数のクラスタに分割し、各クラスタについて、最大尤度の範囲を求めて、最大尤度の最小値より小さな値を閾値として、展開された仮説がこのクラスタごとの閾値を下回ったとき、展開された仮説をスタックに格納しないようにしても構わない。
【０１７３】
実施の形態１０．
上記実施の形態９では、すべての要素分布で共通の閾値Θを用いた。本実施の形態では、最大の尤度の最小値の分布は、要素分布ｍに依存して変化する。そこで、要素分布毎に尤度の最大値を調べ、この尤度最大値の最小値の比較的大きな要素分布については、より大きな閾値を設定し、より効率的に探索を打ち切るようにする。
本実施の形態での探索のフローチャートは図１５と同一である。
【０１７４】
本実施の形態では、ステップＳＴ４１において設定する閾値を、要素分布に依存して、そのとり得る最大の尤度の値の範囲を調べ、その最小値より小さい値を閾値Θ（ｍ）とする。
また、ステップＳＴ４２において要素分布番号ｍに応じてこの閾値Θ（ｍ）を取り出し、累積値ｇ（ｍ，ｋ）と比較する。
【０１７５】
次に効果について説明する。
本実施の形態によれば、要素分布に依存して最大の尤度の最小値の比較的大きな要素分布について、より大きな閾値を設定することができ、要素分布によって、より効率的に探索を打ち切ることができる。その結果、探索の演算量をより削減できる。
また、要素分布を複数のクラスタに分類して、各クラスタごとに共通の閾値を用いることで、閾値の記憶を削減することができる。
【０１７６】
実施の形態１１．
この実施の形態では、上記実施の形態９と同様に、ある要素分布についての探索の途中で、途中の次元までの一次元の分布の確率の累積値が、余りに小さいときは、その要素分布が最大の尤度を有することがないと考えて、その要素分布の探索を打ち切る。
さらに、打ち切りの効率を高めるため、閾値を次元数ごとに変化させる。
次元数に応じて閾値を変化させるため、ここでは実施の形態３で用いたカイ２乗分布を用いる。
【０１７７】
図１６はカイ２乗分布の分布関数が一定の数値に到達するときの値に基づいて閾値を決める際の考え方を説明する説明図である。
図において、仮説Ａは既に展開されている仮説、仮説Ｂあるいは仮説Ｃは途中次元ｋにおいて、これから展開されようとしている仮説である。
また、ＦＡは、仮説Ａの次元ｋにおける累積値から、自由度Ｋ−ｋのカイ２乗分布の分布関数が０．９５となるときの独立変数の値の−１／２倍を加えた値である。したがって、仮説Ａが最終次元Ｋまで展開されたときに、仮説Ａの累積値がこのＦＡを上回る確率は０．９５であり、ほとんどの場合ＦＡを上回ることが期待できる。
【０１７８】
また、ＦＢは仮説Ｂの次元ｋにおける累積値から、自由度Ｋ−ｋのカイ２乗分布の分布関数が０．０５となるときの独立変数の値の−１／２倍を加えた値である。したがって、仮説Ｂが最終次元Ｋまで展開されたときに、仮説Ｂの累積値がこのＦＢを上回る確率は０．９５でほとんどの場合上まわることはないことになる。
【０１７９】
同様に、ＦＣは、仮説Ｃの次元ｋにおける累積値から、自由度Ｋ−ｋのカイ２乗分布の分布関数が０．０５となるときの独立変数の値の−１／２倍を加えた値である。したがって、仮説Ｃが最終次元Ｋまで展開されたときに、仮説Ｃの累積値が、このＦＣを上回る確率は０．０５でほとんどの場合上まわることはないことになる。
【０１８０】
この図から、ＦＣがＦＡを上回る確率は、０．０５×０．０５より小さくなるので、仮説Ｃを打ち切ることができる。
また、ＦＢがＦＡを上回る確率は、０．０５×０．０５よりは大きいので、仮説Ｂを打ち切ることはあきらめる方が良い。
【０１８１】
実際には、途中次元ｋにおける最大の累積値を常に保存しておき、その最大値から自由度Ｋ−ｋのカイ２乗分布の分布関数から求めた累積値の上限と下限の推定値を幅として、仮説の打ち切りを行う。
図１７は本実施の形態の探索のフローチャートである。
【０１８２】
ステップＳＴ５１において、各次元ｋ（ｋ＝１，２，…，Ｋ）の閾値の幅を設定する。次元ｋの閾値の幅は、自由度Ｋ−ｋのカイ２乗分布の分布関数から得た二つのパーセントポイント（つまり本実施の形態では０．９５と０．０５）の差の−１／２倍として、次式で計算して記憶する。
【０１８３】
【数２２】
0003973789.tif 000023
【０１８４】
ここで、Ｘ（ｎ，ｐ）は自由度ｎのカイ２乗分布の分布関数がｐとなるときの独立変数の値（即ち、パーセントポイント）である。
ステップＳＴ５２では、各次元ｋ（ｋ＝１，２，…，Ｋ）までの累積値の最大値の初期値として負の最大値（−∞とする）に設定する。
以後、この次元ｋまでの累積値の最大値をＥ（ｋ）で表す。
【０１８５】
ステップＳＴ４２では、仮説の累積値と次元ｋの閾値とを比較する。次元ｋの閾値は次元ｋの最大値Ｅ（ｋ）から、カイ２乗分布に基づいてステップＳＴ５１で求めた次元ｋの幅Ｗ（ｋ）を引くことにより、次式で求める。
仮説の次元ｋの閾値＝Ｅ（ｋ）−Ｗ（ｋ）
【０１８６】
この閾値との比較の結果、累積値が小さいときはステップＳＴ２に戻る。逆に、累積値が小さくないときはステップＳＴ５３に進む。
ステップＳＴ５３では仮説の次元ｋの最大値を更新する。これは累積値が最大値Ｅ（ｋ）を上回ったとき、最大値に累積値を代入することで行う。
ステップＳＴ６では次元数を増加した仮説をスタックに格納する。
【０１８７】
次に効果について説明する。
本実施の形態によれば、次元ごとに閾値を変更するため、一定の閾値を用いる場合に比較して、探索途中に格納される仮説がより削減できる。このため、スタックから取り出すときの演算量が削減できるという効果がある。
【０１８８】
実施の形態１２．
この実施の形態では、次元方向のベストファースト探索によって仮説を展開する際、次元数を２以上増加させることで、最終次元に到達するまでのスタックから仮説を取り出す処理と、スタックに仮説を格納する処理の回数を削減する。これによって、スタックの管理のための演算量を削減する。
【０１８９】
図１８は本実施の形態のベストファースト探索のフローチャートである。
ステップＳＴ２において、累積値最大の仮説を取り出す。
その仮説の要素分布番号、展開済の次元数、及び次元１から次元ｋまでの各次元の一次元の分布の確率の累積値を、それぞれ、ｍ，ｋ，ｇ（ｍ，ｋ）とする。
【０１９０】
ステップＳＴ３において、展開済の次元数ｋが最終次元Ｋでなければ、ステップＳＴ４に進む。
ステップＳＴ４において、次元数を２以上の数Δだけ増加し、ｋ＋Δとする。ただし、増加後の値が最終次元Ｋより大きくなる場合は、最終次元Ｋと一致させる。
【０１９１】
ステップＳＴ５では、累積値を更新し、ｇ（ｍ，ｋ＋Δ）とする。更新後の累積値ｇ（ｍ，ｋ＋Δ）は次式で計算する。
【０１９２】
【数２３】
0003973789.tif 000024
【０１９３】
次元数を２以上増加させたので、本実施の形態では、最終次元に到達するまでのスタックから仮説を取り出す処理と、スタックに仮説を格納する処理の回数を削減する。これによって、スタックの管理のための演算量を削減するという効果がある。
なお、累積値が最大の仮説を優先的に次元数方向に展開する場合について説明したが、推定値を含む評価値が最大の仮説を優先的に次元数方向に展開する場合（具体的には実施の形態２以降の上記各実施の形態）についても同様に適用できることは言うまでもない。
【０１９４】
実施の形態１３．
上記の各実施の形態で説明した尤度累積値の最大の要素分布を次元方向にベストファースト探索して求める方法は、任意の空間的配置を有するコードベクトルを用いるベクトル量子化に応用でき、最近隣コードベクトルを計算するための演算量削減のため用いることができる。
【０１９５】
以下、これについて説明する。
音声の特徴ベクトルをｘとする。
特徴ベクトルｘは、限られた数の典型的なベクトルｖ（１），ｖ（２），…，ｖ（Ｃ）のうちで最も近いベクトルｖ（ｃ）のインデックスｃに変換される（Ｃはコードブックのサイズ）。
この変換は連続的な値を持つベクトルａを離散的で限られた数のベクトル｛ｃ｜ｃ＝１，２，…，Ｃ｝に変換するものでベクトルの量子化を行っていることになる。
離散的な値をとるベクトルの有限集合Ｂ＝｛ｖ（１），ｖ（２），…，ｖ（Ｃ）｝をコードブックと呼び、その要素をコードベクトルと呼ぶ。
【０１９６】
図１９はベクトル量子化を用いた符号化・復号化の構成図である。
図において、１１は入力データとしての音声信号である。１２は入力データ１１を時間窓を１０ｍｓの周期でずらしながら線形予測法で周波数分析し、特徴ベクトル１３に変換する分析部である。ここでは、スペクトル包絡情報を１２次元のＰＡＲＣＯＲ係数として求め、これを特徴ベクトルとし、その次元数ＫはＫ＝１２である。
【０１９７】
１５は複数のコードベクトルを記憶したコードブック、１４はコードブック１５を参照して、コードブック内の距離の最も近いコードベクトルを求めて、そのコードベクトル番号を符合１６として出力するコードベクトル探索部である。１７は符合１６を伝送または蓄積する伝送・蓄積部である。１８は伝送又は蓄積された符合１６からコードブック１９を参照し、コードベクトル２０を求める復号部である。２１はコードベクトル２０をパラメータとして音声を合成し、出力データ２２を作成する合成部である。
【０１９８】
本実施の形態では特徴ベクトルｘと距離の最も小さいコードベクトルの番号を探索するのに、これまでに説明した実施の形態と同様の次元方向のベストファースト探索を適用する。
入力ベクトルｘの第ｋ次元目の値をｘ（ｋ）とし、第ｍ番目のコードベクトルの第ｋ次元目の値をｖ（ｍ，ｋ）とする。
また、入力ベクトルと第ｍ番目のコードベクトルｖ（ｍ）の距離はユークリッド距離として次式で計算する。
【０１９９】
【数２４】
0003973789.tif 000025
【０２００】
ベクトル量子化の結果として探索するコードベクトルは、上式の右辺を最小とするｍの値である。
【０２０１】
【数２５】
0003973789.tif 000026
【０２０２】
これは、上式の右辺を−１倍した次式を最大とするｍの値を求めるのと等価である。
【０２０３】
【数２６】
0003973789.tif 000027
【０２０４】
即ち、上式の右辺の総和（Σ）の内側の次元ｋで計算される２次形式を類似度と考えると、ベクトル量子化は、上式の右辺で定義される各次元の類似度の累積値ｇ（ｍ，Ｋ）を最大化するコードベクトルを求めることに相当する。ただし、
【０２０５】
【数２７】
0003973789.tif 000028
【０２０６】
とする。
次元１から最終次元Ｋまでの各次元の類似度の累積値ｇ（ｍ，Ｋ）が最大のコードベクトルを求める処理の基本的流れは実施の形態１と同一である。
【０２０７】
図２０は本実施の形態のベクトル量子化におけるコードベクトルをベストファースト探索で求めるときのフローチャートである。
以下、上記実施の形態１と異なる点について説明する。
コードブックに記憶されたコードベクトルの数は２０４８（一般にＭ個）である。
【０２０８】
コードブックは多数の標本の入力ベクトルをＫ平均法で２０４８個のクラスタに分割して、総合の量子化誤差が最小になるようにクラスタの代表ベクトル（セントロイド）を決め、２０４８個のセントロイドをコードベクトルとおくことで作成される。各コードベクトルの次元は１２次元（一般にＫ次元）である。
【０２０９】
次に各処理ステップについて説明する。
ステップＳＴ１において、コードブック内の２０４８個のコードベクトルついて、初期仮説を生成する。生成された仮説は仮説記憶部２００２に記憶される。
ここで、第ｍ番目のコードベクトルの初期仮説は、コードベクトルの番号をｍ、計算済の次元数を０、各次元の類似度の累積値ｇ（ｍ，０）を０とする。
【０２１０】
ステップＳＴ２において、類似度の累積値最大の仮説を仮説記憶部２００２から取り出す。この仮説の要素分布番号、展開済次元数、各次元の類似度の累積値を、以下、それぞれ、ｍ，ｋ，ｇ（ｍ，ｋ）として説明する。
【０２１１】
ステップＳＴ３において、計算済の次元数ｋが最終次元をあらわす数値Ｋに到達しているかを調べ、最終次元に到達している場合は、ベストファースト探索の理論により、この仮説が累積値最大のコードベクトルに該当するので、この仮説を探索された解として、解の処理を行うため、ステップＳＴ７に進む。
もし、最終次元に到達していない場合（ｋ＜Ｋのとき）は、ステップＳＴ４に進む。
【０２１２】
ステップＳＴ４において、次元数ｋを１増やし、ｋ＋１とする。
ステップＳＴ５において、次元数ｋ＋１までの類似度の累積値ｇ（ｍ，ｋ＋１）を計算する。
この累積尤度は、次式のように次元ｋまでの累積尤度であるｇ（ｍ，ｋ）に、次元ｋ＋１の一次元の類似度η（ｍ，ｋ＋１）を計算して加える。
ｇ（ｍ，ｋ＋１）＝ｇ（ｍ，ｋ）＋η（ｍ，ｋ＋１）
次元ｋ＋１の一次元の類似度は次式のように計算される。
η（ｍ，ｋ＋１）＝−｜ｘ（ｋ＋１）−ｖ（ｍ，ｋ＋１）｜2
【０２１３】
ステップＳＴ６において、この仮説のコードベクトル番号、展開済次元数、類似度累積値を、それぞれ、ｍ，ｋ＋１，ｇ（ｍ，ｋ＋１）とした仮説を作成し、仮説記憶部２００２に記憶して、ステップＳＴ２に戻る。
ステップＳＴ７では、解として得られた仮説について、そのコードベクトル番号ｍをベクトル量子化の結果のコード番号として出力する。以上で処理を終了する。
【０２１４】
さて、ステップＳＴ７において、解として得られた仮説については、要素分布番号、展開済次元数、累積値はそれぞれ、ｍ，Ｋ，ｇ（ｍ，Ｋ）となっている。
ｇ（ｍ，Ｋ）は第ｍ番目のコードベクトルの次元１から最終次元Ｋまでの各次元の類似度の和であり、２０４８個のコードベクトルの中では、最大の類似度の累積値を有している。
【０２１５】
以上の処理によって出力されるコード番号は、コードブックの中のコードベクトルの中で、入力ベクトルとの類似度の累積値が最大であるコードベクトル、換言すれば、入力ベクトルとの距離が最小であるコードベクトルに一致している。即ち、ベクトル量子化の結果が得られる。
【０２１６】
本実施の形態で、探索終了時点のスタックに残された仮説の様子は、上記実施の形態１と同様に図６のようになっている。この図で□印が最終次元Ｋまで展開された尤度最大の仮説の展開履歴を示す。また、○印及び×印が途中の次元まで展開された仮説の展開履歴を示す。
【０２１７】
さて、この図から分かるように、類似度累積値最大のコードベクトルの全次元について各次元の距離を計算してからベクトル間の距離最小のコードベクトルを判定するフル探索に基づく方法に比較して、本実施の形態の方法では、演算回数はスタックに展開されずに残っているコードベクトルの残りの展開すべき次元数の分だけ、一次元の類似度の計算をしないので演算量が削減されている。
従って、本実施の形態では、ベストファースト探索を用いているので、フル探索に比較して、一次元の距離計算の演算回数を削減できるという効果がある。
また、コードブックを木構造が有するように設計されている必要がなく、任意の分布のコードブックに対して演算量削減の効果を発揮できるという効果がある。
【０２１８】
実施の形態１４．
本実施の形態は、多次元入力ベクトルの最大尤度を有する要素分布を次元方向にベストファースト探索して求める方法の一つの応用として、多次元の特徴ベクトル空間で最近隣または最尤のコードベクトルを探索してカテゴリを認識する問題に適用したものである。
文字認識、特に漢字のようにカテゴリ数が３０００以上と極めて多い場合、距離最小又は尤度最大の分布を計算する部分の演算量が格段に増える。
【０２１９】
本実施の形態では、各カテゴリはマルチテンプレートで表されており、テンプレート数は１６個である。このとき、合計で３７１５カテゴリの１２８次元ベクトルを入力として、距離最小のカテゴリベクトルを探索する例である。
【０２２０】
図２１は文献（“文字認識における距離計算の高速化の検討”、１９９７年電子情報通信学会総合大会予稿集、３１０頁）に基づき構成した文字認識装置の構成図である。
図において、３１は認識対象の印刷漢字が印刷された入力の紙文書、３２は入力文書３１を文字認識装置に読み込むためのイメージスキャナ、３３はイメージスキャナ３２で読み取ったイメージデータから文字の存在する領域を一文字毎に分離して切り出す文字領域切出部、３４は文字領域切出部３３によって切り出された文字領域にある文字イメージから輪郭特徴６４次元（４×４領域×４方向）、及び１次周辺特徴３２次元（８次元×４方向）、さらに、２次周辺特徴３２次元（８次元×４方向）の合計１２８次元を特徴量として抽出し、１２８次元の特徴ベクトル３５を出力する特徴抽出部である。
【０２２１】
３６は各カテゴリのテンプレートのベクトルがカテゴリと関連づけられて記憶された認識辞書、３７は特徴ベクトル３５に対して、認識辞書３６にカテゴリに関連づけて記憶されたテンプレートベクトルとの距離が最小となるテンプレートベクトルを探索し、距離最小のテンプレートベクトルとして探索されたテンプレートベクトルに関連づけられたカテゴリを認識結果３８として出力するカテゴリ検索部である。
【０２２２】
上記文献ではカテゴリ探索は初期カテゴリから中心カテゴリをその近傍にある中心ベクトルの中で距離最小のベクトルに移動することを反復することで距離最小のベクトルを探索している。
本実施の形態では、次元方向のベストファースト探索を適用する。
【０２２３】
図２２は特徴ベクトル３５に対して認識辞書３６に記憶されたテンプレートのベクトルのなかで距離最小のベクトルを次元方向にベストファースト探索するカテゴリ探索部３７の動作を示すフローチャートである。
本実施の形態では、入力ベクトルと距離の最も小さいベクトルコードを探索する。距離は市街地距離である。
【０２２４】
入力ベクトルの第ｋ次元目の値をＸk とし、第ｍ番目のコードベクトルの第ｋ次元目の値をＶmkとする。このとき、入力ベクトルと第ｍ番目のコードベクトルの距離はユークリッド距離として次式で計算される。
【０２２５】
【数２８】
0003973789.tif 000029
【０２２６】
符合として求めるコードベクトルは、上式の右辺を最小とするｍの値である。これは、上式の右辺を−１倍した次式で定義される類似度（以後、距離の−１倍を簡単のため「類似度」と呼ぶ）の累積値を最大とするｍの値を求めるのと等価である。
【０２２７】
【数２９】
0003973789.tif 000030
【０２２８】
そこで、上式で定義される各次元の類似度の累積値ｇを最大化するコードベクトルを求める。
上式が最大のコードベクトルを求める処理の基本的流れは実施の形態１と同一である。
図２０はベクトル量子化におけるコードベクトルをベストファースト探索で求めるときのフローチャートである。
【０２２９】
認識辞書内にはＭ個のテンプレートベクトルが存在し、それぞれ、１からＭまでの通し番号を付けられている。また、それぞれのテンプレートベクトルにはカテゴリＣ（ｍ）が関連づけられている。
次に各処理ステップについて説明する。
【０２３０】
ステップＳＴ１において、認識辞書内の３７１５カテゴリのテンプレートベクトルのそれぞれについて、初期仮説を生成する。生成された仮説は仮説記憶部２００２に記憶される。
ここで、第ｍ番目のコードベクトルの初期仮説は、テンプレートベクトルの番号をｍ、計算済の次元数を０、各次元の類似度の累積値を０とする。各次元の類似度は次式の市街地距離の−１倍である。
次元ｋの類似度＝−｜ｘk −ｖmk｜
式中、｜ａ｜はａの絶対値を示す。
【０２３１】
ステップＳＴ２において、類似度の累積値最大の仮説を仮説記憶部２００２から取り出す。この仮説の要素分布番号、展開済次元数、各次元の類似度の累積値を、以下、それぞれ、ｍ，ｋ，ｇ（ｍ，ｋ）として説明する。
ここで、類似度の累積値は仮説の展開済次元数をｋとすると次式で与えられる。
【０２３２】
【数３０】
0003973789.tif 000031
【０２３３】
ステップＳＴ３において、計算済の次元数ｋが最終次元に一致しているかを調べ、最終次元に一致している場合は、ベストファースト探索の理論により、この仮説が累積値最大のテンプレートベクトルに該当するので、この仮説を探索された解として、ステップＳＴ７に進む。
もし、計算済の次元数ｋが最終次元に一致しない場合は、ステップＳＴ４に進む。
【０２３４】
ステップＳＴ４において、次元数を１増やし、ｋ＋１とする。
ステップＳＴ５において、次元数ｋ＋１までの各次元の類似度の累積値ｇ（ｍ，ｋ＋１）を計算する。
この累積類似度ｇ（ｍ，ｋ＋１）は、次式のように次元ｋまでの各次元の類似度の累積であるｇ（ｍ，ｋ）に、次元ｋ＋１の一次元の類似度を計算して加える。
ｇ（ｍ，ｋ＋１）＝ｇ（ｍ，ｋ）＋η（ｍ，ｋ＋１）
【０２３５】
次元ｋ＋１の一次元の類似度η（ｍ，ｋ＋１）は次式で計算される。
η（ｍ，ｋ＋１）＝−｜ｘk+1 −ｖmk+1｜
【０２３６】
ステップＳＴ６において、この仮説のテンプレートベクトルの番号、展開済次元数、類似度累積値を、それぞれ、ｍ，ｋ＋１，ｇ（ｍ，ｋ＋１）とした仮説を作成し、仮説記憶部２００２に記憶して、ステップＳＴ２に戻る。
【０２３７】
ステップＳＴ７では、解として得られた順位１の仮説及びスタックに残された類似度累積値の大きい上位Ｎ−１個の候補について、そのテンプレートベクトル番号ｍ１，ｍ２，ｍ３，…，ｍＮを求め、そのテンプレートベクトルに関連づけられたカテゴリＣ（ｍ１），Ｃ（ｍ２），Ｃ（ｍ３），…，Ｃ（ｍＮ）を認識辞書３６から求め、認識結果３８の候補として出力し、処理を終了する。
【０２３８】
さて、ステップＳＴ７において、解として得られた順位１の仮説については、要素分布番号、展開済次元数、累積値は、それぞれ、ｍ，Ｋ，ｇ（ｍ，Ｋ）となっている。
ｇ（ｍ，Ｋ）は第ｍ番目のコードベクトルの次元１から最終次元Ｋまでの各次元の類似度の和であり、テンプレートベクトルの中では、最大の類似度の累積値を有している。
【０２３９】
以上の処理によって出力されるカテゴリ番号は、認識辞書３６の中のテンプレートベクトルの中で、特徴ベクトルとの類似度の累積値が最大であるテンプレートベクトル、換言すれば、特徴ベクトルとの距離が最小であるテンプレートベクトルに一致している。即ち、カテゴリ認識の結果が得られる。
【０２４０】
上記文献のカテゴリ探索方法は、初期カテゴリの与え方によっては、必ずしも距離最小のテンプレートベクトルを探索できなかったが、本実施の形態によれば、特徴ベクトルに対して、複数の多次元ベクトルの中で距離最小のベクトルの探索のため、次元方向のベストファースト探索を用いたので、距離最小のテンプレートベクトルを探索でき、演算量を削減でき精度を劣化させないという効果がある。
【０２４１】
実施の形態１５．
本実施の形態は、混合連続分布ＨＭＭを用いる音声認識装置において、多次元入力ベクトルの最大尤度を有する要素分布を次元方向にベストファースト探索して求める方法を適用したものである。
本実施の形態の音声認識装置のブロック図は、図１であり、実施の形態１と同一の図を用いて説明する。
図において、１は入力音声、２は入力音声１を分析して時系列の特徴ベクトル３に変換する音声分析手段、４は時系列の特徴ベクトル３を入力し、混合連続分布ＨＭＭ８に対する尤度を計算し尤度行列を出力する尤度計算手段、５は経路データ記憶手段９である単語ネットワークに従って、音素ＨＭＭの連結から単語を構成し、ネットワークの各ノードにおいて、各ノードに至る音素ＨＭＭの状態系列の中で累積尤度最大の経路を求めるビタビ演算手段、６はビタビ演算の局所経路を後ろ向きに探索して最適な単語列を得る最適経路決定手段である。
【０２４２】
音素ＨＭＭは混合連続分布ＨＭＭであり、図２８のように３状態の多次元連続出力確率分布からなる。
図２３は各フレームの特徴ベクトルが求められた後の各フレームの処理のフローチャートである。
以下、各ステップの動作を説明する。
【０２４３】
ステップＳＴ６１において、当該フレームの特徴ベクトルが入力される。
ステップＳＴ６２において、すべての混合分布のすべての要素分布をまとめて、特徴ベクトルに対する尤度計算を行う。この尤度計算は、本発明の次元方向のベストファースト探索を用いる。詳細は後で述べる。
【０２４４】
ステップＳＴ６３において、ステップＳＴ６２において得られた特徴ベクトルに対する要素分布の尤度計算結果に基づいて、各状態の出力尤度を計算する。
【０２４５】
ステップＳＴ６４において、経路の尤度を計算する。計算はビタビ演算による。ビタビ演算は音素ｐ、状態ｊの尤度をこの状態に行き得るすべての状態からの経路に沿い尤度が最大となる経路を選択しその経路と尤度を記憶する。以上で各フレームの処理は終了する。
次に、上記のステップＳＴ６２における本発明の次元方向のベストファースト探索を用いる尤度の計算方法について説明する。ここでは、実施の形態８に説明した方法を適用する。
【０２４６】
図２４は探索の処理のフローチャートである。入力ベクトルは、当該フレームの特徴ベクトルである。探索する要素分布は、２０００状態のすべての要素分布であり、総数は２０００状態×１６分布＝３２０００分布である。
全要素分布の集合はＫ平均クラスタリング法により２０４８個のクラスタに分割されている。
それぞれのクラスタについて、その中の要素分布の各次元の一次元分布の平均、分散の最大最小値が予め求められている。
【０２４７】
ステップＳＴ１１では、これらに基づいて、特徴ベクトルに対する第ｍ次元から最終次元までの累積値の推定値が計算される。
以下、実施の形態７で説明した動作を行い、評価値最大の仮説がステップＳＴ３で最終次元に到達し、ステップＳＴ７を実行する。
ステップＳＴ７では、スタックの内容を保存して、ステップＳＴ６２は終了する。
【０２４８】
ステップＳＴ６３では、保存されたスタックの内容をみて、全要素分布の尤度を求める。ステップＳＴ３で最初に見つかった解の要素分布は正確な尤度が計算されているので、その値を用いる。また、その他の要素分布については、スタックに残されている途中次元までの累積尤度を用いることができる。
また、途中次元までの累積尤度の他に、途中次元＋１から最終次元までの推定値を加えた評価値が残っているので、この値を用いることができる。
【０２４９】
実施の形態１６．
上記実施の形態１５のフレーム処理内の混合分布演算において、Ｎベストの探索を行う。
フレーム処理の流れは図２３と同一である。探索のフローチャートは図２５である。
【０２５０】
ステップＳＴ２１において、上位Ｎ個の解を求めてから、ステップＳＴ２２においてスタックの内容を保存する。この後、ステップＳＴ６３では、上位Ｎ個の解については対応する要素分布の尤度の値とする。
その他の要素分布の尤度は、スタックに残った累積値あるいは累積値と推定値に基づいて計算された評価値を用いる。
上記実施の形態１５に比べて、少なくとも、上位Ｎ個の要素分布については厳密な尤度が得られるため、認識の精度が向上する。
【０２５１】
実施の形態１７．
図２６はマルチパスの音声認識方法に基づいて構成された、本実施の形態の音声認識装置の構成図である。
音声分析手段２は、入力音声１を分析し、多次元の特徴ベクトル３に変換する。
尤度計算１手段４１及び尤度計算２手段４２は、この多次元の特徴ベクトル３に対して、ＨＭＭ記憶手段８を参照して、複数の多次元の連続分布からなるＨＭＭの状態の尤度を計算する。ＨＭＭの状態の尤度は上記実施の形態１５と同様の処理で計算する。
【０２５２】
経路計算１手段４３は、認識単位の系列の中で、より制約の弱い経路データ１を記憶する経路データ１記憶手段４５を参照して、完全な経路計算のための推定値を計算する。
経路計算２手段４４は、完全な経路データ２を記憶する経路データ２記憶手段４６を参照するとともに、経路計算１手段４３で計算された経路の制約を緩めた経路の尤度推定値と、現在までに得られた完全な経路の途中尤度とを評価値として、ベストファースト探索法により完全な経路の尤度をフル探索に比べて少ない演算量で効率的に計算する。
【０２５３】
最適経路決定手段６は、経路計算２手段４４で得られた経路を調べて最適な経路を決定し、最適な経路に関連づけられた認識単位の系列を認識結果７として出力する。
以上の構成において、尤度計算１手段４１の計算した尤度は真の尤度に比較して同値かより大きく、Ａ＊条件を満足する。
よって、経路の制約を緩めた経路に沿って，経路計算１手段４３の計算した尤度は真の尤度に比較して同値か、それより大きく、Ａ＊条件を満足する。
このように、Ａ＊条件を満足するＨＭＭの出力確率を少ない演算量で求めることができるという効果がある。
【０２５４】
実施の形態１８．
本実施の形態は、上記実施の形態１７で述べたマルチパスの音声認識方法において、尤度計算１手段４１の計算において、この多次元の特徴ベクトル３に対して、ＨＭＭ記憶手段８を参照して、複数の多次元の連続分布からなるＨＭＭの状態の尤度を計算する。ＨＭＭの状態の尤度は上記実施の形態１６と同様に上位Ｎ個の要素分布の尤度を厳密に計算するようにしたものである。
【０２５５】
それによって、マルチパスの１回目で得られる経路尤度の推定値の精度が向上し、その結果、マルチパスの２回目のベストファースト探索による経路探索に要する演算回数が減少するという効果がある。
【０２５６】
実施の形態１９．
以上の実施の形態で述べた方法は、パターン認識装置及び音声認識装置の中で実施することもできる。また、パターン認識及び音声認識を実行するプログラムを記憶した記録媒体としても実施することもできる。
また、入力ベクトルと多次元の複数のベクトルとの距離、類似度及び尤度を計算する応用、例えば、特徴ベクトルのクラスタリングや、ＨＭＭの学習などに適用することで演算量削減の効果があることは言うまでもない。
【０２５７】
【発明の効果】
以上のように、この発明によれば、要素分布の探索方法は、展開済の次元数が入力ベクトルの次元数に一致するまで、次元方向にベストファースト探索を実行するように構成したので、要素分布を探索するための演算量が削減される効果がある。
【０２５８】
この発明によれば、展開済の次元数が増加する方向にベストファースト探索を実行するように構成したので、要素分布を探索するための演算量が削減される効果がある。
【０２５９】
この発明によれば、第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、自由度Ｋ−ｋのカイ２乗分布の分布関数値が所定値に達するときのカイ２乗分布の独立変数値に基づいて計算するように構成したので、評価値の計算が仮説の展開済の次元数ｋをキーとしたテーブル検索で実現可能になる効果がある。
【０２６０】
この発明によれば、第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、学習用の音声データが示す値の分布に基づいて計算するように構成したので、探索エラーが減少する効果がある。
【０２６１】
この発明によれば、要素分布を複数のクラスタに分割し、各クラスタについて、第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、学習用の音声データが示す値の分布に基づいて計算するように構成したので、更に探索エラーが減少する効果がある。
【０２６２】
この発明によれば、ベストファースト探索で最初から複数個の解を求めて、その複数個の解の中で、上位複数個の評価値を有する要素分布を求めるように構成したので、探索エラーの生じる可能性を少なくできる効果がある。
【０２６３】
この発明によれば、第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、各要素分布における各次元の一次元の分布を各分布の平均値の数直線上での配列に基づいて複数の区間に分割し、各区間について求めた各次元毎の不等式と、入力ベクトルの各次元の数値とに基づいて計算するように構成したので、探索エラーの発生を防止することができるとともに、検索の演算量を削減することができる効果がある。
【０２６４】
この発明によれば、第ｋ＋１次元から第Ｋ次元における確率値の累積値の推定値を、要素分布を複数のクラスタに分割し、複数のクラスタのそれぞれについて各次元毎に得られた不等式と、入力ベクトルの各次元の数値とに基づいて計算するように構成したので、要素分布を探索するための演算量等が更に削減される効果がある。
【０２６５】
この発明によれば、探索の閾値を設けて、第ｋ次元までの探索の累積値又は評価値が、その閾値を下回る場合、当該仮説の探索を打ち切るように構成したので、要素分布を探索するための演算量等が更に削減される効果がある。
【０２６６】
この発明によれば、要素分布に依存して探索の閾値を設けて、第ｋ次元までの探索の累積値又は評価値が、その閾値を下回る場合、当該仮説の探索を打ち切るように構成したので、探索の演算量を更に削減できる効果がある。
【０２６７】
この発明によれば、探索の閾値として、入力ベクトルの次元数をＫとし、自由度Ｋ−ｋのカイ２乗分布の分布関数が一定の数値に到達するときの独立変数の値に基づいて計算した値を用いるように構成したので、スタックから取り出すときの演算量が削減できる効果がある。
【０２６８】
この発明によれば、展開済の次元数を増加させる際に２以上次元数を増加させるベストファースト探索を実行するように構成したので、スタックの管理のための演算量が削減される効果がある。
【０２７１】
この発明によれば、多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、評価値最大をとる要素確率分布の確率はベストファースト探索の結果として計算された確率を用い、その他の要素確率分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するように構成したので、精度を劣化させることなく、演算量を削減できる効果がある。
【０２７２】
この発明によれば、多次元の入力ベクトルに対して、評価値の大きい方からＮ個の分岐確率密度のベストファースト探索を次元方向に実行し、評価値の大きい方からＮ個の分岐密度をとる要素確率分布の確率はベストファースト探索の結果として計算された確率の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するように構成したので、上位Ｎ個の要素分布については厳密な尤度が得られる結果、認識の精度が向上する効果がある。
【０２７３】
この発明によれば、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算するに際して、多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、その評価値最大の要素分布の確率はベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するように構成したので、Ａ＊条件を満足するＨＭＭの出力確率を少ない演算量で求めることができる効果がある。
【０２７４】
この発明によれば、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、多次元の入力ベクトルに対して、評価値の大きい方からＮ個の分岐確率密度のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の分岐密度をとる要素分布の確率はベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するように構成したので、マルチパスの１回目で得られる経路尤度の推定値の精度が向上する結果、マルチパスの２回目のベストファースト探索による経路探索に要する演算回数が減少する効果がある。
【０２７５】
この発明によれば、多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、評価値最大をとる要素分布の確率はベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を行うように構成したので、精度を劣化させることなく、演算量を削減できる効果がある。
【０２７６】
この発明によれば、多次元の入力ベクトルに対して、評価値の大きい方からＮ個の要素分布のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の要素分布の確率はベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を行うように構成したので、上位Ｎ個の要素分布については厳密な尤度が得られる結果、認識の精度が向上する効果がある。
【０２７７】
この発明によれば、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、多次元の入力ベクトルに対して、評価値最大の要素分布のベストファースト探索を次元方向に実行し、その評価値最大をとる要素分布の確率はベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するように構成したので、Ａ＊条件を満足するＨＭＭの出力確率を少ない演算量で求めることができる効果がある。
【０２７８】
この発明によれば、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、多次元の入力ベクトルに対して、評価値の大きい方からＮ個の要素分布のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の要素分布の確率はベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して認識結果を決定するように構成したので、マルチパスの１回目で得られる経路尤度の推定値の精度が向上する結果、マルチパスの２回目のベストファースト探索による経路探索に要する演算回数が減少する効果がある。
【０２７９】
この発明によれば、多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布のモデルで表現された認識単位のスコアを評価値最大の要素分布のベストファースト探索を次元方向に実行し、その評価値最大をとる要素分布の確率はベストファースト探索の結果として計算された要素分布の確率を用い、その他の要素確率分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行し、そのスコア計算の結果に基づいて、認識単位の系列の中でスコアの最も高い認識単位の系列を選択するように構成したので、精度を劣化させることなく、演算量を削減できる効果がある。
【０２８０】
この発明によれば、多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布のモデルで表現された認識単位のスコアを評価値の大きい方からＮ個の要素分布のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の評価値をとる要素分布の確率はベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行し、そのスコア計算の結果に基づいて認識単位の系列の中でスコアの最も高い認識単位の系列を選択するように構成したので、上位Ｎ個の要素分布については厳密な尤度が得られる結果、認識の精度が向上する効果がある。
【０２８１】
この発明によれば、多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアの推定値を計算するスコア計算し、１回目は認識単位の系列の中で経路の制約を緩めたスコアの推定値を求め、２回目は１回目で求めたスコアの推定値に基づいて認識単位の完全な系列の中で最もスコアの高い認識単位の系列を探索して求め、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、その多次元の入力ベクトルに対して評価値最大の分岐確率密度のベストファースト探索を次元方向に実行し、その評価値最大をとる要素分布の確率はベストファースト探索の結果として計算された確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して、認識結果を決定するように構成したので、Ａ＊条件を満足するＨＭＭの出力確率を少ない演算量で求めることができる効果がある。
【０２８２】
この発明によれば、多次元の入力ベクトルに対して、複数の多次元の連続分布からなる混合連続確率分布に基づいて認識単位のスコアを計算し、１回目は認識単位の系列の中で経路の制約を緩めたスコアの推定値を求め、２回目は１回目で求めたスコアの推定値に基づいて認識単位の完全な系列の中で最もスコアの高い認識単位の系列を探索して求め、１回目の認識単位の系列の中で経路の制約を緩めたスコアの推定値を計算する事に際して、その多次元の入力ベクトルに対して、評価値の大きい方からＮ個の分岐確率密度のベストファースト探索を次元方向に実行し、その評価値の大きい方からＮ個の要素分布の確率はベストファースト探索の結果として計算された評価値の大きい方からＮ個の要素分布の確率を用い、その他の要素分布の確率についてはベストファースト探索の途中次元までの評価値を用いて認識単位のスコア計算を実行して、認識結果を決定するように構成したので、マルチパスの１回目で得られる経路尤度の推定値の精度が向上する結果、マルチパスの２回目のベストファースト探索による経路探索に要する演算回数が減少する効果がある。
【図面の簡単な説明】
【図１】  この発明の実施の形態１による音声認識装置を示す構成図である。
【図２】  状態ＨＭＭの構造を示す説明図である。
【図３】  探索で用いる機能の構成図である。
【図４】  ヒープを用いた仮説記憶部の説明図である。
【図５】  式（２）の計算を次元方向に探索を進めるベストファースト探索のフローチャートである。
【図６】  探索終了時点のスタックに残された仮説の様子をそれらの展開履歴と共に示すグラフ図である。
【図７】  探索のためのフローチャートである。
【図８】  探索のための機能ブロック図である。
【図９】  自由度ｎのカイ２乗分布の分布関数のテーブルの一部分を示す表図である。
【図１０】  次元数Ｋの入力ベクトルに対して、評価値の大きい方からＳ個の要素分布を決定するためのベストファースト探索のフローチャートである。
【図１１】  一次元の分布の分類のフローチャートである。
【図１２】  数直線上の平均値と分割の様子を示す説明図である。
【図１３】  探索のフローチャートである。
【図１４】  探索のための機能ブロック図である。
【図１５】  ベストファースト探索のフローチャートである。
【図１６】  カイ２乗分布の分布関数が一定の数値に到達するときの値に基づいて閾値を決める際の考え方を説明する説明図である。
【図１７】  探索のフローチャートである。
【図１８】  ベストファースト探索のフローチャートである。
【図１９】  ベクトル量子化を用いた符号化・復号化の構成図である。
【図２０】  ベクトル量子化におけるコードベクトルをベストファースト探索で求めるときのフローチャートである。
【図２１】  文字認識装置の構成図である。
【図２２】  カテゴリ探索部の動作を示すフローチャートである。
【図２３】  フレーム処理を示すフローチャートである。
【図２４】  探索のフローチャートである。
【図２５】  探索のフローチャートである。
【図２６】  音声認識装置の構成図である。
【図２７】  混合連続分布ＨＭＭを用いる音声認識装置を示す構成図である。
【図２８】  混合連続分布ＨＭＭの説明図である。
【図２９】  経路演算の説明図である。
【符号の説明】
２  音声分析手段、４  確率演算手段（スコア計算手段）、５  経路演算手段（スコア計算手段）、６  最適経路決定手段（認識結果選択手段）。
【図１】
0003973789.tif 000032
【図２】
0003973789.tif 000033
【図３】
0003973789.tif 000034
【図４】
0003973789.tif 000035
【図５】
0003973789.tif 000036
【図６】
0003973789.tif 000037
【図７】
0003973789.tif 000038
【図８】
0003973789.tif 000039
【図９】
0003973789.tif 000040
【図１０】
0003973789.tif 000041
【図１１】
0003973789.tif 000042
【図１２】
0003973789.tif 000043
【図１３】
0003973789.tif 000044
【図１４】
0003973789.tif 000045
【図１５】
0003973789.tif 000046
【図１６】
0003973789.tif 000047
【図１７】
0003973789.tif 000048
【図１８】
0003973789.tif 000049
【図１９】
0003973789.tif 000050
【図２０】
0003973789.tif 000051
【図２１】
0003973789.tif 000052
【図２２】
0003973789.tif 000053
【図２３】
0003973789.tif 000054
【図２４】
0003973789.tif 000055
【図２５】
0003973789.tif 000056
【図２６】
0003973789.tif 000057
【図２７】
0003973789.tif 000058
【図２８】
0003973789.tif 000059
【図２９】
0003973789.tif 000060