(57)【要約】【課題】  ＨＭＭのパラメータである平均値ベクトルを状態内で直線的または２次曲線的に変化させかつ、状態間でも連続させることにより、入力音声との親和性を高め、従来と比較してより認識性能の高い音声認識方法を提供する。【解決手段】  予めカテゴリＲ（ｗ）（ｗ＝１〜Ｗ）に属することが分かっている入力信号を訓練データとして、同一状態が連続するときは、そこに含まれるフレームに対して、その状態におけるパラメータは時間的に線形に変化し、かつ隣り合う状態のパラメータは連続するという拘束条件のもとに、そのモデルからの上記入力信号の発生尤度が最大になるように上記パラメータを算出するパラメータ算出手段５０５〜５１８を備える。【選択図】        図５
2006259470.tif 000002
【特許請求の範囲】
【請求項１】
入力信号を特徴ベクトルの系列に変換する特徴抽出手段と、カテゴリｗに対し予めそれに属する事が分かっている前記抽出されたＲ個の特徴ベクトル系列ｗｒ（ｒ＝１〜Ｒ）をカテゴリｗに対応する学習用パタンとしてＨＭＭ（Hidden Markov Model）を作成するＨＭＭ作成手段とを備え、このＨＭＭ作成手段は、そのＨＭＭを構成する各々の状態における観測ベクトルの確率密度関数を規定する平均値ベクトルが各状態間で連続して時間と共に変化するようになし、前記特徴ベクトル系列に対する前記ＨＭＭの尤度が最大になるように前記ＨＭＭのパラメータを算出するパラメータ算出手段を含むことを特徴とするＨＭＭ作成装置。
【請求項２】
入力特徴ベクトル系列に対して、請求項１記載のＨＭＭ作成装置で作成したＨＭＭとの尤度を計算する尤度計算装置。
【請求項３】
認識すべきカテゴリ１、．．．．．、Ｗに対応し、かつＨＭＭを構成する各々の状態における観測ベクトルの確率密度関数を規定する平均値ベクトルが各状態間で連続して時間と共に変化するようになしたＨＭＭであるＭ１、．．．．．、Ｍｗのパラメータを記憶するＨＭＭ記憶手段と、未知入力特徴ベクトルに対するＭ１、．．．．．、Ｍｗの尤度Ｌ１、．．．．．、Ｌｗを計算する請求項２記載の尤度計算装置と、Ｌ１、．．．．．、Ｌｗが最大になるｗ＊を決定する判定手段とを備え、ｗ＊を未知入力特徴ベクトルの認識結果とすることを特徴とする時系列パタン認識装置。
【請求項４】
確率密度関数の平均値ベクトルにおいて状態の始端から終端が直線的に変化することを特徴とする請求項１記載のＨＭＭ作成装置。
【請求項５】
確率密度関数の平均値ベクトルにおいて状態の始端から終端が直線的に変化することを特徴とする請求項２記載の尤度計算装置。
【請求項６】
認識すべきカテゴリ１、．．．．．、Ｗに対応し、かつＨＭＭを構成する各々の状態における観測ベクトルの確率密度関数を規定する平均値ベクトルが各状態間で連続して時間と共に変化するようになしたＨＭＭであるＭ１、．．．．．、Ｍｗのパラメータを記憶するＨＭＭ記憶手段と、未知入力特徴ベクトルに対するＭ１、．．．．．、Ｍｗの尤度Ｌ１、．．．．．、Ｌｗを計算する請求項５記載の尤度計算装置と、Ｌ１、．．．．．、Ｌｗが最大になるｗ＊を決定する判定手段とを備え、ｗ＊を未知入力特徴ベクトルの認識結果とすることを特徴とする時系列パタン認識装置。
【請求項７】
確率密度関数の平均値ベクトルにおいて状態の始端、中点、終端が２次曲線的に変化することを特徴とする請求項１記載のＨＭＭ作成装置。
【請求項８】
確率密度関数の平均値ベクトルにおいて状態の始端、中点、終端が２次曲線的に変化することを特徴とする請求項２記載の尤度計算装置。
【請求項９】
認識すべきカテゴリ１、．．．．．、Ｗに対応し、かつＨＭＭを構成する各々の状態における観測ベクトルの確率密度関数を規定する平均値ベクトルが各状態間で連続して時間と共に変化するようになしたＨＭＭであるＭ１、．．．．．、Ｍｗのパラメータを記憶するＨＭＭ記憶手段と、未知入力特徴ベクトルに対するＭ１、．．．．．、Ｍｗの尤度Ｌ１、．．．．．、Ｌｗを計算する請求項８記載の尤度計算装置と、Ｌ１、．．．．．、Ｌｗが最大になるｗ＊を決定する判定手段とを備え、ｗ＊を未知入力特徴ベクトルの認識結果とすることを特徴とする時系列パタン認識装置。
【請求項１０】
ＨＭＭの各状態の確率密度および遷移確率を算出するにあたり、各状態への滞留時間の最小時間を制御する状態滞留時間最小値制御手段と、前記各状態への滞留時間の最大時間を制御する状態滞留時間最大値制御手段とを有し、状態への滞留時間を制御することを特徴とする請求項２記載の尤度計算装置。
【請求項１１】
尤度計算装置が、ＨＭＭの各状態の確率密度および遷移確率を算出するにあたり、各状態への滞留時間の最小時間を制御する状態滞留時間最小値制御手段と、前記各状態への滞留時間の最大時間を制御する状態滞留時間最大値制御手段とを有し、状態への滞留時間を制御することを特徴とする請求項６記載の時系列パタン認識装置。
【請求項１２】
尤度計算装置が、ＨＭＭの各状態の確率密度および遷移確率を算出するにあたり、各状態への滞留時間の最小時間を制御する状態滞留時間最小値制御手段と、前記各状態への滞留時間の最大時間を制御する状態滞留時間最大値制御手段とを有し、状態への滞留時間を制御することを特徴とする請求項９記載の時系列パタン認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声認識等のパタン認識に適用可能な新しいHMM（Hidden Markov Model）のパラメータの推定を行うためのＨＭＭ作成装置およびそれを用いた尤度計算装置、時系列パタン認識装置に関するものである。
【背景技術】
【０００２】
本発明は一般の時系列信号に適用可能なものであるが、説明の便宜のために、以下、音声認識を例に説明する。先ずＨＭＭ（ヒドゥン マルコフ モデル（Hidden Markov Model））を用いた音声認識装置について説明する。
【０００３】
従来のＨＭＭでは、ＨＭＭを構成する各状態における確率密度関数の平均値ベクトルは状態内で一定であった（例えば、特許文献１または特許文献２参照）。
【０００４】
図１は、ＨＭＭを用いた音声認識装置のブロック図である。
【０００５】
１０１は音声分析部であって、入力音声信号をフィルタバンク、フーリエ変換、ＬＰＣ分析等の周知の方法により、一定時間間隔（フレームと呼ぶ）例えば１０ｍｓｅｃ毎に特徴ベクトルに変換する。従って、入力音声信号は特徴ベクトルの系列Ｘ＝x1,x2,…,xTに変換される。ここで、Ｔは入力音声信号のフレーム数である。
【０００６】
１０２はＨＭＭ作成部であって、訓練データから認識語彙たる各単語に対応するＨＭＭを作成するものである。すなわち、単語ｗに対応するＨＭＭを作るには、先ず、ＨＭＭの構造（状態数やそれら状態の間に許される遷移規則）を適当に定め、然る後に上記の如くして単語ｗを多数回発声して得られた特徴ベクトル系列から、それら特徴ベクトル系列の発生確率ができるだけ高くなるように、上記モデルにおける状態遷移確率や状態の遷移に伴って発生する特徴ベクトルの発生確率密度関数（多次元正規分布で表現し、パラメータとしては、平均値ベクトルと分散共分散行列である）を求めるものである。
【０００７】
１０３はＨＭＭ記憶部であって、このようにして得られたＨＭＭを単語毎に記憶するものである。
【０００８】
１０４は尤度計算部であって、認識すべき未知入力音声の特徴ベクトル系列に対し、上記ＨＭＭ記憶部１０３に記憶されている各々のモデルからその特徴ベクトル系列の発生する尤度を計算するものである。
【０００９】
１０５は比較判定部であって尤度計算部１０４で得られた上記それぞれのモデルに対する尤度の最大値を与えるモデルに対応する単語を認識結果として判定するものである。
【００１０】
ＨＭＭによる認識は次のようにして行われる。すなわち、未知入力に対して得られた特徴ベクトル系列をＸ＝ｘ1,ｘ2,…,ｘT、モデルλｗにより発生される長さＴの任意の状態系列をＳ＝s1,s2,…,sTとするとき、λｗから特徴ベクトル系列Ｘの発生する尤度は、
〔厳密解〕
【００１１】
【数１】
2006259470.tif 000003
〔近似解〕
【００１２】
【数２】
2006259470.tif 000004
または、対数をとって、
【００１３】
【数３】
2006259470.tif 000005
で与えられる。
【００１４】
ここで、Ｐ（x,ｓ|λｗ）は、モデルλｗにおけるx,sの同時確率密度である。従って、例えば、（数１）を用いたとき、
【００１５】
【数４】
2006259470.tif 000006
が認識結果となる。
【００１６】
（数２），（数３）を用いるときも同様である。
【００１７】
Ｐ（Ｘ,S|λ）は（数１）の場合は、次のようにして求められる。今、ＨＭＭλの状態qi（ｉ＝１〜Ｉ）に対して、状態qi毎に、特徴ベクトルｘの確率密度bi（ｘ）と状態qiから状態qjへの遷移確率aijが与えられているとき、状態系列Ｓ＝s1,s2,…,s（T+1）に対して特徴ベクトル系列Ｘ＝x1,x2,…,xTのＨＭＭλから発生する確率は
【００１８】
【数５】
2006259470.tif 000007
と定義できる。ここで
【００１９】
【数６】
2006259470.tif 000008
は状態s1の初期確率である。また、s(T+1)＝qfは最終状態であって、如何なる特徴ベクトルも発生しない。
【００２０】
以上、最終的な認識結果は、それぞれの単語ｗに対してＨＭＭλｗをｗ＝１〜Ｗについて準備しておけば、入力音声信号Ｘに対して
【００２１】
【数７】
2006259470.tif 000009
がＸの認識結果となる。
【００２２】
また、別の従来法では、上記確率密度関数の平均値ベクトルξi(τ)を中点ベクトルμiと傾きベクトルuiと組み合わせることにより、時間的に変化させる方法も提案されている。（例えば、特許文献３参照）
この場合、時間的に変化する平均値ベクトルξi(τ)は、以下のような数式で示されていた。
【００２３】
【数８】
2006259470.tif 000010
【特許文献１】特許第２１３８３４５号
【特許文献２】特許第１８４６２９３号
【特許文献３】特許第２６００８７１号
【発明の開示】
【発明が解決しようとする課題】
【００２４】
従来、音声認識に用いられている典型的なＨＭＭは図２に示されるようなものである。図において、qiはｉ番目の状態、aｉjは状態qiから状態qjに遷移する遷移確率、bｉ（ｘ）は特徴ベクトルｘの状態qｉにおいて観測される確率密度である。このとき、ＨＭＭの“状態”qiは、そのＨＭＭに対応する音声の部分区間（セグメント）ｉに対応していると考えられる。従って、状態qiにおいてｘの観測される確率密度bi（ｘ）は、セグメントｉにおいてｘが発生する確率密度であると解される。このような考えに立てば、従来のＨＭＭにおける問題点として次の点が指摘できる。
【００２５】
関数bi（ｘ）を規定するパラメータは、例えばｘが多次元正規分布とした場合、平均値ベクトルと分散共分散行列であるが、それらは状態qiに関して一定であるとしているので、音韻によって特徴ベクトルの時間的な変化の特徴（動的特徴）が重要であるにもかかわらず、従来のモデルでは、その特徴が適切に表現できない。
【００２６】
また、中点ベクトルと傾きベクトルを用いて、平均値ベクトルを時間的に可変としている従来例においては、状態内のみでの傾きを考慮しているため、状態間での平均値ベクトルの連続性が考慮できておらず、セグメントiを越えて連続的に変化する音声の特徴が表現できない。
【００２７】
本発明の目的は、状態qiにおける特徴ベクトルの発生確率を与える確率密度関数bi（ｘ）を特徴付けるパラメータが、同一セグメント（状態）内およびセグメント（状態）間においても時間的に連続的に変化することを許したＨＭＭを構成することによって、上記の問題を解決することにある。
【課題を解決するための手段】
【００２８】
上記課題を解決するために、本発明は、以下のように構成している。
【００２９】
１）予めカテゴリＲ（ｗ）（ｗ＝１〜Ｗ）に属することが分かっている入力信号を訓練データとして、同一状態が連続するときは、そこに含まれるフレームに対して、その状態におけるパラメータは時間的に線形に変化し、かつ隣り合う状態のパラメータは連続するという拘束条件のもとに、そのモデルからの上記入力信号の発生尤度が最大になるように上記パラメータを算出するパラメータ算出手段により、このようにして得られたパラメータをモデルのパラメータとする構成である。
【００３０】
２）同一状態内では、そのパラメータは直線的に変化する構成である。
【００３１】
３）同一状態内では、そのパラメータは2次曲線的に変化する構成である。
【００３２】
４）継続時間最大値制御手段および継続時間最小値制御手段により、同一状態内で変化するパラメータの継続時間の範囲の最大値、最小値を制御する構成である。
【００３３】
ここで、具体的に説明する。
【００３４】
第１の発明のＨＭＭ作成装置は、入力信号を特徴ベクトルの系列に変換する特徴抽出手段と、カテゴリｗに対し予めそれに属する事が分かっている抽出されたＲ個の特徴ベクトル系列ｗｒ（ｒ＝１〜Ｒ）をカテゴリｗに対応する学習用パタンとしてＨＭＭ（Hidden Markov Model）を作成するＨＭＭ作成手段とを備え、このＨＭＭ作成手段は、そのＨＭＭを構成する各々の状態における観測ベクトルの確率密度関数を規定する平均値ベクトルが各状態間で連続して時間と共に変化するようになし、特徴ベクトル系列に対するＨＭＭの尤度が最大になるようにＨＭＭのパラメータを算出するパラメータ算出手段を含む。
【００３５】
第２の発明の尤度計算装置は、入力特徴ベクトル系列に対して、第１の発明のＨＭＭ作成装置で作成したＨＭＭとの尤度を計算するものである。
【００３６】
第３の発明の時系列パタン作成装置は、認識すべきカテゴリ１、．．．．．、Ｗに対応し、かつＨＭＭを構成する各々の状態における観測ベクトルの確率密度関数を規定する平均値ベクトルが各状態間で連続して時間と共に変化するようになしたＨＭＭであるＭ１、．．．．．、Ｍｗのパラメータを記憶するＨＭＭ記憶手段と、未知入力特徴ベクトルに対するＭ１、．．．．．、Ｍｗの尤度Ｌ１、．．．．．、Ｌｗを計算する第２の発明の尤度計算装置と、Ｌ１、．．．．．、Ｌｗが最大になるｗ＊を決定する判定手段とを備え、ｗ＊を未知入力特徴ベクトルの認識結果とする。
【００３７】
上記第１の発明のＨＭＭ作成装置、尤度計算装置および時系列パタン認識装置においては、例えば、確率密度関数の平均値ベクトルにおいて状態の始端から終端が直線的に変化する。あるいは、確率密度関数の平均値ベクトルにおいて状態の始端、中点、終端が２次曲線的に変化する。
【００３８】
また、尤度計算装置については、また、時系列パタン認識装置に用いられる尤度計算装置については、ＨＭＭの各状態の確率密度および遷移確率を算出するにあたり、各状態への滞留時間の最小時間を制御する状態滞留時間最小値制御手段と、前記各状態への滞留時間の最大時間を制御する状態滞留時間最大値制御手段とを有し、状態への滞留時間を制御することが好ましい。
【発明の効果】
【００３９】
以上のように、本発明は、同一状態内においてその状態における特徴ベクトルの発生する確率密度の平均値が直線的または２次曲線的に変化し、かつ、状態間でも連続にするようになしたので、同じ状態の連が生じたとき、その状態における特徴ベクトルの発生確率密度を与えるパラメータが不変である従来のＨＭＭの持つ欠点が除去できることとなり、音韻によって特徴ベクトルの時間的な変化の特徴（動的特徴）を表現でき、セグメントiを越えて連続的に変化する音声の特徴が表現できるという効果を有し、現実により忠実なモデルの作成が可能となったものである。
【発明を実施するための最良の形態】
【００４０】
まず、ＨＭＭの作成に関する理論について説明する。
【００４１】
aij（ｋ）は状態qiがｋ連続したとき次に状態qjになる遷移確率、bi（x,k）は状態qiがｋ連続したときベクトルｘの観測される確率密度関数である。これは図３のように等価な一重のマルコフモデルに書き替えることができる。すなわち、状態qiを
q(i1),q(i2),q(i3),・・・,q(iｋ),・・・
に分け、状態qiがｋ連続したとき、状態q(iｋ)に至るとするものである。
【００４２】
従って、状態q(iｋ)から状態q(i(k+1))への遷移確率a(ik)(i(k+1))、また、状態q(iｋ)において発生する特徴ベクトルｘの確率密度関数b（ik）(x)はそれぞれ
a(ik)(i(k+1))＝aii(ｋ)
b(ik)(x)＝bi(x,k)
となる。
【００４３】
図４は、図３に対応したＨＭＭのトレリス線図である。すなわち、横軸を時間、縦軸を状態として、可能な状態系列を示す格子グラフの一例であって、それぞれの状態系列は、各時刻における状態を表す点を線分で結んだ折れ線で表される。以後、この折れ線を径路と呼ぶ。
【００４４】
ここで、以後用いる記号の定義をまとめておく。また、簡単のために、誤解を生じない限り、状態qi,qjは単にi,j等と表記することとし、状態という言葉は、必要に応じて“主状態”あるいは“副状態”のように区別して呼ぶ。
【００４５】
・i＝｛i1,i2,…｝：第ｉ番の主状態（ｉ＝1,…,I）
・ik：主状態ｉにおいてｋの連が生じたとき到達する状態ｉの副状態
・a（ik）（i(k+1)）：副状態ikからi(k+1)への遷移確率
・［aij］：遷移マトリクス
・aij：主状態ｉから主状態ｊへの遷移確率（ｉ≠ｊ）
・xt：時点ｔにおける観測ベクトル
・b(ik)(xt)：副状態ikにおける、時点ｔの観測ベクトルxtの確率密度関数
・Ｘ＝x1,x2,…,xT：時点1,…,Tに対応して観測される観測ベクトル系列
・st：時刻ｔにおける状態
・Ｓ＝s1,s2,…,sT：時点1,…,Tに対応する状態系列
・ζi：主状態ｉにおける観測ベクトルの確率分布および主状態ｉの連の長さの確率分布を規定するパラメータの集合
【００４６】
【数９】
2006259470.tif 000011
・λ＝｛λｉ｝：全パラメータの集合（λをパラメータとするモデルをモデルλと呼ぶことにする）
・Ｐ（X|λ）：観測ベクトル系列Ｘがモデルλから発生する確率
・qf：最終の状態（＝s(T+1)）
・πi＝a(s0)1：主状態ｉがｔ＝１で生ずる確率
あるＨＭＭλに対する出力ベクトル系列Ｘの発生確率Ｐ(X|λ)は
【００４７】
【数１０】
2006259470.tif 000012
で与えられる。ここで次の補助関数Ｑ（λ，λ′）をλのパラメータ算出の為に定義する。
【００４８】
【数１１】
2006259470.tif 000013
このとき、次の定理が成立する。
＜定理１＞Ｑ（λ，λ′）≧Ｑ（λ，λ）なら、Ｐ（X|λ′）≧Ｐ（X|λ）である。等号はλ＝λ′のときのみ成立する。
＜定理２＞
【００４９】
【数１２】
2006259470.tif 000014
とするとき、λｉが凸集合に属し、logPi（X,S|λｉ）がλｉに関して上に凸であるならば、Qi（λ，λ′ｉ）はλを固定し、λ′ｉの関数とみなしたとき、上に凸で、唯一つのglobal maximumを持つ。
【００５０】
この最大値を与える点を
【００５１】
【数１３】
2006259470.tif 000015
とすれば、
【００５２】
【数１４】
2006259470.tif 000016
に対して、
【００５３】
【数１５】
2006259470.tif 000017
となる（等号は
【００５４】
【数１６】
2006259470.tif 000018
のときのみ成立）。
【００５５】
この定理を用いてパラメータの推定を行う。すなわち、λiに適当な初期値を与え、
Qi(λ、λ’i)／λ’i  − Q i (λ、Λi)／Λi＝０を満足するλ’i＝Λiを求め、｛Λi｝→λとする計算を繰り返すことにより、λは求めるべき値に収束する。
【００５６】
以上の原理を本発明に適用し、各パラメータの算出式（推定式）を求めると次のようになる。
【００５７】
まず、P(X,s(t-τ)=i1,st=j1｜λ)は、ＨＭＭλから特徴ベクトル系列Xが、s(t-τ)=i1かつst=j1という状態遷移で発生する確率であり、次のようにして求められる。
【００５８】
すなわち、
αｔ（ｉ）＝Ｐ（x1x2…x(t-1),st＝i1|λ）
βｔ（ｉ）＝Ｐ（xtx(t+1)…xT|st＝i1,λ）
とおけば、
【００５９】
【数１７】
2006259470.tif 000019
である。また、
【００６０】
【数１８】
2006259470.tif 000020
【００６１】
【数１９】
2006259470.tif 000021
なる漸化式が成り立つ。従って、α１（１）＝１として、パラメータλに適当な初期値を与え、ｔ＝１〜Ｔ＋1,j＝１〜Ｉについて（数１８）に従ってαｔ(ｊ)を、β(T+1)(ｆ)＝１として、ｔ＝Ｔ＋１〜1,i＝Ｉ〜１について（数１９）をそれぞれ順次計算して行けば、（数２０）が計算できる。ここで、状態iにτ時間滞留する継続時間確率di(τ)は状態遷移確率がaijの場合は以下のようになる。
【００６２】
【数２０】
2006259470.tif 000022
（実施の形態１）
本発明の第1の実施の形態におけるＨＭＭのパラメータは、主状態iから主状態ｊへの状態遷移確率aijと副状態ikにおける、時点ｔの観測ベクトルxtの確率密度関数b(ik)(xt)である。
【００６３】
まず、aijの推定値は、
【００６４】
【数２１】
2006259470.tif 000023
となる。
【００６５】
次に、b(ik)(xt)のパラメータの推定について説明する。本実施の形態では、xtが各状態において多次元正規分布をするとした場合のＨＭＭについて説明する。この場合、推定すべきパラメータは、本来、平均値ベクトルおよび分散共分散行列であって、本発明においては、この平均値が上記ｋに従って直線的に変化かつ前後の状態間で連続に変化するものであり、平均値の替わりに各状態の平均終端ベクトルを推定する。
【００６６】
前述したように、従来は、状態ｉにおける特徴ベクトルｘの確率分布を規定するパラメータは、その状態ｉ内においては時間に関わりなく一定であるという定常性を仮定しているものであって、音声の過渡的な部分を表すには無理があると考えられる。
【００６７】
本発明においては、この点を改良するために、その確率分布を規定するパラメータを簡単な時間関数で表す。特徴ベクトルの分布を正規分布とし、状態ｉ内において、その平均値ξｉが時間に対して直線的に変化しかつ前後の状態と連続であり、共分散行列Σｉは状態ｉ内において時間的に一定であるとする。
【００６８】
このとき、特徴ベクトルx(t-τ-1+k)に対する確率密度は
【００６９】
【数２２】
2006259470.tif 000024
とおくことができる。ただし、平均値ベクトルξi(k)は以下のように定義する。
【００７０】
【数２３】
2006259470.tif 000025
ここで、τは状態ｉに対応する音声区間のフレーム数、t-1は区間ｉの最終フレーム、ｋは区間ｉの開始フレームを１として順次数えたフレーム番号、μｉは直線ξｉ（ｋ）の区間ｉ内における終端ベクトルである。
【００７１】
μi,Σｉは次のように推定される。
（μｉの推定値）
μｉの推定値は、
【００７２】
【数２４】
2006259470.tif 000026
となる。ここで、nは計算の繰り返し回数を示し、n-1は1回前の繰り返しにおけるＨＭＭのパラメータである。
（Σｉの推定）
Σiの推定式は、
【００７３】
【数２５】
2006259470.tif 000027
となる。
【００７４】
パラメータ推定の実際の計算手順は次のようになる。
【００７５】
単語ｗに対応するモデルλｗを作成するに当たって、単語ｗに対応するパタン
wr=xr1,…,xr(Tr)（ｒ＝１〜R;xrtはパタンｒの第ｔ番の特徴ベクトル,Trはパタンｒのフレーム数）が訓練用パタンとして与えられているものとする。また、ｊ＞ｉで、Ｉ＝f,i＝１〜Ｉ―1,j＝２〜Ｉとする。
（１）L1＝∞
（２）上記i,jについてλｉ＝｛aij,μi,Σｉ｝に適当な初期値を与える。
（３）ｒ＝１〜Ｒについてステップ（４）〜（７）を実行する。
（４）ｔ＝２〜Ｔ＋1,τ＝１〜ｔ―1,上記i,jについてλ＝｛λｉ｝としてＰ（wr,s(ｔ―τ)＝i1,st＝j1|λ）を計算する。
（５）（数２１）における、
【００７６】
【数２６】
2006259470.tif 000028
の分子ａ(ij,nom)(ｒ)，分母ａ(ij,denom)(ｒ)を上記i,jについて計算する。
（６）（数２４）における、
【００７７】
【数２７】
2006259470.tif 000029
の分子μ(i,nom)(ｒ)，分母μ(i,denom)(ｒ)を上記i,jについて計算する。
（７）（数２５）における、
【００７８】
【数２８】
2006259470.tif 000030
の分子Σ(i,nom)(ｒ)，分母Σ(i,denom)(ｒ)を上記i,jについて計算する。
（８）aijの推定値を計算する。
【００７９】
【数２９】
2006259470.tif 000031
（９）μｉの推定値を計算する。
【００８０】
【数３０】
2006259470.tif 000032
（１０）Σｉの推定値を計算する。
【００８１】
【数３１】
2006259470.tif 000033
（１１）上記i,jについて
【００８２】
【数３２】
2006259470.tif 000034
なる置き換えを行う。
（１２）λ＝｛λｉ｝として
【００８３】
【数３３】
2006259470.tif 000035
を計算する。
（１３）|L1―L2|/L1＞εならL1＝L2としてステップ（３）へ、そうでなければ終了する。
【００８４】
ステップ（１３）におけるεは、収束の幅を決める適当に小さな正の数であって、これが小さいとパラメータの推定の精度は上がるが、収束に時間がかかり、これが大きいと、収束は速くなるが精度は悪くなるという関係があり、用途によって実用的な値が定められるべきものである。
【００８５】
図５は、本発明の一実施例である。本実施例においては、aij=1 （for j=ｉ+１）,aij＝０（for j ≠ｉ＋１）の場合について、以下図面に従って説明する。
【００８６】
５０１は特徴抽出部であって、フィルタバンク、ＬＰＣ分析等周知の方法によって、入力音声信号を特徴ベクトルの系列に変換するものである。
【００８７】
５０２は単語パタン記憶部であって、モデルλを作成するための訓練用単語を特徴ベクトル系列の形で複数個記憶するものである。
【００８８】
５０３はバッファメモリであって、単語パタン記憶部５０２に記憶されている単語パタンを１つずつ取り出して一時的に記憶するものである。
【００８９】
５０４は部分尤度計算部であって、上記ステップ（４），（５），（６），（７）におけるＰ（X(s(t-τ))＝i1,s(t-1)＝j1|λ）の計算を行う。
【００９０】
５０５は状態遷移確率分母計算部であって、aijの推定式（数２１）における分母を計算する。
【００９１】
５０６は状態遷移確率分子計算部であって、aijの推定式(数２１)における分子を計算する。
【００９２】
５０７は平均終端ベクトル分母計算部であって、μiの推定式(数２４)における分母を計算する。
【００９３】
５０８は分散共分散行列分母計算部であって、Σiの推定式（数２５）における分母を計算する。
【００９４】
５０９は平均終端ベクトル分子計算部であって、μiの推定式（数２４）における分子を計算する。
【００９５】
５１０は分散共分散行列分子計算部であって、Σiの推定式（数２５）における分子を計算する。
【００９６】
５１１〜５１６はそれぞれ第１〜第６の累積和計算部であって、上記５０５〜５１０で計算された値の訓練単語ｒ＝１〜Ｒに関する累積値を求めるものである。
【００９７】
５１７、５１８、５１９は第１、第２、第３のパラメータ計算部であって、第１のパラメータ計算部５１７はパラメータaijに関して求められた、上記分母分子の比をとることにより、それらパラメータの推定値を計算し、第２のパラメータ計算部５１８はパラメータμiに関して求められた、上記分母分子の比をとることにより、それらパラメータの推定値を計算し、第３のパラメータ計算部５１９はパラメータΣiに関して求められた、上記分母分子の比をとることにより、それらパラメータの推定値を計算するものである。
【００９８】
５２０はパラメータ記憶部であって、上記推定されたパラメータを記憶するものである。
【００９９】
５２１は全体尤度計算部であって、上記推定されたパラメータを用いて上記ステップ（１２）における計算を行う。また、全体尤度記憶部５２２に記憶されている一段回前の全体尤度と新たに推定されたパラメータに基づく尤度とを比較する。
【０１００】
５２２は全体尤度記憶部であって、次に全体尤度計算部５２１で計算される尤度と比較するために、５２１で計算された尤度を一次的に記憶するものである。
【０１０１】
５２３は制御部であって、上記各ブロックに対して、状態番号の設定、状態ｉに対応する候補区間の設定、各種指令等を行うとともに、全体尤度計算部５２１の上記出力値に対し、それが予め定めた閾値以上であれば、まだ改善の余地があると判断し、パラメータの推定を再度行い、それが上記閾値以下であれば、収束したとして最推定を終了すると判断するものである。
【０１０２】
例えば、単語ｗに対応するモデルλｗの作成は次のごとく行われる。
【０１０３】
単語ｗをＲ回発声し、特徴抽出部５０１で特徴ベクトルの系列に変換されたＲ個のパタンが単語パタン記憶部５０２に記憶される。単語パタン記憶部５０２から、制御部５２３からの学習単語読み出し指令によって、ｒ番目（ｒ＝１〜Ｒ）の単語パタンwrが読み出され、バッファメモリ５０３に記憶される。上記パラメータの計算におけるt,τが上記制御部５２３からの区間設定信号としてバッファメモリ５０３に供給され、それに対応するバッファメモリ５０３に記憶された単語パタンwrの区間に対し、部分尤度計算部５０４は、P(wr,s(t-τ)＝i1,s(t-1)＝j1|λ)を計算する。
【０１０４】
この値を基に状態遷移確率分母計算部５０５により、aijの分母が計算され、状態遷移確率分子計算部５０６によりaijの分子が計算され、平均終端ベクトル分母計算部５０７によりμiの分母が計算され、平均終端ベクトル分子計算部５０９によりμiの分子が計算され、分散共分散行列分母計算部５０８によりΣiの分母が計算され、分散共分散行列分子計算部５１０によりΣiの分子が計算される。
【０１０５】
第１の累積和計算部５１１は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記aijの分母の累積和を計算し、第２の累積和計算部512は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記aijの分子の累積和を計算する。
【０１０６】
第３の累積和計算部５１３は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記μiの分母の累積和を計算し、第４の累積和計算部５１４は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記μiの分子の累積和を計算する。
【０１０７】
第５の累積和計算部５１５は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記Σiの分母の累積和を計算し、第６の累積和計算部５１６は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記Σiの分子の累積和を計算する。
【０１０８】
第１のパラメータ計算部５１７はこのようにして求められた訓練単語パタンwrのｒ＝１〜Ｒの状態ｉについての上記aijの分母の累積和と上記aijの分子の累積和からその比をとって状態ｉの遷移確率aijの新たな推定値を計算する。これをｉ＝１〜Ｉ―１について行う。
【０１０９】
第２のパラメータ計算部５１８はこのようにして求められた訓練単語パタンwrのｒ＝１〜Ｒの状態ｉについての上記μiの分母の累積和と上記μiの分子の累積和からその比をとって状態ｉの平均終端ベクトルμiの新たな推定値を計算する。これをｉ＝１〜Ｉ―１について行う。
【０１１０】
第３のパラメータ計算部５１９はこのようにして求められた訓練単語パタンwrのｒ＝１〜Ｒの状態ｉについての上記Σiの分母の累積和と上記Σiの分子の累積和からその比をとって状態ｉの分散共分散行列Σiの新たな推定値を計算する。これをｉ＝１〜Ｉ―１について行う。
【０１１１】
パラメータ記憶部５２０はこのようにして得られた遷移確率、平均終端ベクトル、分散共分散行列の新しい推定値を古いものと取り替えて、単語ｗに対応する更新されたパラメータλ＝｛λwi｝として記憶する。
【０１１２】
この更新されたパラメータλを基に全体尤度計算部５２１により、上記説明にしたがって訓練単語全単語に対する尤度を求め、更新前のパラメータに対して既に計算され、全体尤度記憶部５２２に記憶されている尤度と比較され、その判定結果が制御部５２３に送られると共に、上記計算された新たな尤度が全体尤度記憶部５２２に記憶される。制御部５２３は上記判定結果を基に改善の効果が予め定めた閾値ε以下になれば、パラメータの推定計算を打ち切り、その閾値以上であれば、まだ改善の余地があるとして、再度パラメータの推定を行う。
【０１１３】
同様な計算を上記判定結果を基に改善の効果が予め定めた閾値以下になるまで繰り返すことにより、λ＝｛λwi｝は一定の値に収束し、それが求めるべきパラメータとなる。
【０１１４】
（実施の形態2）
次に、実施の形態１のようなモデルを用いて実際の入力音声との尤度を計算する方法および装置について、またその尤度を用いて認識する方法および装置について説明する。
【０１１５】
上記従来例における（数１）で示したような厳密解を求めるときは、（数１８）において、α(T+1)（ｆ）なる計算を実行すればよいが、ここでは上記（数２）に相当する近似解を求める方法について説明する。φ（i,t）を時刻ｔ、状態ｉまでの最大累積尤度とすれば、（数２）に対応して漸化式
【０１１６】
【数３４】
2006259470.tif 000036
が成立する。また、
【０１１７】
【数３５】
2006259470.tif 000037
と定義する。従って、φ(i,t)をi=1〜I-1、t=1〜T+1について順次求めれば、φ(I,T+1)が入力パタンXに対するモデルλの最大尤度となる。
【０１１８】
図６は尤度計算装置の一実施例である。
６０１は特徴抽出部であって、入力音声信号を特徴ベクトルの系列X=x1,x2,…,xTに変換するものである。
【０１１９】
６０２はバッファメモリであって、上記特徴ベクトルの系列Xを一時的に蓄えるものである。
【０１２０】
６０３は確率密度計算部であって、（数２２）に従って、特徴ベクトルx(t-τ+k)の確率密度bi(x(t-τ+k))を計算するものである。
【０１２１】
６０４はパラメータ記憶部であって、上記確率密度の計算に必要な確率密度関数のパラメータを記憶する部分である。すなわち、i=1〜I-1におけるaij、μi、Σiを記憶している。
【０１２２】
６０５は累積確率密度計算部であって、上記（数３５）に従って、B(i,t,τ)を算出するものである。
【０１２３】
６０６は状態継続時間確率密度計算部であって、上記パラメータ記憶部６０４に記憶されている状態遷移確率から、状態iの連の長さがτになる確率密度A(i,τ)を上記（数３５）に従って算出するものである。
【０１２４】
６０７は尤度漸化式計算部であり、上記（数３４）をi＝1〜I-1、t=１〜T+1について算出し、最終的にφ(I,T+1)を求めるものである。
【０１２５】
６０８は途中累積尤度記憶部であり、上記（数３４）に従って上記尤度漸化式計算部６０７で算出される途中累積尤度φ(i,t)を逐次記憶し、この記憶された途中累積尤度は上記漸化式計算部６０７における以降の漸化式計算に用いられる。
【０１２６】
６０９は区間設定信号発生部であって、フレーム番号ｔ、状態番号i、状態ｑの連の長さτを順次設定するものであって、これらの値は上記各ブロックに供給され、i、t、τの種々の値について上記処理が行われる。
【０１２７】
以上のようにして、求められたφ(I,T+1)が上記モデルλから特徴ベクトル系列x1,
x2,…,xTが発生する尤度を与えることになる。
【０１２８】
本尤度計算装置を用いて、単語音声認識を行う時は、次のようにする。
【０１２９】
今、認識すべき単語をw=1〜Wとし、単語wに対してモデルλwが準備されているとする。このとき、モデルλwに対して上記処理と全く同様にして求められたφ(I,T+1)をφw(I,T+1)と置き換えるとすれば、
【０１３０】
【数３６】
2006259470.tif 000038
が認識結果となる。
【０１３１】
（実施の形態３）
本発明の第３の実施の形態におけるＨＭＭのパラメータは、主状態iから主状態ｊへの状態遷移確率aijと副状態ikにおける、時点ｔの観測ベクトルxtの確率密度関数b(ik)(xt)である。
【０１３２】
まず、aijの推定値は，上記（数２１）と同様である。
【０１３３】
次に、b(ik)(xt)のパラメータの推定について説明する。本実施例では、xtが各状態において多次元正規分布をするとした場合のＨＭＭについて説明する。この場合、推定すべきパラメータは、本来、平均値ベクトルおよび分散共分散行列であって、本発明においては、この平均値が上記ｋに従って２次曲線的に変化かつ前後の状態間で連続に変化するものであり、平均値の替わりに各状態の平均終端ベクトルおよび平均中点ベクトルを推定する。
【０１３４】
前述したように、従来は、状態ｉにおける特徴ベクトルｘの確率分布を規定するパラメータは、その状態ｉ内においては時間に関わりなく一定であるという定常性を仮定しているものであって、音声の過渡的な部分を表すには無理があると考えられる。
【０１３５】
本発明においては、この点を改良するために、その確率分布を規定するパラメータを簡単な時間関数で表す。特徴ベクトルの分布を正規分布とし、状態ｉ内において、その平均値ξiが時間に対して２次曲線的に変化しかつ前後の状態と連続であり、共分散行列Σiは状態ｉ内において時間的に一定であるとする。
【０１３６】
このとき、特徴ベクトルx(t-τ-1+k)に対する確率密度は上記（数２２）のように示される。
【０１３７】
ただし、平均値ベクトルξi(k)は以下のように定義する。
【０１３８】
【数３７】
2006259470.tif 000039
ここで、τは状態ｉに対応する音声区間のフレーム数、t-1は区間ｉの最終フレーム、ｋは区間ｉの開始フレームを１として順次数えたフレーム番号、２次曲線は区間ｉ内における終端ベクトルμiと中点ベクトルｕiと前状態の終端ベクトルμ(I−1)を通過する曲線である。
μi、,ui、,Σiは次のように推定される。
（μiの推定値）
μiの推定値は、
【０１３９】
【数３８】
2006259470.tif 000040
となる。ここで、nは計算の繰り返し回数を示し、n-1は1回前の繰り返しにおけるＨＭＭのパラメータである。
（ｕiの推定）
uiの推定値は、
【０１４０】
【数３９】
2006259470.tif 000041
となる。ここで、nは計算の繰り返し回数を示し、n-1は1回前の繰り返しにおけるＨＭＭのパラメータである。
（Σiの推定）
Σiの推定式は、上記（数２５）となる。
【０１４１】
パラメータ推定の実際の計算手順は次のようになる。
【０１４２】
単語ｗに対応するモデルλｗを作成するに当たって、単語ｗに対応するパタン
wr=xr1,…,xr(Tr) （ｒ＝１〜R;xrtはパタンｒの第ｔ番の特徴ベクトル,Trはパタンｒのフレーム数）が訓練用パタンとして与えられているものとする。また、ｊ＞ｉで、Ｉ＝f,i＝１〜Ｉ―1,j＝２〜Ｉとする。
（１）L1＝∞
（２）上記i,jについてλi＝｛aij,μi,Σi｝に適当な初期値を与える。
（３）ｒ＝１〜Ｒについてステップ（４）〜（８）を実行する。
（４）ｔ＝２〜Ｔ＋1,τ＝１〜ｔ―1,上記i,jについてλ＝｛λi｝としてＰ（wr,s(ｔ―τ)＝i1,st＝j1|λ）を計算する。
（５）（数２１）における、
【０１４３】
【数４０】
2006259470.tif 000042
の分子ａ(ij,nom)(ｒ)，分母ａ(ij,denom)(ｒ)を上記i,jについて計算する。
（６）（数３８）における、
【０１４４】
【数４１】
2006259470.tif 000043
の分子μ(i,nom)(ｒ)，分母μ(i,denom)(ｒ)を上記i,jについて計算する。
（７）（数３９）における、
【０１４５】
【数４２】
2006259470.tif 000044
の分子ｕ(i,nom)(ｒ)，分母ｕ(i,denom)(ｒ)を上記i,jについて計算する。
（８）（数２５）における、
【０１４６】
【数４３】
2006259470.tif 000045
の分子Σ(i,nom)(ｒ)，分母Σ(i,denom)(ｒ)を上記i,jについて計算する。
（９）上記（数２９）に従ってaijの推定値を計算する。
（１０）μiの推定値を計算する。
【０１４７】
【数４４】
2006259470.tif 000046
（１１）ｕiの推定値を計算する。
【０１４８】
【数４５】
2006259470.tif 000047
（１２）上記（数３１）に従ってΣiの推定値を計算する。
（１３）上記i,jについて
【０１４９】
【数４６】
2006259470.tif 000048
なる置き換えを行う。
（１４）λ＝｛λi｝として、上記（数３３）を計算する。
（１５）|L1―L2|/L1＞εならL1＝L2としてステップ（３）へ、そうでなければ終了する。
【０１５０】
ステップ（１５）におけるεは、収束の幅を決める適当に小さな正の数であって、これが小さいとパラメータの推定の精度は上がるが、収束に時間がかかり、これが大きいと、収束は速くなるが精度は悪くなるという関係があり、用途によって実用的な値が定められるべきものである。
【０１５１】
図７は、本発明の一実施例である。本実施例においては、aij=1 （for j=ｉ+１）,
aij＝０（for j ≠ｉ＋１）の場合について、以下図面に従って説明する。
【０１５２】
７０１は特徴抽出部であって、フィルタバンク、ＬＰＣ分析等周知の方法によって、入力音声信号を特徴ベクトルの系列に変換するものである。
【０１５３】
７０２は単語パタン記憶部であって、モデルλを作成するための訓練用単語を特徴ベクトル系列の形で複数個記憶するものである。
【０１５４】
７０３はバッファメモリであって、単語パタン記憶部７０２に記憶されている単語パタンを１つずつ取り出して一時的に記憶するものである。
【０１５５】
７０４は部分尤度計算部であって、上記ステップ（４），（５），（６），（７）,（８）におけるＰ（X(s(t-τ))＝i1,s(t-1)＝j1|λ）の計算を行う。
【０１５６】
７０５は状態遷移確率分母計算部であって、aijの推定式（数２１）における分母を計算する。
【０１５７】
７０６は状態遷移確率分子計算部であって、aijの推定式(数２１)における分子を計算する。
【０１５８】
７０７は平均終端ベクトル分母計算部であって、μiの推定式(数４４)における分母を計算する。
【０１５９】
７０８は平均中点ベクトル分母計算部であって、ｕiの推定式(数４５)における分母を計算する。
【０１６０】
７０９は分散共分散分母計算部であって、Σiの推定式（数２５）における分母を計算する。
【０１６１】
７１０は平均終端ベクトル分子計算部であって、μiの推定式（数４４）における分子を計算する。
【０１６２】
７１１は平均中点ベクトル分子計算部であって、ｕiの推定式（数４５）における分子を計算する。
【０１６３】
７１２は分散共分散分子計算部であって、Σiの推定式（数２５）における分子を計算する。
【０１６４】
７１３〜７２０はそれぞれ第１〜第８の累積和計算部であって、上記７０５〜７１２で計算された値の訓練単語ｒ＝１〜Ｒに関する累積値を求めるものである。
【０１６５】
７２１、７２２、７２３、７２４は第１、第２、第３、第４のパラメータ計算部であって、第１のパラメータ計算部７２１はパラメータaijに関して求められた、上記分母分子の比をとることにより、それらパラメータの推定値を計算し、第２のパラメータ計算部７２２はパラメータμiに関して求められた、上記分母分子の比をとることにより、それらパラメータの推定値を計算し、第３のパラメータ計算部７２３はパラメータｕiに関して求められた、上記分母分子の比をとることにより、それらパラメータの推定値を計算し、第４のパラメータ計算部７２４はパラメータΣiに関して求められた、上記分母分子の比をとることにより、それらパラメータの推定値を計算するものである。
【０１６６】
７２５はパラメータ記憶部であって、上記推定されたパラメータを記憶するものである。
【０１６７】
７２６は全体尤度計算部であって、上記推定されたパラメータを用いて上記ステップ（１４）における計算を行う。また、全体尤度記憶部７２７に記憶されている一段回前の全体尤度と新たに推定されたパラメータに基づく尤度とを比較する。
【０１６８】
７２７は全体尤度記憶部であって、次に全体尤度計算部７２６で計算される尤度と比較するために、全体尤度計算部７２６で計算された尤度を一次的に記憶するものである。
【０１６９】
７２８は制御部であって、上記各ブロックに対して、状態番号の設定、状態ｉに対応する候補区間の設定、各種指令等を行うとともに、全体尤度計算部７２６の上記出力値に対し、それが予め定めた閾値以上であれば、まだ改善の余地があると判断し、パラメータの推定を再度行い、それが上記閾値以下であれば、収束したとして最推定を終了すると判断するものである。
【０１７０】
例えば、単語ｗに対応するモデルλｗの作成は次のごとく行われる。
【０１７１】
単語ｗをＲ回発声し、特徴抽出部７０１で特徴ベクトルの系列に変換されたＲ個のパタンが単語パタン記憶部７０２に記憶される。単語パタン記憶部７０２から、制御部７２８からの学習単語読み出し指令によって、ｒ番目（ｒ＝１〜Ｒ）の単語パタンwrが読み出され、バッファメモリ７０３に記憶される。上記パラメータの計算におけるt,τが上記制御部７２８からの区間設定信号としてバッファメモリ７０３に供給され、それに対応するバッファメモリ７０３に記憶された単語パタンwrの区間に対し、部分尤度計算部７０４は、P(wr,s(t-τ)＝i1,s(t-1)＝j1|λ)を計算する。
【０１７２】
この値を基に状態遷移確率分母計算部７０５により、aijの分母が計算され、状態遷移確率分子計算部７０６によりaijの分子が計算され、平均終端ベクトル分母計算部７０７によりμiの分母が計算され、平均終端ベクトル分子計算部７１０によりμiの分子が計算され、平均中点ベクトル分母計算部７０８によりｕiの分母が計算され、平均中点ベクトル分子計算部７１１によりｕiの分子が計算され、分散共分散行列分母計算部７０９によりΣiの分母が計算され、分散共分散行列分子計算部７１２によりΣiの分子が計算される。
【０１７３】
第１の累積和計算部７１３は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記aijの分母の累積和を計算し、第２の累積和計算部７１４は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記aijの分子の累積和を計算する。
【０１７４】
第３の累積和計算部７１５は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記μiの分母の累積和を計算し、第４の累積和計算部７１６は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記μiの分子の累積和を計算する。
【０１７５】
第５の累積和計算部７１７は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記ｕiの分母の累積和を計算し、第６の累積和計算部７１８は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記ｕiの分子の累積和を計算する。
【０１７６】
第７の累積和計算部７１９は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記Σiの分母の累積和を計算し、第８の累積和計算部７２０は上記訓練単語パタンwr（ｒ＝１〜Ｒ）についての上記Σiの分子の累積和を計算する。
【０１７７】
第１のパラメータ計算部７２１はこのようにして求められた訓練単語パタンwrのｒ＝１〜Ｒの状態ｉについての上記aijの分母の累積和と上記aijの分子の累積和からその比をとって状態ｉの遷移確率aijの新たな推定値を計算する。これをｉ＝１〜Ｉ―１について行う。
【０１７８】
第２のパラメータ計算部７２２はこのようにして求められた訓練単語パタンwrのｒ＝１〜Ｒの状態ｉについての上記μiの分母の累積和と上記μiの分子の累積和からその比をとって状態ｉの平均終端ベクトルμiの新たな推定値を計算する。これをｉ＝１〜Ｉ―１について行う。
【０１７９】
第３のパラメータ計算部７２３はこのようにして求められた訓練単語パタンwrのｒ＝１〜Ｒの状態ｉについての上記ｕiの分母の累積和と上記ｕiの分子の累積和からその比をとって状態ｉの平均中点ベクトルｕiの新たな推定値を計算する。これをｉ＝１〜Ｉ―１について行う。
【０１８０】
第４のパラメータ計算部７２４はこのようにして求められた訓練単語パタンwrのｒ＝１〜Ｒの状態ｉについての上記Σiの分母の累積和と上記Σiの分子の累積和からその比をとって状態ｉの分散共分散行列Σiの新たな推定値を計算する。これをｉ＝１〜Ｉ―１について行う。
【０１８１】
パラメータ記憶部７２５はこのようにして得られた遷移確率、平均終端ベクトル、平均中点ベクトル、分散共分散行列の新しい推定値を古いものと取り替えて、単語ｗに対応する更新されたパラメータλ＝｛λwi｝として記憶する。
【０１８２】
この更新されたパラメータλを基に全体尤度計算部７２６により、上記説明にしたがって訓練単語全単語に対する尤度を求め、更新前のパラメータに対して既に計算され、全体尤度記憶部７２７に記憶されている尤度と比較され、その判定結果が制御部７２８に送られると共に、上記計算された新たな尤度が全体尤度記憶部７２７に記憶される。制御部７２８は上記判定結果を基に改善の効果が予め定めた閾値ε以下になれば、パラメータの推定計算を打ち切り、その閾値以上であれば、まだ改善の余地があるとして、再度パラメータの推定を行う。
【０１８３】
同様な計算を上記判定結果を基に改善の効果が予め定めた閾値以下になるまで繰り返すことにより、λ＝｛λwi｝は一定の値に収束し、それが求めるべきパラメータとなる。
【０１８４】
（実施の形態4）
次に、実施の形態３のようなモデルを用いて実際の入力音声との尤度を計算する方法および装置について、またその尤度を用いて認識する方法および装置について説明する。
上記従来例における（数１）で示したような厳密解を求めるときは、（数１８）において、α(T+1)（ｆ）なる計算を実行すればよいが、ここでは上記（数２）に相当する近似解を求める方法について説明する。上記漸化式（数３４）に示したように、φ（i,t）は時刻ｔ、状態ｉまでの最大累積尤度である。
【０１８５】
従って、φ(i,t)をi=1〜I-1、t=1〜T+1について順次求めれば、φ(I,T+1)が入力パタンXに対するモデルλの最大尤度となる。
【０１８６】
尤度計算装置の一実施例の構成は図６と同様であるが、上記確率密度計算部６０３における特徴ベクトルx(t-τ+k)の確率密度bi(x(t-τ+k))の算出式（数２２）のξi(k)が、（数３７）となる。
【０１８７】
本尤度計算装置を用いて、単語音声認識を行う場合も、実施の形態２と同様に、次のようにする。
【０１８８】
今、認識すべき単語をw=1〜Wとし、単語wに対してモデルλwが準備されているとする。このとき、モデルλwに対して上記処理と全く同様にして求められたφ(I,T+1)をφw(I,T+1)と置き換えるとすれば、上記（数３６）が認識結果となる。
【０１８９】
（実施の形態5）
実施の形態２および４において、状態iの連の長さτの値には、上限および下限が設けられていないため、τ=１であったり、τが極端に長いなど実際の音声との整合しない場合が考えられる。そこで、連の長さτに対して、各状態ごとに最大値、最小値を設けることにより不自然な対応を防ぐことを実施の形態５とする。
【０１９０】
次に、連の長さτに制限をかけた場合の、実際の入力音声との尤度を計算する方法および装置について、またその尤度を用いて認識する方法および装置について説明する。
上記従来例における（数１）で示したような厳密解を求めるときは、（数１８）において、α(T+1)（ｆ）なる計算を実行すればよいが、ここでは上記（数２）に相当する近似解を求める方法について説明する。φ（i,t）を時刻ｔ、状態ｉまでの最大累積尤度とすれば、（数２）に対応して上記漸化式（数３４）が成立する。
【０１９１】
従って、φ(i,t)をi=1〜I-1、t=1〜T+1について順次求めれば、φ(I,T+1)が入力パタンXに対するモデルλの最大尤度となる。
【０１９２】
図８は尤度計算装置の一実施例である。
【０１９３】
８０１は特徴抽出部であって、入力音声信号を特徴ベクトルの系列X=x1,x2,…,xTに変換するものである。
【０１９４】
８０２はバッファメモリであって、上記特徴ベクトルの系列Xを一時的に蓄えるものである。
【０１９５】
８０３は確率密度計算部であって,上記（数２２）に従って、特徴ベクトルx(t-τ+k)の確率密度bi(x(t-τ+k))を計算するものである。
【０１９６】
８０４はパラメータ記憶部であって、上記確率密度の計算に必要な確率密度関数のパラメータを記憶する部分である。すなわち、i=1〜I-1におけるaij、μi、Σiを記憶している。
【０１９７】
８０５は累積確率密度計算部であって、上記（数３５）に従って、B(i,t,τ)を算出するものであるが、連長最大値最小値制御部８１０によって連長τの最小値より短いかつ最大値より長い場合には、B(i,t,τ)の確率を0とするものである。
【０１９８】
８０６は状態継続時間確率密度計算部であって、上記パラメータ記憶部８０４に記憶されている状態遷移確率から、状態iの連の長さがτになる確率密度A(i,τ)を上記（数３５）に従って算出するものであるが、連長最大値最小値制御部８１０によって連長τの最小値より短いかつ最大値より長い場合には、A(i,τ)の確率を0とするものである。
【０１９９】
８０７は尤度漸化式計算部であり、上記（数３４）をi＝1〜I-1、t=１〜T+1について算出し、最終的にφ(I,T+1)を求めるものである。
【０２００】
８０８は途中累積尤度記憶部であり、上記（数３４）に従って上記尤度漸化式計算部８０７で算出される途中累積尤度φ(i,t)を逐次記憶し、この記憶された途中累積尤度は上記漸化式計算部８０７における以降の漸化式計算に用いられる。
【０２０１】
８０９は区間設定信号発生部であって、フレーム番号ｔ、状態番号i、状態ｑの連の長さτを順次設定するものであって、これらの値は上記各ブロックに供給され、i、t、τの種々の値について上記処理が行われる。
【０２０２】
８１０は連長最大値最小値制御部であって、各状態のτの最大値、最小値を制限するものである。
【０２０３】
以上のようにして、求められたφ(I,T+1)が上記モデルλから特徴ベクトル系列x1,
x2,…,xTが発生する尤度を与えることになる。
【０２０４】
本尤度計算装置を用いて、単語音声認識を行う時は、次のようにする。
【０２０５】
今、認識すべき単語をw=1〜Wとし、単語wに対してモデルλwが準備されているとする。このとき、モデルλwに対して上記処理と全く同様にして求められたφ(I,T+1)をφw(I,T+1)と置き換えるとすれば、上記（数３６）が認識結果となる。
【０２０６】
なお、本発明においては、同一状態における遷移確率aijは、その停留回数に関わりなく一定として説明していたために上記（数３５）のＡ（i,τ）は単純指数関数であったが、上記（数３５）のＡ（i,τ）をΓ分布やPoisson 分布で与えることも勿論である。この場合は仮定した分布のパラメータを訓練データから推定することになり、本発明で述べた方法により、同様に求められる。
【０２０７】
なお、本発明においては、ＨＭＭの各状態のパラメータは先行する状態との連続性を定義していたが、後段の状態との連続性も、同様にして求められる。
【産業上の利用可能性】
【０２０８】
本発明にかかるＨＭＭ作成装置およびそれを用いたい尤度計算装置、時系列パタン認識装置は、音韻によって特徴ベクトルの時間的な変化の特徴（動的特徴）を表現でき、セグメントiを越えて連続的に変化する音声の特徴が表現できるという効果を有し、音声認識等のパタン認識の分野等として有用である。
【図面の簡単な説明】
【０２０９】
【図１】ＨＭＭを用いた音声認識装置の従来例を説明するブロック図である。
【図２】従来のＨＭＭの構成を示す模式図である。
【図３】図２のモデルの概念を実現する一重のマルコフモデルを示す模式図である。
【図４】図３のＨＭＭに対するトレリス線図である。
【図５】本発明によるＨＭＭのパラメータ推定（直線的変化）を行う装置の一実施例を示すブロック図である。
【図６】本発明による尤度計算装置の一実施例を示すブロック図である。
【図７】本発明によるＨＭＭのパラメータ推定（２次曲線的変化）を行う装置の一実施例を示すブロック図である。
【図８】本発明による連の長さの最大値・最小値制限ありの尤度計算装置の一実施例を示すブロック図である。
【符号の説明】
【０２１０】
５０１  特徴抽出部
５０２  単語パタン記憶部
５０３  バッファメモリ
５０４  部分尤度計算部
５０５  状態遷移確率分母計算部
５０６  状態遷移確率分子計算部
５０７  平均終端ベクトル分母計算部
５０８  分散共分散行列分母計算部
５０９  平均終端ベクトル分子計算部
５１０  分散共分散行列分子計算部
５１１〜５１６  第１〜第６の累積和計算部
５１７、５１８、５１９  第１、第２、第３のパラメータ計算部
５２０  パラメータ記憶部
５２１  全体尤度計算部
５２２  全体尤度記憶部
５２３  制御部
【図１】
2006259470.tif 000049
【図２】
2006259470.tif 000050
【図３】
2006259470.tif 000051
【図４】
2006259470.tif 000052
【図５】
2006259470.tif 000053
【図６】
2006259470.tif 000054
【図７】
2006259470.tif 000055
【図８】
2006259470.tif 000056