(57)【要約】【課題】音声の動的信号そのものを高精度にモデル化することを可能にし、これにより、高精度の音声認識や特徴量生成を可能にするに音声信号モデルを用いた音声信号モデル化方法を提供する。【解決手段】状態方程式(a)及び観測方程式(b)による複数の異なる線形動的システム    ｘｔ＝Ｆｘｔ−１＋Ｇｗｔ＋ｕｔ      …（a)    ｚｔ＝Ｃｘｔ＋ｖｔ                  …（b)但し、Ｆ、Ｃ、Ｇ：変換行列、ｘｔ、ｚｔ、ｗｔ、ｖｔ：確率変数、ｕｔ：固定値を時間毎に切り替えることによって観測信号をモデル化する音声信号モデルであって、状態方程式(a)のシステム入力ｕｔを観測値ｙｔとし、観測方程式(b)の変換行列Ｃに非因果的フィルタを用い、前記観測方程式(b)の観測値ｚｔを非因果的フィルタの動きを規定する目標値ｍｑｔとする音声信号モデルを用いた音声信号モデル化方法である。【選択図】図１
2010204391.tif 000002
【特許請求の範囲】
【請求項１】
状態方程式(a)及び観測方程式(b)による複数の異なる線形動的システム
【数１】
2010204391.tif 000064
但し、Ｆ、Ｃ、Ｇ：変換行列
ｘｔ、ｚｔ、ｗｔ、ｖｔ：確率変数
ｕｔ：バイアス成分を表す固定値
を時間毎に切り替えることによって観測信号をモデル化した音声信号モデルによる音声信号モデル化方法であって、
前記状態方程式(a)のシステム入力ｕｔを観測値ｙｔとし、
前記観測方程式(b)の変換行列Ｃに非因果的フィルタを用い、前記観測方程式(b)の観測値ｚｔを非因果的フィルタの動きを規定する目標値ｍｑｔとすることを特徴とする音声信号モデル化方法。
【請求項２】
前記線形動的システムの状態方程式(a)の変換行列Ｆはシフト操作である
ことを特徴とする請求項１に記載の音声信号モデル化方法。
【請求項３】
請求項１または請求項２に記載の音声信号モデルを用いて、入力信号が、予め与えられた複数のクラスｋのうちどれから生成されたかを認識する信号認識装置であって、
前記線形動的システムの各パラメータを記憶するパラメータデータベース部と、
前記クラスｋ毎に、時刻０からＴまでの観測値の時系列ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率を足し合わせたものまたは前記各状態系列における同時確率のうち最大のものを当該クラスにおける前記時系列に対応する尤度として出力する尤度計算部と、
前記尤度が最大となるクラスｋを前記入力信号が生成されたクラスとして出力するクラス選択部と、
を具備することを特徴とする信号認識装置。
【請求項４】
観測信号を請求項１または請求項２に記載の音声信号モデルでモデル化するために、前記音声信号モデルの各パラメータを学習するパラメータ学習装置であって、
前記線形動的システムの各パラメータと前記変換行列Ｃとを記憶するパラメータデータベース部と、
時刻０からＴまでの観測値の時系列ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率の対数に対応する対数尤度を計算する対数尤度計算部と、
前記各状態の事後確率を計算する事後確率計算部と、
完全データの対数尤度の期待値が最大になるように前記パラメータを更新することにより前記パラメータの値を学習するパラメータ更新部と、
を具備することを特徴とするパラメータ学習装置。
【請求項５】
前記パラメータ更新部が、前記対数尤度の期待値が予め設定された値以上になるか、あるいは、予め設定された繰り返し回数を超えるまで、前記対数尤度の期待値が最大になる前記パラメータを学習する
ことを特徴とする請求項４に記載のパラメータ学習装置。
【請求項６】
請求項１または請求項２に記載の音声信号モデルを用いて、予め与えられたパラメータを有する前記音声信号モデルの代表的な特徴量を生成する特徴量生成装置であって、
前記各線形動的システムの各パラメータを記憶するパラメータデータベース部と、
前記線形動的システムの状態方程式のシステム入力ｕｔを零ベクトルとし、前記状態方程式の変換行列Ｇを式(c)とし、
【数２】
2010204391.tif 000065
前記状態方程式の変数ｘｔの初期値を零ベクトルとし、前記状態方程式の変数ｗｔに十分に大きな分散を設定する線形動的システムパラメータ設定部と、
前記線形動的システムを、入力された状態系列に従って接続することで時間毎に切り替わる線形動的システムを作成する線形動的システム構成部と、
前記作成された線形動的システムに対してカルマンスムーザを動作させることにより得られる平滑化された特徴量を、前記代表的な特徴量の系列として出力するカルマンスムーザ実行部と、
を具備することを特徴とする特徴量生成装置。
【請求項７】
請求項１または請求項２に記載の音声信号モデルを用いて、入力信号が、予め与えられた複数のクラスｋのうちどれから生成されたかを認識する信号認識方法であって、
前記線形動的システムの各パラメータをメモリ内に記憶し、
前記クラスｋ毎に、時刻０からＴまでの観測値の時系列ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率を足し合わせたものまたは前記各状態系列における同時確率のうち最大のものを当該クラスにおける前記時系列に対応する尤度として出力し、
前記尤度が最大となるクラスｋを前記入力信号が生成されたクラスとして出力する
ことを特徴とする信号認識方法。
【請求項８】
観測信号を請求項１または請求項２に記載の音声信号モデルでモデル化するために、前記音声信号モデルの各パラメータを学習するパラメータ学習方法であって、
前記線形動的システムの各パラメータと前記変換行列Ｃとを記憶し、
時刻０からＴまでの観測値の時系列Ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率の対数に対応する対数尤度を計算し、
前記各状態の事後確率を計算し、
完全データの対数尤度の期待値が最大になるように前記パラメータを更新することにより前記パラメータの値を学習する
ことを特徴とするパラメータ学習方法。
【請求項９】
前記対数尤度の期待値が予め設定された値以上になるか、あるいは、予め設定された繰り返し回数を超えるまで、前記対数尤度の期待値が最大になる前記パラメータを学習する
ことを特徴とする請求項８に記載のパラメータ学習方法。
【請求項１０】
請求項１または請求項２に記載の音声信号モデルを用いて、予め与えられたパラメータを有する前記音声信号モデルの代表的な特徴量を生成する特徴量生成方法であって、
前記各線形動的システムの各パラメータを記憶し、
前記線形動的システムの状態方程式のシステム入力ｕｔを零ベクトルとし、前記状態方程式の変換行列Ｇを式(d)とし、
【数３】
2010204391.tif 000066
前記状態方程式の変数ｘｔの初期値を零ベクトルとし、前記状態方程式の変数ｗｔに十分に大きな分散を設定し、
前記線形動的システムを、入力された状態系列に従って接続することで時間毎に切り替わる線形動的システムを作成し、
前記作成された線形動的システムに対してカルマンスムーザを動作させることにより得られる平滑化された特徴量を、前記代表的な特徴量の系列として出力する
ことを特徴とする特徴量生成方法。
【請求項１１】
請求項１または請求項２に記載の音声信号モデルを用いて、入力信号が、予め与えられた複数のクラスｋのうちどれから生成されたかを認識する信号認識装置のプログラムであって、
コンピュータに、
前記線形動的システムの各パラメータをメモリ内に記憶する処理と、
前記クラスｋ毎に、時刻０からＴまでの観測値の時系列ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率を足し合わせたものまたは前記各状態系列における同時確率のうち最大のものを当該クラスにおける前記時系列に対応する尤度として出力する処理と、
前記尤度が最大となるクラスｋを前記入力信号が生成されたクラスとして出力する処理と、
を実行させるためプログラム。
【請求項１２】
観測信号を請求項１または請求項２に記載の音声信号モデルでモデル化するために、前記音声信号モデルの各パラメータを学習するパラメータ学習装置のプログラムであって、
コンピュータに、
前記線形動的システムの各パラメータと前記変換行列Ｃとを記憶する処理と、
時刻０からＴまでの観測値の時系列ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率の対数に対応する対数尤度を計算する処理と、
前記各状態の事後確率を計算する処理と、
完全データの対数尤度の期待値が最大になるように前記パラメータを更新することにより前記パラメータの値を学習する処理と、
を実行させるためのプログラム。
【請求項１３】
請求項１または請求項２に記載の音声信号モデルを用いて、予め与えられたパラメータを有する前記音声信号モデルの代表的な特徴量を生成する特徴量生成装置のプログラムであって、
前記各線形動的システムの各パラメータを記憶する処理と、
前記線形動的システムの状態方程式のシステム入力ｕｔを零ベクトルとし、前記状態方程式の変換行列Ｇを式(e)とし、
【数４】
2010204391.tif 000067
前記状態方程式の変数ｘｔの初期値を零ベクトルとし、前記状態方程式の変数ｗｔに十分に大きな分散を設定する処理と、
前記線形動的システムを、入力された状態系列に従って接続することで時間毎に切り替わる線形動的システムを作成する処理と、
前記作成された線形動的システムに対してカルマンスムーザを動作させることにより得られる平滑化された特徴量を、前記代表的な特徴量の系列として出力する処理と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識、音声合成等の分野で用いられる技術に関し、特に、線形動的システムを時間的に切り替えることによってモデル化する音声信号モデル化方法、信号認識装置及び方法、パラメータ学習装置及び方法、特徴量生成装置及び方法並びにプログラムに関する。
【背景技術】
【０００２】
音声のモデル化技術である線形動的システムを時間毎に切り替える手法について、記述する。まず、線形動的システムを図１に示す。この図でのシステムの動作は以下の２つの方程式で記述できる。これは図１の動作を式で記述したものである。
【０００３】
【数１】
2010204391.tif 000003
ここで、Ｆ，Ｃ，Ｇは、変換行列であり、任意の行列を定義できる。ｘｔ，ｚｔ，ｗｔ，ｖｔは確率変数である。 式（１）と （２） は状態遷移方程式、観測方程式とそれぞれ呼ばれる。ｕｔはバイアス成分を表す固定値である。一般的には、ｗｔ，ｕｔは一つの変数で表せるが、ここでは、バイアスと０を平均とする確率変数に分けることとする。ｗｔ、ｖｔはそれぞれ以下のガウス分布に従う確率変数である。
【０００４】
【数２】
2010204391.tif 000004
ここでＱｔとＲｔは共分散行列を表す。 従来手法では、このような線形動的システムを複数用意し、それを時間毎に切り替えることにより、音声をモデル化する手法がいくつか提案されている。図２にそのモデルを示す。ｑｔは時刻ｔでの状態を表し、この状態に線形動的システムが１つ割り当てられていて、それを選択する。但し、このｑｔは隠れ状態となるので、状態の選択は一意に決定されるわけではなく確率的に分布している。
【０００５】
線形動的システムという枠組みでモデルを構築することにより、信号の認識手法、モデルパラメータの学習手法、及び信号の特徴量生成手法を統一的な枠組みで捉えることができる。このような線形動的システムを時間毎に切り替えるモデル化の文献として非特許文献１〜非特許文献３が知られている。
また、非因果的なフィルタを時間毎に切り替えることでＦ０（基本周波数）軌跡をモデル化する手法が知られている（非特許文献４）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】L. Deng, “A dynamic, feature-based approach to the interface between phonology and phonetics for speech modeling and recognition,” Speech Communication, 24 (4), pp. 299-323, 1998.
【非特許文献２】V. Digalakis, J. R. Rohlicek, and M. Ostendorf, “ML Estimation of a Stochastic LinearSystem with the EM Algorithm and Its Application to Speech Recognition” IEEE Trans. Speech Audio Processing, Vol. 1, No. 4, pp. 431-442, 1993.
【非特許文献３】K. P. Murphy, “Switching Kalman Filters,”  http://http.cs.berkeley.edu/~murphyk/Papers/skf.ps.gz
【非特許文献４】Y. Ohishi, H. Kameoka, K. Kashino, and K. Takeda, “Parameter Estimation Method of F0 Control Model For Singing Voices,”(INTERSPEECH 2008), pp.139-142, Brisbane, Australia, Sept. 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１は、２次の臨界制動フィルタをモデル化した手法であり、任意の非因果的なフィルタをするものではない。また非特許文献２、非特許文献３は、一般的なカルマンフィルタを想定している上に、目標値の設定も考慮にいれていない。また、どの手法も信号生成を考慮にはいれていない。そのため、音声の動的信号そのものを高精度にモデル化するには適していなかった。
【０００８】
【数３】
2010204391.tif 000005
ここで、ｘｔは入力信号、 ｚｔは出力信号、ｃは入力信号に乗算する係数を表す。
また、非特許文献４の技術では、非因果的フィルタを用いてＦ０軌跡をモデル化し、そのモデルパラメータをビタービ学習法により学習する方法が考案されているが、線形動的システムという枠組みの下で非因果的フィルタを扱う手法ではない。そのため、このモデルを音声認識や特徴量生成に応用する方法は知られていなかった。
【０００９】
本発明は、このような事情に鑑みてなされたもので、その目的は、音声の動的信号そのものを高精度にモデル化することを可能にし、これにより、高精度の音声認識や特徴量生成を可能にするに音声信号モデル、及びそれを用いた信号認識装置及び方法、パラメータ学習装置及び方法、特徴量生成装置及び方法並びにプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
請求項１に記載された発明は、状態方程式(a)及び観測方程式(b)による複数の異なる線形動的システム
【００１１】
【数４】
2010204391.tif 000006
但し、Ｆ、Ｃ、Ｇ：変換行列
ｘｔ、ｚｔ、ｗｔ、ｖｔ：確率変数
ｕｔ：バイアス成分を表す固定値
を時間毎に切り替えることによって観測信号をモデル化した音声信号モデルによる音声信号モデル化方法であって、前記状態方程式(a)のシステム入力ｕｔを観測値ｙｔとし、前記観測方程式(b)の変換行列Ｃに非因果的フィルタを用い、前記観測方程式(b)の観測値ｚｔを非因果的フィルタの動きを規定する目標値ｍｑｔとすることを特徴とする音声信号モデル化方法である。
請求項２に記載された発明は、請求項１に記載の音声信号モデルにおいて、前記線形動的システムの状態方程式(a)の変換行列Ｆはシフト操作であることを特徴とする。
【００１２】
請求項３に記載された発明は、請求項１または請求項２に記載の音声信号モデルを用いて、入力信号が、予め与えられた複数のクラスｋのうちどれから生成されたかを認識する信号認識装置であって、前記線形動的システムの各パラメータを記憶するパラメータデータベース部と、前記クラスｋ毎に、時刻０からＴまでの観測値の時系列ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率を足し合わせたものまたは前記各状態系列における同時確率のうち最大のものを当該クラスにおける前記時系列に対応する尤度として出力する尤度計算部と、前記尤度が最大となるクラスｋを前記入力信号が生成されたクラスとして出力するクラス選択部と、を具備することを特徴とする信号認識装置である。
【００１３】
請求項４に記載された発明は、観測信号を請求項１または請求項２に記載の音声信号モデルでモデル化するために、前記音声信号モデルの各パラメータを学習するパラメータ学習装置であって、前記線形動的システムの各パラメータと前記変換行列Ｃとを記憶するパラメータデータベース部と、時刻０からＴまでの観測値の時系列ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率の対数に対応する対数尤度を計算する対数尤度計算部と、前記各状態の事後確率を計算する事後確率計算部と、完全データの対数尤度の期待値が最大になるように前記パラメータを更新することにより前記パラメータの値を学習するパラメータ更新部とを具備することを特徴とするパラメータ学習装置である。
【００１４】
請求項５に記載された発明は、請求項４に記載のパラメータ学習装置において、前記パラメータ更新部が、前記対数尤度の期待値が予め設定された値以上になるか、あるいは、予め設定された繰り返し回数を超えるまで、前記対数尤度の期待値が最大になる前記パラメータを学習することを特徴とする。
請求項６に記載された発明は、請求項１または請求項２に記載の音声信号モデルを用いて、予め与えられたパラメータを有する前記音声信号モデルの代表的な特徴量を生成する特徴量生成装置であって、前記各線形動的システムの各パラメータを記憶するパラメータデータベース部と、前記線形動的システムの状態方程式のシステム入力ｕｔを零ベクトルとし、前記状態方程式の変換行列Ｇを式(c)とし、
【００１５】
【数５】
2010204391.tif 000007
前記状態方程式の変数ｘｔの初期値を零ベクトルとし、前記状態方程式の変数ｗｔに十分に大きな分散を設定する線形動的システムパラメータ設定部と、前記線形動的システムを、入力された状態系列に従って接続することで時間毎に切り替わる線形動的システムを作成する線形動的システム構成部と、前記作成された線形動的システムに対してカルマンスムーザを動作させることにより得られる平滑化された特徴量を、前記代表的な特徴量の系列として出力するカルマンスムーザ実行部とを具備することを特徴とする特徴量生成装置である。
【００１６】
請求項７に記載された発明は、請求項１または請求項２に記載の音声信号モデルを用いて、入力信号が、予め与えられた複数のクラスｋのうちどれから生成されたかを認識する信号認識方法であって、前記線形動的システムの各パラメータをメモリ内に記憶し、前記クラスｋ毎に、時刻０からＴまでの観測値の時系列ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率を足し合わせたものまたは前記各状態系列における同時確率のうち最大のものを当該クラスにおける前記時系列に対応する尤度として出力し、前記尤度が最大となるクラスｋを前記入力信号が生成されたクラスとして出力することを特徴とする信号認識方法である。
【００１７】
請求項８に記載された発明は、観測信号を請求項１または請求項２に記載の音声信号モデルでモデル化するために、前記音声信号モデルの各パラメータを学習するパラメータ学習方法であって、前記線形動的システムの各パラメータと前記変換行列Ｃとを記憶し、時刻０からＴまでの観測値の時系列Ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率の対数に対応する対数尤度を計算し、前記各状態の事後確率を計算し、完全データの対数尤度の期待値が最大になるように前記パラメータを更新することにより前記パラメータの値を学習することを特徴とするパラメータ学習方法である。
【００１８】
請求項９に記載された発明は、請求項８に記載のパラメータ学習方法において、前記対数尤度の期待値が予め設定された値以上になるか、あるいは、予め設定された繰り返し回数を超えるまで、前記対数尤度の期待値が最大になる前記パラメータを学習することを特徴とする。
請求項１０に記載された発明は、請求項１または請求項２に記載の音声信号モデルを用いて、予め与えられたパラメータを有する前記音声信号モデルの代表的な特徴量を生成する特徴量生成方法であって、前記各線形動的システムの各パラメータを記憶し、前記線形動的システムの状態方程式のシステム入力ｕｔを零ベクトルとし、前記状態方程式の変換行列Ｇを式(d)とし、
【００１９】
【数６】
2010204391.tif 000008
前記状態方程式の変数ｘｔの初期値を零ベクトルとし、前記状態方程式の変数ｗｔに十分に大きな分散を設定し、前記線形動的システムを、入力された状態系列に従って接続することで時間毎に切り替わる線形動的システムを作成し、前記作成された線形動的システムに対してカルマンスムーザを動作させることにより得られる平滑化された特徴量を、前記代表的な特徴量の系列として出力することを特徴とする特徴量生成方法である。
【００２０】
請求項１１に記載された発明は、請求項１または請求項２に記載の音声信号モデルを用いて、入力信号が、予め与えられた複数のクラスｋのうちどれから生成されたかを認識する信号認識装置のプログラムであって、コンピュータに、前記線形動的システムの各パラメータをメモリ内に記憶する処理と、前記クラスｋ毎に、時刻０からＴまでの観測値の時系列ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率を足し合わせたものまたは前記各状態系列における同時確率のうち最大のものを当該クラスにおける前記時系列に対応する尤度として出力する処理と、前記尤度が最大となるクラスｋを前記入力信号が生成されたクラスとして出力する処理とを実行させるためプログラムである。
【００２１】
請求項１２に記載された発明は、観測信号を請求項１または請求項２に記載の音声信号モデルでモデル化するために、前記音声信号モデルの各パラメータを学習するパラメータ学習装置のプログラムであって、コンピュータに、前記線形動的システムの各パラメータと前記変換行列Ｃとを記憶する処理と、時刻０からＴまでの観測値の時系列ｘ０：Ｔと時刻０からＴまでの状態系列ｑ０：Ｔの同時確率の対数に対応する対数尤度を計算する処理と、前記各状態の事後確率を計算する処理と、完全データの対数尤度の期待値が最大になるように前記パラメータを更新することにより前記パラメータの値を学習する処理とを実行させるためのプログラムである。
【００２２】
請求項１３に記載された発明は、請求項１または請求項２に記載の音声信号モデルを用いて、予め与えられたパラメータを有する前記音声信号モデルの代表的な特徴量を生成する特徴量生成装置のプログラムであって、前記各線形動的システムの各パラメータを記憶する処理と、前記線形動的システムの状態方程式のシステム入力ｕｔを零ベクトルとし、前記状態方程式の変換行列Ｇを式(e)とし、
【００２３】
【数７】
2010204391.tif 000009
前記状態方程式の変数ｘｔの初期値を零ベクトルとし、前記状態方程式の変数ｗｔに十分に大きな分散を設定する処理と、前記線形動的システムを、入力された状態系列に従って接続することで時間毎に切り替わる線形動的システムを作成する処理と、前記作成された線形動的システムに対してカルマンスムーザを動作させることにより得られる平滑化された特徴量を、前記代表的な特徴量の系列として出力する処理とを実行させるためのプログラムである。
【発明の効果】
【００２４】
この発明によれば、音声の動的信号そのものを高精度にモデル化することができる。これにより、高精度の音声認識や音声合成が可能になる効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】この発明の第1の実施形態による音声信号モデルに使用される線形動的システムの構成を示すブロック図である。
【図２】線形動的システムを用いた音声信号モデル化手法を説明するためのブロック図である。
【図３】この発明の第1の実施形態による信号認識装置を説明するためのブロック図である。
【図４】この発明の第２の実施形態によるパラメータ学習装置を説明するためのブロック図である。
【図５】図４における尤度計算部２２を説明するためのブロック図である。
【図６】この発明の第３の実施形態による特徴量生成装置を説明するためのブロック図である。
【発明を実施するための形態】
【００２６】
本発明では、以下のように記述できる非因果的なフィルタを線形動的システムに導入する。さらに、その線形動的システムを時間毎にスイッチする手法を提案する。この手法のことをここでは、Switching Acausal Filter （ＳＡＦ)と呼ぶ。
【００２７】
【数８】
2010204391.tif 000010
本発明では、このＳＡＦを使った信号の認識手法、パラメータの学習手法、特徴量生成手法を解決する。これにより、非特許文献１〜３の手法と比較して、音声などの信号の動的変動そのものを高精度にモデル化することが可能となる。また、ＳＡＦを用いてモデル化できる信号全てに対して、認識、学習、特徴量生成の手法を提供することができる。具体的には、本発明を用いると、非特許文献４で提案された手法がビタービ学習によりパラメータを学習するのに対し、より精度の高いＥＭ（Expectation-Maximization）学習でのパラメータ学習が実現できる。また、非特許文献４には、学習手法は提案されているのに対して、認識、特徴量生成手法の提案はないが、本発明は、その両方を提供するものである。
【００２８】
以下、本発明の実施形態について図面を参照して説明する。
図１に示す線形動的システムを表す式を再掲する。
【００２９】
【数９】
2010204391.tif 000011
上記の線形動的システムの各変数を以下のように設定することで複数の線形動的システムをつくる。これにより、非因果的なフィルタを線形動的システムで利用できるようになる。具体的には式(7)が非因果的なフィルタとなる。このような設定を行う線形動的システムは他にはない。
【００３０】
【数１０】
2010204391.tif 000012
ｙｔは観測値である。ｘ０は初期の内部状態で、観測値がそのままセットされる。２ｎ＋１は内部状態ｘｔのウィンドウ幅である。Ｆはシフトオペレーションである。ｕｔは、ベクトルで最初の列に観測信号ｙｔ＋ｎが代入される。ｕｔとＦは常に以下の式が満たされるよう設定されている。 
【００３１】
【数１１】
2010204391.tif 000013
認識及び学習時には、これを実現するため以下の設定を行う。
【００３２】
【数１２】
2010204391.tif 000014
すなわち、これは以下を示している。
【００３３】
【数１３】
2010204391.tif 000015
ここで、式（８）に時間毎に線形動的システムを選択する状態ｑｔを導入する。これは、ｚｔ、Ｒｔという行列を時刻ｔでどの行列にセットするかを決定する。これを実現するため、ここでは以下の設定を行う。
【００３４】
【数１４】
2010204391.tif 000016
ｚｔには、非因果フィルタの動きを規定する目標値 ｍｑｔが設定される。ｍｑｔは、同じ状態の中では固定的な値を示すベクトルである。 一般的な線形動的システムでは 観測値が ｚｔにセットされる。しかし、ここでは、観測値を ｕｔにセットする。この部分が従来の線形動的システムとは大きく異なる。さらに、状態には、以下のｖｔも定義される。
【００３５】
【数１５】
2010204391.tif 000017
ここも本発明が従来手法と大きく違うところである。 
最後に、Ｃを次のように設定する。
【００３６】
【数１６】
2010204391.tif 000018
ここでｃｉは、１個の非因果的なフィルタの係数を表している。個々のフィルタ係数は以下のようになる。
【００３７】
【数１７】
2010204391.tif 000019
この記述から、式(8)は、複数の非因果的フィルタの目標値をｍｑｔと設定する系において、その 誤差の確率変数がｖｔとなる系を示していることになる。このとき、この系の特性はｍｑｔ、ｃ、Ｒｑｔによって規定される。このように設定することで、ｘｔの前後の時間情報を使ったフィルタ、すなわち、非因果的なフィルタを実現できる。ここで、以上のｑｔに依存した観測方程式を用いることで、時刻ｔにおいて、非因果的なフィルタを選ぶことになる。
本発明は、以上で示した線形動的システムを切り替える手法において、認識手法、パラメータ学習手法、特徴量生成手法の３種類から構成される。以下にこの３種類について説明する。
【００３８】
（１）認識手法
図３に認識手法のブロック図を示す。
ここでは、入力された音声に対してそのｋ個のクラスのうちどれから生成されたかを認識する。図３のパラメータデータベース部１１には、各クラスのパラメータ情報が保存されている。
【００３９】
【数１８】
2010204391.tif 000020
（A)：クラスｋのパラメータ情報のセット
（B)：クラスｋの状態ｊでのｖｊの分散
（C)：クラスｋでの状態jでの目標値
（D)：クラスｋの状態遷移確率
（E)：クラスｋの初期状態確率
図３の尤度計算部１２での処理を以下に示す。
最初にｘ０：Ｔ、ｑ０：Ｔの同時確率を計算する。ここで、ｘ０：Ｔはｘｔの時刻０からＴまでの時系列を表す。
【００４０】
【数１９】
2010204391.tif 000021
ここで、
【００４１】
【数２０】
2010204391.tif 000022
、はガウス分布であり、以下のように計算できる。
【００４２】
【数２１】
2010204391.tif 000023
ここで、確率変数ｘｔはＣが乗算されているので、この確率変数の分布を求めるためには以下の正規化定数を乗算する。
【００４３】
【数２２】
2010204391.tif 000024
最後に以下の式のどちらかを実行し、各クラスの尤度を求める。
【００４４】
【数２３】
2010204391.tif 000025
クラス選択部１３では、以上の式の値が最大になるｋを探し出す（周知技術を利用する）。
【００４５】
（２）学習手法
学習では、θ＝{∀i,j,Ｒｊ，ｍｊ，Ｃ，Ｐｒ（ｑｔ＝ｊ｜ｑｔ−１＝ｉ），ａｎｄ  Ｐｒ（ｑ０＝i）}のパラメータを学習する。認識では、ｋ個のクラスのパラメータを示していたが、学習手法は各クラスで共通なので、１つの場合について記述する。また、ここでは、Ｃの学習も行う。図４に学習のためのブロック図を示す。本手法では、ＥＭ学習により学習を行う。ここでは、データが一つの場合の学習手法について述べるが、データが増えた場合は、そのデータに応じて和をとることにより容易に複数のデータに拡張できる。図４の尤度計算部２２は、さらに、詳細に記述すると、図５のように対数尤度計算部２２ａと事後確率計算部２２ｂからなる。
まず、図５から説明を行う。図５の対数尤度計算部２２ａでは、対数尤度を以下のように計算する。この過程で得られる途中経過は全て保存しておく。
【００４６】
【数２４】
2010204391.tif 000026
事後確率計算部２２ｂでは、事後確率
【００４７】
【数２５】
2010204391.tif 000027
を以下のように計算する。この事後確率は、以下のフォワード計算とバックワード計算とそれらの結果からの事後確率計算によって計算できる。それぞれを以下に説明する。
[フォワード計算] 
仮定として
【００４８】
【数２６】
2010204391.tif 000028
が既に得られているものとする。するとフォワードの計算は以下のように実現できる。
【００４９】
【数２７】
2010204391.tif 000029
このとき、初期値を以下のようにすれば、上記再帰的計算が実現できる。
【００５０】
【数２８】
2010204391.tif 000030
[バックワード計算]
仮定として
【００５１】
【数２９】
2010204391.tif 000031
が既に得られているとする。この時、バックワードの再帰計算は以下のようになる。
【００５２】
【数３０】
2010204391.tif 000032
このとき、初期値を１とおくと、式(30)は再帰計算となり、順次求めることができる。
[状態毎の事後確率の計算]
フォワードの計算とバックワードの計算から、 事後確率
【００５３】
【数３１】
2010204391.tif 000033
は以下のように 計算できる。
【００５４】
【数３２】
2010204391.tif 000034
さらに、以下の式を使うと
【００５５】
【数３３】
2010204391.tif 000035
最終的に、以下の計算式が得られる。
【００５６】
【数３４】
2010204391.tif 000036
【００５７】
図４のパラメータ更新部２３では、ＥＭのＭ計算により、完全データの対数尤度の期待値を逐次的に最大化する。この対数尤度の期待値は以下のように書ける。
【００５８】
【数３５】
2010204391.tif 000037
ここでθは、次に得られるパラメータのセットで、θｏｌｄは現在のパラメータセットである。パラメータを学習するためには、この尤度を最大化するパラメータを求めればよい。これを行うために、そのパラメータで式(34)の尤度を微分し、その値を０とおく。パラメータＲをこの手順で計算すると以下のようになる。
【００５９】
【数３６】
2010204391.tif 000038
同様にして、ｍｊ の計算も以下のように計算できる。
【００６０】
【数３７】
2010204391.tif 000039
Ｃの計算においても、 尤度をＣに関して微分して０と置くと以下の式が計算できる。
【００６１】
【数３８】
2010204391.tif 000040
この式では、Ｃの関数であるｆ（Ｃ）が現われ、解析的に式(39)を解くことは難しい。そこで、ここでは、ｆ（Ｃ）を無視して次の式を得る。
【００６２】
【数３９】
2010204391.tif 000041
結果的にこの式からCの更新式を以下のように得る。
【００６３】
【数４０】
2010204391.tif 000042
遷移確率も尤度を 
【００６４】
【数４１】
2010204391.tif 000043
に関して微分し、０と置くことによって計算できる。
この式を以下に示す。
【００６５】
【数４２】
2010204391.tif 000044
【００６６】
【数４３】
2010204391.tif 000045
に関する総和が１になるという拘束条件を使うと、 最終的に以下の式が得られる。
【００６７】
【数４４】
2010204391.tif 000046
初期状態確率も同様に得られる。式は以下のようになる。
【００６８】
【数４５】
2010204391.tif 000047
以上の式をまとめると、パラメータ更新部では、以下の式を計算することになる。
【００６９】
【数４６】
2010204391.tif 000048
【００７０】
パラメータ更新部２３では、上記の式(45)〜(49)により各パラメータの値を更新した後、式(34)の期待値を計算する。期待値が最大になるまで式(45)〜(49)によるパラメータ更新処理を繰り返すことにより、式(34)を最大化するパラメータを求める。ここで、繰り返し処理は、例えば、予め設定された所定の繰り返し回数に到達するまで繰り返すことにしてもよいし、期待値が更新する直前のパラメータから算出された期待値よりも大きい間は繰り返し処理を行ってパラメータを更新することとしてもよい。
【００７１】
（３）特徴量生成手法
本手法は、学習されたパラメータから、代表的な特徴量を生成するときに利用できる。具体的には、音声合成やピッチの合成などに利用できる。認識手法や学習では、ｘｔが入ってきた入力に固定される値だとしていた。 ここでは、ｘｔを、確率変数であると仮定し、学習したパラメータが与えられているときの代表的な特徴力系列を出力するために利用する。まず、 ここでは状態の系列ｑ０：Ｔが与えられているものとする。
図６にブロック図を示す。まず、線形動的システムパラメータ設定部３３では、Ｗｔが自由にいろいろな値がとれるように、以下のように設定する。
【００７２】
【数４７】
2010204391.tif 000049
ここで 、ζは非常に大きな正の値を代入する。また、線形動的システムパラメータ設定部３３ではｕｔ、ｘ０、Ｇを以下のように設定する。 
【００７３】
【数４８】
2010204391.tif 000050
以上のように設定した線形動的システムを使って、動的システム構成部３２では、線形動的システムを状態系列に従って接続する。カルマンスムーザ実行部３４では、作成された線形動的システムを使ってカルマンスムーザを駆動する。最終的に、カルマンスムーザによって得られる内部状態の平均値
【００７４】
【数４９】
2010204391.tif 000051
を、特徴量の系列とする。
【実施例】
【００７５】
実施例として、音声の基本周波数（Ｆ０）制御モデルの例をあげる。このモデルは従来のモデルとモデル化までは同じである。その実施方法は異なる。音声のＦ０制御モデルはＦ０の輪郭を以下の微分方程式であらわす。 
【００７６】
【数５０】
2010204391.tif 000052
ここで ｙ は観測された Ｆ０ の輪郭を表している。またφはシステムへの入力を表している。 このモデル化を離散的に表現するために、yの１次微分と２次微分を以下の２つの式で近似する。
【００７７】
【数５１】
2010204391.tif 000053
ここで、 ＡとＢは線形の行列である。また、ｙｔはＦ０の輪郭
【００７８】
【数５２】
2010204391.tif 000054
Ｆ０制御では、φを状態だけに依存するステップファンクションだと仮定している。 この過程のもとで、 式(54)を離散化し、誤差を考えると以下のように記述できる。 
【００７９】
【数５３】
2010204391.tif 000055
ここで、ｍｑは状態ｑｔでのステップ関数の値を示す。この値は一つの状態中では一定の値を示す。εｑは誤差関数で、状態中では一定の分散を持つ。Ｆ０制御モデルの目的は、入力データに関して、式(58)のα、βとγを決定することである。これを決めるために、本発明が利用できる。最初に、状態方程式と、観測方程式を作成する。
これを行うために、Ｃ、ｍｊ、Ｒｊを以下のように設定する。ここで、ｊは状態の番号を表す。
【００８０】
【数５４】
2010204391.tif 000056
これらの式を用いて状態方程式と観測方程式を作成し、実施形態の１、２、３、を行えば、Ｆ０輪郭の認識、学習、生成が実現できる。
上記の目的は、このうちの学習に相当する。但し、学習に関しては、α、 β、 γを求めるため、以下の処理を行う必要がある。
式(34)をα、βとγで微分し以下の式を得る。
【００８１】
【数５５】
2010204391.tif 000057
この式を展開すると以下の式を得る。
【００８２】
【数５６】
2010204391.tif 000058
これをα、β、γについて整理すると以下の式になる。
【００８３】
【数５７】
2010204391.tif 000059
この式は、非特許文献４の式とほぼ等価である。しかし、本発明がＥＭアルゴリズムによる学習を行っているのに対し、非特許文献４の手法はビタービ学習手法を行っている。一般的に、ＥＭ学習のほうがビタービ学習より性能がよいことが確認されている。これは、ＥＭ学習では、状態遷移確率がパラメータの学習に反映されているからである。
【００８４】
Ｆ０に関する認識の例を示す。まず、ｋ個のイントネーションのクラスの認識を行う。この場合、最初に単語をｋ個のイントネーションクラスに割り当てる。各々、上記の学習手法によりα、β、γを学習する。認識すべき単語が入ってきたら、その単語のＦ０の輪郭を求める。その輪郭に対して、以下の２つの尤度のどちらかを全てのイントネーションに対して計算し、最大値を返すｋを求める。
【００８５】
【数５８】
2010204391.tif 000060
これにより、入力された単語のイントネーションのクラスが認識できる。
以上のクラスを使ってイントネーションのＦ０特徴量の生成を考える。いま生成したい単語のイントネーションのクラスがわかっているとする。また、その状態系列ｑ０:Tがわかっているものとする。式(58)、式(59)を使って、状態方程式を作成し、以下の設定を行う。
【００８６】
【数５９】
2010204391.tif 000061
ここで、ζは非常に大きな正の値を代入する。また、線形動的システムパラメータ設定部ではｕｔ、ｘｔ、Ｇを以下のように設定する。
【００８７】
【数６０】
2010204391.tif 000062
以上のように設定した線形動的システムを使って、動的システム構成部では、線形動的システムを状態系列に従って接続する。この線形動的システムにカルマンスムーザを駆動する。最終的に、カルマンスムーザによって得られる内部状態の平均値
【００８８】
【数６１】
2010204391.tif 000063
を、Ｆ０特徴量の系列とする。このＦ０の特徴量系列は、音声合成の場合のピッチ生成に役立つ。
【００８９】
なお、上述した各実施形態の実施はハードウエアで行ってもよく、あるいは、各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウエアを含むものとする。
【００９０】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００９１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００９２】
１１、２１、３１…パラメータデータベース部
１２、２２…尤度計算部
２２ａ…対数尤度計算部
２２ｂ…事後確率計算部
１３…クラス選択部
２３…パラメータ更新部
３２…線形動的システム構成部
３３…線形動的システムパラメータ設定部
３４…カルマンムーザ実行部
【図１】
2010204391.tif 000068
【図２】
2010204391.tif 000069
【図３】
2010204391.tif 000070
【図４】
2010204391.tif 000071
【図５】
2010204391.tif 000072
【図６】
2010204391.tif 000073