(57)【特許請求の範囲】
【請求項１】
シンボルの系列情報に対応する特徴パラメータの時系列データを再現する特徴パラメータ生成装置であって、
特徴パラメータの分布が最尤となるようにシンボル情報系列から第１の対称帯行列および第１のベクトルからなる初期用の中間データ系列を生成する第１の中間データ生成部と、
前記初期用の中間データ系列から、前記第１の対称帯行列に対する逆行列と、前記第１のベクトルとの積を計算することに相当する動作により第１の修正用系列データを生成する修正データ生成部と、
前記シンボル情報系列に対応する特徴パラメータの時系列データを、前記第１の修正用系列データを用いて修正するデータ修正部と、
特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるように、前記修正された特徴パラメータの時系列データから第２の対称帯行列および第２のベクトルからなる更新用の中間データ系列を生成する第２の中間データ生成部と、を備え、
前記修正データ生成部が前記更新用の中間データ系列から、前記第２の対称帯行列に対する逆行列と、前記第２のベクトルとの積を計算することに相当する動作により第２の修正用系列データを生成し、前記データ修正部が前記第２の修正用系列データを用いて前記修正された特徴パラメータの時系列データを修正する一連の動作を繰り返すことを特徴とする特徴パラメータ生成装置。
【請求項２】
前記修正された特徴パラメータの時系列データを、所定条件を満たすまで繰り返して修正させる処理制御部を更に備えることを特徴とする請求項１記載の特徴パラメータ生成装置。
【請求項３】
前記特徴パラメータの時系列の分布は特徴パラメータの時系列の動的特徴の分布を含み、前記第１の中間データ生成部は動的特徴を含む特徴パラメータの分布が最尤となるようにシンボル情報系列から中間データ系列を生成し、前記第２の中間データ生成部は、動的特徴を含む特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるようにシンボル情報系列から中間データ系列を生成することを特徴とする請求項１または請求項２記載の特徴パラメータ生成装置。
【請求項４】
前記第２の中間データ生成部は、特徴パラメータの分布の対数尤度と特徴パラメータの時系列データの分散の対数尤度との重み付き和を用いて更新用の中間データ系列を生成することを特徴とする請求項１から請求項３のいずれかに記載の特徴パラメータ生成装置。
【請求項５】
前記第２の中間データ生成部は、前記修正の前後で前記特徴パラメータの時系列データの分散の尤度が変わらないことを仮定した条件の下で前記更新用の中間データ系列を生成することを特徴とする請求項４記載の特徴パラメータ生成装置。
【請求項６】
一連の単位音声列に含まれる単位音声の種類を記述する音声合成用情報を前記シンボル情報系列として入力し、前記修正された特徴パラメータの時系列データとして合成音声波形を生成することを特徴とする請求項１から請求項５のいずれかに記載の特徴パラメータ生成装置。
【請求項７】
コンピュータにより行なわれ、シンボル情報系列に対応する特徴パラメータの時系列データを再現する特徴パラメータ生成方法であって、
特徴パラメータの分布が最尤となるようにシンボル情報系列から第１の対称帯行列および第１のベクトルからなる初期用の中間データ系列を生成するステップと、
前記初期用の中間データ系列から、前記第１の対称帯行列に対する逆行列と、前記第１のベクトルとの積を計算することに相当する動作により第１の修正用系列データを生成するステップと、
前記シンボル情報系列に対応する特徴パラメータの時系列データを、前記第１の修正用系列データを用いて修正するステップと、
特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるように、前記修正された特徴パラメータの時系列データから第２の対称帯行列および第２のベクトルからなる更新用の中間データ系列を生成するステップと、を含み、
前記更新用の中間データ系列から、前記第２の対称帯行列に対する逆行列と、前記第２のベクトルとの積を計算することに相当する動作により第２の修正用系列データを生成し、前記第２の修正用系列データを用いて前記修正された特徴パラメータの時系列データを修正する一連のステップを繰り返すことを特徴とする特徴パラメータ生成方法。
【請求項８】
コンピュータに実行させ、シンボル情報系列に対応する特徴パラメータの時系列データを再現する特徴パラメータ生成プログラムであって、
特徴パラメータの分布が最尤となるようにシンボル情報系列から第１の対称帯行列および第１のベクトルからなる初期用の中間データ系列を生成する処理と、
前記初期用の中間データ系列から、前記第１の対称帯行列に対する逆行列と、前記第１のベクトルとの積を計算することに相当する動作により第１の修正用系列データを生成する処理と、
前記シンボル情報系列に対応する特徴パラメータの時系列データを、前記第１の修正用系列データを用いて修正する処理と、
特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるように、前記修正された特徴パラメータの時系列データから第２の対称帯行列および第２のベクトルからなる更新用の中間データ系列を生成する処理と、を含み、
前記更新用の中間データ系列から、前記第２の対称帯行列に対する逆行列と、前記第２のベクトルとの積を計算することに相当する動作により第２の修正用系列データを生成し、前記第２の修正用系列データを用いて前記修正された特徴パラメータの時系列データを修正する一連の処理を繰り返すことを特徴とする特徴パラメータ生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シンボルの系列情報に対応する特徴パラメータの時系列の分布を再現する特徴パラメータ生成装置、特徴パラメータ生成方法および特徴パラメータ生成プログラムに関する。
【背景技術】
【０００２】
音声合成技術の代表的な利用方法として、テキスト音声変換（Text-To-Speech）が挙げられる。以下、テキスト解析等の結果得られる音素の種類や韻律的特徴を表記した記号を入力とし、音声波形を生成する装置を音声合成装置と呼ぶ。音声合成装置は、テキスト音声変換システムの構成要素である。
【０００３】
この音声合成装置に入力される記号を、以下、音声合成用記号と呼ぶ。音声合成用記号には様々な形式があり得るが、ここでは、一連の音声を構成する音韻的情報と、主としてポーズや声の高さとして表現される韻律的情報を同時に表記したものを考える。そのような音声合成用記号の例として、ＪＥＩＴＡ（電子情報技術産業協会）規格ＩＴ−４００２「日本語テキスト音声合成用記号」がある（非特許文献１参照）。音声合成装置は、このような音声合成用記号に基づいてそれに対応する音声波形を生成する。ただし、一般に音声波形は合成対象の音素だけでなく、前後の音素の種類や韻律的特徴の影響を強く受けるため、一般的に記号と音声波形の対応関係は複雑になる。
【０００４】
音声合成装置による音声波形の生成方法には様々な方式があるが、音声の短時間スペクトルの特徴や有声・無声情報、基本周波数（F0）を直接パラメータとし、このパラメータに基づき音声波形を生成する方法が主な背景技術である。代表的な音声波形の生成方法に、音源・フィルタモデルに基づく音声合成がある。音源・フィルタモデルでは、音声の響きをつくる調音フィルタを適当な音源で駆動することで、音声波形を信号処理的に合成する。
【０００５】
インパルス列や白色雑音源といった比較的に単純な構成の音源を用いる場合、インパルス列と白色雑音源の切り替えは有声・無声情報に基づき、インパルス列の基本周波数はF0パラメータに基づきそれぞれ制御することができる。一方、スペクトルの特徴を表すパラメータとしてはＭＦＣＣ（Mel-Frequency Cepstral Coefficient）や線形予測係数が用いられ、調音フィルタとしては、ＡＲ（自己回帰）型のフィルタや、特にパラメータとしてＭＦＣＣを用いる場合には、ＭＦＣＣを直接そのパラメータとする、ＭＬＳＡ（メル対数スペクトル近似）フィルタ（非特許文献２参照）等が用いられる。
【０００６】
例えば子音のような音声を合成するためには、音声合成パラメータを時間的に変化させることが必要なため、この方法では、例えば５ｍｓ程度の一定周期で音声合成パラメータを更新し、その特徴を変化させながら音声を合成することが一般的である。この一定周期の１周期分は一般に１フレームと呼ばれる。したがって、一般的に音声を合成するためには、音声合成用記号から、音声合成パラメータについてフレーム周期の時系列データを作成する必要がある。
【０００７】
最も簡単な方法としては、ある音素の長さ分だけのフレーム周期の時系列データを、必要な音素のそれぞれについて事前に準備しておき、生成したい音声の音素系列に合わせて、それらの音声合成パラメータ時系列（特徴パラメータの時系列データ）をつなぎ合わせて１発声の音声合成パラメータ時系列とする方法が考えられる。しかし、先述のように、同じ音素であっても、前後の音素の種類や、話速や声の高さ、直前や直後のポーズからの時間的距離によって、その特徴が大きく異なる場合がある。このような場合に対応するためには、前後の音素や韻律的特徴を考慮した複雑な音素分類を用いる必要があるが、このような複雑な音素分類を用いると、音素の種類の個数は莫大になり、必要な全ての音声合成パラメータ時系列のセットを事前に作成、蓄積しておくことは困難である。
【０００８】
そこで、実際には、音声合成パラメータ時系列の時間変化を適当なモデルに基づきモデル化し、そのモデルパラメータを音声合成用記号からまず予測することで生成し、得られたモデルから音声合成パラメータ時系列を生成することで、任意の音声を合成可能とする方法が用いられる。以下では、このモデルのことを音声生成モデルと呼ぶ。
【０００９】
例えば、ある音素の音声合成パラメータの特徴が時間的に３つの状態に分かれ、各状態のフレーム数について、それらの統計分布パラメータベクトルを最初の状態から順にd1、d2、d3とし、この３つのベクトルの要素を連結して１つのベクトルdを作り、また、音声合成パラメータの各状態の統計分布パラメータベクトルを最初の状態から順にv1、v2、v3とすれば、その音素を合成するための音声合成パラメータの特徴は、音声生成モデルのパラメータを構成するd、v1、v2、v3の4つのベクトルで表すことができる。さらに、音声合成用記号からこれらのパラメータベクトルを生成するような予測器を前もって構築し、音声合成時に予測器を用いることで、比較的少量のデータから音声を合成することができる。
【００１０】
この方法に基づく代表的なものに、ＨＭＭ音声合成方式がある。ＨＭＭ音声合成方式は、音声生成モデルとしてＨＭＭ（隠れマルコフモデル）に基づくモデルを仮定している。そして、音声生成モデルのパラメータを構成する複数のベクトルは、音声認識技術における状態共有ＨＭＭで用いられる方法と同様に、それぞれ音声合成用記号から決定木に基づき決定される（非特許文献３参照）。ここで決定木は、予め用意しておいた学習音声と、それに対応する音声合成用記号を用いて構築（学習）する。
【００１１】
１発話の音声を合成する際には、まず単位音声毎の音声生成モデルを連結して１発話分の音声生成モデルを構成する。そして、その構成された音声生成モデルに対し、尤度が最大となる音声合成パラメータ時系列を求め、これを音声波形生成に用いる。音声合成パラメータ時系列に対する、音声生成モデルの尤度は、例えば、音声生成モデルにおいて、次のように表わされる。
【００１２】
すなわち、フレームiにおける音声合成パラメータxの値xiの統計的分布が他の種類の音声合成パラメータに対し独立でかつ正規分布に従い、その分布の平均がμi、分散がσi2であるとき、音声の長さが全体でnフレームとすると、１発声の音声合成パラメータxの時系列xiに対する音声生成モデルの対数尤度は、以下の数式で与えられる。
【数１】
0005763414.tif 000002
【００１３】
しかし、フレーム周期の音声合成パラメータを数個の正規分布で直接モデル化した場合、最尤なパラメータ系列は、状態内で正規分布の平均値が連続的に出力されたものとなり、状態が切り替わる際に、その値が不連続となる。すなわち、階段状のパラメータ時系列となる。これは実際の音声の特徴と異なるため、音声合成パラメータそのものだけでなく（以下、これを静的特徴と呼ぶ）、音声合成パラメータの動的特徴として、音声合成パラメータ時系列データの一階差分（デルタ）や二階差分（デルタデルタ）等を組み合わせたベクトルを特徴ベクトルとすることで、音声合成パラメータの連続的な変化も考慮したモデル化が行われる（非特許文献４参照）。ある音声合成パラメータxのi番目のフレームにおける値xiのデルタΔxiおよびデルタデルタΔ2xiは、例えばそれぞれ数式（２）、数式（３）により与えられる。
【数２】
0005763414.tif 000003
【数３】
0005763414.tif 000004
【００１４】
以下、音声合成パラメータの時系列データの計算方法を説明する。まず説明のためにフレームiにおける特徴ベクトルをoiとする。数式中の英大文字および太字の英小文字はベクトルを意味する（以下、同様）。
【数４】
0005763414.tif 000005
【００１５】
また音声の長さはｎフレームとする。また、以下の行列を定義する。ただし、上付きのTは転置行列、上付きの-1は逆行列を表す（以下同様）。
【数５】
0005763414.tif 000006
【数６】
0005763414.tif 000007
【００１６】
さらに、数式（２）、（３）で定義される静的特徴の時系列Xから動的特徴を含む特徴
ベクトル時系列Oを求める変換行列をここではＷとする。つまり、以下の関係が成り立つ。ここでＷは３ｎ行×ｎ列の行列である。
【数７】
0005763414.tif 000008
【００１７】
パラメータの分布が正規分布に従う場合、Xの対数尤度p(X)は以下の数式で与えられる。ここでμはＯの分布の平均ベクトル、UはＯの分布の分散共分散行列である。μおよびＵの各要素は事前に学習した決定木により、音声合成用記号から決定する。
【数８】
0005763414.tif 000009
【００１８】
対数尤度p(X)を最大とするXは以下の関係を満たす。
【数９】
0005763414.tif 000010
【００１９】
数式（８）および数式（９）をXについて解くと以下の数式が得られる。
【数１０】
0005763414.tif 000011
【００２０】
すなわち、数式（１０）を計算することで、最尤基準に基づく、動的特徴を考慮したパラメータ時系列が得られる。音声合成パラメータxを多次元のベクトルに拡張した場合も同様である。このような処理装置の構成は、たとえば図３のように表される。
【００２１】
しかしながら、このような方法により求められたパラメータ時系列は、分布情報の元となったデータよりも系列全体の平均値側に集まり、ダイナミックレンジの小さいパラメータ時系列となる傾向がしばしば見られる。この原因の一つとして、特徴パラメータ時系列の生成処理に、系列全体でみた場合の値の分布に関する制約が含まれていないことが挙げられる。このため、分布推定に用いたデータと得られたデータの間で、系列全体でみた場合の分布に大きな誤差が生じてしまうことが考えられる。
【００２２】
そこで、系列全体の値の分散に対して、その分散の分布を考慮することで、系列全体の分散を制約して最尤なパラメータ時系列を得る方法が知られている（非特許文献５参照）。この方法においては、数式（８）の代わりに、以下の式で与えられる対数尤度を最大化する。なお、分散の分布とは、条件に対する分散の値の分布をいう。
【数１１】
0005763414.tif 000012
【００２３】
ただし、p(X)は数式（８）で与えた式と同じであり、数式（１１）のpv（X）は、Xの要素の分散の分布の、Xに対する尤度であり、以下、分散の尤度という。また、ωは従来のXの時刻iにおける分布から計算される尤度とXの要素の分散の分布から計算される尤度の効果の割合を調整する重み係数である。これにより、各時刻における特徴分布だけでなく、系列全体のダイナミックレンジも再現された、より好ましいパラメータ時系列データが得られる。
【００２４】
上記、音声合成技術を例に説明したが、本パラメータ時系列生成技術は、他の用途に適用可能である。例えば、音響特徴量の代わりに口の形状に関する特徴パラメータを同様にモデル化し、本技術によりパラメータ時系列を生成することで、音声同様、時間軸方向にも圧縮された少量のデータから滑らかな口の動きの動画像を生成することができる（非特許文献６参照）。あるいは、入力情報を音素ではなく、動きに関する離散的シンボル情報（例えば「手を閉じた状態から人差し指を伸ばす」等）とし、それに動きに関する特徴量を結びつけたモデル化を行なうことで、少量のデータからアニメーションキャラクタや、ロボット等の自然なモーションデータを生成するといった利用も可能である（非特許文献７参照）。
【先行技術文献】
【非特許文献】
【００２５】
【非特許文献１】「日本語テキスト音声合成用記号」ＪＥＩＴＡ規格 ＩＴ−４００２、２００５年3月
【非特許文献２】今井聖、住田一男、古市千枝子、「音声合成のためのメル対数スペクトル近似（ＭＬＳＡ）フィルタ」、電子情報通信学会論文誌(A), J66-A, 2, Feb.1983, pp.122-129
【非特許文献３】吉村貴克、徳田恵一、益子貴史、小林隆夫、北村正、「ＨＭＭに基づく音声合成におけるスペクトル・ピッチ・継続長の同時モデル化」、電子情報通信学会論文誌(D-II), J83-D-II, 11, Nov.2000, pp.2099-2107
【非特許文献４】益子貴史、徳田恵一、小林隆夫、今井 聖、「動的特徴を用いたＨＭＭに基づく音声合成」、電子情報通信学会論文誌(D-II), J79-D-II, 12, Dec.1996, pp.2184-2190
【非特許文献５】戸田智基、徳田恵一、「HMM音声合成のための系列内変動を考慮した音声パラメータ生成アルゴリズム」、電子情報通信学会技術報告, SP2005-52, Aug. 2005, pp. 1-6.
【非特許文献６】増淵淳、田村正統、宮川公成、益子貴史、小林隆夫、徳田恵一「HMMに基づくテキストからの音声・唇画像の同時生成」、日本音響学会平成10年度春季研究発表会講演論文集, 2-P-6, vol. 1, Mar. 1998. , pp. 305-306
【非特許文献７】森健史、南角吉彦、宮島千代美、徳田恵一、北村正「隠れマルコフモデルに基づく指文字動画像生成」FIT2005（第４回情報科学技術フォーラム）, K-092, Aug. 2005, pp. 569-570.
【発明の概要】
【発明が解決しようとする課題】
【００２６】
生成しようとする特徴パラメータ時系列データの要素の値の分布に関する制約を設けた場合は、そのような制約を設けない場合とは異なり、最尤となるパラメータ時系列データを直接計算できない。したがって、ニュートン・ラプソン法等の反復法により近似的に求める必要がある。このような反復法では、生成されるパラメータ時系列中のデータが１点でも変わると、パラメータ時系列データの尤度の値が変わる。これにより、たとえばニュートン・ラプソン法で反復される各回処理では、分散に関する尤度関数のヘッセ行列（目的関数の二階偏微分を要素とする行列）の各非対角要素が０にならない。すなわち、ヘッセ行列は対角行列とはならない。しかし、上記の反復処理の各回では、ヘッセ行列の逆行列を求める必要があり、非対角行列の逆行列計算によりコストは増大する。
【００２７】
これに対し、逆行列演算を回避できる方法として、ＢＦＧＳ公式等に基づく準ニュートン法が知られている。しかし、準ニュートン法は、計算対象となる行列の行および列の大きさが合成対象の音声のフレーム数に比例し、その二乗に比例するメモリを要するため、携帯端末等のメモリやＣＰＵ性能の限られた環境では、高速に処理できない。
【００２８】
一方、逆行列計算を容易にする別の方法として、非特許文献５で試みられているような、ニュートン・ラプソン法におけるヘッセ行列の非対角要素をすべて０とする方法がある。この場合、メモリ使用量を減らすことができ、かつ逆行列計算が容易になるが、非対角要素をすべて０とすることは、各時刻のデータがそれぞれ独立であることを仮定することに相当する。しかし、動的特徴は複数時刻のデータで決まり、各時刻で独立した特徴情報ではないため、このような方法では適当な解の修正を行なうことができない。その結果、解の収束が非常に遅くなり、その処理速度を高速化できない。
【００２９】
これらの方法では、求める時系列データの分散を考慮しない処理とは全く異なる処理を行なうため、新規の回路やソフトウェアが必要となる。実際には求める時系列データの分散を考慮した場合であっても、考慮しない場合の結果とある程度類似した結果となるため、従来法による特徴パラメータの時系列データ生成結果を反復法における初期値とすることで、解の収束を早めることができる。しかし、その場合には、図４に示すように、従来法と反復法のそれぞれの回路やソフトウェアが必要であり、携帯端末や組み込み機器等の処理能力や収容能力が不足する機器では採用できない。
【００３０】
本発明は、このような事情に鑑みてなされたものであり、回路・ソフトウェア規模の増大を抑えつつ、特徴パラメータ時系列の分散も考慮した特徴パラメータ生成装置、特徴パラメータ生成方法および特徴パラメータ生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３１】
（１）上記の目的を達成するため、本発明の特徴パラメータ生成装置は、シンボルの系列情報に対応する特徴パラメータの時系列の分布を再現する特徴パラメータ生成装置であって、特徴パラメータの分布が最尤となるように、初期値の系列データを修正して特徴パラメータの時系列データを生成し、特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるように、前記生成された特徴パラメータの時系列データを繰り返し修正する構成のうち、前記初期値の修正と前記繰り返しの修正を同一の構成により行なうことを特徴としている。
【００３２】
このように、本発明の特徴パラメータ生成装置は、特徴パラメータの時系列データの分散まで考慮するため、特徴パラメータの再現性に優れている。そして、特徴パラメータの分布が最尤となるパラメータ時系列データ生成結果を用いて繰り返しの修正を行なうため、その収束をより早めることができる。また、初期値の修正と繰り返しの修正を同一の構成により行なうため、回路やソフトウェアを重複して設ける必要がなくなり、回路規模・ソフトウェア規模を低減できる。したがって、携帯端末・組み込み機器等には特に有利である。
【００３３】
（２）また、本発明の特徴パラメータ生成装置は、特徴パラメータの分布が最尤となるようにシンボル情報系列から初期用の中間データ系列を生成する第１の中間データ生成部と、前記初期用の中間データ系列から修正用系列データを生成する修正データ生成部と、前記シンボル情報系列に対応する特徴パラメータの時系列データを、前記修正用系列データを用いて修正するデータ修正部と、特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるように、前記修正された特徴パラメータの時系列データから更新用の中間データ系列を生成する第２の中間データ生成部と、を備え、前記修正データ生成部が前記更新用の中間データ系列から修正用系列データを生成し、前記データ修正部が前記修正用系列データを用いて前記修正された特徴パラメータの時系列データを修正する一連の動作を繰り返すことを特徴としている。
【００３４】
これにより、特徴パラメータの時系列データについての初期の修正時と繰り返しの修正時のいずれの場合にも、修正データ生成部が動作するため、回路やソフトウェアを重複して設ける必要がなくなり、回路規模・ソフトウェア規模を低減できる。
【００３５】
（３）また、本発明の特徴パラメータ生成装置は、前記修正された特徴パラメータの時系列データを、所定条件を満たすまで繰り返して修正させる処理制御部を更に備えることを特徴としている。これにより、一定の再現レベルまで特徴パラメータの時系列データを収束させることができる。
【００３６】
（４）また、本発明の特徴パラメータ生成装置は、前記特徴パラメータの時系列の分布が特徴パラメータの時系列の動的特徴の分布を含み、前記第１の中間データ生成部は動的特徴を含む特徴パラメータの分布が最尤となるようにシンボル情報系列から中間データ系列を生成し、前記第２の中間データ生成部は、動的特徴を含む特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるようにシンボル情報系列から中間データ系列を生成することを特徴としている。これにより、動的特徴も考慮し、特徴パラメータの時系列データの再現性を向上できる。
【００３７】
（５）また、本発明の特徴パラメータ生成装置は、前記第２の中間データ生成部が、特徴パラメータの分布の対数尤度と特徴パラメータの時系列データの分散の対数尤度との重み付き和を用いて更新用の中間データ系列を生成することを特徴としている。このようにして、重みにより特徴パラメータの時系列データの分散を再現したときの再現度を調整できる。
【００３８】
（６）また、本発明の特徴パラメータ生成装置は、前記第２の中間データ生成部が、前記修正の前後で前記特徴パラメータの時系列データの分散の尤度が変わらないことを仮定した条件の下で前記更新用の中間データ系列を生成することを特徴としている。これにより、特徴パラメータの時系列データの修正の計算を簡略化することで、処理負担を軽減できる。
【００３９】
（７）また、本発明の特徴パラメータ生成装置は、前記修正データ生成部が、対称帯行列に対する逆行列と、ベクトルとの積を計算することに相当する動作により修正用系列データを生成することを特徴としている。これにより、特徴パラメータの時系列データの修正の計算を簡略化することで、処理負担を軽減できる。
【００４０】
（８）また、本発明の特徴パラメータ生成装置は、一連の単位音声列に含まれる単位音声の種類を記述する音声合成用情報を前記シンボル情報系列として入力し、前記修正された特徴パラメータの時系列データとして合成音声波形を生成することを特徴としている。音素の種類や韻律的特徴を表記した記号を入力し、適切なダイナミックレンジで音声波形を生成することができる。
【００４１】
（９）また、本発明の特徴パラメータ生成方法は、コンピュータにより行なわれ、シンボル情報系列に対応する特徴パラメータの時系列の分布を再現する特徴パラメータ生成方法であって、特徴パラメータの分布が最尤となるようにシンボル情報系列から初期用の中間データ系列を生成するステップと、前記初期用の中間データ系列から修正用系列データを生成するステップと、前記シンボル情報系列に対応する特徴パラメータの時系列データを、前記修正用系列データを用いて修正するステップと、特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるように、前記修正された特徴パラメータの時系列データから更新用の中間データ系列を生成するステップと、を含み、前記更新用の中間データ系列から修正用系列データを生成し、前記修正された特徴パラメータの時系列データを修正する一連のステップを繰り返すことを特徴としている。このようにして、回路・ソフトウェア規模の増大を抑えつつ、特徴パラメータ時系列の分散も考慮して特徴パラメータを再現できる。
【００４２】
（１０）また、本発明の特徴パラメータ生成プログラムは、コンピュータに実行させ、シンボル情報系列に対応する特徴パラメータの時系列の分布を再現する特徴パラメータ生成プログラムであって、特徴パラメータの分布が最尤となるようにシンボル情報系列から初期用の中間データ系列を生成する処理と、前記初期用の中間データ系列から修正用系列データを生成する処理と、前記シンボル情報系列に対応する特徴パラメータの時系列データを、前記修正用系列データを用いて修正する処理と、特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるように、前記修正された特徴パラメータの時系列データから更新用の中間データ系列を生成する処理と、を含み、前記更新用の中間データ系列から修正用系列データを生成し、前記修正された特徴パラメータの時系列データを修正する一連の処理を繰り返すことを特徴としている。このようにして、回路・ソフトウェア規模の増大を抑えつつ、特徴パラメータ時系列の分散も考慮して特徴パラメータを再現できる。
【発明の効果】
【００４３】
全体の回路やプログラム規模を抑えつつ、分散も考慮して特徴パラメータの時系列データを再現できる。また、高速化が行われた装置やプログラムを反復法における処理で用いることで、計算処理を容易に高速化できる。
【図面の簡単な説明】
【００４４】
【図１】本発明に係る特徴パラメータ生成装置を示すブロック図である。
【図２】本発明に係る特徴パラメータ生成装置の動作を示すフローチャートである。
【図３】従来法の特徴パラメータ生成装置を示すブロック図である。
【図４】従来法と反復法を組み合わせた特徴パラメータ生成装置を示すブロック図である。
【発明を実施するための形態】
【００４５】
（特徴パラメータ生成装置の特徴）
本発明の特徴パラメータ生成装置は、シンボルの系列情報に対応する特徴パラメータの時系列の分布を再現する。たとえば、一連の単位音声列に含まれる単位音声の種類を記述する音声合成用情報をシンボル情報系列として入力し、修正された特徴パラメータの時系列データとして合成音声波形を生成する。そして、音素の種類や韻律的特徴を表記した記号を入力し、適切なダイナミックレンジで音声波形を生成することができる。
【００４６】
その他、音響特徴量の代わりに口の形状に関する特徴パラメータを同様にモデル化し、パラメータ時系列を生成し、口の動きの動画像を生成することもできる。また、特徴量をモデル化しアニメーションキャラクタや、ロボット等の自然なモーションデータを生成することもできる。
【００４７】
このような特徴パラメータ生成装置は、特徴パラメータの分布が最尤となるように、初期値の系列データを修正して特徴パラメータの時系列データを生成する。そして、特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるように、生成された特徴パラメータの時系列データを繰り返し修正する構成のうち、初期値の修正と繰り返しの修正を同一の構成により行なう。なお、最尤とは、分布の尤度関数の最大化をいい、尤度関数は、その値が大きいほど分布が尤もらしいとして定義される関数である。そのような関数の例としてガウス関数や、ガウス関数の線形重みづけ和で定義される混合ガウス関数がある。
【００４８】
これにより、特徴パラメータの時系列データの分散まで考慮するため、特徴パラメータの再現性に優れている。そして、分布が尤となるパラメータ時系列データ生成結果を用いて繰り返しの修正を行なうため、その収束をより早めることができる。また、初期値の修正と繰り返しの修正を同一の構成により行なうため、回路やソフトウェアを重複して設ける必要がなくなり、回路規模・ソフトウェア規模を低減できる。したがって、携帯端末・組み込み機器等には特に有利である。
【００４９】
一例として、特徴パラメータ生成装置は、各時刻の特徴パラメータ分布と、特徴パラメータの時系列データの分散の分布のそれぞれの対数尤度の重み付き和が最大となるような、特徴パラメータ時系列データを出力する。これにより、双方の基準のバランスのとれた特徴パラメータ時系列データが生成される。以下に、図面を参照して本発明の詳細を説明する。
【００５０】
（特徴パラメータ生成装置の構成）
図１は、特徴パラメータ生成装置１００のブロック図である。特徴パラメータ生成装置１００は、第１の中間データ生成部１１０と、修正データ生成部１２０と、データ修正部１３０と、第２の中間データ生成部１４０と、処理制御部１５０とで構成される。
【００５１】
以下、簡単のために、特徴パラメータ時系列データにおける各時刻のデータが１次元の値である場合について説明する。また時系列データの長さをｎとする。
【００５２】
第１の中間データ生成部１１０は、特徴パラメータの分布が最尤となるようにシンボル情報系列から初期用の中間データ系列を生成する。すなわち、第１の中間データ生成部１１０は、入力された各時刻の特徴パラメータ分布情報に対し、最終的な出力の以下の数式（１２）、（１３）に示すｎ×ｎの対称行列およびｎ次元ベクトルを求めるための計算を行ない、その結果を、１回目に特徴パラメータ分布を修正するための中間データとして出力する。
【数１２】
0005763414.tif 000013
【数１３】
0005763414.tif 000014
【００５３】
この処理は、特徴パラメータの時系列の分散を考慮しない場合と同じである。なお、特徴パラメータ分布情報は、シンボルの系列情報に基づいて求められ、入力される。また、「最尤となるように初期用の中間データ系列を生成する」とは、たとえば上記のように最尤基準で作成された数式を用いて初期用の中間データ系列を算出することを含め、なんらかの最尤基準で初期用の中間データ系列を生成することをいう。
【００５４】
修正データ生成部１２０は、特徴パラメータを修正するための時系列データを生成する。具体的には、ｎ×ｎの対称行列（ここではＳとする）と、およびｎ次元ベクトル（ｘとする）が入力されると、以下の数式（１４）に示すｎベクトル次元ベクトルを計算し出力する。
【数１４】
0005763414.tif 000015
【００５５】
したがって、１回目の修正時には、初期用の中間データ系列から修正用系列データを生成し、２回目以降の修正における更新時には、更新用の中間データ系列から修正用系列データを生成する。１回目および２回目のいずれの修正の場合にも、修正データ生成部１２０が動作するため、回路やソフトウェアを重複して設ける必要がなくなり、回路規模・ソフトウェア規模を低減できる。
【００５６】
データ修正部１３０は、ある特徴パラメータの時系列データと修正データをその入力とし、各時刻のパラメータの値をそれぞれ加算した結果の時系列データを、特徴パラメータの時系列データの修正結果として出力する。この際、修正データに対し、ニュートン・ラプソン法におけるステップパラメータに対応する乗数として、α（０＜α）倍する処理を行なってもよい。αが大きいと、修正が早くなる代わりに修正により逆に結果が悪化する可能性が高まり、αが小さいと、修正により結果が悪化する可能性は小さくなるものの収束が遅くなる。したがって、適当な大きさのαを設定しておくのが好ましい。
【００５７】
具体的には、修正データ生成部１３０は、対称帯行列に対する逆行列と、ベクトルとの積を計算することに相当する動作により修正用系列データを生成する。なお、「相当する」とは、上記の計算方法に限らず、対称行列の逆行列とベクトルの積を計算する場合に、実際には陽に逆行列を求めない計算方法も含むことを意味している。すなわち、たとえば修正コレスキー分解と呼ばれる方法により対称帯行列を下三角行列・対角行列・上三角行列の積に分解し、それぞれの逆行列とベクトルとの積を順に計算する方法も含む。
【００５８】
上記のような機能により、データ修正部１３０は、１回目の修正時はシンボル情報系列に対応する特徴パラメータの時系列データを、修正用系列データを用いて修正する。そして、繰り返しの修正における更新時には、修正された特徴パラメータの時系列データを、修正用系列データを用いて更に修正する。
【００５９】
第２の中間データ生成部１４０は、特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるように、修正された特徴パラメータの時系列データから更新用の中間データ系列を生成する。具体的には、第２の中間データ生成部１４０は、第１の所定の基準がある基準値の最大化であるとき、ヘッセ行列（各時刻の特徴パラメータによる基準値の二階偏微分を要素とするｎ×ｎ対称行列）および、各時刻の特徴パラメータによる基準値の一階偏微分を要素とするｎ次元ベクトルを出力する。このｎ次元ベクトルの入力に対して、修正データ生成部１２０は、ニュートン・ラプソン法において特徴パラメータの時系列データを修正するベクトルを出力する。このベクトルは、ヘッセ行列をＨ、各時刻の特徴パラメータによる基準値の一階偏微分を要素とするｎ次元ベクトルを∂p'(X)/∂Xとするとき、以下の数式（１５）で与えられる。そして、−Ｈ＝Ｓ、∂p'(X)/∂X＝Xとおくと、数式（１５）は数式（１４）と一致するので、修正データ生成部１２０において、このベクトルを計算することができる。
【数１５】
0005763414.tif 000016
【００６０】
ただし、数式（１２）の行列は、通常、対称帯行列である。もし、修正データ生成部１２０において、特徴パラメータの時系列データの分散を考慮しない装置、プログラム等を用いる場合、その装置、プログラム等へのｎ次元ベクトルの入力が数式（１２）の対称帯行列の形であることが前提の処理となっていると、そのままでは修正データ生成部１２０で数式（１５）の計算処理を行なうことができない。
【００６１】
これに対して、修正データ生成部１２０における処理前後で、特徴パラメータの時系列データの分散に対する尤度の値が変化しないことを仮定すると、分散の対数尤度関数の一階偏微係数は０となる。つまり、特徴パラメータの時系列データの分散の対数尤度関数に対するヘッセ行列は、対角行列となる。
【００６２】
特に、反復処理を進めるにつれ、特徴パラメータの修正は小さくなり分散の値の変化がより小さくなるので、この仮定はより妥当なものとなる。よって、修正データ生成部１２０の出力の１つである、全体の対数尤度関数に関するヘッセ行列は、数式（１２）と同じ形の対称帯行列と対角行列の重みづけ和、すなわち数式（１２）と同じ形の対称帯行列（数式１２において常に０である行・列の要素が常に０の行列）となる。
【００６３】
このように、第２の中間データ生成部１４０は、修正の前後で特徴パラメータの時系列データの分散の尤度が変わらないことを仮定した条件の下で更新用の中間データ系列を生成する。これにより、特徴パラメータの時系列データの修正の計算を簡略化することで、処理負担を軽減できる。
【００６４】
第２の中間データ生成部１４０は、特徴パラメータの時系列データの分布に関する仮定を行なわずに、処理することもできる。その場合には、分散の対数尤度関数に対するヘッセ行列に対して、数式（１２）と同じ形の対称帯行列となるように、一部要素を０に置き換えて対称帯行列化した行列を出力できる。
【００６５】
以上のように、第２の中間データ生成部１４０は、特徴パラメータの分布の対数尤度と特徴パラメータの時系列データの分散の対数尤度との重み付き和を用いて更新用の中間データ系列を生成する。このようにして、重みにより特徴パラメータの時系列データの分散を再現したときの再現度を調整できる。そして、修正データ生成部１２０は、数式（１３）の処理を行なうことができる。
【００６６】
処理制御部１５０は、修正された特徴パラメータの時系列データを、所定条件を満たすまで繰り返して修正させる。すなわち、処理制御部１５０は、所定の基準を満たすまで、第２の中間データ生成部１４０における処理、修正データ生成部１２０における処理、データ修正部１３０における処理を繰り返すように各部を制御する。所定の基準の例としては、（１）修正データ生成部１２０の出力である特徴パラメータ時系列の修正データにおける、その要素の二乗平均和がある閾値以下になる、（２）ある一定回数処理を繰り返す、がある。このようにして一定の再現レベルまで特徴パラメータの時系列データを収束させることができる。
【００６７】
（特徴パラメータ生成装置の動作）
次に、このように構成された特徴パラメータ生成装置１００の動作を説明する。まず、特徴パラメータ生成装置１００は、上記の構成の前段において、入力記号列等のシンボルの系列情報から特徴パラメータ分布の時系列情報および特徴パラメータの時系列データの分散の分布情報を決定木等により生成する（ステップＳ１）。
【００６８】
そして、特徴パラメータの時系列データの初期系列として、全ての要素を０とした時系列データを設定する（ステップＳ２）。そして、第１の中間データ生成部１１０は、特徴パラメータの分布が最尤となるように、上記の情報から初期用の中間データ系列を生成する（ステップＳ３）。
【００６９】
次に、修正データ生成部１２０は、初期用の中間データ系列から修正用系列データを生成する（ステップＳ４）。そして、データ修正部１３０は、シンボル情報系列に対応する特徴パラメータの時系列データを、修正用系列データを用いて修正する（ステップＳ５）。
【００７０】
次に、繰り返し処理の停止条件を満たすか否かを判定する（ステップＳ６）。すなわち、上記の所定の基準を満たすか否かを判定する。停止条件を満たさない場合には、第２の中間データ生成部１４０が、特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるように、修正された特徴パラメータの時系列データから更新用の中間データ系列を生成し（ステップＳ７）、ステップＳ４に戻る。一方、停止条件を満たす場合には、生成された特徴パラメータの時系列データを出力し（ステップＳ８）、動作を終了する。
【００７１】
このように、特徴パラメータ生成装置１００は、修正データ生成部１２０が更新用の中間データ系列から修正用系列データを生成し、データ修正部１３０が修正用系列データを用いて修正された特徴パラメータの時系列データを修正する一連の動作を繰り返す。これにより、特徴パラメータの時系列データについての初期の修正時と繰り返しの修正時のいずれの場合にも、修正データ生成部１２０が動作するため、回路やソフトウェアを重複して設ける必要がなくなり、回路規模・ソフトウェア規模を低減できる。このようにして生成された特徴パラメータの時系列データは、たとえば音声として出力される。
【００７２】
なお、特徴パラメータの時系列の分布は、特徴パラメータの時系列の動的特徴の分布を含んでもよい。第１の中間データ生成部１１０は動的特徴を含む特徴パラメータの分布が最尤となるようにシンボル情報系列から中間データ系列を生成し、第２の中間データ生成部１４０は、動的特徴を含む特徴パラメータの分布および特徴パラメータの時系列データの分散の尤度がより大きくなるようにシンボル情報系列から中間データ系列を生成する。これにより、動的特徴も考慮し、特徴パラメータの時系列データの再現性を向上できる。
【００７３】
動的特徴は、数式（２）および数式（３）で定義されるものに限定されない。数式（１２）の逆行列が計算可能であればよく、oiの次元数も任意である。そのような例として、｛ｘi｝の適当な部分系列に対する離散コサイン変換の結果を、oiの要素とする方法がある。
【００７４】
また、特徴パラメータの時系列データの分散は、系列全体から求めた分散でなくても良い。例えば、各時刻について、その前後の一定数のフレームのみの分散をそれぞれ計算し、それらの平均値を用いるといった方法がある。この場合は、その分布も同様に計算した値から決めることで、より正確に特徴パラメータの時系列データを再現することができる。
【００７５】
以上の実施形態では、１次元の値の時系列データを生成しているが、多次元の値（ベクトル）のデータの生成に拡張した場合でも同様である。また、以上の実施形態において、各部の処理はプログラムがコンピュータに実行させることで実現可能である。
【符号の説明】
【００７６】
１００  特徴パラメータ生成装置
１１０  中間データ生成部
１２０  修正データ生成部
１３０  データ修正部
１４０  中間データ生成部
１５０  処理制御部
【図１】
0005763414.tif 000017
【図２】
0005763414.tif 000018
【図３】
0005763414.tif 000019
【図４】
0005763414.tif 000020