(57)【要約】【課題】正確かつ安定な差分韻律適応モデルを容易に生成することができる差分韻律適応モデルトレーニング方法及び装置を提供する。【解決手段】音韻継続時間長とＦ０直交多項式の係数とで表された差分韻律ベクトルの各パラメータに対し、差分韻律推定に関する複数の属性と、複数の属性を組み合せることで得られる複数の属性組合せのうちの少なくとも一部とをそれぞれ項として含む初期のパラメータ推定モデルを生成し、該パラメータ推定モデルから、各項に対し計算された重要度が最も低い項を削除し、残りの項からなるパラメータ推定モデルが最適モデルとなるまで、該パラメータ推定モデルから重要度の低い項を削除する。差分韻律ベクトルと、最適モデルであると決定された各パラメータのパラメータ推定モデルとを含む差分韻律適応モデルを得る。【選択図】      図１
2009139949.tif 000002
【特許請求の範囲】
【請求項１】
音韻継続時間長と、Ｆ０直交多項式の係数とを含む差分韻律ベクトルを生成し、
前記差分韻律ベクトルの各パラメータに対し、
差分韻律推定に関する複数の属性と、前記複数の属性を組み合せることで得られる複数の属性組合せのうちの少なくとも一部とをそれぞれ項として含む初期のパラメータ推定モデルを生成する生成ステップと、
前記パラメータ推定モデルの各項に対し重要度を計算する重要度計算ステップと、
前記パラメータ推定モデルから前記重要度が最も低い項を削除する削除ステップと、
前記重要度が最も低い項を削除した後の残りの項からなるパラメータ推定モデルを再生する再生ステップと、
再生されたパラメータ推定モデルが最適モデルであるか否かを決定する決定ステップと、
再生された前記パラメータ推定モデルが最適モデルでないと決定されたとき、再生された前記パラメータ推定モデルに対し、前記重要度計算ステップ、前記再生ステップ、及び前記決定ステップを繰り返し、
前記差分韻律ベクトルと、最適モデルであると決定された各パラメータの前記パラメータ推定モデルとを含む差分韻律適応モデルを得る差分韻律適応モデルトレーニング方法。
【請求項２】
差分韻律推定に関する前記複数の属性は、言語タイプ、話法タイプ、及び感情／表現タイプを含む請求項１記載の差分韻律適応モデルトレーニング方法。
【請求項３】
差分韻律推定に関する前記複数の属性は、感情／表現状態、文中の漢字の位置、音調及び文のタイプから選択された任意の属性である請求項１記載の差分韻律適応モデルトレーニング方法。
【請求項４】
前記パラメータ推定モデルは一般線形モデル（ＧＬＭ）である請求項１記載の差分韻律適応モデルトレーニング方法。
【請求項５】
前記複数の属性組合せのうちの少なくとも一部は、前記複数の属性のうちの任意の２つを組み合わせた二次の項を含む請求項１記載の差分韻律適応モデルトレーニング方法。
【請求項６】
前記重要度計算ステップは、各項の重要度をＦ検定を用いて計算する請求項１記載の差分韻律適応モデルトレーニング方法。
【請求項７】
前記決定ステップは、ベイズ情報量基準（ＢＩＣ）に基づき、再生された前記パラメータ推定モデルが最適モデルであるか否かを決定する請求項１記載の差分韻律適応モデルトレーニング方法。
【請求項８】
前記決定ステップは、
推定誤りの二乗和ＳＳＥと、トレーニングサンプルの数Ｎとから、ＢＩＣ値として
ＢＩＣ＝Ｎｌｏｇ（ＳＳＥ／Ｎ）＋ｐｌｏｇＮ
を計算し、
前記ＢＩＣ値が最小であるとき、再生された前記パラメータ推定モデルが最適モデルであると決定する、請求項７記載の差分韻律適応モデルトレーニング方法。
【請求項９】
前記Ｆ０直交多項式は、２次または高次ルジャンドル直交多項式である請求項１記載の差分韻律適応モデルトレーニング方法。
【請求項１０】
前記ルジャンドル直交多項式は、Ｆ０パターンF(t)、前記係数ａ0、a1、a2、ｔ＝［−１、１］とから、
F(t)=ａ0p0(t)+a1p1(t)+a2p2(t)
と定義される請求項９記載の差分韻律適応モデルトレーニング方法。
【請求項１１】
差分韻律ベクトルに対しトレーニングサンプルセットを生成する第１生成ステップと、
請求項１記載の差分韻律適応モデルトレーニング方法を用いて、前記トレーニングサンプルセットに基づき差分韻律適応モデルを生成する第２生成ステップと、
を含む差分韻律適応モデル生成方法。
【請求項１２】
前記第１生成ステップは、
中立コーパスに基づき、音韻継続時間長及びＦ０直交多項式の係数からなる中立韻律ベクトルを得るステップと、
感情／表現コーパスに基づき、音韻継続時間長及びＦ０直交多項式の係数からなる感情／表現韻律ベクトルを得るステップと、
感情／表現韻律ベクトルと中立韻律ベクトルとの差分を計算することにより、前記差分韻律ベクトルの前記トレーニングサンプルセットを生成するステップと、
を含む請求項１１記載の差分韻律適応モデル生成方法。
【請求項１３】
中立韻律推定に関する複数の属性の値と、差分韻律推定に関する複数の属性のうちの少なくとも一部の値とを、入力テキストに従って求めるステップと、
中立韻律推定に関する前記複数の属性の値を用いて、中立韻律推定モデルに基づき中立韻律ベクトルを計算するステップと、
差分韻律推定に関する前記複数の属性のうちの前記少なくとも一部の値と、差分韻律推定に関する前記複数の属性のうちの少なくとも他の一部の予め定められた値とを用いて、差分韻律適応モデルに基づき差分韻律ベクトルを計算するステップと、
前記中立韻律ベクトルと前記差分韻律ベクトルとの和を計算することにより、対応の韻律を得るステップと、
を含み、
前記差分韻律適応モデルは、請求項１１記載の差分韻律適応モデル生成方法を用いて生成される韻律推定方法。
【請求項１４】
中立韻律推定に関する前記複数の属性は、言語タイプ及び話法タイプを含む請求項１３記載の韻律推定方法。
【請求項１５】
中立韻律推定に関する前記複数の属性は、現在の音素、同じ音節中の他の音素、前の音節中の隣接する音素、次の音節中の隣接する音素、現在の音節の音調、前の音節の音調、次の音節の音調、音声の一部、次の区切りまでの距離、前の区切りまでの距離、語彙単語中の音素位置、現在、前及び次の語彙単語の長さ、語彙単語中の音節の数、文中の音節の位置、及び文中の語彙単語の数から選択される請求項１３記載の韻律推定方法。
【請求項１６】
差分韻律推定に関する前記複数の複数の属性のうちの前記少なくとも他の一部は、感情／表現タイプの属性を含む請求項１３記載の韻律推定方法。
【請求項１７】
請求項１３記載の韻律推定方法を用いて、入力テキストの韻律を推定し、
推定された韻律に基づき音声合成を行う音声合成方法。
【請求項１８】
音韻継続時間長とＦ０直交多項式の係数とを含む差分韻律ベクトルの各パラメータに対し、差分韻律推定に関する複数の属性と、前記複数の属性を組み合せることで得られる複数の属性組合せのうちの少なくとも一部とをそれぞれ項として含む初期のパラメータ推定モデルを生成する初期モデル生成手段と、
前記パラメータ推定モデルの各項に対し重要度を計算する重要度計算手段と、
前記パラメータ推定モデルから前記重要度が最も低い項を削除する削除手段と、
前記重要度が最も低い項を削除した後の残りの項からパラメータ推定モデルを再生する再生手段と、
再生された前記パラメータ推定モデルが最適モデルであるか否かを決定する決定手段と、
を含み、
前記差分韻律ベクトルと、最適モデルであると決定された各パラメータの前記パラメータ推定モデルとを含む差分韻律適応モデルを得る差分韻律適応モデルトレーニング装置。
【請求項１９】
差分韻律推定に関する前記複数の属性は、言語タイプ、話法タイプ、及び感情／表現タイプを含む請求項１８記載の差分韻律適応モデルトレーニング装置。
【請求項２０】
差分韻律推定に関する前記複数の属性は、感情／表現状態、文中の漢字の位置、音調及び文のタイプから選択された任意の属性である請求項１８記載の差分韻律適応モデルトレーニング装置。
【請求項２１】
前記パラメータ推定モデルは一般線形モデル（ＧＬＭ）である請求項１８記載の差分韻律適応モデルトレーニング装置。
【請求項２２】
前記複数の属性組合せのうちの少なくとも一部は、前記複数の属性のうちの任意の２つを組み合わせた二次の項を含む請求項１８記載の差分韻律適応モデルトレーニング装置。
【請求項２３】
前記重要度計算手段は、各項の重要度をＦ検定を用いて計算する請求項１８記載の差分韻律適応モデルトレーニング装置。
【請求項２４】
前記決定手段は、ベイズ情報量基準（ＢＩＣ）に基づき、再生された前記パラメータ推定モデルが最適モデルであるか否かを決定する請求項１８記載の差分韻律適応モデルトレーニング装置。
【請求項２５】
前記Ｆ０直交多項式は、２次または高次ルジャンドル直交多項式である請求項１８記載の差分韻律適応モデルトレーニング装置。
【請求項２６】
前記ルジャンドル直交多項式は、Ｆ０パターンF(t)、前記係数ａ0、a1、a2、ｔ＝［−１、１］とから、
F(t)=ａ0p0(t)+a1p1(t)+a2p2(t)
と定義される請求項２５記載の差分韻律適応モデルトレーニング装置。
【請求項２７】
差分韻律ベクトルに対するトレーニングサンプルセットを記憶する第１記憶手段と、
前記トレーニングサンプルセットに基づき、差分韻律適応モデルをトレーニングする請求項１８記載の差分韻律適応モデルトレーニング装置と、
を含む差分韻律適応モデル生成装置。
【請求項２８】
中立コーパスを記憶する第２記憶手段と、
前記中立コーパスに基づき、音韻継続時間長及びＦ０直交多項式の係数からなる中立韻律ベクトルを得る中立韻律ベクトル取得手段と、
感情／表現コーパスを記憶する第３記憶手段と、
前記感情／表現コーパスに基づき、音韻継続時間長及びＦ０直交多項式の係数からなる感情／表現韻律ベクトルを得る感情／表現韻律ベクトル取得手段と、
感情／表現韻律ベクトルと中立韻律ベクトルとの差分を計算することにより、前記差分韻律ベクトルの前記トレーニングサンプルセットを生成する差分韻律ベクトル計算手段と、
をさらに含み、前記差分韻律ベクトル計算手段で生成されたトレーニングサンプルセットが前記第１記憶手段に記憶される請求項２７記載の差分韻律適応モデル生成装置。
【請求項２９】
中立韻律推定モデルを記憶する中立韻律推定モデル記憶手段と、
請求項２７記載の差分韻律適応モデル生成装置により生成された差分韻律適応モデルを記憶する差分韻律適応モデル記憶手段と、
中立韻律推定に関する複数の属性の値と、差分韻律推定に関する複数の属性のうちの少なくとも一部の値とを、入力テキストに従って求める属性取得手段と、
中立韻律推定に関する前記複数の属性の値を用いて、前記中立韻律推定モデルに基づき中立韻律ベクトルを計算する中立韻律ベクトル推定手段と、
差分韻律推定に関する前記複数の属性のうちの前記少なくとも一部の値と、差分韻律推定に関する前記複数の属性のうちの少なくとも他の一部の予め定められた値とを用いて、前記差分韻律適応モデルに基づき差分韻律ベクトルを計算する差分韻律ベクトル推定手段と、
前記中立韻律ベクトルと前記差分韻律ベクトルとの和を計算することにより、対応の韻律を得る韻律推定手段と、
を含む韻律推定装置。
【請求項３０】
中立韻律推定に関する前記複数の属性は、言語タイプ及び話法タイプを含む請求項２９記載の韻律推定装置。
【請求項３１】
中立韻律推定に関する前記複数の属性は、現在の音素、同じ音節中の他の音素、前の音節中の隣接する音素、次の音節中の隣接する音素、現在の音節の音調、前の音節の音調、次の音節の音調、音声の一部、次の区切りまでの距離、前の区切りまでの距離、語彙単語中の音素位置、現在、前及び次の語彙単語の長さ、語彙単語中の音節の数、文中の音節の位置、及び文中の語彙単語の数から選択される請求項２９記載の韻律推定装置。
【請求項３２】
差分韻律推定に関する前記複数の複数の属性のうちの前記少なくとも他の一部は、感情／表現タイプの属性を含む請求項２９記載の韻律推定装置。
【請求項３３】
請求項２９記載の入力テキストの韻律を推定する韻律推定装置を含み、
前記韻律推定装置で推定された韻律に基づき音声合成を行う音声合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理技術に関し、特に、差分韻律適応モデルをトレーニング及び生成し、韻律を推定するためにコンピュータを用いる技術、音声合成技術に関する。
【背景技術】
【０００２】
一般に、音声合成技術には、テキスト分析、韻律推定、及び音声生成を含み、韻律推定は、合成音声の音調、リズム、音韻継続時間長（duration）のような韻律特徴パラメータを推定するために、韻律適応モデルを用いる。韻律適応モデルは、韻律推定及び韻律ベクトルに関する属性間を関係付ける。韻律推定に関する属性は、言語タイプ、話法タイプ、感情／表現タイプを含み、韻律ベクトルは、音韻継続時間長、Ｆ０（基本周波数）などのようなパラメータを含む。
【０００３】
既存の韻律推定方法は、ＣＡＲＴ（Classify and Regression Tree）、ＧＭＭ（Gaussian Mixture Model）、及びルールに基づく方法を含む。
【０００４】
ＧＭＭは、例えば、非特許文献１に詳細に記載されている。
【０００５】
ＣＡＲＴ及びＧＭＭは、例えば、非特許文献２に詳細に記載されている。
【非特許文献１】“Prosody Analysis and Modeling For Emotional Speech Synthesis”, Dan-ning Jiang, Wei Zhang, Li-qin Shen and Lian-hong Cai, in ICASSP’05, Vol. I, pp. 281-284, Philadelphia, PA, USA.
【非特許文献２】“Prosody Conversion From Neutral Speech to Emotional Speech”, Jianhua Tao, Yongguo Kang and Aijun Li, in IEEE TRANSACTIONS ON AUDIO, SPEECH AND LANGUAGE PROCESSING, VOL. 14, No. 4, pp. 1145-1154, JULY 2006
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、これら方法には次のような問題点がある。
【０００７】
１．既存の方法のほとんどは、韻律ベクトルを正確かつ安定に表すことができないことが多く、従って、韻律適応モデルは充分に適応できない。
【０００８】
２．既存の方法は、モデルの複雑さとトレーニングデータサイズとの間のアンバランスにより制限される。実際、感情／表現コーパスのトレーニングデータは非常に制限される。従来のモデルの係数は、データ駆動型の方法により計算できるが、モデルの属性及び属性の組合せはマニュアルで選択される。その結果、これら“部分的な”データ駆動型の方法は、主観的な経験に依存する。
【０００９】
本発明は、上述した既存技術に問題に鑑みなされたもので、差分韻律適応モデルをトレーニングする方法及び装置、差分韻律適応モデルを生成する方法及び装置、韻律推定方法及び装置、音声合成方法及び装置を提供する。
【課題を解決するための手段】
【００１０】
（１）本発明に係る、差分韻律適応モデルのトレーニング方法及び装置は、
音韻継続時間長と、Ｆ０直交多項式の係数とを含む差分韻律ベクトルの各パラメータに対し、
（ａ）差分韻律推定に関する複数の属性と、前記複数の属性を組み合せることで得られる複数の属性組合せのうちの少なくとも一部とをそれぞれ項として含む初期のパラメータ推定モデルを生成し、
（ｂ）前記パラメータ推定モデルの各項に対し重要度を計算し、
（ｃ）前記パラメータ推定モデルから前記重要度が最も低い項を削除し、
（ｄ）前記重要度が最も低い項を削除した後の残りの項からなるパラメータ推定モデルを再生し、
（ｅ）再生されたパラメータ推定モデルが最適モデルであるか否かを決定し、
（ｆ）再生された前記パラメータ推定モデルが最適モデルでないと決定されたとき、再生された前記パラメータ推定モデルに対し、上記（ｂ）〜（ｅ）を繰り返し、
前記差分韻律ベクトルと、最適モデルであると決定された各パラメータの前記パラメータ推定モデルとを含む差分韻律適応モデルを得る。
【００１１】
（２）本発明に係る、差分韻律的網モデル生成方法及び装置は、
差分韻律ベクトルに対しトレーニングサンプルセットを生成し、
上記差分韻律適応モデルトレーニング方法（または装置）を用いて、前記トレーニングサンプルセットに基づき差分韻律適応モデルを生成する。
【００１２】
（３）本発明に係る韻律推定方法及び装置は、
中立韻律推定に関する複数の属性の値と、差分韻律推定に関する複数の属性のうちの少なくとも一部の値とを、入力テキストに従って求め、
中立韻律推定に関する前記複数の属性の値を用いて、中立韻律推定モデルに基づき中立韻律ベクトルを計算し、
差分韻律推定に関する前記複数の属性のうちの前記少なくとも一部の値と、差分韻律推定に関する前記複数の属性のうちの少なくとも他の一部の予め定められた値とを用いて、差分韻律適応モデルに基づき差分韻律ベクトルを計算し、
前記中立韻律ベクトルと前記差分韻律ベクトルとの和を計算することにより、対応の韻律を得、
前記差分韻律適応モデルは、上記差分韻律適応モデル生成方法（または装置）を用いて生成される。
【００１３】
（４）本発明に係る音声合成方法及び装置は、
上記韻律推定方法（または装置）を用いて、入力テキストの韻律を推定し、
推定された韻律に基づき音声合成を行う。
【発明の効果】
【００１４】
正確かつ安定な差分韻律適応モデルを容易に生成することができる。従って、この差分韻適応モデルを用いることで正確な韻律推定及び音声合成が可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について図面を参照して説明する。
【００１６】
以下の実施形態の説明を容易に理解できるようにするために、一般線形モデル（ＧＬＭ：Generalized Liner Model）及びベイズ情報量基準（ＢＩＣ：Bayes Information Criterion）を用いる。
【００１７】
ＧＬＭモデルは、多変量回帰モデルの一般化である。
【数１】
2009139949.tif 000003
【００１８】
ここで、ｈはリンク関数である。通常、ｄは指数関数的に分布する。異なるリンク関数を用いると、ｄの指数関数的な分布も異なる。ＧＬＭは線形モデリングや非線形モデリングにも用いることができる。
【００１９】
異なるモデルのパフォーマンスを比較するために基準が必要となる。モデルが単純であるほど、異常値のデータに対し信頼性のある推定結果が得られる。一方、モデルが複雑であるほど、トレーニングデータに対し正確に推定することができる。ＢＩＣは、評価基準として広く用いられており、正確性と信頼性の両方を満足する評価が可能となり、次式で定義される。
【数２】
2009139949.tif 000004
【００２０】
ここで、ＳＳＥは推定誤りｅの二乗和である。式（２）の右辺の第１項は当該モデルの正確性を示し、第２項は当該モデルの複雑さによる損失を表す。トレーニングサンプルの数Ｎが固定であるとき、該モデルが複雑であるほど、次元ｐは大きくなり、該モデルはトレーニングデータに対しより正確に推定することができ、ＳＳＥが小さくなる。従って、式（２）の第１項は小さくなり、第２項は大きくなる。反対に、第１項が大きくなれば、第２項は小さくなる。すなわち、右辺の２つの項のうち一方が減少すれば他方が増加する。２つの項の和が最小であるとき、該モデルは最適となる。ＢＩＣはモデルの複雑さとデータベースサイズとの間のつり合いをうまくとることができ、これはデータ疎らと属性の相互作用問題を解消することに貢献する。
【００２１】
次に、本発明の好ましい実施形態について図面を参照して説明する。
【００２２】
（第１の実施形態）
図１は、第１の実施形態に係る差分韻律適応モデルのトレーニング方法を説明するためのフローチャートである。以下、第１の実施形態について図１を参照して説明する。
【００２３】
図１において、まず、ステップＳ１０１では、音韻継続時間長（duration）とＦ０直交多項式の係数とで差分韻律ベクトルを表す。この実施形態では、差分韻律ベクトルは、感情／表現韻律データと中立データとの間の差分を表す。特に、この実施形態では、差分韻律ベクトルにおけるＦ０表現のために、２次（または高次）のルジャンドル直交多項式が選択されている。多項式は、高次の多項式のテイラー展開の近似として考慮することができ、これは、文献１“F0 generation for speech synthesis using a multi-tier approach”（ Sun X., in Proc. ICSLP'02, pp.2077-2080）にも記載されている。さらに、直交多項式は、数学的及び物理学的な問題解決に非常に便利な特性を有している。ここで提案するＦ０表現には、上述の文献１で提案されているＦ０表現と大きく異なる点が２つある。１つ目は、指数近似の代わりに直交二次近似が用いられていることであり、２つ目は、部分音韻継続時間長が［−１、１］の範囲内で正規化されていることである。この違いにより、パラメータ化し易くなる。
【００２４】
ルジャンドル多項式を以下に説明する。
【数３】
2009139949.tif 000005
【００２５】
次に各音節に対し、次のように定義する。
【数４】
2009139949.tif 000006
【００２６】
ここで、T(t)は、基底Ｆ０ターゲットを表し、F(t)は表層Ｆ０パターンを表す。
【００２７】
係数ａ0、ａ1、ａ2は、ルジャンドル係数である。ａ0とａ1は、基底Ｆ０ターゲットの切片と傾きを表し、ａ2は直交二次近似部分の係数を表す。
【００２８】
次に、ステップＳ１０５では、差分韻律ベクトル中の各パラメータ（例えば、音韻継続時間長ｔ、Ｆ０直交多項式の係数（ａ0、ａ1、ａ2）に対し、初期パラメータ推定モデルを生成する。この実施形態では、各初期パラメータ推定モデルがＧＬＭを用いて表されている。パラメータｔ、ａ0、ａ1、ａ2に対応するＧＬＭモデルを、それぞれ次式で示す。
【数５】
2009139949.tif 000007
【００２９】
ここでは、まず、パラメータｔに対応するＧＬＭモデル（１０）について説明する。すなわち、このパラメータの初期差分韻律適応モデルは、差分韻律推定に関する複数の属性と、これら属性の組合せにより生成される。上述したように、差分韻律推定に関する属性は、例えば、幸福、悲しみ、怒りなどの感情／表現状態、文中の漢字の位置（例えば文頭、文末など）、音調（トーン）、感嘆文、命令文、疑問文などのような文のタイプを含む、言語タイプ、話法タイプ、及び感情／表現タイプの属性に大きく分けられる。
【００３０】
この実施形態では、これら複数の属性と、これら属性の組合せを表すためにＧＬＭモデルが用いられる。説明の簡単のため、感情／表現状態と音調のみが、差分韻律推定に関する属性であると仮定する。初期パラメータ推定モデルの形式は次の通りである。
【００３１】
パラメータ〜感情／表現状態＋音調＋感情状態＊音調
なお、「感情／表現状態＊音調」は感情／表現状態と音調との組合せを意味し、これは２次の項である。
【００３２】
属性の数が増加すると、これら属性の組合せ、すなわち、２つの属性の組合せである２次の項、３つの属性の組合せである３次の項も増加する。
【００３３】
さらに、この実施形態では、初期パラメータモデルが生成されると、属性の組合せ部分のみが選択される。例えば、２次までの属性の組合せのみが選択される。もちろん、３次までの属性の組合せ、または属性の組合せの全てを選択して、初期パラメータ推定モデルに追加してもよい。
【００３４】
言い換えると、初期パラメータ推定モデルは、個々の属性（１次の項）の全てと、属性の組合せのうちの少なくとも一部（２次の項またはそれ以上の高次の項）を含み、上述の属性または属性の組合せのそれぞれは、１つの項とみなす。このようにして、初期パラメータ推定モデルは、従来のように経験に基づきマニュアルで設定するのではなく、簡単に規則を用いて自動的に生成することができる。
【００３５】
次に、ステップＳ１１０へ進み、各項の重要度をＦ検定（F-test）を用いて計算する。Ｆ検定は、よく知られている標準的な統計計算方法であって、その詳細は、文献２“Probability and Statistics”（written by Sheng Zhou, Xie Shiqian and Pan Chengyi, 2002, Second Edition, Higher Education Press）に記載されているのではここでは説明を省略する。
【００３６】
なお、この実施形態ではＦ検定を用いているが、この場合に限らず、例えばカイ二乗検定（Chisq.-test）なども用いることができる。
【００３７】
次に、ステップＳ１１５へ進み、Ｆ検定のスコアが最も低い項を、初期パラメータ推定モデルから削除する。そして、ステップＳ１２０において、残りの項によりパラメータ推定モデルが再生される。
【００３８】
さらに、ステップＳ１２５へ進み、再生されたパラメータ推定モデルのＢＩＣ値が計算される。そして、上述した方法を用いて、当該モデルが最適か否かを決定する。最適であると（ＢＩＣ値が最小であると）決定された場合には、該再生されたパラメータ推定モデルを最適なモデルであると決定し、ステップＳ１３０で処理が終了する。最適でないときは、ステップＳ１１０へ戻り、該再生されたパラメータ推定モデルの各項の重要度を再度計算し、重要度の最も低い項を削除し（ステップＳ１１５）、残りの項からなるパラメータ推定モデルを再生する（ステップＳ１２０）。そして、ステップＳ１２５で最適パラメータ推定モデルが得られるまで、ステップＳ１１０、Ｓ１１５、Ｓ１２０を繰り返す。
【００３９】
パラメータａ0、ａ1、ａ2のそれぞれに対応するパラメータ推定モデルも、パラメータｔについての上述の手順と同様にしてトレーニングされる。
【００４０】
この結果、パラメータｔ、ａ0、ａ1、ａ2のそれぞれに対応する４つのパラメータ推定モデルが得られ、これら４つのパラメータ推定モデルと差分韻律ベクトルととから、差分韻律適応モデルを形成する。
【００４１】
上述の説明からも明らかなように、この実施形態では、小さいコーパスに基づき、信頼性のある正確なＧＬＭベースの差分韻律適応モデルを構築し、音韻継続時間長と、Ｆ０直交多項式の係数を用いている。また、この実施形態では、一般線形モデル（ＧＬＭ）ベースのモデリング方法と、Ｆ検定及びベイズ情報量基準（ＢＩＣ）に基づく段階的な回帰方法とを用いて、差分韻律適応モデルを構築及びトレーニングする。この実施形態のＧＬＭのモデル構成は、構成上順応性があり、トレーニングデータに容易に適応する。従って、データ疎らという問題点を解消することができる。さらに、段階的な回帰方法により、重要な属性相互作用が自動的に選択され得る。
【００４２】
（第２の実施形態）
次に、図２のフローチャートを参照して、第２の実施形態に係る差分韻律適応モデルの生成方法について説明する。なお、第１の実施形態と同一部分については説明を省略し、異なる部分について説明する。第２の実施形態に係る方法により生成された差分韻律適応モデルは、韻律推定方法及び装置と、後述する音声合成方法及び装置に用いられる。
【００４３】
図２に示すように、ますステップＳ２０１では、差分韻律ベクトルに対するトレーニングサンプルセットが形成される。該差分韻律ベクトルに対するトレーニングサンプルセットは、差分韻律適応モデルをトレーニングするめに用いるトレーニングデータ群である。上述したように、差分韻律ベクトルは、感情／表現コーパス中の感情／表現データと、中立韻律データとの差分である。従って、差分韻律ベクトルに対するトレーニングサンプルセットは、感情／表現コーパス及び中立コーパスに基づく。
【００４４】
より具体的には、まず、ステップＳ２０１１において、中立コーパスに基づき、音韻継続時間長とＦ０直交多項式の係数により表された複数の中立韻律ベクトルが得られる。そして、ステップＳ２０１５において、感情／表現コーパスに基づき、音韻継続時間長とＦ０直交多項式の係数により表された、複数の感情／表現韻律ベクトルが得られる。ステップＳ２０１８では、感情／表現韻律ベクトルと、ステップＳ２０１１で得られた中立韻律ベクトルとの差分が計算され、差分韻律ベクトルに対するトレーニングサンプルセットを形成する。
【００４５】
さらに、ステップＳ２０５へ進み、第１の実施形態で説明した、差分韻律適応モデルのトレーニング方法（図１参照）を用いて、差分韻律ベクトルに対し形成されたトレーニングサンプルセットに基づき、差分韻律適応モデルが生成される。特に、各パラメータのトレーニングサンプルは、差分韻律ベクトルに対するトレーニングサンプルセットから得られ、各パラメータのパラメータ推定モデルをトレーニングするために用いられる。その結果、各パラメータの最適パラメータ推定モデルを得る。
【００４６】
上述したように、この実施形態に係る差分韻律適応モデル生成方法によれば、感情・表現コーパスと中立コーパスとを基に得られたトレーニングサンプルセットに従って差分韻律適応モデルをトレーニングする方法を用いることで、差分韻律適応モデルを生成することができる。生成された差分韻律適応モデルは、トレーニングデータに容易に適応できる。従って、データ疎らという問題を解消でき、重要な属性相互作用が自動的に選択され得る。
【００４７】
（第３の実施形態）
次に、図３のフローチャートを参照して、第３の実施形態に係る韻律推定方法について説明する。なお、第１及び第２の実施形態と同一部分については説明を省略する。
【００４８】
図３において、ステップＳ３０１では、中立韻律推定に関する複数の属性の値と、差分韻律推定に関する複数の属性のうちの少なくとも一部の値とが、入力テキストに従って得られる。すなわち、例えば、それらは、入力テキストから直接得ることができる。または、入力テキストを文法的及び統語法的に分析することにより得られる。なお、この実施形態では、これら対応する属性を得たり、属性を選択したりするために、公知の既存のまたは今後開発され得るいかなる方法をも用いることができ、その手法を何ら限定するものではない。
【００４９】
この実施形態では、中立韻律推定に関する複数の属性は、言語タイプの属性及び話法タイプの属性を含む。テーブル１は、中立韻律推定に関する属性として用いることができるいくつかの属性を例示したものである。
【表１】
2009139949.tif 000008
【００５０】
上述したように、差分韻律推定に関する属性は、感情／表現状態、文中の漢字の位置、音調及び文のタイプを含むことができる。しかし、“感情／表現状態”属性の値は、入力テキストからは得ることができない。ユーザにより予め定められるものである。“文中の漢字の位置”“音調”及び“文のタイプ”という３つの属性の値は、入力テキストから得ることができる。
【００５１】
図３の説明に戻り、ステップＳ３０５では、中立韻律推定モデルに基づきステップＳ３０１で得られた中立韻律推定に関する複数の属性の値を用いて、中立韻律ベクトルを計算する。なお、この実施形態では、中立韻律モデルは、中立コーパスを用いて予めトレーニングされているものとする。
【００５２】
次に、ステップＳ３１０へ進み、差分韻律適応モデルに基づき、ステップＳ３０１で得られた差分韻律推定に関する複数の属性のうちの少なくとも一部の値と、差分韻律推定に関する複数の属性のうちの少なくとも他の一部の予め定められた値とを用いて、差分韻律ベクトルを計算する。差分韻律適応モデルは、図２に示した差分韻律適応モデル生成方法を用いることにより生成されるものである。
【００５３】
最後に、ステップＳ３１５において、ステップＳ３０５で得られた中立韻律ベクトルと、ステップＳ３１０で得られた差分韻律ベクトルとの和を計算し、対応の韻律を得る。
【００５４】
上述の説明からわかるように、この実施形態に係る韻律推定方法は、中立韻律推定モデル及び差分韻律適応モデルに基づき、中立韻律を差分韻律で補償することで推定することができ、適応正及び正確な韻律推定が可能となる。
【００５５】
（第４の実施形態）
次に、図４のフローチャートを参照して、第４の実施形態に係る音声合成方法について説明する。なお、第１〜第３の実施形態と同一部分については説明を省略する。
【００５６】
図４において、ます、ステップＳ４０１では、入力テキストの韻律が、上記第３の実施形態で説明した韻律推定方法を用いて推定される。そして、ステップＳ４０５へ進み、推定された韻律に従って音声合成を実行する。
【００５７】
この実施形態に係る音声合成方法では、入力テキストの韻律を上述の韻律推定方法を用いて推定してから、この推定された韻律に従って音声合成を行う。トレーニングデータに容易に適応できるとともに、データ疎らという問題を解消できる。この結果、この実施形態に係る音声合成方法は、自動的に、しかもより正確に音声合成を実行することができる。合成音声はより論理にかなったものとなり、理解可能となる。
【００５８】
（第５の実施形態）
図５は、第１の実施形態で説明した方法（差分韻律適応モデルのトレーニング方法）を用いた差分韻律適応モデルトレーニング装置５００の構成例を示したものである。
【００５９】
図５において、差分韻律適応モデルトレーニング装置５００は、初期モデル生成部５０１、重要度計算部５０２、項削除部５０３、モデル再生部５０４、最適決定部５０５を含む。
【００６０】
初期モデル生成部５０１は、音韻継続時間長とＦ０直交多項式の係数とで差分韻律ベクトルを表す。そして、差分韻律ベクトルの各パラメータに対し、差分韻律推定に関する複数の属性と、当該複数の属性を組み合わせることで得られる複数の属性組合せのうちの少なくとも一部とが、それぞれ１つの項として含まれている、初期パラメータ推定モデルを生成する。
【００６１】
重要度計算部５０２は、パラメータ推定モデル中の各項の重要度を計算する。
【００６２】
項削除部５０３は、計算された重要度が最も低い項を削除する。
【００６３】
モデル再生部５０４は、項削除部５０３で重要度の最も低い項を削除した後の残りの項からパラメータ推定モデルを再生する。
【００６４】
最適決定部５０５は、モデル再生部５０４で再生されたパラメータ推定モデルが最適モデルか否かを決定する。差分韻律ベクトル及び該差分韻律ベクトルの全てのパラメータ推定モデルが差分韻律適応モデルを構成している。
【００６５】
第１の実施形態で説明したように、差分韻律ベクトルは、音韻継続時間長とＦ０直交多項式の係数とで表されている。そして、差分韻律ベクトルのパラメータｔ、ａ0、ａ1、ａ2のそれぞれに対し、ＧＬＭパラメータ推定モデルが構築される。各パラメータ推定モデルは各パラメータに対し最適パラメータ推定モデルを得るためにトレーニングされる。差分韻律適応モデルは、全てのパラメータ推定モデルと、差分韻律ベクトルとを含む。
【００６６】
上述したように、差分韻律推定に関する属性は、言語タイプ、話法タイプ、及び感情／表現タイプを含み、例えば、感情／表現状態、文中の漢字の位置、音調、及び文のタイプから選択されるあらゆる属性である。
【００６７】
また、上述したように、差分韻律推定に関する属性は、言語タイプ、話法タイプ、及び感情／表現タイプを含む。しかし、“感情／表現状態”属性の値は、入力テキストからは得ることができない。ユーザにより要求として予め定められたものである。 “文中の漢字の位置”、“音調”、“文タイプ”の３つの属性値は、属性取得部７０３が入力テキストから求める。
【００６８】
重要度計算部５０２は、各項の重要度をＦ検定により計算する。
【００６９】
最適決定部５０５は、再生されたパラメータ推定モデルが最適モデルであるかどうかをベイズ情報量基準（ＢＩＣ）に基づき決定する。
【００７０】
なお、上記少なくとも一部の属性組合せには、差分韻律推定に関する属性の２次属性組合せの全てを含む。
【００７１】
差分韻律適応モデルトレーニング装置５００と、その各構成部は、特別に設計された回路又はチップで実装することもできる。また、対応のプログラムを汎用コンピュータ（プロセッサ）で実行させることにより、各構成部の機能を実現することもできる。また、差分韻律適応モデルトレーニング装置５００は、図１に示した差分韻律適応モデルのトレーニング方法の手順に従って動作する。
【００７２】
（第６の実施形態）
図６は、第２の実施形態で説明した方法（差分韻律適応モデルの生成方法）を用いた差分韻律適応モデル生成装置６００の構成例を示したものである。
【００７３】
図６において、差分韻律適応モデル生成装置６００は、差分韻律ベクトルに対するトレーニングサンプルセットを記憶する第１記憶部６０１と、図５の差分韻律適応モデルトレーニング装置５００を含む。差分韻律適応モデルトレーニング装置５００は、第１記憶部６０１に記憶されているトレーニングサンプルセットに基づき差分韻律適応モデルをトレーニングする。
【００７４】
図６の差分韻律適応モデル生成装置６００は、中立な言語教材を含む中立コーパスを記憶する第２記憶部６０２、中立韻律ベクトル取得部６０３、感情／表現言語教材を含む感情／表現コーパスを記憶する第３記憶部６０４、感情／表現韻律ベクトル取得部６０５、差分韻律ベクトル計算部６０６をさらに含む。
【００７５】
中立韻律ベクトル取得部６０３は、第２記憶部６０２に記憶されている中立コーパス６０２に基づき、音韻継続時間長とＦ０直交多項式により表された中立韻律ベクトルを得る。
【００７６】
感情／表現韻律ベクトル取得部６０５は、第３記憶部６０４に記憶されている感情／表現コーパスに基づき、音韻継続時間長とＦ０直交多項式により表された感情／表現韻律ベクトルを得る。
【００７７】
差分韻律ベクトル計算部６０６は、感情／表現韻律ベクトルと中立韻律ベクトルとの差分を計算し、差分韻律ベクトルに対しトレーニングサンプルセットを得る。得られたトレーニングサンプルセットは第１記憶部６０１に記憶される。
【００７８】
差分韻律適応モデル生成装置６００と、その各構成部は、特別に設計された回路又はチップで実装することもできる。また、対応のプログラムを汎用コンピュータ（プロセッサ）で実行させることにより、各構成部の機能を実現することもできる。また、差分韻律適応モデル生成装置６００は、図２に示した差分韻律適応モデル生成方法の手順に従って動作する。
【００７９】
（第７の実施形態）
図７は、第３の実施形態で説明した方法（韻律推定方法）を用いた韻律推定装置７００の構成例を示したものである。
【００８０】
図７において、韻律推定装置７００は、中立言語教材に基づき予めトレーニングされた中立韻律推定モデルを記憶する中立韻律推定モデル記憶部７０１と、図６の差分韻律適応モデル生成装置６００で生成された差分韻律適応モデルを記憶する差分韻律適応モデル記憶部７０２を含む。
【００８１】
韻律推定装置７００は、さらに、属性取得部７０３、中立韻律ベクトル推定部７０４、差分韻律ベクトル推定部７０５、韻律推定部７０６をさらに含む。
【００８２】
属性取得部７０３は、入力テキストから、中立韻律推定に関する複数の属性の値、差分韻律推定に関する複数の属性のうちの少なくとも一部の値を取得する。
【００８３】
中立韻律ベクトル推定部７０４は、属性取得部７０３で取得された中立韻律推定に関する複数の属性の値を用いて、中立韻律推定モデル記憶部７０１に記憶されている中立韻律推定モデル基づき、中立韻律ベクトルを計算する。
【００８４】
差分韻律ベクトル推定部７０５は、属性取得部７０３で取得された差分韻律推定に関する複数の属性のうちの少なくとも一部の値と、差分韻律推定に関する複数の属性のうちの他の少なくとも一部の予め定められた値とを用いて、差分韻律適応モデル記憶部７０２に記憶されている差分韻律適応モデルに基づき差分韻律ベクトルを計算する。
【００８５】
韻律推定部７０６は、中立韻律ベクトルと差分韻律ベクトルとの和を計算し、対応する韻律を得る。
【００８６】
中立韻律推定に関する複数の属性には、言語タイプ及び話法タイプの属性を含み、例えば、テーブル１から選択された属性を含む。
【００８７】
韻律推定装置７００と、その各構成部は、特別に設計された回路又はチップで実装することもできる。また、対応のプログラムを汎用コンピュータ（プロセッサ）で実行させることにより、各構成部の機能を実現することもできる。また、韻律推定装置７００は、図３に示した韻律推定方法の手順に従って動作する。
【００８８】
（第８の実施形態）
図８は、第４の実施形態で説明した方法（音声合成方法）を用いた音声合成装置８００の構成例を示したものである。
【００８９】
図８において、音声合成装置８００は、図７に示した韻律推定装置７００と、音声合成部８０１とを含む。
【００９０】
音声合成部８０１は、既存のものでもよく、韻律推定装置７００で推定された韻律に基づき音声合成を行う。
【００９１】
音声合成装置８００と、その各構成部は、特別に設計された回路又はチップで実装することもできる。また、対応のプログラムを汎用コンピュータ（プロセッサ）で実行させることにより、各構成部の機能を実現することもできる。また、音声合成装置８００は、図４３に示した音声合成方法の手順に従って動作する。
【００９２】
以上、差分韻律適応モデルのトレーニング方法及び装置、差分韻律適応モデル生成方法及び装置、韻律推定方法及び装置、及び音声合成方法及び装置について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００９３】
【図１】本発明の一実施形態に係る差分韻律適応モデルのトレーニング方法を説明するフローチャート。
【図２】本発明の一実施形態に係る差分韻律適応モデルの生成方法を説明するフローチャート。
【図３】本発明の一実施形態に係る韻律推定方法を説明するフローチャート。
【図４】本発明の一実施形態に係る音声合成方法を説明するフローチャート。
【図５】本発明の一実施形態に係る差分韻律適応モデルをトレーニングする装置の構成例を示す図。
【図６】本発明の一実施形態に係る差分韻律適応モデル生成装置の構成例を示す図。
【図７】本発明の一実施形態に係る韻律推定装置の構成例を示す図。
【図８】本発明の一実施形態に係る音声合成装置の構成例を示す図。
【符号の説明】
【００９４】
５００…差分韻律適応トレーニング装置
５０１…初期モデル生成部
５０２…重要度計算部
５０３…項削除部
５０４…モデル再生部
５０５…最適決定部
【図１】
2009139949.tif 000009
【図２】
2009139949.tif 000010
【図３】
2009139949.tif 000011
【図４】
2009139949.tif 000012
【図５】
2009139949.tif 000013
【図６】
2009139949.tif 000014
【図７】
2009139949.tif 000015
【図８】
2009139949.tif 000016