(57)【要約】【課題】基本周波数パラメータの計算精度が不充分な場合に、学習音声との間で生じる基本周波数分布のずれを低減する。【解決手段】音声合成装置１００は、一連の単位音声列に含まれる単位音声の種類を記述する音声合成用情報から合成音声波形を生成し、与えられた音声合成用情報に基づき、第１の特徴ベクトルの分布情報を用いて、第１の基本周波数時系列データを予測して生成する第１の基本周波数時系列データ生成部１３４と、与えられた音声合成用情報に基づき、基準となる第２の特徴ベクトルの分布情報を用いて、第２の基本周波数時系列データを予測して生成する第２の基本周波数時系列データ生成部１３５と、第２の基本周波数時系列データを用いて、第１の基本周波数時系列データを修正する基本周波数時系列データ修正部１３６とを備え、修正された第１の基本周波数時系列データに基づく合成音声波形を生成する。【選択図】図１
2011203653.tif 000002
【特許請求の範囲】
【請求項１】
一連の単位音声列に含まれる単位音声の種類を記述する音声合成用情報から合成音声波形を生成する音声合成装置であって、
与えられた音声合成用情報に基づく第１の特徴ベクトルの分布情報を用いて、第１の基本周波数時系列データを予測して生成する第１の基本周波数時系列データ生成部と、
前記与えられた音声合成用情報に基づく、第２の特徴ベクトルの分布情報を用いて、第２の基本周波数時系列データを予測して生成する第２の基本周波数時系列データ生成部と、
前記第２の基本周波数時系列データを用いて、前記第１の基本周波数時系列データを修正する基本周波数時系列データ修正部とを備え、
前記修正された前記第１の基本周波数時系列データに基づく合成音声波形を生成することを特徴とする音声合成装置。
【請求項２】
前記第１の基本周波数時系列データ生成部は、時間的変化を表す動的特徴を要素として含む第１の特徴ベクトルの分布情報を用い、
前記第２の基本周波数時系列データ生成部は、直接的に時間的変化を表さない静的特徴を要素として含む第２の特徴ベクトルの分布情報を用いることを特徴とする請求項１記載の音声合成装置。
【請求項３】
前記基本周波数時系列データ修正部は、所定の時系列区間毎に、前記第１の基本周波数時系列データの平均値を前記第２の基本周波数時系列データの平均値に一致させることを特徴とする請求項１または請求項２記載の音声合成装置。
【請求項４】
前記基本周波数時系列データ修正部は、所定の時系列区間毎に、前記第１の基本周波数時系列データの分散を前記第２の基本周波数時系列データの分散に一致させることを特徴とする請求項３に記載の音声合成装置。
【請求項５】
前記基本周波数時系列データ修正部は、有声が連続する時系列区間毎に、前記第１の基本周波数時系列データを修正することを特徴とする請求項１から請求項４のいずれかに記載の音声合成装置。
【請求項６】
音素の集合として構成される音声合成用情報から合成音声波形を生成する音声合成方法であって、
与えられた音声合成用情報に基づく第１の特徴ベクトルの分布情報を用いて、第１の基本周波数時系列データを予測して生成するステップと、
前記与えられた音声合成用情報に基づく、第２の特徴ベクトルの分布情報を用いて、第２の基本周波数時系列データを予測して生成するステップと、
前記第２の基本周波数時系列データを用いて、前記第１の基本周波数時系列データを修正するステップとを含み、
前記修正された前記第１の基本周波数時系列データに基づく合成音声波形を生成することを特徴とする音声合成方法。
【請求項７】
一連の単位音声列に含まれる単位音声の種類を記述する音声合成用情報から合成音声波形を生成するためにコンピュータに実行させる音声合成プログラムであって、
与えられた音声合成用情報に基づく第１の特徴ベクトルの分布情報を用いて、第１の基本周波数時系列データを予測して生成する処理と、
前記与えられた音声合成用情報に基づく、第２の特徴ベクトルの分布情報を用いて、第２の基本周波数時系列データを予測して生成する処理と、
前記第２の基本周波数時系列データを用いて、前記第１の基本周波数時系列データを修正する処理とを含み、
前記修正された前記第１の基本周波数時系列データに基づく合成音声波形を生成することを特徴とする音声合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音素の集合として構成される音声合成用情報から合成音声波形を生成する音声合成装置、音声合成方法および音声合成プログラムに関する。
【背景技術】
【０００２】
音声合成技術の代表的な利用方法として、テキスト音声変換（Text-To-Speech）が挙げられる。以下、テキスト解析等の結果得られる音素の種類や韻律的特徴を表記した記号を入力とし、音声波形を生成する装置を音声合成装置と呼ぶ。音声合成装置は、テキスト音声変換システムの構成要素である。
【０００３】
この音声合成装置に入力される記号を、以下、音声合成用記号と呼ぶ。音声合成用記号には様々な形式があり得るが、ここでは、一連の音声を構成する音韻的情報と、主としてポーズや声の高さとして表現される韻律的情報を同時に表記したものを考える。そのような音声合成用記号の例として、ＪＥＩＴＡ（電子情報技術産業協会）規格ＩＴ−４００２「日本語テキスト音声合成用記号」がある（非特許文献１参照）。音声合成装置は、このような音声合成用記号に基づいてそれに対応する音声波形を生成する。ただし、一般に音声波形は合成対象の音素だけでなく、前後の音素の種類や韻律的特徴の影響を強く受けるため、一般的に記号と音声波形の対応関係は複雑になる。
【０００４】
音声合成装置による音声波形の生成方法には様々な方式があるが、音声の短時間スペクトルの特徴や有声・無声情報、基本周波数（F0）を直接パラメータとし、このパラメータに基づき音声波形を生成する方法が主な背景技術である。代表的な音声波形の生成方法に、音源・フィルタモデルに基づく音声合成がある。音源・フィルタモデルでは、音声の響きをつくる調音フィルタを適当な音源で駆動することで、音声波形を信号処理的に合成する。
【０００５】
インパルス列や白色雑音源といった比較的に単純な構成の音源を用いる場合、インパルス列と白色雑音源の切り替えは有声・無声情報に基づき、インパルス列の基本周波数はF0パラメータに基づきそれぞれ制御することができる。一方、スペクトルの特徴を表すパラメータとしてはＭＦＣＣ（Mel-Frequency Cepstral Coefficient）や線形予測係数が用いられ、調音フィルタとしては、ＡＲ（自己回帰）型のフィルタや、特にパラメータとしてＭＦＣＣを用いる場合には、ＭＦＣＣを直接そのパラメータとする、ＭＬＳＡ（メル対数スペクトル近似）フィルタ（非特許文献２参照）等が用いられる。
【０００６】
例えば子音のような音声を合成するためには、音声合成パラメータを時間的に変化させることが必要なため、この方法では、例えば５ｍｓ程度の一定周期で音声合成パラメータを更新し、その特徴を変化させながら音声を合成することが一般的である。この一定周期の１周期分は一般に１フレームと呼ばれる。したがって、一般的に音声を合成するためには、音声合成用記号から、音声合成パラメータについてフレーム周期の時系列データを作成する必要がある。
【０００７】
最も簡単な方法としては、ある音素を長さ分だけのフレーム周期の時系列データを、必要な音素のそれぞれについて事前に準備しておき、生成したい音声の音素系列に合わせて、それらの音声合成パラメータ時系列をつなぎ合わせて１発声の音声合成パラメータ時系列とする方法が考えられる。しかし、先述のように、同じ音素であっても、前後の音素の種類や、話速や声の高さ、直前や直後のポーズからの時間的距離によって、その特徴が大きく異なる場合がある。このような場合に対応するためには、前後の音素や韻律的特徴を考慮した複雑な音素分類を用いる必要があるが、このような複雑な音素分類を用いると、音素の種類の個数は莫大になり、必要な全ての音声合成パラメータ時系列のセットを事前に作成、蓄積しておくことは困難である。
【０００８】
そこで実際には、音声合成パラメータ時系列の時間変化を適当なモデルに基づきモデル化し、そのモデルパラメータを音声合成用記号からまず予測することで生成し、得られたモデルから音声合成パラメータ時系列を生成することで、任意の音声を合成可能とする方法が用いられる。以下では、このモデルのことを音声生成モデルと呼ぶ。
【０００９】
例えば、ある音素の音声合成パラメータの特徴が時間的に３つの状態に分かれ、各状態のフレーム数について、それらの統計分布パラメータベクトルを最初の状態から順にd1、d2、d3とし、この３つのベクトルの要素を連結して１つのベクトルdを作り、また、音声合成パラメータの各状態の統計分布パラメータベクトルを最初の状態から順にv1、v2、v3とすれば、その音素を合成するための音声合成パラメータの特徴は、音声生成モデルのパラメータを構成するd、v1、v2、v3の4つのベクトルで表すことができる。さらに、音声合成用記号からこれらのパラメータベクトルを生成するような予測器を前もって構築し、音声合成時に予測器を用いることで、比較的少量のデータから音声を合成することができる。
【００１０】
この方法に基づく代表的なものに、ＨＭＭ音声合成方式がある。ＨＭＭ音声合成方式は、音声生成モデルとしてＨＭＭ（隠れマルコフモデル）に基づくモデルを仮定している。そして、音声生成モデルのパラメータを構成する複数のベクトルは、音声認識技術における状態共有ＨＭＭで用いられる方法と同様に、それぞれ音声合成用記号から決定木に基づき決定される（非特許文献３参照）。ここで決定木は、予め用意しておいた学習音声と、それに対応する音声合成用記号を用いて構築（学習）する。
【００１１】
１発話の音声を合成する際には、まず単位音声毎の音声生成モデルを連結して１発話分の音声生成モデルをまず構成する。そして、その構成された音声生成モデルに対し、尤度が最大となる音声合成パラメータ時系列を求め、これを音声波形生成に用いる。音声合成パラメータ時系列に対する、音声生成モデルの尤度は、例えば、音声生成モデルにおいて、次のように表わされる。
【００１２】
すなわち、フレームiにおける音声合成パラメータxの値xiの統計的分布が他の種類の音声合成パラメータに対し独立でかつ正規分布に従い、その分布の平均がμi、分散がσi2であるとき、音声の長さが全体でnフレームとすると、１発声の音声合成パラメータxの時系列xiに対する音声生成モデルの対数尤度は、以下の数式で与えられる。
【数１】
2011203653.tif 000003
【００１３】
しかし、フレーム周期の音声合成パラメータを数個の正規分布で直接モデル化した場合、最尤なパラメータ系列は、状態内で正規分布の平均値が連続的に出力されたものとなり、状態が切り替わる際に、その値が不連続となる。すなわち、階段状のパラメータ時系列となる。これは実際の音声の特徴と異なるため、音声合成パラメータそのものだけでなく（以下、これを静的特徴と呼ぶ）、音声合成パラメータの動的特徴として、音声合成パラメータ時系列データの一階差分（デルタ）や二階差分（デルタデルタ）等を組み合わせたベクトルを特徴ベクトルとすることで、音声合成パラメータの連続的な変化も考慮したモデル化が行われる（非特許文献４参照）。
【００１４】
ある音声合成パラメータxのi番目のフレームにおける値xiのデルタΔxiおよびデルタデルタΔ2xiは、例えばそれぞれ数式（２）、数式（３）により与えられる。
【数２】
2011203653.tif 000004
【数３】
2011203653.tif 000005
【００１５】
以下、音声合成パラメータの時系列データの計算方法を説明する。まず説明のためにフレームｉにおける特徴ベクトルをoiとする。数式中の英大文字および太字の英小文字はベクトルを意味する（以下、同様）。
【数４】
2011203653.tif 000006
【００１６】
また音声の長さはｎフレームとする。また、以下の行列を定義する。ただし、上付きのTは転置行列、上付きの-1は逆行列を表す（以下同様）。
【数５】
2011203653.tif 000007
【数６】
2011203653.tif 000008
【００１７】
さらに、数式（２）、（３）で定義される静的特徴の時系列Xから動的特徴を含む特徴ベクトル時系列Oを求める変換行列をここではＷとする。つまり、以下の関係が成り立つ。ここでＷは３ｎ行×ｎ列の行列である。
【数７】
2011203653.tif 000009
【００１８】
パラメータの分布が正規分布に従う場合、Xの対数尤度p(X)は以下の数式で与えられる。ここでmiはoiの分布の平均ベクトル、Uiはoiの分布の分散共分散行列である。miおよびUiは事前に学習した決定木により、音声合成用記号から求める。
【数８】
2011203653.tif 000010
【数９】
2011203653.tif 000011
【数１０】
2011203653.tif 000012
【００１９】
対数尤度p(X)を最大とするXは以下の関係を満たす。
【数１１】
2011203653.tif 000013
【００２０】
数式（１１）をXについて解くと以下の数式が得られる。
【数１２】
2011203653.tif 000014
【００２１】
すなわち、数式（１２）を計算することで、最尤基準に基づく、動的特徴を考慮したパラメータ時系列が得られる。
【先行技術文献】
【非特許文献】
【００２２】
【非特許文献１】「日本語テキスト音声合成用記号」ＪＥＩＴＡ規格 ＩＴ−４００２、２００５年３月
【非特許文献２】今井聖、住田一男、古市千枝子、「音声合成のためのメル対数スペクトル近似（ＭＬＳＡ）フィルタ」、電子情報通信学会論文誌(A), J66-A, 2, Feb.1983, pp.122-129
【非特許文献３】吉村貴克、徳田恵一、益子貴史、小林隆夫、北村正、「ＨＭＭに基づく音声合成におけるスペクトル・ピッチ・継続長の同時モデル化」、電子情報通信学会論文誌(D-II), J83-D-II, 11, Nov.2000, pp.2099-2107
【非特許文献４】益子貴史、徳田恵一、小林隆夫、今井 聖、「動的特徴を用いたＨＭＭに基づく音声合成」、電子情報通信学会論文誌(D-II), J79-D-II, 12, Dec.1996, pp.2184-2190
【発明の概要】
【発明が解決しようとする課題】
【００２３】
上記のようなパラメータ時系列を生成するには、高い計算精度が必要になる。ところが、基本周波数に関するパラメータ分布のパラメータベクトルを予測するための決定木を、音韻的な音素の種類だけでなく、アクセント型やアクセント句境界といった言語的な韻律的特徴の違いもその説明変数に含めて学習すると、学習された決定木で予測される特徴ベクトルの分布において、しばしば、デルタ特徴やデルタデルタ特徴に関連する要素の分布の分散が、静的特徴に関連する要素の分布の分散より小さくなる傾向が現れる。これは、言語的な韻律的特徴が基本周波数の絶対値よりもその短時間変化に対して強い相関を持つことに起因すると考えられる。
【００２４】
このため音声合成のために最尤基準に基づき基本周波数パラメータの時系列データを生成すると、決定木学習に用いた音声の基本周波数の絶対値ではなく、そのデルタ特徴およびデルタデルタ特徴を大きく評価して再現するような基本周波数のパラメータ時系列が生成される傾向が見られる。このような方法は、基本周波数の短時間変化を正確に再現するには優れているが、長時間で学習音声と同じ基本周波数分布を再現するには劣っている。このことは合成音声の不自然さの原因となる。
【００２５】
このような傾向は、生成するパラメータ時系列の対数尤度の式を用いて分析すると、静的特徴に関連する項の値が、動的特徴に関連する項の値よりも極端に小さくなるために生じる。しかし実際には、生成されるパラメータが学習した基本周波数の分布から外れてしまうと対数尤度がごく僅かではあっても小さくなるため、合成音声の基本周波数が学習音声の分布から極端に外れてしまうことは少ない。
【００２６】
しかし携帯端末のように計算資源が限られ固定小数点数演算が必要で、処理可能な値の範囲（例えば最大値と最小値の比）を充分にとることができない装置による計算では、尤度計算の際の桁落ちにより、静的パラメータに関連する項の値が基本周波数に因らずゼロとなりうる。静的パラメータに関連する項の値がゼロになると、静的パラメータに対する制約が無くなる。そして、学習音声の基本周波数と比較して、周波数軸上で極端に上または下に平行移動したような基本周波数時系列データが生成されうる。
【００２７】
本発明は、このような事情に鑑みてなされたものであり、予測された基本周波数パラメータの計算精度が不充分な場合でも、学習音声との間で生じる基本周波数分布のずれを低減できる音声合成装置、音声合成方法および音声合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２８】
（１）上記の目的を達成するため、本発明の音声合成装置は、一連の単位音声列に含まれる単位音声の種類を記述する音声合成用情報から合成音声波形を生成する音声合成装置であって、与えられた音声合成用情報に基づく第１の特徴ベクトルの分布情報を用いて、第１の基本周波数時系列データを予測して生成する第１の基本周波数時系列データ生成部と、前記与えられた音声合成用情報に基づく、第２の特徴ベクトルの分布情報を用いて、第２の基本周波数時系列データを予測して生成する第２の基本周波数時系列データ生成部と、前記第２の基本周波数時系列データを用いて、前記第１の基本周波数時系列データを修正する基本周波数時系列データ修正部とを備え、前記修正された前記第１の基本周波数時系列データに基づく合成音声波形を生成することを特徴としている。
【００２９】
このように、本発明の音声合成装置は、第２の特徴ベクトルの時系列データを用いて、第１の特徴ベクトルの時系列データを修正するため、予測された基本周波数パラメータの計算精度が不充分な場合でも、学習音声との間で生じる基本周波数分布のずれを低減できる。その結果、特に、携帯端末などの浮動小数点演算のできないプロセッサを有する装置においても学習音声に近い音声合成を実現できる。
【００３０】
（２）また、本発明の音声合成装置は、前記第１の基本周波数時系列データ生成部は、時間的変化を表す動的特徴を要素として含む第１の特徴ベクトルの分布情報を用い、前記第２の基本周波数時系列データ生成部は、直接的に時間的変化を表さない静的特徴を要素として含む第２の特徴ベクトルの分布情報を用いることを特徴としている。このように、時間的変化を表す動的特徴を要素として含む特徴ベクトルから生成した時系列データを、時間的変化を表さない静的特徴を要素として含む特徴ベクトルから生成した時系列データを用いて修正するため、学習音声と合成音声の間に生じ易い基本周波数分布のずれを低減できる。
【００３１】
（３）また、本発明の音声合成装置は、前記基本周波数時系列データ修正部は、所定の時系列区間毎に、前記第１の基本周波数時系列データの平均値を前記第２の基本周波数時系列データの平均値に一致させることを特徴としている。これにより、基本周波数パラメータの時系列データについて周波数の高低方向のずれを、平均値を用いて修正することができる。その結果、長時間平均的には、第２の基本周波数分布パラメータ生成部の出力結果を強く反映させた基本周波数時系列データを生成することができる。
【００３２】
（４）また、本発明の音声合成装置は、前記基本周波数時系列データ修正部は、所定の時系列区間毎に、前記第１の基本周波数時系列データの分散を前記第２の基本周波数時系列データの分散に一致させることを特徴としている。これにより、基本周波数パラメータの時系列データについて周波数の分布のずれを、分散を用いて修正することができる。その結果、１発声単位内のパラメータ変動の最小値・最大値を、学習音声のそれに近付け、学習音声をより正確に再現するように音声を合成することができる。
【００３３】
（５）また、本発明の音声合成装置は、前記基本周波数時系列データ修正部は、有声が連続する時系列区間毎に、前記第１の基本周波数時系列データを修正することを特徴としている。これにより、より短い時間単位で、第２の基本周波数分布パラメータ生成部１３３の出力結果を強く反映させた基本周波数時系列データを生成することができる。
【００３４】
（６）また、本発明の音声合成方法は、音素の集合として構成される音声合成用情報から合成音声波形を生成する音声合成方法であって、与えられた音声合成用情報に基づく第１の特徴ベクトルの分布情報を用いて、第１の基本周波数時系列データを予測して生成するステップと、前記与えられた音声合成用情報に基づく、第２の特徴ベクトルの分布情報を用いて、第２の基本周波数時系列データを予測して生成するステップと、前記第２の基本周波数時系列データを用いて、前記第１の基本周波数時系列データを修正するステップとを含み、前記修正された前記第１の基本周波数時系列データに基づく合成音声波形を生成することを特徴としている。これにより、予測された基本周波数パラメータの計算精度が不充分な場合でも、学習音声との間で生じる基本周波数分布のずれを抑えることができる。
【００３５】
（７）また、本発明の音声合成プログラムは、一連の単位音声列に含まれる単位音声の種類を記述する音声合成用情報から合成音声波形を生成するためにコンピュータに実行させる音声合成プログラムであって、与えられた音声合成用情報に基づく第１の特徴ベクトルの分布情報を用いて、第１の基本周波数時系列データを予測して生成する処理と、前記与えられた音声合成用情報に基づく、第２の特徴ベクトルの分布情報を用いて、第２の基本周波数時系列データを予測して生成する処理と、前記第２の基本周波数時系列データを用いて、前記第１の基本周波数時系列データを修正する処理とを含み、前記修正された前記第１の基本周波数時系列データに基づく合成音声波形を生成することを特徴としている。これにより、予測された基本周波数パラメータの計算精度が不充分な場合でも、学習音声との間で生じる基本周波数分布のずれを抑えることができる。
【発明の効果】
【００３６】
本発明によれば、予測された基本周波数パラメータの計算精度が不充分な場合でも、学習音声との間で生じる基本周波数分布のずれを低減できる。
【図面の簡単な説明】
【００３７】
【図１】本発明に係る音声合成装置のブロック図である。
【図２】本発明に係る音声合成装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００３８】
本発明の実施形態を説明する。以下の説明において“単位音声”とは、音声合成装置における、音声の最小処理単位である。単位音声の具体例には、音素、音節、単語がある。単位音声は、例えば前後の音素の種類といった音韻環境に関する違い、またアクセントやイントネーション、話速といった韻律的特徴の違いを考慮して分類される。“単位発話”は、連続的な特徴を有する一連の単位音声列を指し、１文の発声や、呼気段落（一息で読む単位）に対応する。また“音声合成用記号”とは、１単位発話の音声に含まれる単位音声のそれぞれの種類を記述するための一連の記号である。また、以下では基本周波数を全て対数基本周波数軸上で取り扱う。
【００３９】
［第１の実施形態］
（音声合成装置の機能的構成）
図面を参照して、音声合成装置１００の機能的構成の一例を説明する。図１は、音声合成装置１００のブロック図である。音声合成装置１００は、例えば音声合成用記号のような音声合成用情報から合成音声波形を生成する。図１に示すように、音声合成装置１００は、状態継続長系列生成部１１０、スペクトル特徴分布パラメータ生成部１２０、基本周波数時系列データ生成モジュール１３０、スペクトル特徴時系列データ生成部１４０、および音声波形生成部１５０を備えている。
【００４０】
状態継続長系列生成部１１０は、音声合成用記号列に対応した音声単位毎に、その音声単位を構成する各状態の継続長（フレーム数）を予測し、１発話単位分をまとめて、状態継続長系列として出力する。一方、スペクトル特徴分布パラメータ生成部１２０は、音声合成用記号列に対応した状態系列における各状態のスペクトル特徴分布パラメータを生成する。
【００４１】
有声・無声パラメータ生成部１３１は、音声合成用記号列に対応した状態系列における有声・無声確率パラメータを生成する。第１の基本周波数分布パラメータ生成部１３２は、音声合成用記号列に対応した状態系列における各状態の基本周波数特徴分布パラメータを生成する。第１の基本周波数分布パラメータ生成部１３２は、学習音声を用いて基本周波数の分布パラメータを予測する予測器である。
【００４２】
他方、第２の基本周波数分布パラメータ生成部１３３では、同様に音声合成用記号列に対応した状態系列における各状態の基本周波数特徴分布パラメータを生成する。なお、スペクトル特徴および基本周波数特徴はそれぞれ静的特徴だけでなく、そのデルタ特徴やデルタデルタ特徴等の動的特徴を含む。第２の基本周波数分布パラメータ生成部１３３は、学習音声を用いて基本周波数の分布パラメータを予測する予測器である。
【００４３】
なお、上記の特徴は全て正規分布を仮定し、分布パラメータはそれぞれその平均と分散で構成される。また、上記のパラメータはそれぞれ決定木を用いて生成できる。ここで用いる決定木は、音声合成用記号と、それぞれ対応する特徴との関係について、それぞれ学習用音声を用いて事前に学習されている。
【００４４】
次に、スペクトル特徴時系列データ生成部１４０は、上記状態継続長系列と、上記状態毎のスペクトル特徴分布パラメータから、スペクトル特徴ベクトルの時系列データを生成する。この生成処理では、各状態における各特徴パラメータの分布が、状態継続長系列に格納されたフレーム数だけそれぞれ継続しているとして、一発話単位で見た尤度が最大となるようなパラメータ時系列を求めることで行われる。これは数式（１２）を計算することで求めることができる。
【００４５】
同様に、第１の基本周波数時系列データ生成部１３４は、上記状態継続長系列と、上記第１の基本周波数分布パラメータ生成部１３２が出力した状態毎の基本周波数特徴分布パラメータから、基本周波数パラメータの時系列データ（基本周波数時系列データ）を生成する。ただし、基本周波数については、状態毎の有声・無声情報も参照し、有声の状態のみに対してパラメータ時系列データ生成処理を行う。このようにして、与えられた音声合成用情報に基づく第１の特徴ベクトルの分布情報を用いて、第１の基本周波数時系列データを予測して生成する。第１の特徴ベクトルとしては、時間的変化を表す動的特徴を要素として含むベクトルを用いる。
【００４６】
この処理の際、無声フレームが隣接する有声フレームについては、そのデルタ特徴やデルタデルタ特徴を定義できないので、そのようなフレームではデルタ特徴、デルタデルタ特徴の分布の分散の値を無限大に設定する。これにより、数式（１２）を展開し実際に計算する際に、それらのフレームのデルタ特徴やデルタデルタ特徴に関連した項が０となり、そのようなフレームの動的特徴を計算上無視することができる。なお、以下では、無声の場合についても基本周波数データについて適当な特別な値を設定し、それを無声符号として扱うことで、基本周波数時系列データに有声・無声情報も埋め込まれているものとする。「特別な値」としては、０や、たとえば基本周波数が１６ビット符号無し整数値で表される場合の最大値である６５５３５などを設定することができる。
【００４７】
同じく、第２の基本周波数時系列データ生成部１３５は、上記状態継続長系列と、第２の基本周波数分布パラメータ生成部１３３が出力した状態毎の基本周波数特徴分布パラメータから、基本周波数パラメータの時系列データを生成する。ただし、第１の基本周波数時系列データ生成部１３４とは異なり、ここでは動的特徴が考慮されないため、生成される基本周波数時系列データが、状態内は一定の値をとり、状態が切り替わる毎に値が不連続となる、階段状の時系列データとなる。このようにして、与えられた音声合成用情報に基づく第２の特徴ベクトルの分布情報を用いて、基本周波数時系列データを予測して生成する。長時間的な特徴の基準となる第２の特徴ベクトルとして、基本周波数の時間的変化を表さない静的特徴を要素とするベクトルを用いる。
【００４８】
一方で、第１の基本周波数時系列データ生成部１３４とは異なり分布の分散の影響がなく桁落ち等は生じにくいため、計算精度上は、比較的に正確な出力結果が得られる。なお、第２の基本周波数時系列データ生成部１３５も、第１の基本周波数時系列データ生成部１３４同様、有声・無声情報が出力結果に同時に埋め込まれているものとする。
【００４９】
基本周波数時系列データ修正部１３６は、第１の基本周波数時系列データ生成部１３４で生成された基本周波数時系列データ（第１の基本周波数時系列データ）を、第２の基本周波数時系列データ生成部１３５で生成された基本周波数時系列データ（第２の基本周波数時系列データ）を用いて修正する。
【００５０】
これにより、予測された基本周波数パラメータの計算精度が不充分な場合でも、学習音声との間で生じる基本周波数分布のずれを低減できる。その結果、特に、携帯端末や白物家電などに搭載される浮動小数点演算のできないプロセッサにおいても学習音声に近い音声合成を実現できる。特に、時間的変化を表す動的特徴を要素として含む特徴ベクトルから生成した基本周波数時系列データを、時間的変化を表さない静的特徴を要素とするベクトルから生成した基本周波数時系列データを用いて修正するときには、学習音声と合成音声の間に生じ易い基本周波数分布のずれを低減できる。
【００５１】
修正処理では、まず、第２の基本周波数時系列データ生成部で生成された基本周波数時系列データについて、所定の時系列区間だけの平均値を求める。次に、第１の基本周波数時系列データ生成部１３４で生成された基本周波数時系列データの平均値が、先に求めた第２の基本周波数分布パラメータ生成部１３３の出力結果の平均値と等しくなるように、基本周波数時系列データの全要素に、ある定数を加算し加算した結果を出力する。
【００５２】
これにより、基本周波数パラメータの時系列データについて周波数の高低方向のずれを、平均値を用いて修正することができる。その結果、長時間平均的には、第２の基本周波数分布パラメータ生成部１３３の出力結果を強く反映させた基本周波数時系列データを生成することができる。所定の時系列区間とは、例えば有声区間である。
【００５３】
なお、有声・無声パラメータ生成部１３１、第１の基本周波数分布パラメータ生成部１３２、第２の基本周波数分布パラメータ生成部１３３、第１の基本周波数時系列データ生成部１３４、第２の基本周波数時系列データ生成部１３５、基本周波数時系列データ修正部１３６は、基本周波数時系列データ生成モジュール１３０を構成する。
【００５４】
音声波形生成部１５０は、音源１５１および調音フィルタ１５２で構成される。音声波形生成部１５０は、修正された基本周波数時系列データに基づき、音源１５１が出力する音源波形で、スペクトル特徴時系列データに基づき制御された調音フィルタ１５２を駆動し、音声波形を合成する。このように、修正された第１の特徴ベクトルの時系列データに基づく合成音声波形を生成する。
【００５５】
（音声合成装置の動作）
次に、音声合成装置１００の動作の一例を説明する。図２は、音声合成装置１００の動作の一例を示すフローチャートである。以下、音声合成用記号から合成音声波形を生成する処理の流れを順に説明する。
【００５６】
図２に示すように、まず、音声合成装置１００は、入力された音声合成用記号に基づいて状態継続長系列を生成する（ステップＳ１）。次に、音声合成用記号に基づいてスペクトル特徴分布パラメータを生成する（ステップＳ２）。そして、生成された状態継続長系列およびスペクトル特徴分布パラメータを用い、スペクトル特徴パラメータの時系列データを生成する（ステップＳ３）。また、音声合成用記号に基づいて有声・無声パラメータを生成する（ステップＳ４）。
【００５７】
そして、音声合成用記号に基づいて、第１の基本周波数分布パラメータを生成する（ステップＳ５）。生成された第１の基本周波数分布パラメータ、状態継続長系列および有声・無声パラメータを用い、音声合成用記号に基づいて第１の基本周波数パラメータの時系列データを生成する（ステップＳ６）。
【００５８】
一方、音声合成用記号に基づいて第２の基本周波数分布パラメータを生成する（ステップＳ７）。そして、生成された第２の基本周波数分布パラメータ、状態継続長系列および有声・無声パラメータを用い、音声合成用記号に基づいて第２の基本周波数パラメータの時系列データを生成する（ステップＳ８）。そして、第２の基本周波数パラメータの時系列データを用いて、第１の基本周波数パラメータの時系列データを修正する（ステップＳ９）。最後に、スペクトル特徴パラメータの時系列データと、修正された第１の基本周波数パラメータの時系列データを用いて音声波形を生成する（ステップＳ１０）。このようにして、音声合成用記号の入力から合成音声波形を出力できる。
【００５９】
［第２の実施形態］
上記の実施形態では基本周波数パラメータ時系列データ修正部１３６において、周波数軸上の平行移動のみ行っているが、平行移動以外の修正を行ってもよい。例えば、第２の基本周波数分布パラメータ生成部１３３の出力に対し、その平均値に加えて分散も計算し、基本周波数パラメータ時系列データ修正部１３６が出力する基本周波数時系列データの分散が、第２の基本周波数分布パラメータ生成部１３３の出力の分散と等しくなるように、特徴パラメータの周波数軸方向への伸縮を行ってもよい。これにより、１発声単位内のパラメータ変動の最小値・最大値を、学習音声のそれに近付け、学習音声をより正確に再現するように音声を合成することができる。
【００６０】
［第３の実施形態］
また、上記の実施形態では第１の基本周波数分布パラメータ生成部１３２は、基本周波数の静的特徴分布と動的特徴分布のパラメータを同時に出力しているが、動的特徴量のみを出力する構成としてもよい。この場合、第１の基本周波数分布パラメータ生成部１３２において何らかの静的特徴量分布に関する制約、または基本周波数の初期値制約が必要となる。ただし、それはある適当な一定の分布または値でもよい。第１の基本周波数時系列データ生成部１３４で生成された基本周波数時系列データは、最終的に基本周波数パラメータ時系列データ修正部１３６において、第２の基本周波数分布パラメータ生成部１３２の出力に基づき、適切な周波数範囲となるよう修正される。なお、この場合、第１の基本周波数分布パラメータ生成部１３２の予測器学習は、動的特徴のみを参照しても、または従来同様に静的特徴と動的特徴を同時に参照してもよい。
【００６１】
［第４の実施形態］
また、上記の実施形態では、第２の基本周波数分布パラメータ生成部１３３で静的特徴の分布のみを出力し、これを第２の基本周波数時系列データ生成部で用いているが、第１の基本周波数時系列データ生成部１３４の出力の長時間的な特徴の精度よりも、第２の基本周波数時系列データ生成部１３５の出力の長時間的な特徴の精度が高くなるのであれば、第２の基本周波数時系列データ生成にそれ以外の特徴の分布を用いてもよい。またそれは、２次元以上の特徴ベクトルを考慮したものでもよい。その場合、第２の基本周波数時系列データ生成部の処理は、第１の基本周波数時系列データ生成部１３４における処理と同様のものとなる。
【００６２】
［第５の実施形態］
また、上記の実施形態では制御単位を一発話単位としているが、例えば有声が連続する状態を単位とするより短い時間単位で、それぞれ独立して修正量を求め修正してもよい。これにより、より短い時間単位で、第２の基本周波数分布パラメータ生成部１３３の出力結果を強く反映させた基本周波数時系列データを生成することができる。ただし、平均を求める区間が短くなる分、一発話単位で修正する場合より、第２の基本周波数分布パラメータ生成部１３３の出力の精度を高める必要がある。
【００６３】
［第６の実施形態］
また、静的特徴については、短時間的なノイズを除去するために、前後数フレーム間の平均値を代わりに用いてもよい。また、上記動的特徴を含む特徴ベクトルは基本周波数時系列データ生成モジュール１３０において時系列データを定めることができる構成のものであればよく、３次元の特徴ベクトルに限定されない。例えば、静的特徴、デルタ特徴で構成される２次元のベクトルや、さらに高次の特徴を含んだ高次元の特徴ベクトルを用いてもよい。
【００６４】
［第７の実施形態］
なお、上記の実施形態では対数周波数軸上での議論を行っているが、基本周波数のパラメータはこれに限定されない。例えば話者を限定する等、充分に狭い範囲の基本周波数しか扱わない場合は、線形周波数軸上で同様の操作を行ってもよい。
【００６５】
［第８の実施形態］
また、上記の実施形態では音源・フィルタモデルに基づく音声合成の例を示しているが、基本周波数時系列データ生成に関する部分のみを他の音声合成方式と組み合わせて用いてもよい。例えば、基本周波数時系列データを明示的な音声合成目標として用いる接続合成において、基本周波数時系列データの予測器として本発明を用いることができる。
【００６６】
なお、以上の実施形態では、音声合成装置１００は、予測器として基本周波数分布パラメータ生成部を２つ有しているが、３つ以上有していてもよい。ただし、予測器の数に比例して処理するデータサイズが増大するため、予測器は２つであることが好ましい。
【符号の説明】
【００６７】
１００  音声合成装置
１１０  状態継続長系列生成部
１２０  スペクトル特徴分布パラメータ生成部
１３０  基本周波数時系列データ生成モジュール
１３１  有声・無声パラメータ生成部
１３２  第１の基本周波数分布パラメータ生成部
１３３  第２の基本周波数分布パラメータ生成部
１３４  第１の基本周波数時系列データ生成部
１３５  第２の基本周波数時系列データ生成部
１３６  基本周波数時系列データ修正部
１４０  スペクトル特徴時系列データ生成部
１５０  音声波形生成部
１５１  音源
１５２  調音フィルタ
【図１】
2011203653.tif 000015
【図２】
2011203653.tif 000016