(57)【特許請求の範囲】
【請求項１】
同一音韻の複数の音声波形データから特徴ベクトルを抽出して当該音韻の音声素片を生成する音声素片生成方法において、
少なくとも一つの周波数帯域については前記複数の音声波形データのそれぞれの特徴ベクトルを相関がより大きくなるように平行移動させることで位相合わせを行った後に、前記複数の音声波形データのそれぞれの特徴ベクトルを周波数帯域毎に平均化することにより、前記音声素片の周波数帯域毎の成分である帯域素片を生成し、
前記周波数帯域毎の帯域素片を統合して前記音声素片を生成する音声素片生成方法。
【請求項２】
同一音韻の複数の音声波形データから当該音韻の音声素片を生成する音声素片生成方法において、
前記音声波形データを複数の周波数帯域に分割し、
前記周波数帯域毎に前記複数の音声データをトレーニングデータとし、前記音声素片の周波数帯域毎の成分である帯域素片を前記トレーニングデータとの位相差がより小さくなるように前記トレーニングデータに位相合せを行った後に該帯域素片を用いて合成された合成音声データと前記トレーニングデータとの時間領域の波形の誤差を評価関数として、該評価関数をより小さくする閉ループ学習を行うことにより前記帯域素片を生成し、
前記周波数帯域毎の帯域素片を統合して前記音声素片を生成する音声素片生成方法。
【請求項３】
前記複数の周波数帯域の帯域幅を不均一とする請求項１または２のいずれか１項記載の音声素片生成方法。
【請求項４】
同一音韻の複数の音声波形データから特徴ベクトルを抽出して当該音韻の音声素片を生成し、該音声素片を用いて音声を合成する音声合成方法において、
少なくとも一つの周波数帯域については前記複数の音声波形データのそれぞれの特徴ベクトルを相関がより大きくなるように平行移動させることで位相合わせを行った後に、前記複数の音声波形データのそれぞれの特徴ベクトルを周波数帯域毎に平均化することにより、前記音声素片の周波数帯域毎の成分である帯域素片を生成し、
前記周波数帯域毎の帯域素片を統合して前記音声素片を生成し、
該音声素片の中から、入力された音韻記号列に従って選択された音声素片を接続することによって音声を合成する音声合成方法。
【請求項５】
同一音韻の複数の音声波形データから特徴ベクトルを抽出して当該音韻の音声素片を生成し、該音声素片を用いて音声を合成する音声合成方法において、
前記音声波形データを複数の周波数帯域に分割し、
前記周波数帯域毎に前記複数の音声データをトレーニングデータとし、前記音声素片の周波数帯域毎の成分である帯域素片を前記トレーニングデータとの位相差がより小さくなるように前記トレーニングデータに位相合せを行った後に該帯域素片を用いて合成された合成音声データと前記トレーニングデータとの時間領域の波形の誤差を評価関数として、該評価関数をより小さくする閉ループ学習を行うことにより前記帯域素片を生成し、
前記周波数帯域毎の帯域素片を統合して前記音声素片を生成し、
該音声素片の中から、入力された音韻記号列に従って選択された音声素片を接続することによって音声を合成する音声合成方法。
【請求項６】
同一音韻の複数の音声波形データから特徴ベクトルを抽出して当該音韻の音声素片を生成する音声素片生成装置において、
少なくとも一つの周波数帯域については前記複数の音声波形データのそれぞれの特徴ベクトルを相関がより大きくなるように平行移動させることで位相合わせを行った後に、前記複数の音声波形データのそれぞれの特徴ベクトルを周波数帯域毎に平均化することにより、前記音声素片の周波数帯域毎の成分である帯域素片を生成する手段と、
前記周波数帯域毎の帯域素片を統合して前記音声素片を生成する手段とを有する音声素片生成装置。
【請求項７】
同一音韻の複数の音声波形データから当該音韻の音声素片を生成する音声素片装置において、
前記音声波形データを複数の周波数帯域に分割する手段と、
前記周波数帯域毎に前記複数の音声データをトレーニングデータとし、前記音声素片の周波数帯域毎の成分である帯域素片を前記トレーニングデータとの位相差がより小さくなるように前記トレーニングデータに位相合せを行った後に該帯域素片を用いて合成された合成音声データと前記トレーニングデータとの時間領域の波形の誤差を評価関数として、該評価関数をより小さくする閉ループ学習を行うことにより前記帯域素片を生成する手段と、
前記周波数帯域毎の帯域素片を統合して前記音声素片を生成する手段とを有する音声素片生成装置。
【請求項８】
同一音韻の複数の音声波形データから特徴ベクトルを抽出して当該音韻の音声素片を生成し、該音声素片を用いて音声を合成する音声合成装置において、
少なくとも一つの周波数帯域については前記複数の音声波形データのそれぞれの特徴ベクトルを相関がより大きくなるように平行移動させることで位相合わせを行った後に、前記複数の音声波形データのそれぞれの特徴ベクトルを周波数帯域毎に平均化することにより、前記音声素片の周波数帯域毎の成分である帯域素片を生成する手段と、
前記周波数帯域毎の帯域素片を統合して前記音声素片を生成する手段と、
該音声素片の中から、入力された音韻記号列に従って選択された音声素片を接続することによって音声を合成する手段とを有する音声合成装置。
【請求項９】
同一音韻の複数の音声波形データから特徴ベクトルを抽出して当該音韻の音声素片を生成し、該音声素片を用いて音声を合成する音声合成装置において、
前記音声波形データを複数の周波数帯域に分割する手段と、
前記周波数帯域毎に前記複数の音声データをトレーニングデータとし、前記音声素片の周波数帯域毎の成分である帯域素片を前記トレーニングデータとの位相差がより小さくなるように前記トレーニングデータに位相合せを行った後に該帯域素片を用いて合成された合成音声データと前記トレーニングデータとの時間領域の波形の誤差を評価関数として、該評価関数をより小さくする閉ループ学習を行うことにより前記帯域素片を生成する手段と、
前記周波数帯域毎の帯域素片を統合して前記音声素片を生成する手段と、
該音声素片の中から、入力された音韻記号列に従って選択された音声素片を接続することによって音声を合成する手段とを有する音声合成装置。
【請求項１０】
同一音韻の複数の音声波形データから特徴ベクトルを抽出して当該音韻の音声素片を生成する処理をコンピュータに行わせるためのプログラムにおいて、
少なくとも一つの周波数帯域については前記複数の音声波形データのそれぞれの特徴ベクトルを相関がより大きくなるように平行移動させることで位相合わせを行った後に、前記複数の音声波形データのそれぞれの特徴ベクトルを周波数帯域毎に平均化することにより、前記音声素片の周波数帯域毎の成分である帯域素片を生成する処理と、
前記周波数帯域毎の帯域素片を統合して前記音声素片を生成する処理とを前記コンピュータに行わせるための音声素片生成プログラム。
【請求項１１】
同一音韻の複数の音声波形データから特徴ベクトルを抽出して当該音韻の音声素片を生成する処理をコンピュータに行わせるためのプログラムにおいて、
前記音声波形データを複数の周波数帯域に分割する処理と、
前記周波数帯域毎に前記複数の音声データをトレーニングデータとし、前記音声素片の周波数帯域毎の成分である帯域素片を前記トレーニングデータとの位相差がより小さくなるように前記トレーニングデータに位相合せを行った後に該帯域素片を用いて合成された合成音声データと前記トレーニングデータとの時間領域の波形の誤差を評価関数として、該評価関数をより小さくする閉ループ学習を行うことにより前記帯域素片を生成する処理と、
前記周波数帯域毎の帯域素片を統合して前記音声素片を生成する処理とを前記コンピュータに行わせるための音声素片生成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はテキスト音声合成に係り、特に素片接続型音声合成器における音声素片生成方法と装置、その音声素片を用いた音声合成方法と装置及び音声素片生成のためのプログラムに関する。
【０００２】
【従来の技術】
任意の文章から人工的に音声信号を作り出すことをテキスト音声合成という。テキスト音声合成システムは、一般に言語処理部、制御パラメータ生成部及び音声信号生成部の３つの段階から構成される。入力されたテキストは、まず言語処理部において形態素解析や構文解析などが行われる。次に、制御パラメータ生成部においてアクセントやイントネーションの処理が行われ、音韻記号列、ピッチパターン及び音韻継続時間長などの情報が出力される。最後に、音声信号生成部すなわち音声合成器では、音韻記号列、ピッチ及び音韻継続時間長などの情報から音声信号を合成する。
【０００３】
テキスト音声合成に用いる音声合成器は、任意の音韻記号列を任意の韻律で合成することが可能な方式でなければならない。任意の音韻記号列を合成することができる音声合成器の原理は、母音をＶ、子音をＣで表すと、ＣＶ、ＣＶ／ＶＣ、ＣＶＣ、ＶＣＶなどの基本となる小さな単位の特徴パラメータや音声波形（音声素片）を記憶し、ピッチや継続時間長を制御して接続することにより音声を合成するというものである。このような音声合成器の方式は、素片接続型と呼ばれている。
【０００４】
図１１を用いて、素片接続型音声合成器の一例を説明する。この例では、音声素片の単位はＣＶ（音節）であり、各音声素片はいくつかのピッチ波形（短い区間の非周期的な音声波形）の組で構成されている。音声合成器では、与えられた音韻記号列（この例では「あらゆる」）に従って音声素片/a/,/ra/,/yu/,/ru/を選択するとともに、ピッチパターンと音韻継続時間長に従って時間軸上にピッチマーク（図中の合成音声の波形に付された白三角）を設定する。次に、音声素片中のピッチ波形とピッチマークを対応付けて、ピッチ波形を時間軸上に重畳することによって合成音声波形を生成する。
【０００５】
このような素片接続型の音声合成器では、記憶されている音声素片が合成音声の品質を大きく左右する。従来、これらの音声素片の作成はもっぱら人手に頼っており、音声信号の中から技術者が試行錯誤的に切り出して音声素片を作成するために、膨大な労力を要していた。
【０００６】
この点を解決するため、あらかじめ収録した大量の音声波形データ（音声データベース）から、統計的な手法を用いて自動的に音声素片を生成する方法が試みられている。統計的な音声素片生成法の原理は、音声データベース中に多数存在する同一音韻の複数の音声波形データから、当該音韻を代表する典型的な性質を持つ音声素片を生成するというものである。音韻が同一であっても、音声波形データ毎にピッチ周期や音韻継続時間長が異なっていることから、同一音韻の音声波形データをそのまま平均化することはできない。このため、ピッチ周期や音韻継続時間長に依存しない特徴ベクトルを同一音韻の各音声波形データから抽出して、それらの特徴ベクトルを平均化することで音声素片を生成することが行われている。
【０００７】
特徴ベクトルの一例を図１２を用いて説明する。この例では、音声波形データの当該音韻に対応する区間から、一定の長さのピッチ波形を一定の個数だけ切り出して連結したものを特徴ベクトルとみなしている。ピッチ波形の切り出しは、ピッチ周期の２倍程度の窓長の窓関数を音声波形データにかけることで行い、定められたピッチ波形長よりも窓長が短い場合には零を埋めている。このように音声波形データに窓関数をかけて非周期的な波形とすることにより、ピッチ周期の影響が取り除かれ、窓長とピッチ波形数を一定にすることによって、特徴ベクトルの次元が一定となる。
【０００８】
こうして抽出される特徴ベクトルを用いて音声素片を生成するためには、音声データベース中の同一音韻の複数の音声波形データからそれぞれ特徴ベクトルを抽出し、その平均（セントロイド）を求めればよい。この例では、求められたセントロイドのベクトルがそのまま音声素片となる。
【０００９】
統計的な手法を用いた音声素片作成法の他の例として、音声素片の閉ループ学習と呼ばれる技術が、「籠嶋岳彦，赤嶺政巳，“閉ループ学習に基づく代表素片選択による音声素片の自動生成，”信学論(D-II), vol.J81-D-II, no.9, pp.1949−1954, Sep. 1998.」及び「籠嶋岳彦，赤嶺政巳，“閉ループ学習に基づく最適な素片選択の解析的生成”，信学論(D-II), vol. J83-D-II, no.6, pp.1405−1411, June 2000.」に開示されている。
【００１０】
閉ループ学習法は、音声素片に対してピッチ変更を行って生成された合成音声データと、音声データベース中の自然音声波形データとの誤差を評価し、この誤差を最小化するような音声素片を生成する手法である。この手法により、音声データベースから客観的な基準を用いて自動的に音声素片を作ることが可能となると共に、自然音声に近い高音質な合成音声を生成することができる。
【００１１】
【発明が解決しようとする課題】
上述した音声データベース中の同一音韻の複数の音声波形データから音声素片を生成する従来の技術では、時間領域の音声ピッチ波形を特徴ベクトルとして抽出するため、特徴ベクトルを平均化して音声素片となるセントロイドを求める際に、特徴ベクトルの位相を考慮する必要がある。
【００１２】
例えば、同一音韻の異なる音声波形データから抽出した図１３（ａ）中に示す特徴ベクトルＡと特徴ベクトルＢは、図１３（ｂ）に示されるように各々のパワースペクトルが２つのピークを持ち、そのスペクトル形状は類似しているが、図１３（ｃ）に示されるように位相特性、特に高域の位相特性が異なっている。このため、特徴ベクトルＡと特徴ベクトルＢを平均化して図１３（ａ）の下側の図に示されるセントロイドを求めると、セントロイドのパワースペクトルは図１３（ｂ）の下側の図に示されるように、低域のピークは保存されるものの、高域側では図１３（ｃ）の下側の図に示されるように位相が異なるために打ち消し合ってピークが低くなる。このように位相差によって高域のパワースペクトルのピークが減衰し、合成音声は篭った感じの音質になるという問題がある。
【００１３】
一方、上述した閉ループ学習法においても、自然音声と合成音声の誤差の評価関数として、時間領域の波形の誤差を用いた場合には、同様に高域の減衰の問題が生じる。
【００１４】
本発明は、以上の問題を考慮してなされたものであり、その目的はテキスト音声合成による合成音声の音質を向上させるのに有効な音声素片の生成方法を可能とすることにある。
【００１５】
【課題を解決するための手段】
上記の課題を解決するため、同一音韻の複数の音声波形データから特徴ベクトルを抽出して当該音韻の音声素片を生成する際、本発明の一つの態様では、複数の音声波形データのそれぞれの特徴ベクトルを複数の周波数帯域毎に平均化し、かつ少なくとも一つの周波数帯域については前記複数の音声波形データのそれぞれの特徴ベクトルを位相合わせした後に平均化することにより、音声素片の周波数帯域毎の成分である帯域素片を生成し、周波数帯域毎の帯域素片を統合して音声素片を生成する。
【００１６】
本発明の他の態様では、音声波形データを複数の周波数帯域に分割し、周波数帯域毎に複数の音声波形データをトレーニングデータとし、時間領域の誤差を評価関数とする閉ループ学習を行うことにより、音声素片の周波数帯域毎の成分である帯域素片を生成し、周波数帯域毎の帯域素片を統合して音声素片を生成する。
【００１７】
また、本発明によれば同一音韻の複数の音声波形データから特徴ベクトルを抽出して当該音韻の音声素片を生成する処理をコンピュータに行わせるためのプログラムであって、複数の音声波形データのそれぞれの特徴ベクトルを複数の周波数帯域毎に平均化し、かつ少なくとも一つの周波数帯域については前記複数の音声波形データのそれぞれの特徴ベクトルを位相合わせした後に平均化することにより、音声素片の周波数帯域毎の成分である帯域素片を生成する処理と、周波数帯域毎の帯域素片を統合して音声素片を生成する処理とをコンピュータに行わせるための音声素片生成プログラムが提供される。
【００１８】
さらに、本発明によれば、同一音韻の複数の音声波形データから特徴ベクトルを抽出して当該音韻の音声素片を生成する処理をコンピュータに行わせるためのプログラムであって、音声波形データを複数の周波数帯域に分割する処理と、周波数帯域毎に複数の音声波形データをトレーニングデータとし、時間領域の誤差を評価関数とする閉ループ学習を行うことにより、音声素片の周波数帯域毎の成分である帯域素片を生成する処理と、周波数帯域毎の帯域素片を統合して音声素片を生成する処理とをコンピュータに行わせるための音声素片生成プログラムが提供される。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る音声合成方法を実現する音声合成装置の構成を示すブロック図である。本実施形態の音声合成装置は、音韻記号列１０２、ピッチパターン１００及び音韻継続時間長１０１によって指定された音韻及び韻律を有する合成音声信号１０５を出力する機能を有する。本実施形態の音声合成装置の基本動作は、従来の音声合成装置と同様であるため、図１１をも参照して説明する。
【００２０】
ピッチマーク生成部１０は、ピッチパターン１００に従って、時間軸上にピッチ波形重畳位置であるピッチマーク１０３（図１１の白三角で示される）を出力する。音声素片選択部１１は、音声素片辞書１３に格納された多数の音声素片の中から、音韻記号列１０２を参照して音声合成に使用するいくつかの音声素片を選択する。図１１では、音声素片の単位は音節（ＣＶ）であり、入力された音韻「あらゆる」に対して、音声素片/a/,/ra/,/yu/,/ru/が選択されている。波形重畳部１２は、ピッチマーク１０３、音韻継続時間長１０１及び音声素片１０４のピッチ波形の数を参照して、選択された音声素片１０４に含まれるピッチ波形とピッチマークとの対応付けを行い、ピッチ波形を対応するピッチマークの位置に重畳することによって、合成音声信号１０５を生成する。
【００２１】
次に、本実施形態に基づく音声素片辞書１３に格納される音声素片の生成方法について述べる。
図２は、本実施形態に係る音声素片生成方法を実現する音声素片生成装置の構成を示すブロック図である。本実施形態では、音声素片生成のためのソースとして、音声データベース２１と音韻ラベルデータベース２９が用意される。音声データベース２１は、一人の話者が発声した多数の音声波形のデータ（音声波形データ）の集合である。音韻ラベルデータベース２９は、音声データベース２１を構成する複数の音声波形データにそれぞれ付与された音韻ラベル（音韻の種類とその開始時刻及び終了時刻のデータ）の集合である。
【００２２】
音声データベース２１と音韻ラベルデータベース２９より、音声ピッチ波形の組で表現されるか、もしくは音声ピッチ波形を複数個連結したベクトルで表現される音声素片２０８が生成され、図１中にも示した音声素片辞書１３に出力される。音声素片は、合成単位毎に一つずつ作成される。ここでは、音節/ra/の素片を作成する場合を例として、本実施形態の動作を説明する。
【００２３】
音声波形切り出し部２２は、音韻ラベルデータベース２９より音韻ラベルデータ２１０を次々に読み出して音節/ra/のラベルを抽出する。次に、音声波形切り出し部２２は音声データベース２１から音声波形データ２０９を読み出して、音節/ra/のラベルに対応する時刻の波形データを切り出し、音声セグメント２０１を生成する。本実施形態では、こうして音声波形データ２０９から切り出した音節/ra/のような一つの音韻に対応する音声波形データを、音声波形データ２０９と区別するために音声セグメントと称する。
【００２４】
音声波形切り出し部２２によって生成された音声セグメント２０１は、帯域分割部２３に送られる。帯域分割部２３は、高域通過フィルタを用いて音声セグメント２０１から高域成分を抽出して高域音声セグメント２０２を生成すると共に、低域通過フィルタを用いて音声セグメント２０１から低域成分を抽出して低域音声セグメント２０５を生成する。図３に、低域通過フィルタ及び高域通過フィルタの周波数特性を示す。図４（ａ）（ｂ）（ｃ）には、音声セグメント２０１とそれに対応する高域音声セグメント２０２及び低域音声セグメント２０５の例を示す。
【００２５】
高域音声セグメント２０２及び低域音声セグメント２０５は、それぞれ特徴ベクトル抽出部２４及び２６に入力される。特徴ベクトル抽出部２４は、高域音声セグメント２０２から指定された個数のピッチ波形を抽出し、それらを連結して高域特徴ベクトル２０３を生成する。同様に、特徴ベクトル抽出部２６は、低域音声セグメント２０５から指定された個数のピッチ波形を抽出し、それらを連結して低域特徴ベクトル２０６を生成する。
【００２６】
ピッチ波形の抽出は、図１２で表される従来の特徴ベクトル生成と同様でよく、例えばピッチ周期の２倍の窓長のハニング窓をピッチに同期した位置にかけることでピッチ波形を抽出する。ピッチ波形の長さを一定にするため、窓長の上限はピッチ波形長とし、窓長がピッチ波形長よりも短い場合は零を埋めるものとする。図５（ａ）（ｂ）に、図４（ａ）（ｂ）に示した低域音声セグメント２０５及び高域音声セグメント２０２からそれぞれ抽出される低域特徴ベクトル２０６及び高域特徴ベクトル２０３の例を示す。
【００２７】
こうして抽出された高域特徴ベクトル２０３及び低域特徴ベクトル２０６は、それぞれセントロイド計算部２５及び２７入力される。セントロイド計算部２５では、高域特徴ベクトル２０３のセントロイドを計算し、高域素片２０４を出力する。同様に、セントロイド計算部２７は低域特徴ベクトル２０６のセントロイドを計算し、低域素片２０７を出力する。
【００２８】
低域素片２０７及び高域素片２０４は帯域統合部２８によって統合、すなわち両者の和が求められることにより音声素片２０８が生成され、音声素片辞書１３に記憶される。図５（ｃ）（ｄ）（ｅ）には、図５（ａ）（ｂ）に示した低域特徴ベクトル２０６及び高域特徴ベクトル２０３に対応する低域素片２０７、高域素片２０４及び音声素片２０８の例を示す。
【００２９】
ここで、セントロイド計算部２７においては、高域特徴ベクトル２０３のセントロイドを計算する際、単にベクトルの平均を求めるのではなく、高域特徴ベクトル２０３の互いの位相ずれを修正、つまり位相合わせを行うことによって、波形が打ち消し合って減衰することを防止している。
【００３０】
図６は、高域特徴ベクトル２０３の位相合せを行った場合と行わない場合それぞれにおける、セントロイド計算部２７からそれぞれ出力される高域素片２０４の波形とそのスペクトルの関係を表している。位相合わせを行わない場合は、図６（ａ）に示されるように波形が打ち消し合って高域素片の振幅が小さくなり、パワースペクトルのピークも減衰している。これに対して、各高域特徴ベクトルの相関が最大になる位置にベクトルを平行移動させて位相合わせを行った場合には、図６（ｂ）に示されるように波形が打ち消し合わず、パワースペクトルも２つの高域特徴ベクトルの平均的な特性を示している。
【００３１】
図７に、従来の技術に基づく音声素片生成方法で説明した図１３と同じ例題を用いた場合の本実施形態の動作を模式的に示す。図７（ａ）は低域特徴ベクトル２０６と高域特徴ベクトル２０３、（ｂ）は低域素片２０７と高域素片２０４及び音声素片２０８、（ｃ）は（ｂ）の各素片２０７，２０４，２０８のパワースペクトルをそれぞれ示している。
【００３２】
このように本実施形態では、従来の技術と異なり、帯域分割によって低域特徴ベクトル２０７と高域特徴ベクトル２０３を生成した後、セントロイド計算において少なくとも高域特徴ベクトル２０３については互いのベクトルの位相を合わせてセントロイドを求め、低域素片２０７及び高域素片２０４を生成しているため、波形が打ち消し合う問題が少ない。こうして生成される低域素片２０７及び高域素片２０４を統合することにより、波形の上でもパワースペクトルの上でも平均的な特性をもつ音声素片２０８を生成することができる。この効果は、音声セグメント２０１の帯域を分割することによって得られるもので、帯域分割なしに低域と高域の位相を同時に揃えることはできない。
【００３３】
本実施形態では、音声セグメント２０１を帯域分割した後に、高域及び低域で特徴ベクトルをそれぞれ生成したが、帯域分割部と特徴ベクトル抽出部の順番を入れ替えて、音声セグメント２０１から全帯域の特徴ベクトルを抽出した後に特徴ベクトルを帯域分割して、高域特徴ベクトルと低域特徴ベクトルを求めるようにしてもよい。また、本実施形態ではピッチ波形を連結したベクトルという時間領域の特徴ベクトルを用いたが、位相も含めた周波数領域のパラメータを特徴ベクトルとしても良い。
【００３４】
次に、本発明の他の実施形態に係る音声素片生成方法を実現する音声素片生成装置について、図８を参照して説明する。本実施形態では、高域（または低域）音声セグメントから高域（または低域）素片を生成するために、閉ループ学習を用いている点が上述した実施形態と異なっている。すなわち、本実施形態においては帯域分割部２３から出力される高域音声セグメント２０２及び低域音声セグメント２０５が閉ループ学習部３１及び３２に入力され、高域素片２０４及び低域素片２０７が生成される。
【００３５】
図９に示したフローチャートを参照して、閉ループ学習部３１及び３２の処理の流れを説明する。以下の説明では、高域または低域音声セグメントを一般化して帯域音声セグメントと呼び、同様に高域または低域素片を帯域素片と呼ぶことにする。
【００３６】
まず、ステップ４１で帯域素片の初期値を設定する。帯域素片は、ピッチ波形を連結したベクトルであり、上述した実施形態のように帯域音声セグメントから抽出される特徴ベクトルのセントロイドを求めて初期値とすればよい。帯域素片をベクトルｕで表すものとする。ステップ４２では、トレーニングデータとなる帯域音声セグメントの全てにピッチ分析を行って、ピッチマークの初期値を付与する。帯域音声セグメントの数をＮ個とし、帯域音声セグメントをベクトルｒi，（ｉ＝１，…，Ｎ）で表すものとする。ステップ４３では、帯域素片のピッチ波形と、帯域音声セグメントのピッチマークとをマッピングする。このマッピングは、図１１で表されるような、音声を合成する際のマッピングと同様に行うものとする。ステップ４４では、帯域音声セグメントのピッチマーク近傍の波形と、当該ピッチマークにマッピングされた帯域素片のピッチ波形との相関が最大となる位置をピッチマークの近傍で探索し、位相差が最小となる位置にピッチマークを更新する。ステップ４５では、最適化されたピッチマークに、当該ピッチマークに対応する帯域素片のピッチ波形を重畳して、各帯域音声セグメントに対応する合成音声セグメントを生成する。帯域音声セグメントｒi に対応する合成音声セグメントをベクトルｓi で表すとすると、ベクトルｓi はベクトルｕを用いて以下のように表すことができる。
【００３７】
【数１】
0003727885.tif 000002
【００３８】
ここで、波形重畳処理を表す行列Ａi には、帯域音声セグメントｒi の更新されたピッチマーク位置の情報と、ピッチ波形のマッピングの情報が含まれている。ステップ４６では、帯域音声セグメントｒｉ と合成音声セグメントｓi の音量が等しくなり、２つの波形の誤差が最小となるような最適ゲインｇi を計算する。誤差ｅi は、波形の２乗誤差を表す次式で定義される。
【００３９】
【数２】
0003727885.tif 000003
【００４０】
この場合、最適ゲインｇi は次式によって求めることができる。
【００４１】
【数３】
0003727885.tif 000004
【００４２】
ステップ４７では、最適ゲインｇi を用いて（２）式の誤差値ｅi をそれぞれ計算する。誤差値ｅi は、合成音声と自然音声の音韻の差を表しており、合成音声の歪みとみなすことができる。
【００４３】
次に、これらの誤差の総和である誤差評価関数Ｅを求める。
【００４４】
【数４】
0003727885.tif 000005
【００４５】
ステップ４８では、（４）式の誤差評価関数を最小化する帯域素片ｕを求めて帯域素片を更新する。帯域素片は、Ｅをｕで偏微分して０とおいた連立方程式を解くことによって解析的に求められる。帯域素片を更新することによって、最適なピッチマーク位置が変化し、それに伴って最適ゲインも変化する。そこで、誤差評価関数Ｅの値が収束するまでステップ４４からステップ４８までを繰り返し、収束したときのベクトルｕが求める帯域素片となる。
【００４６】
このように閉ループ学習法では、多数のトレーニングデータ（自然音声）に対して、合成音声の歪みが最小となるような素片を求めているため、高音質な合成音声を生成することができる。閉ループ学習法においても、誤差の評価関数に波形の二乗誤差など時間領域の尺度を用いている場合には、位相差による減衰の問題が帯域分割によって改善されるという利点がある。
【００４７】
本発明は上述した実施形態に限られず、種々変形して実施が可能である。例えば、上述の各実施形態では音声セグメントを低域と高域の２つの帯域に分割したが、さらに多数の帯域に分割してもよい。また、各帯域の帯域幅が異なるようにしても良い。
【００４８】
例えば、音声セグメントを図１０に示すような帯域幅の異なる４つの帯域に分割するようにしても良い。この場合、各帯域に１つずつホルマントが存在するように各帯域間の境界周波数を設定すれば、前述した位相差による打ち消し合いの問題をさらに低減させることができる。また、有声摩擦音のように高域がピッチの無い無声音になっている場合は、高域の帯域幅を小さくすると合成音声がブザー音のような不自然な音声になるという副作用が生じるため、帯域幅を大きくすることが好ましい。このように、各帯域幅を可変として各帯域を適切に配置することが音質改善に効果的である。
【００４９】
上述した本発明の実施形態に基づく音声素片生成及び音声合成の処理は、ハードウェアにより実現することも可能であるが、処理の一部または全部をコンピュータを用いてソフトウェアにより実現することも可能である。従って、本発明によると、上述した処理をコンピュータに行わせるためのプログラムを提供することもできる。
【００５０】
【発明の効果】
以上説明したように、本発明によれば音声セグメントを帯域分割して帯域毎に位相を合わせてセントロイドを求めることにより、位相差による打ち消し合いの問題を解消し、全周波数帯域に渡って平均的な特性をもつ音声素片を生成することが可能となる。従って、このようにして生成された音声素片を接続することによって、より明瞭な合成音声を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る素片接続型音声合成器の構成を示すブロック図
【図２】本発明の一実施形態に係る音声素片生成装置の構成を示すブロック図
【図３】同実施形態における帯域分割の特性を示す図
【図４】同実施形態における音声セグメント、低域音声セグメント及び高域音声セグメントの例を示す図
【図５】同実施形態における低域特徴ベクトル、高域特徴ベクトル、低域素片、高域素片及び音声素片の例を示す図
【図６】同一実施形態におけるセントロイド計算部における位相合わせの有無の効果を説明する図
【図７】同実施形態に係る音声素片生成装置の動作を説明するための図
【図８】本発明の他の実施形態に係る閉ループ学習を用いた音声素片生成装置の構成を示すブロック図
【図９】同実施形態における処理の流れを示すフローチャート
【図１０】本発明の別の実施形態における帯域分割の特性を示す図
【図１１】ピッチ波形の重畳による音声合成処理を説明するための図
【図１２】ピッチ波形を連結した特徴ベクトルの例を説明するための図
【図１３】従来の音声素片生成方法を説明するための図
【符号の説明】
１０…ピッチマーク生成部
１１…音声素片選択部
１２…波形重畳部
１３…素片辞書
２１…音声データベース
２２…音声波形切り出し部
２９…音韻ラベルデータベース
２３…帯域分割部
２４…特徴ベクトル抽出部
２５…セントロイド計算部
２６…特徴ベクトル抽出部
２７…セントロイド計算部
２８…帯域統合部
１００…ピッチパターン
１０１…音韻継続時間長
１０２…音韻記号列
１０３…ピッチマーク
１０４…音声素片
１０５…合成音声信号
２０１…音声セグメント
２０２…高域音声セグメント
２０３…高域特徴ベクトル
２０４…高域素片
２０５…低域音声セグメント
２０６…低域特徴ベクトル
２０７…低域素片
２０８…音声素片
２０９…音声波形
２１０…音韻ラベルデータ
【図１】
0003727885.tif 000006
【図２】
0003727885.tif 000007
【図３】
0003727885.tif 000008
【図４】
0003727885.tif 000009
【図５】
0003727885.tif 000010
【図６】
0003727885.tif 000011
【図７】
0003727885.tif 000012
【図８】
0003727885.tif 000013
【図９】
0003727885.tif 000014
【図１０】
0003727885.tif 000015
【図１１】
0003727885.tif 000016
【図１２】
0003727885.tif 000017
【図１３】
0003727885.tif 000018