(57)【要約】【課題】この発明は、ピッチマークの位置に基づく音素片の接続歪みを小さくできる音声合成方法を提供することを目的とする。【解決手段】音素単位の組み合わせの中で、ターゲットとの間の歪みおよび音素単位の接続歪みとの和が最も少なくなる組み合わせを選択し、選択した音素単位の組み合わせに基づいて、波長重畳方式で合成音声波形を生成する音声合成方法において、各音素単位の補助情報に、音素単位の始端のピッチ波形の位相情報と音素単位の終端のピッチ波形の位相情報とを追加しておき、音素単位の接続歪みを算出する際のパラメータとして、接続される２つの音素単位のうちの前側の音素単位の終端のピッチ波形の位相と、接続される後側の音声単位の始端のピッチ波形の位相との間の距離を追加した。【選択図】　図１
2004062002.tif 000002
【特許請求の範囲】
【請求項１】
複数の音素単位と、各音素単位毎にターゲットとの間の歪みおよび音素単位の接続歪みを算出するために用いられる補助情報とが波形辞書に格納されており、波形辞書に格納されている音素単位の組み合わせの中で、ターゲットとの間の歪みおよび音素単位の接続歪みとの和が最も少なくなる組み合わせを選択し、選択した音素単位の組み合わせに基づいて、波長重畳方式で合成音声波形を生成する音声合成方法において、
各音素単位の補助情報に、音素単位の始端のピッチ波形の位相情報と音素単位の終端のピッチ波形の位相情報とを追加しておき、音素単位の接続歪みを算出する際のパラメータとして、接続される２つの音素単位のうちの前側の音素単位の終端のピッチ波形の位相と、接続される後側の音声単位の始端のピッチ波形の位相との間の距離を追加したことを特徴とする音声合成方法。
【請求項２】
ピッチ波形の位相情報は、音素単位の元波形に元波形のピッチに同期した窓を乗じて、音素単位を形成するピッチ波形を取り出す際に、元波形の１ピッチ内で形状的な特徴を表す特徴点と、窓の中心の位置であるピッチマークとの時間的な距離に関する情報であることを特徴とする請求項１に記載の音声合成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、任意のテキスト情報を合成音声で読み上げることのできる音声合成方法に関する。
【０００２】
【従来の技術】
図１は、音声合成装置の概略構成を示している。
【０００３】
入力された日本語仮名漢字混じりのテキストは、言語処理部１で形態素解析、係り受け解析が行なわれ、音素記号、アクセント記号等に変換せしめられる。
【０００４】
韻律パターン生成部２では、音素記号、アクセント記号列および形態素解析結果から得られる入力テキストの品詞情報を用いて、音韻継続時間長（声の長さ　ＤＵＲＴ　）、基本周波数（声の高さ　ＦＯ　Ｔ　）、母音中心のパワー（声の大きさＰＯＷ　Ｔ　）等の推定が行なわれる。
【０００５】
音素単位選択部３では、推定された音韻継続時間長　ＤＵＲＴ　、基本周波数　ＦＯ　Ｔ　および母音中心のパワーＰＯＷ　Ｔ　に最も近く、かつ波形辞書５に蓄積されている音素単位（　音素片）　を接続したときの歪みが最も小さくなる音素片の組み合わせがＤＰ（動的プログラミング）を用いて選択される。
【０００６】
音声波形生成部４では、選択された音素片の組み合わせにしたがって、ピッチを変換しつつ音素片の接続を行なうことによって音声が生成される。
【０００７】
図２は、波形辞書５の内容を示している。
波形辞書５は、複数の音素片が格納された音素片格納部５１と、音素片格納部５１内の各音素片に関する補助情報が格納された補助情報格納部５２とがある。補助情報には、音素片のパワー（ＰＯＷ　Ｄｉｃ　）、基本周波数（　ＦＯ　Ｄｉｃ　）、継続時間長（　ＤＵＲＤｉｃ　）等がある。
【０００８】
ところで、音素単位選択部３では、波形辞書５に蓄積されている音素片の組み合わせの中で、歪みが少なくなる組み合わせを選択しているが、この歪みには次のようなものがある。
【０００９】
つまり、図３に示すように、ｕｉ−１　、ｕｉ　、ｕｉ＋１　を波形辞書５から抽出した音素片として、ｔｉ−１　、ｔｉ　、ｔｉ＋１　を実際に使用する環境（　ターゲット）とすると、ｕｉ　に対する歪みには、Ｃｔ　ｉ　と、Ｃｃ　ｉ　とがある。
【００１０】
ここで、Ｃｔ　ｉ　は、ｉ番目の音素について辞書から抽出した音素片（ｕｉ　）と実際に使用する環境（　ターゲットｔｉ　）との間の歪みである。また、Ｃｃ　ｉ　は、ｉ番目の音素片（ｕｉ　）と、ｉ−１番目の素片（ｕｉ−１　）とを接続したときに生じる歪みである。音素単位選択部３は、動的計画法（ＤＰ法）に用いて音素片を接続していき、入力された全ての音素に対するＣｔ　ｉ　とＣｃ　ｉ　との総和Ｃａｌｌ　が最小となる素片の組み合わせを選択する。
【００１１】
Ｃｔ　ｉ　は、次式（１）で表される。
【００１２】
【数１】
2004062002.tif 000003
【００１３】
上記式（１）において、各変数は、次のように定義される。
【００１４】
Ｄｔ　ＰＯＷ　（ｔｉ　，ｕｉ　）は、ｉ番目の音素について、辞書から抽出した音素片（ｕｉ　）のパワー（ＰＯＷ　Ｄｉｃ　（ｉ）　）と、実際に使用する環境（ターゲットｔｉ　）のパワー（ＰＯＷ　Ｔ　（ｉ）　）との間の距離の自乗であり、｛（ＰＯＷ　Ｄｉｃ　（ｉ）　）−（ＰＯＷ　Ｔ　（ｉ）　）｝２　となる。
【００１５】
ｗｔ　ＰＯＷ　は、Ｄｔ　ＰＯＷ　（ｔｉ　，ｕｉ　）に対する重み係数である。
【００１６】
Ｄｔ　Ｆ０（ｔｉ　，ｕｉ　）は、ｉ番目の音素について、辞書から抽出した音素片（ｕｉ　）の基本周波数（　ＦＯ　Ｄｉｃ　（ｉ）　）と、実際に使用する環境（ターゲットｔｉ　）の基本周波数（　ＦＯ　Ｔ　（ｉ）　）との間の距離の自乗であり、｛（　ＦＯ　Ｄｉｃ　（ｉ）　）−（　ＦＯ　Ｔ　（ｉ）　）｝２　となる。
【００１７】
ｗｔ　Ｆ０　　は、Ｄｔ　Ｆ０（ｔｉ　，ｕｉ　）に対する重み係数である。
【００１８】
Ｄｔ　ＤＵＲ　（ｔｉ　，ｕｉ　）は、ｉ番目の音素について、辞書から抽出した音素片（ｕｉ　）の継続時間長（　ＤＵＲＤｉｃ　（ｉ）　）と、実際に使用する環境（ターゲットｔｉ　）の継続時間長（　ＤＵＲＴ　（ｉ）　）との間の距離の自乗であり、｛（　ＤＵＲＤｉｃ　（ｉ）　）−（　ＤＵＲＴ　（ｉ）　）｝２　となる。
【００１９】
ｗｔ　ＤＵＲ　は、Ｄｔ　ＤＵＲ　（ｔｉ　，ｕｉ　）に対する重み係数である。
【００２０】
Ｃｃ　ｉ　は、次式（２）で表される。
【００２１】
【数２】
2004062002.tif 000004
【００２２】
上記式（２）において、各変数は、次のように定義される。
【００２３】
Ｄｃ　ＰＯＷ　（ｕｉ　，ｕｉ−１　）は、ｉ番目の音素片（ｕｉ　）の始端のパワー（ＰＯＷ　ＤｉｃＳ（ｉ）　）と、ｉ−１番目の音素片（ｕｉ−１　）の終端のパワー（ＰＯＷ　ＤｉｃＥ（ｉ−１）　）との間の距離の自乗であり、｛（ＰＯＷ　ＤｉｃＳ（ｉ）　）−（ＰＯＷ　ＤｉｃＥ（ｉ−１）　）｝２　となる。
【００２４】
ｗｃ　ＰＯＷ　は、Ｄｃ　ＰＯＷ　（ｕｉ　，ｕｉ−１　）に対する重み係数である。
【００２５】
Ｄｃ　Ｆ０（ｕｉ　，ｕｉ−１　）は、ｉ番目の音素片（ｕｉ　）の始端の基本周波数（　ＦＯ　ＤｉｃＳ（ｉ）　）と、ｉ−１番目の音素片（ｕｉ−１　）の終端の基本周波数（ＦＯＤｉｃＥ　（ｉ−１））との間の距離の自乗であり、｛（　ＦＯ　ＤｉｃＳ（ｉ）　）−（ＦＯＤｉｃＥ　（ｉ−１））｝２　となる。
【００２６】
ｗｃ　Ｆ０は、Ｄｃ　Ｆ０（ｕｉ　，ｕｉ−１　）に対する重み係数である。
【００２７】
Ｄｃ　ＳＰＣ　（ｕｉ　，ｕｉ−１　）は、ｉ番目の音素片（ｕｉ　）の始端のスペクトル（ＳＰＣＤｉｃＳ（ｉ，ｊ），　ｊ＝１　〜１６　　）と、ｉ−１番目の音素片（ｕｉ−１　）の終端のスペクトル（　ＳＰＣＤｉｃＥ（ｉ−１，ｊ）　，　ｊ　＝１　〜１６）との間の距離の自乗であり、｛（　ＳＰＣＤｉｃＳ（ｉ，ｊ）　）−（　ＳＰＣＤｉｃＥ（ｉ−１，ｊ）　）｝２　となる。
【００２８】
ｗｃ　ＳＰＣ　は、Ｄｃ　ＳＰＣ　（ｕｉ　，ｕｉ−１　）に対する重み係数である。
【００２９】
入力された全ての音素に対するＣｔ　ｉ　とＣｃ　ｉ　との総和Ｃａｌｌ　は、次式（３）で表される。
【００３０】
【数３】
2004062002.tif 000005
【００３１】
音声波形生成部４は、ここでは、波形重畳方式を用いて音声を合成する。波形重畳方式とは、選択された音素片を目標とする基本周波数Ｆ０Ｔ　、継続時間長ＤＵＲＴ　に合うように変形する方式の１つである。つまり、図４に示すように、音素片を生成するための元波形のピッチに同期して２ピッチの幅の窓（ｗ１，ｗ２，ｗ３…）を、元波形に乗じてピッチ波形（ｘ１，ｘ２，ｘ３…）を取り出す。
【００３２】
このようにして元波形から取り出されたピッチ波形群が元波形に対応する１つの音素片として波形辞書５に登録されている。それらのピッチ波形を目標とする基本周波数Ｆ０Ｔ　の間隔で、継続時間長ＤＵＲＴ　に合うように同じ波形を繰り返したり間引いたりしながら、再配置し加え合わせることで目的の波形を得る。ここで、窓を乗ずる位置は、１ピッチごとに設定されたピッチマークと呼ばれる位置が窓の中心となるように設定される。
【００３３】
【発明が解決しようとする課題】
ところで、音素片を生成するための元波形において、基本周波数、パワー、周波数エンベロープが等しければ、同じ形状の波形（音素片）が得られるはずである。しかしながら、ピッチマークの付与の仕方が異なると抽出したピッチ波形（音素片）は異なる形状を示し、音素片を接続した場合に歪みとなる可能性がある。ピッチマークの付与は非常に困難な作業であり、すべてを相対的に等しく付与することは不可能である。
【００３４】
なお、ピッチマークの位置は、次のようにして決定されている。つまり、ピッチマークの間隔が元波形のピッチ周期間隔に近く、ピッチマークの間隔が急激に変化することなく、元波形の１ピッチ内で最も大きな波形の山の直前で、かつ右上がりのゼロクロスの位置を、ピッチマークとして手作業で設定している。
【００３５】
音声波形は、発声する言葉によって形状が変化するので、全ての条件を満足するようにピッチマークを設定することは不可能である。そこで、それぞれの条件を適当に妥協しながら、ピッチマークを設定している。また、どの条件を妥協するかは、合成した音声の音質を元に決定しているので、音素によって妥協する条件が異なる場合がある。その結果、同じ音素でも、その元波形を抽出した音声波形において、その音素の前側にある音素の種類によって、ピッチマークの位置が異なるといったことが生ずる。
【００３６】
この発明は、ピッチマークの位置に基づく音素片の接続歪みを小さくできる音声合成方法を提供することを目的とする。
【００３７】
【課題を解決するための手段】
この発明による音声合成方法は、複数の音素単位と、各音素単位毎にターゲットとの間の歪みおよび音素単位の接続歪みを算出するために用いられる補助情報とが波形辞書に格納されており、波形辞書に格納されている音素単位の組み合わせの中で、ターゲットとの間の歪みおよび音素単位の接続歪みとの和が最も少なくなる組み合わせを選択し、選択した音素単位の組み合わせに基づいて、波長重畳方式で合成音声波形を生成する音声合成方法において、各音素単位の補助情報に、音素単位の始端のピッチ波形の位相情報と音素単位の終端のピッチ波形の位相情報とを追加しておき、音素単位の接続歪みを算出する際のパラメータとして、接続される２つの音素単位のうちの前側の音素単位の終端のピッチ波形の位相と、接続される後側の音声単位の始端のピッチ波形の位相との間の距離を追加したことを特徴とする。
【００３８】
ピッチ波形の位相情報としては、たとえば、音素単位の元波形に元波形のピッチに同期した窓を乗じて、音素単位を形成するピッチ波形を取り出す際に、元波形の１ピッチ内で形状的な特徴を表す特徴点と、窓の中心の位置であるピッチマークとの時間的な距離に関する情報が用いられる。
【００３９】
【発明の実施の形態】
以下、この発明の実施の形態について説明する。
【００４０】
音声合成装置の全体構成は、図１と同じである。
【００４１】
この実施の形態では、次の点（１）、（２）が従来と異なっている。
【００４２】
（１）　図５に示すように、各音素片の補助情報に、音素片のピッチ波形の位相ＰＨＡＳＤｉｃ　（　　ｕｉ　）を追加する。音素片のピッチ波形の位相ＰＨＡＳＤｉｃ　（ｕｉ　）には、音素片の始端のピッチ波形の位相ＰＨＡＳＤｉｃＳ（ｕｉ　）と、音素片の終端のピッチ波形の位相ＰＨＡＳＤｉｃＥ（ｕｉ　）とが含まれている。
【００４３】
ここで、ピッチ波形の位相とは、図６に示すように、元波形に窓を掛けてピッチ波形を取り出すときの窓の中心の位置（ピッチマークの位置）と１ピッチ内で形状的な特徴を表す位置（特徴点）との時間的な距離を示す数値である。特徴点としては、たとえば、１ピッチ内の最大値の直前のゼロクロスの位置が用いられる。なお、図６において、ピッチ波形１は窓１を用いた場合に得られるピッチ波形であり、ピッチ波形２は窓２を用いた場合に得られるピッチ波形である。
【００４４】
（２）　接続歪みＣｃ　ｉ　に、位相の歪みＤｃ　ｐｈａｓ（ｕｉ　，ｕｉ−１　）をパラメータとして加える。
【００４５】
つまり、接続歪みＣｃ　ｉ　は、次式（４）で表わされる。
【００４６】
【数４】
2004062002.tif 000006
【００４７】
上記式（４）において、Ｗｃ　ｐｈａｓは、Ｄｃ　ｐｈａｓ（ｕｉ　，ｕｉ−１　）に対する重み計数である。また、Ｄｃ　ｐｈａｓ（ｕｉ　，ｕｉ−１　）は、ｉ番目の音素片ｕｉ　の始端のピッチ波形の位相ＰＨＡＳＤｉｃＳ（ｕｉ　）と、ｉ−１番目の音素片ｕｉ−１　の終端のピッチ波形の位相ＰＨＡＳＤｉｃＥ（ｕｉ−１　）との間の距離の自乗であり、次式（５）で表される。
【００４８】
【数５】
2004062002.tif 000007
【００４９】
つまり、この実施の形態では、音素片のピッチ波形の位相情報も、接続歪みＣｃ　ｉ　のパラメータとして追加し、そのパラメータによる歪みが小さくなるように音素片が選択される。このため、音素片を接続した際の聴感的な歪みを減少させることができる。
【００５０】
例えば、図７に示すように、ｉ−１番目の音素片ｕｉ−１　の終端のピッチ波形がＸ０であるとする。また、ｉ番目の音素片ｕｉ　としては、波形Ｘ１１、Ｘ１２およびＸ１３の候補があるとする。
【００５１】
波形Ｘ１３はｉ−１番目の音素片ｕｉ−１　とスペクトルが異なる波形である。波形Ｘ１２はｉ−１番目の音素片ｕｉ−１　とスペクトルは近いが、ピッチ波形の位相が異なる波形である。波形Ｘ１１はｉ−１番目の音素片ｕｉ−１　とスペクトルが近くかつピッチ波形の位相もほぼ等しい波形である。したがって、この場合には、ｉ番目の音素片ｕｉ　としては、接続歪みが最も小さくなる波形Ｘ１１が選択される。
【００５２】
【発明の効果】
この発明によれば、ピッチマークの位置に基づく音素片の接続歪みを小さくできるようになる。
【図面の簡単な説明】
【図１】音声合成装置の全体構成を示すブロック図である。
【図２】波形辞書５の内容を示す模式図である。
【図３】音素単位選択部３において、音素片の組み合わせを選択するために用いられる２種の歪みＣｔ　ｉ　、Ｃｃ　ｉ　を説明するための模式図である。
【図４】波形重畳方式を説明するための模式図である。
【図５】音素片の補助情報に、音素片の始端のピッチ波形の位相ＰＨＡＳＤｉｃＳ（ｕｉ　）と、音素片の終端のピッチ波形の位相ＰＨＡＳＤｉｃＥ（ｕｉ　）が追加された様子を示す模式図である。
【図６】ピッチ波形の位相を説明するための模式図である。
【図７】音素片の選択例を示す模式図である。
【図１】
2004062002.tif 000008
【図２】
2004062002.tif 000009
【図３】
2004062002.tif 000010
【図４】
2004062002.tif 000011
【図５】
2004062002.tif 000012
【図６】
2004062002.tif 000013
【図７】
2004062002.tif 000014