(57)【要約】【課題】この発明は、調音パラメータを考慮して音素単位を選択でき、滑らかな合成音声を得ることができるようになる音声合成方法を提供することを目的とする。【解決手段】音声合成方法において、波形辞書に格納されている音素単位の組み合わせの中で、ターゲットとの間の歪みおよび音素単位の接続歪みとの和が最も少なくなる組み合わせを選択し、選択した音素単位の組み合わせに基づいて合成音声波形を生成する音声合成方法において、音素単位の接続歪みの要素として、接続される２つの音素単位間の調音パラメータの差異に関する情報が用いられている。【選択図】　図１
2004125843.tif 000002
【特許請求の範囲】
【請求項１】
波形辞書に格納されている音素単位の組み合わせの中で、ターゲットとの間の歪みおよび音素単位の接続歪みとの和が最も少なくなる組み合わせを選択し、選択した音素単位の組み合わせに基づいて合成音声波形を生成する音声合成方法において、
音素単位の接続歪みの要素として、接続される２つの音素単位間の調音パラメータの差異に関する情報が用いられていることを特徴とする音声合成方法。
【請求項２】
波形辞書に格納されている音素単位の組み合わせの中で、ターゲットとの間の歪みおよび音素単位の接続歪みとの和が最も少なくなる組み合わせを選択し、選択した音素単位の組み合わせに基づいて合成音声波形を生成する音声合成方法において、
音素単位の接続歪みの要素として、接続される２つの音素単位間の調音モデルの差異に関する情報が用いられており、ターゲットとの間の歪みの要素として、ターゲットの調音パラメータと音素単位の調音パラメータとの差異に関する情報が用いられていることを特徴とする音声合成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、任意のテキスト情報を合成音声で読み上げることのできる音声合成方法に関する。
【０００２】
【従来の技術】
図１は、音声合成装置の概略構成を示している。
【０００３】
入力された日本語仮名漢字混じりのテキストは、言語処理部１で形態素解析、係り受け解析が行なわれ、音素記号、アクセント記号等に変換せしめられる。
【０００４】
韻律パターン生成部２では、音素記号、アクセント記号列および形態素解析結果から得られる入力テキストの品詞情報を用いて、音韻継続時間長（声の長さ　ＤＵＲＴ　）、基本周波数（声の高さ　ＦＯ　Ｔ　）、母音中心のパワー（声の大きさＰＯＷ　Ｔ　）等の推定が行なわれる。
【０００５】
音素単位選択部３では、推定された音韻継続時間長　ＤＵＲＴ　、基本周波数　ＦＯ　Ｔ　および母音中心のパワーＰＯＷ　Ｔ　に最も近く、かつ波形辞書５に蓄積されている音素単位（　音素片）　を接続したときの歪み（後述するＣａｌｌ　）が最も小さくなる音素片の組み合わせがＤＰ（動的プログラミング）を用いて選択される。
【０００６】
音声波形生成部４では、選択された音素片の組み合わせにしたがって、ピッチを変換しつつ音素片の接続を行なうことによって音声が生成される。
【０００７】
図２は、波形辞書５の内容を示している。
波形辞書５は、複数の音素片が格納された音素片格納部５１と、音素片格納部５１内の各音素片に関する補助情報が格納された補助情報格納部５２とがある。補助情報には、音素片のパワー（ＰＯＷ　Ｄｉｃ　）、基本周波数（　ＦＯ　Ｄｉｃ　）、継続時間長（　ＤＵＲＤｉｃ　）、スペクトル（ＳＰＣ　Ｄｉｃ）等がある。
【０００８】
ところで、音素単位選択部３では、波形辞書５に蓄積されている音素片の組み合わせの中で、歪みが少なくなる組み合わせを選択しているが、この歪みには次のようなものがある。
【０００９】
つまり、図３に示すように、ｕｉ−１　、ｕｉ　、ｕｉ＋１　を波形辞書５から抽出した音素片として、ｔｉ−１　、ｔｉ　、ｔｉ＋１　を実際に使用する環境（　ターゲット）とすると、ｕｉ　に対する歪みには、Ｃｔ　ｉ　と、Ｃｃ　ｉ　とがある。
【００１０】
ここで、Ｃｔ　ｉ　は、ｉ番目の音素について辞書から抽出した音素片（ｕｉ　）と実際に使用する環境（　ターゲットｔｉ　）との間の歪みである。また、Ｃｃ　ｉ　は、ｉ番目の音素片（ｕｉ　）と、ｉ−１番目の素片（ｕｉ−１　）とを接続したときに生じる歪みである。音素単位選択部３は、動的計画法（ＤＰ法）に用いて音素片を接続していき、入力された全ての音素に対するＣｔ　ｉ　とＣｃ　ｉ　との総和Ｃａｌｌ　が最小となる素片の組み合わせを選択する。
【００１１】
Ｃｔ　ｉ　は、次式（１）で表される。
【００１２】
【数１】
2004125843.tif 000003
【００１３】
上記式（１）において、各変数は、次のように定義される。
【００１４】
Ｄｔ　ＰＯＷ　（ｔｉ　，ｕｉ　）は、ｉ番目の音素について、辞書から抽出した音素片（ｕｉ　）のパワー（ＰＯＷ　Ｄｉｃ　（ｉ）　）と、実際に使用する環境（ターゲットｔｉ　）のパワー（ＰＯＷ　Ｔ　（ｉ）　）との間の距離の自乗であり、｛（ＰＯＷ　Ｄｉｃ　（ｉ）　）−（ＰＯＷ　Ｔ　（ｉ）　）｝２　となる。
【００１５】
ｗｔ　ＰＯＷ　は、Ｄｔ　ＰＯＷ　（ｔｉ　，ｕｉ　）に対する重み係数である。
【００１６】
Ｄｔ　Ｆ０（ｔｉ　，ｕｉ　）は、ｉ番目の音素について、辞書から抽出した音素片（ｕｉ　）の基本周波数（　ＦＯ　Ｄｉｃ　（ｉ）　）と、実際に使用する環境（ターゲットｔｉ　）の基本周波数（　ＦＯ　Ｔ　（ｉ）　）との間の距離の自乗であり、｛（　ＦＯ　Ｄｉｃ　（ｉ）　）−（　ＦＯ　Ｔ　（ｉ）　）｝２　となる。
【００１７】
ｗｔ　Ｆ０　　は、Ｄｔ　Ｆ０（ｔｉ　，ｕｉ　）に対する重み係数である。
【００１８】
Ｄｔ　ＤＵＲ　（ｔｉ　，ｕｉ　）は、ｉ番目の音素について、辞書から抽出した音素片（ｕｉ　）の継続時間長（　ＤＵＲＤｉｃ　（ｉ）　）と、実際に使用する環境（ターゲットｔｉ　）の継続時間長（　ＤＵＲＴ　（ｉ）　）との間の距離の自乗であり、｛（　ＤＵＲＤｉｃ　（ｉ）　）−（　ＤＵＲＴ　（ｉ）　）｝２　となる。
【００１９】
ｗｔ　ＤＵＲ　は、Ｄｔ　ＤＵＲ　（ｔｉ　，ｕｉ　）に対する重み係数である。
【００２０】
Ｃｃ　ｉ　は、次式（２）で表される。
【００２１】
【数２】
2004125843.tif 000004
【００２２】
上記式（２）において、各変数は、次のように定義される。
【００２３】
Ｄｃ　ＰＯＷ　（ｕｉ　，ｕｉ−１　）は、ｉ番目の音素片（ｕｉ　）の始端のパワー（ＰＯＷ　ＤｉｃＳ（ｉ）　）と、ｉ−１番目の音素片（ｕｉ−１　）の終端のパワー（ＰＯＷ　ＤｉｃＥ（ｉ−１）　）との間の距離の自乗であり、｛（ＰＯＷ　ＤｉｃＳ（ｉ）　）−（ＰＯＷ　ＤｉｃＥ（ｉ−１）　）｝２　となる。
【００２４】
ｗｃ　ＰＯＷ　は、Ｄｃ　ＰＯＷ　（ｕｉ　，ｕｉ−１　）に対する重み係数である。
【００２５】
Ｄｃ　Ｆ０（ｕｉ　，ｕｉ−１　）は、ｉ番目の音素片（ｕｉ　）の始端の基本周波数（　ＦＯ　ＤｉｃＳ（ｉ）　）と、ｉ−１番目の音素片（ｕｉ−１　）の終端の基本周波数（ＦＯＤｉｃＥ　（ｉ−１））との間の距離の自乗であり、｛（　ＦＯ　ＤｉｃＳ（ｉ）　）−（ＦＯＤｉｃＥ　（ｉ−１））｝２　となる。
【００２６】
ｗｃ　Ｆ０は、Ｄｃ　Ｆ０（ｕｉ　，ｕｉ−１　）に対する重み係数である。
【００２７】
Ｄｃ　ＳＰＣ　（ｕｉ　，ｕｉ−１　）は、ｉ番目の音素片（ｕｉ　）の始端のスペクトル（ＳＰＣＤｉｃＳ（ｉ，ｊ），　ｊ＝１　〜１６　　）と、ｉ−１番目の音素片（ｕｉ−１　）の終端のスペクトル（　ＳＰＣＤｉｃＥ（ｉ−１，ｊ）　，　ｊ　＝１　〜１６）との間の距離の自乗であり、｛（　ＳＰＣＤｉｃＳ（ｉ，ｊ）　）−（　ＳＰＣＤｉｃＥ（ｉ−１，ｊ）　）｝２　となる。
【００２８】
ｗｃ　ＳＰＣ　は、Ｄｃ　ＳＰＣ　（ｕｉ　，ｕｉ−１　）に対する重み係数である。
【００２９】
入力された全ての音素に対するＣｔ　ｉ　とＣｃ　ｉ　との総和Ｃａｌｌ　は、次式（３）で表される。
【００３０】
【数３】
2004125843.tif 000005
【００３１】
【発明が解決しようとする課題】
この発明は、調音パラメータを考慮して音素単位を選択でき、滑らかな合成音声を得ることができるようになる音声合成方法を提供することを目的とする。
【００３２】
【課題を解決するための手段】
この発明による第１の音声合成方法は、波形辞書に格納されている音素単位の組み合わせの中で、ターゲットとの間の歪みおよび音素単位の接続歪みとの和が最も少なくなる組み合わせを選択し、選択した音素単位の組み合わせに基づいて合成音声波形を生成する音声合成方法において、音素単位の接続歪みの要素として、接続される２つの音素単位間の調音パラメータの差異に関する情報が用いられていることを特徴とする。
【００３３】
この発明による第２の音声合成方法は、波形辞書に格納されている音素単位の組み合わせの中で、ターゲットとの間の歪みおよび音素単位の接続歪みとの和が最も少なくなる組み合わせを選択し、選択した音素単位の組み合わせに基づいて合成音声波形を生成する音声合成方法において、音素単位の接続歪みの要素として、接続される２つの音素単位間の調音モデルの差異に関する情報が用いられており、ターゲットとの間の歪みの要素として、ターゲットの調音パラメータと音素単位の調音パラメータとの差異に関する情報が用いられていることを特徴とする。
【００３４】
【発明の実施の形態】
以下、この発明の実施の形態について説明する。
【００３５】
〔１〕第１の実施の形態の説明
音声合成装置の全体構成は、図１と同じである。
【００３６】
上述したように、音素単位選択部３では、波形辞書５に蓄積されている音素片の組み合わせの中で、歪みが少なくなる組み合わせを選択している。そして、この歪みには、上述したように、次の２つがある。
【００３７】
Ｃｔ　ｉ　：ｉ番目の音素について辞書から抽出した音素片（ｕｉ　）と実際に使用する環境（　ターゲットｔｉ　）との間の歪み。
Ｃｃ　ｉ　：ｉ番目の音素片（ｕｉ　）と、ｉ−１番目の素片（ｕｉ−１　）とを接続したときに生じる歪み。
【００３８】
音素単位選択部３は、動的計画法（ＤＰ法）に用いて音素片を接続していき、入力された全ての音素に対するＣｔ　ｉ　とＣｃ　ｉ　との総和Ｃａｌｌ　が最小となる素片の組み合わせを選択する。
【００３９】
第１の実施の形態では、Ｃｃ　ｉ　を算出するための要素が異なっている。Ｃｃ　ｉ　は、次式（４）で表される。
【００４０】
【数４】
2004125843.tif 000006
【００４１】
つまり、従来のＣｃ　ｉ　を算出する式（２）における　Ｄｃ　ＳＰＣ　（ｕｉ，　ｕｉ−１）が、Ｄ’ｃ　ＳＰＣ　（ｕ　ｉ，　ｕ　ｉ−１）に置き換えられている。
【００４２】
Ｄ’　ｃ　ＳＰＣ　（ｕ　ｉ，　ｕ　ｉ−１）は、素片　ｕｉ　に対する調音パラメータｘ（ｕｉ　）　＝（Ｘ（ｕｉ　）　，Ｙ（ｕｉ　）　，Ｌ（ｕｉ　）　，Ｗ（ｕｉ　）　，Ｒ（ｕｉ　）　，Ｂ（ｕｉ　）　，Ｎ（ｕｉ　）　）と、素片　ｕｉ−１　に対する調音パラメータｘ（ｕｉ−１　）　＝（Ｘ（ｕｉ−１），Ｙ（ｕｉ−１），Ｌ（ｕｉ−１　）　，Ｗ（ｕｉ−１　）　，Ｒ（ｕｉ−１　）　，Ｂ（ｕｉ−１　）　，Ｎ（ｕｉ−１　）　）とを用いて、次式（５）で表される。
【００４３】
【数５】
2004125843.tif 000007
【００４４】
上記式（５）において、ｗｃ　Ｘ　，ｗｃ　Ｙ　，ｗｃ　Ｂ　，ｗｃ　Ｒ　，ｗｃ　Ｌ　，ｗｃ　Ｗ　，ｗＣ　Ｎ　は重み係数である。なお、波形辞書の補助情報格納部には、音素片のパワー（ＰＯＷ　Ｄｉｃ　）、基本周波数（　ＦＯ　Ｄｉｃ　）、継続時間長（　ＤＵＲＤｉｃ　）に加えて、調音パラメータ（ｘＤｉｃ　）も格納される。
【００４５】
以下、調音モデルについて説明する。
【００４６】
調音モデルは、声道の形を決定する下、咽頭、口蓋、唇、顎などの調音器官そのものの構造と運動を直接モデル化し、その結果として声道形状を表現するモデルである。
【００４７】
調音モデルの構成例を図４に示す。このモデルにおける調音パラメータは７個で、舌の中心位置Ｘ，Ｙ、唇の突き出しＬ、唇の開口Ｗ、舌先の位置と狭めＲ，Ｂ、軟口蓋の結合度Ｎである。
【００４８】
調音パラメータｘ＝（Ｘ，Ｙ，Ｌ，Ｗ，Ｒ，Ｂ，Ｎ）が与えられれば、これに対応する声道断面積が決定され、声道伝達特性を経て音声波形ｙ＝ｆ（ｘ）を得ることができる。
【００４９】
逆に、与えられた音声波形ｙから調音パラメータｘを推定する問題は、逆変換ｘ＝ｆ−１（ｙ）の解放に帰着する。調音パラメータの動きは、調音器官の構造に依存した制約をもつため、調音パラメータの推定は与えられた拘束条件と適切な評価関数のもとでの非線形最適化問題となる。
【００５０】
具体的な解法としては、例えば、合成による分析法（Ａｎａｌｙｓｉｓ　ｂｙ　Ｓｙｎｔｈｅｓｉｓ）　が用いられる。この方法では、モデルにより合成された音声波形（　推定値）　と実際の音声波形（　観測値）　の誤差を、例えばケプストラム係数の二乗誤差で定義し、この誤差を減少させるようパラメータを逐次変化させ、誤差を最小化するパラメータ値を決定する。
【００５１】
また、音声波形から調音の状態を推定する方法には、調音モデルに基づいたものではなく、声道の音響管モデルに基づき、声道断面積を推定するモデルがある。その代表的なものが線形予測分析を用いる手法であり、適当な境界条件のもとに無損失な音響管の形状を推定することができる。
【００５２】
また、線形予測分析の手法を基礎としながら、音声器官の構造に基づく自然な拘束条件を音声分析の段階で導入し、音声波形から直接声道形状を抽出する方法も提案されている。この方法では、まず、音声波の（唇から空間への）放射特性を含めた声帯波特性モデルを使って、音声波から声帯波特性を推定する。そして、この声帯波特性の逆特性でフィルタリングを行うことによって声道特性を近似的に分離する方法で、適応型フィルタ法と呼ばれ、声道形状のより安定した抽出が可能となる。
【００５３】
〔２〕第２の実施の形態
【００５４】
第２の実施の形態では、第１の実施の形態同様に、Ｃｃ　ｉ　を上記式（４）に基づいて算出するとともに、Ｃｃ　ｉ　を次式（６）に基づいて算出する。
【００５５】
【数６】
2004125843.tif 000008
【００５６】
上記式（６）では、従来のＣｔ　ｉ　を算出する式（１）の要素に、Ｄ’ｔ　ＳＰＣ　（　　ｔｉ，　ｕｉ　）　が追加されている。
【００５７】
Ｄ’ｔ　ＳＰＣ　（　　ｔｉ，　ｕｉ　）　は、ターゲット　ｔｉ　に対する調音パラメータｘ（ｔｉ　）　＝（Ｘ（ｔｉ　）　，Ｙ（ｔｉ　）　，Ｌ（ｔｉ　）　，Ｗ（ｔｉ　）　，Ｒ（ｔｉ　）　，Ｂ（ｔｉ　）　，Ｎ（ｔｉ　）　）と、素片　ｕｉ　に対する調音パラメータｘ（ｕｉ　）　＝（Ｘ（ｕｉ　）　，Ｙ（ｕｉ　）　，Ｌ（ｕｉ　）　，Ｗ（ｕｉ　）　，Ｒ（ｕｉ　）　，Ｂ（ｕｉ　）　，Ｎ（ｕｉ　）　）とを用いて、次式（７）で表される。
【００５８】
【数７】
2004125843.tif 000009
【００５９】
上記式（７）において、ｗｔ　Ｘ　，ｗｔ　Ｙ　，ｗｔ　Ｂ　，ｗｔ　Ｒ　，ｗｔ　Ｌ　，ｗｔ　Ｗ　，ｗｔ　Ｎ　は重み係数である。
【００６０】
ターゲット　ｔｉ　に対する調音パラメータｘ（ｔｉ　）　の求め方について説明する。明確な音声を生成する場合について説明する。この場合、Ｄ’ｔ　ＳＰＣ　（　　ｔｉ，　ｕｉ　）　は、母音である部分のみにＣｔ　ｉ　の要素として加えられる。ここでは、説明の便宜上、パラメータＸ（ｔｉ　）　，Ｙ（ｔｉ　）　のみから、ターゲット　ｔｉ　に対する調音パラメータｘ（ｔｉ　）　を求める場合について説明する。
【００６１】
まず、波形辞書に登録されている波形のうち母音部分のみを抽出する。そして、各母音部分毎に、パラメータＸ，Ｙを求める。そして、得られた各母音（ア、イ、ウ、エ、オ）毎にＸ，Ｙの平均値を求め、各母音毎に得られたＸ，Ｙの平均値を、各母音に対するＸ、Ｙとする。
【００６２】
図５は、このようにして得られた各母音に対するＸ、Ｙと、それらの平均値（母音全体の平均値）ａｌｌとを示している。そして、図６に示すように、全ての母音の平均ａｌｌから各母音へのベクトルを、例えば、１．５倍した位置を、ターゲットでの位置Ｘ（ｔｉ　）　，Ｙ（ｔｉ　）　とする。この値Ｘ（ｔｉ　）　，Ｙ（ｔｉ　）　を用いて、ターゲット　ｔｉ　に対する調音パラメータｘ（ｔｉ　）　を算出する。
【００６３】
ところで、一般に声道情報は周波数分析した結果をパラメータ化したもの（ＬＳＰ，ＬＰＣ，ＰＡＲＣＯＲ，ケプトラム等）を用いている。声道形状のパラメータ（調音パラメータ）は、これらと同等の情報を表すものであるが、パラメータが実際の発話器官を表現しているため、パラメータ間の独立性が高く直観的に物理的な意味を理解することができるといった利点がある。このため、素片の種類毎にパラメータの重みを変えることや、パラメータの微分値を用いて発話器官動作の方向を一致させることなどにより、滑らかな音声の生成が可能となる。また、調音パラメータは、周波数を表現するパラメータと比較し、発話の状態（なまけの程度や、強調しているかなど）を類推しやすいパラメータであることから、指定した発話の状態の音声の合成が可能となる。
【００６４】
【発明の効果】
この発明によれば、調音パラメータを考慮して音素単位を選択でき、滑らかな合成音声を得ることができるようになる。
【図面の簡単な説明】
【図１】音声合成装置の全体構成を示すブロック図である。
【図２】波形辞書５の内容を示す模式図である。
【図３】音素単位選択部３において、音素片の組み合わせを選択するために用いられる２種の歪みＣｔ　ｉ　、Ｃｃ　ｉ　を説明するための模式図である。
【図４】調音モデルの構成例を示す模式図である。
【図５】ターゲット　ｔｉ　に対する調音パラメータｘ（ｔｉ　）　の求め方を説明するための模式図である。
【図６】各母音に対するＸ、Ｙとそれらの平均値（母音全体の平均値）ａｌｌとが図５に示すような場合に、全ての母音の平均ａｌｌから各母音へのベクトルを１．５倍した例を示す模式図である。
【図１】
2004125843.tif 000010
【図２】
2004125843.tif 000011
【図３】
2004125843.tif 000012
【図４】
2004125843.tif 000013
【図５】
2004125843.tif 000014
【図６】
2004125843.tif 000015