(57)【要約】【課題】漏れ・重複がない素片辞書を有して合成時の自然性の劣化を防止する。【解決手段】韻律変形量と音質劣化度合との主観評価を行なって韻律変形・音質劣化テーブルを作成して素片選択用メモリ６に格納する。合成素片選択部１４は、韻律生成部１３からの音韻系列を分割した合成単位に基づいて、音声データ辞書用メモリ７の素片辞書から合成素片を検索する。さらに、韻律生成部１３からの韻律情報と合成素片の韻律情報とに基づく韻律変形量で、上記韻律変形・音質劣化テーブルを引いて音質劣化度合を推定する。そして、閾値を下回る最小の音質劣化度合を呈する合成素片を選択する。こうして、自然性の劣化が少ない合成音声を作成する。また、音質劣化が所定の基準値を上回らないように、種々の韻律バリエーションを網羅して上記素片辞書を構築して、漏れや重複がない最適なサイズの素片辞書を得る。【選択図】　図２
2004053833.tif 000002
【特許請求の範囲】
【請求項１】
音声素片を韻律情報に従って変形し、この変形された音声素片を接続して音声を合成する音声合成装置において、
種々の音声素片を格納しておく素片辞書と、
上記音声素片に上記韻律情報に基づく韻律の変形処理を施した場合に生じる音質劣化度合を推定する音質劣化度合推定手段と、
上記推定された音質劣化度合に基づいて実際の音声合成に使用する音声素片を上記素片辞書から選択する音声素片選択手段
を備えたことを特徴とする音声合成装置。
【請求項２】
請求項１に記載の音声合成装置において、
各韻律パラメータの変形量と音質劣化度合との関係を表す韻律変形・音質劣化テーブルを備えて、
上記音質劣化度合推定手段は、上記音声素片に関して、上記韻律情報に基づく各韻律パラメータの変形量を算出し、この算出された韻律パラメータの変形量に基づいて、上記韻律変形・音質劣化テーブルを用いて当該音声素片の音質劣化度合を推定するようになっていることを特徴とする音声合成装置。
【請求項３】
請求項２に記載の音声合成装置において、
上記韻律パラメータの変形量は、継続時間の変形量，ピッチの平均変形量，ピッチの変形標準偏差，パワーの平均変形量およびパワーの変形標準偏差のうちの少なくとも１つを含んでいることを特徴とする音声合成装置。
【請求項４】
請求項２に記載の音声合成装置において、
上記韻律変形・音質劣化テーブルは、音韻の種類毎に、上記各韻律パラメータの変形量と音質劣化度合との関係を表すようになっていることを特徴とする音声合成装置。
【請求項５】
請求項２に記載の音声合成装置において、
上記韻律変形・音質劣化テーブルは、話者毎に、上記各韻律パラメータの変形量と音質劣化度合との関係を表すようになっており、
上記素片辞書には、上記話者毎に音声素片が格納されている
ことを特徴とする音声合成装置。
【請求項６】
請求項１に記載の音声合成装置において、
上記音質劣化度合推定手段は、上記音声素片に各韻律パラメータ毎に変形処理を施した場合に生ずる音質劣化度合を推定し、推定された各韻律パラメータ毎の音質劣化度合の線形和を算出することによって当該音声素片に関する音質劣化度合を求めるようになっていることを特徴とする音声合成装置。
【請求項７】
請求項１に記載の音声合成装置において、
上記素片辞書には、上記音質劣化度合推定手段によって推定された各音声素片の音質劣化度合が所定の基準値を上回らないように、韻律のバリエーションを網羅した上記音声素片が格納されていることを特徴とする音声合成装置。
【請求項８】
請求項１に記載の音声合成装置において、
入力されたテキストデータを各単語に分割する単語分割手段と、
上記分割された各単語に対してアクセントの型および読みを設定する単語読みアクセント設定手段と、
上記各単語間の結合度合，各単語のアクセント型および各音節固有の特徴に基づいて呼気段落単位に単語を結合し、ピッチおよび継続時間を含む上記韻律情報を生成する韻律生成手段
を更に備えたことを特徴とする音声合成装置。
【請求項９】
音声素片を韻律情報に従って変形し、この変形された音声素片を接続して音声を合成する音声合成方法において、
上記音声素片に上記韻律情報に基づく韻律の変形処理を施した場合に生じる音質劣化度合を推定するステップと、
上記推定された音質劣化度合に基づいて実際の音声合成に使用する音声素片を素片辞書から選択するステップ
を備えたことを特徴とする音声合成方法。
【請求項１０】
請求項９に記載の音声合成方法において、
入力されたテキストデータを各単語に分割するステップと、
上記分割された各単語に対してアクセントの型および読みを設定するステップと、
上記各単語間の結合度合，各単語のアクセント型および各音節固有の特徴に基づいて呼気段落単位に単語を結合し、ピッチおよび継続時間を含む上記韻律情報を生成するステップ
を更に備えたことを特徴とする音声合成方法。
【請求項１１】
コンピュータを、
請求項１における音質劣化度合推定手段および音声素片選択手段
として機能させることを特徴とする音声合成プログラム。
【請求項１２】
コンピュータを、
請求項８における単語分割手段，単語読みアクセント設定手段，韻律生成手段，音質劣化度合推定手段および音声素片選択手段
として機能させることを特徴とする音声合成プログラム。
【請求項１３】
請求項１１あるいは請求項１２に記載の音声合成プログラムが記録されていることを特徴とするコンピュータ読出し可能なプログラム記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力文の合成音声を生成して出力する音声合成装置，音声合成方法，音声合成プログラムおよびプログラム記録媒体に関する。
【０００２】
【従来の技術】
従来の一般的な波形重畳型の音声合成装置においては、入力文字列に対してテキスト解析を行って音韻系列および韻律情報を生成する。そして、この音韻系列および韻律情報と合成素片の音韻系列および韻律情報との誤差を算出し、この誤差に重みをつけてトータルし、最も誤差の少ない合成素片を選択する。次に、選択された合成素片に対して韻律の変形処理を行ない、変形された合成波形を上記入力文字列の順に接続することによって合成音声を得るようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の音声合成装置には、以下のような問題がある。すなわち、経験的に、使用する音声素片はその前後音韻系列の条件がマッチしないと接続歪みノイズが生じ易く、明瞭性が損なわれ易い。一方、韻律環境は、ピッチやパワーや継続長等の変形量が多いほど合成音声の自然性が劣化し易いが、音韻の種類や話者によってその傾向は異なる。
【０００４】
上述した従来の音声合成装置において、品質の高い合成音声を生成するには、音韻系列と韻律環境との双方の条件を満足する合成素片を素片辞書に記憶しておく必要がある。ところが、従来は物理的な変形量やスペクトル接続歪を尺度としていたため、高品質化に必要な条件が不明瞭であり、必要以上に素片辞書への登録情報量が増えてコストが増加するという問題がある。
【０００５】
また、上記音韻系列と韻律環境との双方の条件を満足する合成素片が上記素片辞書に存在しない場合には、何れかの条件を優先して合成素片を選ばざるを得ないが、その選択の指針となるものが存在しないので、結果的に不適切な合成素片が選ばれるという問題もある。
【０００６】
そこで、この発明の目的は、合成音声の高品質化のために漏れがなく重複がない素片辞書を有すると共に、最適な波形素片を選択して合成時の自然性の劣化を防ぐことができる音声合成装置，音声合成方法，音声合成プログラムおよびプログラム記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、この発明の音声合成装置は、音質劣化度合推定手段によって、音声素片に韻律情報に基づく韻律の変形処理を施した場合に生じる音質劣化度合を推定する。そして、この音質劣化度合に基づいて、音声素片選択手段によって、実際の音声合成に使用する音声素片を素片辞書から選択するようにしている。したがって、上記音声素片選択手段は、例えば、所定の閾値を下回る音質劣化度合であって最小の音質劣化度合を呈する音声素片を選択することによって、音声合成に際して韻律の変形処理を施した場合に音質劣化が少ない最適な音声素片が選択され、自然性の劣化が少ない合成音声が生成される。
【０００８】
また、１実施例の音声合成装置では、上記音質劣化度合推定手段を、上記音声素片に関して、上記韻律情報に基づく各韻律パラメータの変形量を算出する。そして、この算出された韻律パラメータの変形量に基づいて、韻律変形・音質劣化テーブルを用いて当該音声素片の音質劣化度合を推定するようにしている。こうして、上記韻律情報に基づく音質劣化度合がより簡単により的確に算出される。
【０００９】
また、１実施例の音声合成装置では、上記韻律パラメータの変形量を、継続時間の変形量，ピッチの平均変形量，ピッチの変形標準偏差，パワーの平均変形量およびパワーの変形標準偏差のうちの少なくとも１つを含むようにしている。こうして、音質劣化に大きな影響を及ぼすパラメータの変形量に基づいて上記音質劣化度合が推定される。
【００１０】
また、１実施例の音声合成装置では、上記韻律変形・音質劣化テーブルを、音韻の種類毎に、上記各韻律パラメータの変形量と音質劣化度合との関係を表すようにしている。このように、上記各韻律パラメータの変形量と音質劣化度合との関係が音韻毎に木目細かく設定されている。したがって、この韻律変形・音質劣化テーブルを用いることによって、音韻の種類によって生ずる音質劣化度合の変化にも対処することができ、より音質劣化の少ない最適な音声素片の選択が可能になる。
【００１１】
また、１実施例の音声合成装置では、上記韻律変形・音質劣化テーブルを、話者毎に上記各韻律パラメータの変形量と音質劣化度合との関係を表すようにすると共に、上記素片辞書には、上記話者毎に音声素片を格納するようにしている。このように、上記各韻律パラメータの変形量と音質劣化度合との関係が話者毎に木目細かく設定されている。したがって、この韻律変形・音質劣化テーブルを用いることによって、話者によって生ずる音質劣化度合の変化にも対処することができ、より音質劣化の少ない最適な音声素片の選択が可能になる。
【００１２】
また、１実施例の音声合成装置では、上記音質劣化度合推定手段を、音声素片に各韻律パラメータ毎に変形処理を施した場合に生ずる音質劣化度合を推定し、推定された各音質劣化度合の線形和を求めるようにしている。こうして、各韻律パラメータの影響が網羅された音質劣化度合が求められる。
【００１３】
また、１実施例の音声合成装置では、上記素片辞書には、上記音質劣化度合推定手段によって推定された各音声素片の音質劣化度合が所定の基準値を上回らないように、韻律のバリエーションを網羅した上記音声素片を格納するようにしている。したがって、上記素片辞書には、高品質な合成音声を得るための音声素片が過不足なく登録されている。
【００１４】
また、１実施例の音声合成装置では、入力されたテキストデータを単語分割手段によって各単語に分割し、この分割された各単語に対して単語読みアクセント設定手段でアクセントの型および読みを設定し、韻律生成手段によって上記アクセント型等に基づいて呼気段落単位に単語を結合して上記韻律情報を生成するようにしている。したがって、上記音質劣化度合推定手段が音質劣化度合を推定する際に音声素片に韻律の変形処理を施す際の元となる上記韻律情報が、入力されたテキストデータから抽出される。
【００１５】
また、この発明の音声合成方法は、音声素片に韻律情報に基づく韻律の変形処理を施した場合に生じる音質劣化度合を推定し、この推定された音質劣化度合に基づいて実際の音声合成に使用する音声素片を素片辞書から選択するようにしている。したがって、例えば、所定の閾値を下回る最小の音質劣化度合を呈する音声素片を選択することによって、音声合成に際して韻律の変形処理を施した場合に音質劣化が少ない最適な音声素片が選択され、自然性の劣化が少ない合成音声が生成される。
【００１６】
また、１実施例の音声合成方法では、入力されたテキストデータを各単語に分割し、この分割された各単語に対してアクセントの型および読みを設定し、上記アクセント型等に基づいて呼気段落単位に単語を結合して上記韻律情報を生成するようにしている。したがって、上記音質劣化度合を推定する際に音声素片に韻律の変形処理を施す際の元となる上記韻律情報が、入力されたテキストデータから抽出される。
【００１７】
また、この発明の音声合成プログラムは、コンピュータを、上記音声合成装置における音質劣化度合推定手段および音声素片選択手段として機能させる。したがって、例えば音声合成に際して韻律の変形処理が施された場合に音質劣化が少ない最適な音声素片が選択されることによって、自然性の劣化が少ない合成音声が生成される。
【００１８】
また、この発明の音声合成プログラムは、コンピュータを、上記音声合成装置における単語分割手段，単語読みアクセント設定手段，韻律生成手段，音質劣化度合推定手段および音声素片選択手段として機能させる。したがって、上記音質劣化度合を推定する際に音声素片に韻律の変形処理を施す際の元となる上記韻律情報が、入力されたテキストデータから抽出される。
【００１９】
また、この発明のプログラム記録媒体は、上記音声合成プログラムが記録されている。したがって、コンピュータによって上記音声合成プログラムを読み出して実行することによって、音声合成に際して韻律の変形処理が施された場合に音質劣化が少ない最適な音声素片が選択されて、自然性の劣化が少ない合成音声の生成が可能になる。
【００２０】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。図１は、本実施の形態の音声合成装置における機能ブロック図である。以下、本実施の形態における音声合成装置について、図１に従って説明する。
【００２１】
本実施の形態における音声合成装置は、漢字仮名交じり文が入力される入力部１と、上記入力された漢字仮名交じり文に対して文章解析および音声合成規則を生成する制御部２と、入力された文章の音声を制御部２によって生成された音声合成規則に従って合成する音声合成部３と、日本語辞書用メモリ５と、素片選択用メモリ６と、音声データ辞書用メモリ７とが、バス８に接続されて構成されている。そして、上記音声合成部３によって合成された音声は出力部４から出力される。
【００２２】
尚、上記日本語辞書用メモリ５には、単語毎に品詞，読み，モーラ数およびアクセント等が登録された日本語辞書が格納されており、制御部２が文章解析を行う際に用いられる。素片選択用メモリ６には、韻律の変形量と音質の劣化度合との関係を表す韻律変形・音質劣化テーブルが格納されており、制御部２が音声合成規則を生成する際に用いられる。音声データ辞書用メモリ７には、読みに対応する合成単位の波形データでなる上記音声素片としての合成素片が登録された素片辞書が格納されており、制御部２が音声合成規則を生成する際に用いられる。
【００２３】
上記制御部２は、図２に示すように、単語分割処理部１１と単語読みアクセント処理部１２と韻律生成部１３と合成素片選択部１４と波形データ変形部１５から構成されている。
【００２４】
上記単語分割処理部１１は、入力部１から入力された漢字仮名交じり文を、日本語辞書用メモリ５に格納された日本語辞書を参照して、文中の文節数が最小になるように単語を選択する文節最小法または最長一致法を用いて各単語に分割する。単語読みアクセント処理部１２は、分割された各単語毎に、アクセントの型および読みを設定する。韻律生成部１３は、上記設定されたアクセント型および読みに基づいて音韻系列と韻律情報との生成を行う。
【００２５】
上記合成素片選択部１４は、上記生成された音韻系列に対応する合成素片を音声データ辞書用メモリ７に格納された素片辞書から検索し、韻律の変形処理によって生じる音質劣化度合を素片選択用メモリ６に格納された韻律変形・音質劣化テーブルを引いて推定し、最も音質劣化の少ない合成素片を選択する。波形データ変形部１５は、上記選択された合成素片の韻律を韻律生成部１３で生成された韻律情報に従って変形して、音声合成用の音声パラメータを時系列で出力する。すなわち、上記音質劣化度合推定手段および音声素片選択手段を、合成素片選択部１４で構成するのである。
【００２６】
次に、上記構成を有する本実施の形態における音声合成装置は、以下のように動作する。
【００２７】
上記入力部１から入力された漢字仮名交じり文は、制御部２の単語分割処理部１１に入力される。そして、この漢字仮名交じり文は、上記日本語辞書が参照されて最長一致法または上記文節最小法等を用いて各単語に分割される。分割された各単語は、単語読みアクセント処理部１２によって単語毎にアクセントの型および読みが設定されて韻律生成部１３へ出力される。
【００２８】
上記韻律生成部１３では、上記各単語間の結合度合，各単語のアクセント型および各音節固有の特徴等に基づいて呼気段落単位に単語が結合され、ピッチや継続時間長等の韻律情報が設定される。更に、各単語の読みに基づいて音韻系列が設定される。そして、この設定された韻律情報と音韻系列とが出力される。合成素片選択部１４は、後に詳述する方法によって合成素片を選択する。そして、波形データ変形部１５によって、上記選択された合成素片が上記韻律情報に基づいて変形され、音声合成用の音声パラメータが生成されて時系列で出力される。そうすると、音声合成部３によって、上記生成された音声パラメータに基づいて音声が合成され、出力部４から出力されるのである。
【００２９】
ここで、上記機能的構成を有する音声合成装置の具体的ハードウェア構成は、後述する各種の処理を実行するプログラムを含む各種プログラムを記憶するプログラムメモリ、各種情報を記憶するデータメモリ、入力装置、出力装置、表示装置、外部記録媒体がセットされてこの外部記録媒体をアクセスする外部補助記憶装置、プログラムメモリ，データメモリ，入力装置，出力装置，表示装置および外部補助記憶装置等を制御して、音声合成処理動作等を実行するＣＰＵ（中央演算処理装置）等で成る。
【００３０】
以下、上記合成素片選択部１４によって実行される合成素片選択処理動作について、図３に示す合成素片選択処理動作のフローチャートに従って説明する。韻律生成部１３によって生成された音韻系列および韻律情報が合成素片選択部１４に入力されると合成素片選択処理動作がスタートする。
【００３１】
ステップＳ１で、入力された上記音韻系列が所定の合成単位に分割される。ここで、上記合成単位がＣＶであり、入力音韻が／ｗａｔａｓｈｉ／である場合には、３つの合成単位／ｗａ／，／ｔａ／，／ｓｈｉ／に分割される。尚、上記合成単位はＣＶに限らず、ＶＣＶ，ＣＶＣ，ＣＶＶ等の他の合成単位を用いても差し支えない。
【００３２】
ステップＳ２で、上記分割された合成単位に該当する合成素片（波形データ）の候補が音声データ辞書用メモリ７に格納された素片辞書から検索される。上述した入力音韻／ｗａｔａｓｈｉ／に関して前後環境を考慮すると、先ず先行音韻が無音であって後続音韻が／ｔ／である合成素片／ｗａ／が検索される。ステップＳ３で、上記ステップＳ２における検索の結果該当する合成素片候補はあるか否かが判別される。その結果、ある場合にはステップＳ４に進む。一方、無い場合には上記ステップＳ１に戻って、先行音韻または後続音韻の条件が緩められるか、あるいは、再度合成単位に分割される。そして、再度合成素片が検索される。
【００３３】
ステップＳ４で、上記素片選択用メモリ６に格納された韻律変形・音質劣化テーブルが参照されて、ステップＳ２において検索された各合成素片候補毎の音質劣化度合が推定される。ステップＳ５で、上記推定された音質劣化度合が閾値を下回る合成素片候補があるか否かが判別される。その結果、音質劣化度合が閾値を下回る合成素片候補がある場合にはステップＳ６に進む。一方、音質劣化度合が閾値を下回る合成素片候補が無い場合には上記ステップＳ１に戻って、先行音韻または後続音韻の条件が緩められるか、あるいは、再度合成単位に分割される。そして、再度合成素片が検索される。ステップＳ６で、音質劣化度合が最小の合成素片候補が合成素片として決定される。そうした後、合成素片選択処理動作が終了する。
【００３４】
以上の処理によって、入力文字列に対応する音質劣化の少ない合成素片が決定されるのである。
【００３５】
次に、図３に示す合成素片選択処理動作のフローチャートにおける上記ステップＳ４において実行される音質劣化度合の推定処理について、詳細に説明する。図４は、上記音質劣化度合推定処理動作のフローチャートである。
【００３６】
上記韻律生成部１３によって規則に従って生成された韻律情報と、図３に示す合成素片選択処理動作のステップＳ３において検索された合成素片候補に付加された韻律情報とが入力されると、音質劣化度合推定処理動作がスタートする。
【００３７】
ここで、図５に、入力音韻が／ｗａ／である場合の韻律情報の一例を示す。尚、図５（ａ）は韻律生成部１３によって算出された韻律情報を示し、図５（ｂ）は検索された合成素片候補の韻律情報を示している。図５（ａ）において、ラベルは「音韻」と「フレーム番号」とを表しており、ラベルから音韻／ｗ／は６フレームであり、音韻／ａ／は７フレームであることが分る。また、ピッチＰｒ（ｉ）およびパワーＥｒ（ｉ）は、各フレーム（ｉ＝Ｗ１，Ｗ２，Ｗ３，…）に対応した時系列で表されている。単位はピッチがＨｚであり、パワーはｄＢである。同様に、図５（ｂ）において、ラベルから音韻／ｗ／は５フレームであり、音韻／ａ／は７フレームである。また、Ｐｄ（ｉ）はピッチの時系列であり、Ｅｄ（ｉ）はパワーの時系列である。
【００３８】
以下、図４に示す音質劣化度合推定処理動作について説明する。尚、ステップＳ１１からステップＳ１８までの処理は、基本的に音素毎に行われる。
【００３９】
ステップＳ１１で、上記韻律生成部１３で生成された上記韻律情報としての継続長Ｌｒ（フレーム）と、検索された合成素片の上記韻律情報としての継続長Ｌｄ（フレーム）とから、継続時間変形量Ｄａｖｅが式（１）に従って算出される。
Ｄａｖｅ＝ｌｏｇ２（Ｌｒ／Ｌｄ）　　　　　　…（１）
図５に示す音韻／ｗ／を例にとると、継続時間変形量Ｄａｖｅは
Ｄａｖｅ＝ｌｏｇ２（６／５）＝０．２６ｏｃｔ
となる。
【００４０】
ステップＳ１２で、当該合成素片の継続長Ｌｄが韻律生成部１３で生成された継続長Ｌｒに合うように、当該合成素片の時系列が正規化される。具体的には、上記算出された継続時間変形量Ｄａｖｅの値が負である場合には、合成素片の方が生成値よりも長いので合成素片における所定のフレームが間引かれる。逆に、継続時間変形量Ｄａｖｅの値が正である場合には、合成素片の方が生成値よりも短いので合成素片における所定のフレームを繰り返すのである。図５に示す音韻／ｗ／の例では、合成素片の継続長Ｌｄの方が１フレーム短いので、フレーム「ｗ１」を繰返して正規化したピッチの時系列Ｐ’ｄ（ｉ）が式（２）に示すように算出される。
Ｐ’ｄ（Ｗ１）＝Ｐｄ（Ｗ１）
Ｐ’ｄ（Ｗ２）＝Ｐｄ（Ｗ１）
Ｐ’ｄ（Ｗ３）＝Ｐｄ（Ｗ２）
Ｐ’ｄ（Ｗ４）＝Ｐｄ（Ｗ３）
…　　　　　　　　　　…（２）
正規化したパワーの時系列Ｅ’ｄ（ｉ）も同様にして算出される。
【００４１】
ステップＳ１３で、ピッチの平均変形量Ｐａｖｅが式（３）で算出される。
2004053833.tif 000003
ステップＳ１４で、ピッチの変形標準偏差Ｐｓｔｄが式（４）で算出される。
2004053833.tif 000004
ステップＳ１５で、パワーの平均変形量Ｅａｖｅが式（５）で算出される。
2004053833.tif 000005
ステップＳ１６で、パワーの変形標準偏差Ｅｓｔｄが式（６）で算出される。
2004053833.tif 000006
【００４２】
ステップＳ１７で、上記算出された継続時間の変形量とピッチおよびパワーに関する平均変形量および変形標準偏差とに基づいて、素片選択用メモリ６に格納された韻律変形・音質劣化テーブルが参照されて、各パラメータに対応する音質劣化度合が推定される。図６は、韻律変形・音質劣化テーブルの一例を示す概念図を示す。図６（ａ）は、継続時間の変形量・音質劣化度合テーブルの一例を示す概念図の一部である。図５に示す音韻／ｗ／の場合には、継続時間の変形量は上述したように０．２６ｏｃｔであるから、図６（ａ）における変形量「０．１ｏｃｔ〜０．３ｏｃｔ」に入る。したがって、上記継続時間の変形による音質劣化度合は０．０５と推定できる。
【００４３】
図６（ｂ）は、ピッチの平均変形量・音質劣化度合テーブルの一例を示す概念図の一部である。ピッチの平均変形量Ｐａｖｅに基づいてピッチの平均変形量・音質劣化度合テーブルを引くことによって、ピッチの平均変形量Ｐａｖｅに基づく音質劣化度合が推定される。以下、同様に、ピッチの変形標準偏差Ｐｓｔｄ，パワーの平均変形量Ｅａｖｅおよびパワーの変形標準偏差Ｅｓｔｄについても、図６（ｃ）に示すピッチの変形標準偏差量・音質劣化度合テーブル，図６（ｄ）に示すパワーの平均変形量・音質劣化度合テーブルおよび図６（ｅ）に示すパワーの変形標準偏差量・音質劣化度合テーブルを引くことによって、夫々の音質劣化度合が推定されるのである。
【００４４】
ステップＳ１８で、当該合成素片候補に該当する各音素毎の音質劣化度合が、上記ステップＳ１７において推定された各音質劣化度合を用いて式（７）に従って算出される。
音素の音質劣化度合
＝継続時間変形量Ｄａｖｅに基づく音質劣化度合
＋ピッチの平均変形量Ｐａｖｅに基づく音質劣化度合
＋ピッチの変形標準偏差Ｐｓｔｄに基づく音質劣化度合
＋パワーの平均変形量Ｅａｖｅに基づく音質劣化度合
＋パワーの変形標準偏差Ｅｓｔｄに基づく音質劣化度合　…（７）
【００４５】
ステップＳ１９で、当該合成素片候補を形成する音素中に未処理の音素があるか否かが判別される。その結果、未処理の音素がある場合にはステップＳ１１に戻って、当該合成素片候補を形成する次の音素の処理に移行する。一方、未処理の音素がない場合にはステップＳ２０に進む。ステップＳ２０で、上記ステップＳ１１〜ステップＳ１９において決定された当該合成素片候補を形成する各音素の音質劣化度合のうち、最も大きい音質劣化度合を当該合成素片候補の音質劣化度合と決定する。そうした後、音質劣化度合推定処理動作を終了する。
【００４６】
以上のごとく、本実施の形態においては、継続時間変形量Ｄａｖｅ，ピッチの平均変形量Ｐａｖｅ，ピッチの変形標準偏差Ｐｓｔｄ，パワーの平均変形量Ｅａｖｅおよびパワーの変形標準偏差Ｅｓｔｄで成る韻律変形量と音質劣化度合との主観評価を行なって、韻律変形量と音質劣化度合とを関係付ける値を統計的に算出し、韻律変形・音質劣化テーブルを予め作成して素片選択用メモリ６に格納しておく。
【００４７】
そして、音声合成に際しては、上記韻律生成部１３で生成された音韻系列を分割してなる合成単位に基づいて、合成素片選択部１４によって、音声データ辞書用メモリ７に格納された素片辞書から当該合成単位に対応する合成素片を検索する。さらに、韻律生成部１３で生成された韻律情報と上記検索された合成素片候補の韻律情報とに基づいて上記各変形量Ｄａｖｅ，Ｐａｖｅ，Ｅａｖｅおよび各変形標準偏差Ｐｓｔｄ，Ｅｓｔｄを算出し、この韻律の変形量および変形標準偏差を用いて上記韻律変形・音質劣化テーブルを引いて音質劣化度合を推定する。そして、閾値を下回る音質劣化度合であって最小の音質劣化度合を呈する合成素片候補を、当該合成単位に対応する合成素片として選択するようにしている。
【００４８】
したがって、上記音声合成に必要な波形素片を選択する際に音質劣化の少ない最適な合成素片を選択することができ、自然性の劣化が少ない合成音声を作成することができるのである。
【００４９】
また、その際に、上記合成素片選択部１４が合成素片を検索する際に使用する上記素片辞書は、上記音質劣化度合推定アルゴリズムに基づいて推定された音質劣化が所定の基準値を上回らないように、種々の韻律バリエーションを網羅させて構築する。こうすることによって、漏れや重複がない最適なサイズで高品質な音声合成を実現できる素片辞書を得ることができるのである。
【００５０】
尚、この発明においては、上記韻律変形・音質劣化テーブルにおける各要素値の算出方法を特定するものではないが、上記素片辞書に登録された各合成素片に関する種々の韻律変形量と音質劣化度合との関係を多変量解析することによって求めることができる。
【００５１】
また、本実施の形態においては、上記韻律変形量として、上述したように継続時間変形量Ｄａｖｅ，ピッチの平均変形量Ｐａｖｅ，ピッチの変形標準偏差Ｐｓｔｄ，パワーの平均変形量Ｅａｖｅおよびパワーの変形標準偏差Ｅｓｔｄを用いている。この発明においては、特に上述のものに限定されるものではない。要は、音質劣化に大きな影響を及ぼすパラメータであればよく、上記主観評価により十分に絞り込むことによって素片選択用メモリ６の容量と上記音質劣化度合推定の計算量との節約になるのである。
【００５２】
また、上記韻律変形・音質劣化テーブルは、上記主観評価に基づいて音素の種類毎に最適化したものであっても良い。さらに、上記素片辞書には各話者毎に合成素片を登録してもよく、その場合には上記主観評価に基づいて各話者毎に最適化した韻律変形・音質劣化テーブルを用いることによって、更に高品質な音声合成を実現することができる。
【００５３】
ところで、上記実施の形態における単語分割処理部１１，単語読みアクセント処理部１２，韻律生成部１３，合成素片選択部１４および波形データ変形部１５としての機能は、プログラム記録媒体に記録された音声合成プログラムによって実現される。上記実施の形態における上記プログラム記録媒体は、ＲＯＭ（リード・オンリ・メモリ）でなるプログラムメディアである。あるいは、上記外部補助記憶装置に装着されて読み出されるプログラムメディアであってもよい。尚、何れの場合においても、上記プログラムメディアから音声合成プログラムを読み出すプログラム読み出し手段は、上記プログラムメディアに直接アクセスして読み出す構成を有していてもよいし、ＲＡＭ（ランダム・アクセス・メモリ）に設けられたプログラム記憶エリア（図示せず）にダウンロードし、上記プログラム記憶エリアにアクセスして読み出す構成を有していてもよい。尚、上記プログラムメディアから上記ＲＡＭのプログラム記憶エリアにダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。
【００５４】
ここで、上記プログラムメディアとは、本体側と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フロッピーディスク，ハードディスク等の磁気ディスクやＣＤ（コンパクトディスク）‐ＲＯＭ，ＭＯ（光磁気）ディスク，ＭＤ（ミニディスク），ＤＶＤ（ディジタル多用途ディスク）等の光ディスクのディスク系、ＩＣ（集積回路）カードや光カード等のカード系、マスクＲＯＭ，ＥＰＲＯＭ（紫外線消去型ＲＯＭ），ＥＥＰＲＯＭ（電気的消去型ＲＯＭ），フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体である。
【００５５】
また、上記実施の形態における音声合成装置は、インターネットを含む通信ネットワークと通信Ｉ／Ｆを介して接続可能な構成を有している場合には、上記プログラムメディアは、通信ネットワークからのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワークからダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。あるいは、別の記録媒体からインストールされるものとする。
【００５６】
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。
【００５７】
【発明の効果】
以上より明らかなように、この発明は、音声素片に韻律情報に基づく韻律の変形処理を施した場合に生じる音質劣化度合を推定し、この音質劣化度合に基づいて、実際の音声合成に使用する音声素片を素片辞書から選択するので、例えば、所定の閾値を下回る最小の音質劣化度合を呈する音声素片を選択することによって、音声合成に際して韻律の変形処理を施した場合に音質劣化が少ない最適な音声素片を選択することができる。したがって、自然性の劣化が少ない合成音声を生成することができるのである。
【００５８】
さらに、上記推定された各音声素片の音質劣化度合が所定の基準値を上回らないように、韻律のバリエーションを網羅した上記音声素片を上記素片辞書に格納すれば、高品質な合成音声を得るための音声素片を過不足なく格納することができる。
【図面の簡単な説明】
【図１】この発明の音声合成装置における機能ブロック図である。
【図２】図１における制御部の詳細な構成を示す図である。
【図３】図２における合成素片選択部によって実行される合成素片選択処理動作のフローチャートである。
【図４】図３に示す合成素片選択処理動作において実行される音質劣化度合推定処理動作のフローチャートである。
【図５】入力音韻／ｗａ／の韻律情報の一例を示す図である。
【図６】韻律変形・音質劣化テーブルの一例を示す図である。
【符号の説明】
１…入力部、
２…制御部、
３…音声合成部、
４…出力部、
５…日本語辞書用メモリ、
６…素片選択用メモリ、
７…音声データ辞書用メモリ、
１１…単語分割処理部、
１２…単語読みアクセント処理部、
１３…韻律生成部、
１４…合成素片選択部、
１５…波形データ変形部。
【図１】
2004053833.tif 000007
【図２】
2004053833.tif 000008
【図３】
2004053833.tif 000009
【図４】
2004053833.tif 000010
【図５】
2004053833.tif 000011
【図６】
2004053833.tif 000012