(57)【特許請求の範囲】
【請求項１】
人間が発声した音声フレーズから抽出した原ピッチパターンを用いて音声を合成する音声合成装置であって、前記音声フレーズの一部を異なる置換語句に置き換えて合成するために、置換区間に対して予め複数の代表点を設定した原ピッチパターンを含む韻律パターンを記憶する原韻律パターン記憶部と、置換語句の韻律とピッチパターンの代表点の時刻を計算する置換語句韻律計算部と、前記置換語句のピッチパターンの代表点の時刻に合うように原ピッチパターンの代表点間距離を伸縮する代表点移動部と、前記代表点移動部で求められた代表点間のパターンを、原ピッチパターンの概形を保つように補間する代表点間補間部を具備し、置換区間の原ピッチパターンを前記代表点移動部および前記代表点間補間部で変換した変換パターンを利用して、置換語句に対応するピッチパターンを生成することを特徴とする音声合成装置。
【請求項２】
請求項１に記載された音声合成装置において、ピッチパターンの代表点としてモーラ毎の中心点あるいは重心点を用いることを特徴とした音声合成装置。
【請求項３】
請求項１に記載された音声合成装置において、ピッチパターンの代表点としてピッチパターンの上昇部、下降部、定常部の各始終点を用いることを特徴とした音声合成装置。
【請求項４】
請求項１乃至３のいずれかに記載された音声合成装置において、前記代表点移動部は、パターン概形を保つような代表点間距離の伸縮を主としてパターンの定常部の伸縮によって行い、代表点の置換後の語句に対応する時刻への移動を行うことを特徴とする音声合成装置。
【請求項５】
請求項１乃至４のいずれかに記載された音声合成装置において、代表点間補間部は、代表点間のパターンの補間方法として直線補間を用いるものであることを特徴とした音声合成装置。
【請求項６】
請求項１乃至４のいずれかに記載された音声合成装置において、代表点間補間部は、代表点間のパターンの補間方法として置換前のピッチパターンを伸縮する方法を用いることを特徴とした音声合成装置。
【請求項７】
人間が発声した音声フレーズから抽出した原ピッチパターンを用いて音声を合成する音声合成方法において、前記音声フレーズの一部を異なる語句に置き換えて合成するため、置換部分のピッチパターンの代表点の時刻を計算し、前記置換部分のピッチパターンの代表点の時刻に合うように代表点間距離を伸縮するとともに、該代表点間のパターンを、原ピッチパターンの概形を保つように補間して求められた変換パターンを利用して、置換部分に対応するピッチパターンを生成することを特徴とする音声合成方法。
【請求項８】
請求項７に記載された音声合成方法において、ピッチパターンの代表点としてモーラ毎の中心点あるいは重心点を用いることを特徴とした音声合成方法。
【請求項９】
請求項７に記載された音声合成方法において、ピッチパターンの代表点としてピッチパターンの上昇部、下降部、定常部の各始終点を用いることを特徴とした音声合成方法。
【請求項１０】
請求項７乃至９のいずれかに記載された音声合成装置において、前記代表点間距離の伸縮方法として、主としてパターンの定常部の伸縮によって、代表点の置換後の語句に対応する時刻への移動を行うことを特徴とする音声合成方法。
【請求項１１】
請求項７乃至１０のいずれかに記載された音声合成方法において、前記代表点間のパターンの補間方法として直線補間を用いることを特徴とした音声合成方法。
【請求項１２】
請求項７乃至９のいずれかに記載された音声合成方法において、代表点間のパターンの補間方法として置換前のピッチパターンを伸縮する方法を用いることを特徴とした音声合成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は音声合成装置及び方法に関し、特に、定型句中の一部の語句をその都度変更して使用するようなテキストを音声に変換する用途に利用できる、音声合成装置及び方法に関するものである。
【０００２】
【従来の技術】
（１）特開平９−３４４９０号公報「音声合成装置および音声合成方法、ナビゲーションシステム、ならびに記録媒体」は、「ここは○○付近です。」のような定型文に対して自然音声の韻律を、「品川」などの非定型情報に対して規則によって計算した韻律を用い、両者を滑らかに聞こえるように整合性を取って接続し、「ここは品川付近です。」という置き換え文の音声を合成するものが開示されている。
（２）日本音響学会平成１０年度春季研究発表会講演論文集、１−７−２４「単語および文韻律データベースを用いた韻律制御方式の検討」、自然音声から抽出した定型句の韻律と規則によって計算した非定常部分の韻律を以下の式によって接続するものが開示されている。
ｐ′ｉ＝ｐｉ＊（（１−ｉ／Ｎ）＊（ｐ０／Ｐｓ）＋（ｉ／Ｎ）＊（ｐＮ／ＰＥ））
ここで、Ｎは可変部にはいる単語のモーラ数、ｐ′ｉ（ｉ＝０，１，２，３…，Ｎ）は求めるＦ０データ、ｐｉは単語Ｆ０パターンＤＢから得られたＦ０データ、ＰｓとＰＥは各々可変部の始端Ｆ０データ、終端Ｆ０データである。
【０００３】
【発明が解決しようとする課題】
従来、音声合成装置の合成方式には録音編集方式と規則合成方式があった。前者はアナウンサーなどがフレーズ毎に音声を登録しておき、これを適宜選択結合してメッセージを作成するもので、肉声に近い良好な音声が得られる可能性があるが、データ量が多い、登録外のフレーズには対応できない、新たにフレーズを追加するために同一話者の確保が必要、等の問題がある。一方、後者は、音素や音節などの細かい単位で音声データを蓄積して任意語彙の合成を可能とするものであるが、音質的に録音編集方式に劣り、特に基本周波数、音韻継続時間長、振幅などの韻律パターンを規則によって付与するためどうしても機械的で不自然なものになる。
このため任意語彙の出力が不要な定型的なメッセージには、音質の良い録音編集方式が用いられ、テキストからの音声変換が必要な場面では規則合成が用いられる。しかし、カーナビゲーションの音声案内で定型的メッセージの中に地名が埋め込まれるなど、定型文の中に一部任意語彙が埋め込まれるようなアプリケーションも多く存在する。このような場合ごく一部の任意語彙のために全体の音質を落として規則合成を採用するか、任意語彙の出力をあきらめて録音編集方式を用いるか、あるいは定型部分を録音編集で行い、任意語彙部分のみを規則合成で行うという混在方式を採るかの選択をせざるを得ない。
録音編集と規則合成を混在させる場合の問題点は２つの方式で出力音声の声質がまったく異なるため、聞いていて違和感があるばかりでなく非常に聞取り難いものとなる点である。
【０００４】
これに対し従来技術（１）では定型文にも規則合成的に音素あるいは音節等をつないで音韻パラメータを生成し、これに自然音声から抽出した基本周波数及び音韻継続時間長を付与することにより、任意語部分との話者連続性を保持しつつ自然性を向上している。ここで問題となるのは自然音声から抽出された定型部分の韻律パターンと規則によって計算された非定型部分の接続の際に、いかにして不連続性を生じさせずに韻律パターンを自然に接続するかということである。特にピッチパターンの接続をどのように行うかが合成音声の自然性にとって重要である。従来技術（１）ではこの問題に対して「接続部分が滑らかになるように」とするのみでなんら具体的方法を開示していない。
【０００５】
従来技術（２）では上述の問題に対して、接続部分のピッチを定型部分に合わせるように規則で計算する、非定型部分のピッチパターン全体を線型変換する方法が示されている。この方法の問題点を図７を用いて以下に説明する。この例では破線で示した定型文のピッチパターンには３つのアクセント成分による山が見られる。山の大きさは３つ目がもっとも大きく２つ目が最も小さい。自然音声はこのようなメリハリのあるピッチパターンによって豊かな表情が付けられている。これを従来技術（２）による方法で、実線で示した規則で計算されたパターンで置き換えると、全ての山の大きさはほぼ等しくなる。結果的に定型部分の人間的で自然なピッチパターンの特徴を十分生かすことが出来ない。
【０００６】
従って、本発明では定型部分の自然性を極力損なうことなく非定型部分のピッチパターンを置き換えることを目的とするものである。
【０００７】
【課題を解決するための手段】
請求項１は、人間が発声した音声フレーズから抽出した原ピッチパターンを用いて音声を合成する音声合成装置であって、前記音声フレーズの一部を異なる置換語句に置き換えて合成するために、置換区間に対して予め複数の代表点を設定した原ピッチパターンを含む韻律パターンを記憶する原韻律パターン記憶部と、置換語句の韻律とピッチパターンの代表点の時刻を計算する置換語句韻律計算部と、前記置換語句のピッチパターンの代表点の時刻に合うように原ピッチパターンの代表点間距離を伸縮する代表点移動部と、前記代表点移動部で求められた代表点間のパターンを、原ピッチパターンの概形を保つように補間する代表点間補間部を具備し、置換区間の原ピッチパターンを前記代表点移動部および前記代表点間補間部で変換した変換パターンを利用して、置換語句に対応するピッチパターンを生成することを特徴とする音声合成装置である。
【０００８】
請求項２の発明は、請求項１に記載された音声合成装置において、ピッチパターンの代表点としてモーラ毎の中心点あるいは重心点を用いることを特徴とした音声合成装置である。
【０００９】
請求項３の発明は、請求項１に記載された音声合成装置において、ピッチパターンの代表点としてピッチパターンの上昇部、下降部、定常部の各始終点を用いることを特徴とした音声合成装置である。
【００１０】
請求項４の発明は、請求項１乃至３のいずれかに記載された音声合成装置において、前記代表点移動部は、パターン概形を保つような代表点間距離の伸縮を主としてパターンの定常部の伸縮によって行い、代表点の置換後の語句に対応する時刻への移動を行うことを特徴とする音声合成装置である。
【００１１】
請求項５の発明は、請求項１乃至４のいずれかに記載された音声合成装置において、代表点間補間部は、代表点間のパターンの補間方法として直線補間を用いるものであることを特徴とした音声合成装置である。
【００１２】
請求項６の発明は、請求項１乃至４のいずれかに記載された音声合成装置において、代表点間補間部は、代表点間のパターンの補間方法として置換前のピッチパターンを伸縮する方法を用いることを特徴とした音声合成装置である。
【００１３】
請求項７の発明は、人間が発声した音声フレーズから抽出した原ピッチパターンを用いて音声を合成する音声合成方法において、前記音声フレーズの一部を異なる語句に置き換えて合成するため、置換部分のピッチパターンの代表点の時刻を計算し、前記置換部分のピッチパターンの代表点の時刻に合うように代表点間距離を伸縮するとともに、該代表点間のパターンを、原ピッチパターンの概形を保つように補間して求められた変換パターンを利用して、置換部分に対応するピッチパターンを生成することを特徴とする音声合成方法である。
【００１４】
請求項８の発明は、請求項７に記載された音声合成方法において、ピッチパターンの代表点としてモーラ毎の中心点あるいは重心点を用いることを特徴とした音声合成方法である。
【００１５】
請求項９の発明は、請求項７に記載された音声合成方法において、ピッチパターンの代表点としてピッチパターンの上昇部、下降部、定常部の各始終点を用いることを特徴とした音声合成方法である。
【００１６】
請求項１０の発明は、請求項７乃至９のいずれかに記載された音声合成装置において、前記代表点間距離の伸縮方法として、主としてパターンの定常部の伸縮によって、代表点の置換後の語句に対応する時刻への移動を行うことを特徴とする音声合成方法である。
【００１７】
請求項１１の発明は、請求項７乃至１０のいずれかに記載された音声合成方法において、前記代表点間のパターンの補間方法として直線補間を用いることを特徴とした音声合成方法である。
【００１８】
請求項１２の発明は、請求項７乃至９のいずれかに記載された音声合成方法において、代表点間のパターンの補間方法として置換前のピッチパターンを伸縮する方法を用いることを特徴とした音声合成方法である。
【００１９】
【発明の実施の形態】
以下の説明では、予め人間が発声した音声フレーズを原音声、原音声から抽出した韻律パターンを原韻律パターンと呼ぶ。韻律パターンには継続時間長、ピッチ、パワーなどのパターンが含まれるが、ここでは主としてピッチパターンについて説明するので、単にパターンとした場合にはピッチパターンを指すものとする。原音声中、異なる語句に置き換えられる部分を置換区間、置き換える語句を置換語句、置き換えた後のパターンを変換パターンと呼ぶ。
【００２０】
まず、具体的な動作例から本発明の特徴を説明する。原音声として例えば「この先、横浜駅周辺、渋滞しています。」というフレーズがあるものとする。この中の「横浜駅」の部分置換区間とし、「横浜アリーナ」を置換語句とする。置換語句に関しては人間が発声した音声フレーズはなく、文字列だけからパターンを合成しなければならない。ここで規則合成的にパターンを作らず、置換語句に合うように原パターンを変形して対応することが本発明の特徴である。原パターン中の「横浜駅」は６モーラ４型のアクセント句、かつ、変換パターン中の「横浜アリーナ」は８モーラ６型のアクセント句であり、音韻系列も異なるので少なくとも時間軸方向の変形が必要である。本発明では主な代表点の時刻のみを規則によって計算し、原パターンの概形を保つような代表点の移動を行って変換パターンを作成することによって、原パターンの自然性を出来るだけ生かすことを目指すものである。
【００２１】
本発明の一実施例について説明する。図１は本発明の音声合成装置の実施例の構成を示す。音声合成のための全体の処理の流れを図３に示す。図１及び図３を用いて音声合成装置の各部の動作を以下に説明する。
【００２２】
原韻律パターン選択部１５は入力される原音声番号１１から、使用する原韻律パターンをデータベース（原韻律パターン記憶部）１６から検索し選択する（Ｓ１０１）。一方、音素片選択部１２は入力文字列１０から音素片ラベルを得、これを基に音素片記憶部１４から必要な音素片を検索する。置換区間以外の区間に関してはこのまま選択された原韻律パターンと音素片から波形合成部１７によって波形生成処理を行う。ただし、置換区間の後の区間に関しては置換区間の伸縮に伴って時間軸およびピッチ軸上での移動があり得るが変形はない。
【００２３】
置換区間に関する処理を以下に説明する。置換語句韻律計算部１３では一般的な規則音声合成の手法により、音韻継続時間長およびピッチパターン代表点の時刻を計算する（Ｓ１０２）。代表点は、入力文字列から得られる韻律的な句境界やアクセント核位置などの情報と先に計算されて音韻継続時間長から設定される。
【００２４】
図２は代表点の設定例を表わしている。縦線は点線ＢＬがモーラ境界、実線Ｌがアクセント句境界である。モーラの重心点を代表点に選んだ例を○で、アクセントパターンの上昇区間、下降区間、定常区間の各始終点の中から代表点に選んだ例を×で示した。アクセント句のモーラ数をＮ、アクセント核位置を第Ｍモーラとすると、後者の例で具体的に代表点に選んだのは、第１モーラ開始点付近、第１・２モーラ境界付近、第Ｍ・Ｍ＋１モーラ境界付近、第Ｍ＋１・Ｍ＋２境界付近、第Ｎモーラ終端付近である。付近とは具体的には音韻種別、アクセント型、アクセント変化量などから計算したオフセットを、各モーラ境界位置に加えるなどの方法で計算された位置を指す。なお、ここではピッチパターン生成は行わないので、入力文字列の情報から代表点の時刻を決定するだけで、ピッチは計算しない。図に曲線で示されたピッチパターンは代表点の性格を示すために補助的に添えたものである。
【００２５】
このような代表点は原パターンに対しても同様の定義によって予め設定されている置換語句の場合と異なり、原パターンではピッチパターンも既に存在するので代表点は時刻だけでなくピッチも意味を持つ。代表点移動部では置換語句の代表点時刻に合わせた原パターンの代表点の移動を行う。具体的な処理は図３中の代表点移動の処理（Ｓ１０３）にあたり、この内部処理を図４に示す。ここでＴｉ，Ｐｉはそれぞれ原パターンの第ｉ代表点の時刻とピッチ、Ｔ′ｉ，Ｐ′ｉはそれぞれ変換パターンの第ｉ代表点の時刻とピッチ、区間［ｉ，ｊ］は代表点ｉとｊの間の区間、Ｐ（ｔ）は時刻ｔのピッチを表わす。Ｔ′ｉには当初規則によって計算された置換語句の代表点時刻が代入されている。Ｔｄ，Ｐｄは処理途中の原パターンの移動量を補正するための補助変数である。
【００２６】
代表点移動処理は、ｉ＝０、Ｔｄ＝０（Ｓ２０１）から処理を始め、ｉ＜総代表点数であれば（Ｓ２０２）、次のステップにおいて、ｉ＝０もしくは区間［ｉ−１，ｉ］は伸縮区間か否かを判断し（Ｓ２０３）、伸縮区間であれば更にＴ′ｉ＞Ｔｉ＋Ｔｄであるか否かを判断し（Ｓ２０４）、ＹＥＳであれば区間［ｉ−１，ｉ］を時刻Ｔ′ｉ−Ｔｄまで外挿する（Ｓ２０６）。前記ステップＳ２０３において伸縮区間でなければ、Ｔ′ｉ＝Ｔｉ、即ち、変換パターンの第ｉ代表点の時刻は原パターンの第ｉ代表点の時刻と一致させる（Ｓ２０５）。前記ステップ２０６において前記外挿を行うと、次に、変換パターンの第ｉ代表点のピッチをＰ（Ｔ′ｉ−Ｔｄ）＋Ｐｄにし（Ｓ２０７）、さらに、次のステップにおいて、補助変数ＴｄをそれぞれＴｄ＋Ｔ′ｉ−Ｔｉに、また、補助変数ＰｄをＰｄ＋Ｐ′ｉ−Ｐｉにして処理を終了する。また、前記ステップＳ２０２において、ｉ＜総代表点数でなければ処理を終了する。
ここでは定常区間を伸縮区間とし、それ以外の上昇区間および下降区間を非伸縮区間として扱うことで原パターンの概形を保存する。
【００２７】
つまり、以上の処理において、伸縮区間の場合（ステップＳ２０３において、ＹＥＳの場合）は原パターンの代表点時刻を置換語句の代表点時刻へ移動する（Ｓ２０４）。負方向への移動すなわち区間の短縮の場合は、その時刻の原パターンのピッチを変換代表点のピッチとする。正方向への移動すなわち区間の伸長の場合は、原パターンを外挿（Ｓ２０６）した上でその時刻におけるピッチを変換代表点のピッチとする（Ｓ２０７）。非伸縮区間では原パターンの代表点を伸縮区間の伸縮量に応じて平行移動する（Ｓ２０７）。
【００２８】
代表点間補間部１８では代表点間のパターンを計算する。図５，図６を用いてその方法の一例を示す。図５では伸縮区間に対して原パターンの始点終点間の直線に沿った線形伸縮によって区間パターンを計算している。パターンの伸縮によって補間する方法はこの例以外にも、短縮時の切りつめ、伸長時の終端付近繰り返しなど様々な方法が考えられる。図６では非伸縮区間に対して原パターンを平行移動してそのまま用いる方法を示している。この他により簡単な補間方法としては代表点間を直線でつなぐ方法が考えられる。
【００２９】
波形合成部１７ではこのようにして得られたピッチパターンとその他の韻律パターンと音素片系列によって波形生成処理を行う。なお、ここで行われる音素片の伸縮及び接続、基本周波数の付与などの処理に関しては規則音声合成の一般的技術を用いることが出来るため、ここでは詳細な説明は省略する。
【００３０】
【発明の効果】
本発明によれば、定型区間のみならず置換区間に関しても原パターンの特徴を生かし自然性劣化を防ぐことができる。
【００３２】
また、簡易な方法によって聴感上違和感の少ないパターンを生成できる。
【００３３】
また、少ないデータ量と処理量でありながら原パターンの特徴を再現することができる。
【００３４】
また、少ない処理量でありながら原パターンの特徴損失を低く抑えることができる。
【図面の簡単な説明】
【図１】本発明の音声合成装置の一実施例を示すブロック図である。
【図２】ピッチパターン代表点の設定例を示すための図である。
【図３】音声合成のための処理を説明するフロー図である。
【図４】音声合成処理フローにおける代表点移動行程の内部処理を説明するためのフロー図である。
【図５】代表点間のパターンを計算する方法を説明するための図である。
【図６】代表点間のパターンを計算する他の方法を説明するための図である。
【図７】自然音声から抽出された定型部分と従来の規則によって計算された非定型部分の相違を説明するための図である。
【符号の説明】
１０…入力文字列、１１…原音声番号、１２…音素片選択部、１３…置換語句韻律計算部、１４…音素片記憶部、１５…原韻律パターン選択部、１６…原韻律パターン記憶部、１７…波形合成部、１８…代表点間補間部、１９…代表点移動部、２０…合成音声。
【図１】
0003601974.tif 000002
【図２】
0003601974.tif 000003
【図３】
0003601974.tif 000004
【図４】
0003601974.tif 000005
【図５】
0003601974.tif 000006
【図６】
0003601974.tif 000007
【図７】
0003601974.tif 000008