(57)【要約】【課題】  自然な合成音声を発生する音声合成データを容易に生成する。【解決手段】  入力音声波形１は、セグメンテーション部３、ピッチ検出部４、音量検出部５でそれぞれ分析され、音素記号と音素の継続時間長を示すセグメント情報、ピッチの変化を示すピッチ情報、音量の変化を示す音量情報が出力される。また、音色情報抽出部６の音色データ検出部７は、入力音声波形１に対して対象となる音声合成部１２と同種の音色分析を行い、音色差分抽出部１０は、該分析結果と該当する音素の辞書データとの差分値を音色データとして出力する。音声合成データ生成部１１は、セグメント情報、ピッチ情報、音量情報及び音色データから音声合成データを作成する。該音声合成データが入力された音声合成部１２は、辞書から読み出したフレームデータを前記ピッチ情報、音量情報及び音色データにより変更し、変更したフレームデータに基づいて音声合成を行い、合成した合成音声を出力する。【選択図】  図１
2006030609.tif 000002
【特許請求の範囲】
【請求項１】
入力音声波形を分析して、音声合成装置に供給する音声合成データを生成する音声合成データ生成装置であって、
入力音声波形を分析して、音素記号と音素の継続時間長を示すセグメント情報、ピッチ情報及び音量情報を出力する手段と、
前記入力音声波形に対して、前記音声合成装置におけるものと同種の音色分析を行い、該分析結果と該当する音素の辞書データとの差分値を音色データとして出力する手段と、
前記セグメント情報、前記ピッチ情報、前記音量情報及び前記音色データにより音声合成データを生成する手段と
を有することを特徴とする音声合成データ生成装置。
【請求項２】
前記差分値は、前記分析結果と該当する音素の辞書データ内のフレームのデータの平均値との差分値であることを特徴とする請求項１記載の音声合成データ生成装置。
【請求項３】
前記差分値は、前記分析結果と該当する音素の辞書データ内の時間的に一致するフレームのデータとの差分値であることを特徴とする請求項１記載の音声合成データ生成装置。
【請求項４】
前記差分値を音色データとして出力する手段は、各フレームごとに算出した前記差分値を前記音色データとして出力するものであることを特徴とする請求項１〜３のいずれかに記載の音声合成データ生成装置。
【請求項５】
前記差分値を音色データとして出力する手段は、複数のフレームについて平均化した前記差分値を前記音色データとして出力するものであることを特徴とする請求項１〜３のいずれかに記載の音声合成データ生成装置。
【請求項６】
合成すべき音声の音素記号と音素の継続時間長を示すセグメント情報、ピッチ情報、音量情報及び音色データを含む音声合成データに基づいて音声を合成する音声合成装置であって、
合成音声辞書から読み出した発声する音素に対応するフレームデータを、前記ピッチ情報、前記音量情報及び前記音色データに応じて変更して出力する手段を有することを特徴とする音声合成装置。
【請求項７】
コンピュータに、
入力音声波形を分析して、音素記号と音素の継続時間長を示すセグメント情報、ピッチ情報及び音量情報を出力するステップと、
前記入力音声波形に対して、対象となる音声合成装置におけるものと同種の音色分析を行い、該分析結果と該当する音素の辞書データとの差分値を音色データとして出力するステップと、
前記セグメント情報、前記ピッチ情報、前記音量情報及び前記音色データから音声合成データを生成するステップと
を実行させることを特徴とする音声合成データ生成プログラム。
【請求項８】
コンピュータに、合成すべきの音声のセグメント情報、ピッチ情報、音量情報及び音色データを含む音声合成データに基づいて音声を合成する処理を実行させる音声合成プログラムであって、
合成音声辞書から読み出した発声する音素に対応するフレームデータを、前記ピッチ情報、前記音量情報及び前記音色データに応じて変更して出力するステップを含むことを特徴とする音声合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力音声を分析して音声合成装置へ与える音声合成データを生成する音声合成データ生成装置並びに音声合成データ生成プログラム、及び、該音声合成データ生成装置又は音声合成データ生成プログラムにより生成された音声合成データに基づいて音声合成を行う音声合成装置並びに音声合成プログラムに関する。
【背景技術】
【０００２】
図５は、一般的な音声合成システムの構成を示す図である。
図５において、５１は文字列入力部、５２は入力文字列に応じた音声合成データを生成する音声合成データ生成部、５３は音声合成データに基づいて音声を合成する音声合成部、５４は合成音声出力部である。
ここで、音声合成部５３に入力する「音声合成データ」としては、音素記号、音素の長さ（時間長）、韻律情報（ピッチ、音量の変化の情報）、声質の情報（合成音声辞書の選択、あるいは、合成方式に対応する声質パラメータ；例えば、第１フォルマントの周波数など）が一般的である。これらは、任意に入力可能で、適切な音声合成データを作成、入力することにより、自然な音声合成が可能となる。
しかし、前処理として、この音声合成データを作成するには、一般的に、文字列（日本語の場合は、かな漢字交じりの文字列。他の言語だと、例えば、英語ならばアルファベット文字列、韓国語ならばハングル文字列など。あるいは、「ピッチを上げる」などの特別な記号を付加した文字列。）を入力（「入力文字列」）し、それを装置内部で定められた規則（構文解析、記号の解析などを経て、音素の長さや、韻律データなどを生成するための規則）に従って、上記の音声合成データを生成している。
【０００３】
また、特許文献１には、楽譜から文字列と高さ、強さ及び長さデータからなる参照データを作成し、該参照データを用いて、実際の歌音声のセグメンテーションを行い、音声合成用データを生成する歌音声合成データの作成装置が記載されている。
【特許文献１】特開平３−７９９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来方法による音声合成装置への入力音声合成データ生成方法では、「規則」に従ってデータを生成するために、その規則からはずれたような発声（主に、韻律の変化や音素の長さ）の合成音声（例えば、同じ「おはよー」でも、いろいろな発声方法があり、そのことが人間らしさ、自然さ、個性を表現している。）を出力させるような「入力文字列」の生成は困難（ユーザーが自分で韻律記号＝ピッチを上げる等を付加するタイプの入力ではある程度は可能）、あるいは不可能（韻律記号の入力できないタイプのもの）であった。もちろん、直接「音声合成データ」を作成するのも、困難であることはいうまでもない。
【０００５】
実際の音声の多彩な表現を示す例として、図６及び図７を示す。両図とも、「おはよー」としゃべり方を指定せずに別の話者が発声したときの、（Ａ）音声波形、（Ｂ）ピッチ、（Ｃ）音量を示している。
このような表現の違いや声質の変化を音声合成にて再現することが求められている。
【０００６】
このような事情を鑑みて、本発明は、自然な合成音声を発声することができる音声合成データを容易に作成することができる音声合成データ生成装置並びに音声合成データ生成プログラム、及び、該音声合成データ生成装置又は音声合成データ生成プログラムで生成された音声合成データに基づいて音声を合成する音声合成装置並びに音声合成プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の音声合成データ生成装置及び音声合成データ生成プログラムは、実際の音声波形を分析して、音素記号と音素の継続時間長を示すセグメント情報、ピッチ情報及び音量情報を抽出し、また、対象となる音声合成装置の合成音声辞書と同一の分析を行って、合成音声辞書内の同じ音素のデータとの差分値を求め、それを音色データとして出力し、これらセグメント情報、ピッチ情報、音量情報及び音色データにより音声合成データを生成することを主要な特徴としている。
また、本発明の音声合成装置及び音声合成プログラムは、上記音声合成データを入力し、合成音声辞書から読み出した発声する音素に対応するフレームデータを、前記ピッチ情報、前記音量情報及び前記音色データに応じて変更して出力することを特徴としている。
【発明の効果】
【０００８】
本発明の音声合成データ生成装置又は音声合成データ生成プログラムによれば、少ないデータ量で、自然な音声合成を行うための、音素の長さ、韻律情報、さらには、声質の自然な変化のための情報を含んだ音声合成データを容易に作成することが可能となる。
また、本発明の音声合成装置又は音声合成プログラムによれば、前記音声合成データ生成装置又は音声合成データ生成プログラムにより生成された音声合成データを用いて自然な音声を合成することができる。
【発明を実施するための最良の形態】
【０００９】
図１は、本発明の音声合成データ生成装置及び該音声合成データ生成装置で生成された音声合成データに基づいて音声合成を行う音声合成装置の一実施の形態の構成を示すブロック図である。なお、これらの装置は、コンピュータにおけるプログラム処理によっても実現することができる。
図１において、１は、セグメンテーション用入力として入力される入力音素記号列である。これは、分析の対象となる音声波形２の内容に対応している記号列であり、例えば、日本語ならば、「おはよ」といったひらがなでもよいし、実際に音声合成装置内部で用いられている音素記号体系に対応する音素記号列（例えば、ＳＡＭＰＡ（Speech Assessment Methods Phonetic Alphabet ）を使ったもの。今の場合、”ohajo”など）でもよい。ただし、セグメンテーション部３がそういったセグメンテーションのための補助情報を必要としない、純粋な音声認識装置である場合においては、必ずしもこれを必要としない。
【００１０】
２は、分析の対象となる入力音声波形である。これは、録音済みの音声波形ファイルでもよいし、マイクから入力したものでもよい。
３は、入力音素記号列１及び入力音声波形２の情報をもとに、入力音声のセグメンテーションを行うセグメンテーション部である。ここから出力されるセグメント情報は、例えば、前記図６、図７に示したように、入力された音声波形において、「お」が何秒から何秒まで、「は」が何秒から何秒まで・・・という具合に、ある音素区間が時間的にどこからどこまでかを示す情報である。なお、音素記号列がＳＡＭＰＡの場合は、「お」が”o”、「は」が”ha”、「よ」が”jo”となる。ここで、セグメンテーション部３が「音声認識部」であるとすると、入力音声波形２の音声認識処理によるセグメンテーションにより、入力音素記号列１の入力なしに、同様の情報を得ることができる。
【００１１】
４は、入力された入力音声波形２から適切な方法にてピッチの検出を行うピッチ検出部である。ピッチ検出の方法は、ゼロクロス区間の測定など、どんな方法であってもよい。
この結果は、前記図６及び図７における（Ｂ）ピッチの図のように、時間軸に沿ったピッチ軌跡が情報として得られる。ここでの時間分解能は、例えば、音声合成時のフレーム周期間隔があれば十分であり、あまりピッチが変わらないようであれば、ピッチの大きく変わる部分についてのみデータを持ち、その間については音声合成器側で直線補間などをしてやれば、より少ない情報量ですむ。
【００１２】
５は、前記入力音声波形２から適切な方法にて音量の検出を行う音量検出部である。音量検出の方法としては、例えば、あるフレーム区間、例えば１０msec区間内の平均エネルギーを求めるなどの方法が用いられる。
この結果は、前記図６及び図７における（Ｃ）音量の図のように、時間軸に添った音量軌跡が情報として得られる。ここでの時間分解能は、例えば、音声合成時のフレーム周期間隔があれば十分であり、あまり音量が変わらないようであれば、音量の大きく変わる部分についてのみデータをもち、その間については音声合成器側で直線補間などをしてやれば、より少ない情報量ですむ。
【００１３】
図１の点線内は、音色情報抽出部６である。この音色情報抽出部６には、図示するように音色データ検出部７、平均音色データ抽出部９及び音色差分抽出部１０が含まれている。この音色情報抽出部６で抽出された情報を音色パラメータとして、音声合成部１２に与えてやることにより、音色の変化も再現することができる。
【００１４】
音色データ検出部７は、対象となる音声合成部１２で用いられている手法と同じ手法で音色分析を行う。
図２は、音色データ検出部７における音色分析の例を示す図である。
図２の（Ａ）は入力音声波形であり、下の点に示す時間間隔（分析フレーム周期）ごとに入力音声波形を切り出して、音色分析を行う。
図２の（Ｂ）は、ある時間における音色の分析結果の例を示している。
この図に示した分析方法では、１フレームごとに、周波数と強度の組（周波数，強度）が４セット求められている。このセットをフォルマント周波数とその強度に対応付ければ、この情報が「音色」や「音韻」の情報を表わすことが容易に想像できるであろう。この分析を全てのフレームについて行う。これらの情報が、音色の時間的な変化を含んだ情報を含んでいることはいうまでもない。なお、この４セットには順番にインデックス番号を付して以下の処理を行う。
【００１５】
８は音声合成器の合成音声辞書である。これは、音声合成の単位ごと（例えば、「お」「は」「よ」それぞれ）に前記音色データ検出部７の分析手法と同じ手法で求められた情報が収められている。
【００１６】
９は、現在のセグメント情報（前記セグメンテーション部３にて分析されている）に対応している前記合成音声辞書８（例えば、「は」の辞書）内の子音部フレーム内（例えば、”ha”のうちの”h”の部分）のデータの平均、及び、母音部フレーム内（例えば、”ha”のうちの”a”の部分）のデータの平均を求め、それぞれを平均音色データとする平均音色データ抽出部である。例えば、各フレームにおける１番目の（周波数，強度）の組の周波数の平均と強度の平均、２番目の（周波数，強度）の組の周波数の平均と強度の平均、・・・というように、平均音色データを求める。
なお、変形例として、ここでは平均音色データは求めずに、合成音声辞書８内のデータ（合成時に実際に用いられるフレームのデータ）そのままを取り出してもよい。
【００１７】
１０は、前記平均音色データ抽出部９による平均音色データと前記音色データ検出部７で時々刻々と求まる音色データとの差分を、各フレームごとに求める音色差分抽出部である。差分は、音色データと音色データが対応する音素の平均音色データ（例えば、セグメント情報結果が”h”の時間においては、”h”の平均音色データ）との差分をとる。なお、上記平均音色データ抽出部９の変形例（辞書のデータそのままを取り出す場合）においては、合成時に用いられるフレームデータとの差分を求める。
【００１８】
前記音色差分抽出部１０により抽出された差分情報（音色データ）の例を図３に示す。
図３の（Ａ）は、各（周波数，強度）の組のうちの、強度に関する差分をそれぞれのインデックス番号ごとに求めたものを図示したものであり、（Ｂ）は、同様に、周波数に関する差分を求めたものを図示したものである。
この音色データを、音声の合成時に、それぞれの時刻における合成フレームの（周波数，強度）の組に加算すると、入力音声の音色の変化が再現できることになる。新しい（周波数，強度）の組は、入力音声の音色の時間的変化を再現するものとなっている。
ここで、変形例として、時々刻々とこの音色差分データを音色データとして音声合成器に与えるのではなく、求められた音色差分データを、入力波形の時間内で全て平均をとったものを、「音色データ」として音声合成器に一度与えるようにすると、時々刻々の音色の変化は与えることができないが、その代わりに、全体的な音色が、合成辞書そのままではなく、入力した音声の音色に近いものとすることができる。
【００１９】
１１は、以上までで求められた「セグメント情報」「ピッチ情報」「音量情報」「音色データ」を、対象となる音声合成器に対応するフォーマットに合致するように変換を行う音声合成データ生成部である。
図４は、該音声合成データ生成部１１から出力される音声合成データの一例を示す図である。図４の（Ａ）には発声するためのデータ（音声発声データ：発声開始時間、発声終了時間、発声音素）、（Ｂ）にはピッチ軌跡（ピッチデータ：ピッチ変化の時間とそのピッチ）、（Ｃ）には音量軌跡（音量データ：音量変化の時間とその音量）、（Ｄ）には音色データ（音色の変化時間と、そのインデックス番号毎の変化（差分）強度及び周波数）を示し、これらを対象となる音声合成器に入力可能なフォーマットにて出力する。
【００２０】
以上の各構成要素により、本発明の音声合成データ生成装置が構成されている。なお、セグメンテーション部３、ピッチ検出部４、音量検出部５、音色情報抽出部６（音色データ検出部７、平均音色データ抽出部９及び音色差分抽出部１０）及び音声合成データ生成部１１は、コンピュータによりプログラム処理により実現することができる（音声合成データ生成プログラム）。
この音声合成データ生成装置又は音声合成データ生成プログラムにより生成された音声合成データを音声合成器に供給することにより、少ないデータ量で、高品質の音声を合成することが可能となる。
【００２１】
１２は、入力された音声合成データに従って音声合成を行う音声合成部である。この音声合成部１２にも、前記平均音色データ抽出部９に接続されていた合成音声辞書８と同一の合成音声辞書８が接続されている。すなわち、音声合成データ生成装置と音声合成装置にそれぞれ同一の合成音声辞書８が備えられている。
音声合成部１２は、入力された音声合成データに基づいて、前記合成音声辞書８から読み出したフレームデータを変更し、変更したフレームデータに基づいて音声合成を行い、合成した合成音声を出力する。具体的には、前記音声発声データに従って、発声する音素に対応するフレームデータを合成音声辞書８より読み出し、このときのピッチはピッチデータにより、また音量は音量データに従ってフレームデータを変更する。さらに、音色（差分）データをそのフレームデータに加算する手段を有している。これにより、音色の変化まで再現されることになる。
なお、加算するのは、この実施例で述べた合成手法の場合であり、対象となる音声合成手法に対応して、乗算、減算などを行うものであることはいうまでもない。また、この音声合成部１２は、コンピュータによるプログラム処理によっても実現することができる。
これにより、高品質の合成音声波形１３が得られる。
【００２２】
以上のように、本発明の音声合成データ生成装置又は音声合成データ生成プログラムによれば、入力音声波形から「音声合成データ」の直接な生成が可能であるが、これを適切な韻律記号を伴った「入力文字列」に変換すれば、従来の入力として文字列の入力のみを受け付ける合成システムにそのまま適用することも可能である。例えば、変換された入力文字列を前記図５における入力文字列５１とする。ただし、これは韻律記号の入力が可能なタイプの音声合成システムに限られる。
【００２３】
このような本発明の音声合成データ生成装置又は音声合成データ生成プログラムにより生成された音声合成データは、次のような場合などに適用することができる。
（適用例１）
上述した本発明の音声合成装置を持った携帯電話などの端末などに対して、本発明による音声合成データ生成装置又は音声合成データ生成プログラムを用いてユーザーが好みの音声合成データを作成し、送信する。このデータを受信した別のユーザーがこのデータを再生すると、いわゆる音声合成の画一的な合成音ではなく、感情のこもった自然な合成音声を端末から音声として聞くことが可能となる。ここで、重要なことは、この音声合成データのデータ量は、ＰＣＭなどの生音声データに比べて、非常に少ないデータ量であることである。
【００２４】
（適用例２）
音符データ、音素データ、ピッチベンド、音量変化のためのコントロールチェンジ、などを入力し、歌唱合成を行うシステムにおいて、しゃべりやラップといったデータを作成するのは非常に困難である。その理由は、一般の歌唱にくらべて、その音素の長さや抑揚（ピッチ、音量の変化）が激しく変化するため、自然なデータを作成するのは非常に難しいためである。そこで、このようなシステムにおいて、本発明の音声合成データ生成装置又は音声合成データ生成プログラムを使用すれば、自然な音声入力からデータを抽出できるため、容易にこのような音声合成データを作成することが可能となる。
【００２５】
また、音声合成システムに限らず、楽音のＭＩＤＩシンセサイザーシステムなどにおいて、例えば、サックスのような抑揚、音色変化に富んだ楽音の合成時に、本発明の音声合成データ生成装置を用いて、ピッチ、音量、音色の変化を入力の演奏から抽出し、そのシーケンスデータ（プログラムナンバー：音色のもとになる音色番号、音色パラメータを表す例えばエクスクルーシブデータ、ノートナンバー、音量コントロールのコントロールチェンジ値、ピッチベンド値など）をシンセサイザーに与えてやれば、リアルな合成音を得ることができる。なお、この場合、音素セグメント部は必要ではなくなるが、音符の区切りの検出は行ったほうがよい。
さらにまた、音声に限らず、情報量を多く含んだ表情豊かな楽音の合成を行なう場合、その合成システム（例えば、フォルマント音源）への入力データの作成は人手では困難になる。このデータ作成を補助するために、本発明の音声合成データ生成装置を用いれば、このようなデータの作成は容易となる。ただし、そのもとになる基準となる演奏が必要となる。これは、ＣＧでいえば、モーションキャプチャに相当するものということができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の音声合成データ生成装置及び該音声合成データ生成装置で生成された音声合成データに基づいて音声合成を行う音声合成装置の一実施の形態の構成を示すブロック図である。
【図２】音色データ検出部７における音色分析の例を示す図である。
【図３】前記音色差分抽出部１０により抽出された差分情報の例を示す図であり、（Ａ）は強度に関する差分、（Ｂ）は周波数に関する差分の例を示す図である。
【図４】音声合成データ生成部１１から出力される音声合成データの一例を示す図である。
【図５】一般的な音声合成システムの構成を示す図である。
【図６】「おはよー」と発音したときの（Ａ）音声波形、（Ｂ）ピッチ、（Ｃ）音量の例を示す図である。
【図７】図６とは異なる話者が「おはよー」と発音したときの（Ａ）音声波形、（Ｂ）ピッチ、（Ｃ）音量の例を示す図である。
【符号の説明】
【００２７】
１：入力音素記号列、２：入力音声波形、３：セグメンテーション部、４：ピッチ検出部、５：音量検出部、６：音色情報抽出部、７：音色データ検出部、８：合成音声辞書、９：平均音色データ抽出部、１０：音色差分抽出部、１１：音声合成データ生成部、１２：音声合成部、１３：合成音声波形
【図１】
2006030609.tif 000003
【図２】
2006030609.tif 000004
【図３】
2006030609.tif 000005
【図４】
2006030609.tif 000006
【図５】
2006030609.tif 000007
【図６】
2006030609.tif 000008
【図７】
2006030609.tif 000009