(57)【要約】【課題】違和感が軽減された高品質な合成音声を作成することのできる音声合成装置を提供する。【解決手段】可変部用音声合成部５は、可変部テキスト１０に対応する音片データを可変部用音声記憶部２から取得して可変部音声を合成する。韻律規則生成部７は可変部テキスト１０または定型部テキスト２０から規則ピッチを生成する。定型部音声合成部６は、定型部テキスト２０に対応する句音声データを句音声記憶部３から取得し、可変部音声の韻律と滑らかに接続するように、句音声データのピッチを規則ピッチに近づけるように変形して定型部音声を合成する。音声接続部８は、可変部音声と定型部音声とを接続して合成音声９を出力する。【選択図】図１
2009282236.tif 000002
【特許請求の範囲】
【請求項１】
可変部テキストと定型部テキストから構成されたテキストに対して、前記可変部テキストに対応した可変部用音声を用いて音声を合成する可変部音声合成部と、
前記定型部テキストに対応した句音声を用いて、前記句音声の韻律情報を変形して音声を合成する定型部音声合成部と、
前記可変部音声合成部で合成した音声と前記定型部音声合成部で合成した音声とを接続する音声接続部とを備えた音声合成装置。
【請求項２】
可変部テキストと定型部テキストと句韻律テキストから構成されたテキストに対して、前記句韻律テキストに対応した可変部用音声を用いて、前記可変部用音声の韻律情報を前記句韻律テキストに対応した句音声の韻律情報に近づけるよう変形して音声を合成する第２の定型部音声合成部を備え、
音声接続部は、可変部音声合成部で合成した音声と、定型部音声合成部で合成した音声と、前記第２の定型部音声合成部で合成した音声とを接続することを特徴とする請求項１記載の音声合成装置。
【請求項３】
規則合成した音片である可変部用音声を格納する可変部用音声記憶部と、
録音音声の連続音片からなる句音声を格納する句音声記憶部とを備え、
前記句音声記憶部は、前記可変部用音声記憶部が格納する前記可変部用音声と同形式で前記句音声を格納することを特徴とする請求項１または請求項２記載の音声合成装置。
【請求項４】
句音声記憶部の状態に応じて、定型部テキストを可変部テキストに切り替える切り替え部を備えたことを特徴とする請求項３記載の音声合成装置。
【請求項５】
複数の定型部テキストから構成されたテキストに対して、
前記定型部テキストに対応した句音声を用いて、前記句音声の韻律情報を変形して音声を合成する定型部音声合成部と、
前記定型部音声合成部で合成した複数の音声を接続する音声接続部とを備えた音声合成装置。
【請求項６】
定型部音声合成部は、句音声の韻律情報であるピッチ、音韻時間長、パワーのうち、少なくとも１つを変形することを特徴とする請求項１から請求項５のうちのいずれか１項記載の音声合成装置。
【請求項７】
テキストから規則韻律情報を生成する韻律規則生成部を備え、
定型部音声合成部は、定型部テキストに対応した句音声の韻律情報を前記韻律規則生成部で生成した前記規則韻律情報に近づけるよう変形することを特徴とする請求項１から請求項６のうちのいずれか１項記載の音声合成装置。
【請求項８】
句音声は、ＰＳＯＬＡ形式であることを特徴とする請求項１から請求項７のうちのいずれか１記載の音声合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、テキストに基づいて音声合成を行う音声合成装置に関するものである。
【背景技術】
【０００２】
テキストに基づいた合成音声を生成する音声合成装置において、音声合成するテキストがある程度の規則性を有する等により限定されている場合には、規則音声合成方式と録音音声再生方式を組み合わせたハイブリッド方式が採用されている。ハイブリッド方式の音声合成装置は、先ずテキストを定型部テキストと可変部テキストとに分割する。次いで、音声合成装置は定型部テキストについては録音音声再生方式により予め録音してある音声を用いて定型部音声を作成し、可変部テキストについては規則音声合成方式により可変部用の合成音声を作成する。作成した定型部音声と可変部音声とを接続すれば、テキストに対応した合成音声となる。
【０００３】
しかしながら、可変部テキストと定型部テキストとで異なる方法により合成音声を作成していることから、可変部と定型部の音声の境界における韻律が滑らかで自然となるように、韻律を調整する必要がある。調整しない場合、音声の境界において韻律が不自然になるという問題があった。
【０００４】
このような問題を解決するために、例えば特許文献１では、可変部音声の韻律を適切に調整して定型部音声に滑らかに接続させると共に、定型部音声信号の物理特性に基づいて可変部音声信号の物理特性を調整する音声合成装置が開示されている。
【０００５】
また、例えば特許文献２では、テキストから分割した可変部テキストの範囲を、接続する定型部音声の韻律に合う位置まで拡張することにより、可変部音声の韻律を定型部音声の韻律に合わせて規則合成する音声合成装置が開示されている。
【０００６】
【特許文献１】特開平１１−１２６０８７号公報
【特許文献２】特開２００７−２１２８８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の音声合成装置は以上のように構成されているので、特許文献１に開示されているように、可変部音声の韻律を調整した場合であっても、定型部音声の韻律のパターンによっては境界付近の韻律の不自然さが解消できず、違和感のある合成音声となってしまうという課題があった。
さらに、定型部音声と韻律上滑らかに接続するように、可変部音声信号の物理特性を調整した場合であっても、定型部音声の韻律は可変部テキストに依存して可変部テキスト毎に大きく異なる。そのため、全ての定型部テキストに対して韻律上滑らかに接続するように可変部音声信号の物理特性を調整することができず、違和感のある合成音声となってしまうという課題があった。
【０００８】
また、特許文献２に開示されているように、可変部テキストの範囲を拡張し、この部分を規則音声合成した場合であっても、範囲拡張に伴って規則音声合成する範囲も拡大し、低品質の合成音声の範囲が拡大するという課題があった。
【０００９】
また、従来のハイブリッド方式では、録音音声再生方式による合成音声の品質と規則音声合成方式による合成音声の品質の差が大きいため、これらを接続すると違和感のある合成音声となってしまうという課題があった。
さらに、従来の録音音声再生方式によって合成音声を作成する場合は、各テキストに対応する波形データを記憶しておく必要があるので、記憶装置の規模が大きくなるという課題があった。
【００１０】
この発明は、上記のような課題を解決するためになされたもので、定型部テキストおよび可変部テキストの各組み合わせに応じて、可変部音声の韻律と滑らかに接続するように定型部テキストの音声の韻律を変形することで、違和感が軽減された高品質な合成音声を作成することのできる音声合成装置を提供することを目的とする。
【００１１】
また、この発明は定型部テキストに対応する句韻律に基づいて韻律を調整した可変部用音声を用いることで、録音再生方式による合成音声と規則合成方式による合成音声の中間の品質の音声を作成することで、違和感が軽減された合成音声を作成するできる音声合成装置を提供することを目的とする。
【００１２】
また、この発明は定型部テキストに対応する句韻律に基づいて韻律を調整した可変部用音声を合成することで、大規模な記憶装置を必要とせず、小規模な記憶装置を用いて合成音声の品質を向上させた音声合成装置を提供することを目的とする。
【００１３】
また、この発明は定型部テキストに対応する句音声を記憶した記憶装置の状態に応じて、音声合成する方式を変更することにより、記憶装置が故障等により動作しない場合でも合成音声を作成できる音声合成装置を提供することを目的とする。
【００１４】
また、この発明は可変部テキスト用の波形データと定型部テキスト用の波形データとを同形式で記憶しておき、定型部テキスト用の波形データを使用することが可能な可変部テキストについては、可変部テキスト用の波形データにかえて定型部テキスト用の波形データを用いて音声合成することにより、高品質な合成音声を作成することのできる音声合成装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
この発明に係る音声合成装置は、可変部テキストと定型部テキストから構成されたテキストに対して、可変部テキストに対応した可変部用音声を用いて音声を合成する可変部音声合成部と、定型部テキストに対応した句音声を用いて、句音声の韻律情報を変形して音声を合成する定型部音声合成部と、可変部音声合成部で合成した音声と定型部音声合成部で合成した音声とを接続する音声接続部を備えるようにしたものである。
【発明の効果】
【００１６】
この発明によれば、可変部テキストと定型部テキストから構成されたテキストに対して、可変部テキストに対応した可変部用音声を用いて音声を合成すると共に、定型部テキストに対応した句音声を用いて、句音声の韻律情報を変形して音声を合成し、合成した各音声を接続するようにしたので、違和感が軽減された高品質な合成音声を作成することができる。
【発明を実施するための最良の形態】
【００１７】
実施の形態１．
図１は、この発明の実施の形態１に係る音声合成装置の全体構成を示すブロック図である。図１に示す音声合成装置１は、入力された可変部テキスト１０および定型部テキスト２０に対応した合成音声９を作成する。この音声合成装置１は、可変部テキスト用の音片データ（可変部用音声）を記憶した可変部用音声記憶部２、定型部テキスト用の句音声データ（句音声）を記憶した句音声記憶部３を有し、句音声記憶部３の状態に応じて定型部テキスト２０を可変部テキスト１０として処理するよう切り替えを行う切り替え部４、可変部用音声記憶部２を参照して規則合成音声方式で可変部テキスト１０に対応する音声を作成する可変部音声合成部５、入力したテキストから韻律情報を生成する韻律規則生成部７、句音声記憶部３を参照して定型部テキスト２０に対応する音声を作成する定型部音声合成部６、可変部音声合成部５および定型部音声合成部６で作成した各音声を接続して合成音声９を作成する音声接続部８を備える。
【００１８】
図２は、この発明の実施の形態１に係る音声合成装置に入力するテキストの１例を示す説明図である。ここでは「近くの動物園を検索します。」というテキストを音声合成装置に入力する例を用いて各部を説明する。音声合成装置に入力するテキストは、各音片データに割り振られた音片識別番号である音片ＩＤを有し、この音片ＩＤには可変部用音片ＩＤ１１および定型部用音片ＩＤ２１がある。
【００１９】
例えば、テキスト「近くの」に対応する可変部用音片ＩＤは、「１０５，１０８，…，１２５」であり、定型部用音片ＩＤは「２０５，２０３，…，２０２」である。また、テキスト「動物園」に対応する定型部用音片ＩＤは存在しない。定型部用音片ＩＤが存在するテキストは定型部テキストとして用いられる。一方、定型部用音片ＩＤが存在しないテキストは可変部テキストとして用いられる。
【００２０】
可変部用音片ＩＤ１１および定型部用音片ＩＤ２１は、例えばテキストを言語解析処理および韻律生成処理して得られた音韻・韻律情報（音韻記号、ピッチ、音韻時間長、パワー）等をもとにして、機械的に決定すればよい。または、テキストに手動で適切な値を設定してもよい。
【００２１】
図１に示す可変部用音声記憶部２は、可変部用音片ＩＤが割り振られた可変部用音片データをＰＳＯＬＡ（Ｐｉｔｃｈ−Ｓｙｎｃｈｒｏｎｏｕｓ  Ｏｖｅｒｌａｐ  ａｎｄ  Ａｄｄ）形式で記憶している。図３は、この発明の実施の形態１に係る音声合成装置の可変部用音声記憶部が記憶する音片データを示す説明図である。図３において図２と同一または相当の部分については同一の符号を付し説明を省略する。可変部用音片データは、可変部用音片ＩＤ１１、ピッチマーク情報１２、波形情報１３等からなる。可変部用音片ＩＤ１１は各波形データに対応して割り振られた識別番号を表し、ピッチマーク情報１２は波形データに付与されているピッチマークの時刻を示す。波形データは、ＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）で記録された音声データである。この例では、「波形データ２」に可変部用音片ＩＤ１１「１０２」が割り振られ、そのピッチマークの時刻が「２２，４２，…，６３」であることを示している。
【００２２】
句音声記憶部３は、定型部用音片ＩＤが割り振られた定型部用音片データを、可変部用音声記憶部２同様にＰＳＯＬＡ形式で記憶している。図４は、この発明の実施の形態１に係る音声合成装置の句音声記憶部が記憶する音片データを示す説明図である。図４において図２と同一または相当の部分については同一の符号を付し説明を省略する。定型部用音片データは、定型部用音片ＩＤ２１、ピッチマーク情報２２、波形情報２３等からなり、波形データはＰＣＭで記録された音声データである。この例では、「波形データ２」は定型部用音片ＩＤ２１「２０２」が割り振られ、そのピッチマークの時刻が「１２０，１３５，…，１５５」であることを示している。
【００２３】
図４に示す各定型部用音片ＩＤ２１に応じた波形データは、ナレータ等が発声した音声の連続した箇所の音声データ、即ち句音声データを指す。その連続した箇所の範囲は、複数の音節、文節、句、文等である。
【００２４】
これら可変部用音声記憶部２および句音声記憶部３は、ハードディスクドライブ、メモリ等の記憶装置を用いて実現する。
【００２５】
切り替え部４は句音声記憶部３を監視して、句音声記憶部３を構成する記憶装置が故障している状態、またはこの記憶装置を共有する他のプログラムからアクセスがあり、記憶装置にアクセスできない状態の場合に、定型部テキスト２０に付与されている定型部用音片ＩＤを消去する。即ち、切り替え部４が句音声記憶部３の状態に応じて、定型部テキスト２０から可変部テキスト１０へ、テキストの種類を切り替える。
【００２６】
可変部音声合成部５は、定型部用音片ＩＤの存在しないテキストを可変部テキスト１０とみなして規則合成を行う。可変部音声合成部５は、可変部テキスト１０が有する可変部用音片ＩＤに応じたＰＳＯＬＡ形式の音片データを可変部用音声記憶部２から取得して、可変部テキスト１０に対応した合成音声を生成する。この規則合成は既知の技術を用いればよく、例えばＦ．Ｊ．Ｃｈａｒｐｅｎｔｉｅｒ  ａｎｄ  Ｍ．Ｇ．Ｓｔｅｌｌａ，“Ｄｉｐｈｏｎｅ  ｓｙｎｔｈｅｓｉｓ  ｕｓｉｎｇ  ａｎ  ｏｖｅｒｌａｐ−ａｄｄ  ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ｓｐｅｅｃｈ  ｗａｖｅｆｏｒｍｓ  ｃｏｎｃａｔｅｎａｔｉｏｎ”（ＩＣＡＳＳＰ  ８６，  ｐｐ．２０１５〜２０１８，Ｔｏｋｙｏ，１９８６）にＰＳＯＬＡ形式の音片データを用いた規則合成音声方式が開示されている。
【００２７】
韻律規則生成部７は、入力されたテキストを参照して、ピッチ、音韻時間長、パワー等の韻律情報（規則韻律情報）を生成する。本実施の形態では韻律規則生成部７が入力されたテキストを参照して、定型部テキストまたは可変部テキストの韻律情報を規則ピッチとして生成する例を用いて説明する。韻律規則生成部７は、入力されたテキストを形態素解析して得られた、読みまたは文節の区切り、あるいは文節のアクセント等の情報に基づいて、規則ピッチを生成する。例えば、予めこれらの情報に対応する、ピッチの時間軌跡をそれぞれ生成しておき、規則ピッチの生成時に情報がマッチするピッチの時間軌跡をもって、規則ピッチとする方法がある。
【００２８】
定型部音声合成部６は、定型部用音片ＩＤが存在するテキストを定型部テキスト２０とみなして、定型部テキスト２０が有する定型部用音片ＩＤに応じたＰＳＯＬＡ形式の音片データを句音声記憶部３から取得する。定型部音声合成部６が韻律規則生成部７で生成された定型部テキスト２０に対応した規則ピッチの値に近づくように、句音声を構成する音片の波形データのピッチを変更して、合成音声を生成する。
【００２９】
例えば、図２に示す定型部テキスト「近くの」に対応する句音声を構成する音片の波形データのピッチを変形する場合、定型部音声合成部６は、先ず定型部用音片ＩＤ「２０３，２０５，…，２０２」のピッチマーク情報を句音声記憶部３からそれぞれ取得する。定型部用音片ＩＤ「２０３」に対応するピッチマーク情報は「４８，５６，…，７３」であり、「２０５」に対応するピッチマーク情報は「１２，２２，…，４３」であり、「２０２」に対応するピッチマーク情報は「１２０，１３５，…，１５５」である。
ピッチマーク間での差分値（隣の値との差）が、定型部テキスト「近くの」に対応する句音声を構成する音片の波形データのピッチとなる。この句音声のピッチの平均値と、韻律規則生成部７で生成した規則ピッチの平均値とが一致するように、例えば句音声のピッチに一定値を加えて規則ピッチに近づける。
【００３０】
また、例えば、可変部テキスト１０の規則ピッチと連続するを構成する音片の波形データのピッチを変更してもよい。図５は、この発明の実施の形態ように、定型部用の句音声１に係る音声合成装置が生成した合成音声の例を示すグラフである。図５（ａ）は、可変部テキスト「コンビニ」に対応した規則ピッチ１４および定型部テキスト「まで案内します。」に対応した音声のピッチ２４を示す。また、図５（ｂ）は、可変部テキストを「コンビニ」から「動物園」に置き換えた場合に、可変部テキスト「動物園」の規則ピッチ１５に応じて定型部テキスト「まで案内します。」のピッチ２４をピッチ２５に変形したものである。
【００３１】
図５において、発声「コンビニまで案内します。」から作成したピッチ１４，２４を用いて、「動物園まで案内します。」の合成音声を作成する場合は、可変部「動物園」の規則ピッチ１５と連続するように定型部の句音声のピッチ２４を低くしてピッチ２５に変形する。
このように、可変部テキストの内容によって、定型部テキストに対応する句音声のピッチは大きく異なる。しかしながら、特許文献１に開示された音声合成装置では、図５（ｂ）に示すテキストの場合に可変部テキストに対応する音声のピッチを変形すると、ピッチが低くなりすぎ、テキスト全体に最適となるように調整することができない。従って、可変部合成音声と定型部合成音声とを滑らかに接続させることができない。
【００３２】
定型部音声合成部６は句音声を構成する音片の波形データのピッチを規則ピッチに近づけるように変更して、定型部テキストに対応した合成音声を生成する。波形データのピッチの変更は、既知の技術であるＰＳＯＬＡ方式等を用いて行えばよい。
【００３３】
音声接続部８は、可変部音声合成部５で生成した合成音声と定型部音声合成部６で生成した合成音声とを接続して、定型部テキスト２０および可変部テキスト１０からなるテキスト全体に対応した合成音声を作成する。
【００３４】
次に、音声合成装置１の動作を説明する。図６は、この発明の実施の形態１に係る音声合成装置の動作を示すフローチャートである。ここでは、テキスト「近くの動物園を検索します。」に対応する合成音声を生成する場合を例にとって説明する。また、図１に示す音声合成装置１に入力される上記テキストは、図２に示す各音片ＩＤを有する。
ステップＳＴ１において、句音声記憶部３の状態に応じて、切り替え部４が定型部テキスト２０を可変部テキスト１０に切り替える。
【００３５】
ステップＳＴ２において、可変部音声合成部５が、定型部用音片ＩＤ２１を有さないテキスト「動物園」を可変部テキスト１０とみなして、可変部用音声記憶部２の可変部用音片ＩＤに対応する波形データを用いて規則合成を行い、合成音声を生成する。
この規則合成は、形態素解析、韻律規則生成、波形データのピッチの変形の３処理からなり、各処理は既知の技術を用いて行えばよい。可変部音声記憶部２では、句音声記憶部３と同形式（ＰＳＯＬＡ形式等）で波形データを格納する。次いで、可変部音声合成部５が、後述する定型部用の句音声に対するピッチ変形と同じ処理で、波形データのピッチの変形を行う。
【００３６】
ステップＳＴ３において、韻律規則生成部７は定型部用音片ＩＤが設定されている各定型部テキスト「近くの」および「を検索します。」からそれぞれ規則ピッチを作成する。続くステップＳＴ４において、定型部音声合成部６は句音声記憶部３の定型部用音片ＩＤに対応する波形データを用いて「近くの」および「を検索します。」に対応する句音声をそれぞれ作成し、これらの波形データのピッチを変形してそれぞれの規則ピッチに近づける。
【００３７】
ステップＳＴ５において、定型部音声合成部６がＰＳＯＬＡ方式等により、ステップＳＴ４で変形したピッチに従って「近くの」および「を検索します。」の句音声のピッチを変更した合成音声を生成する。最後に、ステップＳＴ６において音声接続部８が「近くの」、「動物園」および「を検索します。」に対応する各合成音声を接続して、テキスト「近くの動物園を検索します。」に対応する合成音声を生成する。
【００３８】
なお、可変部テキスト１０および定型部テキスト２０は、図２に示すようにテキストを漢字仮名交じりの文としたが、音韻情報（カタカナによる読み）に韻律情報（アクセント「’」等）を付与した中間言語の文（例えば「チ’カクノ  ドーブツ’エン  オ／ケンサクシマ’ス．」）にしてもよく、韻律規則生成部７が中間言語のテキストから韻律情報を生成してもよい。
また、可変部テキスト１０において、可変部用音声記憶部２の可変部用音片データにかえて句音声記憶部３の定型部用音片データを利用する方が好ましい場合には、可変部用音片ＩＤとして定型部用音片ＩＤを設定してもよい。即ち、図２に示す各テキストの可変部用音片ＩＤ１１の欄に図４に示す２００番代の定型部用音片ＩＤを設定する。
また、可変部テキスト１０および定型部テキスト２０は、図２に示すテキスト、可変部用音片ＩＤ１１および定型部用音片ＩＤ２１からなるデータ構造にしたが、これに限定されるものではない。例えば、可変部用音片ＩＤ１１および定型部用音片ＩＤ２１を別々に設けず、音片ＩＤおよびその音片ＩＤが可変部または定型部のどちらかを示す選択フラグからなるデータ構造であってもよい。
【００３９】
また、図４に示す定型部用音片データについて、各定型部用音片ＩＤに応じた波形データは、ナレータ等が発声した音声の連続した箇所の音声データとしたが、規則合成音声方式で作成した音声の連続した箇所の音声データであってもよい。この構成とする場合、本実施の形態の音声合成装置を実装する際にハードウエアの性能に制限があれば、予めハードウエアの制限を受けないところで、大規模音声コーパス等を用いた規則合成音声方式で定型部用の句音声データを作成してもよい。
【００４０】
また、可変部用音声記憶部２および句音声記憶部３は、ＰＳＯＬＡ形式の可変部用音片データを記憶するように構成したが、他の形式（ＬＳＰパラメータ；Ｌｉｎｅ  Ｓｐｅｃｔｒｕｍ  Ｐａｉｒ、フォルマントパラメータ等）で記憶するように構成してもよい。
また、可変部用音声記録部２および句音声記憶部３は、図４に示す波形情報にＰＣＭで記録した音声データを用いる構成としたが、ＡＤＰＣＭ（Ａｄａｐｔｉｖｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）、ＣＥＬＰ（Ｃｏｄｅ  Ｅｘｃｉｔｅｄ  Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ）等により符号化した符号化データを用いる構成であってもよい。この構成の場合には、可変部音声合成部５および定型部音声合成部６によりＰＳＯＬＡ合成を行う前に復号化処理を行う。
【００４１】
また、定型部音声合成部６は、定型部テキスト２０に対応する句音声のピッチを変形する構成としたが、ピッチ、音韻時間長、パワー等の韻律情報全て、またはその一部を変更する構成であってもよい。なお、音韻時間長は波形データの長さを算出して求めればよく、パワーは波形データのパワーを算出して求めればよい。
また、この音韻時間長またはパワーを予め算出して句音声記憶部３に格納しておき、韻律規則生成部７で生成したピッチとあわせて定型部音声合成部６が定型部テキストに対応する句音声の韻律情報の変更に使用する構成であってもよい。
【００４２】
以上のように、実施の形態１によれば、可変部テキスト１０と定型部テキスト２０から構成されたテキストに対して、可変部用音声記憶部２が格納する可変部用音声を用いて可変部テキスト１０に対応した音声を合成する可変部音声合成部５と、句音声記憶部３が格納する句音声を用いて、定型部テキスト２０に対応した句音声の韻律情報を変更して音声を合成する定型部音声合成部６と、可変部音声合成部５で合成した音声と定型部音声合成部６で合成した音声とを接続した合成音声９を生成する音声接続部８を備えるように構成した。そのため、韻律の自然性が改善し、自然性の高い合成音声を作成できる効果がある。
【００４３】
また、実施の形態１によれば、規則合成した音片の波形データである可変部用音声を格納する可変部用音声記憶部２と、録音音声の連続音片の波形データからなる句音声を格納する句音声記憶部３とを備え、句音声記憶部３は、可変部用音声記憶部２が格納する可変部用音声と同形式の句音声を格納するように構成した。そのため、定型部合成音声の韻律の処理を波形データのピッチの変形処理と同じ処理方法で行うことができるので、小規模な装置で自然性の高い合成音声を作成できる効果がある。
【００４４】
また、実施の形態１によれば、定型部音声合成部６が用いる句音声をＰＳＯＬＡ形式にするように構成した。そのため、定型部テキスト用の句音声の韻律の加工が容易で、処理量が少なく、簡易に自然性の高い合成音声を生成することができる効果がある。
【００４５】
また、実施の形態１によれば、句音声記憶部３の状態に応じて、定型部テキスト２０を可変部テキスト１０に切り替える切り替え部４を備えるように構成した。そのため、句音声記憶部３を構成する記憶装置が故障等により動作しなくなった場合でも合成音声を作成することができる効果がある。
【００４６】
また、実施の形態１によれば、テキストから規則韻律情報を生成する韻律規則生成部７を備え、定型部音声合成部６は、定型部テキスト１０に対応した句音声の韻律情報を韻律規則生成部７で生成した韻律情報に近づけるよう変形するように構成した。そのため、韻律の自然性が改善し、自然性の高い合成音声を作成できる効果がある。
【００４７】
また、実施の形態１によれば、句音声記憶部３と可変部用音声記憶部２とが同形式の波形データを格納するように構成したので、可変部用音声より定型部用の句音声を使用した方が好ましい場合に、可変部音声合成部５が定型部用の句音声を用いて可変部用合成音声を生成することができ、音質の高い合成音声を作成できる効果がある。
【００４８】
また、実施の形態１によれば、定型部音声合成部６は、句音声の韻律情報であるピッチ、音韻時間長、パワーのうち、少なくとも１つを変形するように構成した。そのため、定型部音声合成部６が句音声のピッチ、音韻時間長、パワーの全てまたは一部を変形して、定型部テキスト２０に対応した合成音声を生成することにより、韻律の自然性が改善し、自然性の高い合成音声を作成できる効果がある。
【００４９】
実施の形態２．
図７は、この発明の実施の形態２に係る音声合成装置の全体構成を示すブロック図である。図７に示す音声合成装置３０は、上記実施の形態１と同様に、入力された可変部テキスト１０および定型部テキスト２０に対応した合成音声９を作成する。この音声合成装置３０は、上記実施の形態１の定型部音声合成部６にかえて第１の定型部音声合成部３１および第２の定型部音声合成部３２、韻律規則生成部７にかえて韻律規則生成部３３を備え、さらに句韻律記憶部３４を有する。その他の図７において図１と同一または相当の部分については同一の符号を付し説明を省略する。
【００５０】
なお、図７に示す第１の定型部音声合成部３１は、上記実施の形態１の定型部音声合成部６と同様の動作を行うが、説明上、第２の定型部音声合成部３２と区別するために別の名称とした。
【００５１】
図８は、この発明の実施の形態２に係る音声合成装置に入力するテキストの１例を示す説明図である。図８において図２と同一または相当の部分については同一の符号を付し説明を省略する。テキストは可変部用音片ＩＤ１１および定型部用音片ＩＤ２１に加えて、句韻律ＩＤ４１を有する。この句韻律ＩＤ４１は、第２の定型部音声合成部３２が定型部合成音声を作成する際に参照する句韻律データの識別番号を示す。図８に示すテキストでは、テキスト「を検索します。」に対応する句韻律ＩＤは「３０２」であり、その他のテキスト「近くの」および「動物園」には句韻律ＩＤが存在しない。
【００５２】
図７に示す句韻律記憶部３４は、句音声記憶部３に格納されている句音声から抽出した句韻律を格納する。または、音声収録し得た定型部テキストに対応する句音声を音声合成装置１が備えていれば、その音声収録した句音声から抽出した句韻律を使用してもよい。句音声記憶部３に基づく句韻律に比べ、収録音声に基づく句韻律を用いて生成した合成音声の方が音質がよい。
ここで、図９はこの発明の実施の形態２に係る音声合成装置の句韻律記憶部が記憶する句韻律データを示す説明図である。句韻律データは、句韻律ＩＤ４１、ピッチマーク情報４２、音韻時間長情報４３からなる。句韻律ＩＤ４１は、各音韻時間長情報４３に対応して割り振られた識別番号を表し、ピッチマーク情報は句音声記憶部３に格納されている句音声から抽出したピッチマークを表す。また、音韻時間長情報４３は句音声記憶部３に格納されている句音声から抽出した音韻時間長を表す。
例えば、テキスト「を検索します。」の句韻律ＩＤは「３０２」であり、句韻律記憶部３４に格納された句韻律ＩＤ「３０２」に対応する句韻律データのピッチマーク情報４２は「１２，３２，…，５３」であり、音韻時間長情報４３は「２４，３６，…，１４」である。
【００５３】
第２の定型部音声合成部３２は、第２の定型部音声合成部３２は句韻律ＩＤが付与されたテキスト（句韻律テキスト）を処理対象とする。韻律規則生成部３３で生成した韻律と、句韻律記憶部３４に格納された句韻律と、可変部用音声記録部２に記憶されている音片データとを用いて、第２の定型部音声合成部３２が合成音声を生成する。
【００５４】
韻律規則生成部３３は、テキストから生成した規則ピッチを、第１の定型部音声合成部３１に加えて、第２の定型部音声合成部３２へ出力する。
【００５５】
次に、音声合成装置３０の動作を説明する。図１０は、この発明の実施の形態２に係る音声合成装置の動作を示すフローチャートである。
ここでは、テキスト「近くの動物園を検索します。」に対応する合成音声を生成する場合を例にとって説明する。「動物園」は他の単語に置き換えることを想定した可変部用テキスト１０であり、「近くの」および「を検索します。」は置き換えを想定していない定型部テキスト２０である。また、このテキストは図８に示す各音片ＩＤおよび句韻律ＩＤを有し、「近くの」は可変部用音片ＩＤおよび定型部用音片ＩＤを有し、「動物園」は可変部用音片ＩＤを有する。
また、「を検索します。」は句韻律ＩＤを有する。この「を検索します。」のような、予め定まった文句（句単位等）を収録して得た音声の情報（韻律、波形データ）を用いて音声合成するテキストは、定型部テキスト２０として扱われる。
【００５６】
定型部テキストの合成音声は、波形データを必要とするためにデータ量が大きくなる。他方、句韻律の合成音声は、波形データを必要としないのでデータ量が小さい。記憶装置の規模等のハードウエア実装上の制約がなければ句音声の波形データを用いて定型部音声を合成すればよいが、制約がある場合には必要に応じてデータ量の小さい句韻律を用いて音声を合成する。例えば、音声合成装置３０が適用されるアプリケーションにおいて最も重要なテキストは句音声を用いた定型部合成音声とし、次に重要なテキストは句韻律を用いた合成音声とする。
【００５７】
図１０に示すステップＳＴ１１〜ステップＳＴ１５の各ステップは、上記実施の形態１の図６に示すステップＳＴ１〜ステップＳＴ５の各ステップと同様の動作を行う。ステップＳＴ１２において、可変部音声合成部５が可変部テキスト「動物園」に対応する合成音声を生成し、ステップＳＴ１５において、第１の定型部音声合成部３１が定型部テキスト「近くの」に対応する合成音声を、ピッチを変更して生成する。
【００５８】
ステップＳＴ１６において、第２の定型部音声合成部３２が句韻律のピッチを変形する。第２の定型部音声合成部３２は、例えば図８に示すテキストのうちの句韻律ＩＤを有するテキスト（句韻律テキスト）を処理対象とする。先ず、第２の定型部音声合成部３２がテキスト「を検索します。」の有する句韻律ＩＤ「３０２」に対応したピッチマーク情報を句韻律記憶部３４から取得する。そして、第２の定型部音声合成部３２はピッチマーク情報を用いて句韻律のピッチを算出する。ピッチマークを用いて句韻律のピッチを算出する方法は、上記実施の形態１の定型部音声合成部６がピッチマーク情報を用いて句音声のピッチを算出する方法と同様である。
第２の定型部音声合成部３２は、続いて、句韻律のピッチをステップＳＴ１３において韻律規則生成部３３が生成したテキスト「を検索します。」の規則ピッチの値に近づくように変更する。例えば句韻律のピッチの平均値と、韻律規則生成部３３で生成した規則ピッチの平均値とが一致するように、第２の定型部音声合成部３２が句韻律のピッチに一定値を加えて規則ピッチに近づける。
【００５９】
ステップＳＴ１７において、第２の定型部音声合成部３２は、可変部用音声記憶部２を参照してテキスト「を検索します。」の可変部用音片ＩＤに応じた波形データを取得する。そして、ステップＳＴ１６で変形した句韻律のピッチに従ってこの波形データのピッチを変更して音色を変更した合成音声を生成する。波形データのピッチの変更は、既知の技術であるＰＳＯＬＡ方式等を用いて行えばよい。
【００６０】
最後に、ステップＳＴ１８において、音声接続部８が可変部音声合成部５、第１の定型部音声合成部３１、第２の定型部音声合成部３２で生成した各合成音声を接続して、テキスト全体に対応した合成音声を作成する。
【００６１】
なお、音声合成装置３０は、第１の定型部音声合成部３１による句音声のピッチの変形、および第２の定型部音声合成部３２による句韻律のピッチの変形を省略した構成であってもよい。
【００６２】
以上のように、実施の形態２によれば、可変部用音片ＩＤが付与された可変部テキスト１０と、定型部用音片ＩＤが付与された定型部テキスト２０と、句韻律ＩＤが付与された定型部テキスト２０から構成されたテキストに対して、可変部テキスト１０に対応した可変部用音声を用いて音声を合成する可変部音声合成部５と、定型部テキスト２０に対応した句音声を用いて、句音声の韻律情報を変形して音声を合成する第１の定型部音声合成部３１と、句韻律ＩＤが付与された定型部テキスト２０に対応した可変部用音声を用いて、可変部用音声の韻律情報を句韻律ＩＤが付与された定型部テキスト２０に対応した句音声の韻律情報に近づけるよう変形して音声を合成する第２の定型部音声合成部３２と、可変部音声合成部５で合成した音声と、第１の定型部音声合成部３１で合成した音声と、第２の定型部音声合成部３２で合成した音声とを接続して合成音声９を生成する音声接続部８を備えるように構成した。そのため、音色の違和感を軽減した合成音声を作成できる効果がある。また、大規模な記憶装置を必要とせず、小規模な記憶装置を用いて合成音声の品質を向上させることができる効果がある。
【００６３】
実施の形態３．
図１１は、この発明の実施の形態３に係る音声合成装置の全体構成を示すブロック図である。図１１に示す音声合成装置５０は、上記実施の形態１の音声合成装置１の構成から可変部用音声記録部２、切り替え部４、可変部音声合成部５の各部を廃し、また定型部音声合成部６にかえて第３の定型部音声合成部５１を有し、入力された定型部テキスト２０に対応した合成音声９を作成する。図１１において図１と同一または相当の部分については同一の符号を付し説明を省略する。
【００６４】
図１１に示す第３の定型部音声合成部５１は、各定型部テキスト２０の接続順で互いに隣接する句音声同士のピッチが連続するように、各定型部テキスト２０に対応するＰＳＯＬＡ形式の句音声のピッチを変形して合成音声を作成する。
【００６５】
図１２は、この発明の実施の形態３に係る音声合成装置に入力するテキストの１例を示す説明図である。テキストは定型部用音片ＩＤ２１を有し、各定型部用音片ＩＤは上記実施の形態１同様に、図４に示す定型部用音片データに対応している。
【００６６】
次に、音声合成装置５０の動作を説明する。図１３は、この発明の実施の形態３に係る音声合成装置の動作を示すフローチャートである。ここでは、図１２に示すテキスト「近くの動物園を検索します。」に対応する合成音声を生成する場合を例にとって説明する。
ステップＳＴ２１は上記実施の形態１の図６に示すステップＳＴ３と同様の動作であり、韻律規則生成部７が定型部用音片ＩＤの設定されている各定型部テキストから規則ピッチを作成する。
【００６７】
ステップＳＴ２２において、第３の定型部音声合成部５１が各定型部テキストの接続順で互いに隣接する句音声同士のピッチが連続するように、各定型部テキストに対応するＰＳＯＬＡ形式の句音声のピッチを規則ピッチにあわせて変更し、各合成音声を作成する。
【００６８】
続くステップＳＴ２３およびステップＳＴ２４は、上記実施の形態１の図６に示すステップＳＴ５およびステップＳＴ６と同様の動作を行い、テキスト全体に対応した合成音声を生成する。
【００６９】
以上のように、実施の形態３によれば、複数の定型部テキスト２０から構成されたテキストに対して、定型部テキスト２０に対応した句音声を用いて、句音声の韻律情報を変形して音声を合成する第３の定型部音声合成部５１と、第３の定型部音声合成部５１で合成した複数の音声を接続して合成音声９を生成する音声接続部８を備えるように構成した。そのため、韻律の自然性が改善し、自然性の高い合成音声を作成できる効果がある。
【図面の簡単な説明】
【００７０】
【図１】この発明の実施の形態１に係る音声合成装置の全体構成を示すブロック図である。
【図２】この発明の実施の形態１に係る音声合成装置に入力するテキストの１例を示す説明図である。
【図３】この発明の実施の形態１に係る音声合成装置の可変部用音声記憶部が記憶する音片データを示す説明図である。
【図４】この発明の実施の形態１に係る音声合成装置の句音声記憶部が記憶する音片データを示す説明図である。
【図５】この発明の実施の形態１に係る音声合成装置が生成した合成音声の例を示すグラフである。
【図６】この発明の実施の形態１に係る音声合成装置の動作を示すフローチャートである。
【図７】この発明の実施の形態２に係る音声合成装置の全体構成を示すブロック図である。
【図８】この発明の実施の形態２に係る音声合成装置に入力するテキストの１例を示す説明図である。
【図９】この発明の実施の形態２に係る音声合成装置の句韻律記憶部が記憶する句韻律データを示す説明図である。
【図１０】この発明の実施の形態２に係る音声合成装置の動作を示すフローチャートである。
【図１１】この発明の実施の形態３に係る音声合成装置の全体構成を示すブロック図である。
【図１２】この発明の実施の形態３に係る音声合成装置に入力するテキストの１例を示す説明図である。
【図１３】この発明の実施の形態３に係る音声合成装置の動作を示すフローチャートである。
【符号の説明】
【００７１】
１，３０，５０  音声合成装置、２  可変部用音声記憶部、３  句音声記憶部、４  切り替え部、５  可変部音声合成部、６  定型部音声合成部、７，３３  韻律規則生成部、８  音声接続部、９  合成音声、１０  可変部テキスト、１１  可変部用音片ＩＤ、１２，２２，４２  ピッチマーク情報、１３，２３  波形情報、１４，１５，２４，２５  ピッチ、２０  定型部テキスト、２１  定型部用音片ＩＤ
３１  第１の定型部音声合成部（定型部音声合成部）、３２  第２の定型部音声合成部、３４  句韻律記憶部、４１  句韻律ＩＤ、４３  音韻時間長情報、５１  第３の定型部音声合成部（定型部音声合成部）。
【図１】
2009282236.tif 000003
【図２】
2009282236.tif 000004
【図３】
2009282236.tif 000005
【図４】
2009282236.tif 000006
【図５】
2009282236.tif 000007
【図６】
2009282236.tif 000008
【図７】
2009282236.tif 000009
【図８】
2009282236.tif 000010
【図９】
2009282236.tif 000011
【図１０】
2009282236.tif 000012
【図１１】
2009282236.tif 000013
【図１２】
2009282236.tif 000014
【図１３】
2009282236.tif 000015