(57)【要約】【課題】  計算量を抑えた上で、複数の音声データベースを探索し、音素波形の選択精度を向上させ得る音声合成装置を提供する。【解決手段】  本発明は、指定された音素に対し、指定された音声データベースの中から、相違度の低い音素波形データを所定個数だけ選択する音素波形選択手段と、音素列の各音素ごとに音響情報を対応付けた韻律情報のいずれかの音素と、いずれかの音声データベースとを指定して、音素波形データを選択させると共に、合成音データで利用する選択音素波形データを決定する探索範囲判断手段と、選択された音素波形データに基づき、韻律情報の音素列に対応した合成音データを得る音素波形接続手段とを備える。探索範囲判断手段は、１つの音声データベースから選択された音声波形データの相違度に基いて、他の音声データベースからの検索を行うかどうかを判断する。【選択図】      図１
2007212682.tif 000002
【特許請求の範囲】
【請求項１】
複数の音素波形データをその音素ラベル及び音響情報と関連付けて記憶する、複数の音声データベースと、
指定された音素に対し、指定された上記音声データベースの中から、相違度の低い音素波形データを所定個数だけ選択する音素波形選択手段と、
音素列であってその各音素ごとに音響情報を対応付けた韻律情報のいずれかの音素と、いずれかの上記音声データベースとを指定して、上記音素波形選択手段による音素波形データを選択させると共に、合成音データで利用する選択音素波形データを決定する探索範囲判断手段と、
上記探索範囲判断手段の制御下で、上記音素波形選択手段によって選択され、利用するものと決定された音素波形データに基づき、上記韻律情報の音素列に対応した合成音データを得る音素波形接続手段とを備え、
上記探索範囲判断手段は、
１つの上記音声データベースから選択された上記音声波形データの選択結果の相違度に基いて、他の音声データベースからの検索を行うかどうかを判断する第１の判断部と、
上記第１の判断部の判断に従って、複数の上記音声データベースから選択された音素波形データを得た場合に、どの音素波形データを合成音データで利用するかを判断する第２の判断部とを有する
ことを特徴とする音声合成装置。
【請求項２】
上記第１の判断部は、１つの上記音声データベースから選択された所定個数の上記音声波形データの選択結果の相違度が全て、予め定められている閾値より相違が大きいことを表す場合に、他の音声データベースから検索させると判断することを特徴とする請求項１に記載の音声合成装置。
【請求項３】
上記各音声データベースには、異なる話者の音声波形データを収録したことを特徴とする請求項１又は２に記載の音声合成装置。
【請求項４】
複数の音素波形データをその音素ラベル及び音響情報と関連付けて記憶する、複数の音声データベースが予め用意されていると共に、
指定された音素に対し、指定された上記音声データベースの中から、相違度の低い音素波形データを所定個数だけ選択する音素波形選択工程と、
音素列であってその各音素ごとに音響情報を対応付けた韻律情報のいずれかの音素と、いずれかの上記音声データベースとを指定して、上記音素波形選択工程によって音素波形データを選択させると共に、合成音データで利用する選択音素波形データを決定する探索範囲判断工程と、
上記音素波形選択工程によって選択され、利用するものと決定された音素波形データに基づき、上記韻律情報の音素列に対応した合成音データを得る音素波形接続工程とを有し、
上記探索範囲判断工程は、
１つの上記音声データベースから選択された上記音声波形データの選択結果の相違度に基いて、他の音声データベースからの検索を行うかどうかを判断する第１のサブ判断工程と、
上記第１のサブ判断工程での判断に従って、複数の上記音声データベースから選択された音素波形データを得た場合に、どの音素波形データを合成音データで利用するかを判断する第２のサブ判断工程とを有する
ことを特徴とする音声合成方法。
【請求項５】
上記第１のサブ判断工程は、１つの上記音声データベースから選択された所定個数の上記音声波形データの選択結果の相違度が全て、予め定められている閾値より相違が大きいことを表す場合に、他の音声データベースから検索させると判断することを特徴とする請求項４に記載の音声合成方法。
【請求項６】
上記各音声データベースには、異なる話者の音声波形データを収録したことを特徴とする請求項４又は５に記載の音声合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声合成装置及び方法に関し、例えば、テキストデータを音声データに変換する場合に適用し得るものである。
【背景技術】
【０００２】
テキストデータを対応する音声データに変換するテキスト音声変換技術は、音声合成技術の一種として知られている。最近は、予め録音した大量の音声データベースを利用して行うコーパスベース音声合成が知られている。コーパスベース音声合成の代表的なものに、特許文献１に記載のものがある。
【０００３】
特許文献１の記載技術は、韻律制御を使わず、信号処理を実行することなく、任意の音素列を発声音声に変換することができ、自然に近い声質を得ることができる音声合成装置を提供することを目的としてなされ、音素列の各音素に対して類似度の最も高い音声データベース内の音素波形を選択し、それらを接続して合成音を得る方法である。
【０００４】
特許文献１に記載のものに限らず、コーパスベース音声合成方法は、自然発話を収録した音声データベースを備えているが、それら音声データベースは通常、発声スタイルの異なるものを複数備えている。例えば、第１の音声データベースには、男性Ａの音声を収録し、第２の音声データベースには男性２の音声を収録し、第３の音声データベースには、女性Ｃの音声を収録している、などといった具合である。
【０００５】
ユーザがこのような音声合成装置を使用する際には、予め合成する声質を指定できるようにしなされており、装置は、指定された声質に対応する音声データベースのみについて音素波形を検索し、音声データを得る。例えば、ユーザが男性Ａでの音声で合成するように指定した場合、第１の音声データベースのみを検索し、第２、第３の音声データベースは検索しないのが通例である。
【特許文献１】特開平１０−０４９１９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、複数の音声データベースを備える音声合成装置において、音素波形の選択を、一つの音声データベースを探索することで行うより、複数の音声データベースを探索した方が、目標音素と類似度の高い音素波形を選択することができると推測される。
【０００７】
このようにしない理由は、他の音声データベースを検索すると当然計算量が増大するが、もともと声質の異なる音声データベースであるため、適切な音素波形が存在する期待値が小さいためである、と考えられる。
【０００８】
しかしながら、最近の計算機パワーの進展により、以前にまして各音声データベースの量を増したり、備える音声データベースの数（出せる声種）が増したりする場合、任意の２つの音声データベース間で補完し合える音素波形の数は増えていると考えられる。
【０００９】
しかし、計算量と期待値のトレードオフが解決したわけではなく、依然として、計算量の増加もあなどれない。
【００１０】
本発明は、このような問題に鑑み、計算量を抑えた上で、複数のデータベースを探索し、音素波形の選択精度を向上させることができる音声合成装置及び方法を提供しようとしたものである。
【課題を解決するための手段】
【００１１】
第１の本発明の音声合成装置は、（１）複数の音素波形データをその音素ラベル及び音響情報と関連付けて記憶する、複数の音声データベースと、（２）指定された音素に対し、指定された上記音声データベースの中から、相違度の低い音素波形データを所定個数だけ選択する音素波形選択手段と、（３）音素列であってその各音素ごとに音響情報を対応付けた韻律情報のいずれかの音素と、いずれかの上記音声データベースとを指定して、上記音素波形選択手段による音素波形データを選択させると共に、合成音データで利用する選択音素波形データを決定する探索範囲判断手段と、（４）上記探索範囲判断手段の制御下で、上記音素波形選択手段によって選択され、利用するものと決定された音素波形データに基づき、上記韻律情報の音素列に対応した合成音データを得る音素波形接続手段とを備え、（３）上記探索範囲判断手段は、（３−１）１つの上記音声データベースから選択された上記音声波形データの選択結果の相違度に基いて、他の音声データベースからの検索を行うかどうかを判断する第１の判断部と、（３−２）上記第１の判断部の判断に従って、複数の上記音声データベースから選択された音素波形データを得た場合に、どの音素波形データを合成音データで利用するかを判断する第２の判断部とを有することを特徴とする。
【００１２】
第２の本発明の音声合成方法は、（１）複数の音素波形データをその音素ラベル及び音響情報と関連付けて記憶する、複数の音声データベースが予め用意されていると共に、（２）指定された音素に対し、指定された上記音声データベースの中から、相違度の低い音素波形データを所定個数だけ選択する音素波形選択工程と、（３）音素列であってその各音素ごとに音響情報を対応付けた韻律情報のいずれかの音素と、いずれかの上記音声データベースとを指定して、上記音素波形選択工程によって音素波形データを選択させると共に、合成音データで利用する選択音素波形データを決定する探索範囲判断工程と、（４）上記音素波形選択工程によって選択され、利用するものと決定された音素波形データに基づき、上記韻律情報の音素列に対応した合成音データを得る音素波形接続工程とを有し、（３）上記探索範囲判断工程は、（３−１）１つの上記音声データベースから選択された上記音声波形データの選択結果の相違度に基いて、他の音声データベースからの検索を行うかどうかを判断する第１のサブ判断工程と、（３−２）上記第１のサブ判断工程での判断に従って、複数の上記音声データベースから選択された音素波形データを得た場合に、どの音素波形データを合成音データで利用するかを判断する第２のサブ判断工程とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、１つの音声データベースから選択された音声波形データの選択結果の相違度に基いて、他の音声データベースからの検索を行うかどうかを判断するようにしたので、全ての音声データベースを常に探索するわけではなく、計算量を抑えた上で、複数のデータベースを探索し、音素波形の選択精度を向上させることができるようになる。
【発明を実施するための最良の形態】
【００１４】
（Ａ）第１の実施形態
以下、本発明による音声合成装置及び方法の第１の実施形態を、図面を参照しながら詳述する。
【００１５】
（Ａ−１）第１の実施形態の構成
第１の実施形態の音声合成装置は、音声合成処理用のソフトウェアを備えたり、音声合成処理用の専用半導体チップを備えたりする専用装置として構成されていても良く、また、パソコンなどに音声合成処理用のソフトウェアをインストールすることで構成されていても良いが、機能的には、図１に示す概略構成を備えている。
【００１６】
図１において、第１の実施形態の音声合成装置１０は、テキスト解析手段１１、音声データベース群（音声ＤＢ群）１２、音素波形選択手段１３、探索範囲判断手段１４及び音素波形接続手段１５を有する。
【００１７】
テキスト解析手段１１には、漢字かな混じりのテキスト情報が入力され、テキスト解析手段１１は、この漢字かな混じりのテキスト情報を、韻律情報に変換して出力する。ここで、韻律情報とは、図２に示すような音素の時系列（ｈ、ａ、ｊ、ｍ、ｅ、…）であって、各音素に対し、その音素の時間長（継続時間；ｄｕａｒａｔｉｏｎ）、ピッチ周波数（ｐｉｔｃｈ（１）、ｐｉｔｃｈ（２）、…）、スペクトル情報（メルケプストラム係数；ｍｅｌｃｅｐ（１）、ｍｅｌｃｅｐ（２）、…）等の音響情報を付加したものである。ここで、韻律情報は、後述する音素波形選択手段１３で用いられるので、韻律情報のデータ構成や形態などは、音素波形選択手段１３の処理や音声データベース群１２のデータ構成などと整合を取っておく必要がある。
【００１８】
韻律情報における音響情報は、後述する探索処理で目標情報として用いられるものであり、仮に、この音響情報から音声データを構築して発音させた場合に、癖のない音声になるようなものであることが好ましい。
【００１９】
テキスト解析手段１１は、テキスト情報を、各単語の表記、読み、品詞、アクセントを関連付けた単語辞書を使って、一旦、アクセント付かな文字列に変換した後、予め構築されている韻律データベースを参照することでさらに韻律情報に変換する。このようなテキスト解析手段１１の処理は、上述した特許文献１に詳細に述べられている。
【００２０】
音声データベース群１２は、複数の音声データベース１２Ａ、１２Ｂ、１２Ｃ、…の集まりとして構成されている。ここで、複数の音声データベース１２Ａ、１２Ｂ、１２Ｃ、…の作成の観点は、任意である。例えば、各音声データベース１２Ａ、１２Ｂ、１２Ｃ、…を話者単位で構成できる。
【００２１】
なお、他の観点としては、以下のような例を挙げることができる。（ａ）同一話者が異なる口調で発声した音声データ毎に、別個の音声データベースとする。例えば、怒っている口調で発声した音声データを第１の音声データベースに収録し、悲しんでいる口調で発声した音声データを第２の音声データベースに収録するなどする。また例えば、ニュースを読んだ音声データを第１の音声データベースに収録し、電話応答をした音声データを第２の音声データベースに収録するなどする。さらに例えば、音声の経時変化を考慮して、録音時期によって、音声データベースを変えるようにしても良い。さらにまた、例えば、録音状況を考慮して、マイクの種類やアンプの種類などの組み合わせによって、音声データベースを変えるようにしても良い。（ｂ）同一の音声データベースに対しても、複数の話者の音声データを収録するようにしても良い。例えば、若い男性の音声データを第１の音声データベースに収録し、高齢の女性の音声を第２の音声データベースに収録するように、話者をグループ分けして音声データベースを構築する。（ｃ）さらには、各音声データベースを構成する音声データ区別化ルールを特に決めずに、音声データを、複数の音声データベースに振り分ける。例えば、音声データを入力順に、各音声データベースに振り分けても良い。
【００２２】
また、話者毎に、音声データベースを構築する場合であっても、全て又は一部の話者の音声データベースを、細分しておくようにしても良い。例えば、図３（ａ）に示すように、一つの音声データベース（話者Ａ）１２Ａの一部を、第１のサブ音声データベース１２Ａ−１とし、音声データベース１２Ａの全体から第１のサブ音声データベース１２Ａ−１を除いた部分を、第２のサブ音声データベース１２Ａ−２とするようにしても良い。また例えば、図３（ｂ）に示すように、一つの音声データベース１２Ａを共通の音素波形を持つように複数のサブ音声データベース１２Ａ―１、１２Ａ−２に分割するようにしても良い。第１及び第２のサブ音声データベースへの音声データの振り分けは、上記（ａ）のいずれかの具体的方法を適用し得る。
【００２３】
各音声データベース１２Ａ、１２Ｂ、１２Ｃ、…に収録された音声データには、その音声データ上で、音素の境界を示す音素境界の情報と、各音素境界で分割された各音素波形に対するラベル情報（音素ラベル情報）が付加されている。また、音素波形選択手段１３での計算量を削減するために、各音声データベース１２Ａ、１２Ｂ、１２Ｃ、…に収録された音声データにおける、各音素境界で分割された各音素に対して、上記テキスト解析手段１１の出力である韻律情報に対応できるように、韻律情報と同様な、音素時間長、ピッチ周波数、スペクトル情報（メルケプストラム係数）が付加されている。
【００２４】
音素波形選択手段１３は、探索範囲判断手段１４の制御下で、テキスト解析手段１１から出力された韻律情報の中の各音素に対して、探索範囲判断手段１４によって指定された音声データベース内（指定方法の説明は後述する）の音素波形の中から、最適な音素波形を選択するものである。音素波形選択手段１３は、韻律情報内の各音素について、その音素の音響情報（ピッチ情報、音素継続時間情報、スペクトル情報）と、指定音声データベース内の各音素波形の音響情報とを比較したりなどし、相違度（コスト値）が最も小さい音素波形を選択する。比較は、例えば、韻律情報の音素ラベル（図２でのｈ、ａ、ｊ、ｍ、ｅ、…など）と、同一の音素ラベルを持つ音声データベース内の音素波形に対して行なわれる。
【００２５】
音素波形選択手段１３は、例えば、相違度を表すコスト関数を以下のように算出する。韻律情報の音素ごとに、その音素の音響情報と、データベース内の音素波形の音響情報（ピッチ情報、音素継続時間情報、スペクトル情報）を比較し、第１のサブコストとして数値化する。また、韻律情報の音素それぞれの前後の音韻環境についても比較し、第２のサブコストとして数値化する。その後、各サブコストを合成し（例えば、各サブコストを重み付け加算する）、コスト値を計算する。コスト値を求める関数についても、上記特許文献１に詳しく記載されている。
【００２６】
探索範囲判断手段１４は、音素波形選択手段１３による音素波形の選択動作を指示すると共に、音素波形選択手段１３で得られた候補波形のコスト値に基づき、他の音声データベースの検索を行うかどうかを決定し、適宜、他の音声データベースからの検索を実行させるものである。探索範囲判断手段１４の機能については、動作の項の説明で明らかにする。
【００２７】
音素波形接続手段１５は、テキスト解析手段１１から出力された韻律情報を目標情報として、音声データベース群１２内の音声データベースから選択された各音素波形を、相関関数等で、位相を合わせて接続し、入力された漢字かな混じりのテキスト情報に応じた音声データ列を形成して出力するものである。各音素波形を接続する際には、窓掛けによるオーバーラップ接続等を行うようにしても良い。
【００２８】
（Ａ−２）第１の実施形態の動作
以下、第１の実施形態の音声合成装置１０の動作を説明する。まず、探索範囲判断手段１４の処理について、図４のフローチャートを参照しながら説明する。
【００２９】
なお、各音声データベース１２Ａ、Ｂ、Ｃ、…の優先度の順序（探索順序）は、図４の処理を開始する前によってユーザによって指定されているものとする。音声データベースの識別子は、優先度の高いものから、１、２、３、…と割り振られている。なお、システムが固定的に優先度を付与しているものであっても良い。ユーザが音声データベースの優先度の指定を行わない場合であっても、音声データベースの検索順除は優先度の高いものからに予め決定されており、指定しない場合用の順序を予め定めておく。
【００３０】
探索範囲判断手段１４は、テキスト解析手段１１から韻律情報を受けると、韻律情報における音素の時系列順を表すパラメータｉを先頭の音素（図２の例で言えば／ｈ／）を表す１に初期化（ｉ＝１）して図４に示す処理を開始する。
【００３１】
そしてまず、選択波形候補情報を格納する一時的な記憶領域（以下、この記憶領域も選択波形候補情報と呼ぶ）をリフレッシュする（ステップ１０１）。ここで、選択波形候補情報とは、韻律情報の第ｉ音素に対応する音素波形が最終的に決定されるまでの間の最適な候補情報であり、その時点で、１番対応している音素波形が存在する音声データベース番号ｍ０と、その音声データベース内での音素波形の識別子ｎ０と、その音声データベース内での音素とのコスト値Ｃ０（ｍ、ｎ）とでなるものである。リフレッシュの際には、探索対象の音声データベースを規定するパラメータｍも初期値（ｍ＝１）に設定する。
【００３２】
選択波形候補情報をリフレッシュした後では、探索範囲判断手段１４は、音素波形選択手段１３に対して、韻律情報の第ｉ音素に関する情報と、検索対象とする音声データベースの識別子ｍを送って、音素波形の選択を指示し、音素波形選択手段１３から返信された情報を取り込む（ステップ１０２）。音素波形選択手段１３は、音素波形の選択が指示されると、上述した選択動作を行い、選択した音素波形の識別子（音素識別子）ｎと、コスト値Ｃ（ｍ、ｎ）とを探索範囲判断手段１４に返信する。音素識別子ｎとは、韻律情報の第ｉ音素に対して、最もコスト値が低かった音素波形の識別子であり、コスト値Ｃ（ｍ、ｎ）は、そのコスト値である。
【００３３】
次に、探索範囲判断手段１４は、音素波形選択手段１３から返信されたコスト値Ｃ（ｍ、ｎ）が予め定められている閾値ＴＨより小さいがどうかを調べる（ステップ１０３）。閾値ＴＨは、全ての音素（や音韻）に同一の値を設定しておいても良いし、音素（や音韻）毎に変えておくようにしても良い。例えば、母音系、子音系によって、閾値ＴＨを変えるようにしても良い。音素（や音韻）毎に変えておく場合であれば、例えば、第ｉ音素の情報をキーとして、閾値テーブルから閾値ＴＨを取り出すことになる。
【００３４】
返信されたコスト値Ｃ（ｍ、ｎ）が予め定められている閾値ＴＨより小さければ、現在対象となっている韻律情報の第ｉ音素に関する音素波形として、そのときのパラメータｍ、ｎで規定されるものに決定し、第ｉ音素に対応付けてパラメータｍ、ｎを記憶する（ステップ１０４）。
【００３５】
この決定後においては、探索範囲判断手段１４は、決定された韻律情報の第ｉ音素が韻律情報の最後の音素でないことを確認した後（ステップ１０５）、パラメータｉを１インクリメントして次の音素を指示するものに切り替えて（ステップ１０６）、上述したステップ１０１の選択波形候補のリフレッシュ処理に戻る。
【００３６】
一方、音素波形選択手段１３から返信されたコスト値Ｃ（ｍ、ｎ）が予め定められている閾値ＴＨ以上であれば、探索範囲判断手段１４は、返信されたコスト値Ｃ（ｍ、ｎ）を、選択波形候補のコスト値Ｃ０（ｍ、０）と比較する（ステップ１０７）。ここで、パラメータｍが１の場合には、ステップ１０１のリフレッシュ処理によって、選択波形候補のコスト値Ｃ０（ｍ、０）が登録されていないので、ステップ１０７の比較を行うことなく、後述するステップ１０８に進む。なお、リフレッシュ処理で、選択波形候補のコスト値Ｃ０（ｍ、０）として、コスト値Ｃ（ｍ、ｎ）が取り得ない大きな値を設定し、パラメータｍが１の場合にも、ステップ１０７の比較を実行するようにしても良い。
【００３７】
ステップ１０７の比較により、音素波形選択手段１３から返信されたコスト値Ｃ（ｍ、ｎ）が選択波形候補のコスト値Ｃ０（ｍ、０）より小さいという結果を得た場合や、パラメータｍが１である場合には、探索範囲判断手段１４は、選択波形候補の各値を更新する（ステップ１０８）。すなわち、選択波形候補の音声データベース番号ｍ０を現時点のパラメータｍに更新すると共に、選択波形候補の音素波形の識別子ｎ０を音素波形選択手段１３から返信された音素波形の識別子ｎに更新し、選択波形候補のコスト値Ｃ０（ｍ、０）を音素波形選択手段１３から返信されたコスト値Ｃ（ｍ、ｎ）に更新する。
【００３８】
パラメータｍが２以上であって、ステップ１０７の比較により、音素波形選択手段１３から返信されたコスト値Ｃ（ｍ、ｎ）が選択波形候補のコスト値Ｃ０（ｍ、０）以上という結果を得た場合、又は、上述したステップ１０８による選択波形候補の各値の更新が終了した場合には、探索範囲判断手段１４は、パラメータｍが最後の値になっているか否か（言い換えると、全ての音声データベースに対する探索を実行したか否か）を判断する（ステップ１０９）。
【００３９】
探索範囲判断手段１４は、パラメータｍが最後の値になっていなければ、パラメータｍを１インクリメントして次の音声データベースを指示するものに更新して（ステップ１１０）、上述したステップ１０２の音素波形選択の依頼、受領処理に戻る。
【００４０】
全ての音声データベースの探索が終了した場合（この場合は、閾値ＴＨより小さいコスト値の音素波形がいずれの音声データベースにも存在しない場合である）には、探索範囲判断手段１４は、現在対象となっている韻律情報の第ｉ音素に関する音素波形として、そのときの選択波形候補のパラメータｍ０、ｎ０で規定されるものに決定し、第ｉ音素に対応付けてパラメータｍ０、ｎ０を記憶する（ステップ１１１）。この決定後においては、探索範囲判断手段１４は、決定された韻律情報の第ｉ音素が韻律情報の最後の音素でないことを確認した後（ステップ１０５）、パラメータｉを１インクリメントして次の音素を指示するものに切り替えて（ステップ１０６）、上述したステップ１０１の選択波形候補のリフレッシュ処理に戻る。
【００４１】
韻律情報の最後の音素について、音素波形の決定を行うと（ステップ１０５で肯定結果）、探索範囲判断手段１４は、図４に示す一連の処理を終了する。以上のようにして、韻律情報の先頭の音素から、順次、音素波形を決定していき、ステップ１０５において最後の音素について決定したと判断したら、処理を終了する。
【００４２】
図４の処理によれば、韻律情報の各音素について、音声データベースの優先度順に、音素波形の探索処理を実行し、閾値ＴＨよりコスト値が小さい音素波形が見付かればその音素についての探索をそこで終了し、閾値ＴＨよりコスト値が小さい音素波形が見付からない場合には、全ての音声データベースから得た音素波形の中のコスト値が最も小さいものを、該当する音素波形に決定する。
【００４３】
次に、第１の実施形態の音声合成装置１０の全体動作について説明する。
【００４４】
テキスト解析手段１１は、漢字かな混じりのテキスト文を、韻律情報に変換し、句読点等で区切られた１文単位で探索範囲判断手段１４に与える。
【００４５】
探索範囲判断手段１４は、１文の韻律情報を受けると、上述したように、先頭の音素から順に、音素波形の選択を行う。音素波形の選択にあたっては、上述したように、音素波形選択手段１３を活用し、十分なコスト値が得られないときに、第２以降の音声データベースを探索する。探索範囲判断手段１４は、１文分の音素波形を決定すると、音素波形を規定するデータベース識別子及び音素波形識別子の組情報の時系列を音素波形接続手段１５に送る。
【００４６】
音素波形接続手段１５は、これを受け、必要な音声データベースにアクセスし、音素波形を取得し、取得した音素波形を接続することで、入力された漢字かな混じりのテキスト文に対応した、連続した音声データを生成して出力する。
【００４７】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、探索範囲判断手段を設け、第１順位の音声データベースに対する音素波形選択で、十分なコストが得られない場合のみ第２順位以降の音声データベースを探索するようにしたので、計算量を十分抑えた上で、複数の音声データベースを有効に活用できるようになった。
【００４８】
ここで、複数の音声データベースの探索順位をユーザが指定できるようにすれば、ユーザに好みに応じた音質を基本としながら、その音質では用意が不十分な音素波形も補間して発音させることができる。
【００４９】
（Ｂ）第２の実施形態
次に、本発明による音声合成装置及び方法の第２の実施形態を、上述した第１の実施形態との相違点を中心に説明する。
【００５０】
第２の実施形態の音声合成装置も機能ブロック図で表すと、上述した第１の実施形態に係る図１のように表すことができる。但し、探索範囲判断手段１４や音素波形選択手段１３の機能が、第１の実施形態のものと異なっている。
【００５１】
上述した第１の実施形態は、韻律情報の各音素に関して、逐次１つの音素波形を選択するものであった。この第２の実施形態は、韻律情報の各音素に関してそれぞれＫ個（複数）の音素波形候補を選び、韻律情報内の全音素についてＫ個ずつ選択が完了した後に、境界類似度を考慮して、最終的な選択音素波形列を決定するものである。
【００５２】
図５は、第２の実施形態の探索範囲判断手段１４の処理を示すフローチャートであり、以下、この図５を参照しながら、第２の実施形態の探索範囲判断手段１４の処理を説明する。
【００５３】
探索範囲判断手段１４は、テキスト解析手段１１から韻律情報を受けると、韻律情報における音素の時系列順を表すパラメータｉを先頭の音素（図２の例で言えば／ｈ／）を表す１に初期化（ｉ＝１）して図５に示す処理を開始する。
【００５４】
そしてまず、選択波形候補情報を格納する一時的な記憶領域（以下、この記憶領域も選択波形候補情報と呼ぶ）をリフレッシュする（ステップ２０１）。第２の実施形態の選択波形候補情報は、音声データベース識別子ｍ０ｋ（ｋは１〜Ｋとする）、音素波形識別子ｎ０ｋ及びコスト値Ｃ０ｋ（ｍ０ｋ、ｎ０ｋ）でなる組情報をＫ組有するものである。リフレッシュの際には、探索対象の音声データベースを規定するパラメータｍも初期値（ｍ＝１）に設定する。
【００５５】
選択波形候補情報をリフレッシュした後では、探索範囲判断手段１４は、音素波形選択手段１３に対して、韻律情報の第ｉ音素に関する情報と、検索対象とする音声データベースの識別子ｍを送って、音素波形のＫ個の選択を指示し、音素波形選択手段１３から返信されたＫ組の情報を取り込む（ステップ２０２）。音素波形選択手段１３は、音素波形の選択が指示されると、コスト値が小さい方からＫ個の音素波形の選択動作を行い、選択したＫ個の音素波形の識別子（音素識別子）ｎｋと、コスト値Ｃｋ（ｍ、ｎ）とを探索範囲判断手段１４に返信する。
【００５６】
探索範囲判断手段１４は、音素波形選択手段１３から返信されたＫ個の情報と、その時点で一時記憶しているＫ個の候補情報との計２Ｋ個の情報から、コスト値が小さい（良好な）Ｋ個を選択し（ステップ２０３）、選択したＫ個の情報に、選択波形候補情報を更新する（ステップ２０４）。なお、最初の音声データベースの探索時（ｍ＝１のとき）においては、選択波形候補情報として何ら登録されていないので、音素波形選択手段１３から返信されたＫ個の情報がそのまま、選択波形候補情報として登録する（ステップ２０４）。なお、選択波形候補情報を更新又は登録する際には、コスト値の小さいものからｋ＝１、２、…、Ｋとインデクシングする。
【００５７】
その後、探索範囲判断手段１４は、選択波形候補情報としてのＫ個の音素波形のコスト値の全てが、予め定められた閾値ＴＨより小さいか否かを調べる（ステップ２０５）。第２の実施形態においても、閾値ＴＨは、全ての音素（や音韻）に同一の値を設定しておいても良いし、音素（や音韻）毎に変えておくようにしても良い。
【００５８】
Ｋ個の音素波形のコスト値の全てが予め定められている閾値ＴＨより小さければ、現在、選択波形候補情報になっているＫ個の音素波形対象を選択波形に決定し、各選択波形を規定するパラメータｍ０ｋ、ｎ０ｋ（ｋ＝１〜Ｋ）を、第ｉ音素に対応付けて記憶する（ステップ２０６）。
【００５９】
この決定、記憶後においては、探索範囲判断手段１４は、選択波形が決定された韻律情報の第ｉ音素が韻律情報の最後の音素でないことを確認した後（ステップ２０７）、パラメータｉを１インクリメントして次の音素を指示するものに切り替えて（ステップ２０８）、上述したステップ２０１の選択波形候補情報のリフレッシュ処理に戻る。
【００６０】
一方、選択波形候補情報としてのＫ個の音素波形のコスト値の中に、予め定められた閾値ＴＨ以上のものが１個でもあると（ステップ２０５で否定結果）、探索範囲判断手段１４は、パラメータｍが最後の値になっているか否か（言い換えると、全ての音声データベースに対する探索を実行したか否か）を判断する（ステップ２０９）。
【００６１】
探索範囲判断手段１４は、パラメータｍが最後の値になっていなければ、パラメータｍを１インクリメントして次の音声データベースを指示するものに更新して（ステップ２１０）、上述したステップ２０２の音素波形選択の依頼、受領処理に戻る。
【００６２】
全ての音声データベースの探索が終了した場合（ステップ２０９で肯定結果）には、探索範囲判断手段１４は、現在、選択波形候補情報になっているＫ個の音素波形対象を選択波形に決定し、各選択波形を規定するパラメータｍ０ｋ、ｎ０ｋ（ｋ＝１〜Ｋ）を、第ｉ音素に対応付けて記憶し（ステップ２０６）、その後、選択波形が決定された韻律情報の第ｉ音素が韻律情報の最後の音素でないことを確認し（ステップ２０７）、パラメータｉを１インクリメントして次の音素を指示するものに切り替えて（ステップ２０８）、上述したステップ２０１の選択波形候補情報のリフレッシュ処理に戻る。
【００６３】
韻律情報の最後の音素について、音素波形の選択を行うと（ステップ２０７で肯定結果）、探索範囲判断手段１４は、最適な音素波形の組み合わせの計算を行う（ステップ２１１）。この最適組み合わせの計算では、各々の音素（ｉ＝１、２、…、Ｉ）に対してＫ個存在する候補波形の組み合わせ（ＫＩ種類存在する）について、最適なものを一つ定める。予め定められた境界類似度による評価で、最適なものを定める。コスト関数と同様に、隣接音素との滑らかさを図るためのパラメータ（例えば、ピッチ周波数、ケプストラム距離、音素環境など）を利用する。このような評価のための計算方法については、上述した特許文献１に記載されている。
【００６４】
第２の実施形態によっても、探索範囲判断手段を設け、第１順位の音声データベースに対する音素波形選択で、十分なコストの候補が得られない場合のみ第２順位以降の音声データベースを探索するようにしたので、計算量を十分抑えた上で、音声データベースを有効に活用できるようになった。
【００６５】
（Ｃ）第３の実施形態
次に、本発明による音声合成装置及び方法の第３の実施形態を、上述した第１、第２の実施形態との相違点を中心に説明する。
【００６６】
第３の実施形態の音声合成装置も機能ブロック図で表すと、上述した第１の実施形態に係る図１のように表すことができる。但し、探索範囲判断手段１４や音素波形選択手段１３の機能が、第１や第２の実施形態のものと異なっている。第３の実施形態も、第２の実施形態と同様に、一つの音素につきＫ個の音素波形を一時的に選択する方法をとるが、その具体的な処理で、第２の実施形態と異なっている。
【００６７】
図６は、第３の実施形態の探索範囲判断手段１４の特徴処理を示すフローチャートである。図６では、第２の実施形態に係る上述した図５のフローチャートにおける、ステップ２０２〜２０５の処理部分に対応する処理部分を示しており、ステップ２０１、２０２、２０４〜２１１の処理は、第２の実施形態と同様である。
【００６８】
第３の実施形態では、第ｉ番目の音素について、第２順位以降の音声データベースの探索依頼に対し、音素波形選択手段１３から返信されたＫ個の音素波形情報のうち、そのコスト値が予め定められた閾値ＴＨより小さいものＪ個（Ｊ≦Ｋ）を抽出する処理を付加している（ステップ３０１、３０２）。この際の閾値ＴＨとして、次の順位の音声データベースに対する探索を実行するか否かの判断ステップ２０５で利用している閾値ＴＨと同一のものを用いる。なお、異なる閾値を利用するようにしても良い。
【００６９】
これにより、第３の実施形態では、探索範囲判断手段１４は、音素波形選択手段１３から返信されたＫ個の内のコストが良好なＪ個の情報と、その時点で一時記憶しているＫ個の候補情報との計Ｋ＋Ｊ個（≦２Ｋ個）の情報から、コスト値が小さい（良好な）Ｋ個を選択し（ステップ２０３）、選択したＫ個の情報に、選択波形候補情報を更新することになる（ステップ２０４）。
【００７０】
第３の実施形態によれば、第２の実施形態の効果に加え、以下の効果を奏することができる。第３の実施形態によれば、第２順位以降の音声データベースの探索依頼に対し、音素波形選択手段１３から返信されたＫ個の情報からコストが良好なものだけを抽出し、抽出したものしか一時選択候補に決定されないようにしたので、第１順位の音声データベースの選択結果を重視することができる。
【００７１】
すなわち、第１順位の音声データベースの探索で得られた音素波形情報はコスト値が閾値ＴＨ以上であっても一時選択候補に決定され得るが、第２順位以降の音声データベースの探索で得られた音素波形情報はコスト値が閾値ＴＨより小さくなければ一時選択候補に決定されず、第１順位の音声データベースの選択結果を重視していることになる。
【００７２】
（Ｄ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
【００７３】
上記各実施形態では、漢字かな混じりのテキスト情報をテキスト解析手段１１に入力するものを示したが、テキスト情報は漢字かな混じり文に限定されず、例えば、ひらがな又はカタカナだけでなるテキスト情報であっても良い。テキスト情報の音声合成装置への入力方法は、限定されない。例えば、キーボードからの入力や、ＯＣＲからの入力だけでなく、他装置からのダウンロードであっても良く、記憶媒体からの読み出しであっても良く、音声認識によるものであっても良い。
【００７４】
また、上記各実施形態では、テキスト解析手段１１を有する音声合成装置を示したが、装置への入力が韻律情報である音声合成装置であれば、テキスト解析手段が省略されていても良い。
【００７５】
さらに、上記実施形態の説明では、ユーザが全ての音声データベースの優先度を指定するものを示したが、ユーザが、基本（第１順位）となる音声データベースだけを指定し、その指定に応じて、システム（装置）が、第２順位以降を自動設定するようにしても良い。例えば、基本データベースに対応付けて他のデータベースの優先度を記述したテーブルを予め設けておいて、第２順位以降を自動設定するようにしても良い。また例えば、所定種類の音素について、基本データベースと他のデータベースとの類似度を算出し、類似度が近いものほど、優先順位を高くするようにして、第２順位以降を自動設定するようにしても良い。
【００７６】
さらにまた、上記各実施形態においては、音声データベース群１２に用意されている全ての音声データベースが探索対象となっているものを示したが、音声データベース群１２に用意されている一部の音声データベースを探索対象とするようにしても良い。探索に供する一部を、ユーザが指定できるようにしても良い。また例えば、ユーザが、基本（第１順位）となる音声データベースだけを指定し、それ以外で探索に供する一部の音声データベースをシステム（装置）が自動決定するものであっても良い。
【００７７】
音響情報などのデータ形式などは、最終的に合成音声データを生成できるもので良く、実施形態のものに限定されない。
【００７８】
上記実施形態の説明においては、複数の音声データベースが同一装置上に存在するイメージで説明したが、ＬＡＮなどのネットワークを介して接続されている異なる装置に存在するものであっても良い。
【図面の簡単な説明】
【００７９】
【図１】第１の実施形態の音声合成装置の機能的構成を示すブロック図である。
【図２】第１の実施形態の韻律情報の説明図である。
【図３】第１の実施形態の音声データベース群の構成に対する変形例を示す説明図である。
【図４】第１の探索範囲判断手段の処理を示すフローチャートである。
【図５】第２の探索範囲判断手段の処理を示すフローチャートである。
【図６】第３の探索範囲判断手段の特徴処理を示すフローチャートである。
【符号の説明】
【００８０】
１０…音声合成装置、１１…テキスト解析手段、１２…音声データベース群、１３…音素波形選択手段、１４…探索範囲判断手段、１５…音素波形接続手段。
【図１】
2007212682.tif 000003
【図２】
2007212682.tif 000004
【図３】
2007212682.tif 000005
【図４】
2007212682.tif 000006
【図５】
2007212682.tif 000007
【図６】
2007212682.tif 000008