(57)【要約】【課題】波形接続型音声合成方式による合成音声とＨＭＭ音声合成方式による合成音声を切替えて生成するハイブリッド型音声合成方式において、高品質な合成音声を安定して得られるハイブリッド型音声合成装置の提供。【解決手段】波形接続型合成音声生成部が、音声コーパスに含まれる任意長の音声素片を探索、接続することで入力テキストと内容が一致した合成音声データを生成し、ＨＭＭ合成音声生成部が、音声コーパスから抽出された音声情報を統計的手法で学習することによって統計モデルを予め生成し、上記統計モデルから入力テキストに対応する音声情報パラメータを求め、上記パラメータから合成音声データを生成する２つの音声合成方式を備えたものであり、音声品質比較判定手段が、波形接続型合成音声生成部の生成する合成音声データと、ＨＭＭ合成音声生成部の生成する合成音声データの、どちらの音声品質が高いかを音節単位毎に比較判定を行なう。【選択図】図２
2008191477.tif 000002
【特許請求の範囲】
【請求項１】
音声コーパスに含まれる任意長の音声素片を探索、接続することで入力テキストと内容が一致した合成音声データを生成する波形接続型合成音声生成部と、
上記音声コーパスから抽出された音声情報を統計的手法で学習することによって統計モデルを予め生成し、上記統計モデルから入力テキストに対応する音声情報パラメータを求め、上記音声情報パラメータから合成音声データを生成するＨＭＭ合成音声生成部とを、備えたハイブリッド型音声合成装置において、
上記波形接続型合成音声生成部が生成する合成音声データと、上記ＨＭＭ合成音声生成部が生成する合成音声データの、どちらの音声品質が高くなるかを上記合成音声データの音節単位毎に比較判定する音声品質比較判定手段と、
上記波形接続型合成音声生成部と上記音声品質比較判定手段との間に、上記波形接続型音声合成方式の音節単位の韻律を目標韻律パタンに合わせる処理をする信号処理部と、
上記音声品質比較判定手段の判定結果に従って上記合成音声データ単位を接続してハイブリッド合成音声データを生成するハイブリッド合成音声生成処理手段と、
を具備することを特徴とするハイブリッド型音声合成装置。
【請求項２】
請求項１に記載のハイブリッド型音声合成装置において、
上記音声コーパスが、上記波形接続型合成音声生成部の生成する合成音声データの品質が高くなるように設計された音声データと、上記ＨＭＭ合成音声生成部の生成する合成音声データの品質が高くなるように設計された音声データと、から構成されていることを特徴とするハイブリッド型音声合成装置。
【請求項３】
入力テキストと内容が一致する合成音声データを音声コーパスに含まれる任意長の音声素片を探索、接続することで生成する波形接続型合成音声生成過程と、
入力テキストに対応する音声情報パラメータを求め、上記音声情報パラメータから合成音声データを生成するＨＭＭ合成音声生成過程と、
波形接続型音声合成方式の音節単位の韻律を目標韻律パタンに合わせる処理をする信号処理過程と、
上記波形接続型合成音声過程で生成される音節単位と、上記ＨＭＭ合成音声生成過程で生成される音節単位の、どちらの音声品質が高いかを音節単位毎に比較判定する音声品質比較判定過程と、
上記音声品質比較判定過程の判定結果に従って上記合成音声データ単位を接続してハイブリッド合成音声データを生成するハイブリッド合成音声生成過程と、
を有することを特徴とするハイブリッド型音声合成方法。
【請求項４】
請求項１又は２に記載した各装置としてコンピュータを機能させるための装置プログラム。
【請求項５】
請求項４に記載した何れかのプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、波形接続型音声合成方式とＨＭＭ音声合成方式とを備え、任意のテキスト入力と一致した高品質な合成音声を出力するハイブリッド型音声合成方法及び、その装置、そのプログラムとそのプログラムを記憶する記憶媒体に関する。
【背景技術】
【０００２】
近年、音声合成技術の進歩により、自動音声応答装置（ＩＶＲ：Interactive Voice Response）における情報ガイダンスやＷｅｂ記事や電子メールなどの読み上げに音声合成が用いられている。主な音声合成方式として、特許文献１に開示されたような波形接続型音声合成方法と非特許文献１に開示された隠れマルコフモデル音声合成方式（Hidden Markov Model、以降ＨＭＭ音声合成方式と称する）が挙げられる。
波形接続型音声合成方式は大規模な音声コーパス（Corpus）を収録することが可能な場合、高品質な合成音声を生成することが出来る。
【０００３】
一方、ＨＭＭ音声合成方式は、小規模な音声コーパスを用いても、ある程度の品質を保った合成音声を生成することが出来る。
様々な口調の合成音声を生成したい場合、その口調ごとに大規模音声コーパスを作成することは難しいため、波形接続型音声合成方式による合成音声は高品質に生成することが出来ない。なぜなら、該当する素片が音声コーパス内に存在している箇所は高品質な合成音声を生成することが出来るが、音声コーパス内に求める該当素片が存在していない場合には品質が大幅に劣化してしまうからである。かといって、ＨＭＭ音声合成方式のみでは現状、十分な音声品質を実現することはできない。
【０００４】
そこで、波形接続型音声合成方式による合成音声とＨＭＭ音声合成方式による合成音声のどちらを使用するかをある基本単位で切替えて合成音声を生成するハイブリッドな音声合成方式を考えることで、より高品質な合成音声を小規模音声コーパスから生成する方法が、非特許文献２に開示されている。この文献では、どちらの方式の合成音声を使用するかは、合成対象となっている音声素片が小規模コーパスに一定数以上含まれている場合には波形接続型音声合成方式による合成音声を使用し、音声素片が一定数未満しか含まれていない場合には合成音声が劣化する可能性があるため、ＨＭＭ音声合成方式による合成音声を使用するという選択基準で決定されている。
また、非特許文献２では、どちらの方式の合成音声を使用するかの決定を音韻の中心を境界とするダイフォン（音韻の中心から次の音韻の中心）単位で行っている。
【特許文献１】特許第２７６１５５２号
【非特許文献１】徳田恵一、“ＨＭＭによる音声合成の基礎”、信学技法、SP2000-74,43-50頁,Oct.2000
【非特許文献２】大久保雅史、望月亮、小林哲則、“ＨＭＭ素片選択を用いた話者変換方式の検討”、信学技法、SP2004-139,13-18頁,Jan.2005
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、小規模音声コーパス内の合成対象となっている音声素片の個数が、波形接続型音声合成の音声品質に直接関係しているとは言えない。音声素片が少なくても高品質、音声素片が多くても低品質である場合も十分に考えられるため、波形接続型音声合成方式による合成音声とＨＭＭ音声合成方式による合成音声のどちらの音声素片を使用するかを、それぞれの音声の品質を判定した上で決定することが望ましい。
この発明は、このような問題点に鑑みてなされたものであり、波形接続型音声合成方式による合成音声とＨＭＭ音声合成方式による合成音声のどちらの音声素片を使用するかを、それぞれの音声の品質を判定した上で決定するハイブリッド型音声合成方法、及びその装置とそのプログラムと、その記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明によるハイブリッド型音声合成装置は、波形接続型合成音声生成部と、ＨＭＭ合成音声生成部と、音声品質比較判定手段と、ハイブリッド合成音声生成処理手段とを備える。波形接続型合成音声生成部は、音声コーパスに含まれる任意長の音声素片を探索、接続することで入力テキストと内容が一致した合成音声データを生成する。ＨＭＭ合成音声生成部は、音声コーパスから抽出された音声情報を統計的手法で学習することによって統計モデルを予め生成し、上記統計モデルから入力テキストに対応する音声情報パラメータを求め、上記パラメータから合成音声データを生成する。
音声品質比較判定手段は、波形接続型合成音声生成部の生成する合成音声データと、ＨＭＭ合成音声生成部の生成する合成音声データの、どちらの音声品質が高いかを合成音声データの音節単位毎に比較判定を行なう。
【０００７】
ハイブリッド合成音声生成処理手段は、音声品質比較判定手段の判定結果に従って合成音声データ単位を接続してハイブリッド合成音声データを生成する。
また、この発明によるハイブリッド型音声合成装置の音声コーパスは、波形接続型合成音声生成部の生成する合成音声データの品質が高くなるように設計された音声データと、ＨＭＭ合成音声生成部の生成する合成音声データの品質が高くなるように設計された音声データと、から構成される。
【発明の効果】
【０００８】
この発明によるハイブリッド型音声合成装置によれば、波形接続型音声合成方式による合成音声とＨＭＭ音声合成方式による合成音声のどちらの品質が高いかを判定し、合成方式の違いによる音質の差による違和感や接続箇所の不連続が少なくなるように決定された音節単位毎に品質の高い方式の合成音声データを使用することが出来るので、小規模な音声コーパスを使用した場合でも高品質な合成音声を生成することが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００１０】
この発明のハイブリッド型音声合成装置１００のハードウェア構成の実施例１を図１に示す。実施例１は、一般的なパーソナルコンピュータを用いてハイブリッド型音声合成装置１００を構成した例である。
【００１１】
図１において、１０２は制御メモリ（ＲＯＭ）で、中央処理装置（ＣＰＵ）１０４で使用される各種制御データを記憶している。ＣＰＵ１０４は、ＲＡＭ１０６に記憶された制御プログラムを実行してハイブリッド型音声合成装置１００全体の動作を制御している。ＲＡＭ１０６は、ＣＰＵ１０４による各種制御処理の実行時、ワークエリアとして使用された各種データを一時的に保存するとともに、ＣＰＵ１０４による各種処理の実行時に、外部記憶装置１０８から制御プログラムをロードして記憶している。この外部記憶装置１０８は、例えばハードディスク装置や光ディスクドライブである。制御プログラムは、例えば光ディスクのＤＶＤ（Digital Versatile Disc）やＣＤ-ＲＯＭ(Compact Disc Read Only Memory)に記憶されて、他のパーソナルコンピュータに転送が可能なものである。
【００１２】
Ｄ/Ａ変換器１１０は、音声信号を示すディジタルデータが入力されると、そのデータをアナログ信号に変換し、アナログ信号をスピーカ１１８に出力して音声を再生する。１１２は入力部で、例えばキーボード１２０や図示しないマウス等のポインティングデバイスを備えている。１１４は表示部で、例えばＣＲＴや液晶等の表示器１２２を有している。１１６はハイブリッド型音声合成ユニットで、入力されたテキストデータと一致する音声合成ディジタルデータを生成する。１５０はバスで、上記した各部分を接続している。
【００１３】
以上の構成において、この実施例１の実施形態のハイブリッド型音声合成ユニット１１６を制御するための制御プログラムは、外部記憶装置１０８からロードされてＲＡＭ１０６に記憶され、その制御プログラムで用いる各種データは制御メモリ１０２に記憶されている。これらのデータは、ＣＰＵ１０４の制御の下にバス１５０を通じて適宜ＲＡＭ１０６に取り込まれ、ＣＰＵ１０４による制御処理で使用される。Ｄ/Ａ変換器１１０は、制御プログラムを実行することによってハイブリッド型音声合成ユニット１１６で作成される音声合成ディジタルデータを、アナログ信号に変換してスピーカ１１８に出力する。
【００１４】
この実施例１のハイブリッド型音声合成ユニット１１６のモジュールの機能構成例を図２に示し、その動作フローを図３に示す。テキストデータが、入力部１１２から、若しくは外部記憶装置１０８からデータファイルとして入力される（ステップＳ１１２）。入力されたテキストデータは、テキスト解析処理部３２において形態素解析され品詞に分解され読みとアクセント型が付与される（ステップＳ３２）。テキスト解析処理部３２は、音節を一つの合成音声データ単位として、読みとアクセント型を出力する。その読みとアクセント型に基づいた目標韻律パタンが、韻律情報生成部３４で生成される（ステップＳ３４）。目標韻律パタンとできるだけ一致する音声合成データが合成処理部４０で生成される（ステップＳ４０）。
【００１５】
テキスト解析処理部３２における読みとアクセント型を付与する動作（ステップＳ３２）と、韻律情報生成部３４における目標韻律パタンの生成（ステップＳ３４）は、従来からの音声合成装置と同じである。
この発明の要部は、合成処理部４０である。合成処理部４０は、波形接続型音声合成方式による合成音声データ単位（音節）とＨＭＭ音声合成方式による合成音声データ単位をそれぞれ生成（ステップＳ４２，Ｓ４４）し、どちらの合成音声データ単位の音声品質が高いかを音節単位毎に比較判定（ステップＳ５０）することで、品質劣化の少ない合成音声を生成するものである。
【００１６】
両方式による合成音声の品質を比較し選択する単位が長すぎる場合、品質がそれほど高くないＨＭＭ合成音声が明確に知覚されてしまうため、両方式の合成音声が混合された出力合成音声の品質が低くなってしまう。一方、選択する単位が短すぎる場合、両方式による合成音声の接続点が増加することで、接続箇所における不連続性による音声劣化が多発してしまう。そこで、ＨＭＭ合成音声そのものの品質を知覚しにくく、両方式による合成音声の接続点が多くなりすぎない単位として音節単位を使用する。
その結果、品質のよい方の合成音声データを音節単位で接続することで音韻やダイフォン単位よりも接続箇所が少なくなるので、接続箇所の不連続性による劣化が生じ難い。また、音声品質が十分でないＨＭＭ合成音声が連続して出力されることを抑制することで品質がそれ程高くないＨＭＭ合成音声が明確に知覚されることによる品質の低下を防ぐことが出来る。
【００１７】
合成処理部４０は、波形接続型音声合成方式による合成音声とＨＭＭ音声合成方式による合成音声の合成音声の品質が高くなるような音声データを混ぜ合わせて作成されたデータベースである音声コーパス４２と、波形接続型合成音声生成部４４と、信号処理部４６と、ＨＭＭ合成音声生成部４８と、音声品質比較判定手段５０と、ハイブリッド合成音声生成処理手段５２とで構成される。
波形接続型合成音声生成部４４は、韻律情報生成部３４から入力される目標韻律パタンにできるだけ近い音声素片系列である合成音声データを、音声コーパス４２から探索して生成する。
【００１８】
波形接続型音声合成方式による合成音声データは音声素片を接続したものなので、目標韻律パタンを再現することが保証されていない。そこで、信号処理部４６において、波形接続型音声合成方式の合成音声データの韻律を信号処理して目標韻律パタンに正確に合わせる処理を行なう。信号処理部４６で行なう信号処理技術としては、時間領域で音の高さを操作することで韻律を変更させるピッチ同期波形重畳合成方式（ＰＳＯＬＡ法）や、周波数領域で音の高さを操作して韻律を変化させる方法などがある。
【００１９】
ＨＭＭ合成音声生成部４８は、統計モデル学習部４８ｂと、音声パラメータ変換部４８ａと、統計モデル４８ｃとで構成される。統計モデル学習部４８ｂは、音声コーパス４２の音声データを基に予め統計モデル４８ｃを作成する。音声パラメータ変換部４８ａは、統計モデル４８ｃに韻律情報生成部３４から入力される目標韻律パタンを入力することで得られる音声パラメータを合成音声データに変換する。波形接続型合成音声生成部４４とＨＭＭ合成音声生成部４８とが、合成音声データを生成する動作は、従来からそれぞれの方式を単独で備えた音声合成装置と変るところはない。
【００２０】
従来の音声合成装置に対してこの実施例１は、波形接続型合成音声生成部４４とＨＭＭ合成音声生成部４８とが、１個の音声コーパス４２を共有している点と、それぞれの音声生成部が生成する音節単位の合成音声データの品質を比較し、品質の高い方の合成音声データを出力する点が新しい。
【００２１】
〔音声コーパス４２〕
音声コーパス４２は、波形接続型音声合成方式による合成音声の品質が高くなるように設計され集められた音声データと、ＨＭＭ音声合成方式による合成音声の品質が高くなるように設計され集められた音声データとが、混ぜ合わされたデータベースである。
波形接続型音声合成方式による合成音声の品質を高くするには、合成に用いられる頻度が高い音声データが優先的に含まれた音声データベースを用いる必要がある。合成に用いられる頻度が高い音声データとは、日本語では、よくある言い回しや単語、よく用いられる音節や音韻や音韻環境、基本周波数、パワーなどが高確率で含まれる音声データを意味する。
【００２２】
一方、ＨＭＭ音声合成方式による合成音声の品質を高くするには、ＨＭＭが統計モデルである以上、ＨＭＭモデルを学習するためのデータ数が学習単位毎にある程度そろっていなければならない。ＨＭＭモデルの学習単位は音声情報の１つであるスペクトル、つまり、音韻や音韻環境によって分けられる。そこで、基本周波数などは考慮せずに、音韻や音韻環境のバランスのみを考慮に入れて集められた音声データを用いることで、高品質なＨＭＭ合成音声を作成することが出来る。
【００２３】
このような音声データを格納した音声コーパスの構築方法は、例えば、公開特許公報2004−246140に開示されている。音声コーパス４２の具体的な構築方法は、例えば所定の音声データの半分程度は、音響的及び言語的な重みを同一にして、ある程度日本語の頻度を考慮してテキストを選択する。残りの半分については、例えば日本語において頻度が高い３つ組音韻（トライフォン）の数が同数となるような単純なテキストを選択する。このように音声コーパス４２を構築することで、比較的小容量のデータベースでもＨＭＭ音声合成方式にとっては適当な音韻や音韻環境のバランスがとれたテキストを収集することが可能になる。また、日本語としての頻度を重視して集めたテキストで構成されているので、波形接続型音声合成方式にとっても重要な韻律や音韻のバリエーションが保証された音声コーパス４２とすることが出来る。
音声コーパス４２の音声データを基に波形接続型合成音声生成部４４とＨＭＭ合成音声生成部４８が生成したそれぞれの合成音声データは、音声品質比較判定手段５０に入力される。
【００２４】
〔音声品質比較判定手段５０〕
音声品質比較判定手段５０は、波形接続型合成音声生成部４４が生成する合成音声データ単位と、上記ＨＭＭ合成音声生成部４８が生成する合成音声データ単位の、どちらの音声品質が高いかを音節単位毎に比較判定する。
音声品質の比較方法は、機械学習のような統計的手法により判定する方法や、閾値を用いて判定する方法、コスト関数を設計して判定する方法などが考えられる。判定方法の一例として、音声の物理量パラメータを入力とするコスト関数を用いた例を実施例１で説明する。
【００２５】
音声品質比較判定手段５０は、物理量パラメータをコスト値に換算するコスト値換算部５０ａと、コスト値を比較する比較判定部５０ｂとで構成される。判定に用いる物理量パラメータは、音声合成方式によって異なる。
波形接続型合成音声方式では、信号処理による大幅な音声波形の変形は品質劣化につながるので品質劣化度合いを判定するパラメータとして、目標韻律パタンと音声素片系列の韻律パタンとの差分の平均値や最大値が使える。又、音声素片の不明瞭さを判定する物理量パラメータとしては、選択された音声素片の音声コーパス中における韻律環境と入力テキストの韻律環境を比較した値が使える。
【００２６】
一方、ＨＭＭ合成音声方式では、例えば、統計モデルを作成する際の学習単位に含まれる音韻データ数が使える。これは、学習単位に含まれる音韻データ数が少ない場合、信頼性の高い統計モデルを作るのが難しくＨＭＭ音声合成方式による合成音声の品質が低くなると考えられるからである。
【００２７】
また、入力テキストの音韻環境とそれに対応する音節単位のＨＭＭの学習に使用されたデータの音韻環境が一致している割合をパラメータとして使うことで、信頼性の高い統計モデルであるかどうかを判定できる。音韻環境が一致していない場合、同じ音節であっても音の特徴が変化する。音韻環境が完全に一致しているデータのみで学習することが理想だが、そのようなデータがない場合は音韻環境を無視したデータでＨＭＭを学習する場合があるため、このようなパラメータを導入してＨＭＭ合成音声の品質を判定することが出来る。
【００２８】
また、該当音節でＨＭＭ合成音声が選択された場合のＨＭＭ合成音声の連続選択回数もパラメータとして使える。これは、音節単位で波形接続型合成音声かＨＭＭ合成音声かを選択する本方式において、ＨＭＭ合成音声が連続して選択されると、品質がそれほど高くないＨＭＭ合成音声が明確に知覚されてしまい、両方式の合成音声が混合された出力合成音声の品質が低くなってしまうからである。つまり、ＨＭＭ合成音声が連続して選択されないように制御することを目的としたパラメータである。
【００２９】
以上のような物理量パラメータの次元（dimension）はそれぞれ異なるために、単純に比較することが出来ない。そこで実施例１では、それぞれの物理量をコスト関数（式（１））を用いてコスト値に換算した後に比較する。
【００３０】
【数１】
2008191477.tif 000003
ここで、
Ｓ：サブコスト関数
ｆ：シグモイド関数
ｘ：判定のために入力される物理量
θ：物理量に対する閾値
ｉ：物理量パラメータの種類
ｗ：各物理量パラメータに対する重み
α：シグモイド関数の傾斜調節パラメータ
シグモイド関数は、図４に示すようにｙ＝０とｙ＝１を漸近線に持ち、ｅの指数部が０の時にｙ＝１/２を示す関数である。横軸ｘを物理量パラメータとすることで、次元の異なる物理量パラメータを一つの指標であるコスト値に変換出来る。コスト値に変換する際に、各物理量の指数部の各値、閾値θ、重みｗ、傾斜調節パラメータαを操作することで、各物理量パラメータの比較水準を調節することが出来る。この調節は、実験等の結果から事前に設計しておく。
【００３１】
音声品質比較判定手段５０で行なわれる音声品質比較判定処理（ステップＳ５０）の動作フローを図５に示す。音声品質比較判定手段５０内のコスト値換算部５０ａは、波形接続型合成音声生成部４４から入力される合成音声データ単位毎の目標韻律パタンと、音声素片系列である合成音声データ単位を入力として、単位毎の目標韻律パタンと音声素片で形成される韻律パタンとの差分Ｒｄを、式（１）でサブコスト値Ｓ１に換算する（ステップＳ５２０）。また、サブコスト値Ｓ３として合成音声データ単位前後の音韻環境の一致度合いＡＬに換算する（ステップＳ５２１）。サブコスト値Ｓ１とＳ３とを加算してCost1を算出する（ステップＳ５２２）。
【００３２】
ＨＭＭ合成音声生成部４８が出力する合成音声データ単位のコスト値は、コスト値換算部５０ａにおいて、合成音声データ単位内に含まれる学習データの数Ｎに依存したサブコスト値Ｓ２が計算される（ステップＳ５２３）。また、ＨＭＭ合成音声データについてもサブコスト値Ｓ４として合成音声データ単位前後の音韻環境の一致度合いＡＨＬに換算する（ステップＳ５２４）。サブコスト値Ｓ２とＳ４とを加算してCost２を算出する（ステップＳ５２５）。
【００３３】
Cost１とCost２は、比較判定部５０ｂにおいて比較される（ステップＳ５２６）。Cost１≦Cost２の場合（ステップＳ５２６、Ｙｅｓ）は、波形接続型合成音声方式で生成された合成音声データ単位の音声品質の方が、ＨＭＭ合成音声方式で生成された合成音声データ単位よりもよいと判断できる。
Cost１＞Cost２の場合（ステップＳ５２６、Ｎｏ）は、ＨＭＭ合成音声方式で生成された合成音声データ単位の音声品質の方がよいと判断できる。
【００３４】
比較判定部５０ｂにおいて、音声品質がよいと判断された合成音声方式の合成音声データ単位が、ハイブリッド合成音声生成処理手段５２に出力される。
ハイブリッド合成音声生成処理手段５２は、順次入力される合成音声データ単位を接続してハイブリッド合成音声データをバス１５０へ出力する（ステップＳ５２９）。
【００３５】
［変形例］
また、波形接続型合成音声データとＨＭＭ型合成音声データのそれぞれに依存する１個のコスト値を算出して、その１個のコスト値と閾値を比較して合成音声データの選択を行ってもよい。音声品質比較判定処理の変形例（ステップＳ５０’）のその動作フローを図６に示す。
ここで用いるコスト関数はＨＭＭ合成音声を用いることに対する障壁度合（コスト）を表わすこととし、波形接続型合成音声の方が品質が高い場合は高いコスト値を、ＨＭＭ音声合成の方が品質が高い場合は低いコスト値を出力するように設計されたコスト関数である。
【００３６】
ここで波形接続型合成音声生成部４４から入力される合成音声データ単位毎の目標韻律パタンと、音声素片系列である合成音声データ単位を入力として、単位毎の目標韻律パタンと音声素片で形成される韻律パタンとの差分Ｒｄを、式（１）でサブコスト値Ｓ１に換算する（ステップＳ５２０）処理と、サブコスト値Ｓ３として合成音声データ単位前後の音韻環境の一致度合いＡＬをサブコスト値Ｓ３に換算する（ステップＳ５２１）処理は、図５と異なる。ステップＳ５２０とＳ５２１では、波形接続型の合成音声データの音声品質が高い場合、大きなサブコスト値Ｓ１とＳ３を算出し、逆に音声品質が低い場合には小さなサブコスト値を算出する。
【００３７】
一方、ＨＭＭ合成音声生成部４８が出力する合成音声データ単位のコスト値は、合成音声データ単位内に含まれる学習データの数Ｎが多い程、小さなサブコスト値Ｓ２を算出する（ステップＳ５２３’）。また、ＨＭＭ合成音声方式の合成音声データ単位前後の音韻環境の一致度合いＡＨＬも、一致度が高い程、小さなサブコスト値Ｓ４に換算する（ステップＳ５２４’）ように、式（１）に示したシグモイド関数を設計しておく。
【００３８】
このようなサブコスト値Ｓ１〜Ｓ４を１個のコスト値Cost１として算出する（ステップＳ５２２）と、ＨＭＭ合成音声方式の合成音声データの音声品質が高いとコスト値Cost１は、小さな値を示し、波形接続型音声合成方式の合成音声データの音声品質が高いとコスト値Cost１（スコア値）が大きな値を示す。
このように設計されたコスト値Cost１を閾値と比較することでも、どちらの方式の合成音声データの音声品質が高いかを判断することが出来る。
【００３９】
以上述べたように、この発明では、波形接続型音声合成方式による合成音声とＨＭＭ音声合成方式による合成音声のどちらの品質が高いかを判定し、音声合成の単位毎に品質の高い方式の合成音声データを使用することが出来るので、比較的小規模な音声データベースを使用した場合でも高品質な合成音声を生成することが可能となる。
【００４０】
なお、音声品質の比較方法としてコスト関数を用いた例を示して説明を行ったが、一例であって他の方法も考えられる。例えば、機械学習のような統計的手法を用いて比較判断を行ってもよい。波形接続型音声合成方式の合成音声データ単位と、ＨＭＭ音声合成方式の合成音声データ単位のどちらの音声品質がよいかを判定し、その判定結果と上記した物理量パラメータとから機械学習器の１つである２値分類器（ＳＶＭ:Support Vector Machine）を作成しておき、未知の物理量パラメータを２値分類器に入力することで、どちらの方式による合成音声を用いた方が良いかを判断させてもよい。
【００４１】
また、この発明のハイブリッド型音声合成装置を一般的なパーソナルコンピュータを用いてソフトウェアで構成する例で説明を行ったが、図２に示したハイブリッド型音声合成ユニット１１６の各モジュールを、それぞれ専用のハードウェアで構成することも可能である。
【図面の簡単な説明】
【００４２】
【図１】この発明のハイブリッド型音声合成装置１００のハードウェア構成の一例である実施例１を示す図。
【図２】実施例１のハイブリッド型音声合成ユニット１１６のモジュールの機能構成例を示す図。
【図３】ハイブリッド型音声合成ユニット１１６の動作フローを示す図。
【図４】シグモイド関数を示す図。
【図５】音声品質比較判定手段５０（ステップＳ５０）の動作フローを示す図。
【図６】音声品質比較判定手段５０の変形例（ステップＳ５０’）の動作フローを示す図。
【図１】
2008191477.tif 000004
【図２】
2008191477.tif 000005
【図３】
2008191477.tif 000006
【図４】
2008191477.tif 000007
【図５】
2008191477.tif 000008
【図６】
2008191477.tif 000009