(57)【要約】【課題】様々な発話特徴情報を含み、高品質な合成音声を生成するための波形辞書を効率的に作成すること。【解決手段】音声データ群１とは異なる発話特徴情報を有する音声データ群２に基づいて、該音声データ群２の統計モデルを作成する統計モデル作成工程Ｓ２０１と、前記音声データ群２の前記統計モデルに基づいて、前記音声データ群１及び前記音声データ群２の少なくとも一方から音声合成用の波形辞書を作成する波形辞書作成工程Ｓ２０２とを含むことを特徴とする波形辞書作成方法。【選択図】　図２
2004101764.tif 000002
【特許請求の範囲】
【請求項１】
第１の音声データ群とは異なる発話特徴情報を有する第２の音声データ群に基づいて、該第２の音声データ群の統計モデルを作成する統計モデル作成工程と、
前記第２の音声データ群の前記統計モデルに基づいて、前記第１の音声データ群及び前記第２の音声データ群の少なくとも一方から音声合成用の波形辞書を作成する波形辞書作成工程と、
を含むことを特徴とする波形辞書作成方法。
【請求項２】
前記統計モデル作成工程は、更に、前記第１の音声データ群に基づいて、前記第１の音声データ群の統計モデルを作成し、前記第１の音声データ群の前記統計モデル及び前記第２の音声データ群に基づいて、前記第２の音声データ群の統計モデルを作成することを特徴とする請求項１に記載の波形辞書作成方法。
【請求項３】
前記波形辞書作成工程は、前記第１の音声データ群の前記統計モデル及び前記第２の音声データ群の前記統計モデルに基づいて、前記第１の音声データ群及び前記第２の音声データ群の少なくとも一方から音声合成用の波形辞書を作成することを特徴とする請求項２に記載の波形辞書作成方法。
【請求項４】
前記第１の音声データ群の前記統計モデル及び前記第２の音声データ群の前記統計モデルは、所定の音声特徴情報を有する音声単位が統計的にモデル化されたものであることを特徴とする請求項１乃至請求項３のいずれか１項に記載の波形辞書作成方法。
【請求項５】
前記第１の音声データ群の前記統計モデル及び前記第２の音声データ群の前記統計モデルの少なくとも一方は、隠れマルコフモデル及びセグメントモデルの少なくとも１つを含むことを特徴とする請求項４に記載の波形辞書作成方法。
【請求項６】
前記第２の音声データ群の前記統計モデルは、最大事後確率推定法、移動ベクトル場平滑化法、最尤線形回帰法の少なくとも１つに基づくモデルを含むことを特徴とする請求項５に記載の波形辞書作成方法。
【請求項７】
前記波形辞書作成工程は、
前記第１の音声データ群及び前記第２の音声データ群の少なくとも一方の中から第１の音声素片と第２の音声素片とを選択し、前記第２の音声素片に基づいて、前記第１の音声素片を変形する音声素片変形工程と、
前記音声素片変形工程で変形された第１の音声素片の歪み情報を計算する歪み計算工程と、
前記第１の音声データ群及び前記第２の音声データ群の少なくとも一方の中から前記歪み情報の小さい音声素片を選択する音声素片選択工程と、
を含むことを特徴とする請求項１乃至請求項６のいずれか１項に記載の波形辞書作成方法。
【請求項８】
前記音声素片変形工程は、前記第１の音声データ群及び前記第２の音声データ群の少なくとも一方が有する所定の音声単位の集合の中から第１の音声素片と第２の音声素片とを選択し、前記第２の音声素片に基づいて、前記第１の音声素片を変形することを特徴とする請求項７に記載の波形辞書作成方法。
【請求項９】
前記音声素片変形工程は、前記第２の音声素片の継続時間長、基本周波数、及び振幅の少なくとも１つを目標値として、前記第１の音声素片を変形することを特徴とする請求項８に記載の波形辞書作成方法。
【請求項１０】
前記音声素片変形工程は、ＰＳＯＬＡ法に基づいて、前記第１の音声素片を変形することを特徴とする請求項９に記載の波形辞書作成方法。
【請求項１１】
前記歪み計算工程は、
前記変形された第１の音声素片と前記第２の音声素片との間の変形歪み情報を計算する変形歪み計算工程と、
前記変形された第１の音声素片と前記第２の音声素片との接続部分の接続歪み情報を計算する接続歪み計算工程と、
前記変形された第１の音声素片と前記第２の音声データ群の前記統計モデルとの間の発話スタイル歪み情報を計算する発話スタイル歪み計算工程と、
を含むことを特徴とする請求項７乃至請求項１０のいずれか１項に記載の波形辞書作成方法。
【請求項１２】
前記変形歪み計算工程は、ユークリッド距離又はマハラノビス距離を距離尺度とし、所定の音声特徴量に基づいて、前記変形歪み情報を計算することを特徴とする請求項１１に記載の波形辞書作成方法。
【請求項１３】
前記接続歪み計算工程は、ユークリッド距離又はマハラノビス距離を距離尺度とし、所定の音声特徴量に基づいて、前記接続歪み情報を計算することを特徴とする請求項１１に記載の波形辞書作成方法。
【請求項１４】
前記発話スタイル歪み計算工程は、前記第２の音声データ群の前記統計モデルの平均値パラメータに基づいて、所定のベクトル系列を生成し、ユークリッド距離又はマハラノビス距離に基づいて、前記発話スタイル歪み情報を計算することを特徴とする請求項１３に記載の波形辞書作成方法。
【請求項１５】
前記歪み計算工程は、前記第１の音声データ群の前記統計モデル又は前記第２の音声データ群の前記統計モデルにおける分散を用いることを特徴とする請求項７乃至請求項１４のいずれか１項に記載の波形辞書作成方法。
【請求項１６】
前記音声素片選択工程は、前記変形歪み情報、前記接続歪み情報、及び前記発話スタイル歪み情報の少なくとも１つに基づいて当該歪み情報の合計値を計算し、前記第１の音声データ群及び前記第２の音声データ群の少なくとも一方から前記合計値の小さい音声素片を前記波形辞書に登録することを特徴とする請求項１１乃至請求項１５のいずれか１項に記載の波形辞書作成方法。
【請求項１７】
前記音声単位は、音素、音節、半音節、音素列、音節列、半音節列、単語、語句の少なくとも１つを含むことを特徴とする請求項７乃至請求項１６のいずれか１項に記載の波形辞書作成方法。
【請求項１８】
第１の音声データ群とは異なる発話特徴情報を有する第２の音声データ群に基づいて、該第２の音声データ群の統計モデルを作成する統計モデル作成部と、
前記第２の音声データ群の前記統計モデルに基づいて、前記第１の音声データ群及び前記第２の音声データ群の少なくとも一方から音声合成用の波形辞書を作成する波形辞書作成部と、
を含むことを特徴とする波形辞書作成装置。
【請求項１９】
コンピュータに、第１の音声データ群とは異なる発話特徴情報を有する第２の音声データ群に基づいて、該第２の音声データ群の統計モデルを作成する統計モデル作成工程と、
前記第２の音声データ群の前記統計モデルに基づいて、前記第１の音声データ群及び前記第２の音声データ群の少なくとも一方から音声合成用の波形辞書を作成する波形辞書作成工程と、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、波形辞書作成方法及びその装置並びにプログラムに関する。
【０００２】
【従来の技術】
近年、任意の文字系列を音韻系列に変換し、その音韻系列を所定の音声規則合成方式に従って、合成音声に変換する音声合成装置が開発されている。
【０００３】
従来の音声合成装置では、通常、怒り、悲しみ、楽しさ等の感情を含まない合成音声が生成されている。しかし、感情を含まない合成音声だけでは、音声合成装置の適用範囲を拡大することができない。音声合成装置の適用範囲を更に拡大していくためには、怒り、悲しみ、楽しさ等の感情や、アニメ調、ＤＪ調、アナウンサ調等の発話スタイル等の様々な発話特徴情報を含む合成音声を、高音質で生成できることが望まれる。このためには、少なくとも様々な発話特徴情報を含み、高品質な合成音声を生成するための波形辞書が必要である。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような波形辞書を作成するためには、話者は、いくつもの感情や発話スタイル等に合わせて、それぞれ大量の発声を行わなくてはならず、極めて非効率的であるという問題点があった。
【０００５】
本発明は、上記の問題点に鑑みてなされたものであり、例えば、様々な発話特徴情報を含み、高品質な合成音声を生成するための波形辞書を効率的に作成することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の第１の側面によれば、波形辞書作成方法に係り、第１の音声データ群とは異なる発話特徴情報を有する第２の音声データ群に基づいて、該第２の音声データ群の統計モデルを作成する統計モデル作成工程と、前記第２の音声データ群の前記統計モデルに基づいて、前記第１の音声データ群及び前記第２の音声データ群の少なくとも一方から音声合成用の波形辞書を作成する波形辞書作成工程とを含むことを特徴とする。
【０００７】
本発明の第２の側面によれば、波形辞書作成装置に係り、第１の音声データ群とは異なる発話特徴情報を有する第２の音声データ群に基づいて、該第２の音声データ群の統計モデルを作成する統計モデル作成部と、前記第２の音声データ群の前記統計モデルに基づいて、前記第１の音声データ群及び前記第２の音声データ群の少なくとも一方から音声合成用の波形辞書を作成する波形辞書作成部とを備えることを特徴とする。
【０００８】
本発明の第３の側面によれば、プログラムに係り、コンピュータに、第１の音声データ群とは異なる発話特徴情報を有する第２の音声データ群に基づいて、該第２の音声データ群の統計モデルを作成する統計モデル作成工程と、前記第２の音声データ群の前記統計モデルに基づいて、前記第１の音声データ群及び前記第２の音声データ群の少なくとも一方から音声合成用の波形辞書を作成する波形辞書作成工程とを実行させることを特徴とする。
【０００９】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１０】
（第１の実施形態）
図１は、本発明の好適な第１の実施形態に係る音声合成用の波形辞書作成装置の構成を示すブロック図である。
【００１１】
図１において、ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラム或いは外部記憶装置１０４からＲＡＭ１０３にロードされた制御プログラムに従って、本発明の実施の形態に係る音声合成用の波形辞書作成装置における各種制御を行う。ＲＯＭ１０２は、各種パラメータやＣＰＵ１０１が実行する制御プログラムなどを格納するメモリである。ＲＡＭ１０３は、ＣＰＵ１０１が各種制御を実行する時に作業領域を提供するとともに、ＣＰＵ１０１により実行される制御プログラムを記憶するメモリである。外部記憶装置１０４は、例えば、ハードディスク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカード等を含む。外部記憶装置１０４が、ハードディスクである場合には、ＣＤ−ＲＯＭやフロッピー（登録商標）ディスク等からインストールされた各種プログラムが記憶されうる。音響入力装置１０５は、例えば、音声を入力するためのマイクロフォン等を含む。補助入力装置１０６は、例えば、キーボード、マウス、ペン、スイッチ、タッチパネル等を含み、例えば、ユーザが読み上げ対象のテキストを入力するとき等に用いられる。表示部１０７は、例えば、液晶やＣＲＴ等を含み、ＣＰＵ１０１の制御により各種データを表示する。補助出力装置１０８は、例えば、スピーカ等を含み、音声合成によりテキストから変換された音声信号（電気信号）を、可聴音である音声データに変換して出力する。バス１０９は、波形辞書作成装置を構成する上記各部を接続する。
【００１２】
図２は、本発明の好適な第１の実施形態に係る波形辞書作成方法を説明するためのフローチャートである。
【００１３】
本発明の好適な第１の実施形態に係る波形辞書作成方法は、２０４の音声データ群１とは異なる発話特徴情報を有する２０５の音声データ群２に基づいて、２０５の音声データ群２の統計モデルを作成する統計モデル作成工程（Ｓ２０１）と、統計モデル作成工程で作成した２０５の音声データ群２の統計モデルに基づいて、２０４の音声データ群１及び２０５の音声データ群２の少なくとも一方から音声合成用の波形辞書を作成する波形辞書作成工程（Ｓ２０２）とを含む。
【００１４】
ここで、２０４の音声データ群１の発声時間の合計は、２０５の音声データ群２の発声時間の合計よりも長いものとする。また、２０５の音声データ群２は、２０４の音声データ群１とは異なる音声特徴情報を有する音声データ群である。なお、本実施形態では、２０４の音声データ群１及び２０５の音声データ群２は、同一話者によって発声された音声データとするが、これらは必ずしも同一話者によるものでなくてもよい。例えば、これらは複数話者により発声された音声データであってもよい。また、本明細書において、「音声特徴情報」とは、各音声の特徴を示す情報である。本実施形態においては、音声特徴情報は、例えば、感情や発話スタイル等の情報、音声特徴量（例えば、ケプトラム等）、発話内容等の情報を含む。以下、各工程の流れを詳細に説明する。
【００１５】
ステップＳ２０１では、統計モデル作成工程として、２０５の音声データ群２の統計モデルを作成する。具体的には、２０５の音声データ群２に含まれる音声単位（例えば、音素、音節、半音節、音素列、音節列、半音節列、単語、語句等）を、隠れマルコフモデル（ＨＭＭ）やセグメントモデルなどの手法を用いて、統計的にモデル化する。ここで、２０５の音声データ群２は、２０４の音声データ群１とは異なる感情もしくは発話スタイル等の音声特徴情報を有する。
【００１６】
ステップＳ２０２では、波形辞書作成工程として、２０５の音声データ群２の統計モデルに基づいて、２０４の音声データ群１及び２０５の音声データ群２の少なくとも一方から音声合成用の波形辞書を作成する。具体的には、波形辞書作成工程では、統計モデル、音声データ群１、及び音声データ群２を用いて、音声データ群２の感情もしくは発話スタイル等の音声特徴情報を含む音声データを高音質に音声合成するために適当な音声素片を、音声データ群１及び音声データ群２の少なくとも一方から選択し、波形辞書に登録する。
【００１７】
図３は、図２のステップＳ２０２の波形辞書作成工程を、更に詳細に説明するフローチャートである。波形辞書作成工程は、図２の２０４の音声データ群１及び２０５の音声データ群２の少なくとも一方の中から所定の音声素片とその他の音声素片とを選択し、その他の音声素片に基づいて、この所定の音声素片を変形する音声素片変形工程（Ｓ３０１）と、音声素片変形工程で変形された音声素片の歪み情報を計算する歪み計算工程（Ｓ３０２）と、２０４の音声データ群１及び２０５の音声データ群２の少なくとも一方の中から歪み情報の小さい音声素片を選択する音声素片選択工程（Ｓ３０４）とを含む。
【００１８】
ここでは、一例として、２０４の音声データ群１及び２０５の音声データ群２の少なくとも一方に含まれる音素ａの音声素片候補集合Ａ（候補数Ｎａ）があり、音声データ群２に含まれる発話特徴情報を含む合成音声を生成するために適した音素ａに対する音声素片を、音声素片候補集合Ａの中から選択する処理を考える。なお、以下の説明では、表記を簡単にするために音素ａに対応する添字は省略する。また、この音声素片候補集合Ａに含まれる任意の音声素片の候補（以下、音声素片候補と呼ぶことにする）のサンプル系列をｗｎ、音声素片候補集合Ａに含まれるその他の音声素片（以下、ターゲット音声素片と呼ぶことにする）のサンプル系列をｗｍとする。
【００１９】
ステップＳ３０１では、音声素片変形工程として、２０４の音声データ群１及び２０５の第２の音声データ群の少なくとも一方が有する音声素片候補集合Ａの中から音声素片候補ｗｎを選択し、音声素片候補集合Ａに含まれるその他の音声素片ｗｍに基づいて、音声素片候補ｗｎを変形する。具体的には、ターゲット音声素片ｗｍの継続時間長ｄｍ、基本周波数を表すピッチマーク系列ｐｍ、短時間音声波形のパワーを表す振幅系列ａｍ等を目標値として、ＰＳＯＬＡ（Ｐｉｔｃｈ−ＳｙｎｃｈｒｏｎｏｕｓＯｖｅｒＬａｐ−Ａｄｄ）法などの合成方式に基づいて、音声素片候補ｗｎを変形する。図５は、ＩＤ等の識別子で識別される各音素素片の音声波形、継続時間長、ピッチマーク系列、及び振幅系列を示すテーブルである。これらの情報は、図２の２０４の音声データ群１及び２０５の音声データ群２にも含まれているものとする。ｗｎをｗｍに対して変形した後の音声素片系列をｗ〜ｎとすると、ｗ〜ｎは
【００２０】
【数１】
2004101764.tif 000003
のように表される。ここで、Ｆｍ［・］はサンプルｍをターゲットとする波形の変形操作を表すものとする。図６は、この変形操作の一例を示す図であり、（ａ）はターゲット素片、（ｃ）は音声素片候補、（ｂ）はターゲット素片の継続時間長・ピッチマーク・振幅等に基づいて音声素片候補を変形した後の素片波形をそれぞれ示す。
【００２１】
ステップＳ３０２では、歪み計算工程として、ステップＳ３０１の音声素片変形工程で変形された音声素片系列ｗ〜ｎの歪み情報を計算する。
【００２２】
ステップＳ３０３では、音素の音声素片候補の全てについて歪みの計算を行ったか否かを判定し、歪み情報の計算が終了していない場合には（ステップＳ３０３でＮＯ）次の音声素片候補に対する歪み情報を計算し、歪み情報の計算が終了している場合には（ステップＳ３０３でＹＥＳ）、次式によって音声素片候補ｗｎの歪み情報の合計Ｌａｌｌ（ｎ）を計算する。
【００２３】
【数２】
2004101764.tif 000004
【００２４】
ここで、ｗＴ、ｗｃ、ｗｓは、それぞれ後述する変形歪み、接続歪み、発話スタイル歪みに対する重み付けを表す。図１０の（ａ）、（ｂ）、（ｃ）は、それぞれ後述する変形歪み、接続歪み、発話スタイル歪みの一例を示す。ステップＳ３０１およびステップＳ３０２の処理は、図１０の対角部分以外の全ての歪み情報を計算した場合に、ステップＳ３０３の判定によって終了となり、ステップＳ３０４へ進む。
【００２５】
ステップＳ３０４では、音声素片選択工程として、２０４の音声データ群１及び２０５の音声データ群２の少なくとも一方の中から歪み情報の小さい音声素片を選択する。具体的には、上記の数式２（数２）によって歪みの合計を計算し、例えば、音声合成用の波形辞書に用いる音声素片候補の数を１つとする場合には、以下の数式３（数３）によって求められたＬａｌｌ（ｎ）を最小化する音声素片ｗ＾ｎを選択する。
【００２６】
【数３】
2004101764.tif 000005
【００２７】
図４は、図３のステップＳ３０２の歪み計算工程を、更に詳細に説明するフローチャートである。
【００２８】
ステップＳ４０１では、変形歪み計算工程として、ステップＳ３０１の音声素片変形工程で変形されたｗ〜ｎとｗｍとの間の変形歪みを計算する。具体的には、例えば、ｗｍから求めた音声特徴量のベクトル系列をｃｍ（ｔ）；｛ｔ＝１、．．．、Ｔｍ｝（Ｔｍはフレーム数）、ｗ〜ｎから求めた音声特徴量のベクトル系列をｃ〜ｎ（ｔ）；｛ｔ＝１、．．．、Ｔｍ｝とし、変形歪みの計算として、例えばユークリッド距離を用いると、ｗｍとｗ〜ｎとの間の変形歪みＬＴ（ｍ，ｎ）は、
【００２９】
【数４】
2004101764.tif 000006
によって計算される。ここで、Ｔは転置を表す。図７は、変形歪みの計算を説明する図であり、（ａ）はターゲット音声素片、（ｂ）はその音声特徴量のベクトル系列、（ｄ）はターゲット音声素片に対して音声素片候補を変形した後の音声素片、（ｃ）はその音声特徴量のベクトル系列をそれぞれ表す。ここでは、全フレームに対して２つの音声特徴量のベクトル系列間のユークリッド距離の総和を計算する。
【００３０】
ステップＳ４０２では、接続歪み計算工程として、ｗｍとｗ〜ｎとの接続歪みを計算する。具体的には、例えば、接続歪みの計算として、ｗｍおよびｗ〜ｎの接続部分、例えば始端と終端フレームにおけるユークリッド距離を用いると、接続歪みＬｃ（ｍ，ｎ）は、
【００３１】
【数５】
2004101764.tif 000007
によって計算される。ここで、Ｔは転置を表す。図８は、接続歪みの計算を説明する図であり、（ａ）はターゲット音声素片、（ｂ）はその音声特徴量のベクトル系列、（ｄ）はターゲット音声素片に対して音声素片候補を変形した後の音声素片、（ｃ）はその音声特徴量のベクトル系列をそれぞれ表す。ここでは、２つの音声特徴量のベクトル系列間の始端および最終フレームのユークリッド距離の和を計算する。
【００３２】
ステップＳ４０３では、発話スタイル歪み計算工程として、ｗ〜ｎと音声データ群２の統計モデルとの間の発話スタイル歪み情報を計算する。具体的には、例えば、音声データ群２の統計モデルが３状態単一混合分布の音素ＨＭＭによってモデル化されているとすると、この３状態の平均ベクトルから、フレーム数のベクトル系列μ（ｔ）；｛ｔ＝１、．．．、Ｔｍ｝を生成し、これとｃ〜ｎ（ｔ）；｛ｔ＝１、．．．、Ｔｍ｝とのユークリッド距離の総和を求めることによって、発話スタイル歪みＬＳ（ｍ，ｎ）は、
【００３３】
【数６】
2004101764.tif 000008
によって計算される。ここで、Ｔは転置を表す。図９は、この発話スタイル歪みの計算を説明する図であり、（ａ）はＨＭＭなどでモデル化された音声データ群２の統計モデルの当該音素の平均値ベクトル、（ｂ）は平均値ベクトルから生成したベクトル系列μ（ｔ）；｛μ（１）＝μ１、μ（２）＝μ１、μ（３）＝μ１、μ（４）＝μ２、．．．｝、（ｄ）はターゲット音声素片に基づいて音声素片候補を変形した後の音声素片、（ｃ）はその音声特徴量のベクトル系列をそれぞれ表す。ここでは、全フレームに対して２つの音声特徴量のベクトル系列間のユークリッド距離の総和を計算する。図９の例では、平均値ベクトルを音素の継続時間フレームに対して均等に状態配分し、これを繰り返すことによってベクトル系列μ（ｔ）を生成している。
【００３４】
以上のようにして、例えば、音声データ群１及び音声データ群２の少なくとも一方からＬａｌｌ（ｎ）を最小化する音声素片ｗ＾ｎを選択して、音声合成用の波形辞書に登録することによって、音声合成用の波形辞書を作成することができる。従って、以上の処理を他の音素に対しても同様に行うことによって、音声データ群２が有する様々な音声特徴情報を含み、高音質な合成音声を生成するための波形辞書を効率的に作成することができる。
【００３５】
（第２の実施形態）
音声データ群２の量が統計モデルを作成するのに十分でないか、或いは、上記の各歪み情報の計算において、統計モデルの分散情報を用いる場合等には、音声データ群１の統計モデルに基づいて、音声データ群２の統計モデルを作成する工程が必要となる。
【００３６】
図１１は、この場合における本発明の好適な第２の実施の形態に係る波形辞書作成方法を説明するフローチャートである。２０５の音声データ群２は、所定の感情や発話スタイルの一つによって発声された音声データを有する。
【００３７】
ステップＳ１１０１では、統計モデル１作成工程として、２０４の音声データ群１の統計モデル１を作成する。具体的には、２０４の音声データ群１に含まれる音声単位（例えば、音素、音節、半音節、音素列、音節列、半音節列、単語、語句等）を、隠れマルコフモデル（ＨＭＭ）やセグメントモデルなどの手法を用いて、統計的にモデル化する。
【００３８】
次に、ステップＳ１１０２では、統計モデル２作成工程として、２０４の音声データ群１とは異なる発話特徴情報を有する２０５の音声データ群２に基づいて、２０５の音声データ群２の統計モデル２を作成する。具体的には、ステップＳ１１０１で作成された統計モデル１に基づいて、２０５の音声データ群２を適応データとして２０５の音声データ群２の音声特徴情報を有する音声単位（例えば、音素、音節、半音節、音素列、音節列、半音節列、単語、語句等）を統計的にモデル化する。
【００３９】
ここで、統計モデル２は、例えば、最大事後確率（ＭＡＰ）推定法、移動ベクトル場平滑化（ＶＦＳ）法、最尤線形回帰（ＭＬＬＲ）法等の適応化手法に基づくモデルを含む。
【００４０】
次に、ステップＳ１１０３では、波形辞書作成工程として、統計モデル１及び統計モデル２に基づいて、２０４の音声データ群１及び２０５の音声データ群２の少なくとも一方から音声合成用の波形辞書を作成する。
【００４１】
（第３の実施形態）
第１の実施形態及び第２の実施形態における歪み情報の計算の距離尺度には、ユークリッド距離が用いられていたが、本発明はこれに限られない。例えば、市街地距離やマハラノビス距離等の他の距離尺度を用いてもよい。マハラノビス距離を用いる場合は、分散が必要となるが、これは統計モデル１もしくは統計モデル２における音声特徴ベクトルの分散を用いて、発話スタイル歪みの平均ベクトル系列生成と同様の方法によって、分散ベクトル系列Σ（ｔ）を生成することができる。このとき、変形歪みは、
【００４２】
【数７】
2004101764.tif 000009
接続歪みは、
【００４３】
【数８】
2004101764.tif 000010
発話スタイル歪みは、
【００４４】
【数９】
2004101764.tif 000011
によってそれぞれ計算される。ここで、Σ（ｔ）−１（ｔ）はΣ（ｔ）の逆行列を表す。
【００４５】
（第４の実施形態）
第１の実施形態乃至第３の実施形態では、音声合成用の波形辞書を作成する際に用いられる音声単位は音素としているが、本発明はこれに限られない。例えば、音声合成用の波形辞書を作成する際に用いられる音声単位は、音素、音節、半音節、音素列、音節列、半音節列、単語、語句等の任意の音声単位であってよい。
【００４６】
（第５の実施形態）
第１の実施形態乃至第４の実施形態では、変形歪みは、同時刻のフレーム間の距離として求められているが、本発明はこれに限られない。例えば、変形歪みは、ＤＰマッチングなどの非線形伸縮に基づいてフレーム間の対応付けをした後に計算されてもよい。
【００４７】
（第６の実施形態）
第１の実施形態乃至第５の実施形態では、発話スタイル歪みは、各統計モデルからベクトル系列μ（ｔ）を生成する際に、継続時間長を均等に状態分配し、その平均ベクトルを用いるという単純な方法で計算されているが、本発明はこれに限られない。例えば、発話スタイル歪みは、モデルパラメータθに対する尤度最大基準によってパラメータを生成する方法や、音声認識における尤度計算と同様に
【００４８】
【数１０】
2004101764.tif 000012
等によって計算されてもよい。
【００４９】
（第７の実施形態）
第１の実施形態乃至第６の実施形態では、変形歪み工程、接続歪み工程、発話スタイル歪み工程の順番で処理が行われているが、本発明はこれに限られず、これらの処理の順序は任意であってよい。
【００５０】
（第８の実施形態）
第１の実施形態乃至第７の実施形態では、各音声単位ごとに各歪み情報を計算しているが、基本周波数や継続時間長などの違いによって各音声単位を事前にクラスタリングし、各クラスタごとに波形辞書用の各音声素片をセットとして選択して各歪み情報を計算してもよい。
【００５１】
（他の実施形態）
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード、又はこれを記憶した記憶媒体等のプログラム製品は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００５２】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００５３】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００５４】
以上説明したように、本発明によれば、大量の音声データ群と、該音声データ群とは異なる感情や発話スタイル等の発話特徴情報を含む少量の音声データ群との２種類の音声データ群に基づいて、感情や発話スタイル等の発話特徴情報に対応した高品質な合成音声を生成するための波形辞書を作成することができる。
【００５５】
【発明の効果】
本発明によれば、例えば、様々な発話特徴情報を含み、高品質な合成音声を生成するための波形辞書を効率的に作成することができる。
【図面の簡単な説明】
【図１】本発明の好適な第１の実施形態に係る音声合成用の波形辞書作成装置の構成を示すブロック図である。
【図２】本発明の好適な第１の実施形態に係る波形辞書作成方法を説明するためのフローチャートである。
【図３】図２の波形辞書作成工程を、更に詳細に説明するフローチャートである。
【図４】図３の歪み計算工程を、更に詳細に説明するフローチャートである。
【図５】各音素素片の音声波形、継続時間長、ピッチマーク系列、及び振幅系列を示すテーブルである。
【図６】音声素片候補をターゲット素辺に対して変形するときの一例を示す図である。
【図７】ターゲット素片と変形後の音声素片候補との間の変形歪みの計算方法の一例を示す図である。
【図８】ターゲット素片と変形後の音声素片候補との間の始端および終端フレームにおける接続歪みの計算方法の一例を示す図である。
【図９】所定の発話スタイルに対する音声データ群の統計モデルと変形後の音声素片候補との間の発話スタイル歪みの計算方法の一例を示す図である。
【図１０】各音声素片候補の変形歪み、接続歪み、発話スタイル歪みを示す図である。
【図１１】本発明の好適な第２の実施の形態に係る波形辞書作成方法を説明するフローチャートである。
【図１】
2004101764.tif 000013
【図２】
2004101764.tif 000014
【図３】
2004101764.tif 000015
【図４】
2004101764.tif 000016
【図５】
2004101764.tif 000017
【図６】
2004101764.tif 000018
【図７】
2004101764.tif 000019
【図８】
2004101764.tif 000020
【図９】
2004101764.tif 000021
【図１０】
2004101764.tif 000022
【図１１】
2004101764.tif 000023