(57)【要約】【課題】高品質の音声を合成することができる音声合成システムを提供すること。【解決手段】属性ベクトルを各素片に付与する属性ベクトル付与手段１１１と、各素片が有するスカラ量に基づいて素片を複数のクラスタに分類する素片分類手段１１２と、クラスタ毎に属性ベクトルを分類する属性ベクトル分類手段１１３と、属性ベクトルの分類に対応してクラスタを分割するクラスタ分割手段１１４と、クラスタ毎に代表素片を決定する代表素片決定手段１１５と、クラスタ毎に代表属性ベクトルを決定する代表属性ベクトル決定手段１１６と、目標属性ベクトルを生成する目標属性ベクトル生成手段１２３と、代表属性ベクトルの中から目標属性ベクトルに最も近いものを選択する代表属性ベクトル選択手段１２４と、選択された代表属性ベクトルに対応する代表素片を用いて音声を合成する合成手段１２６とを備えるよう構成した。【選択図】　図１
2004117662.tif 000002
【特許請求の範囲】
【請求項１】
複数の韻律素片および複数の音声波形素片を含む母集合における各素片に関する複数の属性を有した属性ベクトルを前記各素片に付与する属性ベクトル付与手段と、前記各素片が有するスカラ量に基づいて前記素片を複数のクラスタに分類する素片分類手段と、前記クラスタ毎に前記属性ベクトルを分類する属性ベクトル分類手段と、前記属性ベクトルの分類に対応して前記クラスタを分割するクラスタ分割手段と、前記クラスタ毎に代表素片を決定する代表素片決定手段と、前記クラスタ毎に代表属性ベクトルを決定する代表属性ベクトル決定手段と、前記代表素片と前記代表属性ベクトルとを用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段と、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを選択する代表属性ベクトル選択手段と、選択された前記代表属性ベクトルに対応する前記代表素片を用いて音声を合成する合成手段とを備えることを特徴とする音声合成システム。
【請求項２】
前記クラスタにおけるクラスタ歪の大小を判定するクラスタ歪判定手段を備え、前記素片の分類と前記属性ベクトルの分類とを繰り返し、前記クラスタ歪判定手段は、前記クラスタ歪が予め決められた閾値以下になったとき、分類を停止させるようにしたことを特徴とする請求項１に記載の音声合成システム。
【請求項３】
前記クラスタ歪判定手段は、前記クラスタ歪の変化量が予め決められた閾値以下になったとき、分類を停止させるようにしたことを特徴とする請求項２に記載の音声合成システム。
【請求項４】
前記素片分類手段は、前記音声波形素片、アクセント句毎の基本周波数パターン、アクセント句毎の基本周波数の最大値、音素毎の継続時間長、および音素毎のパワーパターンの少なくとも一つを前記素片として分類するようにしたことを特徴とする請求項１ないし請求項３の何れかに記載の音声合成システム。
【請求項５】
前記素片分類手段は、聴覚的な検知限に基づいて前記素片を分類するようにしたことを特徴とする請求項１ないし請求項４の何れかに記載の音声合成システム。
【請求項６】
前記素片分類手段は、前記素片に関して表示し、前記素片を分類するための指示入力を受け付けるようにしたことを特徴とする請求項１ないし請求項５の何れかに記載の音声合成システム。
【請求項７】
前記属性ベクトル分類手段は、ＬＢＧアルゴリズムおよびＫ平均アルゴリズムの何れかを用いて前記属性ベクトルを分類するようにしたことを特徴とする請求項１ないし請求項６の何れかに記載の音声合成システム。
【請求項８】
前記代表属性ベクトル選択手段は、ユークリッド距離およびマハラノビス距離の何れかを用いて前記目標属性ベクトルと前記代表属性ベクトルとの距離を算出するようにしたことを特徴とする請求項１ないし請求項７の何れかに記載の音声合成システム。
【請求項９】
複数の韻律素片および複数の音声波形素片を含む母集合における各素片に関する複数の属性を有した属性ベクトルを前記各素片に付与する属性ベクトル付与手段と、前記各素片が有するスカラ量に基づいて前記素片を複数のクラスタに分類する素片分類手段と、前記クラスタ毎に前記属性ベクトルを分類する属性ベクトル分類手段と、前記属性ベクトルの分類に対応して前記クラスタを分割するクラスタ分割手段と、前記クラスタ毎に代表素片を決定する代表素片決定手段と、前記クラスタ毎に代表属性ベクトルを決定する代表属性ベクトル決定手段とを備え、音声合成に用いる前記代表素片と前記代表属性ベクトルとを含む音声合成辞書を構築するようにしたことを特徴とする音声合成辞書構築装置。
【請求項１０】
請求項９に記載の前記音声合成辞書構築装置によって構築された前記音声合成辞書が含む前記代表素片と前記代表属性ベクトルとを用いて音声を合成する音声合成装置であって、目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段と、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを選択する代表属性ベクトル選択手段と、選択された前記代表属性ベクトルに対応する前記代表素片を用いて音声を合成する合成手段とを備えることを特徴とする音声合成装置。
【請求項１１】
複数の韻律素片および複数の音声波形素片を含む母集合における各素片がそれぞれ有するスカラ量と前記素片に関連付けされた属性ベクトルとに基づいて前記素片を複数のクラスタに分類し、前記クラスタ毎に代表素片と代表属性ベクトルとを決定して保存し、音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成し、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを選択し、選択された前記代表属性ベクトルに対応する前記代表素片を用いて音声を合成することを特徴とする音声合成方法。
【請求項１２】
複数の韻律素片および複数の音声波形素片を含む母集合における各素片に関する複数の属性を有した属性ベクトルを前記各素片に付与するステップと、前記各素片がそれぞれ有するスカラ量に基づいて前記素片を複数のクラスタに分類するステップと、前記クラスタ毎に前記属性ベクトルを分類するステップと、前記属性ベクトルの分類に対応して前記クラスタを分割するステップと、前記クラスタ毎に代表素片を決定するステップと、前記クラスタ毎に代表属性ベクトルを決定するステップと、前記代表素片と前記代表属性ベクトルとを用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成するステップと、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを選択するステップと、選択された前記代表属性ベクトルに対応する前記代表素片を用いて音声を合成するステップとを含むことを特徴とする音声合成方法。
【請求項１３】
複数の韻律素片および複数の音声波形素片を含む母集合における各素片に関する複数の属性を有した属性ベクトルを前記各素片に付与するステップと、前記各素片がそれぞれ有するスカラ量に基づいて前記素片を複数のクラスタに分類するステップと、前記クラスタ毎に前記属性ベクトルを分類するステップと、前記属性ベクトルの分類に対応して前記クラスタを分割するステップと、前記クラスタ毎に代表素片を決定するステップと、前記クラスタ毎に代表属性ベクトルを決定するステップとをコンピュータに実行させ、音声合成に用いる前記代表素片と前記代表属性ベクトルとを含む音声合成辞書を構築するようにしたことを特徴とする音声合成辞書構築プログラム。
【請求項１４】
請求項１３に記載の前記音声合成辞書構築プログラムによって構築された前記音声合成辞書が含む前記代表素片と前記代表属性ベクトルとを用いて音声合成する際、目標となる複数の属性を有した目標属性ベクトルを生成するステップと、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを選択するステップと、選択された前記代表属性ベクトルに対応する前記代表素片を用いて音声を合成するステップとをコンピュータに実行させることを特徴とする音声合成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声を合成するための音声合成システム、音声合成辞書構築装置、音声合成装置、音声合成方法、音声合成辞書構築プログラム、および音声合成プログラムに関する。
【０００２】
【従来の技術】
従来の音声合成システムは、一般に、韻律素片や音声波形素片などの複数の素片が韻律条件に基づいて複数のクラスタに分類され、クラスタ毎に各クラスタを代表する代表素片が決定され、決定された複数の代表素片が韻律条件とともに音声合成辞書に予め登録されるようになっていた。
【０００３】
また、従来の音声合成システムは、音声合成する際、音声合成したいテキストの韻律条件と一致する韻律条件の代表素片を音声合成辞書内において検索し、韻律条件が一致する代表素片が音声合成辞書内に存在する場合には、韻律条件が一致する代表素片を選択し、韻律条件が一致する代表素片が音声合成辞書内に存在しない場合には、テキストの韻律条件に最も近い韻律条件の代表素片を選択し、音声を合成するようになっていた（例えば、特許文献１を参照）。
【０００４】
【特許文献１】
特開２０００−２５０５７０号公報（第１−６頁、図１）
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来の音声合成システムでは、音声合成辞書にほぼ同じ代表素片が複数登録されてしまうという問題があった。また、代表素片が代表するクラスタの分散が大きくなって、選択された代表素片間のばらつきが大きくなり、聴覚上ばらついた印象の音声が合成されてしまうという問題があった。
【０００６】
本発明はこのような問題を解決するためになされたもので、冗長な代表素片を無くすとともに、選択される代表素片間のばらつきを小さくして高品質の音声を合成することができる音声合成システム、音声合成辞書構築装置、音声合成装置、音声合成方法、音声合成辞書構築プログラム、および音声合成プログラムを提供するものである。
【０００７】
【課題を解決するための手段】
本発明の音声合成システムは、複数の韻律素片および複数の音声波形素片を含む母集合における各素片に関する複数の属性を有した属性ベクトルを前記各素片に付与する属性ベクトル付与手段と、前記各素片が有するスカラ量に基づいて前記素片を複数のクラスタに分類する素片分類手段と、前記クラスタ毎に前記属性ベクトルを分類する属性ベクトル分類手段と、前記属性ベクトルの分類に対応して前記クラスタを分割するクラスタ分割手段と、前記クラスタ毎に代表素片を決定する代表素片決定手段と、前記クラスタ毎に代表属性ベクトルを決定する代表属性ベクトル決定手段と、前記代表素片と前記代表属性ベクトルとを用いて音声を合成する際、目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段と、前記代表属性ベクトルの中から前記目標属性ベクトルに最も近いものを選択する代表属性ベクトル選択手段と、選択された前記代表属性ベクトルに対応する前記代表素片を用いて音声を合成する合成手段とを備える構成を有している。
【０００８】
この構成により、冗長な代表素片を無くして記憶容量を節約することができるとともに、代表素片が代表するクラスタの分散を小さくして代表素片間のばらつきを小さくすることにより高品質の音声を合成することができる。
【０００９】
本発明の音声合成システムは、前記クラスタにおけるクラスタ歪の大小を判定するクラスタ歪判定手段を備え、前記素片の分類と前記属性ベクトルの分類とを繰り返し、前記クラスタ歪判定手段は、前記クラスタ歪が予め決められた閾値以下になったとき、分類を停止させるようにした構成を有している。
【００１０】
この構成により、詳細なクラスタが得られることになり、代表素片が代表するクラスタの分散が小さくなって、高品質の音声を合成することができる。
【００１１】
本発明の音声合成システムは、前記クラスタ歪判定手段が、前記クラスタ歪の変化量が予め決められた閾値以下になったとき、分類を停止させるようにした構成を有している。
【００１２】
この構成により、冗長なクラスタリングを行なわないで済むとともに、最適な代表素片が音声合成辞書に登録され、高品質の音声合成をすることができる。
【００１３】
本発明の音声合成システムは、前記素片分類手段が、前記音声波形素片、アクセント句毎の基本周波数パターン、アクセント句毎の基本周波数の最大値、音素毎の継続時間長、および音素毎のパワーパターンの少なくとも一つを前記素片として分類するようにした構成を有している。
【００１４】
この構成により、音声合成に用いられる各種の素片について適当な代表素片が音声合成辞書に登録されて、音声合成の際に適当な代表素片が選択されることになり、高品質の音声を合成することができる。
【００１５】
本発明の音声合成システムは、前記素片分類手段が、聴覚的な検知限に基づいて前記素片を分類するようにした構成を有している。
【００１６】
この構成により、聴覚的に無駄のない代表素片が音声合成辞書に登録されて、音声合成の際に適当な代表素片が選択されることになり、高品質の音声を合成することができる。
【００１７】
本発明の音声合成システムは、前記素片分類手段が、前記素片に関して表示し、前記素片を分類するための指示入力を受け付けるようにした構成を有している。
【００１８】
この構成により、視覚的に確認あるいは指示された適当な代表素片が音声合成辞書に登録されて、音声合成の際に適当な代表素片が選択されることになり、高品質の音声を合成することができる。
【００１９】
本発明の音声合成システムは、前記属性ベクトル分類手段が、ＬＢＧアルゴリズムおよびＫ平均アルゴリズムの何れかを用いて前記属性ベクトルを分類するようにした構成を有している。
【００２０】
この構成により、ＬＢＧアルゴリズムの場合には、クラスタ歪が予め設定した閾値を下回るクラスタを得ることができるので高品質の音声を合成することができ、Ｋ平均アルゴリズムの場合には、クラスタ数を予め設定できるので高品質の音声を合成するのに際して必要なハードウエア資源を設計し易くすることができる。
【００２１】
本発明の音声合成システムは、前記代表属性ベクトル選択手段が、ユークリッド距離およびマハラノビス距離の何れかを用いて前記目標属性ベクトルと前記代表属性ベクトルとの距離を算出するようにした構成を有している。
【００２２】
この構成により、目標属性ベクトルと代表属性ベクトルとの近さを精密に評価することができ、高品質の音声を合成することができる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２４】
（第１の実施の形態）
図１は、本発明の第１の実施の形態の音声合成システムを示すブロック図である。
【００２５】
図１において、音声合成システムは、複数の韻律素片および複数の音声波形素片を含む音声コーパス１０１と、音声合成に用いる代表素片が保存される音声合成辞書１０２と、音声コーパス１０１内の素片を分類して音声合成に用いる代表素片を決定し音声合成辞書１０２を構築する音声合成辞書構築装置１１０と、入力されたテキストに対応する音声を音声合成辞書１０２内の代表素片を用いて合成する音声合成装置１２０とを備える。
【００２６】
音声合成辞書構築装置１１０は、音声コーパス１０１内の各素片に関する複数の属性を有した属性ベクトルを各素片に付与する属性ベクトル付与手段１１１と、音声コーパス１０１内の各素片が有するスカラ量に基づいて音声コーパス１０１内の素片を複数のクラスタに分類する素片分類手段１１２と、素片分類手段１１２によって生成されたクラスタ毎に属性ベクトルを分類する属性ベクトル分類手段１１３と、素片分類手段１１２によって生成された各クラスタを属性ベクトル分類手段１１３による属性ベクトルの分類に対応して分割するクラスタ分割手段１１４と、クラスタ毎に代表素片を決定する代表素片決定手段１１５と、クラスタ毎に代表属性ベクトルを決定する代表属性ベクトル決定手段１１６と、代表属性ベクトルと代表素片とを関連付けて音声合成辞書１０２に登録する登録手段１１７とを備える。
【００２７】
音声合成装置１２０は、音声合成されるテキストが入力されるテキスト入力手段１２１と、テキスト入力手段１２１に入力されたテキストについて言語解析および意味解析を行う解析手段１２２と、テキスト入力手段１２１に入力されたテキストについてパラ言語情報その他の追加情報が入力される追加情報入力手段１３１と、解析手段１２２における解析結果と追加情報入力手段１３１に入力された追加情報とに基づいて、音声合成の目標となる素片毎に音声合成の目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段１２３と、目標属性ベクトルと音声合成辞書１０２に登録された代表属性ベクトルとの近さを算出して代表属性ベクトルの中から目標属性ベクトルに最も近いものを選択する代表属性ベクトル選択手段１２４と、選択された代表属性ベクトルに対応する代表素片を音声合成辞書１０２から取得する代表素片取得手段１２５と、代表素片取得手段１２５によって取得された代表素片を変形して接続することにより音声を合成する合成手段１２６と、合成手段１２６によって合成された音声を出力する音声出力手段１２７とを備える。
【００２８】
以下、本実施の形態の音声合成システムの動作について説明する。
【００２９】
まず、図２のフローチャートを用いて、音声合成辞書構築装置１１０の動作について説明する。
【００３０】
複数の韻律素片と複数の音声波形素片とを含む母集合が音声コーパス１０１に予め記憶されている。ここで、韻律素片には、アクセント句の基本周波数パターン、アクセント句の基本周波数の最大値、音素毎の継続時間長、および、音素毎のパワーパターンが含まれる。また、音声波形素片には、音素を構成する波形データが含まれる。
【００３１】
このような音声コーパス１０１内の韻律素片および音声波形素片のそれぞれに、属性ベクトル付与手段１１１によって、属性ベクトルが付与される（Ｓ２０１）。ここで、属性ベクトルには、アクセント句のモーラ数、アクセント型、品詞、アクセント句の位置、アクセント句の先行音素、アクセント句の後続音素、係り受けや係り先などの構文情報、その他の素片の属性が要素として含まれる。なお、アクセント句のモーラ数、アクセント型、品詞、およびアクセント句の位置といった属性は、先行アクセント句、当該アクセント句、および後続アクセント句に分けて与えられる。さらに、属性ベクトルには、優しい口調や哀惜口調といった口調、アナウンサ様式やコマーシャル様式といった発話様式、喜びや怒りといった感情、その他のパラ言語情報を示す属性が要素として含まれる。
【００３２】
属性ベクトルａｋは、数式１で定義される。
【数式１】
2004117662.tif 000003
ただし、
ｋ＝１，…，Ｎ
ここで、識別番号ｋは、分類の対象となる素片を識別する番号である。また、要素δｋｉ　は、識別番号ｋの素片が注目する属性を有することを示す「１」、および、識別番号ｋの素片が注目する属性を有しないことを示す「０」の何れかの値が与えられる。なお、要素δｋｉは、通常、言語解析や意味解析の結果により値が与えられるが、一部、操作などによって人が適宜に判断することにより値が与えられる場合がある。
【００３３】
次に、素片分類手段１１２によって、音声コーパス１０１内の韻律素片および音声波形素片がそれぞれの物理的な量を示すスカラ量に基づいて複数のクラスタに物理的に分類される（Ｓ２０２）。具体的には、聴覚的な検知限に基づいて素片が分類される。ここで、聴覚的な検知限とは、人の聴覚によって音が区別される尺度である。アクセント句の基本周波数の最大値の場合には例えば０．１ｏｃｔａｖｅといった値が用いられ、音素の継続時間長の場合には例えば５ｍｓといった値が用いられ、音声波形素片の場合には例えば３ｄＢ程度のスペクトル差を用いる。
【００３４】
次に、属性ベクトル分類手段１１３によって、クラスタ毎に属性ベクトルが分類される（Ｓ２０３）。
【００３５】
属性ベクトルの分類には、例えば、Ｋ平均（Ｋ−ｍｅａｎｓ）アルゴリズムや、ＬＢＧアルゴリズム、またはＬＢＧアルゴリズムに似た下記（Ｓ２０３１からＳ２０３４まで）に示すアルゴリズムを用いる。
【００３６】
まず、クラスタの辺縁の近傍で仮のセントロイド（ｃｅｎｔｒｏｉｄ）を２個決める（Ｓ２０３１）。次に、２個のセントロイドのどちらに近いかを判定して集合を２分割する（Ｓ２０３２）。次に、分割された集合のそれぞれにおいて改めてセントロイドを求め、歪み（ｄｉｓｔｏｒｔｉｏｎ）を計算する。（Ｓ２０３３）。ここで、計算された歪みが閾値以下であるか、歪みの変化量が閾値以下である場合には集合の分割を停止し、それ以外の場合には集合を２分割するステップ（Ｓ２０３２）に戻って集合の分割を繰り返す（Ｓ２０３４）。
【００３７】
次に、クラスタ分割手段１１４によって、属性ベクトルの分類に対応して各クラスタが分割される（Ｓ２０４）。ここで、属性ベクトルが互いに異なる集合に分類された素片同士は、互いに異なるクラスタに分類される。
【００３８】
次に、代表素片決定手段１１５によって、クラスタ毎に代表素片が決定される（Ｓ２０５）。例えば、クラスタ毎にセントロイドが代表素片とされる。
【００３９】
次に、代表属性ベクトル決定手段１１６によって、クラスタ毎に代表属性ベクトルが決定される（Ｓ２０６）。
【００４０】
代表属性ベクトルは、各クラスタがどのような特徴を強く持つかを示すため「特徴ベクトル」あるいは「説明ベクトル」ともいう。クラスタＣｌの代表属性ベクトルｆｌは、数式２に示すように、正規化しておく。
【数式２】
2004117662.tif 000004
ただし、
【数式３】
2004117662.tif 000005
ｌ＝１，２，…，Ｌ
ここで、識別番号ｌは、クラスタを識別する番号である。また、要素ｓｉは、クラスタＣｌ内の各素片に付与された各属性ベクトルａｋのｉ番目の要素δｋｉの総和である。また、正規化係数ｒｉは、代表属性ベクトルｆｌの要素ｓｉを正規化するための係数であって、例えばクラスタＣｌ内の素片の総数である。
【００４１】
次に、登録手段１１７によって、代表属性ベクトルと代表素片とが関連付けられて音声合成辞書１０２に登録される（Ｓ２０７）。
【００４２】
以上のように、音声コーパス１０１内の複数の素片は、物理空間と属性ベクトル空間との相互の分類がされた状態となり、物理空間と属性ベクトル空間との両方において互いに異なる複数の代表素片が生成される。具体的には、スカラ量および代表属性ベクトルの両方において互いに異なる複数の代表素片が生成された状態となる。また、初段の物理空間における分類（Ｓ２０２）によって生成された初期のクラスタの分散が大きかった場合、初期のクラスタを説明する互いに距離が離れた複数の代表属性ベクトルが得られたことになる。
【００４３】
以下、図３のフローチャートを用いて、音声合成装置１２０の動作について説明する。
【００４４】
まず、テキスト入力手段１２１によって、音声合成するためのテキストが入力される（Ｓ３０１）。また、必要に応じて、追加情報入力手段１３１によって、パラ言語情報その他の追加情報が入力される。
【００４５】
次に、解析手段１２２によって、入力されたテキストについて言語解析および意味解析が行なわれる（Ｓ３０２）。
【００４６】
次に、目標属性ベクトル生成手段１２３によって、音声合成の目標となる素片毎に目標属性ベクトルが生成される（Ｓ３０３）。具体的には、言語解析および意味解析の解析結果と、口調、発話様式および感情を特定するパラ言語情報とに基づいて目標属性ベクトルが作成される。
【００４７】
次に、代表属性ベクトル選択手段１２４によって、生成された目標属性ベクトルと音声合成辞書１０２に記憶された複数の代表属性ベクトルとについて近さが計算され、代表属性ベクトルの中から目標属性ベクトルに最も近いものが選択される（Ｓ３０４）。具体的には、数式４に示すように、目標属性ベクトルｇｊと各クラスタの代表属性ベクトルｆｌとの内積ｐｌを計算し、数式５に示すように、内積ｐｌの総和で各内積ｐｌを正規化し、正規化された内積ｗｌで、目標属性ベクトルｇｊと代表属性ベクトルｆｌとの近さが評価される。
【数式４】
2004117662.tif 000006
ただし、
【数式５】
2004117662.tif 000007
【００４８】
なお、内積を求める代わりに、ユークリッド距離またはマハラノビス距離を計算してもよい。内積は、一般には、計算対象となる二つの属性ベクトルの中で「０」以外の要素を対象とした距離評価となるが、音声の場合、「０」であることも重要な情報を担う場合があるので、ユークリッド距離やマハラノビス距離により、「０」となる要素も距離に反映させるとよい。
【００４９】
次に、代表素片取得手段１２５によって、目標属性ベクトルに最も近い代表属性ベクトルに対応する代表素片が音声合成辞書１０２から取り出される（Ｓ３０５）。
【００５０】
次に、合成手段１２６によって、代表素片を用いて音声が合成され（Ｓ３０６）、音声出力手段１２７によって、合成音声が出力される（Ｓ３０７）。
【００５１】
なお、図２および図３に示した処理は、それぞれプログラムによってコンピュータに実行させるようにしてもよい。
【００５２】
以上説明したように、本実施の形態の音声合成システムは、複数の韻律素片および複数の音声波形素片からなる母集合が記憶された音声コーパス１０１と、音声コーパス１０１内の各素片に関する複数の属性を有した属性ベクトルを音声コーパス１０１内の各素片に付与する属性ベクトル付与手段１１１と、音声コーパス１０１内の各素片が有するスカラ量に基づいて音声コーパス１０１内の素片を複数のクラスタに分類する素片分類手段１１２と、音声コーパス１０１内のクラスタ毎に属性ベクトルを分類する属性ベクトル分類手段１１３と、属性ベクトル分類手段１１３における属性ベクトルの分類に対応して音声コーパス１０１内のクラスタを分割するクラスタ分割手段１１４と、音声コーパス１０１内のクラスタ毎に代表素片を決定する代表素片決定手段１１５と、音声コーパス１０１内のクラスタ毎に代表属性ベクトルを決定する代表属性ベクトル決定手段１１６と、代表素片決定手段１１５によって決定された代表素片と代表属性ベクトル決定手段１１６によって決定された代表属性ベクトルとを関連付けて音声合成辞書１０２に登録する登録手段１１７と、音声合成辞書１０２内の代表素片と代表属性ベクトルとを用いて音声を合成する際、音声合成に用いる素片毎に目標となる複数の属性を有した目標属性ベクトルを生成する目標属性ベクトル生成手段１２３と、音声合成辞書１０２内の代表属性ベクトルの中から目標属性ベクトルに最も近いものを選択する代表属性ベクトル選択手段１２４と、代表属性ベクトル選択手段１２４によって選択された代表属性ベクトルに対応する代表素片を用いて音声を合成する合成手段１２６とを備えるので、冗長な代表素片を無くすとともに代表素片が代表するクラスタの分散を小さくして代表素片間のばらつきを小さくすることができ、したがって、多数の制御要因に基づく各目標ベクトルに最適な代表素片を選択することができることになり、高品質の音声を合成することができる。
【００５３】
（第２の実施の形態）
図４は、本発明の第２の実施の形態の音声合成システムを示すブロック図である。図４において、図１に示された第１の実施の形態の音声合成システムの構成要素と同じ構成要素には同じ符号を付してある。
【００５４】
本実施の形態の音声合成辞書構築装置４１０は、音声コーパス１０１内のクラスタにおけるクラスタ歪の大小を判定するクラスタ歪判定手段４４１を備え、素片分類手段１１２と属性ベクトル分類手段１１３とクラスタ分割手段１１４とに、属性ベクトルの分類と素片の分類とを繰り返えさせ、クラスタ歪が予め決められた閾値以下になったと判定したとき、素片分類手段１１２と属性ベクトル分類手段１１３とクラスタ分割手段１１４とにおける分類を停止させるようになっている。また、クラスタ歪判定手段４４１が、クラスタ歪の変化量が予め決められた閾値以下になったと判定したときも、素片の分類と属性ベクトルの分類とを停止させるようになっている。
【００５５】
次に、図５のフローチャートを用いて、音声合成辞書構築装置４１０の動作について説明する。
【００５６】
複数の韻律素片と複数の音声波形素片とを含む母集合が音声コーパス１０１に予め記憶されている。
【００５７】
このような音声コーパス１０１内の韻律素片および音声波形素片のそれぞれに、属性ベクトル付与手段１１１によって、属性ベクトルが付与される（Ｓ５０１）。
【００５８】
次に、素片分類手段１１２によって、音声コーパス１０１内の韻律素片および音声波形素片がそれぞれのスカラ量に基づいて複数のクラスタに分類される（Ｓ５０２）。例えばＬＢＧアルゴリズムを用いると最初に分割されたクラスタの数は２つとなる。
【００５９】
次に、属性ベクトル分類手段１１３によって、クラスタ毎に属性ベクトルが分類される（Ｓ５０３）。
【００６０】
次に、クラスタ分割手段１１４によって、属性ベクトルの分類に対応して各クラスタが分割される（Ｓ５０４）。
【００６１】
次に、クラスタ歪判定手段４４１によって、各クラスタにおけるクラスタ歪の大小が判定される（Ｓ５０５）。具体的には、代表素片とクラスタ内の各素片との距離を計算し、その総和（自乗誤差）をクラスタ歪とし、このクラスタ歪みが、聴覚的な検知限などの予め決められた閾値以下か否かを判定する。クラスタ歪がクラスタ歪比較用の閾値を越えるときには、素片の分類と属性ベクトルの分類と（Ｓ５０２からＳ５０４）とを繰り返し、クラスタ歪がクラスタ歪比較用の閾値以下になったときには、分類が停止される。このようなクラスタ歪自体と閾値との比較に併せて、クラスタ歪の変化量と予め決められた変化量比較用の閾値とを比較し、クラスタ歪の変化量が変化量比較用の閾値以下になったとき、分類を停止させる。
【００６２】
次に、代表素片決定手段１１５によって、クラスタ毎に代表素片が決定される（Ｓ５０６）。
【００６３】
次に、代表属性ベクトル決定手段１１６によって、クラスタ毎に代表属性ベクトルが決定される（Ｓ５０７）。
【００６４】
次に、登録手段１１７によって、代表属性ベクトルと代表素片とが関連付けられて音声合成辞書１０２に登録される（Ｓ５０８）。
【００６５】
なお、図５に示した処理は、プログラムによってコンピュータに実行させるようにしてもよい。
【００６６】
以上説明したように、本実施の形態の音声合成システムは、クラスタ歪の大小を判定するクラスタ歪判定手段４４１を備え、素片の分類と属性ベクトルの分類とを繰り返し、クラスタ歪判定手段４４１は、クラスタ歪が予め決められた閾値以下になったとき、分類を停止させるようにしたので、詳細なクラスタが得られることになり、代表素片が代表するクラスタの分散が小さくなって、高品質の音声を合成することができる。また、クラスタ歪判定手段４４１が、クラスタ歪の変化量が予め決められた閾値以下になったとき、分類を停止させるようにすることにより、冗長なクラスタリングを行なわないで済むとともに、最適な代表素片が音声合成辞書１０２に登録されることになり、高品質の音声合成をすることができる。
【００６７】
なお、前述の第１の実施の形態および第２の実施の形態において、素片の母集合が登録された音声コーパスと代表素片が登録された音声合成辞書とを別にして構成した例について説明したが、音声コーパスと音声合成辞書とを一体にして構成してもよい。
【００６８】
また、音声合成辞書は、音声合成装置に組み込まれていてもよい。
【００６９】
また、素片分類手段１１２は、音声波形素片または韻律素片を視覚的なパターンなどで画面に表示し、素片を分類するための指示入力を受け付けるようにしてもよい。
【００７０】
【発明の効果】
本発明によれば、冗長な代表素片をなくすとともに、代表素片間のばらつきを小さくして高品質の音声を合成することができるという優れた効果を有する音声合成システム、音声合成辞書構築装置、音声合成装置、音声合成方法、音声合成辞書構築プログラムおよび音声合成プログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の音声合成システムを示すブロック図
【図２】本発明の第１の実施の形態の音声合成システムにおける音声合成辞書構築処理を示すフローチャート
【図３】本発明の第１の実施の形態および第２の実施の形態の音声合成システムにおける音声合成処理を示すフローチャート
【図４】本発明の第２の実施の形態の音声合成システムを示すブロック図
【図５】本発明の第２の実施の形態の音声合成システムにおける音声合成辞書構築処理を示すフローチャート
【符号の説明】
１０１　音声コーパス
１０２　音声合成辞書
１１０、４１０　音声合成辞書構築装置
１１１　属性ベクトル付与手段
１１２　素片分類手段
１１３　属性ベクトル分類手段
１１４　クラスタ分割手段
１１５　代表素片決定手段
１１６　代表属性ベクトル決定手段
１１７　登録手段
４４１　クラスタ歪判定手段
１２０　音声合成装置
１２１　テキスト入力手段
１２２　解析手段
１２３　目標属性ベクトル生成手段
１２４　代表属性ベクトル選択手段
１２５　代表素片取得手段
１２６　合成手段
１２７　音声出力手段
１３１　追加情報入力手段
【図１】
2004117662.tif 000008
【図２】
2004117662.tif 000009
【図３】
2004117662.tif 000010
【図４】
2004117662.tif 000011
【図５】
2004117662.tif 000012