(57)【要約】【課題】韻律辞書の有するピッチ周波数の無声区間とこれに対応する励振源信号の無声区間とのズレにより合成音声に発生するノイズを抑え合成音声の品質を向上するのに好適な韻律辞書作成方法及び韻律辞書作成プログラム、並びに、音声合成装置、音声合成装置制御方法及び音声合成装置制御プログラムを提供する。【解決手段】音声合成装置１００を、音声単位系列・音声単位ラベル系列生成部１０と、韻律生成部１１と、素片接続部１２と、音声波形生成部１３と、韻律辞書１４と、継続長辞書１５と、素片辞書１６とを含んだ構成とし、韻律辞書１４として、音声波形データにおける有声区間のピッチ周波数と、当該音声波形データの無声区間に対して設定された、当該無声区間に先行する有声区間又は後続する有声区間の少なくとも一方との間を補間するピッチ周波数とから成るピッチ周波数情報から構成された韻律辞書を用いる。【選択図】      図１
2005266161.tif 000002
【特許請求の範囲】
【請求項１】
音声合成に用いる韻律辞書を作成するための方法であって、
複数の発声内容にそれぞれ対応した音声波形データの有声区間におけるピッチ周波数を抽出するピッチ周波数抽出ステップと、
前記音声波形データの無声区間毎に、当該無声区間に先行する有声区間及び後続の有声区間の少なくとも一方に対応するピッチ周波数に基づき前記無声区間を補間するピッチ周波数を生成するピッチ周波数生成ステップと、
前記ピッチ周波数抽出ステップにおいて抽出した有声区間のピッチ周波数と、前記ピッチ周波数生成ステップにおいて生成された無声区間のピッチ周波数とに基づき、前記音声波形データを構成する音声単位データ毎のピッチ周波数情報を生成するピッチ周波数情報生成ステップと、
前記音声単位データ毎にそれぞれ対応する音韻環境毎に、同一の音韻環境に含まれる複数の前記音声単位データに対応する前記ピッチ周波数情報に基づき、当該複数の音声単位データに対応するピッチ周波数の統計量を算出する統計量算出ステップと、
前記統計量算出ステップにおける算出結果に基づき、前記音声単位データ毎にそれぞれ対応する音韻環境毎に、代表となるピッチ周波数情報を決定する代表ピッチ周波数情報決定ステップと、
前記代表ピッチ周波数情報決定ステップにおいて決定されたピッチ周波数情報を用いて前記韻律辞書を生成する韻律辞書生成ステップと、を含むことを特徴とする韻律辞書作成方法。
【請求項２】
前記統計量算出ステップにおいては、前記統計量として、前記複数の音声単位データに対応するピッチ周波数の平均値を算出することを特徴とする請求項１記載の韻律辞書作成方法。
【請求項３】
前記統計量算出ステップにおいては、前記統計量として、前記複数の音声単位データに対応するピッチ周波数の、平均値及び分散値を算出することを特徴とする請求項１記載の韻律辞書作成方法。
【請求項４】
音声合成に用いる韻律辞書を作成するためのプログラムであって、
複数の発声内容にそれぞれ対応した音声波形データの有声区間におけるピッチ周波数を抽出するピッチ周波数抽出手段、
前記音声波形データの無声区間毎に、当該無声区間に先行する有声区間及び後続の有声区間の少なくとも一方に対応するピッチ周波数に基づき前記無声区間を補間するピッチ周波数を生成する補間ピッチ周波数生成手段、
前記ピッチ周波数抽出手段によって抽出した有声区間のピッチ周波数と、前記補間ピッチ周波数生成手段によって生成された無声区間のピッチ周波数とに基づき、前記音声波形データを構成する音声単位データ毎のピッチ周波数情報を生成するピッチ周波数情報生成手段、
前記音声単位データ毎にそれぞれ対応する音韻環境毎に、同一の音韻環境に含まれる複数の前記音声単位データに対応する前記ピッチ周波数情報に基づき、当該複数の音声単位データに対応するピッチ周波数の統計量を算出する統計量算出手段、
前記統計量算出手段の算出結果に基づき、前記音声単位データ毎にそれぞれ対応する音韻環境毎に、代表となるピッチ周波数情報を決定する代表ピッチ周波数情報決定手段並びに、
前記代表ピッチ周波数情報決定手段によって決定されたピッチ周波数情報を用いて前記韻律辞書を生成する韻律辞書生成手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする韻律辞書作成プログラム。
【請求項５】
発音・韻律記号列に対応した合成音声波形を生成する音声合成装置であって、
請求項１乃至３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書を用いて前記発音・韻律記号列に対応した合成音声波形を生成することを特徴とする音声合成装置。
【請求項６】
発音・韻律記号列に対応した合成音声波形を生成する音声合成装置であって、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、
前記発音・韻律記号列及び音声単位毎の音韻環境情報を含むラベル情報に基づき音声単位系列及び音声単位ラベル系列を生成する音声単位系列・音声単位ラベル系列生成手段と、
前記音声単位・音声単位ラベル系列生成手段によって生成された前記音声単位系列及び前記音声単位ラベル系列と、前記韻律辞書のピッチ周波数情報と、前記継続長辞書の継続長情報とに基づき韻律情報を生成する韻律情報生成手段と、
前記韻律情報生成手段によって生成された韻律情報と、前記素片辞書の前記スペクトル情報及び前記励振源情報とに基づきスペクトル情報系列及び励振源情報系列を生成する素片接続手段と、
前記スペクトル情報系列及び前記励振源情報系列に基づき前記発音・韻律記号列に対応する合成音声波形を生成する音声波形生成手段と、を備えることを特徴とする音声合成装置。
【請求項７】
発音・韻律記号列に対応した合成音声波形を生成する音声合成装置であって、
音声素片毎の非モデル化のスペクトル情報と前記音声素片毎の各音声素片における有声区間及び無声区間を示す情報を含む励振源情報とを含んで成る素片辞書と、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、
前記発音・韻律記号列に対応する音声単位系列を生成する音声単位系列生成手段と、
前記音声単位系列の各音声単位毎に対応する音韻環境情報を含むラベル情報から音声単位ラベル系列を生成する音声単位ラベル系列生成手段と、
前記音声単位ラベル系列に基づき、前記音声単位系列の各音声単位毎に対応する前記ピッチ周波数情報を前記韻律辞書から取得し、当該取得したピッチ周波数情報に基づき前記音声単位系列に対応するピッチ周波数系列を生成するピッチ周波数系列生成手段と、
前記音声単位系列における各音声単位毎に対応する前記スペクトル情報を前記素片辞書から取得し、当該取得したスペクトル情報に基づき前記音声単位系列に対応するスペクトル情報系列を生成するスペクトル情報系列生成手段と、
前記素片辞書から取得した前記音声単位系列の各音声単位毎に対応する前記励振源情報と、前記継続長辞書から取得した前記音声単位系列の各音声単位毎に対応する前記継続長情報と、前記ピッチ周波数系列生成手段によって生成された前記ピッチ周波数系列とに基づき前記音声単位系列に対応する励振源情報系列を生成する励振源情報系列生成手段と、
前記スペクトル情報系列と前記励振源情報系列とに基づき前記テキストに対応する合成音声波形を生成する音声波形生成手段と、を備えることを特徴とする音声合成装置。
【請求項８】
前記励振源情報は、当該励振源情報によって生成される励振源信号が有声か又は無声かを示す有声／無声フラグを含んで成ることを特徴とする請求項６又は請求項７記載の音声合成装置。
【請求項９】
前記有声／無声フラグは、前記励振源情報によって生成される励振源信号の周波数帯域を複数のサブバンドに分割した各サブバンド毎に設定されていることを特徴とする請求項８記載の音声合成装置。
【請求項１０】
前記励振源情報は、有声時を表す周期的パルスと無声時を表す雑音との混合比である有声強度情報を含んで成ることを特徴とする請求項６又は請求項７記載の音声合成装置。
【請求項１１】
前記有声強度情報は、前記音声単位に対応する励振源信号の周波数帯域を複数のサブバンドに分割した各サブバンド毎に設定されていることを特徴とする請求項１０記載の音声合成装置。
【請求項１２】
発音・韻律記号列に対応した合成音声波形を生成するための音声合成方法であって、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、を用意し、
前記発音・韻律記号列及び音声単位毎の音韻環境情報を含むラベル情報に基づき音声単位系列及び音声単位ラベル系列を生成する音声単位系列・音声単位ラベル系列生成ステップと、
前記音声単位・音声単位ラベル系列生成ステップにおいて生成された前記音声単位系列及び前記音声単位ラベル系列と、前記韻律辞書のピッチ周波数情報と、前記継続長辞書の継続長情報とに基づき韻律情報を生成する韻律情報生成ステップと、
前記韻律情報生成ステップにおいて生成された韻律情報と、前記素片辞書の前記スペクトル情報及び前記励振源情報とに基づきスペクトル情報系列及び励振源情報系列を生成する素片接続ステップと、
前記スペクトル情報系列及び前記励振源情報系列に基づき前記発音・韻律記号列に対応する合成音声波形を生成する音声波形生成ステップと、を含むことを特徴とする音声合成方法。
【請求項１３】
発音・韻律記号列に対応した合成音声波形を生成するための音声合成方法であって、
音声素片毎の非モデル化のスペクトル情報と前記音声素片毎の有声区間及び無声区間を示す情報を含む励振源情報とを含んで成る素片辞書と、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、を用意し、
前記発音・韻律記号列に対応する音声単位系列を生成する音声単位系列生成ステップと、
前記音声単位系列の各音声単位毎に対応する音韻環境情報を含むラベル情報から音声単位ラベル系列を生成する音声単位ラベル系列生成ステップと、
前記音声単位ラベル系列に基づき、前記音声単位系列の各音声単位毎に対応する前記ピッチ周波数情報を前記韻律辞書から取得し、当該取得したピッチ周波数情報に基づき前記音声単位系列に対応するピッチ周波数系列を生成するピッチ周波数系列生成ステップと、
前記音声単位系列における各音声単位毎に対応する前記スペクトル情報を前記素片辞書から取得し、当該取得したスペクトル情報に基づき前記音声単位系列に対応するスペクトル情報系列を生成するスペクトル情報系列生成ステップと、
前記素片辞書から取得した前記音声単位系列の各音声単位毎に対応する前記励振源情報と、前記継続長辞書から取得した前記音声単位系列の各音声単位毎に対応する前記継続長情報と、前記ピッチ周波数系列生成手段によって生成された前記ピッチ周波数系列とに基づき前記音声単位系列に対応する励振源情報系列を生成する励振源情報系列生成ステップと、
前記スペクトル情報系列と前記励振源情報系列とに基づき前記テキストに対応する合成音声波形を生成する音声波形生成ステップと、を含むことを特徴とする音声合成方法。
【請求項１４】
発音・韻律記号列に対応した合成音声波形を生成する音声合成装置を制御するためのプログラムであって、
前記音声合成装置は、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、を備えており、
前記発音・韻律記号列及び音声単位毎の音韻環境情報を含むラベル情報に基づき音声単位系列及び音声単位ラベル系列を生成する音声単位系列・音声単位ラベル系列生成手段、
前記音声単位・音声単位ラベル系列生成手段によって生成された前記音声単位系列及び前記音声単位ラベル系列と、前記韻律辞書のピッチ周波数情報と、前記継続長辞書の継続長情報とに基づき韻律情報を生成する韻律情報生成手段、
前記韻律情報生成手段によって生成された韻律情報と、前記素片辞書の前記スペクトル情報及び前記励振源情報とに基づきスペクトル情報系列及び励振源情報系列を生成する素片接続手段並びに、
前記スペクトル情報系列及び前記励振源情報系列に基づき前記発音・韻律記号列に対応する合成音声波形を生成する音声波形生成手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする音声合成装置制御プログラム。
【請求項１５】
発音・韻律記号列に対応した音声を生成する音声合成装置を制御するためのプログラムであって、
前記音声合成装置は、
音声素片毎の非モデル化のスペクトル情報と前記音声素片毎の有声区間及び無声区間を示す情報を含む励振源情報とを含んで成る素片辞書と、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、を備えており、
前記発音・韻律記号列に対応する音声単位系列を生成する音声単位系列生成手段、
前記音声単位系列の各音声単位毎に対応する音韻環境情報を含むラベル情報から音声単位ラベル系列を生成する音声単位ラベル系列生成手段、
前記音声単位ラベル系列に基づき、前記音声単位系列の各音声単位毎に対応する前記ピッチ周波数情報を前記韻律辞書から取得し、当該取得したピッチ周波数情報に基づき前記音声単位系列に対応するピッチ周波数系列を生成するピッチ周波数系列生成手段、
前記音声単位系列における各音声単位毎に対応する前記スペクトル情報を前記素片辞書から取得し、当該取得したスペクトル情報に基づき前記音声単位系列に対応するスペクトル情報系列を生成するスペクトル情報系列生成手段、
前記素片辞書から取得した前記音声単位系列の各音声単位毎に対応する前記励振源情報と、前記継続長辞書から取得した前記音声単位系列の各音声単位毎に対応する前記継続長情報と、前記ピッチ周波数系列生成手段によって生成された前記ピッチ周波数系列とに基づき前記音声単位系列に対応する励振源情報系列を生成する励振源情報系列生成手段及び、
前記スペクトル情報系列と前記励振源情報系列とに基づき前記テキストに対応する合成音声波形を生成する音声波形生成手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする音声合成装置制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成に用いられる韻律辞書の生成方法に係り、特に、韻律辞書の有するピッチ周波数の無声区間とこれに対応する励振源信号の無声区間とのズレにより合成音声に発生するノイズを抑え合成音声の品質を向上するのに好適な韻律辞書作成方法及び韻律辞書作成プログラム、並びに、音声合成装置、音声合成装置制御方法及び音声合成装置制御プログラムに関する。
【背景技術】
【０００２】
従来、文章等のテキストデータから生成される発音・韻律記号列から音声を合成する音声合成システムとして、図２１に示すように、発音・韻律記号列及び音声単位毎のラベル情報から音声単位系列及び音声単位ラベル系列を生成する音声単位系列・音声単位ラベル系列生成部と、音声単位毎の継続長情報を含んで成る継続長辞書と、ＨＭＭ（隠れマルコフモデル）により生成されたラベル情報毎のピッチ周波数情報を含んで成るＨＭＭ韻律辞書と、有声か又は無声かを示す情報を含む励振源情報と、音声単位毎のスペクトル情報とを含んで成る素片辞書と、継続長辞書から取得した音声単位系列に対応する継続長情報及びＨＭＭ韻律辞書から取得した音声単位ラベル系列に対応するピッチ周波数情報とから韻律情報を生成する韻律生成部と、韻律情報と素片辞書から取得した励振源情報及びスペクトル情報からスペクトル情報系列及び励振源情報系列を生成する素片接続部と、スペクトル情報系列及び励振源情報系列から発音・韻律記号列に対応する合成音声を生成する音声波形生成部と、を含んだ構成となっている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の音声合成システムにおいては、ピッチ周波数情報を生成する際にＨＭＭを用いているため、ピッチ周波数の無声区間と励振源情報の無声区間とがうまく合わずに、ピッチ周波数の無声区間と励振源情報の有声区間とが重なってしまう現象が発生する。これは、ＨＭＭにより統計的に平均化されたピッチ周波数を、多数の励振源情報の中から選択されたベストな励振源情報に対応させているため両者にズレが生じることにより発生するものである。このズレが生じると、音声波形生成部では、励振源情報の有声区間に対応したスペクトル情報を持つフィルタを、励振源情報の無声区間に対応する白色雑音等の信号で駆動してしまうため、その部分の音声波形として雑音が生成されることになる。つまり、この雑音によって、合成音声の品質は劣化する。このことは、スペクトル情報がモデル化されておらず、且つ、励振源情報に各音声素片における有声／無声を示す情報が含まれる素片辞書を有した音声合成システムにおいて顕著である。特に、分析合成方式の音声合成システムにおいて、素片辞書が音声素片毎の非モデル化のスペクトル情報と音声素片毎の励振源情報から構成されるならばいっそう顕著となる。
【０００４】
また、上記したようにＨＭＭによってスペクトルをモデル化するために、スペクトルが平均化され平坦になるため、合成音声の品質はＨＭＭによってモデル化されていないものと比較して低下する。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、韻律辞書の有するピッチ周波数の無声区間とこれに対応する励振源信号の無声区間とのズレにより合成音声に発生するノイズを抑え合成音声の品質を向上するのに好適な韻律辞書作成方法及び韻律辞書作成プログラム、並びに、音声合成装置、音声合成装置制御方法及び音声合成装置制御プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明に係る請求項１記載の韻律辞書作成方法は、音声合成に用いる韻律辞書を作成するための方法であって、
複数の発声内容にそれぞれ対応した音声波形データの有声区間におけるピッチ周波数を抽出するピッチ周波数抽出ステップと、
前記音声波形データの無声区間毎に、当該無声区間に先行する有声区間及び後続の有声区間の少なくとも一方に対応するピッチ周波数に基づき前記無声区間を補間するピッチ周波数を生成するピッチ周波数生成ステップと、
前記ピッチ周波数抽出ステップにおいて抽出した有声区間のピッチ周波数と、前記ピッチ周波数生成ステップにおいて生成された無声区間のピッチ周波数とに基づき、前記音声波形データを構成する音声単位データ毎のピッチ周波数情報を生成するピッチ周波数情報生成ステップと、
前記音声単位データ毎にそれぞれ対応する音韻環境毎に、同一の音韻環境に含まれる複数の前記音声単位データに対応する前記ピッチ周波数情報に基づき、当該複数の音声単位データに対応するピッチ周波数の統計量を算出する統計量算出ステップと、
前記統計量算出ステップにおける算出結果に基づき、前記音声単位データ毎にそれぞれ対応する音韻環境毎に、代表となるピッチ周波数情報を決定する代表ピッチ周波数情報決定ステップと、
前記代表ピッチ周波数情報決定ステップにおいて決定されたピッチ周波数情報を用いて前記韻律辞書を生成する韻律辞書生成ステップと、を含むことを特徴としている。
【０００６】
つまり、音声波形データ中にある無声区間に対して、これに先行する有声区間及び後続の有声区間の少なくとも一方に対応するピッチ周波数に基づき当該無声区間を補間するピッチ周波数を生成するようにしたので、各音声単位データ毎のピッチ周波数情報に対して、その無声区間に対してもピッチ周波数を設定することが可能である。即ち、無声区間に対してもピッチ周波数が設定されたピッチ周波数情報から成る韻律辞書を生成することが可能である。従って、この韻律辞書を音声合成に用いることによって、音声合成時に、ピッチ周波数情報における無声区間と励振源信号における有声区間とが重なってしまった場合でも、ピッチ周波数情報の無声区間には当該無声区間を補間するピッチ周波数が設定されているので、その無声区間に対して有声時のスペクトル情報によるフィルタ処理が行われても該当する箇所における雑音の発生を抑えることが可能となる。
【０００７】
ここで、ピッチ周波数は、音声中の周期性を持つ部分の周期の逆数であり、声の高さを表す。以下、請求項４記載の韻律辞書作成プログラム、請求項５〜請求項７記載の音声合成装置、請求項１２及び請求項１３記載の音声合成方法、並びに、請求項１４及び請求項１５記載の音声合成装置制御プログラムにおいて同じである。
また、ピッチ周波数情報は、音声波形データを構成する音声単位データ毎のピッチ周波数により構成されたものである。なお、音声単位データ中に無声区間がある場合は、上記したように当該無声区間を補間するピッチ周波数を用いて構成する。以下、請求項４記載の韻律辞書作成プログラム、請求項５〜請求項７記載の音声合成装置、請求項１２及び請求項１３記載の音声合成方法、並びに、請求項１４及び請求項１５記載の音声合成装置制御プログラムにおいて同じである。
【０００８】
また、音声単位は、例えば、音素やモーラ等を用いて所定の単位で構成することが可能である。つまり、音素やモーラそのものを音声単位としたり、音素やモーラ等を用いて、「わたし」という語句を構成して音声単位としたり、「わたしは」、「わたしが」といった語句を構成して音声単位とすることが可能である。ここで、音素（phoneme）とは、 ある一つの言語で用いる音の単位で、意味の相違をもたらす最小の単位であり、ある音が当該言語で他の音と弁別的である場合に一つの音素と認められる。また、モーラとは、１子音音素と１短母音音素とを合せたものと等しい長さの音素結合である。また、モーラは、日本語の場合、仮名文字単位に相当し、音節とはやや異なっている。俳句や和歌で５，７，５，７，７，などと数えるときの音の単位で、伸ばす音「ー」(長母音) や詰まる音「ッ」(促音)、跳ねる音「ン」(撥音) なども１モーラと考える。以下、請求項４記載の韻律辞書作成プログラム、請求項５〜請求項７記載の音声合成装置、請求項１２及び請求項１３記載の音声合成方法、並びに、請求項１４及び請求項１５記載の音声合成装置制御プログラムにおいて同じである。
【０００９】
また、音韻環境とは、具体的に以下のようなものを指す。
・先行音素、当該音素、後続音素
・当該音素のアクセント句内でのモーラ位置
・先行、当該又は後続の品詞、先行、当該又は後続の活用形、先行、当該又は後続の活用型
・先行、当該又は後続のアクセント句のモーラ長、先行、当該又は後続のアクセント型
・当該アクセント句の位置、前後のポーズの有無
・先行、当該又は後続の呼気段落のモーラ長
・当該呼気段落の位置
【００１０】
上記した音韻環境は、音声データ毎にラベル情報として設定され音声合成において用いられる。以下、請求項４記載の韻律辞書作成プログラム、請求項５〜請求項７記載の音声合成装置、請求項１２及び請求項１３記載の音声合成方法、並びに、請求項１４及び請求項１５記載の音声合成装置制御プログラムにおいて同じである。
【００１１】
また、本発明に係る請求項２記載の韻律辞書作成方法は、請求項１記載の韻律辞書作成方法において、前記統計量算出ステップにおいては、前記統計量として、前記複数の音声単位データに対応するピッチ周波数の平均値を算出することを特徴としている。
つまり、同一の音韻環境を有する複数の音声単位データに対応したピッチ周波数の平均値をその音韻環境に対する代表のピッチ周波数情報として決定するようにしたので、複数のピッチ周波数の分布の中央付近の値を有することになり、同一の音韻環境を有するどのような音声単位データに対しても大きなズレの発生しない代表値を決定することが可能である。
【００１２】
また、本発明に係る請求項３記載の韻律辞書作成方法は、請求項１記載の韻律辞書作成方法において、前記統計量算出ステップにおいては、前記統計量として、前記複数の音声単位データに対応するピッチ周波数の、平均値及び分散値を算出することを特徴としている。
つまり、同一の音韻環境を有する複数の音声単位データに対応したピッチ周波数の、平均値及び分散値をその音韻環境に対する代表のピッチ周波数情報として決定するようにしたので、同一の音韻環境を有する音声データ単位に対応したピッチ周波数の分布を考慮することができ、平均値に加え、分散値及び標準偏差値による選択性を持たせることが可能である。
【００１３】
また、上記目的を達成するために、本発明に係る請求項４記載の韻律辞書作成プログラムは、音声合成に用いる韻律辞書を作成するためのプログラムであって、
複数の発声内容にそれぞれ対応した音声波形データの有声区間におけるピッチ周波数を抽出するピッチ周波数抽出手段、
前記音声波形データの無声区間毎に、当該無声区間に先行する有声区間及び後続の有声区間の少なくとも一方に対応するピッチ周波数に基づき前記無声区間を補間するピッチ周波数を生成する補間ピッチ周波数生成手段、
前記ピッチ周波数抽出手段によって抽出した有声区間のピッチ周波数と、前記補間ピッチ周波数生成手段によって生成された無声区間のピッチ周波数とに基づき、前記音声波形データを構成する音声単位データ毎のピッチ周波数情報を生成するピッチ周波数情報生成手段、
前記音声単位データ毎にそれぞれ対応する音韻環境毎に、同一の音韻環境に含まれる複数の前記音声単位データに対応する前記ピッチ周波数情報に基づき、当該複数の音声単位データに対応するピッチ周波数の統計量を算出する統計量算出手段、
前記統計量算出手段の算出結果に基づき、前記音声単位データ毎にそれぞれ対応する音韻環境毎に、代表となるピッチ周波数情報を決定する代表ピッチ周波数情報決定手段並びに、
前記代表ピッチ周波数情報決定手段によって決定されたピッチ周波数情報を用いて前記韻律辞書を生成する韻律辞書生成手段として実現される機能をコンピュータに実行させるためのプログラムであることを特徴としている。
ここで、本発明は、請求項１記載の韻律辞書作成方法を実現するためのプログラムであり、これにより請求項１の韻律辞書作成方法と同等の効果を得ることが可能である。
【００１４】
また、上記目的を達成するために、本発明に係る請求項５記載の音声合成装置は、発音・韻律記号列に対応した合成音声波形を生成する音声合成装置であって、
請求項１乃至３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書を用いて前記発音・韻律記号列に対応した合成音声波形を生成することを特徴としている。
【００１５】
このような構成であれば、音声合成時に、ピッチ周波数情報における無声区間と励振源信号における有声区間とが重なってしまった場合でも、ピッチ周波数情報の無声区間には当該無声区間を補間するピッチ周波数が設定されているので、有声時のスペクトル情報によってフィルタ処理が行われても該当する箇所における雑音の発生を抑えることが可能となる。
【００１６】
ここで、発音・韻律記号列は、テキスト文に対するアクセント解析結果及び形態素解析結果に基づいて生成される韻律記号付きの読み情報である。韻律記号は、呼気段落区切り、アクセント句区切り、アクセント核位置などから構成される。例えば、日本語におけるアクセントは、単語毎に決まっており、英語におけるストレスと同様、語彙の特定に利用される。例えば、「橋」と「箸」のような同音異義語はアクセントによって区別される。両者の音声的な弁別は、声の高さが急激に下がる点（これをアクセント核と呼ぶ）がどの位置にあるかによってなされている。また、アクセント句とは、高々１つのアクセント核を持つ語句のことである。また、アクセント型とは、アクセント核の位置によって定められているもので、例えば、「橋（はし’）」なら「し」がアクセント核を持つ単語となり、これは２型あるいは尾行型と呼ばれ、「箸（は’し）」なら「は」がアクセント核を持つ単語となり、１型あるいは頭高型と呼ばれ、アクセント核を持たないものは０型あるいは平板型と呼ばれる。また、文節や文として発声される場合は、各単語は、付属語との結合や、他の単語と複合語を形成する場合にアクセント位置の影響を受ける。このようなものは、従属型、不完全支配型、融合型及び支配型といった４つの型に分類できることが解っている。また、漢字には、音読み、訓読みといわれるように一般に複数の読み方がある。さらに、連濁、接辞といったように単語の組み合わせによって読み方が変わるものもある。例えば、連濁としては、めざまし＋とけい→めざましどけい、接辞としては、一＋本→いっぽんがある。以下、請求項６及び請求項７記載の音声合成装置、請求項１２及び請求項１３記載の音声合成方法、並びに、請求項１４及び請求項１５記載の音声合成装置制御プログラムにおいて同じである。
【００１７】
また、上記目的を達成するために、本発明に係る請求項６記載の音声合成装置は、発音・韻律記号列に対応した合成音声波形を生成する音声合成装置であって、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、
前記発音・韻律記号列及び音声単位毎の音韻環境情報を含むラベル情報に基づき音声単位系列及び音声単位ラベル系列を生成する音声単位系列・音声単位ラベル系列生成手段と、
前記音声単位・音声単位ラベル系列生成手段によって生成された前記音声単位系列及び前記音声単位ラベル系列と、前記韻律辞書のピッチ周波数情報と、前記継続長辞書の継続長情報とに基づき韻律情報を生成する韻律情報生成手段と、
前記韻律情報生成手段によって生成された韻律情報と、前記素片辞書の前記スペクトル情報及び前記励振源情報とに基づきスペクトル情報系列及び励振源情報系列を生成する素片接続手段と、
前記スペクトル情報系列及び前記励振源情報系列に基づき前記発音・韻律記号列に対応する合成音声波形を生成する音声波形生成手段と、を備えることを特徴としている。
【００１８】
このような構成であれば、音声単位系列・音声単位ラベル系列生成手段によって、前記発音・韻律記号列及び音声単位毎の音韻環境情報を含むラベル情報に基づき音声単位系列及び音声単位ラベル系列を生成することが可能であり、韻律情報生成手段によって、前記音声単位・音声単位ラベル系列生成手段によって生成された前記音声単位系列及び前記音声単位ラベル系列と、前記韻律辞書のピッチ周波数情報と、前記継続長辞書の継続長情報とに基づき韻律情報を生成することが可能であり、素片接続手段によって、前記韻律情報生成手段によって生成された韻律情報と、前記素片辞書の前記スペクトル情報及び前記励振源情報とに基づきスペクトル情報系列及び励振源情報系列を生成することが可能であり、音声波形生成手段によって、前記スペクトル情報系列及び前記励振源情報系列に基づき前記発音・韻律記号列に対応する合成音声波形を生成することが可能である。
【００１９】
従って、音声合成時に、ピッチ周波数系列における無声区間と励振源情報系列における有声区間とが重なってしまった場合でも、ピッチ周波数系列の無声区間には当該無声区間を補間するピッチ周波数が設定されているので、その無声区間に対して有声時のスペクトル情報によるフィルタ処理が行われても該当する箇所における雑音の発生を抑えることが可能となる。
【００２０】
ここで、音声素片は、音素、半音素、複数音素の連なり（例えば、子音−母音、母音−子音−母音、子音−母音−子音など）などから構成されるものである。以下、請求項７記載の音声合成装置、請求項１３及び請求項１４記載の音声合成方法、並びに、請求項１５及び請求項１６記載の音声合成装置制御プログラムにおいて同じである。
また、スペクトル情報は、声道の音響的共振特性を表現する情報であり、励振源情報は、有声時の声帯振動及び無声時の肺からの空気の乱流を表現する情報である。励振源情報は、例えば、有声時は周期性のパルスなどにより表現され、無声時は白色雑音などにより表現される。以下、請求項７記載の音声合成装置、請求項１２及び請求項１３記載の音声合成方法、並びに、請求項１４及び請求項１５記載の音声合成装置制御プログラムにおいて同じである。
【００２１】
また、スペクトル情報及び励振源情報は、音声素片毎に対応するものが１つあっても良いし、複数あっても良い。以下、請求項７記載の音声合成装置、請求項１２及び請求項１３記載の音声合成方法、並びに、請求項１４及び請求項１５記載の音声合成装置制御プログラムにおいて同じである。
また、音声単位系列は、発音・韻律記号列を、音素やモーラといった音声単位により表したものである。例えば、音素に対応する音素記号等で表記される。以下、請求項７記載の音声合成装置、請求項１２及び請求項１３記載の音声合成方法、並びに、請求項１４及び請求項１５記載の音声合成装置制御プログラムにおいて同じである。
【００２２】
また、音声単位ラベル系列は、上記した音声単位系列における各音声単位に対応する音韻環境を含むラベル情報により構成されるものである。例えば、音韻環境として、アクセント句のアクセント型を示す記号ＡＴとアクセント型（０型、１型等）を示す数値との組み合わせを含むラベル情報（例えば、ＡＴ０（アクセント型が０型の場合））や、アクセント句中のモーラ位置を示す記号ＭＰとアクセント句中の何番目のモーラかを示す数値との組み合わせを含むラベル情報（例えば、ＭＰ１（アクセント句中の１番目を示す））など、それぞれの音韻環境を含むラベル情報が予め設定されている。そして、音声単位系列の各音声単位毎に対応する上記ラベル情報を選択し、当該選択したラベル情報により音声単位ラベル系列を生成する。以下、請求項７記載の音声合成装置、請求項１２及び請求項１３記載の音声合成方法、並びに、請求項１４及び請求項１５記載の音声合成装置制御プログラムにおいて同じである。
【００２３】
また、スペクトル情報系列は、上記した音声単位系列に対応した音声素片毎に対応するスペクトル情報を素片辞書から読み出し、読み出したスペクトル情報を用いて表したものである。以下、請求項７記載の音声合成装置、請求項１２及び請求項１３記載の音声合成方法、並びに、請求項１４及び請求項１５記載の音声合成装置制御プログラムにおいて同じである。
【００２４】
また、ピッチ周波数系列は、音声単位系列に対応する音声単位ラベル系列の各ラベル情報毎のピッチ周波数情報を用いて表したものである。以下、請求項７記載の音声合成装置、請求項１２及び請求項１３記載の音声合成方法、並びに、請求項１４及び請求項１５記載の音声合成装置制御プログラムにおいて同じである。
【００２５】
また、上記目的を達成するために、本発明に係る請求項７記載の音声合成装置は、発音・韻律記号列に対応した合成音声波形を生成する音声合成装置であって、
音声素片毎の非モデル化のスペクトル情報と前記音声素片毎の各音声素片における有声／無声を示す情報を含む励振源情報とを含んで成る素片辞書と、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、
前記発音・韻律記号列に対応する音声単位系列を生成する音声単位系列生成手段と、
前記音声単位系列の各音声単位毎に対応する音韻環境情報を含むラベル情報から音声単位ラベル系列を生成する音声単位ラベル系列生成手段と、
前記音声単位ラベル系列に基づき、前記音声単位系列の各音声単位毎に対応する前記ピッチ周波数情報を前記韻律辞書から取得し、当該取得したピッチ周波数情報に基づき前記音声単位系列に対応するピッチ周波数系列を生成するピッチ周波数系列生成手段と、
前記音声単位系列における各音声単位毎に対応する前記スペクトル情報を前記素片辞書から取得し、当該取得したスペクトル情報に基づき前記音声単位系列に対応するスペクトル情報系列を生成するスペクトル情報系列生成手段と、
前記素片辞書から取得した前記音声単位系列の各音声単位毎に対応する前記励振源情報と、前記継続長辞書から取得した前記音声単位系列の各音声単位毎に対応する前記継続長情報と、前記ピッチ周波数系列生成手段によって生成された前記ピッチ周波数系列とに基づき前記音声単位系列に対応する励振源情報系列を生成する励振源情報系列生成手段と、
前記スペクトル情報系列と前記励振源情報系列とに基づき前記発音・韻律記号列に対応する合成音声波形を生成する音声波形生成手段と、を備えることを特徴としている。
【００２６】
このような構成であれば、音声単位系列生成手段によって、前記発音・韻律記号列に対応する音声単位系列を生成することが可能であり、音声単位ラベル系列生成手段によって、前記音声単位系列の各音声単位毎に対応する音韻環境情報を含むラベル情報から音声単位ラベル系列を生成することが可能である。
また、ピッチ周波数系列生成手段によって、前記音声単位ラベル系列に基づき、前記音声単位系列の各音声単位毎に対応する前記ピッチ周波数情報を前記韻律辞書から取得し、当該取得したピッチ周波数情報に基づき前記音声単位系列に対応するピッチ周波数系列を生成することが可能である。
【００２７】
また、スペクトル情報系列生成手段によって、前記音声単位系列における各音声単位毎に対応する前記スペクトル情報を前記素片辞書から取得し、当該取得したスペクトル情報に基づき前記音声単位系列に対応するスペクトル情報系列を生成することが可能であり、励振源情報系列生成手段によって、前記素片辞書から取得した前記音声単位系列の各音声単位毎に対応する前記励振源情報と、前記継続長辞書から取得した前記音声単位系列の各音声単位毎に対応する前記継続長情報と、前記ピッチ周波数系列生成手段によって生成された前記ピッチ周波数系列とに基づき前記音声単位系列に対応する励振源情報系列を生成することが可能である。
【００２８】
また、音声波形生成手段によって、前記スペクトル情報系列と前記励振源情報系列とに基づき前記発音・韻律記号列に対応する合成音声波形を生成することが可能である。
従って、音声合成時に、ピッチ周波数系列における無声区間と励振源情報系列における有声区間とが重なってしまった場合でも、ピッチ周波数系列の無声区間には当該無声区間を補間するピッチ周波数が設定されているので、その無声区間に対して有声時のスペクトル情報によるフィルタ処理が行われても該当する箇所における雑音の発生を抑えることが可能となる。
【００２９】
また、スペクトル情報系列の生成に、各音声単位毎に対応した非モデル化のスペクトル情報を用いるようにしたので、スペクトル情報がＨＭＭ等によりモデル化された場合と比較して、音声波形生成手段によって生成された合成音声の品質を向上することが可能である。
ここで、非モデル化のスペクトル情報とは、フレーム単位で音声から抽出したスペクトル包絡パラメータ等から構成されるものである。つまり、スペクトル情報をＨＭＭ等によりモデル化していない状態のものを示す。以下、請求項１４記載の音声合成方法及び請求項１６記載の音声合成装置制御プログラムにおいて同じである。
【００３０】
更に、請求項８記載の音声合成装置は、請求項６又は請求項７記載の音声合成装置において、前記励振源情報は、当該励振源情報によって生成される励振源信号の有声区間又は無声区間を示す有声／無声フラグを含んで成ることを特徴としている。
このような構成であれば、有声か又は無声かといった２値によって、処理を行うことが可能となるので、合成音声波形の生成処理を高速化することが可能である。
【００３１】
更に、請求項９記載の音声合成装置は、請求項８記載の音声合成装置において、前記有声／無声フラグは、前記励振源情報によって生成される励振源信号の周波数帯域を複数のサブバンドに分割した各サブバンド毎に設定されていることを特徴としている。
このような構成であれば、励振源信号の周波数帯域を複数のサブバンドに分割した各サブバンド毎に有声／無声フラグを設定するので、精密に励振源信号を制御することが可能となる。
【００３２】
更に、請求項１０記載の音声合成装置は、請求項６又は請求項７記載の音声合成装置において、前記励振源情報は、有声時を表す周期的パルスと無声時を表す雑音との混合比である有声強度情報を含んで成ることを特徴としている。
このような構成であれば、励振源情報に有声強度情報が含まれているので、これにより合成音声波形を生成する際の有声時を表す周期的パルスと無声時を表す雑音との混合比により、２値制御では無く段階的な制御を行うので合成音声の品質を向上することが可能となる。
ここで、有声強度は、０〜１．０の実数値をとるものである。つまり、有声強度が０の場合は、そのサブバンドは雑音の周波数成分のみから成り、有声強度が１の場合は、そのサブバンドはパルス列の周波数成分のみから成る。
【００３３】
更に、請求項１１記載の音声合成装置は、請求項１０記載の音声合成装置において、前記有声強度情報は、前記音声単位に対応する励振源信号の周波数帯域を複数のサブバンドに分割した各サブバンド毎に用意され、且つ、前記有声強度を示す各々の実数値がベクトル量子化されたものであることを特徴としている。
このような構成であれば、励振源情報に含まれる有声強度情報を、励振源信号の周波数帯域を複数のサブバンドに分割した各サブバンド毎に有声強度を設定するので、精密に励振源信号を制御することが可能となる。
【００３４】
また、上記目的を達成するために、請求項１２記載の音声合成方法は、発音・韻律記号列に対応した合成音声波形を生成するための音声合成方法であって、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、を用意し、
前記発音・韻律記号列及び音声単位毎の音韻環境情報を含むラベル情報に基づき音声単位系列及び音声単位ラベル系列を生成する音声単位系列・音声単位ラベル系列生成ステップと、
前記音声単位・音声単位ラベル系列生成ステップにおいて生成された前記音声単位系列及び前記音声単位ラベル系列と、前記韻律辞書のピッチ周波数情報と、前記継続長辞書の継続長情報とに基づき韻律情報を生成する韻律情報生成ステップと、
前記韻律情報生成ステップにおいて生成された韻律情報と、前記素片辞書の前記スペクトル情報及び前記励振源情報とに基づきスペクトル情報系列及び励振源情報系列を生成する素片接続ステップと、
前記スペクトル情報系列及び前記励振源情報系列に基づき前記発音・韻律記号列に対応する合成音声波形を生成する音声波形生成ステップと、を含むことを特徴としている。
これにより、請求項６記載の音声合成装置と同等の効果を得られる。
【００３５】
また、上記目的を達成するために、請求項１３記載の音声合成方法は、発音・韻律記号列に対応した合成音声波形を生成するための音声合成方法であって、
音声素片毎の非モデル化のスペクトル情報と前記音声素片毎の有声区間及び無声区間を示す情報を含む励振源情報とを含んで成る素片辞書と、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、を用意し、
前記発音・韻律記号列に対応する音声単位系列を生成する音声単位系列生成ステップと、
前記音声単位系列の各音声単位毎に対応する音韻環境情報を含むラベル情報から音声単位ラベル系列を生成する音声単位ラベル系列生成ステップと、
前記音声単位ラベル系列に基づき、前記音声単位系列の各音声単位毎に対応する前記ピッチ周波数情報を前記韻律辞書から取得し、当該取得したピッチ周波数情報に基づき前記音声単位系列に対応するピッチ周波数系列を生成するピッチ周波数系列生成ステップと、
前記音声単位系列における各音声単位毎に対応する前記スペクトル情報を前記素片辞書から取得し、当該取得したスペクトル情報に基づき前記音声単位系列に対応するスペクトル情報系列を生成するスペクトル情報系列生成ステップと、
前記素片辞書から取得した前記音声単位系列の各音声単位毎に対応する前記励振源情報と、前記継続長辞書から取得した前記音声単位系列の各音声単位毎に対応する前記継続長情報と、前記ピッチ周波数系列生成手段によって生成された前記ピッチ周波数系列とに基づき前記音声単位系列に対応する励振源情報系列を生成する励振源情報系列生成ステップと、
前記スペクトル情報系列と前記励振源情報系列とに基づき前記テキストに対応する合成音声波形を生成する音声波形生成ステップと、を含むことを特徴としている。
これにより、請求項７記載の音声合成装置と同等の効果が得られる。
【００３６】
また、上記目的を達成するために、請求項１４記載の音声合成装置制御プログラムは、発音・韻律記号列に対応した合成音声波形を生成する音声合成装置を制御するためのプログラムであって、
前記音声合成装置は、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、を備えており、
前記発音・韻律記号列及び音声単位毎の音韻環境情報を含むラベル情報に基づき音声単位系列及び音声単位ラベル系列を生成する音声単位系列・音声単位ラベル系列生成手段、
前記音声単位・音声単位ラベル系列生成手段によって生成された前記音声単位系列及び前記音声単位ラベル系列と、前記韻律辞書のピッチ周波数情報と、前記継続長辞書の継続長情報とに基づき韻律情報を生成する韻律情報生成手段、
前記韻律情報生成手段によって生成された韻律情報と、前記素片辞書の前記スペクトル情報及び前記励振源情報とに基づきスペクトル情報系列及び励振源情報系列を生成する素片接続手段並びに、
前記スペクトル情報系列及び前記励振源情報系列に基づき前記発音・韻律記号列に対応する合成音声波形を生成する音声波形生成手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴としている。
ここで、本発明は、請求項６記載の音声合成装置に適用可能なプログラムであり、これにより請求項６記載の音声合成装置と同等の効果を得ることが可能である。
【００３７】
また、上記目的を達成するために、請求項１５記載の音声合成装置制御プログラムは、発音・韻律記号列に対応した音声を生成する音声合成装置を制御するためのプログラムであって、
前記音声合成装置は、
音声素片毎の非モデル化のスペクトル情報と前記音声素片毎の有声区間及び無声区間を示す情報を含む励振源情報とを含んで成る素片辞書と、
請求項１乃至請求項３のいずれか１項に記載の韻律辞書作成方法又は請求項４記載の韻律辞書作成プログラムによって作成された韻律辞書と、
音声単位毎の継続長情報を含んで成る継続長辞書と、を備えており、
前記発音・韻律記号列に対応する音声単位系列を生成する音声単位系列生成手段、
前記音声単位系列の各音声単位毎に対応する音韻環境情報を含むラベル情報から音声単位ラベル系列を生成する音声単位ラベル系列生成手段、
前記音声単位ラベル系列に基づき、前記音声単位系列の各音声単位毎に対応する前記ピッチ周波数情報を前記韻律辞書から取得し、当該取得したピッチ周波数情報に基づき前記音声単位系列に対応するピッチ周波数系列を生成するピッチ周波数系列生成手段、
前記音声単位系列における各音声単位毎に対応する前記スペクトル情報を前記素片辞書から取得し、当該取得したスペクトル情報に基づき前記音声単位系列に対応するスペクトル情報系列を生成するスペクトル情報系列生成手段、
前記素片辞書から取得した前記音声単位系列の各音声単位毎に対応する前記励振源情報と、前記継続長辞書から取得した前記音声単位系列の各音声単位毎に対応する前記継続長情報と、前記ピッチ周波数系列生成手段によって生成された前記ピッチ周波数系列とに基づき前記音声単位系列に対応する励振源情報系列を生成する励振源情報系列生成手段及び、
前記スペクトル情報系列と前記励振源情報系列とに基づき前記テキストに対応する合成音声波形を生成する音声波形生成手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴としている。
ここで、本発明は、請求項７記載の音声合成装置に適用可能なプログラムであり、これにより請求項７記載の音声合成装置と同等の効果を得ることが可能である。
【発明の効果】
【００３８】
以上説明したように、本発明に係る請求項１記載の韻律辞書作成方法によれば、無声区間に対してもピッチ周波数が設定されたピッチ周波数情報から成る韻律辞書を生成することができるという効果が得られる。
また、請求項２記載の韻律辞書作成方法によれば、請求項１の前記効果に加え、同一の音韻環境を有する複数の音声単位データに対応したピッチ周波数の平均値をその音韻環境に対する代表のピッチ周波数情報として決定するようにしたので、複数のピッチ周波数の分布の中央付近の値を有することになり、同一の音韻環境を有するどのような音声単位データに対しても大きなズレの発生しない代表値を決定することができるという効果が得られる。
【００３９】
また、請求項３記載の韻律辞書作成方法によれば、請求項１の前記効果に加え、同一の音韻環境を有する複数の音声単位データに対応したピッチ周波数の、平均値及び分散値をその音韻環境に対する代表のピッチ周波数情報として決定するようにしたので、同一の音韻環境を有する音声データ単位に対応したピッチ周波数の分布を考慮することができ、平均値に加え、分散値及び標準偏差値による選択性を持たせることができるという効果が得られる。
ここで、請求項４記載の韻律辞書作成プログラムは、請求項１記載の韻律辞書作成方法を実現するためのプログラムであり、これにより請求項１の韻律辞書作成方法と同等の効果が得られる。
【００４０】
また、本発明に係る請求項５又は６記載の音声合成装置によれば、音声合成時に、ピッチ周波数情報における無声区間と励振源信号における有声区間とが重なってしまった場合でも、ピッチ周波数情報の無声区間には当該無声区間を補間するピッチ周波数が設定されているので、有声時のスペクトル情報によってフィルタ処理が行われても該当する箇所における雑音の発生を抑えることができるという効果が得られる。
【００４１】
また、請求項７記載の音声合成装置によれば、音声合成時に、ピッチ周波数系列における無声区間と励振源情報系列における有声区間とが重なってしまった場合でも、ピッチ周波数系列の無声区間には当該無声区間を補間するピッチ周波数が設定されているので、その無声区間に対して有声時のスペクトル情報によるフィルタ処理が行われても該当する箇所における雑音の発生を抑えることができるという効果と、また、スペクトル情報系列の生成に、各音声単位毎に対応した非モデル化のスペクトル情報を用いるようにしたので、スペクトル情報がＨＭＭ等によりモデル化された場合と比較して、音声波形生成手段によって生成された合成音声の品質を向上することができるという効果とが得られる。
【００４２】
また、請求項８記載の音声合成装置によれば、請求項６又は７の前記効果に加え、有声か又は無声かといった２値によって、処理を行うことが可能となるので、合成音声波形の生成処理を高速化できるという効果が得られる。
また、請求項９記載の音声合成装置によれば、請求項８の前記効果に加え、励振源信号の周波数帯域を複数のサブバンドに分割した各サブバンド毎に有声／無声フラグを設定するので、精密に励振源信号を制御することができるという効果が得られる。
【００４３】
また、請求項１０記載の音声合成装置によれば、請求項６又は７の前記効果に加え、励振源情報に有声強度情報が含まれているので、これにより合成音声波形を生成する際の有声時を表す周期的パルスと無声時を表す雑音との混合比により、２値制御では無く段階的な制御を行うので合成音声の品質を向上することができるという効果が得られる。
また、請求項１１記載の音声合成装置によれば、請求項１０の前記効果に加え、励振源情報に含まれる有声強度情報を、励振源信号の周波数帯域を複数のサブバンドに分割した各サブバンド毎に有声強度を設定するので、精密に励振源信号を制御することができるという効果が得られる。
【００４４】
ここで、本発明に係る請求項１２記載の音声合成方法によれば、請求項６の前記効果と同等の効果が得られる。
また、本発明に係る請求項１３記載の音声合成方法によれば、請求項７の前記効果と同等の効果が得られる。
また、本発明に係る請求項１４記載の音声合成装置制御プログラムによれば、請求項６の前記効果と同等の効果が得られる。
また、本発明に係る請求項１５記載の音声合成装置制御プログラムによれば、請求項７の前記効果と同等の効果が得られる。
【発明を実施するための最良の形態】
【００４５】
以下、本発明の実施の形態を図面に基づき説明する。図１〜図２０は、本発明に係る韻律辞書作成方法を用いて作成された韻律辞書を備える音声合成装置の実施の形態を示す図である。
まず、本発明に係る音声合成装置の構成を図１に基づき説明する。図１は、本発明に係る音声合成装置１００の構成を示すブロック図である。
【００４６】
図１に示すように、音声合成装置１００は、音声単位系列・音声単位ラベル系列生成部１０と、韻律生成部１１と、素片接続部１２と、音声波形生成部１３と、韻律辞書１４と、継続長辞書１５と、素片辞書１６とを含んだ構成となっている。
音声単位系列・音声単位ラベル系列生成部１０は、入力された発音・韻律記号列からこれに対応した音素記号等の音声単位の記号列で表した音声単位系列を生成すると共に、当該生成した音声単位系列に基づいて音声単位毎の音韻環境情報を含んで成るラベル情報から音声単位ラベル系列を生成するものである。更に、上記生成した音声単位系列を素片辞書１６に入力し、上記生成した音声単位ラベル系列を、韻律生成部１１、韻律辞書１４及び継続長辞書１６に入力する。なお、各音声単位データ毎のラベル情報の生成方法についての詳細な説明は後述する。
【００４７】
韻律生成部１１は、韻律辞書１４から音声単位系列・音声単位ラベル系列生成部１０において生成された音声単位ラベル系列に対応するピッチ周波数情報を取得し、継続長辞書１５から、音声単位系列・音声単位ラベル系列生成部１０において生成された音声単位系列における音声単位毎の継続長情報を取得して、これら取得したピッチ周波数情報及び継続長情報により前記音声単位系列に対応したピッチ周波数系列を生成するものである。そして、上記生成したピッチ周波数系列を音声波形生成部１３に入力し、上記取得した継続長情報を素片接続部１２に入力する。
【００４８】
素片接続部１２は、韻律生成部１１から入力された上記音声単位系列の各音声単位毎に対応する継続長情報及び素片辞書１６から取得した上記音声単位系列の各音声単位毎に対応する励振源情報から励振源情報系列を生成すると共に、前記音声単位系列の各音声単位毎に対応する継続長情報及び素片辞書１６から取得した上記音声単位系列の各音声単位毎に対応するスペクトル情報からスペクトル情報系列を生成するものである。そして、生成した励振源情報系列及びスペクトル情報系列を、音声波形生成部１３に入力する。
【００４９】
音声波形生成部１３は、合成フィルタを備えており、韻律生成部１１から入力された上記音声単位系列に対応するピッチ周波数系列、素片接続部１２から入力された励振源情報系列及びスペクトル情報系列から、上記入力された発音・韻律記号列に対応する合成音声波形を生成するものである。つまり、上記スペクトル情報系列を合成フィルタのパラメータとして用い、上記励振源情報に基づき生成される励振源信号をフィルタ処理して合成音声波形を生成するものである。
【００５０】
韻律辞書１４は、後述する韻律辞書作成処理によって作成された音声単位のラベル情報毎に対応した代表ピッチ周波数情報を有するもので、音声単位ラベル系列が入力されると、これと対応する代表ピッチ周波数情報を韻律生成部１１に出力する。
継続長辞書１５は、音声単位毎の時間的な長さである継続長の各音声単位に対応する継続長情報として有するもので、音声単位ラベル系列が入力されると、各音声単位に対応する継続長情報を韻律生成部１１に出力する。
【００５１】
素片辞書１６は、音声単位毎のモデル化されていないスペクトル情報及び音声単位毎の励振源情報の集合である。本実施の形態においては、スペクトル情報としてフレーム単位で音声から抽出したスペクトル包絡パラメータを用い、励振源情報として、励振源信号の有声区間及び無声区間を示す有声／無声フラグと、有声時を周期性パルスとし無声時を白色雑音として構成される有声強度とを用いる。
【００５２】
ここで、フレームと分析対象となる音声データとの関係は、図２に示すようになる。ここで、図２は、フレームと分析対象（音声データ）との関係を示す図である。図２に示すように、分析対象となる各音声データは、該当するフレームとこれと隣接するフレームとにまたがっており、更に、分析対象同士を一部重複させた構成となる。そして、フレームは、例えば、時間の経過とともに、・・・，ｎ−２，ｎ−１，ｎ，ｎ＋１，ｎ＋２，・・・（ｎは整数）といったように、予め設定されたフレーム長を単位として各分析対象を移動していく。
【００５３】
また、本実施の形態においては、励振源信号の周波数帯域を複数のサブバンドに分割し、有声強度は、この分割された各サブバンド毎に持たせた。
ここで、本実施の形態において、音声合成装置１００は、図示しないが、上記各構成要素を制御するプログラムが記憶された記憶媒体と、これらのプログラムを実行するためのプロセッサと、プログラムの実行に必要なデータを記憶するＲＡＭと、を備えている。そして、プロセッサにより記憶媒体に記憶されたプログラムを読み出して実行することによって上記各構成要素の処理を実現する。
【００５４】
ここで、記憶媒体は、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【００５５】
更に、図３〜図７に基づき、音声単位データ毎のラベル情報の生成方法について説明する。ここで、図３は、発声内容に対する音韻環境の一例を示す図であり、図４は、音声単位のラベル情報付与時に用いられるシンボルを示す図であり、図５は、図３に示す発音内容に対する各音声単位の音韻環境を示す図であり、図６は、図３に示す発音内容の各音素に対する開始時間及び終了時間を示す図であり、図７は、図３に示す発音内容に対する音声単位の時間付きラベルデータを示す図である。
【００５６】
以下、発声内容の文章が「あらゆる現実を、すべて自分の方へねじ曲げたのだ。」である場合を例として説明する。ここでは、音声単位を音素とし、下記の音韻環境の組み合わせを用いた場合を説明する。
・当該呼気段落の位置
・当該アクセント句の位置
・前後のポーズの有無
・当該アクセント句のモーラ長
・当該アクセント句のアクセント型
・先行アクセント句のアクセント型
・当該音素のアクセント句内でのモーラ位置
・当該音素
【００５７】
上記発声例に対して音韻環境を対応付けると、発声例と音韻環境とは図３に示す関係になる。ここで、図中ｘは情報が無いことを示す。発声内容の前半部分を見てみると、図３に示すように、当該音素は「ａ」，「ｒ」，「ａ」，「ｙ」，「ｕ」，「ｒ」，「ｕ」，「ｇ」，「ｅ」，「Ｎ」，「ｊ」，「ｉ」，「ｔｓ」，「ｕ」，「ｏ」となり、呼気段落は「あらゆる現実を」となり、アクセント句（読み）は「あらゆる」及び「現実を」となり、文中での当該呼気段落の位置は「１」となる。
【００５８】
また、「あらゆる」における、当該呼気段落でのアクセント句の位置は「１」となり、前後のポーズの有無は、当該アクセント句の直前において「ｘ」となり、当該アクセント句の直後において「０」となり、当該アクセント句のモーラ長は「４」となり、アクセント型は、当該アクセント句において「３」となり、先行アクセント句において「ｘ」となり、アクセント句内のモーラ位置は、「ａ」が「１」，「ｒ」「ａ」が「２」，「ｙ」「ｕ」が「３」，「ｒ」「ｕ」が「４」となる。
【００５９】
また、「現実を」における、当該呼気段落でのアクセント句の位置は「２」となり、前後のポーズの有無は、当該アクセント句の直前において「０」となり、当該アクセント句の直後において「１」となり、当該アクセント句のモーラ長は「５」となり、アクセント型は、当該アクセント句において「０」となり、先行アクセント句において「３」となり、アクセント句内のモーラ位置は、「ｇ」「ｅ」が「１」，「Ｎ」が「２」，「ｊ」「ｉ」が「３」「ｔｓ」「ｕ」が「４」，「ｏ」が「５」となる。
【００６０】
なお、ここでは、音声単位を音素としたが、これに限らず、半音素やモーラ等であっても良い。また、音韻環境として、上記したものだけに限らず、文のモーラ長、呼気段落のモーラ長、品詞、活用形、活用型等、更に、先々行、先行、後続、後々続等の音韻環境を利用しても良い。
本実施の形態においては、音韻ラベルの付与規則を以下に示すものとする。
・Ｐ＿Ｂｐｏｓ＿Ａｐｏｓ＿Ｐｐａｕ＿Ｎｐａｕ＿Ａｌｅｎ＿ＡＣｔｙｐｅ＿ＡＰｔｙｐｅ＿Ｍｐｏｓ
【００６１】
更に、上記付与規則に従い、音韻ラベルの生成に使用するシンボルとして図４に示すものを用いる。
つまり、図４に示すように、上記した付与規則における、Ｐが「当該音素」に、Ｂｐｏｓが「当該呼気段落の位置」に、Ａｐｏｓが「当該アクセント句の位置」に、Ｐｐａｕが「当該アクセント句の直前のポーズの有無」に、Ｎｐａｕが「当該アクセント句の直後のポーズの有無」に、Ａｌｅｎが「当該アクセント句のモーラ長」に、ＡＣｔｙｐｅが「当該アクセント句のアクセント型」に、ＡＰｔｙｐｅが「先行アクセント句のアクセント型」に、Ｍｐｏｓが「当該音素のアクセント句内でのモーラ位置」に各々対応している。
【００６２】
上記付与規則を用いて図３に示す発声内容の各音素毎に音韻ラベルを付与すると、図５に示すような内容となる。例えば、最初の「ｓｉｌ」の次の音素「ａ」に対する音韻ラベルは、「a_1_1_x_0_4_3_x_1」となる。
更に、図３に示す発声内容に対応する音声データから、各音素毎の開始時間（秒）及び終了時間（秒）を抽出すると、各音素毎に図６に示す時間情報が得られる。例えば、最初の「ｓｉｌ」の次の音素「ａ」に対する開始時間及び終了時間は「0.3073529」及び「0.4088809」となる。
そして、図５に示す音韻ラベルと図６に示す時間情報とにより、図７に示すように、各音素毎の音韻ラベルと各音素毎の時間情報とから成る時間付きラベルデータを生成することができる。つまり、音声単位毎のラベル情報は、各音声単位の音韻ラベル及び各音声単位の時間情報を含んだ構成となっている。
【００６３】
更に、図８及び図９に基づき、韻律辞書の作成方法について説明する。図８（ａ）は、無声区間の補間処理前の音声波形データに対するピッチ周波数情報を示す図であり、（ｂ）は、無声区間の補間処理後の音声波形データに対するピッチ周波数情報を示す図である。また、図９は、音韻ラベル毎のピッチ周波数情報における代表点ピッチ周波数を示す図である。ここでは、上記したラベル情報の付与方法における発声例と同じ例を用いて説明する。従って、上記生成されたラベル情報をそのまま適用する。
【００６４】
図８（ａ）に示すように、上記発声例である「あらゆる現実を、すべて自分の方へねじ曲げたのだ。」に対する音声データ（図８（ａ）中上段の波形）からピッチ周波数を抽出すると、図８（ａ）中下段のような離散的なピッチ周波数が得られる。ここで、図８（ａ）中下段のピッチ周波数における横棒で示される最低値の区間は、全て無声区間を示している。
【００６５】
本実施の形態においては、韻律辞書の生成時において、まず音声波形データから抽出した図８（ａ）中下段のピッチ周波数における無声区間に対して、当該無声区間に先行する有声区間及び後続の有声区間の少なくとも一方に対応するピッチ周波数に基づき、この無声区間を補間するピッチ周波数を生成する。つまり、音声波形における最初の無声区間については後続の有声区間との間を補間するピッチ周波数を生成し、音声波形における最後の無声区間については、先行する有声区間との間を補間するピッチ周波数を生成し、それ以外の無声区間については、先行及び後続の有声区間との間を補間するピッチ周波数を生成する。また、補間の方法としては、線形補間やスプライン補間等の公知の方法を用いる。
【００６６】
上記したように、無声区間に対してこれを補間する周波数を生成して付与することによって、図８（ｂ）の下段に示すように、ピッチ周波数は連続した値を有するようになる。特に、スプライン補間を用いることにより無声区間のピッチ周波数と有声区間のピッチ周波数とは滑らかに接続される。このようにして、生成されたピッチ周波数から音声単位データ毎のピッチ周波数情報を生成する。
【００６７】
上記したように、音声単位データ毎のピッチ周波数情報を生成すると、次に、図９に示すように、音声単位データ毎に対応する補間処理後のピッチ周波数情報に対して代表点５つを設定する。例えば、図６中の「sil_x_x_x_x_x_x_x_x」に対応するピッチ周波数情報の代表点ピッチ周波数はＦ０1〜Ｆ０5の５つとなる。つまり、各音声単位データに対するピッチ周波数は代表点５つの周波数となる。このようにして、対象となる音声波形データの音声単位データ毎のピッチ周波数に対して代表点を決定した後に、同一の音韻ラベルの付与された音声単位データに対する各代表点毎の集合を生成し、各代表点ピッチ周波数の集合に対して統計処理を行う。統計処理としては、５つの代表点に対する各代表点毎の平均値及び分散値を算出する。
【００６８】
例えば、図９に示す、音韻ラベル「a_1_1_x_0_4_3_x_1」における代表点ピッチ周波数をＦ１1〜Ｆ１5とし、音韻ラベル「r_1_1_x_0_4_3_x_2」における代表点ピッチ周波数をＦ２1〜Ｆ２5とし、音韻ラベル「a_1_1_x_0_4_3_x_2」における代表点ピッチ周波数をＦ３1〜Ｆ３5とし、音韻ラベル「y_1_1_x_0_4_3_x_3」における代表点ピッチ周波数をＦ４1〜Ｆ４5とし、音韻ラベル「u_1_1_x_0_4_3_x_3」における代表点ピッチ周波数をＦ５1〜Ｆ５5とし、音韻ラベル「r_1_1_x_0_4_3_x_3」における代表点ピッチ周波数をＦ６1〜Ｆ６5とし、音韻ラベル「u_1_1_x_0_4_3_x_4」における代表点ピッチ周波数をＦ７1〜Ｆ７5とする。
【００６９】
ここで、統計量計算は以下のように計算される。
統計処理を行う全ての文章を対象とし、音韻ラベル「a_1_1_x_0_4_3_x_1」が付与された全ての音声単位データについて、上記代表点５つの各代表点毎にそれぞれピッチ周波数の集合を生成する。そして、これら５つの集合の各集合毎に独立に統計量計算を行う。例えば、上記例示の文章におけるＦ１1を含め、同一の音韻ラベルが付与されている他の全ての音声単位データに対する第１番目の代表点のピッチ周波数から１つの集合を生成する。上記例示の文章におけるＦ１2〜Ｆ１5についても、同様に、自己と他の全ての音声単位データに対する第２〜第５番目のそれぞれの代表点のピッチ周波数から各代表点毎のピッチ周波数の集合を生成する。つまり、本実施の形態においては、このようにして生成された代表点毎のピッチ周波数の集合に対して、各集合毎に統計量計算を行う。
【００７０】
なお、他の全ての音韻ラベルについても上記同様に統計量計算を行う。
本実施の形態においては、同一音韻ラベルの複数の音声データに対するピッチ周波数情報の各代表点の平均値及び分散値を、同一音韻ラベルにおけるピッチ周波数情報の代表値（以下、代表ピッチ周波数情報と称す）として決定する。
そして、音声コーパスに含まれる処理対象の音声波形データ全てに対して、上記方法によりピッチ周波数情報を生成し且つ同一音韻環境の音声データ毎にピッチ周波数情報の代表値を決定すると、これら決定された代表ピッチ周波数情報を用いて韻律辞書１４を構成する。ここで、音声コーパスとは、上記各辞書の作成に用いられる大量の音声データ（ここでは、音素単位の音声データ）を示す。
【００７１】
更に、図１０に基づき、韻律辞書の作成処理の流れを説明する。図１０は、韻律辞書の作成処理を示すフローチャートである。ここで、本実施の形態においては、図示しないＰＣ等の情報処理装置により、専用の韻律辞書作成プログラムを起動し、図１０のフローチャートに示す韻律辞書の作成処理を実行させるようになっている。
図１０に示すように、まずステップＳ１００に移行し、音声コーパスから音声波形データを読み出しステップＳ１０２に移行する。
【００７２】
ステップＳ１０２では、読み出した音声波形データにおける有声区間におけるピッチ周波数を抽出してステップＳ１０４に移行する。
ステップＳ１０４では、音声波形データの無声区間を、当該無声区間に先行する有声区間のピッチ周波数及び後続する有声区間のピッチ周波数の少なくとも一方に基づき補間するピッチ周波数を生成してステップＳ１０６に移行する。
【００７３】
ステップＳ１０６では、ステップＳ１０２で抽出した有声区間のピッチ周波数及びステップＳ１０４で生成した無声区間のピッチ周波数に基づき、音声波形データを構成する音声単位データ毎のピッチ周波数情報を生成してステップＳ１０８に移行する。
ステップＳ１０８では、ステップＳ１０６で生成した音声単位データ毎のピッチ周波数情報を図示しない記憶装置に記憶してステップＳ１１０に移行する。
【００７４】
ステップＳ１１０では、音声コーパスにおける全ての音声波形データに対して、ピッチ周波数情報の生成処理が終了したか否かを判定し、終了とした判定された場合(Yes)はステップＳ１１２に移行し、そうでない場合は(No)ステップＳ１００に移行する。
ステップＳ１１２に移行した場合は、ピッチ周波数情報の記憶された図示しない記憶装置から、同一音韻ラベルを有した音声単位データに対応するピッチ周波数情報を読み出しステップＳ１１４に移行する。
【００７５】
ステップＳ１１４では、読み出したピッチ周波数情報に基づき、同一音韻ラベルに属する音声単位データに対応するピッチ周波数の統計量を算出してステップＳ１１６に移行する。ここで、ピッチ周波数情報は、音声単位データ毎に連続した値を有しているので、上記したように、代表点を５つ設定する。また、本実施の形態においては、代表点を５つ設定したが、代表点の数はこれに限らない。また、代表点の数は全音声単位データで同一の数に設定する以外に、音声単位データの種類などの各音声単位データの属性毎に依存した数を設定してもよい。
【００７６】
ステップＳ１１６では、ステップＳ１１４で算出された統計量に基づき、音韻ラベル毎の代表ピッチ周波数情報を決定してステップＳ１１８に移行する。本実施の形態においては、上記したように、各代表点の平均値及び分散値を各代表点ピッチ周波数の代表値として決定し、これら代表値から構成されるピッチ周波数群（代表値５つ）を音韻ラベル毎の代表ピッチ周波数情報とする。
【００７７】
ステップＳ１１８では、代表ピッチ周波数情報の決定処理が、図示しない記憶装置に記憶された全ピッチ周波数情報に対して終了したか否かを判定し、終了したと判定された場合(Yes)はステップＳ１２０に移行し、そうでない場合(No)はステップＳ１１２に移行する。
ステップＳ１２０に移行した場合は、上記生成された代表ピッチ周波数情報を用いて韻律辞書を構成して処理を終了する。
【００７８】
なお、代表ピッチ周波数情報の決定方法としては、上記した平均値及び分散値だけに限らず、図１１に示すように、同一音韻ラベルの複数の音声単位データに対応する各代表点ピッチ周波数におけるセントロイドパターンを求め、当該セントロイドパターンとなるピッチ周波数を各代表点ピッチ周波数の代表値として、この代表値から成るピッチ周波数群を各音韻ラベル毎の代表ピッチ周波数情報として決定しても良い。ここで、図１１は、セントロイドパターンの概念を示す図である。セントロイドパターンの求め方としては、例えば、同一音韻ラベルの付与された音声単位データに対応する代表点におけるピッチ周波数の系列が作る多次元空間を考え、この多次元空間に属する代表点ピッチ周波数の系列からの距離の総和が最小となるピッチ周波数の系列をセントロイドパターンとする方法がある。距離尺度としては、ユークリッド距離などを使用することができる。
【００７９】
［第１の実施の形態］
更に、図１２〜図１６に基づき、上記韻律辞書の作成方法により作成された韻律辞書１４を備える音声合成装置１００の第１の実施の形態を説明する。
ここで、図１２は、第１の実施の形態における発声内容に対する音韻環境の一例を示す図であり、図１３は、図１２に示す発音内容に対する各音声単位の音韻環境を示す図であり、図１４（ａ）は、第１の実施の形態における代表ピッチ周波数情報の構成を示す図であり、（ｂ）は、ピッチ周波数の配置内容及び補間内容の一例を示す図であり、図１５は、スペクトル情報系列の生成例を示す図であり、図１６（ａ）は、励振源情報が当該励振源情報により生成される励振源信号の有声区間又は無声区間を示す有声／無声フラグを有する場合の音声波形生成部１３の構成例を示す図であり、（ｂ）は、励振源情報が当該励振源情報により生成される励振源信号の周波数を２つのサブバンド分割した各サブバンド毎に有声／無声フラグを有する場合の音声波形生成部１３の構成例を示す図である。
【００８０】
まず、本実施の形態においては、テキスト文である「小さな鰻屋に、熱気のようなものがみなぎる。」を、発音・韻律記号列に変換した「チ’ーサナ  ウナキ゜ヤニ、ネッキノヨ’ーナ  モノ’カ゜  ミナキ゜’ル。」が音声単位系列・音声単位ラベル系列生成部１０に入力される。
音声単位系列・音声単位ラベル系列生成部１０は、入力された発音・韻律記号列から音声単位系列及び音声単位ラベル系列を生成する。音声単位系列としては、「sil」＿「ch」＿「i」＿「i」＿「s」＿「ａ」＿「n」＿「a」＿・・・＿「m」＿「i」＿「n」＿「a」＿「ng」＿「i」＿「r」＿「u」＿「sil」といったように、発音・韻律記号列に対応する音素単位の記号による系列が生成される。つまり、本実施の形態においては、音声単位が音素となる。また、ラベル情報としては、各音素毎に、図１２に示すような音韻環境が対応する。ここで、音韻環境は、上記したラベル情報生成時のものと同様とする。図１２に示す音韻環境の対応関係から、各音素にラベル情報を付与することにより、図１３に示すような音声単位ラベル系列を生成することができる（図には音韻ラベルのみ記載）。
【００８１】
音声単位系列・音声単位ラベル系列生成部１０は、音声単位系列及び音声単位ラベル系列を生成すると、音声単位系列を素片辞書１６に入力し、音声単位ラベル系列を韻律生成部１１、韻律辞書１４及び継続長辞書１５にそれぞれ入力する。
韻律生成部１１は、韻律辞書１４から入力された音声単位ラベル系列に対応する各音韻ラベル毎の代表ピッチ周波数情報と、継続長辞書１５から入力された音声単位毎の継続長情報とからピッチ周波数系列を生成する。以下、図１４（ａ）に示すように、代表ピッチ周波数情報が同一音韻ラベルの音声単位データにおける各代表点ピッチ周波数の平均値から構成されている場合のピッチ周波数系列の具体的な生成方法を説明する。
【００８２】
図１４（ｂ）に示すように、各音声単位毎の継続長情報から時間軸に対する各音声単位毎の時間範囲が設定できるので、設定された時間範囲に対して、対応する代表点ピッチ周波数（５つ）を配置する。本実施の形態においては、代表ピッチ周波数情報における代表点ピッチ周波数を、各音声単位の継続長内で等間隔に配置しているが、配置方法はこれに限らない。例えば、音声単位の種類や音韻環境などに依存して、ある区間では代表点を密あるいは疎に配置するといったことが可能である。更に、配置された代表点ピッチ周波数は、図１４（ｂ）に示すように、各代表ピッチ周波数間を線形補間やスプライン補間等の各種補間手法により補間することによりピッチ周波数系列を生成する。ここで、図１４（ｂ）を見ても解るように、本実施の形態においては、上記韻律辞書の作成処理によって作成された無声区間に対してもピッチ周波数が設定されている韻律辞書を用いているので、生成されるピッチ周波数系列には無声区間が存在しない。
【００８３】
韻律生成部１１は、上記生成したピッチ周波数系列を音声波形生成部１３に入力し、音声単位毎の継続長情報を素片接続部１２に入力する。
素片接続部１２は、韻律生成部１１から入力される音声単位毎の継続長情報と素片辞書１６から入力される音声単位系列の各音声単位毎の励振源情報及びスペクトル情報とを取得して、励振源情報系列及びスペクトル情報系列を生成する。ここで、本実施の形態においては、励振源信号として、有声音に対してはピッチ周期を持つパルス列を使用し、無声音に対しては白色雑音を使用する。従って、本実施の形態においては、音声素片（ここでは、音声素片を音素とする）から抽出したフレーム単位の有声／無声の判定情報である有声／無声フラグが励振原情報となる。
【００８４】
以下、図１５に基づきスペクトル情報系列の生成処理の流れを具体的に説明する。
音声素片データのスペクトル情報のフレーム数が、継続長から知ることのできる音声単位のスペクトル情報フレーム数より少ない場合は、音声素片データのフレームを線形に拡大し、各フレーム単位のスペクトル情報を繰り返し用いることで、音声単位のスペクトル情報を生成する。つまり、図１５に示すように、音声素片データ「ｃｈ」のスペクトル情報のフレーム数が５で、音声単位「ｃｈ」のスペクトル情報のフレーム数が１０となるので、音声素片データ「ｎ」のフレーム番号１〜５のスペクトル情報（図１５中のフレーム単位に番号の記されたブロックが各スペクトル情報に対応）をそれぞれ２回ずつ繰り返し用いることで、音声単位のスペクトル情報を生成する。
【００８５】
一方、音声素片データにおけるスペクトル情報のフレーム数が、継続長情報から知ることのできる音声単位のスペクトル情報のフレーム数より多い場合は、音声素片のフレームを線形に縮小し、フレーム単位の音声素片データのスペクトル情報を間引いて音声単位のスペクトル情報を生成する。つまり、図１５に示すように、音声素片データ「ｉ」のスペクトル情報のフレーム数が９で、音声単位「ｉ」のスペクトル情報のフレーム数が４となるので、音声素片データ「ｉ」のスペクトル情報のフレーム番号１、４、６及び９に対応するスペクトル情報を用いて、音声単位「ｉ」のスペクトル情報を生成する。なお、上記した生成例以外にも、音声素片データのスペクトル情報を線形補間することにより音声単位のスペクトル情報を生成する方法などが考えられる。
【００８６】
ここで、励振源情報系列の生成方法も、スペクトル情報系列の生成方法と同様となるので説明を省略する。
そして、素片接続部１２は、上記のようにして得られたスペクトル情報及び励振源情報を連結してスペクトル情報系列及び励振源情報系列を生成し、音声波形生成部１３に入力する。
【００８７】
音声波形生成部１３は、本実施の形態においては、図１６（ａ）に示す構成を有している。以下、図１６（ａ）に基づき、第１の実施の形態における音声波形生成部１３の構成を説明する。
図１６（ａ）に示すように、音声波形生成部１３は、白色雑音を発生する白色雑音発生器１３ａと、パルス列を発生するパルス列発生器１３ｂと、スペクトル情報系列をフィルタ係数に変換するスペクトル情報−フィルタ係数変換部１３ｃと、入力される励振源信号をスペクトル情報−フィルタ係数変換部１３ｃからのフィルタ係数によりフィルタ処理する合成フィルタ１３ｄと、励振源情報（有声／無声フラグの内容）に応じて合成フィルタ１３ｄに入力される励振源信号を白色雑音とパルス列とのいずれかに切換える切換スイッチ１３０Ａと、を含んだ構成となっている。
【００８８】
以下、音声波形生成部１３の具体的な動作を説明する。白色雑音発生器１３ａは、常に白色雑音を発生して切換スイッチ１３０Ａに出力しており、パルス列発生器１３ｂは、韻律生成部１１から入力されるピッチ周波数系列に応じたパルス列を発生して切換スイッチ１３０Ａに出力する。一方、スペクトル情報−フィルタ係数変換部１３ｃは、素片接続部１２から入力されるスペクトル情報系列をフィルタ係数に変換して合成フィルタ１３ｄに出力する。切換スイッチ１３０Ａは、素片接続部１２からの励振源情報（有声／無声フラグ）に応じて、有声／無声フラグが有声を示す内容の場合はパルス列発生器１３ｂからのパルス列が励振源信号として合成フィルタ１３ｄに入力されるようにスイッチを切り換え、一方、有声／無声フラグが無声を示す内容の場合は白色雑音発生器１３ａからの白色雑音が励振源信号として合成フィルタ１３ｄに入力されるようにスイッチを切り換える。合成フィルタ１３ｉは、切換スイッチ１３０Ａを介して入力される励振源信号をスペクトル情報−フィルタ係数変換部１３ｃから入力されるフィルタ係数を用いてフィルタ処理して合成音声波形を生成する。
【００８９】
ここで、合成音声波形の生成時において、例えば、励振源情報（有声／無声フレーム）が有声であることを示し、一方、ピッチ周波数が無声であることを示すようなピッチ周波数の無声区間と励振源情報の有声区間とが一致しないような状態が発生したとする。このような状態が発生したときに、上記音声合成装置１００において、韻律辞書１４に代えて音声波形の無声区間にピッチ周波数が設定されていない従来の韻律辞書を用いて音声合成処理を行った場合は、ピッチ周波数の無声区間に対応する出力信号に対して、励振源情報の有声区間に対応したスペクトル情報系列から変換されたフィルタ係数を用いてフィルタ処理を行われることになる。つまり、無声区間の信号に対して有声区間に対応したフィルタ係数を用いてフィルタ処理が行われるため、ピッチ周波数の無声区間と励振源情報の有声区間とが一致していない区間の合成音声波形において、図１７（ａ）に示すように、雑音が生じてしまう。ここで、図１７（ａ）は、無声区間にピッチ周波数が未設定の韻律辞書を用いた場合の合成音声波形の一例を示す図であり、（ｂ）は、本実施の形態における韻律辞書１４を用いた場合の合成音声波形の一例を示す図である。
【００９０】
本実施の形態においては、本発明に係る韻律辞書作成方法を用いて生成された、無声区間に対してもその区間を補間するピッチ周波数の設定されたピッチ周波数情報を有する韻律辞書１４を用いているので、ピッチ周波数系列には必ずピッチ周波数が存在する状態となり、例え、ピッチ周波数の無声区間と励振源情報の有声区間とが一致していない状態が発生しても、ピッチ周波数の無声区間に対して先行又は後続の有声区間の少なくとも一方と滑らかに接続するピッチ周波数に対するパルス列を発生するので、この一致していない区間においても、図１７（ｂ）に示すような、きれいな合成音声波形を生成することが可能である。このことは本発明の主とする効果である。
【００９１】
なお、励振源情報が無声区間を示している場合は、スペクトル情報系列は無声区間に対応しており、なおかつ、切換スイッチ１３０Ａにより、励振源信号は白色雑音に切り替わるので、パルス列発生器１３ｂが励振源信号の無声区間に対してピッチ周波数の有声区間に対応するパルス列を発生していても問題は生じない。
また、合成音声波形の生成において、非モデル化のスペクトル情報を用いているので、従来のモデル化されたスペクトル情報を用いた合成音声よりも高品質の合成音声を生成することが可能である。
【００９２】
更に、図１８に基づき、音声合成装置１００の動作処理の流れを説明する。図１８は、音声合成装置１００の動作処理を示すフローチャートである。
図１８に示すように、まずステップＳ２００に移行し、音声単位系列・音声単位ラベル系列生成部１０において、発音・韻律記号列を取得したか否かを判定し、取得したと判定された場合(Yes)はステップＳ２０２に移行し、そうでない場合(No)は取得するまで判定処理を続行する。
【００９３】
ステップＳ２０２に移行した場合は、音声単位系列・音声単位ラベル系列生成部１０において、発音・韻律記号列に対する音声単位系列を生成し、生成した音声単位系列を素片辞書１６に入力してステップＳ２０４に移行する。
ステップＳ２０４では、音声単位系列・音声単位ラベル系列生成部１０において、ラベル情報から音声単位ラベル系列を生成し、生成した音声単位ラベル系列を韻律生成部１１、韻律辞書１４及び継続長辞書１５にそれぞれ入力してステップＳ２０６に移行する。ここで、韻律辞書１４は、入力された音声単位ラベル系列に対応するピッチ周波数情報を韻律生成部１１に出力するようになっており、継続長辞書１５は、入力された音声単位ラベル系列に応じて音声単位毎の継続長情報を韻律生成部１１に出力するようになっており、素片辞書１６は、入力された音声単位系列に応じて音声単位毎の励振源情報及びスペクトル情報を素片接続部１２に出力するようになっている。
【００９４】
ステップＳ２０６では、韻律生成部１１において、韻律辞書１４から取得したピッチ周波数情報と、継続長辞書１５から取得した音声単位毎の継続長情報からピッチ周波数系列を生成し、生成したピッチ周波数系列を音声波形生成部１３に入力し、一方、音声単位毎の継続長情報を素片接続部１２に入力してステップＳ２０８に移行する。
ステップＳ２０８では、素片接続部１２において、韻律生成部１１から取得した音声単位毎の継続長情報、素片辞書１６から取得した励振源情報から励振源情報系列を生成し、生成した励振源情報系列を音声波形生成部１３に入力してステップＳ２１０に移行する。
【００９５】
ステップＳ２１０では、素片接続部１２において、韻律生成部１１から取得した音声単位毎の継続長情報及び素片辞書１６から取得したスペクトル情報からスペクトル情報系列を生成し、生成したスペクトル情報系列を音声波形生成部１３に入力してステップＳ２１２に移行する。
ステップＳ２１２では、音声波形生成部１３において、素片接続部１２から取得した励振源情報系列及び韻律生成部１１から取得したピッチ周波数系列に基づき励振源信号を生成し、スペクトル情報系列をフィルタ係数に変換して、生成した励振源信号及び変換結果のフィルタ係数を合成フィルタ１３ｄに入力してステップＳ２１４に移行する。
ステップＳ２１４では、合成フィルタ１２において、入力された励振源信号を入力されたフィルタ係数でフィルタ処理して、入力された発音・韻律記号列に対する合成音声波形を生成して処理を終了する。
【００９６】
［第１の実施の形態の変形例］
更に、上記第１の実施の形態における音声波形生成部１３を、図１６（ｂ）に示す構成にした場合の変形例を説明する。また、本変形例においては、励振源信号の周波数を２つのサブバンドに分割し、各サブバンド毎に励振源情報（有声／無声フラグ）を設定した。なお、素片接続部１２までの処理は、上記第１の実施の形態と同様となるのでその部分の説明は省略する。
【００９７】
図１６（ｂ）に示すように、本変形例における音声波形生成部１３は、白色雑音を発生する白色雑音発生器１３ａと、パルス列を発生するパルス列発生器１３ｂと、スペクトル情報系列をフィルタ係数に変換するスペクトル情報−フィルタ係数変換部１３ｃと、白色雑音に対応したサブバンドフィルタ１３ｅと、パルス列に対応したサブバンドフィルタ１３ｆと、入力される励振源信号をスペクトル情報−フィルタ係数変換部１３ｃからのフィルタ係数を用いてフィルタ処理する合成フィルタ１３ｇと、サブバンド毎の励振源情報（有声／無声フラグの内容）に応じて合成フィルタ１３ｇに入力される励振源信号を白色雑音又はパルス列のいずれかに切換える切換スイッチ１３０Ｂと、を含んだ構成となっている。
【００９８】
以下、本変形例における音声波形生成部１３の具体的な動作を説明する。白色雑音発生器１３ａは、常に白色雑音を発生して切換スイッチ１３０Ｂに出力しており、パルス列発生器１３ｂは、韻律生成部１１から入力されるピッチ周波数系列に応じたパルス列を発生して切換スイッチ１３０Ｂに出力する。一方、スペクトル情報−フィルタ係数変換部１３ｃは、素片接続部１２から入力されるスペクトル情報系列をフィルタ係数に変換して合成フィルタ１３ｇに出力する。切換スイッチ１３０Ｂは、素片接続部１２からの各サブバンド（ここでは、上記２つのサブバンドをサブバンドＡ及びＢとする）毎の励振源情報（有声／無声フラグの内容）に応じて、サブバンドＡの有声／無声フラグが有声を示す内容の場合は、サブバンドＡに対応するスイッチＡをパルス列発生器１３ｂからのサブバンドフィルタ１３ｆを介したパルス列が合成フィルタ１３ｇに入力されるように切り換え、一方、サブバンドＡの有声／無声フラグが無声を示す内容の場合は、白色雑音発生器１３ａからのサブバンドフィルタ１３ｅを介した白色雑音が合成フィルタ１３ｇに入力されるようにスイッチＡを切り換える。サブバンドＢに対してもサブバンドＡと同様に、サブバンドＢの有声／無声フラグが有声を示す内容の場合はサブバンドＢに対応するスイッチＢをパルス列発生器１３ｂからのサブバンドフィルタ１３ｆを介したパルス列が合成フィルタ１３ｇに入力されるように切り換え、一方、サブバンドＢの有声／無声フラグが無声を示す内容の場合は、白色雑音発生器１３ａからのサブバンドフィルタ１３ｅを介した白色雑音が合成フィルタ１３ｇに入力されるようにスイッチＢを切り換える。合成フィルタ１３ｇは、切換スイッチ１３０Ｂを介して入力される励振源信号をスペクトル情報−フィルタ係数変換部１３ｃから入力されるフィルタ係数を用いてフィルタ処理して合成音声波形を生成する。
【００９９】
本変形例においても、上記第１の実施の形態と同様に、本発明に係る韻律辞書作成方法を用いて生成された、無声区間に対してもその区間を補間するピッチ周波数の設定されたピッチ周波数情報から構成される韻律辞書１４を用いているので、ピッチ周波数系列には必ずピッチ周波数が存在する状態となり、例え、ピッチ周波数の無声区間と励振源情報の有声区間とが一致していない状態でも、ピッチ周波数の無声区間に対して先行又は後続の有声区間の少なくとも一方と滑らかに接続するピッチ周波数に対するパルス列を発生するので、この一致していない区間においても、図１７（ｂ）に示すような、きれいな合成音声波形を生成することが可能である。
また、上記第１の実施の形態と同様に、合成音声波形の生成において、非モデル化のスペクトル情報を用いているので、従来のモデル化されたスペクトル情報を用いた合成音声よりも高品質の合成音声を生成することが可能である。
【０１００】
［第２の実施の形態］
更に、図１９及び図２０に基づき、本発明に係る音声合成装置１００の第２の実施の形態を説明する。ここで、図１９（ａ）は、第２の実施の形態における代表ピッチ周波数情報の構成を示す図であり、（ｂ）は、ピッチ周波数の配置内容及び補間内容の一例を示す図であり、図２０（ａ）は、励振源情報が有声強度情報を有する場合の音声波形生成部１３の構成例を示す図であり、（ｂ）は、励振源情報が、当該励振源情報により生成される励振源信号の周波数を２つのサブバンドに分割した各サブバンド毎に有声強度情報を有する場合の音声波形生成部１３の構成例を示す図である。
【０１０１】
なお、本実施の形態における音声合成装置１００は、ピッチ周波数系列の生成に用いるピッチ周波数情報と、励振源情報系列の生成に用いる励振源情報と、音声波形生成部１３の構成とが上記第１の実施の形態と異なる。従って、以下、韻律生成部１１からの具体的な動作を説明する。
韻律生成部１１は、韻律辞書１４から入力された音声単位ラベル系列に対応する各音韻ラベル毎の代表ピッチ周波数情報と、継続長辞書１５から入力された音声単位毎の継続長情報とからピッチ周波数系列を生成する。本実施の形態においては、図１９（ａ）に示すように、代表ピッチ周波数情報が同一音韻ラベルの音声単位データにおける各代表点ピッチ周波数の平均値及び分散値から構成されている。以下、各代表点ピッチ周波数の平均値及び分散値から構成された代表ピッチ周波数情報を用いたピッチ周波数系列の生成処理の流れを具体的に説明する。
【０１０２】
図１９（ｂ）に示すように、各音声単位毎の継続長情報から時間軸に対する各音声単位毎の時間範囲が設定できるので、設定された時間範囲に対して、対応する代表点ピッチ周波数（５つ）を配置する。ここで、各代表点ピッチ周波数は、平均値に加え分散値を有しているので、平均値を中心に上下に分散値の平方根である標準偏差値分の幅を有することになる。従って、ピッチ周波数系列の生成時においては、標準偏差値を含む周波数範囲からピッチ周波数を選択することができる。また、本実施の形態においては、代表ピッチ周波数情報における代表点ピッチ周波数を、各音声単位の継続長内で等間隔に配置しているが、配置方法はこれに限らない。例えば、音声単位の種類や音韻環境などに依存して、ある区間では代表点を密あるいは疎に配置するといったことが可能である。更に、配置された代表点ピッチ周波数は、図１９（ｂ）に示すように、各代表点ピッチ周波数間を線形補間やスプライン補間等の各種補間手法により補間してピッチ周波数系列を生成する。ここで、図１９（ｂ）を見ても解るように、本実施の形態においては、上記韻律辞書の作成処理によって作成された無声区間に対してもピッチ周波数が設定されている韻律辞書を用いているので、生成されるピッチ周波数系列には無声区間が存在しない。
【０１０３】
素片接続部１２は、韻律生成部１１から入力される音声単位毎の継続長情報と素片辞書１６から入力される音声単位系列の各音声単位毎の励振源情報及びスペクトル情報とを取得して、励振源情報系列及びスペクトル情報系列を生成する。そして、生成したスペクトル情報系列及び励振源情報系列を音声波形生成部１３に入力する。なお、スペクトル情報系列及び励振源情報系列の生成方法は上記第１の実施の形態と同様であるので記載を省略する。ここで、本実施の形態においては、励振源情報として有声強度を用いる。有声強度は、０〜１．０の実数値をとるもので、有声強度が０の場合は、そのサブバンドは白色雑音の周波数成分のみから成り、有声強度が１の場合は、そのサブバンドはパルス列の周波数成分のみから成る。そして、音声波形生成部１３においては、有声強度の数値に応じて白色雑音とパルス列とをその数値が表す比率で混合して励振源信号を生成する。また、本実施の形態においては、音声素片（ここでは、音声素片を音素とする）のフレーム単位に有声強度情報が設定される。
【０１０４】
音声波形生成部１３は、本実施の形態においては、図２０（ａ）に示す構成を有している。以下、図２０（ａ）に基づき、第２の実施の形態における音声波形生成部１３の構成を説明する。
図２０（ａ）に示すように、音声波形生成部１３は、白色雑音を発生する白色雑音発生器１３ａと、パルス列を発生するパルス列発生器１３ｂと、スペクトル情報系列をフィルタ係数に変換するスペクトル情報−フィルタ係数変換部１３ｃと、白色雑音発生器１３ａから入力される白色雑音とパルス列発生器１３ｂから入力されるパルス列とを励振源情報（有声強度情報）に基づき混合して励振源信号を生成する混合器１３ｈと、混合器１３ｈから入力される励振源信号をスペクトル情報−フィルタ係数変換部１３ｃからのフィルタ係数によりフィルタ処理する合成フィルタ１３ｉと、を含んだ構成となっている。
【０１０５】
以下、本実施の形態における音声波形生成部１３の具体的な動作を説明する。白色雑音発生器１３ａは、常に白色雑音を発生して混合器１３ｈに出力しており、パルス列発生器１３ｂは、韻律生成部１１から入力されるピッチ周波数系列に応じたパルス列を発生して混合器１３ｈに出力する。一方、スペクトル情報−フィルタ係数変換部１３ｃは、素片接続部１２から入力されるスペクトル情報系列をフィルタ係数に変換して合成フィルタ１３ｉに出力する。混合器１３ｈは、素片接続部１２からの励振源情報（有声強度情報）に応じて、入力される白色雑音及びパルス列を有声強度の示す数値の比率で混合して励振源信号を生成し、これを合成フィルタ１３ｉに出力する。合成フィルタ１３ｉは、混合器１３ｈから入力される励振源信号をスペクトル情報−フィルタ係数変換部１３ｃから入力されるフィルタ係数を用いてフィルタ処理して合成音声波形を生成する。
【０１０６】
本実施の形態においても、上記第１の実施の形態と同様に、本発明に係る韻律辞書作成方法を用いて生成された、無声区間に対してもその区間を補間するピッチ周波数の設定されたピッチ周波数情報から構成される韻律辞書１４を用いているので、ピッチ周波数系列には必ずピッチ周波数が存在する状態となり、例え、ピッチ周波数の無声区間と励振源情報の有声区間とが一致していない状態でも、ピッチ周波数の無声区間に対して先行又は後続の有声区間の少なくとも一方と滑らかに接続するピッチ周波数に対するパルス列を発生するので、この一致していない区間においても、図１７（ｂ）に示すような、きれいな合成音声波形を生成することが可能である。
【０１０７】
また、上記第１の実施の形態と同様に、合成音声波形の生成において、非モデル化のスペクトル情報を用いているので、従来のモデル化されたスペクトル情報を用いた合成音声よりも高品質の合成音声を生成することが可能である。
また、励振源情報として有声強度情報を用いるので、上記第１の実施の形態のような有声か無声かといった２状態による制御ではなく０〜１．０の間の段階的な状態に応じた制御を行うことが可能であり、励振源信号の生成処理を精密に制御することが可能である。
【０１０８】
［第２の実施の形態の変形例］
更に、上記第２の実施の形態における音声波形生成部１３を、図２０（ｂ）に示す構成にした場合の変形例を説明する。また、本変形例においては、励振源信号の周波数を２つのサブバンドに分割し、各サブバンド毎に励振源情報（有声強度情報）を設定した。なお、素片接続部１２までの処理は、上記第２の実施の形態と同様となるのでその部分の説明は省略する。
【０１０９】
図２０（ｂ）に示すように、本変形例における音声波形生成部１３は、白色雑音を発生する白色雑音発生器１３ａと、パルス列を発生するパルス列発生器１３ｂと、スペクトル情報系列をフィルタ係数に変換するスペクトル情報−フィルタ係数変換部１３ｃと、白色雑音に対応したサブバンドフィルタ１３ｅと、パルス列に対応したサブバンドフィルタ１３ｆと、白色雑音発生器１３ａから入力される白色雑音とパルス列発生器１３ｂから入力されるパルス列とをサブバンド毎の励振源情報（有声強度情報）に基づき混合して励振源信号を生成する混合器１３ｊと、混合器１３ｈから入力される励振源信号をスペクトル情報−フィルタ係数変換部１３ｃからのフィルタ係数によりフィルタ処理する合成フィルタ１３ｋと、を含んだ構成となっている。
【０１１０】
以下、本実施の形態における音声波形生成部１３の具体的な動作を説明する。白色雑音発生器１３ａは、常に白色雑音を発生して混合器１３ｈに出力しており、パルス列発生器１３ｂは、韻律生成部１１から入力されるピッチ周波数系列に応じたパルス列を発生して混合器１３ｈに出力する。一方、スペクトル情報−フィルタ係数変換部１３ｃは、素片接続部１２から入力されるスペクトル情報系列をフィルタ係数に変換して合成フィルタ１３ｉに出力する。混合器１３ｈは、素片接続部１２からのサブバンド毎（２つ）の励振源情報（有声強度情報）に応じて、入力された白色雑音及びパルス列を有声強度の示す数値比率で混合して励振源信号を生成し、これを合成フィルタ１３ｋに出力する。合成フィルタ１３ｊは、混合器１３ｈから入力される励振源信号をスペクトル情報−フィルタ係数変換部１３ｃから入力されるフィルタ係数を用いてフィルタ処理して合成音声波形を生成する。
【０１１１】
本実施の形態においても、上記第１及び第２の実施の形態と同様に、本発明に係る韻律辞書作成方法を用いて生成された、無声区間に対してもその区間を補間するピッチ周波数の設定されたピッチ周波数情報から構成される韻律辞書１４を用いているので、ピッチ周波数系列には必ずピッチ周波数が存在する状態となり、例え、ピッチ周波数の無声区間と励振源情報の有声区間とが一致していない状態でも、ピッチ周波数の無声区間に対して先行又は後続の有声区間の少なくとも一方と滑らかに接続するピッチ周波数に対するパルス列を発生するので、この一致していない区間においても、図１７（ｂ）に示すような、きれいな合成音声波形を生成することが可能である。
【０１１２】
また、上記第１及び第２の実施の形態と同様に、合成音声波形の生成において、非モデル化のスペクトル情報を用いているので、従来のモデル化されたスペクトル情報を用いた合成音声よりも高品質の合成音声を生成することが可能である。
また、励振源情報として有声強度情報を用いるので、上記第１の実施の形態のような有声か無声かといった２状態による制御ではなく０〜１．０の間の段階的な状態に応じた制御を行うことが可能であり、励振源信号の生成処理を第２の実施の形態よりも更に精密に制御することが可能である。
【０１１３】
上記実施の形態において、音声単位系列・音声単位ラベル系列生成部１０は、請求項６記載の音声単位系列・音声単位ラベル系列生成手段又は請求項７記載の音声単位系列生成手段及び音声単位ラベル系列生成手段に対応する。
また、上記実施の形態において、韻律生成部１１は、請求項６記載の韻律生成手段又は請求項７記載のピッチ周波数系列生成手段に対応する。
【０１１４】
また、上記実施の形態において、素片接続部１２は、請求項６記載の素片接続手段又は請求項７記載の励振源情報系列生成手段及びスペクトル情報系列生成手段に対応する。
また、上記実施の形態において、音声波形生成部１３は、請求項６又は請求項７記載の音声波形生成手段に対応する。
また、上記実施の形態において、韻律辞書１４は、請求項５乃至請求項７のいずれか１に記載の韻律辞書に対応する。
また、上記実施の形態において、継続長辞書１５は、請求項６又は請求項７記載の継続長辞書に対応する。
また、上記実施の形態において、素片辞書１６は、請求項６又は請求項７記載の素片辞書に対応する。
【０１１５】
また、上記実施の形態において、ステップＳ１０２は、請求項１記載のピッチ周波数抽出ステップ又は請求項４記載のピッチ周波数抽出手段に対応し、ステップＳ１０４は、請求項１記載のピッチ周波数生成ステップ又は請求項４記載のピッチ周波数生成手段に対応し、ステップＳ１０６は、請求項１記載のピッチ周波数情報生成ステップ又は請求項５記載のピッチ周波数情報生成手段に対応し、ステップＳ１１４は、請求項１乃至請求項３のいずれかの統計量算出ステップ又は請求項４記載の統計量算出手段に対応し、ステップＳ１１６は、請求項１記載の代表ピッチ周波数情報決定ステップ又は請求項４記載の代表ピッチ周波数情報決定手段に対応し、ステップＳ１２０は、請求項１記載の韻律辞書生成ステップ又は請求項４記載の韻律辞書生成手段に対応する。
【０１１６】
また、上記実施の形態において、ステップＳ２０２及びステップＳ２０４は、請求項１２記載の音声単位系列・音声単位ラベル系列生成ステップ、請求項１３記載の音声単位系列生成ステップ及び音声単位ラベル系列生成ステップ、請求項１４記載の音声単位系列・音声単位ラベル系列生成手段、並びに、請求項１５記載の音声単位系列生成手段及び音声単位ラベル系列生成手段のいずれか１に対応する。
また、上記実施の形態において、ステップＳ２０６は、請求項１２記載の韻律生成ステップ、請求項１３記載のピッチ周波数系列生成ステップ、請求項１４記載の韻律生成手段及び請求項１５記載のピッチ周波数系列生成手段のいずれか１に対応する。
【０１１７】
また、上記実施の形態において、ステップＳ２１０及びステップＳ２１２は、請求項１２記載の素片接続ステップ、請求項１３記載の励振源情報系列生成ステップ及びスペクトル情報系列生成ステップ、請求項１４記載の素片接続手段、並びに、請求項１５記載の励振源情報系列生成手段及びスペクトル情報系列生成手段のいずれか１に対応する。
また、上記実施の形態において、ステップＳ２１２及びステップＳ２１４は、請求項１２及び請求項１３に記載の音声波形生成ステップ並びに請求項１４及び請求項１５記載の音声波形生成手段のいずれか１に対応する。
なお、上記実施の形態においては、日本語を例に挙げて説明したが、これに限らず、本発明を日本語以外の言語に適用しても良い。
【図面の簡単な説明】
【０１１８】
【図１】本発明に係る音声合成装置の構成を示すブロック図である。
【図２】フレームと分析対象（音声データ）との関係を示す図である。
【図３】発声内容に対する音韻環境の一例を示す図である。
【図４】音声単位のラベル情報付与時に用いられるシンボルを示す図である。
【図５】図３に示す発音内容に対する各音声単位の音韻環境を示す図である。
【図６】図３に示す発音内容の各音素に対する開始時間及び終了時間を示す図である。
【図７】図７は、図３に示す発音内容に対する音声単位の時間付きラベルデータを示す図である。
【図８】（ａ）は、無声区間の補間処理前の音声波形データに対するピッチ周波数情報を示す図であり、（ｂ）は、無声区間の補間処理後の音声波形データに対するピッチ周波数情報を示す図である。
【図９】音韻ラベル毎のピッチ周波数情報における代表点ピッチ周波数を示す図である。
【図１０】韻律辞書の作成処理を示すフローチャートである。
【図１１】セントロイドパターンの概念を示す図である。
【図１２】第１の実施の形態における発声内容に対する音韻環境の一例を示す図である。
【図１３】図１２に示す発音内容に対する各音声単位の音韻環境を示す図である。
【図１４】（ａ）は、第１の実施の形態における代表ピッチ周波数情報の構成を示す図であり、（ｂ）は、ピッチ周波数の配置内容及び補間内容の一例を示す図である。
【図１５】スペクトル情報系列の生成例を示す図である。
【図１６】（ａ）は、励振源情報が当該励振源情報により生成される励振源信号の有声区間又は無声区間を示す有声／無声フラグを有する場合の音声波形生成部１３の構成例を示す図であり、（ｂ）は、励振源情報が当該励振源情報により生成される励振源信号の周波数を２つのサブバンド分割した各サブバンド毎に有声／無声フラグを有する場合の音声波形生成部１３の構成例を示す図である。
【図１７】（ａ）は、無声区間にピッチ周波数が未設定の韻律辞書を用いた場合の合成音声波形の一例を示す図であり、（ｂ）は、本実施の形態における韻律辞書１４を用いた場合の合成音声波形の一例を示す図である。
【図１８】音声合成装置１００の動作処理を示すフローチャートである。
【図１９】（ａ）は、第２の実施の形態における代表ピッチ周波数情報の構成を示す図であり、（ｂ）は、ピッチ周波数の配置内容及び補間内容の一例を示す図である。
【図２０】（ａ）は、励振源情報が有声強度情報を有する場合の音声波形生成部１３の構成例を示す図であり、（ｂ）は、励振源情報が、当該励振源情報により生成される励振源信号の周波数を２つのサブバンドに分割した各サブバンド毎に有声強度情報を有する場合の音声波形生成部１３の構成例を示す図である。
【図２１】従来の音声合成システムの一構成例を示すブロック図である。
【符号の説明】
【０１１９】
１０              音声単位系列・音声単位ラベル系列生成部
１１              韻律生成部
１２              素片接続部
１３              音声波形生成部
１４              韻律辞書
１５              継続長辞書
１６              素片辞書
１００            音声合成装置
【図１】
2005266161.tif 000003
【図２】
2005266161.tif 000004
【図３】
2005266161.tif 000005
【図４】
2005266161.tif 000006
【図５】
2005266161.tif 000007
【図６】
2005266161.tif 000008
【図７】
2005266161.tif 000009
【図８】
2005266161.tif 000010
【図９】
2005266161.tif 000011
【図１０】
2005266161.tif 000012
【図１１】
2005266161.tif 000013
【図１２】
2005266161.tif 000014
【図１３】
2005266161.tif 000015
【図１４】
2005266161.tif 000016
【図１５】
2005266161.tif 000017
【図１６】
2005266161.tif 000018
【図１７】
2005266161.tif 000019
【図１８】
2005266161.tif 000020
【図１９】
2005266161.tif 000021
【図２０】
2005266161.tif 000022
【図２１】
2005266161.tif 000023