(57)【特許請求の範囲】
【請求項１】
音声合成に用いる韻律素片辞書を作成するための韻律素片辞書作成方法であって、
所定話者の発話した、発話文に対応した音声波形データから、当該音声波形データに含まれる所定フレーズの音声波形データ部分の韻律情報である第１韻律情報を抽出する第１韻律情報抽出ステップと、
前記所定フレーズの音声波形データ部分に先行及び後続する所定の韻律単位に対応する音声波形データ部分の少なくとも一方から、その韻律情報である第２韻律情報を抽出する第２韻律情報抽出ステップと、
音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書を参照し、前記所定の韻律単位に対応する韻律情報である第３韻律情報を生成する第３韻律情報生成ステップと、
前記第２韻律情報抽出ステップで抽出した第２韻律情報と、前記第３韻律情報生成ステップで生成した第３韻律情報とに基づき、前記第２韻律情報と前記第３韻律情報との特徴的な差を示す韻律特徴情報を生成する韻律特徴情報生成ステップと、
前記第１韻律情報抽出ステップで抽出した所定フレーズ毎の第１韻律情報と、前記韻律特徴情報生成ステップで生成された韻律特徴情報とに基づき韻律素片辞書を作成する韻律素片辞書作成ステップと、を含むことを特徴とする韻律素片辞書作成方法。
【請求項２】
前記所定フレーズは、出現頻度の比較的高いフレーズを含むことを特徴とする請求項１記載の韻律素片辞書作成方法。
【請求項３】
前記第２韻律情報及び前記第３韻律情報は、ピッチ周波数情報を含み、
前記韻律特徴情報は、前記第２韻律情報の示すピッチ周波数と、前記第３韻律情報の示すピッチ周波数との比率を示す情報を含むことを特徴とする請求項１又は請求項２記載の韻律素片辞書作成方法。
【請求項４】
前記第２韻律情報及び前記第３韻律情報は、ピッチ周波数情報を含み、
前記韻律特徴情報は、前記第２韻律情報の示すピッチ周波数の高低差から求まるイントネーションの大きさと、前記第３韻律情報の示すピッチ周波数の高低差から求まるイントネーションの大きさとの比率を示す情報を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の韻律素片辞書作成方法。
【請求項５】
音声合成に用いる韻律素片辞書を作成するための韻律素片辞書作成プログラムであって、
所定話者の発話した、発話文に対応した音声波形データから、当該音声波形データに含まれる所定フレーズの音声波形データ部分の韻律情報である第１韻律情報を抽出する第１韻律情報抽出ステップと、
前記所定フレーズの音声波形データ部分に先行及び後続する所定の韻律単位に対応する音声波形データ部分の少なくとも一方から、その韻律情報である第２韻律情報を抽出する第２韻律情報抽出ステップと、
音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書を参照し、前記所定の韻律単位に対応する韻律情報である第３韻律情報を生成する第３韻律情報生成ステップと、
前記第２韻律情報抽出ステップで抽出した第２韻律情報と、前記第３韻律情報生成ステップで生成した前記第３韻律情報とに基づき、前記第２韻律情報と前記第３韻律情報との特徴的な差を示す韻律特徴情報を生成する韻律特徴情報生成ステップと、
前記第１韻律情報抽出ステップで抽出した所定フレーズ毎の第１韻律情報と、前記韻律特徴情報生成ステップで生成された韻律特徴情報とに基づき韻律素片辞書を作成する韻律素片辞書作成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする韻律素片辞書作成プログラム。
【請求項６】
文章テキストに対応した合成音声波形データを生成する音声合成装置であって、
請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書と、
音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書と、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書と、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析手段と、
前記テキスト解析手段の解析結果と、前記標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成手段と、
前記文章テキストに対応するフレーズの中に、前記韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更手段と、
前記変更手段で変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整手段と、
前記韻律情報系列と、前記素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成手段と、を備えることを特徴とする音声合成装置。
【請求項７】
文章テキストに対応した合成音声波形データを生成する音声合成装置であって、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書と、
所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書と、
音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書と、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析手段と、
前記テキスト解析手段の解析結果と、前記標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成手段と、
前記文章テキストに対応するフレーズの中に、前記第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声波形データにおける前記一致するフレーズに先行及び後続する前記第２素片辞書の有する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する所定の音韻環境とが一致するか否かを判定する判定手段と、
前記韻律情報系列と、前記判定手段の判定結果と、前記第１及び第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成手段と、を備え、
前記音声波形生成手段は、前記判定手段において一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記音韻環境の一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記文章テキストの全体に対して前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとが合成されて成る、前記文章テキストに対応した合成音声波形データを生成することを特徴とする音声合成装置。
【請求項８】
文章テキストに対応した合成音声波形データを生成する音声合成装置であって、
請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書と、
音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書と、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書と、
前記所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書と、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析手段と、
前記テキスト解析手段の解析結果と、前記標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成手段と、
前記文章テキストに対応するフレーズの中に、前記韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更手段と、
前記変更手段で変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整手段と、
前記文章テキストに対応するフレーズの中に、前記第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声波形データにおける前記一致するフレーズに先行及び後続する前記第２素片辞書の有する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する所定の音韻環境とが一致するか否かを判定する判定手段と、
前記韻律情報系列と、前記判定手段の判定結果と、前記第１及び第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成手段と、を備え、
前記音声波形生成手段は、前記判定手段において一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記文章テキストの全体に対して前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとが合成されて成る、前記文章テキストに対応した合成音声波形データを生成することを特徴とする音声合成装置。
【請求項９】
前記変更手段は、前記韻律素片辞書に、前記文章テキストを構成するフレーズと同じフレーズに対応する第１韻律情報が複数含まれているときに、当該フレーズの前記韻律情報系列部分を、当該韻律情報系列部分における該当フレーズに先行及び後続する韻律情報系列部分との接続性が最も良い第１韻律情報に基づき生成された韻律情報系列部分に変更することを特徴とする請求項６又は請求項８記載の音声合成装置。
【請求項１０】
文章テキストに対応した合成音声波形データを生成する音声合成プログラムであって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する前記標準韻律情報とに基づき、前記文章テキストに対応する韻律情報を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更ステップと、
前記変更ステップで変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整ステップと、
前記韻律情報系列と、音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする音声合成プログラム。
【請求項１１】
文章テキストに対応した合成音声波形データを生成する音声合成プログラムであって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声データにおける前記一致するフレーズに先行及び後続する前記第２素片辞書の有する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する所定の音韻環境とが一致するか否かを判定する判定ステップと、
前記韻律情報系列と、前記判定ステップにおける判定結果と、文章テキストの全体に対して音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書及び前記第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含み、
前記音声波形生成ステップにおいては、前記判定ステップにおいて一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとが合成されて成る、前記文章テキストに対応した合成音声波形データを生成することを特徴とする音声合成プログラム。
【請求項１２】
文章テキストに対応した合成音声波形データを生成する音声合成プログラムであって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更ステップと、
前記変更ステップで変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書が有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整ステップと、
前記文章テキストに対応するフレーズの中に、所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声データにおける前記一致するフレーズに先行及び後続する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する前記第２素片辞書の有する所定の音韻環境とが一致するか否かを判定する判定ステップと、
前記韻律情報系列と、前記判定ステップにおける判定結果と、文章テキストの全体に対して音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書及び前記第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含み、
前記音声波形生成ステップにおいては、前記判定ステップにおいて一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとが合成されて成る、前記文章テキストに対応した合成音声波形データを生成することを特徴とする音声合成プログラム。
【請求項１３】
文章テキストに対応した合成音声波形データを生成する音声合成方法であって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する前記標準韻律情報とに基づき、前記文章テキストに対応する韻律情報を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更ステップと、
前記変更ステップで変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整ステップと、
前記韻律情報系列と、音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップと、を含むことを特徴とする音声合成方法。
【請求項１４】
文章テキストに対応した合成音声波形データを生成する音声合成方法であって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声データにおける前記一致するフレーズに先行及び後続する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する前記第２素片辞書の有する所定の音韻環境とが一致するか否かを判定する判定ステップと、
前記韻律情報系列と、前記判定ステップにおける判定結果と、文章テキストの全体に対して音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書及び前記第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップと、を含み、
前記音声波形生成ステップにおいては、前記判定ステップにおいて一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとが合成されて成る、前記文章テキストに対応した合成音声波形データを生成することを特徴とする音声合成方法。
【請求項１５】
文章テキストに対応した合成音声波形データを生成する音声合成方法であって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更ステップと、
前記変更ステップで変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整ステップと、
前記文章テキストに対応するフレーズの中に、所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声データにおける前記一致するフレーズに先行及び後続する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する前記第２素片辞書の有する所定の音韻環境とが一致するか否かを判定する判定ステップと、
前記韻律情報系列と、前記判定ステップにおける判定結果と、文章テキストの全体に対して音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書及び前記第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップと、を含み、
前記音声波形生成ステップにおいては、前記判定ステップにおいて一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとを合成して、前記文章テキストに対応した合成音声波形データを生成することを特徴とする音声合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト文を解析して生成される文章テキストから合成音声波形データを生成する音声合成で用いられる韻律素片辞書作成方法及び韻律素片辞書作成プログラム、並びに音声合成装置、音声合成プログラム及び音声合成方法に関する。
【背景技術】
【０００２】
従来、文章等のテキストデータから生成される文章テキストから音声を合成する技術として、特許文献１及び特許文献２記載の音声合成装置がある。
特許文献１の音声合成装置は、自然に発声させたいフレーズ（テキスト）を言語辞書に登録しておき、登録されたテキスト全体をそのまま自然発声した際に抽出した基本周波数パタン（以下、Ｆ０パタン）を、通常テキスト用のＦ０パタンとは区分して、韻律辞書に格納しておく。そして、入力テキストが言語辞書に登録されている場合は、登録テキスト用のＦ０パタン群を参照してＦ０パタンを選択して韻律情報を生成し、入力テキストが言語辞書に登録されていない場合、通常テキスト用のＦ０パタン群を参照してＦ０パタンを選択して韻律情報を生成する。これにより、登録フレーズについては、自然発声に近い合成音声を出力できるようにする。
【０００３】
また、特許文献２の音声合成装置は、文の一部だけを規則合成で変更可能とし、その他の部分は分析で作成した合成パラメータまたは音声波形データを使用して合成する場合に、規則合成時にその文の近傍の定型部の文章など、周辺の文環境を考慮して合成処理を行い、そこから規則合成部分として使用される内容の部分のみを取り出して使用することにより、規則合成部と分析部の韻律の接続性を良くする。これにより、自然性の良い合成をできるようにする。
【特許文献１】特開２００４−１９８９１７号公報
【特許文献２】特開平９−１８８５１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の音声合成装置においては、自然発声のＦ０パタンが反映される箇所が、入力テキストにおけるマッチしたフレーズ部分のみであるため、マッチした部分の自然性は再現できても、通常テキスト用のＦ０パタンと自然発声用のＦ０パタンとの連続する箇所の韻律や、文章全体の韻律については調和がうまくとれずに自然性を再現できない恐れがある。
【０００５】
また、上記特許文献２に記載の音声合成装置においては、規則合成で生成された２つのフレーズを含む合成音声波形データから一方のフレーズを取り出して、これと分析音のフレーズとの合成を行うため、これら２つのフレーズのそれぞれ接続側端部の音声素片が、例えば、その分析音側の音韻環境と前記取り出した規則合成音側の音韻環境とが所定の条件を満たしていない場合に、２つのフレーズの接続後の接続性がとれずに自然性を損なう恐れがある。
【０００６】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、定型句等の繰り返し用いられる可能性の高いフレーズと、それ以外のフレーズとの連結をより自然な抑揚を持たせた状態で行うのに好適な、韻律素片辞書作成方法及び韻律素片辞書作成プログラム、並びに、音声合成装置、音声合成プログラム及び音声合成方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る請求項１記載の韻律素片辞書作成方法は、
音声合成に用いる韻律辞書を作成するための韻律素片辞書作成方法であって、
所定話者の発話した、発話文に対応した音声波形データから、当該音声波形データに含まれる所定フレーズの音声波形データ部分の韻律情報である第１韻律情報を抽出する第１韻律情報抽出ステップと、
前記所定フレーズの音声波形データ部分に先行及び後続する所定の韻律単位に対応する音声波形データ部分の少なくとも一方から、その韻律情報である第２韻律情報を抽出する第２韻律情報抽出ステップと、
音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書を参照し、前記所定の韻律単位に対応する韻律情報である第３韻律情報を生成する第３韻律情報生成ステップと、
前記第２韻律情報抽出ステップで抽出した第２韻律情報と、前記第３韻律情報生成ステップで生成した第３韻律情報とに基づき、前記第２韻律情報と前記第３韻律情報との特徴的な差を示す韻律特徴情報を生成する韻律特徴情報生成ステップと、
前記第１韻律情報抽出ステップで抽出した所定フレーズ毎の第１韻律情報と、前記韻律特徴情報生成ステップで生成された韻律特徴情報とに基づき韻律素片辞書を作成する韻律素片辞書作成ステップと、を含むことを特徴としている。
【０００８】
つまり、例えば、韻律情報がピッチ周波数情報であるとすると、所定話者の発話した発話文に対応する音声波形データ中にある所定フレーズのピッチ周波数情報と、当該音声波形データ中の当該所定フレーズに先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応するピッチ周波数情報の、第３韻律情報との特徴的な差を示す韻律特徴情報とに基づき韻律素片辞書を作成するようにした。
【０００９】
従って、例えば、標準韻律情報（音声単位のピッチ周波数情報）のみで生成された韻律情報系列に対して、その所定フレーズの韻律情報系列部分を、これと同じフレーズの上記作成した韻律素片辞書の有するピッチ周波数情報に置換することが可能であり、更に、前記置換したフレーズの韻律情報系列部分に先行及び後続する標準韻律情報から生成された所定の韻律単位の韻律情報系列部分に対して、前記置換したフレーズに対応する韻律特徴情報に基づき、当該置換したフレーズの韻律情報系列部分に合わせた適切な調整を行うことができるので、このような調整の施された韻律情報系列から合成音声波形データを生成することで、所定フレーズ及びその前後のフレーズを含む文章がより自然音声に近い韻律（抑揚、話速、音量など）で発話（再生）される合成音声波形データを生成することができるという効果が得られる。ここで、韻律単位とは、韻律パタン生成の単位であり、音素、モーラ、アクセント句、１つのアクセント句を複数の区間に分割した単位、複数のアクセント句、呼気段落、など種々の単位を用いることができる。
【００１０】
なお、韻律特徴情報の範囲及び前記調整の範囲によって、より自然音声に近い韻律（抑揚、話速、音量など）で発話（再生）される文章部分の範囲が変わってくる。例えば、第１韻律情報のフレーズに先行又は後続する１つの呼気段落を前記範囲とするならば、先行又は後続の呼気段落及びこれと連続する第１韻律情報のフレーズの韻律を、より自然音声に近い韻律にすることが可能である。また、第１韻律情報のフレーズと連続する韻律単位に限らず、第１韻律情報のフレーズに韻律的に影響の大きい箇所の韻律単位の韻律特徴情報を生成し、この韻律単位に対応する標準韻律情報から生成された韻律情報系列部分を調整するようにする。
【００１１】
ここで、上記第１韻律情報、上記第２韻律情報及び上記第３韻律情報は、ピッチ周波数、音量（パワー）、音韻継続長（話速）などの韻律に係る情報から構成される。ピッチ周波数は、音声中の周期性を持つ部分の周期の逆数であり、声の高さを表す。また、音量は、音声単位の発声の強さを示すもので、例えば、孤立単語発声の場合、一般に語頭は強く発声され、語尾に向かって音量は小さくなる。また、音韻継続長は、例えば、音節の発声の長さ（時間）を示すもので、例えば、語尾の音節は語中に比べて比較的長めに発声される。 また、短い単語は遅く(つまり各音節は長く)長い単語は早く(各音節は短く)発声される傾向がある。以下、請求項５記載の韻律素片辞書作成プログラム、請求項６〜９記載の音声合成装置、請求項１１〜１４記載の音声合成プログラム、並びに、請求項１５〜１８記載の音声合成方法において同じである。
【００１２】
また、上記第１韻律情報は、音声波形データを構成する所定フレーズ毎の韻律情報により構成され、ＨＭＭ（隠れマルコフモデル）などによりモデル化されていない情報である。また、標準韻律情報は、音声波形データを構成する音声単位データ毎の韻律情報により構成され、ＨＭＭなどによりモデル化されたものも含む。以下、請求項５記載の韻律素片辞書作成プログラム、請求項６〜９記載の音声合成装置、請求項１１〜１４記載の音声合成プログラム、並びに、請求項１５〜１８記載の音声合成方法において同じである。
【００１３】
また、標準韻律辞書は、上記した音声単位毎のピッチ周波数情報である標準韻律情報から構成されるもので、複数の音声単位の標準韻律情報を組み合わせることで、あらゆる文章に対する韻律情報系列を生成することが可能である。ここで、前記標準韻律情報は、例えば、音韻ラベルと、当該音韻ラベルに対応するピッチ周波数の音声単位内における１つ以上の代表点の平均値及び分散値とから構成される。以下、請求項５記載の韻律素片辞書作成プログラム、請求項６〜９記載の音声合成装置、請求項１１〜１４記載の音声合成プログラム、並びに、請求項１５〜１８記載の音声合成方法において同じである。
【００１４】
また、第２韻律情報は、音声波形データを構成する所定韻律単位毎の韻律情報により構成されたものであり、単数及び複数の音声単位データ毎の韻律情報により構成される。以下、請求項５記載の韻律素片辞書作成プログラム、請求項６〜９記載の音声合成装置、請求項１１〜１４記載の音声合成プログラム、並びに、請求項１５〜１８記載の音声合成方法において同じである。
【００１５】
また、音声単位は、例えば、音素やモーラ等を用いて所定の単位で構成することが可能である。つまり、音素やモーラそのものを音声単位としたり、音素やモーラ等を用いて、「わたし」という語句を構成して音声単位としたり、「わたしは」、「わたしが」といった語句を構成して音声単位とすることが可能である。ここで、音素（phoneme）とは、 ある一つの言語で用いる音の単位で、意味の相違をもたらす最小の単位であり、ある音が当該言語で他の音と弁別的である場合に一つの音素と認められる。また、モーラとは、１子音音素と１短母音音素とを合せたものと等しい長さの音素結合である。また、モーラは、日本語の場合、仮名文字単位に相当し、音節とはやや異なっている。俳句や和歌で５，７，５，７，７，などと数えるときの音の単位で、伸ばす音「ー」(長母音) や詰まる音「ッ」(促音)、跳ねる音「ン」(撥音) なども１モーラと考える。以下、請求項５記載の韻律素片辞書作成プログラム、請求項６〜９記載の音声合成装置、請求項１１〜１４記載の音声合成プログラム、並びに、請求項１５〜１８記載の音声合成方法において同じである。
【００１６】
また、上記所定韻律単位とは、アクセント句、呼気段落等を含むものである。例えば、呼気段落内に所定フレーズが含まれている場合は、当該呼気段落内の先行部、後続部が所定韻律単位となり得る。他にも、所定フレーズに先行する呼気段落、所定フレーズに先行するアクセント句なども所定韻律単位となる。呼気段落は、例えば、日本語でいうところの読点で句切られる前後の文となる。例えば、「明日の天気は、晴れでしょう。」の場合は、「明日の天気は」及び「晴れでしょう」が呼気段落となる。なお、アクセント句については後述する。以下、請求項５記載の韻律素片辞書作成プログラム、請求項６〜９記載の音声合成装置、請求項１１〜１４記載の音声合成プログラム、並びに、請求項１５〜１８記載の音声合成方法において同じである。
【００１７】
また、本発明に係る請求項２記載の韻律素片辞書作成方法は、請求項１記載の韻律素片辞書作成方法において、
前記所定フレーズは、出現頻度の比較的高いフレーズを含むことを特徴としている。
例えば、カーナビゲーションシステムで頻繁に使われる「〜を左折です」、「〜を右折です」などのフレーズや、「おはようございます」、「こんにちは」、「〜でございます」、「〜して下さい」等の定型的に用いられるフレーズなどの、比較的頻繁に用いられる（比較的出現頻度の高い）フレーズに対して、第１及び第２韻律情報の抽出及び韻律特徴情報の生成を行い、これら第１韻律情報及び韻律特徴情報に基づき韻律素片辞書を生成する。
【００１８】
従って、このような韻律素片辞書を用いて、標準韻律辞書からのみ生成された韻律情報系列を調整することで、文章中で使われる可能性の高いフレーズの韻律情報系列部分を所定話者の発話した韻律の反映された韻律情報系列部分に置換できると共に、その前後の所定韻律単位に対応する韻律情報系列部分を適切な内容に調整できるので、置換対象のフレーズ及びその前後のフレーズを含む文章がより自然音声に近い韻律（抑揚、話速、音量など）で発話（再生）される合成音声波形データを生成することができるという効果が得られる。
【００１９】
また、本発明に係る請求項３記載の韻律素片辞書作成方法は、請求項１又は請求項２記載の韻律素片辞書作成方法において、
前記第２韻律情報及び前記第３韻律情報は、ピッチ周波数情報を含み、
前記韻律特徴情報は、前記第２韻律情報の示すピッチ周波数と、前記第３韻律情報の示すピッチ周波数との比率を示す情報を含むことを特徴としている。
つまり、自然発話された発話文の音声波形データから抽出される所定韻律単位のピッチ周波数（第２韻律情報）と、これに対応する標準ピッチ周波数との比率を示す情報、例えば、両ピッチ周波数の比率そのもの、所定の韻律単位が複数の場合は両ピッチ周波数のそれぞれの平均値の比率などの情報を韻律特徴情報とする。
【００２０】
従って、このような韻律素片辞書を用いて、標準韻律辞書からのみ生成された韻律情報における当該韻律素片辞書に対応する所定フレーズの韻律情報系列部分を置換して、その前後の所定韻律単位の韻律情報系列部分を調整するときに、対応する韻律情報系列部分における標準ピッチ周波数を韻律特徴情報の示す比率に応じた周波数へと調整することで適切な内容への調整を行うことが可能となるので、置換後の韻律情報系列部分の韻律に合わせた調整を簡易に行うことができるという効果が得られる。
【００２１】
更に、請求項４に係る発明は、請求項１乃至請求項３のいずれか１項に記載の韻律素片辞書作成方法において、
前記第２韻律情報及び前記第３韻律情報は、ピッチ周波数情報を含み、
前記韻律特徴情報は、前記第２韻律情報の示すピッチ周波数の高低差から求まるイントネーションの大きさと、前記第３韻律情報の示すピッチ周波数の高低差から求まるイントネーションの大きさとの比率を示す情報を含むことを特徴としている。
【００２２】
つまり、自然発話された発話文の音声波形データから抽出される所定韻律単位のピッチ周波数（第２韻律情報）の高低差から求まるイントネーションの大きさと、これに対応する標準ピッチ周波数（第３韻律情報）の高低差から求まるイントネーションの大きさとの比率を示す情報、例えば、ピッチ周波数の最大値と最小値との差分をイントネーションの大きさとし、その両者の比率そのものの情報を韻律特徴情報とする。
【００２３】
従って、このような韻律素片辞書を用いて、標準韻律辞書からのみ生成された韻律情報系列における当該韻律素片辞書に対応する所定フレーズの韻律情報系列部分を置換して、その前後の所定韻律単位の韻律情報系列部分を調整するときに、例えば、対応する韻律情報系列部分におけるイントネーションの大きさを決めるピッチ周波数を韻律特徴情報の示す比率に応じた周波数へと調整することで適切な内容への調整を行うことが可能となるので、置換後の韻律情報系列部分の韻律に合わせた調整を簡易に行うことができるという効果が得られる。
【００２４】
また、上記目的を達成するために、本発明に係る請求項５記載の韻律素片辞書作成プログラムは、
音声合成に用いる韻律素片辞書を作成するためのプログラムであって、
所定話者の発話した、発話文に対応した音声波形データから、当該音声波形データに含まれる所定フレーズの音声波形データ部分の韻律情報である第１韻律情報を抽出する第１韻律情報抽出ステップと、
前記所定フレーズの音声波形データ部分に先行及び後続する所定の韻律単位に対応する音声波形データ部分の少なくとも一方から、その韻律情報である第２韻律情報を抽出する第２韻律情報抽出ステップと、
音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書を参照し、前記所定の韻律単位に対応する韻律情報である第３韻律情報を生成する第３韻律情報生成ステップと、
前記第２韻律情報抽出ステップで抽出した第２韻律情報と、前記第３韻律情報生成ステップで生成した前記第３韻律情報とに基づき、前記第２韻律情報と前記第３韻律情報との特徴的な差を示す韻律特徴情報を生成する韻律特徴情報生成ステップと、
前記第１韻律情報抽出ステップで抽出した所定フレーズ毎の第１韻律情報と、前記韻律特徴情報生成ステップで生成された韻律特徴情報とに基づき韻律素片辞書を作成する韻律素片辞書作成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、請求項１記載の韻律素片辞書作成方法と同等の効果が得られる。
【００３２】
また、上記目的を達成するために、本発明に係る請求項６記載の音声合成装置は、
文章テキストに対応した合成音声波形データを生成する音声合成装置であって、
請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書と、
音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書と、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書と、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析手段と、
前記テキスト解析手段の解析結果と、前記標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成手段と、
前記文章テキストに対応するフレーズの中に、前記韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更手段と、
前記変更手段で変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整手段と、
前記韻律情報系列と、前記素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成手段と、を備えることを特徴としている。
【００３３】
このような構成であれば、テキスト解析手段によって、前記文章テキストに対してアクセント解析及び形態素解析を行うことが可能であり、韻律情報系列生成手段によって、前記テキスト解析手段の解析結果と、前記標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成することが可能であり、変更手段によって、前記文章テキストに対応するフレーズの中に、前記韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更することが可能であり、韻律情報調整手段によって、前記変更手段で変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された部分の韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行うことが可能であり、音声波形生成手段によって、前記韻律情報系列と、前記素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成することが可能である。
従って、韻律特徴情報に基づき、変更後の韻律情報系列部分に合わせた適切な調整を行うようにすることで、所定フレーズ及びその前後のフレーズを含む文章がより自然音声に近い韻律（抑揚、話速、音量など）で発話（再生）される合成音声波形データを生成することができるという効果が得られる。
ここで、上記テキスト解析手段は、アクセント解析結果及び形態素解析結果に基づいて、例えば、日本語であれば、入力された漢字かな交じり文（文章テキスト）の読み、アクセント、イントネーションを決定する。また、この解析結果に基づき、文章テキストに対して生成される韻律記号付きの読み情報である発音・韻律記号列（中間言語）を生成する場合もある。なお、中間言語とは、文章テキストを音声波形データに変換する際の合成出力に必要な読み方の制御を簡易に記述した言語である。以下、請求項７〜８記載の音声合成装置、請求項１０〜１２記載の音声合成プログラム、並びに、請求項１３〜１５記載の音声合成方法において同じである。
また、上記韻律記号は、呼気段落区切り、アクセント句区切り、アクセント核位置などから構成される。例えば、日本語におけるアクセントは、単語毎に決まっており、英語におけるストレスと同様、語彙の特定に利用される。例えば、「橋」と「箸」のような同音異義語はアクセントによって区別される。両者の音声的な弁別は、声の高さが急激に下がる点（これをアクセント核と呼ぶ）がどの位置にあるかによってなされている。また、アクセント句とは、高々１つのアクセント核を持つ語句のことである。また、アクセント型とは、アクセント核の位置によって定められているもので、例えば、「橋（はし’）」なら「し」がアクセント核を持つ単語となり、これは２型あるいは尾行型と呼ばれ、「箸（は’し）」なら「は」がアクセント核を持つ単語となり、１型あるいは頭高型と呼ばれ、アクセント核を持たないものは０型あるいは平板型と呼ばれる。また、文節や文として発声される場合は、各単語は、付属語との結合や、他の単語と複合語を形成する場合にアクセント位置の影響を受ける。このようなものは、従属型、不完全支配型、融合型及び支配型といった４つの型に分類できることが解っている。また、漢字には、音読み、訓読みといわれるように一般に複数の読み方がある。さらに、連濁、接辞といったように単語の組み合わせによって読み方が変わるものもある。例えば、連濁としては、めざまし＋とけい→めざましどけい、接辞としては、一＋本→いっぽんがある。以下、請求項７〜８記載の音声合成装置、請求項１０〜１２記載の音声合成プログラム、並びに、請求項１３〜１５記載の音声合成方法において同じである。
また、音声素片は、音素、半音素、複数音素の連なり（例えば、子音−母音、母音−子音−母音、子音−母音−子音など）などから構成されるものである。以下、請求項７〜８記載の音声合成装置、請求項１０〜１２記載の音声合成プログラム、並びに、請求項１３〜１５記載の音声合成方法において同じである。
また、スペクトル情報は、声道の音響的共振特性を表現する情報であり、励振源情報は、有声時の声帯振動及び無声時の肺からの空気の乱流を表現する情報である。励振源情報は、例えば、有声時は周期性のパルスなどにより表現され、無声時は白色雑音などにより表現される。以下、請求項７〜８記載の音声合成装置、請求項１０〜１２記載の音声合成プログラム、並びに、請求項１３〜１５記載の音声合成方法において同じである。
また、スペクトル情報及び励振源情報は、音声素片毎に対応するものが１つあっても良いし、複数あっても良い。以下、請求項７〜８記載の音声合成装置、請求項１０〜１２記載の音声合成プログラム、並びに、請求項１３〜１５記載の音声合成方法において同じである。
【００３４】
また、上記目的を達成するために、本発明に係る請求項７記載の音声合成装置は、
文章テキストに対応した合成音声波形データを生成する音声合成装置であって、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書と、
所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書と、
音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書と、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析手段と、
前記テキスト解析手段の解析結果と、前記標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成手段と、
前記文章テキストに対応するフレーズの中に、前記第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声波形データにおける前記一致するフレーズに先行及び後続する前記第２素片辞書の有する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する所定の音韻環境とが一致するか否かを判定する判定手段と、
前記韻律情報系列と、前記判定手段の判定結果と、前記第１及び第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成手段と、を備え、
前記音声波形生成手段は、前記判定手段において一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記音韻環境の一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記文章テキストの全体に対して前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとが合成されて成る、前記文章テキストに対応した合成音声波形データを生成することを特徴としている。
【００３５】
このような構成であれば、テキスト解析手段によって、前記文章テキストに対してアクセント解析及び形態素解析を行うことが可能であり、韻律情報系列生成手段によって、前記テキスト解析手段の解析結果と、前記標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成することが可能であり、判定手段によって、前記文章テキストに対応するフレーズの中に、前記第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声データにおける前記一致するフレーズに先行及び後続する前記第２素片辞書の有する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する所定の音韻環境とが一致するか否かを判定することが可能であり、音声波形生成手段によって、前記韻律情報系列と、前記判定手段の判定結果と、前記第１及び第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成することが可能である。
【００３６】
更に、前記音声波形生成手段は、前記判定手段において一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記文章テキストの全体に対して前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとを合成して成る、前記文章テキストに対応した合成音声波形データを生成することが可能である。
【００３７】
つまり、判定手段によって一致しないと判定されたときには、第１素片辞書の有する音声素片単位のスペクトル情報及び励振源情報を組み合わせて生成された前記文章テキストに対応する音声データ（以下、全文音声データと称す）における所定フレーズ部分の音声データ（以下、第１所定フレーズ音声データと称す）を、このフレーズと一致する、第２素片辞書の有するフレーズ単位のスペクトル情報及び励振源情報から生成された音声データ（以下、第２所定フレーズ音声データと称す）に置き換えるときに、全文音声データにおける第１所定フレーズ音声データに連結する他のフレーズの音声素片データとの連結位置の音声素片データについては、前記第２所定フレーズ音声データの音声素片データではなく、前記第１所定フレーズ音声データの音声素片データを用いるようにした。
【００３８】
例えば、第２素片辞書が「○×さんが、お待ちでございます。」における、読点の後に続く「お待ちでございます。（＊１）」に対応するスペクトル情報及び励振源情報を有しており、「○×さんがお待ちでございます。」といった読点の無い文章の合成音声波形データを生成する場合を想定する。このような場合に、上記構成であれば、第１素片辞書を用いて生成された全文音声データである「○×さんがお待ちでございます。（＊２）」における「○×さんが」の音声データ部分の「が」の音韻環境と、「お待ちでございます（＊１）。」に先行する「、」の音韻環境とが一致しないことを判定し、「○×さんがお待ちでございます。（＊２）」の「○×さんがお」の合成音声波形データ部分と、「お待ちでございます（＊１）。」の「お」を除く「待ちでございます。」の合成音声波形データ部分とを合成して成る、「○×さんがお待ちでございます。（＊３）」の合成音声波形データを生成することが可能である。
【００３９】
従って、文章テキストに対応するフレーズの中に、第２素片辞書のフレーズと一致するフレーズがある場合に、第２素片辞書の有するスペクトル情報及び励振源情報に対応したフレーズに先行及び後続する所定の音韻環境が、韻律情報系列生成手段で生成された韻律情報系列の対応する部分の音韻環境と一致しないような場合でも、その部分を音声素片単位のスペクトル情報及び励振源情報から生成される音声素片データに置き換えて合成することができるので、文章テキストに対応する前記一致する部分とその前後の文章とが、より滑らかに接続された合成音声波形データを生成することができるという効果が得られる。
【００４０】
ここで、上記第２素片辞書の有する所定フレーズ毎のスペクトル情報及び励振源情報は、所定話者が発話した前記所定フレーズを構成する音声素片毎のスペクトル情報及び励振源情報と、当該所定フレーズを構成する音声素片毎の時間情報とを含んで構成される。以下、請求項８記載の音声合成装置、請求項１１及び１２記載の音声合成プログラム、並びに、請求項１４及び１５記載の音声合成方法において同じである。
【００４１】
また、上記音声波形生成手段は、第２素片辞書に、前記文章テキストに含まれるフレーズと一致するフレーズがあり、且つ前記抽出時の音声波形データにおける当該フレーズに先行及び後続する所定の音韻環境と、前記生成した韻律情報系列の対応部分の音韻環境とが一致する場合は、一致するフレーズ全てに対応する合成音声波形データを第２素片辞書を用いて生成し、それ以外の部分を第１素片辞書を用いて生成し、これらを合成して、前記文章テキストに対応する合成音声波形データを生成することも可能である。また、第２素片辞書に、前記文章テキストに含まれるフレーズと一致するフレーズがない場合は、前記文章テキストに対応する合成音声波形データを第１素片辞書のみを用いて作成することも可能である。以下、請求項８記載の音声合成装置、請求項１１及び１２記載の音声合成プログラム、並びに、請求項１４及び１５記載の音声合成方法において同じである。
【００４２】
また、上記一致しない側端部の音声素片データは、合成音声波形データにおける時間軸において先頭及び最後から１番目の音声素片データの少なくとも一方のことである。つまり、音韻環境が一致しない側が、先行側だけであれば先頭から１番目、後続側だけであれば最後から１番目、先行側及び後続側の両方であれば、先頭及び最後からそれぞれ１番目の音声素片データとなる。以下、請求項８記載の音声合成装置、請求項１１及び１２記載の音声合成プログラム、並びに、請求項１４及び１５記載の音声合成方法において同じである。
【００４３】
また、上記目的を達成するために、請求項８記載の音声合成装置は、
文章テキストに対応した合成音声波形データを生成する音声合成装置であって、
請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書と、
音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書と、
音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書と、
前記所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書と、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析手段と、
前記テキスト解析手段の解析結果と、前記標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成手段と、
前記文章テキストに対応するフレーズの中に、前記韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更手段と、
前記変更手段で変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整手段と、
前記文章テキストに対応するフレーズの中に、前記第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声波形データにおける前記一致するフレーズに先行及び後続する前記第２素片辞書の有する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する所定の音韻環境とが一致するか否かを判定する判定手段と、
前記韻律情報系列と、前記判定手段の判定結果と、前記第１及び第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成手段と、を備え、
前記音声波形生成手段は、前記判定手段において一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記文章テキストの全体に対して前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとが合成されて成る、前記文章テキストに対応した合成音声波形データを生成することを特徴としている。
【００４４】
このような構成であれば、テキスト解析手段によって、前記文章テキストに対してアクセント解析及び形態素解析を行うことが可能であり、韻律情報系列生成手段によって、前記テキスト解析手段の解析結果と、前記標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成することが可能であり、韻律情報調整手段によって、前記変更手段で変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行うことが可能である。
【００４５】
更に、判定手段によって、前記文章テキストに対応するフレーズの中に、前記第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声データにおける前記一致するフレーズに先行及び後続する前記第２素片辞書の有する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する所定の音韻環境とが一致するか否かを判定することが可能であり、音声波形生成手段によって、前記韻律情報系列と、前記判定手段の判定結果と、前記第１及び第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成することが可能である。
【００４６】
尚更に、前記音声波形生成手段は、前記判定手段において一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記文章テキストの全体に対して前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとを合成して成る、前記文章テキストに対応した合成音声波形データを生成することが可能である。
【００４７】
従って、韻律特徴情報系列に基づき、前記変更されたフレーズ部分前後の韻律情報系列部分に対して、変更されたフレーズの韻律情報系列部分に合わせた適切な調整を行うことが可能であり、これにより、所定フレーズ及びその前後のフレーズを含む文章の発話をより自然な韻律（抑揚、話速、音量など）にできる韻律情報を生成することができるので、より自然音声に近い韻律（抑揚、話速、音量など）で発話（再生）される合成音声波形データを生成することができるという効果が得られる。
【００４８】
更に、上記の効果に加えて、文章テキストに対応するフレーズの中に、第２素片辞書のフレーズと一致するフレーズがある場合に、前記音声波形データにおける、前記フレーズに先行及び後続する所定の音韻環境が、前記生成した韻律情報系列における対応する箇所の音韻環境と一致しないような場合でも、その部分を音声素片単位のスペクトル情報及び励振源情報から生成される音声素片データに置き換えて合成することができるので、文章テキストに対応する前記一致する部分とその前後の文章とが、更に自然音声に近い韻律（抑揚、話速、音量など）で発話（再生）される合成音声波形データを生成することができるという効果が得られる。
【００４９】
更に、請求項９記載の音声合成装置は、請求項６又は請求項８記載の音声合成装置において、
前記変更手段は、前記韻律素片辞書に、前記文章テキストを構成するフレーズと同じフレーズに対応する第１韻律情報が複数含まれているときに、当該フレーズの前記韻律情報系列部分を、当該韻律情報系列部分における該当フレーズに先行及び後続する韻律情報系列部分との接続性が最も良い第１韻律情報に基づき生成された韻律情報系列部分に変更することを特徴としている。
【００５０】
このような構成であれば、例えば、変更するフレーズ前後の所定音韻環境の標準韻律情報と、複数の変更候補の第１韻律情報との間のコスト（調和の尺度）が最小となる第１韻律情報を選択して、標準韻律情報だけの韻律情報系列を変更することができるので、適切な第１韻律情報及び韻律特徴情報によって変更及び調整された韻律情報系列から、合成音声波形データを生成することができるので、置換対象のフレーズ及びその前後のフレーズを含む文章がより自然音声に近い韻律（抑揚、話速、音量など）で発話（再生）される合成音声波形データを生成することができるという効果が得られる。
【００５２】
また、上記目的を達成するために、請求項１０記載の音声合成プログラムは、
文章テキストに対応した合成音声波形データを生成する音声合成プログラムであって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する前記標準韻律情報とに基づき、前記文章テキストに対応する韻律情報を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更ステップと、
前記変更ステップで変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整ステップと、
前記韻律情報系列と、音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、請求項６記載の音声合成装置と同等の作用および効果が得られる。
【００５３】
また、上記目的を達成するために、請求項１１記載の音声合成プログラムは、
文章テキストに対応した合成音声波形データを生成する音声合成プログラムであって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声データにおける前記一致するフレーズに先行及び後続する前記第２素片辞書の有する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する所定の音韻環境とが一致するか否かを判定する判定ステップと、
前記韻律情報系列と、前記判定ステップにおける判定結果と、文章テキストの全体に対して音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書及び前記第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含み、
前記音声波形生成ステップにおいては、前記判定ステップにおいて一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとが合成されて成る、前記文章テキストに対応した合成音声波形データを生成することを特徴としている。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、請求項７記載の音声合成装置と同等の作用および効果が得られる。
【００５４】
また、上記目的を達成するために、請求項１２記載の音声合成プログラムは、
文章テキストに対応した合成音声波形データを生成する音声合成プログラムであって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更ステップと、
前記変更ステップで変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書が有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整ステップと、
前記文章テキストに対応するフレーズの中に、所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声データにおける前記一致するフレーズに先行及び後続する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する前記第２素片辞書の有する所定の音韻環境とが一致するか否かを判定する判定ステップと、
前記韻律情報系列と、前記判定ステップにおける判定結果と、文章テキストの全体に対して音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書及び前記第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含み、
前記音声波形生成ステップにおいては、前記判定ステップにおいて一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとが合成されて成る、前記文章テキストに対応した合成音声波形データを生成することを特徴としている。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、請求項８記載の音声合成装置と同等の作用および効果が得られる。
【００５６】
また、上記目的を達成するために、請求項１３記載の音声合成方法は、
文章テキストに対応した合成音声波形データを生成する音声合成方法であって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する前記標準韻律情報とに基づき、前記文章テキストに対応する韻律情報を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更ステップと、
前記変更ステップで変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整ステップと、
前記韻律情報系列と、音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップと、を含むことを特徴としている。
これにより、請求項６記載の音声合成装置と同等の効果が得られる。
【００５７】
また、上記目的を達成するために、請求項１４記載の音声合成方法は、
文章テキストに対応した合成音声波形データを生成する音声合成方法であって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声データにおける前記一致するフレーズに先行及び後続する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する前記第２素片辞書の有する所定の音韻環境とが一致するか否かを判定する判定ステップと、
前記韻律情報系列と、前記判定ステップにおける判定結果と、文章テキストの全体に対して音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書及び前記第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップと、を含み、
前記音声波形生成ステップにおいては、前記判定ステップにおいて一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとが合成されて成る、前記文章テキストに対応した合成音声波形データを生成することを特徴としている。
これにより、請求項７記載の音声合成装置と同等の効果が得られる。
【００５８】
また、上記目的を達成するために、請求項１５記載の音声合成方法は、
文章テキストに対応した合成音声波形データを生成する音声合成方法であって、
前記文章テキストに対してアクセント解析及び形態素解析を行うテキスト解析ステップと、
前記テキスト解析ステップにおける解析結果と、音声単位毎の韻律情報である標準韻律情報から構成される標準韻律辞書の有する標準韻律情報とに基づき、前記文章テキストに対応する韻律情報系列を生成する韻律情報系列生成ステップと、
前記文章テキストに対応するフレーズの中に、請求項１乃至請求項４のいずれか１項に記載の韻律素片辞書作成方法又は請求項５記載の韻律素片辞書作成プログラムによって作成された、前記第１韻律情報及び前記韻律特徴情報を含んで成る韻律素片辞書の有する前記第１韻律情報に対応したフレーズが含まれているときに、当該フレーズの前記韻律情報系列部分を、前記第１韻律情報に基づき生成された韻律情報系列部分に変更する変更ステップと、
前記変更ステップで変更されたフレーズ部分に先行及び後続する所定の韻律単位の少なくとも一方の韻律単位に対応する韻律情報系列部分に対して、前記変更された韻律情報系列部分に対応する前記韻律素片辞書の有する前記韻律特徴情報に基づき所定の調整処理を行う韻律情報調整ステップと、
前記文章テキストに対応するフレーズの中に、所定話者の発話した発話文に対応する音声波形データから抽出された、所定フレーズ毎のスペクトル情報と前記所定フレーズ毎の励振源情報と前記音声波形データにおける各前記所定フレーズに先行及び後続する所定の音韻環境の情報とを含んで成る第２素片辞書の有するスペクトル情報及び励振源情報に対応するフレーズと一致するものが含まれているときに、前記スペクトル情報及び前記励振源情報を抽出時の前記音声データにおける前記一致するフレーズに先行及び後続する所定の音韻環境と、前記韻律情報系列における前記一致するフレーズに対応する部分に先行及び後続する前記第２素片辞書の有する所定の音韻環境とが一致するか否かを判定する判定ステップと、
前記韻律情報系列と、前記判定ステップにおける判定結果と、文章テキストの全体に対して音声素片毎のスペクトル情報と前記音声素片毎の励振源情報とを含んで成る第１素片辞書及び前記第２素片辞書の有する前記スペクトル情報及び前記励振源情報とに基づき、前記文章テキストに対応した合成音声波形データを生成する音声波形生成ステップと、を含み、
前記音声波形生成ステップにおいては、前記判定ステップにおいて一致しないと判定されたときに、前記第２素片辞書の有する前記一致するフレーズに対応するスペクトル情報及び励振源情報から生成した合成音声波形データの前記一致しない側端部の音声素片データ部分を除いて成る第１合成音声波形データと、前記第１素片辞書の有するスペクトル情報及び励振源情報に基づき生成した合成音声波形データから、前記第１合成音声波形データに対応する部分を除いて成る第２合成音声波形データとを合成して、前記文章テキストに対応した合成音声波形データを生成することを特徴としている。
これにより、請求項８記載の音声合成装置と同等の効果が得られる。
【発明を実施するための最良の形態】
【００５９】
〔第１の実施の形態〕
以下、本発明に係る韻律素片辞書作成方法及び韻律素片辞書作成プログラム、並びに音声合成装置、音声合成プログラム及び音声合成方法の第１の実施の形態を図面に基づき説明する。図１〜図８は、本発明に係る韻律素片辞書作成方法及び韻律素片辞書作成プログラム、並びに音声合成装置、音声合成プログラム及び音声合成方法の第１の実施の形態を示す図である。
【００６０】
まず、本発明の第１の実施の形態に係る音声合成装置の構成を図１に基づき説明する。図１は、本発明の第１の実施の形態に係る音声合成装置１００の構成を示すブロック図である。
図１に示すように、音声合成装置１００は、音声合成対象の文章テキストを解析して、発音・韻律記号列を生成するテキスト解析部１０と、音声単位毎のピッチ周波数情報から構成される標準韻律辞書１１と、所定フレーズ単位のピッチ周波数情報及び後述する韻律特徴情報から構成される韻律素片辞書１２と、発音・韻律記号列に基づき、標準韻律辞書１１と、韻律素片辞書１２とを用いて韻律情報系列を生成する韻律生成部１３と、韻律情報系列に基づき、後述する標準波形素片辞書１５を用いて合成音声波形データを生成する波形合成部１４と、音声単位毎のスペクトル情報及び励振源情報から構成される標準波形素片辞書１５とを含んだ構成となっている。
【００６１】
テキスト解析部１０は、音声合成対象の文章テキストに対して、不図示の単語辞書等を用いて、アクセント解析及び形態素解析を行い、入力された文章テキスト（例えば、日本語ならかな漢字まじり文）の読み、アクセント、イントネーションを決定し、更に、韻律記号付きの読み情報（中間言語）である、発音・韻律記号列を生成する。更に、この生成した発音・韻律記号列を韻律生成部１３に出力する。
標準韻律辞書１１は、音声単位のラベル情報毎に対応したピッチ周波数情報である標準ピッチ周波数情報を有するもので、後述する標準韻律生成部１３ａから、発音・韻律記号列に対応した音声単位ラベル系列が入力されると、これと対応する標準ピッチ周波数情報を当該標準韻律生成部１３ａに出力する。
【００６２】
韻律素片辞書１２は、所定話者の発話した、複数フレーズから構成される発話文に対応する音声波形データから、後述する韻律素片辞書作成処理によって作成された所定フレーズ単位のピッチ周波数情報である韻律素片ピッチ周波数情報と、これに対応する韻律特徴情報とを有するもので、後述する韻律素片選択部１３ｃからの読み出し要求に応じて、要求されたフレーズの韻律素片ピッチ周波数情報及び韻律特徴情報を韻律素片選択部１３ｃに出力する。
ここで、韻律特徴情報は、音声波形データから所定フレーズのピッチ周波数情報を抽出するときに、そのフレーズに先行又は後続する所定音韻環境のピッチ周波数情報から生成される韻律的特徴を示す情報である。
【００６３】
韻律生成部１３は、標準韻律生成部１３ａと、登録フレーズ照合部１３ｂと、韻律素片選択部１３ｃと、韻律置換整形部１３ｄとを含んだ構成となっている。
標準韻律生成部１３ａは、テキスト解析部１０から入力された発音・韻律記号列に基づき音声単位ラベル系列を生成すると共に、当該音声単位ラベル系列を標準韻律辞書１１に出力して、音声単位ラベル系列に対応する音声単位系列に対応する標準ピッチ周波数情報を取得し、当該音声単位ラベル系列に対応する標準ピッチ周波数系列を含んで構成される標準韻律情報系列を生成する。
【００６４】
登録フレーズ照合部１３ｂは、テキスト解析部１０から入力された発音・韻律記号列に基づき、韻律素片辞書１２に登録されたフレーズと一致するフレーズが当該発音・韻律記号列に含まれているか否かを判定する。この判定結果は、韻律素片選択部１３ｃに出力される。
韻律素片選択部１３ｃは、登録フレーズ照合部１３ｂから入力される判定結果に基づき、一致するフレーズを含むと判定されたときは、韻律素片辞書から一致したフレーズに該当する全ての韻律素片ピッチ周波数情報及び韻律特徴情報を韻律素片辞書１２から読み出して、標準韻律生成部１３ａから入力された標準韻律情報系列に接続性が最も良いものを選択し、当該選択された韻律素片ピッチ周波数情報及び韻律特徴情報を韻律置換整形部１３ｄに出力する。一方、一致するフレーズを含まないと判定された場合は、そのことを韻律置換整形部１３ｄに通知する。
【００６５】
韻律置換整形部１３ｄは、韻律素片選択部１３ｃから、一致するフレーズに対応した韻律素片ピッチ周波数情報及び韻律特徴情報が入力されたときは、標準韻律生成部１３ａから入力される標準韻律情報系列における、一致するフレーズの標準ピッチ周波数情報を韻律素片ピッチ周波数情報に置換すると共に、韻律特徴情報に基づき、標準韻律情報系列における、一致するフレーズの前後の所定音韻環境に対応する韻律情報系列部分を整形して、最終的な韻律情報系列を生成する。この生成した韻律情報系列は、波形合成部１４に出力される。
【００６６】
一方、韻律置換整形部１３ｄは、韻律素片選択部１３ｃから、一致するフレーズが無いことを示す通知を受けると、標準韻律生成部１３ａから入力される標準韻律情報系列をそのまま波形合成部１４に出力する。
波形合成部１４は、標準波形素片辞書１５から、韻律生成部１３から入力された韻律情報系列に対応するスペクトル情報及び励振源情報を取得し、当該取得したスペクトル情報からスペクトル情報系列を生成すると共に、前記取得した励振源情報から励振源情報系列を生成する。また、波形合成部１４は、合成フィルタを備えており、前記生成したスペクトル情報系列を合成フィルタのパラメータとして用い、当該合成フィルタで、励振源情報系列に基づき生成される励振源信号をフィルタ処理して、文章テキストに対応する合成音声波形データを生成する。そして、生成した合成音声波形データに基づき、合成音声を出力する。
【００６７】
標準波形素片辞書１５は、音声単位毎のスペクトル情報及び音声単位毎の励振源情報を有するものである。本実施の形態においては、スペクトル情報としてフレーム単位で音声から抽出したスペクトル包絡パラメータを用い、励振源情報として、励振源信号の有声度（パルスとノイズの混合比）を用いる。
ここで、本実施の形態において、音声合成装置１００は、図示しないが、上記各構成要素を制御するプログラムが記憶された記憶媒体と、これらのプログラムを実行するためのプロセッサと、プログラムの実行に必要なデータを記憶するＲＡＭと、を備えている。そして、プロセッサにより記憶媒体に記憶されたプログラムを読み出して実行することによって上記各構成要素の処理を実現する。
【００６８】
また、記憶媒体は、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【００６９】
更に、韻律生成部１３における音声単位ラベル系列の生成方法について説明する。
以下、発声内容の文章が「あらゆる現実を、すべて自分の方へねじ曲げたのだ。」である場合を例として説明する。ここでは、音声単位を音素とし、下記の音韻環境の組み合わせを用いた場合を説明する。
・当該呼気段落の位置
・当該アクセント句の位置
・前後のポーズの有無
・当該アクセント句のモーラ長
・当該アクセント句のアクセント型
・先行アクセント句のアクセント型
・当該音素のアクセント句内でのモーラ位置
・当該音素
【００７０】
上記発声例に対して音韻環境を対応付けると、例えば、発声内容の前半部分は、当該音素は「ａ」，「ｒ」，「ａ」，「ｙ」，「ｕ」，「ｒ」，「ｕ」，「ｇ」，「ｅ」，「Ｎ」，「ｊ」，「ｉ」，「ｔｓ」，「ｕ」，「ｏ」となり、呼気段落は「あらゆる現実を」となり、アクセント句（読み）は「あらゆる」及び「現実を」となり、文中での当該呼気段落の位置は「１」となる。
【００７１】
また、例えば、「あらゆる」における、当該呼気段落でのアクセント句の位置は「１」となり、前後のポーズの有無は、当該アクセント句の直前において「ｘ」となり、当該アクセント句の直後において「０」となり、当該アクセント句のモーラ長は「４」となり、アクセント型は、当該アクセント句において「３」となり、先行アクセント句において「ｘ」となり、アクセント句内のモーラ位置は、「ａ」が「１」，「ｒ」「ａ」が「２」，「ｙ」「ｕ」が「３」，「ｒ」「ｕ」が「４」となる。
なお、ここでは、音声単位を音素としたが、これに限らず、半音素やモーラ等であっても良い。また、音韻環境として、上記したものだけに限らず、文のモーラ長、呼気段落のモーラ長、品詞、活用形、活用型等、更に、先々行、先行、後続、後々続等の音韻環境を利用しても良い。
【００７２】
本実施の形態においては、音韻ラベルの付与規則を以下に示すものとする。
・Ｐ＿Ｂｐｏｓ＿Ａｐｏｓ＿Ｐｐａｕ＿Ｎｐａｕ＿Ａｌｅｎ＿ＡＣｔｙｐｅ＿ＡＰｔｙｐｅ＿Ｍｐｏｓ
ここで、上記した付与規則における、Ｐが「当該音素」に、Ｂｐｏｓが「当該呼気段落の位置」に、Ａｐｏｓが「当該アクセント句の位置」に、Ｐｐａｕが「当該アクセント句の直前のポーズの有無」に、Ｎｐａｕが「当該アクセント句の直後のポーズの有無」に、Ａｌｅｎが「当該アクセント句のモーラ長」に、ＡＣｔｙｐｅが「当該アクセント句のアクセント型」に、ＡＰｔｙｐｅが「先行アクセント句のアクセント型」に、Ｍｐｏｓが「当該音素のアクセント句内でのモーラ位置」に各々対応している。
【００７３】
上記付与規則を用いて上記発声内容の各音素毎に音韻ラベルを付与すると、例えば、「あらゆる」の「あ」の音素である「ａ」に対する音韻ラベルは、「a_1_1_x_0_4_3_x_1」となる。ここで、音韻ラベル中のｘは情報が無いことを示す。更に、上記発声内容に対応する音声データから、各音素毎の開始時間（秒）及び終了時間（秒）を抽出する。
そして、上記各音素毎の音韻ラベルと上記各音素毎の時間情報とから成る時間付きラベルデータから、音声・韻律記号列に対応する音声単位ラベル系列を生成する。この音声単位ラベル系列に含まれる音韻ラベルから、当該音韻ラベル毎に対応する標準ピッチ周波数情報を標準韻律辞書１１から取得することができる。
【００７４】
更に、図２〜図４に基づき、韻律素片辞書の作成方法について説明する。ここで、図２は、韻律素片辞書の作成処理の流れを示す図である。また、図３は、ピッチ比及び抑揚比の算出方法の一例を示す図である。また、図４（ａ）は、韻律素片辞書の構成例を示す図であり、（ｂ）は、韻律素片辞書に登録されるピッチ周波数データの一例を示す図である。
本実施の形態において、韻律素片辞書１２は、特定の一人の話者の発話した多種類の発話文に対応する多数の音声波形データから作成する。なお、これら多数の音声波形データは、発話内容の情報と対応付けて事前に収集して記憶装置（ＨＤＤなど）に記憶しておく。
【００７５】
以下、図２に基づき、韻律素片辞書１２の作成処理の流れを説明する。ここで、本実施の形態においては、図示しないＰＣ等の情報処理装置により、専用の韻律素片辞書作成プログラムを起動し、図２のフローチャートに示す韻律素片辞書の作成処理を実行して韻律素片辞書１２を作成するようになっている。また、収集した音声波形データに対応する発話文は、いずれも２つ以上のフレーズから構成されたものとなっている。
【００７６】
図２に示すように、まずステップＳ１００に移行し、特定話者の所定の音声波形データを記憶装置（不図示）から取得してステップＳ１０２に移行する。
ステップＳ１０２では、ステップＳ１００で取得した音声波形データの発話内容の情報から、当該音声波形データに、予め登録された定型フレーズが含まれるか否かを判定し、含まれていると判定された場合(Yes)は、ステップＳ１０４に移行し、そうでない場合(No)は、ステップＳ１２２に移行する。ここで、定型フレーズは、例えば、カーナビゲーションシステムなどにおける、「〜を右折です」、「〜を右方向です」、「〜を左折です」、「〜を左方向です」、「〜を直進です」などのフレーズや、他に、「〜でございます」、「〜してください」、「〜ください」などの比較的頻繁に用いられる（比較的出現頻度の高い）フレーズが登録される。
【００７７】
ステップＳ１０４に移行した場合は、音声波形データから、登録フレーズに該当するフレーズ部分のピッチ周波数を第１韻律情報として抽出してステップＳ１０６に移行する。
ステップＳ１０６では、ステップＳ１０４で抽出したピッチ周波数に基づき、フレーズ単位のピッチ周波数情報（韻律素片ピッチ周波数情報）を生成してステップＳ１０８に移行する。
【００７８】
ステップＳ１０８では、音声波形データにおいて、登録フレーズに該当するフレーズ部分に先行するフレーズがあるか否かを判定し、あると判定された場合(Yes)は、ステップＳ１１０に移行し、そうでない場合(No)は、ステップＳ１１２に移行する。
ステップＳ１１０に移行した場合は、該当フレーズ部分に先行する所定韻律単位の音声波形データ部分からピッチ周波数を第２韻律情報として抽出してステップＳ１１２に移行する。
【００７９】
ステップＳ１１２では、音声波形データにおいて、登録フレーズに該当するフレーズ部分に後続するフレーズがあるか否かを判定し、あると判定された場合(Yes)は、ステップＳ１１４に移行し、そうでない場合(No)は、ステップＳ１１６に移行する。
ステップＳ１１４に移行した場合は、該当フレーズ部分に後続する所定韻律単位の音声波形データ部分からピッチ周波数を第２韻律情報として抽出してステップＳ１１６に移行する。
【００８０】
ここで、ステップＳ１１０，Ｓ１１４においてピッチ周波数の抽出対象となる、登録フレーズに先行または後続する所定韻律単位について説明する。例えば、登録フレーズの音韻記号列が、「イタシマ’ス＋ノデ」のように、その先行句切りがアクセント句内部で、後続句切りが呼気段落末として所定話者が発話したフレーズの場合においては、登録フレーズに先行する所定韻律単位は、呼気段落内の先行部及び呼気段落外の先行部となり、登録フレーズに後続する所定韻律単位は、呼気段落内の後続部及び呼気段落外の後続部となる。また、登録フレーズの音韻記号列が、「モーシアゲマ’ス」のように、その先行句切りがアクセント句またはアクセント句内部で、後続句切りが平叙文末として所定話者が発話したフレーズの場合においては、登録フレーズに先行する所定韻律単位は、呼気段落内先行部、呼気段落外先行部となり、登録フレーズに後続する所定韻律単位は存在しない。また、登録フレーズの音韻記号列が、「ミギホ’ーコーデス＋」のように、その先行句切りが呼気段落末またはアクセント句で、後続句切りが平叙文末として所定話者が発話したフレーズの場合においては、登録フレーズに先行する所定韻律単位は呼気段落外先行部となり、登録フレーズに後続する所定韻律単位は存在しない。
【００８１】
また、所定韻律単位は、登録フレーズが含まれる韻律単位や、当該韻律単位に対する登録フレーズの位置に応じて、アクセント句、呼気段落などとなる。
ステップＳ１１６では、登録フレーズに先行または後続する韻律単位のピッチ周波数に対応する標準ピッチ周波数情報を第３韻律情報として、標準韻律辞書（ここでは、標準韻律辞書１１）を参照することで生成してステップＳ１１８に移行する。
【００８２】
ステップＳ１１８では、ステップＳ１１６で取得した標準ピッチ周波数情報と、登録フレーズに先行または後続する音韻環境のピッチ周波数とに基づき、登録フレーズに対応する韻律特徴情報を生成してステップＳ１２０に移行する。
ここで、上記韻律特徴情報としては、第２韻律情報のピッチ周波数と、これに対応する第３韻律情報のピッチ周波数との比率（以下、ピッチ比と称す）と、第２韻律情報のピッチ周波数から求まるイントネーション（抑揚）の大きさと、これに対応する第３韻律情報のピッチ周波数から求まるイントネーション（抑揚）の大きさとの比率（以下、抑揚比と称す）とを生成する。
【００８３】
例えば、図３に示すように、登録フレーズの音韻記号列が、「今日の天気は、晴れです。」といった発話文における「テ’ンキワ」のフレーズであれば、例えば、音声波形データから抽出される呼気段落内の先行部のアクセント句である「キ’ョーノ」のピッチ周波数の平均値と、これに対応する標準ピッチ周波数の「キ’ョーノ」の平均値との比率がピッチ比となる。例えば、所定韻律単位「キ’ョーノ」に対するピッチ比は、図３に示すように「１．２」となる。
【００８４】
一方、図３中の矢印で示すように、音声波形データから抽出される呼気段落内の先行部のアクセント句である「キ’ョーノ」のピッチ周波数の最大値と最小値との差分値（イントネーション（抑揚）の大きさ）と、これに対応する標準ピッチ周波数の最大値と最小値との差分値（イントネーション（抑揚）の大きさ）との比率が抑揚比となる。例えば、所定韻律単位「キ’ョーノ」に対する抑揚比は、図３に示すように「１．５」となる。
【００８５】
また、図３に示すように、呼気段落外の後続部である「ハレ’デス」があるので、これについても上記同様にピッチ比及び抑揚比を算出する。例えば、所定韻律単位「ハレ’デス」に対するピッチ比及び抑揚比は、図３に示すようにそれぞれ「１．０」及び「１．１」となる。
つまり、登録フレーズに対する、所定韻律単位の位置毎のピッチ比及び抑揚比が韻律特徴情報となる。
【００８６】
ステップＳ１２０では、ステップＳ１０６で生成した韻律素片ピッチ周波数情報と、ステップＳ１１８で生成した韻律特徴情報とを対応付けて記憶装置（不図示）に記憶してステップＳ１２２に移行する。
ステップＳ１２２では、収集した全ての音声波形データに対して処理が終了したか否かを判定し、終了したと判定された場合(Yes)は、ステップＳ１２４に移行し、そうでない場合(No)は、ステップＳ１００に移行する。
ステップＳ１２４では、記憶装置に記憶された韻律素片ピッチ周波数情報及び韻律特徴情報に基づき、韻律素片辞書を作成して処理を終了する。
【００８７】
本実施の形態では、韻律素片辞書の作成時において、韻律素片ピッチ周波数情報及び韻律特徴情報の他に、当該韻律素片ピッチ周波数情報に対応するフレーズの、開始位置のピッチ周波数である韻律素片開始ピッチ（Ｈｚ）、終端位置のピッチ周波数である韻律素片終端ピッチ（Ｈｚ）、韻律素片ピッチ周波数データ（波形データ）の格納アドレスを示す韻律素片ピッチ情報アドレスなどの各種情報を生成する。更に、音声波形データに対応する音声・韻律記号列に基づき、登録フレーズの音声・韻律記号列、登録フレーズの先行句切り位置、及び後続句切り位置の情報を生成する。
【００８８】
そして、韻律特徴情報、音声・韻律記号列、先行句切り位置、後続句切り位置、韻律素片開始ピッチ（Ｈｚ）、韻律素片終端ピッチ（Ｈｚ）、及び韻律素片ピッチ周波数情報アドレスの情報から、図４（ａ）に示すデータテーブルを生成する。
つまり、韻律素片辞書は、上記生成したデータテーブルと、韻律素片ピッチ周波数データ（波形データ）とから構成される。なお、韻律素片ピッチ周波数データ（波形データ）は、記憶装置における、図４（ａ）のデータテーブルに登録された韻律素片ピッチ情報アドレスの示す記憶領域に記憶される。従って、本実施の形態の韻律素片辞書は、音声・韻律記号列をインデックスとして、上記各種情報を検出し取得することが可能である。
なお、本実施の形態において、上記音声合成装置１００の韻律素片辞書１２は、上記韻律素片辞書の作成方法により作成されたものである。
【００８９】
更に、図５に基づき、音声合成装置１００の動作処理の流れを説明する。ここで、図５は、音声合成装置１００の動作処理を示すフローチャートである。なお、図５中の標準ＰＦは標準ピッチ周波数、韻律素辺ＰＦは韻律素片ピッチ周波数のことである。
図５に示すように、まずステップＳ２００に移行し、テキスト解析部１０において、不図示の外部装置等又は入力デバイス（キーボード等）等を介して文章テキストが入力されたか否かを判定し、入力されたと判定された場合(Yes)は、ステップＳ２０２に移行し、そうでない場合(No)は、入力されるまで判定処理を続行する。
【００９０】
ステップＳ２０２に移行した場合は、テキスト解析部１０において、ステップＳ２００で入力された文章テキストに対して、アクセント解析及び形態素解析を行い、当該解析結果に基づき、発音・韻律記号列を生成し、当該生成した発音・韻律記号列を韻律生成部１３に出力してステップＳ２０４に移行する。
ステップＳ２０４では、標準韻律生成部１３ａにおいて、テキスト解析部１０から入力された発音・韻律記号列に基づき、標準韻律辞書１１から対応する標準ピッチ周波数情報を取得し、当該取得した標準ピッチ周波数情報に基づき文章テキスト全体の標準韻律情報系列を生成してステップＳ２０６に移行する。
【００９１】
ステップＳ２０６では、登録フレーズ照合部１３ｂにおいて、テキスト解析部１０から入力された発音・韻律記号列に含まれるフレーズ（記号列）と一致するフレーズ（記号列）が韻律素片辞書１２に含まれるか否かを判定してステップＳ２０８に移行する。
ステップＳ２０８では、登録フレーズ照合部１３ｂにおいて、ステップＳ２０６の判定結果に基づき、一致するフレーズがあると判定された場合(Yes)は、一致するフレーズがあることを韻律素片選択部１３ｃに通知してステップＳ２１０に移行し、そうでない場合(No)は、ステップＳ２２４に移行する。
なお、ステップＳ２０４の処理と、ステップＳ２０６，Ｓ２０８の処理とは順番に行われるようになっているが、これに限らず、これらの処理を並列に行っても良い。
【００９２】
ステップＳ２１０に移行した場合は、韻律素片選択部１３ｃにおいて、韻律素片辞書１２から、登録フレーズと一致するフレーズに対応し且つ前後の標準ピッチ周波数と最も接続性の良い韻律素片ピッチ周波数情報及び韻律特徴情報を取得し、当該取得した韻律素片ピッチ周波数情報及び韻律特徴情報を韻律置換整形部１３ｄに出力してステップＳ２１２に移行する。ここで、接続性の判断は、韻律素片辞書１２の有する韻律素片開始ピッチ（Ｈｚ）、及び韻律素片終端ピッチ（Ｈｚ）と、一致するフレーズ前後の標準ピッチ周波数とに基づき、接続コストが最も低い（周波数の差が最も小さい）ものを接続性が良いと判断する。
【００９３】
ステップＳ２１２では、韻律置換整形部１３ｄにおいて、韻律素片選択部１３ｃから入力された韻律特徴情報に基づき、標準韻律情報系列における登録フレーズと一致するフレーズに先行及び後続する所定韻律単位に対応した韻律情報（標準ピッチ周波数）系列部分を調整してステップＳ２１４に移行する。本実施の形態においては、韻律特徴情報が、上記説明したピッチ比及び抑揚比となるので、該当する標準ピッチ周波数部分を、当該標準ピッチ周波数と、調整後のピッチ周波数とのピッチ比及び抑揚比が韻律特徴情報のピッチ比及び抑揚比と同じ比となるように調整を行う。
【００９４】
ステップＳ２１４では、韻律置換整形部１３ｄにおいて、標準韻律情報系列における、登録フレーズと一致するフレーズ部分を、韻律素片選択部１３ｃから入力された韻律素片ピッチ周波数情報に置換してステップＳ２１６に移行する。
ステップＳ２１６では、韻律置換整形部１３ｄにおいて、韻律素片選択部１３ｃから入力された韻律素片ピッチ周波数情報と、ステップＳ２１２で調整後の標準ピッチ周波数とが滑らかに接続するように整形処理を施し、最終的な韻律情報系列を生成してステップＳ２１８に移行する。
【００９５】
ステップＳ２１８では、韻律置換整形部１３ｄにおいて、ステップＳ２１６で生成した韻律情報系列を、波形合成部１４に出力してステップＳ２２０に移行する。
ステップＳ２２０では、波形合成部１４において、韻律置換整形部１３ｄから入力された韻律情報系列に基づき、標準波形素片辞書１５の有するスペクトル情報及び励振源情報を用いて、ステップＳ２００で入力された文章テキストに対応する合成音声波形データを生成してステップＳ２２２に移行する。
【００９６】
ステップＳ２２２では、波形合成部１４において、ステップＳ２２０で生成した合成音声波形データに基づき、ステップＳ２００で入力された文章テキストの合成音声をスピーカ等（不図示）の出力装置から出力して処理を終了する。
一方、ステップＳ２０８において、一致するフレーズがなくステップＳ２２４に移行した場合は、ステップＳ２０４で生成した標準韻律情報系列を、最終的な韻律情報系列として波形合成部１４に出力してステップＳ２２０に移行する。
【００９７】
次に、図６〜図８に基づき、本実施の形態の動作を説明する。ここで、図６（ａ）は、定型フレーズを含む実発話文の音声波形データにおけるピッチ周波数系列の一例を示す図であり、（ｂ）は、（ａ）の実発話文に対して標準ピッチ周波数のみで生成したピッチ周波数系列の一例を示す図である。また、図７は、定型フレーズを含む文章テキストに対する標準韻律情報系列の一例を示す図である。また、図８（ａ）は、文章テキストにおける定型フレーズに韻律素片ピッチ周波数を用い、且つ韻律特徴情報に基づく調整処理を施した韻律情報系列の一例を示す図であり、（ｂ）は、（ａ）と同じ文章テキストに対して従来技術の手法で生成した韻律情報系列の一例を示す図である。
【００９８】
ここでは、特定話者Ａに、発音・韻律記号列が「コノ’タビ、  イテンスルコト’ニ  ナリマ’シタノデ  、オシラセ  モーシアゲマ’ス。」となる文章を発話してもらい、登録フレーズを「モーシアゲマ’ス」としたときに、この発話文の音声波形データから生成した韻律素片ピッチ周波数情報及び韻律特徴情報を、韻律素片辞書１２が有する場合を説明する。
【００９９】
特定話者Ａは、図６（ａ）に示す実発話の音声波形データから生成された韻律情報系列から解るように、登録フレーズである「モーシアゲマ’ス」のフレーズを発話するときに、このフレーズに先行する呼気段落（図６（ａ）の例では、「コノ’タビ、  イテンスルコト’ニ  ナリマ’シタノデ」）の抑揚がやや強めになる一方、同じ呼気段落内では直前のフレーズ（図６（ａ）の例では、「オシラセ」）の抑揚を抑える傾向にある。
【０１００】
一方、図６（ａ）と同じ韻律情報系列を、標準韻律辞書１１の有する標準ピッチ周波数情報だけで生成すると、図６（ｂ）に示すように、図６（ａ）の例と比較して、登録フレーズとは独立に各フレーズの韻律情報系列部分が生成されるため、抑揚が単調気味になっているのが解る。なお、図６（ｂ）中の破線で示された波形が、標準のピッチとなる。
【０１０１】
また、ここでは、登録フレーズに先行する呼気段落と、登録フレーズと同じ呼気段落内の直前のフレーズとに対する韻律特徴情報を生成する。つまり、図６（ａ）に示すように、「コノ’タビ、  イテンスルコト’ニ  ナリマ’シタノデ」に対する韻律特徴情報（ピッチ比「１．１」、抑揚比「１．５」）と、「オシラセ」に対する韻律特徴情報（ピッチ比「０．８５」、抑揚比「０．６」）とを生成する。
従って、韻律素片辞書１２には、「モーシアゲマ’ス」の韻律素片ピッチ周波数情報と、このフレーズに先行する呼気段落「コノ’タビ、  イテンスルコト’ニ  ナリマ’シタノデ」に対する韻律特徴情報と、同じ呼気段落内で当該フレーズに先行する「オシラセ」に対する韻律特徴情報とが登録されていることになる。
【０１０２】
以下、韻律素片辞書１２が、上記「モーシアゲマ’ス」の上記韻律素片ピッチ周波数情報及び上記韻律特徴情報を有する音声合成装置１００の実際の動作を説明する。
まず、音声合成装置１００のテキスト解析部１０に、文章テキスト「格別のお引き立てにあずかり、厚く御礼申しあげます。」が入力される（ステップＳ２００）。
テキスト解析部１０は、入力された文章テキストに対して、単語辞書を参照して、アクセント解析及び形態素解析を実行し、その解析結果に基づき文章テキストに対する発音・韻律記号列を生成する（ステップＳ２０２）。この場合の発音・韻律記号列は、「カクベツノ  オヒ＋キタテニ  アズカ’リ  、アツ＋ク  オンレー  モーシアゲマ’ス。」となる。この発音・韻律記号列は、韻律生成部１３の標準韻律生成部１３ａ及び登録フレーズ照合部１３ｂにそれぞれ入力される。
【０１０３】
標準韻律生成部１３ａは、入力された発音・韻律記号列に基づき、音声単位ラベル系列を生成し、当該音声単位ラベル系列のラベル情報に対応する標準ピッチ周波数情報を、標準韻律辞書１１から取得する。そして、当該取得した標準ピッチ周波数情報から、前記発音・韻律記号列に対応する標準韻律情報系列を生成する（ステップＳ２０４）。このようにして生成された標準韻律情報系列（標準ピッチ周波数系列）は、図７に示すように、全体的に抑揚が単調気味となる。また、当該生成した標準韻律情報系列は、韻律置換整形部１３ｄに入力される。なお、図７中の破線で示された波形が、標準のピッチとなる。
【０１０４】
一方、登録フレーズ照合部１３ｂは、入力された発音・韻律記号列に基づき、当該発音・韻律記号列に、登録フレーズが含まれているか否かを判定する（ステップＳ２０６）。当該発音・韻律記号列には、登録フレーズとして「モーシアゲマ’ス」が含まれているので（ステップＳ２０８の「Ｙｅｓ」の分岐）、このことを韻律素片選択部１３ｃに通知する。
【０１０５】
韻律素片選択部１３ｃは、登録フレーズ照合部１３ｂからの通知を受けると、韻律素片辞書１２から、登録フレーズ「モーシアゲマ’ス」に対応する韻律素片ピッチ周波数情報及び韻律特徴情報が複数ある場合は、標準韻律生成部１３ａで生成された標準韻律情報系列における標準ピッチ周波数との接続性が最も良い「モーシアゲマ’ス」の韻律素片ピッチ周波数情報及び韻律特徴情報を選択する。この選択方法としては、前述したように、韻律素片辞書１２の有する、複数の「モーシアゲマ’ス」の韻律素片開始ピッチ（Ｈｚ）、及び韻律素片終端ピッチ（Ｈｚ）と、標準韻律情報系列における「モーシアゲマ’ス」のフレーズ前後の標準ピッチ周波数とに基づき、周波数の差が最も小さくなるものを接続性が最も良いとものと判断して選択する。ここでは、前提として述べた、先行する呼気段落の韻律特徴情報（ピッチ比「１．１」、抑揚比「１．５」）と、同じ呼気段落内の先行するフレーズの韻律特徴情報（ピッチ比「０．８５」、抑揚比「０．６」）とを有する「モーシアゲマ’ス」の韻律素片ピッチ周波数情報及び韻律特徴情報が選択されたとする。そして、韻律素片選択部１３ｃは、この選択した韻律素片ピッチ周波数情報及び韻律特徴情報を韻律素片辞書１２から取得して、韻律置換整形部１３ｄに出力する（ステップＳ２１０）。
【０１０６】
韻律置換整形部１３ｄは、韻律素片選択部１３ｃから「モーシアゲマ’ス」の韻律素片ピッチ周波数情報及び韻律特徴情報が入力されると、標準韻律情報系列における、「モーシアゲマ’ス」に先行する呼気段落の「カクベツノ  オヒ＋キタテニ  アズカ’リ」に対応する標準ピッチ周波数に対して、これに対応する韻律特徴情報であるピッチ比「１．１」、抑揚比「１．５」を用いて調整を行う（ステップＳ２１２）。
【０１０７】
ここで、前述した図６（ａ）の例と同様に、特定話者Ａは、上記選択された「モーシアゲマ’ス」のフレーズを発話時に、このフレーズに先行する呼気段落（ここでは、「カクベツノ  オヒ＋キタテニ  アズカ’リ、」）の抑揚をやや強めにする一方、同じ呼気段落内では直前のフレーズ（ここでは、「アツ＋ク  オンレー」）の抑揚を抑える傾向にある。そのため、図８（ａ）に示すように、「カクベツノ  オヒ＋キタテニ  アズカ’リ  、アツ＋ク  オンレー」の標準韻律情報系列（標準ピッチ周波数系列）に対して、実発話のデータから生成された「モーシアゲマ’ス」の韻律情報系列（韻律素片ピッチ周波数系列）を単純に接続しただけでは、先行する各フレーズに対して、前記同様に登録フレーズとは独立に標準韻律情報系列が生成されているため、特定話者Ａの先行フレーズに対する抑揚とは異なる抑揚を有した標準韻律情報系列と、実発話に対する韻律情報系列とが接続されてしまうので、全体として不自然な抑揚となる。従って、不自然な抑揚を自然な抑揚となるように修正するために、韻律特徴情報に基づき、標準韻律情報系列を調整する。なお、図８（ａ）中の破線で示された波形が、標準のピッチとなる。
【０１０８】
具体的には、「カクベツノ  オヒ＋キタテニ  アズカ’リ」に対応する標準ピッチ周波数系列と、調整後のピッチ周波数系列とのピッチ比が１．１、抑揚比が１．５となるように、系列内の各標準ピッチ周波数を調整する。同様に、標準韻律情報系列における、「モーシアゲマ’ス」と同じ呼気段落内の先行フレーズである「アツ＋ク  オンレー」に対応する標準ピッチ周波数系列と、調整後のピッチ周波数系列とのピッチ比が０．８、抑揚比が０．６となるように、系列内の各標準ピッチ周波数を調整する。
【０１０９】
更に、韻律置換整形部１３ｄは、標準韻律情報系列における「モーシアゲマ’ス」に対応する標準ピッチ周波数系列を、韻律素片選択部１３ｃから入力された韻律素片ピッチ周波数情報に置換すると共に（ステップＳ２１４）、この置換後の韻律素片ピッチ周波数情報（韻律素片ピッチ周波数系列）と、上記調整後の標準韻律情報系列とが滑らかに接続するように、スムージング処理などの整形処理を施して、図８（ｂ）に示すように、「カクベツノ  オヒ＋キタテニ  アズカ’リ  、アツ＋ク  オンレー  モーシアゲマ’ス。」に対する最終的な韻律情報系列を生成する（ステップＳ２１６）。そして、当該生成した韻律情報系列を波形合成部１４に出力する（ステップＳ２１８）。なお、図８（ｂ）中の破線で示された波形が、調整後の標準のピッチとなる。
【０１１０】
波形合成部１４は、韻律生成部１３から入力された韻律情報系列に対応するスペクトル情報及び励振源情報を標準波形素片辞書１５から取得し、当該取得したスペクトル情報からスペクトル情報系列を生成すると共に、前記取得した励振源情報から励振源情報系列を生成する。そして、前記生成したスペクトル情報系列を合成フィルタのパラメータとして用い、当該合成フィルタで、励振源情報系列に基づき生成される励振源信号をフィルタ処理して、文章テキストに対応する合成音声波形データを生成する（ステップＳ２２０）。更に、この生成した合成音声波形データに基づき、不図示のスピーカ等から合成音声を出力する（ステップＳ２２２）。
【０１１１】
このように、本実施の形態の音声合成装置１００は、所定話者の発話した発話文に対応する音声波形データから抽出された登録フレーズ（定型フレーズ）部分のピッチ周波数情報（韻律素片ピッチ周波数情報）と、音声波形データにおける前記定型フレーズに先行及び後続する所定韻律単位に対するピッチ周波数と、これに対応する標準ピッチ周波数とに基づき生成された所定韻律単位の韻律的特徴を示す韻律特徴情報とを有した韻律素片辞書１２を用いて、音声単位のラベル情報毎のピッチ周波数情報である標準ピッチ周波数情報から生成された標準韻律情報系列に含まれる定型フレーズ部分を、韻律素片辞書１２の有する韻律素片ピッチ周波数情報に置換する。更に、標準韻律情報系列における定型フレーズに先行及び後続する所定韻律単位の標準ピッチ周波数系列部分を、韻律素片辞書１２の有する前記韻律素片ピッチ周波数情報に対応する韻律特徴情報に基づき調整して、最終的な韻律情報系列を生成するようにしたので、文章テキストの文章がより自然発話に近い抑揚で発話（再生出力）される合成音声波形データを生成することが可能である。
【０１１２】
上記第１の実施の形態において、テキスト解析部１０は、請求項６記載のテキスト解析手段に対応し、韻律素片辞書１２は、請求項１〜５のいずれか１項に記載の韻律素片辞書に対応し、韻律生成部１３は、請求項６記載の韻律情報系列生成手段に対応し、登録フレーズ照合部１３ｂ、韻律素片選択部１３ｃ及び韻律置換整形部１３ｄによる、登録フレーズに対応する標準韻律情報系列部分を韻律素片辞書１２の韻律素片ピッチ周波数情報から構成される韻律情報系列部分に置換する処理は、請求項６又は９記載の変更手段に対応し、韻律置換整形部１３ｄによる置換部分に先行及び後続する所定韻律単位の韻律情報系列部分を韻律特徴情報に基づき調整する処理は、請求項６記載の韻律情報調整手段に対応し、波形合成部１４は、請求項６記載の音声波形生成手段に対応し、標準波形素片辞書１５は、請求項６、１０及び１３のいずれか１項に記載の素片辞書に対応する。
【０１１３】
また、上記第１の実施の形態において、ステップＳ１００〜Ｓ１０４は、請求項１又は５記載の第１韻律情報抽出ステップに対応し、ステップＳ１０８〜Ｓ１１４は、第２韻律情報抽出ステップに対応し、ステップＳ１１６は、請求項１又は５記載の第３韻律情報生成ステップに対応し、Ｓ１１８は、請求項１又は５記載の韻律特徴情報生成ステップに対応し、ステップＳ１２４は、請求項１又は５記載の韻律素片辞書作成ステップに対応する。
【０１１４】
また、上記第１の実施の形態において、ステップＳ２００〜Ｓ２０２は、請求項１０又は１３記載のテキスト解析ステップに対応し、ステップＳ２０４，Ｓ２１６は、請求項１０又は１３記載の韻律情報系列生成ステップに対応し、ステップＳ２０８，Ｓ２１０，Ｓ２１４は、請求項１０又は１３記載の変更ステップに対応し、ステップＳ２１２は、請求項１０又は１２記載の韻律情報調整ステップに対応し、ステップＳ２２０は、請求項１０又は１３記載の音声波形生成ステップに対応する。
【０１１５】
〔第２の実施の形態〕
次に、本発明に係る音声合成装置、音声合成プログラム及び音声合成方法の第２の実施の形態を図面に基づき説明する。図９〜図１３は、本発明に係る音声合成装置、音声合成プログラム及び音声合成方法の第２の実施の形態を示す図である。
まず、本発明の第２の実施の形態に係る音声合成装置の構成を図９及び図１０に基づき説明する。ここで、図９は、本発明の第２の実施の形態に係る音声合成装置２００の構成を示すブロック図である。また、図１０は、音声合成装置２００の波形合成部２３の詳細な構成を示すブロック図である。
【０１１６】
図９に示すように、音声合成装置２００は、音声合成対象の文章テキストを解析して、発音・韻律記号列を生成するテキスト解析部２０と、音声単位毎のピッチ周波数情報から構成される標準韻律辞書２１と、発音・韻律記号列に基づき、標準韻律辞書２１を用いて標準韻律情報系列を生成する標準韻律生成部２２と、標準韻律情報系列に基づき、後述する標準波形素片辞書２４及び後述する大波形素片辞書２５を用いて合成音声波形データを生成する波形合成部２３と、音声単位毎のスペクトル情報及び励振源情報から構成される標準波形素片辞書２４と、フレーズ単位毎のスペクトル情報及び励振源情報から構成される大波形素片辞書２５とを含んだ構成となっている。
【０１１７】
テキスト解析部２０は、音声合成対象の文章テキストに対して、不図示の単語辞書等を用いて、アクセント解析及び形態素解析を行い、入力された文章テキスト（例えば、日本語ならかな漢字まじり文）の読み、アクセント、イントネーションを決定し、更に、韻律記号付きの読み情報（中間言語）である、発音・韻律記号列を生成する。更に、この生成した発音・韻律記号列を韻律生成部２２に出力する。
【０１１８】
標準韻律辞書２１は、音声単位のラベル情報毎に対応したピッチ周波数情報である標準ピッチ周波数情報を有するもので、標準韻律生成部２２から、発音・韻律記号列に対応した音声単位ラベル系列が入力されると、これと対応する標準ピッチ周波数情報を当該標準韻律生成部２２に出力する。
標準韻律生成部２２は、テキスト解析部２０から入力された発音・韻律記号列に基づき音声単位ラベル系列を生成すると共に、当該音声単位ラベル系列を標準韻律辞書２１に出力して、音声単位ラベル系列に対応する標準ピッチ周波数情報を取得し、当該音声単位ラベル系列に対応する標準ピッチ周波数系列を含んで構成される標準韻律情報系列を生成する。
【０１１９】
波形合成部２３は、図１０に示すように、素片選択部２３ａと、素片接続部２３ｂと、合成部２３ｃとを含んだ構成となっている。
素片選択部２３ａは、標準韻律生成部２２から入力された標準韻律情報系列と大波形素片辞書２５に含まれる音韻環境情報とに基づき、標準韻律情報系列に対応する音声素片毎のスペクトル情報及び励振源情報を、標準波形素片辞書２４及び大波形素片辞書２５から選択する。当該選択結果の情報は、素片接続部２３ｂに出力される。
【０１２０】
具体的には、標準韻律情報系列の発音・韻律記号列に、大波形素片辞書２５の登録フレーズと一致するフレーズが含まれているか否かを判定し、一致するフレーズが含まれているときは、当該フレーズの最初及び最後のモーラに対して、当該フレーズのスペクトル情報及び励振源情報を抽出時の音声波形データ（以下、原音データと称す）における前記最初及び最後のモーラに後続及び先行する音韻環境と、標準韻律情報系列における前記一致するフレーズの最初及び最後のモーラに後続及び先行する音韻環境とが一致しているか否かを判定する。そして、音韻環境が一致するときは、大波形素片辞書２５から最初又は最後のモーラに対応するスペクトル情報及び励振源情報を選択し、音韻環境が一致しないときは、標準波形素片辞書２４から最初又は最後のモーラに対応するスペクトル情報及び励振源情報を選択する。また、一致するフレーズ以外の部分は、全てのモーラに対して、標準波形素片辞書２４からスペクトル情報及び励振源情報を選択する。つまり、発音・韻律記号列に一致するフレーズが含まれていない場合は、標準韻律情報系列の全てに対して、標準波形素片辞書２４からスペクトル情報及び励振源情報が選択される。
【０１２１】
素片接続部２３ｂは、素片選択部２３ａからの選択結果の情報に基づき、標準波形素片辞書２４及び大波形素片辞書２５から当該選択結果の情報に対応する音声素片毎のスペクトル情報及び励振源情報を、標準波形素片辞書２４及び大波形素片辞書２５から取得する。そして、当該取得した音声素片毎のスペクトル情報及び励振源情報を接続してスペクトル情報系列及び励振源情報系列を生成する。当該生成したスペクトル情報系列及び励振源情報系列は、合成部２３ｃに出力される。
【０１２２】
合成部２３ｃは、合成フィルタを備えており、素片接続部２３ｂから入力されたスペクトル情報系列を合成フィルタのパラメータとして用い、当該合成フィルタで、励振源情報系列に基づき生成される励振源信号をフィルタ処理して、文章テキストに対応する合成音声波形データを生成する。そして、生成した合成音声波形データに基づき、合成音声を出力する。
標準波形素片辞書２４は、音声単位毎のスペクトル情報及び音声単位毎の励振源情報を有するものである。本実施の形態においては、スペクトル情報としてフレーム単位で音声から抽出したスペクトル包絡パラメータを用い、励振源情報として、励振源信号の有声度を用いる。ここで、音声単位は「モーラ」とする。
【０１２３】
大波形素片辞書２５は、フレーズ（大素片）単位毎のスペクトル情報及びフレーズ（大素片）単位毎の励振源情報を有するものである。本実施の形態においては、スペクトル情報としてフレーム単位で音声から抽出したスペクトル包絡パラメータを用い、励振源情報として、励振源信号の有声度を用いる。なお、フレーズ単位毎のスペクトル情報及びフレーズ単位毎の励振源情報は、各フレーズのスペクトル情報を構成する音声単位のスペクトル情報の時間情報及び各フレーズの励振源情報を構成する音声単位（モーラ）毎の励振源情報の継続時間長情報を有している。従って、フレーズ単位毎のスペクトル情報及びフレーズ単位毎の励振源情報から、音声単位毎にスペクトル情報及び励振源情報を取り出すことが可能である。
【０１２４】
また、大波形素片辞書２５は、原音データにおける各フレーズの最初及び最後のモーラに先行及び後続する所定音韻環境のモーラ情報も有する。この情報は、上記素片選択部２３ａで用いられ、これにより、原音データにおける音韻環境と、標準韻律情報系列における音韻環境との一致／不一致が判定される。
以下、図１１に基づき、大波形素片辞書２５の詳細な構成を説明する。ここで、図１１は、大波形素片辞書の構成例を示す図である。
【０１２５】
大波形素片辞書２５は、図１１に示すように、例えば、登録（定型）フレーズである「右方向です。」というフレーズを含む「次の交差点を、右方向です。」という文章の原音データから抽出された、「右方向です。」のフレーズ部分のスペクトル情報及び励振源情報と、当該フレーズに先行及び後続する所定音韻環境の情報とを有する。この「右方向です。」の場合は、読点の次にくるフレーズで且つ文末にくるフレーズであるため、ここでは、原音データにおける当該フレーズに先行及び後続するモーラの情報「ｐａｕ（ポーズ）」が所定音韻環境の情報となる。なお、図１１中のｎとｍは、それぞれスペクトル情報と励振源情報のサブバンドの次数である。更に、大波形素片辞書２５は、図１１に示すように、登録フレーズを構成する音声単位（モーラ単位）の情報であるモーラ系列情報と、前述した各音声単位（モーラ）毎の継続時間長情報（フレーム数）とを有している。つまり、大波形素片辞書２５は、複数種類の登録フレーズに対して、各フレーズ毎に、スペクトル情報、励振源情報、先行及び後続のモーラの情報を含むモーラ系列情報、各音声単位（モーラ）毎の継続時間長情報を有した構成となる。
【０１２６】
ここで、本実施の形態において、音声合成装置２００は、図示しないが、上記各構成要素を制御するプログラムが記憶された記憶媒体と、これらのプログラムを実行するためのプロセッサと、プログラムの実行に必要なデータを記憶するＲＡＭと、を備えている。そして、プロセッサにより記憶媒体に記憶されたプログラムを読み出して実行することによって上記各構成要素の処理を実現する。
【０１２７】
また、記憶媒体は、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【０１２８】
更に、図１２に基づき、音声合成装置２００の動作処理の流れを説明する。ここで、図１２は、音声合成装置２００の動作処理を示すフローチャートである。
図１２に示すように、まずステップＳ３００に移行し、テキスト解析部２０において、不図示の外部装置、入力デバイス（キーボード等）等を介して文章テキストが入力されたか否かを判定し、入力されたと判定された場合(Yes)は、ステップＳ３０２に移行し、そうでない場合(No)は、入力されるまで判定処理を続行する。
【０１２９】
ステップＳ３０２に移行した場合は、テキスト解析部２０において、ステップＳ３００で入力された文章テキストに対して、アクセント解析及び形態素解析を行い、当該解析結果に基づき、発音・韻律記号列を生成し、当該生成した発音・韻律記号列を標準韻律生成部２２に出力してステップＳ３０４に移行する。
ステップＳ３０４では、標準韻律生成部２２において、テキスト解析部２０から入力された発音・韻律記号列に基づき、標準韻律辞書２１から対応する標準ピッチ周波数情報を取得し、当該取得した標準ピッチ周波数情報に基づき文章テキスト全体の標準韻律情報系列を生成し、当該生成した標準韻律情報系列を波形合成部２３に出力してステップＳ３０６に移行する。
【０１３０】
ステップＳ３０６では、素片選択部２３ａにおいて、標準韻律生成部２２から入力された標準韻律情報系列から、素片選択が未処理のモーラ単位の標準韻律情報系列部分を選択してステップＳ３０８に移行する。
ステップＳ３０８では、素片選択部２３ａにおいて、標準韻律生成部２２から入力された標準韻律情報系列に基づき、ステップＳ３０６で選択したモーラが、登録フレーズ内のモーラであるか否かを判定し、登録フレーズ内のモーラであると判定された場合(Yes)は、ステップＳ３１０に移行し、そうでない場合(No)は、ステップＳ３２６に移行する。
【０１３１】
ステップＳ３１０に移行した場合は、素片選択部２３ａにおいて、ステップＳ３０６で選択したモーラは、登録フレーズを構成する最初又は最後のモーラであるか否かを判定し、最初又は最後のモーラであると判定された場合(Yes)は、ステップＳ３１２に移行し、そうでない場合(No)は、ステップＳ３１４に移行する。
ステップＳ３１２に移行した場合は、素片選択部２３ａにおいて、ステップＳ３０６で選択したモーラを含む登録フレーズに対応する原音データにおける、前記選択したモーラに先行又は後続する所定音韻環境と、標準韻律情報系列における前記選択したモーラに先行又は後続する所定音韻環境とが一致するか否かを判定し、一致すると判定された場合(Yes)は、ステップＳ３１４に移行し、そうでない場合(No)は、ステップＳ３２６に移行する。
【０１３２】
ステップＳ３１４に移行した場合は、素片選択部２３ａにおいて、ステップＳ３０６で選択したモーラの標準韻律情報系列に対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から選択することを決定してステップＳ３１６に移行する。
ステップＳ３１６では、素片接続部２３ｂにおいて、ステップＳ３１４の選択結果に基づき、大波形素片辞書２５から、ステップＳ３０６で選択したモーラの標準韻律情報系列に対応するスペクトル情報及び励振源情報を取得してステップＳ３１８に移行する。
【０１３３】
ステップＳ３１８では、素片接続部２３ｂにおいて、ステップＳ３１６又はステップＳ３２８で取得したスペクトル情報及び励振源情報を接続してスペクトル情報系列及び励振源情報系列を生成してステップＳ３２０に移行する。
ステップＳ３２０では、素片接続部２３ｂにおいて、ステップＳ３０６で選択したモーラが最後のモーラか否かを判定し、最後のモーラであると判定された場合(Yes)は、ステップＳ３１８で生成したスペクトル情報系列及び励振源情報系列を合成部２３ｃに出力してステップＳ３２２に移行し、そうでない場合(No)は、ステップＳ３０６に移行する。
【０１３４】
ステップＳ３２２に移行した場合は、合成部２３ｃにおいて、素片接続部２３ｂから入力されたスペクトル情報系列及び励振源情報系列に基づき、合成音声波形データを生成してステップＳ３２４に移行する。
ステップＳ３２４では、波形合成部２３において、ステップＳ３２２で生成した合成音声波形データに基づき、合成音を出力して処理を終了する。
【０１３５】
一方、ステップＳ３０６で選択したモーラが登録フレーズ内にないか、又は選択したモーラに先行又は後続する音韻環境が一致してなくステップＳ３２６に移行した場合は、ステップＳ３０６で選択したモーラの標準韻律情報系列に対応するスペクトル情報及び励振源情報を、標準波形素片辞書２４から選択することを決定してステップＳ３２８に移行する。
ステップＳ３２８では、素片接続部２３ｂにおいて、ステップＳ３２６の選択結果に基づき、標準波形素片辞書２４から、ステップＳ３０６で選択したモーラの標準韻律情報系列に対応するスペクトル情報及び励振源情報を取得してステップＳ３１８に移行する。
【０１３６】
次に、図１３に基づき、本実施の形態の動作を説明する。ここで、図１３（ａ）は、例文に対する原音データの構成を示す図であり、（ｂ）は、（ａ）の例文に対して登録フレーズの先行モーラの音韻環境が一致する場合の合成例を示す図であり、（ｃ）は、（ａ）の例文に対して登録フレーズの先行モーラの音韻環境が不一致の場合の合成例を示す図である。
【０１３７】
以下、図１３（ａ）に示すように、大波形素片辞書２５が、上記「次の交差点を右方向です。」の肉声データにおける「右方向です。」のフレーズから抽出したスペクトル情報、励振源情報、先行及び後続モーラの情報を含むモーラ系列情報、各音声単位（モーラ）毎の継続時間長情報を有する音声合成装置２００の実際の動作を説明する。この場合、先行モーラの情報は「ｏ＿ｍ」となる。ここで、「ｏ＿ｍ」における「＿ｍ」は、モーラ「ｏ」に後続するモーラが「ｍ」であることを示す。
【０１３８】
まず、音声合成装置２００のテキスト解析部２０に、文章テキスト「小学校前を右方向です。」が入力される（ステップＳ３００）。
テキスト解析部２０は、入力された文章テキストに対して、単語辞書を参照して、アクセント解析及び形態素解析を実行し、その解析結果に基づき文章テキストに対する発音・韻律記号列を生成する（ステップＳ３０２）。この発音・韻律記号列は、標準韻律生成部２２に入力される。
【０１３９】
標準韻律生成部２２は、入力された発音・韻律記号列に基づき、音声単位ラベル系列を生成し、当該音声単位ラベル系列のラベル情報に対応する標準ピッチ周波数情報を、標準韻律辞書２１から取得する。そして、当該取得した標準ピッチ周波数情報から、前記発音・韻律記号列に対応する標準韻律情報系列を生成する（ステップＳ３０４）。このようにして生成された標準韻律情報系列（標準ピッチ周波数系列）は、波形合成部２３の素片選択部２３ａに入力される。
【０１４０】
素片選択部２３ａは、標準韻律情報系列が入力されると、当該標準韻律情報系列の始端から順に素片選択処理が未処理のモーラ単位の標準韻律情報系列部分（標準ピッチ周波数系列部分）を選択し（ステップＳ３０６）、当該選択した標準韻律情報系列部分のモーラが大波形素片辞書２５の有する登録フレーズに含まれるか否かを判定する（ステップＳ３０８）。ここで、「小学校前を」のフレーズに登録フレーズが含まれていないとすると、このフレーズの標準韻律情報系列部分のモーラは、登録フレーズに含まれていないと判定し（ステップＳ３０８の「Ｎｏ」の分岐）、各選択した標準韻律情報系列部分に対応するスペクトル情報及び励振源情報を、標準波形素片辞書２４から選択することを決定する（ステップＳ３２６）。素片接続部２３ｂは、この選択結果に基づき、各選択した標準韻律情報系列部分に対応するスペクトル情報及び励振源情報を、標準波形素片辞書２４から取得し（ステップＳ３２８）、これらを順に接続してスペクトル情報系列及び励振源情報系列を生成する（ステップＳ３１８）。
【０１４１】
一方、入力された文章テキストにおける「右方向です。」のフレーズは、登録フレーズであるので、このフレーズに対して選択される標準韻律情報系列部分のモーラは登録フレーズ内のモーラであると判定される（ステップＳ３０８の「Ｙｅｓ」の分岐）。なお、大波形素片辞書２５の有する先行及び後続モーラを含む「を右方向です。」のモーラ系列情報は、「ｏ＿ｍ」「ｍｉ」「ｇｉ」「ｈｏ」「ｏ」「ｋｏ」「ｏ」「ｄｅ」「ｓｕ」「ｐａｕ」となる。そして、標準韻律情報系列から、「ｍｉ」に対応する標準韻律情報系列部分が選択されると、このモーラは、登録フレーズの最初のモーラとなるので（ステップＳ３１０の「Ｙｅｓ」の分岐）、大波形素片辞書２５の有する「右方向です。」のフレーズに先行する音韻環境の情報（上記「ｏ＿ｍ」）と、標準韻律情報系列の当該フレーズに先行する音韻環境の情報とが一致するか否かを判定する（ステップＳ３１２）。ここでは、入力された文章テキストである「小学校前を右方向です。」における「を右方向です。」の標準韻律情報系列に対するモーラ系列情報は、「ｏ＿ｍ」「ｍｉ＿ｇ」「ｇｉ＿ｈ」「ｈｏ＿ｏ」「ｏ＿ｋ」「ｋｏ＿ｏ」「ｏ＿ｄ」「ｄｅ＿ｓ」「ｓｕ」「ｐａｕ」となり、先行モーラが「ｏ＿ｍ」となる。従って、大波形素片辞書２５の有する「右方向です。」の先行モーラである「ｏ＿ｍ」と一致するので（ステップＳ３１２の「Ｙｅｓ」の分岐）、上記選択した標準韻律情報系列の「ｍｉ」に対応する標準韻律情報系列部分に対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から選択することを決定する（ステップＳ３１４）。そして、素片接続部２３ｂは、「ｍｉ」に対応する標準韻律情報系列部分に対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から取得し（ステップＳ３１６）、当該スペクトル情報及び励振源情報を、既に生成された「小学校前を」のスペクトル情報系列及び励振源情報系列に接続する（ステップＳ３１８）。
【０１４２】
また、「ｍｉ」に後続する「ｇｉ」「ｈｏ」「ｏ」「ｋｏ」「ｏ」「ｄｅ」については、登録フレーズの最初又は最後のモーラでは無いので、これらに対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から選択することを決定し（ステップＳ３１４）、素片接続部２３ｂは、これらに対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から取得して（ステップＳ３１６）、既に生成されているスペクトル情報系列及び励振源情報系列に接続する（ステップＳ３１８）。なお、終端の「ｓｕ」については、文章の終端にくるので、この場合は、ステップＳ３１２において無条件で音韻環境が一致していると判断し、スペクトル情報及び励振源情報を、大波形素片辞書２５から選択することを決定する。そして、文末のモーラである「ｓｕ」に対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から取得し、既に生成されているスペクトル情報系列及び励振源情報系列に接続すると、図１３（ｂ）に示すように、文章テキストの「小学校前を」に対しては標準波形素片辞書２４から取得したスペクトル情報及び励振源情報を用いて（図中点線で囲まれたモーラ列に対応）、スペクトル情報系列及び励振源情報系列を生成し、文章テキストの「右方向です。」に対しては大波形素片辞書２５から取得したスペクトル情報及び励振源情報を用いて（図中実線で囲まれたモーラ列に対応）、スペクトル情報系列及び励振源情報系列が生成される。「ｓｕ」は、登録フレーズの最後のモーラとなるので、素片接続部２３ｂは、当該生成したスペクトル情報系列及び励振源情報系列を合成部２３ｃに出力する（ステップＳ３２０の「Ｙｅｓ」の分岐）。
【０１４３】
また、テキスト解析部２０に、文章テキスト「向かって右方向です。」が入力された場合を説明する。上記同様の手順で「向かって右方向です。」の標準韻律情報系列が生成されると（ステップＳ３０４）、素片選択部２３ａは、標準韻律情報系列の始端から順に素片選択処理が未処理のモーラ単位の標準韻律情報系列部分（標準ピッチ周波数系列部分）を選択し（ステップＳ３０６）、当該選択した標準韻律情報系列部分のモーラが大波形素片辞書２５の有する登録フレーズに含まれるか否かを判定する（ステップＳ３０８）。ここで、「向かって」のフレーズに登録フレーズが含まれていないとすると、上記「小学校前を」と同様に、素片接続部２３ｂは、各選択した標準韻律情報系列部分に対応するスペクトル情報及び励振源情報を、標準波形素片辞書２４から取得し（ステップＳ３２８）、これらを順に接続してスペクトル情報系列及び励振源情報系列を生成する（ステップＳ３１８）。
【０１４４】
一方、入力された文章テキストにおける「右方向です。」のフレーズは、登録フレーズであるので、このフレーズに対して選択される標準韻律情報系列部分のモーラは登録フレーズ内のモーラであると判定される（ステップＳ３０８の「Ｙｅｓ」の分岐）。ここでは、入力された文章テキストである「向かって右方向です。」の標準韻律情報系列に対するモーラ系列情報は、「ｔｅ＿ｍ」「ｍｉ＿ｇ」「ｇｉ＿ｈ」「ｈｏ＿ｏ」「ｏ＿ｋ」「ｋｏ＿ｏ」「ｏ＿ｄ」「ｄｅ＿ｓ」「ｓｕ」「ｐａｕ」となり、先行モーラが「ｔｅ＿ｍ」となる。従って、大波形素片辞書２５の有する「右方向です。」の先行モーラである「ｏ＿ｍ」とは不一致となるので（ステップＳ３１２の「Ｎｏ」の分岐）、上記選択した標準韻律情報系列の「ｍｉ」に対応する標準韻律情報系列部分に対応するスペクトル情報及び励振源情報を、標準波形素片辞書２５から選択することを決定する（ステップＳ３２６）。そして、素片接続部２３ｂは、「ｍｉ」に対応する標準韻律情報系列部分に対応するスペクトル情報及び励振源情報を、標準波形素片辞書２５から取得し（ステップＳ３２８）、当該スペクトル情報及び励振源情報を、既に生成された「向かって」のスペクトル情報系列及び励振源情報系列に接続する（ステップＳ３１８）。「ｍｉ」に後続する「ｇｉ」「ｈｏ」「ｏ」「ｋｏ」「ｏ」「ｄｅ」「ｓｕ」については、上記同様に、登録フレーズの最初若しくは最後のモーラでは無いか又は文末のモーラとなるので、これらに対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から選択することを決定し（ステップＳ３１４）、素片接続部２３ｂは、これらに対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から取得して（ステップＳ３１６）、既に生成されているスペクトル情報系列及び励振源情報系列に接続する（ステップＳ３１８）。
【０１４５】
この接続結果は、図１３（ｂ）に示すように、文章テキストの「向かってみ」に対しては標準波形素片辞書２４から取得したスペクトル情報及び励振源情報を用いて（図中点線で囲まれたモーラ列に対応）、スペクトル情報系列及び励振源情報系列が生成されたものとなり、文章テキストの「ぎ方向です。」に対しては大波形素片辞書２５から取得したスペクトル情報及び励振源情報を用いて（図中実線で囲まれたモーラ列に対応）、スペクトル情報系列及び励振源情報系列が生成されたものとなる。そして、素片接続部２３ｂは、当該生成したスペクトル情報系列及び励振源情報系列を、合成部２３ｃに出力する（ステップＳ３２０の「Ｙｅｓ」の分岐）。
【０１４６】
合成部２３ｃは、素片接続部２３ｂから入力されたスペクトル情報系列及び励振源情報系列に基づき、スペクトル情報系列を合成フィルタのパラメータとして用い、当該合成フィルタで、励振源情報系列に基づき生成される励振源信号をフィルタ処理して、文章テキストに対応する合成音声波形データを生成する（ステップＳ３２２）。更に、この生成した合成音声波形データに基づき、不図示のスピーカ等から合成音声を出力する（ステップＳ３２４）。
【０１４７】
このように、本実施の形態の音声合成装置２００は、所定話者の発話した発話文に対応する音声波形データから抽出された登録フレーズ（定型フレーズ）部分のスペクトル情報及び励振源情報と、当該フレーズ部分に先行又は後続する音韻環境の情報と、当該フレーズを構成する音声単位毎の継続時間長情報と、当該フレーズのモーラ系列情報とを有した大波形素片辞書２５を用いて、標準韻律情報系列に含まれる定型フレーズ部分の合成波形データを、大波形素片辞書２５の有するスペクトル情報及び励振源情報を用いて生成することが可能である。更に、定型フレーズに先行又は後続する音韻環境の情報と、標準韻律情報系列における定型フレーズに先行及び後続する音韻環境の情報とが一致しないときは、定型フレーズの最初又は最後の一致しない側端部のモーラを、標準波形素片辞書２４の有するスペクトル情報及び励振源情報を用いて生成し、それ以外を大波形素片辞書２５の有するスペクトル情報及び励振源情報を用いて生成することが可能である。これにより、前記したように音韻環境が一致しない場合でも、文章テキストの文章がより自然発話に近い抑揚で発話（再生出力）される合成音声波形データを生成することが可能である。
【０１４８】
上記第２の実施の形態において、テキスト解析部２０は、請求項７記載のテキスト解析手段に対応し、標準韻律生成部２２は、請求項７記載の韻律情報系列生成手段に対応し、波形合成部２３は、請求項７記載の音声波形生成手段に対応し、標準波形素片辞書２４は、請求項７、１１及び１４のいずれか１項に記載の第１素片辞書に対応し、大波形素片辞書２５は、請求項７、１１及び１４のいずれか１項に記載の第２素片辞書に対応する。
【０１４９】
また、上記第２の実施の形態において、素片選択部２３ａにおける、標準韻律情報系列から選択したモーラが登録フレーズを構成する最初又は最後のモーラである場合に、当該登録フレーズの原音データ（大波形素片辞書２５の登録データ）における前記選択したモーラに先行又は後続する所定音韻環境と、標準韻律情報系列における前記選択したモーラに先行又は後続する所定音韻環境とが一致するか否かを判定する処理は、請求項７記載の判定手段に対応する。
【０１５０】
また、上記第２の実施の形態において、ステップＳ３００〜Ｓ３０２は、請求項１１記載のテキスト解析ステップに対応し、ステップＳ３０４は、請求項１１又は１４記載の韻律情報系列生成ステップに対応し、ステップＳ３０６〜Ｓ３２８は、請求項１１又は１４記載の音声波形生成ステップに対応する。
また、上記第２の実施の形態において、ステップＳ３１２は、請求項１１又は１４記載の判定ステップに対応する。
【０１５１】
〔第３の実施の形態〕
次に、本発明に係る韻律素片辞書作成方法及び韻律素片辞書作成プログラム、並びに音声合成装置、音声合成プログラム及び音声合成方法の第３の実施の形態を図面に基づき説明する。図１４〜図１７は、本発明に係る韻律素片辞書作成方法及び韻律素片辞書作成プログラム、並びに音声合成装置、音声合成プログラム及び音声合成方法の第３の実施の形態を示す図である。
【０１５２】
ここで、図１４は、本発明の第３の実施の形態に係る音声合成装置３００の構成を示すブロック図である。
図１４に示すように、音声合成装置３００は、テキスト解析部１０と、標準韻律辞書１１と、韻律素片辞書１２と、韻律生成部１３と、波形合成部２３と、標準波形素片辞書２４と、大波形素片辞書２５とを含んだ構成となっている。
【０１５３】
つまり、音声合成装置３００は、上記第１の実施の形態における音声合成装置１００と同様の、テキスト解析部１０、標準韻律辞書１１、韻律素片辞書１２、及び韻律生成部１３と、上記第２の実施の形態における音声合成装置２００と同様の、波形合成部２３、標準波形素片辞書２４、及び大波形素片辞書２５とを含んだ構成となっている。
従って、韻律生成部１３で生成した韻律情報系列に基づき、波形合成部２３が、標準波形素片辞書２４及び大波形素片辞書２５を用いて合成音声波形データを生成し、合成音声を出力する構成となる。以下、第１の実施の形態及び第２の実施の形態と異なる点のみ詳細に説明する。
【０１５４】
韻律生成部１３の韻律置換整形部１３ｄは、韻律素片選択部１３ｃから、一致するフレーズに対応した韻律素片ピッチ周波数情報及び韻律特徴情報が入力されたときは、標準韻律生成部１３ａから入力される標準韻律情報系列における、一致するフレーズの標準ピッチ周波数情報を韻律素片ピッチ周波数情報に置換すると共に、韻律特徴情報に基づき、標準韻律情報系列における、一致するフレーズの前後の所定韻律単位に対応する韻律情報系列部分を整形して、最終的な韻律情報系列を生成する。この生成した韻律情報系列は、波形合成部２３に出力される。
【０１５５】
一方、韻律置換整形部１３ｄは、韻律素片選択部１３ｃから、一致するフレーズが無いことを示す通知を受けると、標準韻律生成部１３ａから入力される標準韻律情報系列をそのまま波形合成部２３に出力する。
波形合成部２３の素片選択部２３ａは、韻律生成部１３から入力された韻律情報系列と大波形素片辞書２５に含まれる音韻環境情報とに基づき、標準韻律情報系列に対応する音声素片毎のスペクトル情報及び励振源情報を、標準波形素片辞書２４及び大波形素片辞書２５から選択する。当該選択結果の情報は、素片接続部２３ｂに出力される。
【０１５６】
つまり、韻律生成部１３から波形合成部２３に入力される韻律情報系列は、音声単位のラベル情報毎のピッチ周波数情報である標準ピッチ周波数情報から生成された標準韻律情報系列に含まれる定型フレーズ部分が、韻律素片辞書１２の有する韻律素片ピッチ周波数情報に置換されている。更に、標準韻律情報系列における登録（定型）フレーズに先行及び後続する所定韻律単位の標準ピッチ周波数系列が、韻律素片辞書１２の有する前記韻律素片ピッチ周波数情報に対応する韻律特徴情報に基づき調整されている。このような韻律情報系列に対して、定型フレーズ部分に対しては、原音データから抽出されたスペクトル情報及び励振源情報を用いて合成波形データを生成する一方、原音データにおける定型フレーズに先行又は後続する音韻環境の情報と、標準韻律情報系列における定型フレーズに先行及び後続する音韻環境の情報とが一致しないときは、定型フレーズの最初又は最後の一致しない側端部のモーラを、標準波形素片辞書２４の有するスペクトル情報及び励振源情報を用いて生成する。
【０１５７】
ここで、本実施の形態において、音声合成装置３００は、図示しないが、上記各構成要素を制御するプログラムが記憶された記憶媒体と、これらのプログラムを実行するためのプロセッサと、プログラムの実行に必要なデータを記憶するＲＡＭと、を備えている。そして、プロセッサにより記憶媒体に記憶されたプログラムを読み出して実行することによって上記各構成要素の処理を実現する。
【０１５８】
また、記憶媒体は、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【０１５９】
更に、図１５に基づき、音声合成装置３００の動作処理の流れを説明する。ここで、図１５は、音声合成装置３００の動作処理を示すフローチャートである。なお、図１５中の標準ＰＦは標準ピッチ周波数、韻律素辺ＰＦは韻律素片ピッチ周波数のことである。
なお、ステップＳ４００〜ステップＳ４１８、及びステップＳ４２４の処理は、上記第１の実施の形態の図５のフローチャートにおけるステップＳ２００〜ステップＳ２１８、及びステップＳ２２４と同様となるので説明を省略する。
【０１６０】
ステップＳ４２０では、波形合成部２３において、韻律生成部１３から入力された韻律情報系列に基づき、合成音声波形データを生成してステップＳ４２２に移行する。
ステップＳ４２２では、波形合成部２３において、ステップＳ４２０で生成した合成音声波形データに基づき、ステップＳ４００で入力された文章テキストの合成音声をスピーカ等（不図示）の出力装置から出力して処理を終了する。
【０１６１】
次に、図１６に基づき、ステップＳ４２０の合成音声波形データの生成処理の流れを説明する。ここで、図１６は、波形合成部２３における合成音声波形データの生成処理を示すフローチャートである。
図１６に示すように、まずステップＳ５００に移行し、素片選択部２３ａにおいて、韻律生成部１３から入力された韻律情報系列から、素片選択が未処理のモーラ単位の韻律情報系列部分を選択してステップＳ５０２に移行する。
【０１６２】
ステップＳ５０２では、素片選択部２３ａにおいて、韻律生成部１３から入力された韻律情報系列に基づき、ステップＳ５００で選択したモーラが、登録フレーズ内のモーラであるか否かを判定し、登録フレーズ内のモーラであると判定された場合(Yes)は、ステップＳ５０４に移行し、そうでない場合(No)は、ステップＳ５１８に移行する。
ステップＳ５０４に移行した場合は、素片選択部２３ａにおいて、ステップＳ５００で選択したモーラは、登録フレーズを構成する最初又は最後のモーラであるか否かを判定し、最初又は最後のモーラであると判定された場合(Yes)は、ステップＳ５０６に移行し、そうでない場合(No)は、ステップＳ５０８に移行する。
【０１６３】
ステップＳ５０６に移行した場合は、素片選択部２３ａにおいて、ステップＳ５００で選択したモーラを含む登録フレーズに対応する原音データにおける、前記選択したモーラに先行又は後続する所定音韻環境と、韻律情報系列における前記選択したモーラに先行又は後続する所定音韻環境とが一致するか否かを判定し、一致すると判定された場合(Yes)は、ステップＳ５０８に移行し、そうでない場合(No)は、ステップＳ５１８に移行する。
【０１６４】
ステップＳ５０８に移行した場合は、素片選択部２３ａにおいて、ステップＳ５００で選択したモーラの韻律情報系列部分に対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から選択することを決定してステップＳ５１０に移行する。
ステップＳ５１０では、素片接続部２３ｂにおいて、ステップＳ５０８の選択結果に基づき、大波形素片辞書２５から、ステップＳ５００で選択したモーラの韻律情報系列部分に対応するスペクトル情報及び励振源情報を取得してステップＳ５１２に移行する。
【０１６５】
ステップＳ５１２では、素片接続部２３ｂにおいて、ステップＳ５１０又はステップＳ５２０で取得したスペクトル情報及び励振源情報を接続してスペクトル情報系列及び励振源情報系列を生成してステップＳ５１４に移行する。
ステップＳ５１４では、素片接続部２３ｂにおいて、ステップＳ５００で選択したモーラが最後のモーラか否かを判定し、最後のモーラであると判定された場合(Yes)は、ステップＳ５１２で生成したスペクトル情報系列及び励振源情報系列を合成部２３ｃに出力してステップＳ５１６に移行し、そうでない場合(No)は、ステップＳ５００に移行する。
ステップＳ５１６に移行した場合は、合成部２３ｃにおいて、素片接続部２３ｂから入力されたスペクトル情報系列及び励振源情報系列に基づき、合成音声波形データを生成して、一連の処理を終了し元の処理に復帰する。
【０１６６】
一方、ステップＳ５００で選択したモーラが登録フレーズ内にないか、又は選択したモーラに先行又は後続する音韻環境が一致してなくステップＳ５１８に移行した場合は、ステップＳ５００で選択したモーラの韻律情報系列部分に対応するスペクトル情報及び励振源情報を、標準波形素片辞書２４から選択することを決定してステップＳ５２０に移行する。
ステップＳ５２０では、素片接続部２３ｂにおいて、ステップＳ５１８の選択結果に基づき、標準波形素片辞書２４から、ステップＳ５００で選択したモーラの韻律情報系列部分に対応するスペクトル情報及び励振源情報を取得してステップＳ５１２に移行する。
【０１６７】
次に、図１７に基づき、本実施の形態の動作を説明する。ここで、図１７（ａ）は、登録フレーズの先行モーラの音韻環境が不一致の場合に、従来技術を用いて生成された合成音声波形を示す図であり、（ｂ）は、登録フレーズの先行モーラの音韻環境が不一致の場合に、本発明を用いて生成された合成音声波形を示す図である。
まず、音声合成装置３００のテキスト解析部１０に、文章テキスト「その先、平河門前を右方向です。」が入力される（ステップＳ４００）。
【０１６８】
テキスト解析部１０は、上記第１の実施の形態と同様に、入力された文章テキストに対して、単語辞書を参照して、アクセント解析及び形態素解析を実行し、その解析結果に基づき文章テキストに対する発音・韻律記号列を生成する（ステップＳ４０２）。この場合の発音・韻律記号列は、「ソノサキ＋、ヒラカワモンマ’エオ  ミギホ’ーコーデス＋。」となる。この発音・韻律記号列は、韻律生成部１３の標準韻律生成部１３ａ及び登録フレーズ照合部１３ｂにそれぞれ入力される。
【０１６９】
標準韻律生成部１３ａは、入力された発音・韻律記号列に基づき、音声単位ラベル系列を生成し、当該音声単位ラベル系列のラベル情報に対応する標準ピッチ周波数情報を、標準韻律辞書１１から取得する。そして、当該取得した標準ピッチ周波数情報から、前記発音・韻律記号列に対応する標準韻律情報系列を生成する（ステップＳ４０４）。当該生成した標準韻律情報系列は、韻律置換整形部１３ｄに入力される。
【０１７０】
一方、登録フレーズ照合部１３ｂは、入力された発音・韻律記号列に基づき、当該発音・韻律記号列に、登録フレーズが含まれているか否かを判定する（ステップＳ４０６）。ここで、当該発音・韻律記号列には、登録フレーズとして「ソノサキ＋」及び「ミギホ’ーコーデス＋」が含まれており（ステップＳ２０８の「Ｙｅｓ」の分岐）、このことを韻律素片選択部１３ｃに通知する。
【０１７１】
韻律素片選択部１３ｃは、登録フレーズ照合部１３ｂからの通知を受けると、韻律素片辞書１２から、登録フレーズ「ソノサキ＋」及び「ミギホ’ーコーデス＋」に対応する韻律素片ピッチ周波数情報及び韻律特徴情報が複数ある場合は、上記第１の実施の形態と同様に、標準韻律情報系列における標準ピッチ周波数との接続性が最も良い「ソノサキ＋」及び「ミギホ’ーコーデス＋」の韻律素片ピッチ周波数情報及び韻律特徴情報を選択する。そして、韻律素片選択部１３ｃは、この選択した韻律素片ピッチ周波数情報及び韻律特徴情報を韻律素片辞書１２から取得して、韻律置換整形部１３ｄに出力する（ステップＳ４１０）。
【０１７２】
韻律置換整形部１３ｄは、韻律素片選択部１３ｃから「ソノサキ＋」及び「ミギホ’ーコーデス＋」の韻律素片ピッチ周波数情報及び韻律特徴情報が入力されると、標準韻律情報系列における、「ソノサキ＋」に後続する呼気段落の「ヒラカワモンマ’エオ」に対応する標準ピッチ周波数に対して、これに対応する韻律特徴情報であるピッチ比及び抑揚比を用いて調整を行う（ステップＳ４１２）。この場合、「ヒラカワモンマ’エオ」は、「ミギホ’ーコーデス＋」に先行する呼気段落にもなるので、２種類の韻律特徴情報を用いて「ヒラカワモンマ’エオ」に対応する標準ピッチ周波数の調整を行う。
【０１７３】
具体的には、例えば、「ソノサキ＋」に対するピッチ比及び抑揚比が「０．８」及び「０．６」であり、「ミギホ’ーコーデス＋」に対するピッチ比及び抑揚比が「０．８」及び「０．６」であるとすると、両者が一致するので、「ヒラカワモンマ’エオ」に対応する標準ピッチ周波数系列と、調整後のピッチ周波数系列とのピッチ比が０．８、抑揚比が０．６となるように、系列内の各標準ピッチ周波数を調整する。なお、両者が一致しない場合は、例えば、両者のピッチ比及び抑揚比のそれぞれの平均値を用いたり、「ヒラカワモンマ’エオ」の呼気段落を２つのフレーズに分割して、一方を「ソノサキ＋」に対するピッチ比及び抑揚比で調整し、他方を「ミギホ’ーコーデス＋」に対するピッチ比及び抑揚比で調整する。
【０１７４】
更に、韻律置換整形部１３ｄは、標準韻律情報系列における「ソノサキ＋」及び「ミギホ’ーコーデス＋」に対応する標準ピッチ周波数系列を、韻律素片選択部１３ｃから入力された韻律素片ピッチ周波数情報に置換すると共に（ステップＳ４１４）、この置換後の韻律素片ピッチ周波数情報（韻律素片ピッチ周波数系列）と、上記調整後の標準韻律情報とが滑らかに接続するように、スムージング処理などの整形処理を施して、「ソノサキ＋、ヒラカワモンマ’エオ  ミギホ’ーコーデス＋。」に対する最終的な韻律情報系列を生成する（ステップＳ４１６）。そして、当該生成した韻律情報系列を波形合成部２３の素片選択部２３ａに出力する（ステップＳ４１８）。
【０１７５】
素片選択部２３ａは、韻律情報系列が入力されると、当該韻律情報系列の始端から順に素片選択処理が未処理のモーラ単位の韻律情報系列部分（標準ピッチ周波数系列部分）を選択し（ステップＳ５００）、当該選択した韻律情報系列部分のモーラが大波形素片辞書２５の有する登録フレーズに含まれるか否かを判定する（ステップＳ５０２）。ここで、「ソノサキ＋」及び「ミギホ’ーコーデス＋」は登録フレーズであるとする。従って、これらのフレーズに対して選択される韻律情報系列部分のモーラは登録フレーズ内のモーラであると判定される（ステップＳ５０４の「Ｙｅｓ」の分岐）。なお、大波形素片辞書２５の有する「ソノサキ＋、」のモーラ系列情報は、「ｓｏ」「ｎｏ」「ｓａ」「ｋｉ」「ｐａｕ（ポーズ）」となり、「オ  ミギホ’ーコーデス＋」のモーラ系列情報は、「ｐａｕ」「ｍｉ」「ｇｉ」「ｈｏ」「ｏ」「ｋｏ」「ｏ」「ｄｅ」「ｓｕ」となる。
【０１７６】
また、登録フレーズに対して複数個の韻律素片が対応する場合に、その各韻律素片に対し、同一音声波形データに基づく個別の大波形素片（スペクトル情報及び励振源情報）を、大波形素片辞書２５に格納してもよい。その場合、図４の例のように、韻律素片辞書１２に登録されている韻律素片ピッチ周波数情報に対応する韻律素片が実際に発話された際に、韻律素片ピッチ周波数情報と同時に抽出された大波形素片の大波形素片辞書２５内での格納アドレス情報を、韻律素片辞書１２に事前に格納しておく。これにより、韻律素片辞書１２に登録された韻律素片ピッチ周波数情報に対する適切な大波形素片が解るので、発声時の音声波形データをより忠実に反映した、より自然な合成音を得ることが可能になる。
【０１７７】
そして、韻律情報系列から、「ｓｏ」に対応する韻律情報系列部分が選択されると、このモーラは、登録フレーズの最初のモーラとなるが（ステップＳ５０４の「Ｙｅｓ」の分岐）、文頭のモーラであるので、無条件で音韻環境が一致していると判定し（ステップＳ５０６の「Ｙｅｓ」の分岐）、このモーラの韻律情報系列部分に対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から選択すると決定する（ステップＳ５０８）。そして、素片接続部２３ｂは、「ｓｏ」に対応する韻律情報系列部分に対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から取得し（ステップＳ５１０）、当該スペクトル情報及び励振源情報を、スペクトル情報系列及び励振源情報系列の先頭にする（ステップＳ５１２）。「ｓｏ」に後続する「ｎｏ」「ｓａ」については、登録フレーズ内のモーラであると共に、当該フレーズの最初及び最後のモーラでは無いので、これらの韻律情報系列部分に対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から選択すると決定し（ステップＳ５０８）、素片接続部２３ｂは、「ｎｏ」「ｓａ」の韻律情報系列部分に対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から取得し（ステップＳ５１０）、当該スペクトル情報及び励振源情報を、「ｓｏ」に対応するスペクトル情報系列及び励振源情報系列に接続する（ステップＳ５１２）。
【０１７８】
更に、韻律情報系列から、「ｋｉ」に対応する韻律情報系列部分が選択されると、このモーラは、登録フレーズの最後のモーラとなるので（ステップＳ５０４の「Ｙｅｓ」の分岐）、大波形素片辞書２５の有する「ソノサキ＋」のフレーズに後続する音韻環境の情報（上記「ｐａｕ」）と、韻律情報系列の当該フレーズに後続する音韻環境の情報とが一致するか否かを判定する（ステップＳ５０６）。ここでは、入力された文章テキストである「その先、」の韻律情報系列に対するモーラ系列情報は、「ｓｏ＿ｎ」「ｎｏ＿ｓ」「ｓａ＿ｋ」「ｋｉ」「ｐａｕ」となり、後続モーラが「ｐａｕ」となる。従って、大波形素片辞書２５の有する「ソノサキ＋」の後続モーラである「ｐａｕ」と一致するので（ステップＳ５０６の「Ｙｅｓ」の分岐）、上記選択した韻律情報系列部分の「ｋｉ」に対応する韻律情報系列部分に対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から選択することを決定する（ステップＳ５０８）。そして、素片接続部２３ｂは、「ｋｉ」に対応する標準韻律情報系列部分に対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から取得し（ステップＳ５１０）、当該スペクトル情報及び励振源情報を、既に生成された「ソノサ」のスペクトル情報系列及び励振源情報系列に接続する（ステップＳ５１２）。
【０１７９】
「ソノサキ＋」に後続する、「ヒラカワモンマ’エオ」の各モーラに対応する韻律情報系列部分は、登録フレーズに含まれていないため（ステップＳ５０２の「Ｎｏ」の分岐）、こられのモーラの韻律情報系列部分に対応するスペクトル情報及び励振源情報を、標準波形素片辞書２４から選択することを決定する（ステップＳ５１８）。そして、素片接続部２３ｂは、この選択結果に基づき、各選択した韻律情報系列部分に対応するスペクトル情報及び励振源情報を、標準波形素片辞書２４から取得し（ステップＳ５２０）、「ソノサキ＋」のスペクトル情報系列及び励振源情報系列に続けて、これらを順に接続しスペクトル情報系列及び励振源情報系列を生成する（ステップＳ５１２）。
【０１８０】
更に、韻律情報系列から、「ミギホ’ーコーデス＋」におけるモーラ「ｍｉ」に対応する韻律情報系列部分が選択されると、このモーラは、登録フレーズの最初のモーラとなるので、この韻律情報系列部分のモーラは登録フレーズ内のモーラであると判定される（ステップＳ５０２の「Ｙｅｓ」の分岐）。なお、大波形素片辞書２５の有する先行モーラを含む「、右方向です」のモーラ系列情報は、「ｐａｕ」「ｍｉ」「ｇｉ」「ｈｏ」「ｏ」「ｋｏ」「ｏ」「ｄｅ」「ｓｕ」となる。また、入力された文章テキストである「その先、平河門前を右方向です。」における「オ  ミギホ’ーコーデス＋」の韻律情報系列部分に対するモーラ系列情報は、「ｏ＿ｍ」「ｍｉ＿ｇ」「ｇｉ＿ｈ」「ｈｏ＿ｏ」「ｏ＿ｋ」「ｋｏ＿ｏ」「ｏ＿ｄ」「ｄｅ＿ｓ」「ｓｕ」となる。つまり、大波形素片辞書２５の有する先行モーラである「ｐａｕ」と、「ミギホ’ーコーデス＋」の韻律情報系列部分に対する先行モーラである「ｏ＿ｍ」とは不一致となる（ステップＳ５０６の「Ｎｏ」の分岐）。
【０１８１】
従って、上記選択した韻律情報系列の「ｍｉ」に対応する韻律情報系列部分に対応するスペクトル情報及び励振源情報を、標準波形素片辞書２５から選択することを決定する（ステップＳ５１８）。そして、素片接続部２３ｂは、「ｍｉ」に対応する韻律情報系列部分に対応するスペクトル情報及び励振源情報を、標準波形素片辞書２５から取得し（ステップＳ５２０）、当該スペクトル情報及び励振源情報を、既に生成された「ソノサキ＋、ヒラカワモンマ’エオ」のスペクトル情報系列及び励振源情報系列に接続する（ステップＳ５１２）。また、「ｍｉ」に後続する「ｇｉ」「ｈｏ」「ｏ」「ｋｏ」「ｏ」「ｄｅ」「ｓｕ」については、登録フレーズの最初若しくは最後のモーラでは無いか又は文末のモーラとなるので、これらに対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から選択することを決定し（ステップＳ５０８）、素片接続部２３ｂは、これらに対応するスペクトル情報及び励振源情報を、大波形素片辞書２５から取得して（ステップＳ５１０）、既に生成されているスペクトル情報系列及び励振源情報系列に接続する（ステップＳ５１２）。
【０１８２】
この接続結果は、発音・韻律記号列の「ソノサキ＋」に対しては大波形素片辞書２５から取得したスペクトル情報及び励振源情報を用いてスペクトル情報系列及び励振源情報系列が生成されたものとなり、発音・韻律記号列の「ヒラカワモンオ  ミ」に対しては標準波形素片辞書２４から取得したスペクトル情報及び励振源情報を用いてスペクトル情報系列及び励振源情報系列が生成されたものとなり、発音・韻律記号列の「ギホ’ーコーデス＋」に対しては大波形素片辞書２５から取得したスペクトル情報及び励振源情報を用いてスペクトル情報系列及び励振源情報系列が生成されたものとなる。そして、素片接続部２３ｂは、当該生成したスペクトル情報系列及び励振源情報系列を、合成部２３ｃに出力する（ステップＳ５１４の「Ｙｅｓ」の分岐）。
【０１８３】
合成部２３ｃは、素片接続部２３ｂから入力されたスペクトル情報系列及び励振源情報系列に基づき、スペクトル情報系列を合成フィルタのパラメータとして用い、当該合成フィルタで、励振源情報系列に基づき生成される励振源信号をフィルタ処理して、文章テキストに対応する合成音声波形データを生成する（ステップＳ４２０）。
このようにして生成された合成音声波形データは、図１７（ｂ）に示すように、「ヒラカワモンマ’エオ」の「オ」の合成音声波形と「ミギホ’ーコーデス＋」の「ミ」の合成音声波形とが滑らかに接続された状態となる。この生成した合成音声波形データに基づき、不図示のスピーカ等から合成音声を出力すると（ステップＳ４２２）、より自然発声に近い韻律で文章テキストが発音されると共に、「ヒラカワモンマ’エオ」の「オ」と「ミギホ’ーコーデス＋」の「ミ」が連続して発音される。
【０１８４】
一方、従来手法のように、登録フレーズである「ミギホ’ーコーデス＋」の全体に対して大波形素片辞書２５から取得したスペクトル情報及び励振源情報を用いてスペクトル情報系列及び励振源情報系列を生成して合成音声波形データを生成する場合は、図１７（ａ）の合成音声波形に示すように、「ヒラカワモンマ’エオ」の「オ」の合成音声波形と「ミギホ’ーコーデス＋」の「ミ」の合成音声波形とが不連続となる。従って、このような合成音声波形となる合成音を出力すると、「ヒラカワモンマ’エオ」の「オ」と「ミギホ’ーコーデス＋」の「ミ」が不連続に発音されるため違和感が生じる。  以上、本実施の形態の音声合成装置３００は、所定話者の発話した発話文に対応する音声波形データから抽出された登録フレーズ（定型フレーズ）部分のピッチ周波数情報（韻律素片ピッチ周波数情報）と、音声波形データにおける前記定型フレーズに先行及び後続する所定韻律単位に対するピッチ周波数と、これに対応する標準ピッチ周波数とに基づき生成された所定韻律単位の韻律的特徴を示す韻律特徴情報とを有した韻律素片辞書１２を用いて、音声単位のラベル情報毎のピッチ周波数情報である標準ピッチ周波数情報から生成された標準韻律情報系列に含まれる定型フレーズ部分を、韻律素片辞書１２の有する韻律素片ピッチ周波数情報に置換する。更に、標準韻律情報系列における定型フレーズに先行及び後続する所定韻律単位の標準ピッチ周波数系列を、韻律素片辞書１２の有する前記韻律素片ピッチ周波数情報に対応する韻律特徴情報に基づき調整して、最終的な韻律情報系列を生成することが可能である。
【０１８５】
更に、所定話者の発話した発話文に対応する音声波形データから抽出された登録フレーズ（定型フレーズ）部分のスペクトル情報及び励振源情報と、当該フレーズ部分に先行又は後続する音韻環境の情報と、当該フレーズを構成する音声単位毎の継続時間長情報と、当該フレーズのモーラ系列情報とを有した大波形素片辞書２５を用いて、上記韻律情報系列に含まれる定型フレーズ部分の合成波形データを、大波形素片辞書２５の有するスペクトル情報及び励振源情報を用いて生成することが可能である。これにより、自然発声に近い韻律に加え、自然発声された原音データのスペクトル情報及び励振源情報を用いて合成音声波形データを生成することが可能となるので、これらの相乗効果により、文章テキストの文章が、より自然発話に近い抑揚で発話（再生出力）される合成音声波形データを生成することが可能である。
【０１８６】
更に、定型フレーズに先行又は後続する音韻環境の情報と、上記韻律情報系列における定型フレーズに先行及び後続する音韻環境の情報とが一致しないときは、定型フレーズの最初又は最後の一致しない側端部のモーラを、標準波形素片辞書２４の有するスペクトル情報及び励振源情報を用いて生成し、それ以外を大波形素片辞書２５の有するスペクトル情報及び励振源情報を用いて生成することが可能である。これにより、前記音韻環境が一致しない場合でも、文章テキストの文章がより自然発話に近い抑揚で発話（再生出力）される合成音声波形データを生成することが可能である。
【０１８７】
上記第３の実施の形態において、テキスト解析部１０は、請求項８記載のテキスト解析手段に対応し、韻律素片辞書１２は、請求項１〜５のいずれか１項に記載の韻律辞書に対応し、韻律生成部１１は、請求項８記載の韻律情報系列生成手段に対応し、登録フレーズ照合部１３ｂ、韻律素片選択部１３ｃ及び韻律置換整形部１３ｄによる、登録フレーズに対応する標準韻律情報系列部分を韻律素片辞書１２の韻律素片ピッチ周波数情報から構成される韻律情報系列部分に置換する処理は、請求項８記載の変更手段に対応し、韻律置換整形部１３ｄによる置換部分に先行及び後続する所定韻律単位の韻律情報系列部分を韻律特徴情報に基づき調整する処理は、請求項８記載の韻律情報調整手段に対応し、波形合成部２３は、請求項８記載の音声波形生成手段に対応し、標準波形素片辞書２４は、請求項８記載の第１素片辞書に対応し、大波形素片辞書２５は、請求項８記載の第２素片辞書に対応する。
【０１８８】
また、上記第３の実施の形態において、素片選択部２３ａにおける、標準韻律情報系列から選択したモーラが登録フレーズを構成する最初又は最後のモーラである場合に、当該登録フレーズの原音データ（大波形素片辞書２５の登録データ）における前記選択したモーラに先行又は後続する所定音韻環境と、標準韻律情報系列における前記選択したモーラに先行又は後続する所定音韻環境とが一致するか否かを判定する処理は、請求項８記載の判定手段に対応する。
【０１８９】
また、上記第３の実施の形態において、ステップＳ４００〜Ｓ４０２は、請求項１２又は１５記載のテキスト解析ステップに対応し、ステップＳ４０４，Ｓ４１６は、請求項１２又は１５記載の韻律情報系列生成ステップに対応し、ステップＳ４０８，Ｓ４１０，Ｓ４１４は、請求項１２又は１５記載の変更ステップに対応し、ステップＳ４１２は、請求項１２又は１５記載の韻律情報調整ステップに対応し、ステップＳ４２０は、請求項１２又は１５記載の音声波形生成ステップに対応する。
【０１９０】
また、上記第３の実施の形態において、ステップＳ５０６は、請求項１２又は１５記載の判定ステップに対応する。
なお、上記第１〜第３の実施の形態においては、日本語を例に挙げて説明したが、これに限らず、本発明を日本語以外の言語に適用しても良い。
また、上記第１及び第３の実施の形態においては、韻律素片辞書の有する韻律情報をピッチ周波数とした例を説明したが、これに限らず、韻律素片辞書の構成を、ピッチ周波数情報に加えて、あるいはピッチ周波数情報に代えて、話速情報、音量情報など韻律に係る別の情報を有する構成としても良い。
【０１９１】
また、上記第１及び第３の実施の形態においては、韻律素片辞書の有する韻律特徴情報を、ピッチ比及び抑揚比とした例を説明したが、これに限らず、韻律素片辞書を、ピッチ比及び抑揚比に加えて、あるいはピッチ比及び抑揚比に代えて、原音データのピッチ周波数と、標準ピッチ周波数とから求まる他の情報を有する構成としても良いし、前述したように、韻律情報が話速情報、音量情報などを含む場合は、原音データの話速情報及び音量情報と、標準話速情報及び標準音量情報とから求まる情報を有する構成としても良い。つまり、ピッチ周波数情報に加えて、話速情報や音量情報によって該当する韻律情報系列部分を調整することで、ピッチ周波数だけによる調整よりも、更に自然音声に近い抑揚で文章テキストが発話（再生）される合成音声波形データを生成することができる。
【図面の簡単な説明】
【０１９２】
【図１】本発明の第１の実施の形態に係る音声合成装置１００の構成を示すブロック図である。
【図２】韻律素片辞書の作成処理の流れを示す図である。
【図３】ピッチ比及び抑揚比の算出方法の一例を示す図である。
【図４】（ａ）は、韻律素片辞書の構成例を示す図であり、（ｂ）は、韻律素片辞書に登録されるピッチ周波数データの一例を示す図である。
【図５】音声合成装置１００の動作処理を示すフローチャートである。
【図６】（ａ）は、定型フレーズを含む実発話文の音声波形データにおけるピッチ周波数系列の一例を示す図であり、（ｂ）は、（ａ）の実発話文に対して標準ピッチ周波数のみで生成したピッチ周波数系列の一例を示す図である。
【図７】定型フレーズを含む文章テキストに対する標準韻律情報系列の一例を示す図である。
【図８】（ａ）は、文章テキストにおける定型フレーズに韻律素片ピッチ周波数を用い、且つ韻律特徴情報に基づく調整処理を施した韻律情報系列の一例を示す図であり、（ｂ）は、（ａ）と同じ文章テキストに対して従来技術の手法で生成した韻律情報系列の一例を示す図である。
【図９】本発明の第２の実施の形態に係る音声合成装置２００の構成を示すブロック図である。
【図１０】音声合成装置２００の波形合成部２３の詳細な構成を示すブロック図である。
【図１１】大波形素片辞書の構成例を示す図である。
【図１２】音声合成装置２００の動作処理を示すフローチャートである。
【図１３】（ａ）は、例文に対する原音データの構成を示す図であり、（ｂ）は、（ａ）の例文に対して登録フレーズの先行モーラの音韻環境が一致する場合の合成例を示す図であり、（ｃ）は、（ａ）の例文に対して登録フレーズの先行モーラの音韻環境が不一致の場合の合成例を示す図である。
【図１４】本発明の第３の実施の形態に係る音声合成装置３００の構成を示すブロック図である。
【図１５】音声合成装置３００の動作処理を示すフローチャートである。
【図１６】波形合成部２３における合成音声波形データの生成処理を示すフローチャートである。
【図１７】（ａ）は、登録フレーズの先行モーラの音韻環境が不一致の場合に、従来技術を用いて生成された合成音声波形を示す図であり、（ｂ）は、登録フレーズの先行モーラの音韻環境が不一致の場合に、本発明を用いて生成された合成音声波形を示す図である。
【符号の説明】
【０１９３】
１０，２０        テキスト解析部
１１，２１        標準韻律辞書
１２              韻律素片辞書
１３              韻律生成部
１３ａ，２２      標準韻律生成部
１３ｂ            登録フレーズ照合部
１３ｃ            韻律素片選択部
１３ｄ            韻律置換整形部
１４，２３        波形合成部
２３ａ            素片選択部
２３ｂ            素片接続部
２３ｃ            合成部
１５，２４        標準波形素片辞書
２５              大波形素片辞書
１００〜３００    音声合成装置
【図１】
0004751230.tif 000002
【図２】
0004751230.tif 000003
【図３】
0004751230.tif 000004
【図４】
0004751230.tif 000005
【図５】
0004751230.tif 000006
【図６】
0004751230.tif 000007
【図７】
0004751230.tif 000008
【図８】
0004751230.tif 000009
【図９】
0004751230.tif 000010
【図１０】
0004751230.tif 000011
【図１１】
0004751230.tif 000012
【図１２】
0004751230.tif 000013
【図１３】
0004751230.tif 000014
【図１４】
0004751230.tif 000015
【図１５】
0004751230.tif 000016
【図１６】
0004751230.tif 000017
【図１７】
0004751230.tif 000018