(57)【要約】【課題】目的話者の音声データベースが小規模の場合であっても目的話者の声質を再現することができる音声合成装置およびそのプログラムを提供する。【解決手段】音声合成装置１は、目的話者小規模統計モデル・クラスタリング情報作成手段１０と、別話者小規模統計モデル作成手段３０と、別話者クラスタリング情報作成手段６０と、別話者大規模初期モデル作成手段７０と、別話者の初期モデルから大規模統計モデルを作成し、大規模初期モデルと大規模統計モデルとの間の写像規則を抽出する写像規則抽出手段８０と、目的話者大規模初期モデル作成手段９０と、前記した写像規則に従って目的話者の小規模初期モデルを大規模統計モデルへと拡張する統計モデル拡張手段１００と、入力文解析手段と１１０と、統計モデル列挙手段１２０と、音響特徴量列生成手段１３０と、音声波形変換手段１４０と、を備えている。【選択図】図１
2013250509.tif 000002
【特許請求の範囲】
【請求項１】
音声合成の対象となる目的話者の音声データと、当該目的話者の音声データよりもデータ数の多い、前記目的話者以外の話者を示す別話者の音声データとを用いて、入力文に対応した前記目的話者の音声を合成する音声合成装置であって、
予め定められた分類規則に従って、前記目的話者の音声データを音素ごとにクラスタリングすることで、前記分類規則によって構築された分類木の情報を含む、前記目的話者のクラスタリング情報を作成するとともに、各クラスタに含まれる前記目的話者の音声データの音響特徴量の統計的パラメータを算出し、当該統計的パラメータをクラスタごとに平均化することで、前記目的話者の小規模統計モデルを作成する目的話者小規模統計モデル・クラスタリング情報作成手段と、
前記目的話者のクラスタリング情報に従って、前記別話者の音声データを音素ごとにクラスタリングした後、各クラスタに含まれる前記別話者の音声データの音響特徴量の統計的パラメータを算出し、当該統計的パラメータをクラスタごとに平均化することで、前記別話者の小規模統計モデルを作成する別話者小規模統計モデル作成手段と、
予め定められた分類規則に従って、前記別話者の音声データを音素ごとにクラスタリングすることで、前記目的話者のクラスタリング情報に含まれる分類木よりも多くの分類規則によって構築された分類木の情報を含む、前記別話者のクラスタリング情報を作成する別話者クラスタリング情報作成手段と、
前記別話者のクラスタリング情報に従って、前記別話者の小規模統計モデルの各クラスタに含まれる前記別話者の音声データを再度クラスタリングした後、各クラスタに含まれる前記別話者の音声データに対応する統計的パラメータであって、前記別話者小規模統計モデル作成手段によって算出および平均化された統計的パラメータを、再度クラスタリングされたクラスタごとに平均化することで、前記別話者の大規模初期モデルを作成する別話者大規模初期モデル作成手段と、
前記別話者の大規模初期モデルの各クラスタの統計的パラメータを、前記別話者の音声データの対数尤度が最大化するように線形変換することで、前記別話者の大規模統計モデルを作成するとともに、前記別話者の大規模初期モデルの各クラスタの統計的パラメータと、前記別話者の大規模統計モデルの各クラスタの統計的パラメータとの対応関係を示す写像規則を抽出する写像規則抽出手段と、
前記別話者のクラスタリング情報に従って、前記目的話者の小規模統計モデルの各クラスタに含まれる音声データを再度クラスタリングした後、各クラスタに含まれる音声データに対応する統計的パラメータであって、前記目的話者小規模統計モデル・クラスタリング情報作成手段によって算出および平均化された統計的パラメータを、再度クラスタリングされたクラスタごとに平均化することで、前記目的話者の大規模初期モデルを作成する目的話者大規模初期モデル作成手段と、
前記写像規則に従って、前記目的話者の大規模初期モデルの各クラスタの統計的パラメータを線形変換することで、前記目的話者の大規模初期モデルを前記目的話者の大規模統計モデルへと拡張する統計モデル拡張手段と、
前記入力文を解析し、統計モデルの単位である音素ごとに分割する入力文解析手段と、
前記入力文解析手段による解析結果に従って、前記入力文に対応する前記目的話者の大規模統計モデルを音素ごとに列挙する統計モデル列挙手段と、
前記統計モデル列挙正手段によって列挙された前記目的話者の大規模統計モデルの列を平滑化し、前記入力文に対応する音響特徴量の列として出力する音響特徴量列生成手段と、
前記音響特徴量列生成手段によって生成された前記音響特徴量の列を音声波形に変換する音声波形変換手段と、
を備えることを特徴とする音声合成装置。
【請求項２】
前記別話者の音声データの中から前記目的話者の音声データと前後の音素環境が異なる音声データの頻度分布が同じになるように音声データを選択する別話者音声データ選択手段を備え、
前記別話者小規模統計モデル作成手段は、前記目的話者のクラスタリング情報に従って、前記別話者音声データ選択手段によって選択された前記別話者の音声データを音素ごとにクラスタリングした後、各クラスタに含まれる前記別話者の音声データの音響特徴量の統計的パラメータを算出し、当該統計的パラメータをクラスタごとに平均化することで、前記別話者の小規模統計モデルを作成することを特徴とする請求項１に記載の音声合成装置。
【請求項３】
音声合成の対象となる目的話者の音声データと、当該目的話者の音声データよりもデータ数の多い、前記目的話者以外の話者を示す別話者の音声データとを用いて、入力文に対応した前記目的話者の音声を合成するために、コンピュータを、
予め定められた分類規則に従って、前記目的話者の音声データを音素ごとにクラスタリングすることで、前記分類規則によって構築された分類木の情報を含む、前記目的話者のクラスタリング情報を作成するとともに、各クラスタに含まれる前記目的話者の音声データの音響特徴量の統計的パラメータを算出し、当該統計的パラメータをクラスタごとに平均化することで、前記目的話者の小規模統計モデルを作成する目的話者小規模統計モデル・クラスタリング情報作成手段、
前記目的話者のクラスタリング情報に従って、前記別話者の音声データを音素ごとにクラスタリングした後、各クラスタに含まれる前記別話者の音声データの音響特徴量の統計的パラメータを算出し、当該統計的パラメータをクラスタごとに平均化することで、前記別話者の小規模統計モデルを作成する別話者小規模統計モデル作成手段、
予め定められた分類規則に従って、前記別話者の音声データを音素ごとにクラスタリングすることで、前記目的話者のクラスタリング情報に含まれる分類木よりも多くの分類規則によって構築された分類木の情報を含む、前記別話者のクラスタリング情報を作成する別話者クラスタリング情報作成手段、
前記別話者のクラスタリング情報に従って、前記別話者の小規模統計モデルの各クラスタに含まれる前記別話者の音声データを再度クラスタリングした後、各クラスタに含まれる前記別話者の音声データに対応する統計的パラメータであって、前記別話者小規模統計モデル作成手段によって算出および平均化された統計的パラメータを、再度クラスタリングされたクラスタごとに平均化することで、前記別話者の大規模初期モデルを作成する別話者大規模初期モデル作成手段、
前記別話者の大規模初期モデルの各クラスタの統計的パラメータを、前記別話者の音声データの対数尤度が最大化するように線形変換することで、前記別話者の大規模統計モデルを作成するとともに、前記別話者の大規模初期モデルの各クラスタの統計的パラメータと、前記別話者の大規模統計モデルの各クラスタの統計的パラメータとの対応関係を示す写像規則を抽出する写像規則抽出手段、
前記別話者のクラスタリング情報に従って、前記目的話者の小規模統計モデルの各クラスタに含まれる音声データを再度クラスタリングした後、各クラスタに含まれる音声データに対応する統計的パラメータであって、前記目的話者小規模統計モデル・クラスタリング情報作成手段によって算出および平均化された統計的パラメータを、再度クラスタリングされたクラスタごとに平均化することで、前記目的話者の大規模初期モデルを作成する目的話者大規模初期モデル作成手段、
前記写像規則に従って、前記目的話者の大規模初期モデルの各クラスタの統計的パラメータを線形変換することで、前記目的話者の大規模初期モデルを前記目的話者の大規模統計モデルへと拡張する統計モデル拡張手段、
前記入力文を解析し、統計モデルの単位である音素ごとに分割する入力文解析手段と、
前記入力文解析手段による解析結果に従って、前記入力文に対応する前記目的話者の大規模統計モデルを音素ごとに列挙する統計モデル列挙手段、
前記統計モデル列挙正手段によって列挙された前記目的話者の大規模統計モデルの列を平滑化し、前記入力文に対応する音響特徴量の列として出力する音響特徴量列生成手段、
前記音響特徴量列生成手段によって生成された前記音響特徴量の列を音声波形に変換する音声波形変換手段、
として機能させるための音声合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字を音声に変換する音声合成装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来、統計モデルの一つである隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）を用いた音声合成方法として、例えば特許文献１で提案されているような手法が利用されていた。特許文献１で提案された音声合成方法は、複数の話者の平均的な特徴を有する合成音声（平均声）を求めた後、この平均声のモデルを音声合成の対象となる目的話者に適応させて当該目的話者の声質および韻律特徴を有する合成音声を作成するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２４４６８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１で提案された音声合成方法は、目的話者の音声データベースが小規模で音声データのデータ数が少ないと、作成された合成音声が平均声のモデルに近づいてしまい、目的話者の声質を再現することができないという問題があった。すなわち、特許文献１で提案された音声合成方法は、合成音声の声質が目的話者の音声データベースの規模（音声データのデータ数）に依存してしまうという欠点を有していた。また、特許文献１で提案された音声合成方法は、平均声の声質と目的話者の声質とが異なりすぎると、目的話者の声質を再現することが難しいという問題もあった。
【０００５】
本発明はかかる点に鑑みてなされたものであって、目的話者の音声データベースが小規模の場合であっても目的話者の声質を再現することができる音声合成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するために請求項１に係る音声合成装置は、音声合成の対象となる目的話者の音声データと、当該目的話者の音声データよりもデータ数の多い、目的話者以外の話者を示す別話者の音声データとを用いて、入力文に対応した目的話者の音声を合成する音声合成装置であって、目的話者小規模統計モデル・クラスタリング情報作成手段と、別話者小規模統計モデル作成手段と、別話者クラスタリング情報作成手段と、別話者大規模初期モデル作成手段と、写像規則抽出手段と、目的話者大規模初期モデル作成手段と、統計モデル拡張手段と、統計モデル列挙手段と、音響特徴量列生成手段と、音声波形変換手段と、を備える構成とした。
【０００７】
このような構成を備える音声合成装置は、目的話者小規模統計モデル・クラスタリング情報作成手段によって、予め定められた分類規則に従って、目的話者の音声データを音素ごとにクラスタリングすることで、前記した分類規則によって構築された分類木の情報を含む、目的話者のクラスタリング情報を作成する。すなわち、目的話者小規模統計モデル・クラスタリング情報作成手段は、予め定められた複数の分類規則の中から、目的話者の音声データのデータ数に対応した数の分類規則を選択し、当該選択した分類規則を用いて分類木を構築することで、目的話者のクラスタリング情報を作成する。なお、前記した「音声データのデータ数に対応した数の分類規則を選択」するとは、分類規則の選択数が音声データのデータ数に依存していることを意味しており、例えば音声データのデータ数が多ければそれに対応した多数の分類規則を選択して複雑な分類木を構築し、音声データのデータ数が少なければそれに対応した少数の分類規則を選択し、簡素な分類木を構築することを意味している。
【０００８】
そして、音声合成装置は、目的話者小規模統計モデル・クラスタリング情報作成手段によって、各クラスタに含まれる目的話者の音声データの音響特徴量の統計的パラメータを算出し、当該統計的パラメータをクラスタごとに平均化することで、目的話者の小規模統計モデルを作成する。なお、前記した「当該統計的パラメータをクラスタごとに平均化する」とは、例えばクラスタ内に複数の音声データが含まれる場合に、それぞれの音声データの音響特徴量の統計的パラメータを平均化し、クラスタごとに平均的な統計的パラメータを算出することを意味している。
【０００９】
また、音声合成装置は、別話者小規模統計モデル作成手段によって、目的話者のクラスタリング情報に従って、別話者の音声データを音素ごとにクラスタリングした後、各クラスタに含まれる別話者の音声データの音響特徴量の統計的パラメータを算出し、当該統計的パラメータをクラスタごとに平均化することで、別話者の小規模統計モデルを作成する。すなわち、別話者小規模統計モデル作成手段は、別話者の音声データから作成されたクラスタリング情報に含まれる分類木を用いずに、目的話者の音声データから作成されたクラスタリング情報に含まれる分類木に従って、別話者の音声データをクラスタリングする。これにより、別話者小規模統計モデル作成手段は、別話者の音声データよりもデータ数の少ない目的話者の音声データに基づいて構築された分類木（すなわち別話者の音声データに基づいて構築される分類木よりも分類規則が少なく分類が粗い分類木）に従って、目的話者の小規模統計モデルと同様の条件で別話者の音声データをクラスタリングすることができる。
【００１０】
また、音声合成装置は、別話者クラスタリング情報作成手段によって、予め定められた分類規則に従って、別話者の音声データを音素ごとにクラスタリングすることで、目的話者のクラスタリング情報に含まれる分類木よりも多くの分類規則によって構築された分類木の情報を含む、別話者のクラスタリング情報を作成する。すなわち、別話者クラスタリング情報作成手段は、予め定められた複数の分類規則の中から、別話者の音声データのデータ数に対応した数の分類規則を選択し、当該選択した分類規則を用いて分類木を構築することで、別話者の音声データをクラスタリングする。なお、別話者の音声データのデータ数は目的話者の音声データのデータ数よりも多いため、別話者クラスタリング情報作成手段が複数の分類規則の中から選択する分類規則の数も、前記した目的話者小規模統計モデル・クラスタリング情報作成手段が選択する分類規則の数より多くなる。従って、別話者クラスタリング情報作成手段は、別話者の音声データを、目的話者小規模統計モデル・クラスタリング情報作成手段において行われるクラスタリングよりも細かく分類することができる。
【００１１】
また、音声合成装置は、別話者大規模初期モデル作成手段によって、別話者のクラスタリング情報に従って、別話者の小規模統計モデルの各クラスタに含まれる別話者の音声データを再度クラスタリングした後、各クラスタに含まれる別話者の音声データに対応する統計的パラメータであって、別話者小規模統計モデル作成手段によって算出および平均化された統計的パラメータを、再度クラスタリングされたクラスタごとに平均化することで、別話者の大規模初期モデルを作成する。すなわち、別話者大規模初期モデル作成手段は、別話者の小規模統計モデルの各クラスタに含まれる音声データを、別話者のクラスタリング情報に含まれる分類木によって再度クラスタリングした後、各クラスタに含まれる音響特徴量の統計的パラメータを再計算する。そして、別話者大規模初期モデル作成手段は、各クラスタの統計的パラメータを再計算する際に、再クラスタリング後のクラスタに含まれる音声データ自体から抽出した音声特徴量の統計的パラメータを用いるのではなく、対象となる音声データについて、既に別話者小規模統計モデル作成手段によって算出された音響特徴量の統計的パラメータを用い、かつ、当該統計的パラメータをクラスタごとに平均化する。
【００１２】
また、音声合成装置は、写像規則抽出手段によって、別話者の大規模初期モデルの各クラスタの統計的パラメータを、別話者の音声データの対数尤度が最大化するように線形変換することで、別話者の大規模統計モデルを作成するとともに、別話者の大規模初期モデルの各クラスタの統計的パラメータと、別話者の大規模統計モデルの各クラスタの統計的パラメータとの対応関係を示す写像規則を抽出する。なお、前記した「対数尤度が最大化するように線形変換する」とは、例えば最尤推定法を用いて、別話者の大規模初期モデルの各クラスタの統計的パラメータを、別話者の音声データにもっとよく当てはまる値となるように変えていく処理のことを意味している。
【００１３】
また、音声合成装置は、目的話者大規模初期モデル作成手段によって、別話者のクラスタリング情報に従って、目的話者の小規模統計モデルの各クラスタに含まれる音声データを再度クラスタリングした後、各クラスタに含まれる音声データに対応する統計的パラメータであって、目的話者小規模統計モデル・クラスタリング情報作成手段によって算出および平均化された統計的パラメータを、再度クラスタリングされたクラスタごとに平均化することで、目的話者の大規模初期モデルを作成する。すなわち、目的話者大規模初期モデル作成手段は、目的話者の小規模統計モデルの各クラスタに含まれる音声データを、別話者のクラスタリング情報に含まれる分類木によって再度クラスタリングした後、各クラスタに含まれる音響特徴量の統計的パラメータを再計算する。そして、目的話者大規模初期モデル作成手段は、各クラスタの統計的パラメータを再計算する際に、再クラスタリング後のクラスタに含まれる音声データ自体から抽出した音声特徴量の統計的パラメータを用いるのではなく、対象となる音声データについて、既に目的話者小規模統計モデル・クラスタリング情報作成手段によって算出された音響特徴量の統計的パラメータを用い、かつ、当該統計的パラメータをクラスタごとに平均化する。
【００１４】
また、音声合成装置は、統計モデル拡張手段によって、写像規則に従って、目的話者の大規模初期モデルの各クラスタの統計的パラメータを線形変換することで、目的話者の大規模初期モデルを目的話者の大規模統計モデルへと拡張する。すなわち、統計モデル拡張手段は、目的話者の大規模初期モデルと目的話者の大規模統計モデルとの対応関係を示す写像規則に基づいて目的話者の大規模初期モデルの各クラスタの値である統計的パラメータを再計算することで、目的話者の音声データのデータ数が別話者の音声データのデータ数とが同じであると仮定した場合の各クラスタの値を算出し、目的話者の大規模統計モデルを作成する。
【００１５】
そして、音声合成装置は、入力文解析手段によって、外部から入力された入力文を解析し、統計モデルの単位である音素ごとに分割し、統計モデル列挙手段によって、入力文解析手段による解析結果に従って、入力文に対応する目的話者の大規模統計モデルを音素ごとに列挙し、音響特徴量列生成手段によって、統計モデル列挙手段において列挙された目的話者の大規模統計モデルの列を平滑化し、入力文に対応する音響特徴量の列として出力し、音声波形変換手段によって、音響特徴量列生成手段において生成された音響特徴量の列を音声波形に変換する。
【００１６】
また、請求項２に係る音声合成装置は、請求項１に係る音声合成装置において、別話者の音声データの中から目的話者の音声データと前後の音素環境が異なる音声データの頻度分布が同じになるように音声データを選択する別話者音声データ選択手段を備え、別話者小規模統計モデル作成手段が、目的話者のクラスタリング情報に従って、別話者音声データ選択手段によって選択された別話者の音声データを音素ごとにクラスタリングした後、各クラスタに含まれる別話者の音声データの音響特徴量の統計的パラメータを算出し、当該統計的パラメータをクラスタごとに平均化することで、別話者の小規模統計モデルを作成する構成とした。
【００１７】
これにより、音声合成装置は、目的話者の音声データの傾向と別話者の音声データの傾向とが大きく異なる場合であっても、当該別話者の音声データの傾向を目的話者の音声データの傾向に合わせた上で、別話者の小規模統計モデルを作成することができる。
【００１８】
前記課題を解決するために請求項３に係る音声合成プログラムは、音声合成の対象となる目的話者の音声データと、当該目的話者の音声データよりもデータ数の多い、目的話者以外の話者を示す別話者の音声データとを用いて、入力文に対応した目的話者の音声を合成するために、コンピュータを、目的話者小規模統計モデル・クラスタリング情報作成手段、別話者小規模統計モデル作成手段、別話者クラスタリング情報作成手段、別話者大規模初期モデル作成手段、写像規則抽出手段、目的話者大規模初期モデル作成手段、統計モデル拡張手段、統計モデル列挙手段、音響特徴量列生成手段、音声波形変換手段、として機能させる構成とした。
【００１９】
このような構成を備える音声合成プログラムは、目的話者小規模統計モデル・クラスタリング情報作成手段によって、予め定められた分類規則に従って、目的話者の音声データを音素ごとにクラスタリングすることで、前記した分類規則によって構築された分類木の情報を含む、目的話者のクラスタリング情報を作成する。すなわち、目的話者小規模統計モデル・クラスタリング情報作成手段は、予め定められた複数の分類規則の中から、目的話者の音声データのデータ数に対応した数の分類規則を選択し、当該選択した分類規則を用いて分類木を構築することで、目的話者のクラスタリング情報を作成する。
【００２０】
そして、音声合成プログラムは、目的話者小規模統計モデル・クラスタリング情報作成手段によって、各クラスタに含まれる目的話者の音声データの音響特徴量の統計的パラメータを算出し、当該統計的パラメータをクラスタごとに平均化することで、目的話者の小規模統計モデルを作成する。
【００２１】
また、音声合成プログラムは、別話者小規模統計モデル作成手段によって、目的話者のクラスタリング情報に従って、別話者の音声データを音素ごとにクラスタリングした後、各クラスタに含まれる別話者の音声データの音響特徴量の統計的パラメータを算出し、当該統計的パラメータをクラスタごとに平均化することで、別話者の小規模統計モデルを作成する。すなわち、別話者小規模統計モデル作成手段は、別話者の音声データから作成されたクラスタリング情報に含まれる分類木を用いずに、目的話者の音声データから作成されたクラスタリング情報に含まれる分類木に従って、別話者の音声データをクラスタリングする。これにより、別話者小規模統計モデル作成手段は、別話者の音声データよりもデータ数の少ない目的話者の音声データに基づいて構築された分類木（すなわち別話者の音声データに基づいて構築される分類木よりも分類規則が少なく分類が粗い分類木）に従って、目的話者の小規模統計モデルと同様の条件で別話者の音声データをクラスタリングすることができる。
【００２２】
また、音声合成プログラムは、別話者クラスタリング情報作成手段によって、予め定められた分類規則に従って、別話者の音声データを音素ごとにクラスタリングすることで、前記目的話者のクラスタリング情報に含まれる分類木よりも多くの分類規則によって構築された分類木の情報を含む、別話者のクラスタリング情報を作成する。すなわち、別話者クラスタリング情報作成手段は、予め定められた複数の分類規則の中から、別話者の音声データのデータ数に対応した数の分類規則を選択し、当該選択した分類規則を用いて分類木を構築することで、別話者の音声データをクラスタリングする。なお、別話者の音声データのデータ数は目的話者の音声データのデータ数よりも多いため、別話者クラスタリング情報作成手段が複数の分類規則の中から選択する分類規則の数も、前記した目的話者小規模統計モデル・クラスタリング情報作成手段が選択する分類規則の数より多くなる。従って、別話者クラスタリング情報作成手段は、別話者の音声データを、目的話者小規模統計モデル・クラスタリング情報作成手段において行われるクラスタリングよりも細かく分類することができる。
【００２３】
また、音声合成プログラムは、別話者大規模初期モデル作成手段によって、別話者のクラスタリング情報に従って、別話者の小規模統計モデルの各クラスタに含まれる別話者の音声データを再度クラスタリングした後、各クラスタに含まれる別話者の音声データに対応する統計的パラメータであって、別話者小規模統計モデル作成手段によって算出および平均化された統計的パラメータを、再度クラスタリングされたクラスタごとに平均化することで、別話者の大規模初期モデルを作成する。すなわち、別話者大規模初期モデル作成手段は、別話者の小規模統計モデルの各クラスタに含まれる音声データを、別話者のクラスタリング情報に含まれる分類木によって再度クラスタリングした後、各クラスタに含まれる音響特徴量の統計的パラメータを再計算する。そして、別話者大規模初期モデル作成手段は、各クラスタの統計的パラメータを再計算する際に、再クラスタリング後のクラスタに含まれる音声データ自体から抽出した音声特徴量の統計的パラメータを用いるのではなく、対象となる音声データについて、既に別話者小規模統計モデル作成手段によって算出された音響特徴量の統計的パラメータを用い、かつ、当該統計的パラメータをクラスタごとに平均化する。
【００２４】
また、音声合成プログラムは、写像規則抽出手段によって、別話者の大規模初期モデルの各クラスタの統計的パラメータを、別話者の音声データの対数尤度が最大化するように線形変換することで、別話者の大規模統計モデルを作成するとともに、別話者の大規模初期モデルの各クラスタの統計的パラメータと、別話者の大規模統計モデルの各クラスタの統計的パラメータとの対応関係を示す写像規則を抽出する。
【００２５】
また、音声合成プログラムは、目的話者大規模初期モデル作成手段によって、別話者のクラスタリング情報に従って、目的話者の小規模統計モデルの各クラスタに含まれる音声データを再度クラスタリングした後、各クラスタに含まれる音声データに対応する統計的パラメータであって、目的話者小規模統計モデル・クラスタリング情報作成手段によって算出および平均化された統計的パラメータを、再度クラスタリングされたクラスタごとに平均化することで、目的話者の大規模初期モデルを作成する。すなわち、目的話者大規模初期モデル作成手段は、目的話者の小規模統計モデルの各クラスタに含まれる音声データを、別話者のクラスタリング情報に含まれる分類木によって再度クラスタリングした後、各クラスタに含まれる音響特徴量の統計的パラメータを再計算する。そして、目的話者大規模初期モデル作成手段は、各クラスタの統計的パラメータを再計算する際に、再クラスタリング後のクラスタに含まれる音声データ自体から抽出した音声特徴量の統計的パラメータを用いるのではなく、対象となる音声データについて、既に目的話者小規模統計モデル・クラスタリング情報作成手段によって算出された音響特徴量の統計的パラメータを用い、かつ、当該統計的パラメータをクラスタごとに平均化する。
【００２６】
また、音声合成プログラムは、統計モデル拡張手段によって、写像規則に従って、目的話者の大規模初期モデルの各クラスタの統計的パラメータを線形変換することで、目的話者の大規模初期モデルを目的話者の大規模統計モデルへと拡張する。すなわち、統計モデル拡張手段は、目的話者の大規模初期モデルと目的話者の大規模統計モデルとの対応関係を示す写像規則に基づいて目的話者の大規模初期モデルの各クラスタの値である統計的パラメータを再計算することで、目的話者の音声データのデータ数が別話者の音声データのデータ数とが同じであると仮定した場合の各クラスタの値を算出し、目的話者の大規模統計モデルを作成する。
【００２７】
そして、音声合成プログラムは、入力文解析手段によって、外部から入力された入力文を解析し、統計モデルの単位である音素ごとに分割し、統計モデル列挙手段によって、入力文解析手段による解析結果に従って、入力文に対応する目的話者の大規模統計モデルを音素ごとに列挙し、音響特徴量列生成手段によって、統計モデル列挙手段において列挙された目的話者の大規模統計モデルの列を平滑化し、入力文に対応する音響特徴量の列として出力し、音声波形変換手段によって、音響特徴量列生成手段において生成された音響特徴量の列を音声波形に変換する。
【発明の効果】
【００２８】
請求項１および請求項３に係る発明によれば、音声合成の対象となる目的話者の音声データが少なく、通常は小規模な統計モデルしか作成できない場合であっても、別話者の大量の音声データから作成した大小２つの統計モデル間の対応関係を示す写像規則を利用して、当該目的話者の小規模な統計モデルを大規模な統計モデルに拡張することができるため、目的話者の音声データベースの規模に依存することなく目的話者の声質を再現することができる。すなわち、請求項１および請求項３に係る発明によれば、目的話者の音声データ不足による声質の自然性低下を防止することができる。また、請求項１および請求項３に係る発明によれば、別話者の音声データは写像規則を抽出するためだけに利用されるため、目的話者の音声データの声質と別話者の音声データの声質とが大きく異なる場合であっても、目的話者の声質を再現することができる。
【００２９】
請求項２に係る発明によれば、当該別話者の音声データの中から目的話者の音声データと前後の音素環境が異なる音声データの頻度分布が同じになるように音声データを選択して別話者の小規模統計モデルを作成することで、当該別話者の小規模統計モデルから作成した大規模初期モデルを元にして、目的話者の音声データと別話者の音声データの傾向の違いに依存することなく写像規則を適切に抽出することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態に係る音声合成装置の全体構成を示すブロック図である。
【図２】本発明の実施形態に係る音声合成装置におけるクラスタリング処理を説明するための概略図であって、（ａ）は、音声データのクラスタリング情報に含まれる分類木の一例を示す図、（ｂ）は、（ａ）に示す分類木を構成する接点と、当該接点に含まれる分類規則とを示す図、である。
【図３】本発明に係る音声合成装置の入力文解析手段における処理を説明するための概略図であって、入力文の解析結果の一例を示す図である。
【図４】本発明の実施形態に係る音声合成装置の処理手順を示すフローチャートである。
【図５】本発明の実施形態に係る音声合成装置の統計モデルの作成手順を示すフローチャートである。
【図６】本発明の実施形態に係る音声合成装置における統計モデルの作成処理の流れを示す概略図である。
【発明を実施するための形態】
【００３１】
本発明の実施形態に係る音声合成装置および音声合成プログラムについて、図面を参照しながら説明する。なお、以下の説明において、同一の構成については同一の名称及び符号を付し、詳細説明を省略する。
【００３２】
［音声合成装置］
音声合成装置１は、図１に示すように、外部から入力文（入力テキスト）が入力され、当該入力文に対応した合成音声を生成して出力するものである。音声合成装置１は、具体的には目的話者の音声データと、別話者の音声データとを用いて、入力文に対応した目的話者の音声を合成する。ここで、目的話者とは、音声合成の対象となる１人の話者のことを示しており、別話者とは、目的話者以外の１人の話者のことを示している。そして、音声合成装置１では、後記するように、目的話者の音声データのデータ数が別話者の音声データのデータ数よりも少ないことを前提としている。なお、目的話者と別話者の性別は特に限定されないが、同性であることが望ましい。
【００３３】
音声合成装置１は、ここでは図１に示すように、目的話者小規模統計モデル・クラスタリング情報作成手段１０と、目的話者音声データ記憶手段２０と、別話者小規模統計モデル作成手段３０と、別話者音声データ記憶手段４０と、別話者クラスタリング情報作成手段６０と、別話者大規模初期モデル作成手段７０と、写像規則抽出手段８０と、目的話者大規模初期モデル作成手段９０と、統計モデル拡張手段１００と、入力文解析手段１１０と、統計モデル列挙手段１２０と、音響特徴量列生成手段１３０と、音声波形変換手段１４０と、を備えている。また、音声合成装置１は、図１に示すように、別話者音声データ選択手段５０を付加的に備えた構成としても構わない。
【００３４】
音声合成装置１は、大きく分けて統計モデルの作成処理と合成音声の生成処理の２つの処理を行う。すなわち、音声合成装置１は、まず音声合成の前段階として図１における破線内の各手段において統計モデルの作成を行い、その後、図１における破線外の各手段において統計モデルに基づいた合成音声の生成を行う。なお、音声合成装置１は、前記した統計モデルとして隠れマルコフモデルを用いている。以下、音声合成装置１の各要素について説明する。
【００３５】
目的話者小規模統計モデル・クラスタリング情報作成手段１０は、目的話者のクラスタリング情報と目的話者の小規模統計モデルとを作成するものである。目的話者小規模統計モデル・クラスタリング情報作成手段１０は、図１に示すように、目的話者音声データ記憶手段２０に記憶された目的話者の全ての音声データを入力として、目的話者のクラスタリング情報と目的話者の小規模統計モデルとを作成する。なお、「目的話者のクラスタリング情報」とは、目的話者の小規模な音声データから作成されたクラスタリング情報のことを意味している。また、「目的話者の小規模統計モデル」とは、目的話者の小規模な音声データから作成されたクラスタリング情報（に含まれる分類木）が反映された統計モデルのことを意味している。また、「小規模な音声データ」とは、後記するように音声データのデータ数が、別話者の音声データのデータ数よりも少ないことを意味している。
【００３６】
目的話者小規模統計モデル・クラスタリング情報作成手段１０は、まず、予め定められた分類規則に従って、目的話者の音声データを音素ごとにクラスタリングすることで、前記した分類規則によって構築された分類木の情報を含む、目的話者のクラスタリング情報を作成する。すなわち、目的話者小規模統計モデル・クラスタリング情報作成手段１０は、予め定められた複数の分類規則の中から、目的話者の音声データのデータ数に対応した数の分類規則を選択し、当該選択した分類規則を用いて分類木を構築することで、目的話者のクラスタリング情報を作成する。なお、「音声データのデータ数に対応した数の分類規則を選択」するとは、前記したように、分類規則の選択数が音声データのデータ数に依存していることを意味しており、例えば音声データのデータ数が多ければそれに対応した多数の分類規則を選択して複雑な分類木を構築し、音声データのデータ数が少なければそれに対応した少数の分類規則を選択し、簡素な分類木を構築することを意味している。
【００３７】
以下、目的話者小規模統計モデル・クラスタリング情報作成手段１０によるクラスタリング情報作成処理の一例について説明する。目的話者小規模統計モデル・クラスタリング情報作成手段１０は、まず、目的話者音声データ記憶手段２０に記憶された目的話者の音声データについて、予め定められた複数の分類規則の一つ一つを適用して分類を行う。例えば、目的話者小規模統計モデル・クラスタリング情報作成手段１０は、予め１００個の分類規則が定められている場合、これらの分類規則を用いて目的話者の全ての音声データを１００回分類する。なお、この「分類」とは、音声データが分類規則を満たすのか、あるいは満たさないのかを二択で分ける処理のことを意味している。
【００３８】
次に、目的話者小規模統計モデル・クラスタリング情報作成手段１０は、分類規則ごとに二択で分離したそれぞれの音声データのグループのまとまり具合（分散）をスコアリングし、まとまり具合が最もよい分類規則を分類木の頂点の接点として採用する。なお、前記したスコアリングの方法は特に限定されず、任意の方法を用いることができる。そして、目的話者小規模統計モデル・クラスタリング情報作成手段１０は、残りの分類規則についても同様の処理を行うことで、予め用意された複数（ここでは１００個）の分類規則を取捨選択し、例えば図２（ａ）に示すような分類木（二分木）を構築する。
【００３９】
図２（ａ）に示す分類木において、アルファベットが振られた円は当該分類木の接点を表わしており、数字が振られた円はクラスタを表わしている。従って、図２（ａ）に示した分類木は、５つの接点と６つのクラスタから構成されている。また、図２（ｂ）に示した表の分類規則は、対応するアルファベットが降られた接点に割り当てられた分類規則を表わしている。なお、本発明における「クラスタリング情報」とは、具体的には図２（ａ）、（ｂ）に示すように、分類木に関する情報（接点の数、接点の位置、接点に割り当たられた分類規則）のことを意味している。
【００４０】
ここで、目的話者小規模統計モデル・クラスタリング情報作成手段１０は、前記したように予め用意された複数の分類規則を取捨選択することで、図２（ａ）に示すような分類木を構築するが、このクラスタリングの過程で選択される分類規則の数（すなわち分類木の接点の数）は、音声データのデータ数に依存する。すなわち、クラスタリングの対象となる音声データのデータ数が多い程、細かく分類することが可能であるため、選択される分類規則の数も必然的に多くなり、かつ、当該分類規則によって構築される分類木も大規模で複雑なものとなる。そのため、目的話者小規模統計モデル・クラスタリング情報作成手段１０によって、目的話者の音声データから作成されるクラスタリング情報に含まれる分類木は、後記する別話者クラスタリング情報作成手段６０によって、目的話者の音声データよりもデータ数の多い別話者の音声データから作成されるクラスタリング情報に含まれる分類木よりも接点の数が少なく、小規模なものとなる。
【００４１】
目的話者小規模統計モデル・クラスタリング情報作成手段１０は、前記したような分類木を構築した後、各クラスタに含まれる目的話者の音声データの音響特徴量を算出する。目的話者小規模統計モデル・クラスタリング情報作成手段１０は、例えば音声データの音声波形に窓関数（ハミング窓等）をかけることで、フレーム化された波形を抽出し、その波形を周波数分析することで、例えばメル周波数ケプストラム係数（ＭＦＣＣ：Mel Frequency Cepstrum Coefficient）等の音響特徴量を抽出する。なお、音響特徴量としては、メル周波数ケプストラム係数以外にも、ＬＰＣ（Linear Predictive Cording）係数、対数パワー等、一般的な音声特徴量を用いることができる。目的話者小規模統計モデル・クラスタリング情報作成手段１０は、ここでは具体的には、ＭＦＣＣ１２次元とその一次微分および二次微分、対数パワーとその一次微分および二次微分の合計３９次元の音響特徴量を抽出している。
【００４２】
次に、目的話者小規模統計モデル・クラスタリング情報作成手段１０は、各クラスタに含まれる目的話者の音声データの音響特徴量を学習データとして隠れマルコフモデルを学習し、当該音響特徴量の統計的パラメータを算出する。また、目的話者小規模統計モデル・クラスタリング情報作成手段１０は、クラスタごとに統計的パラメータを平均化することで、目的話者の小規模統計モデルを作成する。なお、「当該統計的パラメータをクラスタごとに平均化する」とは、前記したように、例えばクラスタ内に複数の音声データが含まれる場合に、それぞれの音声データの音響特徴量の統計的パラメータを平均化し、クラスタごとに平均的な統計的パラメータを算出することを意味している。そして、目的話者小規模統計モデル・クラスタリング情報作成手段１０は、図１に示すように、目的話者の小規模統計モデルを目的話者大規模初期モデル作成手段９０に出力し、目的話者のクラスタリング情報を別話者小規模統計モデル作成手段３０に出力する。
【００４３】
ここで、前記した統計的パラメータとしては、音響特徴量の平均および分散を用いている。目的話者小規模統計モデル・クラスタリング情報作成手段１０は、例えば、前記したように音声データから３９次元の音響特徴量を抽出した場合、それぞれの次元ごとの平均および分散を算出する。従って、この場合の統計的パラメータは、３９次元分（３９個）の平均および分散の値から構成されることになる。
【００４４】
なお、前記した隠れマルコフモデル（統計モデル）は、例えば以下の参考文献１で提案されているソフトウェア「ＨＴＳ」や、以下の参考文献２で提案されているアラインメントによる対応付け法を用いて作成することができる。また、前記したクラスタリング情報は、例えば以下の参考文献３で提案されている木構造クラスタリングを用いて作成することができる。
【００４５】
参考文献１：全炳河ほか「隠れマルコフモデルに基づく音声合成システム」情報処理学会全国大会講演論文集、第70回平成20年(5)、2008年3月13日、p p.359-360
参考文献２：世木寛之ほか「混合正規分布型HMMにおける混合数の増加法の検討」日本音響学界2000年秋季研究発表会講演論文集、no.1、2-Q-13、2000年、pp.115-116
参考文献３：S.J. Youngほか「Tree-Based State Tying for High Accuracy Modelling」Proc. Of ARPA Human Language Technology Workshop, Vol.1, 1994, pp307-312
【００４６】
目的話者音声データ記憶手段２０は、目的話者の音声データを記憶するものである。目的話者音声データ記憶手段２０には、少なくとも日本語の５０音分の音素を示す目的話者の音声データが記憶されており、かつ、それぞれの音素について、前後の接続関係が異なる音声データが記憶されている。すなわち、目的話者音声データ記憶手段２０には、例えば同じ「い」の音素を示す音声データであっても、前後の音素がそれぞれ「あ」、「う」である「い」の音声データ（以下、「ａ−ｉ＋ｕ」と表記する）や、前後の音素がそれぞれ「あ」、「え」である「い」の音声データ（以下、「ａ−ｉ＋ｅ」と表記する）等、複数種類の音声データが記憶されている。このように、前後の音素環境によって音声データを区別するのは、たとえ同じ音素であっても前後の接続関係が異なると音響的な特徴が変わってくるためである。
【００４７】
目的話者音声データ記憶手段２０には、予め目的話者の発話から取得された、複数の音素単位の音声データが記憶されているが、そのデータ数が後記する別話者音声データ記憶手段４０に記憶されている別話者の音声データよりも少なくなるように構成されている。例えば「い」の音素の音声データとして、後記する別話者音声データ記憶手段４０に「ａ−ｉ＋ａ」、「ａ−ｉ＋ｕ」、「ａ−ｉ＋ｅ」、「ａ−ｉ＋ｏ」等の４種類の音声データが記憶されているとした場合、目的話者音声データ記憶手段２０には、「い」の音素の音声データとして４種類未満の音声データ（例えば「ａ−ｉ＋ｕ」および「ａ−ｉ＋ｅ」のみ）が記憶されている。
【００４８】
このように、音声合成装置１では、目的話者音声データ記憶手段２０に記憶されている音素ごとの音声データの種類が、後記する別話者音声データ記憶手段４０に記憶されている音素ごとの音声データの種類よりも少ないことを前提としている。そのため、音声合成装置１では、例えば前記したように、目的話者音声データ記憶手段２０に「い」の音素の音声データとして「ａ−ｉ＋ｕ」および「ａ−ｉ＋ｅ」の２種類の音声データしか記憶されていない場合において、入力文として「あいあ」という文字が入力された場合、目的話者音声データ記憶手段２０には、前後の音素がともに「あ」である「い」の音声データ（すなわち「ａ−ｉ＋ａ」の音声データ）が記憶されていないため、前記した「あいあ」に対応する目的話者の音声を合成できないとも思われる。しかしながら、音声合成装置１は、後記するように、別話者の音声データから作成した大小２種類の統計モデルから写像規則を抽出し、当該写像規則に基づいて目的話者の小規模統計モデルを大規模統計モデルへと拡張することで、目的話者音声データ記憶手段２０に存在しない音声データについても、音声合成を行えるようになる。
【００４９】
目的話者音声データ記憶手段２０は、具体的にはデータを記憶することができるメモリ、ハードディスク等で具現される。そして、目的話者音声データ記憶手段２０は、図１に示すように、前記した目的話者の音声データを目的話者小規模統計モデル・クラスタリング情報作成手段１０に出力する。また、目的話者音声データ記憶手段２０は、図１の破線矢印に示すように、音声合成装置１に別話者音声データ選択手段５０を追加する場合は、目的話者の音声データを当該別話者音声データ選択手段５０に対しても出力する。
【００５０】
別話者小規模統計モデル作成手段３０は、別話者の小規模統計モデルを作成するものである。別話者小規模統計モデル作成手段３０は、図１に示すように、別話者音声データ記憶手段４０に記憶された別話者の全ての音声データと、目的話者小規模統計モデル・クラスタリング情報作成手段１０によって作成された目的話者のクラスタリング情報とを入力として、別話者の小規模統計モデルとを作成する。なお、「別話者の小規模統計モデル」とは、目的話者の小規模な音声データから作成されたクラスタリング情報（に含まれる分類木）が反映された統計モデルのことを意味している。
【００５１】
別話者小規模統計モデル作成手段３０は、まず図１に示すように、目的話者のクラスタリング情報に従って、別話者音声データ記憶手段４０に記憶された別話者の音声データを音素ごとにクラスタリングした後、各クラスタに含まれる別話者の音声データの音響特徴量を抽出する。すなわち、別話者小規模統計モデル作成手段３０は、別話者の音声データから作成されたクラスタリング情報に含まれる分類木を用いずに、目的話者の音声データから作成されたクラスタリング情報に含まれる分類木に従って、別話者の音声データをクラスタリングする。これにより、別話者小規模統計モデル作成手段３０は、別話者の音声データよりもデータ数の少ない目的話者の音声データに基づいて構築された分類木（すなわち別話者の音声データに基づいて構築される分類木よりも分類規則が少なく分類が粗い分類木）に従って、目的話者小規模統計モデルと同様の条件で別話者の音声データをクラスタリングすることができる。なお、別話者小規模統計モデル作成手段３０における音響特徴量の抽出方法は、前記した目的話者小規模統計モデル・クラスタリング情報作成手段１０と同様であるため説明は省略する。
【００５２】
次に、別話者小規模統計モデル作成手段３０は、各クラスタに含まれる別話者の音声データの音響特徴量を学習データとして隠れマルコフモデルを学習し、当該音響特徴量の統計的パラメータを算出する。また、別話者小規模統計モデル作成手段３０は、クラスタごとに統計的パラメータを平均化することで、別話者の小規模統計モデルを作成する。そして、別話者小規模統計モデル作成手段３０は、図１に示すように、別話者の小規模統計モデルを別話者大規模初期モデル作成手段７０に出力する。なお、別話者小規模統計モデル作成手段３０における隠れマルコフモデルの作成方法は、前記した目的話者小規模統計モデル・クラスタリング情報作成手段１０と同様であるため説明は省略する。
【００５３】
別話者音声データ記憶手段４０は、別話者の音声データを記憶するものである。別話者音声データ記憶手段４０には、少なくとも日本語の５０音分の音素を示す別話者の音声データが記憶されており、前記した目的話者音声データ記憶手段２０と同様に、それぞれの音素について、前後の接続関係が異なる音声データが記憶されている。また、別話者音声データ記憶手段４０には、予め別話者の発話から取得された、複数の音素単位の音声データが記憶されているが、そのデータ数が前記した目的話者音声データ記憶手段２０に記憶されている目的話者の音声データよりも多くなるように構成されている。
【００５４】
別話者音声データ記憶手段４０は、具体的にはデータを記憶することができるメモリ、ハードディスク等で具現される。そして、別話者音声データ記憶手段４０は、図１に示すように、前記した別話者の音声データを別話者小規模統計モデル作成手段３０に出力する。また、別話者音声データ記憶手段４０は、図１の破線矢印に示すように、必要に応じて、別話者の音声データを別話者音声データ選択手段５０に対しても出力する。
【００５５】
別話者音声データ選択手段５０は、別話者音声データ記憶手段４０から所定の音声データを選択するものである。別話者音声データ選択手段５０は、図１に示すように、目的話者音声データ記憶手段２０から入力される目的話者の音声データの情報に従って、別話者音声データ記憶手段４０に記憶された別話者の音声データの中から、目的話者音声データ記憶手段２０に記憶された目的話者の音声データと前後の音素環境が異なる音声データの頻度分布が同じになるように音声データを選択し、当該音声データを別話者小規模統計モデル作成手段３０に出力する。なお、「目的話者の音声データの情報」とは、目的話者音声データ記憶手段２０に記憶されている目的話者の音声データの種類を示す情報のことを意味している。
【００５６】
ここで、前記したように、目的話者音声データ記憶手段２０および別話者音声データ記憶手段４０には、日本語の５０音分の音素ごとに、前後の接続関係が異なる複数の音声データが記憶されているが、それぞれの音声データの傾向、すなわち音素ごとの頻度分布が大きく異なる場合がある。例えば、一方の目的話者音声データ記憶手段２０には、前後の接続関係が異なる「あ」の音素の音声データが３種類記憶されており、他方の別話者音声データ記憶手段４０には、前後の接続関係が異なる「あ」の音素の音声データが３０種類記憶されている場合、両者で「あ」の音素の音声データの傾向が大きく異なることになる。このような場合、後段の処理で抽出される写像規則が目的話者と別話者の音声データの傾向に依存してしまい、当該写像規則が適切に抽出できない場合がある。
【００５７】
そこで、このように目的話者と別話者の音声データの傾向が大きく異なる場合は、図１に示すように、別話者音声データ記憶手段４０から別話者小規模統計モデル作成手段３０に対して別話者の全ての音声データを出力するのではなく、別話者音声データ選択手段５０を介して、目的話者の音声データの傾向に合わせてデータ数を絞り込んだ上で、別話者の一部の音声データを別話者小規模統計モデル作成手段３０に対して出力することとする。これにより、音声合成装置１は、別話者の音声データの傾向を目的話者の音声データの傾向に合わせた上で、別話者の小規模統計モデルを作成することができる。そして、音声合成装置１は、後記するように、当該別話者の小規模統計モデルから作成した大規模初期モデルを元にして、目的話者の音声データと別話者の音声データの傾向の違いに依存することなく写像規則を適切に抽出することができる。
【００５８】
なお、別話者音声データ選択手段５０は、音声合成装置１において任意の構成である。従って、例えば目的話者の音声データの傾向と別話者の音声データの傾向とが類似している場合は、当該別話者音声データ選択手段５０を介することなく、別話者音声データ記憶手段４０から別話者小規模統計モデル作成手段３０に対して、別話者の全ての音声データを出力すればよい。
【００５９】
別話者クラスタリング情報作成手段６０は、別話者のクラスタリング情報を作成するものである。別話者クラスタリング情報作成手段６０は、図１に示すように、別話者音声データ記憶手段４０に記憶されている別話者の音声データを入力として、別話者のクラスタリング情報を作成する。なお、「別話者のクラスタリング情報」とは、別話者の大規模な音声データから作成されたクラスタリング情報のことを意味している。
【００６０】
別話者クラスタリング情報作成手段６０は、予め定められた分類規則に従って、別話者の音声データを音素ごとにクラスタリングすることで、前記目的話者のクラスタリング情報に含まれる分類木よりも多くの分類規則によって構築された分類木の情報を含む、別話者のクラスタリング情報を作成する。すなわち、別話者クラスタリング情報作成手段６０は、予め定められた複数の分類規則の中から、別話者の音声データのデータ数に対応した数の分類規則を選択し、当該選択した分類規則を用いて分類木を構築することで、別話者の音声データをクラスタリングする。なお、別話者クラスタリング情報作成手段６０におけるクラスタリング情報の作成方法は、前記した目的話者小規模統計モデル・クラスタリング情報作成手段１０と同様であるため説明は省略する。
【００６１】
また、前記したように、クラスタリングの過程で選択される分類規則の数（すなわち分類木の接点の数）は、音声データのデータ数に依存する。従って、別話者クラスタリング情報作成手段６０によって、別話者の音声データから作成されるクラスタリング情報に含まれる分類木は、前記した目的話者小規模統計モデル・クラスタリング情報作成手段１０によって、別話者の音声データよりもデータ数の少ない目的話者の音声データから作成されるクラスタリング情報に含まれる分類木よりも接点の数が多く、大規模なものとなる。
【００６２】
別話者大規模初期モデル作成手段７０は、別話者の大規模初期モデルを作成するものである。別話者大規模初期モデル作成手段７０は、図１に示すように、別話者小規模統計モデル作成手段３０によって作成される別話者の小規模統計モデルと、別話者クラスタリング情報作成手段６０によって作成される別話者のクラスタリング情報とを入力として、別話者の大規模初期モデルを作成する。なお、「別話者の大規模初期モデル」とは、別話者の大規模な音声データから作成されたクラスタリング情報（に含まれる分類木）が反映された統計モデルであって、後記する別話者の大規模統計モデルとクラスタリング情報（に含まれる分類木）のみが共通する統計モデルのことを意味している。
【００６３】
別話者大規模初期モデル作成手段７０は、まず、別話者のクラスタリング情報に従って、別話者の小規模統計モデルの各クラスタに含まれる別話者の音声データを再度クラスタリングした後、各クラスタに含まれる別話者の音声データに対応する統計的パラメータであって、別話者小規模統計モデル作成手段３０によって算出および平均化された統計的パラメータを、再度クラスタリングされたクラスタごとに平均化することで、別話者の大規模初期モデルを作成する。すなわち、別話者大規模初期モデル作成手段７０は、別話者の小規模統計モデルの各クラスタに含まれる音声データを、別話者のクラスタリング情報に含まれる分類木によって再度クラスタリングする。言い換えれば、別話者大規模初期モデル作成手段７０は、接点の少ない小規模な分類木（目的話者のクラスタリング情報に含まれる分類木）によってクラスタリングされていた別話者の音声データを、接点の多い大規模な分類木（別話者のクラスタリング情報に含まれる分類木）によってクラスタリングしなおす。
【００６４】
次に、別話者大規模初期モデル作成手段７０は、各クラスタに含まれる音響特徴量の統計的パラメータを再計算する。また、別話者大規模初期モデル作成手段７０は、各クラスタの統計的パラメータを再計算する際に、再クラスタリング後のクラスタに含まれる音声データ自体から抽出した音声特徴量の統計的パラメータを用いるのではなく、対象となる音声データについて、既に別話者小規模統計モデル作成手段３０によって算出された音響特徴量の統計的パラメータを用い、かつ、当該統計的パラメータをクラスタごとに平均化する。そして、別話者大規模初期モデル作成手段７０は、図１に示すように、別話者の大規模初期モデルを写像規則抽出手段８０に出力する。
【００６５】
以下、別話者大規模初期モデル作成手段７０による処理の一例について説明する。例えば、前記した別話者小規模統計モデル作成手段３０によって作成された別話者の小規模統計モデルのあるクラスタ（以下、第１クラスタという）内に「ａ−ｉ＋ｕ」および「ａ−ｉ＋ｅ」の２種類の音声データが含まれているとする。この場合、２種類の音声データは同じクラスタに属しているため、それぞれ同じ統計的パラメータ（例えば「平均μ１ａ」および「分散σ１ａ」）を有している。従って、この別話者の小規模統計モデルでは、「ａ−ｉ＋ｕ」および「ａ−ｉ＋ｅ」の２種類の音声データは、同じ音響的特徴を有するものとして扱われる。
【００６６】
一方、前記したように、別話者大規模初期モデル作成手段７０によって、別話者のクラスタリング情報に従って再度クラスタリングされると、当該別話者のクラスタリング情報は、目的話者のクラスタリング情報よりも分類の細かい分類木を有しているため、別話者の小規模統計モデルでは同じクラスタであった「ａ−ｉ＋ｕ」および「ａ−ｉ＋ｅ」の２種類の音声データがそれぞれ別々のクラスタ（以下、それぞれ第２クラスタおよび第３クラスタという）に分類される場合がある。この場合、別話者の大規模初期モデルにおいて、「ａ−ｉ＋ｕ」および「ａ−ｉ＋ｅ」の２種類の音声データは異なる音響的特徴を有するものとして扱われる。
【００６７】
別話者大規模初期モデル作成手段７０は、前記したクラスタリングの後に、クラスタ内に含まれる音声データの音響特徴量の統計的パラメータを平均化することで、クラスタごとの統計的パラメータを再計算するが、その際に、第２クラスタにおける「ａ−ｉ＋ｕ」の音声データの音響特徴量の統計パラメータとして、前記した「平均μ１ａ」および「分散σ１ａ」を用いる。同様に、別話者大規模初期モデル作成手段７０は、第３クラスタにおける「ａ−ｉ＋ｅ」の音声データの音響特徴量の統計パラメータとしても、前記した「平均μ１ａ」および「分散σ１ａ」を用いる。すなわち、別話者大規模初期モデル作成手段７０は、クラスタリング後に各クラスタの統計的パラメータを再計算する際に、別話者の小規模統計モデルの各クラスタの統計的パラメータを用いる。
【００６８】
別話者大規模初期モデル作成手段７０は、より具体的には、以下の式（１）および式（２）によって、クラスタごとの平均ベクトルおよび分散行列を求めることで、別話者の大規模初期モデルを作成する。なお、ここでの平均ベクトルおよび分散行列は、前記した統計的パラメータのことを示している。  
【００６９】
【数１】
2013250509.tif 000003
【００７０】
【数２】
2013250509.tif 000004
【００７１】
なお、前記した式（１）および式（２）において、「ラベルｍ」とは、「ａ−ｉ＋ｕ」や「ａ−ｉ＋ｅ」等の前後の接続関係を考慮した各音素（トライフォン）のことを示しており、「状態ｑ」とは、前記したラベルの状態のことを意味している。すなわち、ラベル「ａ−ｉ＋ｕ」が３状態で構成される場合は、「ａ」に近い側が第１状態、「ｉ」の中央部分が第２状態、「ｅ」に近い側が第３状態となる。また、前記した式（１）および式（２）において、「別話者の小規模統計モデルのラベルｍ、状態ｑの状態占有確率値」とは、別話者の小規模統計モデルを作成した際に得られる統計量のことを示している。この状態占有確率値は、具体的には以下の式（３）で表わすことができる。
【００７２】
【数３】
2013250509.tif 000005
【００７３】
なお、前記した式（３）におけるｑ，ｉ，ｊは、それぞれラベルの状態のことを意味しており、状態数に応じた整数が入る。また、前記した式（３）における前向き確率および後向き確率は、以下の式（４）および式（５）のように定義される。
【００７４】
【数４】
2013250509.tif 000006
【００７５】
【数５】
2013250509.tif 000007
【００７６】
写像規則抽出手段８０は、別話者の大規模初期モデルと、別話者の大規模統計モデルとの間の写像規則を抽出するものである。写像規則抽出手段８０は、図１に示すように、別話者音声データ記憶手段４０に記憶された別話者の音声データと、別話者大規模初期モデル作成手段７０によって作成される別話者の大規模初期モデルとを入力として、別話者の大規模統計モデルを作成し、その作成過程で写像規則を抽出する。なお、「別話者の大規模統計モデル」とは、別話者の大規模な音声データから作成されたクラスタリング情報（に含まれる分類木）が反映された、別話者の統計モデルのことを意味している。また、「写像規則」とは、分類木に関する情報（接点の数、接点の位置、接点に割り当たられた分類規則）が共通する２つの統計モデル（ここでは別話者の大規模初期モデルと別話者の大規模初期モデル）の、同一位置のクラスタ間における統計的パラメータの対応関係のことを意味しており、例えば変換行列等の形で表わされる。
【００７７】
写像規則抽出手段８０は、まず、別話者の大規模初期モデルの各クラスタの値である統計的パラメータを、別話者の音声データの対数尤度が最大化するように線形変換することで別話者の大規模統計モデルを作成する。なお、「対数尤度が最大化するように線形変換する」とは、前記したように、例えば最尤推定法を用いて、別話者の大規模初期モデルの各クラスタの統計的パラメータを、別話者の音声データにもっとよく当てはまる値となるように変えていく処理のことを意味している。次に、写像規則抽出手段８０は、別話者の大規模初期モデルの各クラスタの統計的パラメータと、別話者の大規模統計モデルの各クラスタの統計的パラメータとの対応関係を示す写像規則を抽出する。そして、写像規則抽出手段８０は、図１に示すように、抽出した写像規則を統計モデル拡張手段１００に出力する。
【００７８】
ここで、例えば別話者の大規模初期モデルのクラスタｃの平均ベクトルをμｃｏｌｄとし、別話者の大規模統計モデルの各クラスタの平均ベクトルをμｃｎｅｗとした場合、両者の関係は以下の式（６）に示すような線形変換の形で表わすことができる。
【００７９】
【数６】
2013250509.tif 000008
【００８０】
また、前記した式（６）におけるＷｃは、以下の式（７）に示すように、ｎ×（ｎ＋１）の行列からなる変換行列であり、写像規則のことを表わしている。また、前記した式（６）におけるξｃは、以下の式（８）に示すように、大規模初期モデルの各クラスタの平均ベクトルのことを表わしている。
【００８１】
【数７】
2013250509.tif 000009
【００８２】
【数８】
2013250509.tif 000010
【００８３】
前記した式（８）におけるμｃｉｏｌｄは、クラスタｃのｉ次元目の音響特徴量の平均値を示している。このとき、対数尤度を最大化させる条件より、変換行列Ｗｃのｊ番目の列ベクトルであるｗｃｊは、以下の式（９）のように表すことができる。
【００８４】
【数９】
2013250509.tif 000011
【００８５】
ここで、写像規則抽出手段８０は、前記した変換行列Ｗｃを、別話者の大規模初期モデルおよび別話者の大規模統計モデルの分類木の全てのクラスタに関して別々に求める。すなわち、前記した式（７）に示す変換行列Ｗｃは、クラスタの数に対応して複数抽出される。なお、前記した式（６）から式（９）では、各クラスタの統計的パラメータのうちの平均ベクトルの写像規則についてのみ説明しているが、分散行列についても、前記した式（６）から式（９）を用いることで、平均ベクトルと同時に、あるいは平均ベクトルとは別に算出することができる。
【００８６】
目的話者大規模初期モデル作成手段９０は、目的話者の大規模初期モデルを作成するものである。目的話者大規模初期モデル作成手段９０は、図１に示すように、目的話者小規模統計モデル・クラスタリング情報作成手段１０によって作成される目的話者の小規模統計モデルと、別話者クラスタリング情報作成手段６０によって作成される別話者のクラスタリング情報とを入力として、目的話者の大規模初期モデルを作成する。なお、「目的話者の大規模初期モデル」とは、別話者の大規模な音声データから作成されたクラスタリング情報（に含まれる分類木）が反映された統計モデルであって、後記する目的話者の大規模統計モデルとクラスタリング情報（に含まれる分類木）のみが共通する統計モデルのことを意味している。
【００８７】
目的話者大規模初期モデル作成手段９０は、まず、別話者のクラスタリング情報に従って、目的話者の小規模統計モデルの各クラスタに含まれる音声データを再度クラスタリングした後、各クラスタに含まれる音声データに対応する統計的パラメータであって、目的話者小規模統計モデル・クラスタリング情報作成手段１０によって算出および平均化された統計的パラメータを、再度クラスタリングされたクラスタごとに平均化することで、目的話者の大規模初期モデルを作成する。すなわち、目的話者大規模初期モデル作成手段９０は、目的話者の小規模統計モデルの各クラスタに含まれる音声データを、別話者のクラスタリング情報に含まれる分類木によって再度クラスタリングする。言い換えれば、目的話者大規模初期モデル作成手段９０は、接点の少ない小規模な分類木（目的話者のクラスタリング情報に含まれる分類木）によってクラスタリングされていた別話者の音声データを、接点の多い大規模な分類木（別話者のクラスタリング情報に含まれる分類木）によってクラスタリングしなおす。
【００８８】
次に、目的話者大規模初期モデル作成手段９０は、各クラスタに含まれる音響特徴量の統計的パラメータを再計算する。また、目的話者大規模初期モデル作成手段９０は、各クラスタの統計的パラメータを再計算する際に、再クラスタリング後のクラスタに含まれる音声データ自体から抽出した音声特徴量の統計的パラメータを用いるのではなく、対象となる音声データについて、既に目的話者小規模統計モデル・クラスタリング情報作成手段１０によって算出された音響特徴量の統計的パラメータを用い、かつ、当該統計的パラメータをクラスタごとに平均化する。そして、目的話者大規模初期モデル作成手段９０は、図１に示すように、目的話者の大規模初期モデルを統計モデル拡張手段１００に出力する。
【００８９】
ここで、目的話者大規模初期モデル作成手段９０は、前記した別話者大規模初期モデル作成手段７０と同様の手順に従って、目的話者の小規模統計モデルから大規模初期モデルを作成する。すなわち、目的話者大規模初期モデル作成手段９０は、前記した式（１）および式（２）によって、クラスタごとの平均ベクトルおよび分散行列を求めることで、目的話者の大規模初期モデルを作成する。
【００９０】
統計モデル拡張手段１００は、目的話者の大規模初期モデルを目的話者の大規模統計モデルへと拡張するものである。統計モデル拡張手段１００は、図１に示すように、写像規則抽出手段８０によって抽出される写像規則と、目的話者大規模初期モデル作成手段９０によって作成される目的話者の大規模初期モデルとを入力として、目的話者の大規模統計モデルを作成する。なお、「目的話者の大規模統計モデル」とは、別話者の大規模な音声データから作成されたクラスタリング情報（に含まれる分類木）が反映された、目的話者の統計モデルのことを意味している。
【００９１】
統計モデル拡張手段１００は、具体的には、前記した写像規則に従って、目的話者の大規模初期モデルの各クラスタの統計的パラメータを線形変換することで、目的話者の大規模初期モデルを目的話者の大規模統計モデルへと拡張する。すなわち、統計モデル拡張手段１００は、目的話者の大規模初期モデルと目的話者の大規模統計モデルとの対応関係を示す写像規則に基づいて目的話者の大規模初期モデルの各クラスタの値である統計的パラメータを再計算することで、目的話者の音声データのデータ数が別話者の音声データのデータ数とが同じであると仮定した場合の各クラスタの値を算出し、目的話者の大規模統計モデルを作成する。そして、統計モデル拡張手段１００は、図１に示すように、目的話者の大規模統計モデルを統計モデル列挙手段１２０に出力する。
【００９２】
ここで、例えば目的話者の大規模初期モデルのクラスタｃの平均ベクトルをμｃｏｌｄとし、目的話者の大規模統計モデルのクラスタｃの平均ベクトルをμｃｎｅｗとした場合、両者の関係は以下の式（１０）に示す線形変換の形で表わすことができる。この式（１０）におけるＡｃ，ｂｃは、前記した式（７）に示すように、写像規則抽出手段８０によって抽出された変換行列（写像規則）Ｗｃを表わす行列とベクトルとを表わしている。
【００９３】
【数１０】
2013250509.tif 000012
【００９４】
ここで、統計モデル拡張手段１００は、目的話者の大規模初期モデルに含まれる分類木のクラスタｃに関して変換行列Ｗｃを適用し、全てのクラスタの統計的パラメータを変換する。なお、前記した式（１０）では、各クラスタの統計的パラメータのうちの平均ベクトルの変換についてのみ説明しているが、分散行列についても、前記した式（１０）を用いることで、平均ベクトルと同時に、あるいは平均ベクトルとは別に変換することができる。
【００９５】
入力文解析手段１１０は、入力文（入力テキスト）を解析するものである。入力文解析手段１１０は、具体的には、図示しないテキスト入力手段（例えばキーボード等）から入力された入力文の解析を行い、かな漢字交じり文である入力を予め定められた統計モデルの単位ごとに分割（変換）する。そして、入力文解析手段１１０は、当該統計モデルの単位ごとに、品詞、アクセント、文内や単語内における位置等を解析し、図１に示しように、その解析結果を統計モデル列挙手段１２０に出力する。
【００９６】
入力文解析手段１１０は、図示しないテキスト入力手段から例えば「日本政府の反応です」という入力文が入力された場合は、図３に示すように、入力文を解析し、統計モデルの単位である音素ごと、すなわち「ｓｉｌ」、「ｎ」、「ｉ」、「Ｑ」、「ｐ」、「ｏ」、「Ｎ」、「ｓ」、「ｅ：」、「ｆ」、「ｕ」、「ｎ」、「ｏ」、「ｈ」、「ａ」、「Ｎ」、「ｎ」、「ｏ：」、「ｄ」、「ｅ」、「ｓ」、「ｕ」、「ｓｉｌ」、に分割する。
【００９７】
そして、入力文解析手段１１０は、例えば図３に示すように、それぞれの音素について、左右の音素、アクセントの型、モーラおよび入力文の種類（単文と複文のどちらであるか）を解析し、当該音素ごとの解析結果を統計モデル列挙手段１２０に出力する。なお、前記した「Ｑ」は促音（「っ」）を示しており、「Ｎ」は撥音（「ん」）を示している。また、前記した「ｓｉｌ」は無音の音声記号を示しており、「ｅ：」および「ｏ：」は「えー」および「おー」に対応している。また、図３における６モーラおよび１２モーラは、前記した「えー」および「おー」の長音に相当するため、ここでは図示を省略している。
【００９８】
統計モデル列挙手段１２０は、入力文に対応する統計モデルの列を列挙するものである。統計モデル列挙手段１２０は、具体的には図１に示すように、入力文解析手段１１０から入力文の解析結果が入力され、当該解析結果に基づいて統計モデル拡張手段１００によって作成された目的話者の大規模統計モデルを読み出す。
【００９９】
統計モデル列挙手段１２０は、例えば図３に示すように、入力文解析手段１１０から「ｓｉｌ」、「ｎ」、「ｉ」、「Ｑ」、「ｐ」、「ｏ」、「Ｎ」、「ｓ」、「ｅ：」、「ｆ」、「ｕ」、「ｎ」、「ｏ」、「ｈ」、「ａ」、「Ｎ」、「ｎ」、「ｏ：」、「ｄ」、「ｅ」、「ｓ」、「ｕ」、「ｓｉｌ」、の解析結果が入力された場合、これらに対応する統計モデルを、統計モデル拡張手段１００によって作成された目的話者の大規模統計モデルの中から選択し、図１に示すように、これらの統計モデルの列（以下、統計モデル列）を音響特徴量列生成手段１３０に出力する。なお、統計モデル列挙手段１２０は、より具体的には、目的話者の大規模統計モデルの分類木を辿ることにより、該当するクラスタの統計パラメータ（平均および分散）を参照し、これを音響特徴量列生成手段１３０に出力する。
【０１００】
音響特徴量列生成手段１３０は、音響特徴量列を生成するものである。音響特徴量列生成手段１３０は、具体的には、統計モデル列挙手段１２０から入力された統計モデル列から前記した参考文献１に記載された手法を用いて音響特徴量列を求め、図１に示すように、入力文に対応した音響特徴量列として音声波形変換手段１４０に出力する。
【０１０１】
音声波形変換手段１４０は、音響特徴量列を音声波形に変換するものである。音声波形変換手段１４０は、例えば図１に示すように、音響特徴量列生成手段１３０から入力された音響特徴量列からメル周波数ケプストラム係数、ピッチ、有声強度、フーリエ振幅を生成する。そして、音声波形変換手段１４０は、生成したピッチとフーリエ振幅に基づいてパルス列を出力し、有声の場合はパルス列、無声の場合はノイズを各帯域に割り当てて、周波数帯域上で混合する。そして音声波形変換手段１４０は、例えば三角パルスのスペクトルを白色化したフィルタに混合した信号を通し、メル周波数ケプストラム係数に基づいて構成されたメル対数スペクトル近似（ＭＬＳＡ：mel log spectrum approximation）フィルタを、得られた混合励振源によって励振して合成音声を生成する。
【０１０２】
以上のような構成を備える音声合成装置１によれば、音声合成の対象となる目的話者の音声データが少なく、通常は小規模な統計モデルしか作成できない場合であっても、別話者の大量の音声データから作成した大小２つの統計モデル間の対応関係を示す写像規則を利用して、当該目的話者の小規模な統計モデルを大規模な統計モデルに拡張することができるため、目的話者の音声データベースの規模に依存することなく目的話者の声質を再現することができる。すなわち、音声合成装置１によれば、目的話者の音声データ不足による声質の自然性低下を防止することができる。また、音声合成装置１によれば、別話者の音声データは写像規則を抽出するためだけに利用されるため、目的話者の音声データの声質と別話者の音声データの声質とが大きく異なる場合であっても、目的話者の声質を再現することができる。
【０１０３】
［音声合成装置の処理手順］
以下、音声合成装置１の処理手順について、図４〜図６を参照（適宜図１も参照）しながら説明する。
【０１０４】
音声合成装置１は、まず図１における破線内の各手段によって、統計モデル（目的話者の大規模統計モデル）を作成する（ステップＳ１）。次に、音声合成装置１は、入力文解析手段１１０によって、入力文を解析する（ステップＳ２）。次に、音声合成装置１は、統計モデル列挙手段１２０によって、入力文解析手段１１０による解析結果に従って統計モデルを列挙し、統計モデルの列として出力する（ステップＳ３）。次に、音声合成装置１は、音響特徴量列生成手段１３０によって、統計モデルの列から音響特徴量の列を求めて出力する（ステップＳ４）。次に、音声合成装置１は、音声波形変換手段１４０によって、音響特徴量の列を音声波形に変換する（ステップＳ５）。
【０１０５】
以下、図４に示すステップＳ１の統計モデルの作成処理について、図５および図６を参照しながら説明する。音声合成装置１は、図５に示すように、まず目的話者小規模統計モデル・クラスタリング情報作成手段１０によって、目的話者の音声データから目的話者のクラスタリング情報と目的話者の小規模統計モデルとを作成する（ステップＳ１１）。この場合、目的話者の小規模統計モデルは、図６に示すように、目的話者のクラスタリング情報が反映されており、例えば「ａ」の統計モデルが５つの接点と３つのクラスタを有する分類木でクラスタリングされている。また、目的話者の小規模統計モデルにおいて、数字の１〜３が振られたクラスタは、図６に示すように、統計的パラメータとして、それぞれ「平均μ１」および「分散σ１」、「平均μ２」および「分散σ２」、「平均μ３」および「分散σ３」、の値を保持している。
【０１０６】
次に、音声合成装置１は、図５に示すように、別話者小規模統計モデル作成手段３０によって、別話者の音声データと目的話者のクラスタリング情報とから別話者の小規模統計モデルを作成する（ステップＳ１２）。この場合、別話者の小規模統計モデルは、図６に示すように、目的話者のクラスタリング情報が反映されており、前記した目的話者の小規模統計モデルと同様に、５つの接点と３つのクラスタを有する分類木でクラスタリングされている。また、別話者の小規模統計モデルにおいて、数字の１〜３が振られたクラスタは、図６に示すように、統計的パラメータとして、それぞれ「平均μ１ａ」および「分散σ１ａ」、「平均μ２ａ」および「分散σ２ａ」、「平均μ３ａ」および「分散σ３ａ」、の値を保持している。なお、この別話者の小規模統計モデルは、図６に示すように、目的話者の小規模統計モデルと同じ分類木によってクラスタリングされているが、個々のクラスタの統計的パラメータは異なる値となっている。
【０１０７】
次に、音声合成装置１は、図５に示すように、別話者クラスタリング情報作成手段６０によって、別話者の音声データから別話者のクラスタリング情報を作成する（ステップＳ１３）。
【０１０８】
次に、音声合成装置１は、図５に示すように、別話者大規模初期モデル作成手段７０によって、別話者の小規模統計モデルと別話者のクラスタリング情報とから別話者の大規模初期モデルを作成する（ステップＳ１４）。この場合、別話者の大規模初期モデルは、図６に示すように、別話者のクラスタリング情報が反映されており、例えば９つの接点と５つのクラスタを有する分類木でクラスタリングされている。また、別話者の大規模初期モデルにおいて、数字の１〜５が振られたクラスタは、図６に示すように、統計的パラメータとして、それぞれ「平均μ１ｂ」および「分散σ１ｂ」、「平均μ２ｂ」および「分散σ２ｂ」、「平均μ３ｂ」および「分散σ３ｂ」、「平均μ４ｂ」および「分散σ４ｂ」、「平均μ５ｂ」および「分散σ５ｂ」、の値を保持している。なお、この別話者の大規模初期モデルは、図６に示すように、別話者の小規模統計モデルと異なる分類木によってクラスタリングされているとともに、個々のクラスタの統計的パラメータも異なる値となっている。また、別話者の大規模初期モデルは、各クラスタの統計的パラメータ（平均μ１ｂ，μ２ｂ，μ３ｂ，μ４ｂ，μ５ｂおよび分散σ１ｂ，σ２ｂ，σ３ｂ，σ４ｂ，σ５ｂ）を算出する際に、前記した別話者の小規模統計モデルの各クラスタの統計的パラメータ（平均μ１ｂ，μ２ｂ，μ３ｂおよび分散σ１ｂ，σ２ｂ，σ３ｂ）を用いている。
【０１０９】
次に、音声合成装置１は、図５に示すように、写像規則抽出手段８０によって、別話者の音声データと別話者の大規模初期モデルとから別話者の大規模統計モデルを作成する（ステップＳ１５）。この場合、別話者の大規模統計モデルは、図６に示すように、別話者のクラスタリング情報が反映されており、例えば９つの接点と５つのクラスタを有する分類木でクラスタリングされている。また、別話者の大規模統計モデルにおいて、数字の１〜５が振られたクラスタは、図６に示すように、統計的パラメータとして、それぞれ「平均μ１ｃ」および「分散σ１ｃ」、「平均μ２ｃ」および「分散σ２ｃ」、「平均μ３ｃ」および「分散σ３ｃ」、「平均μ４ｃ」および「分散σ４ｃ」、「平均μ５ｃ」および「分散σ５ｃ」、の値を保持している。なお、この別話者の大規模統計モデルは、図６に示すように、別話者の大規模初期モデルと同じ分類木によってクラスタリングされているが、個々のクラスタの統計的パラメータは異なる値となっている。そして、音声合成装置１は、図５に示すように、写像規則抽出手段８０によって、別話者の大規模初期モデルと別話者の大規模統計モデルとの対応関係を示す写像規則を抽出する（ステップＳ１５）。
【０１１０】
次に、音声合成装置１は、図５に示すように、目的話者大規模初期モデル作成手段９０によって、目的話者の小規模統計モデルと別話者のクラスタリング情報から目的話者の大規模初期モデルを作成する（ステップＳ１６）。この場合、目的話者の大規模初期モデルは、図６に示すように、別話者のクラスタリング情報が反映されており、例えば９つの接点と５つのクラスタを有する分類木でクラスタリングされている。また、数字の１〜５が振られたクラスタは、統計的パラメータとして、それぞれ「平均μ１ｄ」および「分散σ１ｄ」、「平均μ２ｄ」および「分散σ２ｄ」、「平均μ３ｄ」および「分散σ３ｄ」、「平均μ４ｄ」および「分散σ４ｄ」、「平均μ５ｄ」および「分散σ５ｄ」、の値を保持している。なお、この目的話者の大規模初期モデルは、図６に示すように、目的話者の小規模統計モデルと異なる分類木によってクラスタリングされているとともに、個々のクラスタの統計的パラメータも異なる値となっている。また、目的話者の大規模初期モデルは、各クラスタの統計的パラメータ（平均μ１ｄ，μ２ｄ，μ３ｄ，μ４ｄ，μ５ｄおよび分散σ１ｄ，σ２ｄ，σ３ｄ，σ４ｄ，σ５ｄ）を算出する際に、前記した目的話者の小規模統計モデルの各クラスタの統計的パラメータ（平均μ１，μ２，μ３および分散σ１，σ２，σ３）を用いている。
【０１１１】
次に、音声合成装置１は、図５に示すように、統計モデル拡張手段１００によって、前記した写像規則に従って、目的話者の大規模初期モデルを目的話者の大規模統計モデルへと拡張する（ステップＳ１７）。この場合、別話者の大規模統計モデルは、図６に示すように、別話者のクラスタリング情報が反映されており、例えば９つの接点と５つのクラスタを有する分類木でクラスタリングされている。また、数字の１〜５が振られたクラスタは、統計的パラメータとして、それぞれ「平均μ１ｅ」および「分散σ１ｅ」、「平均μ２ｅ」および「分散σ２ｅ」、「平均μ３ｅ」および「分散σ３ｅ」、「平均μ４ｅ」および「分散σ４ｅ」、「平均μ５ｅ」および「分散σ５ｅ」、の値を保持している。なお、この目的話者の大規模統計モデルは、図６に示すように、目的話者の大規模初期モデルと同じ分類木によってクラスタリングされているが、個々のクラスタの統計的パラメータは異なる値となっている。音声合成装置１は、以上のような処理手順によって、目的話者の大規模統計モデルを作成し、前記した図４におけるステップＳ２以降の処理を行う。
【０１１２】
［音声合成出プログラム］
ここで、前記した音声合成装置１は、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１１３】
以上、本発明に係る音声合成装置およびそのプログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
【０１１４】
例えば、音声合成装置１は、図１に示すように、統計モデル拡張手段１００によって目的話者の大規模初期モデルを目的話者の大規模統計モデルに拡張し、統計モデル列挙手段１２０に対して、当該目的話者の大規模統計モデルを直接出力する構成としたが、例えば統計モデル拡張手段１００と統計モデル列挙手段１２０との間に統計モデル記憶手段を設ける構成としても構わない。この場合、音声合成装置１は、統計モデル拡張手段１００によって作成した目的話者の大規模統計モデルを統計モデル記憶手段に格納し、統計モデル列挙手段１２０によって統計モデル記憶手段を読み出すことで統計モデルを列挙する。
【０１１５】
また、音声合成装置１は、別話者小規模統計モデル作成手段３０によって、目的話者のクラスタリング情報と別話者の音声データとから別話者の小規模統計モデルを作成する構成としたが、当該小規模統計モデルの初期値として、図１の破線矢印に示すように、目的話者小規模統計モデル・クラスタリング情報作成手段１０によって作成された目的話者の小規模統計モデルを用いることもできる。
【０１１６】
また、音声合成装置１は、別話者の音声データとして、目的話者以外の１人の話者の音声データを用いることを前提としていたが、当該別話者の音声データとして、目的話者以外の複数の話者の音声データを用いても構わない。この場合、音声合成装置１は、目的話者以外の複数の話者の音声データを平均化することで、例えば日本人の平均的な声質を示す音声データを作成し、これを別話者の音声データとして用いることができる。また、音声合成装置１は、「ａ」の統計モデルの変換規則は話者Ａから、「ｉ」の統計モデルの変換規則は話者Ｂからというように、話者ごとに変換規則を抽出することもできる。
【０１１７】
また、音声合成装置１は、図１に示すように、テキストを入力として目的話者の音声を合成しているが、任意の話者の音声を入力として目的話者の音声を合成することも可能である。この場合、前記した入力文解析手段１１０の前に、例えば音声からテキストを取得する「音声認識手段」を設け、予め音声認識を行ってテキストを得ることで、音声合成装置１と同様の処理を行うことができる。なお、この場合は音声合成装置１に入力する音声は、任意の話者の音声で構わない。
【０１１８】
また、音声合成装置１の具体的な用途としては、例えばアナウンサーの研修等における発声練習が挙げられる。この場合、目的話者であるアナウンサーがニュース原稿を読み上げる練習を行う際に、音声合成装置１にニュース原稿を入力することで、当該アナウンサーがニュース原稿を読み上げた場合の模範的な発声を聞くことができ、発声練習に役立てることができる。
【０１１９】
そして、音声合成装置１は、例えばテレビ等の据え置き型の機器や、ＰＤＡ（携帯情報端末）、スマートフォン（多機能携帯電話）等の携帯型の機器等のあらゆる機器に搭載することができる。
【符号の説明】
【０１２０】
１  音声合成装置
１０  目的話者小規模統計モデル・クラスタリング情報作成手段
２０  目的話者音声データ記憶手段
３０  別話者小規模統計モデル作成手段
４０  別話者音声データ記憶手段
５０  別話者音声データ選択手段
６０  別話者クラスタリング情報作成手段
７０  別話者大規模初期モデル作成手段
８０  写像規則抽出手段
９０  目的話者大規模初期モデル作成手段
１００  統計モデル拡張手段
１１０  入力文解析手段
１２０  統計モデル列挙手段
１３０  音響特徴量列生成手段
１４０  音声波形変換手段
【図１】
2013250509.tif 000013
【図２】
2013250509.tif 000014
【図３】
2013250509.tif 000015
【図４】
2013250509.tif 000016
【図５】
2013250509.tif 000017
【図６】
2013250509.tif 000018