(57)【要約】【課題】  合成音声の音質向上を容易にする。【解決手段】  本発明は、声質変換装置に関する。そして、声質変換装置は、複数の原音話者の音声に基づく合成単位データを、組み合わせた変換対象合成音声データを保持する手段と、変換対象合成音声データを構成する合成単位データのそれぞれについて、少なくとも声質を、所定の変換対象話者の声質に変換する手段と、合成単位データの声質の変換に用いる変換パラメータを、原音話者ごとに保持する手段とを有することを特徴とする。【選択図】      図１
2011053404.tif 000002
【特許請求の範囲】
【請求項１】
複数の原音話者の音声に基づく合成単位データを、組み合わせた変換対象合成音声データを保持する変換対象合成音声データ保持手段と、
上記変換対象合成音声データを構成する合成単位データのそれぞれについて、少なくとも声質を、所定の変換対象話者の声質に変換する変換手段と、
上記変換手段が、変換対象合成音声データを構成する合成単位データの声質の変換に用いる変換パラメータを、原音話者ごとに保持する変換パラメータ保持手段と
を有することを特徴とする声質変換装置。
【請求項２】
上記変換パラメータは、当該原音話者の音声に係る特徴量と、上記変換対象話者の音声に係る特徴量との間の対応関係を統計的にモデル化したパラメータであることを特徴とする請求項１に記載の声質変換装置。
【請求項３】
上記変換対象話者の音声データを保持する変換対象話者音声データ保持手段と、
それぞれの上記原音話者の音声データを保持する原音話者音声データ保持手段と、
上記変換対象話者の音声データと、それぞれの上記原音話者の音声データとに基づいて、それぞれの原音話者について、変換パラメータを求める変換パラメータ算出手段とをさらに備え、
上記変換パラメータ保持手段は、上記変換パラメータ算出手段から変換パラメータの供給を受けて保持する
ことを特徴とする請求項２に記載の声質変換装置。
【請求項４】
テキストデータの入力を受けると、上記テキストデータに係る合成音声データを生成する合成音声生成部をさらに備え、
上記合成音声生成部は、
それぞれの上記原音話者の音声に基づく合成単位データを蓄積している原音話者音声データ蓄積手段と、
上記テキストデータに係る韻律パターンを推定する韻律推定手段と、
上記韻律推定手段が、上記テキストデータに係る韻律パターンを推定する際に用いる適用韻律データを記憶する韻律データ記憶手段と、
上記韻律推定手段が推定した韻律パターンに適合する合成単位データの組み合わせを、上記原音話者音声データ蓄積手段に蓄積されている合成単位データから選択する合成単位データ選択手段と、
上記合成単位データ選択手段が選択した合成単位データを接続して、上記入力テキストに係る合成音声データを生成する合成単位データ接続手段とを有し、
上記合成音声データ保持手段が保持する変換対象合成音声データは、上記合成音声生成部で生成される合成音声データである
ことを特徴とする請求項１〜３のいずれかに記載の声質変換装置。
【請求項５】
それぞれの上記原音話者による音声の韻律の特徴に係る原音話者韻律特徴データを保持する原音話者韻律特徴データ保持手段と
上記変換対象話者による音声の韻律の特徴に係る変換対象話者韻律特徴データを保持する変換対象話者韻律特徴データ保持手段と、
上記原音話者韻律特徴データ保持手段が保持した原音話者韻律特徴データと、上記変換対象話者韻律特徴データ保持手段が保持した変換対象話者韻律特徴データとを用いて、上記韻律データ記憶手段に記憶させる適用韻律データを求める適用韻律データ生成手段と
をさらに有することを特徴とする請求項４に記載の声質変換装置。
【請求項６】
コンピュータを、
複数の原音話者の音声に基づく合成単位データを、組み合わせた変換対象合成音声データを保持する変換対象合成音声データ保持手段と、
上記変換対象合成音声データを構成する合成単位データのそれぞれについて、少なくとも声質を、所定の変換対象話者の声質に変換する変換手段と、
上記変換手段が、変換対象合成音声データを構成する合成単位データの声質の変換に用いる変換パラメータを、原音話者ごとに保持する変換パラメータ保持手段と
して機能させることを特徴とする声質変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、声質変換装置及びプログラムに関し、例えば、コーパスベースの音声合成装置に適用することができる。
【背景技術】
【０００２】
ユーザが入力した文字データ（テキストデータ）を、読み上げる音声を、コーパスベースで合成して音声合成を行う装置（予め蓄積した音声波形を、音素単位（合成単位）で接続して合成する装置）としては、従来、特許文献１に記載の方法がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２０８１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しなしながら、特許文献１の記載技術のような、従来のコーパスベースでの音声合成装置では、数十時間といった大規模なコーパスの原音を確保することで、素片波形の選択候補数に比例した音質向上を図るため、毎回、話者１名に対して、大規模な原音を確保することは、話者に対する負担や手間が非常にかかるといった課題があった。
【０００５】
そのため、合成音声の音質向上を容易にすることができる、声質変換装置及びプログラムが望まれている。
【課題を解決するための手段】
【０００６】
第１の本発明の声質変換装置は、（１）複数の原音話者の音声に基づく合成単位データを、組み合わせた変換対象合成音声データを保持する変換対象合成音声データ保持手段と、（２）上記変換対象合成音声データを構成する合成単位データのそれぞれについて、少なくとも声質を、所定の変換対象話者の声質に変換する変換手段と、（３）上記変換手段が、変換対象合成音声データを構成する合成単位データの声質の変換に用いる変換パラメータを、原音話者ごとに保持する変換パラメータ保持手段とを有することを特徴とする。
【０００７】
第２の本発明の声質変換プログラムは、コンピュータを、（１）複数の原音話者の音声に基づく合成単位データを、組み合わせた変換対象合成音声データを保持する変換対象合成音声データ保持手段と、（２）上記変換対象合成音声データを構成する合成単位データのそれぞれについて、少なくとも声質を、所定の変換対象話者の声質に変換する変換手段と、（３）上記変換手段が、変換対象合成音声データを構成する合成単位データの声質の変換に用いる変換パラメータを、原音話者ごとに保持する変換パラメータ保持手段として機能させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、合成音声の音質向上を容易にすることができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る声質変換装置の機能的構成について示したブロック図である。
【図２】実施形態に係る話者適応部の動作について示した説明図である。
【図３】実施形態に係る学習部の動作について示した説明図である。
【図４】実施形態に係る音声合成部の処理例について説明した説明図である。
【発明を実施するための形態】
【００１０】
（Ａ）主たる実施形態
以下、本発明による声質変換装置及びプログラムの一実施形態を、図面を参照しながら詳述する。
【００１１】
（Ａ−１）実施形態の構成
図１は、この実施形態の声質変換装置１０の機能的構成を示すブロック図である。
【００１２】
声質変換装置１０は、音声合成部１１、変換部１２、話者適用韻律ＤＢ１３、音声ＤＢ１４、変換ＤＢ１５、韻律ＤＢ１６、話者適用部１７、学習部１８及び変換対象音声記憶部１９を有している。
【００１３】
ここで、声質変換装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ハードディスクなどのプログラムの実行構成（１台に限定されず、複数台を分散処理し得るようにしたものであっても良い。）に、実施形態の声質変換プログラム等をインストールすることにより構築されるものであり、機能的には上述の図１のように示すことができる。
【００１４】
声質変換装置１０では、音声合成部１１により、コーパスベースで合成された合成音声の声質を、変換部１２により変換して出力する。
【００１５】
音声合成部１１は、入力されたテキストデータの内容を読み上げる音声を合成して出力するものである。音声合成部１１では、合成音声を生成する際に、元となる音素片の音声データベースとして後述する音声ＤＢ１４が用いられる。
【００１６】
音声ＤＢ１４は、複数人の話者の音声に基づいて、音声の合成単位の音声波形のデータ（以下、「音素片」という）が蓄積された音声データベースである。
【００１７】
音声ＤＢ１４では、音声ＤＢ１４では、３人の話者（話者Ａ１〜話者Ａ３）の音声に基づいた音素片が蓄積されているものとして説明するが、対象となる話者の数は限定されないものである。図１において、話者Ａ１〜Ａ３のそれぞれの音声に基づいたデータを音声データ１４１−１〜１４１−３として示している。音声データ１４１−１〜１４１−３のそれぞれについては、既存のコーパスベース音声合成（例えば、特許文献１）で用いられる音声データベースを適用することができるが、音声ＤＢ１４では、複数の話者の音声データを用いて、音声データベースを構築する点で、従来のものと異なっている。
【００１８】
既存のコーパスベース音声合成（例えば、特許文献１）では、一人の話者の原音に基づいて音声データベースを構築しているが、上述の通り、音声ＤＢ１４は、複数の話者の原音に基づいた音声データベースとなっている。そのため、例えば、従来であれば、一人の話者について合計で２０時間程度の原音を必要とする場合でも、音声ＤＢ１４では、複数の話者の原音を合わせて同程度の規模（２０時間程度）の原音に基づく音声データベースを構築するようにしても良い。すなわち、音声ＤＢ１４では、従来よりも話者一人あたりの原音の規模は少なくてもよい。また、音声ＤＢ１４において、話者ごとの原音の規模は全て同一としても良いし、話者ごとに異なる規模としても良い。
【００１９】
変換対象音声記憶部１９は、変換部１２において用いる、所定の話者（以下、「話者Ｔ」という）の音声データが蓄積されたデータベースである。
【００２０】
声質変換装置１０では、音声ＤＢ１４に蓄積された複数の話者の音声に基づいた音素片を用いて、音声合成部１１により合成された合成音声の声質を、変換部１２により、話者Ｔに近づけた声質に変換する。変換部１２による変換内容の詳細については後述する。
【００２１】
次に、音声合成部１１の詳細構成について説明する。
【００２２】
音声合成部１１は、テキスト処理部１１１、韻律推定部１１２、素片選択部１１３、素片接続部１１４を有している。
【００２３】
テキスト処理部１１１は、ユーザが入力した日本語テキスト（以下、「入力テキスト」という）データを、形態素解析、係り受け解析を行い、音素記号、アクセント記号等に変換する機能を担っている。なお、テキスト処理部１１１としては、特許文献１に記載の「言語処理部」を適用することができる。なお、この実施形態においては、入力テキストは、日本語であるものとして説明するが、他の言語を適用するようにしても良い。
【００２４】
テキスト処理部１１１において、入力テキストデータを取り込む方法は限定されないものであるが、例えば、キーボードから入力された電子文書を取り込んだり、記録媒体や装置内蔵の記憶装置から電子文書を取り込んだり、外部装置からダウンロードによって電子文書を取り込んだりするようにしてもよい。
【００２５】
韻律推定部１１２は、音素記号、アクセント記号列および形態素解析結果から得られる入力テキストの品詞情報を用いて、入力テキストに係る、音素持続時間（声の長さ）、基本周波数（声の高さＦ０）、母音中心のスペクトル（声の大きさ）等の韻律に係るパラメータのパターンを推定する。韻律推定部１１２は、話者適用韻律ＤＢ１３に格納された、推定の基礎となる韻律の特徴量に係るデータ（以下、「韻律データ」という）を用いて、上述の韻律に係るパラメータのパターンを推定する。
【００２６】
以下の説明においては、韻律推定部１１２において推定対象となるパラメータは、音素持続時間、基本周波数、母音中心のスペクトルの３つであるものとして説明するが、用いられるパラメータの種類や組み合わせは限定されないものである。すなわち、上述の３つのパラメータの一部を省略しても良いし、他のパラメータを追加しても良い。
【００２７】
なお、韻律推定部１１２としては、例えば、特許文献１に記載の「韻律パターン生成部」を適用することができる。話者適用韻律ＤＢ１３に記憶される韻律データの詳細については後述する動作説明において詳述する。
【００２８】
素片選択部１１３は、音声ＤＢ１４に蓄積された音声の音素片から、韻律推定部１１２により推定された音素持続時間、基本周波数、母音中心のスペクトル等に最も近く、かつ、音素片を接続したときの歪みが最も小さくなる合成単位の組み合わせを、既存の動的計画法等の方法を用いて選択する。なお、素片選択部１１３としては、特許文献１に記載の「音素単位選択部」を適用することができる。
【００２９】
素片接続部１１４は、素片選択部１１３により選択された音素片の組み合わせに従って、音素片の接続を行って合成した音声（以下、「中間合成音声」という）データの出力行うものである。なお、素片接続部１１４としては、特許文献１に記載の「音声波形生成部」を適用することができる。
【００３０】
次に、話者適用韻律ＤＢ１３、韻律ＤＢ１６、話者適用部１７の詳細について説明する。
【００３１】
話者適用韻律ＤＢ１３に格納される韻律データにおける韻律に係る特徴量は、上述の韻律に係るパラメータ（音素持続時間、基本周波数、母音中心のスペクトル等）単位で、統計ベースで構築された統計モデルにより示される。また、話者適用韻律ＤＢ１３の内容は、話者適用部１７により、韻律ＤＢ１６、変換対象音声記憶部１９の内容等に基づいて生成される。
【００３２】
韻律ＤＢ１６には、複数の話者（Ａ１〜Ａ３）のそれぞれの音声に基づいた韻律データとして、韻律データ１６１（１６１−１〜１６１−３）が記憶されている。なお、韻律データ１６１のデータ形式自体は、既存のコーパスベースの音声合成装置等において韻律パターンの推定を行う手段（例えば、特許文献１に記載の「韻律パターン生成部」）において、推定の基礎として用いられるデータと同様の形式を適用することができる。
【００３３】
韻律データ１６１−１〜１６１−３は、声質変換装置１０において、話者Ａ１〜Ａ３の音声の原音（音声データ１４１−１〜１４１−３の原音）を保持し、その原音から抽出する手段を別途備えて生成するようにしても良い。また、音声データ１４１−１〜１４１−３が、原音に復元することができる形式で保存されていれば（例えば、原音の音声データに、音素片に係るポインタが設定されているだけの場合）、声質変換装置１０において、音声ＤＢ１４の音声データ１４１から、韻律ＤＢ１６の韻律データ１６１を生成する手段を別途備えて、抽出しても良い。
【００３４】
話者適用部１７は、話者Ｔの音声に基づく韻律データを保持し、話者Ｔの韻律データと、韻律ＤＢ１６の韻律データ１６１−１〜１６１−３とに基づいて、話者適用韻律ＤＢ１３に設定する韻律データを生成する。なお、話者適用部１７において、話者Ｔの韻律データは、予め生成したものを用いるようにしても良いし、話者適用部１７において変換対象音声記憶部１９の内容から生成する手段を別途備えて用いるようにしても良い。
【００３５】
韻律データ１６１−１〜１６１−３は、それぞれ話者Ａ１〜Ａ３の音声に基づく韻律データであるので、それぞれ特徴が異なるため、話者適用部１７では、韻律データ１６１−１〜１６１−３を、話者Ｔの韻律の特徴に近づけた内容に変換して、話者適用韻律ＤＢ１３に与える。なお、話者適用部１７の具体的な処理については、後述する動作説明において詳述する。
【００３６】
次に、変換部１２、変換ＤＢ１５、学習部１８の詳細について説明する。
【００３７】
上述の通り、音声合成部１１は、複数の話者（話者Ａ１〜Ａ３）の音声に基づいた音声ＤＢ１４から、複数の音素片を選択して入力テキストを読み上げる合成音声を生成するので、音声合成部１１から出力される中間合成音声は、音素片ごとに異なる話者の音声を繋ぎ合わせる場合があり、その場合不自然な音声となってしまう。
【００３８】
そこで、変換部１２では、音声合成部１１から出力される中間合成音声のそれぞれの音素片を、全て話者Ｔの声質に近づける変換を行った合成音声（以下、「変換後合成音声」という）のデータを生成して出力する。
【００３９】
具体的には、話者Ｔの音声の特徴量と、話者Ａ１〜Ａ３の音声の特徴量を予め把握し、話者Ａ１〜Ａ３のそれぞれの音声から、話者Ｔへの音声への変換するためのパラメータ（以下、「変換パラメータ」という）を学習部１８により生成して、変換ＤＢ１５に保持させておく。そして、変換部１２は、変換ＤＢ１５に保持された変換パラメータを用いて、中間合成音のそれぞれの音素片について変換を行う。
【００４０】
すなわち、学習部１８は、音声ＤＢ１４で対象となった話者の数の分だけ、変換パラメータを生成する。そして、変換部１２は、例えば、中間合成音において、話者Ａ１の音声に基づく音素片があった場合には、話者Ａ１の音声から話者Ｔの声質へ変換するための変換パラメータを、変換ＤＢ１５から取出して変換に適用する。
【００４１】
変換部１２による変換後合成音声のデータの出力方法は限定されないものであるが、例えば、ディスク装置等の記憶装置に記憶させたり、アナログ信号に変換してスピーカにより出力したり、所定の形式の音声信号（アナログ信号又はデジタル信号であるかを問わない）として別装置に出力するようにしてもよい。
【００４２】
学習部１８は、音声ＤＢ１４、変換対象音声記憶部１９の内容に基づいて、変換ＤＢ１５に設定するデータを生成する。なお、学習部１８は、音声ＤＢ１４、変換対象音声記憶部１９のデータから、当該話者の音声の原音の音声データを保持し、その音声データに基づいて、変換ＤＢ１５に設定するデータを生成するが、音声ＤＢ１４、変換対象音声記憶部１９から直接当該話者の音声の原音が保持できない場合には、別途原音の音声データを記憶する手段を設けるようにしても良い。
【００４３】
学習部１８による、変換パラメータ具体的な生成方法については、後述する動作説明において詳述する。
【００４４】
（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態の声質変換装置１０の動作を説明する。
【００４５】
（Ａ−２−１）話者適用部の動作について
まず、話者適用部１７による話者適用韻律ＤＢ１３に設定する韻律データを生成する動作について図２を用いて説明する。
【００４６】
まず、話者適用部１７では、話者Ａ１〜Ａ３の韻律データ１６１−１〜１６１−３、話者Ｔの韻律データが把握される。話者Ｔの韻律データは、話者適用部１７が、変換対象音声記憶部１９に記憶された話者Ｔの音声データから抽出するようにしても良いし、声質変換装置１０において予め抽出した韻律データを保持して、話者適用部１７に適用するようにしても良い。話者Ｔの韻律データは、韻律データ１６１−１〜１６１−３と同様の方法により抽出されたものが適用される。
【００４７】
そして、話者適用部１７では、韻律データ１６１−１〜１６１−３を構成するパラメータごとに、それぞれの特徴量（統計モデル）を平均化したもの、すなわち、話者Ａ１〜Ａ３の韻律に係る特徴量を平均化したもの(以下、「平均化特徴量」という)を算出し、その平均化特徴量を、話者Ｔの特徴量に近づけた特徴量（以下、「変換後特徴量」という）に変換し、話者適用韻律ＤＢ１３に設定する。
【００４８】
次に、話者適用部１７において、話者Ａ１〜Ａ３の韻律に係る特徴量を、話者Ｔの特徴量に近づける処理の具体例について説明する。
【００４９】
話者適用部１７では、以下の（１）式において、既存のＭＬＬＲ（Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ  Ｌｉｎｅａｒ  Ｒｅｇｒｅｓｓｉｏｎ）法や、ＭＡＰ推定法を用いて、平均化特徴量を、話者Ｔの特徴量に近づけるためのパラメータ（Ａ、ｂ）を求める。ただし、（１）式において、＾μ、μは、それぞれ変換後特徴量、平均化特徴量に係る平均ベクトルである。例えば、ｎを特徴量のベクトルの次元数としたとき、Ａはｎ×ｎの変換行列、ｂは次元数ｎのシフトベクトルである。
【数１】
2011053404.tif 000003
【００５０】
そして、上述の（１）式を用いた適用処理を行うことにより、平均化特徴量を変換するためのパラメータ（Ａ，ｂ）が求まる。
【００５１】
図２では、例として、それぞれの韻律データを構成する母音中心のスペクトルの構成要素に係る特徴量について、第２次元を横軸、第３次元を縦軸として表し、話者適用部１７により変換する内容の一部を視覚的に表している。
【００５２】
図２では、Ｐ１〜Ｐ３は、それぞれ話者Ａ１〜Ａ３の韻律データ１６１−１〜１６１−３の特徴量に係る位置を示している。また、位置ＰＡは、平均化特徴量の位置、すなわち、Ｐ１〜Ｐ３の平均の位置を表している。また、ＰＴは、話者Ｔの韻律データの特徴量に係る位置を示している。
【００５３】
話者適用部１７における変換を、図２を用いて説明すると、位置ＰＡ（μ）から位置ＰＴの方向へ向かって変換するためのパラメータ（Ａ，ｂ）が、上記の（１）式を用いて求められ、実際に求めたパラメータ（Ａ，ｂ）がμに適用されると、位置ＰＢ（＾μ）となる。
【００５４】
なお、その他の韻律データの構成要素の変換についても、上述の図２と同様に図示して説明することができるため、説明を省略する。
【００５５】
（Ａ−２−２）学習部の動作について
次に、学習部１８により、変換ＤＢ１５の内容が設定される動作について説明する。
【００５６】
図３は、学習部１８の動作について示した説明図である。
【００５７】
学習部１８は、話者Ｔの音声の原音と、変換部１２における変換対象となる音声の原音（話者Ａ１〜話者Ａ３の音声の原音）のそれぞれとの間の特徴量として、スペクトルの対応関係を、統計的に学習することで、変換ＤＢ１５における変換に適用するモデル、すなわち、変換ＤＢ１５における変換に適用するパラメータ（以下、「変換パラメータ」という）を予め求めて登録する。
【００５８】
図３に示すように、学習部１８では、話者Ｔの音声と、話者Ａ１〜Ａ３の音声とについて、原音（例えば、「あらゆる現実を・・・」「ニューヨークを・・・」のような音声）のデータを保持し、両者の入出力特徴量間の対応関係を統計的に学習する。
【００５９】
学習部１８において、学習に用いるそれぞれの話者の原音の規模は、例えば、音声ＤＢ１４における音声の原音の規模（話者Ａ１〜Ａ３の音声の原音の合計）が２０時間程度であれば、それよりも小さい規模（例えば、数分から数十分程度（例えば、５分〜２０分程度））で良い。
【００６０】
学習部１８において、学習に用いるそれぞれの話者の原音は、同じ内容を読み上げたものを適用することを望ましいが、異なる内容を読み上げた内容を適用するようにしても良い。学習部１８において、学習に用いるそれぞれの話者の原音を同じ内容を読み上げた音声とする場合には、例えば、変換対象音声記憶部１９の音声データと対応する部分の音声データの位置を、予め音声ＤＢ１４にマッピングしたデータを保持するようにしても良い。また、学習部１８において、学習に用いるそれぞれの話者の原音を同じ内容を読み上げた音声でなくてもいい場合には、例えば、音声データ１４１−１〜１４１−３の任意の範囲の音声データを読込むようにしても良い。
【００６１】
学習部１８では、話者Ｔの音声の原音を変換対象音声記憶部１９から保持し、音声ＤＢ１４から、話者Ａ１〜話者Ａ３の音声の原音の原音を保持する。そして、学習部１８は、話者Ｔの原音と話者Ａ１の原音、話者Ｔの原音と話者Ａ２の原音、話者Ｔの原音と話者Ａ３の原音、という３組の組み合わせについて、特徴量（スペクトル）の対応関係を統計的に学習する。この実施形態において、学習部１８では、学習に用いる統計モデルとして、例えば、混合正規分布モデルを用いるものとする。
【００６２】
話者Ｔの音声から抽出される特徴パラメータをベクトルｘとし、変換対象となる音声の原音（話者Ａ１〜話者Ａ３のいずれかの音声の原音）から抽出される特徴パラメータをベクトルｙとすると、学習部１８では、ベクトルｘとベクトルｙとの同時確立密度Ｐ（ｘ，ｙ｜λ）から、以下の（２）式を用いて学習して更新する。ただし、（２）式においてλはモデルパラメータである。学習部１８では、このλを、変換パラメータとして用いて、変換ＤＢ１５に登録する。
【００６３】
また、上述の同時確立密度Ｐ（ｘ，ｙ｜λ）は、以下の（３）式となる。
【数２】
2011053404.tif 000004
【００６４】
なお、モデルパラメータλは、既存のＥＭアルゴリズム等を用いることにより求めることができる。
【００６５】
（Ａ−２−３）音声合成部の動作について
図４は、音声合成部１１への入力テキストと、入力テキストに基づいて生成された中間合成音声の例について示した説明図である。
【００６６】
図４（ａ）は、音声合成部１１への入力テキストの内容を表しており、図４（ｂ）は、音声合成部１１により生成された中間合成音について、音素片単位に分割して、各音素片と原音となった話者との対応関係を説明している。
【００６７】
ここでは、図４（ａ）に示すように、「明日から、大荒れの天気のようです。」という入力テキストに基づいて、中間合成音声が生成され、「ａ  ｓ  ｕ  ｋ  ａ」は話者Ａ１の音声、「ｒ  ａ  ｐａｕ  ｏｏ  ａ  ｒ」は話者Ａ３の音声、「ｅ  ｎ  ｏ  ｔ  ｅ」は話者Ａ２の音声、「Ｎ  ｋ  ｉ  ｎ  ｏ  ｙ  ｏ  ｕ」は話者Ａ３の音声、「ｄ  ｅ  ｓ  ｕ」は話者Ａ１の音声のように、すべて１名の話者の音声から素片波形が選択されるだけでなく、複数の話者の音声から音素片が選択されたものとする。
【００６８】
（Ａ−２−４）変換部の動作について
次に、音声合成部１１により生成された中間合成音声が、変換部１２により変換されて、変換後合成音声に変換される動作について説明する。
【００６９】
ここでは、音声合成部１１において、変換対象となる中間合成音声は、図４（ｂ）により示されるものを例として用いる。
【００７０】
まず、声質変換装置１０では、上述の学習部１８の処理により、話者Ａ１〜Ａ３のそれぞれの音声から、話者Ｔの声質への変換するための変換パラメータ（λ）を生成して、変換ＤＢ１５に保持させておく。そして、変換部１２は、変換ＤＢ１５に保持された変換パラメータ（λ）を用いて、中間合成音のそれぞれの音素片について、音声波形のスペクトルを話者Ｔのスペクトルへ近づける変換を行い、さらに、変換後のスペクトルと変換後の基本周波数とから再合成し、話者Ｔの声質を保った変換後合成音声データを生成する。
【００７１】
なお、変換後の基本周波数は、話者Ｔの音声の基本周波数と、変換対象の音声（話者Ａ１〜Ａ３のいずれかの音声）の基本周波数との偏差比から、変換対象の音声（話者Ａ１〜Ａ３のいずれかの音声）の音声の基本周波数の平均値を移動させたものとしても良い。
【００７２】
次に、変換部１２における、具体的な変換処理の例について説明する。
【００７３】
中間合成音声における音素片について変換後のスペクトルを＾ｙｔとすると、＾ｙｔは以下の（４）式により表すことができる。なお、（４）式におけるＥは期待値である。また、（４）式において、ｙｔを中間合成音声における変換前の音素片のスペクトルを示し、ｘｔは、話者Ｔの音声のスペクトル（期待値）を示している。
【００７４】
また変換後の基本周波数とは、以下の（５）式から求めたものを適用することができる。なお、（５）式においてｕは平均値、σは偏差である。
【数３】
2011053404.tif 000005
【００７５】
例えば、図４（ｂ）に示す、「ａ  ｓ  ｕ  ｋ  ａ」の音素片は、話者Ａ１の音声に基づく音素片であるので、変換部１２では、話者Ａ１の声質から話者Ｔの声質に変換するための変換パラメータ（λ）を変換ＤＢ１５から取り出し、当該音素片の音声データに、上記の（４）式を適用して、当該音素片に係る声質を変換し、さらに上記の（５）式により求めた基本周波数を適用した音声データに変換する。変換部１２では、同様の処理を、全ての音素片について行い、変換後合成音声のデータを生成し、出力処理を行う。
【００７６】
（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
【００７７】
（Ａ−３−１）音声合成部１１において生成される中間合成音声データでは、複数話者の音素片が混ざり、音素片ごとに声質が異なり、一人の話者だけの音素片で構成された合成音声と比較して、音質が低下する場合がある。しかし、変換部１２により、中間合成音声データの全ての音素片について、話者Ｔの声質に近づけた変換が行われるため、変換後合成音声データでは、統一した声質となり、音質を向上させることができる。
【００７８】
また、声質変換装置１０では、複数の話者の音声を原音とした合成音声であっても、変換部１２による声質変換により音質を保つことができるので、従来のように、全て一人の話者だけで合成音声の原音を構成する必要がなく、原音となる話者の負担や手間を軽減することができる。
【００７９】
さらに、複数の話者の音声を原音としても合成音声の音質を低下させないので、大規模な原音を構築しやすくし、合成音声の音質向上を容易にすることとができる。
【００８０】
（Ａ−３−２）話者適用部１７では、図２に示すように、話者Ａ１〜Ａ３の韻律の特徴量を平均化し、その平均化した特徴量に話者Ｔの韻律の特徴量を反映させたものを算出し、話者適用韻律ＤＢ１３に格納している。これにより、韻律推定部１１２により推定される韻律パターンが、話者Ｔに近くなるため、中間合成音声の韻律が話者Ｔに近いものとなる。
【００８１】
また、例えば、話者Ｔの韻律の特徴量そのものを話者適用韻律ＤＢ１３に適用してしまうと、音声ＤＢ１４には話者Ｔの原音は蓄積されていないため、利用することできる音素片が少なくなり、中間合成音声の品質が低下してしまうという問題がある。しかし、声質変換装置１０では、話者Ｔの韻律の特徴量に、話者Ａ１〜Ａ３の韻律の特徴量も反映したものを、話者適用韻律ＤＢ１３に格納している。これにより、韻律推定部１１２により推定される韻律パターンが、話者Ａ１〜Ａ３にも近くなるため、利用できる音素片がより多くなり、中間合成音声の品質を向上させることができる。
【００８２】
（Ａ−３−３）変換部１２では、中間合成音の各音素片について、スペクトルだけでなく基本周波数（上記の（５）式により求めた基本周波数）も変更する処理を行っている。これにより、変換後合成音声について、声質だけでなく韻律に係る特徴ついても、より話者Ｔに近づけることが出来る。
【００８３】
（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【００８４】
（Ｂ−１）上記の実施形態では、話者適用部１７において、図２に示すように、話者Ａ１〜Ａ３の韻律の特徴量を平均化し、その平均化した特徴量に話者Ｔの韻律の特徴量を反映させたものを算出し、話者適用韻律ＤＢ１３に格納しているが、話者適用韻律ＤＢ１３に適用するものはこれに限られない。例えば、話者適用韻律ＤＢ１３に、話者Ａ１〜Ａ３の韻律の特徴量を平均化したものをそのまま話者適用韻律ＤＢ１３に適用するようにしても良いし、話者Ｔの韻律の特徴量をそのまま話者適用韻律ＤＢ１３に適用するようにしても良いし、その他の話者Ａ１〜Ａ３、Ｔ以外の話者の特徴量を適用するようにしても良い。
【００８５】
また、予め話者適用韻律ＤＢ１３に、韻律推定部１１２の処理に必要な情報を格納しておく場合には、声質変換装置１０から話者適用部１７を省略するようにしても良い。
【００８６】
（Ｂ−２）声質変換装置１０では、変換部１２による変換対象となる中間合成音声のデータについて、音声合成部１１から供給を受けているが、例えば、声質変換装置１０において音声合成部１１を省略し、中間合成音声のデータを外部から直接入力するようにしても良い。すなわち、音声合成部１１において、中間合成音声データを保持する手段は限定されないものである。
【００８７】
（Ｂ−３）上記の実施形態では、変換部１２変換部１２において、中間合成音声の音素片の声質を話者Ｔの声質に変換する処理を行った後に、さらに、上述の（５）から求めた基本周波数を適用しているが、基本周波数の適用処理は省略して、声質（スペクトル）の変換だけを行うようにしてもよい。
【００８８】
（Ｂ−４）上記の実施形態では、なお、この実施形態においては、処理対象の合成音声の言語は日本語であるものとして説明したが、他の言語を適用するようにしても良い。他の言語を適用する場合には、テキスト処理部１１１、韻律推定部１１２、話者適用韻律ＤＢ１３、話者適用部１７等の処理については、当該言語に適したものに置き換える必要がある。
【符号の説明】
【００８９】
１０…声質変換装置、１１…音声合成部、１１１…テキスト処理部、１１２…韻律推定部、１１３…素片選択部、１１４…素片接続部、１２…変換部、１３…話者適用韻律ＤＢ、１４…音声ＤＢ、１４１−１４１―１〜１４１−３…音声データ、１５…変換ＤＢ、１６…韻律ＤＢ、１６１−１６１―１〜１６１−３…韻律データ、１７…話者適用部、１８…学習部、１９…変換対象音声記憶部。
【図１】
2011053404.tif 000006
【図２】
2011053404.tif 000007
【図３】
2011053404.tif 000008
【図４】
2011053404.tif 000009