(57)【特許請求の範囲】
【請求項１】
第１の言語の目標話者が話す音声から第２の言語の当該目標話者の音声合成辞書を作成する音声合成辞書作成装置であって、
特定話者の第１の言語及び第２の言語それぞれの音声合成辞書の各ノードの分布の類似度に基づいて、第２の言語の特定話者の音声合成辞書の各ノードの分布に対して、第１の言語の特定話者の音声合成辞書のノードの分布を対応づけるマッピングテーブルを作成するマッピングテーブル作成部と、
第１の言語の目標話者音声及び収録文章、並びに第１の言語の特定話者の音声合成辞書に基づいて、第１の言語の特定話者の音声合成辞書を第１の言語の目標話者の音声合成辞書に変換する変換行列を推定する推定部と、
前記マッピングテーブル、前記変換行列、及び特定話者の第２の言語の音声合成辞書に基づいて、第２の言語の目標話者の音声合成辞書を作成する辞書作成部と、
第１の言語の平均声の音声合成辞書に対して、第１の言語の特定話者音声を適応させることにより、第１の言語の特定話者の音声合成辞書を生成する第１適応部と、
第２の言語の平均声の音声合成辞書に対して、第２の言語の特定話者音声を適応させることにより、第２の言語の特定話者の音声合成辞書を生成する第２適応部と、
を有し、
前記マッピングテーブル作成部は、
前記第１適応部が生成した第１の言語の特定話者の音声合成辞書と、前記第２適応部が生成した第２の言語の特定話者の音声合成辞書とを用いて、前記マッピングテーブルを作成する、
音声合成辞書作成装置。
【請求項２】
前記目標話者は、
第１の言語を話すが、第２の言語を話せない話者であり、
前記特定話者は、
第１の言語及び第２の言語を話す話者である
請求項１に記載の音声合成辞書作成装置。
【請求項３】
前記マッピングテーブル作成部は、
カルバック・ライブラー情報量を用いて類似度を測る
請求項１に記載の音声合成辞書作成装置。
【請求項４】
第１の言語の目標話者音声及び収録文章に基づいて、複数の話者それぞれの第１の言語の音声合成辞書の中から、第１の言語の特定話者の音声合成辞書を選択する話者選択部
をさらに有し、
前記マッピングテーブル作成部は、
前記話者選択部が選択した第１の言語の特定話者の音声合成辞書と、当該第１の言語の特定話者の音声合成辞書と同じ話者の第２の言語の音声合成辞書とを用いて、前記マッピングテーブルを作成する
請求項１に記載の音声合成辞書作成装置。
【請求項５】
前記話者選択部は、
声の高さ、話速、音素継続長、及びスペクトルの少なくともいずれかが目標話者音声に最も類似する特定話者の音声合成辞書を選択する
請求項４に記載の音声合成辞書作成装置。
【請求項６】
前記推定部は、
第１の言語の目標話者音声及び収録文章を用いて、音響特徴量とコンテキストをそれぞれから抽出し、第１の言語の特定話者の音声合成辞書に基づいて、前記変換行列を推定する
請求項１に記載の音声合成辞書作成装置。
【請求項７】
前記辞書作成部は、
前記変換行列と前記マッピングテーブルを、第２の言語の特定話者の音声合成辞書のリーフノードに適用することにより、第２の言語の目標話者の音声合成辞書を作成する
請求項１に記載の音声合成辞書作成装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の音声合成辞書作成装置と、
前記音声合成辞書作成装置が作成した第２の言語の目標話者の音声合成辞書を用いて音声波形を生成する波形生成部と、
を有する音声合成装置。
【請求項９】
第１の言語の目標話者が話す音声から第２の言語の当該目標話者の音声合成辞書を作成する音声合成辞書作成方法であって、
特定話者の第１の言語及び第２の言語それぞれの音声合成辞書の各ノードの分布の類似度に基づいて、第２の言語の特定話者の音声合成辞書の各ノードの分布に対して、第１の言語の特定話者の音声合成辞書のノードの分布を対応づけるマッピングテーブルを作成する工程と、
第１の言語の目標話者音声及び収録文章、並びに第１の言語の特定話者の音声合成辞書に基づいて、第１の言語の特定話者の音声合成辞書を第１の言語の目標話者の音声合成辞書に変換する変換行列を推定する工程と、
前記マッピングテーブル、前記変換行列、及び特定話者の第２の言語の音声合成辞書に基づいて、第２の言語の目標話者の音声合成辞書を作成する工程と、
第１の言語の平均声の音声合成辞書に対して、第１の言語の特定話者音声を適応させることにより、第１の言語の特定話者の音声合成辞書を生成する工程と、
第２の言語の平均声の音声合成辞書に対して、第２の言語の特定話者音声を適応させることにより、第２の言語の特定話者の音声合成辞書を生成する工程と、
を有し、
前記マッピングテーブルを作成する工程は、
生成された第１の言語の特定話者の音声合成辞書と、生成された第２の言語の特定話者の音声合成辞書とを用いて、前記マッピングテーブルを作成する、
音声合成辞書作成方法。
【請求項１０】
第１の言語の目標話者が話す音声から第２の言語の当該目標話者の音声合成辞書を作成する音声合成辞書作成プログラムであって、
特定話者の第１の言語及び第２の言語それぞれの音声合成辞書の各ノードの分布の類似度に基づいて、第２の言語の特定話者の音声合成辞書の各ノードの分布に対して、第１の言語の特定話者の音声合成辞書のノードの分布を対応づけるマッピングテーブルを作成するステップと、
第１の言語の目標話者音声及び収録文章、並びに第１の言語の特定話者の音声合成辞書に基づいて、第１の言語の特定話者の音声合成辞書を第１の言語の目標話者の音声合成辞書に変換する変換行列を推定するステップと、
前記マッピングテーブル、前記変換行列、及び特定話者の第２の言語の音声合成辞書に基づいて、第２の言語の目標話者の音声合成辞書を作成するステップと、
第１の言語の平均声の音声合成辞書に対して、第１の言語の特定話者音声を適応させることにより、第１の言語の特定話者の音声合成辞書を生成するステップと、
第２の言語の平均声の音声合成辞書に対して、第２の言語の特定話者音声を適応させることにより、第２の言語の特定話者の音声合成辞書を生成するステップと、
をコンピュータに実行させるためのプログラムであって、
前記マッピングテーブルを作成するステップは、
生成された第１の言語の特定話者の音声合成辞書と、生成された第２の言語の特定話者の音声合成辞書とを用いて、前記マッピングテーブルを作成する、
音声合成辞書作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音声合成辞書作成装置、音声合成装置、音声合成辞書作成方法及び音声合成辞書作成プログラムに関する。
【背景技術】
【０００２】
任意のテキストを合成波形に変換する音声合成技術が知られている。音声合成技術を使って所定のユーザの声質を再現するためには、そのユーザの録音音声から音声合成辞書を作成する必要がある。近年、隠れマルコフモデル（ＨＭＭ）に基づく音声合成技術の研究・開発が盛んに行なわれ、品質が向上してきている。また、第１の言語の任意話者の音声から第２の言語の任意話者の音声合成辞書を作成する技術が検討されている。その代表的な手法として、クロスリンガル話者適応が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第８２４４５３４Ｂ２号明細書
【非特許文献】
【０００４】
【非特許文献１】Yi-Jian  Wu,  et  al.、“State  mapping  based  method  for  cross-lingual  speaker  adaptation  in  HMM-based  speech  synthesis”、INTERSPEECH  2009  BRIGHTON、ISCA、September  2009、p.528-531
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来は、クロスリンガル話者適応を行う場合、バイリンガル話者の音声データを大量に用意しなければならなかった。また、合成音声の音質を向上させるためには、高品質なバイリンガルデータが必要となるという問題があった。本発明が解決しようとする課題は、必要な音声データを抑制し、第１の言語の目標話者音声から第２の言語の目標話者の音声合成辞書を容易に作成することができる音声合成辞書作成装置、音声合成装置、音声合成辞書作成方法及び音声合成辞書作成プログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の音声合成辞書作成装置は、第１の言語の目標話者が話す音声から第２の言語の当該目標話者の音声合成辞書を作成する音声合成辞書作成装置であって、マッピングテーブル作成部と、推定部と、辞書作成部と、を有する。マッピングテーブル作成部は、特定話者の第１の言語及び第２の言語それぞれの音声合成辞書の各ノードの分布の類似度に基づいて、第２の言語の特定話者の音声合成辞書の各ノードの分布に対して、第１の言語の特定話者の音声合成辞書のノードの分布を対応づけるマッピングテーブルを作成する。推定部は、第１の言語の目標話者音声及び収録文章、並びに第１の言語の特定話者の音声合成辞書に基づいて、第１の言語の特定話者の音声合成辞書を第１の言語の目標話者の音声合成辞書に変換する変換行列を推定する。辞書作成部は、マッピングテーブル、変換行列、及び特定話者の第２の言語の音声合成辞書に基づいて、第２の言語の目標話者の音声合成辞書を作成する。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態にかかる音声合成辞書作成装置の構成を例示するブロック図。
【図２】音声合成辞書作成装置が行う処理を例示するフローチャート。
【図３】音声合成辞書作成装置を用いた音声合成の動作と、比較例の動作とを対比させて示す概念図。
【図４】第２実施形態にかかる音声合成辞書作成装置の構成を例示するブロック図。
【図５】実施形態にかかる音声合成装置の構成を例示するブロック図。
【図６】実施形態にかかる音声合成辞書作成装置のハードウェア構成を示す図。
【発明を実施するための形態】
【０００８】
まず、本発明がなされるに至った背景について説明する。上述したＨＭＭは、ソースフィルタ型の音声合成システムである。この音声合成システムは、声帯振動による音源成分を表すパルス音源や空気の乱流などによる音源を表す雑音音源から生成した音源信号（励振源）を入力し、声道特性などを表すスペクトル包絡のパラメータによってフィルタリングを行うことによって音声波形を生成する。
【０００９】
スペクトル包絡のパラメータによるフィルタとしては、全極フィルタ、ＰＡＲＣＯＲ係数のための格子形フィルタ、ＬＳＰ合成フィルタ、対数振幅近似フィルタ、メル全極フィルタ、メル対数スペクトル近似フィルタ、及びメル一般化対数スペクトル近似フィルタなどが用いられる。
【００１０】
また、ＨＭＭに基づく音声合成技術の特徴として、生成される合成音を多様に変化させることができる点が挙げられる。例えば、ＨＭＭに基づく音声合成技術によれば、声の高さ（基本周波数;Ｆ０）や速さの他、声質や声色も簡単に変化させることができる。
【００１１】
また、ＨＭＭに基づく音声合成技術は、話者適応技術を用いることにより、少量の音声からでも任意の話者に似た合成音声を生成することができる。話者適応技術は、ある音声合成辞書を適応元として、任意の話者に近づけるように学習を行うことにより、任意の話者の話者性、声質を再現した音声合成辞書を生成する技術である。
【００１２】
適応元の音声合成辞書は、できるだけ話者個人の癖が無い方が望ましい。そこで、複数の話者の音声データを用いて、適応元の音声合成辞書を学習することにより、話者に依存しない音声合成辞書を作成するようにする。この音声合成辞書は、「平均声」と呼ばれる。
【００１３】
これら音声合成辞書は、Ｆ０、帯域雑音強度、スペクトルといった各特徴量において、決定木に基づき状態クラスタリングを構成している。スペクトルとは、音声のスペクトル情報をパラメータとして表現したものである。帯域雑音強度とは、各フレームのスペクトル中の所定の周波数帯域における雑音成分の強さを、該当する帯域のスペクトル全体に対する比率として表す情報である。そして、決定木の各リーフノードには、ガウス分布を保持している。
【００１４】
音声合成を行う場合、まず入力されたテキストから変換して得られたコンテキスト情報によって決定木を辿ることにより分布列を作成し、得られた分布列から音声パラメータ列を生成する。そして、生成されたパラメータ系列（帯域雑音強度、Ｆ０、スペクトル）から、音声波形を生成する。
【００１５】
また、音声合成の多様性の一つとして、多言語化についても技術開発が進められている。その代表的な技術として、先にも挙げたクロスリンガル話者適応技術は、モノリンガル話者の音声合成辞書を、話者性を保ちつつ、特定の言語の音声合成辞書に変換する技術である。例えば、バイリンガル話者の音声合成辞書において、入力テキストの言語に対して出力言語の最も近いノードにマッピングするためのテーブルを作成する。そして、出力言語のテキストが入力されると、出力言語側からのノードを辿り、入力言語側のノードの分布を使って音声合成を行う。
【００１６】
次に、添付図面を参照して、第１実施形態にかかる音声合成辞書作成装置について説明する。図１は、第１実施形態にかかる音声合成辞書作成装置１０の構成を例示するブロック図である。図１に示すように、音声合成辞書作成装置１０は、例えば第１記憶部１０１、第１適応部１０２、第２記憶部１０３、マッピングテーブル作成部１０４、第４記憶部１０５、第２適応部１０６、第３記憶部１０７、推定部１０８、辞書作成部１０９及び第５記憶部１１０を有し、第１の言語の目標話者音声から第２の言語の目標話者の音声合成辞書を作成する。本実施形態では、例えば、目標話者とは第１の言語を話せるが、第２の言語を話せない（例えばモノリンガル話者）をいい、特定話者とは第１の言語及び第２の言語を話す（例えばバイリンガル話者）をいう。
【００１７】
第１記憶部１０１、第２記憶部１０３、第３記憶部１０７、第４記憶部１０５及び第５記憶部１１０は、例えば単一又は複数のＨＤＤ（Hard  Disk  Drive）などによって構成される。第１適応部１０２、マッピングテーブル作成部１０４、第２適応部１０６、推定部１０８、及び辞書作成部１０９は、ハードウェア回路、又は図示しないＣＰＵで実行するソフトウェアのいずれであってもよい。
【００１８】
第１記憶部１０１は、第１の言語の平均声の音声合成辞書を記憶する。第１適応部１０２は、入力された音声（例えば第１の言語のバイリンガル話者音声）と、第１記憶部１０１が記憶している第１の言語の平均声の音声合成辞書とを用いて話者適応を行い、バイリンガル話者（特定話者）の第１の言語の音声合成辞書を生成する。第２記憶部１０３は、第１適応部１０２が話者適応を行って生成したバイリンガル話者（特定話者）の第１の言語の音声合成辞書を記憶する。
【００１９】
第３記憶部１０７は、第２の言語の平均声の音声合成辞書を記憶する。第２適応部１０６は、入力された音声（例えば第２の言語のバイリンガル話者音声）と、第３記憶部１０７が記憶している第２の言語の平均声の音声合成辞書とを用いて話者適応を行い、バイリンガル話者（特定話者）の第２の言語の音声合成辞書を生成する。第４記憶部１０５は、第２適応部１０６が話者適応を行って生成したバイリンガル話者（特定話者）の第２の言語の音声合成辞書を記憶する。
【００２０】
マッピングテーブル作成部１０４は、第２記憶部１０３が記憶したバイリンガル話者（特定話者）の第１の言語の音声合成辞書と、第４記憶部１０５が記憶したバイリンガル話者（特定話者）の第２の言語の音声合成辞書とを用いて、マッピングテーブルを作成する。より具体的には、マッピングテーブル作成部１０４は、特定話者の第１の言語及び第２の言語それぞれの音声合成辞書の各ノードの分布間の類似度に基づいて、第２の言語の特定話者の音声合成辞書の各ノードの分布に対して、第１の言語の特定話者の音声合成辞書の各ノードの分布を対応づけるマッピングテーブルを作成する。
【００２１】
推定部１０８は、入力される第１の言語の目標話者の音声及びその収録文章を用いて、音響特徴量とコンテキストをそれぞれから抽出し、第２記憶部１０３が記憶している第１の言語のバイリンガル話者の音声合成辞書に基づいて、第１の言語の特定話者の音声合成辞書を、第１の言語の目標話者の音声合成辞書に話者適応させるよう変換する変換行列を推定する。
【００２２】
辞書作成部１０９は、推定部１０８が推定した変換行列と、マッピングテーブル作成部１０４が作成したマッピングテーブルと、第４記憶部１０５が記憶している第２の言語のバイリンガル話者の音声合成辞書を用いて第２の言語の目標話者の音声合成辞書を作成する。辞書作成部１０９は、第２記憶部１０３が記憶している第１の言語のバイリンガル話者の音声合成辞書を用いるように構成されてもよい。
【００２３】
第５記憶部１１０は、辞書作成部１０９が作成した第２の言語の目標話者の音声合成辞書を記憶する。
【００２４】
次に、音声合成辞書作成装置１０を構成する各部の詳細な動作について説明する。第１記憶部１０１及び第３記憶部１０７が記憶しているそれぞれの言語の平均声の音声合成辞書は、話者適応のための適応元の音声合成辞書であり、話者適応学習を用いて複数の話者の音声データから生成されている。
【００２５】
第１適応部１０２は、入力された第１の言語の音声データ（第１の言語のバイリンガル話者音声）から音声特徴量とコンテキストを抽出する。第２適応部１０６は、入力された第２の言語の音声データ（第２の言語のバイリンガル話者音声）から音声特徴量とコンテキストを抽出する。
【００２６】
ここで、第１適応部１０２及び第２適応部１０６にそれぞれ入力される音声の話者は、第１の言語及び第２の言語を話す同一のバイリンガル話者である。音声特徴量としては、Ｆ０、スペクトル、音素継続長、帯域雑音強度系列などがある。スペクトルは、上述したように音声のスペクトル情報をパラメータとして表現したものである。また、コンテキストは、音素単位での言語属性情報を示す。音素単位としては、モノフォン、トライフォン、クィンフォンが考えられる。属性情報は、｛先行、当該、後続｝音素、当該音素の単語内での音節位置、｛先行、当該、後続｝の品詞、｛先行、当該、後続｝単語の音節数、アクセント音節からの音節数、文内の単語の位置、前後のポーズの有無、｛先行、当該、後続｝呼気段落の音節数、当該呼気段落の位置、及び、文の音節数などが考えられる。以下、これらの属性情報をコンテキストとする。
【００２７】
次に、第１適応部１０２及び第２適応部１０６それぞれは、抽出した音響特徴量とコンテキストから最尤線形回帰（Maximum  Likelihood  Linear  Regression；ＭＬＬＲ）や、最大事後確率（Maximum  a  posteriori；ＭＡＰ）を基準として話者適応学習を行う。一例として、最も用いられているＭＬＬＲについて説明する。
【００２８】
ＭＬＬＲは、ガウス分布の平均ベクトル又は共分散行列に線形変換を適用することにより適応を行う方式である。ＭＬＬＲでは、最尤基準で線形パラメータをＥＭアルゴリズムにより導出する。ＥＭアルゴリズムのＱ関数は、下式１として表される。
【００２９】
【数１】
0006392012.tif 000002
【００３０】
ここで、上付き文字（ｍ）は、モデルパラメータのコンポーネントを示す。Ｍは、変換に関連するモデルパラメータの総数を示す。Ｋは、遷移確率に関する定数を示す。Ｋ（ｍ）は、ガウス分布のコンポーネントｍに関連する正規化定数を示す。また、下式２において、ｑｍ（τ）は、時刻τにおけるガウス分布のコンポーネントを示す。ＯＴは、観測ベクトルを示す。
【００３１】
【数２】
0006392012.tif 000003
【００３２】
線形変換は、下式３〜５のように表される。μは平均ベクトル、Ａは行列、ｂはベクトルであり、Ｗは変換行列を表す。推定部１０８は、この変換行列Ｗを推定する。
【００３３】
【数３】
0006392012.tif 000004
【数４】
0006392012.tif 000005
【数５】
0006392012.tif 000006
【００３４】
共分散行列の話者適応は、平均ベクトルのそれよりも効果が小さいため、通常は平均ベクトルの話者適応が行われる。平均の変換は、下式６によって表される。ここで、ｋｒｏｎ（・）は・のクロネッカー積、ｖｅｃ（・）は行を単位として行列を並べられたベクトルに変換することを示す。
【００３５】
【数６】
0006392012.tif 000007
【００３６】
また、Ｖ（ｍ）、Ｚ、Ｄは、下式７〜９によってそれぞれ表される。
【００３７】
【数７】
0006392012.tif 000008
【数８】
0006392012.tif 000009
【数９】
0006392012.tif 000010
【００３８】
Ｗｉの逆行列は下式１０，１１によって表される。
【００３９】
【数１０】
0006392012.tif 000011
【数１１】
0006392012.tif 000012
【００４０】
また、上式１をｗｉｊで偏微分すると下式１２となる。よって、ｗｉｊは、下式１３によって表される。
【００４１】
【数１２】
0006392012.tif 000013
【数１３】
0006392012.tif 000014
【００４２】
第２記憶部１０３は、第１適応部１０２が生成した第１の言語の話者適応された音声合成辞書を記憶する。第４記憶部１０５は、第２適応部１０６が生成した第２の言語の話者適応された音声合成辞書を記憶する。
【００４３】
マッピングテーブル作成部１０４は、第１の言語の話者適応された音声合成辞書と、第２の言語の話者適応された音声合成辞書の各子ノードの分布間で類似度を測定し、最も近いと判定された分布同士の対応関係をマッピングテーブルに（テーブル化）する。ここで、類似度は、例えばＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ  ｄｉｖｅｒｇｅｎｃｅ（ＫＬＤ：カルバック・ライブラー情報量）、密度比、Ｌ２ノルムなどによって測定される。マッピングテーブル作成部１０４は、例えば下式１４〜１６に示したＫＬＤを用いる。
【００４４】
【数１４】
0006392012.tif 000015
【数１５】
0006392012.tif 000016
【数１６】
0006392012.tif 000017
【００４５】
ここで、ｋは子ノードのインデックス、ｓは元言語、ｔは目標言語を示す。また、音声合成辞書作成装置１０における音声合成辞書の決定木はコンテキストクラスタリングにより学習される。そのため、第１の言語の各子ノードにおいて、構成しているコンテキストから最も代表的な音素を選択し、International  Phonetic  Alphabet（ＩＰＡ）を用いて第２の言語で代表音素が一致する、又は同種の代表音素を持つ分布からのみ選択することにより、マッピングによる歪みをより減少することが期待できる。ここで言う同種とは、例えば母／子音、有声／無声音、破裂／鼻音／ふるえ音といった音素種別が一致する場合を指す。
【００４６】
推定部１０８は、第１の言語のバイリンガル話者（特定話者）から目標話者に話者適応するための変換行列を、第１の言語の目標話者音声と収録文章に基づいて推定する。話者適応には、ＭＬＬＲ、ＭＡＰ、制約付きＭＬＬＲ（ＣＭＬＬＲ）などのアルゴリズムが用いられる。
【００４７】
辞書作成部１０９は、下式１７に示すように、ＫＬＤが最小となる第２の言語の話者適応辞書の状態を示したマッピングテーブルを用いて、推定部１０８が推定した変換行列を第２の言語のバイリンガル話者適応辞書に適用することにより、第２の言語の目標話者の音声合成辞書を作成する。
【００４８】
【数１７】
0006392012.tif 000018
【００４９】
ここで、変換行列ｗｉｊは上式１３によって算出されるが、そのためには上式１３の右辺の各パラメータが必要である。これらは各ガウスコンポーネントのμ、σに依存している。辞書作成部１０９は、マッピングテーブルを用いて変換する場合、第２の言語のリーフノードに対して、適用する変換行列が大きく異なり、音質劣化が生じることが考えられる。そこで、辞書作成部１０９は、適応されるリーフノードのＧとＺを用いて、上位ノードで変換行列を再生成するように構成されてもよい。
【００５０】
第５記憶部１１０は、辞書作成部１０９が作成した第２の言語の目標話者の音声合成辞書を記憶する。
【００５１】
図２は、音声合成辞書作成装置１０が行う処理を例示するフローチャートである。図２に示すように、音声合成辞書作成装置１０は、まず、第１適応部１０２及び第２適応部１０６がそれぞれ第１の言語及び第２の言語のバイリンガル話者に適応させた音声合成辞書を生成する（Ｓ１０１）。
【００５２】
次に、マッピングテーブル作成部１０４は、第１適応部１０２及び第２適応部１０６がそれぞれ生成したバイリンガル話者の音声合成辞書（話者適応辞書）を用いて、第２の言語の各リーフノードにおいて、第１の言語の話者適応辞書に対してマッピングを取る（Ｓ１０２）。
【００５３】
推定部１０８は、目標話者の第１の言語の音声データと収録文章からコンテキストと音響特徴量を抽出し、第２記憶部１０３が記憶している第１の言語のバイリンガル話者の音声合成辞書に基づいて、第１の言語の目標話者の音声合成辞書へ話者適応するための変換行列を推定する。（Ｓ１０３）。
【００５４】
そして、辞書作成部１０９は、第１の言語で推定された変換行列とマッピングテーブルを、第２の言語のバイリンガル話者適応辞書のリーフノードに適用することにより、第２の言語の目標話者の音声合成辞書を作成（辞書作成）する（Ｓ１０４）。
【００５５】
次に、音声合成辞書作成装置１０を用いた音声合成の動作を比較例と対比させて説明する。図３は、音声合成辞書作成装置１０を用いた音声合成の動作と、比較例の動作とを対比させて示す概念図である。図３（ａ）には、比較例の動作が示されている。図３（ｂ）には、音声合成辞書作成装置１０を用いた動作が示されている。図３において、Ｓ１はバイリンガル話者（マルチリンガル話者：特定話者）、Ｓ２はモノリンガル話者（目標話者）、Ｌ１は母国語言語（第１の言語）、Ｌ２は目標言語（第２の言語）を示している。図３においては、（ａ），（ｂ）ともに決定木の構造は同じにされている。
【００５６】
図３（ａ）に示すように、比較例では、Ｓ１Ｌ２の決定木５０２と、Ｓ１Ｌ１の決定木５０１との状態のマッピングテーブルを生成する。また、比較例では、モノリンガル話者に対して全く同一のコンテキストが含まれた録音文章と音声が必要である。そして、比較例は、１人のバイリンガル話者の第２の言語の決定木５０４から各ノードにおいて第１の言語の決定木５０３のマッピング先を辿り、辿った先の分布を利用して、合成音を生成している。
【００５７】
図３（ｂ）に示すように、音声合成辞書作成装置１０は、第１の言語の平均声の音声合成辞書の決定木６１にマルチリンガル話者の話者適応を行った音声合成辞書の決定木６０１と、第２の言語の平均声の音声合成辞書の決定木６２にマルチリンガル話者の話者適応を行った音声合成辞書の決定木６０２とを用いて状態のマッピングテーブルを生成する。音声合成辞書作成装置１０は、話者適応を用いているため任意の録音文章から音声合成辞書を生成することができる。また、音声合成辞書作成装置１０は、Ｓ２Ｌ１の決定木６０３に対する変換行列Ｗをマッピングテーブルに反映させることにより、第２の言語の音声合成辞書の決定木６０４を作成し、合成音声はその変換された音声合成辞書から生成される。
【００５８】
このように、音声合成辞書作成装置１０は、マッピングテーブル、変換行列、及び特定話者の第２の言語の音声合成辞書に基づいて、第２の言語の目標話者の音声合成辞書を作成するので、必要な音声データを抑制し、第１の言語の目標話者音声から第２の言語の目標話者の音声合成辞書を容易に作成することができる。
【００５９】
次に、第２実施形態にかかる音声合成辞書作成装置について説明する。図４は、第２実施形態にかかる音声合成辞書作成装置２０の構成を例示するブロック図である。図４に示すように、音声合成辞書作成装置２０は、例えば第１記憶部２０１、第１適応部２０２、第２記憶部２０３、話者選択部（選択部）２０４、マッピングテーブル作成部１０４、第４記憶部１０５、第２適応部２０６、第３記憶部２０５、推定部１０８、辞書作成部１０９及び第５記憶部１１０を有する。なお、図４に示した音声合成辞書作成装置２０の構成部分のうち、音声合成辞書作成装置１０（図１）に示した構成部分と実質的に同じものには、同一の符号が付してある。
【００６０】
第１記憶部２０１、第２記憶部２０３、第３記憶部２０５、第４記憶部１０５及び第５記憶部１１０は、例えば単一又は複数のＨＤＤ（Hard  Disk  Drive）などによって構成される。第１適応部２０２、話者選択部２０４、及び第２適応部２０６は、ハードウェア回路、又は図示しないＣＰＵで実行するソフトウェアのいずれであってもよい。
【００６１】
第１記憶部２０１は、第１の言語の平均声の音声合成辞書を記憶する。第１適応部２０２は、複数の入力された音声（例えば第１の言語のバイリンガル話者音声）と、第１記憶部２０１が記憶している第１の言語の平均声の音声合成辞書とを用いてそれぞれ話者適応を行い、複数のバイリンガル話者の第１の言語の音声合成辞書をそれぞれ生成する。第１記憶部２０１は、複数の第１の言語のバイリンガル話者音声を記憶するように構成されてもよい。
【００６２】
第２記憶部２０３は、第１適応部２０２がそれぞれ話者適応を行って生成した複数のバイリンガル話者の第１の言語の音声合成辞書をそれぞれ記憶する。
【００６３】
話者選択部２０４は、入力される第１の言語の目標話者音声及び収録文章を用いて、第２記憶部２０３が記憶している複数の音声合成辞書の中から、目標話者の声質に最も類似するバイリンガル話者の第１の言語の音声合成辞書を選択する。つまり、話者選択部２０４は、バイリンガル話者の１人を選択することとなる。
【００６４】
第３記憶部２０５は、例えば第２の言語の平均声の音声合成辞書と、複数の第２の言語のバイリンガル話者音声を記憶する。また、第３記憶部２０５は、話者選択部２０４が選択したバイリンガル話者の第２の言語のバイリンガル話者音声と、第２の言語の平均声の音声合成辞書を、第２適応部２０６からのアクセスに応じて出力する。
【００６５】
第２適応部２０６は、第３記憶部２０５から入力される第２の言語のバイリンガル話者音声と、第２の言語の平均声の音声合成辞書とを用いて話者適応を行い、話者選択部２０４が選択したバイリンガル話者の第２の言語の音声合成辞書を生成する。第４記憶部１０５は、第２適応部２０６が話者適応を行って生成したバイリンガル話者（特定話者）の第２の言語の音声合成辞書を記憶する。
【００６６】
マッピングテーブル作成部１０４は、話者選択部２０４が選択したバイリンガル話者（特定話者）の第１の言語の音声合成辞書と、第４記憶部１０５が記憶したバイリンガル話者（同じ特定話者）の第２の言語の音声合成辞書とを用いて、２つの音声合成辞書の各ノードの分布間の類似度に基づいてマッピングテーブルを作成する。
【００６７】
推定部１０８は、入力される第１の言語の目標話者音声及び収録文章を用いて、音響特徴量とコンテキストをそれぞれから抽出し、第２記憶部２０３が記憶している第１の言語のバイリンガル話者の音声合成辞書に基づいて、第１の言語の目標話者の音声合成辞書へ話者適応するための変換行列を推定する。ここで、第２記憶部２０３は、話者選択部２０４が選択したバイリンガル話者の音声合成辞書を推定部１０８に対して出力するように構成されてもよい。
【００６８】
なお、音声合成辞書作成装置２０は、話者選択部２０４が選択したバイリンガル話者の第２の言語のバイリンガル話者音声と、第２の言語の平均声の音声合成辞書とを用いて話者適応を行うように構成されれば、第２適応部２０６及び第３記憶部２０５が図４に示した構成とは異なる構成であってもよい。
【００６９】
図１に示した音声合成辞書作成装置１０では、バイリンガル話者適応の音声合成辞書から目標話者音声に適応する場合、ある特定話者からの変換であるため、平均声の音声合成辞書からの変換量が大きくなり、歪みが大きくなってしまうことが考えられる。一方、図４に示した音声合成辞書作成装置２０では、事前に数種類のバイリンガル話者適応の音声合成辞書を記憶しておくので、目標話者の音声から適切に音声合成辞書を選択することにより、その歪みを押さえることができる。
【００７０】
話者選択部２０４が適切な音声合成辞書を選択する尺度としては、音声合成辞書を使って、複数の文章から合成した合成音声の基本周波数（Ｆ０）の二乗平均誤差（Root  Mean  Square  Error；ＲＭＳＥ）、メルケプストラムのログスペクトル距離（Log  Spectral  Distance；ＬＳＤ）、音素の継続長のＲＭＳＥやリーフノードの分布のＫＬＤなどがある。話者選択部２０４は、これらの少なくともいずれか、又は声の高さ、話速、音素継続長、及びスペクトルに基づいて最も変換歪みのない音声合成辞書を選択する。
【００７１】
次に、音声合成辞書を作成して、目標言語の目標話者の音声を、目標言語のテキストから合成する音声合成装置３０について説明する。図５は、実施形態にかかる音声合成装置３０の構成を例示するブロック図である。図５に示すように、音声合成装置３０は、図１に示した音声合成辞書作成装置１０、解析部３０１、パラメータ生成部３０２及び波形生成部３０３を有する。音声合成装置３０は、音声合成辞書作成装置１０に替えて音声合成辞書作成装置２０を有する構成であってもよい。
【００７２】
解析部３０１は、入力されたテキストを解析し、コンテキスト情報を取得する。そして、解析部３０１は、コンテキスト情報をパラメータ生成部３０２に対して出力する。
【００７３】
パラメータ生成部３０２は、入力されたコンテキスト情報に基づいて、各特徴量によって決定木を辿り、ノードから分布を取得し、分布列を生成する。そして、パラメータ生成部３０２は、生成した分布列からパラメータを生成する。
【００７４】
波形生成部３０３は、パラメータ生成部３０２が生成したパラメータから音声波形を生成して出力する。例えば、波形生成部３０３は、Ｆ０と帯域雑音強度のパラメータ系列を用いて、励振源信号を生成し、生成された信号とスペクトルパラメータ系列から音声を生成する。
【００７５】
次に、音声合成辞書作成装置１０、音声合成辞書作成装置２０及び音声合成装置３０それぞれのハードウェア構成について図６を用いて説明する。図６は、音声合成辞書作成装置１０のハードウェア構成を示す図である。音声合成辞書作成装置２０及び音声合成装置３０も、音声合成辞書作成装置１０と同様に構成される。
【００７６】
音声合成辞書作成装置１０は、ＣＰＵ（Central  Processing  Unit）４００などの制御装置と、ＲＯＭ（Read  Only  Memory）４０１やＲＡＭ（Random  Access  Memory）４０２などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ４０３と、各部を接続するバス４０４を備えている。
【００７７】
音声合成辞書作成装置１０で実行されるプログラム（音声合成辞書作成プログラムなど）は、ＲＯＭ４０１等に予め組み込まれて提供される。
【００７８】
音声合成辞書作成装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact  Disk  Read  Only  Memory）、ＣＤ−Ｒ（Compact  Disk  Recordable）、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
【００７９】
さらに、音声合成辞書作成装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、音声合成辞書作成装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００８０】
また、本発明のいくつかの実施形態を複数の組み合わせによって説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８１】
１０，２０  音声合成辞書作成装置
３０  音声合成装置
１０１，２０１  第１記憶部
１０２，２０２  第１適応部
１０３，２０３  第２記憶部
１０４  マッピングテーブル作成部
１０５  第４記憶部
１０６，２０６  第２適応部
１０７，２０５  第３記憶部
１０８  推定部
１０９  辞書作成部
１１０  第５記憶部
２０４  話者選択部
３０１  解析部
３０２  パラメータ生成部
３０３  波形生成部
４００  ＣＰＵ
４０１  ＲＯＭ
４０２  ＲＡＭ
【図１】
0006392012.tif 000019
【図２】
0006392012.tif 000020
【図３】
0006392012.tif 000021
【図４】
0006392012.tif 000022
【図５】
0006392012.tif 000023
【図６】
0006392012.tif 000024