(57)【要約】  実施形態の音声合成装置は、統計モデル系列生成部と、複数音響特徴パラメータ系列生成部と、波形生成部と、を備える。統計モデル系列生成部は、入力テキストに対応するコンテキスト情報に基づいて、複数の状態を持つ統計モデルの系列である統計モデル系列を生成する。複数音響特徴パラメータ系列生成部は、前記統計モデル系列の各状態に対応する音声区間ごとに、音声データベースに含まれる音声波形から抽出された音響特徴パラメータの中から複数の音響特徴パラメータを選択し、選択した複数の音響特徴パラメータの系列である複数音響特徴パラメータ系列を生成する。波形生成部は、前記複数音響特徴パラメータ系列を用いて分布列を生成し、該分布列に基づいて生成される音響特徴パラメータを用いて音声波形を生成する。
2016042659.tif 000002
【特許請求の範囲】
【請求項１】
入力テキストに対応するコンテキスト情報に基づいて、複数の状態を持つ統計モデルの系列である統計モデル系列を生成する統計モデル系列生成部と、
前記統計モデル系列の各状態に対応する音声区間ごとに、音声データベースに含まれる音声波形から抽出された音響特徴パラメータの中から複数の音響特徴パラメータを選択し、選択した複数の音響特徴パラメータの系列である複数音響特徴パラメータ系列を生成する複数音響特徴パラメータ系列生成部と、
前記複数音響特徴パラメータ系列を用いて分布列を生成し、該分布列に基づいて生成される音響特徴パラメータを用いて音声波形を生成する波形生成部と、を備える音声合成装置。
【請求項２】
前記波形生成部は、
前記統計モデル系列の各状態に対するフレーム数を決定し、
各フレームに対して、前記複数音響特徴パラメータ系列に含まれる複数の音響特徴パラメータを対応付け、
各フレームに対応付けた複数の音響特徴パラメータの平均ベクトルを用いて、前記分布列を生成する、請求項１に記載の音声合成装置。
【請求項３】
前記波形生成部は、
前記分布列に基づいて生成する音響特徴パラメータとして、前後の音響特徴パラメータ間に生じる歪みを低減した平滑化音響特徴パラメータを生成し、
前記平滑化音響特徴パラメータを用いて音声波形を生成する、請求項１に記載の音声合成装置。
【請求項４】
前記複数音響特徴パラメータ系列に含まれる複数の音響特徴パラメータは、それぞれ静的特徴パラメータと動的特徴パラメータとを含み、
前記波形生成部は、前記静的特徴パラメータおよび前記動的特徴パラメータの分布列に基づいて、前記平滑化音響特徴パラメータを生成する、請求項３に記載の音声合成装置。
【請求項５】
前記複数音響特徴パラメータ系列生成部は、
前記統計モデル系列に基づいて、音声区間ごとに選択される音響特徴パラメータの候補に対する尤度を算出し、
前記尤度に基づいて、各音声区間に対して複数の音響特徴パラメータを選択する、請求項１に記載の音声合成装置。
【請求項６】
前記複数音響特徴パラメータ系列生成部は、音声区間ごとに選択される音響特徴パラメータの候補に対して前記尤度に基づく順位付けを行い、各音声区間に対して、順位が上位の所定数の音響特徴パラメータを選択する、請求項５に記載の音声合成装置。
【請求項７】
前記複数音響特徴パラメータ系列生成部は、
前記尤度として、音声区間の目標と適合する度合いを表す目標尤度と、隣接する音声区間に対する後続または先行として適合する度合いを表す接続尤度とを算出し、
前記目標尤度および前記接続尤度に基づいて、各音声区間に対して複数の音響特徴パラメータを選択する、請求項５に記載の音声合成装置。
【請求項８】
前記複数音響特徴パラメータ系列生成部は、
前記統計モデル系列に基づいて、各音声区間で選択される最適音響特徴パラメータの系列である最適音響特徴パラメータ系列を生成し、
音声区間ごとに選択される音響特徴パラメータの候補に対して、先行する音声区間の最適音響特徴パラメータからの前記接続尤度と、当該音声区間に対応する統計モデルとの前記目標尤度と、後続する音声区間の最適音響特徴パラメータへの前記接続尤度とに基づいて順位付けを行い、各音声区間に対して、順位が上位の所定数の音響特徴パラメータを選択する、請求項７に記載の音声合成装置。
【請求項９】
前記複数音響特徴パラメータ系列生成部は、
音声区間ごとに選択される音響特徴パラメータの候補に対して、前記音声データベースに含まれる音声波形において先行する音声区間の音響特徴パラメータと隣接しているかどうかを表す隣接指標を算出し、
前記隣接指標に基づいて、前記音声データベースに含まれる音声波形において先行する音声区間の音響特徴パラメータと隣接している音響特徴パラメータを優先的に選択する、請求項１に記載の音声合成装置。
【請求項１０】
前記複数音響特徴パラメータ系列生成部は、各音声区間に対して、単一の最適音響特徴パラメータを用いるか複数の音響特徴パラメータを用いるかを判断し、
前記波形生成部は、複数の音響特徴パラメータを用いる音声区間については複数の音響特徴パラメータの平均ベクトルを用い、単一の最適音響特徴パラメータを用いる音声区間については最適特徴パラメータを平均ベクトルとして用いて前記分布列を生成する、請求項１に記載の音声合成装置。
【請求項１１】
前記複数音響特徴パラメータ系列生成部は、最適音響特徴パラメータの尤度と、最適音響特徴パラメータが前記音声データベースに含まれる音声波形において先行する音声区間の音響特徴パラメータと隣接しているかどうかを表す隣接指標と、最適音響特徴パラメータのコンテキスト情報との一致の度合いを表すコンテキスト一致度との少なくとも一つに基づいて、単一の最適音響特徴パラメータを用いるか複数の音響特徴パラメータを用いるかを判断する、請求項１０に記載の音声合成装置。
【請求項１２】
前記統計モデルの各状態の決定木および決定木のリーフノードにおける出力分布を統計モデル情報として記憶する統計モデル記憶部と、
前記音声データベースに含まれる音声波形から抽出された音響特徴パラメータを、前記統計モデル情報の生成時に用いられた決定木のリーフノードを示す情報とともに記憶する音響特徴パラメータ記憶部と、をさらに備え、
前記統計モデル系列生成部は、各音声区間に対して、コンテキスト情報に基づいて決定木を辿ることにより定まるリーフノードの出力分布によって前記統計モデル系列の出力分布を決定し、
前記複数音響特徴パラメータ系列生成部は、前記各リーフノードもしくは、各リーフノードの上位ノードを選択し、該上位ノード以下のノードに対応づけられた音響特徴パラメータを、音声区間ごとに選択される音響特徴パラメータの候補とする、請求項１に記載の音声合成装置。
【請求項１３】
前記統計モデルは、前記音声データベースに含まれる音声波形から抽出された音響特徴パラメータをもとに学習される、請求項１に記載の音声合成装置。
【請求項１４】
前記音響特徴パラメータは、音声波形のスペクトル情報を表すスペクトル包絡パラメータ、音源情報を表す音源パラメータ、韻律情報を表す韻律特徴パラメータのうちの少なくとも一つである、請求項１に記載の音声合成装置。
【請求項１５】
音声合成装置において実行される音声合成方法であって、
入力テキストに対応するコンテキスト情報に基づいて、複数の状態を持つ統計モデルの系列である統計モデル系列を生成する工程と、
前記統計モデル系列の各状態に対応する音声区間ごとに、音声データベースに含まれる音声波形から抽出された音響特徴パラメータの中から複数の音響特徴パラメータを選択し、選択した複数の音響特徴パラメータの系列である複数音響特徴パラメータ系列を生成する工程と、
前記複数音響特徴パラメータ系列を用いて分布列を生成し、該分布列に基づいて生成される音響特徴パラメータを用いて音声波形を生成する工程と、を含む音声合成方法。
【請求項１６】
コンピュータに、
入力テキストに対応するコンテキスト情報に基づいて、複数の状態を持つ統計モデルの系列である統計モデル系列を生成する機能と、
前記統計モデル系列の各状態に対応する音声区間ごとに、音声データベースに含まれる音声波形から抽出された音響特徴パラメータの中から複数の音響特徴パラメータを選択し、選択した複数の音響特徴パラメータの系列である複数音響特徴パラメータ系列を生成する機能と、
前記複数音響特徴パラメータ系列を用いて分布列を生成し、該分布列に基づいて生成される音響特徴パラメータを用いて音声波形を生成する機能と、を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音声合成装置、音声合成方法およびプログラムに関する。
【背景技術】
【０００２】
入力されたテキストに対応する合成音声を生成する音声合成装置が知られている。従来の音声合成装置の一つとして、大量の音声波形のデータベースを用意し、入力されたテキストに従って音声波形データベースから音声素片の選択を行い、選択された音声素片を接続することにより音声を合成する波形接続型音声合成装置がある。また、各区間に対して複数の音声素片を選択し、選択された複数の音声素片から音声波形を生成することにより、安定感を高めた複数素片選択型音声合成装置も知られている。このような波形接続型音声合成装置では、適切に選択された区間では録音音声に近い高品質な合成音声が得られるものの、選択された音声素片と韻律の不一致による自然性の低下や、隣接する音声素片の不連続による歪みが問題となる。【０００３】
一方、統計モデルに基づく音声合成装置として、音声データベースから分析して得られる特徴パラメータからＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：隠れマルコフモデル）を学習し、学習されたＨＭＭを用いて音声を合成するＨＭＭに基づく音声合成装置が提案され、広く用いられている。ＨＭＭに基づく音声合成では、入力されたテキストに従って分布列を求め、得られた分布列から特徴パラメータを生成することにより音声を合成する。しかし、ＨＭＭ音声合成の問題点として、平均化された特徴パラメータから音声合成することによって過剰平滑化が生じ、機械的な音質の合成音声となる点が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０８０９８９号公報
【特許文献２】特開２０１３−１１７６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、過剰平滑化による音質劣化および、波形接続による自然性の劣化を低減し、自然で高品質な音声合成を可能とする音声合成装置、音声合成方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の音声合成装置は、統計モデル系列生成部と、複数音響特徴パラメータ系列生成部と、波形生成部と、を備える。統計モデル系列生成部は、入力テキストに対応するコンテキスト情報に基づいて、複数の状態を持つ統計モデルの系列である統計モデル系列を生成する。複数音響特徴パラメータ系列生成部は、前記統計モデル系列の各状態に対応する音声区間ごとに、音声データベースに含まれる音声波形から抽出された音響特徴パラメータの中から複数の音響特徴パラメータを選択し、選択した複数の音響特徴パラメータの系列である複数音響特徴パラメータ系列を生成する。波形生成部は、前記複数音響特徴パラメータ系列を用いて分布列を生成し、該分布列に基づいて生成される音響特徴パラメータを用いて音声波形を生成する。
【図面の簡単な説明】
【０００７】
【図１】音声合成装置の構成例を示すブロック図。
【図２】ＨＭＭの構成を説明する図。
【図３】ＨＭＭ記憶部が記憶する決定木および分布を示す図。
【図４】ＨＭＭの学習について説明する図。
【図５】話者依存モデルの学習によるＨＭＭ学習の処理手順を示すフローチャート。
【図６】話者適応モデルの学習によるＨＭＭ学習の処理手順を示すフローチャート。
【図７】複数音響特徴パラメータ系列生成部の構成例を示すブロック図。
【図８】最適音響特徴パラメータ系列生成部の処理手順を示すフローチャート。
【図９】最適音響特徴パラメータ系列生成部の構成例を示すブロック図。
【図１０】複数音響特徴パラメータ選択部の処理手順を示すフローチャート。
【図１１】波形生成部の構成例を示すブロック図。
【図１２】分布列生成部の処理手順を示すフローチャート。
【図１３】音声合成装置による一連の処理の概要を示すフローチャート。
【図１４】音声波形と音響特徴パラメータおよびコンテキスト情報の一例を示す図。
【図１５】ビタビアライメントによる時間境界の例を示す図。
【図１６】ＨＭＭ系列生成部の処理を説明する図。
【図１７】特徴パラメータ記憶部の構成例を示す図。
【図１８】最適音響特徴パラメータ系列生成部の処理を説明する図。
【図１９】複数音響特徴パラメータ選択部の処理を説明する図。
【図２０】音響特徴パラメータの候補を追加する処理を説明する図。
【図２１】音響特徴パラメータを生成するまでの処理手順を示すフローチャート。
【図２２】音響特徴パラメータを生成するまでの処理を説明する図。
【図２３】波形生成部の処理を説明する図。
【図２４】複数音響特徴パラメータ系列生成部の他の構成例を示すブロック図。
【図２５】音響特徴パラメータ個数決定部の処理手順を示すフローチャート。
【発明を実施するための形態】
【０００８】
以下、統計モデルとしてＨＭＭ（隠れマルコフモデル）を用いる例を挙げて、実施形態の音声合成装置、音声合成方法およびプログラムについて、図面を参照しながら詳しく説明する。
【０００９】
（第１の実施形態）
図１は、第１の実施形態に係る音声合成装置の構成例を示すブロック図である。本実施形態の音声合成装置は、図１に示すように、テキスト解析部１０１と、ＨＭＭ系列生成部１０２と、複数音響特徴パラメータ系列生成部１０３と、波形生成部１０４と、ＨＭＭ記憶部１０５と、音響特徴パラメータ記憶部１０６とを備える。
【００１０】
テキスト解析部１０１は、入力テキストに対する言語解析により、入力テキストに対応するコンテキスト情報を生成する。例えばテキスト解析部１０１は、入力テキストに対して形態素解析を行い、読み情報やアクセント情報などの音声合成に必要な言語情報を求め、得られた読み情報および言語情報などを用いて、入力テキストに対応するコンテキスト情報を生成する。また、テキスト解析部１０１は、別途作成した入力テキストに対応する修正済みの読み・アクセント情報などを用いてコンテキスト情報を生成してもよい。
【００１１】
コンテキスト情報は、音素・半音素・音節などのＨＭＭのモデルを分類する単位として用いられる情報の繋がりを表す情報である。例えば音声単位として音素を用いる場合、コンテキスト情報として、音素名の系列を用いることができる。さらに、先行音素・後続音素を付加したトライフォンや、前後２音素ずつ含めた音素情報、有声音・無声音による分類やさらに詳細化した音素種別の属性を表す音素種別情報、各音素の文内、呼気段落内、アクセント句内の位置、アクセント句のモーラ数・アクセント型、アクセント核までの位置、語尾上げの情報などの言語的な属性情報を含めたコンテキスト情報を用いることができる。
【００１２】
ＨＭＭ系列生成部１０２は、ＨＭＭ記憶部１０５を参照し、テキスト解析部１０１の処理により得られたコンテキスト情報に基づいて、入力テキストに対応するＨＭＭ系列を生成する。ＨＭＭ（隠れマルコフモデル）は、音声合成に利用可能な統計モデルの一つとして広く知られている。ＨＭＭ系列は、入力テキストに対応するコンテキスト情報が示す音声単位の系列に従って、それぞれの音声単位に対応するＨＭＭを時間方向に繋げたものとなる。
【００１３】
ＨＭＭは複数の状態を含み、状態遷移確率と各状態の出力分布とにより表される統計モデルである。ＨＭＭとしてｌｅｆｔ−ｔｏ−ｒｉｇｈｔ型ＨＭＭを用いる場合、図２に示すように、各状態の出力分布Ｎ（ｏ｜μｉ，Σｉ）と状態遷移確率ａｉｊ（ｉ，ｊは状態インデックス）によりモデル化され、隣接する状態への遷移確率および自己遷移確率のみ値を持つ形でモデル化される。ここで、自己遷移確率の代わりに継続長分布を用いるものをＨＳＭＭ（隠れセミマルコフモデル）と呼び、継続長のモデル化に用いられるが、本実施形態ではＨＳＭＭも含めてＨＭＭと呼ぶものとする。
【００１４】
ＨＭＭ系列生成部１０２は、ＨＭＭ記憶部１０５に記憶されているＨＭＭ情報に基づいて、ＨＭＭ系列を生成する。ＨＭＭ記憶部１０５は、ＨＭＭの各状態の出力分布と、コンテキスト情報から各状態の出力分布を決定する情報とを、ＨＭＭ情報として記憶している。ＨＭＭに基づく音声合成では、出力分布を決定する情報として決定木を用いる方法が広く利用されている。その場合、ＨＭＭ記憶部１０５に記憶するＨＭＭを学習する際には、決定木に基づく状態クラスタリングを利用し、生成時にはコンテキスト情報を参照して決定木を辿ることにより出力分布を特定する。その場合、ＨＭＭ記憶部１０５には、図３に示すように、ＨＭＭの各状態の音響特徴パラメータのモデルである決定木および決定木の各リーフノードの出力分布が記憶され、さらに継続長分布を選択するための決定木および分布も記憶される。決定木の各ノードには、分布を分類する質問が関連付けられており、例えば「無音かどうか」、「有声音であるかどうか」、「アクセント核かどうか」といった質問と、その質問に該当する場合の子ノードと、該当しない場合の子ノードとに分類される。
【００１５】
ＨＭＭ系列生成部１０２は、テキスト解析部１０１の処理により得られたコンテキスト情報に対して、各ノードの質問に該当するかどうかを判断することによって決定木を探索し、リーフノードを得る。そして、ＨＭＭ系列生成部１０２は、得られたリーフノードに対応付けられている分布を各状態の出力分布として用いることにより、各音声単位に対応するＨＭＭを構築し、入力テキストのコンテキスト情報に対応するＨＭＭの系列であるＨＭＭ系列を生成する。
【００１６】
ここで、図４を用いて、ＨＭＭ記憶部１０５が記憶するＨＭＭの学習について説明する。ＨＭＭ記憶部１０５が記憶するＨＭＭは、図４に示すように、音声コーパス２０１（音声データベースの一例）が記憶する情報を用いて学習される。音声コーパス２０１は、モデル学習に用いる音声波形および各音声波形に対応するコンテキスト情報を記憶している。音声波形は、発話者の収録音声から文ごとに切り出されたデータを用意し、コンテキスト情報は、各収録音声の発声内容から予め生成しておく。
【００１７】
図４に示す音響特徴パラメータ分析部２０２は、音声コーパス２０１が記憶する音声波形データから音響特徴パラメータを求める。音響特徴パラメータは、音声のスペクトル包絡パラメータ、音源パラメータおよび韻律特徴パラメータなど、音声を分析して得られる特徴パラメータであり、音声波形データから抽出される。スペクトル包絡パラメータとしては、メルケプストラム、メルＬＳＰ、線形予測係数などのスペクトル包絡を表す特徴パラメータが利用できる。また、音源パラメータとしては、各スペクトル帯域の非周期成分の割合を表す帯域雑音強度（ＢＡＰ：ｂａｎｄ  ａｐｅｒｉｏｄｉｃｉｔｙ）や位相情報もしくは群遅延情報などを用いることができる。
【００１８】
音声の分析は、例えば、固定のフレームレートによる分析やピッチ同期分析、ピッチ同期分析したパラメータを固定フレームレートに補間したパラメータなどを用いることができる。また、ＳＴＲＡＩＧＨＴ方式による分析を用いてもよい。
【００１９】
韻律特徴パラメータとしては、音声コーパス２０１の各音声波形から韻律パラメータを抽出して用いる。韻律特徴パラメータは、各音韻の抑揚や高さの変化を表すピッチ情報や長さを表す継続長による特徴パラメータであり、音声波形から抽出したピッチ情報、ピッチ情報から求めた対数基本周波数列および音素継続長や状態継続長を用いることができる。ピッチ情報は、有声音のみ値を持つパラメータであるが、無声音の区間に補間したピッチを当てはめて用いてもよいし、無声音の区間を示す記号をパラメータとして用いてもよい。各音素の継続長の情報は、音素境界時刻の情報としてコンテキスト情報に付加しておき、ＨＭＭの学習に用いることができ、入力された音素境界時刻情報から継続長分布のパラメータを求めてもよく、またＨＳＭＭのようにＨＭＭ学習の際の各状態と特徴パラメータのフレームとを確率的に対応付ける情報を用いて最尤推定してもよい。
【００２０】
音響特徴パラメータ分析部２０２において得られた音響特徴パラメータは、そのコンテキスト情報や時間境界情報などとともに、音響特徴パラメータ記憶部１０６に格納されて記憶される。音響特徴パラメータ記憶部１０６が記憶する音響特徴パラメータは、図４に示すＨＭＭ学習部２０３においてＨＭＭの学習データとして利用される。音響特徴パラメータ記憶部１０６が記憶する音響特徴パラメータは、さらに、後述の複数音響特徴パラメータ系列生成部１０３が選択する音響特徴パラメータの候補データとして用いられる。
【００２１】
図４に示すＨＭＭ学習部２０３は、音響特徴パラメータ記憶部１０６が記憶する音響特徴パラメータとコンテキスト情報とを用いてＨＭＭを学習する。ＨＭＭの学習は、話者依存モデルの学習、もしくは話者適応モデルの学習によって行うことができる。
【００２２】
図５は、話者依存モデルの学習によりＨＭＭの学習を行う場合の処理手順を示すフローチャートである。この例の場合、ＨＭＭ学習部２０３は、ＨＭＭ音声合成のモデル学習と同様に、まずステップＳ１０１において、音素ＨＭＭを初期化する。次にＨＭＭ学習部２０３は、ステップＳ１０２において、音素ＨＭＭにより初期化した各コンテキスト情報に対応するＨＭＭを最尤推定する。次にＨＭＭ学習部２０３は、ステップＳ１０３において、決定木によるクラスタリング方法を適用して、各状態の出力分布と状態継続長分布の決定木およびリーフノードの分布を学習する。そして、ＨＭＭ学習部２０３は、ステップＳ１０４において、得られたモデルを最尤推定により更新し、得られたＨＭＭ情報をＨＭＭ記憶部１０５に格納する。これにより、学習データに対して尤度を最大化するＨＭＭを生成することができる。
【００２３】
図６は、話者適応モデルの学習によりＨＭＭの学習を行う場合の処理手順を示すフローチャートである。この例の場合、ＨＭＭ学習部２０３は、図６に示すように、まずステップＳ２０１において、変換の元となる適応元ＨＭＭを入力する。次にＨＭＭ学習部２０３は、ステップＳ２０２において、適応元ＨＭＭから音声コーパスの話者に適応するための規則を推定する。そして、ＨＭＭ学習部２０３は、ステップＳ２０３において、ステップＳ２０２で推定した規則により適応元ＨＭＭを変換して話者適応ＨＭＭを生成し、ＨＭＭ情報をＨＭＭ記憶部１０５に格納する。適応モデルとして、複数の話者から作成した平均的な声のモデルを用い、適応方法として最尤線形回帰（ＭＬＬＲ）を用いる場合、話者性を変換する回帰行列をステップＳ２０２によって求めることになり、ステップＳ２０３で得られた回帰行列を適用して目標話者の適応ＨＭＭを生成する。なお、話者適応技術としては、ＭＡＰ推定、固有声、クラスタ適応学習など、他の話者適応手法を用いることができ、これにより少量の音声コーパスからも目標話者のＨＭＭを生成することができる。また、学習に用いる音響特徴パラメータに対応するＨＭＭモデルを学習する方法であれば、例えばモデルの補間による方法など、話者依存モデルもしくは話者適応モデル以外の方法も利用できる。
【００２４】
従来のＨＭＭに基づく音声合成では、入力テキストに対応するコンテキスト情報に従ってＨＭＭ系列を生成し、このＨＭＭ系列から音響特徴パラメータを生成して波形生成を行う。このため、平均化された音響特徴パラメータから波形生成されることとなって過剰平滑化が生じ、機械的な音質の合成音声となる問題がある。
【００２５】
これに対し本実施形態の音声合成装置では、入力テキストに対応するコンテキスト情報に従ってＨＭＭ系列を生成し、このＨＭＭ系列に基づいて、後述の複数音響特徴パラメータ系列生成部１０３において、ＨＭＭ系列の各状態に対応する音声区間のそれぞれに対して複数の音響特徴パラメータを選択し、音声区間ごとに選択した複数の音響特徴パラメータを時間方向に繋げた複数音響特徴パラメータ系列を生成する。そして、生成された複数音響特徴パラメータ系列から分布列を生成し、この分布列から音響特徴パラメータを生成して波形生成を行う。これにより、ＨＭＭ音声合成において生じる過剰平滑化を抑えることができ、肉声感の高い音声合成が可能になる。
【００２６】
また、本実施形態の音声合成装置では、従来の複数音声素片を選択して接続する音声合成装置（特許文献１参照）とは異なり、音響特徴パラメータの分布に基づいて音声合成を行う。このため、学習データの統計的な特徴を適切に反映した音声合成が可能となり、また、処理の困難な波形領域ではなく音響特徴パラメータの領域において波形生成や平滑化処理を行うことが可能になる。つまり、本実施形態の音声合成装置は、韻律特徴パラメータ、スペクトル包絡パラメータおよび音源パラメータそれぞれの最適系列から波形生成を行うため、ＨＭＭ系列に対して尤度の高い系列を生成することができ、平滑化の際にはＨＭＭに基づく音声合成で用いられている静的・動的特徴パラメータを用いた特徴パラメータ生成アルゴリズムを適用することが可能になる。これにより、各音声区間の静的・動的特徴パラメータの分布を反映した、音響特徴パラメータの時間変化を適切に再現する音響特徴パラメータの生成が可能になる。
【００２７】
また、ＨＭＭ系列に基づいて音声区間ごとに最適な音響特徴パラメータを選択する従来技術も存在するが（特許文献２参照）、単に音声区間ごとの最適な音響特徴パラメータを選択する方法では、接続の不連続による歪みやコンテキストの不一致による音質劣化が生じる。これに対し本実施形態の音声合成装置では、ＨＭＭ系列に基づいて音声区間ごとに複数の音響特徴パラメータを選択して複数音響特徴パラメータ系列を生成し、この複数音響特徴パラメータ系列から分布列を生成し、この分布列から音響特徴パラメータを生成して波形生成を行うため、従来技術で懸念されるような不連続歪みやコンテキストの不一致による音質劣化を低減した安定した音声合成が可能になる。すなわち、本実施形態の音声合成装置によれば、過剰に平滑化された機械的な音質の合成音声と、肉声感は高いものの不一致の生じる合成音声とのトレードオフを考慮した上で、音響特徴パラメータの統計的な特徴を反映したバランスのよい音声合成が可能になり、自然で滑らかな合成音声の作成が可能となる。
【００２８】
複数音響特徴パラメータ系列生成部１０３は、ＨＭＭ系列生成部１０２により生成されたＨＭＭ系列に基づいて、ＨＭＭ系列の各状態に対応する音声区間ごとに、音響特徴パラメータ記憶部１０６が記憶する音響特徴パラメータの中から複数の音響特徴パラメータを選択して、複数音響特徴パラメータ系列を生成する。
【００２９】
複数音響特徴パラメータ系列生成部１０３の構成例を図７に示す。図７に示す複数音響特徴パラメータ系列生成部１０３は、最適音響特徴パラメータ系列生成部３０１と、複数音響特徴パラメータ選択部３０２とを有する。
【００３０】
図７に示す複数音響特徴パラメータ系列生成部１０３では、まず最適音響特徴パラメータ系列生成部３０１により、ＨＭＭ系列生成部１０２により生成されたＨＭＭ系列に基づき、入力テキストに対応する最適音響特徴パラメータ系列を求める。そして、複数音響特徴パラメータ選択部３０２により、得られた最適音響特徴パラメータ系列に基づき、各音声区間に対して、音響特徴パラメータ記憶部１０６が記憶する音響特徴パラメータの中から複数の音響特徴パラメータを選択して、複数音響特徴パラメータ系列を得る。音響特徴パラメータ選択の単位は任意の単位により行うことができるが、ここではＨＭＭ系列の状態ごとに複数の音響特徴パラメータを選択するものとする。この場合、音響特徴パラメータ記憶部１０６には、音声波形の各音響特徴パラメータとともに、状態に対応する境界を付与した情報を記憶しておく。ＨＭＭの各状態と音声波形との対応付けは予めビタビアライメントにより求め、得られた最尤状態遷移系列の時間境界を状態の境界として保存しておく。
【００３１】
最適音響特徴パラメータ系列生成部３０１は、音響特徴パラメータの選択に目標尤度および接続尤度を用いる場合、ＨＭＭ系列の状態を単位として、動的計画法により最適音響特徴パラメータ系列を生成する。図８は、この場合の最適音響特徴パラメータ系列生成部３０１の処理手順を示すフローチャートである。
【００３２】
最適音響特徴パラメータ系列生成部３０１は、まずステップＳ３０１において、ＨＭＭ系列の先頭のＨＭＭの初期状態における最適音響特徴パラメータの候補（初期候補）を選択し、ステップＳ３０２において、各候補に対する目標尤度（初期目標尤度）を計算する。目標尤度は、該当する音声区間における目標と適合する度合いを数値化したものであり、ＨＭＭ系列の分布の尤度から求めることができる。対数尤度を用いる場合、各音声区間内の音響特徴パラメータの対数尤度の和として計算できる。最適音響特徴パラメータの候補は、選択元の音響特徴パラメータの集合であり、該当するＨＭＭの状態における決定木のリーフノードの分布を学習する際に用いた学習データを候補とすることができる。同一の状態に対応する同一音素の音響特徴パラメータを候補する方法や、音韻環境で絞った同一音素を候補とする方法、韻律属性の一致度合いによって候補を決定する方法など、他の方法により決めることもできる。
【００３３】
次に最適音響特徴パラメータ系列生成部３０１は、状態番号を一つ進めて、ステップＳ３０３およびステップＳ３０４において、各状態に対する最適音響特徴パラメータの候補の選択および尤度の計算を行う。ステップＳ３０３およびステップＳ３０４の処理は、ＨＭＭ系列の最後のＨＭＭの最終状態に対する処理が終了するまで繰り返される（ステップＳ３０５：Ｎｏ）。そして、バックトラックするため、選択された最適音響特徴パラメータの各候補に対して、一つ前の状態の候補の情報を保存しておく。なお、ＨＭＭ系列の最後のＨＭＭを除き、ＨＭＭの最終状態を処理した場合は後続するＨＭＭの初期状態に進んで処理を行っていく。
【００３４】
ステップＳ３０３での最適音響特徴パラメータの候補を選択する処理は、ステップＳ３０１と同様に行うことができる。ステップＳ３０４では、ステップＳ３０１と同様の目標尤度の計算に加えて接続尤度の計算も行う。接続尤度は、該当する音声区間が先行区間の後続として適合する度合い、あるいは該当する音声区間が後続区間の先行として適合する度合いを数値化したものである。接続尤度は、例えば先行区間に対する接続尤度の場合、先行区間の各候補に対し、該当状態における各候補が選ばれた際の尤度を用い、平均ベクトルとして一つ前の状態の各候補の後続区間の平均ベクトルを用い、分散は各状態の出力分布の分散を用いたガウス分布の尤度により計算することができる。
【００３５】
そして、ＨＭＭ系列の最後のＨＭＭの最終状態に対する処理が終了すると（ステップＳ３０５：Ｙｅｓ）、最適音響特徴パラメータ系列生成部３０１は、ステップＳ３０６において、ＨＭＭ系列の最後のＨＭＭの最終状態で尤度最大となる音響特徴パラメータを最適音響パラメータとして選択し、その先行状態の最適音響特徴パラメータを順にバックトラックすることにより、最適音響特徴パラメータ系列を求める。そして、最適音響特徴パラメータ系列生成部３０１は、以上のように生成した最適音響特徴パラメータ系列を複数音響特徴パラメータ選択部３０２に渡す。
【００３６】
最適音響特徴パラメータ系列生成部３０１の構成例を図９に示す。図９に示す最適音響特徴パラメータ系列生成部３０１は、音響特徴パラメータ候補選択部４０１と、目標尤度・接続尤度計算部４０２と、バックトラック部４０３とを有する。この図９に示す最適音響特徴パラメータ系列生成部４０２では、音響特徴パラメータ候補選択部４０１において最適音響特徴パラメータの候補が選択され、目標尤度・接続尤度計算部４０２において目標尤度および接続尤度の計算が行われる。ＨＭＭ系列の状態を単位としてこれら音響特徴パラメータ候補選択部４０１および目標尤度・接続尤度計算部４０２での処理が繰り返され、最後にバックトラック部４０３において最適音響特徴パラメータ系列が生成される。
【００３７】
複数音響特徴パラメータ選択部３０２は、最適音響特徴パラメータ系列生成部３０１により生成された最適音響特徴パラメータ系列に基づいて、ＨＭＭ系列の各状態に対してそれぞれ複数の音響特徴パラメータを選択する。
【００３８】
図１０は、複数音響特徴パラメータ選択部３０２の処理手順の一例を示すフローチャートである。複数音響特徴パラメータ選択部３０２は、まずステップＳ４０１において、音響特徴パラメータの候補を選択し、ステップＳ４０２において、ステップＳ４０１で選択した各音響特徴パラメータの候補に対する尤度の計算を行い、ステップＳ４０３において、ステップＳ４０２で算出された尤度に基づいて、音響特徴パラメータの候補の順位付けを行う。そして、複数音響特徴パラメータ選択部３０２は、次のステップＳ４０４において、ステップＳ４０３で決定した順位の最上位から順番に所定個数の音響特徴パラメータを選択する。これらステップＳ４０１〜ステップＳ４０４の処理は、ＨＭＭ系列の先頭のＨＭＭの初期状態から順番に行われ、ＨＭＭ系列の最後のＨＭＭの最終状態まで繰り返される（ステップＳ４０５：Ｎｏ）。そして、ＨＭＭ系列の最後のＨＭＭの最終状態に対する処理が終了すると（ステップＳ４０５：Ｙｅｓ）、一連の処理を終了する。
【００３９】
ステップＳ４０１で選択する音響特徴パラメータの候補としては、最適音響特徴パラメータ系列生成部３０１が選択した最適音響特徴パラメータの候補（図８のステップＳ３０３で選択される候補）を利用することができる。ステップＳ４０２の尤度計算は、選択された音響特徴パラメータの候補のそれぞれに対し、目標尤度および接続尤度の双方を含む尤度の計算を行う。例えば、各音声区間について、先行する音声区間における最適音響特徴パラメータからの接続尤度と、各音声区間における目標尤度と、後続する音声区間における最適音響特徴パラメータへの接続尤度とから、各音響特徴パラメータの候補について尤度を計算することができる。
【００４０】
このように算出された尤度に基づいて、ステップＳ４０３で各音響特徴パラメータの候補の順位付けを行い、ステップＳ４０４で複数の音響特徴パラメータを選択する。これらの処理により、入力されたＨＭＭ系列の各ＨＭＭの各状態に対して、複数の音響特徴パラメータを選択することができ、複数音響特徴パラメータ系列を生成することができる。複数音響特徴パラメータ選択部３０２は、以上の処理により生成される複数音響特徴パラメータ系列を波形生成部１０４に渡す。
【００４１】
なお、ここでは、音響特徴パラメータを選択する方法として尤度最大化の方法を用いる例を説明したが、ＨＭＭ系列に基づいて音響特徴パラメータを選択する方法としては、任意の方法を用いることができる。例えば、尤度の逆数や、平均ベクトルとの二乗誤差やマハラノビス距離などによって計算するコスト関数を定義し、コスト最小化により音響特徴パラメータの選択を行ってもよい。また、動的計画法による音響特徴パラメータの選択ではなく、ＨＭＭ系列の分布による目標尤度のみから音響特徴パラメータを選択してもよいし、音響的尤度と韻律的尤度とからコストを計算して音響特徴パラメータの選択も行ってもよい。さらに、ＨＭＭ系列から音響特徴パラメータを生成し、生成された音響特徴パラメータからの距離をもとにコスト計算を行って音響特徴パラメータの選択を行ってもよい。
【００４２】
また、複数音響特徴パラメータ系列生成部１０３の構成として、図７に示したように、最適音響特徴パラメータ系列生成部３０１により最適音響特徴パラメータ系列を生成し、その後、複数音響特徴パラメータ選択部３０２により、最適音響特徴パラメータ系列に基づいて音声区間ごと（ＨＭＭ系列の状態ごと）に複数の音響特徴パラメータを選択する構成を例示した。しかし、複数音響特徴パラメータ系列生成部１０３の構成は上記の例に限定されるものではない。複数音響特徴パラメータ系列生成部１０３は、例えば、ＨＭＭ系列の先頭から状態ごとに順に複数の音響特徴パラメータを選択する構成であってもよい。また、複数音響特徴パラメータ系列生成部１０３は、例えば、最適音響特徴パラメータ系列に含まれる最適音響特徴パラメータを除いた残りの候補から上位の複数の音響特徴パラメータを選択して複数音響特徴パラメータ系列を生成する方法など、音響特徴パラメータの候補から複数の音響特徴パラメータを選択して複数音響特徴パラメータ系列を生成する任意の方法を用いることができる。
【００４３】
波形生成部１０４は、複数音響特徴パラメータ系列生成部１０３により生成された複数音響特徴パラメータ系列に基づいて、入力テキストに対応する音声波形を生成する。
【００４４】
波形生成部１０４の構成例を図１１に示す。図１１に示す波形生成部１０４は、分布列生成部５０１と、音響特徴パラメータ生成部５０２と、音源生成部５０３と、音声波形生成部５０４とを有する。
【００４５】
分布列生成部５０１は、複数音響特徴パラメータ系列をもとに、各音声区間に対して選択された複数の音響特徴パラメータから音響特徴パラメータの分布を生成し、実際に音声波形の生成に用いる音響特徴パラメータを生成するための分布列を得る。音響特徴パラメータの分布は、複数の音響特徴パラメータの平均値を平均ベクトルとして用い、分散も、複数の音響特徴パラメータから算出することができる。ここで分散は、ＨＭＭ系列の分布列の分散を用いることも可能であり、この場合、例えば音響特徴パラメータの候補が１つのみの音声区間に対しても分布を生成することができる。
【００４６】
図１２は、分布列生成部５０１の処理手順の一例を示すフローチャートである。分布列生成部５０１は、まずステップＳ５０１において、ＨＭＭ系列の各状態のフレーム数を継続長分布に基づいて決定し、ステップＳ５０２において、各フレームに対して複数音響特徴パラメータ系列に含まれる複数の音響特徴パラメータの対応付け（マッピング）を行う。そして、分布列生成部５０１は、次のステップＳ５０３において、各フレームに対応付けられた複数の音響特徴パラメータから平均ベクトルを算出し、さらにステップＳ５０４において、各フレームの平均ベクトルに対して、例えば複数の音響特徴パラメータから算出した分散を付与して、分布列を生成する。なお、各フレームの平均ベクトルに対して、ＨＭＭ系列の分布列の分散をそのまま付与して分布列を生成してもよい。
【００４７】
音響特徴パラメータ生成部５０２は、分布列生成部５０１により生成された分布列から音響特徴パラメータを生成する。ここでの音響特徴パラメータとしては、分布列の平均ベクトルをそのまま音響特徴パラメータとして用いてもよいが、滑らかな系列となるように平均ベクトルを平滑化する処理を行うことで生成することが望ましい。平滑化処理を行うことで生成される音響特徴パラメータを、ここでは平滑化音響特徴パラメータという。平滑化処理は、音響特徴パラメータの各次元にローパスフィルタを適用してもよいし、線形平滑化やスプライン平滑化など、様々な平滑化手法を適用することができる。また、平滑化処理には、ＨＭＭ音声合成に利用されている動的特徴パラメータの分布を考慮したパラメータ生成アルゴリズムを用いることができる。この場合、ＨＭＭ系列の分布を分布列生成部５０１により生成された分布に置き換えることにより更新し、更新された分布列から静的・動的特徴パラメータの尤度に基づくパラメータ生成アルゴリズムを利用して、平滑化音響特徴パラメータを生成する。これにより、複数音響特徴パラメータ系列の静的・動的特徴パラメータの分布を考慮した最適な平滑化音響特徴パラメータを生成することができ、この平滑化音響特徴パラメータを用いて自然で滑らかな合成音声が得られる。
【００４８】
音源生成部５０３は、音源生成に用いる音響特徴パラメータ（音源パラメータ）から音源波形を生成する。また、音声波形生成部５０４は、音源生成部５０３により生成された音源波形を用いて音声波形を生成する。
【００４９】
音源生成部５０３は、例えば、韻律特徴パラメータであるピッチ、もしくは基本周波数パラメータおよび帯域雑音強度などの音源パラメータから、音源波形を生成することができる。この場合、音声波形生成部５０４は、例えば、音源生成部５０３により生成された音源波形に対し、音響特徴パラメータ生成部５０２により生成された音響特徴パラメータ（スペクトル包絡パラメータ）に従ってフィルタ処理を行うことで、音声波形を生成することができる。音声波形を生成する際、継続長は、上述したように分布列生成部５０１において、状態ごとのフレーム数を決定し、得られたフレーム数に従って各フレームに音響特徴パラメータ系列のフレームを対応付けることにより生成できる。また、ピッチ系列をピッチや基本周波数パラメータから生成し、生成されたピッチ系列からピッチマークを生成し、得られたピッチマークに従って音源波形を重畳することで、音源生成を行うことができる。同様に、音源パラメータは位相もしくは群遅延に基づくパラメータとして保持し、スペクトル包絡パラメータから振幅スペクトルを生成し、音源パラメータから位相スペクトルを生成して、逆フーリエ変換して求めた波形をピッチマークに従って重畳することにより、位相情報による音源パラメータを反映した音声波形を生成することができる。これらの処理により、合成音声の波形が生成される。
【００５０】
図１３は、本実施形態の音声合成装置による一連の処理の概要を示すフローチャートである。本実施形態の音声合成装置は、まずステップＳ６０１において、入力テキストを解析することにより入力テキストに対応するコンテキスト情報を生成し、ステップＳ６０２において、ＨＭＭ記憶部１０５を参照しながらステップＳ６０１で生成したコンテキスト情報に対応するＨＭＭ系列を生成する。そして、本実施形態の音声合成装置は、ステップＳ６０３において、図８に示した処理を行って複数音響特徴パラメータ系列を生成し、ステップＳ６０４において、ステップＳ６０３で生成した複数音響特徴パラメータ系列から分布列を生成し、生成した分布列から音響特徴パラメータを生成して波形生成を行う。
【００５１】
以下、具体例を挙げながら、上述した各部の処理の詳細を説明する。以下の説明では、特徴パラメータとして、スペクトル情報にはメルＬＳＰ、音源情報にはＢＡＰ（帯域非周期比率）、ピッチ情報には対数基本周波数（ＬＦ０）を用い、それぞれの動的特徴パラメータであるΔパラメータ、Δ２パラメータにより音声を表現するものとする。また、継続長はラベル境界情報として生成するものとする。
【００５２】
図１４は、音声波形とその音響特徴パラメータおよびコンテキスト情報の一例を示す図である。図１４に示す例では、「こんにちは」という発声に対して、音素系列およびその境界情報とモーラの高低情報を示している。モーラの高低は、アクセント句内で、高いピッチの場合は“Ｈ”、低いピッチの場合は“Ｌ”として示す。これらの情報は、コンテキスト情報の一例である。
【００５３】
また、図１４では、音素“ｏ＿Ｌ”の区間を拡大した波形と、この波形から固定のフレームレートで求めた各フレームの音響特徴パラメータを併せて示している。音響特徴パラメータは、メルＬＳＰ、ＬＦ０（ｌｏｇＦ０）およびＢＡＰと、それらのΔ、Δ２パラメータをフレームごとに並べたものを示している。この音響特徴パラメータは、ピッチ同期分析で求めたパラメータを固定のフレームレートに補間する、あるいは固定フレームレート分析、ＳＴＲＡＩＧＨＴ分析などによって算出できる。メルＬＳＰとその動的特徴、ＬＦ０とその動的特徴、ＢＡＰとその動的特徴は、各音響特徴パラメータのストリームと呼ばれる。音声コーパス２０１（音声データベース）の音声波形から、これらの情報を用いて学習したＨＭＭの情報をＨＭＭ記憶部１０５に格納する。ＨＭＭ記憶部１０５には、ＨＭＭの各状態の決定木とそのリーフノードの出力分布として記憶される。また、各音響特徴パラメータと、そのコンテキスト情報、状態境界、およびＨＭＭ記憶部１０５に記憶される決定木のリーフノードに関連付ける情報を、音響特徴パラメータ記憶部１０６に格納する。
【００５４】
図１５は、図１４の拡大した波形をＨＭＭの状態ごとの音声区間に分割する概念図である。各音素のＨＭＭの状態数を３とした場合、この図のようにビタビアライメントにより、ＨＭＭの各状態に対応させるように時間境界を求め、その境界情報を記憶する。これにより、各状態に対応付けられた音声区間の波形に対応する音響特徴パラメータを特定することができ、複数音響特徴パラメータ系列生成部１０３が選択する音響特徴パラメータの候補として利用できる。
【００５５】
例として「こんにちは」の「こん」の部分を音声合成する場合、ＨＭＭ系列生成部１０２では、コンテキスト情報“ｋ＿Ｌ”、“ｏ＿Ｌ”、“Ｎ＿Ｈ”に対応するＨＭＭ系列を生成する。この場合、図１６に示すように、各音素に対応するＨＭＭを並べてＨＭＭ系列を生成する。ＨＭＭ系列を構成する各ＨＭＭの各状態には、決定木を辿ることにより得られるリーフノードの出力分布が対応付けられる。実際には決定木は、ストリームごとに生成しており、状態ごと、ストリームごとの決定木を辿って各ストリームの分布を選択する。自己遷移確率である状態継続長分布も同様に決定木クラスタリングされ、リーフノードの分布が継続長分布として選択される。３状態の場合、決定木の個数は、メルＬＳＰ、ＬＦ０、ＢＡＰの各状態の決定木および継続長の決定木の計１０個となり、それぞれの状態、それぞれのストリームの決定木から分布を選択する。
【００５６】
音響特徴パラメータ記憶部１０６は、例えば図１７に示すように、リーフノード情報記憶部６０１と、コンテキスト情報記憶部６０２と、特徴パラメータ記憶部６０３とを含む。リーフノード情報記憶部６０１には、決定木の各リーフノードの分布の学習データとして用いられた音響特徴パラメータの文ＩＤ、開始時刻、フレーム数など、音響特徴パラメータの検索に必要な情報が記憶されている。決定木は状態ごとに持つため、図１５に示したように、ビタビアライメントにより対応付けられる各状態の開始時刻およびフレーム数が、文ＩＤとともに記憶される。
【００５７】
コンテキスト情報記憶部６０２には、音響特徴パラメータの選択の際に属性として用いるための各音声データに対応するコンテキスト情報が記憶されている。そして、特徴パラメータ記憶部６０３には、図１４に示した音響特徴パラメータが記憶されている。これにより、ＨＭＭ系列が生成された後、各状態のリーフノードの学習データを音響特徴パラメータの候補として用いることができ、リーフノードのＩＤからリーフノード情報記憶部６０１を参照して音響特徴パラメータの候補を決定する。複数音響特徴パラメータ系列生成部１０３は、複数音響特徴パラメータ系列を生成する際に、上記のように決定された音響特徴パラメータの候補の中から、各音声区間に対して複数の音響特徴パラメータを選択する。
【００５８】
複数音響特徴パラメータ系列生成部１０３は、図７に示した構成例のように、最適音響特徴パラメータ系列生成部３０１と複数音響特徴パラメータ選択部３０２とにより複数音響特徴パラメータ系列を生成する場合、まず最適音響特徴パラメータ系列生成部３０１により、尤度関数を用いて最適音響特徴パラメータ系列を生成する。モデルをλ、ストリームをｓ、文番号をｒ、音響特徴パラメータ系列をＯｓｒとしたとき、最適音響特徴パラメータ系列は、下記式（１）のように表され、尤度関数Ｐ（Ｏｓｒ｜λ）は、下記式（２）のように計算される。
【数１】
2016042659.tif 000003
【数２】
2016042659.tif 000004
ただし、ｑはＨＭＭ番号、ｊは状態番号である。ｐｒｅ（ｊｑ）は、一つ手前の状態を表し、各ＨＭＭの状態数をＪとしたとき下記式（３）により表され、ＨＭＭｑの初期状態の場合はＨＭＭｑ−１の最終状態Ｊ−１、そうでない場合はＨＭＭｑの先行状態ｊ−１となる。
【数３】
2016042659.tif 000005
【００５９】
尤度関数の１項目は、ＨＭＭの各状態に対する尤度を表しており、モデルλ、ＨＭＭｑ、状態ｊ、ストリームｓに対してＯｓｊｑｒが観測される尤度（状態尤度）を表している。尤度関数の２項目は、接続に対する尤度を表しており、モデルλと先行状態に対する音響特徴パラメータ（特徴ベクトル）Ｏｓ（ｐｒｅ（ｊｑ））ｒを与えた場合にＯｓｊｑｒが観測される尤度（接続尤度）を表している。状態尤度はさらに、継続長尤度と、スペクトル（ｓｐｅｃ）、音源（ｅｘｃ）、基本周波数（ｌｆ０）の各ストリームの尤度から、下記式（４）により算出される。
【数４】
2016042659.tif 000006
ただし、μｓｊｑ、Σｓｊｑ、γｓは、それぞれＨＭＭｑ、状態ｊ、ストリームｓの平均ベクトル、共分散行列およびストリーム重みを表し、ｄｕｒ（ｏｊｑｒ）はｏｊｑｒの継続長、μ｛ｄｕｒ｝ｊｑ、Σ｛ｄｕｒ｝ｊｑ、γ｛ｄｕｒ｝は、それぞれＨＭＭｑ、状態ｊの継続長分布の平均ベクトル、共分散行列および重みを表す。
【００６０】
本実施形態では、ｓｐｅｃはメルＬＳＰのストリームであり、ｅｘｃはＢＡＰのストリーム、ｌｆ０は対数基本周波数ＬＦ０のストリームとなる。ストリーム尤度ｐはさらに、下記式（５）と、各フレームの音響特徴パラメータ（特徴ベクトル）ｏｓｔｊｑｒのガウス分布Ｎ（ｏ｜μ、Σ）の尤度をフレーム数で正規化した尤度を用いることができる。計算量の削減のため、予め平均した特徴量の尤度を用いてもよい。
【数５】
2016042659.tif 000007
なお、ストリーム重みγは１に固定してもよいが、次数の逆数を用いることもでき、さらに各ストリームの重要度に応じて設定してもよい。
【００６１】
接続尤度はさらに、下記式（６）により計算される。
【数６】
2016042659.tif 000008
式（６）中のｐｏｓｔ（ｊｑ）は、ＨＭＭｑ、状態ｊの後続状態を表し、下記式（７）で表される。また、ＨＭＭｑの最終状態の場合は後続ＨＭＭｑ＋１の初期状態、そうでない場合はＨＭＭｑ後続状態ｊ＋１となる。
【数７】
2016042659.tif 000009
【００６２】
また、式（６）中の<Ｏ>ｓ（ｐｏｓｔ（ｐｒｅ（ｊｑ）））ｒは、先行状態ｐｒｅ（ｊｑ）の音響特徴パラメータｏｓ（ｐｒｅ（ｊｑ））ｒに後続する状態に対応する音声区間の音響特徴パラメータの平均値を示しており、平均ベクトルを置き換えた分布になる。これは、先行状態の音響特徴パラメータの後続区間により最尤推定した平均値となるため、この分布を接続尤度の計算に用いることができる。継続長も同様に、先行状態の音響特徴パラメータの後続区間の継続長ｄｕｒ（ｏｐｏｓｔ（ｐｒｅ（ｊｑ））ｒ）を平均値とすることにより、接続尤度を計算できる。
【００６３】
以上のように、式（２）によって定義された尤度関数を最大化する最適音響特徴パラメータ系列は、動的計画法により求められる。下記式（８）に示すように、φ（ｎ，ｊ，ｑ）を音声区間ｏｓ００ｒからｏｓ（ｐｒｅ（ｊｑ））ｒを選択し、さらにＨＭＭｑ、状態ｊにおいて候補ｎを選択する場合の最大尤度として定義する。
【数８】
2016042659.tif 000010
また、ψ（ｎ，ｊ，ｑ）は、ＨＭＭｑ、状態ｊ、候補ｎに対する先行状態において最大対数尤度を与える音響特徴パラメータ（最適音響特徴パラメータ）の候補のインデックスであり、下記式（９）のように定義される。
【数９】
2016042659.tif 000011
これらを用いて、最適音響特徴パラメータ系列が求められる。なお、尤度計算の際には実際には対数尤度を用いることで、べき乗は重み計算により算出でき、式（５）は対数尤度の平均値により算出できる。また、式（８）は下記式（１０）として計算できる。
【数１０】
2016042659.tif 000012
【００６４】
最適音響特徴パラメータ系列生成部３０１は、ＨＭＭ系列の先頭のＨＭＭの初期状態については、下記式（１１）の計算を行って最適音響特徴パラメータの候補を求める。
【数１１】
2016042659.tif 000013
そして、ＨＭＭ系列の最後のＨＭＭの最終状態まで、式（８）および式（９）により最適音響特徴パラメータの候補を求めた後、最終状態における最大尤度および最大尤度を与える最適音響特徴パラメータを、下記式（１２）により求める。
【数１２】
2016042659.tif 000014
そして、順にψをバックトラックして辿ることにより、下記式（１３）に示す最適音響特徴パラメータ系列を決定することができる。
【数１３】
2016042659.tif 000015
【００６５】
これらの処理の概要を図１８に示す。図中の上段はＨＭＭを表し、黒丸は状態ごとの最適音響特徴パラメータの候補を表す。ＨＭＭｑ、状態ｊの候補ｎの音響特徴パラメータに対し、先行状態ｐｒｅ（ｊｑ）の累積対数尤度ｌｏｇφ（ｍ，ｐｒｅ（ｊｑ））と接続対数尤度ｌｏｇＰ（ｏｎｓｊｑｒ｜ｏｍｓ（ｐｒｅ（ｊｑ））ｒ，λ）の和を最大にするｍを選択して、ψ（ｊ，ｑ）に記憶し、さらに状態尤度ｌｏｇＰ（ｏｎｓｊｑｒ｜ｓ，ｊ，ｑ，λ）加算して、ｌｏｇφ（ｍ，ｊ，ｑ）を求める。ＨＭＭ系列の先頭のＨＭＭの初期状態から最後のＨＭＭの最終状態までこれらの処理を繰り返し、最後にψ（Ｊ−１，Ｑ−１）からバックトラックして最適音響特徴パラメータ系列を求める。
【００６６】
なお、上述した方法では、尤度最大化基準で音響特徴パラメータの選択を行っているが、最長一致基準による選択を組み合わせて利用したり、コンテキスト情報の一致の度合いを考慮した選択を行うなど、他の手法を用いてもよい。最長一致選択の場合、例えば、先行区間に隣接する音声区間の音響特徴パラメータが含まれる場合は優先して選択し、区間接続数の少ない候補を選択していくことで実現できる。つまり、音声区間ごとに選択される音響特徴パラメータの候補に対して、音声コーパス２０１に含まれる音声波形において先行する音声区間の音響特徴パラメータと隣接しているかどうかを表す隣接指標を算出し、算出した隣接指標に基づいて、音声コーパス２０１に含まれる音声波形において先行する音声区間の音響特徴パラメータと隣接している音響特徴パラメータを優先的に選択する。また、予備選択の段階で、コンテキスト情報の一致しない音響特徴パラメータは候補から除外する方法などにより、コンテキスト情報を反映した音響特徴パラメータの選択も可能になる。また、上述した選択方法は状態単位の選択としているが、音素単位となるＨＭＭ単位の選択など、異なる単位で選択してもよい。
【００６７】
また、音響特徴パラメータの選択は、継続長の選択、ピッチストリームの選択、スペクトルストリームの選択など、異なる種類のパラメータそれぞれに対して行ってもよい。実際、ＨＭＭの決定木はストリームごとに構築しているため、リーフノードの特徴量が共通するとは限らず、上述した方法で選択するためには、継続長、ピッチストリーム、スペクトルストリームなどをそれぞれ選択する必要がある。この場合、まず、継続長の選択を行い、ピッチパラメータの選択の際には、選択された継続長を分布の平均値と置き換えて選択し、スペクトルパラメータの選択の際には、選択された継続長およびピッチパラメータを分布の平均ベクトルと置き換えて用いることにより、それぞれの最適音響特徴パラメータを選択して、最適音響特徴パラメータ系列を求めることができる。
【００６８】
複数音響特徴パラメータ選択部３０２では、各状態に対して複数の音響特徴パラメータを選択して複数音響特徴パラメータ系列を生成する。複数の音響特徴パラメータを選択するための各モデルの各状態における尤度は、下記式（１４）により算出される。
【数１４】
2016042659.tif 000016
式（１４）の右辺は３つの尤度の積となっており、第１項は、先行区間の最適音響特徴パラメータから当該音声区間の音響特徴パラメータへと接続される際の尤度を表し、第２項は、当該音声区間の音響特徴パラメータの尤度を表し、第３項は、当該音声区間の音響特徴パラメータから後続区間の最適な音響特徴パラメータへと接続する際の尤度を表している。第１項は、先行区間の最適特徴パラメータの後続区間の平均ベクトルとＨＭＭ系列の共分散行列を用いて求めることができ、第２項は、ＨＭＭ系列の当該音声区間の出力分布により計算され、第３項は、当該音声区間の音響特徴パラメータの後続区間の平均ベクトルと後続区間のＨＭＭ系列の共分散行列により算出される。この処理は、図１９に示すように、各状態における音響特徴パラメータそれぞれに対して式（１４）を計算して、上位Ｎ個の音響特徴パラメータを選択する処理となる。
【００６９】
上述した方法では、音響特徴パラメータ選択に用いる音響特徴パラメータの候補は、リーフノードの分布の学習データを用いているが、より多くの音響特徴パラメータを候補としてもよい。例えば、候補数がある個数以上になるように上位ノードを探索し、上位のノード以下のリーフノードに含まれる分布の学習データを候補として用いることができる。この場合、図２０に示すように、コンテキスト情報に従って選択されたノードを学習するために用いられた音響特徴パラメータが予め定めた閾値より小さい場合、上位のノードを探索し、該当ノード以下のリーフノードに含まれる音響特徴パラメータの数が閾値より大きくなるノードを求める。得られたノード以下に含まれるノードの学習データすべてを候補として選定してもよいが、選択ノードの平均ベクトルおよび標準偏差に基づいて、距離の離れた分布は除外するようにしてもよい。この場合、分布間距離に基づいて定めることができ、例えばＺ＝（μａｄｄ-μｓｅｌ）／σｓｅｌによって表されるＺｓｃｏｒｅの閾値処理によって決めることができる。
【００７０】
波形生成部１０４は、生成された複数音響特徴パラメータ系列を用いて分布列を生成し、得られた分布列を用いて音声波形を生成する。分布列生成部５０１では、例えば図１２に示した処理により分布列を生成する。この場合、図１２のステップＳ５０３では下記式（１５）によって平均ベクトルを算出する。
【数１５】
2016042659.tif 000017
ただし、ｔは文ｒ、ＨＭＭｑ、状態ｊ内のフレーム番号を示し、ｍａｐ（ｔ）は選択されたｎ番目の音響特徴パラメータｏｎ内フレームを決めるマッピング関数であり、Ｎ個の音響特徴パラメータの平均を算出している。分散も同様にＮ個の音響特徴パラメータから算出でき、また、ＨＭＭ出力分布のモデルｑ、状態ｊの分散を用いてもよい。
【００７１】
音響特徴パラメータ生成部５０２では、分布列生成部５０１により生成された分布列に基づいて、実際に音声合成に用いる音響特徴パラメータを生成する。静的・動的特徴パラメータの分布に基づいて音響特徴パラメータ生成を行い、動的特徴パラメータとしてΔパラメータとΔ２パラメータとを用いる場合、以下の方法により、音響特徴パラメータ生成部５０２が出力する音響特徴パラメータが求められる。
【００７２】
時刻ｔの音響特徴パラメータｏｔは、静的特徴パラメータｃｔと、前後のフレームの音響特徴パラメータから定まる動的特徴パラメータΔｃｔ、Δ２ｃｔを用いて、ｏｔ＝（ｃｔ’，Δｃｔ’，Δ２ｃｔ’）と表される。状態系列を継続長分布から定めた場合、Ｐ（Ｏ｜Ｊ，λ）を最大化する静的特徴パラメータｃｔからなるベクトルＣ＝（ｃ０’，…，ｃＴ−１’）’は、０ＴＭをＴ×Ｍ次のゼロベクトルとして、下記式（１６）の方程式を解くことによって求められる。
【数１６】
2016042659.tif 000018
ただし、Ｔはフレーム数、Ｊは状態遷移系列である。
【００７３】
音響特徴パラメータＯと静的特徴パラメータＣとの関係を、動的特徴パラメータを計算する行列Ｗによって関係付けると、Ｏ＝ＷＣと表される。Ｏは３ＴＭのベクトル、ＣはＴＭのベクトルとなり、Ｗは３ＴＭ×ＴＭの行列である。そして、μ＝（μｓ００’，…，μｓＪ−１Ｑ−１’）’、Σ＝ｄｉａｇ（Σｓ００’，…，ΣｓＪ−１Ｑ−１’）’と、各時刻における出力分布の平均ベクトル、対角共分散をすべて並べた文に対応する分布の平均ベクトルおよび共分散行列としたとき、式（１６）は、下記式（１７）の方程式を解くことによって、最適な音響特徴パラメータの系列Ｃを求めることができる。
【数１７】
2016042659.tif 000019
この方程式はコレスキー分解による方法により求められ、またＲＬＳフィルタの時間更新アルゴリズムに用いられる解法と同様に、遅延時間を伴いつつ時間順にパラメータ系列を生成することができ、高速に求めることができる。
【００７４】
ＨＭＭに基づく音声合成方法においては、平均ベクトルμおよび共分散行列Σは、ＨＭＭの各状態の継続長分布の平均値などの統計量から各状態のフレーム数を定め、各状態の平均ベクトルおよび共分散行列をそのフレーム数に従って並べたものを、文全体、あるいは予め定めた遅延時間に対応するフレーム数など、所定の区間に対して構築することにより生成する。本実施形態における音響特徴パラメータ生成部５０２では、複数音響特徴パラメータ系列にこのアルゴリズムを適用する。この場合、分布列生成部５０１において生成した平均ベクトルμおよび共分散行列Σを用い、上記式（１７）を解くことによって音響特徴パラメータ系列を生成することができる。
【００７５】
これにより、本実施形態では、ＨＭＭの出力分布を用いる場合と比較して、時間方向に平均化されないため、時間解像度を高めた分布列から音声合成に用いる音響特徴パラメータを生成することができる。また、μの音響特徴パラメータとして、大量の学習データから平均化された音響特徴パラメータではなく、限られた個数の音響特徴パラメータから生成されるため、過剰平滑化の影響が抑えられ、肉声感の高い音響特徴パラメータを生成できるとともに、単一の音響特徴パラメータを選択する場合比較して、コンテキスト情報の不一致や接続境界における不連続感を抑えた音響特徴パラメータを生成することができる。
【００７６】
さらに本実施形態では、音声合成に用いる音響特徴パラメータの生成に上記式（１７）を適用することにより、動的特徴パラメータの分布を考慮した音響特徴パラメータの生成が可能となる。つまり、動的特徴パラメータの分布に応じた適切な滑らかさを表現する音響特徴パラメータの生成が可能となり、選択された音響特徴パラメータの静的特徴パラメータを並べたパラメータを用いる場合やそれらを線形補間する場合よりも適切に音響特徴パラメータの生成を行うことができる。このように、本実施形態では、選択された音響特徴パラメータを、音響特徴パラメータの種類ごとに選択および平滑化することが可能となり、音声波形の接続による音声合成よりも自然で滑らかな音声を合成することができる。
【００７７】
図２１は、波形生成部１０４による以上の処理の処理手順を示すフローチャートである。まず分布列生成部５０１が、ステップＳ７０１において、各状態の時間長（フレーム数）を生成し、ステップＳ７０２において、複数音響特徴パラメータ系列を用いて分布列を生成する。次に音響特徴パラメータ生成部５０２が、ステップＳ７０３において、上記式（１７）を用いて、ステップＳ７０１で生成された分布列から、音声合成に用いる音響特徴パラメータの系列を生成する。
【００７８】
図２２は、波形生成部１０４による以上の処理を説明する図である。分布列生成部５０１は、ＨＭＭとその継続長分布から分布列を生成し、複数音響特徴パラメータ系列によって平均ベクトルを置換する。そして、音響特徴パラメータ生成部５０２は、この置換された分布列からメルＬＳＰ系列（メルＬＳＰ）、帯域雑音強度系列（ＢＡＰ）および対数基本周波数系列（ＬＦ０）の音響特徴パラメータを生成し、波形生成に用いる。
【００７９】
音源生成部５０３は、対数基本周波数系列および帯域雑音強度系列から音源波形を生成する。音源生成部５０３は、図２３に示すように、対数基本周波数系列からピッチマークを生成し、帯域雑音強度（ＢＡＰ）系列に従って、ノイズ成分とパルス成分の比率を制御して音源波形を生成する。そして、音声波形生成部５０４は、音源生成部５０３により生成された音源波形に対し、メルＬＳＰ系列による声道フィルタを適用して音声波形を生成する。この際、生成されたメルＬＳＰ系列にフォルマント強調のためのポストフィルタを適用することにより、明瞭性を向上させることができる。また、群遅延や位相パラメータから位相スペクトル生成して、スペクトルパラメータから振幅スペクトルを生成し、逆ＦＦＴにより各ピッチマークに対応するピッチ波形を生成し、重畳処理によって波形生成を行うようにしてもよい。これらの処理により音声波形が生成される。
【００８０】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の音声合成装置は、入力テキストのコンテキスト情報に基づいてＨＭＭ系列を生成し、生成したＨＭＭ系列に基づいて各音声区間に対して複数の音響特徴パラメータを選択することにより複数音響特徴パラメータ系列を生成する。そして、複数音響特徴パラメータ系列から分布列を生成し、生成した分布列からパラメータ生成アルゴリズムによって平滑化された音響特徴パラメータを生成して、波形生成を行う。
【００８１】
これにより、本実施形態の音声合成装置によれば、従来のＨＭＭ音声合成により生成される音響特徴パラメータよりも過剰平滑化を低減した音響特徴パラメータを利用して波形生成を行うことができ、また、波形接続や単一の音響特徴パラメータの選択により生じる接続の歪みやコンテキストの不一致による歪みを抑えた音声合成が可能になり、自然で滑らかな高品質な音声合成が可能になる。
【００８２】
また、本実施形態の音声合成装置によれば、複数の音響特徴パラメータを平均化した音響特徴パラメータを用いて波形生成を行うことにより、安定感の向上や接続歪みの低減が可能となり、部分的に不自然な音が生じることを有効に抑制することができる。例えば、入力テキストのコンテキスト情報に対し、適切な音響特徴パラメータが存在しない場合、最適な音響特徴パラメータを用いたとしてもミスマッチが生じ、音質が不安定になる懸念がある。これに対し、複数の音響特徴パラメータを平均化して使用することで、ミスマッチの度合いが減少し、滑らかに接続されるようになる。また、接続の生じる音声区間においては、上位Ｎ個の中に隣接区間の音響特徴パラメータが含まれる可能性が増加し、結果的に隣接区間の差異が減少されて接続の歪みが低減される。また、多くの音響特徴パラメータを平均化した場合、ＨＭＭ系列の平均値に近づくことになり、従来のＨＭＭ音声合成の音質に近づいていくが、選択される音響特徴パラメータの個数を適切に設定することで平均化による過剰平滑化の影響は抑えられ、バランスのとれた合成音声が生成可能になる。
【００８３】
なお、上述した実施形態では、複数の状態を持つ統計モデルとしてＨＭＭを用いる例を記載しているが、この例に限定されるものではない。例えば、状態空間モデルや条件付き確率場モデルなど、他のモデルを用いても構わない。また、上述した実施形態では、平滑化方法として、静的・動的特徴パラメータの尤度に基づくパラメータ生成方法を記載していたが、この例に限定されるものではない。静的特徴パラメータの平均ベクトルの線形平滑化モデルやスプライン平滑化モデルなど、他の平滑化手法を用いるようにしてもよく、また、接続する音響特徴パラメータの分布間のみの平滑化を行う構成であっても構わない。このように、本実施形態では、隣接する音響特徴パラメータの歪みを解消する様々な方法を平滑化手法として用いることができる。
【００８４】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態の音声合成装置は、複数音響特徴パラメータ系列生成部１０３の構成が上述した第１の実施形態とは異なる。本実施形態の音声合成装置では、複数特徴パラメータ系列生成部１０３の処理において、複数の音響特徴パラメータを用いる音声区間と単一の最適音響特徴パラメータを用いる音声区間とを切り替えるなど、音声区間ごとに選択する音響特徴パラメータの個数を制御しつつ複数音響特徴パラメータ系列を生成することにより、安定感を保持しつつ、より肉声感を高めた音声合成を可能にする。
【００８５】
以下、本実施形態の複数音響特徴パラメータ系列生成部１０３を、第１の実施形態と区別して、複数音響特徴パラメータ系列生成部１０３Ａと表記する。なお、複数音響特徴パラメータ系列生成部１０３Ａを除く他の構成は第１の実施形態と同様であるため、以下では、第１の実施形態と同様の構成要素に対して同一の符号を付して重複した説明を省略し、本実施形態に特徴的な部分についてのみ説明を行う。
【００８６】
図２４は、本実施形態の複数音響特徴パラメータ系列生成部１０３Ａの構成例を示すブロック図である。本実施形態の複数音響特徴パラメータ系列生成部１０３Ａでは、図２４に示すように、最適音響特徴パラメータ系列生成部３０１と複数音響特徴パラメータ選択部３０２との間に、音響特徴パラメータ個数決定部３０３が追加されている。本実施形態の複数音響特徴パラメータ系列生成部１０３Ａは、この構成によって、各音声区間に対して選択する音響特徴パラメータの個数を音声区間ごとに切り替える処理を可能とする。
【００８７】
選択する音響特徴パラメータの個数として、単一の最適音響特徴パラメータと所定の個数の音響特徴パラメータとを切り替える場合、音響特徴パラメータ個数決定部３０３は、各音声区間の最適音響特徴パラメータを参照して、個数を決定する。個数の切り替えは、前後の音響特徴パラメータの隣接性指標や、主要コンテキスト属性の一致の度合い、もしくは最適音響特徴パラメータ系列を求めた際のＨＭＭ出力分布の尤度などによって行うことができる。
【００８８】
すなわち、最適音響特徴パラメータ系列生成部３０１において選択された最適音響特徴パラメータが適切な場合は、最適音響特徴パラメータのみを用いるように切り替えることができる。最適音響特徴パラメータが適切な場合とは、例えば、最適音響特徴パラメータのコンテキスト情報が一致している場合、隣接する音声区間において、元の音声データにおいて隣接した最適音響特徴パラメータが選択されている場合、最適音響特徴パラメータの尤度が所定の閾値より大きい場合などである。
【００８９】
図２５は、音響特徴パラメータ個数決定部３０３の処理手順の一例を示すフローチャートである。図２５に示す例では、単一の最適音響特徴パラメータと所定の個数の音響特徴パラメータとの切り替えの判定に、上述したコンテキスト一致度、隣接性（隣接指標）、および最適音響特徴パラメータの尤度を用いる。図２５に示す音響特徴パラメータ個数決定部３０３の処理は、音響特徴パラメータを選択する単位である状態単位（音声区間単位）でループし、単一の最適音響特徴パラメータを用いるか、あるいは所定の個数の音響特徴パラメータを用いるかが各音声区間ごとに決定される。
【００９０】
音響特徴パラメータ個数決定部３０３は、まずステップＳ８０１において、コンテキスト一致度を算出する。コンテキスト一致度の算出に用いる属性は、音響特徴パラメータの種類によって切り替えることができる。例えば、スペクトル包絡パラメータの場合は前後の音素環境によりコンテキスト一致度を算出することができ、ピッチパラメータ（韻律特徴パラメータ）の場合はアクセントの高低やモーラ数・アクセント型の一致度などによりコンテキスト一致度を算出することができる。
【００９１】
次に音響特徴パラメータ個数決定部３０３は、ステップＳ８０２において、隣接性の評価を行う。ここでは、前後の音響特徴パラメータが元の音声データにおいても隣接しているかどうかを判断する。さらに音響特徴パラメータ個数決定部３０３は、ステップＳ８０３において、最適音響特徴パラメータの尤度を算出する。最適音響特徴パラメータの尤度は、ＨＭＭの分布と最適音響特徴パラメータとの一致の度合いを表す。尤度の代わりにＺスコアなどの一致度を表す値を算出してもよい。
【００９２】
そして、音響特徴パラメータ個数決定部３０３は、ステップＳ８０４において、ステップＳ８０１〜ステップＳ８０３で得た情報に基づいて、それぞれの音声区間で用いる音響特徴パラメータの個数、すなわち単一の最適音響特徴パラメータを用いるか、あるいは所定の個数の音響特徴パラメータを用いるかを決定する。
【００９３】
複数音響特徴パラメータ選択部３０２は、音響特徴パラメータ個数決定部３０３により決定された個数に従って、各音声区間に対する音響特徴パラメータの選択を行って複数音響特徴パラメータ系列を生成する。すなわち、複数音響特徴パラメータ選択部３０２は、単一の最適音響特徴パラメータを用いる音声区間に対しては、最適音響特徴パラメータ系列の最適音響特徴パラメータを選択し、複数の音響特徴パラメータを用いる音声区間に対しては、所定の個数の音響特徴パラメータを選択して、複数音響特徴パラメータ系列を生成する。
【００９４】
なお、本実施形態では、音響特徴パラメータの個数を音声区間ごとに決定する構成としたが、各音声区間に対して選択される複数の音響特徴パラメータに対して、例えば各音声特徴パラメータそれぞれの尤度の比率などから求められる重みを設定し、波形生成部１０４の分布列生成部５０１において平均ベクトルを求める際に重み付け和として求める構成としてもよい。また、各音声区間に対する処理は、単独の音声区間のみの情報で切り替える必要もなく、例えば、アクセント句全体が音声コーパス２０１内の同一の音声データから選択され、モーラ数・アクセント型が一致している場合は最適音響特徴パラメータを用いてピッチを生成し、音素列が一致している場合は最適音響特徴パラメータを用いてスペクトル包絡パラメータを生成するといった処理を行うことも可能である。
【００９５】
本実施形態では、波形生成部１０４の分布列生成部５０１が、各音声区間ごとに選択された最適音響特徴パラメータもしくは複数の音響特徴パラメータから分布列を生成する。そして、音響特徴パラメータ生成部５０２が、この分布列から波形生成に用いる音響特徴パラメータを生成する。分布列生成部５０１では、複数の音響特徴パラメータが選択されている場合はそれらの平均ベクトルを用い、単一の最適音響特徴パラメータが選択されている場合は最適音響特徴パラメータを平均ベクトルとすることにより、分布列を生成することができる。分散は、複数の音響特徴パラメータが選択されている場合はこれらの音響特徴パラメータから生成することができ、また、ＨＭＭ分布の分散を利用するようにしてもよい。また、単一の最適音響特徴パラメータが選択されている場合は所定の最小分散値を用いて分布を生成することもできる。
【００９６】
以上のように生成された分布列から、音響特徴パラメータ生成部５０２において波形生成に用いる音響特徴パラメータが生成される。この際、音響特徴パラメータ生成部５０２は、複数の音響特徴パラメータを用いる音声区間のみに対してポストフィルタによるフォルマント強調処理を行うことで、平均化する場合に生じる不明瞭なフォルマントを強調し、単一の最適音響特徴パラメータを用いる音声区間に対してはこのような処理を適用しないようにする。これにより、歪みの少ない音響特徴パラメータを生成することができる。そして、音源生成部５０３によりピッチおよび音源特徴パラメータから音源波形を生成し、音声波形生成部５０４により波形生成を行う。
【００９７】
以上説明したように、本実施形態では、複数音響特徴パラメータ系列生成部１０３において、音響特徴パラメータ個数決定部３０３によって最適音響特徴パラメータを用いるか複数音響特徴パラメータを用いるかを切り替える。この構成により、本実施形態の音声合成装置によれば、安定感を維持しつつ、さらに部分的に肉声感の高い合成音声を生成することができる。例えば、音声コーパス２０１として大規模なコーパスを利用可能な場合、入力テキストと類似した音声データが予め保持される可能性が高くなり、そのような場合には、音声データからの変形量を抑えつつ、類似した音声が存在しない場合にも安定した合成音声を得ることができる。
【００９８】
さらに、本実施形態によれば、例えばモーラ数・アクセント型・読み文字列が一致する場合は音声波形をそのまま用いるように切り替えることも可能であり、用意される文に対しては音声データに近い音質が得られる構成で音声合成を行うことが可能になる。
【００９９】
なお、上述した第１の実施形態の音声合成装置や第２の実施形態の音声合成装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、図１０のフローチャートで示した各処理は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、音声合成装置は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【０１００】
以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【図１】
2016042659.tif 000020
【図２】
2016042659.tif 000021
【図３】
2016042659.tif 000022
【図４】
2016042659.tif 000023
【図５】
2016042659.tif 000024
【図６】
2016042659.tif 000025
【図７】
2016042659.tif 000026
【図８】
2016042659.tif 000027
【図９】
2016042659.tif 000028
【図１０】
2016042659.tif 000029
【図１１】
2016042659.tif 000030
【図１２】
2016042659.tif 000031
【図１３】
2016042659.tif 000032
【図１４】
2016042659.tif 000033
【図１５】
2016042659.tif 000034
【図１６】
2016042659.tif 000035
【図１７】
2016042659.tif 000036
【図１８】
2016042659.tif 000037
【図１９】
2016042659.tif 000038
【図２０】
2016042659.tif 000039
【図２１】
2016042659.tif 000040
【図２２】
2016042659.tif 000041
【図２３】
2016042659.tif 000042
【図２４】
2016042659.tif 000043
【図２５】
2016042659.tif 000044
【国際調査報告】
2016042659.tif 000045
2016042659.tif 000046