(57)【特許請求の範囲】
【請求項１】
互いに異なる声質ごとに、当該声質に属する複数の音声素片に関する音声素片情報を予め記憶している記憶手段と、
テキストデータを取得するとともに、前記記憶手段に記憶されている複数の音声素片情報から、前記声質ごとに、前記テキストデータに含まれる文字に対応した当該声質の合成音声を示す合成音声情報を生成する音声情報生成手段と、
前記記憶手段に記憶されている各音声素片情報の声質を示す固定点をＮ次元（Ｎは自然数）の座標上に配置して表示するとともに、ユーザの操作に基づいて複数の設定点を前記座標上に配置して表示し、前記複数の設定点間を時系列に沿って連続的に移動する移動点および前記固定点の配置に基づいて、モーフィングに寄与する前記複数の合成音声情報のそれぞれの、時系列に沿って変化する割合を導出して指定する指定手段と、
前記音声情報生成手段により生成された複数の合成音声情報のそれぞれを、前記指定手段により指定された時系列に沿って変化する割合だけ用いることにより、前記テキストデータに含まれる文字に対応した、前記複数の声質の中間的な声質の合成音声を示す中間合成音声情報を生成するモーフィング手段と、
前記モーフィング手段によって生成された前記中間合成音声情報を前記中間的な声質の合成音声に変換して出力する音声出力手段と
を備え、
前記音声情報生成手段は、前記複数の合成音声情報をそれぞれ複数の特徴パラメタの列として生成し、
前記モーフィング手段は、前記複数の合成音声情報の互いに対応する特徴パラメタの中間値を計算することで、前記中間合成音声情報を生成する
ことを特徴とする音声合成装置。
【請求項２】
前記モーフィング手段は、前記音声出力手段から出力される合成音声の声質がその出力中に連続的に変化するように、前記複数の合成音声情報の前記中間合成音声情報に対して寄与する割合を変化させる
ことを特徴とする請求項１記載の音声合成装置。
【請求項３】
前記記憶手段は、前記音声素片情報ごとに、当該音声素片情報により示される各音声素片における基準を示す内容の特徴情報を、当該音声素片情報に含めて記憶しており、
前記音声情報生成手段は、前記複数の合成音声情報を、それぞれに前記特徴情報を含めて生成し、
前記モーフィング手段は、前記複数の合成音声情報を、それぞれに含まれる前記特徴情報によって示される基準を用いて整合した上で前記中間合成音声情報を生成する
ことを特徴とする請求項１記載の音声合成装置。
【請求項４】
前記基準は、前記複数の音声素片情報のそれぞれにより示される各音声素片の音響的特徴の変化点である
ことを特徴とする請求項３記載の音声合成装置。
【請求項５】
前記音響的特徴の変化点は、前記複数の音声素片情報のそれぞれに示される各音声素片をＨＭＭ（Hidden Markov Model）で表した最尤経路上の状態遷移点であって、
前記モーフィング手段は、前記複数の合成音声情報を、前記状態遷移点を用いて時間軸上で整合した上で前記中間合成音声情報を生成する
ことを特徴とする請求項４記載の音声合成装置。
【請求項６】
前記音声合成装置は、さらに、
前記声質ごとに、当該声質に対応する画像を示す画像情報を予め記憶している画像記憶手段と、
前記複数の画像情報のそれぞれにより示される画像の中間的な画像であって、前記中間合成音声情報の声質に対応する画像を示す中間画像情報を、前記複数の画像情報から生成する画像モーフィング手段と、
前記画像モーフィング手段により生成された中間画像情報を取得して、前記中間画像情報により示される画像を、前記音声出力手段から出力される合成音声に同期させて表示する表示手段と
を備えることを特徴とする請求項１記載の音声合成装置。
【請求項７】
前記複数の画像情報はそれぞれ前記声質に対応する顔画像を示す
ことを特徴とする請求項６記載の音声合成装置。
【請求項８】
互いに異なる声質ごとに、当該声質に属する複数の音声素片に関する音声素片情報を予め記憶しているメモリを用いることで、合成音声を生成して出力する音声合成方法であって、
テキストデータを取得するテキスト取得ステップと、
前記メモリの複数の音声素片情報から、前記声質ごとに、前記テキストデータに含まれる文字に対応した当該声質の合成音声を示す合成音声情報を生成する音声情報生成ステップと、
前記メモリに記憶されている各音声素片情報の声質を示す固定点をＮ次元（Ｎは自然数）の座標上に配置して表示するとともに、ユーザの操作に基づいて複数の設定点を前記座標上に配置して表示し、前記複数の設定点間を時系列に沿って連続的に移動する移動点および前記固定点の配置に基づいて、モーフィングに寄与する前記複数の合成音声情報のそれぞれの、時系列に沿って変化する割合を導出して指定する指定ステップと、
前記音声情報生成ステップで生成された複数の合成音声情報のそれぞれを、前記指定ステップで指定された時系列に沿って変化する割合だけ用いることにより、前記テキストデータに含まれる文字に対応した、前記複数の声質の中間的な声質の合成音声を示す中間合成音声情報を生成するモーフィングステップと、
前記モーフィングステップで生成された前記中間合成音声情報を前記中間的な声質の合成音声に変換して出力する音声出力ステップと
を含み、
前記音声情報生成ステップでは、前記複数の合成音声情報をそれぞれ複数の特徴パラメタの列として生成し、
前記モーフィングステップでは、前記複数の合成音声情報の互いに対応する特徴パラメタの中間値を計算することで、前記中間合成音声情報を生成する
ことを特徴とする音声合成方法。
【請求項９】
互いに異なる声質ごとに、当該声質に属する複数の音声素片に関する音声素片情報を予め記憶しているメモリを用いることで、合成音声を生成して出力するためのプログラムであって、
テキストデータを取得するテキスト取得ステップと、
前記メモリの複数の音声素片情報から、前記声質ごとに、前記テキストデータに含まれる文字に対応した当該声質の合成音声を示す合成音声情報を生成する音声情報生成ステップと、
前記メモリに記憶されている各音声素片情報の声質を示す固定点をＮ次元（Ｎは自然数）の座標上に配置して表示するとともに、ユーザの操作に基づいて複数の設定点を前記座標上に配置して表示し、前記複数の設定点間を時系列に沿って連続的に移動する移動点および前記固定点の配置に基づいて、モーフィングに寄与する前記複数の合成音声情報のそれぞれの、時系列に沿って変化する割合を導出して指定する指定ステップと、
前記音声情報生成ステップで生成された複数の合成音声情報のそれぞれを、前記指定ステップで指定された時系列に沿って変化する割合だけ用いることにより、前記テキストデータに含まれる文字に対応した、前記複数の声質の中間的な声質の合成音声を示す中間合成音声情報を生成するモーフィングステップと、
前記モーフィングステップで生成された前記中間合成音声情報を前記中間的な声質の合成音声に変換して出力する音声出力ステップと
をコンピュータに実行させ、
前記音声情報生成ステップでは、前記複数の合成音声情報をそれぞれ複数の特徴パラメタの列として生成し、
前記モーフィングステップでは、前記複数の合成音声情報の互いに対応する特徴パラメタの中間値を計算することで、前記中間合成音声情報を生成する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成音声を生成して出力する音声合成装置に関する。
【背景技術】
【０００２】
従来より、所望の合成音声を生成して出力する音声合成装置が提供されている（例えば、特許文献１、特許文献２、及び特許文献３参照。）。
【０００３】
特許文献１の音声合成装置は、それぞれ声質の異なる複数の音声素片データベースを備え、これらの音声素片データベースを切り替えて用いることにより、所望の合成音声を生成して出力する。
【０００４】
また、特許文献２の音声合成装置（音声変形装置）は、音声分析結果のスペクトルを変換することにより、所望の合成音声を生成して出力する。
【０００５】
また、特許文献３の音声合成装置は、複数の波形データをモーフィング処理することにより、所望の合成音声を生成して出力する。
【特許文献１】特開平７−３１９４９５号公報
【特許文献２】特開２０００−３３０５８２号公報
【特許文献３】特開平９−５０２９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１及び特許文献２並びに特許文献３の音声合成装置では、声質変換の自由度が狭かったり、音質の調整が非常に困難であるという問題がある。
【０００７】
即ち、特許文献１では、合成音声の声質が予め設定された声質に限られ、その予め設定された声質間の連続的な変化を表現することができない。
【０００８】
また、特許文献２では、スペクトルのダイナミックレンジを大きくしてしまうと音質に破綻が生じてしまい、良い音質を維持するのが困難となる。
【０００９】
さらに、特許文献３では、複数の波形データの互いに対応する部位（例えば波形のピーク）を特定して、その部位を基準にモーフィング処理を行うが、その部位を誤って特定してしまうことがある。その結果、生成された合成音声の音質が悪くなってしまう
そこで、本発明は、このような問題に鑑みてなされたものであって、声質の自由度が広く良い音質の合成音声をテキストデータから生成する音声合成装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る音声合成装置は、互いに異なる声質ごとに、当該声質に属する複数の音声素片に関する音声素片情報を予め記憶している記憶手段と、テキストデータを取得するとともに、前記記憶手段に記憶されている複数の音声素片情報から、前記声質ごとに、前記テキストデータに含まれる文字に対応した当該声質の合成音声を示す合成音声情報を生成する音声情報生成手段と、前記記憶手段に記憶されている各音声素片情報の声質を示す固定点をＮ次元（Ｎは自然数）の座標上に配置して表示するとともに、ユーザの操作に基づいて複数の設定点を前記座標上に配置して表示し、前記複数の設定点間を時系列に沿って連続的に移動する移動点および前記固定点の配置に基づいて、モーフィングに寄与する前記複数の合成音声情報のそれぞれの、時系列に沿って変化する割合を導出して指定する指定手段と、前記音声情報生成手段により生成された複数の合成音声情報のそれぞれを、前記指定手段により指定された時系列に沿って変化する割合だけ用いることにより、前記テキストデータに含まれる文字に対応した、前記複数の声質の中間的な声質の合成音声を示す中間合成音声情報を生成するモーフィング手段と、前記モーフィング手段によって生成された前記中間合成音声情報を前記中間的な声質の合成音声に変換して出力する音声出力手段とを備え、前記音声情報生成手段は、前記複数の合成音声情報をそれぞれ複数の特徴パラメタの列として生成し、前記モーフィング手段は、前記複数の合成音声情報の互いに対応する特徴パラメタの中間値を計算することで、前記中間合成音声情報を生成することを特徴とする。
【００１１】
これにより、例えば、第１の声質に対する第１の音声素片情報、及び第２の声質に対する第２の音声素片情報だけを記憶手段に予め記憶させておけば、第１及び第２の声質の中間的な声質の合成音声が出力されるため、記憶手段に予め記憶させておく内容の声質に限定されずに声質の自由度を広めることができる。また、第１及び第２の声質を有する第１及び第２の合成音声情報を基礎に中間合成音声情報が生成されるため、従来例のようにスペクトルのダイナミックレンジを大きくしすぎるような処理がなされず、合成音声の音質を良い状態に維持することができる。また、本発明に係る音声合成装置は、テキストデータを取得して、そこに含まれる文字列に応じた合成音声を出力するため、ユーザに対する使い勝手を向上することができる。さらに、本発明に係る音声合成装置は、第１及び第２の合成音声情報の互いに対応する特徴パラメタの中間値を計算して中間合成音声情報を生成するため、従来例のように２つのスペクトルをモーフィング処理する場合と比べて、基準とする部位を誤って特定してしまうことなく、合成音声の音質を良くすることができ、さらに、計算量を軽減することができる。さらに、本発明に係る音声合成装置は、固定点とユーザの操作に基づいて配置される設定点とに従って複数の合成音声情報のモーフィングに寄与する割合が変化するため、ユーザは音声素片情報の声質に対する類似度を容易に入力することができる。
【００１２】
また、本発明に係る音声合成装置は、第１の声質に属する複数の音声素片に関する第１の音声素片情報、及び前記第１の声質と異なる第２の声質に属する複数の音声素片に関する第２の音声素片情報を予め記憶している記憶手段と、テキストデータを取得するとともに、前記記憶手段の第１の音声素片情報から、前記テキストデータに含まれる文字に対応した前記第１の声質の合成音声を示す第１の合成音声情報を生成し、前記記憶手段の第２の音声素片情報から、前記テキストデータに含まれる文字に対応した前記第２の声質の合成音声を示す第２の合成音声情報を生成する音声情報生成手段と、前記音声情報生成手段により生成された前記第１及び第２の合成音声情報から、前記テキストデータに含まれる文字に対応した、前記第１及び第２の声質の中間的な声質の合成音声を示す中間合成音声情報を生成するモーフィング手段と、前記モーフィング手段によって生成された前記中間合成音声情報を前記中間的な声質の合成音声に変換して出力する音声出力手段とを備え、前記音声情報生成手段は、前記第１及び第２の合成音声情報をそれぞれ複数の特徴パラメタの列として生成し、前記モーフィング手段は、前記第１及び第２の合成音声情報の互いに対応する特徴パラメタの中間値を計算することで、前記中間合成音声情報を生成することを特徴とする。
【００１３】
これにより、第１の声質に対する第１の音声素片情報、及び第２の声質に対する第２の音声素片情報だけを記憶手段に予め記憶させておけば、第１及び第２の声質の中間的な声質の合成音声が出力されるため、記憶手段に予め記憶させておく内容の声質に限定されずに声質の自由度を広めることができる。また、第１及び第２の声質を有する第１及び第２の合成音声情報を基礎に中間合成音声情報が生成されるため、従来例のようにスペクトルのダイナミックレンジを大きくしすぎるような処理がなされず、合成音声の音質を良い状態に維持することができる。また、本発明に係る音声合成装置は、テキストデータを取得して、そこに含まれる文字列に応じた合成音声を出力するため、ユーザに対する使い勝手を向上することができる。さらに、本発明に係る音声合成装置は、第１及び第２の合成音声情報の互いに対応する特徴パラメタの中間値を計算して中間合成音声情報を生成するため、従来例のように２つのスペクトルをモーフィング処理する場合と比べて、基準とする部位を誤って特定してしまうことなく、合成音声の音質を良くすることができ、さらに、計算量を軽減することができる。
【００１４】
ここで、前記モーフィング手段は、前記音声出力手段から出力される合成音声の声質がその出力中に連続的に変化するように、前記第１及び第２の合成音声情報の前記中間合成音声情報に対して寄与する割合を変化させることを特徴としても良い。
【００１５】
これにより、合成音声の出力中にその合成音声の声質が連続的に変化するため、例えば、平常声から怒り声に連続的に変化するような合成音声を出力することができる。
【００１６】
また、前記記憶手段は、前記第１及び第２の音声素片情報のそれぞれにより示される各音声素片における基準を示す内容の特徴情報を、前記第１及び第２の音声素片情報のそれぞれに含めて記憶しており、前記音声情報生成手段は、前記第１及び第２の合成音声情報を、それぞれに前記特徴情報を含めて生成し、前記モーフィング手段は、前記第１及び第２の合成音声情報を、それぞれに含まれる前記特徴情報によって示される基準を用いて整合した上で前記中間合成音声情報を生成することを特徴としても良い。例えば、前記基準は、前記第１及び第２の音声素片情報のそれぞれにより示される各音声素片の音響的特徴の変化点である。また、前記音響的特徴の変化点は、前記第１及び第２の音声素片情報のそれぞれに示される各音声素片をＨＭＭ（Hidden Markov Model）で表した最尤経路上の状態遷移点であって、前記モーフィング手段は、前記第１及び第２の合成音声情報を、前記状態遷移点を用いて時間軸上で整合した上で前記中間合成音声情報を生成する。
【００１７】
これにより、モーフィング手段による中間合成音声情報の生成に、第１及び第２の合成音声情報が上述の基準を用いて整合されるため、例えば第１及び第２の合成音声情報をパターンマッチングなどによって整合するような場合と比べ、迅速に整合を図って中間合成音声情報を生成することができ、その結果、処理速度を向上することができる。また、その基準をＨＭＭ（Hidden Markov Model）で表した最尤経路上の状態遷移点とすることで、第１及び第２の合成音声情報を時間軸上で正確に整合させることができる。
【００１８】
また、前記音声合成装置は、さらに、前記第１の声質に対応する画像を示す第１の画像情報、及び前記第２の声質に対応する画像を示す第２の画像情報を予め記憶している画像記憶手段と、前記第１及び第２の画像情報のそれぞれにより示される画像の中間的な画像であって、前記中間合成音声情報の声質に対応する画像を示す中間画像情報を、前記第１及び第２の画像情報から生成する画像モーフィング手段と、前記画像モーフィング手段により生成された中間画像情報を取得して、前記中間画像情報により示される画像を、前記音声出力手段から出力される合成音声に同期させて表示する表示手段とを備えることを特徴としても良い。例えば、前記第１の画像情報は前記第１の声質に対応する顔画像を示し、前記第２の画像情報は前記第２の声質に対応する顔画像を示す。
【００１９】
これにより、第１及び第２の声質の中間的な声質に対応する顔画像が、その中間的な声質の合成音声の出力と同期して表示されるため、合成音声の声質を顔画像の表情からもユーザに伝えることができ、表現力の向上を図ることができる。
【００２０】
ここで、前記音声情報生成手段は、前記第１及び第２の合成音声情報のそれぞれを順次生成することを特徴としても良い。
【００２１】
これにより、音声情報生成手段の単位時間あたりの処理負担を軽減することができ、音声情報生成手段の構成を簡単にすることができる。その結果、装置全体を小型化することができるとともに、コスト低減を図ることができる。
【００２２】
また、前記音声情報生成手段は、前記第１及び第２の合成音声情報のそれぞれを並列に生成することを特徴としても良い。
【００２３】
これにより、第１及び第２の合成音声情報を迅速に生成することができ、その結果、テキストデータの取得から合成音声の出力までの時間を短縮することができる。
【００２４】
なお、本発明は、上述の音声合成装置の合成音声を生成して出力する方法やプログラム、そのプログラムを格納する記憶媒体としても実現することができる。
【発明の効果】
【００２５】
本発明の音声合成装置では、声質の自由度が広く良い音質の合成音声をテキストデータから生成することができるという効果を奏する。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る音声合成装置の構成を示す構成図である。
【００２７】
本実施の形態の音声合成装置は、声質の自由度が広く良い音質の合成音声をテキストデータから生成するものであって、複数の音声素片（音素）に関する音声素片データを蓄積する複数の音声合成ＤＢ１０１ａ〜１０１ｚと、１つの音声合成ＤＢに蓄積された音声素片データを用いることにより、テキスト１０に示される文字列に対応する音声合成パラメタ値列１１を生成する複数の音声合成部（音声情報生成手段）１０３と、ユーザによる操作に基づいて声質を指定する声質指定部１０４と、複数の音声合成部１０３により生成された音声合成パラメタ値列１１を用いて音声モーフィング処理を行い、中間的合成音波形データ１２を出力する音声モーフィング部１０５と、中間的合成音波形データ１２に基づいて合成音声を出力するスピーカ１０７とを備えている。
【００２８】
音声合成ＤＢ１０１ａ〜１０１ｚのそれぞれが蓄積する音声素片データの示す声質は異なっている。例えば、音声合成ＤＢ１０１ａには、笑っている声質の音声素片データが蓄積され、音声合成ＤＢ１０１ｚには、怒っている声質の音声素片データが蓄積されている。また、本実施の形態における音声素片データは、音声生成モデルの特徴パラメタ値列の形式で表現されている。さらに、蓄積される各音声素片データには、これらのデータにより示される各音声素片の開始及び終了の時刻と、音響的特徴の変化点の時刻とを示すラベル情報が付されている。
【００２９】
複数の音声合成部１０３は、それぞれ上述の音声合成ＤＢと一対一に対応付けられている。このような音声合成部１０３の動作について図２を参照して説明する。
【００３０】
図２は、音声合成部１０３の動作を説明するための説明図である。
音声合成部１０３は、図２に示すように、言語処理部１０３ａと素片結合部１０３ｂとを備えている。
【００３１】
言語処理部１０３ａは、テキスト１０を取得して、テキスト１０に示される文字列を音素情報１０ａに変換する。音素情報１０ａは、テキスト１０に示される文字列が音素列の形で表現されたもので、他にアクセント位置情報や音素継続長情報など、素片選択・結合・変形に必要な情報を含んでもよい。
【００３２】
素片結合部１０３ｂは、対応付けられた音声合成ＤＢの音声素片データから適切な音声素片に関する部分を抜き出して、抜き出した部分の結合と変形を行うことにより、言語処理部１０３ａにより出力される音素情報１０ａに対応する音声合成パラメタ値列１１を生成する。音声合成パラメタ値列１１は、実際の音声波形を生成するために必要となる十分な情報を含んだ複数の特徴パラメタの値が配列されたものである。例えば、音声合成パラメタ値列１１は、時系列に沿った各音声分析合成フレームごとに、図２に示すような、５つの特徴パラメタを含んで構成される。５つの特徴パラメタとは、音声の基本周波数Ｆ０と、第一フォルマントＦ１と、第二フォルマントＦ２と、音声分析合成フレーム継続長ＦＲと、音源強度ＰＷとである。また、上述のように音声素片データにはラベル情報が付されているので、このように生成される音声合成パラメタ値列１１にもラベル情報が付されている。
【００３３】
声質指定部１０４は、ユーザによる操作に基づき、何れの音声合成パラメタ値列１１を用い、その音声合成パラメタ値列１１に対してどのような割合で音声モーフィング処理を行うかを音声モーフィング部１０５に指示する。さらに、声質指定部１０４はその割合を時系列に沿って変化させる。このような声質指定部１０４は、例えばパーソナルコンピュータなどから構成され、ユーザにより操作された結果を表示するディスプレイを備えている。
【００３４】
図３は、声質指定部１０４のディスプレイが表示する画面の一例を示す画面表示図である。
【００３５】
ディスプレイには、音声合成ＤＢ１０１ａ〜１０１ｚの声質を示す複数の声質アイコンが表示されている。なお図３では、複数の声質アイコンのうち、声質Ａの声質アイコン１０４Ａと、声質Ｂの声質アイコン１０４Ｂと、声質Ｚの声質アイコン１０４Ｚとを示す。このような複数の声質アイコンは、それぞれの示す声質が似ているものほど互いに近寄るように配置され、似ていないものほど互いに離れるように配置される。
【００３６】
ここで、声質指定部１０４は、このようなディスプレイ上に、ユーザによる操作に応じて移動可能な指定アイコン１０４ｉを表示する。
【００３７】
声質指定部１０４は、ユーザによって配置された指定アイコン１０４ｉから近い声質アイコンを調べ、例えば声質アイコン１０４Ａ，１０４Ｂ，１０４Ｚを特定すると、声質Ａの音声合成パラメタ値列１１と、声質Ｂの音声合成パラメタ値列１１と、声質Ｚの音声合成パラメタ値列１１とを用いることを、音声モーフィング部１０５に指示する。さらに、声質指定部１０４は、各声質アイコン１０４Ａ，１０４Ｂ，１０４Ｚ及び指定アイコン１０４ｉの相対的な配置に対応する割合を、音声モーフィング部１０５に指示する。
【００３８】
即ち、声質指定部１０４は、指定アイコン１０４ｉから各声質アイコン１０４Ａ，１０４Ｂ，１０４Ｚまでの距離を調べ、それらの距離に応じた割合を指示する。
【００３９】
又は、声質指定部１０４は、まず、声質Ａと声質Ｚの中間的な声質（テンポラリ声質）を生成するための割合を求め、次に、そのテンポラリ声質と声質Ｂとから、指定アイコン１０４ｉで示される声質を生成するための割合を求め、これらの割合を指示する。具体的に、声質指定部１０４は、声質アイコン１０４Ａ及び声質アイコン１０４Ｚを結ぶ直線と、声質アイコン１０４Ｂ及び指定アイコン１０４ｉを結ぶ直線とを算出し、これらの直線の交点の位置１０４ｔを特定する。この位置１０４ｔにより示される声質が上述のテンポラリ声質である。そして、声質指定部１０４は、位置１０４ｔから各声質アイコン１０４Ａ，１０４Ｚまでの距離の割合を求める。次に、声質指定部１０４は、指定アイコン１０４ｉから声質アイコン１０４Ｂ及び位置１０４ｔまでの距離の割合を求め、このように求めた２つの割合を指示する。
【００４０】
このような声質指定部１０４を操作することにより、ユーザは、スピーカ１０７から出力させようとする合成音声の声質の、予め設定された声質に対する類似度を容易に入力することができる。そこでユーザは、例えば声質Ａに近い合成音声をスピーカ１０７から出力させたいときには、指定アイコン１０４ｉが声質アイコン１０４Ａに近づくように声質指定部１０４を操作する。
【００４１】
また、声質指定部１０４は、ユーザからの操作に応じて、上述のような割合を時系列に沿って連続的に変化させる。
【００４２】
図４は、声質指定部１０４のディスプレイが表示する他の画面の一例を示す画面表示図である。
【００４３】
声質指定部１０４は、図４に示すように、ユーザによる操作に応じて、ディスプレイ上に３つのアイコン２１，２２，２３を配置し、アイコン２１からアイコン２２を通ってアイコン２３に到達するような軌跡を特定する。そして、声質指定部１０４は、その軌跡に沿って指定アイコン１０４ｉが移動するように、上述の割合を時系列に沿って連続的に変化させる。例えば、声質指定部１０４は、その軌跡の長さをＬとすると、毎秒０.０１×Ｌの速度で指定アイコン１０４ｉが移動するように、その割合を変化させる。
【００４４】
音声モーフィング部１０５は、上述のような声質指定部１０４により指定された音声合成パラメタ値列１１と割合とから、音声モーフィング処理を行う。
【００４５】
図５は、音声モーフィング部１０５の処理動作を説明するための説明図である。
音声モーフィング部１０５は、図５に示すように、パラメタ中間値計算部１０５ａと、波形生成部１０５ｂとを備えている。
【００４６】
パラメタ中間値計算部１０５ａは、声質指定部１０４により指定された少なくとも２つの音声合成パラメタ値列１１と割合とを特定し、それらの音声合成パラメタ値列１１から、互いに対応する音声分析合成フレーム間ごとに、その割合に応じた中間的音声合成パラメタ値列１３を生成する。
【００４７】
例えば、パラメタ中間値計算部１０５ａは、声質指定部１０４の指定に基づいて、声質Ａの音声合成パラメタ値列１１と、声質Ｚの音声合成パラメタ値列１１と、割合５０：５０とを特定すると、まず、その声質Ａの音声合成パラメタ値列１１と、声質Ｚの音声合成パラメタ値列１１とを、それぞれに対応する音声合成部１０３から取得する。そして、パラメタ中間値計算部１０５ａは、互いに対応する音声分析合成フレームにおいて、声質Ａの音声合成パラメタ値列１１に含まれる各特徴パラメタと、声質Ｚの音声合成パラメタ値列１１に含まれる各特徴パラメタとの中間値を５０：５０の割合で算出し、その算出結果を中間的音声合成パラメタ値列１３として生成する。具体的に、互いに対応する音声分析合成フレームにおいて、声質Ａの音声合成パラメタ値列１１の基本周波数Ｆ０の値が３００であり、声質Ｚの音声合成パラメタ値列１１の基本周波数Ｆ０の値が２８０である場合には、パラメタ中間値計算部１０５ａは、当該音声分析合成フレームでの基本周波数Ｆ０が２９０となる中間的音声合成パラメタ値列１３を生成する。
【００４８】
また、図３を用いて説明したように、声質指定部１０４により、声質Ａの音声合成パラメタ値列１１と、声質Ｂの音声合成パラメタ値列１１と、声質Ｚの音声合成パラメタ値列１１とが指定され、さらに、声質Ａと声質Ｚの中間的なテンポラリ声質を生成するための割合（例えば３：７）と、そのテンポラリ声質と声質Ｂとから指定アイコン１０４ｉで示される声質を生成するための割合（例えば９：１）とが指定され場合には、音声モーフィング部１０５は、まず、声質Ａの音声合成パラメタ値列１１と、声質Ｚの音声合成パラメタ値列１１とを用いて、３：７の割合に応じた音声モーフィング処理を行う。これにより、テンポラリ声質に対応する音声合成パラメタ値列が生成される。さらに、音声モーフィング部１０５は、先に生成した音声合成パラメタ値列と、声質Ｂの音声合成パラメタ値列１１とを用いて、９：１の割合に応じた音声モーフィング処理を行う。これにより、指定アイコン１０４ｉに対応する中間的音声合成パラメタ値列１３が生成される。ここで、上述の３：７の割合に応じた音声モーフィング処理とは、声質Ａの音声合成パラメタ値列１１を３／（３＋７）だけ声質Ｚの音声合成パラメタ値列１１に近づける処理であり、逆に、声質Ｚの音声合成パラメタ値列１１を７／（３＋７）だけ声質Ａの音声合成パラメタ値列１１に近づける処理をいう。この結果、生成される音声合成パラメタ値列は、声質Ｚの音声合成パラメタ値列１１よりも、声質Ａの音声合成パラメタ値列１１に類似することとなる。
【００４９】
波形生成部１０５ｂは、パラメタ中間値計算部１０５ａにより生成された中間的音声合成パラメタ値列１３を取得して、その中間的音声合成パラメタ値列１３に応じた中間的合成音波形データ１２を生成し、スピーカ１０７に対して出力する。
【００５０】
これにより、スピーカ１０７からは、中間的音声合成パラメタ値列１３に応じた合成音声が出力される。即ち、予め設定された複数の声質の中間的な声質の合成音声がスピーカ１０７から出力される。
【００５１】
ここで、一般に複数の音声合成パラメタ値列１１に含まれる音声分析合成フレームの総数はそれぞれ異なるため、パラメタ中間値計算部１０５ａは、上述のように互いに異なる声質の音声合成パラメタ値列１１を用いて音声モーフィング処理を行うときには、音声分析合成フレーム間の対応付けを行うために時間軸アライメントを行う。
【００５２】
即ちパラメタ中間値計算部１０５ａは、音声合成パラメタ値列１１に付されたラベル情報に基づいて、これらの音声合成パラメタ値列１１の時間軸上の整合を図る。
【００５３】
ラベル情報は、前述のように各音声素片の開始及び終了の時刻と、音響的特徴の変化点の時刻とを示す。音響的特徴の変化点は、例えば、音声素片に対応する不特定話者ＨＭＭ音素モデルにより示される最尤パスの状態遷移点である。
【００５４】
図６は、音声素片とＨＭＭ音素モデルの一例を示す例示図である。
例えば、図６に示すように、所定の音声素片３０を不特定話者ＨＭＭ音素モデル（以下、音素モデルと略す）３１で認識した場合、その音素モデル３１は、開始状態（Ｓ0）と終了状態（ＳE）を含めて４つの状態（Ｓ0，Ｓ1，Ｓ2，ＳE）で構成される。ここで、最尤パスの形状３２は、時刻４から５において、状態Ｓ１から状態Ｓ２への状態遷移を有する。つまり、音声合成ＤＢ１０１ａ〜１０１ｚに格納されている音声素片データの音声素片３０に対応する部分には、この音声素片３０の開始時刻１、終了時刻Ｎ、及び音響的特徴の変化点の時刻５を示すラベル情報が付されている。
【００５５】
したがって、パラメタ中間値計算部１０５ａは、そのラベル情報に示される開始時刻１、終了時刻Ｎ、及び音響的特徴の変換点の時刻５に基づいて、時間軸の伸縮処理を行う。即ち、パラメタ中間値計算部１０５ａは、取得した各音声合成パラメタ値列１１に対して、ラベル情報により示される時刻が一致するように、その時刻間を線形に伸縮する。
【００５６】
これにより、パラメタ中間値計算部１０５ａは、各音声合成パラメタ値列１１に対して、それぞれの音声分析合成フレームの対応付けを行うことができる。つまり、時間軸アライメントを行うことができる。また、このように本実施の形態ではラベル情報を用いて時間軸アライメントを行うことにより、例えば各音声合成パラメタ値列１１のパターンマッチングなどにより時間軸アライメントを行う場合と比べて、迅速に時間軸アライメントを実行することができる。
【００５７】
以上のように本実施の形態では、パラメタ中間値計算部１０５ａが、声質指定部１０４から指示された複数の音声合成パラメタ値列１１に対して、声質指定部１０４から指定された割合に応じた音声モーフィング処理を実行するため、合成音声の声質の自由度を広めることができる。
【００５８】
例えば、図３に示す声質指定部１０４のディスプレイ上で、ユーザが声質指定部１０４を操作することにより指定アイコン１０４ｉを声質アイコン１０４Ａ、声質アイコン１０４Ｂ及び声質アイコン１０４Ｚに近づければ、音声モーフィング部１０５は、声質Ａの音声合成ＤＢ１０１ａに基づいて音声合成部１０３により生成された音声合成パラメタ値列１１と、声質Ｂの音声合成ＤＢ１０１ｂに基づいて音声合成部１０３により生成された音声合成パラメタ値列１１と、声質Ｚの音声合成ＤＢ１０１ｚに基づいて音声合成部１０３により生成された音声合成パラメタ値列１１とを用いて、それぞれを同じ割合で音声モーフィング処理する。その結果、スピーカ１０７から出力される合成音声を、声質Ａと声質Ｂと声質Ｃとの中間的な声質にすることができる。また、ユーザが声質指定部１０４を操作することにより指定アイコン１０４ｉを声質アイコン１０４Ａに近づければ、スピーカ１０７から出力される合成音声の声質を声質Ａに近づけることができる。
【００５９】
また、本実施の形態の声質指定部１０４は、ユーザによる操作に応じてその割合を時系列に沿って変化させるため、スピーカ１０７から出力される合成音声の声質を時系列に沿ってなめらかに変化させることができる。例えば、図４で説明したように、声質指定部１０４が、毎秒０.０１×Ｌの速度で軌跡上を指定アイコン１０４ｉが移動するように割合を変化させた場合には、１００秒間声質がなめらかに変化し続けるような合成音声がスピーカ１０７から出力される。
【００６０】
これによって、例えば「喋り始めは冷静だが、喋りながら段々怒っていく」というような、従来は不可能だった、表現力の高い音声合成装置が実現できる。また、合成音声の声質を１発声の中で連続的に変化させることもできる。
【００６１】
さらに、本実施の形態では、音声モーフィング処理を行うため、従来例のように声質に破錠が起こることがなく合成音声の品質を維持することができる。また、本実施の形態では、声質の異なる音声合成パラメタ値列１１の互いに対応する特徴パラメタの中間値を計算して中間的音声合成パラメタ値列１３を生成するため、従来例のように２つのスペクトルをモーフィング処理する場合と比べて、基準とする部位を誤って特定してしまうことなく、合成音声の音質を良くすることができ、さらに、計算量を軽減することができる。また、本実施の形態では、ＨＭＭの状態遷移点を用いることで、複数の音声合成パラメタ値列１１を時間軸上で正確に整合させることができる。即ち、声質Ａの音素の中でも、状態遷移点を基準に前半と後半とで音響的特徴が異なり、声質Ｂの音素の中でも、状態遷移点を基準に前半と後半とで音響的特徴が異なる場合がある。このような場合に、声質Ａの音素と声質Ｂの音素とをそれぞれ単純に時間軸に伸縮して、それぞれの発声時間を合わせても、つまり時間軸アライメントを行っても、両音素からモーフィング処理された音素には、各音素の前半と後半とが入り乱れてしまう。しかし、上述のようにＨＭＭの状態遷移点を用いると、各音素の前半と後半とが入り乱れてしまうのを防ぐことができる。その結果、モーフィング処理された音素の音質を良くして、所望の中間的な声質の合成音声を出力することができる。
【００６２】
なお、本実施の形態では、複数の音声合成部１０３のそれぞれに音素情報１０ａ及び音声合成パラメタ値列１１を生成させたが、音声モーフィング処理に必要となる声質に対応する音素情報１０ａが何れも同じであるときには、１つの音声合成部１０３の言語処理部１０３ａにのみ音素情報１０ａを生成させ、その音素情報１０ａから音声合成パラメタ値列１１を生成する処理を、複数の音声合成部１０３の素片結合部１０３ｂにさせても良い。
【００６３】
（変形例）
ここで、本実施の形態における音声合成部に関する変形例について説明する。
【００６４】
図７は、本変形例に係る音声合成装置の構成を示す構成図である。
本変形例に係る音声合成装置は、互いに異なる声質の音声合成パラメタ値列１１を生成する１つの音声合成部１０３ｃを備える。
【００６５】
この音声合成部１０３ｃは、テキスト１０を取得して、テキスト１０に示される文字列を音素情報１０ａに変換した後、複数の音声合成ＤＢ１０１ａ〜１０１ｚを順番に切り替えて参照ことで、その音素情報１０ａに対応する複数の声質の音声合成パラメタ値列１１を順次生成する。
【００６６】
音声モーフィング部１０５は、必要な音声合成パラメタ値列１１が生成されるまで待機し、その後、上述と同様の方法で中間的合成音波形データ１２を生成する。
【００６７】
なお、上述のような場合、声質指定部１０４は、音声合成部１０３ｃに指示して、音声モーフィング部１０５が必要とする音声合成パラメタ値列１１のみを生成させることで、音声モーフィング部１０５の待機時間を短くすることができる。
【００６８】
このように本変形例では、音声合成部１０３ｃを１つだけ備えることにより、音声合成装置全体の小型化並びにコスト低減を図ることができる。
【００６９】
（実施の形態２）
図８は、本発明の実施の形態２に係る音声合成装置の構成を示す構成図である。
【００７０】
本実施の形態の音声合成装置は、実施の形態１の音声合成パラメタ値列１１の代わりに周波数スペクトルを用い、この周波数スペクトルによる音声モーフィング処理を行う。
【００７１】
このような音声合成装置は、複数の音声素片に関する音声素片データを蓄積する複数の音声合成ＤＢ２０１ａ〜２０１ｚと、１つの音声合成ＤＢに蓄積された音声素片データを用いることにより、テキスト１０に示される文字列に対応する合成音スペクトル４１を生成する複数の音声合成部２０３と、ユーザによる操作に基づいて声質を指定する声質指定部１０４と、複数の音声合成部２０３により生成された合成音スペクトル４１を用いて音声モーフィング処理を行い、中間的合成音波形データ１２を出力する音声モーフィング部２０５と、中間的合成音波形データ１２に基づいて合成音声を出力するスピーカ１０７とを備えている。
【００７２】
複数の音声合成ＤＢ２０１ａ〜２０１ｚのそれぞれが蓄積する音声素片データの示す声質は、実施の形態１の音声合成ＤＢ１０１ａ〜１０１ｚと同様、異っている。また、本実施の形態における音声素片データは、周波数スペクトルの形式で表現されている。
【００７３】
複数の音声合成部２０３は、それぞれ上述の音声合成ＤＢと一対一に対応付けられている。そして、各音声合成部２０３は、テキスト１０を取得して、テキスト１０に示される文字列を音素情報に変換する。さらに、音声合成部２０３は、対応付けられた音声合成ＤＢの音声素片データから適切な音声素片に関する部分を抜き出して、抜き出した部分の結合と変形を行うことにより、先に生成した音素情報に対応する周波数スペクトルたる合成音スペクトル４１を生成する。このような合成音スペクトル４１は、音声のフーリエ解析結果の形式であっても良く、音声のケプストラムパラメタ値を時系列的に並べた形式であっても良い。
【００７４】
声質指定部１０４は、実施の形態１と同様、ユーザによる操作に基づき、何れの合成音スペクトル４１を用い、その合成音スペクトル４１に対してどのような割合で音声モーフィング処理を行うかを音声モーフィング部２０５に指示する。さらに、声質指定部１０４はその割合を時系列に沿って変化させる。
【００７５】
本実施の形態における音声モーフィング部２０５は、複数の音声合成部２０３から出力される合成音スペクトル４１を取得して、その中間的性質を持つ合成音スペクトルを生成し、さらに、その中間的性質の合成音スペクトルを中間的合成音波形データ１２に変形して出力する。
【００７６】
図９は、本実施の形態における音声モーフィング部２０５の処理動作を説明するための説明図である。
【００７７】
音声モーフィング部２０５は、図９に示すように、スペクトルモーフィング部２０５ａと、波形生成部２０５ｂとを備えている。
【００７８】
スペクトルモーフィング部２０５ａは、声質指定部１０４により指定された少なくとも２つの合成音スペクトル４１と割合とを特定し、それらの合成音スペクトル４１から、その割合に応じた中間的合成音スペクトル４２を生成する。
【００７９】
即ち、スペクトルモーフィング部２０５ａは、複数の合成音スペクトル４１から、声質指定部１０４により指定された２つ以上の合成音スペクトル４１を選択する。そして、スペクトルモーフィング部２０５ａは、それら合成音スペクトル４１の形状の特徴を示すフォルマント形状５０を抽出して、そのフォルマント形状５０ができるだけ一致するような変形を各合成音スペクトル４１に加えた後、各合成音スペクトル４１の重ね合わせを行う。なお、上述の合成音スペクトル４１の形状の特徴は、フォルマント形状でなくても良く、例えばある程度以上強く現れていて、かつその軌跡が連続的に追えるものであれば良い。図９に示されるように、フォルマント形状５０は、声質Ａの合成音スペクトル４１及び声質Ｚの合成音スペクトル４１のそれぞれについてスペクトル形状の特徴を模式的に表すものである。
【００８０】
具体的に、スペクトルモーフィング部２０５ａは、声質指定部１０４からの指定に基づき、声質Ａ及び声質Ｚの合成音スペクトル４１と４：６の割合とを特定すると、まず、その声質Ａの合成音スペクトル４１と声質Ｚの合成音スペクトル４１とを取得して、それらの合成音スペクトル４１からフォルマント形状５０を抽出する。次に、スペクトルモーフィング部２０５ａは、声質Ａの合成音スペクトル４１のフォルマント形状５０が声質Ｚの合成音スペクトル４１のフォルマント形状５０に４０％だけ近づくように、声質Ａの合成音スペクトル４１を周波数軸及び時間軸上で伸縮処理する。さらに、スペクトルモーフィング部２０５ａは、声質Ｚの合成音スペクトル４１のフォルマント形状５０が声質Ａの合成音スペクトル４１のフォルマント形状５０に６０％だけ近づくように、声質Ｚの合成音スペクトル４１を周波数軸及び時間軸上で伸縮処理する。最後に、スペクトルモーフィング部２０５ａは、伸縮処理された声質Ａの合成音スペクトル４１のパワーを６０％にするとともに、伸縮処理された声質Ｚの合成音スペクトル４１のパワーを４０％にした上で、両合成音スペクトル４１を重ね合わせる。その結果、声質Ａの合成音スペクトル４１と声質Ｚの合成音スペクトル４１との音声モーフィング処理が４：６の割合で行われ、中間的合成音スペクトル４２が生成される。
【００８１】
このような、中間的合成音スペクトル４２を生成する音声モーフィング処理について、図１０〜図１２を用いてより詳細に説明する。
【００８２】
図１０は、声質Ａ及び声質Ｚの合成音スペクトル４１と、それらに対応する短時間フーリエスペクトルとを示す図である。
【００８３】
スペクトルモーフィング部２０５ａは、声質Ａの合成音スペクトル４１と声質Ｚの合成音スペクトル４１との音声モーフィング処理を４：６の割合で行うときには、まず、上述のようにこれらの合成音スペクトル４１のフォルマント形状５０を互いに近づけるため、各合成音スペクトル４１同士の時間軸アライメントを行う。このような時間軸アライメントは、各合成音スペクトル４１のフォルマント形状５０同士のパターンマッチングを行うことにより実現される。なお、各合成音スペクトル４１もしくはフォルマント形状５０に関する他の特徴量を用いてパターンマッチングを行ってもよい。
【００８４】
即ち、スペクトルモーフィング部２０５ａは、図１０に示すように、両合成音スペクトル４１のそれぞれのフォルマント形状５０において、パターンが一致するフーリエスペクトル分析窓５１の部位で時刻が一致するように、両合成音スペクトル４１に対して時間軸上の伸縮を行う。これにより時間軸アライメントが実現される。
【００８５】
また、図１０に示すように、互いにパターンが一致するフーリエスペクトル分析窓５１のそれぞれの短時間フーリエスペクトル４１ａには、フォルマント形状５０の周波数５０ａ，５０ｂが互いに異なるように表示される。
【００８６】
そこで、時間軸アライメントの完了後、スペクトルモーフィング部２０５ａは、アライメントされた音声の各時刻において、フォルマント形状５０を基に、周波数軸上の伸縮処理を行う。即ち、スペクトルモーフィング部２０５ａは、各時刻における声質Ａ及び声質Ｂの短時間フーリエスペクトル４１ａにおいて周波数５０ａ，５０ｂが一致するように、両短時間フーリエスペクトル４１ａを周波数軸上で伸縮する。
【００８７】
図１１は、スペクトルモーフィング部２０５ａが両短時間フーリエスペクトル４１ａを周波数軸上で伸縮する様子を説明するための説明図である。
【００８８】
スペクトルモーフィング部２０５ａは、声質Ａの短時間フーリエスペクトル４１ａ上の周波数５０ａ，５０ｂが４０％だけ、声質Ｚの短時間フーリエスペクトル４１ａ上の周波数５０ａ，５０ｂに近付くように、声質Ａの短時間フーリエスペクトル４１ａを周波数軸上で伸縮し、中間的な短時間フーリエスペクトル４１ｂを生成する。これと同様に、スペクトルモーフィング部２０５ａは、声質Ｚの短時間フーリエスペクトル４１ａ上の周波数５０ａ，５０ｂが６０％だけ、声質Ａの短時間フーリエスペクトル４１ａ上の周波数５０ａ，５０ｂに近付くように、声質Ｚの短時間フーリエスペクトル４１ａを周波数軸上で伸縮し、中間的な短時間フーリエスペクトル４１ｂを生成する。その結果、中間的な両短時間フーリエスペクトル４１ｂにおいて、フォルマント形状５０の周波数は周波数ｆ１，ｆ２に揃えられた状態となる。
【００８９】
例えば、声質Ａの短時間フーリエスペクトル４１ａ上でフォルマント形状５０の周波数５０ａ，５０ｂが５００Ｈｚ及び３０００Ｈｚであり、声質Ｚの短時間フーリエスペクトル４１ａ上でフォルマント形状５０の周波数５０ａ，５０ｂが４００Ｈｚ及び４０００Ｈｚであり、かつ各合成音のナイキスト周波数が１１０２５Ｈｚである場合を想定して説明する。スペクトルモーフィング部２０５ａは、まず、声質Ａの短時間フーリエスペクトル４１ａの帯域ｆ＝０〜５００Ｈｚが０〜（５００＋（４００−５００）×０．４）Ｈｚとなるように、帯域ｆ＝５００〜３０００Ｈｚが（５００＋（４００−５００）×０．４）〜（３０００＋（４０００−３０００）×０．４）Ｈｚとなるように、帯域ｆ＝３０００〜１１０２５Ｈｚが（３０００＋（４０００−３０００）×０．４）〜１１０２５Ｈｚとなるように、声質Ａの短時間フーリエスペクトル４１ａに対して周波数軸上の伸縮・移動を行う。これと同様に、スペクトルモーフィング部２０５ａは、声質Ｚの短時間フーリエスペクトル４１ａの帯域ｆ＝０〜４００Ｈｚが０〜（４００＋（５００−４００）×０．６）Ｈｚとなるように、帯域ｆ＝４００〜４０００Ｈｚが（４００＋（５００−４００）×０．６）〜（４０００＋（３０００−４０００）×０．６）Ｈｚとなるように、帯域ｆ＝４０００〜１１０２５Ｈｚが（４０００＋（３０００−４０００）×０．６）〜１１０２５Ｈｚとなるように、声質Ｚの短時間フーリエスペクトル４１ａに対して周波数軸上の伸縮・移動を行う。その伸縮・移動の結果により生成された２つの短時間フーリエスペクトル４１ｂにおいて、フォルマント形状５０の周波数は周波数ｆ１，ｆ２に揃えられた状態となる。
【００９０】
次に、スペクトルモーフィング部２０５ａは、このような周波数軸上の変形が行われた両短時間フーリエスペクトル４１ｂのパワーを変形する。即ち、スペクトルモーフィング部２０５ａは、声質Ａの短時間フーリエスペクトル４１ｂのパワーを６０％に変換し、声質Ｚの短時間フーリエスペクトル４１ｂのパワーを４０％に変換する。そして、スペクトルモーフィング部２０５ａは、上述のように、パワーが変換されたこれらの短時間フーリエスペクトルを重ね合わせる。
【００９１】
図１２は、パワーが変換された２つの短時間フーリエスペクトルを重ね合わせる様子を説明するための説明図である。
【００９２】
この図１２に示すように、スペクトルモーフィング部２０５ａは、パワーが変換された声質Ａの短時間フーリエスペクトル４１ｃと、同じくパワーが変換された声質Ｂの短時間フーリエスペクトル４１ｃとを重ね合わせ、新たな短時間フーリエスペクトル４１ｄを生成する。このとき、スペクトルモーフィング部２０５ａは、互いの短時間フーリエスペクトル４１ｃの上記周波数ｆ１，ｆ２を一致させた状態で、両短時間フーリエスペクトル４１ｃを重ね合わせる。
【００９３】
そして、スペクトルモーフィング部２０５ａは、上述のような短時間フーリエスペクトル４１ｄの生成を、両合成音スペクトル４１の時間軸アライメントされた時刻ごとに行う。その結果、声質Ａの合成音スペクトル４１と声質Ｚの合成音スペクトル４１との音声モーフィング処理が４：６の割合で行われ、中間的合成音スペクトル４２が生成されるのである。
【００９４】
音声モーフィング部２０５の波形生成部２０５ｂは、上述のようにスペクトルモーフィング部２０５ａにより生成された中間的合成音スペクトル４２を、中間的合成音波形データ１２に変換して、これをスピーカ１０７に出力する。その結果、スピーカ１０７から、中間的合成音スペクトル４２に対応する合成音声が出力される。
【００９５】
このように、本実施の形態においても、実施の形態１と同様、声質の自由度が広く良い音質の合成音声をテキスト１０から生成することができる。
【００９６】
（変形例）
ここで、本実施の形態におけるスペクトルモーフィング部の動作に関する変形例について説明する。
【００９７】
本変形例に係るスペクトルモーフィング部は、上述のように合成音スペクトル４１からその形状の特徴を示すフォルマント形状５０を抽出して用いることなく、音声合成ＤＢに予め格納されたスプライン曲線の制御点の位置を読み出して、そのスプライン曲線をフォルマント形状５０の代わりに用いる。
【００９８】
即ち、各音声素片に対応するフォルマント形状５０を、周波数対時間の２次元平面上の複数のスプライン曲線と見なし、そのスプライン曲線の制御点の位置を予め音声合成ＤＢに格納しておく。
【００９９】
このように、本変形例に係るスペクトルモーフィング部は、合成音スペクトル４１からわざわざフォルマント形状５０を抽出することをせず、音声合成ＤＢに予め格納されている制御点の位置が示すスプライン曲線を用いて時間軸及び周波数軸上の変換処理を行うため、上記変換処理を迅速に行うことができる。
【０１００】
なお、上述のようなスプライン曲線の制御点の位置ではなくフォルマント形状５０そのものを、予め音声合成ＤＢ２０１ａ〜２０１ｚに格納しておいても良い。
【０１０１】
（実施の形態３）
図１３は、本発明の実施の形態３に係る音声合成装置の構成を示す構成図である。
【０１０２】
本実施の形態の音声合成装置は、実施の形態１の音声合成パラメタ値列１１や、実施の形態２の合成音スペクトル４１の代わりに音声波形を用い、この音声波形による音声モーフィング処理を行う。
【０１０３】
このような音声合成装置は、複数の音声素片に関する音声素片データを蓄積する複数の音声合成ＤＢ３０１ａ〜３０１ｚと、１つの音声合成ＤＢに蓄積された音声素片データを用いることにより、テキスト１０に示される文字列に対応する合成音波形データ６１を生成する複数の音声合成部３０３と、ユーザによる操作に基づいて声質を指定する声質指定部１０４と、複数の音声合成部３０３により生成された合成音波形データ６１を用いて音声モーフィング処理を行い、中間的合成音波形データ１２を出力する音声モーフィング部３０５と、中間的合成音波形データ１２に基づいて合成音声を出力するスピーカ１０７とを備えている。
【０１０４】
複数の音声合成ＤＢ３０１ａ〜３０１ｚのそれぞれが蓄積する音声素片データの示す声質は、実施の形態１の音声合成ＤＢ１０１ａ〜１０１ｚと同様、異なっている。また、本実施の形態における音声素片データは、音声波形の形式で表現されている。
【０１０５】
複数の音声合成部３０３は、それぞれ上述の音声合成ＤＢと一対一に対応付けられている。そして、各音声合成部３０３は、テキスト１０を取得して、テキスト１０に示される文字列を音素情報に変換する。さらに、音声合成部３０３は、対応付けられた音声合成ＤＢの音声素片データから適切な音声素片に関する部分を抜き出して、抜き出した部分の結合と変形を行うことにより、先に生成した音素情報に対応する音声波形たる合成音波形データ６１を生成する。
【０１０６】
声質指定部１０４は、実施の形態１と同様、ユーザによる操作に基づき、何れの合成音波形データ６１を用い、その合成音波形データ６１に対してどのような割合で音声モーフィング処理を行うかを音声モーフィング部３０５に指示する。さらに、声質指定部１０４はその割合を時系列に沿って変化させる。
【０１０７】
本実施の形態における音声モーフィング部３０５は、複数の音声合成部３０３から出力される合成音波形データ６１を取得して、その中間的性質を持つ中間的合成音波形データ１２を生成して出力する。
【０１０８】
図１４は、本実施の形態における音声モーフィング部３０５の処理動作を説明するための説明図である。
【０１０９】
本実施の形態における音声モーフィング部３０５は波形編集部３０５ａを備えている。
この波形編集部３０５ａは、声質指定部１０４により指定された少なくとも２つの合成音波形データ６１と割合とを特定し、それらの合成音波形データ６１から、その割合に応じた中間的合成音波形データ１２を生成する。
【０１１０】
即ち、波形編集部３０５ａは、複数の合成音波形データ６１から、声質指定部１０４により指定された２つ以上の合成音波形データ６１を選択する。そして、波形編集部３０５ａは、声質指定部１０４により指定された割合に応じ、その選択した合成音波形データ６１のそれぞれに対して、例えば各音声の各サンプリング時点におけるピッチ周波数や振幅、各音声における各有声区間の継続時間長などを変形する。波形編集部３０５ａは、そのように変形された合成音波形データ６１を重ね合わせることで、中間的合成音波形データ１２を生成する。
【０１１１】
スピーカ１０７は、このように生成された中間的合成音波形データ１２を波形編集部３０５ａから取得して、その中間的合成音波形データ１２に対応する合成音声を出力する。
【０１１２】
このように、本実施の形態においても、実施の形態１又は２と同様、声質の自由度が広く良い音質の合成音声をテキスト１０から生成することができる。
【０１１３】
（実施の形態４）
図１５は、本発明の実施の形態４に係る音声合成装置の構成を示す構成図である。
【０１１４】
本実施の形態の音声合成装置は、出力する合成音声の声質に応じた顔画像を表示するものであって、実施の形態１に含まれる構成要素と、複数の顔画像に関する画像情報を蓄積する複数の画像ＤＢ４０１ａ〜４０１ｚと、これらの画像ＤＢ４０１ａ〜４０１ｚに蓄積される顔画像の情報を用いて画像モーフィング処理を行い、中間的顔画像データ１２ｐを出力する画像モーフィング部４０５と、画像モーフィング部４０５から中間的顔画像データ１２ｐを取得して、その中間的顔画像データ１２ｐに応じた顔画像を表示する表示部４０７とを備えている。
【０１１５】
画像ＤＢ４０１ａ〜４０１ｚのそれぞれが蓄積する画像情報の示す顔画像の表情は異なっている。例えば、怒っている声質の音声合成ＤＢ１０１ａに対応する画像ＤＢ４０１ａには、怒っている表情の顔画像に関する画像情報が蓄積されている。また、画像ＤＢ４０１ａ〜４０１ｚに蓄積されている顔画像の画像情報には、顔画像の眉及び口の端や中央、目の中心点など、この顔画像の表す表情の印象をコントロールするための特徴点が付加されている。
【０１１６】
画像モーフィング部４０５は、声質指定部１０４により指定された各合成音声パラメタ値列１０２のそれぞれの声質に対応付けされた画像ＤＢから画像情報を取得する。そして、画像モーフィング部４０５は、取得した画像情報を用いて、声質指定部１０４により指定された割合に応じた画像モーフィング処理を行う。
【０１１７】
具体的に、画像モーフィング部４０５は、取得した一方の画像情報により示される顔画像の特徴点の位置が、声質指定部１０４により指定された割合だけ、取得した他方の画像情報により示される顔画像の特徴点の位置に変位するように、その一方の顔画像をワーピングし、これと同様に、その他方の顔画像の特徴点の位置を、声質指定部１０４により指定された割合だけ、その一方の顔画像の特徴点の位置に変位するように、その他方の顔画像をワーピングする。そして、画像モーフィング部４０５は、ワーピングされたそれぞれの顔画像を、声質指定部１０４により指定された割合に応じてクロスディゾルブすることで、中間的顔画像データ１２ｐを生成する。
【０１１８】
これにより本実施の形態では、例えばエージェントの顔画像と合成音声の声質の印象を常に一致させることができる。即ち、本実施の形態の音声合成装置は、エージェントの平常声と怒り声の間の音声モーフィングを行って、少しだけ怒った声質の合成音声を生成するときには、音声モーフィングと同様の比率でエージェントの平常顔画像と怒り顔画像の間の画像モーフィングを行い、エージェントのその合成音声に適した少しだけ怒った顔画像を表示する。言い換えれば、感情を持つエージェントに対してユーザが感じる聴覚的印象と、視覚的印象を一致させることができ、エージェントの提示する情報の自然性を高めることができる。
【０１１９】
図１６は、本実施の形態の音声合成装置の動作を説明するための説明図である。
例えば、ユーザが声質指定部１０４を操作することにより、図３に示すディスプレイ上の指定アイコン１０４ｉを、声質アイコン１０４Ａと声質アイコン１０４Ｚを結ぶ線分を４：６に分割する位置に配置すると、音声合成装置は、スピーカ１０７から出力される合成音声が１０％だけ声質Ａ寄りになるように、その４：６の割合に応じた音声モーフィング処理を声質Ａ及び声質Ｚの音声合成パラメタ値列１１を用いて行い、声質Ａ及び声質Ｂの中間的な声質ｘの合成音声を出力する。これと同時に、音声合成装置は、上記割合と同じ４：６の割合に応じた画像モーフィング処理を、声質Ａに対応付けられた顔画像Ｐ１と、声質Ｚに対応付けられた顔画像Ｐ２とを用いて行い、これらの画像の中間的な顔画像Ｐ３を生成して表示する。ここで、音声合成装置は、画像モーフィングするときには、上述のように、顔画像Ｐ１の眉や口の端などの特徴点の位置を、顔画像Ｐ２の眉や口の端などの特徴点の位置に向けて４０％の割合で変化するように、その顔画像Ｐ１をワーピングし、これと同様に、顔画像Ｐ２の特徴点の位置を、顔画像Ｐ１の特徴点の位置に向けて６０％の割合で変化するように、その顔画像Ｐ２をワーピングする。そして、画像モーフィング部４０５は、ワーピングされた顔画像Ｐ１に対して６０％の割合で、ワーピングされた顔画像Ｐ２に対して４０％の割合でクロスディゾルブし、その結果、顔画像Ｐ３を生成する。
【０１２０】
このように、本実施の形態の音声合成装置は、スピーカ１０７から出力する合成音声の声質が「怒っている」ときには、「怒っている」様子の顔画像を表示部４０７に表示し、声質が「泣いている」ときには、「泣いている」様子の顔画像を表示部４０７に表示する。さらに、本実施形態の音声合成装置は、その声質が「怒っている」ものと「泣いている」ものとの中間的なものであるときには、「怒っている」顔画像と「泣いている」顔画像の中間的な顔画像を表示するとともに、その声質が「怒っている」ものから「泣いている」ものへと時間的に変化するときには、中間的な顔画像をその声質に一致させて時間的に変化させる。
【０１２１】
なお、画像モーフィングは他にも様々な方法によって可能であるが、元となる画像の間の比率を指定することで目的の画像が指定できる方法であれば、どんなものを用いてもよい。
【産業上の利用可能性】
【０１２２】
本発明は、声質の自由度が広く良い音質の合成音声をテキストデータから生成することができるという効果を有し、ユーザに対して感情を表す合成音声を出力する音声合成装置などに適用することができる。
【図面の簡単な説明】
【０１２３】
【図１】図１は、本発明の実施の形態１に係る音声合成装置の構成を示す構成図である。
【図２】図２は、同上の音声合成部の動作を説明するための説明図である。
【図３】図３は、同上の声質指定部のディスプレイが表示する画面の一例を示す画面表示図である。
【図４】図４は、同上の声質指定部のディスプレイが表示する他の画面の一例を示す画面表示図である。
【図５】図５は、同上の音声モーフィング部の処理動作を説明するための説明図である。
【図６】図６は、同上の音声素片とＨＭＭ音素モデルの一例を示す例示図である。
【図７】図７は、同上の変形例に係る音声合成装置の構成を示す構成図である。
【図８】図８は、本発明の実施の形態２に係る音声合成装置の構成を示す構成図である。
【図９】図９は、同上の音声モーフィング部の処理動作を説明するための説明図である。
【図１０】図１０は、同上の声質Ａ及び声質Ｚの合成音スペクトルと、それらに対応する短時間フーリエスペクトルとを示す図である。
【図１１】図１１は、同上のスペクトルモーフィング部が両短時間フーリエスペクトルを周波数軸上で伸縮する様子を説明するための説明図である。
【図１２】図１２は、同上のパワーが変換された２つの短時間フーリエスペクトルを重ね合わせる様子を説明するための説明図である。
【図１３】図１３は、本発明の実施の形態３に係る音声合成装置の構成を示す構成図である。
【図１４】図１４は、同上の音声モーフィング部の処理動作を説明するための説明図である。
【図１５】図１５は、本発明の実施の形態４に係る音声合成装置の構成を示す構成図である。
【図１６】図１６は、同上の音声合成装置の動作を説明するための説明図である。
【符号の説明】
【０１２４】
１０    テキスト
１０ａ    音素情報
１１    音声合成パラメタ値列
１２    中間的合成音波形データ
１２ｐ    中間的顔画像データ
１３    中間的音声合成パラメタ値列
３０    音声素片
３１    音素モデル
３２    最尤パスの形状
４１    合成音スペクトル
４２    中間的合成音スペクトル
５０    フォルマント形状
５０ａ，５０ｂ    周波数
５１    フーリエスペクトル分析窓
６１    合成音波形データ
１０１ａ〜１０１ｚ    音声合成ＤＢ
１０３    音声合成部
１０３ａ    言語処理部
１０３ｂ    素片結合部
１０４    声質指定部
１０４Ａ，１０４Ｂ，１０４Ｚ    声質アイコン
１０４ｉ    指定アイコン
１０５    音声モーフィング部
１０５ａ    パラメタ中間値計算部
１０５ｂ    波形生成部
１０６    中間的合成音波形データ
１０７    スピーカ
２０３    音声合成部
２０１ａ〜２０１ｚ    音声合成ＤＢ
２０５    音声モーフィング部
２０５ａ    スペクトルモーフィング部
２０５ｂ    波形生成部
３０３    音声合成部
３０１ａ〜３０１ｚ    音声合成ＤＢ
３０５    音声モーフィング部
３０５ａ    波形編集部
４０１ａ〜４０１ｚ    画像ＤＢ
４０５    画像モーフィング部
４０７    表示部
Ｐ１〜Ｐ３    顔画像
【図１】
0003895758.tif 000002
【図２】
0003895758.tif 000003
【図３】
0003895758.tif 000004
【図４】
0003895758.tif 000005
【図５】
0003895758.tif 000006
【図６】
0003895758.tif 000007
【図７】
0003895758.tif 000008
【図８】
0003895758.tif 000009
【図１１】
0003895758.tif 000010
【図１２】
0003895758.tif 000011
【図１３】
0003895758.tif 000012
【図１４】
0003895758.tif 000013
【図１５】
0003895758.tif 000014
【図１６】
0003895758.tif 000015
【図９】
0003895758.tif 000016
【図１０】
0003895758.tif 000017