(57)【要約】【課題】  自然な合成音声を出力することができる音声合成装置を提供する。【解決手段】  音声単位の外来語属性及び音響的特徴を示す音声単位データを音声単位ごとに格納している特徴パラメータＤＢ１０６と、テキストデータを取得し、テキストデータのテキストを表す複数の音声単位のそれぞれに対して、当該音声単位の外来語属性及び音響的特徴を推定する言語解析部１０４及び韻律推定部１０９と、テキストを表す音声単位ごとに、推定された音声単位の外来語属性及び音響的特徴と類似する内容を示す音声単位データを特徴パラメータＤＢ１０６から選択する音声単位選択部１０８と、選択された複数の音声単位データを用いて合成音声を生成して出力する音声合成部１１０とを備える。【選択図】        図１
2005181998.tif 000002
【特許請求の範囲】
【請求項１】
テキストデータを取得して、前記テキストデータの示すテキストを音声に変換する音声合成装置であって、
音声単位が外来語に属するか否かについての外来語属性、及び前記音声単位の音響的特徴を示す音声単位データを、音声単位ごとに格納している格納手段と、
テキストデータを取得し、前記テキストデータのテキストを表す複数の音声単位のそれぞれに対して、当該音声単位の前記外来語属性及び音響的特徴を推定する特徴推定手段と、
前記テキストを表す音声単位ごとに、前記特徴推定手段によって推定された音声単位の外来語属性及び音響的特徴と類似する内容を示す音声単位データを前記格納手段から選択する選択手段と、
前記選択手段によって選択された複数の音声単位データを用いて合成音声を生成して出力する音声出力手段と
を備えることを特徴とする音声合成装置。
【請求項２】
前記選択手段は、
前記特徴推定手段が、前記音声単位の外来語属性として外来語に属することを推定したときには、外来語属性として外来語に属することを示す音声単位データを優先して選択する
ことを特徴とする請求項１記載の音声合成装置。
【請求項３】
前記音声単位データは、さらに、音声単位が終助詞に属するか否かについての終助詞属性を示し、
前記特徴推定手段は、前記テキストデータのテキストを表す複数の音声単位のそれぞれに対して、当該音声単位の前記外来語属性、音響的特徴、及び終助詞属性を推定し、
前記選択手段は、前記特徴推定手段によって推定された音声単位の前記外来語属性、音響的特徴、及び終助詞属性と類似する内容を示す音声単位データを前記格納手段から選択する
ことを特徴とする請求項１記載の音声合成装置。
【請求項４】
前記選択手段は、
前記特徴推定手段が、前記音声単位の終助詞属性として終助詞に属することを推定したときには、終助詞属性として終助詞に属することを示す音声単位データを優先して選択する
ことを特徴とする請求項３記載の音声合成装置。
【請求項５】
前記音響的特徴は、音声単位の継続時間長、基本周波数、及びパワーのうち少なくとも１つを示す
ことを特徴とする請求項３記載の音声合成装置。
【請求項６】
前記音声単位データは、さらに、音声単位が属する音韻環境、音声単位の構文に関する構文情報、及び音声単位のアクセント句に関するアクセント句情報を示し、
前記特徴推定手段は、前記テキストデータのテキストを表す複数の音声単位のそれぞれに対して、当該音声単位の前記外来語属性、音響的特徴、終助詞属性、音韻環境、構文情報、及びアクセント句情報を推定し、
前記選択手段は、前記特徴推定手段によって推定された音声単位の前記外来語属性、音響的特徴、終助詞属性、音韻環境、構文情報、及びアクセント句情報と類似する内容を示す音声単位データを前記格納手段から選択する
ことを特徴とする請求項５記載の音声合成装置。
【請求項７】
前記選択手段は、
前記特徴推定手段によって推定された音声単位の外来語属性と、前記格納手段に格納されている音声単位データの外来語属性との類似度を数量的に評価して第１のサブコストを導出する第１の導出手段と、
前記特徴推定手段によって推定された音声単位の音響的特徴と、前記格納手段に格納されている音声単位データの音響的特徴との類似度を数量的に評価して第２のサブコストを導出する第２の導出手段と、
前記第１及び第２の導出手段によって導出された第１及び第２の各サブコストを用いてコストを導出するコスト導出手段と、
前記コスト導出手段によって導出されたコストに基づいて、前記格納手段から音声単位データを選択するデータ選択手段とを備える
ことを特徴とする請求項１記載の音声合成装置。
【請求項８】
前記コスト算出手段は、
前記第１及び第２の導出手段によって導出された第１及び第２の各サブコストに対して重みを付けて積算することにより前記コストを導出する
ことを特徴とする請求項７記載の音声合成装置。
【請求項９】
前記音声合成装置は、さらに、
前記特徴推定手段により推定された音響的特徴の信頼度を特定し、前記信頼度に応じて前記第１及び第２の各サブコストに対する重みを決定する重み決定手段を備え、
前記コスト導出手段は、
前記重み決定手段によって決定された重みを前記第１及び第２のサブコストに付ける
ことを特徴とする請求項８記載の音声合成装置。
【請求項１０】
前記重み決定手段は、
前記音響的特徴の信頼度が低いときには、音響的特徴の類似度よりも外来語属性の類似度の方が、前記データ選択手段による音声単位データの選択に寄与するように、前記第１及び第２のサブコストに対する重みを決定する
ことを特徴とする請求項９記載の音声合成装置。
【請求項１１】
前記選択手段は、さらに、
前記格納手段に格納されている複数の音声単位データを接続したときの音響的な歪みを数量的に評価して接続コストを導出する第３の導出手段を備え、
前記コスト導出手段は、前記第１及び第２の導出手段によって導出された第１及び第２のサブコストと、前記第３の導出手段によって導出された接続コストとを用いて前記コストを導出する
ことを特徴とする請求項１０記載の音声合成装置。
【請求項１２】
テキストデータを取得して、前記テキストデータの示すテキストを、格納手段に格納されたデータを用いて音声に変換する音声合成方法であって、
前記格納手段は、音声単位が外来語に属するか否かについての外来語属性、及び前記音声単位の音響的特徴を示す音声単位データを、音声単位ごとに格納しており、
前記音声合成方法は、
テキストデータを取得し、前記テキストデータのテキストを表す複数の音声単位のそれぞれに対して、当該音声単位の前記外来語属性及び音響的特徴を推定する特徴推定ステップと、
前記テキストに含まれる音声単位ごとに、前記特徴推定ステップで推定された音声単位の外来語属性及び音響的特徴と類似する内容を示す音声単位データを前記格納手段から選択する選択ステップと、
前記選択ステップで選択された複数の音声単位データを用いて合成音声を生成して出力する音声出力ステップと
を含むことを特徴とする音声合成方法。
【請求項１３】
前記音声単位データは、さらに、音声単位が終助詞に属するか否かについての終助詞属性を示し、
前記特徴推定ステップでは、前記テキストデータのテキストを表す複数の音声単位のそれぞれに対して、当該音声単位の前記外来語属性、音響的特徴、及び終助詞属性を推定し、
前記選択ステップでは、前記特徴推定ステップで推定された音声単位の前記外来語属性、音響的特徴、及び終助詞属性と類似する内容を示す音声単位データを前記格納手段から選択する
ことを特徴とする請求項１２記載の音声合成方法。
【請求項１４】
テキストデータを取得して、前記テキストデータの示すテキストを、格納手段に格納されたデータを用いて音声に変換するためのプログラムであって、
前記格納手段は、音声単位が外来語に属するか否かについての外来語属性、及び前記音声単位の音響的特徴を示す音声単位データを、音声単位ごとに格納しており、
前記プログラムは、
テキストデータを取得し、前記テキストデータのテキストを表す複数の音声単位のそれぞれに対して、当該音声単位の前記外来語属性及び音響的特徴を推定する特徴推定ステップと、
前記テキストに含まれる音声単位ごとに、前記特徴推定ステップで推定された音声単位の外来語属性及び音響的特徴と類似する内容を示す音声単位データを前記格納手段から選択する選択ステップと、
前記選択ステップで選択された複数の音声単位データを用いて合成音声を生成して出力する音声出力ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１５】
音声合成のために用いる音声単位データを作成するデータ作成装置であって、
音声を波形で示す音声波形信号を格納する音声格納手段と、
前記音声波形信号の音声に対応するテキストを示すテキストデータを格納するテキスト格納手段と、
前記テキスト格納手段からテキストデータを取得して、前記テキストデータのテキストを音声単位に分割し、各音声単位が外来語に属するか否かについての外来語属性を解析する言語解析手段と、
前記音声格納手段から音声波形信号を取得して、前記音声波形信号の示す音声を音声単位に分割し、各音声単位に対して、音響的特徴を解析する音響解析手段と、
前記言語解析手段によって解析された外来語属性、及び前記音響解析手段によって解析された音響的特徴を示すように、音声単位ごとに前記音声単位データを作成して記憶手段に格納する作成手段と
を備えることを特徴とするデータ作成装置。
【請求項１６】
前記言語解析手段は、さらに、前記各音声単位が終助詞に属するか否かについての終助詞属性を解析し、
前記作成手段は、前記言語解析手段によって解析された外来語属性及び終助詞属性と、前記音響解析手段によって解析された音響的特徴とを示すように、音声単位ごとに前記音声単位データを作成する
ことを特徴とする請求項１５記載のデータ作成装置。
【請求項１７】
前記音響的特徴は、音声単位の継続時間長、基本周波数、及びパワーのうち少なくとも１つを示す
ことを特徴とする請求項１６記載のデータ作成装置。
【請求項１８】
音声合成のために用いる音声単位データを、格納手段に格納されたデータを用いて作成するデータ作成方法であって、
前記格納手段は、音声を波形で示す音声波形信号、及び前記音声波形信号の音声に対応するテキストを示すテキストデータを格納しており、
前記データ作成方法は、
前記格納手段からテキストデータを取得して、前記テキストデータのテキストを音声単位に分割し、各音声単位が外来語に属するか否かについての外来語属性を解析する言語解析ステップと、
前記格納手段から音声波形信号を取得して、前記音声波形信号の示す音声を音声単位に分割し、各音声単位に対して、音響的特徴を解析する音響解析ステップと、
前記言語解析ステップで解析された外来語属性、及び前記音響解析ステップで解析された音響的特徴を示すように、音声単位ごとに前記音声単位データを作成して記憶手段に格納する作成ステップと
を含むことを特徴とするデータ作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、与えられた文字列（テキスト）を音声に変換する音声合成装置および音声合成方法に関する。
【背景技術】
【０００２】
従来の音声合成装置は、音響的特徴に基づくコスト関数を用いたコスト最小基準に従って素片データベースより素片系列を選択し、その選択した素片系列を用いて合成音声を生成する（例えば、特許文献１参照。）。
【０００３】
図１７は、上記従来の音声合成装置の構成を示す構成図である。
音声分析部１０は、音声波形データベース２１に保存された音声データに対してテキストデータベース２２と音素ＨＭＭ（隠れマルコフモデル）２３とを用いてラベリングを行い、音素単位（素片単位）ごとに音響的特徴の抽出を行う。ここで、音響的特徴とは、例えば、基本周波数、パワー、継続時間長、及びケプストラム分析によるケプストラム係数などが挙げられる。抽出された音響的特徴を示す情報は、上記素片データベースたる特徴パラメータ３０に素片として保存される。音声単位選択部１２は、音響的特徴を示す情報を保持している特徴パラメータ３０を参照し、目標とする素片（目標素片）に最も音響的に近い素片を探索する。目標素片が複数であれば、複数の素片が素片系列として探索される。ここで音声単位選択部１２は、上述した基本周波数、パワー、及び継続時間長についての目標素片との誤差と、素片を結合した時に生じる歪みとを考慮して素片系列を選択する。音声合成部１３は、音声単位選択部１２により選択された素片系列に対応する複数の音声データを音声波形データベース２１より取得して接続することにより合成音声を生成している。
【特許文献１】特許第３０５０８３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の音声合成装置では、不自然な合成音声を出力してしまうという問題がある。即ち、上記従来の音声合成装置は、音響的特徴のみに基づいて素片を選択するため、適切な素片を選択することができず、その結果、その素片を用いて生成される合成音声は不自然になってしまうのである。さらに、上記従来の合成音声装置は、目標素片の音響的特徴を正しく抽出することができなかったときには、その影響が素片の選択に大きく影響するため、より不適切な素片を選択してしまう。
【０００５】
そこで、本発明は、かかる問題に鑑みてなされたものであって、自然な合成音声を出力することができる音声合成装置及び音声合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る音声合成装置は、テキストデータを取得して、前記テキストデータの示すテキストを音声に変換する音声合成装置であって、音声単位が外来語に属するか否かについての外来語属性、及び前記音声単位の音響的特徴を示す音声単位データを、音声単位ごとに格納している格納手段と、テキストデータを取得し、前記テキストデータのテキストを表す複数の音声単位のそれぞれに対して、当該音声単位の前記外来語属性及び音響的特徴を推定する特徴推定手段と、前記テキストを表す音声単位ごとに、前記特徴推定手段によって推定された音声単位の外来語属性及び音響的特徴と類似する内容を示す音声単位データを前記格納手段から選択する選択手段と、前記選択手段によって選択された複数の音声単位データを用いて合成音声を生成して出力する音声出力手段とを備えることを特徴とする。例えば、前記選択手段は、前記特徴推定手段が、前記音声単位の外来語属性として外来語に属することを推定したときには、外来語属性として外来語に属することを示す音声単位データを優先して選択する。
【０００７】
これにより、例えばテキストデータの音声単位が外来語に属するときには、その音声単位に対して外来語らしい特徴を示す音声単位データが選択されるため、テキストデータの示す通りに外来語らしい合成音声を生成して出力することができる。即ち、従来では、テキストデータの音声単位が外来語に属していても、その音声単位の音響的特徴だけから音声単位データを選択するめ、外来語らしくない合成音声を出力してしまう。しかし、本発明では、テキストデータの示す通りに自然な合成音声を出力することができる。
【０００８】
また、前記音声単位データは、さらに、音声単位が終助詞に属するか否かについての終助詞属性を示し、前記特徴推定手段は、前記テキストデータのテキストを表す複数の音声単位のそれぞれに対して、当該音声単位の前記外来語属性、音響的特徴、及び終助詞属性を推定し、前記選択手段は、前記特徴推定手段によって推定された音声単位の前記外来語属性、音響的特徴、及び終助詞属性と類似する内容を示す音声単位データを前記格納手段から選択することを特徴としても良い。例えば、前記選択手段は、前記特徴推定手段が、前記音声単位の終助詞属性として終助詞に属することを推定したときには、終助詞属性として終助詞に属することを示す音声単位データを優先して選択する。
【０００９】
これにより、例えばテキストデータの音声単位が終助詞に属するときには、その音声単位に対して、その終助詞に対応する疑問感などを表す音声単位データが選択されるため、テキストデータの示す通りに疑問感などを表現するような合成音声を生成して出力することができる。
【００１０】
また、前記選択手段は、前記特徴推定手段によって推定された音声単位の外来語属性と、前記格納手段に格納されている音声単位データの外来語属性との類似度を数量的に評価して第１のサブコストを導出する第１の導出手段と、前記特徴推定手段によって推定された音声単位の音響的特徴と、前記格納手段に格納されている音声単位データの音響的特徴との類似度を数量的に評価して第２のサブコストを導出する第２の導出手段と、前記第１及び第２の導出手段によって導出された第１及び第２の各サブコストを用いてコストを導出するコスト導出手段と、前記コスト導出手段によって導出されたコストに基づいて、前記格納手段から音声単位データを選択するデータ選択手段とを備えることを特徴としても良い。例えば、前記コスト算出手段は、前記第１及び第２の導出手段によって導出された第１及び第２の各サブコストに対して重みを付けて積算することにより前記コストを導出する。
【００１１】
これにより、第１及び第２のサブコストのそれぞれに重みが付けられるため、その重みに応じて、音声単位データの選択に対する音響的特徴の類似度と外来語属性の類似度との寄与の割合を調整することができる。
【００１２】
また、前記音声合成装置は、さらに、前記特徴推定手段により推定された音響的特徴の信頼度を特定し、前記信頼度に応じて前記第１及び第２の各サブコストに対する重みを決定する重み決定手段を備え、前記コスト導出手段は、前記重み決定手段によって決定された重みを前記第１及び第２のサブコストに付けることを特徴としても良い。例えば、前記重み決定手段は、前記音響的特徴の信頼度が低いときには、音響的特徴の類似度よりも外来語属性の類似度の方が、前記データ選択手段による音声単位データの選択に寄与するように、前記第１及び第２のサブコストに対する重みを決定する。
【００１３】
これにより、音響的特徴の信頼度に応じて前記第１及び第２の各サブコストに付けられる重みが変化するため、音声単位データの選択に対する音響的特徴の類似度と外来語属性の類似度との寄与の割合を適切に変更することができる。
【００１４】
また、前記選択手段は、さらに、前記格納手段に格納されている複数の音声単位データを接続したときの音響的な歪みを数量的に評価して接続コストを導出する第３の導出手段を備え、前記コスト導出手段は、前記第１及び第２の導出手段によって導出された第１及び第２のサブコストと、前記第３の導出手段によって導出された接続コストとを用いて前記コストを導出することを特徴としても良い。
【００１５】
これにより、音響的な歪みを抑えて、より自然な合成音声を出力することができる。
ここで、本発明に係るデータ作成装置は、音声合成のために用いる音声単位データを作成するデータ作成装置であって、音声を波形で示す音声波形信号を格納する音声格納手段と、前記音声波形信号の音声に対応するテキストを示すテキストデータを格納するテキスト格納手段と、前記テキスト格納手段からテキストデータを取得して、前記テキストデータのテキストを音声単位に分割し、各音声単位が外来語に属するか否かについての外来語属性を解析する言語解析手段と、前記音声格納手段から音声波形信号を取得して、前記音声波形信号の示す音声を音声単位に分割し、各音声単位に対して、音響的特徴を解析する音響解析手段と、前記言語解析手段によって解析された外来語属性、及び前記音響解析手段によって解析された音響的特徴を示すように、音声単位ごとに前記音声単位データを作成して記憶手段に格納する作成手段とを備えることを特徴とする。
【００１６】
これにより、音声単位ごとに外来語属性及び音響的特徴を示す音声単位データが格納手段に格納されるため、その外来語属性及び音響的特徴に基づいて格納手段から音声単位データを選択することができる。即ち、その音声単位データが格納された格納手段を音声合成装置に活用することができる。その結果、音声合成装置は、テキストデータのテキストから各音声単位の外来語属性及び音響的特徴を推定して、その外来語属性及び音響的特徴に類似する内容の音声単位データを格納手段から選択すれば、テキストデータの示す通りの自然な合成音声を生成することができる。
【００１７】
なお、本発明は、このような音声合成装置として実現することができるだけでなく、その音声合成装置が音声を合成する方法やプログラム、そのプログラムを格納する記憶媒体としても実現することができる。
【発明の効果】
【００１８】
本発明の音声合成装置は、テキストデータの示す通りに自然な合成音声を出力することができるという作用効果を奏する。
【発明を実施するための最良の形態】
【００１９】
（第１の実施形態）
図１は、本発明の第１の実施形態における音声合成装置の構成を示す構成図である。この音声合成装置は、入力されたテキストを音声に変換するテキスト音声合成装置であり、特徴パラメータデータベース（特徴パラメータＤＢ）１０６と、言語解析部１０４と、韻律推定部１０９と、音声単位選択部１０８と、音声合成部１１０と、スピーカ１１１とを備える。
【００２０】
特徴パラメータＤＢ１０６は、複数の音声単位の特徴を示す音声単位データを保持するデータベースである。言語解析部１０４は、テキストを示すテキストデータ１００ｔを取得して、そのテキストデータ１００ｔからテキストの言語的特徴を抽出し、その言語的特徴を示す言語情報１０４ｄを出力する。
【００２１】
韻律推定部１０９は、言語解析部１０４により抽出された言語的特徴を元にテキストの韻律を推定し、その推定結果を示す韻律情報１０９ｄを生成する。音声単位選択部１０８は、言語解析部１０４および韻律推定部１０９より入力された言語情報１０４ｄおよび韻律情報１０９ｄに基づいて、特徴パラメータＤＢ１０６からテキストに最もふさわしい一連の音声単位データを音声単位系列として選択する。そして音声単位選択部１０８は、その選択した音声単位系列を音声合成部１１０に通知する。
【００２２】
音声合成部１１０は、音声単位選択部１０８により選択された音声単位データの示す特徴（例えば、ホルマントや音源情報など）に基づいて、その特徴を音声波形として表す音声波形信号を生成する。そして音声合成部１１０は、音声単位系列に含まれる各音声単位データの音声波形信号を接続して合成音声信号を生成する。スピーカ１１１は、音声合成部１１０によって生成された合成音声信号を可聴音波（合成音声）として外部に出力する。
【００２３】
次に、図１に示した音声合成装置の各構成要素について詳しく説明する。
図２は、言語解析部１０４の内部構成の一例を示す構成図である。
【００２４】
言語解析部１０４は、形態素解析部３０１と、構文解析部３０２と、読み付与部３０３と、アクセント句推定部３０４とを備える。
【００２５】
形態素解析部３０１は、テキストデータ１００ｔの示すテキストに対して形態素解析を行なう。構文解析部３０２は、形態素解析部３０１によって形態素解析された各形態素に対して、係り受け関係などを解析する。以下、このような解析を構文解析という。読み付与部３０３は、形態素解析部３０１によって形態素解析された形態素に複数通りの読みが存在する場合、その形態素に対して適切な読みを付与する。アクセント句推定部３０４は、形態素解析部３０１によって形態素解析された各形態素に対して、アクセント句の分割やアクセント結合の処理を行う。
【００２６】
このような言語解析部１０４は、テキストデータ１００ｔを取得すると、形態素解析及び構文解析や、適切な読みの付与などを行い、例えば図３に示すような言語情報１０４ｄを出力する。
【００２７】
図３は、言語情報１０４ｄの内容の一例を示す図である。
言語解析部１０４から出力される言語情報１０４ｄは、テキストと、そのテキストに対応する一連の音素（音素表記）と、テキストに含まれる各形態素と、テキストに含まれる各文節と、各形態素の品詞と、形態素内位置と、アクセント句内位置と、係り先位置とを示す。テキストは、例えば日本語の「今日の天気は晴れですよ。」（It is fine today.）である。各形態素は、図３のテキスト中において縦の破線で区切って示される「今日」（today）や「の」(of)などである。各文節は、図３のテキスト中において縦の棒線「｜」で区切って示される「今日の」と「天気は」と「晴れですよ。」である。形態素「今日」に対する品詞は「普通名詞」であり、形態素「の」に対する品詞は「助詞」である。なお、助詞とは、日本語の品詞の１つで、常に他の語のあとに付いて使われる語のうち、活用しない語をいう。また助詞は、前の語が他の語とどのような関係にあるかを示したり、話し手の心情など一定の意味を添えたり、文を完結したりなどする働きがある。また、本実施形態における品詞は、形態素が外来語であるか否かについての属性を示すとともに、形態素が終助詞であるか否かについての属性も示す。ここで、終助詞とは、文や句の終りに用いることにより、疑問や、禁止、詠嘆、感動などの意を表す助詞のことを言う。
【００２８】
係り先位置は、各文節の係り先を示す。たとえば、図３中の文節「今日の」に対応する係り先位置を示す数字「１」は、「今日の」の文節の係り先が１つ後の文節、つまり「天気は」という文節に係ることを示している。他の文節についても同様である。形態素内位置は、各形態素に含まれる各音素の位置を示し、アクセント句内位置は、各アクセント句に含まれる各音素の位置を示す。
【００２９】
音素表記は、テキストを音素で示すとともに、さらにアクセント句と文頭及び文末とを示す。例えば、図３の音素表記中の記号「／］と「／」との間が１つのアクセント句となる。音素表記中の記号「＾」は文頭を示し、記号「＄」は文末を示す。
【００３０】
なお、言語情報１０４ｄは品詞を階層的に示してもよい。たとえば図３に示した例において、形態素「の」の品詞は「助詞」であって、さらにこの形態素「の」は「助詞」の中でも「格助詞」に属する。したがって、言語情報１０４ｄは、形態素「の」に対する品詞として「助詞」及び「格助詞」を示す。なお、格助詞とは、日本語の助詞の分類の１つで、主として体言につき、その体言と他の語との格関係を示す助詞である。
【００３１】
また、テキストが属する分野（スポーツ、ニュース、エンターテイメントなど）を推定するように言語解析部１０４を構成しても良い。たとえば、テキストデータ１００ｔにそのテキストが属する分野についての情報をあらかじめ持たせておいたり、テキストからキーワードを抽出して分野を推定したりしてもよい。
【００３２】
また、上記分野の推定と同時に、テキストにふさわしい喜、怒、哀、楽などの感情を推定するように言語解析部１０４を構成しても良い。たとえば、テキストデータ１００ｔにそのテキストにおいて表現したい感情を示す情報をあらかじめ持たせておいてもよい（これを実現可能な規格としてvoice XML等が存在する）。
【００３３】
韻律推定部１０９は、言語解析部１０４から送られる言語情報１０４ｄを基に、テキストデータ１００ｔの示すテキストに最尤の韻律を推定し、その推定結果である韻律情報１０９ｄを生成する。ここで韻律情報１０９ｄは、少なくとも音素単位ごとの継続時間長、基本周波数、及びパワーを示す。なお、音素単位以外でも、モーラ単位や音節単位ごとに継続時間長、基本周波数、及びパワーを推定するように韻律推定部１０９を設計しても良い。また、韻律推定部１０９は、どのような方式の推定を行なっても良い。例えば、一般的に良く用いられている数量化Ｉ類による方法で推定を行なっても良い。
【００３４】
また、ここでは韻律情報１０９ｄは、音素単位ごとの継続時間長、基本周波数、及びパワーを示したが、さらに、韻律推定時の韻律結果の信頼度も示して良い。
【００３５】
特徴パラメータＤＢ１０６は、複数の音声単位データを格納している。この音声単位データは、音声単位の音響的な特徴を示す音響的特徴情報と、音声単位の言語的な特徴を示す言語的特徴情報とを含む。
【００３６】
図４は、音響的特徴情報の内容を示す図である。
音響的特徴情報１０６ａは、音声単位ごとに、音響的な特徴として少なくとも、基本周波数、継続時間長、及びパワーなどを示し、さらに、ケプストラム分析によるケプストラム係数を示しても良い。
【００３７】
図５は、言語的特徴情報の内容を示す図である。
言語的特徴情報１０６ｂは、図５に示すように、言語的な特徴として、音韻環境、形態素情報、アクセント句情報、及び構文情報を示す。音韻環境は、現在対象としている音素（対象音素）、その対象音素の１つ前の音素（前方音素）、及びその対象音素の１つ後ろの音素（後方音素）を示す。なお、このような音韻環境は、従来から使用されている情報である。形態素情報は、対象音素を含む形態素を示す。具体的には、形態素情報は、その形態素の表記及び品詞を示す。形態素情報により示される品詞は、必要に応じて細分類（階層化）される。また、その品詞が活用する場合には活用形も形態素情報により示される。アクセント句情報は、対象音素がアクセント句の中でどのような位置にあるかを示す情報である。具体的には、アクセント句情報は、アクセント句頭からの距離、アクセント句末までの距離、及びアクセント核からの距離を示す。構文情報は、対象音素が含まれる文節の係り受け関係の情報を示す。
【００３８】
図６は、特徴パラメータＤＢ１０６に格納されている１つの音声単位データの内容を示す図である。
【００３９】
特徴パラメータＤＢ１０６は、例えば音声単位が音素である場合、図６に示すように、音素ごとにその音素の特徴をベクトル表示により示す音声単位データを保持する。この音声単位データには、当該音素に対応する上述の言語的特徴情報１０６ｂ及び音響的特徴情報１０６ａが含まれる。例えば、その音声単位データは、音素ｕiの特徴として、表記「今日」、音素「ｋy」、及び品詞「普通名詞」などを示す。なお、音声単位データは、音声単位が発声された時の発声者の感情や、その音声単位の元となるテキストが属する分野（ドメイン）を示しても良い。
【００４０】
図７は、音声単位選択部１０８の具体的な構成例を示す図である。
音声単位選択部１０８は、音声単位候補抽出部４０１と、探索部４０２と、コスト計算部４０３とを備える。
【００４１】
音声単位候補抽出部４０１は、言語解析部１０４から送られる言語情報１０４ｄが示す各音声単位（音素）に対して、韻律推定部１０９から送られる韻律情報１０９ｄを考慮して、音声合成に使用される音声単位データの候補となりうる音声単位データの集合を特徴パラメータＤＢ１０６から抽出する。探索部４０２は、音声単位候補抽出部４０１に抽出された候補から、言語解析部１０４から送られる言語情報１０４ｄと、韻律推定部１０９から送られる韻律情報１０９ｄとに最尤な音声単位データを探索する。なお、探索部４０２は、言語情報１０４ｄの音素表記に対応して時系列的に配列する一連の音声単位データを音声単位系列として一度に探索する。
【００４２】
コスト計算部４０３は、探索部４０２が最尤な音声単位系列を探索する為の基準となるコストを計算する。このようなコスト計算部４０３は、目標コスト計算部４０４と、接続コスト計算部４０５とを備える。
【００４３】
目標コスト計算部４０４は、言語情報１０４ｄが示す各音声単位（音素）に対して、言語情報１０４ｄ及び韻律情報１０９ｄと、音声単位候補抽出部４０１により抽出された候補の言語的特徴情報１０６ｂ及び音響的特徴情報１０６ａとの整合性をコスト（目標コスト）として計算する。
【００４４】
言語情報１０４ｄと言語的特徴情報１０６ｂによって示される両言語的特徴に基づくコストの算出は、品詞、形態素内での位置、アクセント句内での位置、構文情報、音韻環境、及び形態素表記のそれぞれの一致度に基づいて行われる。品詞の一致度とは、言語情報１０４ｄの示す音素が属する形態素の品詞と、言語的特徴情報１０６ｂの示す品詞との一致度である。形態素内での位置の一致度とは、言語情報１０４ｄの示す音素の形態素内位置と、言語的特徴情報１０６ｂの示す音素の形態素内位置（形態素頭からの距離や、形態素末までの距離）との一致度である。アクセント句内での位置の一致度とは、言語情報１０４ｄの示す音素のアクセント句内位置と、言語的特徴情報１０６ｂの示す音素のアクセント句内位置（アクセント句先頭からの距離や、アクセント句末までの距離）との一致度である。構文情報の一致度とは、言語情報１０４ｄの示す音素が含まれる文節の係り先位置と、言語的特徴情報１０６ｂに含まれる構文情報により示される係り先距離との一致度である。また、音韻環境の一致度とは、言語情報１０４ｄの示す音素、及びその音素の前後にある音素と、言語的特徴情報１０６ｂの示す前方音素、対象音素、及び後方音素との一致度である。
【００４５】
なお、品詞の一致度に対して、図３に示すように、細分類された品詞による一致度を考慮することにより、より高精度な構成とすることが可能である。
【００４６】
韻律情報１０９ｄと音響的特徴情報１０６ａによって示される両音響的特徴に基づくコストの算出は、継続時間長、基本周波数、及びパワーのそれぞれの一致度に基づいて行われる。継続時間長の一致度とは、韻律情報１０９ｄの示す音素の継続時間長と、音響的特徴情報１０６ａの示す継続時間長との一致度である。基本周波数の一致度とは、韻律情報１０９ｄの示す音素の基本周波数と、音響的特徴情報１０６ａの示す基本周波数との一致度である。また、パワーの一致度とは、韻律情報１０９ｄの示す音素のパワーと、音響的特徴情報１０６ａの示すパワーの一致度である。
【００４７】
このような目標コスト計算部４０４は、上述のように算出される言語的特徴に基づくコストと、音響的特徴に基づくコストとを合算して、最終的なコスト（目標コスト）を算出する。
【００４８】
接続コスト計算部４０５は、候補同士を結合した場合に生じる歪みを接続コストとして計算する。
【００４９】
ここで、図１に示した本実施形態における音声合成装置の動作について詳しく説明する。ここでは、図３に示したテキスト「今日の天気は晴れですよ。」を示すテキストデータ１００ｔが入力された時の動作について説明する。なお、以下の説明では音声単位の一例として音素を用いているが、本発明は音声単位を音素に限定するものではない。
【００５０】
まず、言語解析部１０４は、テキストデータ１００ｔの示すテキストを音素表記で表すとともに、その音素表記を形態素に分割する。また、言語解析部１０４は構文解析を行うことで、構文情報（係り先位置を示す情報）を得る。さらに、言語解析部１０４は、読みの付与、及びアクセント句の付与などを行う。その結果、図３に示したような言語情報１０４ｄが生成される。
【００５１】
韻律推定部１０９は、図３に示す言語情報１０４ｄを基に、各音素に対して、継続時間長、基本周波数、及びパワーを推定する。その結果、韻律情報１０９ｄが生成される。
【００５２】
音声単位選択部１０８の音声単位候補抽出部４０１は、図６に示したベクトル表記の音声単位データのように、取得した言語情報１０４ｄと韻律情報１０９ｄを要素とする目標ベクトルｔiを音声単位（ここでは音素）ごとに構成する。この場合では、音素「ｋy」が無声子音である為に基本周波数に関する情報はない。しかし、音素が有声音の場合には、その音素の継続時間長を４分割し、各区間での中間点の基本周波数を４点で表す（基本周波数１〜４）ことにより、基本周波数の動的な特徴も音声単位データや目標ベクトルｔiに表すことが可能である。なお、本発明は基本周波数の表現を上述のような表現とすることに限定されない。
【００５３】
次に、音声単位候補抽出部４０１は、特徴パラメータＤＢ１０６より、候補となる音声単位データの集合を取り出す。具体的には、音声単位候補抽出部４０１は、言語情報１０４ｄに示される選択対象の音素と同じ音素を示す全ての音声単位データを取り出す。
【００５４】
なお、特徴パラメータＤＢ１０６に蓄積された音声単位データが十分に多い場合は、音声単位候補抽出部４０１は、音韻環境（前方音素及び後方音素）による制限を加えて候補を取得しても良い。
【００５５】
目標コスト計算部４０４は、目標ベクトルｔiと、候補ｕiとの一致度を目標コストベクトルＣitとして計算する。
【００５６】
図８は、目標ベクトルと候補と目標コストベクトルとを示す図である。
目標コスト計算部４０４は、例えば図８に示すように、候補ｕiと目標ベクトルｔiが与えられた場合には、ベクトルの各要素について一致度を計算し、その結果を目標コストベクトルＣitとする。目標コスト計算部４０４は、この目標コストベクトルＣitから目標コストを算出する。即ち、目標コストベクトルＣitに示される各要素をサブコストとし、それらのサブコストに重みを付けて積算することで目標コストを計算する。
【００５７】
各サブコストの重みは、経験により設定すればよいが、例えば、次のような方法により決定するように目標コスト計算部４０４を構成してもよい。例えば、目標コスト計算部４０４は、各パラメータにより計算されるコスト値と、代表的な音素でのターゲットからの距離を用いて重回帰分析を行い、回帰モデルの各コスト値の係数を重みとして用いる。また、ターゲットからの距離の推定には、ケプストラム距離を用いればよい。また、等重みなど他の重みを用いても良い。
【００５８】
なお、言語的特徴に対するサブコストの重みを、形態素情報、アクセント句情報、構文情報の順に小さくなるようにしても良い。即ち、形態素情報の一致度、アクセント句情報の一致度、構文情報の一致度の順に、音声単位データの選択に寄与する優先度が小さくなる。また、アクセント句情報の中でも、アクセント核からの距離、アクセント句末までの距離、アクセント句頭からの距離の順にサブコストの重みを小さくしても良い。即ち、アクセント核からの距離の一致度、アクセント句末までの距離の一致度、アクセント句頭からの距離の一致度の順に、音声単位データの選択に寄与する優先度が小さくなる。
【００５９】
図８に示した例の場合、表記に関しては目標ベクトルｔiの「今日」と候補ｕiの「消去」とで不一致、前方音素に関しては目標ベクトルｔiの「＾（文頭）」と候補ｕiの「ｕ」とで不一致、後方音素に関しては目標ベクトルｔiの「ｏ」と候補ｕiの「ｏ」とで一致、品詞に関しては目標ベクトルｔiの「普通名詞」と候補ｕiの「サ変名詞」とで不一致となる。目標コスト計算部４０４は、非数値的な要素に関する項目において、一致をサブコスト「０」とし、不一致をサブコスト「１」とする。また、目標コスト計算部４０４は、数値的な要素に関する項目において、要素間の差分の絶対値をサブコストとする。したがって、形態素頭からの距離に対するサブコストは４−１＝３、形態素末までの距離に対するサブコストは４−３＝１、アクセント句頭からの距離に対するサブコストは４−１＝３、アクセント句末までの距離に対するサブコストは８−５＝３、継続時間長に対するサブコストは３２−２５＝７、パワーに対するサブコストは３０００−２９１０＝９０となる。目標コスト計算部４０４は、例えば経験によって定められた上記重みを各サブコストにつけて合算することで、トータルの目標コストを算出する。
【００６０】
接続コスト計算部４０５は、２つの音声単位データを接続した時の歪みを接続コストとして計算する。計算方法は特に何でも良いが、例えば、接続コスト計算部４０５は、２つの音声単位データの接続フレームでのケプストラム距離を接続コストとする。
【００６１】
探索部４０２は、音声単位候補抽出部４０１により抽出された候補の中から目標コストと接続コストを用いて最適な音声単位データを選択する。具体的に、探索部４０２は、以下の数１に示す数式に基づいて最適な音声単位系列を探索する。
【００６２】
【数１】
2005181998.tif 000003
数１において、ｎはテキスト（言語情報１０４ｄの音素表記）に含まれる音素の数（音素数）である。例えば、テキスト「今日の天気は晴れですよ。」に対してｎは２１である。ｕは候補として挙げられる音声単位データ、ｔは目標ベクトル、Ｃtは目標コスト、Ｃcは接続コストを示す。
【００６３】
探索部４０２は、テキスト全体でのコストＣが最小になる音声単位系列を特定して音声合成部１１０に通知する。
【００６４】
次に、本実施形態の音声合成装置が、外来語を示すテキストデータ１００ｔを取得したときの具体的な動作について説明する。
【００６５】
例えば、音声合成装置の言語解析部１０４は、日本語のテキスト「これはグラウンドです。」（This is a ground.）を示すテキストデータ１００ｔを取得する。上記テキスト中の「グラウンド」（ground）の品詞は外来語である。
【００６６】
このようなテキストデータ１００ｔを取得した言語解析部１０４は、そのテキストデータ１００ｔに基づいて言語情報１０４ｄを生成する。
【００６７】
図９は、外来語を示すテキストデータ１００ｔから生成された言語情報１０４ｄの内容を示す図である。
【００６８】
この言語情報１０４ｄは、図３に示す言語情報１０４ｄと同様、テキストと、そのテキストに相当する一連の音素（音素表記）と、テキストに含まれる各形態素と、テキストに含まれる各文節と、各形態素の品詞と、形態素内位置と、アクセント句内位置と、係り先位置とを示す。そして、この言語情報１０４ｄは、形態素「グラウンド」の品詞として外来語を示す。
【００６９】
音声単位選択部１０８は、言語情報１０４ｄに示される音素ごとに最適な音声単位データを特徴パラメータＤＢ１０６から選択する。
【００７０】
図１０（ａ）は、音声単位データの選択対象となる音素を説明するための説明図である。
【００７１】
例えば、音声単位選択部１０８は、「グラウンド」という外来語の「グ」の母音部分の音素「ｕ」に最適な音声単位データを選択する。
【００７２】
具体的に、音声単位選択部１０８は、まず、音素「ｕ」に対して目標ベクトルｔiを生成するとともに、音素「ｕ」に対応する候補ｕ1，ｕ2を特徴パラメータＤＢ１０６から選択する。
【００７３】
図１０（ｂ）は、音素「ｕ」の目標ベクトルｔi及び候補ｕ1，ｕ2を示す図である。候補ｕ1の表記「忠臣蔵」の品詞は固有名詞である。候補ｕ2の示す表記「グラス」の品詞は外来語であって、その表記「グラス」は"glass#"を意味する。
【００７４】
音声単位選択部１０８は、候補ｕ1，ｕ2のうち、目標ベクトルｔiに最も近い候補を、音声合成に用いる最適な音声単位データとして選択する。
【００７５】
ここで、従来の音声合成装置は、音韻環境（前方音素、対象音素、及び後方音素）および音響的特徴（継続時間、パワー、及び基本周波数など）を利用することにより、候補ｕ1と候補ｕ2のうち、候補ｕ1を選択する。その選択の理由は、音響的特徴において、候補ｕ1の方が、候補ｕ2よりも目標ベクトルｔiに近いからである。しかしながら、日本語の固有名詞に含まれる音素「ｕ」と外来語に含まれる音素「ｕ」との間には前述の音響的特徴では表現できない違いが存在する。その結果、従来の音声合成装置は、不適切な音声単位データを選択して音声合成に用いるため、不自然な合成音声を出力してしまう。
【００７６】
一方、本実施形態の音声合成装置は、言語的特徴の１つである品詞を用いることにより、最適な音声単位データを選択することができる。即ち、音声合成装置の音声単位選択部１０８は、目標ベクトルｔiの品詞が外来語であれば、外来語であることを考慮して、品詞として外来語を示す候補ｕ2を選択する。その結果、本実施形態の音声合成装置は、テキストデータ１００ｔにより示される外来語を外来語らしい自然な合成音声に変換することができる。
【００７７】
次に、本実施形態の音声合成装置が、終助詞を示すテキストデータ１００ｔを取得したときの具体的な動作について説明する。
【００７８】
例えば、音声合成装置の言語解析部１０４は、日本語のテキスト「これはグラウンドですよね。」（This is a ground, isn't it?）を示すテキストデータ１００ｔを取得する。上記テキスト中の「ね」の品詞は終助詞である。
【００７９】
このようなテキストデータ１００ｔを取得した言語解析部１０４は、そのテキストデータ１００ｔに基づいて言語情報１０４ｄを生成する。
【００８０】
音声単位選択部１０８は、言語情報１０４ｄに示される音素ごとに最適な音声単位データを特徴パラメータＤＢ１０６から選択する。
【００８１】
図１１（ａ）は、音声単位データの選択対象となる音素を説明するための説明図である。
【００８２】
例えば、音声単位選択部１０８は、「ね」という終助詞の母音部分の音素「ｅ」に最適な音声単位データを選択する。
【００８３】
具体的に、音声単位選択部１０８は、まず、音素「ｅ」に対して目標ベクトルｔiを生成するとともに、音素「ｅ」に対応する候補ｕ1，ｕ2を特徴パラメータＤＢ１０６から選択する。
【００８４】
図１１（ｂ）は、音素「ｅ」の目標ベクトルｔi及び候補ｕ1，ｕ2を示す図である。候補ｕ1の表記「根」の品詞は普通名詞であって、その表記「根」は"root"を意味する。候補ｕ2の表記「ね」の品詞は終助詞である。
【００８５】
音声単位選択部１０８は、候補ｕ1，ｕ2のうち、目標ベクトルｔiに最も近い候補を、音声合成に用いる最適な音声単位データとして選択する。
【００８６】
ここで、従来の音声合成装置は、音韻環境（前方音素、対象音素、及び後方音素）および音響的特徴（継続時間、パワー、及び基本周波数など）を利用することにより、候補ｕ1と候補ｕ2のうち、候補ｕ1を選択する。その選択の理由は、音響的特徴において、候補ｕ1の方が、候補ｕ2よりも目標ベクトルｔiに近いからである。しかしながら、日本語の終助詞「ね」に含まれる音素「ｅ」には特有の特徴が存在し、その特徴は他の品詞の「ね」に含まれる音素「ｅ」の特徴と大きく異なる。したがって、従来の音声合成装置によって選択される音声単位データは、音響的特徴について目標ベクトルｔiと一致度が高いが、実際の合成音声に用いる音声単位データとしては必ずしも適切でない可能性が存在する。
【００８７】
一方、本実施形態の音声合成装置は、言語的特徴の１つである品詞を用いることにより、最適な音声単位データを選択することができる。即ち、音声合成装置の音声単位選択部１０８は、目標ベクトルｔiの品詞が終助詞であれば、終助詞であることを考慮して、品詞として終助詞を示す候補ｕ2を選択する。その結果、本実施形態の音声合成装置は、テキストデータ１００ｔにより示される終助詞を、その終助詞が示す疑問感などを表現するような自然な合成音声に変換することができる。
【００８８】
図１２（ａ）、図１２（ｂ）、図１２（ｃ）、及び図１２（ｄ）は、本発明の効果を説明するための説明図である。これらの図は、４つの単語に属する音韻「よ」（音素表記「ｙｏ」）の音声区間について、文献「Ohtsuka, Kasuya, "An Improved Speech Analysis-Synthesis Algorithm based on the Autoregressive with Exogenous Input Speech Production Model", ICSLP2000」に示されている分析を行った結果を示している。このような分析は、音声信号を音声生成モデルに当てはめて声帯（音源）と声道（フィルタ）に分離するものである。
【００８９】
図１２（ａ）は、副詞「よく」（fully）の音韻「よ」に対する分析結果を示す。図１２（ｂ）は、普通名詞「よる」（night）の音韻「よ」に対する分析結果を示す。図１２（ｃ）は、一文に含まれる終助詞である音韻「よ」に対する分析結果を示す。図１２（ｄ）は、他の文に含まれる終助詞である音韻「よ」に対する分析結果を示す。
【００９０】
これらの分析結果は、第１ホルマントの中心周波数Ｆ１と、第２ホルマントの中心周波数Ｆ２と、第３ホルマントの中心周波数Ｆ３と、各ホルマントの帯域幅とを示す。なお、各図中において帯域幅は、上記各中心周波数Ｆ１，Ｆ２，Ｆ３を示す線に重ねて書かれた垂直の線分により表されている。上記各ホルマントの中心周波数は声道の共鳴によるピークを示し、帯域幅は共鳴の強さを表す。広い帯域幅は弱い共鳴を意味し、狭い帯域幅は強い共鳴を意味する。
【００９１】
各図によって示される４つの分析結果とも、時間軸の前半から後半にかけて第１ホルマントの中心周波数Ｆ１が上昇し、第２ホルマントの中心周波数Ｆ２が下降するという、音韻「よ」に起因する共通の特徴を示す。したがって、音韻「よ」を含む形態素の品詞にかかわらず、音韻「よ」に対する各ホルマントの中心周波数の軌跡（以下、ホルマント軌跡という）は類似している。
【００９２】
このように、音韻「よ」のホルマント軌跡は、共通の特徴を持っているが、その音韻「よ」を含む形態素の品詞に応じて、音韻「よ」を耳で聞いた感じは明確に異なる。即ち、図１２（ｃ）及び図１２（ｄ）に示す終助詞の音韻「よ」に対して、人は近い印象を受ける。一方、図１２（ｃ）に示す終助詞の音韻「よ」と、図１２（ａ）に示す副詞の形態素に含まれる音韻「よ」とに対して、人は異なる印象を受ける。同様に、図１２（ｃ）に示す終助詞の音韻「よ」と、図１２（ｂ）に示す普通名詞の形態素に含まれる音韻「よ」とに対して、人は異なる印象を受ける。
【００９３】
このような印象の違いはホルマント軌跡だけでは説明が困難である。
終助詞が発声される文末においてはリラックスした発声が行われるため、声帯は振動しながらも閉じ方が弱くなる傾向がある。このように声門（声帯の両側のひだの間にできた隙間）が広い状況では、気管や肺などの声帯の下の空間（以下、声門下部空間）による共鳴の影響が強く表れることが知られている。このことは文献「D.Klatt, L.Klatt, "Analysis, Synthesis, and Perception of Voice Quality Variations among Female and Male talkers", J. Acoust. Soc. Am. 87(2), February 1990, pp.820-857」に記載されている。
【００９４】
この文献の「D. Results III: Tracheal coupling」（p832）によると、声門下部空間の共鳴の影響により、極と零点の出現という現象と、第１ホルマントの帯域幅の増加という現象とが生じる。図１２（ｃ）に示す分析結果には、ホルマントとは異なる周波数の弱いピーク１４１が現れている。また、図１２（ｄ）に示す分析結果においても、上述と同様に、ホルマントとは異なる周波数の弱いピーク１４２が現れている。上記文献では女性の場合１７００Ｈｚ付近に極が出現することが記述されていることから、ピーク１４１，１４２は上記極の出現現象と推測される。また、図１２（ｃ）の分析結果に示される第１ホルマントの帯域幅と、図１２（ｄ）の分析結果に示される第１ホルマントの帯域幅とは、それぞれ比較的広いという共通の特徴を有する。
【００９５】
これに対して、図１２（ａ）および図１２（ｂ）に示す分析結果には、上述した２つの現象が大きく現れていない。
【００９６】
このように、人が各音韻を聞き取る印象は、その各音韻のホルマント軌跡などによって示される音響的特徴が類似していても、各音韻の属する品詞に応じて大きく異なる。特に、品詞が終助詞であるか否か、又は品詞が外来語であるか否かによって大きく異なる。
【００９７】
そこで本実施形態の音声合成装置は、形態素に含まれる音素に対して、その形態素の品詞（特に終助詞又は外来語）に応じた音声単位データを選択するため、自然な合成音声を出力することができるのである。つまり、本実施形態の音声合成装置は、テキストデータ１００ｔのテキストに示す通りの自然な合成音声を出力することができる。
【００９８】
また、本実施形態の音声合成装置では、音響的特徴のみではなく、外来語又は終助詞であるか否かといった言語的特徴も考慮することにより、韻律推定部１０９による音響的特徴の推定精度が十分でない場合においても、特徴パラメータＤＢ１０６に格納されている音声単位データの言語的特徴に基づいて、より信頼度の高い音声単位データを選択することが可能になる。
【００９９】
また、本発明による音声合成装置は、カーナビゲーションシステムやエンターテイメント分野における読み上げ装置等として有用である。
【０１００】
（変形例１）
上記実施形態の音声合成部１１０は、特徴パラメータＤＢ１０６に保持されている一連の音声単位データに基づいて合成音声信号を生成した。本変形例に係る音声合成部は、各音声単位データに相当する音声波形を示す信号を取得して、その信号を接続することにより合成音声信号を生成する。
【０１０１】
図１３は、本変形例に係る音声合成装置の構成を示す構成図である。
本変形例に係る音声合成装置は、特徴パラメータＤＢ１０６と、言語解析部１０４と、韻律推定部１０９と、音声単位選択部１０８と、音声合成部１１０ａと、スピーカ１１１と、音声波形信号ＤＢ１０１とを備える。
【０１０２】
音声波形信号ＤＢ１０１は、特徴パラメータＤＢ１０６に格納されている各音声単位データに対応する音声波形を示す音声波形信号を保持している。
【０１０３】
音声合成部１１０ａは、音声単位選択部１０８が選択した一連の音声単位データ（音声単位系列）を特定すると、音声波形信号ＤＢ１０１から各音声単位データに対応する音声波形信号を取得する。そして、音声合成部１１０ａは、その音声波形信号を接続することにより合成音声信号を生成する。
【０１０４】
（変形例２）
上記実施形態のコスト計算部４０３は、各サブコストに対して予め定められた重み付けを行い、その重み付けされた各サブコストを積算することで目標コストを算出した。本変形例に係るコスト計算部は、上記重みを変化させる点に特徴がある。
【０１０５】
図１４は、本変形例に係るコスト計算部の内部構成を示す構成図である。
本変形例に係るコスト計算部４０３ａは、目標コスト計算部４０４と、接続コスト計算部４０５と、重み決定部５０１とを備える。
【０１０６】
重み決定部５０１は、目標コスト計算部４０４におけるコスト計算時に、言語的特徴の重みと、音響的特徴の重みとを、韻律推定部１０９により出力される韻律情報１０９ｄの信頼度に基づいて変更する。そして重み決定部５０１は、その変更された重みを目標コスト計算部４０４に通知する。目標コスト計算部４０４は、重み決定部５０１から通知された重みに基づいて目標コストを算出する。
【０１０７】
例えば、重み決定部５０１は、韻律情報１０９ｄの信頼度が低い場合には、言語的特徴のサブコストに対する重みを大きく、音響的特徴のサブコストに対する重みを小さくする。その結果、目標コスト計算部４０４は、音響的特徴の一致度よりも言語的特徴の一致度に基づいて目標コストを算出する。そして、探索部４０２は、音響的特徴の一致度よりも言語的特徴の一致度を考慮して音声単位データの選択を行う。即ち、探索部４０２は、目標ベクトルｔiに対して候補が音響的特徴で一致していても言語的特徴において一致していなければ、その候補を選択せず、言語的特徴で一致する候補を選択するのである。
【０１０８】
このように本変形例に係るコスト計算部４０３ａは、韻律推定部１０９の推定結果である韻律情報１０９ｄの信頼度に応じてサブコストに対する重みを変化させるため、例えば韻律推定部１０９による感情などの推定が困難な場合には、直接的な基本周波数や、継続時間長、パワーなどの推定結果に頼らず、言語的特徴の一致度を重視することにより、頑健な音声単位データの選択が可能になる。
【０１０９】
例えば、韻律推定部１０９が図９に示すような外来語を示す言語情報１０４ｄを取得してその言語情報１０４ｄに基づいて韻律情報１０９ｄを生成する。この場合、重み決定部５０１は、その韻律情報１０９ｄの信頼度は低いと判断し、品詞（例えば外来語）に対応するサブコストの重みを大きくする。その結果、適切な音声単位データが選択されて、より自然な合成音声を出力することができる。また、音素の示す特徴の一致度を評価する場合には、完全一致のみではなく、音素グループの特徴の一致度まで考慮しても良い。これにより日本語表記「バ」と日本語表記「ヴァ」などの表記の揺れにも柔軟に対応することが可能となる。
【０１１０】
（変形例３）
ここで、本実施形態における音声単位データの選択方法に関する変形例について説明する。
【０１１１】
上記実施形態の音声単位選択部１０８は、言語的特徴及び音響的特徴を同時に考慮して音声単位データを選択した。本変形例に係る音声単位選択部は、先に、言語的特徴を優先した音声単位データの選択を行う。
【０１１２】
図１５は、本変形例に係る音声単位選択部の動作を示すフロー図である。
まず、音声単位選択部は、特徴パラメータＤＢ１０６から、候補として挙げられる音声単位データを選択する（ステップＳ１００）。
【０１１３】
次に、音声単位選択部は、ステップＳ１００で選択された候補の中から、さらに、言語情報１０４ｄの示す音声単位の言語的特徴と一致する音声単位データを選択する（ステップＳ１０２）。そして音声単位選択部は、その選択した音声単位データのコストを算出する（ステップＳ１０４）。
【０１１４】
ここで、音声単位選択部は、その算出したコストがしきい値より小さいか否かを判別する（ステップＳ１０６）。しきい値より小さいと判別したときには（ステップＳ１０６のＹ）、音声単位選択部は、ステップＳ１０２で選択した音声単位データを音声合成部１１０に通知する（ステップＳ１０８）。一方、しきい値以上であると判別したときには（ステップＳ１０６のＮ）、音声単位選択部は、上記実施形態と同様、ステップＳ１００で選択された各候補に対してコストを算出する（ステップＳ１１０）。そして、音声単位選択部は、コストが最小となる候補、つまり音声単位データを音声合成部１１０に通知する（ステップＳ１１２）。
【０１１５】
（第２の実施形態）
以下、第１の実施形態において用いられた音声単位データを作成するデータ作成装置について説明する。
【０１１６】
図１６は、第２の実施形態におけるデータ作成装置の全体構成を示す構成図である。
データ作成装置は、音声合成装置の特徴パラメータＤＢ１０６に格納される音声単位データを作成するものであって、テキスト格納部７０１と、音声波形格納部７０２と、音声分析部７０３と、言語解析部７０４とを備える。
【０１１７】
音声波形格納部７０２は、録音された音声を波形として示す音声波形信号を格納するデータベースである。テキスト格納部７０１は、上述の録音された音声の書き起こし文をテキストデータとして格納している。即ち、音声波形信号の示す内容とテキストデータの示す内容は同一である。音素ＨＭＭ格納部７０５は、音素ごとに作成された音素ＨＭＭを格納している。
【０１１８】
言語解析部７０４は、テキスト格納部７０１に保持されているテキストデータの示すテキストを言語解析することで、そのテキストから音声単位（例えば音素）ごとに言語的特徴を抽出する。ここで、言語的特徴は、音韻環境、形態素情報、構文情報、及びアクセント句などを示す。そして言語解析部７０４は、その言語的特徴を示す言語的特徴情報を、音声合成装置の特徴パラメータＤＢ１０６に格納するとともに、音声分析部７０３に出力する。
【０１１９】
音声分析部７０３は、言語解析部７０４から出力された言語的特徴情報を取得するとともに、音声波形格納部７０２から上記テキストに対応する音声波形信号を取得する。そして音声分析部７０３は、取得した言語的特徴情報に示される音素表記に従って、取得した音声波形信号を対応する音素ごとに分割する。ここで、音声分析部７０３は、音声波形信号を分割するときには、音素ＨＭＭ格納部７０５に格納されている音素ＨＭＭを用いる。さらに、音声分析部７０３は、分割された音声波形信号から音素ごとに音響的特徴を抽出する。ここで、音響的特徴は、基本周波数、継続時間長、及びケプストラムなどを示す。さらに、音響的特徴は、発声時の話者の感情を示しても良い。
【０１２０】
そして音声分析部７０３は、その音響的特徴を示す音響的特徴情報を生成してこれを音声合成装置の特徴パラメータＤＢ１０６に格納する。
【０１２１】
このような本実施形態におけるデータ作成装置の動作について説明する。ここでは、データ作成装置がテキスト「今日の天気は晴れですよ。」に関する音声単位データを特徴パラメータＤＢ１０６に追加する際の手順について説明する。
【０１２２】
まず、言語解析部７０４は、テキスト格納部７０１からテキストデータを読み出し、そのテキストデータに示されるテキストに対して、形態素解析及び構文解析を行うとともに、分野、読み及び感情などを解析する。例えば、言語解析部７０４は、解析結果として、図３に示す言語情報１０４ｄと同様の内容を示す言語的特徴情報を生成し、その言語的特徴情報を特徴パラメータＤＢ１０６に格納する。
【０１２３】
次に、音声分析部７０３は、音声波形格納部７０２からテキスト「今日の天気は晴れですよ。」に対応する音声波形信号を取得するとともに、言語解析部７０４から言語的特徴情報を取得する。音声分析部７０３は、言語的特徴情報の示す音素表記を基に、音素ＨＭＭ格納部７０５の音素ＨＭＭを用いることで、音声波形信号を音素毎にセグメンテーションする。この例では、音声単位を音素としているが、特に音素に限定するものではない。
【０１２４】
音声分析部７０３は、音声波形信号を音素毎にセグメンテーションすると、各音素単位で、基本周波数、継続時間長、及びパワーを分析する。分析の方法は特に限定するものではなく、どの分析方法を用いても良い。音声分析部７０３は、その分析結果を音響的特徴情報として特徴パラメータＤＢ１０６に格納する。
【０１２５】
なお、言語解析部１０４が感情を解析せずに、音声分析部７０３が感情を分析してその分析結果を音響的特徴情報に付与しても良い。また、音声波形信号に予め感情を示す情報が含まれている場合には、その情報を言語的特徴情報又は音響的特徴情報に付与してもよい。
【０１２６】
以上のように動作することで、データ作成装置は、音素ごとに図６に示すようなベクトル表示の音声単位データを特徴パラメータＤＢ１０６内に作成する。テキスト「今日の天気は晴れですよ。」の場合は、２１個のベクトル表示の音声単位データが作成される。
【０１２７】
このように本実施形態は、各音素に対して言語的特徴情報および音響的特徴情報の双方を含む音声単位データを特徴パラメータＤＢ１０６に容易に構築することができる。
【０１２８】
以上、本発明について第１及び第２の実施形態並びに変形例を用いて説明したが、本発明はこれらに限定されるものではない。
【０１２９】
例えば、第１及び第２の実施形態では、日本語のテキストを音声に変換したが、本発明は他の言語のテキストを音声に変換しても良く、特に外来語や終助詞を有する言語のテキストに対して効果を奏する。
【０１３０】
また、第１及び第２の実施形態では、音素を音声単位として扱ったが、他の単位を音声単位として扱っても良い。
【産業上の利用可能性】
【０１３１】
本発明の音声合成装置は、テキストデータの示す通りに自然な合成音声を出力することができるという効果を奏し、例えばカーナビゲーションシステムやエンターテイメント分野における読み上げ装置等として有用である。
【図面の簡単な説明】
【０１３２】
【図１】本発明の第１の実施形態における音声合成装置の構成を示す構成図である。
【図２】同上の言語解析部の内部構成の一例を示す構成図である。
【図３】同上の言語情報の内容の一例を示す図である。
【図４】同上の音響的特徴情報の内容を示す図である。
【図５】同上の言語的特徴情報の内容を示す図である。
【図６】同上の特徴パラメータＤＢに格納されている１つの音声単位データの内容を示す図である。
【図７】同上の音声単位選択部の具体的な構成例を示す構成図である。
【図８】同上の目標ベクトルと候補と目標コストベクトルとを示す図である。
【図９】同上の外来語を示すテキストデータから生成された言語情報の内容を示す図である。
【図１０】（ａ）は、同上の音声単位データの選択対象となる音素を説明するための説明図であり、（ｂ）は、同上の音素「ｕ」に対応する目標ベクトル及び候補を示す図である。
【図１１】（ａ）は、同上の音声単位データの選択対象となる音素を説明するための説明図であり、（ｂ）は、音素「ｅ」に対応する目標ベクトル及び候補を示す図である。
【図１２】（ａ）は、副詞「よく」（fully）の音韻「よ」に対する分析結果を示す図であり、（ｂ）は、普通名詞「よる」（night）の音韻「よ」に対する分析結果を示す図であり、（ｃ）は、一文に含まれる終助詞である音韻「よ」に対する分析結果を示す図であり、（ｄ）は、他の文に含まれる終助詞である音韻「よ」に対する分析結果を示す図である。
【図１３】第１の実施形態の変形例１に係る音声合成装置の構成を示す構成図である。
【図１４】第１の実施形態の変形例２に係るコスト計算部の内部構成を示す構成図である。
【図１５】第１の実施形態の変形例３に係る音声単位選択部の動作を示すフロー図である。
【図１６】本発明の第２の実施形態におけるデータ作成装置の全体構成を示す構成図である。
【図１７】従来の音声合成装置の構成を示す構成図である。
【符号の説明】
【０１３３】
１００ｔ  テキストデータ
１０４  言語解析部
１０４ｄ  言語情報
１０６  特徴パラメータＤＢ
１０８  音声単位選択部
１０９  韻律推定部
１０９ｄ  韻律情報
１１０  音声合成部
１１１  スピーカ
【図１】
2005181998.tif 000004
【図２】
2005181998.tif 000005
【図３】
2005181998.tif 000006
【図４】
2005181998.tif 000007
【図５】
2005181998.tif 000008
【図６】
2005181998.tif 000009
【図７】
2005181998.tif 000010
【図８】
2005181998.tif 000011
【図９】
2005181998.tif 000012
【図１０】
2005181998.tif 000013
【図１１】
2005181998.tif 000014
【図１２】
2005181998.tif 000015
【図１３】
2005181998.tif 000016
【図１４】
2005181998.tif 000017
【図１５】
2005181998.tif 000018
【図１６】
2005181998.tif 000019
【図１７】
2005181998.tif 000020