(57)【要約】【課題】より安定かつ高品質の音声合成音を生成できるテキスト音声合成装置及び方法を提供する。【解決手段】本発明のテキスト音声合成装置は、テキストデータを音声に変換するテキスト音声合成装置において、入力された同一のテキストデータに基づいて、それぞれ異なる合成特性により複数の合成音候補を生成する音声合成手段と、音声合成手段からの各合成音候補に対して音質評価を行う音質評価手段と、音質評価手段により評価された各合成音候補の評価値に基づいて、いずれかの合成音候補を合成音として選択する合成音選択手段とを備えることを特徴とする。【選択図】      図１
2009288456.tif 000002
【特許請求の範囲】
【請求項１】
テキストデータを音声に変換するテキスト音声合成装置において、
入力された同一のテキストデータに基づいて、それぞれ異なる合成特性により複数の合成音候補を生成する音声合成手段と、
上記音声合成手段からの上記各合成音候補に対して音質評価を行う音質評価手段と、
上記音質評価手段により評価された上記各合成音候補の評価値に基づいて、いずれかの上記合成音候補を合成音として選択する合成音選択手段と
を備えることを特徴とするテキスト音声合成装置。
【請求項２】
上記合成音選択手段が、上記各合成音候補の上記評価値を比較し、上記評価値の高い上記合成音候補を選択するものであることを特徴とする請求項１に記載のテキスト音声合成装置。
【請求項３】
上記評価値が、上記各合成音候補の合成特性に応じて正規化されたものであることを特徴とする請求項１又は２に記載のテキスト音声合成装置。
【請求項４】
上記評価値が、上記各合成音候補に対して声道の特性の整合性を評価したものであることを特徴とする請求項１又は２に記載のテキスト音声合成装置。
【請求項５】
上記テキストデータを取り込み、当該テキストデータに基づいて事前音質評価値を推定する事前音質推定手段をさらに備え、
上記合成音選択手段が、上記各合成音候補の上記評価値及び上記事前音質評価値を用いた総合評価値に基づいて、合成音を選択するものであることを特徴とする請求項１〜４のいずれかに記載のテキスト音声合成装置。
【請求項６】
テキストデータを音声に変換するテキスト音声合成方法において、
テキスト音声合成装置が、音声合成手段、音質評価手段及び合成音選択手段を備え、
上記音声合成手段が、入力された同一のテキストデータに基づいて、それぞれ異なる合成特性により複数の合成音候補を生成する音声合成工程と、
上記音質評価手段が、上記音声合成手段からの上記各合成音候補に対して音質評価を行う音質評価工程と、
上記合成音選択手段が、上記音質評価手段により評価された上記各合成音候補の評価値に基づいて、いずれかの上記合成音候補を合成音として選択する合成音選択工程と
を有することを特徴とするテキスト音声合成方法。
【請求項７】
テキストデータを音声に変換するテキスト音声合成プログラムにおいて、
コンピュータを、
入力された同一のテキストデータに基づいて、それぞれ異なる合成特性により複数の合成音候補を生成する音声合成手段、
上記音声合成手段からの上記各合成音候補に対して音質評価を行う音質評価手段、
上記音質評価手段により評価された上記各合成音候補の評価値に基づいて、いずれかの上記合成音候補を合成音として選択する合成音選択手段
として機能させるテキスト音声合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト音声合成装置、方法及びプログラムに関するものである。
【背景技術】
【０００２】
混合言語型テキストデータに含まれる言語を事前に判定し、それぞれの言語毎のテキスト部分に分解し、各々の言語毎の音声合成装置で合成音を作成し、最後に統合して合成音とする。
【０００３】
例えば、「彼は「Ｈｅｌｌｏ」と言った。」というテキストデータを音声合成する場合、このテキストデータを、日本語部分（「彼は」、「と言った。」）と英語部分（「Ｈｅｌｌｏ」）との言語別に分けて、日本語音声合成が良好な音声合成装置で日本語部分の合成音を作成し、英語音声合成が良好な別の音声合成装置で英語部分の合成音を作成し、それぞれの合成音をつなぎ合わせることが行われていた（特許文献１〜３参照）。
【０００４】
【特許文献１】特開２００６−３０３８４号公報
【特許文献２】特許第３７１１４１１号公報
【特許文献３】特開２００６−４８０５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような処理をするためには、それぞれ得意とする音声合成装置にあわせてテキストデータを切り分け、かつ、切り分けたテキストデータをそれぞれの音声合成装置に振り分ける必要があった。
【０００６】
例えば、上述した事例ではテキストデータを言語単位で分解し、それぞれの言語を担当する音声合成装置に割り振るという単純なものであった。実際の音声合成装置はもっと細かい特質があり、例えば、日本語の口語調でも崩れが少ない音声合成装置であったり、逆に日本語の読み上げ調で高い音質を出す音声合成装置などである。
【０００７】
したがって、複数の音声合成装置の得意とするテキストデータ部分の音声合成音を作成し、それを組み合わせることにより、より安定かつ高品質な音声合成音を作り出すことができる。ここで問題となるのは、テキストデータのどの部分がどの音声合成装置を使うとよい音質が得られるかは、先の言語で切り分けるような事例を除き、一般に困難であった。
【０００８】
そのため、上記課題に鑑み、より安定かつ高品質の音声合成音を生成することができるテキスト音声合成装置及びテキスト音声合成方法が求められている。
【課題を解決するための手段】
【０００９】
かかる課題を解決するために、第１の本発明のテキスト音声合成装置は、テキストデータを音声に変換するテキスト音声合成装置において、（１）入力された同一のテキストデータに基づいて、それぞれ異なる合成特性により複数の合成音候補を生成する音声合成手段と、（２）音声合成手段からの各合成音候補に対して音質評価を行う音質評価手段と、（３）音質評価手段により評価された各合成音候補の評価値に基づいて、いずれかの合成音候補を合成音として選択する合成音選択手段とを備えることを特徴とする。
【００１０】
第２の本発明のテキスト音声合成方法は、テキストデータを音声に変換するテキスト音声合成方法において、テキスト音声合成装置が、音声合成手段、音質評価手段及び合成音選択手段を備え、（１）音声合成手段が、入力された同一のテキストデータに基づいて、それぞれ異なる合成特性により複数の合成音候補を生成する音声合成工程と、（２）音質評価手段が、音声合成手段からの各合成音候補に対して音質評価を行う音質評価工程と、（３）合成音選択手段が、音質評価手段により評価された各合成音候補の評価値に基づいて、いずれかの合成音候補を合成音として選択する合成音選択工程とを有することを特徴とする。
【００１１】
第３の本発明のテキスト音声合成プログラムは、テキストデータを音声に変換するテキスト音声合成プログラムにおいて、コンピュータを、（１）入力された同一のテキストデータに基づいて、それぞれ異なる合成特性により複数の合成音候補を生成する音声合成手段、（２）音声合成手段からの各合成音候補に対して音質評価を行う音質評価手段、（３）音質評価手段により評価された各合成音候補の評価値に基づいて、いずれかの合成音候補を合成音として選択する合成音選択手段として機能させるものである。
【発明の効果】
【００１２】
本発明によれば、より安定かつ高品質の音声合成音を生成することができる。
【発明を実施するための最良の形態】
【００１３】
（Ａ）第１の実施形態
以下では、本発明のテキスト音声合成装置及びテキスト音声合成方法の第１の実施形態について図面を参照しながら説明する。
【００１４】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態のテキスト音声合成装置の内部構成を示す構成図である。
【００１５】
図１において、第１の実施形態のテキスト音声合成装置１０は、複数の音声合成部１−１〜１−ｎ（ｎは正の整数）を有する音声合成手段１、音声評価結合部２を少なくとも有するものである。
【００１６】
テキスト音声合成装置１０は、入力されたテキストデータに基づいて音声を合成して出力するものである。なお、入力テキストデータは、複数の言語から構成される混合言語テキストであってもよいし、１言語から構成されるテキストであってもよい。
【００１７】
複数の音声合成部１−１〜１−ｎはそれぞれ、入力されたテキストデータに基づいて合成音を生成するものであり、生成した合成音（合成音候補Ｖ−１〜Ｖ−ｎともいう）を音声評価結合部２に与えるものである。
【００１８】
ここで、音声合成部１−１〜１−ｎはそれぞれ異なる特性を備えるものである。つまり、各音声合成部１−１〜１−ｎは、それぞれ異なる言語に対応可能なものであったり、また言語は同じであっても生成する合成音の音質が異なるものであったりする。
【００１９】
例えば、音声合成部１−１は日本語対応（音質Ａ）の音声合成部とし、音声合成部１−２は英語対応の音声合成部とし、音声合成部１−３は中国語対応の音声合成部とし、音声合成部１−ｎは日本語対応（音質Ｂ）の音声合成部としてよい。なお、音声合成部１−１と音声合成部１−ｎとは合成音の音質が異なる。
【００２０】
また、複数の音声合成部１−１〜１−ｎのそれぞれには、全てのテキストデータが入力される。このように、全てのテキストデータを全ての音声合成部１−１〜１−ｎに入力させることにより、事前にテキストデータとそれに対応する音声合成部との割り当てを行う必要がない。
【００２１】
音声評価結合部２は、複数の音声合成部１−１〜１−ｎから出力された合成音（合成音候補Ｖ−１〜Ｖ−ｎ）を受け取り、各合成音候補Ｖ−１〜Ｖ−ｎの音質比較を行い、適切な合成音を選択して出力するものである。
【００２２】
ここで、合成音候補の選択方法としては、音声評価結合部２がテキストデータ毎の各合成音候補Ｖ−１〜Ｖ−ｎの音質評価値を比較し、その音質評価値が最も高い合成音を選択するものとする。
【００２３】
また、音声評価結合部２による各合成音候補の音質評価の方法としては、種々の方法を適用することができるが、例えば、音声評価結合部２が、予め設定された音声合成部１−１〜１−ｎの評価値同士を比較する評価値正規化テーブルを備え、この評価値正規化テーブルを用いて、各合成音候補の評価値を比較する方法を適用できる。
【００２４】
この場合、それぞれの音声合成部１−１〜１−ｎが、合成音の音質を評価する音質評価部を有するものとする。各音質評価部による方法は、音声合成部１−１〜１−ｎ毎に異なるものであってもよく、音声評価結合部２において予め認識されていることが必要である。
【００２５】
また別の方法としては、音声評価結合部２が下記の文献Ａに記載の客観評価方法を適用し、各合成音候補Ｖ−１〜Ｖ−ｎの評価値を求めて比較する方法を適用できる（文献Ａ：松井崇倫、兼安勉、党建武、「主観的評価と客観的評価に基づく合成音声評価装置の開発」、日本音響学会、２００７年春季研究発表会）。文献Ａでは、ＬＳＦ（Liner  Spectral  Frequency）を用いたＬＳＦ速度、ＬＳＦ差分、STRAGHTに基づいた滑らかなパワースペクトルの時間変化（STRAIGHT速度）、母音における接続点の前後にあるＦ０の不連続性を示すＦ０落差の４つの物理パラメータを用いる客観評価方法について記載されている。これにより、声道モデル上の制約等との整合性を客観評価することができる。
【００２６】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態のテキスト音声合成装置１０における処理の動作について図面を参照しながら説明する。図２は、テキスト音声合成装置１０における処理のフローチャートである。
【００２７】
図２において、まず、テキストデータが音声合成装置１０に入力されると、テキストデータは複数の音声合成部１−１〜１−ｎに与えられる。ここでは、全部のテキストデータが、全ての音声合成部１−１〜１−ｎに与えられる。
【００２８】
それぞれの音声合成部１−１〜１−ｎでは、入力されたテキストデータに基づいて合成音候補Ｖ−１〜Ｖ−ｎが生成される（ステップＳ１）。ここで、各音声合成部１−１〜１−ｎにおける音声合成方法については、それぞれの音声合成部の特性に応じた音声合成方法をそれぞれ行う。
【００２９】
各音声合成部１−１〜１−ｎにより音声合成された合成音候補Ｖ−１〜Ｖ−ｎはそれぞれ、音声評価結合部２に与えられる。
【００３０】
音声評価結合部２では、各音声合成部１−１〜１−ｎからの合成音候補Ｖ−１〜Ｖ−ｎの音質を比較判定し、最も音質の良い合成音候補Ｖ−ｍａｘを選択し、これを合成音Ｖとして出力する（ステップＳ２）。
【００３１】
ここで、図３及び図４は、音声評価結合部２における合成音候補の比較判定処理のフローチャートである。音声評価結合部２は、図３又は図４に示す処理のいずれかを行う。
【００３２】
まず、図３に示す処理を説明する。図３は、各合成音候補Ｖ−１〜Ｖ−ｎの評価値を評価値正規化テーブルを用いて音質比較を行う方法である。この場合、各音声合成部１−１〜１−ｎがそれぞれ音質評価を行う。
【００３３】
図３において、各音声合成部１−１〜１−ｎは、生成したテキストデータ毎の合成音の合成品質を評価し、音声合成部１−ｉ（ｉ≦ｎ）に評価された評価値Ｅｉが音声評価結合部２に与えられる（ステップＳ２１１）。
【００３４】
ここで、音質評価については、各音声合成部１−１〜１−ｎ毎に異なる音質評価方法を適用することができる。なお、音質評価方法は、大別して、人間が音質を評価する主観評価方法と、機械が自動的に音質を評価する客観評価方法とがあり、各音声合成部１−１〜１−ｎはいずれの方法を適用してもよいが、第１の実施形態では客観評価方法を用いるものとする。
【００３５】
続いて、音声評価結合部２では、各音声合成部１−１〜１−ｎから合成音候補Ｖ−１〜Ｖ−ｎの評価値が与えられると、評価値正規化テーブルを参照して、それぞれの合成音候補Ｖ−１〜Ｖ−ｎの評価値Ｅから、正規化評価値Ｅ´を求める（ステップＳ２１２）。
【００３６】
ここで、評価値正規化テーブルについて、各音声合成部１−１〜１−ｎの音質評価方法が異なる場合には、それぞれの音質評価方法による評価値を正規化評価値に変換するテーブルを用意する必要がある。
【００３７】
そして、音声評価結合部２は、各音声合成部１−１〜１−ｎからの合成音候補の正規化評価値Ｅ´を比較して、最も評価値の良い合成音候補Ｖ−ｍａｘを合成音Ｖとして出力する（ステップＳ２１３）。
【００３８】
次に、図４に示す処理を説明する。図４は、音声評価結合部２が客観評価を行い音質比較を行う方法である。この場合、各音声合成部２が音質評価値を行わなくてよい。
【００３９】
図４において、テキストデータ毎の合成音候補Ｖ−１〜Ｖ−ｎが音声評価結合部２に与えられると、音声評価結合部２は、各合成音候補Ｖ−１〜Ｖ−ｎに対して音質評価を行い、自動評価値Ｇｉを求める（ステップＳ２２１）。
【００４０】
ここで、音声評価結合部２による自動評価値については客観評価を広く適用することができ、例えば文献Ａに記載の評価方法を適用する。
【００４１】
そして、音声評価結合部２において、各合成音候補Ｖ−１〜Ｖ−ｉの評価値Ｇ１〜Ｇｉのうち、最も音質のよい合成音候補Ｖ−ｍａｘを選択し、これを合成音Ｖとして出力する（ステップＳ２２２）。
【００４２】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、複数のテキスト音声合成部により得られた合成音を評価するステップを設け、よい音質の合成音を選択利用することにより、１つの音声合成器だけでは実現が困難であったさまざまなテキストに対しての高い品質の合成音を確保することが可能になる。
【００４３】
（Ｂ）第２の実施形態
次に、本発明のテキスト音声合成装置及びテキスト音声合成方法の第２の実施形態について図面を参照して説明する。
【００４４】
第１の実施形態では、合成音候補の生成後に各合成音候補の音質を評価するテキスト音声合成方法であったが、第２の実施形態では、第１の実施形態の方法に加えて、入力テキストデータに基づいて事前に音質評価を推定する方法を組み合わせる実施形態を説明する。
【００４５】
（Ｂ−１）第２の実施形態の構成
図５は、第２の実施形態のテキスト音声合成装置２０の構成を示す内部構成図である。図５において、第２の実施形態のテキスト音声合成装置２０は、複数の音声合成部２１−１〜２１−ｎを有する音声合成手段２１、統合音声判定部２２、事前推定部２３を少なくとも有するものである。
【００４６】
第２の実施形態のテキスト音声合成装置２０は、第１の実施形態の構成に加えて、事前推定部２３を備える点である。そこで、第２の実施形態では、事前推定部２３の構成を中心に第１の実施形態とは異なる点を詳細に説明する。
【００４７】
事前推定部２３は、入力テキストデータを受け取ると、事前音質評価テーブルを参照して、テキストデータに対応する事前音質スコア（事前音質評価値ともいう）を求め、この事前音質スコアを統合音声判定部２２に与えるものである。
【００４８】
ここで、事前音質評価テーブルは、複数のテキストデータと事前音質スコアとを対応付けたテーブルである。事前音質評価テーブルの作成方法として、例えば、色々なテキストデータを音声合成した際、合成音の音質について音質評価実験データ（例えば、ＭＯＳ（Mean  Opinion  Score）評価等の主観評価値等）を用いる方法や、Ｗｅｂなどから入手した音質評判情報をレーティングなどの統計処理で事前評価テーブルを作成する方法などを適用することができる。
【００４９】
そして、入力されたテキストデータと事前評価テーブルのテキストとの類似性を計算し、最も類似しているテキストデータに対する事前評価テーブルの評価値を事前音質評価とする。
【００５０】
統合音声判定部２２は、第１の実施形態と同様に、音声合成部２１−１〜２１−ｎから合成音候補Ｖ−１〜Ｖ−ｎを受け取り、各合成音候補Ｖ−１〜Ｖ−ｎに対する評価値を求めるものである。
【００５１】
この各合成音候補Ｖ−１〜Ｖ−ｎの評価値を求める方法は、第１の実施形態と同様に種々の方法を広く適用することができる。第２の実施形態では、第１の実施形態でも例示した文献Ａの自動的に客観的な音質評価を行う自動音質評価技術を用いる場合を適用するものとする。
【００５２】
また、統合音声判定部２２は、事前推定部２３から入力テキストデータの事前評価値を受け取り、この事前評価値と各合成音候補Ｖ−１〜Ｖ−ｎの評価値とを用いて、総合的な統合評価値を求めるものである。そして、統合音声判定部２２は、総合評価値が最も高い音声合成部分を合成音Ｖとして出力するものである。
【００５３】
（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態のテキスト音声合成方法の処理について図面を参照しながら説明する。図６は、第２の実施形態のテキスト音声合成方法の処理を示すフローチャートである。
【００５４】
図６において、まず、テキストデータが各音声合成部２１−１〜２１−ｎに入力されると、各音声合成部２１−１〜２１−ｎの音声合成の特性により音声合成が行われ、各合成音候補Ｖ−１〜Ｖ−ｎが統合音声判定部２２に与えられる。
【００５５】
統合音声判定部２２では、各合成音候補Ｖ−１〜Ｖ−ｎに対する自動評価値Ｇ１、Ｇ２、…Ｇｎが算出される（ステップＳ２３１）。
【００５６】
また、入力されたテキストデータは事前推定部２３に与えられる。事前推定部２３では、入力されたテキストとの類似性を計算し、事前評価テーブルを参照して、最も類似しているテキストデータに対する事前評価値Ｈ１、Ｈ２、…、Ｈｉが求められて統合音声判定部２２に与えられる（ステップＳ２３２）。
【００５７】
統合音声判定部２２では、各合成音候補のＶ−１〜Ｖ−ｎの自動評価値Ｇｉと、事前音質評価値Ｈｉとの双方を用いて、総合評価値Ｊｉが算出され、総合評価値Ｊｉが最大となる音声合成部Ｖｍａｘが生成した合成音候補Ｖ−ｍａｘを合成音として出力する（ステップＳ２３３）。
【００５８】
ここで、総合評価値Ｊｉの算出方法としては、例えば以下に示す関係式を用いる方法を適用することができる。
【００５９】
Ｊｉ＝Ｗｇ・Ｇｉ＋Ｗｈ・Ｈｉ      …（１）
ここで、Ｗｇは自動評価値Ｇｉの重み付け定数であり、Ｗｈは事前音質評価値Ｈｉの重み付け定数であり、Ｗｇ及びＷｈは、各音声合成部２１−１〜２１−ｎ毎に予め定められたものを適用することができる。
【００６０】
このように、自動評価値Ｇｉと事前評価値Ｈｉとを用いて、総合評価値Ｊｉを求めることにより、自動評価値を用いる場合よりも、より安定した評価を行うことができる。
【００６１】
なお、第２の実施形態では、自動評価値Ｇｉを用いる場合を例示したが、第１の実施形態で説明した評価値Ｅ´ｉを用いるようにしてもよい。
【００６２】
（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、それぞれの音声合成部による合成音の品質を示す評価値を求めることに加えて、テキストデータから予測した事前評価値を用いることで、いずれか一方の評価値を用いて選択する場合よりも、より安定した評価ができるため、さまざまなテキストに対して高品質な合成音を安定的に生成することができる。
【００６３】
（Ｃ）他の実施形態
本発明のテキスト音声合成装置及び方法は、テキストから音声を合成する音声合成機能を有する音声メッセージサービスに広く適用することができる。
【図面の簡単な説明】
【００６４】
【図１】第１の実施形態のテキスト音声合成装置の構成を示す構成図である。
【図２】第１の実施形態のテキスト音声合成処理のフローチャートである。
【図３】第１の実施形態の各合成音候補の評価値を求めるフローチャートである（その１）。
【図４】第１の実施形態の各合成音候補の評価値を求めるフローチャートである（その２）。
【図５】第２の実施形態のテキスト音声合成装置の構成を示す構成図である。
【図６】第２の実施形態の各合成音候補の評価値を求めるフローチャートである。
【符号の説明】
【００６５】
１０及び２０…テキスト音声合成装置、１及び２１…音声合成手段、１−１〜１−ｎ及び２１−１〜２１−ｎ…音声合成部、２…音声評価結合部、２２…統合音声判定部、２３…事前推定部。
【図１】
2009288456.tif 000003
【図２】
2009288456.tif 000004
【図３】
2009288456.tif 000005
【図４】
2009288456.tif 000006
【図５】
2009288456.tif 000007
【図６】
2009288456.tif 000008