(57)【特許請求の範囲】
【請求項１】
音声データを保持した音声コーパスを格納したデータベースを備え、入力された任意のテキストを音声へと変換するために、音声コーパスに含まれる任意長の音声素片を探索接続することで入力テキストと内容が一致した合成音声を生成する音声合成方法において、
入力テキストを形態素解析することで読みを得、韻律パタン生成に必要とするアクセント句数と音調結合情報を求めるテキスト解析処理ステップと、
テキスト解析処理ステップで得られた情報を利用し、目標韻律パタンを生成する韻律パタン生成ステップと、
目標韻律パタンに従って処理対象とするアクセント句を設定する処理対象アクセント句設定ステップと、
各アクセント句毎に基本周波数や韻律環境、音韻継続時間、素片接続回数のパラメータのうち少なくとも２つ以上備え、各パラメータのサブコストに対応した重み係数のまとまりである重みセットを初期値に設定する処理及び重みセット値の設定値を変更する処理とを行う重みセット設定及び設定変更ステップと、
上記韻律パタン生成ステップで生成した韻律パタンを基に上記サブコストに上記重みセットを用いて重み付け加算した総合コストに基づいて音声素片を選択し、音声素片系列を設定する音声素片探索ステップと、
この音声素片探索ステップで探索された音声素片系列に関して複数の評価尺度のそれぞれについて合成音声の品質評価を行なう品質評価ステップと、
品質評価ステップの評価結果の中に品質が悪いと判定された評価尺度の有無を検出し、その検出結果が有りの場合は、品質が悪いと判定された評価尺度に対応する上記パラメータのサブコストに対応する重み係数を変更する重みセット設定及び設定変更ステップの設定変更処理を経て上記音声素片系列探索ステップへ回帰する処理と、無しの場合はその時点で探索されている音声素片系列を処理対象アクセント句の音声素片系列と決定する出力音声素片系列決定ステップと、
この出力音声素片系列決定ステップで各アクセント句毎の音声素片系列が決定される毎に入力テキストに含まれるアクセント句の全てについて処理が終了したか否かを判定し、終了と判定した場合は入力テキストを構成する各アクセント句それぞれについて音声素片系列を合成音声処理ステップに出力し、未終了と判定した場合は次のアクセント句を処理対象アクセント句として設定し、上記重みセット設定及び設定変更ステップと、音声素片系列探索ステップと、品質評価ステップと、出力音声素片系列決定ステップを予め設定した再選択許容回数繰返し実行させる入力テキスト終了判定ステップと、
上記出力音声素片系列の隣接する音声素片同士を滑らかに接続し、合成音声データとして出力する音声合成処理ステップと、
を含むことを特徴とする音声合成方法。
【請求項２】
請求項１記載の音声合成方法において、上記品質評価ステップの評価結果に品質が悪いと判定された評価尺度が有りの場合に、上記音声素片系列探索ステップと品質評価ステップの実行回数が上記再選択許容回数に達したか否かを判定し、未達成の場合は上記重みセット設定変更ステップを経て上記音声素片系列探索ステップに回帰させる再選択許容回数判定ステップと、
この再選択許容回数判定ステップが達成と判定した場合は現在処理対象となっているアクセント句に対しては信号処理を必要とする情報と共にその時点で探索されている音声素片系列を現在処理対象としているアクセント句の音声素片系列と決定する信号系処理必要決定ステップと、
上記品質評価ステップで品質が悪いと判定する評価尺度が無と判定された場合に、現在処理対象としているアクセント句に対しては信号処理を不要とする情報と共に、その時点で探索されている音声素片系列をそのアクセント句の音声素片系列と決定する信号処理不要決定ステップと、
上記信号処理を必要とする情報を受領した場合、上記信号系処理必要決定ステップで決定された音声素片系列に対し、上記音声合成処理ステップにおいて音声波形の基本周波数や音韻継続時間長を操作する信号処理を行い、音声合成を行う例外処理ステップと、
を付加したことを特徴とする音声合成方法。
【請求項３】
請求項１又は２の何れかに記載の音声合成方法において、上記品質評価ステップで用いられる評価尺度は、少なくともイントネーションに関する評価尺度又は発話速度に関する評価尺度或いは連続性に関する評価尺度の内の何れかを含むことを特徴とする音声合成方法。
【請求項４】
請求項１乃至３の何れかに記載の音声合成方法において、上記重みセット設定及び設定変更ステップで設定される重みセットは、少なくとも基本周波数に関するパラメータの重みと、継続時間に関するパラメータの重みと、接続点のギャップに関するパラメータの重みの何れかの組み合わせを含むことを特徴とする音声合成方法。
【請求項５】
音声データを保持した音声コーパスを格納したデータベースを備え、入力された任意のテキストを音声へと変換するために、音声コーパスに含まれる任意長の音声素片を探索接続することで入力テキストと内容が一致した合成音声を生成する音声合成装置において、
入力テキストを形態素解析することで読みを得、韻律パタン生成に必要とするアクセント句数と音調結合情報を求めるテキスト解析処理部と、
テキスト解析処理部で得られた情報を利用し、目標韻律パタンを生成する韻律パタン生成部と、
目標韻律パタンに従って処理対象とするアクセント句を設定する処理対象アクセント句設定部と、
各アクセント句毎に基本周波数や韻律環境、音韻継続時間、素片接続回数のパラメータのうち少なくとも２つ以上備え、各パラメータのサブコストに対応した重み係数のまとまりである重みセットを初期値に設定する処理及び重みセット値の変更処理を行う重みセット設定及び設定変更部と、
上記韻律パタン生成部で生成した韻律パタンを基に上記サブコストに上記重みセットを用いて重み付け加算した総合コストに基づいて音声素片を選択する音声素片探索部と、
この音声素片探索部で探索された音声素片系列に関して複数の評価尺度のそれぞれについて合成音声の品質評価を行なう品質評価部と、
品質評価部の評価結果の中に品質が悪いと判定された評価尺度の有無を検出し、その検出結果が有りの場合は、品質が悪いと判定された評価尺度に対応する上記パラメータのサブコストに対応する重み係数を変更する重みセット設定及び設定変更部の設定変更処理を経て上記音声素片系列探索部での音声素片系列探索処理へ回帰させ、無しの場合はその時点で探索されている音声素片系列を処理対象アクセント句の音声素片系列と決定する出力音声素片系列決定部と、
この出力音声素片系列決定部で各アクセント句毎の音声素片系列が決定される毎に入力テキストに含まれるアクセント句の全てについて処理が終了したか否かを判定し、終了と判定した場合は入力テキストを構成する各アクセント句それぞれについて音声素片系列を合成音声処理部に出力し、未終了と判定した場合は次のアクセント句を処理対象アクセント句として設定し、上記重みセット設定部と、音声素片系列探索部と、品質評価部と、出力音声素片系列決定部を予め設定した再選択許容回数分繰返し動作させる入力テキスト終了判定部と、
上記出力音声素片系列の隣接する音声素片同士を滑らかに接続し、合成音声データとして出力する音声合成処理部と、
を備えることを特徴とする音声合成装置。
【請求項６】
請求項５記載の音声合成装置において、上記品質評価部の評価結果に品質が悪いと判定された評価尺度が有りの場合に、上記音声素片系列探索部と品質評価部の実行回数が上記再選択許容回数に達したか否かを判定し、未達成の場合は上記重みセット設定変更部の重みセット設定変更処理を経て上記音声素片系列探索部の探索動作に回帰させる再選択許容回数判定部と、
この再選択許容回数判定部が達成と判定した場合は現在処理対象となっているアクセント句に対しては信号処理を必要とする情報と共にその時点で探索されている音声素片系列を現在処理対象としているアクセント句の音声素片系列と決定する信号系処理必要決定部と、
上記品質評価部で品質が悪いと判定する評価尺度が無と判定された場合に、現在処理対象としているアクセント句に対しては信号処理を不要とする情報と共に、その時点で探索されている音声素片系列をそのアクセント句の音声素片系列と決定する信号処理不要決定部と、
上記信号処理を必要とする情報を受領した場合、上記信号系処理必要決定部で決定された音声素片系列に対し、上記音声合成処理部において音声波形の基本周波数や音韻継続時間長を操作する信号処理を行い、音声合成を行う例外処理部と、
を付加したことを特徴とする音声合成装置。
【請求項７】
請求項５又は６の何れかに記載の音声合成装置において、上記品質評価部に設けられる評価手段は、入力テキストから生成した韻律パタンに基づいて決定した音声素片系列を少なくともイントネーションに関する評価手段又は発話速度に関する評価手段或いは連続性に関する評価手段の内の何れかを含むことを特徴とする音声合成装置。
【請求項８】
請求項５乃至７の何れかに記載の音声合成装置において、上記重みセット設定及び設定変更部で設定される重みセットは、少なくとも入力テキストから生成した韻律パタンに基づいて決定した音声素片系列の基本周波数に関するパラメータの重みと、継続時間に関するパラメータの重みと、接続点のギャップに関するパラメータの重みの何れかの組み合わせを含むことを特徴とする音声合成装置。
【請求項９】
コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項５乃至８記載の音声合成装置として機能させる音声合成プログラム。
【請求項１０】
コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に少なくとも請求項９記載の音声合成プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は任意のテキストを入力することで、そのテキストと一致した音声を生成し、出力する、つまり、テキストから音声へのメディア変換を行う、音声合成技術に関する。
【背景技術】
【０００２】
テキストを入力するだけで所望の音声を生成することができる音声合成技術は、電子メールやWeb記事の読み上げ、コンタクトセンタなどのような電話音声による情報案内のための読み上げなどに利用されており、実際にテキストを読み上げるための作業コストの削減に貢献している。
しかしながら、合成音声の品質は、人間の生音声と比較すると依然として及ばず、さらなる市場の拡大を実現するには、品質の向上が必要不可欠であると考えられる。
任意のテキストを音声へ変換する音声合成技術の１つである波形接続型音声合成手法（特許文献１）は、大量の音声コーパスから任意長の音声波形の断片（音声素片）を探索、接続することで合成音声を生成する。
【０００３】
大量の音声コーパスから音声素片を選択することで、韻律のバリエーションをカバーするこの音声合成手法は、基本的に信号系の処理を行わないため、合成音声の肉声らしさは保たれる。
波形接続型音声合成手法による合成音声の品質は、音声素片の探索アプローチが大きく関わる。
一般的な探索アプローチは、まず始めに、入力された漢字かな文をテキスト解析することで、目標となる音韻系列、韻律パタンなどを作成する。次に、これらの目標にできるだけ近くなるような音声波形の組み合わせの探索を、複数基準パラメータを総合的に評価することで行う。
【０００４】
基準パラメータを総合的に評価する最も一般的な方法は、基本周波数や韻律環境、音韻継続時間、素片接続回数などの複数のパラメータに関するサブコストを計算し、それらを重み付け加算した総合コストが最も低い音声素片系列を出力音声とする方法である。
前述の音声素片系列の選択手法における、重みセットと各パラメータのコスト、総合コストを式に表わすと次のように書くことができる。
【０００５】
【数１】
0004425192.tif 000002
この式による評価方法は、各パラメータを総合的に判定しているので、あるパラメータ、例えば、イントネーションに深く影響する、基本周波数に関するパラメータのコストが高く計算されても、他の基準パラメータにおいてコストが低く算出されれば、結果として総合コストが低くなる場合がある。そのため、音声データベース中に、より適切な音声素片の組み合わせが存在しているにもかかわらず、誤ったイントネーションになってしまう音声素片系列が選択されることがしばしばある。
【０００６】
高品質な合成音声を生成するための重みセットの値は、このような事例が極力起こらないような値に設定すべきである。しかし、入力テキストに含まれる語彙、入力テキストに含まれる音素系列、目標韻律パタンを再現可能な音声素片が音声データベース中にどれほど含まれているかなど、入力テキストと音声データベースの整合性の度合によって最適な重みセットの値は異なる。極論を言うと、入力テキストごとに最適な重みセットの値は異なるとも考えられる。
そこで、生成した合成音声の品質を評価し、品質が低い場合には合成処理手法を変更し、再度合成処理を行うという一連の流れを高品質な合成音声が生成されるまで繰り返すという手法が提案されている（非特許文献１、特許文献２）。
【０００７】
非特許文献１では、基本周波数が降下しているときアクセント核において、人間が知覚できる基本周波数の降下が合成音声にあるかどうかを機械学習を用いて評価し、降下がないと判断された場合には、重みセットを変更し、再度合成処理を行っている。また、特許文献２では、合成音声の品質評価をある基準値を満たすかどうかで判断している。
【特許文献１】特許第２７６１５５２号明細書
【特許文献２】特開２００４−３５４６４４号公報
【非特許文献１】長谷川未来、水野秀之、“コーパスベース音声合成における素片選択についての検討”、日本音響学会講演論文集、1-7-2、PP.215-216、Mar.2004.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記非特許文献１では、アクセント核という局所的な部分しか見えておらず、それ以外の場所でイントネーションが合っているかどうかを判断していない。また、基本周波数に関する尺度しか評価していない。これらの理由により、正しい品質評価ができないという問題がある。
また、特許文献２では、合成音声の品質評価をある基準値を満たすか否かで判断しているが、単純にある値を満たすかどうかで合成音声の品質を評価する方法では、合成音声の品質を高い精度で評価することは難しく、場合によっては、品質に何ら問題ない合成音声に対して再合成処理を施したり、品質が低い合成音声をそのまま出力したりといった問題が生じ、高品質な合成音声を安定して生成することが困難である。
【０００９】
また特許文献２では、品質が低いと判断された場合、入力情報に含まれる制御情報に基づいて合成処理方法を変更するとしているが、実際に作成した合成音声の品質評価結果に基づいた変更方法ではないため、あらかじめ決めておいた合成処理手段が必ずしも高品質な合成音声を生成できるとは限らない。
本発明の目的はこれらの不都合を一掃し、高品質な合成音声を生成することができる音声合成方法、装置、プログラム及び記録媒体を提案しようとするものである。
【課題を解決するための手段】
【００１０】
本発明の音声合成装置は音声データを保持した音声コーパスを格納したデータベースを備え、入力された任意のテキストを音声へと変換するために、音声コーパスに含まれる任意長の音声素片を探索接続することで入力テキストと内容が一致した合成音声を生成する音声合成装置であって、
その特徴とする構成は入力テキストを形態素解析することで読みを得、韻律パタン生成に必要とするアクセント句数と音調結合情報を求めるテキスト解析処理部と、テキスト解析処理部で得られた情報を利用し、目標韻律パタンを生成する韻律パタン生成部と、目標
韻律パタンに従って処理対象とするアクセント句を設定する処理対象アクセント句設定部と、各アクセント句毎に基本周波数や韻律環境、音韻継続時間、素片接続回数のパラメータのうち少なくとも２つ以上備え、各パラメータのサブコストに対応した重み係数のまとまりである重みセットを初期値に設定する処理及び、設定値を変更する処理とを実行する重みセット設定及び設定変更部と、上記韻律パタン生成部で生成した韻律パタンを基にサブコストに重みセットを用いて重み付け加算した総合コストに基づいて音声素片を選択し音声素片系列を設定する音声素片探索部と、この音声素片探索部で探索された音声素片系列に関して複数の評価尺度のそれぞれについて合成音声の品質評価を行なう品質評価部と、品質評価部の評価結果の中に品質が悪いと判定された評価尺度の有無を検出し、その検出結果が有りの場合は、品質が悪いと判定された評価尺度に対応するパラメータのサブコストに対応する重み係数を変更する重みセットの設定及び設定変更部の処理を経て上記音声素片系列探索部での音声素片系列探索処理へ回帰させ、無しの場合はその時点で探索されている音声素片系列を処理対象アクセント句の音声素片系列と決定する出力音声素片系列決定部と、この出力音声素片系列決定部で各アクセント句毎の音声素片系列が決定される毎に入力テキストに含まれるアクセント句の全てについて処理が終了したか否かを判定し、終了と判定した場合は入力テキストを構成する各アクセント句それぞれについて音声素片系列を合成音声処理部に出力し、未終了と判定した場合は次のアクセント句を処理対象アクセント句として設定し、上記重みセット設定及び設定変更部と、音声素片系列探索部と、品質評価部と、出力音声素片系列決定部を予め設定した再選択許容回数分繰返し動作させる入力テキスト終了判定部と、出力音声素片系列の隣接する音声素片同士を滑らかに接続し、合成音声データとして出力する音声合成処理部とを備える。
【００１１】
更に本発明の特徴とする構成は品質評価部の評価結果に品質が悪いと判定された評価尺度が有りの場合に、音声素片系列探索部と品質評価部の実行回数が再選択許容回数に達したか否かを判定し、未達成の場合は重みセット設定及び設定変更部の重みセット設定変更処理を経て音声素片系列探索部の探索動作に回帰させる再選択許容回数判定部と、この再選択許容回数判定部が達成と判定した場合は現在処理対象となっているアクセント句に対しては信号処理を必要とする情報と共にその時点で探索されている音声素片系列を現在処理対象としているアクセント句の音声素片系列と決定する信号処理必要決定部と、品質評価部で品質が悪いと判定する評価尺度が無と判定された場合に、現在処理対象としているアクセント句に対しては信号系の処理を不要とする情報と共に、その時点で探索されている音声素片系列をそのアクセント句の音声素片系列と決定する信号処理不要決定部と、信号処理を必要とする情報を受領した場合、信号系処理必要決定部で決定された音声素片系列に対し、上記音声合成処理部において音声波形の基本周波数や音韻継続時間長を操作する信号処理を行い、音声合成を行う例外処理部とを付加した点である。
【００１２】
更に本発明の特徴とする構成は品質評価部に設けられる評価手段は、入力テキストから生成した韻律パタンに基づいて決定した音声素片系列を少なくともイントネーションに関する評価手段又は発話速度に関する評価手段或いは連続性に関する評価手段の内の何れかを含む点である。
更に本発明の特徴とする構成は重みセット設定及び設定変更部で設定される重みセットは、少なくとも入力テキストから生成した韻律パタンに基づいて決定した音声素片系列の基本周波数に関するパラメータの重みと、継続時間に関するパラメータの重みと、接続点のギャップに関するパラメータの重みの何れかの組み合わせを含む点である。
【発明の効果】
【００１３】
本発明によれば、アクセント句を処理対象区間とすることで局所的な品質評価ではなく、大局的な品質評価、つまり、韻律としてまとまりのある、ある程度長い範囲での品質を評価することが可能となり、また、基本周波数以外の評価尺度についても品質評価することで、合成音声全体の品質を正しく評価することができる。
本発明によれば、例えばSVMのような統計的手法を用いることで、複数特徴量と人による正誤判断の非線形な関係を対応付けることができるので、より高精度な品質評価が可能となり、安定して高品質な合成音声を生成することができる。
【００１４】
本発明によれば、統計的手法による品質評価を複数の評価尺度を用いて行い、その結果を重みセットに反映させ、音声素片系列を再選択することで、高品質な合成音声を安定して得ることができる。
【発明を実施するための最良の形態】
【００１５】
本発明による統計的手法を用いた合成音声の品質評価方法は、それを実現するプログラムをコンピュータにインストールして使用するのが好ましく、可変長の音声波形を接続、組み合わせることにより、任意のテキストを音声へ変換する波形接続型音声合成手段をプログラム内に実装して使用する実施形態が、この品質評価方法を機能させる最良の形態である。
コンピュータを用いて、本発明の音声合成装置を機能させるには、大量の音声データを保持した音声コーパスを備え、入力された任意のテキストを音声へと変換するために、音声コーパスに含まれる任意長の音声素片を探索、接続することで入力テキストと内容が一致した合成音声を生成する音声合成装置において、入力されたテキストを形態素解析することで読みを得、韻律生成に必要な情報である、アクセント型・音調結合型を付与するテキスト解析処理部と、テキスト解析処理部で得られた情報を利用し、目標韻律パタンを生成する韻律生成部と、合成音声の韻律パタンに合わせるなど、基準となる複数のパラメータを総合的に評価し、その評価結果に基づいて音声素片を選択する音声素片系列探索部と、生成された合成音声の品質を、人間の品質評価判断と複数特徴量の非線形な関係を対応付けることができる統計的手法を用い、複数ある評価尺度それぞれに対して、大局的に評価することが可能な品質評価部と、品質評価結果から音声素片系列を採用するかどうかを判定する出力音声素片系列決定部と、品質が悪かった場合に品質評価部で得られた評価結果を反映させた重みセットを設定し、次のアクセント句に対する素片探索を行うために重みセットを初期値に設定する処理と設定値の変更処理を行う重みセット設定及び設定変更部と、入力テキストが最後まで探索されたかを判定する入力テキスト終了判定部と、信号処理手法等を用いることで、選択された音声素片系列を滑らかに連結する合成処理部を構築することで実現される。
この構成とすることにより、高品質な合成音声を安定して得られることができるとする本発明の独特の作用効果を得ることができる。
【実施例１】
【００１６】
図１に本発明による音声合成装置１００の全体の構成を示す。本発明による音声合成方法は基本的に波形接続型音声合成方法であり、この波形接続型音声合成方法で動作する音声合成装置１００はテキスト解析処理部１０と、韻律生成部２０と、音声素片探索部３０と、合成処理部４０と、音声データベース５０とによって構成される。音声データベース５０には大量の音声データを保持した音声コーパスを備える。
音声合成装置１００における処理の流れは、音声合成処理の対象である入力テキストTXに対してテキスト解析処理部１０で形態素解析を行うことで読みを得、韻律生成処理に必要な情報であるアクセント型・音調結合型を付与する。
【００１７】
韻律生成部２０はこれらの情報を利用して目標韻律パタンを生成する。韻律系列が入力テキストと一致した上で、ここで得られた韻律パタンや音声素片の音韻環境などができるだけ一致している音声素片系列を音声データベース５０から探索する処理を音声素片探索部３０にて行う。最後に選択された音声素片系列を合成処理部４０において滑らかに連結し、合成音声データODを作成する。
ここまでの処理の流れは従来の音声合成方法と同等である。
本発明の特徴とする点は音声素片探索部３０における処理であり、特にこの音声素片探索部３０に備えた品質評価部３３の処理に特徴がある。
【００１８】
図２に音声素片探索部３０の内部構成を、また図７にその処理フローを示す。これら以外のテキスト解析処理部１０と、韻律生成部２０と、合成処理部４０と、音声データベース５０については従来と変わらないので詳細な説明は省略する。
音声素片探索部３０の内部は重みセット設定及び設定変更部３１と、音声素片系列探索部３２と、品質評価部３３と、出力音声素片系列決定部３４と、入力テキスト終了判定部３５とを備えて構成される。重みセット設定及び設定変更部３１には韻律生成部２０から出力される目標韻律パタン及び入力テキスト情報STが入力され、入力テキスト終了判定部３５からは音声素片探索部３０の出力として音声素片系列データOSが出力される。
【００１９】
音声素片探索部３０内の処理の流れは、まず始めに、従来手法と同様に、韻律生成部２０で生成された目標韻律パタンにできるだけ近く、テキスト解析処理部１０から得られる音韻系列などの入力テキスト情報TXと一致した音声素片系列を、音声データベース５０から探索する処理を音声素片系列探索部３２で行う。
目標韻律パタンにできるだけ近い音声素片系列の選択は、（１）式に示したように、基本周波数や音韻環境、音韻継続時間、素片接続回数などの複数のパラメータに関するサブコスト、詳しく述べると、例えば基本周波数に関しては、基本周波数パタンの一致度合、音声素片の接続点における基本周波数のギャップ値などをコストとして計算し、それらを重み付け加算した総合コストを評価することで行っている。ここで用いる重みセットの初期値は様々な入力テキストに対して平均的に高品質な合成音声が得られるように、あらかじめチューニングされた値を使用する。この重みセットの初期値は音声素片を探索する前に重みセット設定及び設定変更部３１で与えられる。
【００２０】
次に、品質評価部３３において、一度選択された音声素片系列から生成される合成音声の大局的な品質を評価する。評価する品質の尺度（品質評価尺度）は１つとは限らず、イントネーションに深く関わる基本周波数に関する尺度や、発声速度に深く関わる音韻継続時間に関する尺度などがある。
品質を評価するための単位は、大局的な品質を評価することを目的とする本発明においては、できるだけ長い単位であることが望ましい。しかし、単位が長すぎると品質を評価する際に考慮すべきパラメータが多くなりすぎ、評価が難しくなると考えられるため、適切な長さの音韻素片系列に対して品質評価を行う必要がある。
【００２１】
イントネーションや発声速度の尺度を用いて品質を評価する際には、それらの尺度が韻律を表現する要素であることから、以下の例では、韻律的なまとまりであるアクセント句を品質評価単位とした場合について説明する。
また、音声素片の接続箇所において、肉声らしさに深く関わるスペクトルや基本周波数の連続性に関する尺度や明瞭性に深く関わる音声素片の韻律環境の一致に関する尺度についても考慮しつつ、合成音声の品質評価をする。
以上のことから、品質評価部３３では、アクセント句単位ごとに複数の評価尺度に対して、統計的手法を用いて品質評価を行う。統計的手法としては機械学習が例として挙げられる。本明細書では、数ある機械学習器の中で、SVM（Support Vector Machine）を利用した場合を例に説明する。
【００２２】
SVMは、学習データとして大量のサンプルを用いるが、ある学習サンプルに対して付与されたクラスと、そのサンプルから抽出された多次元特徴量の関係を学習し、多次元特徴空間のどこがどのクラスに割り当てられているかを対応付けることで、ある特徴量が入力された場合にどのクラスに属するかということを推定するパターン認識手法の一種である。SVMは、式では（２）式のように、図では図６のように表わすことができる。以下では、２つのクラスに分類することを目的とした場合について述べる。
【００２３】
【数２】
0004425192.tif 000003
２つのクラスA、Bがあるとし、f(x−)の値はクラスAの場合に正と、クラスＢの場合は負と、クラスの境界では０となるように、学習サンプルからw−，ｂの値を学習する。これらの値を学習することで、特徴空間上のクラスの境界を推定する。この推定は、境界と学習サンプルの最小距離が最大となるように、つまり２つのクラスの真ん中に境界が位置するように行われる（図６）。
以下では，基本周波数に関する品質評価のためのSVMの作成について具体例を示す。学習データには、あらかじめ作成しておいた合成音声や人間の生の音声などを使うことができる。基本周波数に関するSVMの学習データのクラスは、イントネーションが正しいか、間違っているかのどちらかをクラスとして与える。このクラスの付与は人手を用いて行うが、発声速度や明瞭度など他の要因は一切気にせず、イントネーションだけに注目した評価をアクセント句単位で行い、その結果得られる正誤をクラスとして付与する。
【００２４】
一方、イントネーションの正誤の判断に利用可能な特徴量については、局地的な品質評価パラメータだけではなく、大局的なパラメータも使用することで、より高い精度で品質評価を行うことができる。以下に品質評価のパラメータの一例を挙げる。図３に示すように、目標韻律パタンと合成音声の韻律パタン、それぞれについて、モーラごとに回帰直線を引き、その傾き、つまり回帰係数を求め、モーラ数分の回帰係数の系列を得る。得られた２つの系列の相関係数を求め、その値をパラメータとする。また、回帰係数列のΔ成分についても同様に相関係数を求めパラメータとする。また、回帰係数列のΔ成分についても同様に相関係数を求めパラメータとする。この他にも、アクセント核のあるモーラと次のモーラの回帰係数の差、モーラ間における基本周波数のギャップなどが挙げられる。
【００２５】
ある音声素片選択結果が入力された際に，その音声素片から作成される合成音声のイントネーションが正しいか誤っているかを判断することが可能なSVMを、上述のような特徴量とクラス（イントネーションの正誤）が対応付けられた大量の学習データを用いてあらかじめ作成しておく。
SVMを用いて合成音声の品質を評価する品質評価部３３（図２）では、まず始めに、イントネーションに関するSVMの入力に必要となる特徴量を音声素片系列探索部３２（図３）で得られた音声素片選択結果から抽出する。次に、その特徴量をSVMに入力することで、音声素片選択結果から得られる合成音声のイントネーションに関する品質の良し悪しが得られる。
【００２６】
音声素片探索の場合と同様に、上述のような特徴量を個別に評価し、その評価値を線形和することで得られる総合コストを用いて、イントネーションの正誤を判断するという手法も考えられるが、SVMは複数特徴量と人による正誤判断の非線形な関係を対応付けることができるので、単純な線形和による総合コストよりも、高精度な正誤判断が可能となる。
SVMを用いた品質評価は、基本周波数から求めるイントネーションの他に、音素の継続時間長から求める発声速度、素片接続点における基本周波数やスペクトルのギャップ値から求める連続性、音韻環境の一致から求める明瞭性などについても同様に行うものとする。
【００２７】
複数の品質評価尺度を用いた品質評価部３３の例を図４に示す。この例ではイントネーションに関する品質評価と、発話速度に関する品質評価と、連続性に関する品質評価の３種類の評価尺度について品質評価を行う場合について説明するが、その評価尺度の数は３種に限定されるものでない。各品質評価を行うに先立って特徴量抽出手段３３Ａ−１、３３Ｂ−１、３３Ｃ−１が設けられ、これら各特徴量抽出手段３３Ａ−１、３３Ｂ−１、３３Ｃ−１でそれぞれ、イントネーションに関する品質評価では特徴量として回帰係数の相関関数、Δ回帰係数の相関関数、核における回帰係数の差等を抽出する。また、発話速度に関する品質評価では各モーラの継続時間長、各モーラの母音継続時間長、各母音平均継続時間長等を特徴量として抽出し、連続性に関する品質評価では基本周波数のギャップ値、スペクトルのギャップ値、前音韻環境、後音韻環境等を特徴量として抽出し、これらの特徴量を用いて各SVM３３Ａ−２、３３Ｂ−２、３３Ｃ−２で評価が行われる。なお、それぞれの品質評価尺度に関するSVM３３Ａ−２、３３Ｂ−２、３３Ｃ−２が出力する品質評価結果が良い場合を○、悪い場合を×として示している。
【００２８】
出力音素片系列決定部３４では、品質評価部３３で得られた品質評価結果から、選択された音声素片を使用するか、破棄して音声素片を再選択するかを決定する。
あるアクセント句における全ての品質評価尺度のうち、品質が悪いと判定された尺度がある場合、出力音声素片系列決定部３４は、その尺度に対応する素片探索パラメータの重み係数を重視した再選択へと処理を移行させる。例えば、イントネーションに関するSVMが、品質が悪いと判定した場合、基本周波数に関する素片探索パラメータの重み計数に初期値の５０％のように一定量を加算する。または、SVMが出力する値、つまり、（２）式で示したf(x−)の値から重み計数をどれくらい加算するかを動的に決定し、重み計数を変更する。f(x−)の値が、品質が悪いクラスを示す値であり、絶対値が大きければ、品質が良いクラスから遠いということを意味するので、重み計数の加算量を大きくし、絶対値が小さい場合は、逆に品質が良いクラスに近いので、重み係数の加算量も小さくする。
【００２９】
これらの処理は、重みセット設定及び設定変更部３１の各重み設定部３１−１、３１−２、３１−３で行う（図５）。そして、音声素片係数探索部３２において素片の再選択を行い、再度品質評価部３３で品質の判定をするという処理を品質が良くなるまで行う。仮に、品質が悪いとされた尺度が複数あった場合でも、悪いと判定された尺度に対応する重み係数を全て変更する。再選択を予め設定した再選択回数繰り返しても、品質が悪いと判定される場合は、初期値の重みセットで探索した音声素片系列を出力すると決定する。
品質評価部３３において、全ての品質評価SVM３３Ａ−２、３３Ｂ−２、３３Ｃ−２がアクセント句の品質が良いと判定した場合、出力音声素片系列決定部３４により、そのアクセント句を表現する音声素片系列を出力すると決定する。
【００３０】
品質評価はアクセント句単位で行うため、これまでの、音声素片系列探索部３２における音声素片探索、品質評価部３３における品質評価、出力音声素片系列決定部３４における出力音声素片系列の決定、重みセット設定及び設定変更部３１における重みセットの変更は、入力テキストの最初から１アクセント句ずつ行うものとする。
この一連の処理をアクセント句ごとに入力テキストの最後まで行うが、入力テキストが終了したかどうかを入力テキスト終了判定部３５で行い、終了していない場合、重みセット設定及び設定変更部３１で重みセットを初期値に設定し（図５）、次のアクセント句の素片探索を行う。終了したと判定された場合には、合成処理部４０（図１）において、合成音声として使用する音声素片系列の隣接する音声素片同士を滑らかに接続し、合成音声データとして出力する。
【００３１】
図７に上述した音声素片探索部３０の動作を説明するためのフローチャートを示す。図７は本発明の音声合成方法に用いる音声素片探索部３０の基本的な処理フローを示す。
入力テキストのテキスト解析処理により、入力テキストのアクセント句数Ｎを算出し、再選択許容回数Ｓを設定（ステップＳ７−１）。
入力テキスト終了判定部３５ですべてのアクセント句について処理を終了したかを判定する（ステップＳ７−２）。
ｎ番目のアクセント句を処理対象に設定する（ステップＳ７−３）。
【００３２】
重みセット設定及び設定変更部３１の重みセットを初期値に設定する（ステップＳ７−４）。
再選択許容回数Ｓに１を代入（ステップＳ７−５）。
音声素片系列探索部３２で音声素片系列を探索する（ステップＳ７−６）。
品質評価部３３で複数の尺度それぞれについて品質評価を行い、「品質が良い」か「品質が悪い」かを求める（ステップＳ７−７）。
出力音声素片系列決定部３４で品質が悪いと判定された尺度があるか否かを判定（ステップＳ７−８）。
【００３３】
ステップＳ７−８の判定結果がＮ０であった場合は、その時点で探索されている音声素片系列をｎ番目のアクセント句の「音声素片系列」と決定する（ステップＳ７−１１）。
アクセント句数ｎのカウント数を＋１してステップＳ７−２に戻る（ステップＳ７−１２）。
全てのアクセント句について処理を終了したか否かを判定（ステップＳ７−２）し、終了していればステップＳ７−１３に分岐し、入力テキストを構成する各アクセント句それぞれについて「音声素片系列」を合成処理部４０（図１）に出力する。
【００３４】
全てのアクセント句について処理が終了していない場合はステップＳ７−３〜ステップＳ７−１０を繰返し、次のアクセント句の音声素片系列を探索する。
ステップＳ７−８で品質が悪い評価尺度が有ると判定された場合、重みセット設定変更ステップＳ７−９で重みセットの設定値を変更し、再選択許容回数Ｓのカウント値を＋１（ステップＳ７−１０）し、ステップＳ７−６に戻り、そのアクセント句の音声素片系列の探索が続けられる。
【実施例２】
【００３５】
図８及び図９に、この発明の請求項２で提案する音声合成方法を実施する音声合成装置の処理フローを示す。この実施例では例外処理として合成処理部４０において、音声波形の基本周波数や音韻継続時間長を操作する。例えば特許文献３（特許第３５５７１２４号明細書）に開示されているような信号処理を行う。音声素片の組み合わせを考慮するだけではどうしても品質が低い合成音声しか得られない場合、このような信号処理を行うことで、信号処理を行わない場合より高い品質の合成音声を生成できる。信号処理を行うかどうかは再選択を一定回数繰り返したかということから出力音声素片系列決定部３４で判断し、その判断結果を合成処理部４０に伝える。
【００３６】
つまり、図８及び図９に示す処理フローにおいて、ステップＳ７−１〜Ｓ７−１３は図７に示した各ステップに対応するが、この実施例２では図９に示すステップＳ８−１、Ｓ８−２、Ｓ８−３を設けた点を特徴とするものである。
ステップＳ８−１は再選択許容回数判定ステップを示し、この再選択許容回数判定ステップＳ８−１で音声素片系列探索ステップＳ７−６と、品質評価ステップＳ７−７の実行回数が再選択許容回数Ｓに達したか否かを判定する。Ｎ０であれば重みセット設定変更ステップＳ７−９を経てステップＳ７−６に戻るルーチンをたどり、音声素片系列探索が継続される。
【００３７】
一方、出力音声素片系列決定ステップＳ７−８で品質が悪いと判定された尺度が無である場合はステップＳ８−２で現在処理中のｎ番目のアクセント句は信号処理は不要と決定し、ステップＳ７−１１でその時点で検索されている音声素片系列をこのｎ番目のアクセント句の音声素片系列と決定し、信号処理を不要とする情報と共に音声素片系列を合成処理部４０に出力する。
品質評価結果が全て良に達したいにも係わらず再選択許容回数判定ステップＳ８−１でステップＳ７−７とＳ７−８の実行回数が再選択許容回数Ｓに達したと判定された場合は、ステップＳ８−３に分岐する。ステップＳ８−３ではこの現在処理中のｎ番目のアクセント句は信号処理が必要と決定し、信号処理を必要とする情報と共にその時点で検索されている音声素片系列を合成処理部４０に出力する。
【００３８】
つまり、図８及び図９に示した処理フローでは図７に示した処理フローに上述した特許文献３で提案された信号処理を付加した処理フローとなっており、その採用により、合成音声として使用する音声素片系列の隣接する音声素片同士が滑らかに接続される効果が得られる。
上述した本発明による音声合成方法及びこの音声合成方法を用いて動作する音声合成装置は、本発明で提案する音声合成プログラムをコンピュータにインストールし、コンピュータによって実現する実施形態が最も望ましい実施形態である。本発明で提案する音声合成プログラムはコンピュータが解読可能なプログラム言語によって記述され、コンピュータが読み取り可能な磁気ディスク或いはＣＤ−ＲＯＭのような記録媒体に記録され、これらの記録媒体から通信回線を通じてコンピュータにインストールされ、コンピュータに備えられたＣＰＵに解読されて実行される。
【００３９】
プログラムの概要としては図１に示した各部の構成要素１０〜４０を構成するための各ルーチンで構成され、特にこの発明で特徴とする部分は図２に示した音声素片探索部３０の構成であり、更にその細部は図７又は図８及び図９に示した処理手順に存在する。
【産業上の利用可能性】
【００４０】
本発明による音声合成方法及び装置は各種の機器の音声ガイド装置として活用される。
【図面の簡単な説明】
【００４１】
【図１】この発明の概要を説明するためのブロック図。
【図２】図１に示した音声素片探索部の詳細を説明するためのブロック図。
【図３】目標韻律の回帰直線と合成音声の韻律の回帰直線を示した図。
【図４】図２に示した音声素片探索部に用いることができる品質評価部の詳細を説明するためのブロック図。
【図５】図２に示した重みセット設定部の構成の一例を説明するためのブロック図。
【図６】図４に示した音声素片探索部の処理フローの一例を説明するためのフローチャート。
【図７】図２に示した処理フローに信号系処理機能を付加した例を説明するためのフローチャート。
【図８】図７に示した処理フローに信号系処理機能を付加した例を説明するためのフローチャート。
【図９】図８に示した処理フローの続きを説明するためのフローチャート。
【符号の説明】
【００４２】
ＴＸ    入力テキスト                        ３２    音声素片系列探索部
ＯＤ    合成音声データ                      ３３    品質評価部
１０    テキスト解析処理部                  ３４    出力音声素片系列決定部
２０    韻律生成部                          ３５    入力テキスト終了判定部
３０    音声素片探索部                      ４０    合成処理部
３１    重みセット設定及び設定変更部        ５０    音声データベース
【図１】
0004425192.tif 000004
【図２】
0004425192.tif 000005
【図３】
0004425192.tif 000006
【図４】
0004425192.tif 000007
【図５】
0004425192.tif 000008
【図６】
0004425192.tif 000009
【図７】
0004425192.tif 000010
【図８】
0004425192.tif 000011
【図９】
0004425192.tif 000012