(57)【要約】【課題】録音音声とテキストから音声合成した音声を高品質に結合する。【解決手段】  発声内容が同一で話調が異なる音声を複数保持している録音音声データベースと、入力テキストに対して録音音声データベースに格納されている録音音声が利用可能な録音音声対応テキストを同定するテキスト解析部と、目標となる文章全体の話調成分を統計的手法により決定し、その話調成分と前後音素環境の一致とを基準とし録音音声を選択すると共に、可及的に連続した録音音声を優先して選択する録音音声探索部と、同定された録音音声対応テキスト以外のテキストにおいて、選択された録音音声の話調成分、基本周波数、話速、パワーとの整合性から韻律を生成する韻律生成部と、生成された韻律からテキスト音声合成により合成音声を生成する音声素片探索部とによって構成される。【選択図】  図１
2006133559.tif 000002
【特許請求の範囲】
【請求項１】
収録された音声データを接続することで所望の音声を作成する録音編集型音声合成と、テキストから任意の音声を作成することができるテキスト音声合成とを併用する録音編集・テキスト音声合成併用型音声合成装置において、
少なくとも１つ以上のアクセント句からなる音声の断片を選択可能な単位とし、発声内容が同一で話調が異なる音声を複数保存している録音音声データベースと、
入力テキストに対して前記録音音声データベースに格納されている録音音声が利用可能な録音音声対応テキストを同定するテキスト解析部と、
前記同定された録音音声対応テキストにおいて、該録音音声対応テキストに対して利用可能な録音音声を複数ある候補から選択する条件として前記録音音声データベースから話調成分を抽出し、目標となる文章全体の話調整分を統計的手法により決定し、その話調成分と、前後音素環境の一致とを基準とし録音音声を選択すると共に、可及的に連続した録音音声を優先して選択する録音音声探索部と、
前記同定された録音音声対応テキスト以外のテキストにおいて、選択された録音音声の話調成分、基本周波数、話速、パワーとの整合性から韻律を生成する韻律生成部と、
生成された韻律からテキスト音声合成により合成音声を生成する音声素片探索部と、
必要に応じて合成処理を施し、なめらかな合成音声を生成する合成処理部と、
によって構成したことを特徴とする録音編集・テキスト音声合成併用型音声合成装置。
【請求項２】
コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項１記載の録音編集・テキスト音声合成併用型音声合成装置として機能させる録音編集・テキスト音声合成併用型音声合成プログラム。
【請求項３】
コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に請求項２記載の録音編集・テキスト音声合成併用型音声合成プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声合成において、録音音声を使用する定型部分と合成音声により対応する可変部分を組み合わせることで音声を作成する場合、定型部分で使用する録音音声を複数用意しておき、最も自然な合成音声を得るために適切な録音音声を選択する録音編集・テキスト音声合成併用型音声合成装置、プログラム及びこのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
機械などに発声させたい文章（テキスト）を入力することで、所望の音声を生成する音声合成技術の１つに録音編集型音声合成がある。この音声合成方法は現在、駅のホームで流れる音声案内によく使われている方式で、収録した音声を文節など意味的にまとまった長さを単位としてつなぎ合わせることで実現する。
この方式では、録音音声をつなぎ合わせた接続部分で基本周波数のギャップなど音響的な要素により雑音が生じる場合がある。これを回避するための技術を記載した文献として、（特許文献１）及び（特許文献２）が挙げられる。
【０００３】
これらの文献に開示された方式は、基本的に録音音声であるので高品質な音声を作成することができるが、発声させたい内容が変わるたびに収録し直さなければならないので、メンテナンスのコストが高いという問題点がある。
一方、他の音声合成方式には、波形接続型音声合成（特許文献３）或は、パラメータ音声合成など様々あり、技術改良によって合成音声の品質が実用にも耐えうるほどになってきているが、録音した生の音声には及ばない。
他の音声合成方法として、録音編集型音声合成と任意テキストを合成できる波形接続型音声合成が考えられる。この手法は、発声内容がある程度限定されている場面において有効で、録音音声を用いる定型部分と合成音声を用いる可変部分を混在させて合成音声を作成する。この合成方法において、定型部分の音声をあらかじめ収録しておいて連続音声と定義してしまうと、合成音声として出力できる文章が限りなく決められてしまい、汎用性に欠けてしまう不都合がある。
【０００４】
これを回避する方法として、定型部分をより小さい単位として定義することが挙げられる。その上で、合成させたいテキストの中に録音音声と合致する部分が無いかを判断し、合致部分があれば録音音声を選択し、なければ合成音声に使用することで、録音音声を入力テキストに応じて柔軟に活用することができるので、汎用性が高まる。
この録音編集合成と音声合成を併用した合成手法では、発話内容がある程度限定されているタスクにおいて、よく出現するフレーズをあらかじめ収録しておく。このことで、音声を合成する際に、高い頻度で録音音声が使用されるため、音声合成のみから作成する合成音声よりも高品質な音声を作成することができる。
【０００５】
この定型部分と可変部分をつなげて音声を出力する手法では、定型部分と可変部分の音質の違いや接続箇所の音響的な特徴の不一致により、合成音声全体の品質が低く感じるという問題があった。
つまり、より高品質な合成音声を作成するためには、録音音声からなる定型部分と合成音声からなる可変部分の品質の差を埋める必要があった。この問題を解決するために、録音音声を用いる定型部分と合成音声を用いる可変部分を混在させて実現する音声合成手法において、録音音声の音響的特徴に合わせて合成音声の音響的特徴に変更を加えることで、録音音声と合成音声の様々な不一致を極力減少させることにより、合成音声全体の品質を上げる試みは以前から考えられてきた。
【特許文献１】特開平７−５６５９７号公報
【特許文献２】特許第３０３５３１８号明細書
【特許文献３】特許第２７６１５５２号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、合成音声を間に挟み、隔たっている録音音声どうしの組合せが悪い場合、例えば、音の高さ、つまり、基本周波数の差が大きすぎる場合、自然に聞こえないどころか、両隣の録音音声に合わせた処理を行なう合成音声に悪影響を与えてしまい、結果として不自然な合成音声を作成してしまう不都合が生じる。
本発明の目的は、録音編集合成と音声合成を併用する音声合成手法において、高品質な合成音声を作成することができる録音編集・テキスト音声合成併用型音声合成装置を提案しようとするものである。
【課題を解決するための手段】
【０００７】
本発明による録音編集・テキスト音声合成併用型音声合成装置は、少なくとも１つ以上のアクセント句からなる音声の断片を選択可能な単位とし、発声内容が同一で語調が異なる音声を複数保存している録音音声データベースと、入力テキストに関して録音音声データベースに格納されている録音音声が利用可能な録音音声対応テキストを同定するテキスト解析部と、同定された録音音声対応テキストにおいて、該録音音声対応テキストに対して利用可能な録音音声を複数ある候補から選択する条件として録音音声データベースから話調成分を抽出し、目標となる文章全体の話調整分を統計的手法により決定し、その話調成分と、前後音素環境の一致とを基準とし録音音声を選択すると共に、可及的に連続した録音音声を優先して選択する録音音声探索部と、同定された録音音声対応テキスト以外のテキストにおいて、選択された録音音声の話調成分、基本周波数、話速、パワーとの整合性から韻律を生成する韻律生成部と、生成された韻律からテキスト音声合成により合成音声を生成する音声素片探索部と、必要に応じて合成処理を施し、なめらかな合成音声を生成する合成処理部と、によって構成される。
【発明の効果】
【０００８】
本発明によれば、録音編集型音声合成と任意のテキストから音声を作成することができるテキスト音声合成を併用する録音編集・テキスト音声合成併用型音声合成装置において、録音音声を選択する際に、文章全体の話調成分の整合性、隣接する音声素片との前後音素環境の一致、を考慮して複数の候補から最適な音声データを選択することで、高品質な合成音声を得ることができる。
【発明を実施するための最良の形態】
【０００９】
本発明による録音編集・テキスト音声合成併用型音声合成装置はハードウェアによって構成することも考えられるが、それよりもコンピュータに本発明による録音編集・テキスト音声合成併用型音声合成プログラムをインストールし、コンピュータに録音編集・テキスト音声合成併用型音声合成装置として機能させる実施形態が最良の形態である。
コンピュータに録音編集・テキスト音声合成併用型音声合成装置として機能させるには、コンピュータに少なくとも１つ以上のアクセント句からなる音声の断片を選択可能な単位とし、発声内容が同一で語調が異なる音声を複数保存している録音音声データベースと、
入力テキストに関して録音音声データベースに格納されている録音音声が利用可能な録音音声対応テキストを同定するテキスト解析部と、同定された録音音声対応テキストにおいて、該録音音声対応テキストに対して利用可能な録音音声を複数ある候補から選択する条件として録音音声データベースから話調成分を抽出し、目標となる文章全体の話調整分を統計的手法により決定し、その話調成分と、前後音素環境の一致とを基準とし録音音声を選択すると共に、可及的に連続した録音音声を優先して選択する録音音声探索部と、同定された録音音声対応テキスト以外のテキストにおいて、選択された録音音声の話調成分、基本周波数、話速、パワーとの整合性から韻律を生成する韻律生成部と、生成された韻律からテキスト音声合成により合成音声を生成する音声素片探索部と、必要に応じて合成処理を施し、なめらかな合成音声を生成する合成処理部とを構築する。この構成とすることにより、高品質な合成音声を得ることができるとする本発明の独特の作用効果を得ることができる。
【実施例】
【００１０】
まず、図１に本発明の基本構成図を示す。本発明の基本的な流れは、入力された入力テキスト１１において入力テキスト１１のどの部分が録音音声として録音音声データベース１４に用意されているかを判断し録音音声から出力音声を選択してくる録音音声対応テキストと、テキスト音声合成により合成音声を作成する対応外テキストをそれぞれの処理フローに振り分けることと、録音音声対応外テキストに対して形態素解析と読み・アクセント・音調結合型などを付与することを、テキスト解析部１２で行い、話調成分抽出部１５により録音音声データベース１４から抽出したり、手入力により与えたりすることで得られた話調成分や録音音声の連続性、入力テキスト上における前後音素環境の一致を基準に録音音声対応テキストに対する録音音声の選択を録音音声探索部１３で行い、録音音声対応外テキストをテキスト音声合成するために、録音音声探索部１３で選択された収録音声の話調成分、基本周波数、話速、パワーなどの抽出を音声特徴抽出部１７で行い、抽出された音声特徴を用いて韻律生成部１８で韻律を生成し、生成された韻律を基に汎用音声データベース２０から音声素片を選択する処理を音声素片探索部１９により行い、録音音声探索部１３，音声素片探索部１９で選択された音声を合成処理部２１で滑らかに連結することで、合成音声データ２２を作成する。
【００１１】
本発明の特徴となる話調成分抽出部１５，録音音声探索部１３の各処理について、以下で詳細に述べる。
話調成分抽出部１５では、合成対象テキストの文章全体の話調成分を設定する。まず始めに録音音声データベース１４中の音声が実際にどういう話調成分を持っているかを抽出する。話調成分の抽出はアクセント句ごとに行なうこととする。横軸を時間、縦軸を基本周波数として示した図２を例にして説明する。
アクセント句の始端部分の基本周波数Ｆ１と終端部分の基本周波数Ｆ２を直線Ｎで結び、アクセント句の中点以降の周波数パタンＰＴが直線Ｎ以下に存在する場合、始端を通る中点以降の周波数パタンＰＴに対する接線Ｊを引く。この接線Ｊの傾きを話調成分として使用する。
【００１２】
次に録音音声データベース１４から抽出した話調成分を統計的に分析し、合成対象テキストの話調成分を設定する。第一段階として、同一アクセント句ごとにアクセント句の話調成分の始端周波数と終端周波数と話調成分の傾きの正規分布を作成する。その正規分布の確率の総和が最大になるように、話調成分を表す線分の始端周波数の値と傾きを設定する。これによって、見本となる話調成分を作成することができる。
このような方法で作成した話調成分を見本として用いると、録音音声探索部１３において見本の話調成分に近い、適切な録音音声選択候補を多く得ることができるため、高品質な合成音声を作成することが可能となる。
【００１３】
録音音声探索部１３には、最終的に得られる合成音声を高品質にするために、適切な録音音声を選択する。まず始めに録音音声対応テキストに該当するできるだけ長く録音した録音音声が録音音声データベース１４に存在するかを探索する。もし、２つ以上のアクセント句を含む連続した録音音声が存在した場合は、基本的に１つのアクセント句を１つの断片音声として扱う本手法において、それを１つの断片音声として扱うこととする。
次に、話調成分抽出部１５で使用した手法により録音音声選択候補の話調成分データ１６を抽出し、見本の話調成分に対してどれくらい一致しているかを断片音声ごとに図３の正規分布群により確率を求め、１断片音声あたりの平均確率を計算する。
【００１４】
また、断片音声の入力テキスト上における前後音素環境が一致度合をスコアとして計算する。この計算手法は、例えば、音韻が完全に一致したなら１、母音や破裂音などの音素種が一致したなら０．５、それ以外であれば０というようにスコア付けする。そして、話調成分による確率と前後音韻環境によるスコアの重み付け加算で表される統合スコアが最も高い録音音声の組合せを選択する。
あらかじめ収録しておいて録音音声データを接続することで所望の音声を作成する録音編集型音声合成と、テキストから任意の音声を作成することができるテキスト音声合成を併用する音声合成方式において、本発明を適用しない場合、どのような不都合が生じるかについて、図４、図５を用いて説明する。
【００１５】
データベースに発声内容が同一の録音音声を複数保持していない場合や、隣接していない録音音声を考慮しないで録音音声を選択した場合、図４のように大きな連続ギャップが生じる危険性が高い。また、連続ギャップを埋めるために、図５のように合成音声に対して韻律変形を行った場合、合成音声の韻律が不自然になるため品質が劣化してしまう。
本発明は、録音音声を選択する際に、文章全体の話調成分の整合性、録音音声の連続性、隣接する音声素片との前後音素環境の一致、を考慮することで、例に示したような品質劣化を避けることができる有効な手段である。
【００１６】
以上説明した本発明による録音編集・テキスト音声合成併用型音声合成装置は主にコンピュータに本発明による録音編集・テキスト音声合成併用型音声合成プログラムをインストールし、コンピュータに録音編集・テキスト音声合成併用型音声合成装置として機能させて実現される。本発明による録音編集・テキスト音声合成併用型音声合成プログラムはコンピュータが解読可能なプログラム言語によって記述され、コンピュータが読み取り可能な例えば磁気ディスク、ＣＤ−ＲＯＭ、或は半導体メモリのような記録媒体に記録され、これら記録媒体からコンピュータにインストールするか又は通信回線を通じてインストールすることができる。
【産業上の利用可能性】
【００１７】
本発明による録音編集・テキスト音声合成併用型音声合成装置は音声品質が良好であることから、各種の自動音声案内装置或は自動応答装置等に活用される。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施例を説明するためのブロック図。
【図２】図１に示した実施例の動作を説明するためのグラフ。
【図３】図２と同様のグラフ。
【図４】本発明を実施しない録音編集・テキスト音声合成併用型音声合成の不都合を説明するためのグラフ。
【図５】図４と同様のグラフ。
【符号の説明】
【００１９】
１１    入力テキスト                          １８    韻律生成部
１２    テキスト解析部                        １９    音声素片探索部
１３    録音音声探索部                        ２０    汎用音声データベース
１５    話調成分抽出部                        ２１    合成処理部
１６    話調成分データ                        ２２    合成音声データ
１７    音声特徴抽出部
【図１】
2006133559.tif 000003
【図２】
2006133559.tif 000004
【図３】
2006133559.tif 000005
【図４】
2006133559.tif 000006
【図５】
2006133559.tif 000007