(57)【要約】    【課題】音声合成のための音声素片の連続性に応じて、これまでより高品質な合成音声を提供可能な音声合成方法及びその装置を実現すること。    【解決手段】言語を構成する様々な単位の音声素片を含む音声コーパスを格納したデータベース１からＤＢ検索部２により、入力されたテキスト中の前記単位毎に合成に使用可能な音声素片を検索し、音声素片選択部３により、該検索したテキスト中の前記単位毎の音声素片の中から、各音声素片の連続性の尺度に応じて音声素片を選択するための規則を変更して最適な音声素片を選択し、合成部４により、選択したテキスト中の各単位に対応する音声素片から音声を合成する。【選択図】図１
2005321630.tif 000002
【特許請求の範囲】
【請求項１】
言語を構成する単位の音声素片を含む音声コーパスを格納したデータベースを用いて、計算機が、入力されたテキスト中の前記単位に対応し、合成に使用可能な音声素片を前記データベースから検索し、該検索した音声素片の中から最適な音声素片を選択し、これを前記テキスト中の全ての前記単位について繰り返し、選択した各音声素片から音声を合成する音声合成方法において、
計算機が、
検索した音声素片の中から最適な音声素片を選択する際、音声素片を選択するための規則を各音声素片の連続性の尺度に応じて変更して行う
ことを特徴とする音声合成方法。
【請求項２】
請求項１記載の音声合成方法において、
音声素片を選択するための規則として、検索した音声素片の入力されたテキストに対する適合性を表すコスト及び検索した音声素片同士の接続性を表すコストを計算し、これらの総和が最小となる音声素片の組み合わせを探索する際のコストの種類毎の重み係数を用いる
ことを特徴とする音声合成方法。
【請求項３】
請求項２記載の音声合成方法において、最適な音声素片の選択は、
計算機が、
検索した音声素片の入力されたテキストに対する適合性を表す第１のコストを、各音声素片毎及びコストの種類毎に計算するステップと、
音声素片毎及びコストの種類毎の第１のコストのそれぞれにコストの種類に対応しかつ当該音声素片の連続性の尺度に応じて異なる重み係数を乗じて重み付けを行うステップと、
検索した音声素片同士の接続性を表す第２のコストを、連続する２つの音声素片毎に計算するステップと、
連続する２つの音声素片毎の第２のコストのそれぞれに所定の重み係数を乗じて重み付けを行うステップと、
前記重み付けされた音声素片毎及びコストの種類毎の第１のコストと、前記重み付けされた連続する２つの音声素片毎の第２のコストとの総和が最小となる音声素片の組み合わせを探索するステップとにより実行する
ことを特徴とする音声合成方法。
【請求項４】
言語を構成する単位の音声素片を含む音声コーパスを格納したデータベースと、入力されたテキスト中の前記単位毎に合成に使用可能な音声素片を前記データベースから検索するデータベース検索部と、該検索したテキスト中の前記単位毎の音声素片の中から最適な音声素片を選択する音声素片選択部と、該選択したテキスト中の各単位に対応する音声素片から音声を合成する合成部とを備えた音声合成装置において、
検索したテキスト中の前記単位毎の音声素片の中から最適な音声素片を選択する際、音声素片を選択するための規則を前記単位毎の音声素片の連続性の尺度に応じて変更して行う音声素片選択部を備えた
ことを特徴とする音声合成装置。
【請求項５】
請求項４記載の音声合成装置において、
音声素片を選択するための規則として、検索した音声素片の入力されたテキストに対する適合性を表すコスト及び検索した音声素片同士の接続性を表すコストを計算し、これらの総和が最小となる音声素片の組み合わせを探索する際のコストの種類毎の重み係数を用いる
ことを特徴とする音声合成装置。
【請求項６】
請求項５記載の音声合成装置において、
音声素片選択部は、
検索した音声素片の入力されたテキストに対する適合性を表す第１のコストを、各音声素片毎及びコストの種類毎に計算する第１の計算手段と、
検索した音声素片同士の接続性を表す第２のコストを、連続する２つの音声素片毎に計算する第２のコスト計算手段と、
音声素片毎及びコストの種類毎の第１のコストのそれぞれにコストの種類に対応しかつ当該音声素片の連続性の尺度に応じて異なる重み係数を乗じて重み付けを行う第１の重み付け手段と、
連続する２つの音声素片毎の第２のコストのそれぞれに所定の重み係数を乗じて重み付けを行う第２の重み付け手段と、
前記重み付けされた音声素片毎及びコストの種類毎の第１のコストと、前記重み付けされた連続する２つの音声素片毎の第２のコストとの総和が最小となる音声素片の組み合わせを探索する最小コスト音声素片探索手段とを含む
ことを特徴とする音声合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キーボード等から直接入力され又は予めテキストを記憶した記憶媒体から読み出されて入力され又は通信媒体を介して他の装置等から入力されたテキストを音声に変換して再生（出力）するテキスト音声合成技術に関する。
【背景技術】
【０００２】
現在、電話による株価案内システム等の各種の情報案内システムやＥメール・Ｗｅｂの読み上げ等、様々な状況でテキスト音声合成技術が利用されている。
【０００３】
従来の音声合成方法として、音素、音韻、単語等の言語を構成する様々な単位の音声素片を含む音声コーパスから、入力されたテキスト中の前記単位に対応し、合成に使用可能な音声素片を検索し、該検索した音声素片の中から最適な音声素片を選択し、これを前記テキスト中の全ての前記単位について繰り返し、選択した各音声素片から音声を合成し、合成音声とする方法がある（特許文献１参照）。
【０００４】
一方、検索した音声素片の中から最適な音声素片を選択する手法として、入力されたテキストに対して付与された合成目標となる韻律と検索した音声素片の韻律との差や、検索した音声素片同士の接続性をコストとして計算し、検索した音声素片の組み合わせのうち、総コストが最も低くなる組み合わせを求めることによって最適な音声素片を選択する方法がある。ここで、コストの種類及び該コストの種類間の重要性の差を表す重み付けの値として、聴覚との相関が深いとされるパラメータが用いられる。
【０００５】
しかし、計算機モデルによって人間の聴覚と同等の機能を再現することは現在のコンピュータの能力では困難なため、計算機によって自動的に各パラメータを人間の聴感上の感覚と一致させることは難しく、コストの種類とそれらの重みを決定するという問題は、音声合成技術における重要な課題の一つとなっている。
【特許文献１】特許第２７６１５５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
通常の任意のテキストから音声を合成する場合、入力されたテキストに対して韻律を自動的に付与し、コスト計算により、この自動的に付与された韻律と出来る限り近い韻律を有する音声素片を選択する。この時、人間の音声の韻律には、話者の個性や発声時の体調、精神状態等の要因による揺らぎがあるため、自動付与された韻律と同じ内容を人間が発声した場合の韻律とでは異なる韻律となる。
【０００７】
図４は自動付与された韻律と人間が発声した音声の韻律との差の一例を示すもので、図中、「×」は合成目標のＦ０値（基本周波数）、「○」は実際に発声された音声のＦ０値を表す。なお、横軸は時間、縦軸は周波数を表している。
【０００８】
そのため、音素等の短い音声素片を選択する際は、滑らかで一貫性のある音声を合成するために、物理的・音響的な尺度で合成目標の韻律に近い音声素片を選択することが有効である。しかし、音声コーパスに長区間連続した音声素片が存在する、例えば入力されたテキストと全く同一の音声素片が存在するというような極端な場合においても、細かい物理的・音響的な尺度で合成目標の韻律に近い音声素片を選択しようとすることは、肉声による韻律の揺らぎという観点を無視することになり、返って品質劣化の原因になってしまうという問題があった。
【０００９】
このように、現状の音声合成技術は人間の音声に比べて十分な品質を達成できておらず、合成音声の品質向上への要望が強かった。
【００１０】
本発明の目的は、音声合成のための音声素片の連続性に応じて、これまでより高品質な合成音声を提供可能な音声合成方法及びその装置を実現することにある。
【課題を解決するための手段】
【００１１】
上述のように、短い音声素片と長区間連続した音声素片とでは、同一の尺度で最適な音声素片を選択することは難しいという問題がある。
【００１２】
本発明では、音声素片を選択するための規則を音声素片の連続性に応じて変更するという処理を行うことにより、それぞれの音声素片に対して適切な尺度でコストを計算することで、上述の問題を解決する。
【発明の効果】
【００１３】
本発明の特徴は、音声素片を選択するための規則を音声素片の連続性に応じて変更することで、今まで考慮されていなかった音声素片の特徴をより正確に反映した音声素片の組み合わせを選択することが可能となり、従来より高品質な音声を合成することである。
【００１４】
その結果、各種の情報案内等のサービスにおいて、より高品質な合成音声を提供することが可能となり、また、従来は品質の問題から合成音声を利用できなかった分野においても音声合成技術を利用可能になる。
【発明を実施するための最良の形態】
【００１５】
図１は本発明の音声合成装置の実施の形態の一例を示すもので、図中、１はデータベース（ＤＢ）、２はデータベース検索部（ＤＢ検索部）、３は音声素片選択部、４は合成部である。以下、各部の動作をその構成とともに説明する。
【００１６】
ＤＢ１は、音素、音韻、単語等の言語を構成する様々な単位の音声素片を含む音声コーパス、詳細には音声波形、音声の韻律情報、発声内容に対応する音素ラベル列、音声素片の境界を示すラベルデータ等、合成のための情報を含む音声コーパスを格納している。
【００１７】
ＤＢ検索部２は、入力されたテキストと、図示しないテキスト解析部によって得られた当該テキストの音素系列、合成の目標となる韻律、使用するデータベースや信号処理方法の指定等の音声合成のための制御情報とを含む入力情報１０１を入力とし、テキスト中の前記単位毎に合成に使用可能な音声素片をデータベース１から検索し、検索した音声素片１０２を検索結果として、前記入力情報１０１とともに音声素片選択部３へ渡す。
【００１８】
音声素片選択部３は、ＤＢ検索部２から渡されたテキスト中の前記単位毎の音声素片１０２の中から最適な音声素片の組み合わせ１０３を後述する如くして選択し、これを選択結果として合成部４に渡す。
【００１９】
合成部４は、音声素片選択部３から渡された音声素片の組み合わせ１０３から音声を合成し、合成音声（データ）１０４として出力する。
【００２０】
なお、ＤＢ１、ＤＢ検索部２及び合成部４並びに図示しないテキスト解析部の構成及び動作は、既存の音声合成装置の場合と何ら変わらないので、その詳細は省略する。
【００２１】
図２は音声素片選択部３の詳細構成の一例を示すもので、図中、３１は第１の計算手段、３２は第２の計算手段、３３は第１の重み付け手段、３４は第２の重み付け手段、３５は最小コスト音声素片探索手段である。
【００２２】
第１の計算手段３１は、ＤＢ検索部２から入力情報１０１及び音声素片１０２を受け取り、音声素片１０２の入力情報１０１に対する適合性を表すコスト（第１のコスト）を、各音声素片毎及びコストの種類毎に計算し、第１の重み付け手段３３へ渡す。
【００２３】
第２の計算手段３２は、ＤＢ検索部２から入力情報１０１及び音声素片１０２を受け取り、音声素片１０２同士の接続性を表すコスト（第２のコスト）を、連続する２つの音声素片毎に計算し、第２の重み付け手段３５へ渡す。
【００２４】
第１の重み付け手段３３は、第１の計算手段３１から音声素片毎及びコストの種類毎の第１のコストを受け取り、該音声素片毎及びコストの種類毎の第１のコストのそれぞれに、コストの種類に対応しかつ当該音声素片の連続性の尺度に応じて異なる重み係数を乗じて重み付けを行い、最小コスト音声素片探索手段３５へ渡す。
【００２５】
第２の重み付け手段３４は、第２の計算手段３２から連続する２つの音声素片毎の第２のコストを受け取り、該連続する２つの音声素片毎の第２のコストのそれぞれに所定の重み係数を乗じて重み付けを行い、最小コスト音声素片探索手段３５へ渡す。
【００２６】
最小コスト音声素片探索手段３５は、前記重み付けされた音声素片毎及びコストの種類毎の第１のコストと、前記重み付けされた第２のコストとの総和が最小となる音声素片の組み合わせを動的計画法等を用いて探索し、これを最適な音声素片の組み合わせ１０３として合成部４へ渡す。
【００２７】
ここで、入力されたテキストがｎＰ個の音声素片からなり、コストの種類がｎＣ種類である時、検索した音声素片の入力されたテキストに対する適合性を表す第１のコストをＣｔ、また、検索した音声素片同士の接続性を表す第２のコストをＣｃとすると、第１の計算手段３１で計算されるｉ番目の音声素片Ｕｉの種類ｎの第１のコストはＣｔ（Ｕｉ,ｎ）と表せ、第２の計算手段３２で計算されるｉ番目の音声素片と（ｉ＋１）番目の音声素片との間の第２のコストはＣｃ（Ｕｉ,Ｕｉ＋１）と表せる。
【００２８】
また、第１の重み付け手段３３で音声素片毎及びコストの種類毎の第１のコストに乗ぜられる重み係数をＷｔ（ｉ,ｎ）、第２の重み付け手段３４で連続する２つの音声素片毎の第２のコストに乗ぜられる所定の重み係数をＷｃとすると、入力されたテキストを合成するために必要な音声素片の組み合わせの総コストＣｔoｔaｌは
【００２９】
【数１】
2005321630.tif 000003
【００３０】
と表される。このＣｔoｔaｌを最小化するような音声素片の組み合わせを、最小コスト音声素片探索手段３５で動的計画法等の手法を用いて決定する。
【００３１】
図３は音声素片選択部３の第１の重み付け手段３３で行われる、音声素片毎及びコストの種類毎の第１のコストに対する重み付け処理の流れを示すもので、以下、詳細に説明する。
【００３２】
第１の重み付け手段３３は、まず、第１の計算手段３１で計算された第１のコストについて、コストの種類毎に異なる単位で計算された値を比較可能なように０．０〜１．０の間の値に正規化する処理を行い（ｓ１）、次に、コスト計算を行った音声素片と、入力テキストの音素列、形態素境界等の言語情報とから、当該音声素片の連続性の尺度Ｓを求める処理を行う（ｓ２）。ここでは、連続性の尺度Ｓとして、音声素片が含む形態素の数を用いる。また、一つの形態素に満たない部分については、選択の侯補となっている音声素片の音素列の数をＮｕとし、入力テキストの音素列の数をＮｔとした場合のＮｕ／Ｎｔの値を、音声素片が含む形態素の数に足したものを連続性の尺度とする。
【００３３】
次に、第１の重み付け手段３３は、コストに対する重み係数の値を、音声素片の連続性に応じて決定する（ｓ３）。ここでは、コストの種類ｎと音声素片の連続性の尺度Ｓとに応じた係数α（ｎ,Ｓ）を元の重み係数に掛け合わせることで重みを調整する。この時の係数α（ｎ,Ｓ）は、予め自然音声との音響的距離尺度か、もしくは人間による主観評価値との誤差を最小化するようなパラメータを決定しておく。
【００３４】
また、係数α（ｎ,Ｓ）について、各尺度Ｓにおいて得られるコストの期待値が異なると、常に一定の連続性を持った音声素片が偏って選択されるため、コストの種類の総数をｎＣとした時、あるｎＰ１個の音声素片の組み合わせと、それとは異なるｎＰ２個の音声素片の組み合わせとで、次の条件を満たすようにαを設計する必要がある。
【００３５】
【数２】
2005321630.tif 000004
【００３６】
これにより、特定の連続性を持った音声素片の組み合わせが選択上有利になることがなくなり、異なる連続性を持った音声素片の組み合わせを比較することが可能になる。
【００３７】
ここで、例えば連続性の尺度Ｓが大きい場合は、韻律のコストの重要性を低く、言語情報のコストの重要性を高く重み付けするようなαの値を設定することで、連続した音声素片については韻律の揺らぎに依らずに選択することが可能になる。また、逆に短い音声素片については、連続性の尺度Ｓが小さい場合に韻律のコストの重要性を高く、言語情報のコストの重要性を低く重み付けするようなαの値を設定することで、これまで通り目標の韻律に近い音声素片を選択する、といったことが可能になる。
【００３８】
最後に、第１の重み付け手段３３は、ｓ１で正規化されたコストに対し、ｓ３で得られた音声素片の連続性に応じた重み係数Ｗを掛け合わせる（ｓ４）ことで重み付けを行い、得られた値を最小コスト音声素片探索手段３５に出力する（ｓ５）。
【図面の簡単な説明】
【００３９】
【図１】本発明の音声合成装置の実施の形態の一例を示す構成図
【図２】図１中の音声素片選択部の詳細を示す構成図
【図３】音声素片選択部における音声素片の連続性の尺度に応じた重み付け処理の流れ図
【図４】自動付与された韻律と人間が発声した音声の韻律との差の一例を示すグラフ
【符号の説明】
【００４０】
１：データベース（ＤＢ）、２：データベース検索部（ＤＢ検索部）、３：音声素片選択部、４：合成部、３１：第１の計算手段、３２：第２の計算手段、３３：第１の重み付け手段、３４：第２の重み付け手段、３５：最小コスト音声素片探索手段。
【図１】
2005321630.tif 000005
【図２】
2005321630.tif 000006
【図３】
2005321630.tif 000007
【図４】
2005321630.tif 000008