(57)【要約】【課題】  入力された言語表現を音声波形に変換する。【解決手段】  言語表現に対応する少なくとも一つの目標単位シーケンスを導き出し、目標単位シーケンスに関して、波形単位データベースから、その目標単位シーケンスに近い複数の単位シーケンス選択肢を選定し、単位シーケンス選択肢を音声波形選択肢として連結し、オペレータが、音声波形選択肢の中の一つを選択する。手動による修正と自動による選定の反復的なサイクルが無く、速い動作方法が可能となる。オペレータは、単位、目標及びコストの知識を必要とせず、与えられた選択肢の集合から選択する。そのため、ＴＴＳ発声音の微調整が、熟練していない人にも実行可能となる。【選択図】  図３
2007249212.tif 000002
【特許請求の範囲】
【請求項１】
言語表現に対応する少なくとも一つの目標単位シーケンスを導き出すステップと、
波形単位データベースから、その少なくとも一つの目標単位シーケンスに近い複数の単位シーケンス選択肢を選定するステップと、
それらの単位シーケンス選択肢を音声波形選択肢として連結し、オペレータが、それらの音声波形選択肢の中の一つを選択するステップと、
を有する、入力された言語表現を音声波形に変換する方法。
【請求項２】
前に選定した単位シーケンスからのフィードバックを用いて、少なくとも一つの別の目標単位シーケンスを導き出すことによって、当該の複数の単位シーケンス選択肢を所定の手法で生成する請求項１に記載の方法。
【請求項３】
当該の少なくとも一つの目標単位シーケンスの少なくとも一つの単位が、前に選定した単位シーケンスの対応する単位のピッチよりも所定の最小限の量だけ高い又は低い目標ピッチを有する請求項１又は２に記載の方法。
【請求項４】
当該の少なくとも一つの目標単位シーケンスの少なくとも一つの単位が、前に選定した単位シーケンスの対応する単位の継続時間よりも所定の最小限の量だけ長い又は短い目標継続時間を有する請求項１から３までのいずれか一つに記載の方法。
【請求項５】
当該の少なくとも一つの目標単位シーケンスの少なくとも一つの単位が、少なくとも一つの前に選定した単位シーケンスの対応する単位と比べて、声の質、録音パラメータ又はその他の特性、例えば、単位識別子における所定の違いを条件として課されている請求項１から４までのいずれか一つに記載の方法。
【請求項６】
当該の少なくとも一つの目標単位シーケンスの少なくとも一つの単位が、少なくとも一つの前に選定した単位シーケンスの対応する単位に対して、メル周波数ケプストラム係数（ＭＦＣＣ）などの音声パラメータ化にもとづく客観的な距離基準を用いて測定された所定の最小限の距離を条件として課されている請求項１から５までのいずれか一つに記載の方法。
【請求項７】
単位選定コスト関数の少なくとも一つのパラメータを所定の最小限の量だけ変更することによって、単位シーケンス選択肢を生成し、この少なくとも一つの変更されたパラメータが、好ましくは、ピッチの不一致に関する重み又は音声コンテキストの不一致に関する重みである請求項１から６までのいずれか一つに記載の方法。
【請求項８】
当該の言語表現を少なくとも二つの部分集合に分けて、単位シーケンス選択肢を生成し、オペレータに提示する請求項１から７までのいずれか一つに記載の方法。
【請求項９】
当該の少なくとも一つの部分集合に関して、オペレータによる単位シーケンスの選択の代わりに、単位シーケンスの所定のデフォルトの選択を使用し、当該のデフォルトの選択が、好ましくは、与えられたコンテキストでの部分集合に関するオペレータの選択を保存したキャッシュに予め規定されている請求項８に記載の方法。
【請求項１０】
当該の少なくとも一つの部分集合を、単位シーケンス選択肢を生成して、オペレータに提示するための下位区分に更に分ける請求項８又は９に記載の方法。
【請求項１１】
部分集合と関連する言語要素と少なくとも一つの部分集合に関する単位シーケンス選択肢の少なくとも一つの集合を表示することができるグラフィカルエディタを用いて、部分集合の最適化を行い、単位シーケンス選択肢が記述子によって指定され、それらの記述子により、オペレータが、改善を期待できる選択肢だけを評価することが可能である請求項８から１０までのいずれか一つに記載の方法。
【請求項１２】
オペレータの選択を、後で音声波形を再構成することが可能なように単位シーケンス情報の形式で保存し、第一のシステムで音声波形の最適化を行い、第二のシステム、好ましくは、車内ナビゲーションシステムで単位シーケンス情報の保存と音声波形の再構成を行う請求項１から１１までのいずれか一つに記載の方法。
【請求項１３】
平均して好ましい目標単位又はコスト関数の変化形態にもとづきシステムパラメータを更新することにより標準的な単位選定動作を改善するために、オペレータにより選択された波形に対応する単位シーケンスを使用する請求項１から１２までのいずれか一つに記載の方法。
【請求項１４】
単位選定パラメータを適合させて、デフォルトの単位シーケンスと大きな集合の手動で最適化した単位シーケンスの間の重なりを増大させることにより標準的な単位選定動作を改善するために、オペレータにより選択された波形に対応する単位シーケンスを使用する請求項１から１２までのいずれか一つに記載の方法。
【請求項１５】
請求項１から１４までのいずれか一つに記載の方法における全てのステップを実施するためのプログラムコード手段を有する、コンピュータ上で実行されるコンピュータプログラム。
【請求項１６】
入力された言語表現を音声波形に変換するテキスト音声合成用プロセッサであって、このプロセッサは、
言語表現に対応する少なくとも一つの目標単位シーケンスを導き出すための導出手段と、
波形単位データベースから、その少なくとも一つの目標単位シーケンスに近い複数の単位シーケンス選択肢を選び出すための選定手段と、
単位シーケンス選択肢を音声波形選択肢に繋ぎ合わせるための連結手段と、
オペレータが音声波形選択肢の中の一つを選択することを可能とする選択手段と、
を備えたプロセッサ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力テキストから音声メッセージを生成するためのテキスト音声合成（ＴＴＳ）技術に関する。
【背景技術】
【０００２】
最新の商用ＴＴＳシステムの一般的なフレームワークを図１に図示する。
【０００３】
入力テキスト（例えば、「Ｈｅｌｌｏ  Ｗｏｒｌｄ」）は、語彙、規則及びｎ−ｇｒａｍ（要素の連続）の形の言語リソースを用いて言語表現に変換される。テキスト正規化ステップは、特殊な文字、番号、略号等を完全な単語に変換している。例えば、「１２３」というテキストは、用途に応じて、「ひゃくにじゅうさん」又は「いちにいさん」と変換される。次に、単語の正字形式を音素のシーケンスに変換するために、言語分析が実行される。例えば、「ｈｅｌｌｏ」は、ＳＡＭＰＡ音声記号を用いて、「ｈ＠−ｌｏＵ」と変換される。更に言語規則にもとづき、ＴＴＳプログラムが、抑揚マーカーと韻律構造を文章内の単語又は音素のシーケンスに割り当てることが可能である。言語分析の最終的な生成物は、発声されるテキストの言語表現である。この言語表現は、ＴＴＳシステムの音声生成モジュールへの入力となる。
【０００４】
大抵の商用ＴＴＳシステムの音声生成モジュールは、録音された音声のデータベースに依存している。データベース内の音声録音は、波形単位のシーケンスとして組み合わされる。波形単位は、半分の音素、音素、２音、３音又は可変長の音声片に対応させることが可能である（例えば、非特許文献１）。これらの単位には、データベース内の録音シーケンスの言語表現を参照する属性を注釈として付けられている。例えば、波形単位が音素に対応する場合、その単位の属性は、音素の識別子、その前後の音素の識別子、それが現れる音節における単位の位置、同様にそれが現れる単語、句及び文章における単位の位置、単位と関連した抑揚マーカー等とすることができる。
【０００５】
音素の識別子を直接参照しない単位の属性は、しばしば韻律属性又は単に韻律と呼ばれる。韻律属性は、同じ音素識別子を持つ単位が異なった音となる理由を特徴付けるものである。例えば、語彙強勢は、或る単位が、同じ音素を表す別の単位よりも大きな音となる理由を説明する韻律属性である。高レベルの韻律属性は、抑揚マーカーや句構造などの言語表現を示す。低レベルの韻律属性は、話し手の声の継続時間、エネルギー及び基本周波数Ｆ０などの音響パラメータを示す。話し手は、自身の基本周波数を変調して、例えば、或る単語を強調する（即ち、ピッチアクセント）。ピッチは、Ｆ０と音響心理学的な相関関係があり、しばしばＴＴＳの文献ではＦ０と置き換え可能な形で使用されている。
【０００６】
単位に対応する波形は、単位属性として考えることもできる。幾つかのＴＴＳシステムでは、低次元のスペクトル表現が、例えば、メル周波数ケプストラム係数（ＭＦＣＣ）の形で音声波形から導き出されている。スペクトル特性は、単位の音声属性と韻律属性の両方に関する情報を含んでいる。
【０００７】
前述した通り、ＴＴＳプログラムは、入力テキストを言語表現に変換するために、言語規則を使用する。言語表現は、抑揚マーカーや句構造の境界などの音素記号と高レベルの韻律記号を含むものである。この言語表現は、更に音声データベースで使用されている単位の用語により書き換えなければならない。例えば、言語表現が音素と境界記号のシーケンスであり、データベースの単位が音素である場合、境界記号は、音素規模の単位の属性に変換する必要がある。図１では、テキストの言語表現が、「ｈ＠−ｌｏＵ｜ｗ３ｒｌｄ＃」であり、目標とする単位のシーケンスは、{ｈ，＠（ｂｎｄ：−），ｌ，ｏＵ（ｂｎｄ：｜），ｗ，３，ｒ，ｌ，ｄ（ｂｎｄ：＃）}である。
【０００８】
言語表現内の高レベルの韻律パラメータにもとづき、目標とするピッチ曲線と目標とする音素の継続時間も予測することができる。低レベルの韻律予測に関する技術は、小さいデータベースから２音を韻律的に修正することにもとづく初期の音声合成において、良く研究されてきた。使用されてきた手法には、分類・回帰木（ＣＡＲＴ）法、神経回路網、線形重畳モデル及び積和モデルがある。単位の選定では、予測したピッチと継続時間を目標単位の属性に含めることができる。
【０００９】
音声生成モジュールは、目標単位シーケンスをデータベースの単位シーケンスと一致させるために、属性に注釈を付けた音声単位のデータベースを検索する。単位連結モジュールにより、選定したデータベース単位のシーケンスを単一の音声波形に変換する。
【００１０】
自明である場合、目標単位のシーケンスは、音声データベース内で直接見い出すことができる。これは、合成するテキストがデータベース内の録音された文章の一つのテキストと同じ場合に起こる。その場合、単位選定モジュールは、録音された文章を単位毎に取り出す。単位連結モジュールは、波形単位を繋ぎ合わせて再び文章を再現する。
【００１１】
自明でない場合、目標単位は、目に見えないテキスト、即ち、データベース内で一体的な録音として存在しないテキストに対応する。目に見えないテキストを音声メッセージに変換するために、単位選択器は、目標単位に近いデータベースの単位を検索する。考慮する単位属性に依存して、データベースは、各目標単位と完全に一致するものを含まない場合がある。その場合、単位選択器は、費用関数を用いて、目標単位と多少とも類似した属性を持つ単位候補の適合性を評価する。費用関数は、全体的な乖離コストとして組み合わせることができる、単位属性間の乖離を数学的な量により表すものである。そのため、各候補単位は、対応する目標コストを持っている。目標コストが小さい程、その候補単位が目標単位を表すのに、より適していることとなる。
【００１２】
単位選択器が、目標単位に適した候補を特定した後、滑らかな発声を生成する単位シーケンスを見い出すために、結合コスト又は連結コストを適用する。例えば、連結しようとしている二つのユニットのピッチが非常に異なっている場合、これらのユニットを結合した際に「グリッチ」を生じさせることとなるので、その連結コストは大きい。目標コストのように、連結コストは、音のコンテキストに関する情報と高及び低レベルの韻律パラメータなどの様々な単位属性をベースとすることができる。
【００１３】
目標コストと連結コスト間の相互の関係が図２に図示されている。各目標単位に対して、対応する目標コストを持つ候補単位の集合が存在する。図２では、目標コストは、最初の二つの欄の単位に対して、単位を表す四角内の数字で図示されている。隣接する欄内の各単位対の間には連結コストがあり、図２では、二つの単位対に対して、矢印の接続線と矢印の上の数字を用いて図示されている。連結コストのために、最適な単位が、ちょうど目標コストが最低である単位とはならない。最適な単位シーケンスは、図２で実線による矢印で図示された通り、目標コストと連結コストの合計を最小化させるものである。最適な経路は、動的な検索アルゴリズム、例えば、広く使用されているビタビアルゴリズムを用いて、効率的に見い出すことができる。
【００１４】
単位選定ステップの結果は、選定された単位の単一シーケンスである。この最終的な単位シーケンスを選定した後、連結器が、選定した単位シーケンスの波形単位を滑らかな発声に結合するために使用される。幾つかのＴＴＳシステムは、波形単位を直接相前後して単純に再生する「未加工での」連結を採用している。しかし、それは、聞き手がクリック又はグリッチとして気付く突然の変化を信号内に生じさせる。そのため、最適な連結点を探索するか、或いはクロスフェーディング法又はスペクトル平滑化法を適用することによって、より滑らかに波形単位を連結することができる。
【００１５】
基本的な単位選定のフレームワークが、非特許文献２，３等に記載されている。単位選定のフレームワークの改善構成は、特に、特許文献１〜４に記載されている。
【００１６】
単位選定により生成されるメッセージの感覚的な品質は、様々な要素に依存する。第一に、雑音の無い環境でデータベースを録音するとともに、話し手の声を好ましいものとしなければならない。データベースの波形単位への分割と単位属性の注釈付与が精確でなければならない。第二に、入力テキストの言語分析が、正しいとともに、目標単位の意味の有る言語表現と集合を生成しなければならない。第三に、目標及び連結コスト関数は、最適な経路が、量的に最良の結果（即ち、目標及び連結コストの合計が最低）であるだけでなく、質的にも最良の結果（即ち、主観的に最も好ましい結果）となるように、感覚と関連したものでなければならない。
【００１７】
音声合成における本質的な難しさは、出力波形内の情報と比べて入力テキスト内の情報の不明瞭さに有る。話し手は、同じテキストを発声している間に、声を多彩に変化させることができる。「Ｂｅａｒｓ  ｌｉｋｅ  ｈｏｎｅｙ」という文章を考えてみる。熊に関する話では、語り手は、「ｈｏｎｅｙ」という単語が、その単語が持つ以上の新しい情報を含んでいるために、その単語を強調するかもしれない。他方、蜜に関する話では、「ｂｅａｒ」という単語を強調するのが、より適当であるかもしれない。一つの単語、例えば、「ｈｏｎｅｙ」に強勢が置かれた場合でも、この文章を喋るのに多くの手法が依然として存在する。例えば、話し手は、不安と期待を示すために、ピッチを下げて、囁くような声を使って「ｈｏｎｅｙ」と喋ることができる。さもなければ、話し手は、興奮を示すために、ピッチを上げるとともに、声を大きくすることができる。
【００１８】
話し言葉が書き言葉よりも多くの情報を有するという事実は、単位選定にもとづくＴＴＳシステムに課題を課すこととなる。第一の課題は、声の質と話すスタイルの変化を自動的に検出することが難しく、その結果単位データベースには、それらに関する注釈がめったに付与されていないということである。従って、単位選定は、或る用途又はコンテキストに対して最適でない抑揚又はニュアンスを持つ音声メッセージを生成することがある。第二の課題は、入力テキストから所望の声の質又は話すスタイルを予測することが難しく、その結果たとえ単位データベースに適切な注釈を付けたとしても、単位選定システムがどの抑揚が好ましいのかが分からないということである。第三の課題は、データベースでの声の質と話すスタイルの注釈付与が、利用可能な単位空間内において希薄化を増大させることである。より多くの単位属性に注釈を付ける程、与えられた属性の組み合わせを持つ単位を与えられたサイズのデータベース内で実際に発見することができる確率が、より小さくなる。
【００１９】
単位選定の研究は、絶えずＴＴＳ出力のデフォルトの又は基礎的な品質を改善することを目指している。同時に、現在のシステムに関して特定の発声（発声音）を改善する必要が有る。それは、単位選定プロセスとの手動による共同作業によって達成することができる。単位選定出力を改善するための既存の技術は、三つの範疇に分けることができる。第一に、人間のオペレータが、音声データベースと協働して、単位属性の分割と注釈付けを改善することができる。第二に、オペレータが、入力テキストの言語表現を変更して、目標単位の精度を改善することができる。第三に、オペレータが、目標及び連結コスト関数を編集することができる。ここで、これらの技術を詳細に検討する。
［単位データベースの改善］
単位データベースは、単位選定のための素材を提供する。ＴＴＳ出力の品質は、単位データベースの品質に大きく依存する。聞き手が、録音用アーティストの音質又は話すスタイルを嫌う場合、ＴＴＳ出力は、それを克服することはほぼ不可能である。その場合、それらの録音を単位に分割する必要がある。各単位の開始時点と終了時点を取得しなければならない。単位データベースは、数千の文章に対応する数時間の録音された音声を保有することができるので、音素と録音された音声の割付けは、通常音声認識ソフトウェアを用いて行われる。自動的な割付けによる品質は、高くすることができる一方、実際には、例えば、単語が明確に発音されなかった場合又は音声認識ソフトウェアが或る音素に対して偏りを持っている場合に、誤った割付けがしばしば起こる。誤った割付けの結果、それらの音素ラベルにより予測されるものと違った音を含む単位が選定されてしまうので、音声合成の間の人工的な生成物を妨害することとなる。
【００２０】
分割後、単位には、語彙強勢、音節構造内における単位の位置、文章の最初又は最後からの隔たり等の高レベルの韻律属性を注釈として付与しなければならない。Ｆ０、継続時間又は単位内の平均エネルギーなどの低レベルの韻律属性を含めることもできる。高レベルの韻律属性の精度は、録音された文章の言語分析に依存する。（自然な音声の録音と対比して）文章をテキストから読んだ場合でも、例えば、話し手が、句読点が書き込まれていない所で余分な小休止を入れて、より興奮した、或いはより単調な形で喋った場合などでは、言語分析が話された形式と一致しないことがある。他方において、低レベルの韻律属性の精度は、単位を分割する精度とＦ０評価アルゴリズム（ピッチトラッカー）に依存する。
【００２１】
データベース単位の量が非常に多いので、全ての分割と注釈付与を手動で確認するために必要な時間が許容できない程度となる場合がある。しかし、人間のオペレータが、小さい集合の単位に関する分割又は単位属性を修正して、与えられた音声の発声音に関する単位選定結果を改善することは可能である。
［目標単位の改善］
ＴＴＳシステムは、辞書や入力テキストの言語表現を予測するための規則などの言語リソースに依存する。単語が分からない場合、間違いを犯す場合がある。その場合、正字法から発音を推量しなければならないが、それは、英語などの言語では非常に難しく、スペイン語やオランダ語などその他の言語では少し難しい。発音だけでなく、抑揚マーカー及び文章の句構造も正しく予測しなければならない。「Ｔｕｒｎ  ｒｉｇｈｔ  ｏｎｔｏ  ｔｈｅ  Ａ１」という簡単なナビゲーション用文章を例に考えてみる。運転者にとって意味があるためには、この文章は、「Ｔｕｒｎ＜小休止＞＜強勢＞ｒｉｇｈｔ＜休止＞ｏｎｔｏ  ｔｈｅ＜小休止＞＜強勢＞Ａ＜強勢＞１」のように話される。他方、運転者が既に「Ａ１」を探していることを知っていた場合、「Ｔｕｒｎ＜小休止＞＜強勢＞ｒｉｇｈｔ＜休止＞ｏｎｔｏ  ｔｈｅ  Ａ１」のように、道路名ではなく、曲がる方向にのみ強勢が必要となる。
【００２２】
言語規則が、常に入力テキストの最適な言語表現を予測するのに成功するとは限らないことは明らかである。ＴＴＳの制御可能性は、オペレータが単位選定の前に言語表現を編集可能とすることによって改善することができる。ユーザーは、単語の発音表記を補正するか、或いは新しい表記を規定することができる。ユーザーは、強勢及び句構造を示すためのタグ又はマーカーを追加することもできる。発音表記と高レベルの韻律マーカーの規定は、音声合成記述言語（ＳＳＭＬ）[http://www.w3.org/TR/speech-synthesis] などの標準化されたＴＴＳ記述言語を用いて行うことができる。
【００２３】
低レベルの韻律属性も、手動で編集することができる。例えば、オペレータは、Ｆ０、継続時間及びエネルギーに関する目標値を規定することができる（特許文献５）。
［単位選定コスト関数の改善］
単位選定のフレームワークでは、目標コスト関数を用いて、候補単位と目標単位を比較している。目標コスト関数は、目標単位の注釈付き属性と候補の属性の間の不一致に対するコストと関連するものである。目標コストを計算するためには、属性の不一致を定量化しなければならない。単位の音素識別子などの記号による単位属性に関して、様々な定量化のアプローチを用いることができる。単純な定量化手法は二進法であり、即ち、不一致の属性は、不一致が無い場合「０」であり、それ以外の場合「１」となる。より高度なアプローチでは、或る種の不一致に対して、他の不一致より大きなペナルティを与える距離テーブルを用いている。
【００２４】
単位のＦ０や継続時間などの数値による単位属性に関しては、様々な数学的な関数を用いて、不一致を表すことができる。単純な距離測度は、目標及び候補単位の属性値間の絶対的な違い｜Ａ−Ｂ｜である。より高度な測度は、この絶対的な違いに数学的な変換を適用したものである。対数変換は、小さい違いを強調するとともに、大きな違いを弱める一方、指数変換は、その逆となる。違い（Ａ−Ｂ）も、或る閾値までの小さな違いを無視する、平坦な底部と急峻な傾斜を持つ関数（特許文献１）を用いてマッピングすることができる。
【００２５】
定量化された属性の不一致又はサブコストは、全体コストに組み合わせることができる。目標コストは、サブコストの重み付けした合計として定義することができ、その場合重みは、各形式の不一致の全体コストへの寄与分を示す。全てのサブコストが多少とも同じ範囲を持つものと仮定すると、重みは、或る不一致の他の不一致と比較した相対的な重要性を反映したものである。例えば、或る形式の不一致間の相互の関係が知られている場合、非線形的な手法でサブコストを組み合わせることも可能である。
【００２６】
目標コストと同様に、連結コストは、属性の不一致の組み合わせをベースとする。連結コストは、滑らかな連結を可能とする単位の特性に重点を置く一方、目標コストは、与えられた目標単位を示す個々の候補単位の適合性を表している。
【００２７】
オペレータは、与えられた発声音に関するＴＴＳ出力を改善するために単位選定コスト関数を修正することができる。例えば、オペレータは、滑らかさに、より大きな重みを置くとともに、目標とする不一致に関する重みを低減することができる。それに代わって、オペレータは、高レベルの強勢マーカーや低レベルの目標Ｆ０に関する重みなどの特定の目標属性に関する重みを増大させることができる。
【００２８】
特許文献５は、単位選定コスト関数と低レベルの韻律目標属性を修正することにより単位選定を改善する解決策を記載している。オペレータは、自動的に選定された音声単位のストリームから音声単位を除去することができる。一つ以上の除去された音声単位は、再選定から除外される。オペレータは、ピッチや継続時間関数などの目標コスト関数のパラメータを編集することもできる。しかし、これらの特性の修正は、単位選定プロセスに関する専門知識を必要とし、時間がかかる。改善に時間がかかる一つの理由は、人間との共同作業と自動的な処理のステップが繰り返されることである。或る単位を除去又は削る、或いはコスト関数を調整することを決断した場合、オペレータは、次のステップを含むサイクルを繰り返さなければならない。
【００２９】
−コスト最適化を含む単位選定プロセスにより、単一の音声波形を生成するステップ
−この単一の音声波形を聞くステップ
−オペレータが満足しない場合、単位を修正（拒絶）するか、目標とする低レベルの韻律属性を修正するか、コストを修正して、新しい自動生成ステップを開始するステップ
−オペレータが満足した場合、この実際の音声波形を保持するステップ
各修正ステップ後に、単位データベース内で目標単位と一致する可能性の有る全ての単位を検索し、全てのコスト計算を行うことによって、単一の音声波形を生成しなければならない。新しい音声波形は、それ以前に生成した音声波形と非常に類似する可能性がある。好ましい波形を見い出すために、熟練した人は、各修正が完全な単位選定プロセスを必要とするような修正を何回か試みることがある。
【特許文献１】米国特許第６６６５６４１号明細書
【特許文献２】国際特許公開第０２／０９７７９４号明細書
【特許文献３】国際特許公開第２００４／０７０７０１号明細書
【特許文献４】米国特許第５９１３１９３号明細書
【特許文献５】米国特許公開第２００３／０２２９４９４号明細書
【非特許文献１】Breen A. P. and Jackson P., "A phonologically motivated method of selecting non-uniform units", ICSLP-98, pp.2735-2738, 1988
【非特許文献２】Sagisaka Y., "Speech synthesis by rule using an optimal selection of non-uniform synthesis units" ICASSP-88 New York vol.1 pp.679-682, IEEE, April 1988
【非特許文献３】Hunt A. J. and Black A. W., "Unit selection in a concatenative speech synthesis system using a large speech database", ICASSP-96, pp.373-376, 1996
【発明の開示】
【発明が解決しようとする課題】
【００３０】
より効率的な解決策は、未熟なオペレータが、最低限の評価と修正作業により非常に良好な発声音を生成することを可能とすべきである。
【課題を解決するための手段】
【００３１】
この発明は、入力テキストの言語表現の異なった音響的な実現形態に対応する複数の単位シーケンスを生成する単位選定システムを規定するものである。異なった実現形態自体は、例えば、文章を繰り返すが、精確な再生が不自然に聞こえる対話システムの場合に有用であることがある。それに代わって、異なる実現形態により、人間のオペレータが、与えられた用途に最適な実現形態を選択することが可能となる。最適な音声の発声音を構成するための手順が著しく簡単化される。その手順は、次のステップを有し、最後のステップだけが、人間との共同作業と関連する。
−入力された言語表現に対応する少なくとも一つの目標単位シーケンスを導き出すステップ
−波形単位データベースから、その少なくとも一つの目標単位シーケンスに近い複数の単位シーケンス選択肢を選定するステップ
−それらの単位シーケンス選択肢を音声波形選択肢として連結し、オペレータが、それらの音声波形選択肢の中の一つを選択するステップ
この発明による解決策では、音声による発声音の生成に関して幾つかの利点がある。第一に、手動による修正と自動的な選定の反復的なサイクルが存在せず、それにより、より速い動作方法が可能となる。第二に、オペレータは、単位、目標及びコストの詳細な知識を必要とせず、与えられた選択肢の集合の中から選択するだけである。そのため、ＴＴＳの発声音の微調整が、熟練していない人にも実行可能となる。第三に、反復的なアプローチでは、常に後の反復において、より良い解決策が期待されるのに対して、オペレータは、達成可能な実現形態の範囲を知って、最適な選択を行うものである。
【００３２】
この発明の単位選定システムは、オペレータが評価したいと思う多くの実現形態ではなく、少なくとも一つの満足する解決策を含む実現形態を生成するという基本方針が必須である。目標単位又はコスト関数を僅かに変更するか、或いは単位選定用検索で最も良好なｎ個の経路を採用することによって、多くの単位シーケンス選択肢を生成することが可能である（図２参照）。当業者には、最も良いｎ個の単位シーケンスが、典型的には互いに非常に類似しており、幾つかの単位だけが互いに異なっている場合があることが分かっている。最も良いｎ個の単位シーケンスが、違って聞こえず、そのため発声音を最適化したいオペレータにとって興味を生じさせない場合さえある。従って、このシステムは、単位シーケンス選択肢を生成するために、好ましくは、インテリジェントな構成アルゴリズムを使用する。
【発明を実施するための最良の形態】
【００３３】
図３は、単位シーケンス選択肢構成器モジュールの実施例を図示している。この構成器モジュールは、複数の目標単位シーケンスを導き出すか、単位選定コスト関数を変化させるか、或いはその両方により所定の手法で相応の単位シーケンス空間を探索する。構成器モジュールにより生成される出力波形選択肢は、目標単位の特定、単位選定及び連結ステップによる異なる試行から得られる。如何なる試行も、目標単位又はコスト関数を修正して、出力波形選択肢を生成するためのフィードバックとして使用することができる。このフィードバックは、単位選定の異なる試行に関する目標単位特定ステップと単位選定ステップを接続する矢印で表示されている。
【００３４】
図４は、「ｈｅｌｌｏ  ｗｏｒｌｄ」のテキスト例に関する構成を詳しく図示している。単位シーケンス選択肢は、各単語に対して別々に生成される。「標準」と名付けられた第一の単位シーケンス選択肢は、ＴＴＳシステムのデフォルトの動作に対応する。第二のシーケンス選択肢は、標準単位シーケンスよりも２０％高い目標ピッチを用いて選定された単位を含む。第三のシーケンス選択肢は、標準単位シーケンスよりも２０％低い目標ピッチを用いて選定された単位を含む。更なる選択肢は、継続時間の変化及びＦ０と継続時間の変化の組み合わせを追求したものである。ピッチと継続時間を変化させた８個の選択肢の集合は、「明示的な」音声変化形態に対応する。オペレータは、より刺激的な（より高いＦ０）、より単調な（より低いＦ０）、より遅い（継続時間を増大させた）、より速い（継続時間を低減した）又はこれらの組み合わせである変化形態を選択することができる。
【００３５】
図４に図示されている通り、単位シーケンス選択肢の集合内で最小限の変化形態を得るために、継続時間やピッチなどの特性に関する最小限の変化形態を定義することができる。変化形態の判断基準の例は、次の通りである。少なくとも一つの目標単位シーケンスの少なくとも一つの単位は、その前に選定された単位シーケンスの対応する単位のピッチよりも所定の最小限の量だけ、好ましくは、少なくとも１０％より高いか、或いはより低い目標ピッチを有する。少なくとも一つの目標単位シーケンスの少なくとも一つの単位は、その前に選定された単位シーケンスの対応する単位の継続時間よりも所定の最小限の量だけ、好ましくは少なくとも１０％より長いか、或いはより短い目標継続時間を有する。ピッチと継続時間の変化形態は、特定の用途のニーズにもとづき選択することができる。明らかに異なる単位シーケンス選択肢を期待する場合、より大きな、例えば、２０％又は４０％の違いを選択する。この違いは、所定の最小値又は所定の範囲を用いて、百分率又は絶対量として定義することができる。
【００３６】
単位選定試行間の別の形式の特性変化形態は、単位選定コスト関数を修正するものである。例えば、ピッチの滑らかさ又は音声コンテキストの一致度を制御するコスト関数要素を変更することができる。図４では、９番目と１０番目の選択肢が、それぞれ音声コンテキストの一致度に関してより高い重みとより低い重み（即ち、より長い又はより短い調音結合長）を用いて生成されている。９番目の選択肢に関して、音声コンテキストの重みが２倍（調音結合長＋１００％）となっている一方、１０番目の選択肢に関して、音声コンテキストの重みが半分となっている（調音結合長−５０％）。
【００３７】
別の形式の特性変化形態では、Ｆ０と継続時間が標準シーケンスと類似するが、図２の検索ネットワーク内で近い、或いは隣接する単位を用いて、単位シーケンス選択肢の選定を行っている。この形式の特性変化形態は、音声単位が、声の質のパラメータ（例えば、ハスキー、息漏れ、声門音）又は録音状況（例えば、雑音、反響、唇鳴らし）に関して相違する可能性があるという事実を契機とするものである。データベース単位は、自動的な検出とパラメータ化がＦ０、継続時間及びエネルギーの抽出よりも複雑であるため、典型的には声の質と録音状況に関して分類されていない。オペレータが異なる声の質又は異なる録音による生成物を用いた波形を選定することを可能とするために、近い又は隣接する単位を選択している。
【００３８】
別の形式の特性変化形態は、その時の単位選定試行での単位とそれ以前に選定された単位シーケンスの対応する単位の間の最小限のスペクトル距離を条件として課すものである。このスペクトル距離は、次の標準的な手法で定義することができる。第一に、メル周波数ケプストラム係数（ＭＦＣＣ）又はその他の特性を用いて、候補単位と基準単位にパラメータを付与する。継続時間の違いは、単位の動的時間伸縮（ＤＴＷ）又は線形的な時間正規化によって正規化される。最終的に、候補単位と基準単位の時間に関して正規化されたＭＦＣＣベクトル間の平均ユークリッド距離として、スペクトル距離が定義される。マハナロビス（Mahanalobis ）距離やカルバック・ライブラー距離などその他の距離基準を用いることもできる。
【００３９】
この発明による解決策は、単位シーケンス選択肢を幾つかの部分集合に分けることによって改良することができる。各部分集合は、最適化対象の発声音の単一の音節、単語又はその他の意味の有る言語要素と関連したものである。図４では、部分集合は、「ｈｅｌｌｏ」と「ｗｏｒｌｄ」の二つの単語に対応する。一つの部分集合内の単位シーケンスは、その部分集合を特徴付ける言語要素内でのみ相違する。一方の部分集合は、「ｈｅｌｌｏ」という単語の単位シーケンス選択肢を含み、他方の部分集合は、「ｗｏｒｌｄ」という単語の単位シーケンス選択肢を含む。オペレータは、各部分集合内の単位シーケンス選択肢に対応する出力波形を検査して、最良の選択肢を選択することができる。この改良は、発声音の一方の部分の最適化と他方の部分の最適化を分離するものである。それは、各部分の最適化が、依然としてちょうど１回の選択を必要とするが、修正と評価の反復的なサイクルを必要としないので、反復手法に戻ることを意味しない。しかし、発声音の異なる部分を段階的に取り扱う手法がある。
【００４０】
更なる改良は、音声波形に変換するために、テキストの幾つかの部分集合（即ち、音節又は単語）に関するデフォルトの選択を使用することである。オペレータは、デフォルトと異なる実現形態を望むテキスト部分に関してだけ、選択を行う必要がある。それに代わって、与えられたコンテキストでの部分集合に関するオペレータの選択を保存するためのキャッシュを構築することができる。別の既に最適化された発声音と類似した新しい発声音を最適化する必要がある場合、キャッシュの選択が利用可能であれば、オペレータは、その部分集合を最適化する必要がない。
【００４１】
部分集合の最適化は、グラフィカルエディタを用いて容易に行うことができる。グラフィカルエディタは、各部分集合及び少なくとも一つの部分集合に関する単位シーケンス選択肢の少なくとも一つの集合と関連した言語要素を表示することができる。このエディタは、最適化対象の言語表現全体を表示するとともに、単位シーケンス選択肢の生成前に言語表現を修正又は補正するための手段を提供することもできる。
【００４２】
図５は、単位シーケンス選択肢を表示するグラフィカルエディタの例を図示している。各選択肢は、記述子によって指定される。コンピュータのマウスを記述子の上に移動することによって、オペレータは、その記述子により指定された選択肢に対応する出力波形を聞くことができる。オペレータは、全ての選択肢を聞く必要はないが、最も有望であると期待する記述子だけにアクセスすることができる。最良の音を出す選択肢は、それをクリックすることによって選択される。その場合、その選択肢は、好ましい選択肢として表示される。グラフィカルエディタは、最初その時点の好ましい選択肢に対応する記述子を表示している。その時点の単位シーケンスの実現形態が十分でない場合、オペレータは、アクティブな記述子の隣の三角形をクリックして、単位シーケンス選択肢を表示することができる。
【００４３】
図５に図示した、この発明の改良形態は、オペレータに部分集合内の単位シーケンス選択肢を指定する記述子を提供するものである。これらの記述子により、オペレータが、改善を期待することができる選択肢だけを評価することが可能となる。部分集合内の実現形態は、更なる下位区分に分けることもできる。例えば、一つの単語と関連した部分集合内の実現形態は、その単語内の第一の音節を修正した実現形態の第一の集合、第二の音節を修正した第二の集合等にグループ分けすることができる。このグループ分けは、各下位区分に対して繰り返し行うことができ、例えば、一つの音節は、更に開始部分、中核部分及び終了部分に切り分けることができる。当業者には、言語要素をより小さい意味の有る要素に分解することによって、多くの有用な下位区分に分けることが可能であることは明らかである。この区分により、オペレータが、ちょうど発声音が改善された場合の変化形態により、単位シーケンス選択肢を評価することが可能となる。
【００４４】
この発明の更なる改良形態は、オペレータに漸進的な手法で選択肢を提示することである。選択肢の第一の集合が、例えば、２０個の変化形態を含むとする。オペレータが、この集合内で満足する結果を見い出せなかった場合、選択肢の改良又は拡大された集合を要求することができる。図３の単位シーケンス選択肢構成器に関して、選択肢間の違いを条件として課する単位選定を、可能な実現形態の空間のより細かいサンプリングを生成するように変更することができる。
【００４５】
音声による発声音の最適化後に、その結果を波形として保存して、選択用機器上で再生するために使用することができる。それに代わって、オペレータの選択は、その発声音を後で再構成することができるように、単位シーケンス情報の形で保存することができる。このアプローチの利点は、単位シーケンス情報の保存が、波形の保存よりも少ないメモリしか必要としないことである。第一のシステム上で音声波形の最適化を行い、第二のシステム、好ましくは、車内ナビゲーションシステム上で単位シーケンス情報の保存と音声波形の再構成を行うことができる。このことは、車内ナビゲーションシステムなどのメモリが制約された機器に関して興味深いことである。そのようなシステムでは、ＴＴＳシステム、場合によっては機器のメモリ要件に適合するバージョンのＴＴＳシステムを備えることが可能となる。その場合、必要な追加メモリが最小限となるＴＴＳシステムを用いて、最適化された音声による発声音を再構成することが可能である。
【００４６】
この発明の更なる改良形態は、オペレータが最適として選択した波形に対応する単位シーケンスを使用して、単位選定システムの一般的な品質を改善することである。このことは、例えば、目標単位又はコスト関数のどの変化形態が平均して好ましいのかを見い出して、それに応じて標準的な単位選定のパラメータを更新することによって実現することができる。別の可能性は、手動により最適化された発声音の大きな集合（即ち、１０００個の発声音）を集めることである。その場合、デフォルトの単位選定結果が、手動により最適化された単位シーケンスと重なりを持つように、単位選定パラメータ（重み）を最適化することができる。好ましくは、単位選定パラメータを適合させて、手動により最適化されたシーケンスの集合との重なりを最適化した場合の極大点を防止するために、格子探索法又は遺伝的なアルゴリズムを使用する。
【図面の簡単な説明】
【００４７】
【図１】一般的な（従来技術による）単位選定のフレームワークのブロック図
【図２】コスト計算の図解図
【図３】単位シーケンス選択肢を生成する単位選定のブロック図
【図４】単位シーケンス選択肢の構成の図解図
【図５】オペレータが最適な単位シーケンスを選択するために使用することができるグラフィカルエディタの図
【図１】
2007249212.tif 000003
【図２】
2007249212.tif 000004
【図３】
2007249212.tif 000005
【図４】
2007249212.tif 000006
【図５】
2007249212.tif 000007