(57)【特許請求の範囲】
【請求項１】
合成すべき音声応答の基本周波数の時間特性を定めるための方法において、
ニューラルネットワークを用いて基本周波数の事前定義マクロセグメントを定めるステップと、
データベースに記憶されている基本周波数シーケンスを用いてミクロセグメントを定めるステップが含まれ、この場合、
前記基本周波数シーケンスは、順次連続する基本周波数シーケンスによってそのつどの事前定義マクロセグメントができるだけ僅かな偏差で再生されるようにデータベースから選択され、
事前定義マクロセグメントの１つの時間領域内に存在するミクロセグメントの基本周波数シーケンスが再生マクロセグメントに統合され、その際そのつどの事前定義マクロセグメントに対する再生マクロセグメントの偏差が求められ、この得偏差ができるだけ僅かとなるように基本周波数シーケンスが最適化され、
個々のミクロセグメントに対してそのつど多数の基本周波数シーケンスが選択可能であり、この場合そのつどの再生マクロセグメントとそのつどの事前定義マクロセグメントの間の偏差が最も僅かとなる、基本周波数シーケンスの組合わせが選択されるようにしたことを特徴とする方法。
【請求項２】
前記事前定義マクロセグメントは、音声の１つの音声言語単位、例えばフレーズ、ワード、音節に相応する時間領域をカバーしている、請求項１記載の方法。
【請求項３】
前記ミクロセグメントの基本周波数シーケンスは、そのつどの１つの音素の基本周波数を表している、請求項１または２記載の方法。
、請求項４記載の方法。
【請求項４】
再生マクロセグメントと事前定義マクロセグメントの間の偏差がコスト関数を用いて求められ、該コスト関数は、事前マクロセグメントの基本周波数からの偏差が少ない場合には小さな偏差しか算出されないように重み付けされており、所定の限界周波数差分を越えた場合には、求められた偏差が飽和値に達するまで急峻に上昇する、請求項１記載の方法。
【請求項５】
再生マクロセグメントと事前定義マクロセグメントの間の偏差がコスト関数を用いて求められ、それにより、マクロセグメントに亘って分散的に配置された多数の偏差が重み付けされ、その際音節の周縁に近ければ近いほど偏差の重み付けが少なくなる、請求項１から４いずれか１項記載の方法。
【請求項６】
基本周波数シーケンスの選択の際に、個々の基本周波数シーケンスが、それに後続するもしくはそれに先行する基本周波数シーケンスと、予め定められた基準に従って同調され、この基準を満たした基本周波数シーケンスの組合わせのみが再生マクロセグメントとの統合を許可される、請求項１から５いずれか１項記載の方法。
【請求項７】
隣接する基本周波数シーケンスの評価がコスト関数を用いて行われ、該コスト関数は、隣接する基本周波数シーケンスの基本周波数シーケンスの結合箇所に対し最小化すべき出力値を生成し、該出力値は、後続する基本周波数シーケンスの始端における周波数と先行する基本周波数シーケンスの終端との差分が大きければ大きいほど大きくなる、請求項６記載の方法。
【請求項８】
前記出力値は、そのつどの結合箇所が音節の周縁に近ければ近いほど重み付けが少なくなる、請求項７記載の方法。
【請求項９】
個々のマクロセグメントは、相互に連鎖され、その際マクロセグメントの結合箇所にて基本周波数が相互に適合化される、請求項１から８いずれか１項記載の方法。
【請求項１０】
前記ニューラルネットワークは、予め定められるテキスト区分に対する事前定義セグメントを、該テキスト区分とこのテキスト区分に先行するおよび/または後続するテキスト区分に基づいて定める、請求項１から９いずれか１項記載の方法。
【請求項１１】
テキストが一連の音響信号に変換される、音声合成のための方法において、
テキストを音素のシーケンスに変換するステップと、
強勢構造を生成するステップと、
個々の音素の持続時間を定めるステップと、
基本周波数の時間特性を、請求項１から１０のいずれかに記載の方法に従って定めるステップと、
音声を表す音響信号を、求められた音素シーケンスと求められた基本周波数に基づいて生成するステップとを含んでいることを特徴とする方法。
【発明の詳細な説明】
【０００１】
本発明は、合成すべき音声応答の基本周波数の時間特性を定めるための方法に関している。
【０００２】
ミュンヘンにおいて開催された“ＩＣＡＳＳＰ ９７”の国際会議では、タイトル“Recent-Improvements on Microsoft's Trainable Text-to-Speech System-Whistler,X.Huang et al”のもとで、テキストからの音声の合成のための方法が発表されている。このテキストは完全にトレーニング可能であり、このテキストの韻律は、データベースに記憶されている韻律パターンに基づいて編成され形成される。このテキストの韻律は、実質的に基本周波数によって確定されており、そのためこの公知の方法は、データベースに相応に記憶されているパターンを基礎にした基本周波数生成のための方法とも見なすことができる。できるだけ自然に近い音声を得るために、この基本周波数の輪郭を補間、平滑化、補正する高コストな補正方法が提案されている。
【０００３】
シアトルにおいて開催された“ＩＣＡＳＳＰ ９８”の国際会議では、タイトル“Optimization of a Neural Network for Speaker and Task Dependent F0-Generation,Ralf Haury et al. ”のもとに、テキストからの合成された音声応答の生成のための方法が発表されている。この公知の方法では、基本周波数の生成のために、パターンを有するデータベースの代わりに、ニューラルネットワークが用いられており、これを用いて音声応答のための基本周波数の時間特性が確定される。
【０００４】
前述してきた方法を用いれば、従来の音声合成システムからも公知のように、金属的で機械的な不自然な響きの音声応答が解消される。これらの方法は、従来の音声合成システムに対する著しい改善策を表わすものである。それでもなおこれらの方法に基づいた音声応答と肉声との間では著しい響きの違いが生じている。
【０００５】
特に基本周波数が、個々の基本周波数パターンから編成される音声合成の場合には、前述したような金属的で機械的な響きが生成され、これは肉声の自然な響きからは大きくかけ離れてしまうものである。それに対して基本周波数がニューラルネットワークから確定されるならば、音声の響きは自然に近くなるが、但しやや鈍くなる。
【０００６】
それ故に本発明の課題は、合成すべき音声応答の基本周波数の時間特性を決定するための方法において、より自然でかつ人間の肉声に非常に近い響きを与える音声応答が得られるように改善を行うことである。
【０００７】
前記課題は、請求項１の特徴部分に記載された本発明によって解決される。有利な実施形態は従属請求項に記載されている。
【０００８】
本発明による、合成すべき音声応答の基本周波数の時間特性を決定するための方法は以下に述べるステップを含んでいる。すなわち、
基本周波数の事前定義済みマクロセグメントをニューラルネットワークを用いて決定し、
データベースに記憶されている基本周波数シーケンスを用いてミクロセグメントを決定し、その際には基本周波数シーケンスをデータベースから次のように選択する、すなわち順次連続する基本周波数シーケンスによってそのつどの予め設定された事前定義マクロセグメントができるだけ僅かな偏差で再生されるように選択する。
【０００９】
本発明は、次のような認識に基づいている。すなわち、基準周波数の特徴の決定がニューラルネットワークを用いて、自然な肉声の基本周波数の特性に非常に類似して生成されることと、データベース内に記憶されている基本周波数シーケンスが非常に類似して自然な肉声の基本周波数のミクロ構造を再生できることに基づいている。本発明による組合せによれば、そのマクロ構造においてもミクロ構造においても、これまでの公知の方法を用いて生成された基本周波数よりもはるかに自然の肉声に類似した基本周波数の特性の最適な決定が得られる。これによって、合成的音声応答の自然な肉声へのかなりの近似が得られる。これによって生成される合成的音声は、自然の肉声とほとんど区別がつかないほどに非常に類似する。
【００１０】
有利には、再生マクロセグメントと事前定義マクロセグメントの間の偏差が、コスト関数を用いて求められる。このコスト関数は、事前定義マクロセグメントの基本周波数からの偏差が僅かな場合にただ小さな偏差のみが求められるように重み付けされている。この場合所定の限界周波数差分を上回ると、算出される偏差が飽和値に到達するまで大きく上昇する。このことは、限界周波数領域内にある全ての基本周波数シーケンスは、事前定義マクロセグメント再生のための有意な選択として重み付けされ、限界周波数差分の領域外にある基本周波数シーケンスは実質的に事前定義マクロセグメント再生のためには適していないものとして評価されることを意味する。この非線形性は、人間の聴覚の非線形的な特性をマッピングしている。
【００１１】
本発明のさらに別の有利な実施形態によれば、偏差の重み付けが大きければ大きいほど、シラブル周辺により接近して配置される。
【００１２】
有利には事前定義マクロセグメントの再生は、そのつどのミクロプロソディー単位毎の多数の基本周波数シーケンスの生成によって行われる。この場合基本周波数シーケンスの組合せは、事前定義マクロセグメントからの偏差に関しても対毎の同調に関しても重み付けされる。これらの２つの重み付け（事前定義マクロセグメントからの偏差、隣接する基本周波数シーケンス間の同調）の結果に依存して、基本周波数シーケンスの組合せの相応の選択が的確に捉えられる。
【００１３】
特に対毎の同調によって、隣接する基本周波数シーケンス間の移行が重み付けされると、この場合ここではより大きなジャンプは避けられるべきである。本発明の有利な実施形態によれば、シラブル内の基本周波数シーケンスの対毎の同調は、シラブル周縁領域においてのものよりも大きく重み付けされる。シラブルコアは、ドイツ語においては聴覚的印象に対して決定的なものがある。
【００１４】
本発明による方法は、以下の明細書で図面に示されている実施例に基づいて詳細に説明する。この場合、
図１ａ〜１ｄは、４つのステップにおける基本周波数の時間特性の構造と関係を示した図であり、
図２は、再生マクロセグメントと時前定義マクロセグメントの間の偏差の同調のためのコスト関数の重み付けのための機能を示した図であり、
図３は、複数のマクロセグメントからなる基本数端数の特性経過を示した図であり、
図４は、ニューラルネットワークの構造を概略的に簡単に示した図であり、
図５は、本発明による方法をフローチャートで示した図であり、
図６は、本発明による方法に基づいた音声合成のための方法を示した図である。
【００１５】
実施例、
先に図６に基づいた説明からはいる。この図６では、テキストが一連の音響的信号シーケンスに変換されている音声合成のための方法がフローチャートで示されている。
【００１６】
この方法は、コンピュータプログラムの形態で実現されており、これはステップＳ１でもって開始される。
【００１７】
ステップＳ２では、電子的に読出し可能なテキストファイルの形態で存在するテキストが入力される。
【００１８】
続くステップＳ３では、フォネームのシーケンスつまり音素のシーケンスが作成される。この場合テキスト（これはそれぞれに１つの音素が割当てられているそのつどの個々のまたは多数のアルファベットである）の個々のグラフィーム（書記素）が求められる。そのあとで個々の書記素に割当てられている音素が確定され、これによって音素シーケンスが確定される。
【００１９】
ステップＳ４では、強勢構造が定められる。すなわち個々の音素がどの位の強さで強勢されるべきかが定められる。
【００２０】
この強勢構造は、図１ａにおいて時間軸を用いて単語“ｓｔｏｐ”に基づいて表わされている。それに従って、書記素“ｓｔ”には強勢レベル１、書記素“o”には強勢レベル０.３、書記素“p”には強勢レベル０.５が割当てられている。
【００２１】
その後では個々の音素の持続時間が定められる（Ｓ５）。
【００２２】
ステップＳ６では、以下で詳細に説明する基本周波数の時間特性が定められる。
【００２３】
音素シーケンスと基本周波数が確定された後では、ウエーブファイルが音素と基本周波数を基礎にして生成される（Ｓ７）。
【００２４】
このウエーブファイルは、音響的出力ユニットとスピーカを用いて音響信号に置換えられ（Ｓ８）、それに伴って当該音声応答が終了する（Ｓ９）。
【００２５】
本発明によれば、合成すべき音声応答の基本周波数の時間特性がニューラルネットワークを用いて、データベース内に記憶されている基本周波数シーケンスと組合わされて生成される。
【００２６】
図６のステップＳ６に相応する方法は、図５のフローチャートでより詳細に表わされている。
【００２７】
基本周波数の時間特性を定めるためのこの方法は、図６に示されているプログラムのサブルーチンである。このサブルーチンは、ステップＳ１０で開始される。
【００２８】
ステップＳ１１では、基本周波数の事前定義マクロセグメントがニューラルネットワークを用いて決定される。この種のニューラルネットワークは、図４に概略的に示されている。このニューラルネットワークは入力層Ｉにおいて、合成すべきテキストの音声言語単位ＰＥと、音声言語単位の左右に対するコンテキストＫｌ，Ｋｒの入力用ノードを有している。音声言語単位は、例えば合成すべきテキストのフレーズと、ワードまたは音節からなっており、それらに対して基本周波数の事前定義マクロセグメントが決定される。左方コンテキストＫｌと右方コンテキストＫｒは、音声言語単位ＰＥのそれぞれ右側と左側を示している。音声単位によって入力されるデータには、相応の音素シーケンス、強勢構造、および個々の音素のサウンド持続時間が含まれている。左方コンテキストないし右方コンテキストと共に入力される情報には、少なくとも音素シーケンスが含まれており、この場合有利には、強勢構造および/またはサウンド持続時間が入力されていてもよい。左方コンテキストと右方コンテキストの長さは、音声言語単位ＰＥの長さに相応し、ここでもフレーズ、ワードまたは音節であり得る。しかしながらさらに有利には、比較的長いコンテキスト、例えば２つまたはそれ以上のワードが左方ないし右方コンテキストとして与えられてもよい。これらの入力Ｋｌ，ＰＥ、Ｋｒは、隠れ層ＶＳにおいて処理され、出力層Ｏにおいて基本周波数の事前定義マクロセグメントＶＧとして出力される。
【００２９】
図１ｂには、ワード“ｓｔｏｐ”に対するそのような事前定義マクロセグメントが示されている。この事前定義マクロセグメントは典型的な三角形状の経過特性を有しており、これはまず上昇で始まり、やや短めの降下で終端している。
【００３０】
基本周波数の事前定義マクロセグメントの決定の後では、ステップＳ１２とＳ１３においてこの事前マクロセグメントに相応するミクロセグメントが定められる。
【００３１】
ステップＳ１２では書記素に対応する基本周波数シーケンスが記憶されているデータベースからの読出しが行われ、この場合通常は各書記素毎に多数の基本周波数シーケンスが存在している。図１ｃには、書記素“ｓｔ”、“ｏ”、“ｐ”に対するこの種の基本周波数シーケンスが概略的に示されており、この場合は図を分かり易くするために、多数のうちから便宜的に抜粋されたいくつかの基本周波数シーケンスしか示されていない。
【００３２】
基本周波数シーケンスは、基本的には任意に相互に組合わせ可能である。この基本周波数シーケンスの可能な組合わせは、コスト関数を用いて重み付けされる。この方法ステップは、ビィテルビ関数“Viterbi-algorithm”を用いて実施される。
【００３３】
各音素毎に１つの基本周波数シーケンスを有する基本周波数の各組合わせ毎にコスト係数Ｋｆは、以下のコスト関数、
【００３４】
【数１】
0004005360.tif 000002
【００３５】
を用いて算出される。このコスト関数は、ｊ＝１〜ｌまでの総和であり、この場合ｊは音素のカウンタであり、ｌは全ての音素の総数を表している。このコスト関数は２つの項を有しており、１つは局所的コスト関数ｌｏｋ（kij)であり、もう１つは結合コスト関数Ｖｅｒ（kij,kn,j+1）である。局所的コスト関数を用いれば、事前定義マクロセグメントからのｊ番目の音素のｉ番目の基本周波数シーケンスの偏差が評価される（重み付け）。結合コスト関数を用いれば、ｊ番目の音素のｉ番目の基本周波数とｊ＋１番目の音素のｎ番目の基本周波数シーケンスの間で同調が重み付けされる。
【００３６】
局所的コスト関数は、例えば以下の式、
【００３７】
【数２】
0004005360.tif 000003
【００３８】
を有している。それによりこの局所的コスト関数は、事前適宜マクロセグメントによって与えられる基本周波数ｆvと、ｊ番目の音素のｉ番目の基本周波数シーケンスの差分の平方に関する、音素の開始ｔａから音素の終了ｔｅまでの間の時間領域に亘った積分である。
【００３９】
この局所的コスト関数は、そのつどの基本周波数シーケンスと事前定義マクロセグメントの基本周波数との間の偏差の正の値を求める。それに対してこのコスト関数は非常に簡単に実現でき、さらに比喩的特性によって人間の聴覚に類似した重み付けを生成する。なぜなら所定のシーケンスｆv周辺の比較的小さな偏差は僅かに重み付けされ、これに対して比較的大きな偏差は、累進的に重み付けされる。
【００４０】
有利な実施形態によれば、局所的コスト関数には重み付け項が備えられており、これは図２に示された機能特性に結び付く。この図２のダイヤグラムは、局所的コスト関数ｌｏｋ(fij）の値をｊ番目の音素のｉ番目の基本周波数シーケンスの周波数fijの対数に依存して表している。このダイヤグラムからは、所定の周波数ｆＶからの偏差は、所定の限界周波数ＧＦ１，ＧＦ２内では僅かしか重み付けされないことが見て取れる。この場合さらなる偏差は、閾値ＳＷまでの急峻な上昇を生じさせる。この種の重み付けは、人間の聴覚に相応し、僅かな周波数偏差は、ほとんど知覚されないが、所定の周波数差からはこのことは著しい違いとして記録される。
【００４１】
結合コスト関数を用いて、２つの順次連続する基本周波数シーケンスが順次連続してどの位良好に同調されたかが評価される。特にこの場合は、２つの基本周波数シーケンスの結合箇所における周波数差分が重み付けされる。先行する基準周波数シーケンスの終端と後続する基準周波数シーケンスの開始における周波数との差分が大きければなるほど、結合コスト関数の出力値も大きくなる。この場合は、さらに例えば移行部などの定常性を再生する別のパラメータが考慮されてもよい。
【００４２】
本発明の有利な実施形態によれば、２つの隣接する基本周波数シーケンスのそのつどの結合箇所が音節の周縁に近ければ近いほど、結合コスト関数の出力値の重み付けも少なくなる。このことは、人間の聴覚に相応しており、音節周縁の音響信号は、音節の平均領域におけるものよりも集中的に分析される。この種の重み付けは、優性的知覚とも称される。
【００４３】
前述のコスト関数Ｋｆによれば、言語単位の音素の基本周波数シーケンスのあらゆる組合わせ毎に（それに対しては事前定義マクロセグメントが定められている）、局所的コスト関数の値と全ての基本周波数シーケンスの結合コスト関数の値が求められ、加算される。基本周波数シーケンスの組合わせの量からは、次のような組合わせが選択される。すなわちそれに対してコスト関数Ｋｆが最小の値を得るような組合わせが選択される。なぜなら基本周波数シーケンスの当該組合わせが相応の言語単位に対する基本周波数特性を形成するからである。これは再生マクロセグメントとも称され、事前定義マクロセグメントに非常に類似している。
【００４４】
本発明による方法を用いれば、ニューラルネットワークを用いて形成された基本周波数の事前定義マクロセグメントに適合する基本周波数特性が、データベース内に記憶されている個々の基本周波数シーケンスを用いて形成される。これによって非常に自然なマクロ構造が保証され、それはより詳細な基本周波数シーケンスのミクロ構造も有している。
【００４５】
ワード“ｓｔｏｐ”に対するこの種の再生マクロセグメントは、図１ｄに示されている。
【００４６】
ステップＳ１３における、事前定義マクロセグメントの再生に対する基本周波数シーケンスの組合わせの選択が終了した後では、ステップＳ１４において、さらなる音声言語単位に対する、さらなる基本周波数の時間経過特性が形成されなければならない。このステップＳ１４における問い合せが“イエス”の場合には、当該プログラムの実行がステップＳ１１に戻される。“ノー”の場合には当該プログラム実行がステップＳ１５に続けられそれによって基本周波数の個々の再生マクロセグメントが統合される。
【００４７】
ステップＳ１６では、個々の再生マクロセグメントの結合箇所が相互に図３に示されているように適応化される。この場合は、左方周波数ｆｅと右方周波数ｆｒが結合箇所Ｖから相互に適合化され、その際再生マクロセグメントの終端領域が有利には次のように変更される。すなわち周波数ｆｅおよびｆｒが同じ値を有するように変更される。有利には結合箇所の領域において移行部が平滑化および/または定常化されてもよい。
【００４８】
テキストの全ての音声言語単位毎に基本周波数の再生マクロセグメントが作成され、統合された後では、サブルーチンが終了され、当該プログラムの実行がメインプログラムまで戻される（Ｓ１７）。
【００４９】
それにより本発明の方法によれば、自然な会話の基本周波数に非常によく似た基本周波数の特性が生成される。なぜならニューラルネットワークを用いれば、より大きなコンテキスト領域が簡単に検出でき、評価（マクロ構造）されるようになると同時にまたデータベースに記憶されている基本周波数シーケンスを用いることによって、基本周波数特性の最も繊細な構造が自然言語に相応して生成され得るようにされる（ミクロ構造）。これによって音声出力がこれまでの公知の方法によるものよりもはるかに自然な響きで達成される。
【００５０】
本発明は前述した実施例に基づいて詳細に説明してきたが、しかしながら本発明はこれまでの具体的な実施例に限定されるものではなく、本発明の枠内では様々な変更が可能である。それにより例えば順序に関して、いつ基本周波数シーケンスをデータベースから読み出すかや、いつニューラルネットワークが事前定期マクロセグメントを作成するかなどは適宜変更できる。また例えば最初に全ての音声言語単位に対して事前定義マクロセグメントを形成し、その後で初めて個々の基本周波数シーケンスを読出し組合わせ重み付けして選択してもよい。さらに本発明の枠内では、基本周波数の事前定義マクロセグメントと基本周波数のミクロセグメントの間の偏差が考慮される限り、様々なコスト関数を適用することも可能である。前述したような局所的コスト関数の積分は、数値的な理由から総和として表すことも可能である。
【図面の簡単な説明】
【図１】  Ａ〜Ｄは、４つのステップにおける基本周波数の時間特性の構造と関係を示した図である。
【図２】  再生マクロセグメントと時前定義マクロセグメントの間の偏差の同調のためのコスト関数の重み付けのための機能を示した図である。
【図３】  複数のマクロセグメントからなる基本数端数の特性経過を示した図である。
【図４】  ニューラルネットワークの構造を概略的に簡単に示した図である。
【図５】  本発明による方法をフローチャートで示した図である。
【図６】  図６は、本発明による方法に基づいた音声合成のための方法を示した図である。
【図１Ａ】
0004005360.tif 000004
【図１Ｂ】
0004005360.tif 000005
【図１Ｃ】
0004005360.tif 000006
【図１Ｄ】
0004005360.tif 000007
【図２】
0004005360.tif 000008
【図３】
0004005360.tif 000009
【図４】
0004005360.tif 000010
【図５】
0004005360.tif 000011
【図６】
0004005360.tif 000012