(57)【要約】第１および第２の発音に関する合成音声データを生成する方法が開示されている。前記発音を符号化する第１および第２の組のパラメータの間の補間またはそれらからの外挿により、合成音声を合成するのに用いられる第３の組のパラメータがもたらされる。それぞれの組のパラメータは、好ましくは、線形予測符号化を用いて導き出された別個のソース・パラメータおよびスペクトル・パラメータを含んでいる。関連する訓練および診断の方法、関連する装置もまた開示されている。
2005524118.tif 000002
【特許請求の範囲】
【請求項１】
第１の発音と第２の発音とを区別できるように対象者を訓練するための方法であって、
前記第１および第２の発音からの外挿またはそれらの間の補間により、前記第１および第２の発音によって画定される変化範囲のそれぞれ外側または内側にある合成音声を表すデータを生成するステップと、
前記データから前記合成音声を再生するステップと、
前記対象者が、前記合成音声と前記第１および第２の発音に関する他のテスト音声とを区別することができるかを判断するステップとを含む方法。
【請求項２】
対象者をテストする方法であって、
第１および第２の発音からの外挿またはそれらの間の補間により、前記第１および第２の発音によって画定される変化範囲のそれぞれ外側または内側にある合成音声を表すデータを生成するステップと、
前記データから前記合成音声を再生するステップと、
前記対象者が、前記合成音声と前記第１および第２の発音に関する他のテスト音声とを区別することができるかを判断するステップとを含む方法。
【請求項３】
前記他のテスト音声もまた、前記第１および第２の発音からの外挿またはそれらの間の補間により生成される、請求項１または２に記載の方法。
【請求項４】
前記判断するステップに応じて、前記第１および第２の発音からの外挿またはそれらの間の補間によって、さらなる合成音声を表すさらなるデータを生成するステップと、
前記さらなるデータから前記さらなる合成音声を再生するステップとをさらに含む、請求項１〜３のいずれか１項に記載の方法。
【請求項５】
前記第１の発音の第１記録音声サンプルおよび第２の発音の第２記録音声サンプルを符号化する第１および第２の組のパラメータを与えるステップをさらに含み、
それぞれの外挿または補間のステップが、前記第１および第２の組のパラメータから外挿してまたはそれらの間で補間して第３の組のパラメータを生成するステップを含み、
それぞれの再生するステップが、それぞれの前記第３の組のパラメータから前記合成音声を生成するステップを含む、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
第１および第２の発音に関する合成音声を表すデータを生成する方法であって、
前記第１の発音の第１記録音声サンプルおよび第２の発音の第２記録音声サンプルを符号化する第１および第２の組のパラメータを与えるステップと、
前記第１および第２の組のパラメータの間で補間してまたはそれらから外挿して第３の組のパラメータを生成するステップと、
前記第３の組のパラメータから前記合成音声データを生成するステップとを含む方法。
【請求項７】
前記第１および第２の組のパラメータのそれぞれが、それぞれの組のソース・パラメータとそれぞれの組のスペクトル・パラメータとを含み、該スペクトル・パラメータは、線形予測符号化によって導き出される、請求項６に記載の方法。
【請求項８】
それぞれの組のソース・パラメータが、基本周波数と、有声の確率と、振幅の大きさと、それぞれの前記記録音声サンプルの任意のラグにおいて見られる最大の相互相関と、のうちの１つ以上を含む、請求項７に記載の方法。
【請求項９】
それぞれの組のスペクトル・パラメータが、それぞれの前記記録音声サンプルの、複数の時間フレームのそれぞれについて計算された複数の反射係数を含む、請求項７または８に記載の方法。
【請求項１０】
前記合成音声を表す前記データを生成する前記ステップが、線形予測合成を前記第３の組のパラメータに適用するステップを含む、請求項７〜９のいずれか１項に記載の方法。
【請求項１１】
前記補間するまたは外挿するステップが、
前記第１の組のパラメータの前記スペクトル係数と第２の組のパラメータの前記スペクトル係数との間で補間するまたはそれらから外挿するステップと、
前記第１および第２の組のパラメータのうちの選ばれた一方のみの前記ソース・パラメータを用いるステップとを含む、請求項７〜１０のいずれか１項に記載の方法。
【請求項１２】
前記第１の組のパラメータの前記スペクトル・パラメータと前記第２の組のパラメータの前記ソース・パラメータとから、第１テスト合成音声を表すデータを生成するステップと、
前記第２の組のパラメータの前記スペクトル・パラメータと前記第１の組のパラメータの前記ソース・パラメータとから、第２テスト合成音声を表すデータを生成するステップと、
所定の基準に従って前記第１合成テスト音声と前記第２合成テスト音声とを比較することによって、前記補間するステップにおいて用いる前記ソース・パラメータを選択するステップとをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記選択するステップにおいて、前記第１および第２合成テスト音声のうち、より自然に聞こえる方を生成するのに用いたソース・パラメータを選択して前記補間するステップにおいて用いる、請求項１２に記載の方法。
【請求項１４】
前記第１および第２の組のパラメータのそれぞれが、それぞれの組のフォルマント・パラメータを含む、請求項６に記載の方法。
【請求項１５】
前記第１および第２の発音のそれぞれの第１および第２の記録音声サンプルを与えるステップと、
前記第１および第２の組のパラメータを生成するために前記第１および第２音声サンプルを符号化するステップとをさらに含む、請求項６〜１４のいずれか１項に記載の方法。
【請求項１６】
前記各サンプルの波形がテンポを合わせて同期するように、前記符号化するステップの前に、前記第１および第２記録音声サンプルをアライメントするステップをさらに含む、請求項１５に記載の方法。
【請求項１７】
前記合成音声を表す前記データが、請求項６〜１６のいずれか１項に記載の方法を用いて生成される、請求項１〜５のいずれか１項に記載の方法。
【請求項１８】
第１および第２の発音に関する合成音声を表すデータを生成する装置であって、
前記第１の発音の第１記録音声サンプルおよび第２の発音の第２記録音声サンプルを符号化する第１および第２の組のパラメータを受け取りかつ記憶するように構成された入力パラメータ・メモリーと、
前記第１の組のパラメータと前記第２の組のパラメータとの間で補間してまたはそれらから外挿して第３の組のパラメータを生成するように構成された音声計算器と、
前記第３の組のパラメータから前記合成音声データを生成するように構成されたシンセサイザとを備える装置。
【請求項１９】
前記第１および第２の組のパラメータのそれぞれが、それぞれの組のソース・パラメータとそれぞれの組のスペクトル・パラメータとを含み、前記スペクトル・パラメータが、線形予測符号化によって導き出される、請求項１８に記載の装置。
【請求項２０】
それぞれの組のソース・パラメータが、基本周波数と、有声の確率と、振幅の大きさと、それぞれの前記記録音声サンプルの任意のラグにおいて見られる最大の相互相関と、のうちの１つ以上を含む、請求項１９に記載の装置。
【請求項２１】
それぞれの組のスペクトル・パラメータが、それぞれの前記記録音声サンプルの、複数の時間フレームのそれぞれについて計算された複数の反射係数を含む、請求項１９または２０に記載の装置。
【請求項２２】
前記合成音声を表す前記データを生成するために、前記シンセサイザが、線形予測合成を前記第３の組のパラメータに適用するように構成されている、請求項１９〜２１のいずれか１項に記載の装置。
【請求項２３】
前記計算器が、
前記第１の組のパラメータの前記スペクトル係数と第２の組のパラメータの前記スペクトル係数との間で補間するまたはそれらから外挿するように、かつ、
前記第１および第２の組のパラメータのうちの選ばれた一方のみの前記ソース・パラメータを用いるように構成されている、請求項１９〜２２のいずれか１項に記載の装置。
【請求項２４】
さらに、
前記第１の組のパラメータの前記スペクトル・パラメータと前記第２の組のパラメータの前記ソース・パラメータとから、第１テスト合成音声を表すデータを生成するように、
前記第２の組のパラメータの前記スペクトル・パラメータと前記第１の組のパラメータの前記ソース・パラメータとから、第２テスト合成音声を表すデータを生成するように、かつ、
所定の基準に従って前記第１合成テスト音声と前記第２合成テスト音声とを比較することによって、前記補間するステップにおいて用いる前記ソース・パラメータを選択するように構成されている、請求項２３に記載の装置。
【請求項２５】
第１の発音と第２の発音とを区別できるように対象者を訓練するための装置であって、
前記第１および第２の発音からの外挿またはそれらの間の補間によって生成された、前記第１および第２の発音によって画定される変化範囲のそれぞれ外側または内側にある合成音声を表すデータから該合成音声を再生するための再生装置と、
入力装置と、
前記対象者が、前記合成音声と前記第１および第２の発音に関する他のテスト音声とを区別することができるかを、前記入力装置から受け取った信号から判断するための論理回路とを備える装置。
【請求項２６】
前記他のテスト音声もまた、前記第１および第２の発音からの外挿またはそれらの間の補間により生成される、請求項２５に記載の装置。
【請求項２７】
前記論理回路が、前記再生装置に、前記入力装置から受け取った前記信号に応じて、さらなる合成音声を再生させるようにされている、請求項２５に記載の装置。
【請求項２８】
コンピュータ上で実行されたときに、請求項１〜１７のいずれか１項に記載の方法のステップを実行するように構成されたコンピュータ・プログラム命令を含むコンピュータ読取可能媒体。
【請求項２９】
請求項６〜１６のいずれか１項に記載の方法のステップに従って生成された合成音声を表すデータを含むコンピュータ読取可能媒体。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明は、第１および第２の発音に関する合成音声の生成に関し、特に、第１の発音の記録音声サンプルと第２の発音の記録音声サンプルとの間の補間またはそれらからの外挿による、合成音声を表すデータの生成に関する。
【０００２】
音程を用いて対象者の音楽聴き取り能力を訓練することが知られている。ＷＯ９９／３４３４５には、共にすなわち同時に出された異なる基本周波数の２つ以上の楽音を区別する、すなわちそれらの間の高低関係を認識することが対象者に求められる訓練作業が記載されている。
【０００３】
同様の訓練方法が、言語聴き取り能力を訓練するのに使用することができる。英国特許出願第０１０２５９７．２号においては、第１および第２端点音素、例えば／Ｉ／および／ｅ／を、それらの周知の主要なフォルマントから合成する方法が記載されている。音素／Ｉ／および／ｅ／のそれぞれは、それぞれ２９００Ｈｚおよび２０００Ｈｚである同一の上方および中間フォルマントを用いて合成されるが、下方フォルマントは、／Ｉ／に対しては４１０Ｈｚ、／ｅ／に対しては６００Ｈｚである。そして、訓練用の音素の各対は、下方フォルマントの周波数を変化させ、訓練用音素間の差異を減らし、各訓練用音素を区別する対象者の作業をより困難にして合成される。
【０００４】
英国出願０１０２５９７．２号に記載された方法は、適当な、フォルマント・モデル、周波数変化、およびタイミング変化を採用することによって、ある範囲の音素の差異に対して適用することができる。しかし、生成された訓練用音素は必ずしも自然に聞こえるとは限らず、いろいろな、自然に聞こえる音声を得ることは非常に難しい。そのため、そのような音素を用いた訓練の有効性は限られたものとなりうる。さらに、各端点音素の新しい各対を生成し、中間の訓練用音素の範囲を生成する方法を規定するためには、注意深い大量の作業が必要である。
【０００５】
したがって、本発明は、第１および第２の発音に関する合成音声を表すデータを生成する方法であって、
前記第１の発音の第１記録音声サンプルおよび第２の発音の第２記録音声サンプルを符号化する第１および第２の組のパラメータを与えるステップと、
前記第１および第２の組のパラメータの間で補間してまたはそれらから外挿して第３の組のパラメータを生成するステップと、
前記第３の組のパラメータから前記合成音声を生成するステップとを含む方法を提供するものである。
【０００６】
実際の音声からのサンプルを使用することで、多くの利点が実現される。端点音声サンプルのフォルマント構造を解析することも、また、例えば特定のフォルマントを変化させることによる外挿または補間の方法を設計することも必要ない。端点音声サンプルはより実際的であり、広い範囲の異なる第１および第２の発音を容易に用いることができ、それには音素、単語、および他の音が含まれる。このプロセスは自動化するのに適当に簡単であり、またこの方法は、音楽、機械、動物、医療、および他の音のような、音声以外にも拡張しうる。
【０００７】
それぞれの音声サンプルは、一人または幾人かの話者から取ったいくつかのサンプルの平均された発音とすることができる。
【０００８】
記録された音声サンプルは、外挿／補間を可能にする様々な方法で符号化することができる。フーリエまたは他の汎用スペクトル解析を用いることができ、またはフォルマント解析でもよく、手作業でも自動化してもよい。しかし、好ましくは、パラメータを線形予測符号化によって生成する。合成音声は、適当な合成ステップ、例えば線形予測合成またはフォルマント合成のステップを、適宜、外挿または補間されたパラメータに適用することにより生成することができる。
【０００９】
線形予測符号化を用いる場合、第１および第２の組のパラメータは、好ましくは、それぞれの組のソース・パラメータとそれぞれの組のスペクトル・パラメータとを含んでいる。好ましくは、それぞれの音声サンプルのソース・パラメータが、基本周波数と、有声の確率と、振幅の大きさと、それぞれの前記記録音声サンプルの任意のラグにおいて見られる最大の相互相関と、のうちの１つ以上を含み、それぞれのパラメータは、それぞれの記録音声サンプルについて、複数の時間フレームのそれぞれについて導き出される。
【００１０】
好ましくは、それぞれの組のスペクトル・パラメータが、それぞれの前記記録音声サンプルの、複数の時間フレームのそれぞれについて計算された複数の反射係数を含んでいる。
【００１１】
驚くべきことに、スペクトル反射係数の線形補間または外挿により、架空の聴取者の観点から、第１および第２記録音声サンプルに正しく関係する合成音声がもたらされ、そのため、この方法は、テスト音声間の差異を操作することにより対象者を訓練するのに便利である。
【００１２】
好ましくは、前記補間するまたは外挿するステップが、前記第１の組のパラメータの前記スペクトル係数と第２の組のパラメータの前記スペクトル係数との間で補間するまたはそれらから外挿するステップと、前記第１および第２の組のパラメータのうちの選ばれた一方のみの前記ソース・パラメータを用いるステップとを含んでいる。これにより、各端点音をより近接させて組み合わせることによって、聴き取り訓練演習に用いるのに改良された一続きの中間の合成音声がもたらされる。使用するソース・パラメータは、前記第１の組のパラメータの前記スペクトル・パラメータと前記第２の組のパラメータの前記ソース・パラメータとから、第１テスト合成音声を生成することにより；前記第２の組のパラメータの前記スペクトル・パラメータと前記第１の組のパラメータの前記ソース・パラメータとから、第２テスト合成音声を生成することにより；かつ、所定の基準に従って前記第１合成テスト音声と前記第２合成テスト音声とを比較することによって、前記補間するステップにおいて用いた前記ソース・パラメータを選択することにより、選択することができる。
【００１３】
好ましくは、前記選択するステップにおいて、前記第１および第２合成テスト音声のうち、より自然に聞こえる方を生成するのに用いるソース・パラメータを選択して前記補間するステップにおいて用いる。
【００１４】
単一の選択された組のソース・パラメータは、第１および第２の発音に差異がないときにのみ適当でありうる。それらに差異があるとき、例えば異なる音声パターンを有するときは、２つの記録音声サンプルのソース・パラメータの補間／外挿を用いることができる。
【００１５】
好ましくは、この方法は、前記第１および第２の発音のそれぞれの第１および第２の記録音声サンプルを与えるステップと、前記第１および第２の組のパラメータを生成するために前記第１および第２音声サンプルを符号化するステップとをさらに含んでいる。例えば聴き取り訓練の目的で、選択ソース・パラメータ等の、結果として得られたパラメータおよび関連するデータを、中間のまたは外挿された合成音声を生成するステップを実行するコンピュータ・パッケージソフトウエアで使用するのに供する、事前段階としてこれらのステップを実行することができる。
【００１６】
好ましくは、本方法は、前記各サンプルの波形がテンポを合わせて同期するように、符号化する前に、前記第１および第２記録音声サンプルをアライメントするステップをさらに含んでいる。他の前処理ステップを適用することもできる。
【００１７】
本発明はまた、第１の発音と第２の発音とを区別できるように対象者を訓練する方法であって、
第１および第２の発音からの外挿により、前記第１および第２の発音によって画定される変化範囲の外側にある合成音声を生成するステップと、
前記対象者が、前記合成音声と前記第１および第２の発音に関する他のテスト音声とを区別することができるかを判断するステップとを含む方法を提供するものである。合成音声は、上記提示された方法のいずれによっても生成することができる。まさに第１の発音と第２の発音との間にある範囲の外側に外挿することで生成されたテスト音を供することにより、これらの発音の間の差異が強調され、それにより対象者に適切な区別を指導するのを支援することとなる。
【００１８】
好ましくは、前記他のテスト音声もまた、前記第１および第２の発音からの外挿により生成される。
【００１９】
本発明はまた、上記提示された方法のいずれをも実行するよう動作可能なコンピュータ・プログラム命令を含むコンピュータ読取可能媒体、上記提示された方法のいずれをも実行するようにされた手段を備える装置、および上記の方法のいずれかのステップを用いて生成された合成音声を表すまたは符号化するデータが書き込まれたコンピュータ読取可能媒体をも提供するものである。本発明はまた、上記の方法の適切なステップを実行するための装置をも提供するものである。
【００２０】
次に、本発明の実施形態を、単に例示の目的で、添付の図面を参照して説明する。
【００２１】
本発明の実施形態は、２つの発音の間、例えば「ベー（bee）」と「デー（dee）」との間の音素の差異を例示する２つの記録音声サンプルを作成することを可能にし、また、この２つの音声サンプルに関する合成音声の生成を可能にするものである。特定言語の聴き取り訓練作業のために必要とされる間隔および範囲を有する、２つの音声サンプルの中間および／またはそれらを越えて広がる、単一、複数または連続した合成音声を生成することができる。
【００２２】
本発明の好ましい実施形態を図１に示す。対象者が話す２つの発音の例が、適当な、例えば１１０２５Ｈｚといったサンプリングレートで、かつ、第１および第２記録音声サンプル１４および１６を生成するための所望の音響出力の忠実さに見合った、例えば１６ビットといった振幅分解能で、記録１０およびデジタル化１２される。記録された音声サンプルは、各ファイルの音を、テンポを合わせてお互いと正確に同期させるように、かつ、それらの振幅を、後続のステップにおいて数値オーバーフローが起こらないようにスケール変更するようにして、ステップ２０で手作業で編集する。
【００２３】
同期され、スケール変更された音声サンプルは、それから、複数の音響学的パラメータに符号化２２され、これらの音響学的パラメータは、オリジナルの音声サンプルに非常に似た音声サンプルを合成するのに後で用いることができるようなものである。好ましい実施形態においては、符号化は、線形予測分析を用いて実行される。これは、音声信号符号化のために広く用いられている技術である。一般的な議論については、Schroeder, M. R.のLinear Predictive Coding of Speech(1985)：Review and Current Directions, IEEE Communications Magazine 23 (8), 54-61を、また、具体的なアルゴリズムについては、Press, W. H.らのNumerical Recipes in C (1992)：The Art of Scientific Computing, Second Edition, Cambridge University Pressを参照。本発明者らが用いた線形予測符号化のツールは、Entropics Corporation（Washington DC）により配布されたＥＳＰＳ信号処理システムからのものであった。
【００２４】
好ましい実施形態においては、各音声サンプルは、一組のソース・パラメータ３０、３２と、一組のスペクトル・パラメータ３４、３６とを与えるように符号化される。ソース・パラメータ３０、３２は、Kleijn, W. B.とPaliwal, K. K.編集の"Speech coding and synthesis", Elsevier, New York中のTalkin, D.の"A robust algorithm for pitch tracking (RAPT) " (1995)に記載されているＥＳＰＳのget_f0ルーチンを用いて得られる。ソース・パラメータ３０、３２は、例えば、音の部分のラウドネスおよび基本周波数を定めるため、および、その部分が有声音であるか無声音であるかを定めるために必要とされる。本実施形態で用いられるソース・パラメータには、音声サンプルの基本周波数の推定値、有声の確率（その音声が有声音であるか無声音であるかの推定量）、局所二乗平均平方根信号振幅、および、任意のラグにおいて見られる最大の相互相関が含まれる。ソース・パラメータは、１３．６ｍｓの各符号化時間フレームにおいて１回という、適切な速度で更新する。
【００２５】
好ましい実施形態のスペクトル・パラメータ３４、３６には、Childers, D. G.編集のModern Spectral Analysis, IEEE Press (1978), New YorkにリプリントされたBurg, J. P. (1968) の方法を用いて計算された、各時間フレームにつき１７の反射係数が含まれる。０．９５のプリエンファシス係数を入力信号に対して適用した。
【００２６】
第１および第２記録音声サンプル１４および１６の符号化２２から与えられるソース・パラメータおよびスペクトル・パラメータは、例えば、Markel, J. D.とA. H. Gray Jr. "Linear Prediction of Speech", Springer-Verlag (1976), New Yorkにおいて議論されているように、線形予測合成を用いて、記録された音声サンプルの合成の複製を生成するのに用いることができる。好ましい実施形態においては、Talkin D.とJ. Rowley "Pitch-Synchronous analysis and synthesis for TTS systems" (1990)：G. BaillyとC. Benait 編集のProceedings of the ESCA Workshop on Speech Synthesis, Grenable, France: Institut de la Communication Parleeに記載されている、ＥＳＰＳ線形予測合成ルーチン「lp_syn」を用いて、符号化されたパラメータから合成する。
【００２７】
聴き取り能力訓練に適した、第１記録音声サンプルと第２記録音声サンプルとの間の補間またはそれらからの外挿を提供するために、生成される出力合成音声の範囲の全てに対して同じソース・パラメータ値３０または３２を用いることが好ましい。この目的を達するために、第２音声サンプルのソース・パラメータ３２とともに第１音声サンプル１４のスペクトル・パラメータ３４を用いて第１テスト合成音声を合成し、第１音声サンプル１４のソース・パラメータ３０とともに第２音声サンプル１６のスペクトル・パラメータ３６を用いて第２テスト合成音声を合成する。２つのテスト音声の聴覚による検査を用いて、主観的に、どちらがより自然に聞こえるかを判断する。２つのテスト音声のうち、より自然に聞こえる方のソース・パラメータをステップ４０で選択し、所望の範囲全域にわたって補間または外挿された合成音声を合成するのに用いる。このプロセスの自動化にさらに好適な代替例として、ソース・パラメータの各組のうちの１つを任意に選択することも、または、２つの組の間の補間／それらからの外挿あるいはそれら２つの組の単一の平均を用いることもできる。実際、２つの発音が対照的、例えば１つが有声音であり、他方が無声音である場合には、１組のソース・パラメータを用いるのは不適当でありうる。これらのような場合には、２つの組のソース・パラメータの間の外挿／補間が好ましいであろう。
【００２８】
第１音声サンプル１４のスペクトル・パラメータ３４と第２音声サンプル１６のスペクトル・パラメータ３６との中間の１つ以上の合成音声４４に対するスペクトル・パラメータ４４は、２組のスペクトル・パラメータ３４、３６の間の補間４２によって、好ましくは、線形補間によって形成される。代わりに、または加えて、第１音声サンプル１４と第２音声サンプル１６との間の自然変動範囲の外側にある合成音声に対するスペクトル・パラメータ４４は、２組のスペクトル・パラメータ３４、３６からの適当な外挿、好ましくは線形外挿によって生成することができる。
【００２９】
補間されたスペクトル・パラメータ４４は、出力合成音声６０を表すデータを生成するための線形予測合成５０のステップにおいて、選択されたソース・パラメータ４６と組み合わせて用いる。複数のそのような出力音声を、聴き取り能力訓練または他の応用で用いるために、各端点の間でおよび／またはそれらを越えて離散間隔で生成することができる。
【００３０】
本発明の他の実施形態においては、発音音声サンプルの処理を予め行い、その符号化された音声サンプルを、上記の補間および／または外挿を実行するように、かつ結果として得られる合成音声を望み通りに生成するようにされたソフトウエアで利用可能とする。このソフトウエアは、合成音声を再生するための音響再生機能を備えた従来のパーソナルコンピュータで用いる、例えばＣＤＲＯＭで提供された聴き取り訓練ソフトウエアに組み込むことができる。
【００３１】
上記の方法は、多くのやり方で変更することができる。線形予測符号化を用いて第１および第２記録音声サンプルを符号化する代わりに、サンプルのフォルマント合成パラメータは、音響学的解析を用いて、またはフォルマント規則合成プログラムを用いて得ることができる。好適な音響学的解析は、Coleman, J. S.とA. Slaterの"Estimation of parameters for the Klatt formant synthesiser" (2001)：R. Damper編集の"Data Mining Techniques in Speech Synthesis", Kluver, Boston, USA, pp215-238において論じられている。好適なフォルマント規則合成プログラムは、Dirksen, AとJ. S. Colemanの"All-Prosodic Synthesis Architecture" (1997)：J. P. H. Van Santenら編集の"Progress in Speech Synthesis", Springer-Verlag, New York, pp91-108において論じられている。そして、中間のフォルマント・パラメータは、補間および／または外挿によって導き出すことができ、結果として得られる音声信号はフォルマント・シンセサイザによって合成される。他の音声および音響信号の符号化手法も同様に用いることができる。
【００３２】
この方法は、複数の手作業のステップを含んでも、また完全に自動化してもよく、いずれの場合にも、適当なコンピュータ・ハードウエア装置および１つ以上のコンピュータ・システムに組み込まれたソフトウエアによって実行または支援される。このソフトウエアは、適宜、１つ以上の、ＣＤＲＯＭのようなコンピュータ読取可能な媒体上に書き込まれている。
【００３３】
次に、上記のような合成音声を言語聴き取り能力訓練に用いることを説明する。一方の端点の発音すなわち音素から他方への推移を形成する１組の音声を用いる。この１組の音声は、上記のように、符号化した実際の音声サンプルの間の補間および／またはそれらを越えた外挿によって生成することができ、または、フォルマント合成のような他の技術を用いて生成することもできる。対象者は、まず、実際のまたは端点の各音素を区別するように訓練を受け、彼らの成績が向上するにつれて、より互いに近接した各音声のさらに困難な区別へと進む。訓練は、２つの音素間の境界に集中していく。
【００３４】
／Ｉ／から／ｅ／に推移する１組の音声の各端点を図２に示す。上方および中間のフォルマントは、推移を通してそれぞれ２９００Ｈｚおよび２０００Ｈｚにとどまり、一方下方のフォルマントは４１０Ｈｚと６００Ｈｚとの間で変化する。／Ｉ／から／ｅ／に推移する１組の９６の音声を図３に示すが、ここでは下方フォルマントの周波数を、横軸の音声の組のインデックスに対して縦軸にプロットしている。最初の訓練ステップは、５０５Ｈｚ近辺の判断に向けての訓練用推移で、下方フォルマントが４１０Ｈｚおよび６００Ｈｚの周波数を有する各音声間を区別することである。例えば本明細書中に記載された方法を用いて、任意の組もしくは対の音素または他の発音に同じ原理を適用し中間の音声を生成することができる。
【００３５】
図２および図３に例示した訓練方法は有効であるが、実際の各音素または他の各端点を越える範囲の段差に拡張することで、また、実際の音素すなわち発音の辺りでより集中的に訓練することで改善しうる。図４は、端点／Ｉ／および／ｅ／の音素の間の、外挿によりそれを越えて延びる推移を形成する１組の音素を例示しており、再び、下方フォルマントの周波数が縦軸としてプロットされている。訓練は、訓練用の組の端点から始まり、下方フォルマントは、４１０Ｈｚおよび６００Ｈｚではなく、３１４Ｈｚおよび６９６Ｈｚの周波数を有している。図３のものと音声の数を同じに保つために、下方フォルマントの周波数の刻み幅は増やしている。このタイプの訓練は、図３に示した方法を用いることができない対象者に対して好適であり得るが、これは、２つの音素の間の差異が、訓練の開始時には誇張されているからである。しかし、誇張された各音素は、外挿が極端すぎると、非常に自然には、すなわち実際の音声に似ては聞こえないかも知れない。
【００３６】
中央の／ｅ／音素の両側に延びる推移を形成する１組の音声を、下方フォルマントの周波数を縦軸にプロットした図５に示す。／ｅ／音素から離れた延長部は、他の基準音素すなわち発音（今の場合は／Ｉ／）へ向けての補間またはそれから離れた外挿により定められる。基準音素は、音声の組の一部を形成している必要はなく、図５においてはこのグラフから離れている。訓練は、訓練が実際の音素すなわち発音に集中するように、音声の組の端点から始まり、その組の中央での各音の間の区別へと進む。
【００３７】
図６は、図４および図５に示したものの特徴を組み合わせた１組の音声を示している。／ｅ／音素が訓練用の組の中央にあり、この組は、一方の方向においては、／Ｉ／へと延び、他方の方向においては、縦軸にプロットされた下方フォルマントの非常に高い周波数へと延びている。
【００３８】
既に述べた方法に従って、第１および第２の発音に関する合成音声を表すデータを生成するための装置１００を、図７に示す。入力パラメータ・メモリー１０２は、第１の発音の第１記録音声サンプル１４と第２の発音の第２記録音声サンプル１６とからエンコーダ１０４によって生成された第１の組のパラメータ３０、３２および第２の組のパラメータ３４、３６を受け取り、記憶する。計算器要素１０６は、第１および第２の組のパラメータの間を補間してまたはそれらから外挿して第３の組のパラメータ４４および４６を生成するようにされており、これらは出力パラメータ・メモリー１０８に記憶されるものである。それからシンセサイザ要素１１０は、第３の組のパラメータから合成音声データ６０を生成する。通常、本装置は、適当な入出力装置を備えたパーソナルコンピュータのような、周知の多目的コンピュータを用いて実施することができる。
【００３９】
本装置はさらに、ソフトウエアを用いて実現し得る適当な処理要素を用いて既に述べた方法のステップのいずれをも実行するように構成することができる。代替例として、本装置は、エンコーダ要素１０４および／またはシンセサイザ要素１１０を取り除いて、代わりに、適当なシンセサイザ要素を含む別個の装置によって後で用いるための音声パラメータを出力してもよい。本装置は、対応する入力された記録音声サンプルすなわち発音の対から、ある範囲の第３の組のパラメータおよび／または合成音声を生成するように構成することができる。
【００４０】
合成音声は、例えば既に述べたように、図８に示したような装置を用いて、対象者を訓練またはテストするのに用いることができる。上記のように同時に生成されたまたは生成される合成音声は、再生装置１２０を用いて再生する。例えば再生装置１２０を用いて再生される２つの音が同じであるか否かを判断する時の、対象者１２２の応答は、コンピュータのキーボード、ポインター装置、または他のスイッチ装置のような入力装置１２４を用いて受け取られる。受け取られた応答は、論理回路１２６が用いて、合成すなわち生成、および再生装置１２０によるさらなる音声の再生を制御し、訓練またはテストが望み通りに進むことを可能とする。
【図面の簡単な説明】
【００４１】
【図１】２つの記録音声サンプルの間で補間されたまたはそれらから外挿された合成音声を生成するための方法のステップを示している。
【図２】／Ｉ／および／ｅ／の音素のフォルマント構造を示している。
【図３】／Ｉ／および／ｅ／の音素に基づいて聴き取り能力を訓練するためのデータの組の、合成音声ファイル（横軸）対下方フォルマント周波数（縦軸）のグラフである。
【図４】／Ｉ／および／ｅ／の音素に基づいて聴き取り能力を訓練するためのデータの組の、合成音声ファイル（横軸）対下方フォルマント周波数（縦軸）のグラフである。
【図５】／Ｉ／および／ｅ／の音素に基づいて聴き取り能力を訓練するためのデータの組の、合成音声ファイル（横軸）対下方フォルマント周波数（縦軸）のグラフである。
【図６】／Ｉ／および／ｅ／の音素に基づいて聴き取り能力を訓練するためのデータの組の、合成音声ファイル（横軸）対下方フォルマント周波数（縦軸）のグラフである。
【図７】合成音声を生成するための装置を示している。
【図８】合成音声を用いて対象者を訓練またはテストするための装置を示している。
【図１】
2005524118.tif 000003
【図２】
2005524118.tif 000004
【図３】
2005524118.tif 000005
【図４】
2005524118.tif 000006
【図５】
2005524118.tif 000007
【図６】
2005524118.tif 000008
【図７】
2005524118.tif 000009
【図８】
2005524118.tif 000010
【国際調査報告】
2005524118.tif 000011
2005524118.tif 000012
2005524118.tif 000013