(57)【要約】【課題】ＴＴＳ（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ）システムによる音声信号出力の韻律変更を利用して、音声自動応答（ＩＶＲ）システムによる音声信号の理解の防止を、音声信号を人間による理解に関して実質的に劣化させずに行う方法および装置を提供すること。【解決手段】本発明は、音声出力信号の韻律の変更を、プロンプトに対するユーザの応答の韻律を使用することによって行うものである。さらに、ランダムに生成したオーバーレイ周波数を使用して音声信号を変更して、ＩＶＲシステムがＴＴＳ出力を認識するのをさらに防止する。ランダムに生成した周波数の変更を、ランダムな周波数信号を所定のインターバルで変更するオーバーレイ・タイマを使用して、定期的に行うことができる。【選択図】図５
2006106741.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を生成する方法であって、
音声信号の少なくとも１つの韻律特徴を韻律サンプルに基づいて変更する工程と、
変更した音声信号を出力する工程であって、前記変更した音声信号は前記少なくとも１つの変更した韻律特徴を含み、これにより、音声認識システムが前記変更した音声信号を理解することを防ぐ工程と
を含む方法。
【請求項２】
韻律サンプルを得る前記工程が、
ユーザに情報に対するプロンプトを出す工程と、
ユーザの応答から韻律サンプルを得る工程と
をさらに含む、請求項１に記載の音声信号を生成する方法。
【請求項３】
前記音声信号を変更する前記工程が、前記音声信号を前記韻律サンプルで変更して韻律変更音声信号を作成する工程をさらに含む、請求項２に記載の音声信号を生成する方法。
【請求項４】
前記音声信号を変更する前記工程が、
ランダムな周波数信号を生成する工程と、
ランダムな周波数信号を前記韻律変更音声信号上へとオーバーレイして前記変更した音声信号を生成する工程と、
前記変更した音声信号を出力する工程と
をさらに含む、請求項３に記載の音声信号を生成する方法。
【請求項５】
前記音声信号を変更する前記工程が、
（ａ）受理可能な周波数レンジを得る工程と、
（ｂ）ランダムな周波数信号を計算する工程と、
（ｃ）前記ランダムな周波数信号を前記受理可能な周波数レンジと比較する工程と、
（ｄ）工程（ａ）〜（ｃ）の実行を、前記受理可能な周波数レンジの範囲内にない前記計算したランダム周波数信号に応答して行う工程と、
（ｅ）前記ランダム周波数信号の前記音声信号上へのオーバーレイを、前記受理可能な周波数レンジの範囲内にある前記ランダム周波数信号に応答して行う工程と
をさらに含む、請求項３に記載の音声信号を生成する方法。
【請求項６】
オーバーレイ・タイマを初期化する工程であって、前記オーバーレイ・タイマは所定の時間に時間切れになるように適合されている工程と、
前記オーバーレイ・タイマが時間切れになっているかどうかを決定する工程と、
前記変更した音声信号の出力を、周波数オーバーレイ・サブシステムにより、時間切れになっていない前記オーバーレイ・タイマに応答して行う工程と、
前記ランダムな周波数信号の再計算を、オーバーレイ・タイマの最初の時間切れに応答して行う工程と
をさらに含む、請求項５に記載の音声信号を生成する方法。
【請求項７】
前記ランダムな周波数信号の再計算が、
（ａ）第１の乱数を得る工程と、
（ｂ）変動性パラメータを計測する工程と、
（ｃ）第２の乱数を前記変動性パラメータと等しいと置く工程と、
（ｄ）前記第１の乱数を前記第２の乱数によって割って商を生成する工程と、
（ｅ）前記商が受理可能な周波数レンジの範囲内にあるかどうかを決定する工程と、
（ｆ）工程（ａ）〜（ｄ）を、前記商が前記受理可能な周波数レンジの範囲内にあるまで実行する工程と、
（ｇ）前記商を前記ランダムな周波数信号に等しいと置くことを、前記商が前記受理可能な周波数レンジの範囲内にあることに応答して行う工程と
をさらに含む、請求項６に記載の音声信号を生成する方法。
【請求項８】
前記第２の乱数が、計測した外部の周囲温度を含む、請求項７に記載の音声信号を生成する方法。
【請求項９】
前記第２の乱数が、外部の風速を含む、請求項８に記載の音声信号を生成する方法。
【請求項１０】
結果となるランダムな周波数信号の数を小数点第５位にまるめる、請求項９に記載の音声信号を生成する方法。
【請求項１１】
受理可能な周波数レンジが、人間の可聴域の範囲内にある、請求項５に記載の音声信号を生成する方法。
【請求項１２】
受理可能な周波数レンジが、２０Ｈｚと８，０００Ｈｚの間にある、請求項１１に記載の音声信号を生成する方法。
【請求項１３】
受理可能な周波数レンジが、１６，０００Ｈｚと２０，０００Ｈｚの間にある，請求項１１に記載の音声信号を生成する方法。
【請求項１４】
音声信号を生成し、音声認識システムによる音声信号の理解を防止する方法であって、
テキスト・ファイルにアクセスする工程と、
ＴＴＳ（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ）合成器を利用して前記テキスト・ファイルから音声信号を生成する工程と、
ユーザに情報に対するプロンプトを出す工程と、
前記ユーザの応答を保存する工程と、
前記ユーザの応答から韻律サンプルを得る工程と、
前記音声信号を、前記ユーザの応答から得た前記韻律サンプルで変更する工程と、
韻律変更音声信号を出力する工程と
を含む方法。
【請求項１５】
前記音声信号を変更する工程が、
ランダムな周波数信号を生成する工程と、
前記ランダムな周波数信号を前記韻律変更音声信号上へとオーバーレイして前記変更した音声信号を生成する工程と、
前記変更した音声信号を出力する工程と
をさらに含む、請求項１４に記載の音声信号を生成し、音声認識システムによる音声信号の理解を防止する方法。
【請求項１６】
前記音声信号を変更する工程が、
（ａ）受理可能な周波数レンジを得る工程と、
（ｂ）ランダムな周波数信号を計算する工程と、
（ｃ）前記ランダムな周波数信号を前記受理可能な周波数レンジと比較する工程と、
（ｄ）工程（ａ）〜（ｃ）の実行を、前記受理可能な周波数レンジの範囲内にない前記計算したランダム周波数信号に応答して行う工程と、
（ｅ）前記ランダム周波数信号の前記音声信号上へのオーバーレイを、前記受理可能な周波数レンジの範囲内にある前記ランダム周波数信号に応答して行う工程と
をさらに含む、請求項１５に記載の音声信号を生成し、音声認識システムによる音声信号の理解を防止する方法。
【請求項１７】
オーバーレイ・タイマを初期化する工程であって、前記オーバーレイ・タイマは所定の時間に時間切れになるように適合されている工程と、
前記オーバーレイ・タイマが時間切れになっているかどうかを決定する工程と、
前記変更した音声信号の出力を、周波数オーバーレイ・サブシステムにより、時間切れになっていない前記オーバーレイ・タイマに応答して行う工程と、
前記ランダムな周波数信号の再計算を、オーバーレイ・タイマの最初の時間切れに応答して行う工程と
をさらに含む、請求項１６に記載の音声信号を生成し、音声認識システムによる音声信号の理解を防止する方法。
【請求項１８】
前記ランダムな周波数信号の再計算が、
（ａ）第１の乱数を得る工程と、
（ｂ）変動性パラメータを計測する工程と、
（ｃ）第２の乱数を前記変動性パラメータと等しいと置く工程と、
（ｄ）前記第１の乱数を前記第２の乱数によって割って商を生成する工程と、
（ｅ）前記商が受理可能な周波数レンジの範囲内にあるかどうかを決定する工程と、
（ｆ）工程（ａ）〜（ｄ）を、前記商が前記受理可能な周波数レンジの範囲内にあるまで実行する工程と、
（ｇ）前記商を前記ランダムな周波数信号に等しいと置くことを、前記商が前記受理可能な周波数レンジの範囲内にあることに応答して行う工程と
をさらに含む、請求項１７に記載の音声信号を生成し、音声認識システムによる音声信号の理解を防止する方法。
【請求項１９】
前記第２の乱数が、計測した外部の周囲温度を含む、請求項１８に記載の音声信号を生成し、音声認識システムによる音声信号の理解を防止する方法。
【請求項２０】
前記第２の乱数が、外部の風速を含む、請求項１９に記載の音声信号を生成し、音声認識システムによる音声信号の理解を防止する方法。
【請求項２１】
結果となるランダムな周波数信号の数を小数点第５位にまるめる、請求項２０に記載の音声信号を生成し、音声認識システムによる音声信号の理解を防止する方法。
【請求項２２】
受理可能な周波数レンジが、人間の可聴域の範囲内にある、請求項１６に記載の音声信号を生成し、音声認識システムによる音声信号の理解を防止する方法。
【請求項２３】
受理可能な周波数レンジが、２０Ｈｚと８，０００Ｈｚの間にある、請求項２２に記載の音声信号を生成し、音声認識システムによる音声信号の理解を防止する方法。
【請求項２４】
受理可能な周波数レンジが、１６，０００Ｈｚと２０，０００Ｈｚの間にある、請求項２２に記載の音声信号を生成し、音声認識システムによる音声信号の理解を防止する方法。
【請求項２５】
音声認識システムによる音声信号の理解を低減する装置であって、
音声信号および韻律サンプルを入力するように適合され、前記音声信号と結び付いた少なくとも１つの韻律特徴の変更を、前記韻律サンプルに従って行う韻律変更器と、
変更した音声信号を生成するように適合され、前記変更した音声信号は前記少なくとも１つの変更した韻律特徴を含む韻律変更器出力デバイスと
を含む装置。
【請求項２６】
前記変更した音声信号上へとオーバーレイするためのランダムな周波数信号を生成する周波数オーバーレイ・サブシステムをさらに含む、請求項２５に記載の音声認識システムによる音声信号の理解を低減する装置。
【請求項２７】
前記周波数オーバーレイ・サブシステムが、所定の時間に時間切れしてランダムな周波数の生成を指示するように適合されたオーバーレイ・タイマをさらに含む、請求項２６に記載の音声認識システムによる音声信号の理解を低減する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般には、ＴＴＳ（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ、テキスト−音声）合成システムに関し、より詳細には、ＴＴＳシステムの出力を生成および修正して、音声自動応答（ＩＶＲ、ｉｎｔｅｒａｃｔｉｖｅ  ｖｏｉｃｅ  ｓｙｓｔｅｍ）システムがＴＴＳシステムからの音声出力を理解するのを防ぎながら、ＴＴＳのユーザにはその音声出力が理解可能になるようにするための方法および装置に関する。
【背景技術】
【０００２】
ＴＴＳ（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ、テキスト−音声）合成技術により、マシンには、機械可読テキストを聴取可能な音声へと変換する能力が備えられる。ＴＴＳ技術は、コンピュータ・アプリケーションが人と通信する必要があるときに有用である。録音した声による指示（ｐｒｏｍｐｔ）でもしばしばこの必要は満たされるが、このアプローチでは、提供される柔軟性が限られ、大量のアプリケーションでは非常に高く付く可能性がある。したがって、ＴＴＳは、一般のビジネス（株価）およびスポーツの情報の提供、ならびに、電子メールまたはインターネットからのＷｅｂページの読み上げを電話を介して行う電話サービスでは、特に有用である。
【０００３】
音声合成では、技術的に厳しい要求が課されるが、これは、ＴＴＳシステムでは、音声を理解可能にする総称的（ｇｅｎｅｒｉｃ）および音声学的な特徴とともに、音声を人間らしいものにする特異的（ｉｄｉｏｓｙｎｃｒａｔｉｃ）および音響的な特徴もモデル化しなければならないためである。文字になった（ｗｒｉｔｔｅｎ）テキストは音声学的情報を含んでいるが、感情の状態や表す声質、ムード（ｍｏｏｄｓ）、および強調または態度の変種は、大部分が表示されていない。たとえば、声域（ｒｅｇｉｓｔｅｒ）、アクセンチュエーション、イントネーション、および話し方（ｄｅｌｉｖｅｒｙ）の速さを含む韻律の諸要素は、文字になったテキストにはまれにしか表示されない。しかし、こうした特徴がない場合、合成された音声は、不自然で単調なものになってしまう。
【０００４】
文字になったテキストから音声を生成することは、本質的に、テキスト上のおよび言語学的な分析および合成を含んでいる。最初のタスクでは、テキストを言語学的表示へと変換するが、これは、音素（ｐｈｏｎｅｍｅ）およびその持続時間、フレーズ境界の場所、ならびにフレーズごとのピッチおよび周波数の曲線を含んでいる。合成では、音響波形または音声信号が、言語学的分析から提供される情報から生成される。
【０００５】
音声認識と生成をどちらも電気通信アプリケーションの内部に含む従来の顧客対応システム１０の構成図を、図１に示している。ユーザ１２は、通常、声の信号２２を自動化顧客対応システム１０に入力する。声の信号２２の分析が、自動音声認識（ＡＳＲ）サブシステム１４で行われる。ＡＳＲサブシステム１４では、話された語をデコードし、それらを音声言語理解（ＳＬＵ、ｓｐｏｋｅｎ  ｌａｎｇｕａｇｅ  ｕｎｄｅｒｓｔａｎｄｉｎｇ）サブシステム１６へと入力する。
【０００６】
ＳＬＵサブシステムのタスクは、語の意味を抽出することである。たとえば、「Ｉ  ｎｅｅｄ  ｔｈｅ  ｔｅｌｅｐｈｏｎｅ  ｎｕｍｂｅｒ  ｆｏｒ  Ｊｏｈｎ  Ａｄａｍｓ」（ジョン・アダムズの電話番号をお願いします）という複数の語は、ユーザ１２がオペレータの助けを必要としていることを意味する。次いで、ダイアログ管理サブシステム１８は、好ましくは、電話をかける人物の市および州を決定することなど、顧客対応システム１０の取るべき次の動作を決定し、ＴＴＳサブシステム２０に、「Ｗｈａｔ  ｃｉｔｙ  ａｎｄ  ｓｔａｔｅ  ｐｌｅａｓｅ？」（州と市をどうぞ）という質問を合成するように指示する。次いで、この質問を、ユーザ１２への音声信号２４として、ＴＴＳサブシステム２０から出力する。
【０００７】
音声を合成するためのいくつかの異なる方法があるが、各方法は、調音合成、フォルマント合成、または波形接続型合成（ｃｏｎｃａｔｅｎａｔｉｖｅ  ｓｙｎｔｈｅｓｉｓ）に分類することができる。調音合成では、周期的および帯気的な駆動源（ｅｘｃｉｔａｔｉｏｎ）を生成する声門や、動的な声道のモデルなど、音声生成の生体力学的な計算モデルを使用する。調音合成器は、通常、舌、唇、声門などの調音器官のシミュレートされた筋肉の動作によって制御される。また、調音合成器では、時変の３次元差分方程式を解いて合成音声出力を計算する。しかし、調音合成では、計算の要求が高いことに加えて、自然に聞こえる流暢な音声が得られない。
【０００８】
フォルマント合成では、１組の規則を使用して、音源または声門がフィルタまたは声道から独立であると仮定する非常に単純化した音源フィルタ・モデルを制御する。フィルタの決定は、フォルマント周波数や帯域幅などの制御パラメータによって行われる。フォルマントは、特定の共振と結び付いており、これは声道のフィルタ特性のピークとして特徴付けられる。音源では、周期音に対応する様式化した声門パルスまたは他のパルス、または帯気音に対応する雑音が生成される。フォルマント合成では、理解可能であるが完全には自然に聞こえない音声が生成され、メモリの要求が低く計算の要求が中程度であるという利点がある。
【０００９】
波形接続型合成では、録音された音声の部分を使用する。これは、録音から切り出され、符号化していない波形、または適切な音声符号化方法で符号化したものとしてインベントリまたは声のデータベースに格納されている。要素となる単位または音声セグメントは、たとえば、母音または子音である単音（ｐｈｏｎｅ）、あるいは、ある単音の後半および次の単音の前半を包含する単音から単音への遷移であるダイフォン（ｄｉｐｏｈｎｅ）である。ダイフォンは、母音から子音への遷移と考えることもできる。
【００１０】
波形接続型合成では、しばしば、半音節（ｄｅｍｉ−ｓｙｌｌａｂｌｅ）が使用されるが、これは、半音節または音節から音節への遷移であり、ダイフォンの方法が音節の時間スケールに適用される。次いで、対応する合成プロセスでは、声のデータベースから選択した単位を結合し、自由選択の復号化の後で、結果としての音声信号を出力する。波形接続型システムではあらかじめ録音された音声の部分を使用するため、この方法が最も自然に聞こえるものと見込まれる。
【００１１】
元の音声の部分のそれぞれは、それと結び付いた韻律曲線を有しており、これは、話者のピッチおよび持続時間を含む。しかし、データベース内の異なる発話から生じる自然な音声の小部分を接続するとき、結果となる合成音声は、語中のイントネーションおよびストレスの知覚に役立つ、自然に聞こえる韻律からは依然としてかなり異なっている可能性がある。
【００１２】
こうした差異の存在にもかかわらず、図４に示す従来型のＴＴＳサブシステム２０から出力される音声信号２４は音声認識システムによって容易に認識可能である。これは、最初は利点となるように見えるが、実際にはこれから、セキュリティ違反、情報の業務上横領、およびデータ完全性（ｉｎｔｅｇｒｉｔｙ）の喪失をもたらす可能性のある重大な欠点が生じることになる。
【００１３】
たとえば、図１に示す顧客対応システム１０が、図２に示すような自動化バンキング・システム１１であり、ユーザ１２は自動化された音声自動応答（ＩＶＲ）システム１３に置き換わっており、これはＴＴＳサブシステム２０とのインターフェースには音声認識を、音声認識サブシステム１４とのインターフェースに合成音声生成を利用していると仮定する。話者依存の認識システムでは、個々の話者の間の変動への適合のためにトレーニング期間が必要である。しかし、ＴＴＳサブシステム２０から出力される音声信号２４は、すべて通常は同じ声であり、したがって、ＩＶＲシステム１３には同じ人物から発話されているものに見え、このことがその認識プロセスをさらに促進させてしまう。
【００１４】
ＩＶＲシステム１３を、自動化バンキング・システム１１から得た情報を収集および／または変更するアルゴリズムと統合することにより、潜在的なセキュリティ違反、信用詐欺、資金の業務上横領、情報の認可されない変更などに対して、大規模に、容易に手段が提供され得るはずである。以上の考察から見て、ＴＴＳシステムから利用可能な情報に対するアクセスを安全なものにすることへの増大する要求に対処する方法およびシステムが必要とされている。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明の一目的は、少なくとも１つの韻律特徴が韻律サンプルに基づいて変更される音声信号を生成するための方法および装置を提供することである。
本発明の一目的は、ＴＴＳ（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ、テキスト−音声）システムの出力する音声信号を音声自動応答（ＩＶＲ）システムが理解することを実質的に防止する方法および装置を提供することである。
【００１６】
本発明の別の目的は、ＩＶＲシステムの引き起こす、セキュリティ違反、情報の業務上横領、およびＴＴＳシステムから利用可能な情報の変更を実質的に減少させるための方法および装置を提供することである。
【００１７】
本発明のまた別の目的は、ＴＴＳシステムの出力する音声信号をＩＶＲシステムが理解することを実質的に防止するが、人間による理解に関して音声信号を実質的に劣化させない方法および装置を提供することである。
【課題を解決するための手段】
【００１８】
好ましい特徴の一部を組み込んだ本発明の一形式によれば、音声認識システムによる音声信号の理解および／または認識を防止する方法は、ＴＴＳサブシステムで音声信号を生成する工程を含む。ＴＴＳ（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ）合成器は、市場で容易に入手可能なプログラムである。音声信号は、少なくとも１つの韻律特徴を含む。また、この方法は、音声信号の少なくとも１つの韻律特徴を変更すること、および変更した音声信号を出力することを含む。変更した音声信号は、少なくとも１つの変更した韻律特徴を含む。
【００１９】
好ましい特徴の一部を組み込んだ本方法の別の形式によれば、音声認識システムによる音声信号の認識を防止するシステムは、ＴＴＳサブシステムおよび韻律変更器を含む。ＴＴＳサブシステムは、テキスト・ファイルを入力とし、そのテキスト・ファイルに相当する音声信号を生成する。ＴＴＳ合成器（ｔｅｘｔ  ｓｐｅｅｃｈ  ｓｙｎｔｈｅｓｉｚｅｒ）またはＴＴＳサブシステムは、当業者に知られているシステムとすることができる。音声信号は、少なくとも１つの韻律特徴を含む。韻律変更器では、音声信号を入力とし、音声信号と結び付いた少なくとも１つの韻律特徴を変更する。韻律変更器では、少なくとも１つの変更した韻律特徴を含む変更した音声信号を生成する。
【００２０】
好ましい一実施形態では、システムは、また、周波数オーバーレイ・サブシステムを含むが、これは、変更した音声信号上へとオーバーレイするランダムな周波数信号を生成するのに使用する。また、周波数オーバーレイ・サブシステムは、所定の時間に時間切れになるように設定したタイマを含む。タイマを使用して、その結果、時間切れになった後、周波数オーバーレイ・サブシステムが新しい周波数を再計算して、ＩＶＲシステムがこうした信号を認識するのをさらに防止することになるようにする。
【００２１】
本発明の好ましい一実施形態では、韻律サンプルを得て、次いで、これを使用して音声信号の少なくとも１つの韻律特徴を変更する。音声信号の変更を韻律サンプルで行って、ユーザごとに変更できる変更した音声信号を出力し、これにより、ＩＶＲシステムが音声信号を理解するのを防止する。
【００２２】
韻律サンプルは、ユーザに、ある人の名前または他の識別情報などの情報に対するプロンプトを出すことによって得ることができる。この情報をユーザから受け取った後、その応答から韻律サンプルを得る。次いで、韻律サンプルを使用して、ＴＴＳ合成器の作成した音声信号を変更して韻律変更音声信号を作成する。
【００２３】
一代替実施形態では、ＩＶＲシステムによる音声信号の認識をさらに防止するために、好ましくは、ランダムな周波数信号を韻律変更音声信号上にオーバーレイして変更した音声信号を作成する。ランダムな周波数信号は、好ましくは、２０Ｈｚから８，０００Ｈｚおよび１６，０００Ｈｚから２０，０００Ｈｚの人間の可聴域にある。ランダムな周波数信号を計算した後、これを、人間の可聴域の範囲内にある、受理可能な周波数レンジと比較する。ランダムな周波数信号が受理可能なレンジの範囲内にあった場合は、これを音声信号とオーバーレイまたは混合する。しかし、ランダムな周波数信号が受理可能なレンジの範囲内になかった場合、ランダムな周波数信号を再計算し、次いで受理可能な周波数レンジと再度比較する。このプロセスを受理可能な周波数が見つかるまで続ける。
【００２４】
好ましい一実施形態では、ランダムな周波数信号の計算を、好ましくは、様々なランダム・パラメータを用いて行う。第１の乱数に対しては、好ましくは、計算を行う。次いで、風速や気温などの変動性パラメータを、第２の乱数として使用する。第１の乱数を第２の乱数で割って商を生成する。次いで、この商を、好ましくは、可聴域の値の範囲内にあるように正規化する。商が受理可能な周波数レンジの範囲内にある場合は、ランダムな周波数信号を前に述べたように使用する。しかし、商が受理可能な周波数レンジの範囲内にない場合は、第１の乱数および第２の乱数を得る工程を受理可能な周波数レンジを得るまで繰り返すことができる。ランダムな周波数信号の生成をこの特定のタイプで行う利点は、決定性ではない風速や気温などの変動性パラメータに依存することである。
【００２５】
本発明のさらなる一実施形態では、ランダムな周波数信号は、好ましくは、ＩＶＲシステムが音声出力を認識する可能性を減らすオーバーレイ・タイマを含む。オーバーレイ・タイマを使用して、新しいランダムな周波数信号の変更を設定済みの間隔で行って、ＩＶＲシステムが音声信号を認識するのを防止できるようにする。オーバーレイ・タイマの初期化を、まず、音声信号を出力する前に行う。オーバーレイ・タイマは、ユーザの設定できる所定の時間で時間切れになるように設定する。次いで、システムは、オーバーレイ・タイマが時間切れになっているかどうかを判断する。オーバーレイ・タイマが時間切れになっていなかった場合は、変更した音声信号の出力を周波数オーバーレイ・サブシステム出力とともに行う。しかし、オーバーレイ・タイマが時間切れになっていた場合は、ランダムな周波数信号を再計算し、オーバーレイ・タイマを再初期化し、その結果、新しいランダムな周波数信号の出力を変更した音声信号とともに行う。オーバーレイ・タイマを使用する利点は、ランダムな周波数信号が変化することになり、ＩＶＲシステムがどのような特定の周波数も認識するのが困難になる点である。
本発明の他の目的および特徴は、添付の図面と併せて考慮する次の詳細な説明から明らかとなろう。しかし、これら図面は例示に過ぎず、本発明の限定を定めるものではない。
【発明を実施するための最良の形態】
【００２６】
波形接続型合成に伴う１つの困難は、正確にどのようなタイプのセグメントを選択するかという判断である。長いフレーズならば、もともと話された実際の発話を再現することができ、これは音声自動応答（ＩＶＲ）システムで広く使用されている。そのようなセグメントは、テキスト中の変更のためでさえ変更または延長するのが非常に難しい。音素（ｐｈｏｎｅｍｅ）サイズのセグメントの抽出は、アラインメントの行われた音声記号−音響データ系列から行うことができるが、単純な音素だけでは、通常、定常状態の中央セクションの間にある、これも不自然に聞こえる音声をもたらす難しい遷移期間をモデル化することは不可能である。ダイフォンおよび半音節セグメントが、ＴＴＳシステムでは好まれてきているが、これは、こうしたセグメントが遷移領域を含んでおり、局所的には理解可能な音響波形を好都合に生み出すことができるためである。
【００２７】
音素またはより大きな単位を接続する際の別の問題は、韻律的要求および意図するコンテキストに従って各セグメントを変更する必要があることである。オーディオ信号の線形予測符号化（ＬＰＣ、ｌｉｎｅａｒ  ｐｒｅｄｉｃｔｉｖｅ  ｃｏｄｉｎｇ）表現では、ピッチを容易に変更することができる。いわゆるＰＳＯＬＡ（ｐｉｔｃｈ−ｓｙｎｃｈｒｏｎｏｕｓ−ｏｖｅｒｌａｐ−ａｎｄ−ａｄｄ、ピッチ同期重畳および加算）技法により、完全な出力波形のセグメントごとにピッチと持続時間をどちらも変更することができるようになる。こうしたアプローチは、出力波形の劣化を招くが、これは、ＬＰＣの場合であれば、選んだ駆動源に関する知覚的な効果、または、ＰＳＯＬＡの場合であれば、セグメント間の偶然の不連続性を原因とする不必要な雑音を招くことによるものである。
【００２８】
ほとんどの波形接続型合成システムでは、実際のセグメントの決定も、重大な問題である。セグメントの決定を手作業で行う場合は、そのプロセスは遅く、うんざりするものとなる。セグメントの決定を自動的に行う場合は、セグメントは、声質を劣化させることになる誤りを含む可能性がある。自動セグメンテーションを、オペレータの介入なしに、音素認識モードにある音声認識エンジンを用いて行うことができる場合は、音声記号レベルでのセグメンテーションの品質は、単位を分離させるのに適当でない可能性がある。この場合、手動での調整がさらに必要となる。
【００２９】
波形接続型合成を用いるＴＴＳサブシステム２０の構成図を、図３に示している。ＴＴＳサブシステム２０では、好ましくは、ＡＳＣＩＩメッセージ・テキスト・ファイル３２を入力し、それを一連の音声記号および韻律（基本周波数、持続時間、および振幅）ターゲットに変換する。ＴＴＳサブシステム２０のテキスト解析部分は、好ましくは、数多くの形で互いに依存する機能をもつ３つの別々のサブシステム２６、２８、３０を含む。記号および省略形伸張サブシステム２６は、好ましくは、テキスト・ファイル３２を入力し、非アルファベット記号および省略形を分析して完全な語への伸張を行う。たとえば、「Ｄｒ．Ｓｍｉｔｈ  ｌｉｖｅｓ  ａｔ  ４３０５  Ｅｌｍ  Ｄｒ．」という文で、最初の「Ｄｒ．」は「Ｄｏｃｔｏｒ」と書き換えられるが、第２のものは「Ｄｒｉｖｅ」と書き換えられる。次いで、記号および省略形サブシステム２６は、「４３０５」を「ｆｏｒｔｙ  ｔｈｒｅｅ  ｏｈ  ｆｉｖｅ」と書き換える。
【００３０】
次いで、統語的パージングおよびラベリング・サブシステム２８は、好ましくは、文中の各語と結び付いた品詞を認識し、この情報を使用してテキストのラベリングを行う。統語的ラベリングでは、文の構成部分での曖昧性を取り除き、発音辞書データベース４２を助けとして、単音の正しいストリングを生成する。したがって、上で論じた文では、「ｌｉｖｅｓ」という動詞は、「ｌｉｆｅ」の複数である名詞「ｌｉｖｅｓ」からの曖昧性が解消される。辞書サーチで十分な結果を取り出すのに失敗した場合、好ましくは、文字−音響（ｌｅｔｔｅｒ−ｔｏ−ｓｏｕｎｄ）規則データベース４２を使用する。
【００３１】
次いで、韻律サブシステム３０は、好ましくは、文のフレージングおよび語のアクセントの予測を、統語パージングおよびラベリング・サブシステム２８からの句読点付与済みテキスト、統語情報、および音韻論的情報を用いて行う。この情報から、たとえば、基本周波数、音素持続時間、および振幅を対象とするターゲットの生成を、韻律サブシステム３０によって行う。
【００３２】
図３に示す単位アセンブリ・サブシステム３４は、好ましくは、音響単位（ｓｏｕｎｄ  ｕｎｉｔ）データベース３６を利用して、韻律サブシステム３０の生成したターゲットのリストに従って単位のアセンブリを行う。単位アセンブリ・サブシステム３４は、自然に聞こえる合成音声を達成するのに非常に役立つ。単位アセンブリ・サブシステム３４の選択した単位は、好ましくは、音声合成サブシステム３８への入力となり、これから音声信号２４が生成される。
【００３３】
上で示したように、波形接続型合成は、あらかじめ録音した音声のセグメントを保存し、選択し、滑らかに接続することによって特徴付けられる。最近まで、波形接続型ＴＴＳシステムの大多数はダイフォン・ベースであった。ダイフォン単位は、ある準定常の音声の音から次のものへの音声の部分を包含する。たとえば、ダイフォンは、「ｉｎ」という語の中の／ｉｈ／のほぼ中間から／ｎ／のほぼ中間までを包含することができる。
【００３４】
アメリカ英語のダイフォン・ベースの波形接続型合成器には、少なくとも１０００個のダイフォン単位が必要であり、これは、通常、特定の話者からの録音から得られる。ダイフォン・ベースの波形接続型合成には、メモリに対する要求が中程度であるという利点があるが、これは、１つのダイフォン単位が可能なコンテキストすべてに使用されるためである。しかし、合成用のダイフォンを提供する目的で録音した音声データベースは、話者が明瞭な単調音（ｍｏｎｏｔｏｎｅ）を発音するよう要求されるために、生き生きとして聞こえず、自然に聞こえないことから、結果となる合成音声は不自然に聞こえる傾向がある。
【００３５】
熟練した手作業のラベリング担当者（ｌａｂｅｌｅｒ）が、波形およびスペクトログラムを検査するために、ならびに、高度な聞き取りのスキルを使用して、語ラベル（語の終わりの時間マーキング）、トーン・ラベル（発話のメロディーの記号表現）、音節およびストレスのラベル、単音ラベル、および語、サブフレーズ、および文の間の区切りを区別する区切りインデックス（ｂｒｅａｋ  ｉｎｄｉｃｅｓ）などの注記（ａｎｎｏｔａｔｉｏｎ）またはラベルを作成するために使われてきた。しかし、手作業のラベリングは、音声の大規模データベースに関しては、自動ラベリングよりもかなり影が薄かった。
【００３６】
自動ラベリング・ツールは、必要な単音ラベルを作成する自動音声ラベリング・ツールと、必要なトーンおよびストレスのラベルならびに区切りインデックスを作成する自動韻律ラベリング・ツールとに分類することができる。自動音声ラベリングで十分であるのは、テキスト・メッセージがわかっており、その結果、認識器では、単音の正体ではなく、単に正しい単音境界を選べば済む場合である。音声認識器も、所与の声に関してトレーニングする必要がある。自動韻律ラベリング・ツールは、正規化持続時間や最大／平均ピッチ比などの言語学的な動機付けのある１組の音響的特徴から動作し、音声ラベリングからの出力を与えられる。
【００３７】
高品質の自動音声ラベリング・ツールの出現により、生き生きとした、より自然な話し方のスタイルを用いて録音した音声データベースを利用する単位選択合成が実現可能なものとなってきている。このタイプのデータベースは、旅行の予約または電話番号合成などの狭い適用例に制限することもでき、または電子メールまたはニュース・レポートなどの一般的な適用例に使用することもできる。単位選択合成では、ダイフォン・ベースの波形接続型合成器とは対照的に、最適な合成単位が、数千例のある特定のダイフォンを含むインベントリから自動的に選ばれ、こうした単位の接続によって合成音声が生成される。
【００３８】
単位選択プロセスを、「ｔｗｏ」（２）という語の中の音響に対応する単位選択ネットワークを通る最良パスを選択しようとするところとして、図４に示している。各ノード４４には、ターゲット・コストが割り当てられ、各矢印４６には、結合コスト（ｊｏｉｎ  ｃｏｓｔ）が割り当てられている。単位選択プロセスは、最適パスを見出すことを試みるが、これはターゲット・コストおよび結合コストすべての和を最小化する太矢印４８で示されている。単位の最適の選択が依存する要因は、単位境界でのスペクトラム類似度、２つの単位間の結合コストの成分、マッチする韻律ターゲットまたは各単位のターゲット・コストの成分などである。
【００３９】
単位選択合成は、音声合成における１つの改良に相当する。これは、合成で使用すべき単語および文の全体など、音声のより長い断片が、インベントリ内に所望の特性をもって見つかる場合には、可能となるためである。したがって、単位選択は、固定したキャリア・センテンス内部に埋め込むべき電話番号の合成など、領域を限定した適用例に非常に適している。電子メール読み上げなど、領域を限定しない適用例では、単位選択により、合成する文あたりの単位から単位への遷移の数を減らし、したがって合成出力の品質を上げることができる。さらに、単位選択により、インベントリ内のある単位の例の多重化（ｍｕｌｔｉｐｌｅ  ｉｎｓｔａｎｔｉａｔｉｏｎ）が許され、異なる言語的および韻律的コンテキストから解釈すると、これによって韻律変更の必要が低減される。
【００４０】
図５に、本発明によって形成されるＴＴＳサブシステム５０を示している。ＴＴＳサブシステム５０は、図３に示すものに実質的に類似しているが、音声合成サブシステム３８の出力の変更が、好ましくは、韻律変更サブシステム５２によって、変更した音声信号５４の出力前に行われる点が異なる。さらに、また、ＴＴＳサブシステム５０は、韻律変更サブシステム５２に続く周波数オーバーレイ・サブシステム５３を含み、韻律の変更を、変更した音声信号５４の出力の前に行う。韻律を変更した音声信号に対する周波数のオーバーレイを、変更した音声信号５４の出力前に行うことにより、変更した音声信号５４が、自動音声認識技法を利用するＩＶＲシステムによって理解されなくなり、同時に音声信号の品質が人間による理解に関して実質的に劣化しないことが保証される。
【００４１】
図６に、好ましくは図５に示す韻律サブシステム３０で実行する、ユーザの音声パターンの韻律を得るための方法を示す流れ図を示している。あるいは、ユーザの韻律の計算は、テキスト・ファイル３２を取り出す前にあってもよい。ユーザは、まず、名前など情報を識別するように促される（ステップ６０）。次いでユーザはその指示に応答しなければならない（ステップ６２）。次いで、ユーザの応答を解析し、音声パターンの韻律を応答から計算する（ステップ６４）。次いで、韻律の計算からの出力を、図５に示す韻律データベース７２へと保存する（ステップ７０）。ユーザの声の信号の韻律の計算は、後で、韻律変更サブシステム５２で使用することになる。
【００４２】
韻律変更サブシステム５２の動作の流れ図を図７に示している。韻律変更サブシステム５２では、まず、ユーザ出力の韻律を、以前に計算した韻律データベース７２から取り出す（ステップ８０）。ユーザの応答の韻律は、好ましくは、ユーザの声のピッチとトーンの組み合わせであり、続いてこれを使用して音声合成サブシステム出力を変更する。ユーザの応答からのピッチおよびトーンの値は、音声合成サブシステム出力用のピッチおよびトーンとして使用することができる。
【００４３】
たとえば図５に示すように、テキスト・ファイル３２の解析は、テキスト解析：記号および省略形伸張サブシステム２６で行う。辞書および規則データベース４２を使用して、音素トランスクリプションに対する書記素（ｇｒａｐｈｅｍｅ）を生成し、頭字語および省略形を「正規化」する。次いで、テキスト解析：韻律サブシステム３０で、話した文の「メロディー」に対するターゲットを生成する。次いで、単位アセンブリ・サブシステム・テキスト解析：構文解析およびラベリング・サブシステム３４では、音響単位データベース３６の使用を、録音および合成中に現れるテキスト中の候補単位を評価する先進的なネットワーク最適化技法を使用することによって行う。音響単位データベース３６は、半音素（ｈａｌｆ−ｐｈｏｎｅｍｅ）などの録音の断片である。目標は、録音と合成の接触部の類似度を最大化して、その結果、結果となる合成音声の品質が高くなるようにすることである。音声合成サブシステム３８では、保存した音声単位を変換し、これら単位を順番に境界でのスムージングを行って接続する。ユーザが声を変えたい場合は、好ましくは、音響単位の新しいストアを、音響単位データベース３６内で入れ替える。
【００４４】
こうして、ユーザの応答の韻律は、音声合成サブシステム出力と組み合わされる（ステップ８２）。次いで、ユーザの応答の韻律を、音声合成サブシステム３８で、適切な文字−音響（ｌｅｔｔｅｒ−ｔｏ−ｓｏｕｎｄ）遷移の計算後に使用する。音声合成サブシステムは、ＡＴ＆Ｔ  Ｎａｔｕｒａｌ  Ｖｏｉｃｅｓ（商標）ＴＴＳ（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ）などの知られているプログラムとすることができる。韻律応答で変更した組み合わせた音声合成は、韻律変更サブシステム５２（図５）で出力して（ステップ８４）、韻律を変更した音声信号を作成する。本発明に従って形成される韻律変更サブシステム５２の利点は、音声合成サブシステム３８からの出力をユーザ自身の声の韻律で変更し、サブシステム５０から出力される変更した音声信号５４は、好ましくはユーザごとに変化することである。したがって、この特徴により、ＩＶＲシステムがＴＴＳ出力を認識することが非常に困難となる。
【００４５】
図５に示す周波数オーバーレイ・サブシステム５３の動作の一実施形態を示す流れ図を図８Ａに示している。周波数オーバーレイ・サブシステム５３は、好ましくは、まず、受理可能な周波数のための周波数データベース６８にアクセスする（ステップ９０）。受理可能な周波数は、好ましくは、人間の可聴域（ｈｅａｒｉｎｇ  ｒａｎｇｅ）（２０〜２０，０００Ｈｚ）の範囲内にあり、それぞれ、２０〜８，０００Ｈｚおよび１６，０００〜２０，０００Ｈｚなど、可聴域の上端または下端にある。次いで、ランダム周波数信号を計算する（ステップ９２）。ランダム周波数信号の計算は、好ましくは、当技術分野によく知られている乱数生成アルゴリズムを用いて行う。次いで、ランダムに計算した周波数を、好ましくは、受理可能な周波数レンジと比較する（ステップ９４）。ランダムな周波数信号が受理可能な周波数レンジの範囲内にない場合（ステップ９６）、次いで、システムは、ランダムな周波数信号を再計算する（ステップ９２）。このサイクルを、ランダムに計算した周波数が受理可能な周波数レンジの範囲内になるまで繰り返す。ランダムな周波数信号が受理可能な周波数レンジの範囲内にある場合、ランダムな周波数信号９２を韻律変更サブシステム音声信号上へとオーバーレイする（ステップ９８）。ランダムな周波数信号９２の韻律変更サブシステム音声信号上へのオーバーレイは、信号を組み合わせまたは混合して出力変更音声信号を作成することによって行うことができる。ランダム周波数信号および韻律修正サブシステム音声信号を、同時に出力して、出力変更音声信号を作成することができる。ランダム周波数信号をユーザは聴くことができるが、韻律変更サブシステム音声信号を理解不能にすることにはならない。次いで、出力変更音声信号を出力する（ステップ９９）。
【００４６】
図８Ｂに示す一代替実施形態では、好ましくは、生成したランダムな周波数信号の変更を、変更した音声信号を出力する過程の間に行う（ステップ９９）。図８Ｂを参照すると、ランダムな周波数信号オーバーレイ・サブシステムを活性化する前に、システムは、好ましくは、オーバーレイ・タイマを初期化することになる（ステップ１００）。オーバーレイ・タイマは、所定の時間後にタイマがリセットされるようにあらかじめ設定しておく。オーバーレイ・タイマの設定後、好ましくは、図８Ａに示す周波数オーバーレイ・サブシステムの機能を実行する。次いで、出力変更音声信号５４を出力する（ステップ９９）。出力変更音声信号５４を出力する間、オーバーレイ・タイマにアクセスして（ステップ１０２）タイマが時間切れになったかどうかを見る。タイマが時間切れになった場合、システムはオーバーレイ・タイマを再初期化し（ステップ１００）、ステップ９０、９２、９４、９６、および９８を繰り返して異なるランダム周波数信号をオーバーレイする。オーバーレイ・タイマが時間切れになっていない場合、好ましくは、出力変更音声信号５４が、オーバーレイ中の同じランダム周波数信号９２を継続する。このシステムの利点は、ランダム周波数信号が周期的に変化し、したがって、ＩＶＲシステムが変更音声信号５４を認識するのが非常に困難になる点である。
【００４７】
図９Ａを参照すると、図８Ａおよび８Ｂのステップ９２で計算したランダム周波数信号を計算するには、好ましくは、まず値１．０未満の第１の乱数を得る（ステップ１１０）。次いで、外部の温度など第２の乱数の計測を行う（ステップ１１２）。システムでは、好ましくは、第１の乱数を第２の乱数で割る（ステップ１１４）。商を受理可能な周波数と比較し（ステップ９４）、これが受理可能な範囲内にある場合（ステップ９６）、乱数をオーバーレイ周波数として使用する。しかし、商が受理可能な範囲内にない場合（ステップ９６）、システムは、１．０の値未満の新しい第１の乱数を得て、ステップ１１０、１１２、９４、および９６を繰り返す。１．０未満の数の値は、好ましくは、当技術分野によく知られている乱数生成アルゴリズムによって得る。この数の小数点以下の桁数は、好ましくは、オペレータが決定を行う。
【００４８】
図９Ｂに示す一代替実施形態では、ステップ１１２で外部の温度を計測するのではなく、ステップ２１２で外部の風速を計測することができ、また、第２の乱数を生成するのに使用することができる。代替方法として、他の変数を使用することも、本発明の範囲内に留まる限りは可能であることが理解されよう。ステップの残りは、図９Ａに示すものと実質的に類似している。外部の温度または外部の風速の重要な性質は、これらがランダムであり、あらかじめ決められたものではなく、したがってＩＶＲシステムが変更した音声信号に対応する周波数を計算するのをより困難にするということである。
【００４９】
図９Ｃに示す一代替実施形態では、第１の乱数を得た（ステップ３１０）後、外部の温度で割り（ステップ３１４）、好ましくは、商は１．０未満となる。この数を、好ましくは、小数第５位の最も近い数字にまるめる（ステップ３１５）。ランダムな周波数信号を得るのに使用するパラメータのどのようなものも、本発明の範囲内に留まる限り、変更できることが理解されよう。
【００５０】
本発明のいくつかの実施形態を、本明細書中で具体的に例示および／または説明を行っている。しかし、本発明の修正および変形は、上記の教示の扱うところであり、本発明の趣旨および意図する範囲を逸脱することなく、添付の特許請求の範囲の範囲内にあることが理解されよう。
【図面の簡単な説明】
【００５１】
【図１】電気通信アプリケーション内部の音声の認識と生成をどちらも組み込んでいる従来の顧客対応システムの構成図である。
【図２】音声の認識と生成をどちらも組み込んでいる従来の自動化バンキング・システムの構成図である。
【図３】従来のＴＴＳ（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ、テキスト−音声）サブシステムの構成図である。
【図４】単位選択プロセスの動作を示す図である。
【図５】本発明に従って形成されるＴＴＳサブシステムの構成図である。
【図６】ユーザの声の韻律を得るための方法の流れ図である。
【図７】韻律変更サブシステムの動作の流れ図である。
【図８Ａ】周波数オーバーレイ・サブシステムの動作の流れ図である。
【図８Ｂ】オーバーレイ・タイマを含む周波数オーバーレイ・サブシステムの代替実施形態の動作の流れ図である。
【図９Ａ】ランダム周波数信号を得るための方法の流れ図である。
【図９Ｂ】ランダム周波数信号を得るための方法の第２の実施形態の流れ図である。
【図９Ｃ】ランダム周波数信号を得るための方法の第３の実施形態の流れ図である。
【図１】
2006106741.tif 000003
【図２】
2006106741.tif 000004
【図３】
2006106741.tif 000005
【図４】
2006106741.tif 000006
【図５】
2006106741.tif 000007
【図６】
2006106741.tif 000008
【図７】
2006106741.tif 000009
【図８Ａ】
2006106741.tif 000010
【図８Ｂ】
2006106741.tif 000011
【図９Ａ】
2006106741.tif 000012
【図９Ｂ】
2006106741.tif 000013
【図９Ｃ】
2006106741.tif 000014