(57)【要約】【解決手段】デジタル音声のスペクトル成分を得ることによって音声を送信するときに送られるデータ量を少なくする方法と装置である。最初に、アナログ音声がデジタル音声に変換される（４０６）。次に、デジタル音声はフレームに分割され、該フレームについて所定のステップにてスペクトル分析が行われる（４０８）。同様なスペクトルを有するフレームが合成される（４１０）。次に、所定のステップにて第２スペクトル分析が行われる（４１２）。各フレームのスペクトル分析で得られたデータは圧縮され、他のフレームと合成され、デジタル信号が再生される（４２０）。次に、デジタル信号はプレイバックされ、これによってアナログ音声が再現される（４２２）。【選択図】図４
2004515800.tif 000002
【特許請求の範囲】
【請求項１】
データを伝達する方法であって、
データの流れを受信する工程、
データの流れを、少なくとも第１フレームと第２フレームに変換する工程、
第１フレームに高速フーリエ変換（ＦＦＴ）を実行して第１ＦＦＴフレームとし、第２フレームに高速フーリエ変換を実行して第２ＦＦＴフレームとする工程、
第１ＦＦＴフレームと第２ＦＦＴフレームが近似しているとき、第１ＦＦＴフレームと第２ＦＦＴフレームを合成ＦＦＴフレームに変換する工程、
合成ＦＦＴフレームを表す単一パケットを送信するか、又は、第１ＦＦＴフレームを表す第１パケットと第２ＦＦＴフレームを表す第２パケットを送信する工程、を含んでいる方法。
【請求項２】
単一パケットを送信する工程は、単一パケットの中の第１ＦＦＴフレームのデータを送信する工程をさらに含んでいる請求項１の方法。
【請求項３】
単一パケットを送信する工程は、単一パケットの中の第２ＦＦＴフレームのデータを送信する工程をさらに含んでいる請求項１の方法。
【請求項４】
第１パケットを送信する工程は、第１パケットの中の第１ＦＦＴフレームのデータを送信し、第２パケットの中の第２ＦＦＴフレームのデータを送信する工程をさらに含んでいる請求項１の方法。
【請求項５】
データの流れは帯域通過フィルターにかけられる請求項１の方法。
【請求項６】
単一パケットを送信する工程は、合成ＦＦＴフレームの中の所定周波数における電力振幅（ｐｏｗｅｒ ａｍｐｌｉｔｕｄｅｓ）を調べる工程、
合成ＦＦＴフレームの中の所定周波数における電力振幅がしきい値より低いときはその電力振幅を切り捨てる工程、
合成ＦＦＴフレームの中の所定周波数における電力振幅を単一パケットに挿入する工程、を含んでいる請求項５の方法。
【請求項７】
得られた電力振幅は、合成ＦＦＴフレームの最大振幅によって分割された電力振幅である請求項６の方法。
【請求項８】
送信のための単一パケットを作る工程は、得られた電力振幅と一致する周波数を単一パケットに挿入する工程をさらに含んでいる請求項７の方法。
【請求項９】
所定周波数は７５Ｈｚ〜３０００Ｈｚの周波数帯域である請求項７の方法。
【請求項１０】
所定周波数は７５Ｈｚ〜３０００Ｈｚの周波数帯域で、周波数間隔は１００Ｈｚである請求項７の方法。
【請求項１１】
しきい値は２である請求項７の方法。
【請求項１２】
データの流れはアナログ音声信号である請求項７の方法。
【請求項１３】
音声を受信し、データの流れを供給する入力と、
入力に連結され、データの流れを受信して、パケットを含む出力を送信機へ供給するエンコーダと、を具える通信システムであって、
データの流れを少なくとも第１フレームと第２フレームに変換し、第１フレームに高速フーリエ変換（ＦＦＴ）を実行して第１ＦＦＴフレームとし、第２フレームに高速フーリエ変換を実行して第２ＦＦＴフレームとし、第１ＦＦＴフレームと第２ＦＦＴフレームが近似しているとき、第１ＦＦＴフレームと第２ＦＦＴフレームを合成フレームに変換して合成ＦＦＴフレームを表す単一パケットを送信機へ供給するか、又は、第１ＦＦＴフレームを表す第１パケットと第２ＦＦＴフレームを表す第２パケットを送信機へ供給できるようにしている通信システム。
【請求項１４】
エンコーダは帯域通過フィルターを含んでいる請求項１３の通信システム。
【請求項１５】
単一パケットは合成ＦＦＴフレームの中の所定周波数における電力振幅を含んでいる請求項１４の通信システム。
【請求項１６】
得られた電力振幅は合成ＦＦＴフレームの最大振幅で分割された電力増幅である請求項１５の通信システム。
【請求項１７】
単一パケットは、得られた電力増幅と一致する周波数をさらに含んでいる請求項１５の通信システム。
【請求項１８】
所定周波数は７５Ｈｚ〜３０００Ｈｚの帯域である請求項１６の通信システム。
【請求項１９】
所定周波数は７５Ｈｚ〜３０００Ｈｚの周波数帯域で、周波数間隔は１００Ｈｚである通信システム。
【請求項２０】
データを翻訳する方法であって、
第１音声を第１データに変換する工程、
第１データを基本の遷移データに変換する工程、
基本の遷移データを第２データに変換する工程、
第２データを第２音声に変換する工程、を含んでいる方法。
【請求項２１】
第１データと第２データはテキストデータである請求項２０の方法。
【請求項２２】
基本の遷移データは英語以外のデータである請求項２１の方法。
【請求項２３】
第１音声はフランス語であり、第２音声は英語である請求項２２の方法。
【発明の詳細な説明】
【０００１】
本願は、２０００年１０月５日出願の米国特許出願第６０／２３８１６６号の利益を主張するものであり、この出願は引用を以て本願への記載加入とする。
本発明は、一般的には、音声処理技術に関し、具体的には、話された音声（ｓｐｅｅｃｈ）の送信に関する。より具体的には、本発明は、少量のデータを用いて音声を送信する改良された方法に関する。
【０００２】
デジタル技術による音声の送信は、特に、長距離のデジタル式無線電話用において広く行なわれてきている。これはまた、チャンネル上で送信されることができ、再構築された（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）音声の感知品質を維持できる最少量の情報を決定することに関心がもたれている。音声を簡単なサンプリングとデジタル処理によって送信する場合、従来のアナログ電話の音声品質を達成するには、データレートは、毎秒６４キロビット（ｋｂｐｓ）のオーダであらねばならない。しかしながら、音声分析を使用し、受信機で適当なコーディング、送信及び再合成を行なうことにより、データレートを実質的に遅くすることができる。
【０００３】
人間の音声発生モデルに関するパラメータを抽出することによって有声音を圧縮する技術を用いた装置は、一般的にボコーダと呼ばれる。この装置は、入力音声を分析して関連パラメータを抽出するエンコーダと、送信チャンネル上で受信するパラメータを用いて音声を再合成するデコーダとから構成される。正確であるには、モデルは常に変化していなければならない。音声は、時間のブロック、又は分析フレームに分割され、その間のパラメータが計算される。パラメータは、次に、新たなフレーム毎に更新される。
【０００４】
ボコーダの機能は、音声に固有の自然な冗長を全て取り除くことにより、デジタル化された音声信号を低ビットレート信号に圧縮することである。ボコーディング技術を用いると、再構築された音声品質を維持しながら、チャンネル上を送信される情報量を低減できるけれども、さらなる低減を達成するには、他の技術を用いる必要がある。
【０００５】
音声は本質的に、沈黙区間つまりポーズ（ｐａｕｓｅｓ）を含んでいるので、これらの区間を表すのに要するデータ量を少なくすることができる。この事実を最も効果的に利用しているのは、可変レートのボコーディングであり、沈黙区間に対するデータレートを低くしている。言葉と言葉の間の沈黙を少なくするのに、幾つかのストライド（ｓｔｒｉｄｅｓ）が作られているが、話された言葉そのものを少なくできる方法の開発が必要とされる。
比較的遅いデータレートを維持しながら品質を向上させることにより、システムを最適化する方法が必要とされている。
【０００６】
それゆえ、本発明の目的は、音声フレームのスペクトル成分を正確に表すことである。
本発明の他の目的は、音声を低データレート送信するための改良された方法を提供することである。
本発明のさらに他の目的は、音声送信の品質を改良することである。
それゆえ、本発明の目的は、圧縮音声に関し、新規で改良された方法及びシステムを提供することである。
【０００７】
前記目的は、以下に記載の要領にて達成される。
音声を送信するとき、デジタル音声のスペクトル成分を得ることにより、送信されるデータ量を少なくする方法及び装置である。第１に、アナログ音声をデジタル音声に変換する。次に、デジタル音声をフレームに分割し、フレームについて、スペクトル分析が行われる。同様なスペクトルを有するフレームを合成する。次に、第２のスペクトル分析が予め定められた工程で行なわれる。各フレームのスペクトル分析で得たデータが圧縮され、受信機へ送られる。受信機はそのデータを用いて、フレームを再構築する。フレームは他のフレームと合成され、デジタル信号を再現する（ｒｅｐｒｏｄｕｃｅ）。次に、デジタル信号はプレイバックされ、これにより、アナログ音声を再現する。
【０００８】
本発明の追加の目的及び特徴並びに利点については、以下の詳細な説明によって明らかになるであろう。
本発明の新規な特徴は、特許請求の範囲に記載されている。しかしながら、発明そのものについては、望ましい使用形態、さらなる目的及び利点と同様、添付の図面に示す実施例に関する詳細な説明によって最も良く理解されるであろう。
【０００９】
図面、特に図１Ａを参照すると、本発明に係る音声デジタル変換器（ＶＤＣ）（１０２）のブロック図が示されている。アナログ信号（１０４）は、エンコーダ（１０８）で受信される。図１Ｂに示されるように、エンコーダ（１０６）はアナログ信号（１０４）をデジタル信号（１０８）に変換する。これは、アナログ−デジタル変換器を用いて行われ、そのプロセスは当該分野で知られている。アナログ信号は、１サンプル８ビットにて、毎秒５０００００〜１００００００回の速度でサンプリングされる。周波数範囲は、約５０Ｈｚ〜１００００Ｈｚである。この範囲はシステムの要求よりも大きいが、下記のとおり、周波数範囲をさらに狭くすることができる。
【００１０】
電話品質の音の場合、デジタル信号（１０８）の周波数範囲は、図１Ｃに示されるように、約７５Ｈｚから約３０００Ｈｚまでさらに狭められる。周波数を狭くすることは、帯域通過フィルター（１０７）を用いて行なうことができ、そのプロセスは当該分野で知られている。異なる目的に対しては、異なる周波数範囲を用いることができる。
【００１１】
次に、図１Ｄに示されるように、デジタル信号（１０８）は、毎秒約１５０フレームのフレームレートを用いてフレーム（１１０）に分割される。伝送しなければならないデータ量を少なくするために、フレーム（１１０）についてスペクトル分析を行ない、同様なスペクトルを有するフレームが結合される。
【００１２】
高速フーリエ変換（ｆａｓｔ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ； ＦＦＴ）を用いてスペクトル分析を行ない、図１Ｅと同様なピークを発生させる。望ましい実施例では、７５Ｈｚ〜３０００Ｈｚ（３ｋＨｚ）の間で５０Ｈｚの間隔に設定しているので、殆んど全ての範囲を用いることができる。各間隔の振幅は４ビット（１６のレベル）で評価され、各フレーム（１１０）の分析が一旦完了すると、レベル２以下の振幅は全て消去され、ピーク振幅はそれら周波数と共に格納される。図１Ｅは、各フレームにスペクトル分析を実行した後の一連のフレーム（１１０）を示している。（１１６）は、各フレームにおける最大振幅を示している。
【００１３】
望ましい実施例では、最大５つのピークが格納されているが、用いるピークの数は任意であってよい。最大振幅を求めた後、各フレームは次のフレームと比較される。例えば、図１Ｅのフレーム（１１８）はフレーム（１２０）と比較される。そのデータが比較的近いものであるとき、次に、その２つのフレームは結合される。あるフレームが、先のフレーム又は一連のフレームの一般的範囲と異なるとき、又は加えられたフレームの合計数が１５を越えるとき、そのフレームは終了し、一緒に加えられたフレームの合計数が時間スライスに変換される。この時間スライスが、送信されるデータとして分析される。
【００１４】
フレーム（１１８）とフレーム（１２０）が近似している場合、１５のフレームは、フレーム（１１８）（１２０）に近似した１つのフレームに合成されたかどうかのチェックが行われる。１つのフレームに合成されたフレームの数が１５よりも少ないときは、図１Ｆに示されるように、フレーム（１１８）（１２０）はフレーム（１２２）に合成される。次に、フレーム（１２２）はフレーム（１２４）と比較され、両者が近似するかどうかのチェックが行われる。近似していないとき、フレーム（１２２）の長さはフレームヘッダーの中に記録される。処理はもう一度開始し、フレーム（１２４）はフレーム（１２６）と比較される。
【００１５】
フレーム（１２８）は無音フレームを表す。無音（ｓｉｌｅｎｃｅ）は特別の長さを有している。無音は、言葉又は文の間にある場合でも、又、傾聴中にある場合でも、音声信号の大部分を占める。無音フレームに与えられる長さ表示は１６フレームであり、一方、音声フレームが使用する最大長さは１５フレームである。無音フレームだけが１６フレームの長さを有することができる。１６のフレーム長さを有する全てのフレームは追加の処理を必要としないので、これはデータの流れをかなり簡素化する。もし、無音フレームが１６フレームよりも少なかった場合、そのフレームを分析せねばならないから、追加の処理が必要となるであろう。
【００１６】
次に、フレーム（１２２）は、スペクトル成分領域が分析される。スペクトル分析はフレーム（１２２）について行われる。図２Ａは、スペクトル分析が行われる前のフレーム（１２２）を表している。フレーム（１２２）のスペクトル成分を分析することにより、フレーム（１２２）の電力分布（ｐｏｗｅｒ ｄｉｓｔｒｉｂｕｔｉｏｎ）を求めることができる。各フレームの電力分布は特定フレームに対する音（ｓｏｕｎｄ）を決定する。電力分布がうまく行なわれるほど、再現性は良好なものとなる。
【００１７】
スペクトル分析を行なうのにＦＦＴが用いられる。ＦＦＴは、与えられた範囲、例えば１００Ｈｚから、全ての電力をとることができ、正弦波に関する電力分布を表す。望ましい実施例では殆んど全ての範囲を設定することができるものであり、７５Ｈｚ〜３０００Ｈｚ（３ｋＨｚ）の範囲で１００Ｈｚ毎に設定される。電力分布が７５Ｈｚより低い部分は、大部分がノイズによるものであるから、最小周波数は７５Ｈｚに設定される。また、人間の音声が３ｋＨｚを越えることは滅多にないので、最高周波数は３ｋＨｚに設定される。３ｋＨｚよりも低い周波数を用いることはできるが、高さ（ｐｉｔｃｈ）と音色（ｔｉｍｂｅｒ）が損なわれる。なお、周波数間隔が許容品質レベルで音声を複製するのに十分近いものであれば、他の周波数間隔を用いることもできる。周波数間隔が大きいほど、送られるデータポイントは少なくなる。しかしながら、送られるデータポイントが少ないほど、受信機の再現品質は劣る。
【００１８】
スペクトルの分析データをプロット又は得る際、まず最初に、０〜１００の振幅スケールに振幅をプロットする。次に、最も高い１つの振幅が、フレームの絶対振幅として格納される。例えば、図２Ｂで最も大きな振幅は、周波数が１０７５のところで３９である。次に、０から絶対振幅までの領域は１６段階に分割される。例えば、フレーム（１２２）の最大振幅は、０〜１００単位スケールで３９であり、絶対振幅は図２Ｃに示されるように３９に設定される。次に、０〜３９の領域は、１６段階に分割される。各段階は、０〜１００スケールでは２．４３７５に等しい。最大振幅を設定する目的は、フレームの絶対振幅の如何に拘わらず、４ビット解像度を維持することである。そうでないと、フレーム解像度はフレーム振幅に直接比例することになる。最大振幅を設定することにより、フレーム振幅はフレーム解像度から独立する。絶対振幅は、フレームのヘッダーの中に、フレームの長さと共に含められる。１６段階の中で測定することにより、適当な解像を行なうのに必要な最少量のデータが受信機に送られる。振幅分割の間隔を少なくすることもできるが、受信機へはより多くのデータを送る必要がある。振幅分割の間隔を大きくすることもできるが、品質が犠牲になるであろう。図２Ｃは、０〜１００単位のスケール上での振幅を示している。図２Ｄは、最大振幅が３９に設定された後の振幅を示している。この図２Ｄのデータが受信機（１０３）へ送られる。
【００１９】
１００Ｈｚ毎の振幅データは、フレームデータの一部として含まれる。各フレームに対する振幅データの数は３０以下にする必要がある。しかしながら、一実施例では、２単位より小さい振幅は全て除去している。この結果、振幅データの多くは０となる。各フレームのビット数は、フレームの開始を確認するために約６ビット、フレーム長さに４ビット、絶対振幅に６ビット、３０以下の振幅データの各々に対して４ビットである。その結果、１フレーム当たりの最大ビットは１３６ビットである。データ数をさらに少なくしたい場合、２単位より少ない振幅を全て除去する。圧縮アルゴリズムを用いることにより、フレームデータを６０％〜８０％又は１フレームあたり２５〜５５ビット少なくすることができる。１秒あたりの平均フレームレートが約１８〜２０フレームの場合、１秒あたり平均１０００ビットを得ることが出来る。データは、当該分野で既知の手段により、受信機（１０３）へ送られる。
【００２０】
データを受信すると、受信機（１０３）はフレーム長さと絶対振幅をフレームヘッダーから読み取り、正しい周波数の中から振幅を指定する。受信機（１０３）は、周波数間隔が１００Ｈｚずつの割合で増すことを認識しており、図３Ａ乃至図３Ｈに示されるように、各周波数間隔の正弦波を作り、また対応する振幅を作る。プレイバックされる場合、正弦波はトーンを生成するだけである。音声を再現するには、フレーム中の周波数間隔に対して正弦波を再現し、フレーム中の他の正弦波と合成して、正弦波が形成される。例えば、図３Ｂは、振幅から再作成された（ｒｅｃｒｅａｔｅｄ）正弦波を表しており、１７５Ｈｚの周波数に対応する。図３Ｃは、データから作られた正弦波と合成された再作成正弦波を表しており、７５Ｈｚに対応する。図３Ｄは、図３Ｃに示される２つの正弦波を合成して得られた正弦波を示している。フレームの正弦波の全てが再作成され、再作成波が作られるまでのプロセスを図３Ｆ乃至図３Ｈに示している。再作成波は図２Ａの波と近似している。
【００２１】
自らプレイバックされる場合、各フレームは認識不可能な音つまりビープ音を生成する。しかしながら、フレームが順に再生されるとき、デジタル信号（１０８）が複製される。不連続によって生じるフラッター（ｆｌｕｔｔｅｒ）を除去するために、各フレームは次のプロセス又は当該分野で既知の他のプロセスに移される。
【００２２】
プロセスの全体を図４に示している。ブロック（４０２）は、アナログ信号（１０４）の作成と伝播を示している。ブロック（４０４）は、エンコーダ（１０６）がアナログ信号（１０４）を受信することを示している。ブロック（４０６）は、エンコーダ（１０６）がアナログ信号（１０４）をデジタル信号（１０８）に変換することを示している。ブロック（４０８）は、デジタル信号（１０８）がフレーム（１１０）に分割されることを示している。ブロック（４１０）は、同様なフレーム（１１０）を合成することにより、フレーム（１１０）の長さが短くなることを示している。ブロック（４１２）は、フレーム（１１０）にスペクトル分析が行われることを示している。ブロック（４１４）は、フレームデータが受信機（１０３）に送られることを示している。ブロック（４１６）は、受信機（１０３）がフレームデータを受信することを示している。ブロック（４１８）は、受信機（１０３）が、送られるフレームデータに基づいてフレームを再構築することを示している。ブロック（４２０）は、再構築されたフレームが合成され、デジタル信号（１０８）を再現することを示している。ブロック（４２２）は、再構築されたデジタル信号（１０８）がアナログ信号（１０４）としてプレイバックされることを示している。
【００２３】
図５は、汎用翻訳機の使用を示している。ブロック（５０２）は、第１の使用者が第１の言語を第１の翻訳システムの中に吹き込むことを示している。第１の翻訳システムは、あらゆる言語の翻訳システムであり、１のテキスト言語を、単一の遷移言語（ｔｒａｎｓｉｔｉｏｎ ｌａｎｇｕａｇｅ）のテキストに変換することができる。翻訳システムは音声認識を有することが望ましいが、必ずしも必要なものではない。ブロック（５０４）は、第１の言語の音声を第１の言語テキストに変換することを示している。ブロック（５０６）は、第１言語テキストが遷移言語テキストに変換されることを示している。望ましい実施例において、遷移言語は英語であるが、他のどんな言語を用いることもできる。ブロック（５０８）は、遷移言語テキストが第２の翻訳システムに送信されることを示している。第２の翻訳システムの要件は、第１の翻訳システムのものと同じである。ブロック（５１０）は、遷移言語テキストを受信する第２の翻訳システムを示している。ブロック（５１２）は、第２の言語システムが遷移言語テキストを第２の言語テキストに変換することを示している。ブロック（５１４）は、第２の言語テキストが第２の使用者に送達されることを示している。他の実施例として、テキストが第２の使用者に送達された後、第２の言語テキストが遷移言語に翻訳され、第１の言語テキストに戻されることを示している。これにより、第１の使用者は、翻訳が第１の使用者の意味通りだったかどうかを調べることができる。
【００２４】
各翻訳システムは、言語を翻訳言語に変換するか、又は翻訳言語を使用者の言語に変換するものである。従って、翻訳システムは、複数の言語を翻訳するのではなく、文法及び語彙について真の翻訳を行なうのに重点がおかれる。その結果、より正確な音声翻訳システムが開発されるだろう。
【図面の簡単な説明】
【図１】
図１Ａは本発明の一実施例であって、音声をデータに変換する変換器のブロック図を示しており、図１Ｂは一般的に使用されるアナログデジタル変換器のブロック図であり、図１Ｃは一般的に使用される帯域通過フィルターのブロック図であり、図１Ｄは本発明の一実施例に基づいてデジタル信号がフレームに分割されるブロック図であり、図１Ｅは本発明の一実施例に基づいてスペクトル分析が行われた後の一連のフレームのブロック図であり、図１Ｆは本発明の一実施例に基づいてフレーム比較が行われた後の一連のフレームのブロック図である。
【図２】
図２Ａは本発明の一実施例に基づいてスペクトル分析が行われる前のフレームのブロック図であり、図２Ｂは本発明の望ましい実施例に基づくスペクトル分析の結果のブロック図であり、図２Ｃは本発明の一実施例に基づいて０〜１００単位のスケールで振幅を測定したスペクトル分析結果のブロック図であり、図２Ｄは本発明の一実施例に基づいて０〜１６単位のスケールで振幅を測定したスペクトル分析結果のブロック図である。
【図３】
図３Ａ乃至図３Ｈは本発明の一実施例に係り、特定周波数（ｓｐｅｃｉｆｉｃ ｆｒｅｑｕｅｎｃｙ）の正弦波とフレームの正弦波のブロック図である。
【図４】
本発明の一実施例に係り、音声をデータに変換する変換器のステップを示すフローチャートである。
【図５】
本発明の一実施例に係り、汎用翻訳機のステップを示すフローチャートである。
【図１】
2004515800.tif 000003
2004515800.tif 000004
【図２】
2004515800.tif 000005
【図３】
2004515800.tif 000006
2004515800.tif 000007
2004515800.tif 000008
2004515800.tif 000009
2004515800.tif 000010
【図４】
2004515800.tif 000011
【図５】
2004515800.tif 000012
【国際公開パンフレット】
2004515800.tif 000013
2004515800.tif 000014
2004515800.tif 000015
2004515800.tif 000016
2004515800.tif 000017
2004515800.tif 000018
2004515800.tif 000019
2004515800.tif 000020
2004515800.tif 000021
2004515800.tif 000022
2004515800.tif 000023
2004515800.tif 000024
2004515800.tif 000025
2004515800.tif 000026
2004515800.tif 000027
2004515800.tif 000028
2004515800.tif 000029
2004515800.tif 000030
2004515800.tif 000031
2004515800.tif 000032
2004515800.tif 000033
2004515800.tif 000034
2004515800.tif 000035
【国際公開パンフレット（コレクトバージョン）】
2004515800.tif 000036
【国際調査報告】
2004515800.tif 000037
2004515800.tif 000038
2004515800.tif 000039