(57)【要約】  Ｎ個のオーディオ信号の各々を、その特性が時間領域で線形時間不変となるか又は周波数領域でそれと等価な一意的なデコリレーションフィルター（３８）特性によりフィルターし、デコリレーションフィルター特性毎に、時間及び周波数を変化させて、その入力信号（Ｚｉ）と出力信号（Ｚ−ｉ）とを結合し（４０，４４，４６）、Ｎ個の処理された信号のセットを提供する。デコリレーションフィルター特性のセットは、入力信号と出力信号のすべてが相互にほぼデコリレーションされるように設計される。Ｎ個のオーディオ信号のセットは、Ｍ個のオーディオ信号をアップミックスすることにより合成してもよい。ここで、Ｍは１以上であり、ＮはＭより大きい。
2008511044.tif 000002
【特許請求の範囲】
【請求項１】
Ｎ個のオーディオ信号のセットを処理する方法であって、Ｎ個のオーディオ信号をその特性が時間領域で線形時間不変となるか又は周波数領域でそれと等価な、一意的なデコリレーションフィルター特性でフィルターするステップと、デコリレーションフィルター特性毎に、Ｎ個の処理された信号のセットを提供するために時間及び周波数を変化させる方式でその入力信号と出力信号とを結合するステップとを具備することを特徴とする方法。
【請求項２】
一意的なデコリレーションフィルター特性の各々は、各フィルター特性における対応する入力信号がＮ個の信号のすべてとの間で有する相関関係より小さい相関関係を、各フィルター特性の出力信号がＮ個の信号のすべてとの間で有するよう、また、各フィルター特性における対応する入力信号がＮ個の信号の他のすべてとの間で有する相関関係より小さい相関関係を、各出力信号が他のすべての出力信号との間で有するように選定されることを特徴とする請求項１に記載の方法。
【請求項３】
前記Ｎ個のオーディオ信号のセットは、Ｍ個のオーディオ信号から合成されたものであり、Ｍは１以上であり、ＮはＭより大きく、Ｍ個のオーディオ信号をＮ個のオーディオ信号をアップミックスするステップをさらに具備することを特徴とする請求項１又は請求項２に記載の方法。
【請求項４】
前記Ｎ個の合成されたオーディオ信号同士の好ましい空間関係を記述したパラメータを受け取るステップをさらに具備し、前記アップミックスするステップは受け取ったパラメータを用いて行われることを特徴とする請求項３に記載の方法。
【請求項５】
各デコリレーションフィルター特性は、複数の自由度を持つモデルにより特徴づけられたものであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の方法。
【請求項６】
各デコリレーションフィルター特性は、時間遅れが周波数の増加と共に単調に減少する、周波数の変化により時間遅れが変化する形の応答を有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の方法。
【請求項７】
各フィルター特性のインパルス応答は、その瞬時周波数が単調減少する、有限持続時間の正弦波のシークエンスで特徴づけられることを特徴とする請求項６に記載の方法。
【請求項８】
正弦波のシークエンスの瞬時位相にノイズシークエンスが付加されることを特徴とする請求項７に記載の方法。
【請求項９】
前記結合は、一次結合であることを特徴とする請求項１乃至請求項８のいずれか１項に記載の方法。
【請求項１０】
前記結合による結合の程度は、受け取ったパラメータを用いて定められることを特徴とする請求項１乃至請求項９のいずれか１項に記載の方法。
【請求項１１】
前記Ｎ個の処理された信号同士の好ましい空間関係を記述するパラメータを受け取るステップであって、前記結合による結合の程度は、受け取ったパラメータを用いて定められることを特徴とするステップをさらに具備することを特徴とする請求項１乃至請求項９のいずれか１項に記載の方法。
【請求項１２】
前記オーディオ信号の各々はチャンネルを表し、結合動作を助ける前記受け取ったパラメータはチャンネル同士の相関関係に関するパラメータであることを特徴とする請求項１０又は請求項１１に記載の方法。
【請求項１３】
受信した他のパラメータには、１以上のチャンネル同士の振幅差とチャンネル同士の時間差又は位相差に関するパラメータが含まれることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記請求項１乃至請求項１３のいずれか１項に記載の方法を実行するオーディオプロセッサ。
【請求項１５】
前記請求項１乃至請求項１３のいずれか１項に記載の方法の実施に適合した装置。
【請求項１６】
前記請求項１乃至請求項１３のいずれか１項に記載の方法をコンピュータに実行させるための、コンピュータが読み込み可能な媒体に記憶させたコンピュータプログラム。
【請求項１７】
請求項１４に記載のオーディオプロセッサ又は請求項１５に記載の装置をコンピュータに制御させるための、コンピュータが読み込み可能な媒体に記憶させたコンピュータプログラム。
【請求項１８】
Ｎ個のオーディオ信号のセットを処理する装置であって、
Ｎ個のオーディオ信号をその特性が時間領域で線形時間不変となるか又は周波数領域でそれと等価な一意的なデコリレーションフィルター特性でフィルターする手段と、
デコリレーションフィルター特性毎に、Ｎ個の処理された信号のセットを提供するために時間及び周波数を変化させる方式でその入力信号と出力信号とを結合する手段と、
を具備することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオエンコーダーと、オーディオデコーダーと、これらに関連する方法、このような方法を実施するためのコンピュータプログラム、及びこのようなエンコーダーにより生成されるビットストリームに係るシステムとに関する。
【背景技術】
【０００２】
最近発表された制限されたビットレートのコーディング技法では、入力複数チャンネル信号を分析し、ダウンミックス合成信号（入力信号より少ないチャンネルの信号）及び元の音場のパラメトリックモデルを含むサイド情報を導き出す。このサイド情報と合成信号は、元の音場に似た音場を再構成させるためにパラメトリックモデルを合成信号に適用するデコーダー伝送される。このような「空間コーディング」システムの第１の目的は、非常に制限された量のデータで複数チャンネルの音場を再構成させることである。したがって、これにより、元の音場をシミュレートするために使うパラメトリックモデルでの制限が強化される。このような空間コーディングシステムの詳細は、以下に「参照としての編入」の表題で引用したものを含む、種々の文書に記載されている。
【０００３】
このような空間コーディングシステムは、一般に、チャンネル同士の振幅差、チャンネル同士の時間差又は位相差、及びチャンネル同士の相関関係のような元の音場をモデル化するためのパラメータを採用する。一般に、このようなパラメータは、コード化された各チャンネルの複数のスペクトル帯域のために予測され、時間の推移に対して動的に予測される。
【０００４】
代表的な従来技術の空間コーディングシステムを、図１ａ（エンコーダー）、図１ｂ（デコーダー）に示す。複数入力信号は重複させたＤＦＴ（離散周波数変換）を用いて周波数領域に変換される。このＤＦＴスペクトルは、次いで、耳の臨界帯域に近似させた帯域に分割される。チャンネル同士の振幅差、チャンネル同士の時間差又は位相差、及びチャンネル同士の相関関係の予測値がこの帯域の各々に対して計算される。元の入力信号をモノフォニックな合成信号にダウンミックスするためにこれらの予測値が用いられる。この合成信号は、予測した空間パラメータと共にデコーダーに送られ、そこで、合成信号は、重複させたＤＦＴと臨界帯域間隔を用いて周波数領域に変換される。次いで、この空間パラメータは、元の複数チャンネル信号に近似させるために対応する帯域に適用される。
【０００５】
デコーダーにおいては、チャンネル同士の振幅差と時間差又は位相差の適用は比較的簡単であるが、これらのチャンネル同士の相関関係を元の複数チャンネル信号と適合させるためにアップミックスされたチャンネルを修正することはかなり困難である。一般に、デコーダーにおいて、振幅差と時間差又は位相差のみを適用すると、アップミックスされたチャンネルのチャンネル同士の相関関係が、元の信号より大きくなり、オーディオサウンドが元のものより空間的に「崩れたもの」、又は、環境性を失ったものとなる。これはしばしば、サイド情報伝送コストを制限するために周波数及び／又は時間を横切って値の平均化が行われるせいである。元のチャンネル同士の相関関係の感触を復元するために、ある形式のデコリレーションをアップミックスされたチャンネルの少なくともいくつかに対して行わなければならない。以下に引用した、Breebaart等によるAES  Convention  Paper  6072及び国際出願ＷＯ０３／０９０２０６には、単一のダウンミックスされたチャンネルからアップミックスした２つのチャンネル間にチャンネル間の望ましい相関関係を課す技法が提示されている。ダウンミックスされたチャンネルはまず、デコリレーションフィルターを通り抜け、もう１つのデコリレーションされた信号を生成する。次いで、２つのアップミックスされたチャンネルは、元のダウンミックスされた信号とデコリレーションされた信号の一次結合としてそれぞれ計算される。このデコリレーションフィルターは周波数に依存する時間遅れとして設計され、時間遅れは周波数が増加するにつれて増加する。このようなフィルターは、トランジエントの時間的分散を減少させる一方、顕著な可聴デコリレーションを提供するという好ましい特性を有する。また、元の信号にデコリレーションされた信号を加えることは、固定時間遅れのデコリレーションフィルターと関連付けられるくし型フィルター効果が得られないかもしれない。
【０００６】
このBreebaart等による論文及び出願に記載された技術は、２つのアップミックスチャンネルのみに対して設計されたものであるが、このような技術は、任意の数のアップミックスチャンネルに対するのが好ましい。本発明の特徴は、より一般的な複数チャンネルデコリレーションの問題を解決するのみならず、周波数領域での効率的な実施も提供する。
【発明の開示】
【０００７】
本発明の特徴によれば、Ｎ個のオーディオ信号のセットを、その特性が時間領域で線形時間不変となるか又は周波数領域でそれと等価な一意的なデコリレーションフィルター特性でフィルターし、デコリレーションフィルター特性毎に、時間及び周波数を変化させる方式で、その入力信号と出力信号とを結合し、Ｎ個の処理された信号のセットを提供する。この結合は一次結合でも良く、受け取ったパラメータの助けを借りて動作させてもよい。一意的なデコリレーションフィルター特性の各々は、各フィルター特性における対応する入力信号がＮ個の信号のすべてとの間で有する相関関係より小さい相関関係を、各フィルター特性の出力信号がＮ個の信号のすべてとの間で有するよう、また、各フィルター特性における対応する入力信号がＮ個の信号の他のすべてとの間で有する相関関係より小さい相関関係を、各出力信号が他のすべての出力信号との間で有するように選定することができる。このようにして、各一意的なデコリレーションフィルターは、各フィルターの出力信号がＮ個のオーディオ信号のそれぞれとほぼデコリレーションされるように、また、各出力信号がすべての他のオーディオ信号とほぼデコリレーションされるように選定される。Ｎ個のオーディオ信号のセットは、Ｍ個のオーディオ信号から合成することができ、ここで、Ｍは１以上でありＮはＭ以上であり、この場合にＭ個のオーディオ信号をＮ個のオーディオ信号にアップミックスしてもよい。
【０００８】
本発明のさらなる特徴によれば、前記Ｎ個の合成されたオーディオ信号同士の好ましい空間関係を記述するパラメータを受け取る。この場合にアップミックスは、受け取ったパラメータにより定めることができる。この受け取ったパラメータはＮ個の合成されたオーディオ信号同士の好ましい空間関係を記述することができ、アップミックスを受け取ったパラメータにより動作させることができる。
【０００９】
本発明の他の特徴によれば、各デコリレーションフィルター特性は、複数の自由度を持つモデルにより特徴づけてもよい。各デコリレーションフィルター特性は、時間遅れが周波数の増加と共に単調に減少する、周波数の変化により時間遅れが変化する形の応答を持つことができる。各フィルター特性のインパルス応答は、その瞬時周波数がそのシークエンス（ｓｅｑｕｅｎｃｅ）の持続時間においてπからゼロになるような、単調減少する、有限持続時間の正弦波のシークエンスで特徴づけることができる。ノイズシークエンスを、例えば可聴アーティファクトを特定の信号状態以下に減少させるために、正弦波のシークエンスの瞬時位相に付加してもよい。
【００１０】
本発明のさらに他の特徴によれば、Ｎ個の処理された信号同士の好ましい空間関係を記述するパラメータを受け取り、結合の程度は、受け取ったパラメータにより定めることができる。オーディオ信号の各々は、チャンネルを表すことができ、結合動作を助ける受け取ったパラメータは、チャンネル同士の相関関係に関するパラメータとすることができる。受信した他のパラメータには、１以上のチャンネル同士の振幅差とチャンネル化の時間差又は位相差に関するパラメータが含まれる。
【００１１】
本発明は、例えば、エンコーダーでＮ個の元のオーディオ信号がＭ個の信号にダウンミックスされ（Ｍ＜Ｎ）、そして、エンコーダーで生成されたサイド情報を用いて、再びＮ個の信号にデコーダーでアップミックスされるような、空間コーディングシステムに適用される。本発明の特徴は、複数チャンネルが単一のモノフォニックチャンネルにダウンミックスされる（そしてそこからアップミックスが行われる）ような、以下の引例に記述したような空間コーディングシステムに適用することができるのみならず、Mark
Franklin Davisにより、２００５年２月２８に出願された国際出願ＰＣＴ／ＵＳ２００５／００６３５９、表題「Low  Bit  Rate  Audio  Encoding  and  Decoding  in  Which  Multiple  Channels  Are  Represented  By  Fewer  Channels  and  Auxiliary  Information」に開示されているような、複数のチャンネルにダウンミックスがなされる（そしてそこからアップミックスが行われる）ようなシステムにも適用することができる。前記ＰＣＴ／ＵＳ２００５／００６３５９出願は、本明細書にそのすべてを参照として編入する。
【００１２】
デコーダーにおいて、サイド情報により送られた信号間の振幅差及び時間差または位相差を適用することにより、Ｍ個のダウンミックスされた信号からＮ個のアップミックスされた信号の第１のセットが生成される。次に、一意的なデコリレーションフィルターでＮ個の信号をフィルターすることにより、この第１のセットからＮ個のアップミックスされた信号の第２のセットが生成される。このフィルターは、各信号に対して１つ、Ｎ個のデコリレーションフィルターがあるという意味で「一意的」である。Ｎ個の一意的なデコリレーションフィルターのセットは、それぞれのフィルター入力に関してデコリレーションされた（以下の式３ａ参照）相互にデコリレーションされたＮ個の信号（以下の式３ｂ参照）を生成するよう設計されている。エンコーダーへの入力信号のそれぞれに近似する出力信号をデコーダーから生成するために、フィルターされていないアップミックス信号と共に、これらの十分デコリレーションされた信号が用いられる。それぞれの近似値は、アップミックスされた信号の第１のセットからのフィルターされていない各信号と、アップミックスされた信号の第２のセットからの対応するフィルターされた信号との一次結合として計算される。この一次結合の係数は、時間と周波数に応じて変化し、エンコーダーにより生成されたサイド情報に含めてデコーダーに送られる。場合によっては、このシステムを効率的に実施するために、Ｎ個のデコリレーションフィルターは、時間領域よりむしろ周波数領域で適用することが好ましい。これは、例えば、以下に記載するように、エンコーダー及びデコーダーに用いられるＤＦＴに適切にゼロパッディング（ｚｅｒｏ−ｐａｄｄｉｎｇ）及び窓化を行うことにより実施してもよい。フィルターは時間領域で適用してもよい。
【発明を実施するための最良の形態】
【００１３】
図２及び図３を参照すると、元のＮ個のオーディオ信号は、ｘｉ、ｉ＝１．．．Ｎで表される。エンコーダーで生成されたＭ個のダウンミックスされた信号は、ｙｊ、ｊ＝１．．．Ｍで表される。
【数１】
2008511044.tif 000003
【００１４】
これらの信号は、時間と周波数を変えることで既述の第１のセットと第２のセットからの信号を混合することにより計算される。
【数２】
2008511044.tif 000004
【００１５】
パラメータαｉ［ｂ，ｔ］とβｉ［ｂ，ｔ］は、エンコーダーで生成されたサイド情報で特定された時間と周波数を変える混合係数である。これらは、「係数の混合計算」の表題で以下に記載したように計算することができる。
【００１６】
［デコリレーションフィルターの設計］
【数３】
2008511044.tif 000005
【００１７】
当業者でよく知られているように、単純な時間遅れをデコリレーションフィルターとして使うことができ、この場合、デコリレーション効果は、時間遅れが増加するにつれて増加する。しかし、このようなデコリレータにより信号がフィルターされ、そして、式（２）で示したように元の信号が加算されたとき、特に高い周波数で、エコーが聞こえることがある。当業者に知られた改善法は、時間遅れを周波数と線形に最大時間遅れからゼロまで減少させる、周波数の変化により時間遅れを変化させるフィルターを使う方法である。このようなフィルターで唯一自由になるパラメータは最大時間遅れである。このようなフィルターにおいて、低周波数では顕著な時間遅れを受けるのでデコリレーションの効果を保持する一方、高周波数では顕著な時間遅れは無いので感知できるエコーが削除される。本発明の特徴として、デコリレーションフィルターの特性は、より自由度の高いモデルにより特徴づけられることが好ましい。特に、このようなフィルターは、瞬時周波数を単調に増加させる機能を有することができ、これは、理論的に無限に多くの様々な形式をとることができる。各フィルターのインパルス応答は、その瞬時周波数が例えばそのシークエンスの連続に対してπからゼロになるような、単調減少する有限連続の正弦波のシークエンスで特徴づけることができる。これは、ナイキスト周波数に対する時間遅れが０に等しく、ＤＣに対する時間遅れがシークエンスの長さに等しいことを意味する。この一般形態から、各フィルターのインパルス応答は下式で与えられる、
【数４】
2008511044.tif 000006
【００１８】
ここで、ωｉ（ｔ）は、単調増加する瞬時周波数関数であり、ω’ｉ（ｔ）は、この瞬時周波数の第１導関数であり、φｉ（ｔ）は瞬時周波数の積分値に初期位相φ０を加えることにより得られる瞬時位相であり、Ｌｉはこのフィルターの長さである。乗算項√ω’ｉ（ｔ）は、周波数応答ｈｉ［ｎ］をすべての周波数でほぼフラットにするために必要であり、フィルター振幅Ａｉは、周波数応答の振幅がほぼ一様になるよう選定される。これは以下のようにＡｉを選択することと等価である。
【数５】
2008511044.tif 000007
【００１９】
関数ωｉ（ｔ）の有用なパラメータ化の１つは以下で与えられる、
【数６】
2008511044.tif 000008
【００２０】
パラメータαｉは、シークエンスの持続中にどれだけ速く瞬時周波数がゼロに減少するかを定めるものである。角周波数ωの関数として時間遅れｔを解くために等式（５）を以下のように変形することができる、
【数７】
2008511044.tif 000009
【００２１】
αｉ＝０のとき、すべてのωに対してｔｉ（ω）＝Ｌｉであり、言い換えれば、フィルターは長さＬｉの純粋な時間遅れとなることに留意しなければならない。αｉ＝∞のとき、すべてのωに対してｔｉ（ω）＝０であり、フィルターは単純なインパルスとなる。聴覚的なデコリレーションの目的では、最適な音響結果をもたらすために、αｉの設定は１と１０との間のどこかで見出される。しかし、式（４ａ）中のフィルターインパルス応答ｈｉ［ｎ］がチャープ（小鳥のさえずる声）のようなシークエンスの形態となるため、インパルス的なオーディオ信号をそのようなフィルターでフィルターすることは、元のトランジェントの位置に、フィルターされた信号中にしばしば可聴な「チャーピング」アーティファクトが生じる結果となる。この影響による可聴性は、αｉを増加させるとともに減少するが、フィルターの正弦波シークエンスの瞬時位相にノイズシークエンスを加えることによりさらにこの影響を減少させることができる。これは、下式のように、フィルター応答の瞬時位相にノイズ項を加えることにより達成できる、
【数８】
2008511044.tif 000010
【００２２】
このノイズシークエンスＮｉ［ｎ］をπの小さな端数の分散を持つガウスノイズに等しくすることは、インパルス応答サウンドをチャープのようなものでなくノイズのようなものにするのに十分である一方、ωｉ（ｔ）で定義された周波数と時間遅れとの間の好ましい関係は広い範囲で維持される。式（５）で定義されたようなωｉ（ｔ）を持つ式（７）におけるフィルターは、４つの自由なパラメータ、Ｌｉ，αｉ，φ０，及びＮｉ［ｎ］を持つ。これらのパラメータをすべてのフィルターｈｉ［ｎ］、ｉ＝１．．．Ｎに亘ってお互いに十分異なるよう選定することにより、式（３）の好ましいデコリレーション条件に合致させることができる。
【００２３】
［係数の混合の計算］
時間と周波数を変化させて係数αｉ［ｂ，ｔ］とβｉ［ｂ，ｔ］とを混合したものは、元の信号ｘｉの対同士で帯域毎の相関関係から、エンコーダーで生成することができる。具体的には、帯域ｂの時間ｔにおける、信号ｉと信号ｊとの正規化された相関関係（ここで、「ｉ」は信号１．．．Ｎのうちの任意の１つであり、「ｊ」は信号１．．．Ｎのうちの他の任意の１つである）は下式で与えられる。
【数９】
2008511044.tif 000011
【００２４】
ここで、期待値Ｅは時間ｔの近傍の時間τについて実行される。
【数１０】
2008511044.tif 000012
【数１１】
2008511044.tif 000013
【００２５】
これらのパラメータαｉ［ｂ，ｔ］は空間コーディングシステムのサイド情報に含めて伝送される。デコーダーにて、パラメータβｉ［ｂ，ｔ］は下式のように計算される、
【数１２】
2008511044.tif 000014
【００２６】
サイド情報を伝送するコストを削減するために、優勢なチャンネルと２番目に優勢なチャンネルのみに対するパラメータαｉ［ｂ，ｔ］を送ってもよい。そして、他のすべてのチャンネルについてのαｉ［ｂ，ｔ］の値は、２番目に優勢なチャンネルの値に設定される。さらなる近似として、パラメータαｉ［ｂ，ｔ］をすべてのチャンネルで同じ値に設定してもよい。この場合、優勢なチャンネルと２番目に優勢なチャンネルとの間の正規化された相関関係の平方根を用いてもよい。
【００２７】
［周波数領域におけるデコリレーションフィルターの実施］
分析窓と合成窓を適切に選択し重複させたＤＦＴは、本発明の特徴を効率的に実施するために用いられる。図４は、適切な分析窓／合成窓のペアの例を描いたものである。図４は、周波数領域においてデコリレーションを適用するための重複させたＤＦＴの分析窓及び合成窓を示す。重複させ傾斜をつけた窓は再現された信号中のアーティファクトを最小限にするために必要である。
【００２８】
分析窓は、重複させた分析窓の和が選択した重複間隔について一貫性を保つように設計される。例えば、カイザー・ベッセル（ＫＢＤ）窓を選択してもよい。このような分析窓により、重複させたＤＦＴに変更が加えられていなければ、合成窓なしで分析された信号を合成することができる。周波数領域で乗算を行いデコリレーションフィルターで畳み込むために、分析窓はまたゼロパッドされたものでなければならない。ゼロパッディングなしでは、通常の畳み込みではなく循環畳み込みが起こる。もし最大デコリレーションフィルター長がＬｍａｘで与えられるなら、少なくともＬｍａｘの分析窓の後のゼロパッディングが必要となる。しかし、チャンネル同士の振幅差と位相差も周波数領域で適用され、これらの修正により、結果的に分析窓の前後で畳み込みもれが生じる。したがって、付加的なゼロパッディングを分析窓のメインローブの前後に付加する。最終的に、分析窓のメインローブを横切って一様であり、Ｌｍａｘの長さのゼロパッディングである分析窓が使われる。この領域の外側には、しかしながら、合成されたオーディオにおける誤動作を削除するために合成窓はゼロ方向に傾いている。本発明の特徴には、このような分析窓／合成窓の設定とゼロパッディングの使用とが含まれている。
【００２９】
適切な窓パラメータを以下に示す、
ＤＦＴ長さ：                                  ２０４８
分析窓メインローブ長さ（ＡＷＭＬ）：          １０２４
ホップサイズ（ＨＳ）：                                ５１２
リーディングゼロパッド（ＺＰｌｅａｄ）：          ２５６
ラギングゼロパッド（ＺＰｌａｇ）：              ７６８
分析窓の傾き（ＳＷＴ）：                      １２８
Ｌｍａｘ：                                      ６４０
このような窓パラメータが適切であることは分かったが、特定の値が本発明にとって決定的なものになるわけではない。
【数１３】
2008511044.tif 000015
【００３０】
ここで、Ｚｉ［ｋ，ｔ］は、上述の分析窓を用いて、ダウンミックスされた信号ｙｊ，ｊ＝１．．．Ｍ、の重複させたＤＦＴから計算されたものである。ｋｂＢｅｇｉｎとｋｂＥｎｄを帯域ｂに関連付けたビンインデックスの最初と最後とすると、式（２）は以下のように実行することができる、
【数１４】
2008511044.tif 000016
【００３１】
図２を参照すると、本発明の特徴を具体化したエンコーダーの簡単化した例が示されており、入力信号ｘｉは、ＰＣＭ信号のような複数のオーディオ入力信号であり、それぞれのオーディオ信号、１からｎまでが時間領域から周波数領域への変換器又は変換機能（「Ｔ／Ｆ」）２２のそれぞれに入力される。分かりやすくするために、１つのＴ／Ｆブロックのみが示されているが、１からｎまでの入力信号のそれぞれに１つあることが了解されよう。入力オーディオ信号は、例えば、左、中央、右、等の空間方向を表すことができる。各Ｔ／Ｆは、例えば、入力オーディオサンプルをブロックに分割し、ブロックを窓化し、ブロックを重複させ、窓化し重複させた各ブロックを離散周波数変換（ＤＦＴ）を用いて周波数領域に変換し、その結果生じた周波数スペクトルを耳の臨界帯域、例えば等価矩形帯域（ＥＲＢ）スケールを用いて例えば２１個の帯域、をシミュレートする帯域に区分する。このようなＤＦＴ処理は当業者にはよく知られている。時間領域から周波数領域への他の変換パラメータ及び技法を用いてもよい。どんな特定のパラメータも特定の技法も本発明にとって決定的なものとはならない。しかし、説明を簡単にするために、本明細書における説明では、このようなＤＦＴ変換技法を採用することを前提とする。
【００３２】
Ｔ／Ｆ２２の周波数領域の出力は各々スペクトル係数のセットとなる。これらのセットのすべては、ダウンミキサー又はダウンミックス機能（「ダウンミックス」）２４に入力される。このダウンミキサー又はダウンミックス機能は、前述の空間コーディングの刊行物又は前述のDavis他による国際特許出願にいろいろと記載したようなものでもよい。ダウンミックス２４の出力、前述の空間コーディングシステムの場合は単一チャンネルｙｉ、前述のDavis他による刊行物では複数チャンネルｙｉは、ＡＡＣやＡＣ−３その他のような適切なコーディングを用いて知覚的にエンコードされたものでもよい。詳細が公にされた知覚コーディングシステムは、以下に「参照としての編入」の表題で本明細書に含める。ダウンミックス２４の出力は、知覚コーディングされたものであってもなくても、「オーディオ情報」として特徴づけられる。このオーディオ情報は、各々一般的に上記のＴ／Ｆとは逆の機能を実行する周波数領域から時間領域への変換器又は変換機能（「Ｆ／Ｔ」）２６により、変換されて時間領域に戻され、その後、窓化と重複させた加算が行われる。Ｆ／Ｔ２６からの時間領域の情報は、エンコードされたビットストリームを出力するビットストリームパッカー又はパッキング機能（「ビットストリームパッカー」）２８に入力される。
【００３３】
Ｔ／Ｆ２２によって生成されたスペクトル係数のセットはまた、前述の空間コーディングについての種々の刊行物に記載されているような、例えば、チャンネル同士の振幅差、チャンネル同士の時間差又は位相差、及び、チャンネル同士の相関関係のような「空間パラメータ」を有する「サイド情報」を計算する空間パラメータ計算器又は計算機能３０に入力される。空間パラメータサイド情報は、ビットストリーム中の空間パラメータを含むビットストリームパッカー２８に入力される。
【００３４】
Ｔ／Ｆ２２によって生成された空間スペクトル係数のセットはまた、上述したような相関係数αｉ［ｂ，ｔ］を計算する、相関係数計算器又は計算機能（「相関係数の計算」）３２に入力される。この相関係数は、ビットストリーム中の相関係数を含むビットストリームパッカー２８に入力される。この相関係数は、「サイド情報」として特徴づけてもよい。サイド情報は、オーディオ情報をデコードするに際して有用である。
【００３５】
実際の実施形態では、このオーディオ情報のみならず、サイド情報及び相関係数もまた伝送コストを最小限にするために何らかの方法で、量子化又はコード化されるであろう。しかしながら、表現を簡単にするため、及びこの詳細は良く知られており本発明を理解する上で役に立たないので、量子化と逆量子化については図示されていない。
【００３６】
図３を参照すると、ここには本発明の特徴を具体化したデコーダーの簡単化した例が示されているが、例えば、図２に関連して説明した形式のエンコーダーにより作られたビットストリームが、空間情報サイド情報、相関係数サイド情報αｉ［ｂ，ｔ］、及びオーディオ情報を提供するビットストリームアンパッカー３２に入力される。このオーディオ情報は、時間領域から周波数領域への変換器又は変換機能（「Ｔ／Ｆ」）３４に入力される。このＴ／Ｆは図２の変換器２２と同じものでもよい。この周波数領域のオーディオ情報は、受け取った空間パラメータのサイド情報の助けを借りて動作するアップミキサー３６に入力される。このアップミキサーは、前述の空間コーディングについての刊行物に記載された、又は、オーディオ情報が複数チャンネルに伝送される場合はDavis他の国際出願に記載されたようにさまざまに動作する。このアップミキサーの出力は、上記の複数の信号ｚｉとなる。アップミックスされた信号ｚｉの各々は、上述の特性ｈｉを持つ一意的なデコリレーションフィルター３８に入力される。表現を簡単にするために、単一のフィルターのみ示したが、各アップミックスされた信号に別々の一意的なフィルターがあることは理解されよう。
【００３７】
2008511044.tif 000017
【００３８】
相関係数αｉ［ｂ，ｔ］はマルチプレクサ４０に入力され、そこで上述のようにアップミックスされた信号のそれぞれの時間が乗算される。相関係数αｉ［ｂ，ｔ］はまた、上述のように、相関係数αｉ［ｂ，ｔ］から相関係数βｉ［ｂ，ｔ］を導き出す計算器又は計算機能（「βｉ［ｂ，ｔ］の計算」）４２にも入力される。
【００３９】
2008511044.tif 000018
【００４０】
［実施例］
本発明は、ハードウェア又はソフトウェア又はこれらの組み合わせ（例えばプログラマブルロジックアレー）により実施可能である。特に記述が無い場合は、本発明の１部として組み込まれるアルゴリズムは特定のコンピュータ又はその他の装置に本来的に結びついたものではない。特に、さまざまな汎用機でここに開示した記載のプログラムを用いてもよく、あるいは、必要な方法のステップを実行するためのもっと特化した装置（例えば集積回路）を組み立てたほうがもっと便利かもしれない。このように、本発明は、それぞれが少なくとも１つのプロセッサと、少なくとも１つのデータ記憶システム（揮発メモリ及び不揮発メモリ及び／又は記憶装置を含む）と、少なくとも１つの入力装置又は入力ポートと、少なくとも１つの出力装置からなる１以上のプログラム可能なコンピュータシステムで動作する１以上のコンピュータプログラムにより実行することができる。ここに記載した機能を実行し出力情報を出力するために入力データにプログラムコードが適用される。出力情報は、１以上の出力装置に既知の方法で適用される。
【００４１】
このようなプログラムの各々は、コンピュータシステムと通信するため必要とされるどのようなコンピュータ言語（機械言語、アセンブリ言語、高級手続言語又はロジック言語又はオブジェクト指向プログラミング言語を含む）、で実行してもよい。いずれにせよ、言語はコンパイル言語又はインタプリタ言語とすることができる。
【００４２】
このようなコンピュータプログラムの各々は、その記憶媒体又は記憶装置をコンピュータシステムが読み取り、ここに記載された手続を実行するときに、コンピュータを設定し実行させるために、汎用又は専用のプログラマブルコンピュータにより読み取り可能な記憶媒体又は記憶装置（例えば、半導体メモリ又は半導体媒体、又は磁気又は光学媒体）に保存又はダウンロードされることが好ましい。発明したシステムは、コンピュータプログラムコンピュータが設定された読取可能な記憶媒体であって、コンピュータシステムにここに記載した機能を実行するために、あらかじめ定めた特定の方法で動作させるよう構成されている記憶媒体としての実施も考えることができる。本発明の多くの実施の形態を記載した。しかしながら、本発明の精神と技術的範囲を逸脱することなく多くの変更を加えることができることは了解されよう。例えば、ここに記載したステップのいくつかは独立したものであり、したがって、この記載とは違った順序で実施することができる。
【００４３】
［参照としての編入］
以下の特許、特許出願、及び、刊行物は参照としてそのすべてを本明細書に編入する。
【００４４】
［ＡＣ−３］
ＡＴＳＣ標準Ａ５２／Ａ：Digital  Audio  Compression  Standard  (AC-3),  Revision A、Advanced  Television  Systems  Committee、２００１年８月２０日。このＡ５２／Ａ書面は、ワールドワイドウェブhttp://www.atsc.org/standards.html.にて参照することができる。
【００４５】
Steve  Vernonによる、１９９５年８月の  EEE  Trans．Consumer  Electronics，Vol.41,No. 3、「Design  and  Implementation  of  AC-3  Coders」、
Mark Davisによる、１９９３年１０月のAudio  Engineering  Society  Preprint  3774,  95th  AES  Convention,「The  AC-3  Multichannel  Coder」、
Bosi他による、１９９２年１０月のAudio  Engineering  Society  Preprint  3365,  93rd  AES  Convention,「High  Quality,  Low-Rate  Audio  Transform  Coding  for  Transmission  and  Multimedia  Applications」、
米国特許、5,583,962と、5,632,005と、5,633,981と、5,727,119と、6,021,386、
［ＡＡＣ］
ISO/IEC  IS-14496（パート３、オーディオ）、１９９６年、AAC  ISO/IEC  JTC1/SC29,  「Information  technology-very  low  bitrate  audio-visual  coding」、
ISO/IEC  13818-7、International  Standard、１９９７年「MPEG-2  advanced  audio  coding,  AAC」、
M.  Bosi、K.  Brandenburg、S.  Quackenbush、L.  Fielder、K.  Akagiri、H.  Fuchs、M.  Dietz、J.  Herre、G.  Davidson、及び、Y.  Oikawaによる、１９９６年、Proc.  of  the  101st  AES-Convention、「ISO/IEC
MPEG-2 Advanced Audio Coding」、
M.  Bosi、K.  Brandenburg、S.  Quackenbush、L.  Fielder、K.  Akagiri、H.  Fuchs、M.  Dietz、J.  Herre、G.  Davidson、及び、Y.  Oikawaによる、Journal  of  the  AES,  Vol.45,  No.10,  October  1997,  pp.  789-814、「ISO/IEC
MPEG-2 Advanced Audio Coding」、
Karlheinz Brandenburgによる、Proc.  of  the  AES  17th  International  Conference  on  High  Quality  Audio  Coding,  Florence,  Italy,  1999、「MP3
and AAC explained」、及び、
G.  A.  Soulodre他による、J.  Audio  Eng.  Soc,  Vol.46,  No.3,  pp  164-177  March 1998、「Subjective  Evaluation  of  State-of-the-Art  Two-Channel  Audio  Codecs」、
［ＭＰＥＧ  Ｉｎｔｅｎｓｉｔｙ  Ｓｔｅｒｅｏ］
米国特許、5,323,396と、5,539,829と、5,606,618と、5,621,855、
米国公開特許出願ＵＳ２００１／００４４７１３、
［空間的コーディング及びパラメトリックコーディング］
Mark Franklin Davisによる２００５年２月２８日出願の国際出願、ＰＣＴ／ＵＳ２００５／００６３５９、表題「Low  Bit  Rate  Audio  Encoding  and  Decoding  in  Which  Multiple  Channels  are  Represented  By  Monophonic  Channel  and  Auxiliary  Information」、
米国特許出願公開公報ＵＳ２００３／００２６４４１、２００３年２月６日公開、
米国特許出願公開公報ＵＳ２００３／００３５５５３、２００３年２月２０日公開、
米国特許出願公開公報ＵＳ２００３／０２１９１３０（Baumgarte  &  Faller）、２００３年１１月２７日公開、
Audio  Engineering  Society  論文５８５２、２００３年３月、
国際公開公報ＷＯ０３／０９０２０７、２００３年１０月３０日公開、
国際公開公報ＷＯ０３／０９０２０８、２００３年１０月３０日公開、
国際公開公報ＷＯ０３／００７６５６、２００３年１月２２日公開、
国際公開公報ＷＯ０３／０９０２０６、２００３年１０月３０日公開、
Baumgarte他による、２００３年１２月２５日に公開された、米国特許出願公開公報ＵＳ２００３／０２３６５８３Ａｌ、表題「Hybrid  Multi-Channel/Cue  Coding/Decoding  of  Audio  Signals」、出願番号Ｓ．Ｎ．１０／２４６，５７０、
Faller他による、Audio  Engineering  Society  Convention  Paper  5574,  112th  Convention,  Munich,  May  2002、「Binaural  Cue  Coding  Applied  to  Stereo  and  Multi-Channel  Audio  Compression」、
Baumgarte他による、Audio  Engineering  Society  Convention  Paper  5575,  112th  Convention,  Munich,  May  2002、「Why  Binaural  Cue  Coding  is  Better  than  Intensity  Stereo  Coding」、
Baumgarte他による、Audio  Engineering  Society  Convention  Paper  5706,  113th  Convention,  Los  Angeles,  October  2002、「Design  and  Evaluatin  of  Binaural  Cue  Coding  Schemes」、
Faller他による、IEEE  Workshop  on  Applications  of  Signal  Processing  to  Audio  and  Acoustics  2001,  New  Paltz,  New
York,  October  2001,  pp.199-202、「Efficient  Representation  of  Spatial  Audio  Using  Perceptual  Parametrization」、
Baumgarte他による、Proc.  ICASSP  2002,  Orlando,  Florida,  May  2002,  pp.II-1801-1804、「Estimation  of  Auditory  Spatial  Cues  for  Binaural  Cue  Coding」、
Faller他による、Proc.  ICASSP  2002,  Orlando,  Florida,  May  2002,  pp.II-1841II-1844、「Binaural  Cue  Coding:  A  Novel  and  Efficient  Representation  of  Spatial  Audio」、
Breebaart他による、Audio  Engineering  Society  Convention  Paper  6072,  116th  Convention,  Berlin,  May  2004、「High-quality  parametric  spatial  audio  coding  at  low  bitrates」、
Baumgarte他による、Audio  Engineering  Society  Convention  Paper  6060,  116th  Convention,  Berlin,  May
2004、「Audio  Coder  Enhancement  using  Scalable  Binaural  Cue  Coding  with  Equalized  Mixing」、
Schuijers他による、Audio  Engineering  Society  Convention  Paper  6073,  116th  Convention,  Berlin,  May
2004、「Low  complexity  parametric  stereo  coding」、
Engdegard他による、Audio  Engineering  Society  Convention  Paper  6074,  116th  Convention,  Berlin,  May
2004、「Synthetic  Ambience  in  Parametric  Stereo  Coding」、
［その他］
Herreによる米国特許５，８１２，９７１、表題「Enhanced  Joint  Stereo  Coding  Method  Using  Temporal  Envelope  Shaping」１９９８年９月２２日付、
Herre他による、Audio  Engineering  Society  Preprint  3799,  96th  Convention,  Amsterdam,  1994、
Truman他による、２００３年１０月２日に公開された、米国特許出願公開公報ＵＳ２００３／０１８７６６３Ａｌ、表題「Broadband  Frequency  Translation  for  High  Frequency  Regeneration」、出願番号Ｓ．Ｎ．１０／１１３，８５８。
【図面の簡単な説明】
【００４６】
【図１ａ】一般的な従来技術の空間コーディングエンコーダーの簡単化したブロック図である。
【図１ｂ】一般的な従来技術の空間コーディングデコーダーの簡単化したブロック図である。
【図２】本発明の特徴を具体化したエンコーダー又はエンコーディング機能の実施例の簡単化した機能ブロック図である。
【図３】本発明の特徴を具体化したデコーダー又はデコーディング機能の実施例の簡単化した機能ブロック図である。
【図４】本発明の特徴を実施するのに適した、分析／合成窓のペアを理想化して描いたものである。
【図１ａ】
2008511044.tif 000019
【図１ｂ】
2008511044.tif 000020
【図２】
2008511044.tif 000021
【図３】
2008511044.tif 000022
【図４】
2008511044.tif 000023
【国際調査報告】
2008511044.tif 000024
2008511044.tif 000025