(57)【要約】  マルチチャネル出力信号を発生させるための装置は、左側出力チャネル群または右側出力チャネルを再構成するための改善されたベースチャネルを得るために、センターチャネルの消去を行う。具体的には、該装置は、デコーダで利用可能な、元のセンターチャネルに関する情報を使って消去チャネルを計算するための消去チャネル計算器（２０）を含む。該装置は、送信チャネルと消去チャネルとを結合させるためのコンバイナ（２２）をさらに含む。最後に、該装置は、マルチチャネル出力信号を生成するための再構成器（２６）を含む。センターチャネルの消去により、チャネル再構成器（２６）は、センターチャネルを再構成するために送信チャネルと異なるベースチャネルを用いるばかりでなく、元となるセンターチャネルの影響が低減され、もしくは完全に消された左及び右出力チャネルの再構成のための送信チャネルとは異なるベースチャネルを用いる。【選択図】図２
2008505368.tif 000002
【特許請求の範囲】
【請求項１】
Ｋ個の出力チャネルを持つマルチチャネル出力信号を生成するための装置であって、前記マルチチャネル出力信号は、Ｃ個の入力チャネルを持つマルチチャネル入力信号に対応し、前記装置はＥ個の送信チャネルを使用し、前記Ｅ個の送信チャネルは、インプットとしてＣ個の入力チャネルを前記入力チャネルに関するパラメトリック情報を用いて行ったダウンミックス操作の結果を表現し、Ｅ≧２、Ｃ＞Ｅ、且つＣ≧Ｋ＞１であって、前記ダウンミックス操作は、第一送信チャネル及び第二送信チャネルに第一入力チャネルを取り入れ、さらに前記第一送信チャネルに第二入力チャネルを取り入れるのに有効なものであり、前記装置は、
前記第一送信チャネル、前記第二送信チャネル、または前記パラメトリック情報に含まれた前記第一入力チャネルに関する情報を使って消去チャネル（２１）を計算するための、消去チャネル計算器（２０）と、
第二ベースチャネル（２５）を得るために、前記消去チャネル（２１）と前記第一送信チャネル（２３）またはその処理済みバージョンとを結合させるコンバイナであって、前記第一入力チャネルの影響は、前記第一送信チャネル上の前記第一入力チャネルの前記影響と比べ低減されている、コンバイナ（２３）と、
前記第二ベースチャネルと前記第二入力チャネルに関するパラメトリック情報とを使って、前記第二入力チャネルに対応する第二出力チャネル再構成し、前記第二ベースチャネルと比べて前記第一チャネルの前記影響が大きいという点で前記第二ベースチャネルとは異なる第一ベースチャネルと、前記第一入力チャネルに関するパラメトリック情報とを使って、前記第一入力チャネルに対応する第一出力チャネルを再構成するためのチャネル再構成器（２６）とを含む装置。
【請求項２】
前記コンバイナ（２２）は、前記第一送信チャネルまたは前記その処理済みバージョンから、前記消去チャネルを減ずるよう動作する、請求項１に記載の装置。
【請求項３】
前記消去チャネル（２１）を得るために、前記消去チャネル計算器（２０）は、前記第一送信チャネルと前記第二送信チャネルとを使って前記第一入力チャネルに対する推定を計算するように動作する、請求項１または請求項２に記載の装置。
【請求項４】
前記パラメトリック情報は、前記第一入力チャネルと基準チャネルとの間の差のパラメータを含み、前記消去チャネル計算器（２０）は、前記第一送信チャネルと前記第二送信チャネルとの和を計算し、前記差パラメータを使って、前記和の重み付けをするよう動作する、請求項１ないし請求項３のいずれかに記載の装置。
【請求項５】
前記ダウンミックス操作により、前記第一入力チャネルは、ダウンミックスファクタによってスケールされた後、前記第一送信チャネルに取り入れられ、前記消去チャネル計算器（２０）は、前記ダウンミックスファクタによって決まるスケール係数を使って、前記第一及び前記第二送信チャネルの前記和をスケールするよう動作する、請求項１ないし請求項４のいずれかに記載の装置。
【請求項６】
前記重み係数は、前記ダウンミックスファクタに等しい、請求項５に記載の装置。
【請求項７】
前記第一ベースチャネルを得るために、前記消去チャネル計算器（２０）は、前記第一及び前記第二送信チャネルの和を算定するように動作する、請求項１ないし請求項６のいずれかに記載の装置。
【請求項８】
前記装置は、第一重み係数を使って重み付けをすることによって前記第一送信チャネルを処理するよう動作するプロセッサ（２４）をさらに含み、前記消去チャネル計算器（２０）は、第二重み係数を使って前記第二送信チャネルを重み付けするよう動作する、請求項１ないし請求項７のいずれかに記載の装置。
【請求項９】
前記パラメトリック情報は、前記第一入力チャネルと基準チャネルとの間の前記差パラメータを含み、前記消去チャネル計算器（２０）は、差パラメータに基づいて前記第二重み係数を算定するよう動作する、請求項８に記載の装置。
【請求項１０】
前記第一重み係数は（１−ｈ）に等しく、ｈは実数であり、前記第二重み係数はｈに等しい、請求項８または請求項９に記載の装置。
【請求項１１】
前記パラメトリック情報はレベル差値を含み、ｈは前記パラメトリックレベル差値から導き出される、請求項１０に記載の装置。
【請求項１２】
ｈは、前記レベル差を、前記ダウンミックス操作で決まるファクタで除して導き出した値に等しい、請求項１１に記載の装置。
【請求項１３】
前記パラメトリック情報は、前記第一チャネルと前記基準チャネルとの間の前記レベル差を含み、ｈは、１√２×１０Ｌ／２０に等しく、Ｌは前記レベル差である、請求項１０に記載の装置。
【請求項１４】
前記パラメトリック情報は、前記第一入力チャネルと前記第二入力チャネルとの間の前記関係により決まる制御信号をさらに含み、
前記消去チャネル計算器（２０）は、前記制御信号により制御されて、前記消去チャネルのエネルギーを能動的に増大または低減させ、もしくは、前記消去チャネルの計算を全く無効にする、
請求項１ないし請求項１３のいずれかに記載の装置。
【請求項１５】
前記ダウンミックス操作は、前記第二送信チャネル中に第三入力チャネルを取り入れるようさらに動作し、前記装置は、第三ベースチャネルを得るために、前記消去チャネルと前記第二送信チャネルまたはその処理されたバージョンとを結合させる追加コンバイナであって、前記第一入力チャネルの影響は、前記第二送信チャネル中の前記第一入力チャネルの前記影響に比較して低減されている、コンバイナと、
前記第三ベースチャネルと、前記第三入力チャネルに関するパラメトリック情報とを使って前記第三入力チャネルに対応する前記第三出力チャネルを再構成するチャネル再構成器とをさらに含む、
請求項１ないし請求項１４のいずれかに記載の装置。
【請求項１６】
前記パラメトリック情報は、チャネル間レベル差、チャネル間時間差、チャネル間位相差またはチャネル間相関値を含み、
前記チャネル再構成器（２６）は、生出力チャネルを得るために、上記の前記パラメータ群のいずれかをベースチャネルに適用するように動作する、
請求項１ないし請求項１５のいずれかに記載の装置。
【請求項１７】
請求項１６による装置であって、前記チャネル再構成器（２６）は、前記生出力チャネルをスケールし、前記最終的に再構成された出力チャネルの合計エネルギーが前記Ｅ個の送信チャネルの合計エネルギーに等しくなるように動作する、請求項１６に記載の装置。
【請求項１８】
前記パラメトリック情報はバンド単位で与えられ、前記消去チャネル計算器（２０）、前記コンバイナ（２２）、及び前記チャネル再構成器（２６）は、バンド単位で与えられたパラメトリック情報を使って前記複数のバンドを処理するよう動作し、
前記装置は、前記送信チャネルを、周波数バンドを持つ周波数表現に変換するための時間／周波数変換ユニット（ＩＦＢ）、及び、再構成された周波数バンドを前記時間領域に変換するための周波数／時間変換ユニットをさらに含む、請求項１ないし請求項１７のいずれかに記載の装置。
【請求項１９】
デジタルビデオプレーヤー、デジタルオーディオプレーヤー、コンピュータ、衛星受信機、ケーブル受信機、地上波放送受信機、及びホームエンターティンメントシステムから成る選択されたシステムをさらに含み、
前記システムは、前記チャネル計算器、前記コンバイナ、及び前記チャネル再構成器を含む、
請求項１ないし請求項１８のいずれかに記載の装置。
【請求項２０】
Ｋ個の出力チャネルを持つマルチチャネル出力信号を生成する方法あって、前記マルチチャネル出力信号は、Ｃ個の入力チャネルを持つマルチチャネル入力信号に対応し、Ｅ個の送信チャネルを使用し、前記Ｅ個の送信チャネルは、インプットとしてＣ個の入力チャネルを前記入力チャネルに関するパラメトリック情報を用いたダウンミックス操作の結果を表現し、Ｅ≧２、Ｃ＞Ｅ、且つＣ≧Ｋ＞１であって、前記ダウンミックス操作は、第一送信チャネル及び第二送信チャネルに第一入力チャネルを取り入れ、さらに前記第一送信チャネルに第二入力チャネルを取り入れるのに有効であり、前記方法は、
前記第一送信チャネル、前記第二送信チャネルまたは前記パラメトリック情報に含まれた、前記第一入力チャネルに関する情報を使って、消去チャネルを計算（２０）する工程と、
第二ベースチャネルを得るために、前記消去チャネルと前記第一送信チャネルまたはその処理済みバージョンとを結合（２２）させる工程であって、前記第一入力チャネルの影響は、前記第一送信チャネル上の前記第一入力チャネルの前記影響と比べ低減されている、工程と、
前記第二ベースチャネルと前記第二入力チャネルに関するパラメトリック情報とを使って、前記第二入力チャネルに対応する第二出力チャネルを再構成し、前記第二ベースチャネルと比べて前記第一チャネルの前記影響が大きいという点で前記第二ベースチャネルとは異なる第一ベースチャネルと、前記第一入力チャネルに関するパラメトリック情報とを使って、前記第一入力チャネルに対応する第一出力チャネルを再構成する（２６）工程とを含む方法。
【請求項２１】
コンピュータで作動させ、Ｋ個の出力チャネルを持つマルチチャネル出力信号を生成する方法を実行するプログラムコードを備えたコンピュータプログラムであって、前記マルチチャネル出力信号は、Ｃ個の入力チャネルを持つマルチチャネル入力信号に対応し、Ｅ個の送信チャネルを使用し、前記Ｅ個の送信チャネルは、インプットとしてＣ個の入力チャネルを前記入力チャネルに関するパラメトリック情報を用いたダウンミックス操作の結果を表現し、Ｅ≧２、Ｃ＞Ｅ、且つＣ≧Ｋ＞１であって、前記ダウンミックス操作は、第一送信チャネル及び第二送信チャネルに第一入力チャネルを取り入れ、さらに前記第一送信チャネルに第二入力チャネルを取り入れるのに有効であり、前記方法は、
前記第一送信チャネル、前記第二送信チャネルまたは前記パラメトリック情報に含まれた、前記第一入力チャネルに関する情報を使って、消去チャネルを計算（２０）する工程と、
第二ベースチャネルを得るために、前記消去チャネルと前記第一送信チャネルまたはその処理済みバージョンとを結合（２２）させる工程であって、前記第一入力チャネルの影響は、前記第一送信チャネル上の前記第一入力チャネルの前記影響と比べ低減されている、工程と、
前記第二ベースチャネルと前記第二入力チャネルに関するパラメトリック情報とを使って、前記第二入力チャネルに対応する第二出力チャネルを再構成し、前記第二ベースチャネルと比べて前記第一チャネルの前記影響が大きいという点で前記第二ベースチャネルとは異なる第一ベースチャネルと、前記第一入力チャネルに関するパラメトリック情報とを使って、前記第一入力チャネルに対応する第一出力チャネルを再構成する（２６）工程とを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマルチチャネルの復号化に関し、具体的には、少なくとも２つの送信チャネルのある、すなわちステレオ互換性のある、マルチチャネルの復号化に関する。
【背景技術】
【０００２】
近年、マルチチャネル音声再生技術がますます重要性になっている。これは、よく知られているｍｐ３技術の音声圧縮／コード化技術により、制限のある帯域幅を有するインターネットまたは送信チャネルを介して音声記録を配信することが可能になったという事実によるものである。ステレオフォーマットの全記録を配信すること、すなわち、第１の、すなわち、左ステレオチャネルおよび第２の、すなわち、右ステレオチャネルを含むオーディオ記録のデジタル表現を配信することが可能という事実により、ｍｐ３符号化技術はよく知られるようになった。
【０００３】
しかしながら、従来の２チャネルサウンドシステムには基本的に不十分な点がある。そこで、サラウンド技術が開発されている。推奨されるマルチチャネルサラウンドの表現方式には、Ｌ及びＲの２つのステレオチャネルに加えて、追加のセンターチャネルＣ及び２つのサラウンドチャネルＬｓ、Ｒｓが含まれる。この基準サウンドフォーマットは、３ステレオ／２ステレオとも呼ばれるもので、これは３つのフロントチャネルと２つのサラウンドチャネルを意味する。再生環境では、それぞれ異なった５つの場所に置かれた少なくとも５つのスピーカは、適切に配置したこれら５つのスピーカのある距離で最適のスウィートスポットを得る必要がある。
【０００４】
マルチチャネル音声信号の送信に必要なデータ量を削減するための技術としていくつかの技術が知られている。このような技術は、ジョイントステレオ技術と呼ばれている。これについて、図１０を参照すると、ジョイントステレオ装置６０が示されている、この装置を、例えば、インテンシティステレオ（ＩＳ）またはバイノーラルキュー符号化（ＢＣＣ）を実行する装置とすることもできる。このような装置は一般に、２つ以上のチャネル（ＣＨ１、ＣＨ２、…ＣＨｎ）を入力として受信し、単一のキャリアチャネルとパラメトリックデータを出力する。パラメトリックデータは、デコーダ中で元となるチャネル（ＣＨ１、ＣＨ２、…ＣＨｎ）の近似値が計算可能なデータとして定義される。
【０００５】
通常、キャリアチャネルには、サブバンドサンプル、スペクトル係数、時間領域サンプルなどが含まれ、内在する信号の比較的細かな表現が提供される。一方、パラメトリックデータは、そういったスペクトル係数のサンプルは含まないが、乗算、時間シフト、周波数シフトによる重み付けとを…といった、特定の再生アルゴリズムを制御するための制御パラメータを含む。従って、パラメトリックデータは、信号または関連チャネルの比較的粗な表現だけを含んでいる。
【０００６】
数字を提示すると、キャリアチャネルが必要とするデータ量は６０−７０キロビット／秒となり、１チャネルに対するパラメトリック側情報に必要なデータ量は、１．５−２．５キロビット／秒の範囲である。パラメトリックデータの例としては、よく知られるスケール係数、インテンシティステレオ情報やバイノーラルキューパラメータがあり、以下に説明する。
【０００７】
インテンシティステレオ符号化はＡＥＳ発表予稿集３７９９、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｋ．Ｈ．ブランデンブルグ（Ｂｒａｎｄｅｎｂｕｒｇ）、Ｄ．レデラー（Ｌｅｄｅｒｅｒ）の「インテンシティステレオ符号化（Ｉｎｔｅｎｓｉｔｙ  Ｓｔｅｒｅｏ  Ｃｏｄｉｎｇ）」１９９４年２月、アムステルダム、に記載されている。一般に、インテンシティステレオの考え方は、両方のステレオ音声チャネルデータに主軸転換を適用することを基本にしている。大部分のデータポイントが第一主軸の周辺に集中している場合、符号化の前に両方の信号を特定の角度回転させることによって符号化利得を得ることができる。しかし、実際のこのリアルな立体音響生成技術においては必ずしもそうはならない。そこで、第二直交成分をビットストリームの送信から除外することにより、この技術は修正された。従って、左チャネルと右チャネルとに対して復元した信号は、同じ送信信号を違った重み付けまたはスケールされたバージョンから成る。しかしながら、復元した両信号はそれらの振幅が相異なっているものの、それらの位相情報については同じである。しかしながら、両方の元となる音声チャネルのエネルギー時間包絡線は、選択的なスケーリング演算によって保持され、通常、これは周波数選択的な方法で行われる。この方法は、高い周波数の音に対する人間の知覚に合わせたもので、高周波では、支配的空間キューはエネルギー包絡線によって決まる。
【０００８】
さらに、実際の実施においては、送信された信号、すなわちキャリアチャネルは、左右のチャネルの成分を回転させる代わりに、両チャネルの和信号から生成される。さらに、この処理、すなわちスケーリング演算を実施するためのインテンシティステレオパラメータの生成は、周波数選択的に、すなわち各スケールファクター帯域つまりエンコーダの周波数区分毎に独立的に実施される。望ましくは、両方のチャネルが組み合わされて結合チャネルまたは「キャリア」チャネルを形成し、該結合チャネルの形成に加えて、インテンシティステレオ情報が算定され、これは、第一チャネルのエネルギー、第二チャネルのエネルギー、または結合チャネルのエネルギーにより決まる。
【０００９】
ＢＣＣ技術は、２００２年５月、ミュンヘンにおけるＡＥＳコンベンションの論文５５７４、Ｃ．ファーラー（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「ステレオ及びマルチチャネル音声圧縮に用いるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  ｓｔｅｒｅｏ  ａｎｄ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ  ｃｏｍｐｒｅｓｓｉｏｎ）」に記載されている。ＢＣＣ符号化においては、いくつかの音声入力チャネルが、オーバーラップウィンドウ処理を伴うＤＦＴベースの変換を用いてスペクトル表現に変換される。得られた均等な形のスペクトルは、それぞれ指標を付されたオーバーラップのない区分に分割される。各区分は、等価矩形帯域幅（ＥＲＢ）に比例する帯域幅を有する。各フレームｋの各区分に対して、チャネル間レベル差（ＩＣＬＤ）及びチャネル間時間差（ＩＣＴＤ）が推定される。ＩＣＬＤ及びＩＣＴＤは量子化され符号化されて、ＢＣＣビットストリームを生成する。チャネル間レベル差及びチャネル間時間差は、基準チャネルとの対比で各チャネルに与えられる。次に、区分が所定の算式に従って計算され、これは処理対象信号の特定の区分に応じて決まる。
【００１０】
デコーダ側では、デコーダは、モノラル信号とＢＣＣビットストリームとを受信する。モノラル信号は、周波数領域に変換されて空間合成ブロック中に入力され、該ブロックは、復号化されたＩＣＬＤ及びＩＣＴＤ値も受信する。空間合成ブロックでは、モノラル信号に重み付け操作が行われてマルチチャネル信号が合成するために、ＢＣＣパラメータ（ＩＣＬＤ及びＩＣＴＤ）値が用いられる。この信号は周波数／時間変換を経て、元となるマルチチャネル音声信号の復元信号を表現する。
【００１１】
ＢＣＣの場合、ジョイントステレオモジュール６０は、量子化され符号化されたＩＣＬＤまたはＩＣＴＤをパラメトリックチャネルデータとして、チャネルのサイド情報を出力するよう機能し、元となるチャネルの一つが、チャネルサイド情報符号化のための基準チャネルとして用いられる。
【００１２】
通常、キャリアチャネルは、組み入れられた元となるチャネルの和で形成される。
【００１３】
当然ながら、上記の技術で、デコーダに対しモノラル表現だけ提供し、デコーダはキャリアチャネルだけは処理できるが、パラメトリックデータを処理して２以上の入力チャネルの１つ以上の近似値を生成することはできない。
【００１４】
また、バイノーラルキュー符号化（ＢＣＣ）として知られる音声コーディング技術については、米国特許出願公開第２００３，０２１９１３０号、公開第２００３，０２６４４１号及び公開第２００３／００３５５５３号に詳細に記載されている。さらなる参照として、Ｃ．ファーラー（Ｆａｌｌｅｒ）及びＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「バイノーラルキュー符号化。パートII：スキーム及び応用（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ．Ｐａｒｔ II：Ｓｃｈｅｍｅｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ）」ＩＥＥＥ  Ｔｒａｎｓ．Ｏｎ  Ａｕｄｉｏ  ａｎｄ  Ｓｐｅｅｃｈ  Ｐｒｏｃ．、１１巻、Ｎｏ．６、２９９３年１１月、がある。引用した米国特許出願公開及び引用したファーラー（Ｆａｌｌｅｒ）及びバウムガルテ（Ｂａｕｍｇａｒｔｅ）著作の２つの技術発表を、参照として、その全体を本明細書に組み込む。
【００１５】
以下に、図１１から１３までを参照しながら、マルチチャネル音声符号化のための典型的なＢＣＣスキームをさらに詳しく述べる。図１１に、こういったマルチチャネル音声信号の符号化／送信のための一般的なバイノーラルキュー符号化スキームを示す。ＢＣＣエンコーダ１１２の入力部１１０のマルチチャネル音声信号入力は、ダウンミックスブロック１１４の中でダウンミックスされる。この例において、入力部１１０における元となるマルチチャネル信号は、フロント左チャネル、フロント右チャネル、左サラウンドチャネル、右サラウンドチャネル、及びセンターチャネルを有する５チャネルサラウンド信号である。例として、ダウンミックスブロック１１４は、これら５つのチャネルをモノラル信号に単純に加えることによって和信号を生成する。この技術については、マルチチャネル入力信号を用いて、単一チャネルのダウンミックス信号を得られる他のダウンミックススキームも知られている。この単一チャネルは、和信号ライン１１５に出力される。ＢＣＣ解析ブロック１１６によって得られたサイド情報はサイド情報ライン１１７に出力される。ＢＣＣ解析ブロックでは、上記で説明したように、チャネル間レベル差（ＩＣＬＤ）及びチャネル間時間差（ＩＣＴＤ）が計算される。最近では、ＢＣＣ解析ブロック１１６は、チャネル間相関値（ＩＣＣ値）も計算するように強化されている。和信号及びサイド情報は、望ましくは量子化され、符号化された形式でＢＣＣデコーダ１２０に送信される。ＢＣＣデコーダは、出力マルチチャネル音声信号のサブバンドを生成するために、送信されてきた和信号をいくつかのサブバンドに分解し、スケーリングを行い、遅延して、及び他の処理を行う。この処理は、出力部１２１に復元したマルチチャネル信号のＩＣＬＤ、ＩＣＴＤ及びＩＣＣパラメータ（キュー）が、ＢＣＣエンコーダ１１２の入力部１１０における元となるマルチチャネル信号に対するそれぞれのキューと同様になるように実行される。このために、ＢＣＣデコーダ１２０には、ＢＣＣ合成ブロック１２２及びサイド情報処理ブロック１２３を含む。
【００１６】
以下に、図１２を参照しながら、ＢＣＣ合成ブロック１２２の内部構造が説明される。ライン１１５の和信号は、時間／周波数変換ユニットまたはフィルタバンクＦＢ１２５に入力される。ブロック１２５の出力端には、Ｎ個のサブバンド信号が出力されるか、または、極端な場合、音声フィルタバンク１２５が１：１の変換、すなわち、Ｎ個の時間サンプルからＮ個のスペクトル係数を生成する変換を実行している場合には、スペクトル係数のブロックが存在する。
【００１７】
ＢＣＣ合成ブロック１２２は、遅延ステージ１２６、レベル変形ステージ１２７、相関処理ステージ１２８、及び逆フィルタバンクステージＩＦＢ１２９をさらに含む。ステージ１２９の出力端からは、例えば、５チャネルサラウンドシステムの場合であれば５チャネルの複合化したマルチチャネル音声信号を、図１１に示すように、スピーカ１２４のセットに出力することができる。
【００１８】
図１２に示すように、入力信号ｓ（ｎ）は装置１２５によって周波数領域またはフィルタバンク領域に変換される。装置１２５からの信号出力は乗算され、乗算ノード１３０で図示するように、同一信号のいくつかのバージョンが得られる。元となる信号のバージョンの数は、再構成されることになる出力信号の出力チャネルの数に等しい。通常、ノード１３０における元となる信号の各バージョンは、特定の遅延、ｄ１，ｄ２，…，ｄｉ，…，ｄＮを受ける。遅延パラメータは、図１１中のサイド情報処置ブロック１２３によって計算され、ＢＣＣ解析ブロック１１６によって算定されたチャネル間時間差から導き出される。
【００１９】
乗算パラメータａ１，ａ２，…，ａｉ，…，ａＮについても同様であり、これもまた、ＢＣＣ解析ブロック１１６によって計算されたチャネル間レベル差に基づいて、サイド情報処理ブロック１２３によって計算される。
【００２０】
ＢＣＣ解析ブロック１１６によって計算されたＩＣＣパラメータは、ブロック１２８の出力端において、遅延されレベル操作された信号の間で特定の相関が得られるように、ブロック１２８の機能を制御するために用いられる。なお、ステージ１２６、１２７、１２８の順序を図１２と違った順にしてもよい。
【００２１】
なお、フレーム単位の音声信号処理においては、ＢＣＣ解析もフレーム単位、すなわち時間変化的に実行され、さらに周波数的にも実行される。すなわち、ＢＣＣパラメータは、各スペクトル帯域に対して取得される。このことは、音声フィルタバンク１２５が、入力信号を、例えば３２個のバンドパス信号に分解する場合には、ＢＣＣ解析ブロックは、３２個の帯域の各々に対するＢＣＣパラメータのセットを得るということを意味する。当然ながら、この例では、図１１に示され、詳細が図１２に示されているＢＣＣ合成ブロック１２２も、この例の３２個の帯域に基づいた復元を実施する。
【００２２】
以下に、特定のＢＣＣパラメータを算定するためのセットアップを示す図１３を参照する。通常、ＩＣＬＤ、ＩＣＴＤ及びＩＣＣパラメータは、チャネルのペアの間で定義することができるが、基準チャネルと他の各チャネルとの間でＩＣＬＤ及びＩＣＴＤを算定するのが望ましい。これを図１３Ａに示す。
【００２３】
ＩＣＣパラメータについては、いろいろなやり方で定義することができる。最も一般的には、図１３Ｂに示すように、可能なあらゆるチャネルのペアの間のＩＣＣパラメータをエンコーダで推定することができる。この場合、デコーダは、可能なあらゆるチャネルペアの間で、元となるマルチチャネル信号におけるのとほぼ同様なＩＣＣを合成することになろう。一方、最も強い２つのチャネルの間のＩＣＣパラメータだけを時間ごとに推定することが提案された。図１３Ｃにこのスキームの一例が示され、ある時間インスタンスでは、図示のようにＩＣＣパラメータはチャネル１とチャネル２との間で推定され、別の時間インスタンスには、ＩＣＣパラメータはチャネル１とチャネル５との間で計算される。次に、デコーダはデコーダ中の強力なチャネルの間のチャネル間相関を合成し、残ったチャネルペアに対するチャネル間コヒーレンスを計算し合成するために、何らかの工夫されたルールを適用する。
【００２４】
送信されたＩＣＬＤパラメータに基づいた、例えば、乗算パラメータａ１，…，ａＮの計算に関して、前述したＡＥＳコンベンション論文５５７４を参照する。ＩＣＬＤパラメータは、元となるマルチチャネル信号の中のエネルギー分布を表す。図１３Ａは、一般性を損なわないように、他の全てのチャネルと、フロント左チャネルとの間のエネルギー差を表す４つのＩＣＬＤがあることを示している。サイド情報処理ブロック１２３において、乗算パラメータａ１，…，ａＮは、全ての復元した出力チャネルの合計エネルギーと、送信されてきた和信号のエネルギーとが等しくなる（または比例する）ように、ＩＣＬＤパラメータから導き出される。これらのパラメータを算定する簡単なやり方は、２段階処理であり、最初のステージでは、左フロントチャネルに対する乗算ファクタを１に設定し、図１３Ａ中の他のチャネルに対する乗算ファクタについては、送信されたＩＣＬＤ値に設定する。次いで第二ステージにおいて、５つ全てのチャネルのエネルギーを計算し、送信されてきた和信号のエネルギーと比較する。次に、すべてのチャネルに対し等しいダウンスケーリング係数を適用し、すべてのチャネルにダウンスケーリングを行う。このとき、復元した全ての出力チャネルのダウンスケーリング後の合計エネルギーと、送信された和信号の合計エネルギーとが等しくなるように該ダウンスケーリング係数が、選定される。
【００２５】
当然ながら、２段階処理を利用せず１ステージ処理で済む他の乗算ファクタの計算方法もある。
【００２６】
なお、遅延パラメータに関しては、左フロントチャネルに対する遅延パラメータｄ１がゼロに設定されている場合、ＢＣＣエンコーダから送信された遅延パラメータＩＣＴＤを直接使用することができる。これについて、再びスケーリングはしない、なぜなら、遅延は信号のエネルギーを変化させないからである。
【００２７】
また、ＢＣＣエンコーダからＢＣＣデコーダに送信されたチャネル間コヒーレンス度ＩＣＣに関しては、全てのサブバンドの重み係数に、［２０ｌｏｇ１０（−６）〜２０ｌｏｇ１０（６）］の範囲の乱数を乗ずるなど、乗算ファクタａ１，…，ａＮを変形することによってコヒーレンス操作を行うことができる。望ましくは、全ての重要な帯域に対してバリアンスがほぼ一定となり、各重要な帯域内の平均がゼロになるように、擬似乱数シーケンスを選択する。異なる各フレームに対するスペクトル係数には同じシーケンスが適用される。このように、擬似乱数シーケンスのバリアンスを変えることによって音声のイメージ幅が制御される。バリアンスが大きくなるほど広いイメージ幅が生成される。バリアンスの変更については、重要な帯域幅の個別の帯域においてすることができる。このことにより、音声情景の中で、複数のオブジェクトを同時に存在させ、各々のオブジェクトに異なったイメージ幅を持たせることができる。擬似乱数シーケンスに対する適切な振幅分布は、米国特許出願公開第２００３／０２１９１３０号に概説されているように、対数目盛で均一な分布である。しかしながら、図１１に示すように、全てのＢＣＣ合成処理は、ＢＣＣエンコーダからＢＣＣデコーダに和信号として送信される単一の入力チャネルに関連している。
【００２８】
通常のステレオデコーダも取り扱えるような、両立性のあるやり方で５つのチャネルをビットストリームフォーマットで送信するために、Ｇ．タイレ（Ｔｈｅｉｌｅ）及びＧ．シュトール（Ｓｔｏｌｌ）の「ＭＵＳＩＣＡＭサラウンド：ＩＳＯ１１１７２−３と互換性のある一般的マルチチャネル符号化システム（ＭＵＳＩＣＡＭ  ｓｕｒｒｏｕｎｄ：  ａ  ｕｎｉｖｅｒｓａｌ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ｃｏｄｉｎｇ  ｓｙｓｔｅｍ  ｃｏｍｐａｔｉｂｌｅ  ｗｉｔｈ  ＩＳＯ１１１７２−３）」、ＡＥＳ発表予稿集３４０３、１９９２年１０月、サンフランシスコ、に記載されているように、いわゆるマトリックス化技術が使われてきた。５つの入力チャネルＬ、Ｒ、Ｃ、Ｌｓ及びＲｓは、該５つの入力チャネルから基本的または両立的なステレオチャネルＬｏ、Ｒｏを計算するために、マトリックス化を行って、マトリックス化装置に送られる。具体的には、これらの基本ステレオチャネルＬｏ／Ｒｏは次の式で計算される。
Ｌｏ＝Ｌ＋ｘＣ＋ｙＬｓ
Ｒｏ＝Ｒ＋ｘＣ＋ｙＲｓ
ｘ及びｙは定数である。他の３つのチャネルＣ、Ｌｓ、Ｒｓは、拡張レイヤーにあるので、基本ステレオレイヤーに加えて送信され、基本ステレオレイヤーには、基本ステレオ信号Ｌｏ／Ｒｏの符号化バージョンが含まれている。ビットストリームに関しては、このＬｏ／Ｒｏ基本ステレオレイヤーには、ヘッダ、スケール係数及びサブバンドサンプルなどの情報を含む。マルチチャネル拡張レイヤー、すなわちセンターチャネル及び２つのサラウンドチャネルは、マルチチャネル拡張フィールドに含まれており、これは補助データフィールドとも呼ばれる。
【００２９】
デコーダ側では、基本圧力チャネルＬｏ、Ｒｏ及び他の３つのチャネルを使って、５チャネル表現の中の左及び右チャネルの再生信号を形成するために、逆マトリックス化が行われる。さらに、他の３つのチャネルも補助情報から元となるマルチチャネル音声信号の５チャネルまたはサラウンド表現を得るために、復号される。
【００３０】
マルチチャネル符号化に関する別のアプローチが、Ｂ．グリル（Ｇｒｉｌｌ）、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｋ．Ｈ．ブランデンブルグ（Ｂｒａｎｄｅｎｂｕｒｇ）、Ｅ．エベルライン（Ｅｂｅｒｌｅｉｎ）、Ｊ．コラー（Ｋｏｌｌｅｒ）、Ｊ．ミューラー（Ｍｕｅｌｌｅｒ）の発表「改良ＭＰＥＧ−２マルチチャネル符号化（Ｉｍｐｒｏｖｅｄ  ＭＰＥＧ−２  ａｕｄｉｏ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ｅｎｃｏｄｉｎｇ）」、ＡＥＳ発表予稿集３８６５、１９９４年２月、アムステルダム、の中に記載されており、この中では、後方互換性を得るために、後方互換性モードが検討されている。このためには、元となる５つの入力から２つのいわゆるダウンミックスチャネルＬｃ及びＲｃを得るために、互換マトリックスが使われる。さらに、補助データとして送信されてきた３つの補助チャネルを動的に選択することが可能である。
【００３１】
ステレオの無関係性を利用するために、チャネルグループ、例えば、３つのフロントチャネル、すなわち左チャネル、右チャネル及びセンターチャネルに対して、ジョイントステレオ技術が適用される。このために、結合チャネルを得るために、これら３つのチャネルは結合される。この結合チャネルは、量子化され、ビットストリーム中にパックされる。次いで、この結合チャネルは、ジョイントステレオ復号化チャネル、すなわち、ジョイントステレオ復号化左チャネル、ジョイントステレオ復号化右チャネル、及びジョイントステレオ復号化センターチャネルを得るために、対応するジョイントステレオ情報とともに、ジョイントステレオ復号化モジュールに入力される。これらジョイントステレオ復号化チャネルは、左サラウンドチャネル及び右サラウンドチャネルとともに、互換マトリックスブロックに入力され第一及び第二ダウンミックスチャネル、Ｌｃ、Ｒｃが形成される。次に、両方のダウンミックスチャネルの量子化バージョン、及び結合チャネルの量子化バージョンが、ジョイントステレオ符号化パラメータとともにビットストリーム中にパックされる。
【００３２】
従って、独立した元のチャネル信号のグループは、インテンシティステレオ符号化を使って、「キャリア」データの単一部分として送信される。次いで、デコーダは、包含された信号を同等なデータとして再構成し、これらは、元となるエネルギー時間包絡線に従って、再びスケールされる。結果として、送信されたチャネルの線形な組合せは、元のダウンミックスとは全く異なるものと成る。この流れは、インテンシティステレオの考え方に基づく一切の種類のジョイントステレオ符号化に当てはまる。互換ダウンミックスチャネルを使う符号化システムについては、以前の発表でも述べたように、逆マトリックス化による再構成が、再構成の不備に起因するアーティファクトの影響を直接的に受けるという問題がある。エンコーダでマトリックス化をする前に、左、右及びセンターチャネルのジョイントステレオ符号化を実施する、いわゆるジョイントステレオプレディストーションスキームを使うことによって、この問題を軽減できる。このようにすれば、再構成のための逆マトリックス化の少ないアーティファクトを取り込む、なぜなら、エンコーダ側で、ダウンミックスチャネルを生成するために、ジョイントステレオ復号信号が使われているからである。従って、再構成処理の不備は、互換ダウンミックスチャネルＬｃおよびＲｃに変換され、音声信号自体によるマスクがよりされ易くなる。
【００３３】
前記のようなシステムでは、デコーダ側の逆マトリックス化に起因する少ないアーティファクトという結果となっているが、それでもまだ若干の欠点がある。一つの欠点は、ステレオ互換ダウンミックスチャネルＬｃ及びＲｃは、元となるチャネルからでなく、元となるチャネルのインテンシティステレオ符号化／復号化されたバージョンから導き出されることである。従って、互換ダウンミックスチャネルには、インテンシティステレオ符号化に起因するデータ欠損が含まれている。強化インテンシティステレオ符号化チャネルでなく、互換チャネルだけを復号化するステレオ専用デコーダは、従って、インテンシティステレオ誘導のデータ欠損による影響を受けた出力信号を送信する。
【００３４】
さらに、２つのダウンミックスチャネルの他に、付加チャネル全体を送信しなければならない。このチャネルは、結合チャネルであり、左チャネル、右チャネル及びセンターチャネルのジョイントステレオ符号化の手段によって形成される。また、これに加えて、結合チャネルから元となるチャネルＬ、Ｒ、Ｃを再構成するためのインテンシティステレオ情報がデコーダに送信されなければならない。デコーダでは、２つのダウンミックスチャネルからサラウンドチャネルを導き出すために、逆向きのマトリックス化、すなわち逆マトリックス化操作が行われる。さらに、送信された結合チャネル及び送信されたジョイントステレオパラメータを使って、ジョイントステレオ復号化により、元となる左、右及びセンターチャネルが近似される。なお、元となる左、右及びセンターチャネルは、結合チャネルのジョイントステレオ復号化により導き出される。
【００３５】
図１１に示すＢＣＣスキームの強化は、少なくとも２つの音声送信チャネルを備え、ステレオ互換性処理が行われるＢＣＣスキームである。該エンコーダにおいて、Ｃ個の入力チャネルは、Ｅ個の送信音声チャネルにダウンミックスされる。入力チャネルの特定のペア間のＩＣＴＤ、ＩＣＬＤ及びＩＣＣキューは、周波数と時間との関数として推定される。推定されたキューは、サイド情報としてデコーダに送信される。Ｃ個の入力チャネルとＥ個の送信チャネルを備えたＢＣＣスキームをＣ−２−Ｅ  ＢＣＣと表す。
【００３６】
概して言えば、ＢＣＣ処理は、送信されたチャネルの時変性の後処理で周波数選択的である。この暗黙の理解をもって、以降では、周波数帯域指標を取り入れない。代わりにｘｎ、ｓｎ、ｙｎ、ａｎ、といった変数を、次元（１、ｆ）を持つベクトルとして想定する、ここでｆは周波数帯域の数を表す。
【００３７】
Ｃ．ファーラー（Ｆａｌｌｅｒ）及びＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「ステレオ及びマルチチャネル音声圧縮に用いるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  ｓｔｅｒｅｏ  ａｎｄ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ  ｃｏｍｐｒｅｓｓｉｏｎ）」、Ａｕｄ．Ｅｎｇｌ．Ｓｏｃ．第１１２回コンベンションの発表予稿集、２００２年５月、ならびに、Ｃ．ファーラー（Ｆａｌｌｅｒ）及びＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）及びＣ．ファーラー（Ｆａｌｌｅｒ）の「バイノーラルキュー符号化  パートＩ：心理音響学的基礎及び設計原則（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  Ｐａｒｔ  Ｉ：Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ  ｆｕｎｄａｍｅｎｔａｌｓ  ａｎｄ  ｄｅｓｉｇｎ  ｐｒｉｎｃｉｐｌｅｓ）」、ＩＥＥＥ  Ｔｒａｎｓ．Ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．、第１１巻、ｎｏ．６、２００３年１１月、ならびに、Ｃ．ファーラー（Ｆａｌｌｅｒ）及びＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「バイノーラルキュー符号化  パートII：スキーム及び応用（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  Ｐａｒｔ II：Ｓｃｈｅｍｅｓ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ）」、ＩＥＥＥ  Ｔｒａｎｓ．Ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．、第１１巻、ｎｏ．６、２００３年１１月に、いわゆる標準的ＢＣＣスキームが記載されている。これらは、図１１に示すように、単一の送信音声チャネルを備えるもので、既存のモノラルシステムをステレオまたはマルチチャネル音声再生のため後方互換性拡張したものである。送信される単一の音声チャネルは、モノラル信号としても有効なので、旧型の受信機による再生にも適している。
【００３８】
しかしながら、設置された音声放送のインフラ（アナログ及びデジタルラジオ、テレビジョン等）及び音声格納システム（ビニールディスク、コンパクトカセット、コンパクトディスク、ＶＨＳビデオ、ＭＰ３サウンド記憶装置等）の大部分は、２チャネルステレオに基づいている。他方では、５．１標準（Ｔｅｃ．ＩＴＵ  ＢＳ．７７５、画像あり及びなしのマルチチャネルステレオサウンドシステム（Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ  Ｓｔｅｒｅｏｐｈｏｎｉｃ  Ｓｏｕｎｄ  Ｓｙｓｔｅｍ  ｗｉｔｈ  ｏｒ  ｗｉｔｈｏｕｔ  Ａｃｃｏｍｐａｎｙｉｎｇ  Ｐｉｃｔｕｒｅ）、ＩＴＵ、１９９３年、ｈｔｔｐ:／／ｗｗｗ.ｉｔｕ.ｏｒｇ）に適合する「ホームシアターシステム」が次第に普及してきている。そこで、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｃ．ファーラー（Ｆａｌｌｅｒ）、Ｃ．エールテル（Ｅｒｔｅｌ）、Ｊ．ヒルパート（Ｈｉｌｐｅｒｔ），Ａ．ホェールツア（Ｈｏｅｌｚｅｒ）及びＣ．シュペンガー（Ｓｐｅｎｇｅｒ）の「ＭＰ３サラウンド：マルチチャネル音声の効率的互換性符号化（ＭＰ３  Ｓｕｒｒｏｕｎｄ：Ｅｆｆｉｃｉｅｎｔ  ａｎｄ  ｃｏｍｐａｔｉｂｌｅ  ｃｏｄｉｎｇ  ｏｆ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ）」、Ａｕｄ．Ｅｎｇｌ．Ｓｏｃ．第１１６回コンベンションの発表予稿集、２００４年５月、に記載されているように、既存のステレオシステムを、マルチチャネルサラウンド用に拡張するために、２つの送信チャネルを備えるＢＣＣ（Ｃ対２（Ｃ−ｔｏ−２）ＢＣＣ）がとりわけ注目されている。また、これに関連して、２００４年１月２０日出願の米国特許出願第１０／７６２，１００号「マルチチャネル出力信号を構成、またはダウンミックス信号を生成するための装置及び方法（Ａｐｐａｒａｔｕｓ  ａｎｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｃｏｎｓｔｒｕｃｔｉｎｇ  ａ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ｏｕｔｐｕｔ  ｏｒ  ｆｏｒ  ｇｅｎｅｒａｔｉｎｇ  ａ  ｄｏｗｎｍｉｘ  ｓｉｇｎａｌ）」を参照する。
【００３９】
アナログ領域において、「ドルビーサラウンド」、「ドルビープロロジック」、及び「ドルビープロロジックII」〔Ｊ．ハル（Ｈｕｌｌ）の「サラウンドサウンドの過去、現在、及び未来（Ｓｕｒｒｏｕｎｄ  ｓｏｕｎｄ  ｐａｓｔ，ｐｒｅｓｅｎｔ，ａｎｄ  ｆｕｔｕｒｅ）」、Ｔｅｃｈｎ．Ｒｅｐ．、ドルビーラボラトリーズ、１９９９年、ｗｗｗ.ｄｏｌｂｙ.ｃｏｍ／ｔｅｃｈ／；Ｒ．ドレスラー（Ｄｒｅｓｓｌｅｒ）の「ドルビーサラウンドプロロジックIIデコーダ―動作の原理（Ｄｏｌｂｙ  Ｓｕｒｒｏｕｎｄ  Ｐｒｏｌｏｇｉｃ II  Ｄｅｃｏｄｅｒ−Ｐｒｉｎｃｉｐｌｅｓ  ｏｆ  ｏｐｅｒａｔｉｏｎ）」、Ｔｅｃｈｎ．Ｒｅｐ．、ドルビーラボラトリーズ、２０００年、ｗｗｗ.ｄｏｌｂｙ.ｃｏｍ／ｔｅｃｈ／〕のようなマトリックス化アルゴリズムが、長期にわたり広く使われてきた。このようなアルゴリズムは５．１音声チャネルをステレオ互換チャネルペアにマッピングするために「マトリックス化」を利用する。しかしながら、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｃ．ファーラー（Ｆａｌｌｅｒ）、Ｃ．エールテル（Ｅｒｔｅｌ）、Ｊ．ヒルパート（Ｈｉｌｐｅｒｔ），Ａ．ホェールツア（Ｈｏｅｌｚｅｒ）及びＣ．シュペンガー（Ｓｐｅｎｇｅｒ）の「ＭＰ３サラウンド：マルチチャネル音声の効率的互換性符号化（ＭＰ３  Ｓｕｒｒｏｕｎｄ：Ｅｆｆｉｃｉｅｎｔ  ａｎｄ  ｃｏｍｐａｔｉｂｌｅ  ｃｏｄｉｎｇ  ｏｆ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ）」、Ａｕｄ．Ｅｎｇｌ．Ｓｏｃ．第１１６回コンベンションの発表予稿集、２００４年５月、に概説されているように、マトリックス化アルゴリズムからは、分離された音声チャネル群に比較してかなり劣るフレキシビリティ及び音質しか得られない。５．１サラウンドに対する音声信号をミキシングする際にマトリックス化アルゴリズムの限界が、既に考慮されていれば、Ｊ．ヒルソン（Ｈｏｌｓｏｎ）の「ドルビープロロジックII技術によるミキシング（Ｍｉｘｉｎｇ  ｗｉｔｈ  Ｄｏｌｂｙ  Ｐｒｏ  Ｌｏｇｉｃ  II  Ｔｅｃｈｎｏｌｏｇｙ）」、Ｔｅｃｈｎ．Ｒｅｐ．、ドルビーラボラトリーズ、２００４年、ｗｗｗ.ｄｏｌｂｙ.ｃｏｍ／ｔｅｃｈ／ＰＬＩＩ.Ｍｘｉｎｇ.ＪｉｍＨｉｌｓｏｎ.ｈｔｍｌ、に概説されているように、この不完全さからくる影響の一部を軽減することができる。
【００４０】
Ｃ対２のＢＣＣを、追加の補助サイド情報を備えたマトリックス化アルゴリズムと同様な機能性を持つスキームと見ることができる。しかしながら、この方法はその性質上一般性が高い、というのは、これは元のチャネルのかなりの数から送信されたチャネルのかなりの数にマップすることに対応できるからである。Ｃ対ＥのＢＣＣは、デジタル領域用であるので、後方互換性のある方法において低いビット率の追加サイド情報は、通常、既存のデータ送信の中に含めることができる。このことは、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｃ．ファーラー（Ｆａｌｌｅｒ）、Ｃ．エールテル（Ｅｒｔｅｌ）、Ｊ．ヒルパート（Ｈｉｌｐｅｒｔ），Ａ．ホェールツア（Ｈｏｅｌｚｅｒ）及びＣ．シュペンガー（Ｓｐｅｎｇｅｒ）の「ＭＰ３サラウンド：マルチチャネル音声の効率的互換性符号化（ＭＰ３  Ｓｕｒｒｏｕｎｄ：Ｅｆｆｉｃｉｅｎｔ  ａｎｄ  ｃｏｍｐａｔｉｂｌｅ  ｃｏｄｉｎｇ  ｏｆ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ）」、Ａｕｄ．Ｅｎｇｌ．Ｓｏｃ．第１１６回コンベンションの発表予稿集、２００４年５月、に概説されているように、旧式の受信機が、該追加のサイド情報を無視して２つの送信されたチャネルを直接再生することを意味する。究極の目標は、全ての元となる音声チャネルを分離して送信するのと同等な音声品質を実現すること、すなわち、従来のマトリックス化アルゴリズムから期待できるよりも大幅に向上した音質を実現することである。
【００４１】
以下では、図６ａを参照し、５つの入力チャネルから２つの送信チャネルを生成するための従来型のエンコーダのダウンミックス操作を説明する。５つのチャネルは、左チャネルＬまたはｘ１、右チャネルＲまたはｘ２、センターチャネルＣまたはｘ３、左サラウンドチャネルｓＬまたはｘ４、及び右サラウンドチャネルｓＲまたはｘ５である。ダウンミックスの状況が概略的に図６ａに示される。第一送信チャネルｙ１は、左チャネルｘ１、センターチャネルｘ３、及び左サラウンドチャネルｘ４、を使って形成されているのがわかる。さらに、図６ａでは、右送信チャネルｙ２は、右チャネルｘ２、センターチャネルｘ３、及び右サラウンドチャネルｘ５を使って形成されているのがわかる。
【００４２】
一般によく使われるダウンミックスルールまたはダウンミックスマトリックスを図６ｃに示す。センターチャネルｘ３が重み係数１／√２で重み付けされているのが明らかで、このことは、センターチャネルｘ３のエネルギーの半分は左送信チャネルまたは第一送信チャネルＬｔに投入され、エネルギーの残りの半分は第二送信チャネルまたは右送信チャネルＲｔに取込まれることを意味する。該ダウンミックスは便宜的に（ｍ，ｎ）マトリックスによって表現され、ｎ個の入力サンプルをｍ個の出力サンプルにマップする。このマトリックスへの入力値は、加算によって関連出力チャネルを形成する前に、対応チャネルに適用される重み値である。
【００４３】
異なったダウンミックス方法があり、ＩＴＵ勧告に記載されている（Ｒｅｃ．  ＩＴＵ−Ｒ  ＢＳ．７７５、画像あり及びなしのマルチチャネルステレオサウンドシステム（Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ  Ｓｔｅｒｅｏｐｈｏｎｉｃ  Ｓｏｕｎｄ  Ｓｙｓｔｅｍ  ｗｉｔｈ  ｏｒ  ｗｉｔｈｏｕｔ  Ａｃｃｏｍｐａｎｙｉｎｇ  Ｐｉｃｔｕｒｅ）、ＩＴＵ、１９９３年、ｈｔｔｐ:／／ｗｗｗ.ｉｔｕ.ｏｒｇ）。さらに、異なったダウンミックス方法に関して、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｃ．ファーラー（Ｆａｌｌｅｒ）、Ｃ．エールテル（Ｅｒｔｅｌ）、Ｊ．ヒルパート（Ｈｉｌｐｅｒｔ），Ａ．ホェールツア（Ｈｏｅｌｚｅｒ）及びＣ．シュペンガー（Ｓｐｅｎｇｅｒ）の「ＭＰ３サラウンド：マルチチャネル音声の効率的互換性符号化（ＭＰ３  Ｓｕｒｒｏｕｎｄ：Ｅｆｆｉｃｉｅｎｔ  ａｎｄ  ｃｏｍｐａｔｉｂｌｅ  ｃｏｄｉｎｇ  ｏｆ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ）」、Ａｕｄ．Ｅｎｇｌ．Ｓｏｃ．第１１６回コンベンションの発表予稿集、２００４年５月、の４．２項を参照する。該ダウンミックスは、時間または周波数領域いずれにおいても実施できる。従属する信号適応方法または周波数（帯域）において変化している時間であるかもしれない。チャネルの割り当てが図６ａの右のマトリックスで示され、次のようになっている。
【００４４】
【数１】
2008505368.tif 000003
【００４５】
そこで、５対２ＢＣＣの主だったケースにおいては、例えば、下記のダウンミックスマトリックスに応じて、送信されたチャネル一つのが右から、背面右及びセンターに計算され、他方の送信されたチャネルは左から背面左及びセンターに計算される。
【００４６】
【数２】
2008505368.tif 000004
【００４７】
これは図６ｃにも示されている。
【００４８】
このダウンミックスマトリックスにおいて、各入力信号の累乗がダウンミックス信号に等しく寄与するように、各列の値の平方の和が１となるように重み係数を選択することができる。当然ながら、他のダウンミックススキーム使用することもできよう。
【００４９】
具体的には、図６ｂまたは７ｂを参照すると、エンコーダのダウンミックススキームの具体的な実施例が示されている。一つのサブバンドの処理が示されている。各サブバンドにおいて、ダウンミックスされた信号中の信号成分の音の強さは「等化」されるように、スケーリング係数ｅ１及びｅ２が制御される。このケースでは、ダウンミックスは、周波数領域で実施され、変数ｎ（図７ｂ）は周波数領域のサブバンド時間の指標を表し、ｋは変換された時間領域の信号ブロックの指標である。特に注目されるのは、センターチャネルの重み付けバージョンが各加算デバイスによって左の送信チャネルと右の送信チャネルとに取込まれる前に、センターチャネルに重み付けをする加重デバイスである。
【００５０】
デコーダにおける対応アップミックス操作が、関連する図７ａ、７ｂ及び７ｃ示される。デコーダでは、アップミックスを計算して、送信チャネルを出力チャネルにマップしなければならない。該アップミックスは便宜的に、（ｉ，ｊ）マトリックス（ｉ行，ｊ列）として表され、ｉ個の送信サンプルをｊ個の出力サンプルにマップする。上記と同じく、このマトリックスの入力値は、加算により関連出力チャネルを形成する前に、対応するチャネルに適用する重み値である。アップミックスは、時間または周波数領域のいずれにおいても行うことができる。さらに、従属する信号適応方法または周波数（帯域）において、変化している時間であるかもしれない。該マトリックス入力値の絶対値は、ダウンミックスマトリックスとは対照的に、出力チャネルの最終的な重み値を表してはいない、なぜなら、ＢＣＣ処理の場合、これらのアップミックスされたチャネルは、さらに変形されるからである。具体的には、ＩＣＬＤなどのような空間キューによって提供された情報を使って変形が行われる。この例では、全ての入力値は０または１に設定されている。
【００５１】
図７ａは、５スピーカサラウンドシステムに対するアップミックス処理状況を示す。各スピーカのほかに、ＢＣＣ合成に使われるベースチャネルが示される。具体的には、左サラウンド出力チャネルに対し、第一送信チャネルｙ１が使われる。左チャネルに対しても同様である。このチャネルはベースチャネルとして使用され、「左送信チャネル」とも呼ぶ。
【００５２】
右出力及び右サラウンド出力チャネルに関しては、これらも、同様なチャネル、すなわち、第二または右送信チャネルｙ２を使用する。なお、センターチャネルに関して、ＢＣＣセンターチャネル合成のためのベースチャネルは、図７ｃに示すアップミックス処理マトリックスに従って、すなわち、両方の送信チャネルを加算して形成される。
【００５３】
２つの送信チャネルから５チャネルの出力信号を生成する処理を、図７ｂに示す。この図では、変数ｎは周波数領域のサブバンド時間の指標と共に、周波数領域において、アップミックスが行われ、ｋは、送信された時間領域の信号ブロックの指標である。なお、ＩＣＴＤ及びＩＣＣ合成は、同一のベースチャネルが使われたチャネルペアどうしの間に適用される、すなわち、左と背面左との間、及び、右と背面右との間でそれぞれ適用されることになる。図７ｂ中にＡで表された２つのブロックは、２チャネルＩＣＣ合成に対するスキームを含む。
【００５４】
エンコーダで推定されたサイド情報は、デコーダの出力信号合成のための全てのパラメータを計算するために必要なものであり、これには、次のキューが含まれる：ΔＬ12、ΔＬ13、ΔＬ14、ΔＬ15、τ14、τ25、ｃ14、及びｃ25（ΔＬijは、チャネルｉとｊとの間のレベル差であり、τijは、チャネルｉとｊとの間の時間差であり、ｃijは、チャネルｉとｊとの間の相関係数である）。なお、他のレベル差を使用することも可能である。デコーダにおいて、ＢＣＣ合成のためのスケール係数、遅延などの計算をするため十分な情報が利用できることが要件である。
【００５５】
以下に、各チャネルに対するレベル変更、すなわち、図７ｂに示されていないａiの計算及びその後の全体正規化をさらに説明するために、図７ｄが参照される。望ましくは、チャネル間レベル差ΔＬiは、サイド情報として、すなわちＩＣＬＤとして送信される。チャネル信号に適用するためには、基準チャネルＦrefと計算対象チャネルＦiとの間の指数関係を用いる必要がある。これについては、図７ｄの最初の部分に示されている。
【００５６】
図７ｂに示されていないのは、その後のまたは最終的な全体正規化であり、これは、相関ブロックＡの前でも相関ブロックＡの後でも実施することができる。相関ブロックが、ａiで重み付けされたチャネルのエネルギーに影響を与える場合には、全体正規化は、相関ブロックの後で実施すべきである。全ての出力チャネルのエネルギーが、全ての送信されたチャネルのエネルギーに等しいことを確実にするために、基準チャネルは、図７Ｂに示すようにスケールされる。望ましくは、基準チャネルは、送信チャネルの平方和の平方根である。
【００５７】
以下に、これらのダウンミックス処理／アップミックス処理スキームに関連する問題について説明する。図６及び図７に示されている５対２ＢＣＣスキームを考慮してみると次のようなことが明らかになる。
【００５８】
元のセンターチャネルは、両方の送信チャネルに取込まれているので、必然的に再構成された左及び右出力チャネルにも取込まれる。
【００５９】
さらに、このスキームにおいては、共通の中央からの寄与成分は、両方の再構成出力チャネルにおいて同一の振幅を持つ。
【００６０】
しかも、元となるセンターチャネル信号は、復号化の過程で一つのセンター信号に置き換えられるが、この信号は送信された左及び右チャネルから導き出されたものであり、従って、再構成された左及び右チャネルから独立的では（これらチャネルと無相関では）あり得ない。
【００６１】
この事象は、全ての音声チャネルの間における高度の無相関（すなわち低一様性）によって特色付けられる非常に広いサウンドイメージを持つ信号の知覚音質に好ましくない影響を与える。このような信号の例として、元となるマルチチャネル信号を生成するために十分広いスペースをあけて設けられた各マイクロフォンを使い、聴衆が拍手しているときを収音したサウンドがある。このような信号の場合、復号化された音のサウンドイメージは、より狭くなりその自然な広がりは低減される。
【００６２】
【特許文献１】米国特許出願公開第２００３／０２１９１３０号
【特許文献２】米国特許出願公開第２００３／００２６４４１号
【特許文献３】米国特許出願公開第２００３／００３５５５３号
【特許文献４】米国特許出願第１０／７６２１００号
【非特許文献１】Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｋ．Ｈ．ブランデンブルグ（Ｂｒａｎｄｅｎｂｕｒｇ）、Ｄ．レデラー（Ｌｅｄｅｒｅｒ）の「インテンシティステレオ符号化（Ｉｎｔｅｎｓｉｔｙ  Ｓｔｅｒｅｏ  Ｃｏｄｉｎｇ）」ＡＥＳ発表予稿集３７９９、１９９４年２月、アムステルダム
【非特許文献２】Ｃ．ファーラー（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「ステレオ及びマルチチャネル音声圧縮に用いるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ  ｃｕｅ  ｃｏｄｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  ｓｔｅｒｅｏ  ａｎｄ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ  ｃｏｍｐｒｅｓｓｉｏｎ）」ＡＥＳコンベンションの論文５５７４、２００２年５月、ミュンヘン
【非特許文献３】Ｃ．ファーラー（Ｆａｌｌｅｒ）及びＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「バイノーラルキュー符号化。パートII：スキーム及び応用（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ．Ｐａｒｔ II：Ｓｃｈｅｍｅｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ）」ＩＥＥＥ  Ｔｒａｎｓ．Ｏｎ  Ａｕｄｉｏ  ａｎｄ  Ｓｐｅｅｃｈ  Ｐｒｏｃ．、１１巻、Ｎｏ．６、２９９３年１１月
【非特許文献４】Ｇ．タイレ（Ｔｈｅｉｌｅ）及びＧ．シュトール（Ｓｔｏｌｌ）の「ＭＵＳＩＣＡＭサラウンド：ＩＳＯ１１１７２−３と互換性のある一般的マルチチャネル符号化システム（ＭＵＳＩＣＡＭ  ｓｕｒｒｏｕｎｄ：  ａ  ｕｎｉｖｅｒｓａｌ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ｃｏｄｉｎｇ  ｓｙｓｔｅｍ  ｃｏｍｐａｔｉｂｌｅ  ｗｉｔｈ  ＩＳＯ１１１７２−３）」、ＡＥＳ発表予稿集３４０３、１９９２年１０月、サンフランシスコ
【非特許文献５】Ｂ．グリル（Ｇｒｉｌｌ）、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｋ．Ｈ．ブランデンブルグ（Ｂｒａｎｄｅｎｂｕｒｇ）、Ｅ．エベルライン（Ｅｂｅｒｌｅｉｎ）、Ｊ．コラー（Ｋｏｌｌｅｒ）、Ｊ．ミューラー（Ｍｕｅｌｌｅｒ）の発表「改良ＭＰＥＧ−２マルチチャネル符号化（Ｉｍｐｒｏｖｅｄ  ＭＰＥＧ−２  ａｕｄｉｏ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ｅｎｃｏｄｉｎｇ）」、ＡＥＳ発表予稿集３８６５、１９９４年２月、アムステルダム
【非特許文献６】Ｃ．ファーラー（Ｆａｌｌｅｒ）及びＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）の「ステレオ及びマルチチャネル音声圧縮に用いるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  ａｐｐｌｉｅｄ  ｔｏ  ｓｔｅｒｅｏ  ａｎｄ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ  ｃｏｍｐｒｅｓｓｉｏｎ）」、Ａｕｄ．Ｅｎｇｌ．Ｓｏｃ．第１１２回コンベンションの発表予稿集、２００２年５月
【非特許文献７】Ｃ．ファーラー（Ｆａｌｌｅｒ）及びＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）及びＣ．ファーラー（Ｆａｌｌｅｒ）の「バイノーラルキュー符号化  パートＩ：心理音響学的基礎及び設計原則（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  Ｐａｒｔ  Ｉ：Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ  ｆｕｎｄａｍｅｎｔａｌｓ  ａｎｄ  ｄｅｓｉｇｎ  ｐｒｉｎｃｉｐｌｅｓ）」、ＩＥＥＥ  Ｔｒａｎｓ．Ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．、第１１巻、ｎｏ．６、２００３年１１月
【非特許文献８】Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｃ．ファーラー（Ｆａｌｌｅｒ）、Ｃ．エールテル（Ｅｒｔｅｌ）、Ｊ．ヒルパート（Ｈｉｌｐｅｒｔ），Ａ．ホェールツア（Ｈｏｅｌｚｅｒ）及びＣ．シュペンガー（Ｓｐｅｎｇｅｒ）の「ＭＰ３サラウンド：マルチチャネル音声の効率的互換性符号化（ＭＰ３  Ｓｕｒｒｏｕｎｄ：Ｅｆｆｉｃｉｅｎｔ  ａｎｄ  ｃｏｍｐａｔｉｂｌｅ  ｃｏｄｉｎｇ  ｏｆ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ａｕｄｉｏ）」、Ａｕｄ．Ｅｎｇｌ．Ｓｏｃ．第１１６回コンベンションの発表予稿集、２００４年５月
【発明の開示】
【発明が解決しようとする課題】
【００６３】
本発明の目的は、改善されたサウンド知覚を持つマルチチャネル出力信号を生成する、高音質のマルチチャネル再構成の構想を提供することにある。
【課題を解決するための手段】
【００６４】
本発明の第一の様態によれば、この目的は、Ｋ個の出力チャネルを持つマルチチャネル出力信号を生成するための装置によって実現され、マルチチャネル出力信号はＣ個の入力チャネルを持つマルチチャネル入力信号に対応しており、該装置は、Ｅ個の送信チャネルを用い、Ｅ個の送信チャネルは、Ｃ個の入力チャネルからの入力のダウンミックス操作の結果を表現するものであり、また、該装置は、入力チャネルに関連するパラメトリックサイド情報を用い、Ｅ≧２、Ｃ＞Ｅ、且つＣ≧Ｋ＞１であり、ダウンミックス操作は、第一入力チャネルを、第一送信チャネル及び第二送信チャネル中に取り入れ、さらに、第二入力チャネルを第一送信チャネルに取り入れるよう動作する。該装置は、第一送信チャネル、第二送信チャネル、またはパラメトリックサイド情報に含まれる第一入力チャネルに関する情報を用いて消去チャネル（ｃａｎｃｅｌｌａｔｉｏｎ  ｃｈａｎｎｅｌ）を計算するための消去チャネル計算器と；消去チャネルと第一送信チャネルまたはその処理されたバージョンとを結合させて、第二ベースチャネルを得るコンバイナであって、第二ベースチャネル中の第一入力チャネルの影響は、第一送信チャネルの第一入力チャネルの影響と比べて小さい、コンバイナと；第二入力チャネルに関する第二ベースチャネルとパラメトリックサイド情報とを使って、第二入力チャネルに対応する第二出力チャネルを再構成し、第一チャネルの影響が第二ベースチャネルに比較して高いという点で第二ベースチャネルとは異なる第一ベースチャネルと、第一入力チャネルに関するパラメトリックサイド情報とを使って、第一入力チャネルに対応する第一出力チャネルを再構成するためのチャネル再構成器とを含む。
【００６５】
本発明の第二の様態によれば、この目的は、Ｋ個の出力チャネルを有するマルチチャネル出力信号を生成する方法によって実現され、マルチチャネル出力信号はＣ個の入力チャネルを持つマルチチャネル入力信号に対応しており、Ｅ個の送信チャネルを用い、Ｅ個の送信チャネルは、Ｃ個の入力チャネルからの入力のダウンミックス操作の結果を表現するものであり、入力チャネルに関連するパラメトリックサイド情報を用い、Ｅ≧２、Ｃ＞Ｅ、且つＣ≧Ｋ＞１であり、ダウンミックス操作は、第一送信チャネル及び第二送信チャネル中に第一入力チャネルを取り入れ、さらに、第一送信チャネルに第二入力チャネルを取り入れるよう動作する。該方法は、第一送信チャネル、第二送信チャネル、またはパラメトリックサイド情報に含まれる第一入力チャネルに関する情報を用いて消去チャネルを計算する工程と；消去チャネルと第一送信チャネルまたはその処理されたバージョンとを結合させて、第二ベースチャネルを得る工程であって、第二ベースチャネル中の第一入力チャネルの影響は、第一送信チャネルの第一入力チャネルの影響と比べて小さい、工程と；第二入力チャネルに関する第二ベースチャネルとパラメトリックサイド情報とを使って、第二入力チャネルに対応する第二出力チャネルを再構成し、第一チャネルの影響が第二ベースチャネルに比較して高いという点で第二ベースチャネルとは異なる第一ベースチャネルと、第一入力チャネルに関するパラメトリックサイド情報とを使って、第一入力チャネルに対応する第一出力チャネルを再構成する工程とを含む。
【００６６】
本発明の第三の様態によれば、この目的は、コンピュータで作動させてマルチチャネル出力信号を生成する方法を実行するためのプログラムコードを有するコンピュータプログラムによって実現される。
【００６７】
ここで、望ましくは、ｋはＣに等しい。とは言っても、例えば３つの出力チャネルＬ、Ｒ、Ｃを再構成し、Ｌｓ及びＲｓについては再生しないでおくこともできる。この場合、ｋ個（＝３）の出力チャネルは、元となるＣ個（＝５）の入力チャネルの３つ、Ｌ、Ｒ、Ｃに対応する。
【００６８】
本発明は、マルチチャネル出力信号の音質を向上するため、送信チャネルと消去チャネルとを結合させて特定のベースチャネルが計算され、この計算をレシーバまたはデコーダ側で計算される、という発見に基づいている。消去チャネルと送信チャネルとを結合させて得られる変形されたベースチャネルが、センターチャネル、すなわち両方の送信チャネルに取り入れられた該チャネルからの影響が低減されるように、消去チャネルは計算される。つまり、センターチャネル、すなわち両方の送信チャネルに取り入れられたチャネルの影響は、ダウンミックスの際及びその後のアップミックスの際に必然的に発生するが、このような消去チャネルの計算とその送信チャネルへの結合を行わない場合に比べ軽減される。
【００６９】
従来技術と対照して、例えば、左送信チャネルは、そのまま、左チャネルまたは左サラウンドチャネルを再構成するためのベースチャネルとして使われない。左送信チャネルは、左または右出力チャネルを再構成するためのベースとなるチャネルにおいて、元のセンター入力チャネルの影響が低減または完全に消去されるようにするために、消去チャネルと結合させ変形させる。
【００７０】
本発明では、消去チャネルは、デコーダまたはマルチチャネル出力ジェネレータに既に存在する元のセンターチャネルについての情報を使って、デコーダにおいて計算される。センターチャネルに関する情報は、左送信チャネルと、右送信チャネルと、センターチャネルに対するレベル差、時間差または相関パラメータといったパラメトリックサイド情報とに含まれている。一部の実施形態においては、これら全ての情報は、高音質な、センターチャネルの消去結果を得るためにしようされる。しかしながら、他のより低いレベルの実施形態においては、センター入力チャネルに関する前記の情報の一部しか使われない。この情報については、左送信チャネル、右送信チャネルまたはパラメトリックサイド情報のいずれとすることもできる。さらに、この情報は、エンコーダにおいて推定された情報を使用することができ、そして、デコーダへ送信される。
【００７１】
このように、５対２環境において、左送信チャネルまたは右送信チャネルは、左及び右の再構成に直接使われるのではなく、対応する送信チャネルとは異なったものとなる変形ベースチャネルを得るために、消去チャネルと結合されて変形される。望ましくは、エンコーダで、送信チャネルを生成するダウンミックス操作を行う際に決まる重み係数も、消去チャネルの計算に追加して含める。５対２環境において、左及び左サラウンド出力チャネルと、右及び右サラウンド出力チャネルとをそれぞれ再構成するための変形ベースチャネルを得るために、各送信チャネルを所定の消去チャネルと結合するので、少なくとも２つの消去チャネルが計算される。
【００７２】
本発明は、例えば、デジタルビデオプレーヤー、デジタルオーディオプレーヤー、コンピュータ、衛星受信機、ケーブル受信機、地上放送受信機、及びホームエンターティンメントシステムを含む、いくつかシステムまたはアプリケーションに組み込むことができる。
【００７３】
本発明の好適な実施形態が、添付の図面を参照しながら以下に説明される。
図１は、送信チャネル及び入力チャネルに関するパラメトリックサイド情報を生成するマルチチャネルエンコーダのブロック図である。
図２は、本発明による、マルチチャネル出力信号を生成するための好適な装置の概略ブロック図である。
図３は、本発明の第一実施形態による本発明装置の概略図である。
図４は、図３の好適な実施形態の回路構成である。
図５ａは、本発明の第二実施形態による本発明装置のブロック図である。
図５ｂは、図５ａに示すダイナミックアップミックス処理の数学的表現である。
図６ａは、ダウンミックス操作を説明するための一般的な図である。
図６ｂは、図６ａのダウンミックス操作を実行するための回路図である。
図６ｃは、ダウンミックス操作の数学的表現である。
図７ａは、ステレオ互換環境におけるアップミックス処理に用いるベースチャネルを示すための概略図である。
図７ｂは、ステレオ互換環境においてマルチチャネル再構成を実行するための回路図である。
図７ｃは、図７ｂで用いられるアップミックス処理マトリックスの数学的表現である。
図７ｄは、各チャネルに対するレベル変形及びその後の全体正規化の数学的説明である。
図８は、エンコーダを示す。
図９は、デコーダを示す。
図１０は、従来技術のジョイントステレオエンコーダを示す。
図１１は、従来技術のＢＣＣエンコーダ／デコーダシステムのブロック図表現を示す。
図１２は、図１１のＢＣＣ合成ブロックの従来技術の処理系を示す。
図１３は、ＩＣＬＤ、ＩＣＴＤ及びＩＣＣパラメータを算定するための、良く知られたスキームを表したものである。
【発明を実施するための最良の形態】
【００７４】
好適な実施形態の詳細な説明をする前に、本発明に内在する問題及び該問題に対する解決策が包括的に説明される。再構成された出力チャネルの音声空間イメージ幅を改良するための本発明の技術は、Ｃ対Ｅのパラメトリックマルチチャネルにおいて、入力チャネルが複数の送信チャネルに混成される全てのケースに適用できる。好適な実施形態は、バイノーラルキュー符号化（ＢＣＣ）システムにおける本発明の実施である。一般性を損なうことなく簡潔に言えば、後方互換性のある方法で５．１サラウンド信号を符号化／復号化するためのＢＣＣスキームの特定なケースとして本発明の技術が記載される。
【００７５】
前述した、音声イメージ幅低下の問題は、ほとんどの場合どんな種類のライブ録音でもみられる聴衆の拍手の信号のように、いろいろな方向からくる相互に無関係であり繰り返される速い一過性信号を含む音声信号で生じる。該イメージ幅低下は、原理的には、ＩＣＬＤ合成に対しもっと高い時間分解能を使うことで対処できるが、これによりサイド情報率が増大し、また、使用する解析／合成フィルタバンクの窓サイズの変更も必要となる。さらに、こういった処置は、音の成分に別の悪影響をもたらすことになる、なぜなら、時間分解能を高めることは周波数分解能を低下させることを意味するからである。
【００７６】
これに代え、本発明は、これらの不利点を持たない簡単な着想で、サイドチャネル中のセンターチャネル成分の影響を低減することを狙いとする。
【００７７】
図７ａ〜７ｄに関連して説明したように、５対２ＢＣＣの５つの再構成された出力チャネルに対するベースチャネルは、以下のように表せる。
【００７８】
【数３】
2008505368.tif 000005
【００７９】
前式を見ると、元のセンターチャネルの信号成分ｘ３は、センターベースチャネルのサブバンドｓ３では３ｄＢ増幅され（係数１／√２）、残りの（サイドチャネルの）ベースチャネルサブバンドでは３ｄＢ減衰されているのが分かる。
【００８０】
本発明により、サイドのベースチャネルサブバンドにおけるセンターチャネル信号成分の影響をさらに減衰するため、図２に示すように、以下の一般的考え方を適用する。
【００８１】
ＢＣＣ環境において、ＩＣＬＤなどの対応するレベル情報の表現に従い、最終的に復号されるセンターチャネル信号の推定を、望ましくはそれを所望の目標レベルにスケーリングして計算する。望ましくは、この復号化中央信号については、計算手間を節減する、すなわち合成フィルタバンク処理を適用しないようにするために、スペクトル領域において計算される。
【００８２】
さらに、この中央復号信号または中央再構成信号は、消去チャネルに対応し、重み付けした後、両方の、他の出力チャネルに対する両方のベースチャネル信号と結合させることができる。この結合は望ましくは減算である。それにもかかわらず、重み係数が異なる符号の場合は、左または右の出力チャネルを再構成するため使われるベースチャネルにおけるセンターチャネルの影響は、加算によっても低減される。この処理によって、左及び左サラウンドの再構成、または右及び右サラウンドの再構成のための変形ベースチャネルが形成される。重み係数としては−３ｄＢが望ましいが、他の任意の値とすることもできる。
【００８３】
図７ｂで使われているような、元の送信ベースチャネル信号の代わりに、変形ベースチャネルを使って、他の出力チャネル、すなわちセンターチャネル以外のチャネルの復号化出力チャネルの計算をする。
【００８４】
以下に、図２を参照しながら本発明の考え方によるブロック図を説明する。図２はＫ個の出力チャネルを持つマルチチャネル出力信号を生成するための装置を示し、該マルチチャネル出力信号は、Ｃ個の入力チャネルに対応しており、該装置はＥ個の送信チャネルを使用していて、Ｅ個の送信チャネルは、Ｃ個の入力チャネルを入力とし、入力チャネルに関するパラメトリックサイド情報を使ってダウンミックス操作した結果を表現し、Ｃ≧２、Ｃ＞Ｅ、且つＣ≧Ｋ＞１である。さらに、ダウンミックス操作は、第一入力チャネルを、第一送信チャネル及び第二送信チャネルの中に取り入れる。本発明の装置は、少なくとも一つの消去チャネル２１を計算する消去チャネル計算器２０を含み、消去チャネルはコンバイナ２２に入力され、コンバイナは第二入力端２３において、第一送信チャネルを直接、または第一送信チャネルの処理済みバージョンを受信する。第一送信チャネルを処理して第一送信チャネルの処理済バージョンを得る作業は、プロセッサ２４を使って実施される。該プロセッサは一部の実施形態で使われているが通常はオプションである。コンバイナは、第二ベースチャネル２５を生成して、チャネル再構成器２６に入力するよう動作する。
【００８５】
チャネル再構成器は、第二ベースチャネル２５と、第二出力チャネルを生成するために、別の入力端２７からチャネル再構成器２６へ入力された、元となる左入力チャネルに関するパラメトリックサイド情報とを使う。チャネル再構成器の出力端で第二出力チャネル２８が得られ、これを再構成された左出力チャネルとすることもできる。このチャネルは、図７ｂのシナリオと比較すると、図７ｂの状況と対比して元の入力センターチャネルの影響が小さいかまたは全く影響されていないベースチャネルによって生成されている。
【００８６】
図７ｂに示すようして生成される左出力チャネルは、前述した特定の影響を含んでいるが、この特定の影響は、図２で生成された第二ベースチャネルでは、消去チャネルと、第一送信チャネルまたは処理された第一送信チャネルとの結合によって低減されている。
【００８７】
図２に示すように、消去チャネル計算器２０は、デコーダにおいて利用可能な元のセンターチャネルに関する情報、すなわちマルチチャネル出力信号を生成するための情報を使って消去チャネルを計算する。この情報には、第一入力チャネル３０に関するパラメトリックサイド情報が含まれるか、または、ダウンミックス操作のためにセンターチャネルに関する一部の情報を包含する第一送信チャネル３１が含まれるか、または、ダウンミックス操作のためにこれもセンターチャネルに関する一部の情報を包含する第二送信チャネル３２が含まれる。望ましくは、これら全ての情報は、消去チャネル２１を得るために、センターチャネルの最適再構成を行う。
【００８８】
次に、図３及び図４について、以下のような最適実施形態を以下に説明する。図２と比べると、図３は、図２を倍にした装置、すなわち、左ベースチャネルｓ１及び右ベースチャネルｓ２におけるセンターチャネルの影響を消去するための装置を示す。図２の消去チャネル計算器は、加重デバイスの出力端に消去チャネル２１を得るためのセンターチャネル再構成デバイス２０ａ及び加重デバイス２０ｂを含む。図２のコンバイナ２２は、単純な減算器であって、その減算器は、第二出力チャネル（左出力チャネルなどの）を、また、オプションとして左サラウンド出力チャネルをも再構成するための−図２の用語で−第二ベースチャネル２５を得るために、第一送信チャネル２１から消去チャネル２１を差し引かれる。再構成されたセンターチャネルｘ３（ｋ）をセンターチャネル再構成デバイス２０ａの出力端から得ることができる。
【００８９】
図４は、回路図として好適な実施形態を設定したものを示し、図３に関連して説明した技術が使われている。さらに、図４は、直通信号方式の周波数選択的ＢＣＣ再構成デバイス中に組み込むための最適の周波数選択的処理を示す。
【００９０】
センターチャネル再構成２６は、加算器４０において２つの送信チャネルを加算することによって行われる。次いで、チャネル間レベル差についてのパラメトリックサイド情報、または、図７ｄで説明したチャネル間レベル差から導かれた係数ａ３を使って、第一ベースチャネル（図２の用語）の変形バージョンを生成するために使われ、これは図２の第一ベースチャネル入力端２９でチャネル再構成器２６に入力される。センターチャネル出力再構成のため、乗算器４１の出力端からの再構成されたセンターチャネルを（図７ｄに記載した全体正規化の後）使うことができる。
【００９１】
左及び右の再構成のためのベースチャネルにおけるセンターチャネルの影響に対応するため、図４に示す乗算器４２を使って１／√２の重み係数が適用される。次いで、再構成され、再度重み付けされたセンターチャネルは、図２のコンバイナ２２に相当する加算器４３ａ及び４３ｂに返される。
【００９２】
従って、第二ベースチャネルｓ１またはｓ４（またはｓ２及びｓ５）は、図７ｂのケースに比べて、センターチャネルの影響が低減されている点において、送信チャネルｙ１とは違っている。
【００９３】
結果として得られるベースチャネルのサブバンドは、以下の数式で与えられる。
【００９４】
【数４】
2008505368.tif 000006
【００９５】
このように、図４の装置は、サイドチャネルに対するベースチャネルから、センターチャネルサブバンドの推定量を差し引くことによって、チャネル間の独立性を向上し、これにより、再構成された出力マルチチャネル信号のより良好な空間幅を提供する。
【００９６】
以下に図５ａ及び図５ｂを参照して説明する本発明の別の実施形態によれば、図３で計算された消去チャネルとはとは違った消去チャネルが算定される。図３／図４の実施形態に対比して、第二ベースチャネルｓ１（ｋ）を計算するための消去チャネル２１は、第一送信チャネルと第二送信チャネルとの双方から導かれてはおらず、特定の重み係数ｘ＿ｌｒを使って、第二送信チャネルｙ２（ｋ）だけから導き出されており、図５ａの加算デバイス５１によってこれが示されている。従って、図５ａの消去チャネル２１は、図３の消去チャネルとは異なっているが、これもまた、第二出力チャネル、すなわち左出力チャネルｘ１（ｋ）を再構成するために使われるベースチャネルｓ１（ｋ）へのセンターチャネルの影響の削減に寄与している。
【００９７】
図５ａの実施形態において、プロセッサ２４の好適な実施形態も示されている。具体的には、プロセッサ２４は別の乗算デバイス５２として提示されおり、乗算ファクタ（１−ｘ＿ｌｒ）による乗算が実行される。図１ａに示すように、望ましくは、プロセッサ２４が第一送信チャネルに適用される乗算ファクタは、消去チャネル２１を得るために第二送信チャネルに対して用いられた乗算ファクタ５１に依存する。最終的に、コンバイナ２２への入力端２３に着信した第一送信チャネルの処理済バージョンは結合に用いられ、該結合は、第一送信チャネルの処理済バージョンから消去チャネル２１を減算することにより行われる。これら全てによって、同様に第二ベースチャネル２５が得られ、この中の元のセンター入力チャネルの影響は低減され、あるいは完全に消去されている。
【００９８】
図５ａに示すように、右／右サラウンド再構成デバイスの入力端に、第三ベースチャネルｓ２（ｋ）を得るために、同じ手順が繰り返される。しかし、図５ａに示すように、第三ベースチャネルｓ２（ｋ）は、第二送信チャネルｙ（ｋ）の処理済バージョンと別の消去チャネル５３とを結合させて得られ、該消去チャネルは乗算ファクタｘ＿ｒｌを持ち、該ファクタはデバイス５１に対するｘ＿ｌｒの値と同じ場合もあるが、異なっている場合もある。図５ａに示すように、第二送信チャネルを処理するためのプロセッサは、乗算デバイス５５である。第二消去チャネル５３と第二送信チャネルｙ２（ｋ）の処理済バージョンとを結合させるためのコンバイナは、図５ａに参照番号５６によって示されている。図２の消去チャネル計算器は、消去係数を計算するためのデバイスをさらに含み、これは図５ａでは、参照番号５７として示されている。デバイス５７は、チャネル間レベル差などの、元となるまたは入力されたセンターチャネルに関するパラメトリックサイド情報を得るように機能する。図３のデバイス２０ａについても同様であり、センターチャネル再構成デバイス２０ａも、レベル値またはチャネル間レベル差などといったパラメトリックサイド情報を受信する入力端を含む。
【００９９】
下記の方程式は、図５ａの実施形態の数学的表現を示し、その右側の項に、一方では消去チャネル計算器による、他方ではプロセッサ（図２の２１，２４）による消去処理を示している。ここに示したこの特定の実施形態においては、ファクタｘ＿ｌｒとｘ＿ｒｌとは同一である。
【０１００】
【数５】
2008505368.tif 000007
【０１０１】
前記の実施形態は、本発明が、左及び右送信チャネルの信号適応一次結合として、再構成ベースチャネルの合成を含むことを明確にしている。図５ａにはこのようなトポロジーが図示されている。
【０１０２】
異なった切り口から見ると、本発明の装置は、各サブバンド及び各時間インスタンスｋに対して異なったアップミックス処理マトリックスが使われる、ダイナミックなアップミックス処理手順として理解することもできる。このようなダイナミックアップミックス処理マトリックスが図５ｂに示されている。なお、各サブバンドに対し、すなわち、図４のフィルタバンクデバイスの各出力に対し、このようなアップミックス処理マトリックスＵが存在する。また、時間依存性の方式に関して、図５ｂにはタイム指標ｋが含まれている。各タイム指標についてのレベル情報があれば、各時間インスタンスから次の時間インスタンスへと、アップミックス処理マトリックスを変化させることができる。しかしながら、入力フィルタバンクＦＢによって周波数表現に変換される値のブロック全体に対して、同じレベル情報ａ３が用いられる場合には、例えば１０２４個または２０４８個のサンプリング値の全体ブロックに対してａ３が適用されることになる。この場合、アップミックス処理マトリックスは、時間方向に、値から値でなくブロックからブロックへと変化することになる。但し、パラメトリックレベル値を平滑化して、特定の周波数帯におけるアップミックス処理の過程で、異なった振幅変形ファクタａ３を得る技術が存在する。
【０１０３】
一般的に言えば、出力センターチャネルサブバンド計算のためのいろいろなファクタ、及び、ａ３として得られ、前記により計算されたａ３のスケールされたバージョンである、「ダイナミックアップミックス処理」のためのいろいろなファクタを用いることもできる。
【０１０４】
好適な実施形態において、エンコーダからデコーダにサイド情報を明示的に送信することによって、中央成分消去の重み強度は適応制御される。この場合、図２に示す消去チャネル計算器２０には追加の入力端が備えられ、これにより明示の制御信号を受信し、左とセンターチャネルとの、または右とセンターチャネルとの間の直接相互依存性を指定するために、明示の制御信号は計算される。これに関し、この制御信号はセンターチャネルと左チャネルとのレベル差とは異なる、なぜなら、こういったレベル差は、一種のバーチャルな基準チャネルと関連しており、図７ｄの当初に示すように、基準チャネルを、第一送信チャネル中のエネルギーの和及び第二送信チャネル中のエネルギーの和としてもよいからである。
【０１０５】
このような制御パラメータが、例えば、センターチャネルは閾値より低く、ゼロに近付いており、一方、左及び右チャネルには閾値を上回る信号があることを示すことがある。このような場合、そういった信号に対する消去チャネル計算器の適切な反応は、入力に存在しないセンターチャネルの「過剰消去」を避けるため、チャネル消去を中止し、図７ｂに示すような通常のアップミックススキームを適用することになろう。この点に関し、前述のように、これは、極端な種類の重み強度の制御である。
【０１０６】
図４から明らかなように、望ましくは、センターチャネルの再構成を計算するために、時間遅延処理操作は実施しない。これには、時間遅延を一切考慮する必要なくフィードバックを機能させると言う利点がある。といっても、時間差ｄiの計算のための基準チャネルとして、元のセンターチャネルが使われる場合に、音質を損なうことなくこれを達成することができる。一切の相関度についても同様である。センターチャネルの再構成のためにどのような相関処理も実行しないことが望ましい。元となるセンターチャネルが、どれかの相関パラメータの基準として使われている場合には、相関計算の種類によっては、音質を損なわずに相関処理を行うことができる。
【０１０７】
なお、本発明は、特定のダウンミックススキームに依存しない。これは、どの音響技術者が行う自動ダウンミックスまたは手動ダウンミックススキームをも使うことができることを意味する。さらに、手動で生成されたダウンミックスチャネルと併せ自動的に生成されたパラメトリック情報を使用することもできる。
【０１０８】
用途環境によって、構成または生成のための本発明の方法を、ハードウエアまたはソフトウエアに搭載することができる。電子的に読み出し可能な制御信号を備えたディスクまたはＣＤのようなデジタル記憶媒体に該搭載を実施し、これとプログラム可能なコンピュータシステムと共用して、本発明の方法を実施することができる。このため、一般的に言えば、本発明は、コンピュータが解読できるキャリアに格納されたプログラムコードを備え、該プログラムコードは、コンピュータにコンピュータプログラム製品を作動させると本発明の方法を実行するようにされている、コンピュータプログラム製品にも関する。従って、換言すれば、本発明は、コンピュータプログラムをコンピュータに実行させ、該方法を実施するためのプログラムコードを備えたコンピュータプログラムにも関する。
【０１０９】
本発明は、テレビジョンまたは電子的音楽配送、放送、ストリーミング、及び／または受信のためのシステムを含む各種の多様なアプリケーションまたはシステムと関連させて使うことができる。これらには、例えば、地上波、人工衛星、ケーブル、インターネット、イントラネット、または物理媒体（例、コンパクトディスク、デジタル多目的ディスク、半導体チップ、ハードドライブ、メモリカードなど）を介した伝送の復号化／符号化のためのシステムが含まれる。また、例えば、多数のマシン、プラットフォームまたは媒体を対象に出版される、エンターティンメント（アクション、ロールプレイ、戦略、冒険、シミュレーション、レース、スポーツ、ゲームセンター、カード及び盤ゲーム）及び／または教育のための、ユーザと交流するよう意図された双方向性ソフトウエア製品を含め、ゲームまたはゲームシステムにも本発明を採用することができる。さらに、本発明をオーディオプレーヤーまたはＣＤ−ＲＯＭ／ＤＶＤシステムに組み込むこともできる。また、本発明を、デジタル復号化手段（例、プレーヤー、デコーダ）を内蔵するＰＣソフトウエアアプリケーション、及びデジタル符号化能力（例、エンコーダ、リッパ、レコーダ、及びジュークボックス）を内蔵するソフトウエアアプリケーションに組み込むことができる。
【図面の簡単な説明】
【０１１０】
【図１】送信チャネル及び入力チャネルに関するパラメトリックサイド情報を生成するマルチチャネルエンコーダのブロック図である。
【図２】本発明による、マルチチャネル出力信号を生成するための好適な装置の概略ブロック図である。
【図３】本発明の第一実施形態による本発明装置の概略図である。
【図４】図３の好適な実施形態の回路構成である。
【図５ａ】本発明の第二実施形態による本発明装置のブロック図である。
【図５ｂ】図５ａに示すダイナミックアップミックス処理の数学的表現である。
【図６ａ】ダウンミックス操作を説明するための一般的な図である。
【図６ｂ】図６ａのダウンミックス操作を実行するための回路図である。
【図６ｃ】ダウンミックス操作の数学的表現である。
【図７ａ】ステレオ互換環境におけるアップミックス処理に用いるベースチャネルを示すための概略図である。
【図７ｂ】ステレオ互換環境においてマルチチャネル再構成を実行するための回路図である。
【図７ｃ】図７ｂで用いられるアップミックス処理マトリックスの数学的表現である。
【図７ｄ】各チャネルに対するレベル変形及びその後の全体正規化の数学的説明である。
【図８】エンコーダを示す。
【図９】デコーダを示す。
【図１０】従来技術のジョイントステレオエンコーダを示す。
【図１１】従来技術のＢＣＣエンコーダ／デコーダシステムのブロック図表現を示す。
【図１２】図１１のＢＣＣ合成ブロックの従来技術の処理系を示す。
【図１３】ＩＣＬＤ、ＩＣＴＤ及びＩＣＣパラメータを算定するための、良く知られたスキームを表したものである。
【図１】
2008505368.tif 000008
【図２】
2008505368.tif 000009
【図３】
2008505368.tif 000010
【図４】
2008505368.tif 000011
【図５ａ】
2008505368.tif 000012
【図５ｂ】
2008505368.tif 000013
【図６ａ】
2008505368.tif 000014
【図６ｂ】
2008505368.tif 000015
【図６ｃ】
2008505368.tif 000016
【図７ａ】
2008505368.tif 000017
【図７ｂ】
2008505368.tif 000018
【図７ｃ】
2008505368.tif 000019
【図７ｄ】
2008505368.tif 000020
【図８】
2008505368.tif 000021
【図９】
2008505368.tif 000022
【図１０】
2008505368.tif 000023
【図１１】
2008505368.tif 000024
【図１２】
2008505368.tif 000025
【図１３】
2008505368.tif 000026
【国際調査報告】
2008505368.tif 000027
2008505368.tif 000028
2008505368.tif 000029