(57)【要約】  マルチチャンネル信号、特に、三次元信号は、出来る限り効率的に削減するのが有効である伝送すべきデータ又は保存すべきデータ量に関して高い要件を課せられている。この場合、そのようなデータ削減のために一般的に周知の装置又は方法は、例えば、従来技術により周知の高速フーリエ変換（ＦＦＴ）に基づき立体的な情報を抽出した後、連続したデータフローとしてモノラル又はステレオ信号と一緒に伝送するパラメータ手法である。そのような技術は、特に、モノラル又はステレオ信号を伝送するために使用されるＭＰＥＧサラウンド信号により知られている。本発明では、一方で時間的に変化しない（定常）信号に対して数学的に厳密な解法を提供し、時間的に変化する（非定常）信号では特有の残差特性を有する相関比較に基づきマルチチャンネル信号を直接抽出することにより、全ての残差をベースとする非常に容易に決定することが可能な信号を直接検出している。これは、例えば、アーチファクト又は音色の退色とその他のデマスキング効果を効率的に低減するためのオーディオ符号化において利用することができ、（例えば、ＮＨＫ−２２．２などの）非常に高い次数の信号を効率的に符号化することとなる。
2016536856.tif 000002
【特許請求の範囲】
【請求項１】
二つの入力信号から少なくとも一つの出力信号を抽出する方法において、
多数の周波数に関して、周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））と周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））とを提供する工程と、
この多数の周波数の中の一つの周波数（ｋ）における周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））と周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））との符号を比較する工程と、
この符号の比較に基づき、この多数の周波数の中の周波数（ｋ）における第一の個別信号の周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））、第二の個別信号の周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））及び周波数に依存する共通の信号成分（Ｃｉ（ｋ））の中の少なくとも一つを決定する工程と、
これらの多数の周波数における周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））、多数の周波数における周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））及び多数の周波数における周波数に依存する共通の個別信号成分（Ｃｉ（ｋ））の中の一つ以上に基づき少なくとも一つの出力信号を決定する工程と、
を有することを特徴とする方法。
【請求項２】
当該の周波数（ｋ）における周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））、周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））及び周波数に依存する共通の信号成分（Ｃｉ（ｋ））の中の少なくとも一つを決定する工程が、
当該の周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の符号が一致する場合に、この周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の中の絶対値が小さい方に基づき、この周波数（ｋ）における周波数に依存する共通の信号成分（Ｃｉ（ｋ））を決定する工程と、
当該の周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の符号が一致して、周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））が絶対値に関して周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））よりも大きい場合に、周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））に対する周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））の差分に基づき、この周波数（ｋ）における周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））を決定し、当該の周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の符号が一致しない場合に、周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））に基づき、この周波数（ｋ）の周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））を決定する工程と、
当該の周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の符号が一致して、周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））が絶対値に関して周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））よりも小さい場合に、周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））に対する周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））の差分に基づき、この周波数（ｋ）における周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））を決定し、当該の周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の符号が一致しない場合に、周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））に基づき、この周波数（ｋ）における周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））を決定する工程と、
の中の一つ以上を有することを特徴とする請求項１に記載の方法。
【請求項３】
当該の周波数（ｋ）における周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））、周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））及び周波数に依存する共通の信号成分（Ｃｉ（ｋ））の中の少なくとも一つを決定する工程が、
当該の周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の符号が一致する場合に、この周波数（ｋ）における周波数に依存する共通の信号成分（Ｃｉ（ｋ））として、この周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の中の絶対値が小さい方を決定し、当該の周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の符号が一致しない場合に、この周波数（ｋ）における周波数に依存する共通の信号成分（Ｃｉ（ｋ））をゼロに設定する工程と、
当該の周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の符号が一致して、周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））が絶対値に関して周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））よりも大きい場合に、周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））に対する周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））の差分として、この周波数（ｋ）における周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））を決定し、大きくない場合に、この周波数（ｋ）における周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））をゼロとして決定し、当該の周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の符号が一致しない場合に、周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））として、この周波数（ｋ）における周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））を決定する工程と、
当該の周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の符号が一致して、周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））が絶対値に関して周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））よりも小さい場合に、周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））に対する周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））の差分として、この周波数（ｋ）における周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））を決定し、小さくない場合に、この周波数（ｋ）における周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））をゼロとして決定し、当該の周波数（ｋ）における周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））の符号が一致しない場合に、周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））として、この周波数（ｋ）における周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））を決定する工程と、
の中の一つ以上を有することを特徴とする請求項２に記載の方法。
【請求項４】
当該の周波数に依存する第一と第二の入力信号成分（Ｌｉ’（ｋ）、Ｒｉ’（ｋ））が複素数値であり、当該の周波数（ｋ）における周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））、周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））及び周波数に依存する共通の信号成分（Ｃｉ（ｋ））の中の少なくとも一つを決定する工程が、実数部に関して一回及び／又は虚数部に関して一回、別個に実施されることを特徴とする請求項１から３までのいずれか一つに記載の方法。
【請求項５】
当該の周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））と周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））を提供する工程が、第一の入力信号を時間領域から周波数領域にフーリエ変換すること、並びに第二の入力信号を時間領域から周波数領域にフーリエ変換することを有することを特徴とする請求項１から４までのいずれか一つに記載の方法。
【請求項６】
当該の少なくとも一つの出力信号が周波数に依存する出力信号成分から構成されることを特徴とする請求項１から５までのいずれか一つに記載の方法。
【請求項７】
当該の少なくとも一つの出力信号が、当該の多数の周波数における周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））、当該の多数の周波数における周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））、及び当該の多数の周波数における周波数に依存する共通の信号成分（Ｃｉ（ｋ））の中の一つ以上に基づき生成された周波数に依存する信号成分の逆フーリエ変換によって生成されることを特徴とする請求項１から５までのいずれか一つに記載の方法。
【請求項８】
当該の周波数において符号を比較し、この符号の比較に基づき当該の周波数（ｋ）における第一の個別信号の周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））、第二の個別信号の周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））、及び周波数に依存する共通の信号成分（Ｃｉ（ｋ））の中の少なくとも一つを決定する工程が、それぞれ多数の周波数に関して実施されることを特徴とする請求項１から７までのいずれか一つに記載の方法。
【請求項９】
マルチチャンネル信号の三つのチャンネルをダウンミックス信号の少なくとも一つのチャンネルに符号化する方法において、
このマルチチャンネル信号の三つのチャンネルをダウンミックス信号の二つのチャンネルにダウンミックスする工程と、
このダウンミックス信号の二つのチャンネルを入力信号として、請求項１から８までのいずれか一つに記載の方法によって、これらの三つのチャンネルの中の少なくとも一つを見積もる工程と、
このマルチチャンネル信号の元のチャンネルとこのマルチチャンネル信号の見積もったチャンネルの差分によって残差を決定する工程と、
を有する方法。
【請求項１０】
当該の残差が、一つの周波数（ｋ）におけるマルチチャンネル信号の見積もり対象の元のチャンネルの周波数に依存する信号成分とこの周波数（ｋ）における見積もられた周波数に依存する信号成分との差分により、この周波数（ｋ）における周波数に依存する残差成分を決定することによって決定されて、この残差が、多数の周波数における周波数に依存する残差成分に基づき決定されることを特徴とする請求項９に記載の方法。
【請求項１１】
当該のダウンミックス信号の二つのチャンネルのフーリエ変換によって、当該のダウンミックス信号の二つのチャンネルの周波数に依存する信号成分を決定する工程と、当該のマルチチャンネル信号の見積もり対象の元のチャンネルのフーリエ変換によって、当該のマルチチャンネル信号の見積もり対象の元のチャンネルの周波数に依存する信号成分を決定する工程との中の一つ以上を更に有することを特徴とする請求項１０に記載の方法。
【請求項１２】
基本オーティオエンコーダからのダウンミックス信号の二つのチャンネルの中の少なくとも一つのチャンネルの周波数に依存する信号成分が使用されることを特徴とする請求項１１に記載の方法。
【請求項１３】
当該のダウンミックス信号の少なくとも一つのチャンネルが基本オーティオエンコーダによって圧縮されることを特徴とする請求項９から１２までのいずれか一つに記載の方法。
【請求項１４】
当該のマルチチャンネル信号の三つのチャンネルが、このマルチチャンネル信号の三つの隣り合うチャンネルであることを特徴とする請求項９から１３までのいずれか一つに記載の方法。
【請求項１５】
ｍ＜ｎとして、ｎ個のチャンネルを有するマルチチャンネル信号をｍ個のチャンネルを有するダウンミックス信号に符号化する方法において、
このマルチチャンネル信号の三つの第一のチャンネルを符号化して、請求項９から１４までのいずれか一つに記載の方法により第一の残差を算出する工程と、
このマルチチャンネル信号の三つの第二のチャンネルを符号化して、請求項９から１４までのいずれか一つに記載の方法により第二の残差を算出する工程と、
これらの第一の残差と第二の残差に基づき平均化された残差を決定する工程と、
これらのダウンミックス信号の符号化により決定されたチャンネルと平均化された残差とを出力する工程と、
有することを特徴とする方法。
【請求項１６】
当該のマルチチャンネル信号の三つの第一のチャンネルが、このマルチチャンネル信号の第一のチャンネル、第二のチャンネル及び第三のチャンネルに対応し、当該のマルチチャンネル信号の三つの第二のチャンネルが、このマルチチャンネル信号の第三のチャンネル、第四のチャンネル及び第五のチャンネルに対応し、この第二のチャンネルが、第一と第三のチャンネルに割り当てられた位置の間の位置に割り当てられ、この第四のチャンネルが、第三と第五のチャンネルに割り当てられた位置の間の位置に割り当てられており、当該の請求項９から１４までのいずれか一つに記載の方法によりマルチチャンネル信号の三つの第一のチャンネルを符号化する工程が、このマルチチャンネル信号の第二のチャンネル、第三のチャンネル及び第四のチャンネルに基づきダウンミックス信号の一つのチャンネルを決定する工程を有することを特徴とする請求項１５に記載の方法。
【請求項１７】
当該の三つの第一のチャンネルと三つの第二のチャンネルが水平面内に有ることを特徴とする請求項１５又は１６に記載の方法。
【請求項１８】
当該のマルチチャンネル信号の三つの第三のチャンネルを符号化して、請求項９から１４までのいずれか一つに記載の方法により第三の残差を算出する工程と、
当該のマルチチャンネル信号の三つの第四のチャンネルを符号化して、請求項９から１４までのいずれか一つに記載の方法により第四の残差を算出する工程と、
当該の第一、第二、第三及び第四の残差に基づき平均化された残差を決定する工程と、
このダウンミックス信号の決定されたチャンネルと平均化された残差とを出力する工程と、
更に有することを特徴とする請求項１５から１７までのいずれか一つに記載の方法。
【請求項１９】
当該のマルチチャンネル信号が、前方左チャンネル、前方中央チャンネル、前方右チャンネル、側方右チャンネル、後方右チャンネル、後方中央チャンネル、後方左チャンネル及び側方左チャンネルから成る、一つの水平面の少なくとも八つのチャンネルを有し、
当該の三つの第一のチャンネルが、前方左チャンネル、前方中央チャンネル及び前方右チャンネルに対応し、当該の三つの第二のチャンネルが、前方右チャンネル、側方右チャンネル及び後方右チャンネルに対応し、当該の三つの第三のチャンネルが、後方右チャンネル、後方中央チャンネル及び後方左チャンネルに対応し、当該の三つの第四のチャンネルが、後方左チャンネル、側方左チャンネル及び前方左チャンネルに対応し、
当該のダウンミックス信号の四つの符号化において決定された八つのチャンネルの中の四つが出力される、
ことを特徴とする請求項１８に記載の方法。
【請求項２０】
当該のマルチチャンネル信号が、当該の八つのチャンネルの中の中央に有るか、或いはこれらの八つのチャンネルの中の一つに隣接する第九のチャンネルを有し、この第九のチャンネルが、当該のダウンミックス信号の四つのチャンネルを決定する前に、当該の八つのチャンネルの中の一つに統合されることを特徴とする請求項１８又は１９に記載の方法。
【請求項２１】
当該のマルチチャンネル信号が、当該の八つのチャンネルの中の中央に有るか、或いはこれらの八つのチャンネルの中の一つに隣接する第九のチャンネルを有し、この第九のチャンネルが、当該のダウンミックス信号の四つのチャンネルを決定する前に、当該の八つのチャンネルの中の一つを加算されることを特徴とする請求項２０に記載の方法。
【請求項２２】
当該の第九のチャンネル及び第九のチャンネルに加算されるチャンネルに関するパニングパラメータセットが決定されて、このパニングパラメータセットが一緒に出力されることを特徴とする請求項２１に記載の方法。
【請求項２３】
当該のマルチチャンネル信号の三つの第一のチャンネルの中の一つが、符号化前に、一つの共通のチャンネルとして、このマルチチャンネル信号の一つの別のチャンネルと組み合わされて、この共通のチャンネルを分離するためのパラメータが一緒に出力されることを特徴とする請求項１５から２２までのいずれか一つに記載の方法。
【請求項２４】
当該の共通のチャンネルを分離するためのパラメータが、音源とマイクロホン主軸の間の角度、決定された左開口角、決定された右開口角及び当該の共通の信号の指向特性の少なくとも四つのパラメータに基づくことを特徴とする請求項２３に記載の方法。
【請求項２５】
ｍ＜ｎとして、ｍ個のチャンネルを有するダウンミックス信号からｎ個のチャンネルを有するマルチチャンネル信号を復号化する方法において、
このダウンミックス信号のｍ個のチャンネルを提供する工程と、
このダウンミックス信号の二つのチャンネルをそれぞれ入力信号として、請求項１から８までのいずれか一つに記載の方法を少なくとも一回適用することによって、ｐ個（ｐ＞ｍ）のチャンネルを決定する工程と、
を有することを特徴とする方法。
【請求項２６】
一つの残差（Δ）を提供する工程と、
この残差（Δ）により、当該のマルチチャンネル信号の少なくとも一つのチャンネルを修正する工程と、
有することを特徴とする請求項２５に記載の方法。
【請求項２７】
当該のマルチチャンネル信号の中の少なくとも一つのチャンネルが、請求項１から８までのいずれか一つに記載の方法により決定された第一の個別信号（Ｌｉ（ｋ））、第二の個別信号（Ｒｉ（ｋ））及び共通の信号（Ｃｉ（ｋ））の中の少なくとも一つに基づき決定されて、第一の個別信号（Ｌｉ（ｋ））が一つの残差の減算により修正されることと、第二の個別信号（Ｒｉ（ｋ））がこの残差の減算により修正されることと、共通の信号（Ｃｉ（ｋ））がこの残差の二倍の加算により修正されることとの中の一つ以上が実施されることを特徴とする請求項２６に記載の方法。
【請求項２８】
請求項１から８までのいずれか一つに記載の方法により決定された、当該のダウンミックス信号の第一のチャンネルと第二のチャンネルの共通の信号に基づき、このダウンミックス信号の第二のチャンネルを決定する工程と、
請求項１から８までのいずれか一つに記載の方法により決定された、当該のダウンミックス信号の第二のチャンネルと第三のチャンネルの共通の信号に基づき、このダウンミックス信号の第四のチャンネルを決定する工程と、
によって、当該のダウンミックス信号の少なくとも一つの第一のチャンネル、第二のチャンネル及び第三のチャンネルが、当該のマルチチャンネル信号の少なくとも一つの第一のチャンネル、第二のチャンネル、第三のチャンネル、第四のチャンネル及び第五のチャンネルに復号化されることを特徴とする請求項２５から２７までのいずれか一つに記載の方法。
【請求項２９】
平均化された残差を受信して、当該のダウンミックス信号の第一のチャンネルと第二のチャンネルの共通の信号と、この平均化された残差とに基づき、当該のマルチチャンネル信号の第二のチャンネルを決定し、当該のダウンミックス信号の第二のチャンネル及び第三のチャンネルと、この平均化された残差とに基づき、当該のマルチチャンネル信号の第四のチャンネルを決定することを特徴とする請求項２８に記載の方法。
【請求項３０】
当該の第一のチャンネルと第二のチャンネルの共通の信号と、第二のチャンネルと第三のチャンネルの共通の信号とに基づき、当該のマルチチャンネル信号の第三のチャンネルを決定することを特徴とする請求項２８又は２９に記載の方法。
【請求項３１】
当該のダウンミックス信号の四つのチャンネルと平均化された残差（Δ）とを受信する工程と、
これらのダウンミックス信号の二つの信号の四つの組合せを入力信号として、請求項１から８までのいずれか一つに記載の方法を四回適用することによって、当該のマルチチャンネル信号の少なくとも八つのチャンネルを決定する工程と、
当該の提供される平均化された残差（Δ）によって、これらのマルチチャンネル信号の決定された八つのチャンネルを修正する工程と、
有することを特徴とする請求項２５から３０までのいずれか一つに記載の方法。
【請求項３２】
当該のマルチチャンネル信号の第九のチャンネルのために、八つのチャンネルの中の一つの信号成分を分離する工程を更に有することを特徴とする請求項３１に記載の方法。
【請求項３３】
当該のマルチチャンネル信号の第九のチャンネルを分離するためのパラメータを受信して、このパラメータに基づき第九のチャンネルを分離することを特徴とする請求項３２に記載の方法。
【請求項３４】
当該のマルチチャンネル信号の第九のチャンネルが、このマルチチャンネル信号の八つのチャンネルの中の中央に位置するか、或いは八つのチャンネルの中の一つに隣接して位置することを特徴とする請求項３２に記載の方法。
【請求項３５】
当該の分離が、パニング、逆符号化及び所定の関係式の中の一つ以上のために提供されたパラメータに基づくことを特徴とする請求項３２から３４までのいずれか一つに記載の方法。
【請求項３６】
プロセッサ上で実行された場合に、請求項１から３５までのいずれか一つに記載の方法の工程を実施するように構成されていることを特徴とするコンピュータプログラム。
【請求項３７】
二つの入力信号から少なくとも一つの出力信号を抽出するための装置において、
多数の周波数に関して、周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））と周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））とを受信する受信機器と、
これらの多数の周波数の中の一つの周波数（ｋ）における周波数に依存する第一の入力信号成分（Ｌｉ’（ｋ））と周波数に依存する第二の入力信号成分（Ｒｉ’（ｋ））との符号を比較する比較機器と、
この符号の比較に基づき、これらの多数の周波数の中の周波数（ｋ）における第一の個別信号の周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））、第二の個別信号の周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））及び周波数に依存する共通の信号成分（Ｃｉ（ｋ））の中の少なくとも一つを決定する計算機器と、
を備えており、
この計算機器が、更に、これらの多数の周波数における周波数に依存する第一の個別信号成分（Ｌｉ（ｋ））、これらの多数の周波数における周波数に依存する第二の個別信号成分（Ｒｉ（ｋ））及びこれらの多数の周波数における周波数に依存する共通の個別信号成分（Ｃｉ（ｋ））に基づき少なくとも一つの出力信号を決定するように構成されている、
ことを特徴とする装置。
【請求項３８】
マルチチャンネル信号の三つのチャンネルをダウンミックス信号の少なくとも一つのチャンネルに符号化する符号化装置において、
このマルチチャンネル信号の三つのチャンネルをダウンミックス信号の二つのチャンネルにダウンミックスするダウンミキサと、
このダウンミキサからのダウンミックス信号の二つのチャンネルを入力信号とする、請求項３６に記載の装置と、
このマルチチャンネル信号の元のチャンネルとマルチチャンネル信号の見積もったチャンネルとの差分により残差を決定する残差機器と、
を有することを特徴とする符号化装置。
【請求項３９】
ｍ＜ｎとして、ｎ個のチャンネルを有するマルチチャンネル信号をｍ個のチャンネルを有するダウンミックス信号に符号化する符号化装置において、
このマルチチャンネル信号の三つの第一のチャンネルを符号化して、第一の残差を算出する請求項３７又は３８に記載の符号化装置と、
このマルチチャンネル信号の三つの第二のチャンネルを符号化して、第二の残差を算出する請求項３７又は３８に記載の符号化装置と、
これらの第一の残差と第二の残差に基づき平均化された残差を決定する平均化機器と、
これらのダウンミックス信号の符号化により決定されたチャンネルと平均化された残差とを出力する出力機器と、
有することを特徴とする符号化装置。
【請求項４０】
当該のマルチチャンネル信号の三つの第三のチャンネルを符号化して、第三の残差を算出する請求項３７に記載の符号化装置と、
当該のマルチチャンネル信号の三つの第四のチャンネルを符号化して、第四の残差を算出する請求項３７に記載の符号化装置と、
を更に有し、
当該の平均化機器が、これらの第一、第二、第三及び第四の残差に基づき平均化された残差を決定するように構成されている、
ことを特徴とする請求項３８に記載の符号化装置。
【請求項４１】
ｍ＜ｎとして、ｍ個のチャンネルを有するダウンミックス信号からｎ個のチャンネルを有するマルチチャンネル信号を復号化する復号化装置において、
このダウンミックス信号のｍ個のチャンネルを受信する受信機器と、
このダウンミックス信号の二つのチャンネルをそれぞれ入力信号として、マルチチャンネル信号のｐ個（ｐ＞ｍ）のチャンネルを決定する、請求項３６に記載の少なくとも一つの装置と、
を有することを特徴とする復号化装置。
【請求項４２】
ｎ個のチャンネルを有するマルチチャンネル信号をｍ個のチャンネルを有するダウンミックス信号に符号化する、請求項３８又は３９に記載の符号化装置と、
このダウンミックス信号のｍ個のチャンネルを伝送する伝送手段と、
このダウンミックス信号のｍ個のチャンネルをマルチチャンネル信号のｐ個（ｐ＞ｍ）のチャンネルに復号化する、請求項４０に記載の復号化装置と、
有することを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
例えば、オーディオ信号などのマルチチャンネル信号、特に、三次元信号は、出来る限り効率的に削減するのが有効である伝送又は保存すべきデータ量に関して高い要件を課せられている。
【背景技術】
【０００２】
ここでは、そのような一般的に周知のデータ削減用の装置又は方法は、例えば、従来技術で周知の高速フーリエ変換（ＦＦＴ）に基づき立体的な情報を抽出した後、それを連続したデータフローとして、例えば、モノラル又はステレオ信号と一緒にダウンミックス信号として伝送するパラメータ手法である。そのようなオーディオ技術は、特に、ＭＰＥＧサラウンド信号により知られており、数学的に見るとアダプティブフィルタ手法である。
【０００３】
疑似ステレオ音響方法は、幾何学的パラメータに基づき、一つのモノラル信号から左チャンネルと右チャンネルの間又は側方信号と主信号の間における信号成分の配分形態を計算する逆符号化（立体的なオーディオ信号の場合のインバースプロブレムの解決策）である。幾何学的パラメータとしては、例えば、音源とマイクロホン主軸の間の角度、マイクロホンの仮想的な開口角、マイクロホンの仮想的な左開口角、マイクロホンの仮想的な右開口角及びマイクロホンの指向特性の中の一つ以上が考慮の対象となる。これらのパラメータは、ダウンミックス信号と共に伝送されるか、ダウンミックスで使用されるパラメータに応じて固定的に選択されるか、或いはデフォルト値として規定することもできる。逆符号化は、例えば、特許文献１に開示されている。
【０００４】
二つのチャンネルの相関比較は、アップミックス信号の第三のチャンネルを取得する別の手法である。その場合、二つのチャンネルの共通の信号成分を決定し、その成分から、アップミックス信号の別のチャンネルを決定している。その共通の信号成分を決定するためには、例えば、従来技術により周知の装置又は方法を使用することができ、例えば、高速フーリエ変換（ＦＦＴ）に基づく英国企業Ｓｏｕｎｄｆｉｅｌｄ社のアップミックスシステムＵＰＭ１などを使用することができる。しかし、それは、非常に大きな計算負荷を必要とする。そこでは、出力信号の生成は、振幅に依存して行なわれており、そのことは、変動する音源と時間的に変化するアーチファクトの欠点を個々のチャンネルに持ち込んで、全体として明らかに、オーティオ符号化領域において雑音を発生させるスペクトルの悪化を生じさせている。
【０００５】
従って、出来る限り高い音響心理学的透明度の目標を更に満たす、そのような相関比較に関する簡単な装置又は簡単な方法が、例えば、リアルタイムによるマルチチャンネル信号の符号化に関して望まれている。
【０００６】
そのような簡単な装置又は簡単な方法が、本発明の場合のように、時間的に変化する（非定常）信号に適用されるフーリエ変換に基づく場合、所謂残差を発生させる。その場合、エンコーダにおいて、全ての残差を伝送する必要がないように、その残差を一般的に決定できることが望ましく、そのことは、例えば、オーティオ符号化において、明らかに帯域幅を削減することとなる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際特許公開第２００９１３８２０５号明細書
【特許文献２】欧州特許公開第１８５０６３９号明細書
【特許文献３】国際特許公開第２０１１００９６４９号明細書
【特許文献４】国際特許公開第２０１１００９６５０号明細書
【特許文献５】国際特許公開第２０１２０１６９９２号明細書
【特許文献６】国際特許公開第２０１２０３２１７８号明細書
【非特許文献】
【０００８】
【非特許文献１】ＨＡＭＡＳＡＫＩ  ＫＩＭＩＯ  ＥＴ  ＡＬ：  “Ｔｈｅ  ２２．２  Ｍｕｌｔｉｃｈａｎｎｅｌ  Ｓｏｕｎｄ  Ｓｙｓｔｅｍ  ａｎｄ  Ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎ”，  ＡＥＳ  ＣＯＮＶＥＮＴＩＯＮ  １１８，  ＭＡＹ  ２００５
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以上のことから、本発明の課題は、そのような相関比較を非常に高い透明度で実現する簡単な装置又は簡単な方法を提供することである。
【００１０】
これは、オーディオ信号に限定されないが、そのようなシステムは、特に、オーディオ信号に最適に適用することができる。即ち、本発明の構成内容を用いて、例えば、映像信号を効率的に圧縮及び復元するか、或いはその残差を効率的に最小化することができる。
【００１１】
一般的に、本発明の構成内容は、フーリエ変換又は逆フーリエ変換に基づく限り、信号技術全般に適用することができ、そこでは、例えば、帯域幅を劇的に削減することとなるか、或いは効率的なデータ抽出を可能とする。
【００１２】
本発明によって、例えば、オーティオ符号化において、混合したチャンネルを再び相関比較により分離することができ、そのため、全体として非常に複雑なオーティオ信号の効率的な保存及び伝送が可能となるので、ダウンミックスチャンネルの数を最小限に削減することができる。
【００１３】
そこで、特に、そのような非常に複雑な３次元オーディオ信号、例えば、ＮＨＫ２２．２フォーマットにより周知の信号などは、それに対応するダウンミックスチャンネルに組み合わせて、そのような相関比較を又もや部分的又は全体的に適用することができる。
【００１４】
例えば、ＮＨＫ２２．２システム（又は同様のフォーマット）のミドル層及びトップ層は、音響心理学的な水平面がほぼ別個に感知されて、これらの面の間に、即ち、垂直面、対角面などにおいて、僅かな量しかファントム音源を発生させないので、そのような相関比較を別個に適用することができる。
【００１５】
従って、そのような相関比較を水平面内で適用するのが特に有利である。次数の高い信号では、厳密なチャンネル分離がファントム音源の澄みきった生成に関する基本的な必要条件を構成するので、特に、そのような相関比較の隣り合うチャンネルでの実施に本発明を限定しないことも有利である。
【００１６】
当然のことながら、本発明は、水平面に限定されず、垂直面又は対角面、或いはそれ以外の組合せにも使用することができる。
【００１７】
以下の文献は、特に、従来技術に属するものと見做される。
【００１８】
特許文献２は、モノラル信号からステレオ信号を生成する固定フィルタを記載している。そのフィルタは、マルチチャンネル信号にも適用することができる。
【００１９】
特許文献１は、モノラル信号からステレオ信号を生成する固定フィルタを記載している。そのフィルタは、マルチチャンネル信号にも適用することができる。
【００２０】
特許文献３は、それぞれ生成されたステレオ信号の相関度を適合させるように特許文献１及び２に記載された固定フィルタを拡張した形態を記載している。その拡張した形態は、マルチチャンネル信号にも適用することができる。
【００２１】
特許文献４は、それぞれ生成されたステレオ信号を固定パラメータに関して最適化するように特許文献１〜３に記載された装置又は方法を拡張した形態を記載している。その拡張した形態は、マルチチャンネル信号にも適用することができる。
【００２２】
特許文献５は、一般的に信号技術において、特に、特許文献１〜４に対して、代数的不変式を初めて実際に使用した形態を記載している。
【００２３】
特許文献６は、特許文献１〜５による固定フィルタの時間的なスケーリングを記載している。
【００２４】
例えば、図９により簡単に図示している、本出願人の未公開の出願であるスイス特許出願第０２３００／１２号明細書は、これらの固定フィルタをマルチチャンネル信号に対して目的通り適用するために拡張した形態を記載しており、それは、例えば、英国企業Ｓｏｕｎｄｆｉｅｌｄ社のアップミックスシステムＵＰＭ１を直接使用して実行できるダイレクト相関比較も適用している。
【００２５】
非特許文献１は、次数と空間分解能が非常に高い、チャンネルベースの再生フォーマットを記載している。
【００２６】
ＭＰＥＧサラウンドは、標準として、所謂モノラル又はステレオ信号に基づきマルチチャンネル信号を伝送するパラメータ手法を規定している。
【課題を解決するための手段】
【００２７】
本出願人の未公開の出願であるスイス特許出願第０２３００／１２号明細書（図９又は以下を参照）では、相関比較に基づきマルチチャンネル信号を抽出することを提案しているが、その文献は、従来技術により周知の装置又は方法が存在するので、そのような相関比較に関する技術的な解法を明示的に示していない。
【００２８】
そのような相関比較は、例えば、同じく高速フーリエ変換（ＦＦＴ、以下を参照）に基づき、全体として大きな計算負荷を必要とする、英国企業Ｓｏｕｎｄｆｉｅｌｄ社のアップミックスシステムＵＰＭ１で実現されている。しかし、そこでは、出力信号の生成は、振幅に依存して行なわれており、そのことは、変動する音源と時間的に変化するアーチファクトの欠点を個々のチャンネルに持ち込んで、全体として明らかに、オーティオ符号化領域において雑音を発生させるスペクトルの悪化を引き起こしている。
【００２９】
そのような相関比較は、例えば、一つ又は複数の元のチャンネル又は順次生成されるチャンネルの一つ又は複数のレベルを知ることを可能とする、同じ信号又は同種の信号成分が別の元のチャンネル又は順次生成されるチャンネルに加算された所謂ダウンミックスに適用することができる。
【００３０】
以下において、本発明の構成内容の一部として、そのような二つの信号Ｌｉ’及びＲｉ’の相関比較を提案し、そこでは、それぞれ同じ信号成分ｘ（ｔ）とｙ（ｔ）が、以下のの短時間相互相関に関して、相関度＋１を有し、
【００３１】
【数１】
2016536856.tif 000003
一方において、時間的に変化しない（定常）信号に関して数学的に厳密な解法を提供し、時間的に変化する（非定常）信号では特有の残差特性を有する（ここで、残差とは、元の非定常信号部分とそのフーリエ変換の間の差を表す）。
【００３２】
この相応の残差の考え得る取得形態は、同じく本発明の構成内容の一部として提示される。
【００３３】
更に、本発明の構成内容の一部として、この特有の残差特性を利用する、システム全体の残差が既知である場合の残差に関する近似抽出方法を提案する。
【００３４】
同種の信号成分Ｃｉ＊を有する二つのチャンネルＬｉ’，Ｒｉ’（１≦ｉ≦ｎ）を考えると、次の通りとなる。
【００３５】
【数２】
2016536856.tif 000004
【００３６】
ここで、時間に依存する信号ｌｉ’（ｔ）及びｒｉ’（ｔ）に関して、それぞれフーリエ級数が決定される。従って、合成（ｋ＝．．．，−１，０，１，．．．）に関しては、次の式が成り立ち、
【００３７】
【数３】
2016536856.tif 000005
分析に関しては、次の式が成り立ち、
【００３８】
【数４】
2016536856.tif 000006
実際に、高速フーリエ変換（ＦＦＴ）を直接導き出すことができる離散フーリエ変換（ＤＦＴ）に関しては、次の式が成り立ち、
【００３９】
【数５】
2016536856.tif 000007
ここで、ｋ＝０，．．．，Ｎ−１である。
【００４０】
そして、全てのｋ＝０，．．．，Ｎ−１の定常信号に関して、Ｌｉ、Ｒｉ及びＣｉの実数部は、以下のルールに基づき復元することができる。
１．Ｌｉ’（ｋ）及びＲｉ’（ｋ）の実数部の符号を決定する。
２．ｋに関して、これらの符号が同じ場合、
ａ）Ｌｉ’（ｋ）及びＲｉ’（ｋ）の実数部の絶対値と、
ｂ）これらのＬｉ’（ｋ）及びＲｉ’（ｋ）の実数部の絶対値の最小値又は最大値と、
を決定して、
ｃ）Ｃｉ（ｋ）の実数部として、この最小値の基となった、Ｌｉ’（ｋ）又はＲｉ’（ｋ）の実数部をそれぞれ選択し、
ｄ）この最大値の基となった、Ｌｉ’（ｋ）又はＲｉ’（ｋ）の実数部からＣｉ（ｋ）の実数部を減算して、Ｌｉ’（ｋ）の実数部がこの最大値の基となった場合に、この減算結果をＬｉ（ｋ）の実数部として選択し、さもなければ、Ｒｉ’（ｋ）の実数部がこの最大値の基となった場合に、この減算結果をＲｉ（ｋ）の実数部として選択し、
ｅ）未だ決まっていないＬｉ（ｋ）又はＲｉ（ｋ）の実数部をゼロに等しく設定する。
３．Ｌｉ’（ｋ）とＲｉ’（ｋ）の実数部の符号が同じでない場合、Ｃｉ（ｋ）をゼロに等しく設定して、Ｌｉ（ｋ）＝Ｌｉ’（ｋ）及びＲｉ（ｋ）＝Ｒｉ’（ｋ）と設定する。
【００４１】
全てのｋ＝０，．．．，Ｎ−１の定常信号に関して、Ｌｉ、Ｒｉ及びＣｉの虚数部は、以下のルールに基づき復元することができる。
１．Ｌｉ’（ｋ）及びＲｉ’（ｋ）の虚数部の符号を決定する。
２．ｋに関して、これらの符号が同じ場合、
ａ）Ｌｉ’（ｋ）及びＲｉ’（ｋ）の虚数部の絶対値と、
ｂ）これらのＬｉ’（ｋ）及びＲｉ’（ｋ）の虚数部の絶対値の最小値又は最大値と、
を決定して、
ｃ）Ｃｉ（ｋ）の虚数部として、この最小値の基となった、Ｌｉ’（ｋ）又はＲｉ’（ｋ）の虚数部をそれぞれ選択し、
ｄ）この最大値の基となった、Ｌｉ’（ｋ）又はＲｉ’（ｋ）の虚数部からＣｉ（ｋ）の虚数部を減算して、Ｌｉ’（ｋ）の虚数部がこの最大値の基となった場合に、この減算結果をＬｉ（ｋ）の虚数部として選択し、さもなければ、Ｒｉ’（ｋ）の虚数部がこの最大値の基となった場合に、この減算結果をＲｉ（ｋ）の虚数部として選択し、
ｅ）未だ決まっていないＬｉ（ｋ）又はＲｉ（ｋ）の虚数部をゼロに等しく設定する。
３．Ｌｉ’（ｋ）とＲｉ’（ｋ）の虚数部の符号が同じでない場合、Ｃｉ（ｋ）をゼロに等しく設定して、Ｌｉ（ｋ）＝Ｌｉ’（ｋ）及びＲｉ（ｋ）＝Ｒｉ’（ｋ）と設定する。
【００４２】
最終的にＬｉ、Ｒｉ及びＣｉを得るために、時間に依存する信号の合成に関しては、ｋ＝．．．，−１，０，１，．．．として、次の式が成り立ち、
【００４３】
【数６】
2016536856.tif 000008
（或いは、実際に、高速フーリエ変換（ＦＦＴ）を直接導き出すことができる離散フーリエ変換（ＤＦＴ）を用いた分析に関しては、ｋ＝０，．．．，Ｎ−１として、次の式が成り立ち、
【００４４】
【数７】
2016536856.tif 000009
）、この合成に関する係数ｆｋ，ｇｋ，ｈｋは、ｋ＝．．．，−１，０，１，．．．として、次の分析式により決定されるか、或いは、
【００４５】
【数８】
2016536856.tif 000010
合成に関して、逆高速フーリエ変換（ＩＦＦＴ）を直接導き出すことができる逆離散フーリエ変換（ＩＤＦＴ）に基づき、ｋ＝０，．．．，Ｎ−１として、次の式が成り立つ。
【００４６】
【数９】
2016536856.tif 000011
【００４７】
オーティオ信号を損失を含まない形又は損失を含む形で圧縮するためのオーディオコーデックの配列は、既にフーリエ変換又はＦＦＴを利用しているので、それ以外の点において、小さい計算負荷により、そのようなオーディオコーデックに、上述した実数部又は虚数部を得るためのルールを直接統合するか、或いはそれらの実数部又は虚数部を得るためのルールを適用できるようなオーティオコーデックから信号を導き出すことができる。
【００４８】
そのような相関比較の模式的な流れの例が図１５に図示されている。
【００４９】
時間に依存するダウンミックス信号Ｌｉ（ｔ），Ｒｉ（ｔ）の一つのチャンネル毎に、先ずは高速フーリエ変換（ＦＦＴ）が実行され、それにより、周波数に依存する複素数値による信号記述Ｌｉ（ｋ）及びＲｉ（ｋ）が得られる。ここで、これらに対して、Ｌｉ，Ｒｉ及びＣｉの実数部及び虚数部を得るためのルールを適用する。最後に、この結果得られた信号記述Ｌｉ（ｋ）、Ｒｉ（ｋ）及びＣｉ（ｋ）に対して、それぞれ逆高速フーリエ変換（ＩＦＦＴ）を適用する。時間に依存する信号ｃｉ（ｔ），ｌｉ（ｔ）及びｒｉ（ｔ）が得られる。
【００５０】
この形の相関比較では、非定常信号に対して、一般的に以下の特性を有する残差Δが発生する。
【００５１】
【数１０】
2016536856.tif 000012
【００５２】
逆高速フーリエ変換（ＩＦＦＴ）を直接導き出すことができる逆離散フーリエ変換（ＩＤＦＴ）に基づくＬｉ，Ｒｉ及びＣｉの純粋な再生である場合、この残差は、標準的な聴取状況内（「スイートスポット」内）において消失するので、音響心理学的に何の役割も果たさない。しかし、日常生活の聴取状況及び標準的でないスピーカ配置の場合のような、「スイートスポット」外において、それが発生した場合、明らかに聴取可能なアーチファクトを発生させる可能性が有り、それは回避する必要がある。
【００５３】
特に、マルチチャンネル信号の立体的な符号化では、それらの信号が、特に、標準的な聴取状況外（「スイートスポット」外）において、そのようにして抽出された信号に基づく限り、音色の退色とその他のデマスキング効果を発生させる可能性が有る。
【００５４】
そのため、例えば、エンコーダにおいて、場合によっては、伝送チャンネル数を全体として低減して、それに出来る限り良好に近似させるために、別の立体的な符号化で音色の退色とその他のデマスキング効果を最小化するために、或いは主観的な感覚に関して除去するために、そのような残差を用途に応じて決定することが望ましい。
【００５５】
この残差Δ自体は、例えば、（Ｌｉ，Ｒｉ又はＣｉに関するフーリエ変換は既に知られており、そのため、僅かにＬｉ，Ｒｉ又はＣｉに関して述べたのと同じ手法でのみ、Ｌｉ＊，Ｒｉ＊又はＣｉ＊に関するフーリエ変換が実行される）周波数に依存して、周波数ｋ毎に、以下の通り得ることができる（周波数に依存する計算では、場合によっては、Δ（ｋ）に関して、次に、Ｌｉ，Ｒｉ又はＣｉに関して述べた通り、逆高速フーリエ変換（ＩＦＦＴ）を直接導き出すことができる逆離散フーリエ変換（ＩＤＦＴ）を実行することができる）。
【００５６】
【数１１】
2016536856.tif 000013
【００５７】
これは、同種の信号成分Ｃｉ＊を有する二つのチャンネルＬｉ’及びＲｉ’（１≦ｉ≦ｎ）から相関比較により残差の無い信号を得るために、例えば、エンコーダ内で決定される、それに伴う残差Δも知らなければならないことを意味し、そのことは、そのような残差も相関比較毎に添付しなければならないという意味において、デコーダに伝送すべき絶対的なチャンネル数を削減できなくなるので、例えば、オーティオ符号化において、大きな制約となる。それに代わって、相関比較により決定された共通の信号Ｃｉ（ｔ）、相関比較により決定された第一の個別信号Ｌｉ（ｔ）又は相関比較により決定された第二の個別信号Ｒｉ（ｔ）が時間に依存して出現する場合、これらの残差を時間に依存して決定することができる。
【００５８】
基本的に、そのような残差の無い信号は、単純な減算又は加算によって、次の通り、周波数に依存する形でも、時間に依存する形でも得ることができる。
【００５９】
【数１２】
2016536856.tif 000014
【００６０】
しかし、例えば、それぞれ隣り合うチャンネルＬｉ，Ｃｉ１，Ｒｉ，Ｃｉ２及びＢｉに関して、次の式を用いて、
【００６１】
【数１３】
2016536856.tif 000015
Ｌｉ’とＲｉ１’の間の相関比較結果から得られる残差Δ１からではなく、Ｒｉ２’とＢｉ’の間の相関比較結果から得られる残差Δ２を線形的な形で導き出せることを示すことができる。
【００６２】
伝送すべき残差の数の劇的な削減を更に示す理想的な近似決定は、以下の考察において得られる。
【００６３】
ｎ個の残差Δ１，Δ２，Δ３，Δ４，．．．，Δｎが決定されて、これらの差分に関して、以下の式が成り立つとすると、
【００６４】
【数１４】
2016536856.tif 000016
次の関係式を導き出すことができる。
【００６５】
【数１５】
2016536856.tif 000017
【００６６】
そのため、例えば、（η２−ηｎ−１＋Δｎ）は、全ての残差に含まれる項である。同じ考察は、各Δｉ（ｉ＝１，．．．，ｎ）に適用することができる。実際に、ｎが小さい場合、そのようにして決定された各項を用いて、各残差を高い精度で近似できるとの結果が得られる。
【００６７】
ここで、以下の通り設定すると、
【００６８】
【数１６】
2016536856.tif 000018
次の式が得られる。
【００６９】
【数１７】
2016536856.tif 000019
【００７０】
ここで、次の関係式から、
【００７１】
【数１８】
2016536856.tif 000020
以下の「残差に関する差分ルール」を導き出すことができ、
【００７２】
【数１９】
2016536856.tif 000021
これは、標準的な聴取状況内（「スイートスポット」内）において、ａ１，ａ２，ａ３，．．．，ａｎが、互いに打ち消し合うことによって、音響心理学的に理想的な残差特性を有することを意味する。
【００７３】
上記の「差分ルール」から、以下の「残差に関する加算定理」を導き出すことができる、
【００７４】
【数２０】
2016536856.tif 000022
即ち、このことは、この中に全ての残差の平均値が同時に含まれており、例えば、エンコーダ内において、容易に計算できることも意味する。
【００７５】
ここで、残差Δ１，Δ２，Δ３，Δ４，．．．，Δｎに基づく代わりに、それらの平均値に基づき残差修正を行なった場合、そこでは、音色の退色とその他のデマスキング効果を目的通り最小化することができるだけでなく、それと同時に、例えば、オーディオエンコーダからオーディオデコーダに伝送するチャンネル数を劇的に削減することができる。
【００７６】
そのため、ここで、外接側の三角形の頂点がダウンミックスチャンネルの数を表し、内接側の破線で示された三角形が相関比較により抽出された（次に、外接側の三角形の元の全てのチャンネルを近似的に得るために、それに対応するダウンミックスチャンネルから抽出された）追加チャンネルを表す図２の通り、全ての残差の平均値を伝送することにより、少なくとも三つのチャンネルから、アーチファクト又は音色の退色とその他のデマスキング効果が明らかに少ない最大六個のチャンネルを抽出することが可能である。言い換えると、外接側の三角形の頂点は、六個のチャンネルを有するマルチチャンネル信号の三つのダウンミックスチャンネルを規定する。内接側の三角形の一つの頂点は、二つの隣り合うダウンミックスチャンネルを混合した、マルチチャンネル信号の一つのチャンネルを規定する。そのような二つのダウンミックスチャンネルの間に有る別のチャンネルは、境を接する二つのダウンミックスチャンネル（外接側の三角形の頂点）の間の相関比較によって得ることができ、二つのダウンミックスチャンネルに含まれる信号において、そのチャンネルを抽出することによって、それぞれ三角形の隣の頂点信号に最も近い側（第一の相関比較を実行する側には注目しない）の中心に有る隣の信号とのダウンミックス前の元の二つの外側の頂点信号の合計もそれぞれ得ることができる。ここで、この新たに考察する側の二つのダウンミックスチャンネルに関しても、相関比較が実行された場合、又もや二つのダウンミックスチャンネルに含まれる信号が抽出される。この信号は、第一の相関比較の最も近い合計から抽出することができ、その後元の頂点信号が得られる。全ての隣り合う三対のダウンミックスチャンネルに関して、これを行なった場合、再びマルチチャンネル信号の六個のチャンネルが得られる。ここで、定常的でない限り、ダウンミックス信号以外に、三つのダウンミックス信号の外に六個のマルチチャンネル信号を正確に計算するために、更に三つの残差も伝送しなければならないので、伝送すべきデータ量は、再びマルチチャンネル信号の伝送量と等しくなる。そのため、ここでは、全ての三つの残差の平均値が伝送されて、相関比較から得られたマルチチャンネル信号の六個のチャンネルが、この平均残差に基づき修正される。
【００７７】
ここで、同様に、外接側の四角形の頂点がダウンミックスチャンネルの数を表し、内接側の破線で示された四角形が相関比較により抽出された（次に、外接側の四角形の元の全てのチャンネルを近似的に得るために、それに対応するダウンミックスチャンネルから抽出された）追加チャンネルの数を表す図３の通り、全ての残差の平均値を伝送することにより、少なくとも四つのダウンミックスチャンネルから、アーチファクト又は音色の退色とその他のデマスキング効果が明らかに少ない最大八個のチャンネルを抽出することが可能である。
【００７８】
そのため、ここで、外接側の五角形の頂点がダウンミックスチャンネルの数を表し、内接側の破線で示された五角形が相関比較により抽出された（次に、外接側の五角形の元の全てのチャンネルを近似的に得るために、それに対応するダウンミックスチャンネルから抽出された）追加チャンネルの数を表す図４の通り、全ての残差の平均値を伝送することにより、少なくとも五つのチャンネルから、アーチファクト又は音色の退色とその他のデマスキング効果が明らかに少ない最大十個のチャンネルを抽出することが可能である。
【００７９】
図２〜４は、純粋に組合せに関する意味のみを有し、具体的なスピーカ位置と混同してはならない。
【００８０】
この方式は、無限に拡張できるが、全ての残差の計算された平均値は、上記の考察からアーチファクト又は音色の退色とその他のデマスキング効果に応じて増大する。
【００８１】
全ての場合に、別のチャンネルは、逆符号化により得られる、或いは順次導き出されるチャンネルを用いて、或いは従来技術により周知の別の立体的な符号化方法を用いても近似的に計算することができる。
【００８２】
以下において、「逆符号化」とは、特許文献１〜６の請求項による一つ又は複数の方法、或いは一つ又は複数の装置を使用する技術的なフローであると理解し、ここに、前記の特許文献を参照して組み入れる。特に、これらの文献では、線形的な逆符号化が記載されている。図９は、そのような線形的な逆符号化の例を図示している。
【００８３】
例えば、エンコーダとデコーダの間で、オーディオデータを出来る限り効率的に保存及び伝送する役割を果たす、これらのダウンミックスチャンネル又は残差は、従来技術により周知の相応の損失を含まない形又は損失を含む形の基本オーティオコーデック（そのような基本オーティオコーデックの例は、Ｏｐｕｓ又はＭＰＥＧ標準のＭＰ３、ＡＡＣ、ＨＥ−ＡＡＣ、ＨＥ−ＡＡＣ  ｖ２及びＵＳＡＣである）を用いて、更に圧縮及び復元することができ、それぞれ使用される基本オーティオコーデックは、全体としてベースとする立体的な符号化方法に関して、更に最適化（「チューニング」）することができる。
【００８４】
特に、オーディオ信号を損失を含まない形又は損失を含む形で圧縮するためのオーディオコーデックの配列は、既にフーリエ変換又は高速フーリエ変換（ＦＦＴ）を利用しているので、小さい計算負荷により、このオーディオコーデックに、上述した信号の実数部又は虚数部を得るためのルールを直接統合することができるか、或いはそのようなオーディオコーデックから、これらの実数部又は虚数部を得るためのルールを適用できる信号を導き出すことができる。そのようにして、全体として必要な計算負荷を明らかに低減することができる。
【００８５】
以下において、次の図面を参照して、本発明の様々な実施構成の例を説明する。
【図面の簡単な説明】
【００８６】
【図１】短時間相互相関に関して相関度＋１を有する各信号成分が、それぞれ定常信号に関して正確に抽出され、次に、非定常信号に関して、残差修正が、本発明の開示により正確に、或いは全ての残差の平均値に基づいても同様に可能である、フーリエ変換に基づき二つの信号を相関比較するための意外に扱い易いアルゴリズムの八つの考え得る場合を図示した図
【図２】外接側の三角形により示される三つのチャンネルを有する相応のダウンミックスに対して、そのような相関比較を組み合わせて適用することを幾何学的に図解した図
【図３】外接側の四角形により示される四つのチャンネルを有する相応のダウンミックスに対して、そのような相関比較を組み合わせて適用することを幾何学的に図解した図
【図４】外接側の五角形により示される五つのチャンネルを有する相応のダウンミックスに対して、そのような相関比較を組み合わせて適用することを幾何学的に図解した図
【図５】ＩＴＵ−Ｒ  ＢＳ．７７５−１による５．１サラウンド構成の図
【図６】相関比較と、場合によっては、残差修正又は追加の立体的な符号化とに基づく、本発明によるマルチチャンネル信号の符号化の図
【図７】ＮＨＫ−２２．２構成の図
【図８】ＮＨＫ−２２．２のミドル層信号に図６を適用すると同時に、ＦＬ，ＦＬｃ及びＦＲ，ＦＲｃに関する二つの逆符号化を適用した図
【図９】未公開のスイス特許出願第０２３００／１２号明細書による線形的な逆符号化の例の図
【図１０】正確なローカリゼーションが難しいとされる、音響心理学的に重要でない前方主軸内の頭部上方において、この相関比較を行なった、ＮＨＫ−２２．２のトップ層信号に図６を適用すると同時に、Ｔｐｃを得るために相関比較を適用した図
【図１１】パニングに代わって、或いはパニングに追加して、逆符号化も行なうことができる、正確なローカリゼーションが難しいとされる、音響心理学的に重要でない前方主軸内の頭部上方において、このパニングを行なった、ＮＨＫ−２２．２のトップ層信号に図６を適用すると同時に、ＴｐｃとＴｐＦＣの合計にパニングを適用した図
【図１２】全ての出力信号に事前にフーリエ変換（ＦＦＴ）を実行して、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づきダウンミックスとそれに対応する相互相関の残差を計算する、本発明の構成内容に基づくエンコーダコンポーネントの図
【図１３】ダウンミックス全体とエンコーダコンポーネントにより計算した全ての残差の平均値を計算する、本発明の構成内容に基づくＮＨＫ−２２．２のトップ層信号用エンコーダの図
【図１４】最終的に逆高速フーリエ変換（ＩＦＦＴ）を決定する、ダウンミックス全体とエンコーダコンポーネントにより計算した全ての残差の伝送されて来た平均値に基づき、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）による相互相関を用いて、並びに加算及び減算演算を用いて、エンコーダの元の入力信号を近似計算するデコーダの図
【図１５】この相互相関の前に、高速フーリエ変換（ＦＦＴ）を実行した後、逆高速フーリエ変換（ＩＦＦＴ）を実行する、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づき示された相関比較の原理図
【発明を実施するための形態】
【００８７】
１．本発明の構成内容の５．１サラウンド信号への適用
本発明の構成内容をＩＴＵ−Ｒ  ＢＳ．７７５−１による５．１サラウンド信号に適用した（逆符号化を更に適用した）第一の簡単な例（図５を参照）は、チャンネルＬ＊、Ｒ＊、Ｃ＊、ＬＳ＊、ＲＳ＊に関して、以下の加算演算（「ダウンミックス」）を表している。
【００８８】
【数２１】
2016536856.tif 000023
【００８９】
Ｌ’とＲ’は、この目的のために（効率的な保存又は伝送を目的として）特別に調整（「チューニング」）できる基本オーティオコーデックに基づき、圧縮することができるとともに、その後復元することができる（図６を参照、この例では、所謂逆符号化に基づく追加の立体的な符号化及び復号化が行なわれている）。
【００９０】
このエンコーダでは、先ずは左の信号ＬＳ＊とＬ＊が共通の左の信号（Ｌ＊＋１／√２＊ＬＳ＊）に組み合わされ、右の信号ＲＳ＊とＲ＊が共通の右の信号（Ｒ＊＋１／√２＊ＲＳ＊）に組み合わされる。これらの共通の信号（Ｌ＊＋１／√２＊ＬＳ＊），（Ｒ＊＋１／√２＊ＲＳ＊）から信号（ＬＳ＊とＬ＊又はＲＳ＊とＲ＊）を音響心理学的に分離するためのパラメータを決定するために、特許文献１、３〜６の中の一つに開示された逆符号化方法が使用される。共通の信号（Ｌ＊＋１／√２＊ＬＳ＊），（Ｒ＊＋１／√２＊ＲＳ＊）から信号（ＬＳ＊とＬ＊又はＲＳ＊とＲ＊）を音響心理学的に分離するために必要なパラメータを決定するために、これらの特許文献の開示をここに組み入れる。ここで、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づく相関比較によって、Ｌ’とＲ’から、（その後、係数２を乗算される）一つの信号１／２＊Ｃと二つの信号Ｌ及びＲの両方を抽出することができる。このエンコーダでは、本発明によるＬ’とＲ’の間の相関比較方法によって、信号（Ｌ＊＋１／√２＊ＬＳ＊），（Ｒ＊＋１／√２＊ＲＳ＊）又はＣ＊の見積値を決定し、実際の信号との差分を演算して、残差Δを決定している。ここで、このエンコーダは、Ｌ’、Ｒ’、Δと、共通の左の信号から二つの左の信号を分離するためのパラメータと、共通の右の信号から二つの右の信号を分離するためのパラメータとを出力する。
【００９１】
この相関比較は、基本オーティオ符号器において既に実現されたフーリエ変換を利用することができ、それによって、必要な計算負荷全体を明らかに低減することができる。
【００９２】
このデコーダでは、本発明によるＬ’とＲ’の相関比較に基づき、信号（Ｌ＊＋１／√２＊ＬＳ＊），（Ｒ＊＋１／√２＊ＲＳ＊）及びＣ＊の見積値を決定している。ここで、例えば、エンコーダからデコーダに、任意選択により伝送される、この相関比較に関する残差Δに基づき、これらの信号Ｃ＊、（Ｌ＊＋１／√２＊ＬＳ＊）及び（Ｒ＊＋１／√２＊ＲＳ＊）の見積値から、以下の公式により、元の信号Ｃ＊、（Ｌ＊＋１／√２＊ＬＳ＊）及び（Ｒ＊＋１／√２＊ＲＳ＊）を再構成することができる。
【００９３】
【数２２】
2016536856.tif 000024
【００９４】
しかし、少ないチャンネル数のために、そのような残差の決定は、実際に圧縮するのではなく、ここでは、むしろ、そのような相関比較と共に出現して、それに対応して修正することができる、ベースとなる残差特性を表す役割を果たす。この場合、復号化された共通の左の信号（Ｌ＊＋１／√２＊ＬＳ＊）は、マルチチャンネル信号の元のチャンネル結合（Ｌ＊＋１／√２＊ＬＳ＊）と一致する。複数チャンネルを有するマルチチャンネル信号において、この修正のために、別のチャンネルに基づき平均化された追加の残差を使用する場合、この復号された共通の左の信号（Ｌ＊＋１／√２＊ＬＳ＊）は（共通の右の信号に関しても同様に）単なる見積値である。
【００９５】
この分離のために伝送されたパラメータに基づき、近似的に、相関比較と、場合によっては、残差修正とにより得られる共通の左の信号（Ｌ＊＋１／√２＊ＬＳ＊）に関して、ここで、二つの左のチャンネルＬ＊とＬＳ＊が計算されるとともに、相関比較と、場合によっては、残差修正とにより得られる共通の右の信号（Ｒ＊＋１／√２＊ＲＳ＊）に関して、ここで、二つの右のチャンネルＲ＊とＲＳ＊が計算される。これは、例えば、図９に図示されている通り、線形的な符号化に基づき行なうことができる。この場合、入力信号の音響心理学的に最適な遅延及び増幅を取得し、そのようにして入力信号を二つの隣り合うチャンネルに分割するために、エンコーダから受信されるパラメータφ（音源とマイクロホン主軸の間の角度）、α（決定された左開口角）、β（決定された右開口角）、ｆ（ステレオ音響化すべきモノラル信号の指向特性）、λ（相関度を変更するための増幅率又は相関度を変更するための減衰率）又はρ（相関度を変更するための減衰率）及びｓ（時間パラメータ）（或いはこれらのパラメータから導き出されるパラメータ）がエンコーダで使用される。
２．本発明の構成内容のＮＨＫ−２２．２のミドル層信号への適用（図７、８及び１５を参照）
本発明の構成内容をマルチチャンネル信号としてのＮＨＫ−２２．２のミドル層信号（図７を参照）に適用した（ここでは、図８に基づく）第二の複雑な例は、チャンネルＦＬ、ＦＲ、ＦＣ、ＢＬ、ＢＲ、ＦＬｃ、ＦＲｃ、ＢＣ、ＳｉＬ及びＳｉＲに関して、以下の加算演算（ダウンミックス信号のチャンネル）を表し、ＦＬ’、ＦＲ’、ＢＬ’、ＢＲ’は、図８の通り、図３の外接側の四角形の頂点に対応する。
【００９６】
【数２３】
2016536856.tif 000025
【００９７】
これらのチャンネルＦＬ及びＦＬｃは、エンコーダにおいて、残差を計算するために行なわれる相関比較の前に、一つの共通の前方左チャンネルに組み合わされて、分離に必要なパラメータが決定される。これらのチャンネルＲＬ及びＲＬｃは、エンコーダにおいて、残差を計算するために行なわれる相関比較の前に、一つの共通の前方右チャンネルに組み合わされて、分離に必要なパラメータが決定される。これは、例えば、５．１システムでのチャンネルＬＳ＊及びＬ＊の組合せに関連して述べた通りに行なわれる。それに対応して、デコーダでは、ダウンミックス信号のチャンネルＦＬ’、ＦＲ’、ＢＬ’、ＢＲ’に基づき、相関比較と、場合によっては、平均化された残差Δによる修正とによって、マルチチャンネル信号のチャンネル（ＦＬ＋１／√２＊ＦＬｃ）、（ＦＲ＋１／√２＊ＦＲｃ）、ＦＣ、ＢＬ、ＢＲ、ＢＣ、ＳｉＬ及びＳｉＲが決定される。その後、５．１システムのチャンネルＬ＊、ＬＳ＊、Ｒ＊、ＲＳ＊と同様に、チャンネル（ＦＬ＋１／√２＊ＦＬｃ）、（ＦＲ＋１／√２＊ＦＲｃ）からチャンネルＦＬ、ＦＲ、ＦＬｃ、ＦＲｃが決定される。ＦＬ’、ＦＲ’、ＢＬ’、ＢＲ’も、場合によっては、全ての残差Δ１、Δ２、Δ３、Δ４の平均値Δも、この目的のために（例えば、エンコーダとデコーダの間における効率的な保存又は伝送を目的として）特別に調整（「チューニング」）できる基本オーティオコーデックに基づき、圧縮することができるとともに、その後復元することができる（図６を参照、この例では、チャンネルＦＬとＦＬｃの間又はチャンネルＲＬとＲＬｃの間で逆符号化に基づく追加の立体的な符号化及び復号化も行なわれる）。
【００９８】
同様に、以下で述べるシステムは、基本オーティオ符号器において既に実現されたフーリエ変換を利用することができ、それによって、必要な計算負荷全体を明らかに低減することができる。
【００９９】
ここで、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づくＦＬ’とＦＲ’の相関比較によって、（その後、係数２を乗算される）一つの信号０．５＊（ＦＣ−２＊Δ１）と二つの信号（ＦＬ＋１／√２＊ＦＬｃ＋０．５＊ＳｉＬ）＋Δ１及び（ＦＲ＋１／√２＊ＦＲｃ＋０．５＊ＳｉＲ）＋Δ１の両方が抽出される（これに関しては、図８を参照）。
【０１００】
ここで、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づくＦＲ’とＢＲ’の相関比較によって、（その後、係数２を乗算される）一つの信号０．５＊（ＳｉＲ−２＊Δ２）と二つの信号（ＦＲ＋１／√２＊ＦＲｃ＋０．５＊ＦＣ）＋Δ２及び（ＢＲ＋０．５＊ＢＣ）＋Δ２の両方が抽出される（これに関しては、図８を参照）。
【０１０１】
ここで、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づくＢＲ’とＢＬ’の相関比較によって、（その後、係数２を乗算される）一つの信号０．５＊（ＢＣ−２＊Δ２）と二つの信号（ＢＲ＋０．５＊ＳｉＲ）＋Δ３及び（ＢＬ＋０．５＊ＳｉＬ）＋Δ３の両方が抽出される（これに関しては、図８を参照）。
【０１０２】
ここで、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づくＦＬ’とＢＬ’の相関比較によって、（その後、係数２を乗算される）一つの信号０．５＊（ＳｉＬ−２＊Δ４）と二つの信号（ＦＬ＋１／√２＊ＦＬｃ＋０．５＊ＦＣ）＋Δ４及び（ＢＬ＋０．５＊ＢＣ）＋Δ４の両方が抽出される（これに関しては、図８を参照）。
【０１０３】
ここで、残差Δ１、Δ２、Δ３、Δ４が既知でない場合、そのようにして抽出された信号０．５＊（ＦＣ−２＊Δ１）、０．５＊（ＳｉＲ−２＊Δ２）、０．５＊（ＢＣ−２＊Δ３）、０．５＊（ＳｉＬ−２＊Δ４）を用いて、以下の通り、残る全ての信号ＦＬ＋１／√２＊ＦＬｃ、ＦＲ＋１／√２＊ＦＲｃ、ＢＲ、ＢＬを近似的に計算することができる。
【０１０４】
【数２４】
2016536856.tif 000026
【０１０５】
これらの二重のアプローチから、相関比較は、必ずしも考え得る三つの出力信号全てに関して行なう必要がなく（図１４も参照）、少ない出力信号も取得できることが分かる。この場合、上記の式から容易に導き出すことができる無数の様々な組合せの可能性が得られる。
【０１０６】
その外に、残差修正を有するシステムに関しても同じ所見が当て嵌まる。
【０１０７】
これらの残差Δ１、Δ２、Δ３、Δ４が既知となると、以下の太字で表示した残差修正が得られる（しかし、そのようなシステムでは、最終的に、そのような少なくとも一つの残差を各相関比較に割り当てなければならないので、圧縮は実現できない）。
【０１０８】
【数２５】
2016536856.tif 000027
【０１０９】
ここで、これらの残差Δ１、Δ２、Δ３、Δ４に基づくのではなく、全ての残差の平均値Δに基づき残差修正を行なった場合、そこでは、太字で表示した残差修正が式−２Δにより置き換えられる。このことは、例えば、エンコーダからデコーダに、全ての残差Δ１、Δ２、Δ３、Δ４を伝送する必要無しに、残差修正を実施しなかった信号と比べて、明らかにアーチファクト又は音色の退色とその他のデマスキング効果を低減することとなる。そのため、帯域幅の劇的な削減が得られる。
【０１１０】
例えば、本出願人の未公開の出願であるスイス特許出願第０２３００／１２号明細書による、所謂逆符号化などの別の立体的な符号化及び復号化を適用した場合（図９を参照）、それらを図６に基づく上記の考察に直接統合することができる。
【０１１１】
例えば、ＦＬとＦＬｃ又はＦＲとＦＲｃは、有利には、それぞれ（ＦＬ＋１／√２＊ＦＬｃ）又は（ＦＲ＋１／√２＊ＦＲｃ）に関して絶対的又は近似的に得られた信号のそのような逆符号化によって、同様に近似的に得ることができる。
【０１１２】
そのようにして、例えば、図９による構成のＦＬに関する左の出力信号は係数１（６０００１）で増幅されるが、そのような構成のＦＬｃに関する右の出力信号は係数１／√２（６０００２）で増幅される。同じ手法で、例えば、図９による構成のＦＲに関する右の出力信号は係数１（６０００２）で増幅されるが、そのような構成のＦＲｃに関する左の出力信号は係数１／√２（６０００１）で増幅される。
【０１１３】
そのようにして、ＮＨＫ−２２．２のミドル層信号は、例えば、エンコーダとデコーダの間における保存又は伝送すべきデータに関して、図６の意味において非常に明白に低減することができる。
３．本発明の構成内容のＴｐＣを除くＮＨＫ−２２．２のトップ層信号への適用（図７と１０〜１５を参照）
ＮＨＫ−２２．２のミドル層信号に関して上述した作用原理は、以下の等式を上記の例に適用した場合、ＮＨＫ−２２．２のトップ層信号に容易に転用することができる。
【０１１４】
【数２６】
2016536856.tif 000028
【０１１５】
従って、ＴｐＦＬとＴｐＦＲに関する追加の立体的な符号化及び復号化が省略される。
【０１１６】
しかし、そのような転用時には、例えば、ＮＨＫ−２２．２のトップ層信号で重要な役割を果たすＴｐＣは無視される。
４．本発明の構成内容のＴｐＣを含むＮＨＫ−２２．２のトップ層信号への適用（図７と１０〜１５を参照）
この場合、図１０と１１による、本発明の構成内容をＮＨＫ−２２．２のトップ層信号（図７を参照）に適用した第四の複雑な例は、チャンネルＴｐＦＬ、ＴｐＦＲ、ＴｐＦＣ、ＴｐＣ、ＴｐＢＬ、ＴｐＢＲ、ＴｐＳｉＬ、ＴｐＳｉＲ、ＴｐＢＣに関して、次の加算演算（「ダウンミックス」）を提供し、
【０１１７】
【数２７】
2016536856.tif 000029
ここで、ＴｐＦＬ’、ＴｐＦＲ’、ＴｐＢＬ’、ＴｐＢＲ’は、又もや図３の通り図１０の外接側の四角形の頂点に対応する。ここで、四角形の辺毎に、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づく相関比較をこれまでにＮＨＫ−２２．２の構成に関して述べた手法で行なうことができ、そのため、以下の新たな式を除き、上述した信号と同じ信号が得られる。
【０１１８】
【数２８】
2016536856.tif 000030
【０１１９】
そして、ＴｐＦＬ＋０．５＊ＴｐＣとＴｐＢＲ＋０．５＊ＴｐＣ又はＴｐＦＲ＋０．５＊ＴｐＣとＴｐＢＬ＋０．５＊ＴｐＣ及び図３に関して近似的に得られた信号に関する信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づく相関比較において、隣接する相関比較から得られる近似的な信号に関して、差分η４−η３又はη２−η１或いはη１−η４又はη３−η２だけが、合計Δ１＋Δ２＋Δ３＋Δ４の平均値による残差修正後にこれらの新たな相関比較から得られる残差に直接影響すると言える。
【０１２０】
同じく以下のダウンミックスが得られる。
【０１２１】
【数２９】
2016536856.tif 000031
【０１２２】
ここで、次の式を考慮すると、
【０１２３】
【数３０】
2016536856.tif 000032
そのため、次の式を考慮すると、
【０１２４】
【数３１】
2016536856.tif 000033
本発明の開示と同じ考察により、以下の式が得られ、
【０１２５】
【数３２】
2016536856.tif 000034
これは、この場合、ＴｐＣの抽出を共通の残差に対応付けることができないことを単純に意味する。
【０１２６】
従って、そのようなダウンミックスは可能であるが、ＴｐＣの抽出に対応する残差を一緒に伝送しない場合には推奨されない。
【０１２７】
相関比較を用いたＴｐＣの近似的抽出の代替形態は、次のダウンミックスを提供し、
【０１２８】
【数３３】
2016536856.tif 000035
このダウンミックスでは、ＴｐＦＬ’とＴｐＦＲ’の間の信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づく相関比較に関して、（０．５＊ＴｐＦＣ＋０．５＊ＴｐＣ−２＊Δ１）を直接抽出した後、上述した形で残差修正を行なうことができる。
【０１２９】
実際には、ＴｐＦＣとＴｐＣの間のローカリゼーションは、音響心理学的に目的通り使用できる大きな曖昧さを伴う。
【０１３０】
ＴｐＣを抽出するための相関比較の代わりに、従来技術により周知の簡単なパニング又はデュアルパニングを用いて、正確又は近似的な信号（０．５＊ＴｐＦＣ＋０．５＊ＴｐＣ）のマッピング方向又はマッピング幅を調節して、その信号が元の信号と出来る限り同じ信号となるようにし、それにより元の信号と音響心理学的に比較可能な印象を生じさせている。従って、ＴｐＣを得るために、立体的な符号化又は信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づく相関比較の代わりに、簡単なパニング又はデュアルパニングのパラメータだけも伝送される。
【０１３１】
例えば、所謂逆符号化などの別の立体的な符号化及び復号化を適用する場合（上記を参照）、それらを上述した考察に直接統合することができる。
【０１３２】
例えば、ＴｐＦＣとＴｐＣは、有利には、更に、簡単なパニング又はデュアルパニングと組み合わせることができる、既に上述した通りの図９による逆符号化によって表現することができる。この結果は、音響心理学的な実情に応じて、的確で自然な聴取印象となる。
【０１３３】
ＴｐＦＬ’、ＴｐＦＲ’、ＴｐＢＬ’、ＴｐＢＲ’と、場合によっては、全ての残差Δ１、Δ２、Δ３、Δ４の平均値Δ（及び必要な場合、ＴｐＣを決定するために、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づく相関比較から得られる残差、或いはＴｐＣ信号自体も）とは、この目的のために（効率的な保存又は伝送を目的として）特別に調整（「チューニング」）できる基本オーティオコーデックに基づき（図６を参照、この例では、例えば、所謂逆符号化に基づく追加の立体的な符号化及び復号化も、或いは簡単なパニング又はデュアルパニングも行なうことができる）、例えば、エンコーダにおいて、圧縮することができるとともに、その後、例えば、デコーダにおいて、復元することができる。
【０１３４】
同様に、ここで述べたシステム全体は、既に基本オーティオ符号器で実現されたフーリエ変換を利用することができ、そのため、全体として必要な計算負荷を明らかに低減することができる。
５．ＮＨＫ−２２．２のＴｐＣを除くトップ層信号に関するエンコーダ及びデコーダの構成例（図７と１０〜１５を参照）
全体として、ここで述べる符号化に対応するパラメータ（図６を参照）は、例えば、エンコーダからデコーダに、ヘッダ情報、データパルス又は連続したデータフローとして伝送することができる。
【０１３５】
図１２〜１４は、ＮＨＫ−２２．２のＴｐＣを除くトップ層信号を符号化及び復号化するためのエンコーダ及びデコーダの実現可能な構成を図示している。
【０１３６】
この場合、図１２は、三つの隣り合う入力チャンネルｌｉ＊（ｔ）、ｃｉ＊（ｔ）及びｒｉ＊（ｔ）又は任意選択により別の入力チャンネルｃｉ１＊（ｔ）又は別の入力チャネルｃｉ２＊（ｔ）を供給されるエンコーダコンポーネントＥｉを図示している。これら三つの入力チャンネルから、次のダウンミックスが計算され、
【０１３７】
【数３４】
2016536856.tif 000036
場合によっては、ｃｉ１＊（ｔ）又はｃｉ２＊（ｔ）は、それぞれ最も近い、二つのダウンミックスチャンネルＬｉ’（ｔ）とＲｉ’（ｔ）を混合されないセンターチャンネル（従って、ＴｐＦＣ、ＴｐＳｉＲ、ＴｐＢＣ又はＴｐＳｉＬ）を表す。次に、二つのダウンミックスチャンネルＬｉ’（ｔ）とＲｉ’（ｔ）に関して、それぞれ高速フーリエ変換（ＦＦＴ）を実施する。これらは、一方でエンコーダコンポーネントの出力チャンネルを生み出し、他方でこれらのチャンネルに対して、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づく相関比較を適用する。同様に、入力チャンネルｃｉ＊（ｔ）に対して、高速フーリエ変換（ＦＦＴ）を実施する。ここで、以下の公式から、同じくエンコーダコンポーネントの出力信号である残差Δｉが決定される
【０１３８】
【数３５】
2016536856.tif 000037
（ここで述べるシステムは、例えば、図１４に応じて、別の入力信号を加えて、本発明の開示に基づき、次の公式によっても、残差Δｉを計算できるように、
【０１３９】
【数３６】
2016536856.tif 000038
修正することができる）。
【０１４０】
ここで、図１３は、エンコーダの全体構成を図示している。四つのエンコーダコンポーネントＥ１、Ｅ２、Ｅ３、Ｅ４は、以下の入力信号に割り当てられる。
【０１４１】
【数３７】
2016536856.tif 000039
【０１４２】
エンコーダコンポーネントＥ１は、出力信号Ｌ１’（ｋ）、Ｒ１’（ｋ）、Δ１（ｋ）を提供する。エンコーダコンポーネントＥ２は、出力信号Δ２（ｋ）を提供する。エンコーダコンポーネントＥ３は、出力信号Ｌ３’（ｋ）、Ｒ３’（ｋ）、Δ３（ｋ）を提供する。エンコーダコンポーネントＥ４は、出力信号Δ４（ｋ）を提供する。
【０１４３】
これらの出力信号Ｌ１’（ｋ）、Ｒ１’（ｋ）及びＬ３’（ｋ）、Ｒ３’（ｋ）が同時にエンコーダの出力信号を表す一方、最終的に、残差Δ１（ｋ）、Δ２（ｋ）、Δ３（ｋ）、Δ４（ｋ）の平均値Δ（ｋ）が計算される。この平均値は、同じくエンコーダの出力信号である。
【０１４４】
ここで、図１４は、デコーダの構成を図示している。
【０１４５】
このデコーダでは、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づく第一の相関比較が、左の入力信号Ｌ１’（ｋ）と右の入力信号Ｒ１’（ｋ）により行なわれて、Ｃ１（ｋ）だけが計算される。
【０１４６】
このデコーダでは、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づく第二の相関比較が、右の入力信号Ｒ１’（ｋ）と左の入力信号Ｌ３’（ｋ）により行なわれて、Ｃ２（ｋ）とＬ２（ｋ）の両方が計算される。
【０１４７】
このデコーダでは、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づく第三の相関比較が、左の入力信号Ｌ３’（ｋ）と右の入力信号Ｒ３’（ｋ）により行なわれて、Ｃ３（ｋ）とＬ３（ｋ）の両方が計算される。
【０１４８】
このデコーダでは、信号の実数部及び虚数部を得るためのルール（本発明の開示を参照）に基づく第四の相関比較が、右の入力信号Ｒ３’（ｋ）と左の入力信号Ｌ４’（ｋ）により行なわれて、Ｃ４（ｋ）、Ｌ４（ｋ）及びＲ４（ｋ）が計算される。
【０１４９】
ここで、周波数に依存する残差Δ（ｋ）に関する入力信号に基づき、以下の周波数に依存して規定されるチャンネルが計算される。
【０１５０】
【数３８】
2016536856.tif 000040
【０１５１】
ここで、これらの周波数に依存するチャンネルの各々に対して、逆高速フーリエ変換（ＩＦＦＴ）が適用される。
【０１５２】
それにより、デコーダに関して、エンコーダのほぼ同種の入力信号を表す以下の出力信号が個々に得られる。
【０１５３】
【数３９】
2016536856.tif 000041
【０１５４】
６．結論
ここで全体として示した原理は、アルゴリズム的に任意に拡張することが可能であり、そのため、全体として、例えば、エンコーダとデコーダの間における、効率的な保存又は伝送を目的として、ダウンミックスに基づき任意の次数のマルチ信号も、或いは非常に高い次数のマルチ信号も効率的に圧縮することを可能とする。
【０１５５】
請求項９〜４２は、二つの入力信号から少なくとも一つの共通信号、第一の個別信号及び第二の個別信号の中の一つ以上を決定するための請求項１〜８に記載の方法を使用している。それに代わって、請求項９〜４２において、二つの入力信号から少なくとも一つの共通信号、第一の個別信号及び第二の個別信号を決定するための別の方法をそれぞれ使用することもできる。
【０１５６】
更に、ここでは、一つのダウンミックス信号、複数の残差から平均化された残差、パニングパラメータセット及び逆符号化パラメータの中の一つ以上を用いたデータの保存形態及び／又は伝送形態（例えば、ファイル、別の記憶手段又は伝送手段）も開示している。
【０１５７】
ｎ個のチャンネルを有するマルチチャンネル信号は、又もやｎ−１（ｎ−１＞２）個のチャンネルを有する別のマルチチャンネル信号、ｎ−２（ｎ−２＞２）個のチャンネルを有する別のマルチチャンネル信号等を含むことができる。
【０１５８】
それと逆に、ｎ（ｎ＞２）個、ｎ−１（ｎ−１＞２）個又はｎ−２（ｎ−２＞２）個等のチャンネルを有するマルチチャンネル信号から、それより高い次数の別のマルチチャンネル信号を導き出すことができる。
【図１】
2016536856.tif 000042
【図２】
2016536856.tif 000043
【図３】
2016536856.tif 000044
【図４】
2016536856.tif 000045
【図５】
2016536856.tif 000046
【図６】
2016536856.tif 000047
【図７】
2016536856.tif 000048
【図８】
2016536856.tif 000049
【図９】
2016536856.tif 000050
【図１０】
2016536856.tif 000051
【図１１】
2016536856.tif 000052
【図１２】
2016536856.tif 000053
【図１３】
2016536856.tif 000054
【図１４】
2016536856.tif 000055
【図１５】
2016536856.tif 000056
【国際調査報告】
2016536856.tif 000057
2016536856.tif 000058
2016536856.tif 000059
2016536856.tif 000060