(57)【特許請求の範囲】
【請求項１】
多チャネルオーディオ信号（２１）をバイノーラル出力信号（２４）へとバイノーラル・レンダリングするための装置であって、前記多チャネルオーディオ信号（２１）は、複数のオーディオ信号（１４1〜１４N）がダウンミックスされてなるステレオダウンミックス信号（１８）とサイド情報（２０）とを含み、当該サイド情報（２０）は、各オーディオ信号について前記ステレオダウンミックス信号（１８）の第１のチャネル（Ｌ０）及び第２のチャネル（Ｒ０）へそれぞれ前記各オーディオ信号がどの程度ミックスされているかを示すダウンミックス情報（ＤＭＧ、ＤＣＬＤ）と、前記複数のオーディオ信号のオブジェクトレベル情報（ＯＬＤ）と、前記複数のオーディオ信号のオーディオ信号ペア間の類似度を記述するオブジェクト間相互相関情報（ＩＯＣ）とを含む、装置において、
前記オブジェクト間相互相関情報と、前記オブジェクトレベル情報と、前記ダウンミックス情報と、各オーディオ信号を仮想のスピーカ位置へと関連付けるレンダリング情報と、ＨＲＴＦパラメータとに依存する第１のレンダリング指示（Ｇl,m）に基づいて、前記ステレオダウンミックス信号（１８）の第１及び第２のチャネルから仮バイノーラル信号（５４）を計算する手段（４７）と、
前記ステレオダウンミックス信号（１８）の第１及び第２のチャネルのモノラルダウンミックス（５８）の知覚的同等物であるが、当該モノラルダウンミックス（５８）に対してデコリレートされたデコリレート信号（Ｘdn,k）を生成する手段（５０）と、
前記オブジェクト間相互相関情報と、前記オブジェクトレベル情報と、前記ダウンミックス情報と、前記レンダリング情報と、前記ＨＲＴＦパラメータとに依存する第２のレンダリング指示（Ｐ2l,m）に基づいて、前記デコリレート信号（６２）から補正バイノーラル信号（６４）を計算する手段（５２）と、
前記仮バイノーラル信号（５４）と前記補正バイノーラル信号（６４）とをミックスして前記バイノーラル出力信号（２４）を得る手段（５３）と、
を備えた装置。
【請求項２】
前記デコリレート信号（Ｘdn,k）の生成において、前記ステレオダウンミックス信号（１８）の第１及び第２のチャネルを合計し、この合計をデコリレートして前記デコリレート信号（６２）を得ることを特徴とする、請求項１に記載の装置。
【請求項３】
前記仮バイノーラル信号（５４）の実際のバイノーラルチャネル間コヒーレンス値を推定する手段（８０）と、
目標バイノーラルチャネル間コヒーレンス値を決定する手段（８２）と、
前記仮バイノーラル信号（５４）の計算（４７）によって処理されたとおりの前記ステレオダウンミックス信号（１８）の第１及び第２のチャネルと、前記デコリレート信号の生成（５０）及び前記補正バイノーラル信号（６４）の計算（５２）によって処理されたとおりの前記ステレオダウンミックス信号（１８）の第１及び第２のチャネルとが、それぞれ前記バイノーラル出力信号（２４）に対してどの程度影響を与えるかを決定するミキシング比を、前記実際のバイノーラルチャネル間コヒーレンス値と前記目標バイノーラルチャネル間コヒーレンス値とに基づいて設定する手段（８４）と、を有することを特徴とする請求項１又は２に記載の装置。
【請求項４】
前記ミキシング比の設定において、前記実際のバイノーラルチャネル間コヒーレンス値と前記目標バイノーラルチャネル間コヒーレンス値とに基づいて、前記第１のレンダリング指示（Ｇl,m）及び前記第２のレンダリング指示（Ｐ2l,m）を設定することによって前記ミキシング比を設定することを特徴とする、請求項３に記載の装置。
【請求項５】
前記目標バイノーラルチャネル間コヒーレンス値の決定において、目標共分散行列Ｆ＝ＡＥＡ*の成分に基づいて該決定を実行するようにさらに構成されており、「＊」が共役転置を指し、Ａは、前記オーディオ信号を前記バイノーラル出力信号の第１及び第２のチャネルのそれぞれに関連付ける目標バイノーラル・レンダリング行列であって、前記レンダリング情報及び前記ＨＲＴＦパラメータによって一意に決定され、Ｅは、前記オブジェクト間相互相関情報及び前記オブジェクトレベル情報によって一意に決定される行列である請求項３又は４に記載の装置。
【請求項６】
請求項５に記載の装置であって、
当該装置は前記仮バイノーラル信号（５４）の計算において、
0005255702.tif 000054
を用いて計算を実行し、ここでＸは前記ステレオダウンミックス信号（１８）の第１及び第２のチャネルに対応する成分を有する２×１のベクトルであり、
0005255702.tif 000055
は前記仮バイノーラル信号（５４）の第１及び第２のチャネルに対応する成分を有する２×１のベクトルであり、Ｇは前記第１のレンダリング指示を表わす第１のレンダリング行列であって、２×２のサイズを有し、
0005255702.tif 000056
であり、ｘ∈｛１，２｝のとき、
0005255702.tif 000057
であり、ここでf11x, f12x及びf22xは２×２のサイズである部分目標共分散行列Ｆxの係数であって、
Ｆx＝ＡＥxＡ*
であり、ここで、
0005255702.tif 000058
はＮ×Ｎの行列Ｅxの係数であり、Ｎはオーディオ信号の数であり、ｅijはサイズがＮ×Ｎである行列Ｅの係数であり、ｄixは前記ダウンミックス情報によって一意に決定され、ｄilはオーディオ信号ｉの前記ステレオダウンミックス信号（１８）の第１のチャネルへのミキシングの程度を示し、ｄi2はオーディオ信号ｉの前記ステレオダウンミックス信号（１８）の第２のチャネルへのミキシングの程度を示し、
Ｖxはスカラーであって、
Ｖx ＝ＤxＥ（Ｄx）*＋ε
であり、Ｄxはｄixを係数として有する１×Ｎの行列であり、
さらに、当該装置は前記補正バイノーラル出力信号（６４）の計算において、
0005255702.tif 000059
を用いて計算を実行し、Ｘdは前記デコリレート信号であり、
0005255702.tif 000060
は前記補正バイノーラル信号（６４）の第１及び第２のチャネルに対応する成分を有する２×１のベクトルであり、Ｐ2は前記第２のレンダリング指示を表わす第２のレンダリング行列であって、２×１のサイズを有し、
0005255702.tif 000061
であり、ゲインＰL及びＰRは
0005255702.tif 000062
として定められ、ここで、ｃ11及びｃ22は前記仮バイノーラル信号（５４）の２×２の共分散行列Ｃの係数であって、
0005255702.tif 000063
であり、Ｖはスカラーであって、
Ｖ＝ＷＥＷ*＋εであり、Ｗはｄixによって一意に決定される係数を有する１×Ｎのサイズのモノラルダウンミックス行列であり、
0005255702.tif 000064
さらに、当該装置は前記実際のバイノーラルチャネル間コヒーレンス値の推定において、当該実際のバイノーラルチャネル間コヒーレンス値を
0005255702.tif 000065
として決定し、
さらに、当該装置は前記目標バイノーラルチャネル間コヒーレンス値の決定において、当該目標バイノーラルチャネル間コヒーレンス値を
0005255702.tif 000066
として決定し、
さらに、当該装置は前記ミキシング比の設定において、
0005255702.tif 000067
に従って回転子角度α及びβを決定し、εはゼロによる除算を回避するための小さな定数である、ことを特徴とする装置。
【請求項７】
請求項１に記載の装置であって、
当該装置は前記仮バイノーラル信号（５４）の計算において、
0005255702.tif 000068
を用いて計算を実行し、ここでＸは前記ステレオダウンミックス信号（１８）の第１及び第２のチャネルに対応する成分を有する２×１のベクトルであり、
0005255702.tif 000069
は前記仮バイノーラル信号（５４）の第１及び第２のチャネルに対応する成分を有する２×１のベクトルであり、Ｇは前記第１のレンダリング指示を表わす第１のレンダリング行列であって、２×２のサイズを有し、
0005255702.tif 000070
であり、Ｅは前記オブジェクト間相互相関情報及び前記オブジェクトレベル情報によって一意に決定される行列であり、Ｄは前記ダウンミックス情報によって一意に決定される係数ｄijを有する２×Ｎの行列であって、ｄ1jはオーディオ信号ｊの前記ステレオダウンミックス信号（１８）の第１のチャネルへのミキシングの程度を示し、ｄ2jはオーディオ信号ｊの前記ステレオダウンミックス信号（１８）の第２のチャネルへのミキシングの程度を定義しており、
Ａは前記オーディオ信号を前記バイノーラル出力信号の第１及び第２のチャネルのそれぞれへと関連付ける目標バイノーラル・レンダリング行列であって、前記レンダリング情報及び前記ＨＲＴＦパラメータによって一意に決定され、
さらに、当該装置は前記補正バイノーラル出力信号（６４）の計算において、
0005255702.tif 000071
を用いて計算を実行し、
ここで、Ｘdは前記デコリレート信号であり、
0005255702.tif 000072
は前記補正バイノーラル信号（６４）の第１及び第２のチャネルに対応する成分を有する２×１のベクトルであり、Ｐは前記第２のレンダリング指示を表わす第２のレンダリング行列であって、２×２のサイズを有し、
ＰＰ*＝ΔＲ
であって、
ΔＲ＝ＡＥＡ*−Ｇ0ＤＥＤ*Ｇ0*かつＧ0＝Ｇ
であるように決定されることを特徴とする装置。
【請求項８】
請求項１に記載の装置であって、
当該装置は前記仮バイノーラル信号（５４）の計算において、
0005255702.tif 000073
を用いて計算を実行し、ここでＸは前記ステレオダウンミックス信号（１８）の第１及び第２のチャネルに対応する成分を有する２×１のベクトルであり、
0005255702.tif 000074
は前記仮バイノーラル信号（５４）の第１及び第２のチャネルに対応する成分を有する２×１のベクトルであり、Ｇは前記第１のレンダリング指示を表わす第１のレンダリング行列であって、２×２のサイズを有し、
Ｇ＝(G0DED*G0*)-1(G0 DED*G0* AEA* G0DED*G0*)1/2(G0 DED*G0*)-1 G0
であって、
G0=AED*(DED*)-1
であり、ここで、Ｅは前記オブジェクト間相互相関情報及び前記オブジェクトレベル情報によって一意に決定される行列であり、Ｄは前記ダウンミックス情報によって一意に決定される係数ｄijを有する２×Ｎの行列であって、ｄ1jはオーディオ信号ｊの前記ステレオダウンミックス信号（１８）の第１のチャネルへのミキシングの程度を示し、ｄ2jはオーディオ信号ｊの前記ステレオダウンミックス信号（１８）の第２のチャネルへのミキシングの程度を定義しており、
Ａは前記オーディオ信号を前記バイノーラル出力信号の第１及び第２のチャネルのそれぞれへと関連付ける目標バイノーラル・レンダリング行列であって、前記レンダリング情報及び前記ＨＲＴＦパラメータによって一意に決定され、
さらに、当該装置は、補正バイノーラル出力信号（６４）の計算において、
0005255702.tif 000075
を用いて計算を実行し、ここでＸdは前記デコリレート信号であり、
0005255702.tif 000076
は前記補正バイノーラル信号（６４）の第１及び第２のチャネルに対応する成分を有する２×１のベクトルであり、Ｐは前記第２のレンダリング指示を表わす第２のレンダリング行列であって、２×２のサイズを有し、
ＰＰ*＝（ＡＥＡ*−ＧＤＥＤ*Ｇ*）／Ｖ
であるように決定され、Ｖはスカラーであることを特徴とする、装置。
【請求項９】
前記ダウンミックス情報（ＤＭＧ、ＤＣＬＤ）は時間依存性であり、前記オブジェクトレベル情報（ＯＬＤ）及び前記オブジェクト間相互相関情報（ＩＯＣ）は時間及び周波数依存性であることを特徴とする、請求項１〜８のいずれか一項に記載の装置。
【請求項１０】
多チャネルオーディオ信号（２１）をバイノーラル出力信号（２４）へとバイノーラル・レンダリングするための方法であって、前記多チャネルオーディオ信号（２１）は、複数のオーディオ信号（１４1〜１４N）がダウンミックスされてなるステレオダウンミックス信号（１８）とサイド情報（２０）とを含み、当該サイド情報（２０）は、各オーディオ信号について前記ステレオダウンミックス信号（１８）の第１のチャネル（Ｌ０）及び第２のチャネル（Ｒ０）のそれぞれへ前記各オーディオ信号がどの程度ミックスされているかを示すダウンミックス情報（ＤＭＧ、ＤＣＬＤ）と、前記複数のオーディオ信号のオブジェクトレベル情報（ＯＬＤ）と、前記複数のオーディオ信号のオーディオ信号ペア間の類似度を記述するオブジェクト間相互相関情報（ＩＯＣ）とを含む、方法において、
前記オブジェクト間相互相関情報と、前記オブジェクトレベル情報と、前記ダウンミックス情報と、各オーディオ信号を仮想のスピーカ位置へと関連付けるレンダリング情報と、ＨＲＴＦパラメータとに依存する第１のレンダリング指示（Ｇl,m）に基づいて、前記ステレオダウンミックス信号（１８）の第１及び第２のチャネルから仮バイノーラル信号（５４）を計算（４７）するステップと、
前記ステレオダウンミックス信号（１８）の第１及び第２のチャネルのモノラルダウンミックス（５８）の知覚的同等物であるが、当該モノラルダウンミックス（５８）に対してデコリレートされたデコリレート信号（Ｘdn,k）を生成（５０）するステップと、
前記オブジェクト間相互相関情報と、前記オブジェクトレベル情報と、前記ダウンミックス情報と、前記レンダリング情報と、前記ＨＲＴＦパラメータとに依存する第２のレンダリング指示（Ｐ2l,m）に依存して、前記デコリレート信号（６２）から補正バイノーラル信号（６４）を計算（５２）するステップと、
前記仮バイノーラル信号（５４）と前記補正バイノーラル信号（６４）とをミックス（５３）して前記バイノーラル出力信号（２４）を得るステップと、
を含む方法。
【請求項１１】
コンピュータ上で動作するときに請求項１０に記載の方法を実行するための指令を有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多チャネルオーディオ信号のバイノーラル・レンダリングに関する。
【背景技術】
【０００２】
多数のオーディオ符号化アルゴリズムが、１つのチャネルのオーディオデータ、すなわちモノラルのオーディオ信号を、効果的に符号化又は圧縮するために提案されている。心理音響学を使用し、例えばＰＣＭ符号化されたオーディオ信号から非関連性(irrelevancy)を取り除くために、オーディオサンプルが適切にスケーリングされ、量子化され、あるいはゼロに設定される。冗長性の除去も実行される。
【０００３】
さらなる段階として、ステレオオーディオ信号の左右のチャネルの間の類似度が、ステレオオーディオ信号を効果的に符号化／圧縮するために利用されている。
【０００４】
将来のアプリケーションは、オーディオ符号化アルゴリズムにさらなる要求を課す。例えば、テレビ会議、コンピュータゲーム、音楽演奏などにおいて、部分的に非相関であり、あるいは完全に非相関であるいくつかのオーディオ信号を、並列に送信しなければならない。低いビットレートの送信の用途に適合するよう、これらのオーディオ信号の符号化に必要なビットレートを充分に低く保つために、最近では、複数の入力オーディオ信号を、ステレオ又はモノラルダウンミックス信号などのダウンミックス信号へとダウンミックスするオーディオコーデックが提案されている。例えば、ＭＰＥＧサラウンド規格は、入力チャネルを、この規格によって定められた方法で、ダウンミックス信号へとダウンミックスする。ダウンミックスは、それぞれ２つの信号を１つにダウンミックスし、３つの信号を２つにダウンミックするためのいわゆるＯＴＴ-1及びＴＴＴ-1ボックスを使用することによって実行される。４つ以上の信号をダウンミックスするために、これらのボックスの階層構造が使用される。各々のＯＴＴ-1ボックスは、モノラルダウンミックス信号の他に、２つの入力チャネル間のチャネルのレベル差、ならびに２つの入力チャネル間のコヒーレンス又は相互相関(cross-correlation)を表わすチャネル間コヒーレンス／相互相関パラメータを出力する。パラメータが、ＭＰＥＧサラウンド・データ・ストリームにおいてＭＰＥＧサラウンド符号器のダウンミックス信号と一緒に出力される。同様に、各々のＴＴＴ-1ボックスは、得られたステレオダウンミックス信号からの３つの入力チャネルの復元を可能にするチャネル予測係数を送信する。チャネル予測係数も、サイド情報としてＭＰＥＧサラウンド・データ・ストリームにおいて送信される。ＭＰＥＧサラウンド復号器が、送信されたサイド情報を使用することによってダウンミックス信号をアップミックスし、ＭＰＥＧサラウンド符号器へと入力された元のチャネルを復元する。
【０００５】
しかしながら、ＭＰＥＧサラウンドは、残念ながら、多数のアプリケーションにおいて課される総ての要件を満足するわけではない。例えば、ＭＰＥＧサラウンド復号器は、ＭＰＥＧサラウンド符号器の入力チャネルがそのまま復元されるように、ＭＰＥＧサラウンド符号器のダウンミックス信号のアップミキシング専用である。換言すると、ＭＰＥＧサラウンド・データ・ストリームは、符号化に適用されたスピーカの構成又はステレオなどの典型的な構成を用いた再生に専用である。
【０００６】
いくつかのアプリケーションによれば、スピーカの構成を復号器の側で自由に変更できれば、好都合であると考えられる。
【０００７】
この後者のニーズに対応するために、空間オーディオオブジェクト符号化（ＳＡＯＣ）規格が現在設計されている。各チャネルが個々のオブジェクトとして処理され、全てのオブジェクトがダウンミックス信号へとダウンミックスされる。すなわち、オブジェクトが、いかなる特定のスピーカの構成にも固執することなく、（仮想の）スピーカを復号器の側で任意に配置できる互いに別個独立なオーディオ信号として取り扱われる。個々のオブジェクトは、例えば楽器又はボーカルトラックとして個々の音源を含むことができる。ＭＰＥＧサラウンド復号器と異なり、ＳＡＯＣ復号器は、個々のオブジェクトを任意のスピーカの構成へと再生するために、ダウンミックス信号を個別にアップミックすることができる。ＳＡＯＣ復号器がＳＡＯＣデータストリームへと符号化された個々のオブジェクトを復元できるようにするために、ＳＡＯＣビットストリームにおけるサイド情報として、オブジェクトのレベル差が送信され、ステレオ信号（又は多チャネル信号）を形成しているオブジェクトについて、オブジェクト間の相互相関パラメータが送信される。この他に、ＳＡＯＣ復号器／トランスコーダには、個々のオブジェクトがどのような方法でダウンミックス信号へとダウンミックスされたのかを明示する情報が供給される。このようにして、復号器の側において個々のＳＡＯＣチャネルを復元し、これらの信号を、ユーザ制御のレンダリング情報を利用することによって、任意のスピーカの構成へとレンダリングすることが可能となっている。
【０００８】
上述のコーデック、すなわちＭＰＥＧサラウンド及びＳＡＯＣは、多チャネルのオーディオコンテンツを伝送し、３個以上のスピーカを有するスピーカの構成へとレンダリングすることができるが、オーディオ再生システムとしてのヘッドホンへの関心の高まりゆえに、これらのコーデックが更にオーディオコンテンツをヘッドホンへレンダリング出来るようにする必要が生じている。スピーカでの再生と対照的に、ヘッドホンにおいて再生されるステレオ・オーディオ・コンテンツは、頭部の内側で知覚される。所定の物理的な位置に位置する音源から鼓膜までの音響経路の影響が存在しないため、音源について知覚される方位角、仰角、及び距離を決定するキューが、本質的に欠け、あるいはきわめて不正確であり、結果として空間像が不自然に聞こえるようになる。従って、ヘッドホンにおいて音源の定位キューが不正確であり、あるいは存在しないことによって生じる不自然な音像の定位を解決するために、さまざまな技法が、仮想のスピーカの構成を模擬するために提案されている。その考え方は、音源の定位キューを各々のスピーカ信号に付加することにある。これは、オーディオ信号をいわゆる頭部伝達関数（ＨＲＴＦs）又は両耳室内インパルス応答（ＢＲＩＲs）（これらの測定データに室内の音響特性が含まれる場合）によってフィルタ処理することによって達成される。しかしながら、各々のスピーカ信号を上述の関数でフィルタ処理することは、復号器／再現側においてかなり大量の演算能力を必要とすると考えられる。特に、多チャネルのオーディオ信号の「仮想」のスピーカ位置へのレンダリングを、最初に実行しなければならないと考えられ、次いで、そのようにして得られた各々のスピーカ信号が、それぞれの伝達関数又はインパルス応答でフィルタ処理され、バイノーラル出力信号の左右のチャネルが得られる。さらに不都合なことには、仮想のスピーカ信号を得るために、元々は非相関であるオーディオ入力信号の間の相関（複数のオーディオ入力信号をダウンミックス信号へとダウンミックスすることに起因する）を補償すべく、比較的大量の合成デコリレーション信号(synthetic decorrelation signal)をアップミックス信号へとミックスしなければならないと考えられるため、上述の方法で得られたバイノーラル出力信号のオーディオ品質が低くなると考えられる。
【０００９】
ＳＡＯＣコーデックの現在のバージョンにおいては、サイド情報に含まれるＳＡＯＣパラメータが、原理的にはヘッドホンを含む任意の再生の構成を用いたオーディオオブジェクトのユーザインタラクティブな空間レンダリングを可能にしている。ヘッドホンへのバイノーラル・レンダリングが、頭部伝達関数（ＨＲＴＦ）パラメータを使用することで３次元空間における仮想のオブジェクト位置の空間制御を可能にする。例えば、上記事例を入力信号が一様にモノラルチャネルへとミックスされるモノラルダウンミックスＳＡＯＣの事例に限定した場合には、ＳＡＯＣにおけるバイノーラル・レンダリングを実現することができるであろう。残念ながらモノラルダウンミックスはすべてのオーディオ信号を１つの共通のモノラルダウンミックス信号へとミックスする必要があるので、結果として元のオーディオ信号の間の元の相関特性が最大限に失われ、従ってバイノーラル・レンダリング出力信号のレンダリング品質が最適でなくなる。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】ISO/IEC JTC 1/SC 29/WG 11 (MPEG), Document N10045, "ISO/IEC CD 23003-2:200x Spatial Audio Object Coding (SAOC)", 85th MPEG Meeting, July 2008, Hannover, Germany
【非特許文献２】EBU Technical recommendation: "MUSHRA-EBU Method for Subjective Listening Tests of Intermediate Audio Quality", Doc. B/AIM022, October 1999
【非特許文献３】ISO/IEC 23003-1:2007, Information technology _ MPEG audio technologies _ Part 1: MPEG Surround
【非特許文献４】ISO/IEC JTC1/SC29/WG11 (MPEG), Document N9099: "Final Spatial Audio Object Coding Evaluation Procedures and Criterion". April 2007, San Jose, USA
【非特許文献５】Jeroen, Breebaart, Christof Faller: Spatial Audio Processing. MPEG Surround and Other Applications. Wiley & Sons, 2007
【非特許文献６】Jeroen, Breebaart et al.: Multi-Channel goes Mobile: MPEG Surround Binaural Rendering. AES 29th International Conference, Seoul, Korea, 2006
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従って、本発明の目的は、多チャネルオーディオ信号のバイノーラル・レンダリングを、元のオーディオ信号からダウンミックス信号を構成する自由度を制限することなく、バイノーラル・レンダリング結果が改善されるように行うための仕組みを提供することにある。
【００１２】
この目的は、請求項１に記載の装置及び請求項１０に記載の方法によって達成される。
【００１３】
本発明の基礎をなす基本的考え方の１つは、多チャネルオーディオ信号のバイノーラル・レンダリングをステレオダウンミックス信号から始める方が、多チャネルオーディオ信号のバイノーラル・レンダリングをそのモノラルダウンミックス信号から始めることよりも好都合であることにある。その理由として、ステレオダウンミックス信号の個々のチャネルには少数のオブジェクトしか存在しないという事実ゆえ、個々のオーディオ信号の間のデコリレーション（decorrelation）の量がより良好に保存される点、及び符号器の側においてステレオダウンミックス信号の２つのチャネルの間で選択を行う可能性により、異なるダウンミックスチャネルのオーディオ信号の間の相関特性が部分的に保存され得る点が挙げられる。換言すると、符号器のダウンミックスに起因してオブジェクト間コヒーレンスが低下するという問題点については、バイノーラル出力信号のチャネル間コヒーレンスが仮想音源幅の知覚の重要な手段となる復号化側において考慮しなければならないが、モノラルダウンミックスの代わりにステレオダウンミックスを使用することでその低下量が抑制されるので、結果的に、ステレオダウンミックス信号のバイノーラル・レンダリングによる適切量のチャネル間コヒーレンスの復元／生成が、より良好な品質を達成する。
【００１４】
本発明のさらなる主要な考え方は、上述のＩＣＣ（ＩＣＣ＝チャネル間コヒーレンス）制御を、ステレオダウンミックス信号のダウンミックスチャネルのモノラルダウンミックスの知覚的同等物であって、モノラルダウンミックスに対してデコリレートされたデコリレート信号(decorrelated signal)によって、達成できる点にある。すなわち、モノラルダウンミックス信号の代わりにステレオダウンミックス信号を使用することで、モノラルダウンミックス信号を使用したならば失われたであろうと考えられる複数のオーディオ信号の相関特性の一部が保存される一方で、バイノーラル・レンダリングが、第１及び第２のダウンミックスチャネルの両方を表現するデコリレート相関信号に基づくことができ、各ステレオ・ダウンミックス・チャネルを別々にデコリレートすることに比べて、デコリレーション又は合成信号処理の回数を削減できる。
【図面の簡単な説明】
【００１５】
図面を参照し、本発明の好ましい実施の形態を、さらに詳しく説明する。
【図１】本発明の実施の形態を実現することができるＳＡＯＣ符号器／復号器の構成のブロック図を示している。
【図２】モノラルオーディオ信号のスペクトル表現の例示の概略図を示している。
【図３】本発明の実施の形態によるバイノーラル・レンダリングが可能なオーディオ復号器のブロック図を示している。
【図４】本発明の実施の形態による図３のダウンミックス前処理ブロックのブロック図を示している。
【図５】第１の代案による図３のＳＡＯＣパラメータ処理ユニット４２によって実行されるステップのフローチャートを示している。
【図６】聞き取り試験の結果を示すグラフを示している。
【発明を実施するための形態】
【００１６】
本発明の実施の形態を詳述する前に、後述の具体的な実施の形態の理解を容易にする目的で、ＳＡＯＣコーデック及びＳＡＯＣビットストリームにおいて送信されるＳＡＯＣパラメータについて説明する。
【００１７】
図１は、ＳＡＯＣ符号器１０及びＳＡＯＣ復号器１２の全体的な構成を示している。ＳＡＯＣ符号器１０は、Ｎ個のオブジェクト、すなわちオーディオ信号１４1〜１４Nを入力として受信する。即ち、符号器１０は、オーディオ信号１４1〜１４Nを受信してダウンミックス信号１８へとダウンミックスするダウンミキサ１６を備えている。図１においては、ダウンミックス信号が例示的にステレオダウンミックス信号として示されている。符号器１０及び復号器１２はモノラルモードで動作可能であってもよく、その場合には、ダウンミックス信号はモノラルダウンミックス信号であると考えられる。しかしながら、以下の説明では、ステレオダウンミックス信号に焦点を当てて説明する。ステレオダウンミックス信号１８の各チャネルが、Ｌ０及びＲ０と称されている。
【００１８】
ＳＡＯＣ復号器１２が個々のオブジェクト１４1〜１４Nを復元できるように、ダウンミキサ１６は、ＳＡＯＣ復号器１２に、オブジェクトレベル差（ＯＬＤ）、オブジェクト間相互相関パラメータ（ＩＯＣ）、ダウンミックスゲイン値（ＤＭＧ）、及びダウンミックス・チャネル・レベル差（ＤＣＬＤ）などのＳＡＯＣパラメータを含むサイド情報２０を供給する。ＳＡＯＣパラメータを含むサイド情報２０が、ダウンミックス信号１８とともに、ＳＡＯＣ復号器１２によって受信されるＳＡＯＣ出力データストリーム２１を形成する。
【００１９】
ＳＡＯＣ復号器１２は、オーディオ信号１４1〜１４Nを復元して、ユーザによって選択される任意のチャネルセット２４1〜２４M'へとレンダリングするために、ダウンミックス信号１８及びサイド情報２０を受信するアップミキサ２２を備えており、レンダリングは、ＳＡＯＣ復号器１２へと入力されるレンダリング情報２６ならびにＨＲＴＦパラメータ２７（その意味については、後でさらに詳しく説明する）によって指示される。以下の説明は、Ｍ'＝２であって、出力信号が特にヘッドホンでの再生専用であるバイノーラル・レンダリングに焦点を当てるが、復号器１２は、ユーザ入力２６における指令に応じて、他の（バイノーラルでない）スピーカの構成へのレンダリングを実行可能であってもよい。
【００２０】
オーディオ信号１４1〜１４Nは、例えば時間ドメイン又はスペクトルドメインなどの任意の符号化ドメインにおいてダウンミキサ１６へと入力されても良い。オーディオ信号１４1〜１４NがＰＣＭ符号化のような時間ドメインでダウンミキサ１６へと供給される場合には、ダウンミキサ１６は、ハイブリッドＱＭＦバンク（例えば、周波数分解能を高めるために最低の周波数帯のためのナイキストフィルタ拡張を有している複素指数変調フィルタのバンク）などのフィルタバンクを使用する。その目的は、オーディオ信号が特定のフィルタバンク分解能において、異なるスペクトル部分に関連付けられたいくつかのサブバンドによって表現されるように、そのオーディオ信号をスペクトルドメインへと変換するためである。オーディオ信号１４1〜１４Nが、既にダウンミキサ１６によって期待される表現である場合には、ダウンミキサがスペクトル分解を実行する必要はない。
【００２１】
図２は、上述のスペクトルドメインのオーディオ信号を示している。図２から明らかなように、オーディオ信号は複数のサブバンド信号として表わされている。各々のサブバンド信号３０1〜３０Pが、小さなボックス３２によって示されているサブバンド値のシーケンスで構成されている。図示するように、サブバンド信号３０1〜３０Pのサブバンド値３２は、連続するフィルタバンク時間スロット３４の各々において、各サブバンド３０1〜３０Pが正確に１つのサブバンド値３２を含むよう、時間において互いに同期されている。周波数軸３５によって示される通り、サブバンド信号３０1〜３０Pは異なる周波数領域に関係しており、時間軸３７によって示される通り、フィルタバンク時間スロット３４は時間において連続的に配置されている。
【００２２】
上述の概説の通り、ダウンミキサ１６は、入力オーディオ信号１４1〜１４NからＳＡＯＣパラメータを計算する。ダウンミキサ１６は、この計算をある時間／周波数分解能にて実行し、その分解能は、フィルタバンク時間スロット３４及びサブバンド分解による決定に従い、元の時間／周波数分解能に比べてある特定の量だけ低減されても良い。この特定の量は、それぞれシンタックス要素 bsFrameLength 及び bsFreqRes によってサイド情報２０によって復号器の側へと信号送信されても良い。例えば、連続するフィルタバンク時間スロット３４からなるグループが、それぞれのフレーム３６を形成することができる。換言すると、オーディオ信号は、例えば時間においてオアーバーラップし又は直接隣接するフレームへと分割されてもよい。この場合、bsFrameLength は、フレームごとのパラメータ時間スロット３８の数、すなわちＯＬＤ及びＩＯＣなどのＳＡＯＣパラメータがＳＡＯＣフレーム３６において計算される時間単位を定義しても良く、bsFreqRes は、ＳＡＯＣパラメータが計算される処理周波数帯の数を定義してもよく、その帯域とは、周波数ドメインを分割して得られ、かつＳＡＯＣパラメータの決定及び送信が行われる帯域である。この手段によって、各々のフレームが図２に破線３９によって例示されている時間／周波数タイルへと分割される。
【００２３】
ダウンミキサ１６は、以下の式に従ってＳＡＯＣパラメータを計算する。詳しくは、ダウンミキサ１６は、各オブジェクトｉについてのオブジェクトレベル差を、
0005255702.tif 000002
として計算し、ここで上記和及び指数ｎ，ｋはそれぞれ、ある時間／周波数タイル３９に属する全てのフィルタバンク時間スロット３４及びフィルタ・バンク・サブバンド３０を含む。これにより、あるオーディオ信号又はオブジェクトｉの全てのサブバンド値ｘiのエネルギーが合計され、全てのオブジェクト又はオーディオ信号のうちのそのタイルの最大のエネルギー値へと正規化される。
【００２４】
さらに、ＳＡＯＣダウンミキサ１６は、異なる入力オブジェクト１４1〜１４Nのペアについて、対応する時間／周波数タイルの類似度を計算することができる。ＳＡＯＣダウンミキサ１６は、入力オブジェクト１４1〜１４Nの全ペア間の類似度を計算しても良いが、そのダウンミキサ１６は、上記類似度の信号化を抑制してもよいし、又は１つの共通するステレオチャネルの左又は右チャネルを形成するオーディオオブジェクト１４1〜１４Nに対する類似度の計算を制限しても良い。いずれの場合も、類似度はオブジェクト間相互相関パラメータＩＯＣi,jと称される。その計算は、以下の通りであり、
0005255702.tif 000003
指数ｎ，ｋは所定の時間／周波数タイル３９に属する全てのサブバンド値を含み、ｉ，ｊはオーディオオブジェクト１４1〜１４Nの所定のペアを指している。
【００２５】
ダウンミキサ１６は、各々のオブジェクト１４1〜１４Nへと適用されるゲイン係数を使用して、オブジェクト１４1〜１４Nをダウンミックスする。
【００２６】
図１に例示されたステレオダウンミックス信号の場合には、ゲイン係数Ｄ1,iがオブジェクトｉへと適用され、次いで、そのようなゲインで増幅された全てのオブジェクトが合計されて、左ダウンミックスチャネルＬ０が得られ、ゲイン係数Ｄ2,iがオブジェクトｉへと適用され、次いで、ゲインで増幅されたオブジェクトが合計されて、右ダウンミックスチャネルＲ０が得られる。このように、係数Ｄ1,i及びＤ2,iが、以下のように、サイズが２×Ｎのダウンミックス行列Ｄを形成する。
0005255702.tif 000004
【００２７】
このダウンミックスの指示が、ダウンミックス・ゲインＤＭＧiと、ステレオダウンミックス信号の場合のダウンミックス・チャネル・レベル差ＤＣＬＤiとによって、復号器側へと伝えられる。
【００２８】
ダウンミックス・ゲインは、
0005255702.tif 000005
,
に従って計算され、ここでεは１０-9又は最大の信号入力を９６ｄＢ下回る数など、小さい数である。
【００２９】
ＤＣＬＤsについては、以下の式が当てはまる。
0005255702.tif 000006
【００３０】
ダウンミキサ１６は、下記に従ってステレオダウンミックス信号を生成する。
0005255702.tif 000007
【００３１】
上述の式において、パラメータＯＬＤ及びＩＯＣはオーディオ信号の関数であり、パラメータＤＭＧ及びＤＣＬＤはＤの関数である。なお、Ｄが時間と共に変化してもよいことに注意すべきである。
【００３２】
バイノーラル・レンダリング（その復号器の動作の態様がここで説明される）の場合には、出力信号が当然ながら２つのチャネルを含んでおり、すなわちＭ'＝２である。一方、上述のレンダリング情報２６は、入力信号１４1〜１４Nを仮想のスピーカ位置１〜Ｍへと分配する方法を示しており、ここでＭは２よりも大きくてよい。このレンダリング情報は、以下の式のように、入力オブジェクトｏｂｊi（ｉは、１〜Ｎの間であり、１及びＮを含む）を仮想スピーカ位置ｊ（ｊは１〜Ｍの間であり、１及びＭを含む）へと分配して仮想のスピーカ信号ｖｓjを得る方法を示す、レンダリング行列Ｍを含むことができる。
0005255702.tif 000008
【００３３】
レンダリング情報は、ユーザにより任意の方法で供給又は入力することができる。レンダリング情報２６を、ＳＡＯＣストリーム２１自体のサイド情報に含ませることさえ可能かもしれない。当然ながら、レンダリング情報は、時間と共に変化してもよい。例えば、時間分解能がフレーム分解能に等しくてもよく、すなわち、Ｍをフレーム３６ごとに定義することができる。周波数によってＭが変化することも可能である。例えば、Ｍを各タイル３９について定義することができる。以下では、例えばＭを指すためにＭrenl,mが使用され、ｍは周波数帯を指し、ｌはパラメータ時間スライス３８を指している。
【００３４】
最後に、ＨＲＴＦ２７について説明する。これらのＨＲＴＦは、バイノーラルキューが保存されるように、仮想のスピーカ信号ｊをどのように左右の耳のそれぞれへとレンダリングすべきかを記述する。換言すると、仮想のスピーカ位置ｊの各々について、２つのＨＲＴＦが存在し、すなわち左耳用の一方と、右耳用の他方とが存在する。さらに詳しく後述されるように、仮想のスピーカ位置ｊの各々について、同じ音源ｊから生じて両耳によって受信される信号の間の位相シフトオフセットを記述する位相シフトオフセットΦjと、聴取者の頭部に起因する両方の信号の減衰を記述する右耳及び左耳のそれぞれについての２つの振幅増幅／減衰度Ｐi,R及びＰi,Lと、を含むＨＲＴＦパラメータ２７を、復号器に供給することが可能である。ＨＲＴＦパラメータ２７は、時間に関して一定であってよいが、ＳＡＯＣパラメータ分解能に等しくてよい何らかの周波数分解能において定義され、すなわち周波数帯ごとに定義される。以下では、ＨＲＴＦパラメータがΦjm, Ｐj,Rm及びＰj,Lmとして与えられ、ｍは周波数帯を指している。
【００３５】
図３は、図１のＳＡＯＣ復号器１２をさらに詳しく示している。図３に示されているように、復号器１２は、ダウンミックス前処理ユニット４０及びＳＡＯＣパラメータ処理ユニット４２を備えている。ダウンミックス前処理ユニット４０は、ステレオダウンミックス信号１８を受信して、バイノーラル出力信号２４へと変換するように構成されている。ダウンミックス前処理ユニット４０は、この変換を、ＳＡＯＣパラメータ処理ユニット４２によって制御された方法で実行する。詳しくは、ＳＡＯＣパラメータ処理ユニット４２が、ＳＡＯＣサイド情報２０及びレンダリング情報２６からレンダリング指示情報４４を導出し、ダウンミックス前処理ユニット４０へと供給する。
【００３６】
図４は、本発明の実施の形態によるダウンミックス前処理ユニット４０をさらに詳しく示している。詳しくは、図４によれば、ダウンミックス前処理ユニット４０は、ステレオダウンミックス信号１８、すなわちＸn,kが受信される入力と、バイノーラル出力信号
0005255702.tif 000009
が出力されるユニット４０の出力との間に、並列に接続された２つの経路を備えている。すなわち、ドライ・レンダリング・ユニット４７が直列に接続されているドライ経路４６と称される経路と、デコリレート信号生成部５０及びウエット・レンダリング・ユニット５２が直列に接続されているウエット経路４８とを備えており、ミキシングステージ５３が両方の経路４６及び４８の出力をミックスし、最終的な結果であるバイノーラル出力信号２４が得られる。
【００３７】
さらに詳しく後述される通り、ドライ・レンダリング・ユニット４７は、ステレオダウンミックス信号１８から仮バイノーラル (preliminary binaural) 出力信号５４を計算するように構成されており、仮バイノーラル出力信号５４が、ドライ・レンダリング経路４６の出力に相当する。ドライ・レンダリング・ユニット４７は、ＳＡＯＣパラメータ処理ユニット４２によってもたらされるドライ・レンダリング指示に基づいて、上記計算を実行する。後述される特定の実施の形態においては、レンダリング指示がドライ・レンダリング行列Ｇn,kによって定義される。このような仕組みは、図４において破線の矢印によって示されている。
【００３８】
デコリレート信号生成部５０は、ステレオダウンミックス信号１８からダウンミキシングによってデコリレート信号Ｘdn,kを生成し、このデコリレート信号は、ステレオダウンミックス信号１８の右及び左チャネルのモノラルダウンミックスの知覚的同等物であるが、モノラルダウンミックスに対してデコリレートされているように構成される。図４に示されている通り、デコリレート信号生成部５０は、ステレオダウンミックス信号１８の左及び右チャネルを例えば１：１の比又は他の何らかの固定比で合計して各モノラルダウンミックス５８を得る加算部５６と、上述のデコリレート信号Ｘdn,kを生成するための後続のデコリレータ６０と、を備えることができる。デコリレータ６０は、例えばモノラルダウンミックス５８の遅延バージョン或いはそれら遅延バージョンの重み付き合計、又はモノラルダウンミックス５８とそのモノラルダウンミックスの遅延バージョンとの重み付き合計から、デコリレート信号Ｘdn,kを形成するために、１つ以上の遅延ステージを備えても良い。当然ながら、デコリレータ６０について多数の代案が存在する。実際上、デコリレータ６０及びデコリレート信号生成部５０によって実行されるデコリレーションは、オブジェクトレベル差についての上述の式によって計算されたオブジェクトレベル差を実質的に維持しつつ、オブジェクト間相互相関に対応する上述の式によって計算したデコリレート信号６２とモノラルダウンミックス５８との間のチャネル間コヒーレンスを下げる傾向にある。
【００３９】
ウエット・レンダリング・ユニット５２は、デコリレート信号６２から補正バイノーラル(corrective binaural signal) 出力信号６４を計算するように構成されており、こうして得られる補正バイノーラル出力信号６４がウエット・レンダリング経路４８の出力に相当する。ウエット・レンダリング・ユニット５２は、後述のようにドライ・レンダリング・ユニット４７によって使用されるドライ・レンダリング指示に依存するウエット・レンダリング指示に基づいて、計算を実行する。従って、図４にＰ2n,kとして示されているウエット・レンダリング指示は、図４に破線の矢印によって示される通り、ＳＡＯＣパラメータ処理ユニット４２から得られる。
【００４０】
ミキシングステージ５３は、ドライ・レンダリング経路４６のバイノーラル出力信号５４とウエット・レンダリング経路４８のバイノーラル出力信号６４とをミックスし、最終的なバイノーラル出力信号２４を得る。図４に示すように、ミキシングステージ５３はバイノーラル出力信号５４,６４の左及び右チャネルを個別にミキシングするように構成されており、従ってバイノーラル出力信号の左チャネルの加算のための加算部６６と、右チャネルの加算のための加算部６８とを備えていても良い。
【００４１】
ＳＡＯＣ復号器１２の構造及びダウンミックス前処理ユニット４０の内部構造を説明したので、次に、その機能を説明する。詳しくは、後述される詳細な実施の形態は、レンダリング指示情報４４を導出してバイノーラル・オブジェクト信号２４のチャネル間コヒーレンスを制御するＳＡＯＣパラメータ処理ユニット４２について、さまざまな代案を提示する。換言すると、ＳＡＯＣパラメータ処理ユニット４２は、レンダリング指示情報４４を計算するだけでなく、同時に、仮バイノーラル信号５４と補正バイノーラル信号６４とをミックスして最終バイノーラル出力信号２４とする際のミキシング比も制御する。
【００４２】
第１の代案によれば、ＳＡＯＣパラメータ処理ユニット４２は、図５に示す通りに上述のミキシング比を制御するよう構成される。詳しくは、ステップ８０において、仮バイノーラル出力信号５４の実際のバイノーラルチャネル間コヒーレンス値がユニット４２によって決定又は推定される。ステップ８２において、ＳＡＯＣパラメータ処理ユニット４２は目標バイノーラルチャネル間コヒーレンス値を決定する。こうして決定されたこれらのチャネル間コヒーレンス値に基づき、ＳＡＯＣパラメータ処理ユニット４２はステップ８４において上述のミキシング比を設定する。特に、ステップ８４では、ＳＡＯＣパラメータ処理ユニット４２が、ドライ・レンダリング・ユニット４７によって使用されるドライ・レンダリング指示及びウエット・レンダリング・ユニット５２によって使用されるウエット・レンダリング指示を、ステップ８０,８２においてそれぞれ決定されるチャネル間コヒーレンス値に基づいて適切に計算しても良い。
【００４３】
以下では、上述の代案を数学的基礎に基づいて説明する。これらの代案は、ＳＡＯＣパラメータ処理ユニット４２が、ドライ・レンダリング指示及びウエット・レンダリング指示を含むレンダリング指示情報４４を如何にして決定するか、すなわち本質的にドライ及びウエット・レンダリング経路４６,４８の間のミキシング比を如何にして制御するかという点において、互いに相違する。図５に示した第１の代案によれば、ＳＡＯＣパラメータ処理ユニット４２が、目標バイノーラルチャネル間コヒーレンス値を決定する。さらに詳しく後述される通り、ユニット４２は、この決定を目標コヒーレンス行列Ｆ＝Ａ・Ｅ・Ａ*の成分に基づいて実行することができる。「＊」は共役転置を指しており、Ａは、オブジェクト／オーディオ信号１,...,Ｎをバイノーラル出力信号２４及び仮バイノーラル出力信号５４の右及び左チャネルにそれぞれ関連付ける目標バイノーラル・レンダリング行列であって、レンダリング情報２６及びＨＲＴＦパラメータ２７から導出され、Ｅは、ＩＯＣijl,m及びオブジェクトレベル差ＯＬＤil,mから導出される係数を有する行列である。この計算は、ＳＡＯＣパラメータの空間／時間分解能において実行することができ、すなわち各々の（ｌ，ｍ）について実行することができる。しかしながら、それぞれの結果の間の補間によって、より低い分解能で計算を実行することも可能である。これは、後述されるその後の計算についても当てはまる。
【００４４】
目標バイノーラル・レンダリング行列Ａは、入力オブジェクト１,...,Ｎを、バイノーラル出力信号２４及び仮バイノーラル出力信号５４の左及び右チャネルへとそれぞれ関連付けるものであり、２×Ｎのサイズであり、以下の通りである。
0005255702.tif 000010
【００４５】
上述の行列ＥのサイズはＮ×Ｎであり、その係数は以下のように定義される。
0005255702.tif 000011
【００４６】
従って、以下の行列Ｅ
0005255702.tif 000012
は、その対角線に沿ってオブジェクトレベル差、すなわち
0005255702.tif 000013
を有する（ｉ＝ｊのときＩＯＣij＝１）。一方で、行列Ｅは、その対角の外側に、オブジェクト間の相互相関の指標ＩＯＣijによって重み付けされたオブジェクトｉ及びｊのオブジェクトレベル差の幾何平均を表わす行列係数をそれぞれ有する（０よりも大きい場合であり、そうでない場合には０に設定される）。
【００４７】
これに対し、後述される第２及び第３の代案は、ドライ・レンダリング行列Ｇによってステレオダウンミックス信号１８を仮バイノーラル出力信号５４へとマップする式を、入力オブジェクトを行列Ａによって「目標」バイノーラル出力信号２４へとマップする目標レンダリング式に対して、最小二乗的な最良の一致を持つようなレンダリング行列を得ようとするものである。第２及び第３の代案は、最良の一致の形成方法及びウエット・レンダリング行列の選択方法の点で互いに相違する。
【００４８】
以下の代案の理解を容易にするために、図３及び図４の上述の説明を、数学的に再度説明する。上述のように、ステレオダウンミックス信号１８(Ｘn,k)は、ＳＡＯＣパラメータ２０とユーザにより定義されるレンダリング情報２６と共に、ＳＡＯＣ復号器１２に到達する。さらに、ＳＡＯＣ復号器１２及びＳＡＯＣパラメータ処理ユニット４２は、矢印２７によって示される通り、ＨＲＴＦデータベースへのアクセスを有している。送信されたＳＡＯＣパラメータは、Ｎ個のオブジェクトｉ,ｊの全てについて、オブジェクトレベル差ＯＬＤil,m、オブジェクト間相互相関値ＩＯＣijl,m、ダウンミックスゲインＤＭＧilm、及びダウンミックス・チャネル・レベル差ＯＣＬＤil,mを含んでおり、「ｌ，ｍ」がそれぞれの時間／スペクトルタイル３９を指しており、ｌが時間を指定し、ｍが周波数を指定している。ＨＲＴＦパラメータ２７は、例示的には、左（Ｌ）及び右（Ｒ）のバイノーラルチャネル及び全ての周波数帯ｍに関して、全ての仮想のスピーカ位置又は仮想の空間音源位置ｑについて、Ｐq,Lm , Ｐq,Rm及びΦqmとして与えられると仮定される。
【００４９】
ダウンミックス前処理ユニット４０は、バイノーラル出力
0005255702.tif 000014
を、下記のようにステレオダウンミックスＸn,k及びデコリレート・モノラルダウンミックス信号Ｘdn,kから計算する。
0005255702.tif 000015
【００５０】
デコリレート信号Ｘdn,kは、ステレオダウンミックス信号１８の左及び右ダウンミックスチャネルの合計５８と知覚的に同等であるが、下記に従って最大限にデコリレートされている。
0005255702.tif 000016
【００５１】
図４を参照すると、デコリレート信号生成部５０が上式の関数 decorrFunction を実行する。
【００５２】
さらに、やはり上述の通り、ダウンミックス前処理ユニット４０は２つの並列な経路４６,４８を備えている。従って、上述の式は、２つの時間／周波数依存の行列、すなわちドライ経路についてのＧl,m及びウエット経路についてのＰ2l,mに基づいている。
【００５３】
図４に示すように、ウエット経路におけるデコリレーションは、左及び右のダウンミックスチャネルの和を、それと知覚的に同等であって、その入力５８に対して最大限にデコリレートされた信号６２を生成するデコリレータ６０へと供給することによって、実現することができる。
【００５４】
上述の行列の各要素は、ＳＡＯＣパラメータ処理ユニット４２によって計算される。やはり上述のように、上述の行列の各要素を、ＳＡＯＣパラメータの時間／空間分解能において計算しても良い。即ち、各時間スロットｌ及び各処理帯域ｍについて計算しても良い。このようにして得られた行列の要素を、周波数において伸長し、時間において補間して、全てのフィルタバンク時間スロットｎ及び周波数サブバンドｋについて定義される行列Ｇn,k及びＰ2n,kをもたらすことができる。しかしながら、既に述べたように、代案も存在する。例えば、上記式において、指数ｎ，ｋを効果的に「ｌ，ｍ」に置き換えることができるよう、補間を省略することができる。さらには、上述の行列の要素の計算を、低い時間／周波数分解能で、分解能ｌ，ｍ又はｎ，ｋへの補間を伴って実行することさえ可能である。このように、以下でもやはり、指数ｌ，ｍは、行列の計算が各々のタイル３９について実行されることを示しているが、計算を何らかの低い分解能で実行することも可能である。その場合には、それぞれの行列がダウンミックス前処理ユニット４０によって適用されるときに、レンダリング行列を、個々のサブバンド値３２のＱＭＦ時間／周波数分解能など、最終的な分解能まで補間しても良い。
【００５５】
上述の第１の代案によれば、ドライ・レンダリング行列Ｇl,mが、以下のように、左及び右ダウンミックスチャネルについて別々に計算される。
0005255702.tif 000017
【００５６】
対応するゲインＰLl,m,x，ＰRl,m,x及び位相差φl,m,xは、
0005255702.tif 000018
で定義され、const1は例えば１１であってもよく、const2は０．６であってもよい。指数ｘは、左又は右ダウンミックスチャネルを指しており、従って１又は２のいずれかの値をとる。
【００５７】
一般に、上述の条件は、高いスペクトル範囲と低いスペクトル範囲との間を区別し、特に低いスペクトル範囲においてのみ（潜在的に）満足される。これに加え、あるいはこれに代えて、その条件は、実際のバイノーラルチャネル間コヒーレンス値及び目標バイノーラルチャネル間コヒーレンス値の一方がコヒーレンスしきい値に対して所定の関係を有するか否かに依存し、コヒーレンスがしきい値を超える場合に限ってその条件が（潜在的に）満足される。上述の個々の部分条件を、上述のように、ＡＮＤ演算によって組み合わせることができる。
【００５８】
スカラーＶl,m,xは以下のように計算される。
0005255702.tif 000019
【００５９】
εは、ダウンミックスゲインの定義に関して上述したεと同じでも、異なってもよいことに注意すべきである。行列Ｅは、既に紹介されている。指数（ｌ，ｍ）は、既に上述したように、単に行列計算の時間／周波数依存性を示している。さらに、行列Ｄl,m,xも、ダウンミックスゲイン及びダウンミックス・チャネル・レベル差の定義に関して既に説明した通りであり、Ｄl,m,1が上述のＤ1に相当し、Ｄl,m,2が上述のＤ2に相当する。
【００６０】
しかしながら、受信したＳＡＯＣパラメータからＳＡＯＣパラメータ処理ユニット４２が如何にしてドライ生成マトリクスＧl,mを導出するかについての理解を助けるために、チャネルダウンミックス行列Ｄl,m,xとダウンミックスゲインＤＭＧil,m及びＤＣＬＤil,mを含むダウンミックス指示との間の対応関係を、逆方向に再び提示する。詳しくは、サイズ１×Ｎのチャネルダウンミックス行列Ｄl,m,x、
0005255702.tif 000020
【００６１】
上記のＧl,mの式において、ゲインＰLl,m,x及びＰRl,m,xならびに位相差φl,m,xは、チャネルｘの個々の目標共分散行列Ｆl,m,xの係数ｆuv に依存し、Ｆl,m,xは、さらに詳しく後述されるように、サイズＮ×Ｎの行列Ｅl,m,xに依存し、Ｅl,m,xの要素ｅijl,m,xは、以下のように計算される。
0005255702.tif 000021
【００６２】
サイズＮ×Ｎの行列Ｅl,mの要素ｅijl,mは、上述のように、
0005255702.tif 000022
として与えられる。
【００６３】
要素ｆuvl,m,xを有するサイズ２×２の上述の目標共分散行列Ｆl,m,xは、共分散行列Ｆと同様に、
0005255702.tif 000023
として与えられ、「＊」は共役転置である。
【００６４】
目標バイノーラル・レンダリング行列Ａl,m,は、ＮHRTF個の全ての仮想スピーカ位置ｑについてのＨＲＴＦパラメータΦqm，Ｐq,Rm，Ｐq,Lm、及びレンダリング行列Ｍrenl,mから導出され、２×Ｎのサイズである。その要素ａuil,mが、全てのオブジェクトｉとバイノーラル出力信号との間の所望の関係を、以下のように定義する。
0005255702.tif 000024
【００６５】
要素ｍqil,mを有するレンダリング行列Ｍrenl,mは、各オーディオオブジェクトｉをＨＲＴＦによって表わされる１つの仮想のスピーカｑへと関連付ける。
【００６６】
ウエット・アップミックス行列Ｐ2l,mは、行列Ｇl,mに基づいて、以下のように計算される。
0005255702.tif 000025
【００６７】
ゲインＰLl,m及びＰRl,mは、以下のように定義される。
0005255702.tif 000026
【００６８】
ドライ・バイノーラル信号５４の要素ｃu,vl,mを有する２×２の共分散行列Ｃl,mは、
0005255702.tif 000027
のように推定され、以下の通りである。
0005255702.tif 000028
【００６９】
スカラーＶl,mは、以下のように計算される。
0005255702.tif 000029
【００７０】
サイズ１×Ｎのウエット・モノラル・ダウンミックス行列Ｗl,mの要素ｗil,mは、以下のように与えられる。
0005255702.tif 000030
【００７１】
サイズ２×Ｎのステレオダウンミックス行列Ｄl,mの要素ｄx,il,mは、以下のように与えられる。
0005255702.tif 000031
【００７２】
上述のＧl,mの式において、αl,m及びβl,mは、ＩＣＣ制御に専用の回転子角度(rotator angles)を表わしている。詳しくは、回転子角度αl,mが、バイノーラル出力２４のＩＣＣをバイノーラル目標のＩＣＣへと調節するために、ドライ及びウエットバイノーラル信号のミキシングを制御する。それらの回転子角度を設定するとき、ドライ・バイノーラル信号５４のＩＣＣを考慮すべきであり、そのＩＣＣはオーディオコンテンツ及びステレオダウンミックス行列Ｄに依存して、典型的には１．０よりも小さく、目標ＩＣＣよりも大きい。このことは、ドライ・バイノーラル信号のＩＣＣが常に１．０に等しいと考えられるモノラルダウンミックスに基づくバイノーラル・レンダリングと対照的である。
【００７３】
回転子角度αl,m及びβl,mが、ドライ及びウエットバイノーラル信号のミキシングを制御する。ドライ・バイノーラル・レンダリングされたステレオダウンミックス５４のＩＣＣ（ρCl,m）は、ステップ８０において、以下のように推定される。
0005255702.tif 000032
【００７４】
全体的な目標バイノーラルＩＣＣ（ρTl,m）は、ステップ８２において、以下のように推定され又は決定される。
0005255702.tif 000033
【００７５】
次いで、ウエット信号のエネルギーを最小にするための回転子角度αl,m及びβl,mが、ステップ８４において、以下のように設定される。
0005255702.tif 000034
【００７６】
このように、バイノーラル出力信号２４を生成するためのＳＡＯＣ復号器１２の機能の上述の数学的説明によれば、ＳＡＯＣパラメータ処理ユニット４２が、実際のバイノーラルＩＣＣの決定において、ρCl,mについての上述の式と、やはり上述の補助的な式とを使用することによって、ρCl,mを計算する。同様に、ＳＡＯＣパラメータ処理ユニット４２は、ステップ８２における目標バイノーラルＩＣＣの決定において、上述した式及び補助式によって、パラメータρTl,mを計算する。これらに基づき、ＳＡＯＣパラメータ処理ユニット４２は、ステップ８４において回転子角度を決定することによって、ドライ及びウエット・レンダリング経路の間のミキシング比を設定する。これらの回転子角度を用いて、ＳＡＯＣパラメータ処理ユニット４２は、ドライ及びウエット・レンダリング行列又はアップミックス・パラメータＧl,m及びＰ2l,mを形成し、これらが、ステレオダウンミックス信号１８からバイノーラル出力信号２４を導出するために、分解能ｎ，ｋにおいてダウンミックス前処理ユニット４０によって使用される。
【００７７】
上述の第１の代案を、いくつかの方法で変更できることに注意すべきである。例えば、上述したチャネル間位相差ΦCl,mについての式を、この式における
0005255702.tif 000035
に置き換えられるように、前記第２の部分条件がドライ・バイノーラル・レンダリングされたステレオダウンミックスの実際のＩＣＣを、チャネルの個々の共分散行列Ｆl,m,xから決定されるＩＣＣではなくconst2と比較できる限りにおいて、変更することができる。
【００７８】
さらに、選択された表記法によれば、上記式の一部において、εなどのスカラー定数が行列に加えられた場合にこの定数がそれぞれの行列の各々の係数へと加えられるよう、全要素が１の行列が省略されていることに注意すべきである。
【００７９】
オブジェクト抽出のより高い可能性を有するドライ・レンダリング行列の別の生成方法は、左及び右ダウンミックスチャネルのジョイント処理に基づく。分かり易さのためにサブバンド添え字ペアを省略し、この原理は、
0005255702.tif 000036
について、目標レンダリング
0005255702.tif 000037
への最小二乗的な最良の一致を得ようとすることにある。
【００８０】
これは、目標共分散行列
0005255702.tif 000038
をもたらし、ここで、複素値の目標バイノーラル・レンダリング行列Ａは、先述の式にて与えられ、行列Ｓは、元のオブジェクトサブバンド信号を行として含んでいる。
【００８１】
最小二乗の一致は、伝達されたオブジェクト及びダウンミックスデータから導出される二次情報から計算される。すなわち、以下の置換が実行される。
0005255702.tif 000039
【００８２】
これら置換を促すように、ＳＡＯＣオブジェクト・パラメータが、典型的には、オブジェクトのパワー（ＯＬＤ）及び（選択された）オブジェクト間相互相関（ＩＯＣ）についての情報を含むことに留意すべきである。これらのパラメータから、ＳＳ*への近似であるＮ×Ｎのオブジェクト共分散行列Ｅが導出され、すなわちＥ≒ＳＳ*であり、ＹＹ*＝ＡＥＡ*がもたらされる。
【００８３】
さらに、Ｘ＝ＤＳであり、ダウンミックス共分散行列は、
ＸＸ*=ＤＳＳ*Ｄ*
となり、これについても、ＥからＸＸ*＝ＤＥＤ*によって導出することができる。
【００８４】
ドライ・レンダリング行列Ｇは、最小二乗問題
0005255702.tif 000040
を解くことによって得られ、ここでＹＸ*は、ＹＸ*＝ＡＥＤ*として計算される。
【００８５】
このようにドライ・レンダリング・ユニット４７は、２×２のアップミックス行列Ｇを使用することによってダウンミックス信号Ｘから
0005255702.tif 000041
によってバイノーラル出力信号
0005255702.tif 000042
を決定し、ＳＡＯＣパラメータ処理ユニットが、上記式を使用することによって以下のようにＧを決定する。
0005255702.tif 000043
【００８６】
この複素値ドライ・レンダリング行列に鑑み、以前はＰ2 と称されていた複素値ウエット・レンダリング行列Ｐが、ＳＡＯＣパラメータ処理ユニット４２において、以下の欠損共分散誤差行列を考慮することによって計算される。
0005255702.tif 000044
【００８７】
この行列が正であり、Ｐの好ましい選択が、ΔＲの最大の固有値λに対応する単位ノルム固有ベクトルｕを選択し、
0005255702.tif 000045
に従ってスケーリングを行うことによって与えられ、ここでスカラーＶが上述のように
Ｖ＝ＷＥ(Ｗ)*＋εで計算される。
【００８８】
換言すると、得られたドライ解の相関を修正する目的でウエット経路が設けられているため、ΔＲ＝ＡＥＡ*−Ｇ0ＤＥＤ*Ｇ0*が、欠損共分散誤差行列を表わし、
0005255702.tif 000046
従ってＳＡＯＣパラメータ処理ユニット４２が、ＰＰ*＝ΔＲであるようにＰを設定し、この１つの解は、上述の単位ノルム固有ベクトルｕを選択することによって与えられる。
【００８９】
ドライ及びウエット・レンダリング行列を生成するための第３の方法は、キュー抑制複素予測(cue constrained complex prediction)に基づくレンダリングパラメータの推定を含み、正しい複素共分散構造を復元する利点と、改善されたオブジェクト抽出のためのダウンミックスチャネルのジョイント処理の利点とを併せ持つ。この方法が提供するさらなる可能性は、多くの場合においてウエット・アップミックス全体を省略でき、従って演算の複雑さの少ないバイノーラル・レンダリングのバージョンへの道を開くことにある。第２の代案と同様に、後述される第３の代案は、左及び右ダウンミックスチャネルのジョイント処理に基づく。
【００９０】
第３の方法の原理は、
0005255702.tif 000047
について、下記の正しい複素共分散の制約のもとで、目標レンダリングＹ＝ＡＳへの最小二乗的な最良の一致を得ようとすることにある。
0005255702.tif 000048
【００９１】
すなわち、以下のようにＧ及びＰについての解を見つけることが目的である。
0005255702.tif 000049
【００９２】
ラグランジュの乗数理論から、以下のように自己随伴行列(self adjoint matrix)Ｍ＝Ｍ*が存在する。
ＭＰ＝０，及び  
ＭＧＸＸ*＝ＹＸ*
【００９３】
ＹＸ*及びＸＸ*の両方が非特異（non-singular）である一般的な場合には、２番目の式から、Ｍが非特異となり、従ってＰ＝０が最初の式の唯一の解である。これは、ウエット・レンダリングを用いない解である。Ｋ＝Ｍ-1に設定すると、対応するドライ・アップミックスが
Ｇ＝ＫＧ0
によって与えられ、ここでＧ0は、第２の代案に関して上述したように導出される予測解であり、自己随伴行列Ｋが
ＫＧ0ＸＸ*Ｇ0*Ｋ*＝ＹＹ*
を解く。
【００９４】
行列Ｇ0ＸＸ*Ｇ0*の一意の正(unique positive)で、従って自己随伴行列の平方根がＱによって表わされる場合、解を
Ｋ＝Ｑ-1（ＱＹＹ*Ｑ）1/2Ｑ-1
と書くことができる。
【００９５】
このように、ＳＡＯＣパラメータ処理ユニット４２は、
Ｇ0＝ＡＥＤ*（ＤＥＤ*）-1
において、
ＫＧ0＝Ｑ-1(ＱＹＹ*Ｑ)1/2Ｑ-1Ｇ0
＝(Ｇ0ＤＥＤ*Ｇ0*）-1（Ｇ0ＤＥＤ*Ｇ0*ＡＥＡ*Ｇ0ＤＥＤ*Ｇ0*）1/2（Ｇ0ＤＥＤ*Ｇ0*）-1Ｇ0
となるようにＧを決定する。
【００９６】
内側の平方根について、一般に４つの自己随伴解が存在し、
0005255702.tif 000050
のＹへの最良の一致につながる解が選択される。
【００９７】
実際には、例えばドライ・レンダリング行列の全ての係数の絶対値の平方の合計についての制約条件によって、ドライ・レンダリング行列Ｇ＝ＫＧ0を最大サイズへと制限しなければならず、これを
trace(GG*)< gmax 
のように表現することができる。
【００９８】
解がこの制約条件に違反する場合、境界に位置する解が代替的に見出される。これは、制約条件
trace(GG*)=gmax
を先の制約条件へと加え、ラグランジュの式を再び導出することによって達成される。先の式
ＭＧＸＸ*＝ＹＸ*
を
ＭＧＸＸ*＋μI＝ＹＸ*
によって置換できることが明らかであり、μは追加的な中間複素パラメータであり、Ｉは２×２の単位行列である。非ゼロのウエット・レンダリングＰを有する解がもたらされる。詳しくは、ウエットアップミックス行列の解を、
ＰＰ*＝（ＹＹ*−ＧＸＸ*Ｇ*）／Ｖ＝（ＡＥＡ*−ＧＤＥＤ*Ｇ*）／Ｖ
によって見つけることができ、Ｐの選択は、好ましくは第２の代案に関して既に述べたように固有値の考慮に基づき、ＶはＷＥＷ*＋εである。Ｐの後者の決定も、ＳＡＯＣパラメータ処理ユニット４２によって行われる。
【００９９】
次いで、このようにして決定された行列Ｇ及びＰが、先に述べたようにウエット及びドライ・レンダリング・ユニットによって使用される。
【０１００】
複雑度の低いバージョンが必要とされる場合には、次のステップは、この解をウエット・レンダリングのない解で置き換えることである。これを達成するための好ましい方法は、正確な信号パワーが右及び左チャネルにおいて依然として達成されつつも交差共分散はオープンに保たれるように、複素共分散への要件を対角線における一致だけに減らすことである。
【０１０１】
第１の代案に関して、高品質の聞き取りを可能にするように設計された音響的に隔離された試聴室において、主観的聞き取りテストを実行した。下記にその結果を概説する。
【０１０２】
再生は、ヘッドホン(Lake-People社のＤ／Ａ変換器及びSTAX社のSRM-Monitorを備えたSTAX社のSR Lambda Pro)を使用して行った。試験方法は、中間品質オーディオの主観的評価のための「Multiple Stimulus with Hidden Reference and Anchors」（ＭＵＳＨＲＡ）法に基づき、空間オーディオ検証試験において使用される標準的な手順に従った。
【０１０３】
合計５人の聴取者を、実行される各々の試験に参加させた。全対象者を経験のある聴取者と考えることができる。ＭＵＳＨＲＡ法に従い、聴取者に、全試験条件をリファレンスに対して比較するように指示した。試験条件は、各々の試験項目及び各々の聴取者について自動的に無作為化した。主観的応答を、０〜１００までの範囲の尺度上にコンピュータベースのＭＵＳＨＲＡプログラムによって記録した。試験項目の間の瞬時の切り替えを可能にした。ＭＵＳＨＲＡ試験を、ＭＰＥＧ  ＳＡＯＣシステムの上述のステレオ−バイノーラル処理の知覚的性能を評価するために実行した。
【０１０４】
モノラル−バイノーラル性能と比べて上述のシステムの知覚的品質のゲインを評価するために、モノラル−バイノーラルシステムによって処理した項目も、試験に含めた。当該モノラル及びステレオダウンミックス信号は、チャネルごとに毎秒８０ｋｂｉｔでＡＡＣ符号化したものである。
【０１０５】
ＨＲＴＦデータベースとして、「KEMAR_MIT_COMPACT」を使用した。リファレンス条件を、所望のレンダリングを考慮して適切に重み付けされたＨＲＴＦインパルス応答でのオブジェクトのバイノーラルフィルタ処理によって生成した。アンカ条件は、低域通過フィルタ処理されたリファレンス条件（３．５ｋＨｚにおける）である。
【０１０６】
表１は、試験されたオーディオ項目のリストを含んでいる。
【０１０７】
0005255702.tif 000051
【０１０８】
３つの異なるオブジェクト・ソース・プールからの（モノラル又はステレオ）オブジェクトのレンダリング結果である５つの異なるシーンを試験した。３つの異なるダウンミックス行列をＳＡＯＣ復号器に適用した。表２を参照されたい。
【０１０９】
0005255702.tif 000052
【０１１０】
アップミックス表現品質評価テストを、表３に挙げられるように定義した。
【０１１１】
0005255702.tif 000053
【０１１２】
「５２２２」システムは、非特許文献１に記載のようなステレオ・ダウンミックス・プリプロセッサを使用し、複素値バイノーラル目標レンダリング行列Ａl,mを入力とする。すなわち、ＩＣＣ制御は実行されない。非公式な聞き取り試験によって、Ａl,mを全帯域について複素値のまま使用する代わりに、高帯域については絶対値をとることによって、性能が改善されることが示されている。この改善された「５２２２」システムを、本試験において使用した。
【０１１３】
図６は聞き取り試験から得られた結果を短く概略的に示す。これらのプロットは、全聴取者における項目ごとの平均ＭＵＳＨＲＡ等級及び評価された全項目についての統計的平均値ならびに関連の９５％信頼区間を示している。隠されたリファレンスについてのデータが、全被験者がそれを正しく識別したがゆえにＭＵＳＨＲＡプロットにおいて省略されていることに注意すべきである。
【０１１４】
聞き取り試験の結果に基づき、以下の所見を得ることができる。
・「x-2-b_DualMono」の性能は、「5222」に匹敵する。
・「x-2-b_DualMono」の性能は、「5222_DualMono」よりも明らかに良好である。
・「x-2-b_DualMono」の性能は、「x-1-b」に匹敵する。
・上述の第１の代案に従って実現される「x-2-b」の性能は、他の全ての条件よりもわずかに良好である。
・項目「disco1」の結果には大差がなく、項目として適さない可能性がある。
【０１１５】
このように、さまざまなダウンミックス行列の要件を満足するＳＡＯＣにおけるステレオダウンミックス信号のバイノーラル・レンダリングのための考え方を上述した。詳しくは、２つのモノラル状のダウンミックスにおける品質が、真のモノラルダウンミックスにおける品質と同じであることが、聞き取り試験において確認された。モノラルダウンミックスと比べてステレオダウンミックスから得ることができる品質の改善も、聞き取り試験から見て取ることができる。上記実施の形態の基本的な処理ブロックは、ステレオダウンミックスのドライ・バイノーラル・レンダリング、並びに両ブロックの適切な組み合わせによるデコリレート済のウエットバイノーラル信号とのミキシングであった。
・特に、ウエットバイノーラル信号は、左及び右のパワー及びＩＰＤがドライバイノーラル信号と同じであるように、モノラルのダウンミックス入力を有する１つのデコリレータを使用して計算された。
・ウエット及びドライ・バイノーラル信号のミキシングは、目標ＩＣＣとドライ・バイノーラル信号の実際のＩＣＣとによって制御され、モノラル・ダウンミックス・ベースのバイノーラル・レンダリングに比べ、必要となるデコリレーションが典型的に少なくなり、その結果、全体的には高い音質をもたらす。
・さらに、上述の実施の形態は、モノラル／ステレオダウンミックス入力とモノラル／ステレオ／バイノーラル出力との任意の組み合わせによって、安定的な方法で容易に変更可能である。
【０１１６】
換言すると、上述した実施の形態は、チャネル間コヒーレンス制御を備え、ステレオ・ダウンミックス・ベースのＳＡＯＣビットストリームを復号化し且つバイノーラル・レンダリングするのための信号処理構造及び方法を提供する。モノラル又はステレオダウンミックス入力と、モノラル、ステレオ又はバイノーラル出力との全ての組み合わせを、上述のステレオ・ダウンミックス・ベースの概念の特別な場合として取り扱うことができる。ステレオ・ダウンミックス・ベースの概念の品質は、上述のＭＵＳＨＲＡ聞き取り試験において確認されたように、モノラル・ダウンミックス・ベースの概念よりも典型的に良好であることが明らかになった。
【０１１７】
非特許文献１において、多数のオーディオオブジェクトが、モノラル又はステレオ信号へとダウンミックスされている。この信号は、サイド情報（ＳＡＯＣパラメータ）とともに符号化されてＳＡＯＣ復号器へと送信される。バイノーラル出力信号のチャネル間コヒーレンス（ＩＣＣ）は、仮想音源幅の知覚にとって重要な指標であるが、符号器ダウンミックスに起因して劣化され、又は破壊されさえする。上記実施の形態によれば、このＩＣＣを（ほぼ）完全に修正することが可能になる。
【０１１８】
システムへの入力は、ステレオダウンミックス、ＳＡＯＣパラメータ、空間レンダリング情報、及びＨＲＴＦデータベースである。出力はバイノーラル信号である。入力及び出力の両方は、典型的には十分に低い帯域内エイリアシングを有する、非特許文献３に記載のＭＰＥＧサラウンド・ハイブリッドＱＭＦフィルタバンクのようなオーバーサンプルされた複素変調済の分析フィルタバンクによって、復号器変換ドメインにおいて与えられる。バイノーラル出力信号は、合成フィルタバンクによってＰＣＭ時間ドメインへと逆変換される。換言すると、このシステムは、潜在力を有するモノラル・ダウンミックス・ベースのバイノーラル・レンダリングのステレオダウンミックス信号に向けた拡張である。デュアル・モノラル・ダウンミックス信号においては、システムの出力は、モノラル・ダウンミックス・ベースのシステムと同じである。従って、本システムは、安定的な方法で適切にレンダリングパラメータを設定することにより、モノラル／ステレオダウンミックス入力と、モノラル／ステレオ／バイノーラル出力との任意の組み合わせを取り扱うことができる。
【０１１９】
さらに換言すると、上記実施の形態は、ＩＣＣ制御を用いてステレオ・ダウンミックス・ベースのＳＡＯＣビットストリームのバイノーラル・レンダリング及び復号化を実行する。モノラル・ダウンミックス・ベースのバイノーラル・レンダリングと比べ、これらの実施の形態は、次の２つの方法でステレオダウンミックスの利点を利用することができる。
−異なるダウンミックスチャネルのオブジェクトの間の相関特性が、部分的に保存される。
−１つのダウンミックスチャネルに少数のオブジェクトしか存在しないため、オブジェクト抽出が改善される。
【０１２０】
以上、様々なダウンミックス行列の要件を満足する、ＳＡＯＣにおけるステレオダウンミックス信号のバイノーラル・レンダリングのための概念を説明した。詳しくは、デュアルモノラル状のダウンミックスにおける品質が、真のモノラルダウンミックスにおける品質と同じであることが、聞き取り試験において確認された。モノラルダウンミックスと比べてステレオダウンミックスから得ることができる品質の改善も、聞き取り試験から見て取ることができる。上記実施形態の基本的な処理ブロックは、ステレオダウンミックスのドライ・バイノーラル・レンダリングと、デコリレート済のウエット・バイノーラル信号とのミキシングとであり、両ブロックが適切に組み合わせられたものである。特に、ウエット・バイノーラル信号は、左及び右のパワー及びＩＰＤがドライ・バイノーラル信号と同じであるように、モノラルのダウンミックス入力を有する１つのデコリレータを使用して計算された。ウエット及びドライ・バイノーラル信号のミキシングは、目標ＩＣＣと、モノラル・ダウンミックス・ベースのバイノーラル・レンダリングとによって制御され、全体的に高い音質をもたらした。さらに、上述の実施の形態は、モノラル／ステレオダウンミックス入力とモノラル／ステレオ／バイノーラル出力との任意の組み合わせに合わせのために、安定的な方法で容易に変更可能である。上述の実施の形態によれば、ステレオダウンミックス信号Ｘn,kが、ＳＡＯＣパラメータ、ユーザ定義のレンダリング情報、及びＨＲＴＦデータベースとともに入力として取り入れられる。送信されるＳＡＯＣパラメータは、Ｎ個の全オブジェクトｉ，ｊについてのＯＬＤil,m（オブジェクトレベル差）、ＩＯＣijl,m（オブジェクト間相互相関）、ＤＭＧil,m（ダウンミックスゲイン）、及びＤＣＬＤil,m（ダウンミックス・チャネル・レベル差）である。ＨＲＴＦパラメータは、所定の空間音源位置に関連付けられたＨＲＴＦデータベース指数ｑの全てについて、Ｐq,Lm、Ｐq,Rm、及びΦqmとして与えられた。
【０１２１】
最後に、以上の説明において、用語「チャネル間コヒーレンス」及び「オブジェクト間相互相関」が、一方では「コヒーレンス」が使用され、他方では「相互相関」が使用されている点で異なるが、後者の用語を、それぞれチャネル間及びオブジェクト間の類似性の値として交換可能に使用できることに注意すべきである。
【０１２２】
実際の実施例に応じて、本発明のバイノーラル・レンダリングの概念は、ハードウェア又はソフトウェアにて実現することができる。従って、本発明は、ＣＤ、ディスク、ＤＶＤ、メモリスティック、メモリカード、又はメモリチップなどのコンピュータにとって読み取り可能な媒体に保存することができるコンピュータプログラムにも関する。従って、本発明は、コンピュータ上で実行されたときに上記の図に関して説明した符号化、変換、又は復号化の本発明の方法を実行するプログラムコードを有しているコンピュータプログラムでもある。
【０１２３】
本発明をいくつかの好ましい実施の形態に関して説明したが、本発明の技術的範囲に包含される変更、置換、及び均等物が存在する。本発明の方法及び構成を実現する多数の他の方法が存在することに注意すべきである。従って、以下に添付する特許請求の範囲は、そのような変更、置換、及び均等物を、本発明の真の技術的思想及び技術的範囲に包含されるものとして含むと解釈されなければならない。
【０１２４】
さらに、フローチャートに示されている全ステップが、それぞれ復号器の該当する手段によって実現され、そのような実現が、ＣＰＵ上で動作するサブルーチン、ＡＳＩＣの回路部分などを含んでもよいことに注意すべきである。同様のことが、ブロック図の各ブロックの機能にも当てはまる。
【０１２５】
換言すると、一実施の形態によれば、多チャネルオーディオ信号（２１）をバイノーラル出力信号（２４）へとバイノーラル・レンダリングするための装置が提供され、多チャネルオーディオ信号（２１）は、複数のオーディオ信号（１４1〜１４N）がダウンミックスされてなるステレオダウンミックス信号（１８）とサイド情報（２０）とを含み、サイド情報（２０）は、各オーディオ信号についてステレオダウンミックス信号（１８）の第１チャネル（Ｌ０）及び第２チャネル（Ｒ０）のそれぞれへ各オーディオ信号がどの程度ミックスされているかを示すダウンミックス情報（ＤＭＧ、ＤＣＬＤ）と、複数のオーディオ信号のオブジェクトレベル情報（ＯＬＤ）と、複数のオーディオ信号のオーディオ信号ペア間の類似度を記述するオブジェクト間相互相関情報（ＩＯＣ）とを含む。この装置は、オブジェクト間相互相関情報と、オブジェクトレベル情報と、ダウンミックス情報と、各オーディオ信号を仮想のスピーカ位置へと関連付けるレンダリング情報と、ＨＲＴＦパラメータとに依存する第１のレンダリング指示（Ｇl,m）に基づいて、ステレオダウンミックス信号（１８）の第１及び第２のチャネルから仮バイノーラル信号（５４）を計算する手段（４７）と、ステレオダウンミックス信号（１８）の第１及び第２のチャネルのモノラルダウンミックス（５８）の知覚的同等物であるが、当該モノラルダウンミックス（５８）に対してデコリレートされたデコリレート信号（Ｘdn,k）を生成する手段（５０）と、オブジェクト間相互相関情報と、オブジェクトレベル情報と、ダウンミックス情報と、レンダリング情報と、ＨＲＴＦパラメータとに依存する第２のレンダリング指示（Ｐ2l,m）に基づいて、前記デコリレート信号（６２）から補正バイノーラル信号（６４）を計算する手段（５２）と、仮バイノーラル信号（５４）と補正バイノーラル信号（６４）とをミックスしてバイノーラル出力信号（２４）を得る手段（５３）と、を備えている。
【図１】
0005255702.tif 000077
【図２】
0005255702.tif 000078
【図３】
0005255702.tif 000079
【図４】
0005255702.tif 000080
【図５】
0005255702.tif 000081
【図６】
0005255702.tif 000082