(57)【要約】第１スピーカセットアップのための複数のオーディオチャネルを生成するための装置は、仮想スピーカ決定部とエネルギー分配計算部とプロセッサとレンダラーとによって特徴付けられる。仮想スピーカ決定部は、第１スピーカセットアップには含まれない仮想スピーカの位置を決定し、前記仮想スピーカを含む第２スピーカセットアップを得るよう構成される。エネルギー分配計算部は、前記仮想スピーカから前記第２スピーカセットアップ内の他のスピーカへのエネルギー分配を計算するよう構成される。プロセッサは、前記エネルギー分配を繰り返して、前記第２スピーカセットアップから前記第１スピーカセットアップへのダウンミックスのためのダウンミックス情報を得るよう構成される。レンダラーは、前記ダウンミックス情報を使用して前記複数のオーディオチャネルを生成するよう構成される。【選択図】図１
2017507621.tif 000002
【特許請求の範囲】
【請求項１】
第１スピーカセットアップ（１４；１４−１）のための複数のオーディオチャネル（１２；１２−１；１２−２）を生成する装置であって、
前記第１スピーカセットアップ（１４；１４−１）には含まれない仮想スピーカ（２２；２２ａ〜ｄ）の位置を決定し、前記仮想スピーカ（２２；２２ａ〜ｄ）を含む第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）を得るための仮想スピーカ決定部（１８；１８−１）と、
前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の他のスピーカへのエネルギー分配を計算するためのエネルギー分配計算部（２６；２６−１）と、
前記エネルギー分配を繰り返して、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）から前記第１スピーカセットアップ（１４；１４−１）へのダウンミックスのためのダウンミックス情報（３６）を得るプロセッサ（２８；２８−１）と、
前記ダウンミックス情報（３６）を使用して前記複数のオーディオチャネル（１２；１２−１；１２−２）を生成するためのレンダラー（３８；３８−１）と、
を含む装置。
【請求項２】
請求項１に記載の装置において、前記プロセッサ（２８；２８−１）は前記エネルギー分配に基づいてエネルギー分配行列（Ｄ）を生成するよう構成され、前記エネルギー分配行列（Ｄ）は、前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の他の１つのスピーカへのエネルギー分配を表現する要素（ｄxy）を含む、装置。
【請求項３】
請求項２に記載の装置において、前記プロセッサ（２８；２８−１）はさらに前記エネルギー分配行列（Ｄ）の羃（ｎ）を計算するようさらに構成され、前記羃（ｎ）は予め定義された値であり、前記プロセッサ（２８；２８−１）は前記エネルギー分配行列（Ｄ）の前記羃に基づいて前記ダウンミックス情報（３６）を得るよう構成されている、装置。
【請求項４】
請求項２に記載の装置において、前記プロセッサ（２８；２８−１）はさらに前記エネルギー分配行列（Ｄ）の羃（ｎ）を反復的に計算するようさらに構成され、反復ステップの回数は前記エネルギー分配行列（Ｄ）の前記羃（ｎ）の値に基づいている、装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の装置において、前記エネルギー分配計算部（２６；２６−１）は、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の少なくとも１つのスピーカを決定するための近隣関係推定部を含み、前記エネルギー分配計算部（２６；２６−１）は、前記仮想スピーカ（２２；２２ａ〜ｄ）から前記仮想スピーカ（２２；２２ａ〜ｄ）の少なくとも１つの前記近隣スピーカへのエネルギー分配を計算するよう構成されている、装置。
【請求項６】
請求項５に記載の装置において、前記近隣関係推定部は前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである少なくとも２つのスピーカを決定するよう構成され、前記エネルギー分配計算部（２６；２６−１）は、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである前記少なくとも２つのスピーカ間のエネルギー分配が所定の許容範囲内で等しくなるように、前記エネルギー分配を計算するよう構成されている、装置。
【請求項７】
請求項５又は６に記載の装置において、前記近隣関係推定部は前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである少なくとも２つのスピーカを決定するよう構成され、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである前記少なくとも２つのスピーカの少なくとも１つは仮想スピーカ（２２；２２ａ〜ｄ）である、装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の装置において、前記第１スピーカセットアップ（１４；１４−１）のスピーカ（１６ａ〜ｃ）は幾何学的平面（４４；５４）に所定の許容範囲（４６ａ；４６ｂ）内で配置されており、前記幾何学的平面（４４）は所定のリスナー位置（４２）を含み、前記仮想スピーカ（２２；２２ａ〜ｄ）は前記幾何学的平面（４４）の片側に配置されている、装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の装置において、前記第１スピーカセットアップ（１４；１４−１）の１つのスピーカは幾何学的平面（４４；５４）の第１側に配置されており、前記仮想スピーカ（２２；２２ａ〜ｄ）は前記幾何学的平面（４４；５４）の前記第１側とは反対側の前記幾何学的平面（４４；５４）の第２側に沿って配置されている、装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の装置において、前記装置はフォーマット変換ユニット（１７２０）に含まれ、前記フォーマット変換ユニット（１７２０）は複数のデータチャネル（１２０５）に基づいて前記複数のオーディオチャネル（１２；１２−１；１２−２）を出力するよう構成され、前記データチャネル（１２０５）の数は前記複数のオーディオチャネル（１２；１２−１；１２−２）の数より高い、装置。
【請求項１１】
請求項１乃至９のいずれか１項に記載の装置において、前記装置は前記第２ラウドスピーカセットアップ（２４；２４−１；２４−２）のためのパニング係数を生成するパンナー（５６）を備え、前記レンダラー（３８；３８−１）は、前記ダウンミックス情報（３６）と前記パニング係数とに基づいて前記複数のオーディオチャネル（１２；１２−１；１２−２）を生成するよう構成されている、装置。
【請求項１２】
請求項１１に記載の装置において、前記装置はオブジェクトレンダラー（１２１０）に含まれ、前記オブジェクトレンダラー（１２１０）は音響オブジェクトの位置情報に基づいて前記複数のオーディオチャネル（１２；１２−１；１２−２）を出力するよう構成され、前記パニング係数の数は前記複数のオーディオチャネル（１２；１２−１；１２−２）の数より高い、装置。
【請求項１３】
請求項１乃至１２のいずれか１項に記載の装置において、前記仮想スピーカ決定部（１８；１８−１）は、前記第１スピーカセットアップ（１４；１４−１）のスピーカ（１６ａ〜ｃ）の位置に基づいて凸包（５２）を計算し、かつQuickHullアルゴリズムに従って前記仮想スピーカ（２２；２２ａ〜ｄ）の位置を決定するよう構成され、前記仮想スピーカ（２２；２２ａ〜ｄ）の位置及び前記第1スピーカセットアップ（１４；１４−１）のスピーカ（１６ａ〜ｃ）の位置は所定の閾値内で前記凸包（５２）に配置されている、装置。
【請求項１４】
請求項１３に記載の装置において、前記装置は、前記第１スピーカセットアップ（１４；１４−１）内の全てのスピーカ（１６ａ〜ｃ）の位置が所定の閾値内で前記凸包（５２）に配置されているか、又は前記第１スピーカセットアップ（１４；１４−１）内の少なくとも１つのスピーカの位置が所定の閾値内で前記凸包（５２）の外側に配置されているかを示す、前記第１スピーカセットアップ（１４；１４−１）の妥当性情報を提供するよう構成されている、装置。
【請求項１５】
請求項１乃至１４のいずれか１項に従う装置（１０；１０−１；１０−２）と、
前記複数のオーディオチャネル（１２；１２−１；１２−２）に従う複数のラウドスピーカ（１６ａ〜ｃ）と、を備えたオーディオシステムであって、
前記複数のラウドスピーカ（１６ａ〜ｃ）は前記複数のオーディオチャネル（１２；１２−１；１２−２）を受信し、前記複数のオーディオチャネル（１２；１２−１；１２−２）に基づいて複数の音響信号を提供するよう構成されている、オーディオシステム。
【請求項１６】
第１スピーカセットアップ（１４；１４−１）のための複数のオーディオチャネル（１２；１２−１；１２−２）を生成する方法であって、
前記第１スピーカセットアップ（１４；１４−１）には含まれない仮想スピーカ（２２；２２ａ〜ｄ）の位置を決定し、前記仮想スピーカ（２２；２２ａ〜ｄ）を含む第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）を得るステップと、
前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の他のスピーカへのエネルギー分配を計算するステップと、
前記エネルギー分配を繰り返し、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）から前記第１スピーカセットアップ（１４；１４−１）へのダウンミックスのためのダウンミックス情報（３６）を得るステップと、
前記ダウンミックス情報（３６）を使用して前記複数のオーディオチャネル（１２；１２−１；１２−２）を生成するステップと、
を含む方法。
【請求項１７】
コンピュータ上で作動するとき、請求項１６に従って第１スピーカセットアップ（１４；１４−１）のための複数のオーディオチャネル（１２；１２−１；１２−２）を生成する方法を実行するための、プログラムコードを有するコンピュータプログラムが格納された非一時的記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ラウドスピーカセットアップのための複数のオーディオチャネルを生成する装置及び方法に関するものである。
【背景技術】
【０００２】
空間オーディオ符号化及び復号化のハードウエア及びソフトウエアは当業界において周知であり、例えばＭＰＥＧ−サラウンド標準内で標準化されている。空間オーディオシステムは、幾つかのラウドスピーカと個別のオーディオチャネル、例えば左チャネル、中央チャネル、右チャネル、左サラウンドチャネル、右サラウンドチャネル、及び低周波強化チャネルとを含む。各チャネルは、通常個別のラウドスピーカによって再生される。出力セットアップにおけるラウドスピーカの配置は、典型的には固定されており、例えば５．１フォーマット、７．１フォーマットなどに依存している。個別のフォーマットに依存して、ラウドスピーカの位置は定義される。幾つかのセットアップは、リスナーの位置の上方にラウドスピーカ位置を定義している。このラウドスピーカはまた、Voice-of-God (神の声：ＶｏＧ)とも呼ばれる。幾つかのセットアップは、またリスナーの下方の位置でラウドスピーカを定義してもよい。それぞれ、このラウドスピーカはVoice-of-Hell (地獄の声：ＶｏＨ)とも呼ばれ得る。ラウドスピーカセットアップのラウドスピーカ用のオーディオ信号を定義するオーディオチャネルを生成するために、ベクトルベース振幅パニング（ＶＢＡＰ）法が用いられても良い。ＶＢＡＰは、スピーカセットのラウドスピーカを指し示すＮ個の単位ベクトルｌ1，・・・，ｌNを使用する。スピーカセットが３次元音響シーンを再生するよう構成されている場合には、そのスピーカセットは３Ｄスピーカセットと呼ばれる。デカルト単位ベクトルｐによって与えられるパニング方向は、これらラウドスピーカベクトルの線形結合によって定義される。
【０００３】
【数１】
2017507621.tif 000003
ここで、ｇnはｌNに適用されるスケーリングファクタを示す。Ｒ3において、ベクトル空間は３つのベクトルベースによって形成される。よって、もしアクティブスピーカの数、つまり非ゼロのスケーリングファクタの数が３に制限されている場合には、（１）式は一般に行列反転によって解法され得る。実際、ラウドスピーカ間に三角形からなるメッシュを画定し、かつその間の領域についてこれら３要素を選択することによって実行される。これは、次式のように適用されるべきスケーリングファクタの解をもたらし得る。
【０００４】
【数２】
2017507621.tif 000004
ここで、｛ｎ1，ｎ2，ｎ3｝は、３つのアクティブスピーカを示す。最後に、パワー（羃）正規化された出力信号を確保する正規化が、最終のパニングゲインａ1，・・・，ａNをもたらす。
【数３】
2017507621.tif 000005
【０００５】
ＭＰＥＧ−Ｈ復号器内に含まれるオブジェクトレンダラーは、所与のラウドスピーカ構成について、オーディオオブジェクトをレンダリングするためにＶＢＡＰを使用する。もしラウドスピーカセットアップが９．１スピーカセットアップのように、Ｔ０（“Voice-of-God”）ラウドスピーカを含まない場合には、リスナーの位置に対して３５°より大きな仰角を持つオブジェクトは、上側ラウドスピーカのデフォルト仰角である３５°の仰角に制限される。このような解決策は、現実的ではあるが、他方、再生される音響シーンを変化させる可能性もあるため、明らかに最適とは言えない。
【０００６】
９．１スピーカセットアップ、つまり９．１フォーマットに従うスピーカセットアップでは、上側半球を２つの三角形に分割するという代替案は非対称という結果をもたらすであろうし、リスナーの直上方にあるオブジェクトは２つの対向するラウドスピーカによって再生されるであろう。その結果として、スピーカセットアップの対称性にもかかわらず、例えば上側前方右側から上側後方左側へと動くようなオーディオオブジェクトは、そのオブジェクトが上側前方左側から上側後方右側へと動く場合とは異なって聞こえるであろう。このジレンマに対する解決策は、上側半球内に含まれるオブジェクトについて全ての上側ラウドスピーカが関与する、Ｎワイズパニングを使用することである。３個のラウドスピーカからＮ個のラウドスピーカへとＶＢＡＰパニングを拡張することは、Ｎワイズパニングと称される。近隣スピーカ間の関係は、例えばＭＰＥＧ復号器によって計算される各三角形の各エッジによって特定されるグラフによって与えられ得る。これらの三角形は、例えばＮ個の頂点を持つ１つ以上の多面体を形成することによって取得され得る。１つの頂点は１つのスピーカによって形成されてもよい。各三角形は多面体の外表面から形成されてもよい。
【０００７】
ＶＢＡＰパニング法は、全ての立体角について適切な三角形分割（triangulation）を必要とする。現在のＭＰＥＧ−Ｈ  ３Ｄ参照ソフトウエアでは、三角形分割は事前に計算され、固定数のスピーカセットアップについて集計された形式で付与される。これにより、現時点では、サポートされるスピーカセットアップが、所与のセットアップ又は配置が僅かに異なるセットアップだけに限定されてしまう。
【０００８】
ラウドスピーカ位置を定義しているオブジェクトフォーマットは、ユーザー例えばリスナーに対し、これら定義された位置にラウドスピーカを配置するよう誘導する。そのような要求は、例えばラウドスピーカがリスナーの回りに円形又は円弧状に配置するよう定義されている場合には、満足することが難しくなるかもしれない。幾人かのユーザー、特にフラットに居住しているユーザーは、ラウドスピーカセットアップを有する居室が円形ではなく長方形であり、ユーザーがラウドスピーカを部屋の中央ではなく壁際に配置したいと望むので、そのようなセットアップを修正変更するよう要求する。
【０００９】
したがって、例えば、オーディオ復号化概念にとって、より柔軟性のあるラウドスピーカセットアップを可能とすることが必要となる。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】[1]Barber, C. Bradford; Dobkin, David P.; Huhdanpaa, H., “The quickhull algorithm for convex hulls,” ACM Transactions on Mathematical Software, vol. 22, no 4, pp. 469-483, 1996.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、オーディオ符号化のためのより柔軟性のある装置及び方法のための概念を提供することにある。
【課題を解決するための手段】
【００１２】
この目的は、独立項の主題によって解決される。
【００１３】
本発明のさらに有利な修正は、従属項の主題である。
【００１４】
本発明の実施形態は、第１スピーカセットアップのために複数のオーディオチャネルを生成する装置に関する。この装置は、第１スピーカセットアップに含まれない仮想スピーカ(imaginary speaker)の位置を決定するための仮想スピーカ決定部を含む。仮想スピーカの位置を決定することによって、仮想スピーカを含む第２スピーカセットアップが得られる。この装置は、仮想スピーカから第２スピーカセットアップ内の他のスピーカへのエネルギー分配（energy distribution）を計算するためのエネルギー分配計算部をさらに含む。この装置は、エネルギー分配を繰り返して、第２スピーカセットアップから第１スピーカセットアップへのダウンミックスのためのダウンミックス情報を得るためのプロセッサをさらに含む。この装置のレンダラーは、ダウンミックス情報を用いて複数のオーディオチャネルを生成するよう構成されている。
【００１５】
仮想の、つまり想像上の（ラウド）スピーカの位置を決定することによって、所定のフォーマットのためにフォーマットされた動画の３Ｄオーディオデータのようなオーディオデータは、あたかも現実のセットアップ（第１セットアップ）が幾つかのラウドスピーカ及び／又はそれらラウドスピーカの位置に関して、所定の構成と合致するかのように処理され得る、という事実を本発明者らは発見した。現実のラウドスピーカを制御するために、仮想の第２セットアップがエネルギー分配に従ってダウンミックスされ、その結果、第１セットアップ（現実に構成されるセットアップ）があたかも第２セットアップ（例えばあるフォーマットによって定義されるセットアップ）であったかのように制御され得る。
【００１６】
これにより、例えば個々のフォーマットによって定義されたオーディオチャネルを、リスナーの家で実現されたラウドスピーカの現実のセットアップへと適応させることが可能になる。
【００１７】
本発明のさらなる実施形態は、プロセッサがエネルギー分配に基づいてエネルギー分配行列を生成するよう構成された装置に関する。エネルギー分配行列の要素は、仮想スピーカから他のスピーカへのエネルギー分配を表現してもよい。プロセッサはエネルギー分配行列のパワー（羃）を計算するよう構成されている。エネルギー分配行列のパワーは、取得された行列の要素を、これら要素がさらなる処理においては無視できるように、所定の閾値へと減少又は収束させる。その結果、エネルギー分配行列のパワーに基づいて、ダウンミックス情報が取得されてもよい。このダウンミックス情報は、第２スピーカセットアップをシミュレートしている第１スピーカセットアップのラウドスピーカをどのように制御するかを示している。
【００１８】
本発明のさらなる実施形態は、近隣関係推定部(neighborhood estimator)を含むエネルギー分配計算部をさらに含む装置に関する。この近隣関係推定部は、仮想スピーカの近隣にある少なくとも１つのスピーカを決定するよう構成されている。エネルギー分配計算部は、仮想スピーカの少なくとも１つの近隣スピーカ(neighbor)に対する仮想スピーカのエネルギー分配を計算するよう構成されている。
【００１９】
仮想スピーカの近隣スピーカを決定することによって、第２ラウドスピーカセットアップがあるフォーマットのような所定のセットアップに従って構成され得るように、個々の仮想スピーカが任意の位置に配置されることが可能になる。さらなる利点は、近隣関係推定を繰り返したとき、変化する第１スピーカセットアップのために複数のオーディオチャネルが生成され得るという点である。それ故、同じ現実のラウドスピーカセットアップが、例えばある時は５．１マルチチャネル信号を再生し、別の時は７．１マルチチャネル信号を再生するよう適応され得る。
【００２０】
さらなる実施形態は、近隣関係推定部が仮想スピーカの近隣にある少なくとも２つのスピーカを決定するよう構成され、仮想スピーカの近隣にある少なくとも２つのスピーカの間のエネルギー分配が、所定の許容範囲の中で等しい、つまり均一に分布されているように、エネルギー分配計算部がエネルギー分配を計算するよう構成された、装置に関する。この所定の許容範囲とは、均一に分散された値の例えば０．１％、１％、又は１０％の偏差であってもよい。
【００２１】
近隣スピーカ内で均一に分配されたエネルギーを計算することによって、エネルギー分配行列のパワー（羃）は確実に収束することができ、それにより、ダウンミックス情報の独特の結果が得られるようになる。
【００２２】
本発明のさらなる実施形態は、近隣関係推定部が仮想スピーカの近隣にある少なくとも２つのスピーカを決定するよう構成され、仮想スピーカの近隣にある少なくとも２つのスピーカの少なくとも１つが仮想スピーカである、装置に関する。その利点は、たとえ第１スピーカセットアップが２つ以上のスピーカによって第２スピーカセットアップとは異なっていても、ダウンミックス情報が得られ得ることである。
【００２３】
本発明のさらなる実施形態は、オーディオ復号器のフォーマット変換ユニットの一部である装置に関し、それにより、例えば第１スピーカセットアップを制御するためオーディオ復号器によって提供された幾つかのチャネルが、個々のフォーマットについて、より多数の又は最大数（例えばＭＰＥＧ−Ｈのような標準によってサポートされた最大数）のオーディオチャネルから実際に存在するラウドスピーカの個数までダウンミックスされるようになる。
【００２４】
さらなる実施形態は、オーディオ復号器のオブジェクトレンダラーの一部である装置に関し、その装置はパンナーを含み、オブジェクトレンダラーが第１ラウドスピーカセットアップに従って幾つかのオーディオトチャネルを提供するよう適応される。
【００２５】
さらなる実施形態は、第１スピーカセットアップの妥当性情報（validity information）を提供するよう構成された装置に関する。
【００２６】
この実施形態の利点は、本装置が、例えばユーザーによって例えば家庭で実装される第１スピーカセットアップが適切なオーディオチャネルを供給され得るか否かを示し、又は、妥当性情報が、例えばラウドスピーカがスピーカ位置の許容範囲のような要件に合致するよう再配置されるべきか否かを示し得る点である。
【００２７】
さらなる実施形態は、１つのスピーカセットアップのための複数のオーディオチャネルを生成する装置と、その装置によって提供された複数のオーディオチャネルに従う複数のラウドスピーカとを含むオーディオシステムに関する。
【００２８】
その実施形態の利点は、例えば３Ｄ音響シーンを構成するためのオーディオシステムが実現されうることである。
【００２９】
本発明のさらなる実施形態は、第１スピーカセットアップのための複数のオーディオチャネルを生成する方法と、コンピュータプログラムとに関する。
【００３０】
以下に、本発明の実施形態について添付の図面を参照しながら詳細に説明する。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に従う、第１スピーカセットアップのための複数のオーディオチャネルを生成する装置の概略ブロック図を示す。
【図２】本発明の一実施形態に従う、第１ラウドスピーカセットアップを形成する実際のスピーカと仮想スピーカとを含む例示的な第２スピーカセットアップの概略図を示す。
【図３】上方から見た透視図において、２次元平面に投影された図２の第２スピーカの概略図を示す。
【図４ａ】本発明の一実施形態に従う、位置４２に対する第１ラウドスピーカセットアップ１４−１の斜視図を示す。
【図４ｂ】図４ａの構成の平面図を示す。
【図５ａ】図４ａの第１スピーカセットアップと、円周上に形成され本発明の一実施形態に従う第２スピーカセットアップを形成する追加的な仮想スピーカと、の概略斜視図を示す。
【図５ｂ】図５ａのシナリオにおける平面図を示し、円４８の丸い形状を示す。
【図６】第１スピーカセットアップと仮想スピーカとを含む第２スピーカセットアップにおける斜視図を示す。仮想スピーカの位置は、本発明の一実施形態に従って計算された球面上に位置している。
【図７】図２に従う第２ラウドスピーカセットアップの概略図を示し、平面レイヤに対して直交するレイヤは、本発明の一実施形態に従うスピーカの近隣関係を明確化するために示されている。
【図８】本発明の一実施形態に従う装置の２つの選択肢を示すオーディオ復号器の概略ブロック図を示し、そのオーディオ復号器はＭＰ４信号を復号化するために使用されて複数のオーディオ信号を取得する。
【図９】図８における第１選択肢として言及される装置の概略ブロック図である。
【図１０】図８における第２選択肢として言及されるフォーマット変換ブロック１７２０の概略ブロック図である。
【図１１】オーディオシステムの概略ブロック図を示す。
【発明を実施するための形態】
【００３２】
同一若しくは同等の構成要素又は同一若しくは同等の機能を有する構成要素は、異なる図面の中に記載されている場合でも、以下の説明において、同一若しくは同等の参照符号を用いて示されている。
【００３３】
以下の説明において、本発明の実施形態をより完全に説明するために、多くの詳細が述べられる。しかしながら、本発明の実施形態がこれらの特別な詳細なしでも実施可能であることは、当業者には自明であろう。他の例において、公知の構造及び装置は、本発明の実施形態の不明瞭さを防止する目的で、詳細よりもブロック図の形式で示されている。加えて、以下に記載する異なる実施形態の各特徴は、特に組合せ不可能の記載がない限り、互いに組み合せられてもよい。
【００３４】
図１は、第１スピーカセットアップ１４のための複数のオーディオチャネル１２を生成する装置１０の概略ブロック図を示す。第１ラウドスピーカセットアップ１４は、幾つかのラウドスピーカ１６ａ〜１６ｃを含む。ラウドスピーカ１６ａ〜１６ｃは、例えばリスニングルーム内に配置されてもよく、再生システムの一部分、例えば映画館又はホームシネマアプリケーションの一部であってもよい。第１スピーカセットアップ１４は、現実に実在している。装置１０は、第１ラウドスピーカセットアップ１４に含まれない仮想スピーカ２２の位置を決定するための仮想スピーカ決定部１８を含む。仮想スピーカ決定部１８は、仮想スピーカ２２を含む第２スピーカセットアップ２４を取得するよう構成されている。第２スピーカセットアップ２４は、第１ラウドスピーカセットアップ１４のラウドスピーカ１６ａ〜１６ｃの幾つか又は全てを含む。仮想スピーカ決定部１８は、仮想スピーカ２２が、あるフォーマットによって定義された位置に従った位置であって、１つのスピーカが配置されるべきであるが実際には配置されていない位置に配置されるように、仮想スピーカ２２の位置を決定するよう構成されてもよい。仮想スピーカ決定部１８により実行される決定は、セットアップ１４及び２４によって共有され若しくはそれらセットアップの中で同位置にあるスピーカの個数が最大化されるように、又は２つのセットアップ１４及び２４の最近隣のスピーカ同士間の平均距離が最小化されるように制御されてもよく、又は、ユーザーによって手動で制御されてもよい。
【００３５】
装置１０は、仮想スピーカ２２から第２スピーカセットアップ内の他のスピーカへのエネルギー分配を計算するためのエネルギー分配計算部２６を含む。代替的又は追加的に、仮想スピーカ決定部１８は、仮想スピーカ２２が「変位された」スピーカ１６ａ〜１６ｃに近く配置されるように、仮想スピーカ２２の位置を決定するよう構成されてもよく、それにより仮想スピーカは変位から生じる音響効果を修正することができる。
【００３６】
例えば、第１スピーカセットアップ１４が５．１、７．１、９．１、１１．２等のオーディオフォーマットに従うラウドスピーカ構成又はラウドスピーカセットアップを部分的に構築している場合には、仮想スピーカ２２は構築されるべきフォーマットに関して第１ラウドスピーカセットアップ１４において欠落しているスピーカであってもよい。
【００３７】
エネルギー分配とは、第２スピーカセットアップ２４内の他のスピーカへ分配されている仮想スピーカ２２のエネルギーの量又は割り当てを表している。換言すれば、エネルギー分配とは、仮想スピーカ２２のエネルギーが、第２ラウドスピーカセットアップ２４の残りのスピーカの中で割り当てられたときのエネルギーを示している。
【００３８】
装置１０はさらにプロセッサ２８を含む。プロセッサ２８は、ブロック３２によって示されるようにエネルギー分配を繰り返して、ブロック３４内でＭによって示されるようにダウンミックス情報３６を得るよう構成されている。このダウンミックス情報は、第２スピーカセットアップ２４のオーディオチャネルを第１スピーカセットアップ１４へとダウンミックスするために使用されてもよい。換言すれば、ダウンミックス情報３６は、第１ラウドスピーカセットアップ１４のラウドスピーカ１６ａ〜１６ｃの制御を可能とし、その結果、仮想スピーカ２２が現実のスピーカであれば少なくとも部分的に達成されるであろう音響シーンを取得可能にする。
【００３９】
装置１０は、ダウンミックス情報３６を使用して複数のオーディオチャネル１２を生成するためのレンダラー３８を含む。レンダラー３８は、入力信号又は入力信号のセット３９、例えば第２スピーカセットアップ２４に対応し又は第２スピーカセットアップによって再生されるべく専用となっている幾つかのオーディオチャネルに対し、ダウンミックス情報３８を適用するよう構成されている。レンダラー３８は、ダウンミックス情報３６を使用して、第２スピーカセットアップ２４から第１スピーカセットアップ１４へのダウンミックス３６を取得するよう構成されている。換言すれば、レンダラー３８は、仮想セットアップ２４の（仮想の）オーディオチャネル３９を現実の第１セットアップ１４の現実のオーディオチャネル１２へとダウンミックスすることによって、複数のオーディオチャネル１２を決定するよう構成されている。
【００４０】
この実施形態の利点は、ラウドスピーカ１６ａ〜１６ｃがより広範なセットアップにマッチする場合に得られるであろう音響シーンが、ラウドスピーカ１６ａ〜１６ｃによって少なくとも部分的に生成される可能性があることである。このようにして、たとえ１つ以上のラウドスピーカ、例えばサラウンドスピーカが現実の第１スピーカセットアップ１４において欠落していても、あるフォーマットの音響シーン、例えば３Ｄフォーマットが実現できる可能性がある。
【００４１】
装置１０によって解決されるべき課題は、たとえあるフォーマットに関して妥当でない３Ｄセットアップであっても、例えば任意のスピーカセットアップにおいて３Ｄオーディオオブジェクトをレンダリングすることかもしれない。仮想スピーカを使用しても、現実のスピーカを含まない方向から音は生成されないが、妥当な解決策として認識され得る、スピーカを制御するための確定的解決策が（例えば自動的に）提供される。例えば、サラウンド左スピーカが存在しない場合に、前右チャネルを介するよりも前左チャネルを介してさらに大きな割り当てをもって、サラウンド左チャネルが再生されるとき、これが適用される。よって、この提案した装置及び方法は、フォールバック解決策（fallback solution）という意味でＭＰＥＧ−Ｈに好適である。
【００４２】
代替的又は追加的に、第２スピーカセットアップ２４の少なくとも１つの仮想スピーカの数、及び／又は、仮想スピーカ２２及び／又はさらなる仮想スピーカの位置が、例えば表形式又はデータベースに含まれてもよい所定位置に従って決定されてもよい。代替的又は追加的に、仮想スピーカ２２及び／又は少なくとも１つのさらなる仮想スピーカの位置は、第１スピーカセットアップ１４及び／又は第２スピーカセットアップ２４のスピーカ間の距離が実質的に等距離、又はオーディオフォーマット若しくは標準に対応するように、決定されてもよい。
【００４３】
換言すれば、装置１０はＶＢＡＰパンナー又はそれに匹敵するパニング方法を使用する以下の構成要素を含んでも良い。
１．欠落し、及び／又は必要なラウドスピーカ位置を決定する構成要素
２．これら仮想スピーカの近隣スピーカを決定する構成要素
３．「エネルギー分配」の方法を使用してダウンミックスを実現し、かつ任意にはエネルギー正規化を実行する構成要素
【００４４】
つまり、例えばＣＤなどのデータ記憶手段に格納された音響シーンが６つのオーディオチャネルを含み、第１スピーカセットアップが２つのスピーカを含む場合には、この装置は欠落したラウドスピーカを決定するよう構成されてもよい。
【００４５】
「エネルギー分配行列」Ｍは、実質的な寄与とみなされてもよく、個々のエネルギーの個々の近隣スピーカへの分配を定義している。エネルギー分配行列は一定値を持つ縦列を含む必要はない。代替として、他の値を持つ構成もまた可能である。合計すると１になるように縦列の値を定義することが望ましい場合もある。エネルギー分配行列は、例えば図３に示されるようなエネルギー分配グラフに基づいていても良い。
【００４６】
図２は、第１ラウドスピーカセットアップ１４−１を形成しているスピーカ１６ａと１６ｂとを含む例示的な第２ラウドスピーカセットアップ２４−１の概略図を示す。第２スピーカセットアップ２４−１は４つの仮想スピーカ２２ａ〜ｄを含む。第２スピーカセットアップ２４−１は、仮想スピーカ決定部１８であり得る仮想スピーカ決定部によって決定された結果であってもよく、リスナーの位置４２に対して３Ｄ音響シーンを再生するための可能なスピーカセットアップであってもよい。第１スピーカセットアップ１４−１が、例えば位置４２から見て前方の壁に位置するステレオ構成である場合には、スピーカ１６ａはステレオ構成の左スピーカとして示され、スピーカ１６ｂは右スピーカとして示され得る。仮想スピーカ決定部は、オーディオフォーマットのようなプリセットを行うよう構成されてもよい。スピーカ１６ａと１６ｂの位置がオーディオフォーマットの予め定義された位置と可能な許容範囲内で合致している場合には、仮想スピーカ決定部は、スピーカ１６ａ、１６ｂの場所を予め定義された場所へと一致させることによって、仮想スピーカ２２ａ〜ｄの位置を決定するよう構成されてもよい。スピーカ１６ａ、１６ｂによって占められていない場所は、仮想スピーカ２２ａ〜ｄの場所として決定されてもよい。許容範囲は、５ｃｍ、５０ｃｍ、若しくは５ｍ、又は第１若しくは第２スピーカセットアップ１４−１若しくは２４−１の空間の１％，１０％，若しくは３０％のような絶対値であってもよい。
【００４７】
第２スピーカセットアップ２４−１が、仮想の上側スピーカ（Voice-of-God：ＶｏＧ)２２ａ、位置４２の下側に配置された下側スピーカ（Voice-of-Hell：ＶｏＨ)２２ｂ、仮想サラウンド左（ＳＬ）スピーカ２２ｃ、及び仮想サラウンド右（ＳＲ）スピーカ２２ｄを含んでいてもよい。仮想スピーカ２２ａ〜ｄは「ｌ」で目印が付けられている。代替的に、第１及び／又は第２のスピーカセットアップ１４−１及び／又は２４−１は、異なる数の現実の又は仮想のスピーカ１６ａ〜ｂ及び／又は２２ａ〜ｄを含んでも良い。現実の及び／又は仮想のスピーカは、図示された場所とは異なる場所に配置されてもよい。
【００４８】
例えば、平面サラウンドセットアップ、つまりVoice-of-God及びVoice-of-Hellスピーカを有しないセットアップは、平坦なレイヤ４４内に全てのスピーカがあるように定義されてもよい。リスニングルームの特性、又はＴＶスクリーンや窓などの他のオブジェクトの存在のような事情により、ラウドスピーカ１６ａ、１６ｂ及び／又は２２ｃ〜ｄは、上側レイヤ４６ａ及び／又は下側レイヤ４６ｂによって示された許容範囲内に配置されてもよく、それらレイヤは、ラウドスピーカ１６ａ、１６ｂ及び／又は２２ｃ、２２ｄが配置され得る許容範囲の上側境界及び／又は下側境界を定義している。レイヤ４６ａ、４６ｂは、例えば位置４２のラウドスピーカ１６ａ、１６ｂ及び／又は２２ｃ、２２ｄに対する最大角度によって定義されてもよい。例えば、スピーカ１６ａ、１６ｂはそれぞれ、５°以下、１０°以下、２０°以下、又は４５°以下の角度αを持っていても良い。スピーカ１６ａ、２２ｃはレイヤ４４に配置され、スピーカ１６ｂはレイヤ４６ａに配置され、スピーカ２２ｄはレイヤ４６ｂに配置されている。代替的又は追加的に、スピーカはレイヤ４６ａと４４との間、及び／又は４４と４６ｂとの間に配置されてもよい。換言すると、第１及び／又は第２のスピーカセットアップ１４−１及び／又は２４−１は、平面セットアップとして称される場合に、異なるレイヤに配置されてもよい。
【００４９】
仮想スピーカ２２ｂ（ＶｏＨ)は位置４２の直下方に配置されている。仮想スピーカ２２ａ(ＶｏＧ)は、位置４２の上方の空間によって定義される上側半球内に配置されている。仮想スピーカ２２ａは前スピーカ１６ａ，１６ｂとの関係において位置４２の前方に配置されている。換言すると、位置４２に対して、仮想スピーカ２２ａは幾何学的平面（レイヤ４４）の第１側に配置され、仮想スピーカ２２ｂはその幾何学的平面の第１側とは反対側の幾何学的平面の第２側に配置されている。この幾何学的平面はスピーカ間の近隣関係を分離するよう構成されてもよい。例えば、スピーカ１６ａ、１６ｂ、２２ｃ及び２２ｄは、仮想スピーカ２２ａ及び２２ｂの近隣スピーカといえる（逆もまたあり得る）。境界４６ａ、４６ｂを含む幾何学的平面（レイヤ４４）によって分離された場合には、仮想スピーカ２２ａ、２２ｂは「近隣スピーカなし」として記述され得る。
【００５０】
仮想スピーカ２２ａ〜ｄ間の矢印は、仮想スピーカ２２ａ〜ｄから、第２セットアップ２４−１の個々のスピーカ２２ａ〜ｄの近隣にある隣接するスピーカへの可能なエネルギー分配を示している。エネルギー分配は、エネルギー分配計算部２６のようなエネルギー分配計算部によって実行される。換言すると、仮想スピーカ２２ａ〜ｄの各々のエネルギーは、仮想スピーカ２２ａ〜ｄの各々の個別の近隣スピーカに対して、かつその中で分配される。２次元平面に投影されたスピーカの概略図が以下の図３で示されている。
【００５１】
図３は、上方から見た透視図において、２次元平面に投影された第１セットアップ１４−１を含む第２スピーカセットアップ２４−１の概略図を示す。図３は、仮想スピーカ２２ａ〜ｄの各々からそれらの近隣スピーカへのエネルギー分配を示す誤差を介した接続によって、仮想スピーカ２２ａ〜ｄの各々の近隣スピーカを示している。仮想スピーカの近隣スピーカは、エネルギー分配計算部２６のようなエネルギー分配計算部の一部、又は仮想スピーカ決定部１８のような仮想スピーカ決定部の一部であり得る近隣関係推定部によって決定されてもよい。代替的に、近隣関係推定部は、仮想スピーカ決定部とエネルギー分配計算部との間に配置されていてもよい。
【００５２】
仮想サラウンド左（ＳＬ）スピーカ２２ｃは４つの近隣スピーカ、すなわち、前左（ＦＬ）スピーカ１６ａ、ＶｏＧスピーカ２２ａ、サラウンド右（ＳＲ）スピーカ２２ｄ、及びＶｏＨスピーカ２２ｂを持つ。仮想スピーカ２２ａ〜ｄの各々のエネルギーは、仮想スピーカ２２ａ〜ｄからその近隣スピーカへと分配され、そのエネルギー分配はエネルギー分配係数ｄxyによって表され、ここでｘは分配されたエネルギーの起源を示し、ｙは分配されたエネルギーの受け取りスピーカを示す。前左スピーカ１６ａは指数１で示され、前右スピーカは指数２で示され、ＶｏＧスピーカ２２ａは指数３で示され、ＶｏＨスピーカ２２ｂは指数４で示され、サラウンド左スピーカ２２ｃは指数５で示され、サラウンド右スピーカ２２ｄは指数６で示されている。
【００５３】
エネルギー分配係数ｄxyの各々は、エネルギー分配計算部によって独立して決定されてもよい。一実施形態によれば、エネルギー分配係数は２つの隣接するスピーカ間の距離に従って決定され又は計算される。代替的な実施形態によれば、エネルギー分配つまりエネルギー分配係数ｄxyは、エネルギーが均一に分配されるように計算される。この例示的なセットアップの中では仮想スピーカ２２ａ〜ｄは４つの近隣スピーカを有するので、例えば１／４の等しいエネルギー分配係数に帰結してもよい。
【００５４】
換言すれば、この近隣関係グラフから開始して、エネルギー分配グラフとして示されてもよい重み付きかつ指向性を持つグラフが作成され得る。重み、つまりこのグラフのエネルギー分配係数ｄxyは、仮想ノード（スピーカ）２２ａ〜ｄからそれらの近隣スピーカへと再分配される音響エネルギーの部分を表している。
【００５５】
エネルギー分配計算部、例えば図１に示されたエネルギー分配計算部２６は、例えばＤとして示されたエネルギー分配行列へとエネルギー分配係数を分類するよう構成されてもよい。上述の近隣関係グラフによれば、スピーカは指数ＦＬ，ＦＲ，ＶｏＧ，ＶｏＨ，ＳＬ，ＳＲの順序によって例示的に分類される。その結果としてのエネルギー分配行列Ｄは次のように形成されてもよい。
【数４】
2017507621.tif 000006
ここで、縦列および横列の数は指数１〜６に対応している。第１スピーカセットアップ１４−１において表現されたステレオセットアップは、仮想スピーカ２２ａ〜ｄを追加することによって、妥当な３Ｄスピーカセットアップへと変換されてもよい。
【００５６】
指数ｄxyは、この実施例では１／４、つまり０．２５に設定される。指数１、２、５及び６を持つスピーカ１６ａ、１６ｂ、２２ｃ、２２ｄの近隣スピーカである仮想スピーカ２２ａを表している行列Ｄの第３縦列に関してみれば、行列Ｄは横列１、２、５、６において０．２５の値を示している。
【００５７】
代替的に、仮想スピーカの近隣スピーカは、凸包（convex hull）から取得され得る三角形分割の頂点によって画定されてもよい。完全な平面サラウンドセットアップの場合、仮想スピーカの全ての近隣スピーカが実存するスピーカであれば、ダウンミックス行列の対応する縦列が各近隣スピーカについて一定値１／√Ｎを有してもよく、ここでＮは近隣スピーカの個数を示す。
【００５８】
エネルギー分配は、例えば現実のスピーカセットアップには存在しない仮想スピーカ２２ａ〜ｄが、どのようにして他のスピーカによって補償され得るかを計算するために使用されてもよい。
【００５９】
一実施形態に従う装置のプロセッサ、例えばプロセッサ２８は、エネルギー分配を繰り返すよう構成されている。プロセッサはエネルギー分配を繰り返し、仮想スピーカ例えば２２ｃ〜ｄによって仮想スピーカ２２ａを部分的に補償するためにエネルギー分配が計算されてもよく、つまり仮想スピーカ２２ａのエネルギーが仮想スピーカ２２ｃ〜ｄ及び実際のスピーカ１６ａ、１６ｂに割り当てられ又は再割り当てられる。仮想スピーカ２２ｃ〜ｄに割り当てられたエネルギー又は再割り当てられたエネルギーは、例えばプロセッサ２８によって、それらの近隣スピーカへ再分配され、その結果、エネルギー分配の繰り返しにより、仮想スピーカ２２ａ〜ｄのエネルギーは実際のスピーカ１６ａ、１６ｂへ割り当てられ、又は再割り当てられる。このことは、仮想スピーカ２２ａから再分配されるべきエネルギーを、仮想スピーカ２２ｃ〜ｄが「受け取る」ことを意味する。
【００６０】
繰り返しは、例えば行列Ｄのパワー（羃）を計算することによって実行されてもよい。プロセッサ２８は、第２スピーカセットアップ２４−１から第１スピーカセットアップ１４−１へのダウンミックスに関するダウンミックス情報を取得するよう構成されている。ダウンミックス情報を取得するために、プロセッサは次のように表現されてもよいＤのｎ乗の平方根（ｓｑｒｔ−演算子）を計算するよう構成されてもよい。
【数５】
2017507621.tif 000007
ここで、Ｄは要素として分配重みｄxyを持つエネルギー分配行列を示し、ｎは反復回数、つまり繰り返しの回数を示し、ｓｑｒｔ（・）は要素毎の平方根を示し、Ｍはダウンミックス行列として示され得る結果を示す。
【００６１】
例えば、２０回の反復すなわち繰り返しの後、つまりｎ＝２０の後、以下のようなダウンミックス行列をもたらしてもよい。
【数６】
2017507621.tif 000008
ここで、横列３、４、５、６は０の値を含み、これら値は切り捨て（rounded down）されたものである。行１と２は、仮想スピーカ２２ａ〜ｄの存在がエミュレートされるよう操作された場合に、指数１（１６ａ）及び指数２（１６ｂ）を持つスピーカについての情報を表している。
【００６２】
換言すると、エネルギー分配係数ｄxyを近隣スピーカの個数の逆数へと設定することによって、エネルギー保存が達成され、同時にアルゴリズムの収束（convergence）が確実になる可能性がある。
【００６３】
プロセッサは、ある固定値ｎについて、エネルギー分配行列Ｄのｎ乗を決定するよう構成されてもよい。代替的に、プロセッサはＤの羃乗を反復的に計算するよう構成されてもよい。プロセッサは、例えばＤをＤで乗算し、その後その結果をＤで乗算するなどして、Ｄの反復的に増大する羃を反復的に取得し、次にｓｑｒｔ演算子を適用するよう構成されもよい。羃の固定された次元についてエネルギー分配行列の羃を計算した場合に、異なる第２スピーカセットアップの再現性とその結果として得られるダウンミックス情報が取得され得る。代替的に、エネルギー分配行列Ｄの羃を反復的に計算した場合に、結果として得られる行列の要素又はｓｑｒｔ演算子の結果は、例えばある閾値と比較されてもよく、それらの要素がこのある閾値よりも低い場合には、それらの値はゼロに設定されてもよい。閾値は、例えば０．０５、０．１、０．２又はその他の任意の値であってもよい。このような方法は、適切な結果が達成されれば即座に停止されるので、より短い演算時間とより低い演算量とをもたらす可能性がある。
【００６４】
換言すると、エネルギー分配行列のｎ乗を計算することは、エネルギー分配をｎ回適用することによって実施され得る。その平方根はエネルギー値を、ダウンミックス係数という意味で信号値へと適用され得る減衰値へと変化させる。エネルギー分配行列の羃の計算によって実施される反復は、仮想ラウドスピーカに対応する全ての横列が０に変換されるという結果をもたらし得る。
【００６５】
換言すると、各反復ステップにおいて、プロセッサによって実施されるアルゴリズムは、所与の重みに従ってこれらエネルギー部分を再分配するよう適応される。仮想ノードのエネルギーの総量が所与の閾値を下回るまで、この操作が繰り返される。実存するスピーカについて再分配されたエネルギーを収集するノードの平方根は、最終的にダウンミックス行列Ｍの要素をもたらす。レンダラー３８であってもよいレンダラーは、より多数のオーディオチャネルを現実のスピーカの個数へとダウンミックスするために、ダウンミックス行列Ｍ及び／又はダウンミックス情報３９のようなダウンミックス情報を適用するよう構成されてもよい。
【００６６】
ダウンミックス行列の目的は、追加された仮想スピーカを除去するため、及び計算されたゲインを実存するスピーカへと限定するためとみなされても良い。例えば、所与のスピーカセットアップが高位スピーカ（height speakers）も後側スピーカ（rear speakers）も含まない場合には、リスナーの上方にある追加された仮想スピーカもまた、仮想の後側スピーカの近隣スピーカになるであろうし、その逆もあり得るであろう。
【００６７】
ＶＢＡＰは全てのパニング方向について、正のパニングゲインをもたらす３つの独立した基本ベクトルを必要とする。これは、３つのベクトルによって生成される座標系の原点が、多面体の内側にある必要があり、かつその表面の一部ではないことを意味する。それ故、所与のスピーカセットアップが妥当な３Ｄセットアップである場合に、全ての三角形の距離がある閾値を超えているかどうかを検査することにより、妥当性検査が実行されてもよい。レンダラーは、そのような妥当性検査と、妥当でないスピーカセットアップを取り扱う方策とを実行することにより、任意のスピーカ位置を持つ新たなスピーカセットアップをサポートするよう構成されてもよい。例えば、レンダラーは現実のスピーカの再配置を示しても良く、それにより再配置されたスピーカが仮想スピーカの妥当な位置を可能にする。
【００６８】
平面スピーカセットアップ又は如何なる後側スピーカも有しないセットアップは、明らかに妥当な３Ｄセットアップとは言えない。レンダラーは、ダウンミックスを実行することによってそのようなセットアップをサポートするための最善努力方法を提供するよう構成されてもよい。図２のセットアップ１４−１に対して、頂部と底部とにそのような非実在の仮想スピーカを追加することによって、平面セットアップは妥当な３Ｄセットアップへと転換され得るであろう。欠落位置にそのような非実在のスピーカを配置し、そのスピーカをその近隣スピーカへとダウンミックスすることによって、第１セットアップ１４−１を制御するための方策が取得され得る。
【００６９】
図４ａは、位置４２に関する第１ラウドスピーカセットアップ１４−１の斜視図を示す。以下の図５及び図６は、仮想スピーカの位置の決定を実施するための仮想スピーカ決定部の可能な方法を説明するであろう。
【００７０】
図４ｂは、図４ａの構成の平面図を示す。
【００７１】
図５ａは、仮想スピーカ２２ｂ、２２ｄと共に全体として第２スピーカセットアップ２４−２を形成している、図５ａの第１スピーカセットアップ１４−１の概略斜視図を示す。仮想スピーカ２２ｂ、２２ｄの位置は、第１スピーカセットアップ１４−１の両スピーカ１６ａ、１６ｂを含む円４８を描くことによって、例えば仮想スピーカ決定部１８のような仮想スピーカ決定部によって取得されてもよい。７．１のような幾つかのフォーマットは、円内に位置４２を持つ円上にラウドスピーカ位置を定義しているので、この方法は仮想スピーカ２２ｂ、２２ｄの位置を決定するための適切な解決法であり得る。
【００７２】
図５ｂは、図５ａのシナリオにおける平面図を示し、円４８の丸い形状を示している。例えば再生されるべき音響シーン内の音響オブジェクトをレンダリングするためのオブジェクトレンダラーの一部である仮想スピーカ決定部は、所与のセットアップについて手動で選択された三角形分割に加えて、三角形分割アルゴリズム（triangulation algorithm）を実施するよう構成されてもよい。例えば、ドローネー三角形分割（Delaunay triangulation）はこの問題に対して良好な解決策を提供するかもしれない。なぜなら、三角形分割はボロノイ図（Voronoi diagram）の双対グラフに対応するからである。代替的又は追加的に、仮想スピーカ決定部は、仮想スピーカ２２ｂ、２２ｄの個々の位置と位置４２との間の角度β1及び／又はβ2、及び／又は例えば０°のような基準角４９を考慮して、仮想スピーカ２２ｂ、２２ｄの位置を決定するよう構成されてもよい。よって、中心位置（０°）から６０°のような構成が実施されてもよい。
【００７３】
図６は、第１スピーカセットアップ１４−１と仮想スピーカ２２ｂ、２２ｄ、２２ａとを含む第２スピーカセットアップ２４−３の斜視図を示す。仮想スピーカ２２ｂ、２２ｄは、それらの位置に関して図５ａ及び５ｂで示されたものと同じである。仮想スピーカ２２ａの位置は、例えば円４８に基づいた球面５２を計算することによって発見されてもよい。球面５２は、例えばスピーカ１６ａ、１６ｂ、２２ｃ及び２２ｄ又は第１スピーカセットアップ１４−１（所与の頂点集合）の凸包を計算することによって、計算されてもよい。この凸包は、例えば非特許文献１に記載のように、O(N*log(N))の平均演算量とO(N2)の最悪計算量とを有するQuickHullアルゴリズムによって決定されてもよく、ここでＯは演算量の度数（degree of complexity）を示す。QuickHullアルゴリズムは、スピーカの近傍物について言及する情報を提供するよう適応される。代替的実施形態は、例えば分割統治法(Devide and Conquor algorithm)やギフト包装法(Gift Wrap algorithm)のような他のアルゴリズムを使用する。
【００７４】
QuickHullアルゴリズムはかなり簡易であり、かつ全ての頂点つまりスピーカが１つの球面上に配置されるという事実により、さらに簡易化され得る。簡易なアルゴリズムは、参照ソフトウエアのような現存する枠組みへの組み込みを可能にする。三角形分割アルゴリズムを利用することによって、MPEGフォーマットに従い要求される三角形は、全ての表面が必要であれば三角形にサブ分割されるような多面体を形成することによって取得され得る。全ての頂点、つまりラウドスピーカ位置が球面上に許容範囲をもって配置されるので、ドローネー解決法は所与の頂点集合の凸包を計算することによって発見され得る。 
【００７５】
本発明の一実施形態に従って複数のオーディオチャネルを生成する装置は、第１スピーカセットアップ１４−１のラウドスピーカの位置の妥当性を決定するよう構成されている。例えば第１スピーカセットアップが３つ以上のラウドスピーカを含む場合には、仮想スピーカ決定部は、全てのラウドスピーカが円環路上にある許容範囲をもって配置されているかどうか、又はラウドスピーカが位置４２に関して１つのレイヤ内にある許容範囲をもって配置されているかどうかを決定するよう構成されてもよい。
【００７６】
換言すれば、例えばドローネー三角形分割に従う空円特性（empty circle property）が三角形分割にとって十分な条件であるかも知れない。この条件は、他の頂点つまりラウドスピーカが、どの三角形の外接円内にも配置されていないことを必要とする。頂点は１つの球面上に配置されているので、この条件に違反する頂点は、考慮対象の表面の外側に配置されるであろうし、外殻はこの領域において凸状とはならないであろう。結果として、QuickHullアルゴリズムのような凸包アルゴリズムは、スピーカセットアップの妥当性についての情報を提供し得る、ドローネー三角形分割の十分な「空円」条件を満たす。追加的に、仮想スピーカ決定部、又は、例えば近隣関係推定部は、ドローネー三角形分割及び／又は凸包を提供するアルゴリズムに従って、仮想スピーカの位置又は近隣関係を決定するよう構成されてもよい。
【００７７】
QuickHullアルゴリズムは、例えばvoice-of-godを有する又は有しない３Ｄセットアップに対し、Ｎワイズパニングを適用するよう使用されてもよい。QuickHullアルゴリズムを使用することによって、任意の３Ｄスピーカセットアップについて三角形分割法が提供されることができ、任意の（妥当でない場合も含めて）スピーカセットアップがこの提案されたエネルギー分配方法を使用してサポートされることができる。
【００７８】
上側ラウドスピーカレイヤの上方にあるオーディオオブジェクトについて、セットアップがvoice-of-godを含まない場合に、参照モデル０（ＲＭ０）において実施されるように仰角を制限することに代えて、例えば１つ又は全ての高位スピーカ（elevated speakers）が使用されてもよい。これはＮワイズパニングによって実行され得る。追加的な演算量は無視できる程小さくできる。
【００７９】
それ故、所与のセットアップについて、例えば、音響オブジェクトをレンダリングするための個々のオブジェクトレンダラーが、手動で選択された三角形分割に加えて三角形分割アルゴリズムを含む場合にも、任意の３Ｄスピーカセットアップがサポートされ得る。それら所与のセットアップは、ラウドスピーカセットアップによって再現されるそれぞれのフォーマットによって定義され得る。
【００８０】
図７は、図２に従う第２ラウドスピーカセットアップ２４−１の概略図を示し、そこではレイヤ４４に対して直交するレイヤ５４が示されている。スピーカ１６ａ、１６ｂは幾何学的平面５４の第１側に配置されている。仮想スピーカ２２ｂ、２２ｄは幾何学的平面５４の第１側とは反対側に配置されている。仮想スピーカ２２ａは幾何学的平面５４の第１側に沿って配置されている。
【００８１】
仮想スピーカをスピーカ１６ａ及び／又は１６ｂの側とは幾何学的平面５４の反対側に配置することによって、３次元音響シーンが所定のリスナー位置４２において再生され得る。簡単に言えば、第２スピーカセットアップ２４−１は、リスナーの前方（スピーカ１６ａ、１６ｂ）と、リスナーの後方（スピーカ２２ｂ、２２ｄ）と、リスナーの下方（スピーカ２２ｂ）と上方（スピーカ２２ａ）とに、スピーカをエミュレートする。
【００８２】
図８は、ＭＰ４信号を復号化して複数のオーディオ信号１２−１を取得するために使用され得るような、オーディオ復号器の概略ブロック図を示す。
【００８３】
後処理部１７００はバイノーラルレンダラー１７１０又はフォーマット変換器１７２０として実施され得る。代替的に、データ１２０５の直接出力、つまりオーディオチャネルは、１７３０として示されるように実施されてもよい。従って、復号器内の処理は、２２．２や３２のような最大数のチャネルに対して柔軟性を持つよう実行し、その後より小さいフォーマットが必要な場合には後処理を行うことが望ましい。
【００８４】
オブジェクト処理部１２００は、ＳＡＯＣデコーダ（ＳＡＣ＝空間オーディオ符号化）１８００を含んでも良く、このＳＡＯＣデコーダはコアデコーダと関連するパラメトリックデータとによって出力された１つ以上のトランスポートチャネルを復号化し、解凍されたメタデータ（decompressed metadata）を使用して複数のレンダリング済みオーディオオブジェクトを得るよう構成されている。この目的で、ＯＡＭ出力がボックス１８００に接続されている。
【００８５】
さらに、オブジェクト処理部１２００は、オブジェクトレンダラー１２１０によって示されるように、コアデコーダによって出力された復号化済みオブジェクトをレンダリングするよう構成されており、その復号化済みオブジェクトは、ＳＡＯＣトランスポートチャネルに符号化されたものではなく、典型的には単一チャネル化された要素に個別に符号化されたものである。さらに、復号器は、ミキサーの出力をラウドスピーカへ出力するための出力１７３０に対応する出力インターフェイスを備えている。
【００８６】
オブジェクト処理部１２００は、１つ以上のトランスポートチャネルと、符号化済みオーディオオブジェクト又は符号化済みオーディオチャネルを表す関連するパラメトリックサイド情報とを復号化するための、空間オーディオオブジェクト符号化デコーダ１８００を備えても良く、この空間オーディオオブジェクト符号化デコーダは関連するパラメトリックサイド情報と解凍されたメタデータとを、例えばＳＡＯＣの初期バージョンにおいて定義されているように、出力フォーマットを直接的にレンダリングするために使用可能な変換済みパラメトリックサイド情報へと変換するよう構成されている。後処理部１７００は、復号化済みトランスポートチャネルと変換すみパラメトリックサイド情報とを使用して、出力フォーマットのオーディオチャネルを計算するよう構成される。後処理部によって実行される処理は、ＭＰＥＧサラウンド処理と同様であり得るか、又はＢＣＣ処理等のような他の如何なる処理と同様であり得る。
【００８７】
オブジェクト処理部１２００は、（コアデコーダによって）復号化されたトランスポートチャネルとパラメトリックサイド情報とを使用して、出力フォーマットのためにチャネル信号を直接的にアップミックスしかつレンダリングするよう構成された、空間オーディオオブジェクト符号化デコーダ１８００を備えてもよい。
【００８８】
オブジェクト処理部１２００は、チャネルとミックスされたプリレンダリング済みオブジェクトが存在する場合に、入力としてＵＳＡＣデコーダ１３００により直接的に出力されたデータを受信するミキサー１２２０をさらに含む。追加的に、ミキサー１２２０は、ＳＡＯＣ復号化を行わずにオブジェクトレンダリングを実行するオブジェクトレンダラーからのデータを受信する。さらに、ミキサーはＳＡＯＣデコーダ出力データ、つまりＳＡＯＣレンダリング済みオブジェクトを受信する。
【００８９】
ミキサー１２２０は、出力インターフェイス１７３０とバイノーラルレンダラー１７１０とフォーマット変換器１７２０とに接続されている。バイノーラルレンダラー１７１０は、頭部関連伝達関数又はバイノーラル室内インパルス応答（ＢＲＩＲ）を使用して、出力チャネルを２つのバイノーラルチャネルへとレンダリングするよう構成されている。フォーマット変換器１７２０は、出力チャネルを、ミキサーの出力（データ）チャネル１２０５よりも少数のチャネルを持つ出力フォーマットへ変換するよう構成されており、フォーマット変換器１７２０は、５．１スピーカなどのような再生レイアウトに関する情報を必要とする。
【００９０】
選択肢１では、次の図９に示されるように、複数のオーディオチャネル１２−１を生成する装置は、例えばオブジェクトレンダラー１２１０の一部であってもよい。次の図１０に示される選択肢２のように、複数のオーディオチャネル１２−２を生成する装置は、例えば幾つかのチャネル１２０５を複数のオーディオチャネル１２−２へとダウンミックスする、フォーマット変換ブロック１７２０の一部であってもよい。選択肢１を適用する場合、複数のオーディオチャネル１２−１はミキサー１２２０の出力で取得されてもよい。その出力は、例えば複数のラウドスピーカを含むラウドスピーカシステムと接続可能なコネクタであってもよい。
【００９１】
選択肢２を適用する場合、複数のオーディオチャネル１２−２は例えばフォーマット変換ブロック１７２０の出力において取得されてもよい。フォーマット変換ブロック１７２０は、例えば５．１フォーマットなどのチャネル１２０５に基づいて出力されるべきフォーマット選択を可能とするスイッチを含む装置として構成されてもよい。フォーマット変換ブロック１７２０はミキサー１２２０と接続されてもよく、それにより、フォーマット変換ブロック１７２０の入力がＭＰＥＧのような標準又はフォーマット族の例えば３２のような最大数のチャネルであってもよい。
【００９２】
換言すれば、復号器内での信号処理を変更するだけで、ビットストリームシンタックスを変更せずに済むことが可能になる。参照モデル０（ＲＭ０）は、以下の新たな特徴によって拡張されてもよい。
【００９３】
図９は、図８において選択肢１として言及された装置１０−１の概略ブロック図を示す。装置１０−１は、音響シーン内で再生されるべきオブジェクトに関するデータ又は情報を受信するよう構成されている。装置１０−１のパンナー５６は、オブジェクトに関するデータに基づいてパニング係数を計算するよう構成されている。パニング係数の数は、オーディオ標準又はフォーマットに従って音響シーンを再生するために決定されたラウドスピーカの数と等しくても良い。例えば、５．１フォーマットに関して言えば、これは６個のラウドスピーカの数であってもよい。換言すると、パニング係数はオブジェクトによって放射された音に対するスケーリングファクタを示しており、ここでパニング係数は、オブジェクトの位置又は方向をリスナーの位置に関して決定するため、例えば音圧レベルに関してラウドスピーカ信号をスケールするよう適応される。
【００９４】
仮想スピーカ決定部１８であってもよい仮想スピーカ決定部１８−１は、１つ以上の仮想スピーカの位置を決定するよう構成されている。例えば、図８を参照すれば、仮想スピーカによって表現されるべきスピーカの決定は、例えば特定のフォーマットによって表現された特定のリスニング体験が選択された場合に、取得されてもよい。それに基づいて、ミキサー又はデコーダに接続されるラウドスピーカの数が考慮されてもよい。そのフォーマットに従って実装されるべき各スピーカであって、ミキサー又はデコーダには接続されないスピーカが、仮想スピーカとして選択されてもよい。
【００９５】
エネルギー分配計算部２６であってもよいエネルギー分配計算部２６−１は、取得された第２スピーカセットアップにおいて、１つの仮想スピーカ又は複数の仮想スピーカから他のスピーカへのエネルギー分配を計算するよう構成されている。プロセッサ２８であってもよいプロセッサ２８−１は、エネルギー分配を繰り返し、例えば第２スピーカセットアップから第１スピーカセットアップへのダウンミックスのためのダウンミックス行列Ｍを計算することによって、ダウンミックス情報を取得するよう構成されている。よって、パニング係数の数は、オーディオチャネル１２−１の数より大きくても良い。プロセッサ２８−１は重み付けファクタを、例えばレンダラー３８であるレンダラー３８−１へと出力するよう構成されている。レンダラー３８−１は、重み付けファクタと個々のオブジェクトの音又はノイズとに従って、複数のオーディオチャネル１２−１を生成するよう構成されている。音又はノイズ信号は、例えばモノラル信号として提供されてもよい。そして、レンダラー３８−１はダウンミックス情報とパニング係数とに基づいて複数のオーディオチャネル１２−１を生成するよう構成され、ここで関数関係は重み付けファクタによって少なくとも部分的に表現されてもよい。
【００９６】
この実施形態の利点は、オブジェクトレンダラー１２１０内に複数のオーディオチャネル１２−１を生成する装置を構成することによって、複数のオーディオチャネル１２−１が、実装されたハードウエアセットアップと適合するように取得され得ることである。オーディオチャネルの最大数が３２であって、オーディオチャネルの必要数が６である場合、必要とされないオーディオチャネルの数、例えば２６は、演算労力が削減されるように、処理の間中、スキップされてもよい。
【００９７】
図１０は、複数のオーディオチャネル１２−２を生成する装置１０−２を含む、図８に示されたフォーマット変換ブロック１７２０のブロック概略図を示す。装置１０−２は幾つかのチャネル１２０５を複数のオーディオチャネル１２−２へとダウンミックスするよう構成されている。
【００９８】
この実施形態の利点は、フォーマット変換ブロック１７２０が、例えば図８に示された復号器のように、復号器に取り付けられ又は包含されてもよいことであり、その一方で、復号器自体は変更せずに済み、復号器によって出力されるチャネル１２０５に基づいて必要とされる出力フォーマットに従って、復号化済みのオーディオとオーディオチャネルとをダウンミックスすることである。
【００９９】
図１１は、例えば装置１０、装置１０−１又は装置１０−２であるか、又はそれを含む装置１１２を含むオーディオシステム１１０の概略ブロック図を示す。オーディオシステム１１０は、２つのラウドスピーカ１６ａ、１６ｂを含む。装置１１２は、２つのスピーカ１６ａ，１６ｂが位置４２において５つのスピーカ１６ａ、１６ｂ、２２ａ〜ｃの存在をエミュレートするように、複数のオーディオチャネルを生成するよう構成されている。
【０１００】
さらなる実施形態は、６、１０、１３、３２又はそれ以上のようなさまざまな数のラウドスピーカと、そのラウドスピーカの数に従って複数のラウドスピーカ信号（オーディオチャネル）を生成するための装置と、を備えるオーディオシステムを示している。複数のラウドスピーカは、複数のオーディオチャネルを受信し、これら複数のオーディオチャネルに基づいて複数の音響信号を提供するよう構成されている。オーディオチャネルの数は、制御されるべきスピーカの数と等しくても良い。
【０１０１】
この実施形態は、例えば妥当性検査を含む所定のスピーカセットアップについてだけでなく、任意の３Ｄセットアップにおいても、オブジェクトのレンダリングを可能とする。これは、例えばQuickHullアルゴリズムを参照ソフトウエア、例えばＭＰＥＧ−Ｈ  ３Ｄ参照モデル（ＲＭ）０に統合することによって、実行されてもよい。エネルギー分配法は、妥当な３Ｄセットアップであり得るが、妥当であることが必要でないような任意のセットアップ上でオブジェクトのレンダリングを可能とする。これは、以下のステップを含む。
１．追加的仮想スピーカを持つ拡張されたスピーカセットアップのためのＶＢＡＰゲイン（重み付けファクタ）を計算する。
２．反復の間に計算されたダウンミックス行列を適用する。
３．ダウンミックス済みＶＢＡＰゲインに対してエネルギー正規化を適用する。
【０１０２】
この手順は、所与（任意）のセットアップに適用される対応するフォーマットの規則がない場合に、例えば最終手段として、フォーマット変換器によって適用されてもよい。このことは、如何なる所与のセットアップについてもレンダラーが容易に信号を生成できるという有利な特性を付加し得る。この方法は、例えばＣのようなプログラミング言語内でコードをプログラミングすることによって実行されてもよい。
【０１０３】
換言すれば、装置１０は、妥当でない３Ｄセットアップであり得る任意のスピーカセットアップについて、個々のフォーマットに従ってオブジェクトベースのＭＰＥＧ−Ｈデータストリームに基づいて、適切なオーディオ信号（オーディオチャネル）を取得するよう構成されてもよい。式２を参照した場合、幾つかの係数ｇがダウンミックスされる。係数ｇはＶＢＡＰ係数として表されても良い。
【０１０４】
現実の及び仮想のスピーカの位置は、図２において例示的に説明されたように、許容範囲内で決定されてもよい。そのような閾値は、また他の幾何学的平面及び／又は凸包のような外殻上の場所や配置に適用される。
【０１０５】
これまで幾つかの特徴を符号化又は復号化装置の文脈で説明してきたが、これら特徴はまた対応する方法の記述を表現していることは明白であり、そこではブロック又は装置は方法ステップ又は方法ステップの特徴に対応している。同様に、方法ステップの文脈で説明された特徴はまた、対応するブロック又は項目の説明、又は対応する装置の特徴を表現している。
【０１０６】
ある実装要件にもよるが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納された電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）、例えばフレキシブルディスク，ＤＶＤ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ又はフラッシュメモリなどのデジタル記憶媒体を使用して実行され得る。
【０１０７】
本発明に従う幾つかの実施形態は、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【０１０８】
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは、例えば機械読み取り可能なキャリアに格納されていても良い。
【０１０９】
本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリアに格納されたコンピュータプログラムを含む。
【０１１０】
換言すれば、本発明方法の一実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１１１】
本発明の他の実施形態は、上述した方法の１つを実行するために記録されたコンピュータプログラムを含む、データキャリア（又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体）である。
【０１１２】
本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットのようなデータ通信接続を介して伝送されるよう構成されても良い。
【０１１３】
他の実施形態は、上述した方法の１つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
【０１１４】
他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【０１１５】
幾つかの実施形態においては、（例えば書換え可能ゲートアレイのような）プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイが、上述した方法の１つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
【０１１６】
上述した実施形態は、本発明の原理を単に例示的に示したに過ぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、添付した特許請求の範囲によってのみ限定されるべきであり、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではない。
【図１】
2017507621.tif 000009
【図２】
2017507621.tif 000010
【図３】
2017507621.tif 000011
【図４ａ】
2017507621.tif 000012
【図４ｂ】
2017507621.tif 000013
【図５ａ】
2017507621.tif 000014
【図５ｂ】
2017507621.tif 000015
【図６】
2017507621.tif 000016
【図７】
2017507621.tif 000017
【図８】
2017507621.tif 000018
【図９】
2017507621.tif 000019
【図１０】
2017507621.tif 000020
【図１１】
2017507621.tif 000021
【手続補正書】
【提出日】平成28年3月17日(2016.3.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１スピーカセットアップ（１４；１４−１）のための複数のオーディオチャネル（１２；１２−１；１２−２）を生成する装置であって、
前記第１スピーカセットアップ（１４；１４−１）には含まれない仮想スピーカ（２２；２２ａ〜ｄ）の位置を決定し、前記仮想スピーカ（２２；２２ａ〜ｄ）と前記第１スピーカセットアップの少なくとも一部のスピーカとを含む第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）を得るための仮想スピーカ決定部（１８；１８−１）と、
前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の他のスピーカへのエネルギー分配を計算するためのエネルギー分配計算部（２６；２６−１）であって、前記エネルギー分配は前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の他のスピーカへ分配される前記仮想スピーカ（２２；２２ａ〜ｄ）のエネルギーの量又は割り当てを表している、エネルギー分配計算部と、
前記エネルギー分配の羃（Ｄn）を計算して、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）から前記第１スピーカセットアップ（１４；１４−１）へのダウンミックスのためのダウンミックス情報（３６）を得るプロセッサ（２８；２８−１）であって、前記プロセッサ（２８；２８−１）は前記エネルギー分配に基づいてエネルギー分配行列（Ｄ）を生成するよう構成され、前記エネルギー分配行列（Ｄ）は前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の他の１つのスピーカへのエネルギー分配を表現する要素（ｄxy）を含み、前記エネルギー分配の羃（Ｄn）は前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の前記他の１つのスピーカへのエネルギー分配を表現する前記要素（ｄxy）の減少をもたらすものである、プロセッサと、
前記ダウンミックス情報（３６）を使用して前記複数のオーディオチャネル（１２；１２−１；１２−２）を生成するためのレンダラー（３８；３８−１）と、
を含む装置。
【請求項２】
請求項１に記載の装置において、前記プロセッサ（２８；２８−１）はさらに前記エネルギー分配行列（Ｄ）の羃（Ｄn）を計算するようさらに構成され、前記羃（Ｄn）の指数（ｎ）は予め定義された値であり、前記プロセッサ（２８；２８−１）は前記エネルギー分配行列（Ｄ）の前記羃に基づいてダウンミックス情報（３６）を得るよう構成されている、装置。
【請求項３】
請求項１に記載の装置において、前記プロセッサ（２８；２８−１）はさらに前記エネルギー分配行列（Ｄ）の羃（Ｄn）を反復的に計算するようさらに構成され、反復ステップの回数は前記エネルギー分配行列（Ｄ）の前記羃（Ｄn）の値に基づいている、装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の装置において、前記エネルギー分配計算部（２６；２６−１）は、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の少なくとも１つのスピーカに対する、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣関係を決定するための近隣関係推定部を含み、前記エネルギー分配計算部（２６；２６−１）は、前記仮想スピーカ（２２；２２ａ〜ｄ）から前記仮想スピーカ（２２；２２ａ〜ｄ）の少なくとも１つの前記近隣スピーカへのエネルギー分配を計算するよう構成されている、装置。
【請求項５】
請求項４に記載の装置において、前記近隣関係推定部は、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の少なくとも２つのスピーカに対する、前記第２スピーカセットアップ内の前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣関係を決定するよう構成され、前記エネルギー分配計算部（２６；２６−１）は、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである前記少なくとも２つのスピーカ間のエネルギー分配が所定の許容範囲内で等しくなるように、前記エネルギー分配を計算するよう構成されている、装置。
【請求項６】
請求項５又は５に記載の装置において、前記近隣関係推定部は、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである少なくとも２つのスピーカに対する、前記第２スピーカセットアップ内の前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣関係を決定するよう構成され、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである前記少なくとも２つのスピーカの少なくとも１つは追加の仮想スピーカ（２２；２２ａ〜ｄ）である、装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の装置において、前記仮想スピーカ（２２；２２ａ〜ｄ）は、所定の許容範囲（４６ａ；４６ｂ）内で前記第１スピーカセットアップ（１４；１４−１）のスピーカ（１６ａ〜ｃ）を含みかつ所定のリスナー位置（４２）を含む、幾何学的平面（４４）の片側に配置されている装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の装置において、前記仮想スピーカ（２２；２２ａ〜ｄ）は、所定のリスナー位置（４２）を含む幾何学的平面（５４）の第２側であって、前記幾何学的平面（５４）の第１側とは反対側の第２側に沿って配置されており、前記第１スピーカセットアップ（１４；１４−１）のスピーカは前記幾何学的平面（５４）の第１側に配置されている、装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の装置において、前記装置はフォーマット変換ユニット（１７２０）に含まれ、前記フォーマット変換ユニット（１７２０）は複数のデータチャネル（１２０５）を含む入力チャネルに基づいて前記複数のオーディオチャネル（１２；１２−１；１２−２）を出力するよう構成され、前記データチャネル（１２０５）の数は前記複数のオーディオチャネル（１２；１２−１；１２−２）の数より高い、装置。
【請求項１０】
請求項１乃至８のいずれか１項に記載の装置において、前記装置は前記第２スピーカセットアップ（２４；２４−１；２４−２）のためのパニング係数を生成するパンナー（５６）を備え、前記レンダラー（３８；３８−１）は、前記ダウンミックス情報（３６）と前記パニング係数とに基づいて前記複数のオーディオチャネル（１２；１２−１；１２−２）を生成するよう構成されている、装置。
【請求項１１】
請求項１０に記載の装置において、前記装置はオブジェクトレンダラー（１２１０）に含まれ、前記オブジェクトレンダラー（１２１０）は前記オーディオオブジェクトが第１スピーカセットアップ（１４；１４−１）にレンダリングされるように、オーディオオブジェクトの位置情報に基づいて前記複数のオーディオチャネル（１２；１２−１；１２−２）を出力するよう構成され、前記パニング係数の数は、前記複数のオーディオチャネル（１２；１２−１；１２−２）の数より高い、装置。
【請求項１２】
請求項１乃至１１のいずれか１項に記載の装置において、前記仮想スピーカ決定部（１８；１８−１）は、前記第１スピーカセットアップ（１４；１４−１）のスピーカ（１６ａ〜ｃ）の位置に基づいて凸包（５２）を計算し、かつQuickHullアルゴリズムに従って前記仮想スピーカ（２２；２２ａ〜ｄ）の位置を決定するよう構成され、前記仮想スピーカ（２２；２２ａ〜ｄ）の位置及び前記第1スピーカセットアップ（１４；１４−１）のスピーカ（１６ａ〜ｃ）の位置は所定の閾値内で前記凸包（５２）に配置されている、装置。
【請求項１３】
請求項１２に記載の装置において、前記装置は、前記第１スピーカセットアップ（１４；１４−１）内の全てのスピーカ（１６ａ〜ｃ）の位置が所定の閾値内で前記凸包（５２）に配置されているか、又は前記第１スピーカセットアップ（１４；１４−１）内の少なくとも１つのスピーカの位置が所定の閾値内で前記凸包（５２）の外側に配置されているかを示す、前記第１スピーカセットアップ（１４；１４−１）の妥当性情報を提供するよう構成されている、装置。
【請求項１４】
請求項１乃至１３のいずれか１項に従う装置（１０；１０−１；１０−２）と、
前記複数のオーディオチャネル（１２；１２−１；１２−２）に従う複数のスピーカ（１６ａ〜ｃ）と、を備えたオーディオシステムであって、
前記複数のスピーカ（１６ａ〜ｃ）は前記複数のオーディオチャネル（１２；１２−１；１２−２）を受信し、前記複数のオーディオチャネル（１２；１２−１；１２−２）に基づいて複数の音響信号を提供するよう構成されている、オーディオシステム。
【請求項１５】
第１スピーカセットアップ（１４；１４−１）のための複数のオーディオチャネル（１２；１２−１；１２−２）を生成する方法であって、
前記第１スピーカセットアップ（１４；１４−１）には含まれない仮想スピーカ（２２；２２ａ〜ｄ）の位置を決定し、前記仮想スピーカ（２２；２２ａ〜ｄ）と前記第１スピーカセットアップの少なくとも一部のスピーカとを含む第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）を得るステップと、
前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の他のスピーカへのエネルギー分配を計算するステップであって、前記エネルギー分配は前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の他のスピーカへ分配される前記仮想スピーカ（２２；２２ａ〜ｄ）のエネルギーの量又は割り当てを表している、ステップと、
前記エネルギー分配の羃（Ｄn）を計算して、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）から前記第１スピーカセットアップ（１４；１４−１）へのダウンミックスのためのダウンミックス情報（３６）を得るステップであって、前記エネルギー分配の羃は取得されるエネルギー分配の要素の減少をもたらすものであり、前記エネルギー分配の羃（Ｄn）を計算するステップは、前記エネルギー分配に基づいてエネルギー分配行列（Ｄ）を生成することを含み、前記エネルギー分配行列（Ｄ）は前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の他の１つのスピーカへのエネルギー分配を表現する要素（ｄxy）を含み、前記エネルギー分配の羃（Ｄn）は前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の前記他の１つのスピーカへのエネルギー分配を表現する要素（ｄxy）の減少をもたらすものである、ステップと、
前記ダウンミックス情報（３６）を使用して前記複数のオーディオチャネル（１２；１２−１；１２−２）を生成するステップと、
を含む方法。
【請求項１６】
コンピュータ上で作動するとき、請求項１５に従って第１スピーカセットアップ（１４；１４−１）のための複数のオーディオチャネル（１２；１２−１；１２−２）を生成する方法を実行するための、プログラムコードを有するコンピュータプログラム。
【手続補正書】
【提出日】平成28年7月26日(2016.7.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１スピーカセットアップ（１４；１４−１）のための複数のオーディオチャネル（１２；１２−１；１２−２）を生成する装置であって、
前記第１スピーカセットアップ（１４；１４−１）には含まれない仮想スピーカ（２２；２２ａ〜ｄ）の位置を決定し、前記仮想スピーカ（２２；２２ａ〜ｄ）と前記第１スピーカセットアップの少なくとも一部のスピーカとを含む第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）を得るための仮想スピーカ決定部（１８；１８−１）と、
前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の他のスピーカへのエネルギー分配を計算するためのエネルギー分配計算部（２６；２６−１）であって、前記エネルギー分配は前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の他のスピーカへ分配される前記仮想スピーカ（２２；２２ａ〜ｄ）のエネルギーの量又は割り当てを表している、エネルギー分配計算部と、
前記エネルギー分配の羃（Ｄn）を計算して、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）から前記第１スピーカセットアップ（１４；１４−１）へのダウンミックスのためのダウンミックス情報（３６）を得るプロセッサ（２８；２８−１）であって、前記プロセッサ（２８；２８−１）は前記エネルギー分配に基づいてエネルギー分配行列（Ｄ）を生成するよう構成され、前記エネルギー分配行列（Ｄ）は前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の他の１つのスピーカへのエネルギー分配を表現する要素（ｄxy）を含み、前記エネルギー分配の羃（Ｄn）は前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の前記他の１つのスピーカへのエネルギー分配を表現する前記要素（ｄxy）の減少をもたらすものである、プロセッサと、
前記ダウンミックス情報（３６）を使用して前記複数のオーディオチャネル（１２；１２−１；１２−２）を生成するためのレンダラー（３８；３８−１）と、
を含む装置。
【請求項２】
請求項１に記載の装置において、前記プロセッサ（２８；２８−１）はさらに前記エネルギー分配行列（Ｄ）の羃（Ｄn）を計算するようさらに構成され、前記羃（Ｄn）の指数（ｎ）は予め定義された値であり、前記プロセッサ（２８；２８−１）は前記エネルギー分配行列（Ｄ）の前記羃に基づいてダウンミックス情報（３６）を得るよう構成されている、装置。
【請求項３】
請求項１に記載の装置において、前記プロセッサ（２８；２８−１）はさらに前記エネルギー分配行列（Ｄ）の羃（Ｄn）を反復的に計算するようさらに構成され、反復ステップの回数は前記エネルギー分配行列（Ｄ）の前記羃（Ｄn）の値に基づいている、装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の装置において、前記エネルギー分配計算部（２６；２６−１）は、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の少なくとも１つのスピーカに対する、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣関係を決定するための近隣関係推定部を含み、前記エネルギー分配計算部（２６；２６−１）は、前記仮想スピーカ（２２；２２ａ〜ｄ）から前記仮想スピーカ（２２；２２ａ〜ｄ）の少なくとも１つの前記近隣スピーカへのエネルギー分配を計算するよう構成されている、装置。
【請求項５】
請求項４に記載の装置において、前記近隣関係推定部は、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の少なくとも２つのスピーカに対する、前記第２スピーカセットアップ内の前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣関係を決定するよう構成され、前記エネルギー分配計算部（２６；２６−１）は、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである前記少なくとも２つのスピーカ間のエネルギー分配が所定の許容範囲内で等しくなるように、前記エネルギー分配を計算するよう構成されている、装置。
【請求項６】
請求項４又は５に記載の装置において、前記近隣関係推定部は、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである少なくとも２つのスピーカに対する、前記第２スピーカセットアップ内の前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣関係を決定するよう構成され、前記仮想スピーカ（２２；２２ａ〜ｄ）の近隣スピーカである前記少なくとも２つのスピーカの少なくとも１つは追加の仮想スピーカ（２２；２２ａ〜ｄ）である、装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の装置において、前記仮想スピーカ（２２；２２ｃ〜ｄ）は、所定の許容範囲（４６ａ；４６ｂ）内で前記第１スピーカセットアップ（１４；１４−１）のスピーカ（１６ａ〜ｃ）を含みかつ所定のリスナー位置（４２）を含む、第１の幾何学的平面（４４）内に配置されている装置。
【請求項８】
請求項７に記載の装置において、前記第１スピーカセットアップ（１４；１４−１）の前記スピーカは、所定のリスナー位置（４２）を含みかつ前記第１の幾何学的平面（４４）に対して直交する第２の幾何学的平面（５４）の第１側に配置され、前記仮想スピーカ（２２；２２ｃ〜ｄ）は、前記第２の幾何学的平面（５４）の第１側とは反対側の第２側に配置されている、装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の装置において、前記装置はフォーマット変換ユニット（１７２０）に含まれ、前記フォーマット変換ユニット（１７２０）は複数のデータチャネル（１２０５）を含む入力チャネルに基づいて前記複数のオーディオチャネル（１２；１２−１；１２−２）を出力するよう構成され、前記データチャネル（１２０５）の数は前記複数のオーディオチャネル（１２；１２−１；１２−２）の数より大きい、装置。
【請求項１０】
請求項１乃至８のいずれか１項に記載の装置において、前記装置は前記第２スピーカセットアップ（２４；２４−１；２４−２）のためのパニング係数を生成するパンナー（５６）を備え、前記レンダラー（３８；３８−１）は、前記ダウンミックス情報（３６）と前記パニング係数とに基づいて前記複数のオーディオチャネル（１２；１２−１；１２−２）を生成するよう構成されている、装置。
【請求項１１】
請求項１０に記載の装置において、前記装置はオブジェクトレンダラー（１２１０）に含まれ、前記オブジェクトレンダラー（１２１０）は前記オーディオオブジェクトが第１スピーカセットアップ（１４；１４−１）にレンダリングされるように、オーディオオブジェクトの位置情報に基づいて前記複数のオーディオチャネル（１２；１２−１；１２−２）を出力するよう構成され、前記パニング係数の数は、前記複数のオーディオチャネル（１２；１２−１；１２−２）の数より大きい、装置。
【請求項１２】
請求項１乃至１１のいずれか１項に記載の装置において、前記仮想スピーカ決定部（１８；１８−１）は、前記第１スピーカセットアップ（１４；１４−１）のスピーカ（１６ａ〜ｃ）の位置に基づいて凸包（５２）を計算し、かつQuickHullアルゴリズムに従って前記仮想スピーカ（２２；２２ａ〜ｄ）の位置を決定するよう構成され、前記仮想スピーカ（２２；２２ａ〜ｄ）の位置及び前記第1スピーカセットアップ（１４；１４−１）のスピーカ（１６ａ〜ｃ）の位置は所定の閾値内で前記凸包（５２）に配置されている、装置。
【請求項１３】
請求項１２に記載の装置において、前記装置は、前記第１スピーカセットアップ（１４；１４−１）内の全てのスピーカ（１６ａ〜ｃ）の位置が所定の閾値内で前記凸包（５２）に配置されているか、又は前記第１スピーカセットアップ（１４；１４−１）内の少なくとも１つのスピーカの位置が所定の閾値内で前記凸包（５２）の外側に配置されているかを示す、前記第１スピーカセットアップ（１４；１４−１）の妥当性情報を提供するよう構成されている、装置。
【請求項１４】
請求項１乃至１３のいずれか１項に従う装置（１０；１０−１；１０−２）と、
前記複数のオーディオチャネル（１２；１２−１；１２−２）に従う複数のスピーカ（１６ａ〜ｃ）と、を備えたオーディオシステムであって、
前記複数のスピーカ（１６ａ〜ｃ）は前記複数のオーディオチャネル（１２；１２−１；１２−２）を受信し、前記複数のオーディオチャネル（１２；１２−１；１２−２）に基づいて複数の音響信号を提供するよう構成されている、オーディオシステム。
【請求項１５】
第１スピーカセットアップ（１４；１４−１）のための複数のオーディオチャネル（１２；１２−１；１２−２）を生成する方法であって、
前記第１スピーカセットアップ（１４；１４−１）には含まれない仮想スピーカ（２２；２２ａ〜ｄ）の位置を決定し、前記仮想スピーカ（２２；２２ａ〜ｄ）と前記第１スピーカセットアップの少なくとも一部のスピーカとを含む第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）を得るステップと、
前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の他のスピーカへのエネルギー分配を計算するステップであって、前記エネルギー分配は前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）内の他のスピーカへ分配される前記仮想スピーカ（２２；２２ａ〜ｄ）のエネルギーの量又は割り当てを表している、ステップと、
前記エネルギー分配の羃（Ｄn）を計算して、前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）から前記第１スピーカセットアップ（１４；１４−１）へのダウンミックスのためのダウンミックス情報（３６）を得るステップであって、前記エネルギー分配の羃（Ｄn）を計算するステップは、前記エネルギー分配に基づいてエネルギー分配行列（Ｄ）を生成することを含み、前記エネルギー分配行列（Ｄ）は前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の他の１つのスピーカへのエネルギー分配を表現する要素（ｄxy）を含み、前記エネルギー分配の羃（Ｄn）は前記仮想スピーカ（２２；２２ａ〜ｄ）から前記第２スピーカセットアップ（２４；２４−１；２４−２；２４−３）の前記他の１つのスピーカへのエネルギー分配を表現する要素（ｄxy）の減少をもたらすものである、ステップと、
前記ダウンミックス情報（３６）を使用して前記複数のオーディオチャネル（１２；１２−１；１２−２）を生成するステップと、
を含む方法。
【請求項１６】
コンピュータ上で作動するとき、請求項１５に従って第１スピーカセットアップ（１４；１４−１）のための複数のオーディオチャネル（１２；１２−１；１２−２）を生成する方法を実行するための、プログラムコードを有するコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
装置１０は、ダウンミックス情報３６を使用して複数のオーディオチャネル１２を生成するためのレンダラー３８を含む。レンダラー３８は、入力信号又は入力信号のセット３９、例えば第２スピーカセットアップ２４に対応し又は第２スピーカセットアップによって再生されるべく専用となっている幾つかのオーディオチャネルに対し、ダウンミックス情報３６を適用するよう構成されている。レンダラー３８は、ダウンミックス情報３６を使用して、第２スピーカセットアップ２４から第１スピーカセットアップ１４へのダウンミックスを取得するよう構成されている。換言すれば、レンダラー３８は、仮想セットアップ２４の（仮想の）オーディオチャネル３９を現実の第１セットアップ１４の現実のオーディオチャネル１２へとダウンミックスすることによって、複数のオーディオチャネル１２を決定するよう構成されている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
図３は、上方から見た透視図において、２次元平面に投影された第１セットアップ１４−１を含む第２スピーカセットアップ２４−１の概略図を示す。図３は、仮想スピーカ２２ａ〜ｄの各々からそれらの近隣スピーカへのエネルギー分配を示す矢印を介した接続によって、仮想スピーカ２２ａ〜ｄの各々の近隣スピーカを示している。仮想スピーカの近隣スピーカは、エネルギー分配計算部２６のようなエネルギー分配計算部の一部、又は仮想スピーカ決定部１８のような仮想スピーカ決定部の一部であり得る近隣関係推定部によって決定されてもよい。代替的に、近隣関係推定部は、仮想スピーカ決定部とエネルギー分配計算部との間に配置されていてもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
係数ｄxyは、この実施例では１／４、つまり０．２５に設定される。指数１、２、５及び６を持つスピーカ１６ａ、１６ｂ、２２ｃ、２２ｄの近隣スピーカである仮想スピーカ２２ａを表している行列Ｄの第３縦列に関してみれば、行列Ｄは横列１、２、５、６において０．２５の値を示している。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
図５ａは、仮想スピーカ２２ｃ、２２ｄと共に全体として第２スピーカセットアップ２４−２を形成している、図４ａの第１スピーカセットアップ１４−１の概略斜視図を示す。仮想スピーカ２２ｃ、２２ｄの位置は、第１スピーカセットアップ１４−１の両スピーカ１６ａ、１６ｂを含む円４８を描くことによって、例えば仮想スピーカ決定部１８のような仮想スピーカ決定部によって取得されてもよい。７．１のような幾つかのフォーマットは、円内に位置４２を持つ円上にラウドスピーカ位置を定義しているので、この方法は仮想スピーカ２２ｃ、２２ｄの位置を決定するための適切な解決法であり得る。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
図５ｂは、図５ａのシナリオにおける平面図を示し、円４８の丸い形状を示している。例えば再生されるべき音響シーン内の音響オブジェクトをレンダリングするためのオブジェクトレンダラーの一部である仮想スピーカ決定部は、所与のセットアップについて手動で選択された三角形分割に加えて、三角形分割アルゴリズム（triangulation algorithm）を実施するよう構成されてもよい。例えば、ドローネー三角形分割（Delaunay triangulation）はこの問題に対して良好な解決策を提供するかもしれない。なぜなら、三角形分割はボロノイ図（Voronoi diagram）の双対グラフに対応するからである。代替的又は追加的に、仮想スピーカ決定部は、仮想スピーカ２２ｃ、２２ｄの個々の位置と位置４２との間の角度β1及び／又はβ2、及び／又は例えば０°のような基準角４９を考慮して、仮想スピーカ２２ｃ、２２ｄの位置を決定するよう構成されてもよい。よって、中心位置（０°）から６０°のような構成が実施されてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
図６は、第１スピーカセットアップ１４−１と仮想スピーカ２２ｃ、２２ｄ、２２ａとを含む第２スピーカセットアップ２４−３の斜視図を示す。仮想スピーカ２２ｃ、２２ｄは、それらの位置に関して図５ａ及び５ｂで示されたものと同じである。仮想スピーカ２２ａの位置は、例えば円４８に基づいた球面５２を計算することによって発見されてもよい。球面５２は、例えばスピーカ１６ａ、１６ｂ、２２ｃ及び２２ｄ又は第１スピーカセットアップ１４−１（所与の頂点集合）の凸包を計算することによって、計算されてもよい。この凸包は、例えば非特許文献１に記載のように、O(N*log(N))の平均演算量とO(N2)の最悪計算量とを有するQuickHullアルゴリズムによって決定されてもよく、ここでＯは演算量の度数（degree of complexity）を示す。QuickHullアルゴリズムは、スピーカの近傍物について言及する情報を提供するよう適応される。代替的実施形態は、例えば分割統治法(Devide and Conquor algorithm)やギフト包装法(Gift Wrap algorithm)のような他のアルゴリズムを使用する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
図７は、図２に従う第２ラウドスピーカセットアップ２４−１の概略図を示し、そこではレイヤ４４に対して直交するレイヤ５４が示されている。スピーカ１６ａ、１６ｂは幾何学的平面５４の第１側に配置されている。仮想スピーカ２２ｃ、２２ｄは幾何学的平面５４の第１側とは反対側に配置されている。仮想スピーカ２２ｂは幾何学的平面５４に沿って配置されている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
仮想スピーカをスピーカ１６ａ及び／又は１６ｂの側とは幾何学的平面５４の反対側に配置することによって、３次元音響シーンが所定のリスナー位置４２において再生され得る。簡単に言えば、第２スピーカセットアップ２４−１は、リスナーの前方（スピーカ１６ａ、１６ｂ）と、リスナーの後方（スピーカ２２ｃ、２２ｄ）と、リスナーの下方（スピーカ２２ｂ）と上方（スピーカ２２ａ）とに、スピーカをエミュレートする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
後処理部はバイノーラルレンダラー１７１０又はフォーマット変換器１７２０として実施され得る。代替的に、データ１２０５の直接出力、つまりオーディオチャネルは、１７３０として示されるように実施されてもよい。従って、復号器内の処理は、２２．２や３２のような最大数のチャネルに対して柔軟性を持つよう実行し、その後より小さいフォーマットが必要な場合には後処理を行うことが望ましい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
オブジェクト処理部１２００は、１つ以上のトランスポートチャネルと、符号化済みオーディオオブジェクト又は符号化済みオーディオチャネルを表す関連するパラメトリックサイド情報とを復号化するための、空間オーディオオブジェクト符号化デコーダ１８００を備えても良く、この空間オーディオオブジェクト符号化デコーダは関連するパラメトリックサイド情報と解凍されたメタデータとを、例えばＳＡＯＣの初期バージョンにおいて定義されているように、出力フォーマットを直接的にレンダリングするために使用可能な変換済みパラメトリックサイド情報へと変換するよう構成されている。後処理部は、復号化済みトランスポートチャネルと変換すみパラメトリックサイド情報とを使用して、出力フォーマットのオーディオチャネルを計算するよう構成される。後処理部によって実行される処理は、ＭＰＥＧサラウンド処理と同様であり得るか、又はＢＣＣ処理等のような他の如何なる処理と同様であり得る。
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2017507621.tif 000022
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図５ａ
【補正方法】変更
【補正の内容】
【図５ａ】
2017507621.tif 000023
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図５ｂ
【補正方法】変更
【補正の内容】
【図５ｂ】
2017507621.tif 000024
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2017507621.tif 000025
【国際調査報告】
2017507621.tif 000026
2017507621.tif 000027
2017507621.tif 000028