(57)【要約】      （修正有）【課題】圧縮された高次アンビソニックス（ＨＯＡ）表現を圧縮解除する。【解決手段】圧縮解除された支配的な方向性信号および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号を供給するように、圧縮された支配的な方向性信号および圧縮された残差の成分信号を知覚復号し、圧縮解除された時間領域信号を再相関させて、対応する低次化された残差のＨＯＡ成分を取得し、圧縮解除された残差のＨＯＡ成分を、前記対応する低次化された残差のＨＯＡ成分に基づいて決定し、予測された方向性信号を決定し、圧縮解除された支配的な方向性信号と、前記予測された方向性信号と、前記圧縮解除された残差のＨＯＡ成分とに基づいて、ＨＯＡ音場表現を決定する。【選択図】図２ａ
2020074008.tif 000002
【特許請求の範囲】
【請求項１】
圧縮された高次アンビソニックス（ＨＯＡ）表現を圧縮解除する方法であって、
圧縮解除された支配的な方向性信号および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号を供給するように、圧縮された支配的な方向性信号および圧縮された残差の成分信号を知覚復号するステップと、
前記圧縮解除された時間領域信号を再相関させて、対応する低次化された残差のＨＯＡ成分を取得するステップと、
圧縮解除された残差のＨＯＡ成分を、前記対応する低次化された残差のＨＯＡ成分に基づいて決定するステップと、
少なくともあるパラメータに基づいて、予測された方向性信号を決定するステップと、
前記圧縮解除された支配的な方向性信号と、前記予測された方向性信号と、前記圧縮解除された残差のＨＯＡ成分とに基づいて、ＨＯＡ音場表現を決定するステップと、
を含み、
前記パラメータは現在フレームにおけるアクティブな方向性信号の数に関係する、
方法。
【請求項２】
高次アンビソニックス（ＨＯＡ）表現を圧縮解除する装置であって、当該装置は、
圧縮解除された支配的な方向性信号および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号を供給するように、圧縮された支配的な方向性信号および圧縮された残差の成分信号を知覚復号する復号器と、
前記圧縮解除された時間領域信号を再相関させて、対応する低次化された残差のＨＯＡ成分を取得する再相関器と、
圧縮解除された残差のＨＯＡ成分を、前記対応する低次化された残差のＨＯＡ成分に基づいて決定するよう構成されたプロセッサであって、前記プロセッサはさらに、少なくともあるパラメータに基づいて、予測された方向性信号を決定するよう構成されている、プロセッサとを有しており、
前記プロセッサはさらに、前記圧縮解除された支配的な方向性信号と、前記予測された方向性信号と、前記圧縮解除された残差のＨＯＡ成分とに基づいて、ＨＯＡ音場表現を決定するよう構成されており、
前記パラメータは現在フレームにおけるアクティブな方向性信号の数に関係する、
装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置に関する。
【背景技術】
【０００２】
ＨＯＡと称する高次アンビソニックス表現は、三次元音声を表現する１つの方法である。他の技術は波面合成法（ＷＦＳ）や２２．２のようなチャンネルに基づく方法である。チャンネルに基づく方法と比較して、ＨＯＡ表現には、特定のラウドスピーカの設定とは独立しているという利点がある。しかしながら、この柔軟性を得るためには特定のラウドスピーカの設定でＨＯＡ表現を再生するための復号処理が必要となる。通常、必要なラウドスピーカの数が大変多くなるＷＦＳのアプローチと比較して、ＨＯＡは極めて少ない数のラウドスピーカのみで構成される設定にすることできる。ＨＯＡのさらなる利点は、ヘッドフォンへのバイノーラル・レンダリングにも変更を必要とすることなく同じ表現を利用することができる点にある。
【０００３】
ＨＯＡは、切断球面調和関数（ＳＨ）展開による複素調和平面波振幅の空間密度の表現に基づいている。各展開係数は角周波数の関数であり、これを時間領域関数によって同等に表現することができる。したがって、一般性を失うことなく、完全なＨＯＡ音場表現は、実際には、“Ο”時間領域関数から構成されるものと考えることができる。ここで、Οは、展開係数の数を表している。これらの時間領域関数と同等の意味を有するものとして、以下のＨＯＡ係数列を参照する。
【０００４】
ＨＯＡ表現の空間解像度は、展開の最大次数Ｎの増加とともに向上する。残念ながら、展開係数の数“Ο”は、次数Ｎに対して二乗的に増加し、特にΟ＝（Ｎ＋１）2となる。例えば、次数Ｎ＝４を使用した一般的なＨＯＡ表現には、Ο＝２５の個数のＨＯＡ（展開）係数が必要となる。上記の点を考慮して、ＨＯＡ表現の伝送のための合計ビットレートは、所望の単一チャンネルのサンプリング・レートｆｓおよびサンプル毎のビットの数Ｎｂが与えられると、Ο・ｆｓ・Ｎｂによって求めることができる。サンプル毎にＮｂ＝１６の個数のビットを使用してｆｓ＝４８ｋＨｚのサンプリング・レートでの次数Ｎ＝４のＨＯＡ表現を伝送すると、結果として、ビットレートは、１９．２メガビット／秒となるが、これは、多くの実用的なアプリケーション、例えば、ストリーミングでは極めて高いビットレートである。したがって、ＨＯＡ表現を圧縮することが大いに望まれている。
【発明の概要】
【０００５】
１次よりも高いＨＯＡ表現の圧縮を取り扱う既存の方法は殆ど存在しない。Ｅ．Ｈｅｌｌｅｒｕｄ、Ｉ．Ｂｕｒｎｅｔｔ、Ａ．Ｓｏｌｖａｎｇ、およびＵ．Ｐ．Ｓｖｅｎｓｓｏｎによって探究されている最も直接的なアプローチ「Ｅｎｃｏｄｉｎｇ  Ｈｉｇｈｅｒ  Ｏｒｄｅｒ  Ａｍｂｉｓｏｎｉｃｓ  ｗｉｔｈ  ＡＡＣ（ＡＡＣを用いた高次アンビソニックスの符号化）」第１２４回ＡＥＳコンベンション、アムステルダム、２００８年は、知覚符号化アルゴリズムである、ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）を用いて個々のＨＯＡ係数列の直接的な符号化を行うものである。しかしながら、この手法に伴う固有の問題は、全く聴かれることのない信号の知覚符号化である。再構築された再生信号は、通常、ＨＯＡ係数列の加重和によって得られ、特定のラウドスピーカの設定で圧縮解除されたＨＯＡ表現がレンダリングされる場合には、知覚符号化ノイズをマスク除去する可能性が高い。知覚符号化ノイズのマスク除去の抱える主要な問題は、個々のＨＯＡ係数列間の高い相互相関である。個々のＨＯＡ係数列における符号化ノイズ信号は、互いに相関していないため、知覚符号化ノイズの構造的な重畳が発生することがあり、それと同時に、その重畳でノイズのないＨＯＡ係数列がキャンセルされてしまう。別の問題は、これらの相互相関が知覚符号化器の効率の低下につながる点である。
【０００６】
双方の影響の程度を最小限にするために、欧州特許出願第２４６９７４２号（ＥＰ２４６９７４２Ａ２）では、ＨＯＡ表現を知覚符号化の前に離散空間領域において、等価な表現に変換することが提案されている。形式的には、離散空間領域は、何らかの離散方向でサンプリングされる、複素調和平面波振幅の空間密度と等価な時間領域である。したがって、離散空間領域は、“Ο”個の従来の時間領域信号によって表現される。この信号は、サンプリング方向から到来する一般的な平面波として解釈することができ、空間領域変換に対して想定されるものと厳密に同じ方向にラウドスピーカが位置しているのであれば、ラウドスピーカ信号に対応するであろう。
【０００７】
離散空間領域への変換により、個々の空間領域信号間の相互相関が低減するが、これらの相互相関は、完全には除去されない。比較的に高い相互相関の例は、空間領域信号によって包含される複数の隣接した方向の間を方向とする方向性信号である。
【０００８】
双方のアプローチの主な欠点は、知覚符号化される信号の数が（Ｎ＋１）２であり、圧縮されたＨＯＡ表現のデータ・レートがアンビソニックスの次数Ｎの二乗で増加することである。
【０００９】
知覚符号化される信号の数を減少させるために、欧州特許出願公開第２６６５２０８号は、ＨＯＡ表現を所与の最大数の支配的な方向性信号と残差のアンビエント成分とに分解することを提案している。知覚符号化されるべき信号の数の減少は、残差のアンビエント成分の次数を減少させることによって成し遂げることができる。この手法の背景にある理論的根拠は、支配的な方向性信号に関して高い空間解像度を維持する一方で、より低い次数のＨＯＡ表現によって十分な精度で残差を表現することにある。
【００１０】
このアプローチは、音場に関する仮定が満たされる限り、すなわち、音場が少ない数の支配的な方向性信号（これは、完全な次数Ｎで符号化された一般的な平面波関数を表現するものである。）と、方向性を有しない残差のアンビエント成分とからなるという仮定が満たされる限り、大変良好に機能する。しかしながら、分解の後、残差のアンビエント成分が依然として幾らかの支配的な方向性成分を含んでいる場合には、低次元化によって、分解の後のレンダリングの際に顕著に知覚される誤りが生じる。その仮定が満たされない場合のＨＯＡ表現の一般的な例は、Ｎよりも低い次数で符号化される一般的な平面波である。このようなＮよりも低い次数の一般的な平面波は、音源の範囲が広がりを有するよう感じられるようにする芸術的な創作の結果として生ずることがあり、球形マイクロフォンによるＨＯＡ音場表現の収録に伴って生ずることもある。双方の例において、音場は、多数の相関性の高い空間領域信号によって表現される（説明については、高次アンビソニックスの空間解像度の項目を参照されたい。）。
【００１１】
本発明によって解決される課題は、欧州特許出願公開第２６６５２０８号に記載された処理の結果として生ずる不都合を解消することによって、他の従来技術の上述した不都合を回避することにある。この課題は、請求項１および３に開示されている方法によって解決される。これらの方法を利用する対応する装置は、請求項２および４に開示されている。
【００１２】
本発明は、欧州特許出願公開第２６６５２０８号に記載されたＨＯＡ音場表現圧縮処理を改良する。まず、欧州特許出願公開第２６６５２０８号と同様に、ＨＯＡ表現が支配的な音源の存在に対して分析され、その方向が推定される。支配的な音源の方向の情報を用いて、ＨＯＡ表現は一般的な平面波を表現する複数の支配的な方向性信号と残差の成分とに分解される。しかしながら、この残差のＨＯＡ成分の次数を直ちに減少させる代わりに、残差のＨＯＡ成分を表現する均一なサンプリング方向における一般的な平面波関数を取得するために、この残差のＨＯＡ成分が離散空間領域へ変換される。この後、これらの平面波関数が支配的な方向性信号から予測される。この処理を行う理由は、残差のＨＯＡ成分の部分が支配的な方向性信号と高い相関性を有している場合があるからである。
【００１３】
その予測は、少量の副情報のみを生み出すといった単純なものとすることができる。最も単純な場合では、予測は適切なスケーリングおよび遅延からなる。最終的に、予測誤りは再びＨＯＡ領域に変換され、低次元化が行われる残差のアンビエントＨＯＡ成分とされる。
【００１４】
有利には、残差のＨＯＡ成分から予測可能な信号を差し引く効果は、その全体の次数および支配的な方向性信号の残量を減少させることであり、このようにして、低次元化の結果として生じる分解誤りを低減することにある。
【００１５】
原理的には、本発明の圧縮方法は、音場に対するＨＯＡと称する高次アンビソニックス表現を圧縮するのに適している。この方法は、
−ＨＯＡ係数の現在の時間フレームから支配的な音源方向を推定するステップと、
−上記ＨＯＡ係数および上記支配的な音源方向に依存して、上記ＨＯＡ表現を時間領域内の支配的な方向性信号と残差のＨＯＡ成分とに分解するステップであって、上記残差のＨＯＡ成分を表現する均一なサンプリング方向において平面波関数を取得するために、上記残差のＨＯＡ成分が離散空間領域に変換され、上記平面波関数が上記支配的な方向性信号から予測されることによって、上記予測を記述するパラメータがもたらされ、対応する予測誤りが上記ＨＯＡの領域に再び変換される、上記分解するステップと、
−上記残差のＨＯＡ成分の現在の次数をより低い次数に低減するステップであって、結果として、低次元化された残差のＨＯＡ成分が得られる、上記低減するステップと、
−上記低次元化された残差のＨＯＡ成分を相関除去して対応する残差のＨＯＡ成分時間領域信号を取得するステップと、
−圧縮された支配的な方向性信号および圧縮された残差の成分信号を供給するように、上記支配的な方向性信号および上記残差のＨＯＡ成分時間領域信号を知覚符号化するステップと、を含む。
【００１６】
原理的には、本発明の圧縮装置は、音場に対するＨＯＡと称する高次アンビソニックス表現の圧縮に適している。この装置は、
−ＨＯＡ係数の現在の時間フレームから支配的な音源方向を推定するように構成された手段と、
−上記ＨＯＡ係数および上記支配的な音源方向に依存して、上記ＨＯＡ表現を時間領域内の支配的な方向性信号と残差のＨＯＡ成分とに分解するように構成された手段であって、上記残差のＨＯＡ成分を表現する均一なサンプリング方向で平面波関数を取得するために、上記残差のＨＯＡ成分が離散空間領域に変換され、上記平面波関数が上記支配的な方向性信号から予測されることによって、上記予測を記述するパラメータが供給され、対応する予測誤りが上記ＨＯＡの領域に再び変換される、上記手段と、
−上記残差のＨＯＡ成分の現在の次数をより低い次数に低減するように構成された手段であって、結果として、低次元化された残差のＨＯＡ成分が生成される、上記手段と、
−上記低次元化された残差のＨＯＡ成分を相関除去して、対応する残差のＨＯＡ成分時間領域信号を取得するように構成された手段と、
−圧縮された支配的な方向性信号および圧縮された残差の成分信号を供給するように、上記支配的な方向性信号および上記残差のＨＯＡ成分時間領域信号を知覚符号化するように構成された手段と、を含む。
【００１７】
原理的には、本発明の圧縮解除方法は、上述した圧縮方法に従って圧縮された高次アンビソニックス表現の圧縮解除に適している。この方法は、
−圧縮解除された支配的な方向性信号および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号を供給するように、上記圧縮された支配的な方向性信号および上記圧縮された残差の成分信号を知覚復号するステップと、
−上記圧縮解除された時間領域信号を再相関させて、対応する低次元化された残差のＨＯＡ成分を取得するステップと、
−上記低次元化された残差のＨＯＡ成分の次数を当初の次数に拡張するステップであって、対応する圧縮解除された残差のＨＯＡ成分を供給する、上記拡張するステップと、
−上記圧縮解除された支配的な方向性信号と、上記当初の次数の圧縮解除された残差のＨＯＡ成分と、上記推定された支配的な音源方向と、上記予測を記述する上記パラメータとを使用して、ＨＯＡ係数の対応する圧縮解除され、再合成されたフレームを合成するステップと、を含む。
【００１８】
原理的には、本発明の圧縮解除装置は、上述した圧縮方法に従って圧縮された高次アンビソニックス表現の圧縮解除に適している。この装置は、
−圧縮解除された支配的な方向性信号および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号を供給するように、上記圧縮された支配的な方向性信号および上記圧縮された残差の成分信号を知覚復号するように構成された手段と、
−上記圧縮解除された時間領域信号を再相関させるように構成された手段であって、対応する低次元化された残差のＨＯＡ成分を取得する、上記手段と、
−上記低次元化された残差のＨＯＡ成分の次数を当初の次数に拡張するように構成された手段であって、対応する圧縮解除された残差のＨＯＡ成分を供給する、上記手段と、
−上記圧縮解除された支配的な方向性信号と、上記当初の次数の圧縮解除された残差のＨＯＡ成分と、上記推定された支配的な音源方向と、上記予測を記述する上記パラメータとを使用することによってＨＯＡ係数の対応する圧縮解除され、再合成されたフレームを合成するように構成された手段と、を含む。
【００１９】
本発明の有利な追加的な実施形態は、各々の従属請求項に開示されている。
【００２０】
本発明の例示的な実施形態は、添付図面を参照して説明される。
【図面の簡単な説明】
【００２１】
【図１ａ】圧縮ステップ１：ＨＯＡ信号の複数の支配的な方向性信号、残差のアンビエントＨＯＡ成分、および副情報への分解を示す図である。
【図１ｂ】圧縮ステップ２：アンビエントＨＯＡ成分の低次元化および相関除去および双方の成分の知覚符号化を示す図である。
【図２ａ】圧縮解除ステップ１：時間領域信号の知覚復号、残差のアンビエントＨＯＡ成分を表現する信号の再相関、および次数拡張を示す図である。
【図２ｂ】圧縮解除ステップ２：全てのＨＯＡ表現の合成を示す図である。
【図３】ＨＯＡ分解を示す図である。
【図４】ＨＯＡ合成を示す図である。
【図５】球面座標系を示す図である。
【図６】Ｎの複数の異なる値に対する正規化された関数νＮ（θ）のプロットを示す図である。
【発明を実施するための形態】
【００２２】
圧縮処理
本発明に係る圧縮処理は、図１ａおよび図１ｂの各々に例示されたステップである２つの連続するステップを含む。個々の信号の正確な定義は、ＨＯＡ分解および再合成の詳細な説明の項目に記載されている。長さＢのＨＯＡ係数列の重複しない入力フレームＤ（ｋ）を用いた圧縮のためのフレーム単位の処理が使用される。ここで、ｋは、フレームのインデックスを表す。フレームは、下記の式（１）に特定されたＨＯＡ係数列に関して規定される。
【数１】
2020074008.tif 000003
ここで、Ｔｓは、サンプリング期間を表す。
【００２３】
図１ａにおいて、ＨＯＡ係数列のフレームＤ（ｋ）は、支配的な音源方向推定ステップまたはステージ１１に入力され、このステップ１１で、支配的な方向性信号の存在に対してＨＯＡ表現が分析され、その方向が推定される。その方向の推定が行われ、例えば、欧州特許出願公開第２６６５２０８号に記載された処理によって行うことができる。その推定された方向は、
【数２】
2020074008.tif 000004
によって表される。ここで、添字Ｄは方向推定値の個数を表す。方向推定値は行列
【数３】
2020074008.tif 000005
に、下記のように配列されるものと仮定される。
【数４】
2020074008.tif 000006
【００２４】
暗黙的に、方向推定値は、これらを従前のフレームからの方向推定値に割り当てることによって適切に順序付けられるものと仮定される。したがって、個々の方向推定値の時間的な列は、支配的な音源の方向軌跡を記述するものと仮定される。特に、ｄ番目の支配的な音源がアクティブでないと想定される場合には、
【数５】
2020074008.tif 000007
に無効値を割り当てることによってこれを示すことができる。そして、
【数６】
2020074008.tif 000008
において推定された方向を利用して、ＨＯＡ表現は、分解ステップまたはステージ１２に
おいて最大の数Ｄの支配的な方向性信号ＸＤＩＲ（ｋ−１）と、支配的な方向性信号からの残差のＨＯＡ成分の空間領域信号の予測を記述する幾らかのパラメータζ（ｋ−１）と、予測誤りを表すアンビエントＨＯＡ成分ＤＡ（ｋ−２）とに分解される。ＨＯＡ分解の項目でこの分解についての詳細な説明を行う。
【００２５】
図１ｂにおいて、方向性信号ＸＤＩＲ（ｋ−１）の知覚符号化、および残差のアンビエントＨＯＡ成分ＤＡ（ｋ−２）の知覚符号化が示されている。方向性信号ＸＤＩＲ（ｋ−１）は、従来の時間領域信号であり、この信号は、任意の既存の知覚圧縮技術を使用して個々に圧縮することができる。アンビエントＨＯＡ領域成分ＤＡ（ｋ−２）の圧縮は、２つの連続したステップまたはステージで実行することができる。低次元化ステップまたはステージ１３において、アンビソニックス次数ＮＲＥＤの低減が行われる。ここで、例えばＮＲＥＤ＝１である。結果として、アンビエントＨＯＡ成分ＤＡ，ＲＥＤ（ｋ−２）が得られる。このような低次元化は、ＤＡ（ｋ−２）において、ＮＲＥＤＨＯＡ係数のみを保持し、他の係数を破棄することによって行われる。復号器側では、以下に説明するように、省略された値に対して対応する零値が付加される。
【００２６】
なお、欧州特許出願公開第２６６５２０８号のアプローチと比較して、低減された次数ＮＲＥＤは、一般的には、小さくなるように選択されることがある。この理由は、全体の次数、さらに、残差のアンビエントＨＯＡ成分の方向性の残量が小さくなるからである。したがって、低次元化により、欧州特許出願公開第２６６５２０８号の場合と比較して誤りが小さくなる。
【００２７】
以下の相関除去ステップまたはステージ１４において、低次元化されたアンビエントＨＯＡ成分ＤＡ，ＲＥＤ（ｋ−２）を表現するＨＯＡ係数列は相関除去され、時間領域信号ＷＡ，ＲＥＤ（ｋ−２）が得られる。この時間領域信号は、任意の知覚圧縮技術によって動作する（バンクの）パラレル知覚符号化器またはコンプレッサ１５に入力される。この相関除去は、圧縮解除した後にＨＯＡ表現をレンダリングする際に知覚符号化ノイズのマスク除去を回避するために行われる（説明については、欧州特許出願第１２３０５８６０号参照）。近似的な相関除去は、欧州特許出願公開第２４６９７４２号に記載されているように、球面調和変換を適用してＤＡ，ＲＥＤ（ｋ−２）を空間領域内のΟＲＥＤ等価信号に変換することによって成し遂げることができる。
【００２８】
代替的には、欧州特許出願第１２３０５８６１号において提案されている適応的球面調和変換を使用できる。ここでは、最大限の相関除去効果を得るためにサンプリング方向のグリッドを回転させる。別の代替的な相関解除技術は、欧州特許出願第１２３０５８６０号に記載されているカルーネンレーベ変換（ＫＬＴ）である。なお、これらの最後の２つのタイプの相関除去のために、ＨＯＡ圧縮解除ステージでの相関除去の逆処理を可能にするべく、α（ｋ−２）で表される何らかの副情報が供給される。
【００２９】
一実施形態においては、符号化効率を改善するために、全ての時間領域信号ＸＤＩＲ（ｋ−１）およびＷＡ，ＲＥＤ（ｋ−２）の知覚圧縮が共に行われる。
【００３０】
知覚符号化の出力は、圧縮された方向性信号
【数７】
2020074008.tif 000009
および圧縮されたアンビエント時間領域信号
【数８】
2020074008.tif 000010
である。
【００３１】
圧縮解除処理
圧縮解除処理は図２ａおよび図２ｂに示されている。圧縮処理の場合と同様に、圧縮解除処理は２つの連続したステップからなる。図２ａにおいて、方向性信号
【数９】
2020074008.tif 000011
および残差のアンビエントＨＯＡ成分を表現する時間領域信号
【数１０】
2020074008.tif 000012
の知覚圧縮解除が、知覚復号または知覚圧縮解除のステップまたはステージ２１において行われる。結果として得られる知覚圧縮解除された時間領域信号
【数１１】
2020074008.tif 000013
は次数ＮＲＥＤの残差の成分のＨＯＡ表現
【数１２】
2020074008.tif 000014
を供給するために、再相関ステップまたはステージ２２において再相関される。必要に応じて、この再相関は、ステップ／ステージ１４に記載された２つの代替的な処理に対して記載されたのとは逆の手順で実行することができ、使用された相関解除方法に依存して送信あるいは格納されたパラメータα（ｋ−２）が使用される。その後、次数拡張によって、次数拡張ステップまたはステージ２３において、
【数１３】
2020074008.tif 000015
から、次数Ｎの適切なＨＯＡ表現
【数１４】
2020074008.tif 000016
が推定される。次数拡張は、対応する「零」値の列を
【数１５】
2020074008.tif 000017
に付加することによって行われ、これにより、より高い次数に関し、ＨＯＡ係数が零値を有するものと仮定する。
【００３２】
図２ｂにおいて、全てのＨＯＡ表現は、圧縮解除された支配的な方向性信号
【数１６】
2020074008.tif 000018
が対応する方向
【数１７】
2020074008.tif 000019
および予測パラメータζ（ｋ−１）とから、さらに、残差のアンビエントＨＯＡ成分
【数１８】
2020074008.tif 000020
から、合成ステップまたはステージ２４において再合成される。結果として、ＨＯＡ係数の圧縮解除され再合成されたフレーム
【数１９】
2020074008.tif 000021
となる。
【００３３】
符号化効率を改善するために、全ての時間領域信号ＸＤＩＲ（ｋ−１）およびＷＡ，ＲＥＤ（ｋ−２）の知覚圧縮が共に行われた場合には、圧縮された方向性信号
【数２０】
2020074008.tif 000022
および圧縮された時間領域信号
【数２１】
2020074008.tif 000023
の知覚圧縮解除もまた、対応する方法で共に行われる。
【００３４】
再合成の詳細な説明は、ＨＯＡ再合成の項目に存在する。
【００３５】
ＨＯＡ分解
ＨＯＡ分解のために実行される処理を例示するブロック図が図３に与えられている。この処理を以下のように要約する。最初に、平滑化された支配的な方向性信号ＸＤＩＲ（ｋ−１）は計算され、知覚圧縮のために出力される。次に、支配的な方向性信号のＨＯＡ表現ＤＤＩＲ（ｋ−１）と当初のＨＯＡ表現Ｄ（ｋ−１）との間の残差は、“Ο”個の数の方向性信号
【数２２】
2020074008.tif 000024
によって表現される。これは、均一に分布した方向からの一般的な平面波と考えることができる。これらの方向性信号は、支配的な方向性信号ＸＤＩＲ（ｋ−１）から予測される。ここで、予測パラメータζ（ｋ−１）が出力される。最終的に、当初のＨＯＡ表現Ｄ（ｋ−２）と支配的な方向性信号のＨＯＡ表現ＤＤＩＲ（ｋ−１）との間の残差ＤＡ（ｋ−２）が均一に分布した方向からの予測された方向性信号のＨＯＡ表現
【数２３】
2020074008.tif 000025
と共に計算され、出力される。
【００３６】
詳細について述べる前に、連続するフレームの間の方向の変化が合成の間の全ての計算された信号に不連続を生じさせることがある点について述べる。したがって、まず、２Ｂの長さを有する重複するフレームの各々の信号の瞬時推定値が計算される。第２に、連続する重複するフレームの結果が適切な窓関数を使用して平滑化される。しかしながら、各平滑化は、１フレーム分の待ち時間を伴う。
【００３７】
瞬時支配的な方向性信号の計算
ＨＯＡ係数列の現在のフレームＤ（ｋ）に対する
【数２４】
2020074008.tif 000026
内の推定された音源方向からの、ステップまたはステージ３０での瞬時支配的な方向信号の計算は、Ｍ．Ａ．Ｐｏｌｅｔｔｉ著、“Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ  Ｓｕｒｒｏｕｎｄ  Ｓｏｕｎｄ  Ｓｙｓｔｅｍｓ  Ｂａｓｅｄ  ｏｎ  Ｓｐｅｈｒｉｃａｌ  Ｈａｒｍｏｎｉｃｓ（球面調和関数に基づく３次元サラウンド・サウンド・システム）”、アメリカ音響学会誌、５３（１１）、１００４〜１０２５頁、２００５年、に記載されたモード・マッチングに基づいている。特に、所与のＨＯＡ信号の最も良い近似となるＨＯＡ表現の方向性信号がサーチされる。
【００３８】
さらに、一般性を失うことなく、下記の式に従って、傾斜角θＤＯＭ，ｄ（ｋ）∈［０，π］および方位角φＤＯＭ，ｄ（ｋ）∈［０，２π］（図５に示す内容を参照されたい。）のベクトルによって、アクティブな支配的な音源の各方向の推定値
【数２５】
2020074008.tif 000027
を明確に特定できるものと仮定する。
【数２６】
2020074008.tif 000028
【００３９】
まず、アクティブ音源の方向推定値に基づくモード行列は、下記の式に従って計算され、
【数２７】
2020074008.tif 000029
ここで、
【数２８】
2020074008.tif 000030
式（４）において、ＤＡＣＴ（ｋ）は、ｋ番目のフレームに対するアクティブな方向の数を表しており、ｄＡＣＴ，ｊ（ｋ），１≦ｊ≦ＤＡＣＴ（ｋ）は、それらの添え字を示している。また、
【数２９】
2020074008.tif 000031
は、実数値の球面調和関数を示しており、これは、実数値の球面調和関数の定義の項目で定義されている。
【００４０】
第２に、行列
【数３０】
2020074008.tif 000032
が下記の式にしたがって計算され、これは、（ｋ−１）番目およびｋ番目のフレームに対する全ての支配的な方向性信号の瞬時推定値を含む。
【数３１】
2020074008.tif 000033
ここで、
【数３２】
2020074008.tif 000034
この計算は、２つのステップで行うことができる。第１のステップにおいては、アクティブでない方向に対応する列の方向性信号サンプルが零に設定され、すなわち、以下のようになる。
【数３３】
2020074008.tif 000035
ここで、ＭＡＣＴ（ｋ）は、アクティブな方向の組である。第２のステップにおいて、アクティブな方向に対応する方向性信号サンプルは、まず、これらを下記に従った行列に配列することによって取得できる。
【数３４】
2020074008.tif 000036
この行列は、次に、下記の誤りのユークリッドノルムを最小にするように計算される。
【数３５】
2020074008.tif 000037
この解は、下記の式によって与えられる。
【数３６】
2020074008.tif 000038
【００４１】
時間的平滑化
ステップまたはステージ３１に関しては、方向性信号
【数３７】
2020074008.tif 000039
についてのみ平滑化を説明する。その理由は、信号の他のタイプの平滑化は、完全に類似の方法で行うことができるからである。式（６）に従った行列
【数３８】
2020074008.tif 000040
にサンプルが含まれる方向性信号の推定値
【数３９】
2020074008.tif 000041
は、適切な窓関数ｗ（ｌ）によって窓を掛けられる。
【数４０】
2020074008.tif 000042
この窓関数は、重複領域においてシフトされたバージョンを用いて（Ｂ個のサンプルのシフトがあると仮定する）、合計で「１」となる条件を満たさなければならない。
【数４１】
2020074008.tif 000043
このような窓関数の例は、下記の式によって定義されるハン窓（Ｈａｎｎ  ｗｉｎｄｏｗ）によって与えられる。
【数４２】
2020074008.tif 000044
（ｋ−１）番目のフレームに対する平滑化された方向性信号は、下記の式に従って窓を掛けられた瞬時推定値の適切な重ね合わせによって計算される。
【数４３】
2020074008.tif 000045
（ｋ−１）番目のフレームに対する全ての平滑化された方向性信号のサンプルは、下記の行列ＸＤＩＲ（ｋ−１）に配列される。
【数４４】
2020074008.tif 000046
ここで、
【数４５】
2020074008.tif 000047
平滑化された支配的な方向性信号ｘＤＩＲ，ｄ（ｌ）は連続した信号であると想定され、これらの信号は知覚符号化器に順次入力される。
【００４２】
平滑化された支配的な方向性信号のＨＯＡ表現の計算
ＸＤＩＲ（ｋ−１）および
【数４６】
2020074008.tif 000048
から、ステップまたはステージ３２において、連続的な信号ｘＤＩＲ，ｄ（ｌ）に依存して、ＨＯＡ合成のために行われる処理と同様の処理を真似るために、平滑化された支配的な方向性信号のＨＯＡ表現が計算される。連続するフレーム間の方向推定値の変化が不連続を生じさせることがあるため、長さ２Ｂの重複するフレームの瞬時ＨＯＡ表現が再び計算され、連続して重複するフレームの結果が適切な窓関数を使用することによって平滑化される。よって、ＨＯＡ表現ＤＤＩＲ（ｋ−１）は、以下の式によって取得される。
【数４７】
2020074008.tif 000049
ここで、
【数４８】
2020074008.tif 000050
さらに、
【数４９】
2020074008.tif 000051
【００４３】
均一なグリッド上の方向性信号によって残差ＨＯＡ表現を表現すること
ＤＤＩＲ（ｋ−１）およびＤ（ｋ−１）（すなわち、フレーム遅延３８１によって遅延されたＤ（ｋ））から、均一なグリッド上の方向性信号による残差ＨＯＡ表現がステップまたはステージ３３で計算される。この処理の目的は、残差［Ｄ（ｋ−２）Ｄ（ｋ−１）］−［ＤＤＩＲ（ｋ−２）ＤＤＩＲ（ｋ−１）］を表すために、何らかの固定された、ほぼ均一に分布する方向
【数５０】
2020074008.tif 000052
（グリッド方向とも称する）から到来する方向性信号（すなわち、一般的な平面波関数）を取得することにある。
【００４４】
最初に、グリッド方向に関して、モード行列ΞGRIDが下式のように計算される。
【数５１】
2020074008.tif 000053
ここで、
【数５２】
2020074008.tif 000054
圧縮処理全体の間、グリッド方向は固定されているためモード行列ΞGRIDの計算が必要となるのは一度のみである。
【００４５】
各グリッド上の方向性信号は、下記の式によって取得される。
【数５３】
2020074008.tif 000055
【００４６】
支配的な方向性信号からの均一なグリッド上の方向性信号の予測
【数５４】
2020074008.tif 000056
およびＸＤＩＲ（ｋ−１）から、ステップまたはステージ３４で均一なグリッド上の方向性信号が予測される。方向性信号からのグリッド方向
【数５５】
2020074008.tif 000057
から構成される均一なグリッド上の方向性信号の予測は、平滑化の目的で、２つの連続したフレームに基づく、すなわち、（長さ２Ｂの）グリッド信号
【数５６】
2020074008.tif 000058
の拡張されたフレームは、平滑化された支配的な方向性信号の拡張されたフレームから下記のように予測される。
【数５７】
2020074008.tif 000059
【００４７】
最初に、
【数５８】
2020074008.tif 000060
に含まれる各グリッド信号
【数５９】
2020074008.tif 000061
が
【数６０】
2020074008.tif 000062
に含まれる支配的な方向性信号
【数６１】
2020074008.tif 000063
に割り当てられる。この割り当ては、グリッド信号と全ての支配的な方向性信号との間の正規化された相互相関関数の計算に基づくことができる。特に、その支配的な方向性信号はグリッド信号に割り当てられ、これは正規化された相互相関関数の最も高い値をもたらすグリッド。この割り当ての結果は、ο番目のグリッド信号をｆＡ，ｋ−１（ο）番目の支配的な方向性信号に割り当てる割り当て関数
【数６２】
2020074008.tif 000064
によって定式化することができる。
【００４８】
次に、各グリッド信号
【数６３】
2020074008.tif 000065
は、割り当てられた支配的な方向性信号
【数６４】
2020074008.tif 000066
から予測される。予測されたグリッド信号
【数６５】
2020074008.tif 000067
は、割り当てられた支配的な方向性信号
【数６６】
2020074008.tif 000068
からの遅延およびスケーリングによって、以下のように計算することができる。
【数６７】
2020074008.tif 000069
ここで、Ｋο（ｋ−１）は、スケーリング係数であり、Δο（ｋ−１）は、サンプル遅延を示している。これらのパラメータは、予測誤りを最小にするように選択される。
【００４９】
予測誤りの次数がグリッド信号自体のものよりも大きい場合には、予測が失敗していると想定される。そして、各予測パラメータを任意の無効値に設定することができる。
【００５０】
なお、予測を他のタイプにすることも可能である。例えば、全帯域のスケーリング係数を計算するかわりに、知覚指向の周波数帯域に対するスケーリング係数を求めることも合理的である。しかしながら、この処理では、予測が改善するものの、副情報の量が増えてしまう。
【００５１】
全ての予測パラメータは、下記のように、パラメータ行列に配列させることができる。
【数６８】
2020074008.tif 000070
全ての予測された信号
【数６９】
2020074008.tif 000071
は、行列
【数７０】
2020074008.tif 000072
に配列されていると仮定される。
【００５２】
均一なグリッド上の予測された方向性信号のＨＯＡ表現の計算
予測されたグリッド信号のＨＯＡ表現は、ステップまたはステージ３５において、下記の式に従って
【数７１】
2020074008.tif 000073
から計算される。
【数７２】
2020074008.tif 000074
【００５３】
残差のアンビエント音場成分のＨＯＡ表現の計算
【数７３】
2020074008.tif 000075
の（ステップ／ステージ３６における）時間的平滑化されたバージョンである
【数７４】
2020074008.tif 000076
と、Ｄ（ｋ）の２フレーム遅延されたバージョンである（遅延３８１および３８３）Ｄ（ｋ−２）と、ＤＤＩＲ（ｋ−１）の１フレーム遅延されたバージョン（遅延３８２）であるＤＤＩＲ（ｋ−２）とから、残差のアンビエント音場成分のＨＯＡ表現がステップまたはステージ３７において、下記の式によって計算される。
【数７５】
2020074008.tif 000077
【００５４】
ＨＯＡ再合成
図４における個々のステップまたはステージの処理について詳細に説明する前に、概要について述べる。均一に分布した方向に対して方向性信号
【数７６】
2020074008.tif 000078
は、予測パラメータ
【数７７】
2020074008.tif 000079
を使用して、復号された支配的な方向性信号
【数７８】
2020074008.tif 000080
から予測される。次に、支配的な方向性信号のＨＯＡ表現
【数７９】
2020074008.tif 000081
と、予測された方向性信号のＨＯＡ表現
【数８０】
2020074008.tif 000082
と、残差のアンビエントＨＯＡ成分
【数８１】
2020074008.tif 000083
とから、全体のＨＯＡ表現
【数８２】
2020074008.tif 000084
が合成される。
【００５５】
支配的な方向性信号のＨＯＡ表現の計算
【数８３】
2020074008.tif 000085
および
【数８４】
2020074008.tif 000086
は、支配的な方向性信号のＨＯＡ表現を求めるために、ステップまたはステージ４１に入力される。モード行列
【数８５】
2020074008.tif 000087
および
【数８６】
2020074008.tif 000088
をｋ番目および（ｋ−１）番目のフレームに対するアクティブな音源の方向推定値に基づいて方向推定値
【数８７】
2020074008.tif 000089
および
【数８８】
2020074008.tif 000090
から計算した後、支配的な方向性信号
【数８９】
2020074008.tif 000091
のＨＯＡ表現は、下記のように取得される。
【数９０】
2020074008.tif 000092
ここで、
【数９１】
2020074008.tif 000093
並びに、
【数９２】
2020074008.tif 000094
【００５６】
支配的な方向性信号から均一なグリッド上の方向性信号の予測
【数９３】
2020074008.tif 000095
および
【数９４】
2020074008.tif 000096
は、支配的な方向性信号から均一なグリッド上の方向性信号を予測するため
に、ステップまたはステージ４３に入力される。均一なグリッド上の予測された方向性信
号の拡張フレームは、下記の式に従って要素
【数９５】
2020074008.tif 000097
から構成される。
【数９６】
2020074008.tif 000098
これは、下記の式によって支配的な方向性信号から予測される。
【数９７】
2020074008.tif 000099
【００５７】
均一なグリッド上の予測された方向性信号のＨＯＡ表現の計算
均一なグリッド上の予測された方向性信号のＨＯＡ表現を計算するステップまたはステージ４４において、予測されたグリッド方向性信号のＨＯＡ表現は、下記の式によって取得される。
【数９８】
2020074008.tif 000100
ここで、ΞGRIDは、所定のグリッド方向に対するモード行列を表す（定義については、等式（２１）を参照。）。
【００５８】
ＨＯＡ音場表現の合成
【数９９】
2020074008.tif 000101
（すなわち、フレーム遅延４２によって遅延された
【数１００】
2020074008.tif 000102
）と、
【数１０１】
2020074008.tif 000103
（ステップ／ステージ４５において、
【数１０２】
2020074008.tif 000104
の時間的平滑化されたバージョン）と、
【数１０３】
2020074008.tif 000105
とから、ステップまたはステージ４６において全体の音場表現が最終的に下記のように合成される。
【数１０４】
2020074008.tif 000106
【００５９】
高次アンビソニックスの基礎
高次アンビソニックスは注目されるコンパクトな領域内の音場の記述に基づいていており、音源が存在しないものと仮定される。その場合、注目領域内の時間ｔおよび位置ｘでの音圧ｐ（ｔ，ｘ）の空間時間的な挙動は、均質媒質の波動方程式によって物理的に完全に求められる。以下の内容は、図５に示された球面座標システムに基づいている。ｘ軸は、前方の位置を指し、ｙ軸は、左側を指し、ｚ軸は上方を指す。空間内の位置ｘ＝（ｒ，θ，φ）Ｔは、半径ｒ＞０（すなわち、座標原点へ距離）、極軸ｚから測定される傾斜角θ∈［０，π］、さらに、ｘ軸からの、ｘ−ｙ平面内で反時計周りに測定される、方位角φ∈［０，２π］によって表される。（・）Ｔは、転置を表す。
【００６０】
Ｆｔ（・）によって表される時間に対する音圧のフーリエ変換、すなわち、
【数１０５】
2020074008.tif 000107
は下記の式に従った一連の球面調和関数に拡張される（Ｅ.Ｇ.  Ｗｉｌｌｉａｍｓ著“Ｆｏｕｒｉｅｒ  Ａｃｏｕｓｔｉｃｓ（フーリエ・アコースティックス））”、応用数理科学、第９３巻、アカデミックプレス社、１９９９年参照）。ここで、ωは角周波数を表し、ｉは虚数単位を表す。
【数１０６】
2020074008.tif 000108
ここで、ｃｓは音速を示し、ｋは角波数を示し、この角波数ｋはｋ＝ω／ｃｓによって角周波数ωに関連している。ｊｎ（・）は、第１種球ベッセル関数を表しており、
【数１０７】
2020074008.tif 000109
は、実数値の球面調和関数の定義の項目で定義されている次数ｎおよび位数ｍの実数値の球面調和関数を示している。展開係数
【数１０８】
2020074008.tif 000110
は、角波数ｋのみに依存する。なお、音圧は、空間的に帯域制限されているものと暗黙的に仮定されている。したがって、級数が次数インデックスｎに対して上限Ｎで打ち切られ、これは、ＨＯＡ表現の次数と呼ばれる。
【００６１】
音場が相異なる角周波数の調和平面波ωの無限個の重ね合わせによって表現され、角の組（θ，φ）によって特定される全ての想定可能な方向から到来する場合には、各々の平面波複素振幅関数Ｄ（ω，θ，φ）は、下記の球面調和展開によって表すことができることが分かる（Ｂ.  Ｒａｆａｅｌｙ著、“Ｐｌａｎｅ−ｗａｖｅ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ  ｏｆ  ｔｈｅ  Ｓｏｕｎｄ  Ｆｉｅｌｄ  ｏｎ  ａ  Ｓｐｈｅｒｅ  ｂｙ  Ｓｐｈｅｒｉｃａｌ  Ｃｏｎｖｏｌｕｔｉｏｎ（球面畳み込みによる球面上の音場の平面波分解）”、米国音響学会誌４(１１６)、２１４９−２１５７頁、２００４年参照）。
【数１０９】
2020074008.tif 000111
ここで、展開係数
【数１１０】
2020074008.tif 000112
は、
【数１１１】
2020074008.tif 000113
と下記の式によって関連する。
【数１１２】
2020074008.tif 000114
【００６２】
個々の係数
【数１１３】
2020074008.tif 000115
が角周波数ωの関数であると仮定すると、逆フーリエ変換（
【数１１４】
2020074008.tif 000116
によって示される）を適用することにより、各次数ｎおよび位数ｍに対し、下記の時間領域関数をもたらす。
【数１１５】
2020074008.tif 000117
これは、次数ｎおよび位数ｍに対して、下記の単一のベクトルにまとめられる。  
【数１１６】
2020074008.tif 000118
ベクトルｄ（ｔ）内の時間領域関数
【数１１７】
2020074008.tif 000119
の位置インデックスは、ｎ（ｎ＋１）＋１＋ｍによって与えられる。
【００６３】
最終的なアンビソニックス形式は、サンプリング周波数ｆｓを使用して、下記のｄ（ｔ）のサンプリングされたバージョンをもたらす。
【数１１８】
2020074008.tif 000120
ここで、Ｔｓ＝１／ｆｓは、サンプリング期間を示す。ｄ（ｌＴｓ）の要素は、アンビソニックス係数として参照される。なお、時間領域信号、
【数１１９】
2020074008.tif 000121
は、実数値であり、したがって、アンビソニックス係数は、実数値である。
【００６４】
実数値の球面調和関数の定義
実数値の球面調和関数
【数１２０】
2020074008.tif 000122
は、下記の式によって与えられる。
【数１２１】
2020074008.tif 000123
ここで
【数１２２】
2020074008.tif 000124
関連するルジャンドル関数Ｐｎ，ｍ（ｘ）は、下記の式で定義される。
【数１２３】
2020074008.tif 000125
ここで、ルジャンドル多項式Ｐｎ（ｘ）を用い、上述した、Ｅ．Ｇ．Ｗｉｌｌｉａｍｓ著のテキストブックの場合とは異なり、コンドン-ショートレーの位相項（−１）ｍを用いない。
【００６５】
高次アンビソニックスの空間解像度
方向Ω０＝（θ０，φ０）Ｔから到来する一般的な平面波関数ｘ（ｔ）は、下記の式によってＨＯＡにおいて表現される。
【数１２４】
2020074008.tif 000126
平面波振幅の対応する空間密度
【数１２５】
2020074008.tif 000127
は、下記の式によって与えられる。
【数１２６】
2020074008.tif 000128
式（４８）から理解されるように、これは、一般的な平面波関数ｘ（ｔ）と空間分散関数νＮ（θ）との積であり、空間分散関数νＮ（θ）は、下記の式の特性を有するΩとΩ０との間の角度θのみに依存するように示されている。
【数１２７】
2020074008.tif 000129
想定のとおり、無限次元の極限、つまり、Ｎ→∞である場合おいて、空間分散関数はディラックのデルタ関数δ（・）、すなわち、下記のように変化する。
【数１２８】
2020074008.tif 000130
しかしながら、有限次元Ｎの場合には、方向Ω０からの一般的な平面波の寄与は、近隣の方向ににじみ、このにじみの度合いは次数の増加に伴い減少する。Ｎの複数の異なる値に対する正規化された関数νＮ（θ）のプロットが図６に示されている。任意の方向Ωでの平面波振幅の空間密度の時間領域の挙動は、他の任意の方向での平面波振幅の空間密度の時間領域の挙動の倍数となることが指摘される。特に、時間ｔに対して、何らかの固定方向Ω１およびΩ２についての関数ｄ（ｔ，Ω１）およびｄ（ｔ，Ω２）は、高い相関性がある。
【００６６】
離散空間領域
平面波振幅の空間密度がΟ個の空間方向Ωｏ（１≦ο≦Οで離散化される場合、空間方向Ωｏは単位球面上でほぼ均一に分布するのだが、Ο個の方向性信号ｄ（ｔ，Ωｏ）が取得される。これらの信号をベクトルにまとめると、下記の式で表され、
【数１２９】
2020074008.tif 000131
式（４７）を使用してこのベクトルを、下記のような単純な行列乗算によって式（４１）に定義される連続的なアンビソニックス表現ｄ（ｔ）から計算することができることを検証できる。
ｄＳＰＡＴ（ｔ）＝ΨＨｄ（ｔ）                                    （５２）
ここで、（・）Ｈは、複素共役転置を示し、Ψは、下記の式によって定義されるモード行列を表す。
【数１３０】
2020074008.tif 000132
ここで、
【数１３１】
2020074008.tif 000133
方向Ωｏは単位球面上にほぼ均一に分布しているため、一般的には、モード行列は可逆である。したがって、連続的なアンビソニックス表現は、方向性信号ｄ（ｔ，Ωｏ）から下記の式によって計算することができる。
ｄ（ｔ）＝  Ψ-ＨｄＳＰＡＴ（ｔ）                    （５５）
双方の式は、アンビソニックス表現と空間領域との間の変換および逆変換を構成する。本願において、これらの変換は、球面調和関数変換および逆球面調和関数変換と呼ばれる。
【００６７】
方向Ωｏは単位球面上でほぼ均一に分布するため、
【数１３２】
2020074008.tif 000134
となり、式（５２）において、ΨＨの代わりにΨ−１を使用することが正当化される。有利には、上述した関係の全ては離散時間領域にも有効である。
【００６８】
符号化側、さらに復号側においても、本発明の処理を単一のプロセッサまたは電子回路、または、並列に動作する、および／または、本発明の処理の複数の異なる部分に対して動作する、幾つかのプロセッサまたは電子回路で実行することができる。
【００６９】
本発明は、家庭環境におけるラウドスピーカ構成上で、または、劇場におけるラウドスピーカ構成上でレンダリングおよび再生が可能な音声信号に対応する処理に適用することができる。
【００７０】
いくつかの態様を記載しておく。
〔態様１〕
音場に対するＨＯＡと称する高次アンビソニックス表現を圧縮する方法であって、
−ＨＯＡ係数（Ｄ（ｋ））の現在の時間フレームから支配的な音源方向（
【数１３３】
2020074008.tif 000135
）を推定するステップ（１１）と、
−前記ＨＯＡ係数（Ｄ（ｋ））および前記支配的な音源方向（
【数１３４】
2020074008.tif 000136
）に依存して、前記ＨＯＡ表現を時間領域内の支配的な方向性信号（ＸＤＩＲ（ｋ−１））と残差のＨＯＡ成分（ＤＡ（ｋ−２））とに分解するステップ（１２）であって、該残差のＨＯＡ成分を表現する均一なサンプリング方向で平面波関数を取得するために前記残差のＨＯＡ成分が離散空間領域に変換され（３３）、前記平面波関数が前記支配的な方向性信号（ＸＤＩＲ（ｋ−１））から予測されること（３４）によって、前記予測を記述するパラメータ（ζ（ｋ−１））がもたらされ、対応する予測誤りが前記ＨＯＡの領域に再び変換される（３５）、該ステップ（１２）と、
−前記残差のＨＯＡ成分（ＤＡ（ｋ−２））の現在の次数（Ｎ）をより低い次数（ＮＲＥＤ）に低減するステップ（１３）であって、結果として、低次元化された残差のＨＯＡ成分（ＤＡ，ＲＥＤ（ｋ−２））が得られる、該ステップ（１３）と、
−前記低次元化された残差のＨＯＡ成分（ＤＡ，ＲＥＤ（ｋ−２）を相関除去して対応する残差のＨＯＡ成分時間領域信号（ＷＡ，ＲＥＤ（ｋ−２））を取得するステップ（１４）と、
−圧縮された支配的な方向性信号（
【数１３５】
2020074008.tif 000137
）および圧縮された残差の成分信号（
【数１３６】
2020074008.tif 000138
）を供給するように、前記支配的な方向性信号（ＸＤＩＲ（ｋ−１））および前記残差のＨＯＡ成分時間領域信号（ＷＡ，ＲＥＤ（ｋ−２））を知覚符号化するステップ（１５）と、
を含む、前記方法。
〔態様２〕
音場に対するＨＯＡと称する高次アンビソニックス表現を圧縮する装置であって、
−ＨＯＡ係数（Ｄ（ｋ））の現在の時間フレームから支配的な音源方向（
【数１３７】
2020074008.tif 000139
）を推定するように構成された手段（１１）と、
−前記ＨＯＡ係数（Ｄ（ｋ））および前記支配的な音源方向（
【数１３８】
2020074008.tif 000140
）に依存して、前記ＨＯＡ表現を時間領域内の支配的な方向性信号（ＸＤＩＲ（ｋ−１））と残差のＨＯＡ成分（ＤＡ（ｋ−２））とに分解するように構成された手段（１２）であって、該残差のＨＯＡ成分を表現する均一なサンプリング方向で平面波関数を取得するために前記残差のＨＯＡ成分が離散空間領域に変換され（３３）、前記平面波関数が前記支配的な方向性信号（ＸＤＩＲ（ｋ−１）から予測されること（３４）によって前記予測を記述するパラメータ（ζ（ｋ−１））がもたらされ、対応する予測誤りが前記ＨＯＡの領域に再び変換される（３５）、前記手段（１２）と、
−前記残差のＨＯＡ成分（ＤＡ（ｋ−２））の現在の次数（Ｎ）をより低い次数（ＮＲＥＤ）に低減するように構成された手段（１３）であって、結果として、低次元化された残差のＨＯＡ成分（ＤＡ，ＲＥＤ（ｋ−２））を生成する、該手段（１３）と、
−前記低次元化された残差のＨＯＡ成分（ＤＡ，ＲＥＤ（ｋ−２）を相関除去して、対応する残差のＨＯＡ成分時間領域信号（ＷＡ，ＲＥＤ（ｋ−２））を取得するように構成された手段（１４）と、
−圧縮された支配的な方向性信号（
【数１３９】
2020074008.tif 000141
）および圧縮された残差の成分信号（
【数１４０】
2020074008.tif 000142
）を供給するように、前記支配的な方向性信号（ＸＤＩＲ（ｋ−１）および前記残差のＨＯＡ成分時間領域信号（ＷＡ，ＲＥＤ（ｋ−２））を知覚符号化するように構成された手段と、
を備える、前記装置。
〔態様３〕
態様１に記載の方法に従って圧縮された高次アンビソニックス表現を圧縮解除する方法であって、
−圧縮解除された支配的な方向性信号（
【数１４１】
2020074008.tif 000143
）および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号（
【数１４２】
2020074008.tif 000144
）を供給するように、前記圧縮された支配的な方向性信号（
【数１４３】
2020074008.tif 000145
）および前記圧縮された残差の成分信号（
【数１４４】
2020074008.tif 000146
）を知覚復号するステップ（２１）と、
−前記圧縮解除された時間領域信号（
【数１４５】
2020074008.tif 000147
）を再相関させて、対応する低次元化された残差のＨＯＡ成分（
【数１４６】
2020074008.tif 000148
）を取得するステップ（２２）と、
−前記低次元化された残差のＨＯＡ成分（
【数１４７】
2020074008.tif 000149
）の次数（ＮＲＥＤ）を当初の次数（Ｎ）に拡張するステップ（２３）であって、それによって対応する圧縮解除された残差のＨＯＡ成分（
【数１４８】
2020074008.tif 000150
）を供給する、該ステップ（２３）と、
−前記圧縮解除された支配的な方向性信号（
【数１４９】
2020074008.tif 000151
【数１５０】
2020074008.tif 000152
）と、前記推定された（１１）支配的な音源方向（
【数１５１】
2020074008.tif 000153
）と、前記予測を記述する前記パラメータ（ζ（ｋ−１））とを使用して、ＨＯＡ係数の対応する圧縮解除され、再合成されたフレーム
【数１５２】
2020074008.tif 000154
を合成するステップ（２４）と、
を含む、前記方法。
〔態様４〕
態様１に記載の方法に従って圧縮された高次アンビソニックス表現を圧縮解除する装置であって、
−圧縮解除された支配的な方向性信号（
【数１５３】
2020074008.tif 000155
）および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号（
【数１５４】
2020074008.tif 000156
）を供給するように、前記圧縮された支配的な方向性信号（
【数１５５】
2020074008.tif 000157
）および前記圧縮された残差の成分信号（
【数１５６】
2020074008.tif 000158
）を知覚復号するように構成された手段（２１）と、
−前記圧縮解除された時間領域信号（
【数１５７】
2020074008.tif 000159
）を再相関させて、対応する低次元化された残差のＨＯＡ成分（
【数１５８】
2020074008.tif 000160
）を取得するように構成された手段（２２）と、
−前記低次元化された残差のＨＯＡ成分（
【数１５９】
2020074008.tif 000161
）の次数（ＮＲＥＤ）を当初の次数（Ｎ）に拡張するように構成された手段（２３）であって、それによって対応する圧縮解除されたＨＯＡ成分（
【数１６０】
2020074008.tif 000162
）を供給する、該手段（２３）と、
−前記圧縮解除された支配的な方向性信号（
【数１６１】
2020074008.tif 000163
）と、前記当初の次数の圧縮解除された残差のＨＯＡ成分（
【数１６２】
2020074008.tif 000164
【数１６３】
2020074008.tif 000165
）と、前記予測を記述する前記パラメータ（ζ（ｋ−１））とを使用して、ＨＯＡ係数の対応する圧縮解除され、再合成されたフレーム（
【数１６４】
2020074008.tif 000166
）を合成するように構成された手段（２４）と、
を備える、前記装置。
〔態様５〕
前記低次元化された残差のＨＯＡ成分（ＤＡ，ＲＥＤ（ｋ−２））の前記相関除去（１４）は、球面調和関数変換を使用して、前記低次元化された残差のＨＯＡ成分を空間領域内で対応する次数の等価信号に変換することによって行われる、態様１に記載の方法、または態様２に記載の装置。
〔態様６〕
前記低次元化された残差のＨＯＡ成分（ＤＡ，ＲＥＤ（ｋ−２））の前記相関除去（１４）は、球面調和関数変換を使用して、前記低次元化された残差のＨＯＡ成分を空間領域内で対応する次数の等価信号に変換することによって行われ、前記相関除去の反転を可能にする副情報（α（ｋ−２））を提供することによって、サンプリング方向のグリッドが回転されて最大限の相関除去効果を得る、態様１に記載の方法、または態様２に記載の装置。
〔態様７〕
前記支配的な方向性信号（ＸＤＩＲ（ｋ−１））および前記残差のＨＯＡ成分時間領域信号（ＷＡ，ＲＥＤ（ｋ−２））の知覚圧縮（１５）が共に行われ、前記圧縮された方向性信号（
【数１６５】
2020074008.tif 000167
）および前記圧縮された時間領域信号（
【数１６６】
2020074008.tif 000168
）の前記知覚圧縮（２１）が対応する方法で共に行われる、態様１、３、５、および６のいずれか１項に記載の方法、または態様２および４〜６のいずれか１項に記載の装置に従った方法。
〔態様８〕
前記分解するステップ（１２）は、
−ＨＯＡ係数の現在のフレーム（Ｄ（ｋ））に対して（
【数１６７】
2020074008.tif 000169
）における推定された音源方向から支配的な方向性信号（
【数１６８】
2020074008.tif 000170
）を計算するステップ（３０）であって、その後の時間的平滑化（３１）によって平滑化された支配的な方向性信号（ＸＤＩＲ（ｋ−１））が取得される、該ステップと、
−（
【数１６９】
2020074008.tif 000171
）における前記推定された音源方向および前記平滑化された支配的な方向性信号（ＸＤＩＲ（ｋ−１））から平滑化された支配的な方向性信号（ＤＤＩＲ（ｋ−１））のＨＯＡ表現を計算するステップ（３２）と、
【数１７０】
2020074008.tif 000172
）による対応する残差のＨＯＡ表現を表現するステップ（３３）と、
−前記平滑化された支配的な方向性信号（ＸＤＩＲ（ｋ−１））および方向性信号（
【数１７１】
2020074008.tif 000173
）による前記残差のＨＯＡ表現から、均一なグリッド上の方向性信号（
【数１７２】
2020074008.tif 000174
）を予測し（３４）、該予測から均一なグリッド上の予測された方向性信号のＨＯＡ表現を計算し（３５）、その後、時間的平滑化を行う（３６）、ステップと、
−均一なグリッド上での前記平滑化された予測された方向性信号（
【数１７３】
2020074008.tif 000175
）と、ＨＯＡ係数の前記現在のフレーム（Ｄ（ｋ））の２フレーム遅延したバージョンと、前記平滑化された支配的な方向性信号（ＸＤＩＲ（ｋ−１））の１フレーム遅延したバージョンとから、残差のアンビエント音場成分のＨＯＡ表現（ＤＡ（ｋ−２））を計算するステップと、
を含む、態様１および５〜７のいずれか１項に記載の方法に従った方法、または態様２および５〜７のいずれか１項に記載の装置に従った装置。
〔態様９〕
前記合成するステップ（２４）は、
−ＨＯＡ係数の現在のフレーム（Ｄ（ｋ））に対して前記推定された音源方向（
【数１７４】
2020074008.tif 000176
）と、前記圧縮解除された支配的な方向性信号（
【数１７５】
2020074008.tif 000177
）とから、支配的な方向性信号（
【数１７６】
2020074008.tif 000178
）のＨＯＡ表現を計算するステップ（４１）と、
前記圧縮解除された支配的な方向性信号（
【数１７７】
2020074008.tif 000179
）と、前記予測を記述した前記パラメータ（ζ（ｋ−１））とから、均一なグリッド上の方向性信号
【数１７８】
2020074008.tif 000180
を予測するステップ（４３）と、当該予測から、均一なグリッド上の予測された方向性信号のＨＯＡ表現
【数１７９】
2020074008.tif 000181
を計算するステップ（４４）であって、その後に、時間的平滑化を行う
【数１８０】
2020074008.tif 000182
、該ステップと、
−均一なグリッド上の予測された方向性信号
【数１８１】
2020074008.tif 000183
の前記平滑化されたＨＯＡ表現と、支配的な方向性信号（
【数１８２】
2020074008.tif 000184
）の前記ＨＯＡ表現の１フレーム遅延された（４２）バージョンと、前記圧縮解除された残差のＨＯＡ成分（
【数１８３】
2020074008.tif 000185
）とから、ＨＯＡ音場表現（
【数１８４】
2020074008.tif 000186
）を合成するステップ（４６）と、
を含む、態様３または７に記載の方法に従った方法、または態様４または７に記載の装置に従った装置。
〔態様１０〕
均一なグリッド上の方向性信号（
【数１８５】
2020074008.tif 000187
）の前記予測（３４）において、予測されたグリッド信号（
【数１８６】
2020074008.tif 000188
）が、割り当てられた支配的な方向性信号（
【数１８７】
2020074008.tif 000189
）からの遅延および全帯域スケーリングによって計算される、態様８に記載の方法に従った方法、または態様８に記載の装置に従った装置。
〔態様１１〕
均一なグリッド上の方向性信号（
【数１８８】
2020074008.tif 000190
）の前記予測（３４）において、知覚指向の周波数帯域に対するスケーリング係数が求められる、態様８に記載の方法に従った方法、または態様８に記載の装置に従った装置。
〔態様１２〕
態様１、５〜８、１０、および１１のいずれか１項に記載の方法に従って符号化されるディジタル・オーディオ信号。
【図１ａ】
2020074008.tif 000191
【図１ｂ】
2020074008.tif 000192
【図２ａ】
2020074008.tif 000193
【図２ｂ】
2020074008.tif 000194
【図３】
2020074008.tif 000195
【図４】
2020074008.tif 000196
【図５】
2020074008.tif 000197
【図６】
2020074008.tif 000198
【外国語明細書】
2020074008000001.pdf