(57)【要約】  高次アンビソニックス(HOA)は、拡声器の設定とは独立して、スイートスポット近辺の完全なサウンドフィールドを表現する。空間解像度が高い場合、多数のHOA係数を必要とする。本発明では、支配的なサウンド方向が推定され、HOA信号表現は、時間ドメインにおける支配的方向信号及び関連方向情報と、HOAドメインにおけるアンビエント成分とに分解され、その後に低次数化によりアンビエント成分を圧縮する処理が続く。低次数化されたアンビエント成分は空間ドメインに変換され、方向信号とともに知覚的にエンコードされる。受信機の側では、エンコードされた方向信号及び低次数化されエンコードされたアンビエント成分は、低次数化されたHOAドメイン表現に変換され、その後に次数拡張処理が続く。方向信号、対応する方向情報、及びオリジナルの次数のアンビエントHOA成分から、完全なHOA表現が再構成される。
2015520411.tif 000002
【特許請求の範囲】
【請求項１】
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する方法であって、
支配的な方向を推定するステップであって、前記支配的な方向は、エネルギが支配的なＨＯＡ信号成分の電力分布方向に依存する、ステップと、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するステップであって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、ステップと、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するステップと、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するステップと、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的に符号化するステップと
を有する方法。
【請求項２】
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する方法であって、
支配的な方向を推定するステップであって、前記支配的な方向は、エネルギが支配的なＨＯＡ信号成分の電力分布方向に依存する、ステップと、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するステップであって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、ステップと、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するステップと、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するステップと、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的にエンコードするステップとを有し、
知覚的にエンコードされた支配的な方向信号と、知覚的にエンコードされた変換された残留アンビエント成分とを、知覚的にデコードするステップと、
知覚的にデコードされた変換された残留アンビエント成分を逆変換し、ＨＯＡドメインの表現を取得するステップと、
逆変換された残留アンビエント成分について次数拡張の処理を実行し、元の次数のアンビエントＨＯＡ成分を取得するステップと、
知覚的にデコードされた支配的な方向信号と、前記方向情報と、前記元の次数のアンビエントＨＯＡ成分とを合成し、ＨＯＡ信号表現を取得するステップと
を有する方法。
【請求項３】
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する装置であって、
支配的な方向を推定するように形成された手段であって、前記支配的な方向は、エネルギが支配的なＨＯＡ信号成分の電力分布方向に依存する、手段と、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するように形成された手段であって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、手段と、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するように形成された手段と、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するように形成された手段と、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的に符号化するように形成された手段と
を有する装置。
【請求項４】
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する装置であって、
支配的な方向を推定するように形成された手段であって、前記支配的な方向は、エネルギが支配的なＨＯＡ信号成分の電力分布方向に依存する、手段と、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するように形成された手段であって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、手段と、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するように形成された手段と、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するように形成された手段と、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的に符号化するように形成された手段とを有し、
知覚的にエンコードされた支配的な方向信号と、知覚的にエンコードされた変換された残留アンビエント成分とを、知覚的にデコードするように形成された手段と、
知覚的にデコードされた変換された残留アンビエント成分を逆変換し、ＨＯＡドメインの表現を取得するように形成された手段と、
逆変換された残留アンビエント成分について次数拡張の処理を実行し、元の次数のアンビエントＨＯＡ成分を取得するように形成された手段と、
知覚的にデコードされた支配的な方向信号と、前記方向情報と、前記元の次数のアンビエントＨＯＡ成分とを合成し、ＨＯＡ信号表現を取得するように形成された手段と
を有する装置。
【請求項５】
ＨＯＡ係数の到来ベクトルをオーバーラップしないフレームにするフレーム化処理が行われ、フレームの持続時間は２５ｍｓである、請求項１に記載の方法又は請求項３に記載の装置。
【請求項６】
現在のフレーム各々に関し、隣接するフレームの内容が考慮されるように、前記支配的な方向の推定は、長くオーバーラップするフレーム群に依存する、請求項１又は５に記載の方法又は請求項３又は５に記載の装置。
【請求項７】
前記支配的な方向信号及び変換されたアンビエント成分が共に知覚的に圧縮される、請求項１、５又は６に記載の方法又は請求項３、５又は６に記載の装置。
【請求項８】
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解する処理が、前記ＨＯＡ信号表現の信号適応ＤｉｒＡＣ的なレンダリングに使用され、ＤｉｒＡＣはPulkki等による指向性オーディオコーディングを意味する、請求項１、５〜７のうちの何れか１項に記載の方法又は請求項３、５〜７のうちの何れか１項に記載の装置。
【請求項９】
請求項１、５〜８のうちの何れか１項に記載の方法に従って圧縮されたＨＯＡ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は高次アンビソニックス表現を圧縮及び圧縮解除するための方法及び装置等に関連し、この場合において、方向成分及びアンビエント成分が異なる形式で処理される。
【背景技術】
【０００２】
高次アンビソニックス(Higher  Order  Ambisonics：HOA)は、3次元空間内の特定の場所(「スイートスポット」と呼ばれる場所)の近辺における完全なサウンドフィールドを取得できる利点をもたらす。「サウンドフィールド」は「音場」等と言及されてもよい。そのようなHOA表現は、具体的な拡声器の設定とは無関係であり、この点、ステレオ又はサラウンド等のようなチャネル方式の技術と異なる。このような柔軟性は、デコードプロセスが特定の拡声器の設定の場合におけるHOA表現を再生しなければならないことを代償とする。
【０００３】
HOAは、所望のリスナーの位置の近辺の場所xにおける個々の角波数kに関する空気圧の複素振幅表現に基づいており、一般性を失うことなく、リスナーの位置は球面座標系の原点であると仮定してよく、HOAは打ち切られた球面調和(Spherical  Harmonics：SH)展開を用いて表現される。この表現の空間分解能は、展開の最大次数Nを増やすことにより改善される。不都合なことに、展開係数の個数O(オー)は、次数Nに関して二次関数的に増え、具体的には、O=(N+1)2である。例えば、次数N=4を利用する典型的なHOA表現は、O=25個の係数を必要とする。所望のサンプリングレートがfsでありサンプル当たりのビット数がNbである場合、HOA信号表現の送信のための全体的なビットレートは、O・fs・Nbにより決定され、次数N=4であり、サンプリングレートがfs=48kHzであり、サンプル当たりのビット数がNb=16である場合のHOA信号表現の送信は、19.2MBit/sのビットレートにもなってしまう。従って、HOA信号表現の圧縮が極めて望まれている。
【０００４】
既存の空間オーディオ圧縮方式の概要は、特許文献1或るいは非特許文献1等に記載されている。
【０００５】
以下の技術は本発明の背景技術に相応しい。
【０００６】
Bフォーマット信号は一次のアンビソニックス表現と等価であり、Bフォーマット信号は非特許文献2に記載されているように指向性オーディオコーディング(Directional  Audio  Coding：DirAC)を用いて圧縮されることが可能である。
【０００７】
テレビ会議のアプリケーションに提案されている一形態では、Bフォーマット信号が、1つの無指向性信号及びサイド情報に、1つの方向と周波数バンド毎の分散パラメータとの形式でコード化される。しかしながら、データレートの顕著な減少効果は、再生時に僅かな信号品質が取得されることを代償としている。更に、DirACは一次のアンビソニックス表現の圧縮に限られ、空間解像度が非常に低いという不利益を被る。
【０００８】
N＞1の場合のHOA表現を圧縮する既存の方法はほとんど知られていない。1つの方法は、知覚的アドバンストオーディオコーディング(AAC)コーデックを利用して個々のHOA係数シーケンスについての直接的なエンコーディングを実行するものであり、この点については例えば非特許文献3に記載されている。しかしながら、そのような方法に関する本質的な問題は、決して聞こえることがない信号の知覚的符号化を行うことである。再構築される再生信号は、通常、HOA係数シーケンスの重み付け加算により取得される。圧縮解除されるHOA表現が特定の拡声器の配置に関して表現される場合、知覚的符号化ノイズが露呈する高い確率が存在する。より正確に言えば、知覚的符号化ノイズの特定に伴う主な問題は、個々のHOA係数シーケンス同士の間の相互相関が高いことである。個々のHOA係数シーケンスにおける符号化雑音信号は、通常、互いの相関は無い又は低いので、知覚的符号化ノイズの建設的な重ね合わせが生じるのと同時に、ノイズの無いHOA係数シーケンスは重ね合わせによりキャンセルされる。別の問題は、上記の相互相関が、知覚的符号化の効率の低下を招いてしまうことである。
【０００９】
そのような影響の程度を最小化するため、特許文献1においては、知覚的符号化の前に、HOA表現を空間ドメインの等価な表現に変換することが提案されている。空間ドメイン信号は、従来の方向信号に対応することに加えて、(複数の)拡声器が空間ドメイン変換で仮定されているのと完全に同じ方向に配置されていた場合には拡声器信号に対応することになる。
【００１０】
空間ドメインへの変換は、個々の空間ドメイン信号同士の相互相関を減らす。しかしながら、相互相関は完全には排除されない。比較的高い相互相関をもたらす方向信号の具体例は、方向信号の方向が(複数の)空間ドメイン信号によりカバーされる隣接する方向の間にある場合である。特許文献1及び非特許文献3の別の欠点は、知覚的符号化信号の個数が(N+1)2であることであり、ここでNはHOA表現の次数である。従って圧縮されるHOA表現のデータレートはアンビソニックスの次数に関して二次関数的に増える。
【００１１】
後述するように本発明による圧縮処理は、HOAサウンドフィールド表現を、方向成分(directional  component)とアンビエント成分(ambient  component)とに分解する処理を実行する。「方向成分」は「指向方向成分」等と言及されてもよい。「アンビエント成分」は「周辺成分」又は「周囲成分」等と言及されてもよい。特に、指向性サウンドフィールド成分の計算に関し、複数の支配的なサウンド方向を推定する新たな処理が、本明細書で説明される。
【００１２】
アンビソニックスに基づく既存の方向推定方法に関し、上記の非特許文献2に記載されている方法は、Bフォーマットサウンドフィールド表現に基づく方向推定のためのDirAC符号化に関連する。方向は、サウンドフィールドエネルギが流れる方向を指し示す平均強度ベクトルから取得される。Bフォーマットに基づく代替例については例えば非特許文献4に記載されている。方向推定は、特定の方向に仕向けられるビームフォーマ出力信号が最大電力をもたらす方向を探索することにより、反復的に実行される。
【００１３】
しかしながら、何れの方法も方向推定のBフォーマットによる制約を受け、比較的小さな空間解像度による不利益を被ってしまう。別の欠点は、そのような推定が、単独の支配的な方向に限られてしまうことである。
【００１４】
HOA表現は、改善された空間解像度をもたらし、複数の支配的な方向に関する改善された推定を可能にする。HOAサウンドフィールド表現に基づいて複数の方向の推定を実行する既存の方法はほとんど知られていない。圧縮検出に基づく方法が非特許文献5及び非特許文献6において提案されている。主な考え方は、空間的にまばらなサウンドフィールドを推定すること、すなわち少数の方向信号のみを構成することである。球面上に多数の検査方向を設定した後に最適アルゴリズムが実行され、対応する方向信号に関して可能な限り少ない検査信号を発見し、所与のHOA表現により検査方向が十分に記述されるようにする。この方法は、所定のHOA表現により実際に提供される空間解像度と比較して改善された空間解像度をもたらし、その理由は、所定のHOA表現の限られた次数に起因する空間分散を回避するからである。しかしながら、アルゴリズムのパフォーマンスは、まばらであるという条件(sparsity  assumption)が満たされているか否かに強く依存する。特に、この方法が不都合になるのは、サウンドフィールドが何らかのマイナーな追加的なアンビエント成分を含んでいる場合や、HOA表現が、マルチチャネル記録により算出される際に生じるノイズの影響を受けるような場合である。
【００１５】
更に、直感的な方法は、非特許文献7に記載されているように、所与のHOA表現を空間ドメインに変換し、その後に方向電力の最大値を探索することである。この方法の欠点は、アンビエント成分の存在が、電力分布方向を不明瞭化させること、及び、如何なるアンビエント成分も存在しない場合と比較して最大電力方向を変位させること等を招いてしまうことである。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】欧州特許出願公開第10306472.1号明細書
【非特許文献】
【００１７】
【非特許文献１】I.  Elfitri,  B.Gunel,  A.M.  Kondoz,“Multichannel  Audio  Coding  Based  on  Analysis  by  Synthesis”,  Proceedings  of  the  IEEE,  vol.99,  no.4,  pp.657-670,  April  2011
【非特許文献２】V.  Pulkki,“Spatial  Sound  Reproduction  with  Directional  Audio  Coding”,  Journal  of  Audio  Eng.  Society,  vol.55(6),  pp.503-516,  2007
【非特許文献３】E.  Hellerud,  I.  Burnett,  A.  Solvang,  U.  Peter  Svensson,  “Encoding  Higher  Order  Ambisonics  with  AAC”,  124th  AES  Convention,  Amsterdam,  2008
【非特許文献４】D.  Levin,  S.  Gannot,  E.A.P.  Habets,“Direction-of-Arrival  Estimation  using  Acoustic  Vector  Sensors,  in  the  Presence  of  Noise”,  IEEE  Proc.  of  the  ICASSP,  pp.105-108,  2011
【非特許文献５】N.  Epain,  C.  Jin,  A.  van  Schaik,  “The  Application  of  Compressive  Sampling  to  the  Analysis  and  Synthesis  of  Spatial  Sound  Fields”,  127th  Convention  of  the  Audio  Eng.  Soc,  New  York,  2009,
【非特許文献６】A.  Wabnitz,  N.  Epain,  A.  van  Schaik,  C  Jin,“Time  Domain  Reconstruction  of  Spatial  Sound  Fields  Using  Compressed  Sensing”,  IEEE  Proc.  of  the  ICASSP,  pp.465-468,  2011
【非特許文献７】B.  Rafaely,“Plane-wave  decomposition  of  the  sound  field  on  a  sphere  by  spherical  convolution”,  J.  Acoust.  Soc.  Am.,  vol.4,  no.116,  pp  .2149-2157  ,  October  2004
【発明の概要】
【発明が解決しようとする課題】
【００１８】
一つの側面における実施の形態の課題は、高次アンビソニックス信号表現を適切に圧縮又は圧縮解除するための方法又は装置等を提供することである。
【課題を解決するための手段】
【００１９】
一実施形態による方法は、
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する方法であって、
支配的な方向を推定するステップであって、前記支配的な方向は、エネルギが支配的なＨＯＡ信号成分の電力分布方向に依存する、ステップと、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するステップであって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、ステップと、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するステップと、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するステップと、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的に符号化するステップと
を有する方法である。
【図面の簡単な説明】
【００２０】
【図１】様々なアンビソニックス次数N及び角度Θ∈[0,π]に関する正規化された分散関数を示す図。
【図２】本発明による圧縮処理に関するブロック図。
【図３】本発明による圧縮解除処理に関するブロック図。
【発明を実施するための形態】
【００２１】
＜実施の形態の概要＞
実施の形態により解決される課題は、HOA信号表現の高い空間分解能を維持しつつHOA信号を圧縮することである。この課題は特許請求の範囲に記載されている方法により解決される。本願はそのような方法を利用する装置も開示する。
【００２２】
本発明は、サウンドフィールドの高次アンビソニックスHOA表現を圧縮することに関連する。本願において、「HOA」は高次アンビソニックス表現だけでなく関連するエンコードされる又は表現されるオーディオ信号にも関連する。支配的なサウンド方向が推定され、HOA信号表現は、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、HOAドメインにおけるアンビエント成分とに分解され、その後にアンビエント成分は次数を減らすために圧縮される。その分解の後、低次数化されたアンビエント成分は、空間ドメインに変換され、方向信号とともに知覚的符号化の処理に委ねられる。
【００２３】
受信機又はデコーダの側において、エンコードされた方向信号及び低次数化されエンコードされたアンビエント成分は、知覚的圧縮解除の処理に委ねられる。知覚的圧縮解除されたアンビエント信号は、低次数化されたHOAドメイン表現に変換され、その後に次数拡張処理に委ねられる。方向信号及び対応する方向情報、並びに、元々の次数のアンビエントHOA成分から、完全な又は最終的なHOA表現が再構築される。
【００２４】
有利なことに、アンビエントサウンドフィールド成分は、元々の次数より低いHOA表現により十分な精度で表現されることが可能であり、支配的な方向信号の抽出は、圧縮及び圧縮解除の後に、高い空間分解能が達成されることを保証する。
【００２５】
概して一実施形態による方法は、
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する方法であって、
支配的な方向を推定するステップであって、前記支配的な方向は、エネルギが支配的なＨＯＡ信号成分の電力分布方向に依存する、ステップと、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するステップであって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、ステップと、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するステップと、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するステップと、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的に符号化するステップと
を有する方法である。
【００２６】
概して一実施形態による方法は、
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する方法であって、
支配的な方向を推定するステップであって、前記支配的な方向は、エネルギが支配的なＨＯＡ信号成分の電力分布方向に依存する、ステップと、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するステップであって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、ステップと、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するステップと、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するステップと、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的にエンコードするステップとを有し、
知覚的にエンコードされた支配的な方向信号と、知覚的にエンコードされた変換された残留アンビエント成分とを、知覚的にデコードするステップと、
知覚的にデコードされた変換された残留アンビエント成分を逆変換し、ＨＯＡドメインの表現を取得するステップと、
逆変換された残留アンビエント成分について次数拡張の処理を実行し、元の次数のアンビエントＨＯＡ成分を取得するステップと、
知覚的にデコードされた支配的な方向信号と、前記方向情報と、前記元の次数のアンビエントＨＯＡ成分とを合成し、ＨＯＡ信号表現を取得するステップと
を有する方法。
【００２７】
概して一実施形態による装置は、
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する装置であって、
支配的な方向を推定するように形成された手段であって、前記支配的な方向は、エネルギが支配的なＨＯＡ信号成分の電力分布方向に依存する、手段と、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するように形成された手段であって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、手段と、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するように形成された手段と、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するように形成された手段と、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的に符号化するように形成された手段と
を有する装置。
【００２８】
概して一実施形態による装置は、
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する装置であって、
支配的な方向を推定するように形成された手段であって、前記支配的な方向は、エネルギが支配的なＨＯＡ信号成分の電力分布方向に依存する、手段と、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するように形成された手段であって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、手段と、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するように形成された手段と、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するように形成された手段と、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的に符号化するように形成された手段とを有し、
知覚的にエンコードされた支配的な方向信号と、知覚的にエンコードされた変換された残留アンビエント成分とを、知覚的にデコードするように形成された手段と、
知覚的にデコードされた変換された残留アンビエント成分を逆変換し、ＨＯＡドメインの表現を取得するように形成された手段と、
逆変換された残留アンビエント成分について次数拡張の処理を実行し、元の次数のアンビエントＨＯＡ成分を取得するように形成された手段と、
知覚的にデコードされた支配的な方向信号と、前記方向情報と、前記元の次数のアンビエントＨＯＡ成分とを合成し、ＨＯＡ信号表現を取得するように形成された手段と
を有する装置。
【００２９】
＜図面＞
本発明による実施形態は添付図面を参照しながら説明される。
【００３０】
図1は様々なアンビソニックス次数N及び角度Θ∈[0,π]に関する正規化された分散関数を示す。
【００３１】
図2は本発明による圧縮処理に関するブロック図を示す。
【００３２】
図3は本発明による圧縮解除処理に関するブロック図を示す。
【００３３】
＜実施の形態の詳細な説明＞
アンビソニックス信号は、球面調和(SH)展開を利用してソースフリー領域のサウンドフィールドを記述する。ソースフリー領域は、音源が特定されていない領域等と言及されてもよい。この理論の実現可能性は、音圧の時間及び空間的な振る舞いが本質的には波動方程式により決定されるという物理的性質に起因する。
【００３４】
＜波動方程式及び球面調和展開＞
アンビソニックスに関する詳細な説明を行うため、以下においては球面座標系又は極座標系が仮定され、空間内の点x＝(r,θ,φ)Tは、半径r＞0(すなわち、座標系の原点に至るまでの距離)と、原線又は極軸であるz軸に対してなす傾斜角θ∈[0,π]と、xy平面内でx軸から図った方位角φ∈[0,2π]とにより表現される。この球面座標系において、結合されたソースフリー領域(connected  source-free  area)における音圧p(t,x)の波動方程式は以下のように与えられる。
【００３５】
【数１】
2015520411.tif 000003
ここで、Csは音の速度(音速)を示す。上記の数式については、例えば、Earl  G.  Williams,  “Fourier  Acoustics”,  vol.93  of  Applied  Mathematical  Sciences,  Academic  Press,1999  に示されている。
【００３６】
【数２】
2015520411.tif 000004
のような時間領域表現の音圧のフーリエ変換は(iは虚数単位を示す)、上記のウィリアムス(Williams)の書籍によれば、SHの級数に展開可能である。
【００３７】
【数３】
2015520411.tif 000005
この展開は、結合されたソースフリー領域内の全ての点xについて有効であり、すなわち級数が収束する領域に対応することに、留意すべきである。数式(4)において、kは次式により規定される角波数を示す。
【００３８】
【数４】
2015520411.tif 000006
また、pnm(kr)はSH級数係数を示し、krという積のみに依存する。
【００３９】
更に、Ynm(θ,φ)は次数(order)がnであり位数(degree)がmであるSH関数である。
【００４０】
【数５】
2015520411.tif 000007
ここで、Pnm(cosθ)はルジャンドル陪関数であり、(・)！は階乗を示す。
【００４１】
非負の位数mに関するルジャンドル倍関数は、ルジャンドル多項式Pnm(x)により規定される。
【００４２】
【数６】
2015520411.tif 000008
負の位数(すなわち、m＜0)の場合には、ルジャンドル倍関数は次のように規定される。
【００４３】
【数７】
2015520411.tif 000009
また、ルジャンドル多項式Pn(x)(n≧0)はロドリゲスの公式(Rodirigues’Formula)を用いて規定されてもよい。
【００４４】
【数８】
2015520411.tif 000010
当該技術分野においては、例えば、Poletti,“Unified  Description  of  Ambisonics  using  Real  and  Complex  Spherical  Harmonics”,  Proceedings  of  the  Ambisonics  Symposium  2009,  25-27  June  2009,  Graz,  Austriaに示されているように、負の位数mに関して因子が数式(6)と(-1)mだけ異なるSH関数の定義も存在する。
【００４５】
或いは、時間に関する音波のフーリエ変換は、実数のSH関数Snm(θ,φ)を用いて表現されてもよい。実数のSH関数は、実SH関数、リアルSH関数等と言及されてもよい。
【００４６】
【数９】
2015520411.tif 000011
様々な文献において、(例えば、上記のPolettiの文献のように)実数のSH関数に関して異なる定義が存在する。本願において適用される定義の1つは、次のようなものである。
【００４７】
【数１０】
2015520411.tif 000012
ここで、(・)＊は複素共役を示す。数式(6)を数式(11)に代入することにより、次のような別の表現が得られる。
【００４８】
【数１１】
2015520411.tif 000013
実数のSH関数はその定義から実数値をとるが、対応する展開係数qnm(kr)について一般的に成り立つわけではない。
【００４９】
複素SH関数は実数のSH関数と次のような関係を有する。
【００５０】
【数１２】
2015520411.tif 000014
方向ベクトルΩ:＝(θ,φ)Tとともに複素SH関数Ynm(θ,φ)及び実数のSH関数Snm(θ,φ)は、3次元空間内の単位球面S2上における自乗可積分複素数関数(squared  integrable  complex  valued  function)のための直交基底をなす。
【００５１】
【数１３】
2015520411.tif 000015
ここで、δはクロネッカーのデルタ関数を示す。2番目の表現は数式(11)の実球面調和関数の定義及び数式(15)から導出される。
【００５２】
＜インテリア問題及びアンビソニックス係数＞
アンビソニックスの目的は、座標系の原点付近のサウンドフィールドを表現することである。一般性を失うことなく、対象の領域は、座標系の中心から半径Rの球又はボールであると仮定され、数学的には{x|0≦r≦R}という集合により指定される。この表現に関する重要な仮定は、このボールが如何なる音源も含んでいないと仮定されることである。「音源」は「サウンドソース」等と言及されてもよい。このボールの中の差ウドフィールドの表現を見出す問題は、「インテリア問題(interior  problem)」又は「内部問題」と言及されてもよい(例えば、上記のウィリアムの書籍)。
【００５３】
インテリア問題に関し、SH関数展開係数Pnm(kr)は、次式のように表現できることが理解される。
【００５４】
【数１４】
2015520411.tif 000016
ここで、jn(・)は一次の球ベッセル関数を示す。数式(17)によれば、サウンドフィールドに関する完全な情報は、アンビソニックス係数として言及される係数anm(k)に含まれている。同様に、実数SH関数の展開係数qnm(kr)は、次式のように因子分解できる(積の形式で表現できる)。
【００５５】
【数１５】
2015520411.tif 000017
ここで、bnm(k)は、実数SH関数を用いる展開に関するアンビソニックス係数として言及される。これらはanm(k)と次のような関係を有する。
【００５６】
【数１６】
2015520411.tif 000018
＜平面波分解＞
座標系の原点を中心とする音源の無いボールの中のサウンドフィールドは、全ての可能な方向からボールに入射する様々な角波数kの平面波の無線級数の重ね合わせとして表現できる(この点については、例えば、上記のウィリアムスの書籍における「Plane-wave  decomposition...」等を参照されたい)。Ω0の方向からの角波数kの平面波の複素振幅は、D(k,Ω0)により与えられると仮定すると、数式(11)及び数式(19)を用いて行った導出法と同様に、次数SH関数展開に関する対応するアンビソニックス係数は、次式のように与えられる。  
【００５７】
【数１７】
2015520411.tif 000019
従って、角波数kの無限個の平面波の重ね合わせにより得られるサウンドフィールドに関するアンビソニックス係数は、数式(20)の全ての可能な方向Ω0∈S2に関する積分から得られる。
【００５８】
【数１８】
2015520411.tif 000020
関数D(k,Ω)は、「振幅密度(amplitude  density)」と言及され、単位球面S2において自乗可積分可能であると仮定される。これは次式のように実数SH関数の級数に展開されることが可能である。
【００５９】
【数１９】
2015520411.tif 000021
ここで、展開係数cnm(k)は数式(22)に登場する積分の部分に等しく、すなわち、次のように書ける。
【００６０】
【数２０】
2015520411.tif 000022
数式(24)を数式(22)に代入することにより、アンビソニックス係数bnm(k)は展開係数cnm(k)のスケールを変えたバージョンであることが分かる。すなわち、次式のように書ける。
【００６１】
bnm(k)＝4πincnm(k)        (25)
スケール変更されたアンビソニックス係数cnm(k)及び振幅密度関数D(k,Ω)に、時間に関する逆フーリエ変換を適用すると、対応する時間領域の表現として次式が得られる。
【００６２】
【数２１】
2015520411.tif 000023
そして、時間領域において、数式(24)は次のように変形できる。
【００６３】
【数２２】
2015520411.tif 000024
時間領域の方向信号d(t,Ω)は、次式に従って実数SH関数展開により表現されてもよい。
【００６４】
【数２３】
2015520411.tif 000025
SH関数Snm(Ω)は実数値をとるという知識を利用すると、d(t,Ω)の複素共役は次のように表現できる。
【００６５】
【数２４】
2015520411.tif 000026
時間領域信号d(t,Ω)が実数である、すなわちd(t,Ω)＝d＊(t,Ω)であると仮定すると、数式(29)及び数式(30)により、その場合の係数c~nm*(t)は実数となり、c~nm(t)┐＝c~nm*(t)となる。
【００６６】
以下、c~nm(t)はスケール変換された時間領域アンビソニックス係数と言及される場合がある。また、以下の説明において、サウンドフィールド表現はこれらの係数により記述されることが仮定され、圧縮に関する以下の項目において詳細に説明される。
【００６７】
本発明による処理に使用される係数c~nmによる時間領域は、対応する周波数領域のHOA表現cnm(k)と等価であることに、留意を要する。従って、説明される圧縮及び圧縮解除は、数式の若干の修正により周波数領域で等価的に実現できる。「圧縮解除(decompression)」は、「非圧縮化」等と言及されてもよい。
【００６８】
＜有限次数の空間分解能＞
実際には、座標系の原点付近のサウンドフィールドは、n≦Nである次数の有限個のアンビソニックス係数cnm(k)のみを利用して記述される。次式に従って打ち切られたSH関数の級数から振幅密度関数を計算することは、真の振幅密度関数D(k,Ω)に対して或る種の空間分散成分(spatial  dispersion)を導入する(例えば、上記の文献の「Plane-wave  decompression...」を参照されたい)。
【００６９】
【数２５】
2015520411.tif 000027
これは数式(31)を利用して方向Ω0からの単独の平面波に関する振幅密度関数を計算することにより実現可能である。
【００７０】
【数２６】
2015520411.tif 000028
ここで、Θは、方向がΩを向いているベクトルと方向がΩ0を向いているベクトルとの間のなす角度を示し、次式を満たす。
【００７１】
cosΘ＝cosθcosθ0＋cos(φ-φ0)sinθsinθ0        (39)
数式(34)において、数式(20)の平面波に関するアンビソニックス係数が使用され、数式(35)及び数式(36)においていくつかの数学的理論が使用されている(例えば、上記の文献の「Plane-wave  decompression...」を参照されたい)。数式(33)の性質は数式(14)を利用して示すことが可能である。
【００７２】
数式(37)と真の振幅密度関数とを比較すると、次式が得られる。
【００７３】
【数２７】
2015520411.tif 000029
ここで、δ(・)はディラックのデルタ関数を示し、空間分散は、分散関数νN(Θ)をスケール変換されたディラックのデルタ関数で置換することから得られ、図1には、様々なアンビソニックス次数N及び角度Θ∈[0,π]に関し、最大位置で正規化された分散関数が示されている。
【００７４】
νN(Θ)の最初のゼロ点はN≧4の場合には近似的にπ/Nの位置にあり(例えば、上記の文献の「Plane-wave  decompression...」を参照されたい)、アンビソニックス次数Nが増えるにつれて分散の影響は減っている(及び空間分解能も改善する)。
【００７５】
N→∞とすると、分散関数νN(Θ)はスケール変換されたディラックのデルタ関数に収束する。これは、数式（35）とともにルジャンドル多項式の完全性関係（数式（41））を利用して、N→∞の場合のνN(Θ)の極限を表現することにより理解される。
【００７６】
【数２８】
2015520411.tif 000030
【数２９】
2015520411.tif 000031
次式によりn≦Nの次数の実数SH関数のベクトルを規定すると、
【数３０】
2015520411.tif 000032
(ただし、O＝(N+1)2であり、(・)Tは転地を示す)、数式(37)と数式(33)との比較により、分散関数が、次式のように2つの実数SHベクトルのスカラ積により表現可能であることが示される：
νN(Θ)＝ST(Ω)S(Ω0)        (47)
分散は時間領域では次のように等価的に表現可能である
【００７７】
【数３１】
2015520411.tif 000033
＜サンプリング＞
或るアプリケーションの場合、有限数J個の離散的な方向Ωjにおける時間ドメインの振幅密度関数のサンプルから、スケーリングされた時間ドメインのアンビソニックス係数C~nm(t)を決定することが望ましい。数式(28)における積分は、次のように有限個の総和により近似される。
【００７８】
【数３２】
2015520411.tif 000034
ここで、gjは近似的に選択されたサンプリングウェイトを示す。「ウェイト」は「重み」、「重み係数」又は「重み因子」等と言及されてもよい。この点については、例えば、B.  Rafaely,  "Analysis  and  Design  of  Spherical  Microphone  Arrays",  IEEE  Transactions  on  Speech  and  Audio  Processing,  vol.13,  no.1,  pp.135-143,  January  2005に記載されている。上記の書籍の「Analysis  and  Design...」とは異なり、近似式(50)は、複素SH関数を用いる周波数領域表現ではなく、実数SH関数を用いる時間領域表現に関連している。近似式(50)が正確でありために必要な条件は、振幅密度の調和次数Nが限られていることであり、すなわち、n＞Nに関し、
c~nm(t)＝0      (51)
が成立することである。
【００７９】
この条件を満たさない場合、数式(50)は空間的なエイリアシングエラーの影響を被ってしまう。この点については、例えば、B.  Rafaely,  "Spatial  Aliasing  in  Spherical  Microphone  Arrays",  IEEE  Transactions  on  Signal  Processing,  vol.55,  no.3,  pp  .1003-1010  ,  March  2007に記載されている。
【００８０】
次に必要な条件は、サンプリング点Ωj及び対応するウェイトが、上記の書籍の「Analysis  and  Design...」に記載されているような条件を満たすことを要求する。
【００８１】
【数３３】
2015520411.tif 000035
条件(51)及び(52)は正確なサンプリングに関して十分である。
【００８２】
サンプリング条件(52)は一群の線形方程式をなし、次式のように1つの行列方程式を用いてコンパクトに表現できる。
【００８３】
ΨGΨH＝I      (53)
ここで、Ψは次式により規定されるモード行列を示す。
【００８４】
【数３４】
2015520411.tif 000036
また、Gは対角要素がウェイトになっている行列を示す。
【００８５】
G:＝diag(g1,,gJ)      (55)
数式(53)によれば、数式(52)が成立するのに必要な条件は、サンプリング点の数JがJ≧0を満たすことであることが、分かる。J個のサンプリング点における時間領域の振幅密度の値を次のようにベクトル形式にまとめ、
【数３５】
2015520411.tif 000037
スケーリングされた時間領域アンビソニックス係数のベクトルを次式により規定すると、
【数３６】
2015520411.tif 000038
何れのベクトルもSH関数展開(29)により関連していることが分かる。この関係は次の線形方程式系をもたらす。
【００８６】
w(t)＝ΨHc(t)        (58)
導入されたベクトル表記を利用すると、時間領域の振幅密度関数サンプルの値から、スケーリングされた時間領域のアンビソニックス係数を計算することは、次のように表現できる。
【００８７】
c(t)≒ΨGw(t)        (59)
所定の固定されたアンビソニックス次数Nの場合、サンプリング条件の数式(52)が成り立つように、サンプリング点Ωjの個数J≧0及び対応するウェイトを計算することは、しばしば可能ではない。しかしながら、サンプリング条件が十分に近似されるようにサンプリング点が選択される場合、モード行列ΨのランクはOになり、条件の数は少なくなる。その場合、モード行列Ψの擬似的なインバースであるΨ＋が存在し、
Ψ＋：＝(ΨΨH)-1ΨΨH      (60)
時間領域の振幅密度関数サンプルのベクトルから、スケーリングされた時間領域のアンビソニックス係数ベクトルc(t)の妥当な近似は、
c(t)≒Ψ+w(t)        (61)
により与えられる。J＝0でありかつモード行列のランクがOであった場合、擬似的なインバースは、次式が成立するので、そのインバースに一致する。
【００８８】
Ψ＋：＝(ΨΨH)-1Ψ＝Ψ-HΨ-1Ψ＝Ψ-H      (62)
更に、サンプリング条件の数式(52)が満たされる場合、
Ψ-H＝ΨG        (63)
が成立し、近似的な数式(59)及び(61)は等価であり一致する。
【００８９】
ベクトルw(t)は、空間に関する時間ドメイン信号のベクトルとして解釈できる。HOAドメインから空間ドメインへの変換は、例えば数式(58)により実行可能である。この種の変換は、本願において「球面調和変換(SHT)」と言及され、低次数化されたアンビエントHOA成分が空間ドメインに変換される場合に使用される。SHTに関する空間サンプリング点Ωjはgj≒4π/o(j＝1,...,J)と共に数式(52)のサンプリング条件を近似的に満たしていること及びJ＝Oであることが、黙示的に仮定されている。これらの仮定の下で、SHT行列は、ΨH≒(4π/o)Ψ-1の関係を満たす。SHTに関する絶対値のスケーリングが重要でない場合、(4π/o)は無視されてもよい。
【００９０】
＜圧縮＞
本発明は、所与のHOA信号表現の圧縮に関連する。上述したように、HOA信号表現は、時間ドメインにおける所定数の支配的方向信号とHOAドメインにおけるアンビエント成分とに分解され、その後に低次数化によりアンビエント成分のHOA表現を圧縮する処理が続く。この処理は、テストを監視することを前提とし、周辺のサウンドフィールド成分は、低次のHOA表現で十分に正確に表現可能であるという仮定を活用する。支配的な方向の信号を抽出することで、圧縮及びそれに対応する圧縮解除の処理の後に、高い空間分解能を維持することを保証できる。
【００９１】
圧縮解除の後、低次数化されたアンビエントHOA成分は空間ドメインに変換され、特許文献1に示されているような方向信号と共に知覚的にエンコードされる。
【００９２】
圧縮処理は図2に示すような2つの連続的なステップを含む。個々の信号の正確な定義は、圧縮に関する以下の説明で詳細に説明される。
【００９３】
図2(a)の最初のステップ又はステージ又は段階では、支配的方向推定部22において、支配的な方向が推定され、アンビソニックス信号c(l)を、方向成分及び残留成分(アンビエント成分)に分解する処理が実行され、ここで「l(エル)」はフレームインデックスを示す。「方向成分(directional  component)」は「指向成分」、「指向方向成分」等と言及されてもよい。方向成分は、方向信号算出ステップ又はステージ23において算出され、これにより、アンビソニックス表現は、一群のD個の通常の方向信号X(l)と対応する方向ΩDOM(l)バーとにより表現される時間ドメイン信号に変換される。残留アンビエント成分は、アンビエントHOA成分算出ステップ又はステージ24において算出され、HOAドメイン係数cA(l)により表現される。
【００９４】
図2(b)に示す第2のステップにおいて、方向信号X(l)及びアンビエントHOA成分に対する知覚的符号化の処理が、次のように実行される：
＿通常の時間ドメイン方向信号X(l)は、何らかの既知の知覚的圧縮技術を利用して、知覚的コーダ27において個別的に圧縮されることが可能である。
【００９５】
＿アンビエントHOAドメイン成分cA(l)の圧縮は、2つのサブステップ又はステージにおいて実行される。
【００９６】
第1のサブステップ又はステージ25は、元々のアンビソニックス次数NをNREDに(例えば、NRED＝2)に低減する処理を実行し、アンビエントHOA成分cA,RED(l)を取得する。周囲のサウンドフィールドの成分は、低い次数のHOAにより十分正確に表現可能であるということが仮定されている。
【００９７】
第2のサブステップ又はステージ26は、特許文献1に記載されているような圧縮に基づく。周囲のサウンドフィールドの成分に関するORED:＝(NRED+1)2個のHOA信号cA,RED(l)は、サブステップ/ステージ25において算出されており、これらの信号は、並列的な知覚コーダ27のバンクに入力されることが可能な通常の時間ドメイン信号となる。何らかの既存の知覚的符号化又は圧縮技術が適用可能である。エンコードされた方向信号xv(l)及び低次数化されたエンコードされた空間ドメイン信号wvA,RED(l)が出力され、変換又は保存されることが可能である。
【００９８】
有利なことに、全ての時間ドメイン信号x(l)及びWA,RED(l)の知覚的圧縮は、知覚的コーダ27において一緒に実行可能であり、潜在的に残存するチャネル間の相関(inter-  channel  correlation)を利用することにより全体的な符号化効率を改善する。
【００９９】
＜圧縮解除＞
図3には、受信又は再生される信号についての圧縮解除処理が示されている。圧縮処理の場合と同様に、2つのステップが含まれている。
【０１００】
図3(a)に示される第1のステップ又はステージでは、知覚的復号化部31において、エンコードされた方向信号xv(l)及び低次数化されたエンコードされた空間ドメイン信号wvA,REF(l)についての知覚的復号化又は圧縮解除が実行され、x^(l)は方向成分を表現し、wvA,REF(l)はアンビエントHOA成分を表現する。知覚的に復号化された又は非圧縮化された空間ドメイン信号w^A,RED(l)は、逆球面調和変換部32において、逆球面調和変換又はインバースSH変換により、次数がNREDであるHOAドメイン表現C^A,REF(l)に変換される。その後、次数伸張ステップ又はステージ33において、次数がNである適切なHOA表現C^A(l)が、次数伸張によりC^A,REF(l)から推定される。「次数伸張(order  extension)」は、「次数拡張」又は「次数拡大」等と言及されてもよい。
【０１０１】
図3(b)に示される第2のステップ又はステージにおいて、HOA信号構築部34により、方向信号x^(l)及び対応する方向情報ΩDOM(l)バーに加えて元々の次数のアンビエントHOA成分C^A(l)から、完全なHOA表現c^(l)が再構築される。
【０１０２】
＜所要データレートの達成可能な低減効果＞
本発明の実施形態により解決される課題は、HOA表現に対する既存の圧縮方法と比較してデータレートの顕著な減少を図ることである。以下、圧縮されていないHOA表現に対する達成可能な圧縮率を議論する。圧縮率は、次数がNである非圧縮HOA信号C(l)を伝送するのに必要なデータレートと、圧縮された信号表現を伝送するのに必要なデータレートとの比率から得られ、圧縮された信号表現は、D個の知覚的に符号化された方向信号X(l)及び対応する方向情報ΩDOM(l)バーとアンビエントHOA成分を表現するNRED個の知覚的に符号化された空間ドメイン信号WA,RED(l)とを有する。
【０１０３】
非圧縮HOA信号C(l)を伝送する場合には、O・fs・Nbのデータレートが必要になる。これに対して、D個の符号化された方向信号X(l)を伝送するには、D・fb,CODのデータレートを必要とし、fb,CODは知覚的に符号化される信号のビットレートを示す。同様に、NRED個の知覚的に符号化される空間ドメイン信号WA,RED(l)信号の伝送は、ORED・fb,CODのビットレートを必要とする。方向ΩDOM(l)バーは、サンプリングレートfbよりもかなり遅いレートで算出されることが仮定されており、例えば、B個のサンプルで形成される信号フレームの持続時間に固定されていてもよく、一例としてfs＝48kHzのサンプリングレートの場合にB＝1200であり、圧縮されたHOA信号の全体的なデータレートの計算の際に、対応するデータレートの分担量(share)は無視されてもよい。
【０１０４】
従って、圧縮された表現の伝送は、近似的に(D+ORED)・fb,CODのデータレートを必要とする。従って、圧縮率ｒCOMPRは、次式のように表現できる。
【０１０５】
【数３７】
2015520411.tif 000039
例えば、次数がN=4であり、サンプリングレートがfs=48kHzであり、サンプル当たりNb=3ビットであり、支配的な方向の数はD=3であり、低減されたHOA次数はNREF=2であり、ビットレートが64kbits/sである場合のHOA表現の圧縮率は、rCOMPR≒25という圧縮率になる。圧縮された表現の伝送は、近似的に768kbits/sのデータレートを必要とする。
【０１０６】
＜符号化ノイズが露呈して出現する蓋然性を減らす＞
背景技術で説明したように、特許文献1で説明されている空間ドメイン信号の知覚的圧縮は、信号同士の間の残存する相互相関の影響を被り、知覚的符号化ノイズの露呈(unmasking)を招いてしまうことが懸念される。本発明によれば、支配的な方向の信号が、先ず、知覚的に符号化される前にHOAサウンドフィールド表現から取り出される。これは、HOA表現を構築する場合に、知覚的な復号化の後に、符号化ノイズが、その方向信号と厳密に一致する空間的な指向性を有することを意味する。特に、符号化ノイズだけでなく指向性信号の任意の方向に対する影響が、有限次数の空間分解能の箇所で説明したように空間分散関数により決定論的に記述される。言い換えれば、任意の時点において、符号化ノイズを表現するHOA係数ベクトルは、方向信号を表現するHOA係数ベクトルを正確に何倍かしたものである。このため、ノイズを含むHOA係数の任意の重み付け加算は、知覚的符号化ノイズの如何なる露呈も招かなくなる。
【０１０７】
更に、低次数化されたアンビエント成分が特許文献1においても記載されているが、定義により、アンビエント成分の空間ドメイン信号は互いに低い相関しか示さないので、知覚的ノイズが露呈してしまう蓋然性は低くなる。
【０１０８】
＜改善された方向推定＞
本発明による方向推定は、エネルギが支配的なHOA成分の電力指向性分布に依存している。電力指向性分布(directional  power  distribution)は、HOA表現に関するランクが削減された相関行列から計算され、これはHOA表現の相関行列の固有値分解から得られる。上記の書籍の「Plane-wave  decomposition...」で使用されている方向推定と比較すると、本実施形態は高精度である利点をもたらすが、その理由は、方向推定に関して全てのHOA表現を利用するのではなく、エネルギの観点から支配的なHOA成分に着目することにより、電力指向方向の空間的な不明瞭化を減らすことができるからである。
【０１０９】
上記の文献で提案されている方向推定"The  Application  of  Compressive  Sampling  to  the  Analysis  and  Synthesis  of  Spatial  Sound  Fields"  及び  "Time  Domain  Reconstruction  of  Spatial  Sound  Fields  Using  Compressed  Sensing"と比較すると、本発明はロバスト性に優れた利点をもたらす。なぜなら、HOA表現を方向成分及びアンビエント成分に分解することは、完全に達成されることは滅多になく、僅かな量のアンビエント成分が方向成分中に残っている(それでも適切に方向推定を継続できる)。上記の2つの文献のような圧縮サンプリング方法は、アンビエント信号の存在に非常に敏感であることに起因して、妥当な方向推定結果を提供することに失敗してしまうことが懸念される。
【０１１０】
有利なことに、本発明による方向推定はそのような問題による懸念を被らない。
【０１１１】
＜HOA表現を分解する代替例＞
HOA表現を、複数の方向信号及び関連する方向情報とHOAドメインのアンビエント成分とに分解する技術は、Pulkkiの文献の「Spatial  Sound  Reproduction  with  Directional  Audio  Coding」に示されている方法に従って、HOA表現の信号適応DirACライクレンダリング(signal-adaptive  DirAC  like  rendering)に使用可能である。
【０１１２】
2つの成分の物理的性質は異なるので、HOA成分の各々は別々にレンダリング(又は処理又は変換)されることが可能である。例えば、方向信号は、ベクトル振幅パニング(Vector  Based  Amplitude  Panning：VBAP)のような信号パニング技術を用いて拡声器の方にし向けられることが可能であり、VBAPについては、例えば、次の文献に記載されている：Pulkki,  "Virtual  Sound  Source  Positioning  Using  Vector  Base  Amplitude  Panning",  Journal  of  Audio  Eng.  Society,  vol.45,  no.6,  pp.456-  466,  1997。アンビエントHOA成分は、既存の標準的なHOAレンダリング技術を用いて処理されることが可能である。
【０１１３】
そのようなレンダリングは、次数が「1」であるアンビソニックス表現に限定されず、次数がN＞1であるHOA表現に対するDirACライクレンダリングの拡張として理解できる。
【０１１４】
HOA信号表現に基づく複数の方向の推定は、関連する任意のサウンドフィールド分析に使用可能である。
【０１１５】
以下、信号処理ステップを更に詳細に説明する。
【０１１６】
＜圧縮＞
＜入力フォーマットの決定＞
入力として、数式(26)で決定されたスケーリングされた時間領域HOA係数c~nm(t)が、レートfs=1/Tsでサンプリングされると仮定する。ベクトルc(j)は、サンプリング時間tがt＝jTs、j∈Zに属する全ての係数により形成されるように定義される：
【数３８】
2015520411.tif 000040
＜フレーム化＞
スケーリングされたHOA係数の到来ベクトルc(j)は、フレーム化ステップ又はステージ21において、次式のように長さがBのオーバーラップ(又は重複)しないフレーム群にフレーム化される：
【数３９】
2015520411.tif 000041
サンプリングレートがfs=48kHzであり、適切なフレーム長がB=1200サンプルであるとすると、フレームの持続時間は25msに対応する。
【０１１７】
＜支配的な方向の推定＞
支配的な方向を推定するため、次のような相関行列が算出される：
【数４０】
2015520411.tif 000042
現在のサンプルl及びL-1個の過去のフレームにわたる総和(l’=0〜L-1)は、方向分析が、L・B個のサンプルによる長いオーバーラップするフレーム群に基づくことを示し、すなわち、現在のフレーム各々に関し、隣接するフレームの内容が考慮される。これは、2つの理由から、方向分析の安定性に寄与し、それら2つは：(1)より長いフレームは、より多数の観測の結果をもたらすこと、及び(2)方向推定はオーバーラップするフレームに起因して平滑化されることである。「平滑化」は「スムージング」等と言及されてもよい。
【０１１８】
fs=48kHz及びB=1200であるとすると、適切なLの値は例えば4であり、これは100msのフレーム持続時間全体に対応する。
【０１１９】
次に、相関行列B(l)の固有値分解が、
B(l)＝V(l)Λ(l)VT(l)      (68)
に従って実行され、ここで、行列V(l)は次式のように固有値ベクトルvi(l)(1≦i≦O)により形成される：
【数４１】
2015520411.tif 000043
行列Λ(l)は次式のように対応する固有値λi(1≦i≦O)による対角行列である：
【数４２】
2015520411.tif 000044
固有値には、昇順ではない順序(降順)でインデックスが付与されるものとする：
λ1(l)≧λ2(l)≧・・・≧λO(l)        (71)
そして、支配的な固有値のインデックス群{1,...,I^(l)}が求められる。これを行う可能な方法の1つは、ブロードバンド指向方向電力とアンビエント電力との比率の所望の最小値DARMINを計算し、次式に従ってI^(l)を決定することである：
【数４３】
2015520411.tif 000045
適切なDARMINの値として15dBが選択されてもよい。高々D個の支配的な方向に集中するように、支配的な固有値の個数はDを超えないように制限される。これは、インデックス群{1,...,I^(l)}を{1,...,I(l)}で置換することにより達成され、この場合において、I(l):=max(I^(l),D)である(73)。
【０１２０】
次に、B(l)のI(l)ランク近似が行われる：
【数４４】
2015520411.tif 000046
この行列はB(l)に対する支配的な方向成分の寄与を含むはずである。
そして、次式のようなベクトルが算出される：
【数４５】
2015520411.tif 000047
ここで、Ξは近似的に均等に分散した多数のテスト方向Ωqに対するモード行列を示し、Ωq:=(θq,φq)、1≦q≦Qであり、θq∈[0,π[は極方向軸(z軸)に対してなす傾斜角を示し、φq∈[-π,π]はxy平面内でx軸に対してなす方位角を示す。
【０１２１】
モード行列Ξは次のように定義される：
【数４６】
2015520411.tif 000048
σ2(l)の要素であるσ2q(l)は、Ωqの方向から到来する支配的な方向の信号に対応する平面波の電力を近似的に表現する。この点についての理論的説明については、＜方向探索アルゴリズムについての説明＞の箇所で説明される。
【０１２２】
指向方向信号成分を決定するために、σ2(l)により、多数の支配的な方向ΩCURRDOM,d~(l)(1≦d~≦D~(l))が算出される。支配的な方向の数は、一定のデータレートを保証するために、D~(l)≦Dを満たすように制限される。しかしながら、可変のデータレートが許容される場合、支配的な方向の数を現在の音の状況に適合させることが可能である。
【０１２３】
D~(l)個の支配的な方向を算出する方法の1つは、第1の支配的な方向を、最大電力の方向に設定することであり、すなわち、ΩCURRDOM,1(l)=Ωq1であり、q1:=argmaxq∈M1σ2q(l)及びM1:={1,2,...,Q}である。最大電力値は支配的な方向の信号により生じると仮定し、有限次数NのHOA表現は方向信号の空間的な分散を招くことを考慮すると(上記書籍の「Plane-wave  decomposition  ...」参照)、ΩCURRDOM,1(l)の方向の近辺において、同じ方向の信号に属する電力成分が生じるはずである。空間的な信号の分散は、関数vN(Θq,q1)により表現されることが可能であるので(数式(38)参照)(ここで、Θq,q1:=∠(Ωq,Ωq1)はΩqとΩCURRDOM,1(l)との間の角度を示す)、指向方向信号に属する電力は関数vN(Θq,q1)に従って減少する。従って、別の支配的な方向を探す場合には、Ωq1(Θq,1≦ΘMIN)の方向近辺の全ての方向Ωqを排除することが合理的である。距離ΘMINは関数vN(x)の最初のゼロ点として選択されることが可能であり、これはN≧4の場合にπ/Nにより近似的に与えられる。2番目に支配的な方向は、残りの方向Ωq∈M2(M2:={q∈M1|Θq,1＞ΘMIN})の中で最大電力をもたらすものに設定される。残りの支配的な方向は、同様な方法で決定される。
【０１２４】
個々の支配的な方向Ωqd~に指定される電力σ2qd~(l)を考慮し、比率σ2q1(l)/σ2qd~(l)が所望の指向電力対周辺電力比DARMINの値を超えるものを探索することにより、D~(l)個の支配的な方向を決定することが可能である。これは、D~(l)が次式を満たすことを意味する：
【数４７】
2015520411.tif 000049
全ての支配的な方向に対する計算の全体的な処理は、次のような「球面上の電力分布により支配的な方向を探索するアルゴリズム1」により実行可能である：
【数４８】
2015520411.tif 000050
次に、現在のフレームに関して取得された方向ΩCURRDOM,d~(l)(1≦d~≦D^(l))が、先行する複数のフレームによる方向とともに平滑化され、平滑化された方向(平滑化方向)ΩDOM,d(l)バー(1≦d≦D)が得られる。この処理は2つの連続する部分(a)及び(b)に分割できる：
(a)
現在の支配的な方向ΩCURRDOM,d~(l)(1≦d~≦D^(l))は、先行するフレームにより、平滑化方向ΩDOM,d(l)バー(1≦d≦D)に割り当てられる。割り当て関数fA,l:{1,...,D~(l)}→{1,...,D}は、次式のように、割り当てられた方向同士の間の角度の合計が最小化されるように決定される：
【数４９】
2015520411.tif 000051
そのような割り当ての問題は、既存のハンガリアンアルゴリズム(Hungarian  Algorithm)を用いて解くことが可能である、この点については例えば次の文献を参照されたい：H.W.  Kuhn,  "The  Hungarian  method  for  the  assignment  problem",  Naval  research  logistics  quarterly  2,  no.1-2,  pp.83-97,  1955。現在の方向ΩCURRDOM,d~(l)と先行するフレームからのインアクティブな方向ΩDOM,d(l-1)バーとの間の角度が、2ΘMINに設定される(「インアクティブな方向(inactive  direction)」については後述する)。これは、先行するアクティブな方向ΩDOM,d(l-1)に対して2Θより近い現在の方向ΩCURRDOM,d~(l)が、平滑化方向に割り当てられるようにするという作用をもたらす。距離が2ΘMINを超える場合、対応する現在の方向は新たな信号に属するように仮定され、これは、先行するインアクティブな方向ΩDOM,d(l-1)バーに割り当てられることが好ましいことを示す。
【０１２５】
留意点：圧縮アルゴリズム全体について更に長い時間をかけてよい場合、一連の方向推定の割り振りは更に強いロバスト性をもたらすように実行されてもよい。例えば、突然の方向変化は、推定誤差に起因する異常値であるとして、それを考慮しないように適切に判断されてもよい。
【０１２６】
(b)
平滑化方向ΩDOM,d(l)バー(1≦d≦D)はステップ(a)を用いて算出される。平滑化又はスムージングは、ユークリッド幾何学よりもむしろ球面幾何学に基づく。現在の支配的な方向ΩCURRDOM,d~(l)(1≦d~≦D^(l))の各々に関し、平滑化は、球面上の2点を通る大円の部分的な円弧に沿って実行され、それらはΩCURRDOM,d~(l)及びΩCURRDOM,d~(l-1)バーにより指定される。具体的には、平滑化因子αΩと共に指数的に重み付けされる移動平均を計算することにより、方位角及び傾斜角は独立に平滑化される。傾斜角に関し、これは次のような平滑化処理を行うことになる：
【数５０】
2015520411.tif 000052
方位角に関し、π-εから-πへの遷移(ε＞0)及び逆向きの遷移における適切な平滑化を達成するために、平滑化は修正される必要がある。これは次のような処理を行うことにより考慮に入れることができる。まず最初に、次式のようにモジュロ2πによる角度差が計算され(モジュロ2πは2πを法とする演算である)：
【数５１】
2015520411.tif 000053
これは、次式により[-π,π[の区間に変換される：
【数５２】
2015520411.tif 000054
平滑化された支配的な方位角(モジュロ2π)は次のように決定され：
【数５３】
2015520411.tif 000055
また、最終的に、次式により[-π,π[の区間に変換される：
【数５４】
2015520411.tif 000056
D~(l)＜Dである場合、指定された現在の支配的な方向を向いていない方向ΩDOM,d(l-1)バーが先行するフレーム内に存在する。対応するインデックス群は次式のように指定される：
【数５５】
2015520411.tif 000057
次式に示すように、各々の方向は最後のフレームからコピーされる：
【数５６】
2015520411.tif 000058
所定数LIA個のフレームに割り振られていない方向は、「インアクティブ(inactive)」又は「インアクティブ方向」等と言及される。
【０１２７】
以後、MACT(l)により示されるアクティブ方向のインデックス群が算出される。その要点は、DACT(l):=｜MACT(l)｜により表現される。
【０１２８】
全ての平滑化された方向は、1つの方向行列に連結される：
【数５７】
2015520411.tif 000059
＜方向信号の計算＞
方向信号の計算は、モードマッチング(mode  matching)に基づく。特に、方向信号を探す探索が行われ、その方向信号のHOA表現は所与のHOA信号の最良の近似をもたらすものである。連続するフレームの間の方向の変化は、方向信号の不連続性を招く場合があるので、オーバーラップするフレームの方向信号の推定計算を実行した後に、適切なウィンドウ関数を利用して、連続するオーバーラップするフレームの結果を平滑化する。しかしながら、平滑化(スムージング)は、1フレームの遅延を招く。
【０１２９】
以下、方向信号の詳細な推定方法を説明する。
【０１３０】
先ず、平滑化されたアクティブ方向に基づくモード行列が、次式に従って算出される：
【数５８】
2015520411.tif 000060
ここで、dACT,j(1≦j≦DACT(l))は、アクティブ方向のインデックスを示す。
【０１３１】
次に、(l-1)番目及び(l)番目のフレームに対する全ての方向信号の平滑化されていない推定結果を含む行列XINST(l)が算出される：
【数５９】
2015520411.tif 000061
これは2つのステップで実行される。第1のステップでは、インアクティブ方向に対応する行に属する方向信号サンプルが、次式に示すように、ゼロに設定される：
【数６０】
2015520411.tif 000062
第2のステップでは、アクティブ方向に対応する方向信号サンプルが、次式に従って行列を配列することにより得られる
【０１３２】
【数６１】
2015520411.tif 000063
この行列は、次に、例えば、
ΞACT(l)XINST,ACT(l)-[C(l-1)  C(l)]      (97)
のような誤差のユークリッドノルムを最小化するように算出される。その解は次式により与えられる：
【数６２】
2015520411.tif 000064
方向信号の推定結果xINST,d(l,j)(1≦d≦D)は、適切なウィンドウ関数w(j)により整形される：
xINST,WIN,d(l,j):=xINST,d(l,j)・w(j)，  1≦j≦2B    (99)
ウィンドウ関数の具体例は、次式に示すような周期的なハミングウィンドウにより与えられる：
【数６３】
2015520411.tif 000065
ここで、Kwはシフトされたウィンドウの合計が「1」に等しくなるように決定されるスケーリング因子を示す。(l-1)番目のフレームに関する平滑化された方向信号は、次式に従って、ウィンドウ処理された平滑化されてない推定結果を適切に重ね合わせることにより算出される：
xd((l-1)B+j)=xINST,WIN,d(l-1,B+j)+xINST,d(l,j)    (101)
(l-1)番目のフレームに対する全ての平滑化された方向信号のサンプルは、次式のように、行列X(l-1)に配置される：
【数６４】
2015520411.tif 000066
＜アンビエントHOA成分の計算＞
アンビエントHOA成分CA(l-1)は、次式のように、全体のHOA表現C(l-1)から、全体の方向性HOA成分CDIR(l-1)を減算することにより得られる：
【数６５】
2015520411.tif 000067
ここで、CDIR(l-1)は次式のようにして決定される：
【数６６】
2015520411.tif 000068
ここで、ΞDOM(l)は、次式のようにして決定される全ての平滑化された方向に基づくモード行列を示す：
【数６７】
2015520411.tif 000069
全体の方向性HOA成分の計算は、オーバーラップする一連の瞬時的な全体の方向性HOA成分の空間的な平滑化に基づいているので、アンビエントHOA成分は、1フレームの遅延と共に得られる。
【０１３３】
＜アンビエントHOA成分の低次数化＞
CA(l-1)は成分で表現すると次式のようになり、
【数６８】
2015520411.tif 000070
その低次数化は、全てのHOA係数cmn,A(j)(n＞NRED)の次数を下げることにより達成される：
【数６９】
2015520411.tif 000071
＜アンビエントHOA成分の球面調和変換＞
球面調和変換は、低次数化されたアンビエントHOA成分CA,RED(l)にモード行列のインバースを乗算することで実行される：
【数７０】
2015520411.tif 000072
この場合において、OREDは一様に分散した方向ΩA,dであり(1≦d≦ORED)、
WA,RED(l)=(ΞA)-1CA,RED(l)    (111)
である。
【０１３４】
＜圧縮解除＞
＜逆球面調和変換＞
知覚的な圧縮解除が施された空間ドメイン信号W^A,RED(l)は、次式のように、逆球面調和変換により、次数がNREDであるHOAドメイン表現C^A,RED(l)に変換される：
【数７１】
2015520411.tif 000073
＜次数拡大＞
HOA表現C^A,RED(l)のアンビソニックス次数は、次式に従って0(ゼロ)を付加することにより、Nに拡大される：
【数７２】
2015520411.tif 000074
ここで、Om×nはm行n列のゼロ行列を示す。
【０１３５】
＜HOA係数構築＞
最終的な圧縮解除されたHOA係数は、次式のように、指向性成分及びアンビエントHOA成分の加算により算出される：
【数７３】
2015520411.tif 000075
この段階において、1フレーム分の遅延が導入され、方向性HOA成分が空間的スムージングに基づいて算出されることが許容される。これを行うことにより、連続するフレーム間の方向変化に起因するサウンドフィールドの方向成分の望まれない不要な不連続性を、回避することができる。
【０１３６】
平滑化された方向性HOA成分を計算するために、次式に従って、個々の全ての方向信号の推定結果を含む2つの連続するフレームが、1つの長いフレームに連結される：
【数７４】
2015520411.tif 000076
この長いフレームに含まれている個々の信号各々には、数式(100)のようなウィンドウ関数が乗算される。
【０１３７】
【数７５】
2015520411.tif 000077
により、長いフレームX^INST(l)の成分又は要素を表現する場合、ウィンドウ処理は、ウィンドウ信号x^INST,WIN,d(l,j)(1≦d≦D)を計算することにより行われる：
【数７６】
2015520411.tif 000078
なお、全体の方向性HOA成分CDIR(l-1)は、ウィンドウ処理された方向信号の全てを適切な方向にエンコードし、それらをオーバラップする形式で重ね合わせることにより得られる：
【数７７】
2015520411.tif 000079
＜方向探索アルゴリズムについての説明＞
以下、＜支配的な方向の推定＞の説明箇所で言及した方向探索アルゴリズムに関する事項を説明する。先ず、これは幾つかの仮定に基づいている。
【０１３８】
＜仮定＞
HOA係数ベクトルc(j)は、一般に、次式のように時間領域の振幅密度関数d(j,Ω)に関連しており、
【数７８】
2015520411.tif 000080
HOA係数ベクトルc(j)は、次式のモデルに従うことが仮定される：
【数７９】
2015520411.tif 000081
このモデルは、HOA係数ベクトルc(j)が、l番目のフレームにおいて方向Ωxi(l)から到来するI個の支配的な指向性ソース信号xi(j)(1≦i≦I)により形成されることを示す。特に、方向は、1つのフレームの持続時間の間、不変であるように仮定されている。支配的なソース信号の個数Iは、HOA係数の総数Oよりも明らかに小さいことが仮定されている。更に、フレーム長BはOよりも明らかに大きいことが仮定されている。また、ベクトルc(j)は、理想的な等方性の周辺サウンドフィールドを表現することが可能な残留成分cA(j)を含む。
【０１３９】
個々のHOA係数ベクトル成分は、以下の性質を有するように仮定されている。
【０１４０】
●支配的なソース信号(群)は平均的にはゼロであるように仮定されている：
【数８０】
2015520411.tif 000082
また、支配的なソース信号(群)は互いに相関を有していないように仮定されている：
【数８１】
2015520411.tif 000083
ここで、σ2xi(l)バーはl番目のフレームについてのi番目の信号の平均電力を示す。
【０１４１】
●支配的なソース信号(群)は、HOA係数ベクトルのアンビエント成分と相関を有しないように仮定されている：
【数８２】
2015520411.tif 000084
●アンビエントHOA成分ベクトルは、平均的にはゼロであり、共分散行列(covariance  matrix)を有するように仮定されている：
【数８３】
2015520411.tif 000085
【数８４】
2015520411.tif 000086
という数式により定義される各フレームの方向性電力対周辺電力比DAR(l)は、所定の所望値DARMINより大きいことが仮定されており、すなわち、
DAR(l)≧DARMIN      (126)
である。
【０１４２】
＜方向探索に関する補足説明＞
説明の便宜上、相関行列B(l)(数式(67))が、L-1個の先行するフレームのサンプルを考慮することなく、l番目のフレームのサンプルのみに基づいて算出される状況を考察する。この処理は、Lを1に設定すること(L=1)に相当する。従って、相関行列は次式のように表現できる：
【数８５】
2015520411.tif 000087
数式(120)で仮定したモデルを数式(128)に代入し、数式(122)、(123)及び定義(124)を利用することにより、相関行列B(l)は、次のように近似できる：
【数８６】
2015520411.tif 000088
数式(131)によれば、近似的にB(l)は、方向成分に帰属する加算成分とアンビエント成分に帰属する加算成分との2つの加算成分から成ることが分かる。I(l)ランク近似BI(l)は指向性HOA成分の近似を提供し、すなわち、次式のように書ける：
【数８７】
2015520411.tif 000089
これは、方向性電力対周辺電力比に関する数式(126)から得られる。
【０１４３】
しかしながら、1番目の項のΣi=1〜Iσ2xi(l)バーS(Ωxi(l))ST(Ωxi(l))及び2番目の項のΣA(l)の行列の列が張る部分空間は、互いに直交していないので、ΣA(l)のいくらかの部分は不可避的にBI(l)に洩れ込むことに留意すべきである。数式(132)によれば、数式(77)のベクトルσ2(l)は、支配的な方向の探索に使用され、次のように表現できる：
【数８８】
2015520411.tif 000090
数式(135)において、数式(47)で言及した球面調和関数の性質が使用されている：
【数８９】
2015520411.tif 000091
数式(136)は、σ2(l)の要素σ2q(l)が、テスト方向Ωq(1≦q≦Q)から到来する信号の電力を近似していることを示す。
【図１】
2015520411.tif 000092
【図２】
2015520411.tif 000093
【図３】
2015520411.tif 000094
【手続補正書】
【提出日】平成26年11月17日(2014.11.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する方法であって、
支配的な方向を推定するステップと、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するステップであって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、ステップと、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するステップと、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するステップと、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的に符号化するステップと
を有する方法。
【請求項２】
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する方法であって、
支配的な方向を推定するステップと、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するステップであって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、ステップと、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するステップと、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するステップと、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的にエンコードするステップとを有し、
知覚的にエンコードされた支配的な方向信号と、知覚的にエンコードされた変換された残留アンビエント成分とを、知覚的にデコードするステップと、
知覚的にデコードされた変換された残留アンビエント成分を逆変換し、ＨＯＡドメインの表現を取得するステップと、
逆変換された残留アンビエント成分について次数拡張の処理を実行し、元の次数のアンビエントＨＯＡ成分を取得するステップと、
知覚的にデコードされた支配的な方向信号と、前記方向情報と、前記元の次数のアンビエントＨＯＡ成分とを合成し、ＨＯＡ信号表現を取得するステップと
を有する方法。
【請求項３】
ＨＯＡ係数の到来ベクトルをオーバーラップしないフレームにするフレーム化処理が行われ、フレームの持続時間は２５ｍｓである、請求項１に記載の方法。
【請求項４】
現在のフレーム各々に関し、隣接するフレームの内容が考慮されるように、前記支配的な方向の推定は、長くオーバーラップするフレーム群に依存する、請求項１又は３に記載の方法。
【請求項５】
前記支配的な方向信号及び変換されたアンビエント成分が共に知覚的に圧縮される、請求項１、３及び４のうちの何れか１項に記載の方法。
【請求項６】
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解する処理が、前記ＨＯＡ信号表現の信号適応ＤｉｒＡＣ的なレンダリングに使用され、ＤｉｒＡＣはPulkki等による指向性オーディオコーディングを意味する、請求項１、３〜５のうちの何れか１項に記載の方法。
【請求項７】
前記支配的な方向は、エネルギが支配的なＨＯＡ信号成分の電力分布方向に依存する、請求項１、３〜６の何れか１項に記載の方法。
【請求項８】
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する装置であって、
支配的な方向を推定するように形成された手段と、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するように形成された手段であって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、手段と、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するように形成された手段と、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するように形成された手段と、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的に符号化するように形成された手段と
を有する装置。
【請求項９】
高次アンビソニックス（ＨＯＡ）信号表現を圧縮する装置であって、
支配的な方向を推定するように形成された手段と、
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解するように形成された手段であって、前記残留アンビエント成分は、前記ＨＯＡ信号表現と前記支配的な方向信号の表現との間の差分を表す、手段と、
前記残留アンビエント成分の次数を元の次数より減らすことにより、前記残留アンビエント成分を圧縮するように形成された手段と、
低次数化された前記残留アンビエント成分を、空間ドメインに変換するように形成された手段と、
変換された前記残留アンビエント成分と前記支配的な方向信号とを知覚的に符号化するように形成された手段とを有し、
知覚的にエンコードされた支配的な方向信号と、知覚的にエンコードされた変換された残留アンビエント成分とを、知覚的にデコードするように形成された手段と、
知覚的にデコードされた変換された残留アンビエント成分を逆変換し、ＨＯＡドメインの表現を取得するように形成された手段と、
逆変換された残留アンビエント成分について次数拡張の処理を実行し、元の次数のアンビエントＨＯＡ成分を取得するように形成された手段と、
知覚的にデコードされた支配的な方向信号と、前記方向情報と、前記元の次数のアンビエントＨＯＡ成分とを合成し、ＨＯＡ信号表現を取得するように形成された手段と
を有する装置。
【請求項１０】
ＨＯＡ係数の到来ベクトルをオーバーラップしないフレームにするフレーム化処理が行われ、フレームの持続時間は２５ｍｓである、請求項８に記載の装置。
【請求項１１】
現在のフレーム各々に関し、隣接するフレームの内容が考慮されるように、前記支配的な方向の推定は、長くオーバーラップするフレーム群に依存する、請求項８又は１０に記載の装置。
【請求項１２】
前記支配的な方向信号及び変換されたアンビエント成分が共に知覚的に圧縮される、請求項８、１０及び１１のうち何れか１項に記載の装置。
【請求項１３】
前記ＨＯＡ信号成分を、時間ドメインにおける複数の支配的な方向信号及び関連する方向情報と、ＨＯＡドメインにおける残留アンビエント成分とに分解する処理が、前記ＨＯＡ信号表現の信号適応ＤｉｒＡＣ的なレンダリングに使用され、ＤｉｒＡＣはPulkki等による指向性オーディオコーディングを意味する、請求項８、１０〜１２のうちの何れか１項に記載の装置。
【請求項１４】
前記支配的な方向は、エネルギが支配的なＨＯＡ信号成分の電力分布方向に依存する、請求項８、１０〜１３の何れか１項に記載の装置。
【請求項１５】
請求項１、３〜７のうちの何れか１項に記載の方法を装置のコンピュータに実行させるコンピュータプログラム。
【国際調査報告】
2015520411.tif 000095
2015520411.tif 000096