(57)【特許請求の範囲】
【請求項１】
パラメトリック・アンビエンス複製パラメータ集合（ΓPAR(k'−1)）を提供するよう、音場の高次アンビソニックス（HOA）信号表現（C(k)）を処理するための方法であって、当該方法は：
−前記HOA信号表現を圧縮し（１１）、圧縮解除する（１２）し、前記圧縮解除（１２）により、空間的に疎なデコードされたHOA表現（D(k')）およびこの表現の係数シーケンスのインデックスの集合（Iused(k')）を提供し；
−前記空間的に疎なデコードされたHOA表現（D(k')）をある数（NFB）の複素数値の周波数領域サブバンド表現
【数１１１】
0006378432.tif 000112
に変換し（２３）、分解フィルタバンクを使って前記HOA信号表現（C(k')）の対応して遅延されたバージョンを対応する数（NFB）の複素数値の周波数領域サブバンド表現
【数１１２】
0006378432.tif 000113
に変換し（２４）；
−前記サブバンド表現のサブバンドをある数（NSB）のサブバンド・グループにグループ分けし（２５）；
これらサブバンド・グループのそれぞれの中で：
−−脱相関フィルタ（３３１、３３２）を使って、サブバンド・グループ内の各サブバンドについて、前記複素数値の周波数領域サブバンド表現
【数１１３】
0006378432.tif 000114
から、前記複素数値の周波数領域サブバンド表現と相関していないいくつかの修正位相スペクトル信号
【数１１４】
0006378432.tif 000115
を生成する段階と；
−−サブバンド・グループ内の各サブバンドについて、前記修正位相スペクトル信号から、脱相関共分散行列を計算する（３４１、３４２）段階と；
−−サブバンド・グループ内の各サブバンドについて、前記複素数値の周波数領域サブバンド表現
【数１１５】
0006378432.tif 000116
を、その空間領域表現
【数１１６】
0006378432.tif 000117
に変換し（３１１、３１２）、それから対応する共分散行列を計算する（３１３、３１４）段階と；
−−サブバンド・グループ内の各サブバンドについて、前記HOA信号表現（C(k')）についての複素数値の周波数領域サブバンド表現
【数１１７】
0006378432.tif 000118
を、その空間領域表現
【数１１８】
0006378432.tif 000119
に変換し（３２３、３２４）、それから対応する共分散行列を計算する（３２３、３２４）段階とを実行し；
それぞれのサブバンド・グループについて：
−−サブバンド・グループのすべてのサブバンドについて、前記脱相関共分散行列を組み合わせて（３５１）サブバンド・グループ脱相関共分散行列
【数１１９】
0006378432.tif 000120
を提供する段階と；
−−サブバンド・グループのすべてのサブバンドについて、前記複素数値の周波数領域サブバンド表現
【数１２０】
0006378432.tif 000121
の前記空間領域表現
【数１２１】
0006378432.tif 000122
についての共分散行列を組み合わせて（３５２）サブバンド・グループ共分散行列
【数１２２】
0006378432.tif 000123
を提供する段階と；
−−サブバンド・グループのすべてのサブバンドについて、前記HOA信号表現（C(k')）についての前記複素数値の周波数領域サブバンド表現
【数１２３】
0006378432.tif 000124
の前記空間領域表現
【数１２４】
0006378432.tif 000125
についての共分散行列を組み合わせて（３５４）サブバンド・グループ共分散行列
【数１２５】
0006378432.tif 000126
を提供する段階と；
−−上記の組み合わされた共分散行列
【数１２６】
0006378432.tif 000127
の間の残差を形成して（３５３）行列
【数１２７】
0006378432.tif 000128
を提供する段階と；
−−行列
【数１２８】
0006378432.tif 000129
および行列
【数１２９】
0006378432.tif 000130
を使って、対応する混合行列（Mg(k'−1)）を計算する（３６）段階と；
−−前記混合行列をエンコードして（３７）、そのサブバンド・グループについてのパラメータ集合（ΓMg(k'−1)）を提供する段階とを実行し；
−前記サブバンド・グループについての前記パラメータ集合（ΓMg(k'−1)）ならびにエンコードされたサブバンド構成データ（ΓSUBBAND）およびパラメトリック・アンビエンス複製符号化パラメータを多重化して、パラメトリック・アンビエンス複製パラメータ集合（ΓPAR(k'−1)）を提供することを含む、
方法。
【請求項２】
パラメトリック・アンビエンス複製パラメータ集合を提供するよう、音場の高次アンビソニックス（HOA）信号表現を処理する装置であって、当該装置は：
−前記HOA信号表現を圧縮し、圧縮解除し、前記圧縮解除により、空間的に疎なデコードされたHOA表現およびこの表現の係数シーケンスのインデックスの集合を提供し；
−前記空間的に疎なデコードされたHOA表現をある数の複素数値の周波数領域サブバンド表現に変換し、分解フィルタバンクを使って前記HOA信号表現の対応して遅延されたバージョンを対応する数の複素数値の周波数領域サブバンド表現に変換し；
−前記サブバンド表現のサブバンドをいくつかのサブバンド・グループにグループ分けし；
これらサブバンド・グループのそれぞれの中で：
−−脱相関フィルタを使って、サブバンド・グループ内の各サブバンドについて、前記複素数値の周波数領域サブバンド表現から、前記複素数値の周波数領域サブバンド表現と相関していないいくつかの修正位相スペクトル信号を生成する段階と；
−−サブバンド・グループ内の各サブバンドについて、前記修正位相スペクトル信号から、脱相関共分散行列を計算する段階と；
−−サブバンド・グループ内の各サブバンドについて、前記複素数値の周波数領域サブバンド表現を、その空間領域表現に変換し、それから対応する共分散行列を計算する段階と；
−−サブバンド・グループ内の各サブバンドについて、前記HOA信号表現についての複素数値の周波数領域サブバンド表現を、その空間領域表現に変換し、それから対応する共分散行列を計算する段階とを実行し；
それぞれのサブバンド・グループについて：
−−サブバンド・グループのすべてのサブバンドについて、前記脱相関共分散行列を組み合わせてサブバンド・グループ脱相関共分散行列
【数１３０】
0006378432.tif 000131
を提供する段階と；
−−サブバンド・グループのすべてのサブバンドについて、前記複素数値の周波数領域サブバンド表現の前記空間領域表現についての共分散行列を組み合わせてサブバンド・グループ共分散行列
【数１３１】
0006378432.tif 000132
を提供する段階と；
−−サブバンド・グループのすべてのサブバンドについて、前記HOA信号表現についての前記複素数値の周波数領域サブバンド表現の前記空間領域表現についての共分散行列を組み合わせてサブバンド・グループ共分散行列
【数１３２】
0006378432.tif 000133
を提供する段階と；
−−上記の組み合わされた共分散行列
【数１３３】
0006378432.tif 000134
の間の残差を形成して行列
【数１３４】
0006378432.tif 000135
を提供する段階と；
−−行列
【数１３５】
0006378432.tif 000136
および行列
【数１３６】
0006378432.tif 000137
を使って、対応する混合行列を計算する段階と；
−−前記混合行列をエンコードして、そのサブバンド・グループについてのパラメータ集合を提供する段階とを実行し；
−前記サブバンド・グループについての前記パラメータ集合ならびにエンコードされたサブバンド構成データおよびパラメトリック・アンビエンス複製符号化パラメータを多重化して、パラメトリック・アンビエンス複製パラメータ集合を提供するよう適応された手段を有する、
装置。
【請求項３】
前記混合行列が周波数領域で実行される混合のための混合行列である、請求項１記載の方法。
【請求項４】
前記空間的に疎なデコードされたHOA表現が、できるだけ一様に単位球上に分布したいくつかのあらかじめ定義された方向からの仮想スピーカー信号によって表現され、
これらあらかじめ定義された方向のそれぞれについて、前記脱相関フィルタ（３３１、３３２）を使って対応する仮想スピーカー信号の位相スペクトルを修正することによって一つの無相関な信号が生成され、
前記混合行列が、各仮想スピーカー信号およびその特定の方向について、その特定の方向の近傍からの修正位相スペクトル信号のみが使われるような前記修正位相スペクトル信号の混合を表わす、
請求項１もしくは３記載の方法。
【請求項５】
前記脱相関フィルタがペアごとに異なり、その数が前記あらかじめ定義された方向の数に等しい、請求項４記載の方法。
【請求項６】
前記あらかじめ定義された方向の数が異なる周波数帯域では変わる、請求項４もしくは５記載の方法。
【請求項７】
前記仮想スピーカー信号の前記脱相関フィルタへの割り当て（３３１、３３２）が、置換行列によって表わされる、請求項４ないし６のうちいずれか一項記載の方法。
【請求項８】
空間的に疎なデコードされた（４２、４３）HOA表現
【数１３７】
0006378432.tif 000138
を改善するための方法であって、前記空間的に疎なデコードされたHOA表現について、この表現の係数シーケンスのインデックスの集合（Iused(k)）が、前記デコードによって与えられており、パラメトリック・アンビエンス複製パラメータ集合（ΓPAR(k)）が、前記デコードが実行されたデータから抽出されており、当該方法は：
−前記空間的に疎なデコードされたHOA表現、係数シーケンスのインデックスの前記集合および前記パラメトリック・アンビエンス複製パラメータ集合から、改善されたHOA表現
【数１３８】
0006378432.tif 000139
を再構成する段階（４４）を含み、前記再構成は：
−−前記パラメトリック・アンビエンス複製パラメータ集合からサブバンド構成を決定する段階（５１、５３）と；
−−前記空間的に疎なデコードされたHOA表現をある数（NFB）の周波数帯域HOA表現
【数１３９】
0006378432.tif 000140
に変換する段階（５２）と；
−−前記サブバンド構成に従って、周波数帯域HOA表現の対応するグループを、関係するパラメータと一緒に、対応する数（NSB）のパラメトリック・アンビエンス複製サブバンド・デコーダ・ステップまたはステージ（５５、５６）に割り当てる段階（５４）と；
−−各パラメトリック・アンビエンス複製サブバンド・デコーダ・ステップまたはステージによって、複製された周囲HOA表現
【数１４０】
0006378432.tif 000141
の脱相関された係数シーケンスを生成する段階と；
−−前記複製された周囲HOA表現の前記係数シーケンスを、複製された時間領域HOA表現
【数１４１】
0006378432.tif 000142
に変換する段階とを含み；
当該方法はさらに、
−前記複製された時間領域HOA表現
【数１４２】
0006378432.tif 000143
を用いて、前記空間的に疎なデコードされたHOA表現
【数１４３】
0006378432.tif 000144
を向上させて（５９）、向上された圧縮解除されたHOA表現
【数１４４】
0006378432.tif 000145
を提供する段階を含む、
方法。
【請求項９】
空間的に疎なデコードされたHOA表現を改善するための装置であって、前記空間的に疎なデコードされたHOA表現について、この表現の係数シーケンスのインデックスの集合が、前記デコードによって与えられており、パラメトリック・アンビエンス複製パラメータ集合（ΓPAR(k)）が、前記デコードが実行されたデータから抽出されており、当該装置は：
−前記空間的に疎なデコードされたHOA表現、係数シーケンスのインデックスの前記集合および前記パラメトリック・アンビエンス複製パラメータ集合から、改善されたHOA表現を再構成するよう適応された手段を含み、前記再構成は：
−−前記パラメトリック・アンビエンス複製パラメータ集合からサブバンド構成を決定する段階と；
−−前記空間的に疎なデコードされたHOA表現をある数の周波数帯域HOA表現に変換する段階と；
−−前記サブバンド構成に従って、周波数帯域HOA表現の対応するグループを、関係するパラメータと一緒に、対応する数（NSB）のパラメトリック・アンビエンス複製サブバンド・デコーダ・ステップまたはステージ（５５、５６）に割り当てる段階（５４）と；
−−パラメトリック・アンビエンス複製サブバンド・デコーダ・ステップまたはステージによって、複製された周囲HOA表現の脱相関された係数シーケンスを生成する段階と；
−−前記複製された周囲HOA表現の前記係数シーケンスを、複製された時間領域HOA表現に変換する段階とを含み；
当該装置はさらに、
−前記複製された時間領域HOA表現を用いて、前記空間的に疎なデコードされたHOA表現を向上させて、向上された圧縮解除されたHOA表現を提供するよう適応された手段を含む、
装置。
【請求項１０】
前記空間的に疎なデコードされたHOA表現、係数シーケンスのインデックスの前記集合および前記パラメトリック・アンビエンス複製パラメータ集合（ΓPAR(k)）から抽出されたアンビエンス複製符号化パラメータ（oPAR,g、nSIG,g(k)、vCOMPLEX,g）から、脱相関フィルタを使って、脱相関された空間領域信号
【数１４５】
0006378432.tif 000146
が生成され（６１１、６１２）、混合行列
【数１４６】
0006378432.tif 000147
が提供され、
前記脱相関された空間領域信号から、前記複製された周囲HOA表現の空間領域信号
【数１４７】
0006378432.tif 000148
が生成され（６２１、６２２）、
前記複製された周囲HOA表現の前記空間領域信号が、前記向上（５９）のために使われる前記複製された周囲HOA表現
【数１４８】
0006378432.tif 000149
に変換される、
請求項８記載の方法。
【請求項１１】
コンピュータに請求項１および３ないし７のうちいずれか一項記載の方法を実行させるためのコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音場の高次アンビソニックスHOA信号表現の低ビットレート圧縮のための方法および装置であって、HOA信号表現が低ビットレートのために空間的に疎であるものに関する。
【背景技術】
【０００２】
高次アンビソニックス（HOA:  Higher  Order  Ambisonics）は、三次元的な音を表現する一つの可能性を提供する。他の技法には波面合成（WFS:  wave  field  synthesis）または22.2のようなチャネル・ベースのアプローチがある。しかしながら、チャネル・ベースの方法とは対照的に、HOA表現は特定のスピーカー・セットアップとは独立であるという利点をもたらす。だが、この柔軟性は、特定のスピーカー・セットアップでのHOA表現の再生のために必要とされるデコード・プロセスの代償を伴う。必要とされるスピーカーの数が通例非常に多いWFSアプローチに比べ、HOAは少数のスピーカーのみからなるセットアップにレンダリングされてもよい。HOAのさらなる利点は、同じ表現を、いかなる修正もなしでヘッドフォンへのバイノーラル・レンダリングのために用いることもできるということである。
【０００３】
HOAは、複素調和平面波振幅の空間密度の、打ち切りされた球面調和関数（SH）展開による表現に基づく。各展開係数は角周波数の関数であり、これは時間領域関数によって等価に表現できる。よって、一般性を失うことなく、完全なHOA音場表現は、実際に、O個の時間領域関数からなると想定できる。ここで、Oは展開係数の数を表わす。これらの時間領域関数は、以下では、等価だが、HOA係数シーケンスまたはHOAチャネルと称される。
【０００４】
HOA表現の空間分解能は、展開の最大次数Nの増大とともに改善する。残念ながら、展開係数の数Oは次数Nとともに二次で、特にO＝(N＋1)2の形で増大する。たとえば、次数N＝4を使う典型的なHOA表現はO＝25個のHOA（展開）係数を必要とする。以前に行なった考察によれば、HOA表現の伝送のための全ビットレートは、所望される単一チャネル・サンプリング・レートfSおよびサンプル当たりのビット数Nbを与えられて、O・fS・Nbによって決定される。結果として、次数N＝4のHOA表現を、fS＝48kHzのサンプリング・レートで、サンプル当たりNb＝16ビットを用いて伝送することは、19.2MBits/sのビットレートにつながる。これは、たとえばストリーミングのような多くの実際的な用途にとって非常に高い。このように、HOA表現の圧縮がきわめて望ましい。
【０００５】
HOA音場表現の圧縮は特許文献１、２および国際出願第PCT/EP2013/059363号において提案された。非特許文献１参照。これらの手法は、音場解析を実行し、与えられたHOA表現を方向性成分（directional  component）と残差周囲成分（residual  ambient  component）に分解することで共通している。一方では、最終的な圧縮された表現は、いくつかの量子化された信号からなると想定され、該量子化された信号は、方向性およびベクトル・ベースの信号と周囲HOA成分（ambient  HOA  component）の関連する係数シーケンスとの知覚的符号化から帰結する。他方では、最終的な圧縮された表現は、量子化された信号に関係する追加的なサイド情報を含む。このサイド情報は、HOA表現の、その圧縮されたバージョンからの再構成のために必要である。
【０００６】
量子化された信号の合理的な最小数は、特許文献１、２および国際出願第PCT/EP2013/059363号の手法については「8」である。よって、これらの方法の一つでのデータ・レートは典型的には、個々の各知覚的符号化器について32kbit/sのデータ・レートを想定すると、256kbit/sは下らない。たとえばモバイル装置へのオーディオ・ストリーミングのようなある種の用途については、この全データ・レートは高すぎることがあり、そのためずっと低いデータ・レート、たとえば128kbit/sのHOA圧縮方法が望ましい。
【０００７】
欧州特許出願第14306077.0号では、基本的にはもとのHOA表現の小さな部分集合である、より少数の量子化された信号を使う、音場のHOA表現の低ビットレート圧縮のための方法が記載されている。欠けているHOA係数の複製のために、それらの量子化された信号から追加的な方向性HOA成分を予測するために、種々の周波数帯域について予測パラメータが得られる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】欧州特許出願公開第2665208号
【特許文献２】欧州特許出願公開第2743922号
【非特許文献】
【０００９】
【非特許文献１】ISO/IEC  DIS23008-3、MPEG-H  3D  audio、2014年7月
【非特許文献２】V.  Pulkki、"Directional  audio  coding  in  spatial  sound  reproduction  and  stereo  upmixing",  AES  28th  International  Conference,  Pitea,  Sweden,  June  2006
【非特許文献３】J.  Vilkamo,  T.  Baeckstroem,  A.  Kuntz、"Optimized  covariance  domain  framework  for  time-frequency  processing  of  spatial  audio",  J.Audio  Eng.Soc,  vol.61(6),  pp.403−411,  2013
【非特許文献４】ISO/IEC  23003−1  MPEG  Surround
【非特許文献５】ISO/IEC  23003−2  Spatial  Audio  Object  Coding
【非特許文献６】D.D.  Lee,  H.S.  Seung、"Learning  the  parts  of  objects  by  nonnegative  matrix  factorization",  Nature,  vol.401,  pp.788−791,  1999
【非特許文献７】E.  G.  Williams、"Fourier  Acoustics"、vol.93  of  Applied  Mathematical  Sciences.  Academic  Press,  1999
【非特許文献８】B.  Rafaely、"Plane−wave  decomposition  of  the  sound  field  on  a  sphere  by  spherical  convolution"、J.  Acoust.  Soc.  Am.,  4(116):2149−2157,  October  2004
【非特許文献９】J.  Daniel、"Repr´esentation  de  champs  acoustiques,  application  ｀a  la  transmission  et  ｀a  la  reproduction  de  sc｀enes  sonores  complexes  dans  un  contexte  multim´edia"、PhD  thesis,  Universit´e  Paris  6,  2001
【発明の概要】
【発明が解決しようとする課題】
【００１０】
欧州特許出願第14306077.0号の処理では、再構成されたHOA表現は高度に相関した成分からなる。すべてのHOA成分が少数の量子化された信号だけから再構成されるからである。量子化された信号のそのような少なさのため、その方向性HOA成分の予測は満足いくものでないことがあり、再構成されたHOA表現が空間的に疎であるという効果につながることがある。このため、音は、もとのHOA表現におけるよりも、ドライで、静かになる。典型的には空間的に相関していない信号成分からなる周囲音場〔アンビエント音場〕（ambient  sound  fields）は、量子化された音の数が非常に少なく、たとえば「1」または「2」であれば、適正に再構成されない。
【００１１】
本発明によって解決されるべき問題は、音場のHOA表現の低ビットレート圧縮を改善することである。この問題は、請求項１および８に開示される方法によって解決される。これらの方法を利用する装置は、請求項２および９に開示される。
【００１２】
本発明の有利な追加的実施形態は、それぞれの従属請求項において開示される。
【００１３】
以下に記述する処理は、低ビットレートでの高次アンビソニックス表現の圧縮を扱い、周囲音場成分を再生成するものであり、非常に少数の量子化された信号の場合、上記の欧州特許出願第14306077.0号を改善する。
【００１４】
記載される処理は、パラメトリック・アンビエンス複製（Parametric  Ambience  Replication）と呼ばれ、再構成された空間的に疎なHOA表現を、自分自身からパラメトリックに複製される欠けている可能性のある周囲成分によって補足する。複製は、まず疎なHOA表現の信号（これは方向性信号および周囲成分を含んでいてもよい）から、修正された位相スペクトルをもち、よって以前の信号と相関していないいくつかの新たな信号を生成することによって実行される。第二に、新たに生成された信号は、複製された周囲HOA成分を提供するために、互いと混合される。最終的な向上されたHOA表現は、もとの疎なHOA表現と複製された周囲HOA成分との重ね合わせによって計算される。混合は、最終的な向上されたHOA表現の空間音響属性を、もとのHOA表現の属性と一致させるよう、実行される。好ましくは、混合は周波数領域で実行され、異なる周波数帯域の間で変わる可能性をもたらす。疎なHOA表現から相関していない信号を生成する上記プロセスが決定論的に規定されているとすると、圧縮されたHOA表現に含められるべきPARのためのサイド情報は、混合パラメータのみからなり、混合パラメータは本質的には複素数値の混合行列である。
【００１５】
PARのためのサイド情報の量を減らすという目標をもって前記疎なHOA表現から前記相関していない信号を生成するための一つの具体的な方法は、まず、疎なHOA表現を、いくつかのあらかじめ定義された方向からの仮想スピーカー信号によって（または等価だが一般平面波関数によって）表わす。それらのあらかじめ定義された方向はできるだけ一様に単位球上に分布しているべきである。HOA表現から仮想スピーカー信号を生成するためのレンダリングは、以下では空間変換と称される。第二に、これらの方向のそれぞれについて、一つの相関していない信号が、脱相関フィルタを使って、前記疎なHOA表現の対応する仮想スピーカー信号の位相スペクトルを修正することによって、生成される。第三に、複製された周囲HOA成分は、同じ諸方向についての仮想スピーカー信号によっても表現される。ここで、ある方向についての各仮想スピーカー信号は、その特定の方向の近傍のあらかじめ定義された諸方向について生成された相関していない信号のみから混合される。少数の相関していない信号のみからの混合は、一つの相関していない信号を生成するための混合係数の数およびPARのためのサイド情報の量が少なく保てるという利点をもたらす。もう一つの利点は、複製された周囲HOA成分の個々の仮想スピーカー信号の混合のために、空間的近傍からの、よって同様の振幅スペクトルをもつ信号のみが考慮されるということである。この動作は、疎なHOA表現の方向性成分があらゆる方向にわたって望ましくないほど空間的に分散することを防止する。
【００１６】
この手法のためには、脱相関フィルタがペアごとに異なっていて、その数が仮想スピーカー方向の数と等しいことが想定される。多くのそのような脱相関フィルタの実際的な構築では、通例、個々の各フィルタは、限られた脱相関効果しかもたない。仮想方向（あるいは等価だが空間位置）への脱相関フィルタの割り当ては、複製された周囲HOA成分の単一の仮想スピーカー信号を生成するために混合されるべき信号どうしの間の相互相関を最小にするために、合理的に選ばれるべきである。
【００１７】
仮想スピーカー方向の数は、個々の周波数帯域について変わることが許され、複製された周囲HOA成分の周波数依存の次数（order）を指定するために使用できる。
【００１８】
疎なHOA表現から相関していない信号を生成する方法のさらなる拡張は、複製された周囲HOA成分の仮想スピーカー信号の混合のために考慮されるべく、時間変化する数の相関されていない信号を使うことである。混合されるべき相関していない信号の数は、疎なHOA表現における欠けているアンビエンス（ambience）の量に依存する。この変動は通例、脱相関フィルタの仮想スピーカー位置への割り当ての変化につながる。時間的な割り当て変化に起因する脱相関された信号の不連続を避けるために、疎なHOA表現の仮想スピーカー信号への脱相関フィルタの割り当ては、脱相関フィルタへの仮想スピーカー信号への等価な割り当てによって交換されることができる。この割り当ては、単純な置換（permutation）行列によって表現できる。割り当てが変化する場合、各脱相関フィルタへの入力は、二つの異なる割り当てから生じる信号の間の重複加算（overlap−add）によって計算されることができる。よって、各脱相関フィルタへの入力およびその出力は連続的である。その後、各脱相関フィルタの出力を各仮想スピーカー方向に再割り当てするために、割り当てを反転させる必要がある。
【００１９】
マルチチャネル・オーディオのコンテキストにおいて、周囲音成分を生成する問題は、非特許文献２〜５において扱われている。
【００２０】
しかしながら、本願はHOA表現のコンテキストにおいてアンビエンス（ambience）の生成のための処理を記述する。
【００２１】
原理的には、本発明の圧縮改善方法は、パラメトリック・アンビエンス複製パラメータ・セットを提供するよう、音場の低ビットレート圧縮され、圧縮解除された高次アンビソニックスHOA信号表現を改善するために適応される。前記圧縮解除は、空間的に疎なデコードされたHOA表現およびこの表現の係数シーケンスのインデックスの集合を提供し、当該方法は：
−前記空間的に疎なデコードされたHOA表現をいくつかの複素数値の周波数領域サブバンド表現に変換し、分解フィルタバンクを使って前記HOA信号表現の対応して遅延されたバージョンを対応する数の複素数値の周波数領域サブバンド表現に変換し；
−前記サブバンドをいくつかのサブバンド・グループにグループ分けし；
これらサブバンド・グループのそれぞれの中で：
−−脱相関フィルタを使って、サブバンド・グループ内の各サブバンドについて、前記複素数値の周波数領域サブバンド表現から、前記複素数値の周波数領域サブバンド表現と相関していないいくつかの修正された位相スペクトル信号を生成する段階と；
−−サブバンド・グループ内の各サブバンドについて、前記修正された位相スペクトル信号から、脱相関共分散行列を計算する段階と；
−−サブバンド・グループ内の各サブバンドについて、前記複素数値の周波数領域サブバンド表現を、その空間領域表現に変換し、それから対応する共分散行列を計算する段階と；
−−サブバンド・グループ内の各サブバンドについて、前記HOA信号表現についての複素数値の周波数領域サブバンド表現を、その空間領域表現に変換し、それから対応する共分散行列を計算する段階とを実行し；
それぞれのサブバンド・グループについて：
−−サブバンド・グループのすべてのサブバンドについて、前記脱相関共分散行列を組み合わせてサブバンド・グループ脱相関共分散行列
【数１】
0006378432.tif 000002
を提供する段階と；
−−サブバンド・グループのすべてのサブバンドについて、前記複素数値の周波数領域サブバンド表現の前記空間領域表現についての共分散行列を組み合わせてサブバンド・グループ共分散行列
【数２】
0006378432.tif 000003
を提供する段階と；
−−サブバンド・グループのすべてのサブバンドについて、前記HOA信号表現についての前記複素数値の周波数領域サブバンド表現の前記空間領域表現についての共分散行列を組み合わせてサブバンド・グループ共分散行列
【数３】
0006378432.tif 000004
を提供する段階と；
−−上記の組み合わされた共分散行列
【数４】
0006378432.tif 000005
の間の残差を形成して行列
【数５】
0006378432.tif 000006
を提供する段階と；
−−行列
【数６】
0006378432.tif 000007
および行列
【数７】
0006378432.tif 000008
を使って、対応する混合行列を計算する段階と；
−−前記混合行列をエンコードして、そのサブバンド・グループについてのパラメータ集合を提供する段階とを実行し；
−前記サブバンド・グループについての前記パラメータ集合ならびにエンコードされたサブバンド構成データおよびパラメトリック・アンビエンス複製符号化パラメータを多重化して、パラメトリック・アンビエンス複製パラメータ集合を提供することを含む。
【００２２】
原理的には、本発明の圧縮改善装置は、パラメトリック・アンビエンス複製パラメータ・セットを提供するよう、音場の低ビットレート圧縮され、圧縮解除された高次アンビソニックスHOA信号表現を改善するために適応される。前記圧縮解除は、空間的に疎なデコードされたHOA表現およびこの表現の係数シーケンスのインデックスの集合を提供し、当該装置は：
−前記空間的に疎なデコードされたHOA表現をいくつかの複素数値の周波数領域サブバンド表現に変換し、分解フィルタバンクを使って前記HOA信号表現の対応して遅延されたバージョンを対応する数の複素数値の周波数領域サブバンド表現に変換し；
−前記サブバンドをいくつかのサブバンド・グループにグループ分けし；
これらサブバンド・グループのそれぞれの中で：
−−脱相関フィルタを使って、サブバンド・グループ内の各サブバンドについて、前記複素数値の周波数領域サブバンド表現から、前記複素数値の周波数領域サブバンド表現と相関していないいくつかの修正された位相スペクトル信号を生成する段階と；
−−サブバンド・グループ内の各サブバンドについて、前記修正された位相スペクトル信号から、脱相関共分散行列を計算する段階と；
−−サブバンド・グループ内の各サブバンドについて、前記複素数値の周波数領域サブバンド表現を、その空間領域表現に変換し、それから対応する共分散行列を計算する段階と；
−−サブバンド・グループ内の各サブバンドについて、前記HOA信号表現についての複素数値の周波数領域サブバンド表現を、その空間領域表現に変換し、それから対応する共分散行列を計算する段階とを実行し；
それぞれのサブバンド・グループについて：
−−サブバンド・グループのすべてのサブバンドについて、前記脱相関共分散行列を組み合わせてサブバンド・グループ脱相関共分散行列
【数８】
0006378432.tif 000009
を提供する段階と；
−−サブバンド・グループのすべてのサブバンドについて、前記複素数値の周波数領域サブバンド表現の前記空間領域表現についての共分散行列を組み合わせてサブバンド・グループ共分散行列
【数９】
0006378432.tif 000010
を提供する段階と；
−−サブバンド・グループのすべてのサブバンドについて、前記HOA信号表現についての前記複素数値の周波数領域サブバンド表現の前記空間領域表現についての共分散行列を組み合わせてサブバンド・グループ共分散行列
【数１０】
0006378432.tif 000011
を提供する段階と；
−−上記の組み合わされた共分散行列
【数１１】
0006378432.tif 000012
の間の残差を形成して行列
【数１２】
0006378432.tif 000013
を提供する段階と；
−−行列
【数１３】
0006378432.tif 000014
および行列
【数１４】
0006378432.tif 000015
を使って、対応する混合行列を計算する段階と；
−−前記混合行列をエンコードして、そのサブバンド・グループについてのパラメータ集合を提供する段階とを実行し；
−前記サブバンド・グループについての前記パラメータ集合ならびにエンコードされたサブバンド構成データおよびパラメトリック・アンビエンス複製符号化パラメータを多重化して、パラメトリック・アンビエンス複製パラメータ集合を提供するよう適応された手段を含む。
【００２３】
原理的には、本発明の圧縮解除改善方法は、空間的に疎なデコードされたHOA表現を改善するよう適応されており、前記空間的に疎なデコードされたHOA表現について、この表現の係数シーケンスのインデックスの集合が、上記の圧縮改善方法に従って生成されたパラメトリック・アンビエンス複製パラメータ集合を使って前記デコードによって与えられており、当該方法は：
−前記空間的に疎なデコードされたHOA表現、係数シーケンスのインデックスの前記集合および前記パラメトリック・アンビエンス複製パラメータ集合から、改善されたHOA表現を再構成する段階を含み、前記再構成は：
−−前記パラメトリック・アンビエンス複製パラメータ集合からサブバンド構成を決定する段階と；
−−前記空間的に疎なデコードされたHOA表現をいくつかの周波数帯域HOA表現に変換する段階と；
−−前記サブバンド構成に従って、周波数帯域HOA表現の対応するグループを、関係するパラメータと一緒に、複製された周囲HOA表現の脱相関された係数シーケンスを生成する、対応する数のパラメトリック・アンビエンス複製サブバンド・デコーダ・ステップまたはステージに割り当てる段階と；
−−前記複製された周囲HOA表現の前記係数シーケンスを、複製された時間領域HOA表現に変換する段階とを含み；
当該方法はさらに、
−前記複製された時間領域HOA表現を用いて、前記空間的に疎なデコードされたHOA表現を向上させて、向上された圧縮解除されたHOA表現を提供する段階を含む。
【００２４】
原理的には、本発明の圧縮解除改善装置は、空間的に疎なデコードされたHOA表現を改善するよう適応されており、前記空間的に疎なデコードされたHOA表現について、この表現の係数シーケンスのインデックスの集合が、上記の圧縮改善方法に従って生成されたパラメトリック・アンビエンス複製パラメータ集合を使って前記デコードによって与えられており、当該装置は：
−前記空間的に疎なデコードされたHOA表現、係数シーケンスのインデックスの前記集合および前記パラメトリック・アンビエンス複製パラメータ集合から、改善されたHOA表現を再構成するよう適応された手段を含み、前記再構成は：
−−前記パラメトリック・アンビエンス複製パラメータ集合からサブバンド構成を決定する段階と；
−−前記空間的に疎なデコードされたHOA表現をいくつかの周波数帯域HOA表現に変換する段階と；
−−前記サブバンド構成に従って、周波数帯域HOA表現の対応するグループを、関係するパラメータと一緒に、複製された周囲HOA表現の脱相関された係数シーケンスを生成する、対応する数のパラメトリック・アンビエンス複製サブバンド・デコーダ・ステップまたはステージに割り当てる段階と；
−−前記複製された周囲HOA表現の前記係数シーケンスを、複製された時間領域HOA表現に変換する段階とを含み；
当該装置はさらに、
−前記複製された時間領域HOA表現を用いて、前記空間的に疎なデコードされたHOA表現を向上させて、向上された圧縮解除されたHOA表現を提供するよう適応された手段を含む。
【図面の簡単な説明】
【００２５】
本発明の例示的な実施形態が付属の図面を参照して記述される。
【図１】PARエンコーダを含むHOAデータ・エンコーダを示す図である。
【図２】k'＝k−kHOAとしてPARエンコーダをより詳細に示す図である。
【図３】PARサブバンド・エンコーダを示す図である。
【図４】PARデコーダを含むHOAデータ圧縮解除器を示す図である。
【図５】PARデコーダをより詳細に示す図である。
【図６】PARサブバンド・デコーダを示す図である。
【図７】球面座標系を示す図である。
【発明を実施するための形態】
【００２６】
たとえ明示的に記述されなくても、以下の実施形態は任意の組み合わせまたはサブコンビネーションにおいて用いることができる。
【００２７】
〈HOAエンコーダ〉
パラメトリック・アンビエンス複製（PAR）処理は、図１に示されるように、基本的なHOA圧縮を拡張する追加的な符号化ツールとして使われる。ここで、フレーム・インデックスkをもつフレームの、フレーム・ベースの処理が想定される。HOAエンコーダ・ステップまたはステージ１１は、特許文献１、２、国際出願第PCT/EP2013/059363号および欧州特許出願第14306077.0号に記載されるように、HOA表現C(k)を、トランスポート信号行列Z(k−kHOA)およびHOAサイド情報ΓHOA(k−kHOA)の集合に分解する。フレーム・インデックスkについてのHOA表現行列C(k)はO個の行を含み、各行は対応するHOA係数のL個の時間領域サンプルを保持し、それはフレーム遅延ステップまたはステージ１４にも入力される。行列Z(k−kHOA)の行は、C(k)がそれで構成されているところのトランスポート信号のL個の時間領域サンプルを保持する。Z(k−kHOA)からの時間領域信号は、知覚的オーディオ・エンコーダ・ステップまたはステージ１５で知覚的にエンコードされて、トランスポート信号パラメータ集合ΓTrans(k−kHOA−kenc)にされ、これらはマルチプレクサおよびフレーム同期ステップまたはステージ１６に入力される。疎なHOA表現のO×L行列D(k−kHOA)がΓHOA(k−kHOA)およびZ(k−kHOA)からHOAデコーダ・ステップまたはステージ１２において復元される。HOAデコーダ・ステップまたはステージ１２は、アクティブ周囲係数の集合Iused(k−kHOA)をも提供する。このHOAデコーダ・ステップ／ステージ１２は、図４に示すHOAデータ圧縮解除器において使われるHOAデコーダ・ステップまたはステージ４３と同一である。
【００２８】
「疎」または「空間的に疎なHOA表現」という用語は、この表現では、もとの音場の空間的に相関していない信号成分が欠けていることを意味する。特に、用語「疎」は、それぞれのHOA表現の大半の係数シーケンスが0であることを意味することがあるが、それは必須ではない。たとえば、二つの平面波のみによって符号化される／表現される音場は、空間的に疎であることになる。しかしながら、通例、それぞれのHOA係数シーケンスのどれも0ではない。
【００２９】
疎なHOA表現D(k−kHOA)は、遅延補償されたHOA表現C(k−kHOA)、アクティブ周囲係数の集合Iused(k−kHOA)およびステップ／ステージ１４で遅延補償されたPARエンコーダ・パラメータF、oPAR、nSIG(k−kHOA)およびvCOMPLEXと一緒にPARエンコーダ・ステップまたはステージ１３に入力される。PAR処理はNSB個のサブバンド・グループにおいて実行される。ここで、行列Fの行は、それぞれの対応するサブバンド・グループについてのPARフィルタバンクの最初と最後のサブバンド・インデックスを保持する。ベクトルoPARは、すべてのPARサブバンド・グループについて、処理のために使われるHOA次数（order）を保持する。インデックス集合Iused(k−kHOA)は、PAR処理のために使われる、D(k−kHOA)からの行のインデックスを保持する。複製された周囲HOA表現の一つの空間領域信号を計算するために使われるサブバンド・グループ当たりの空間領域信号の数は、フレームkについてベクトルnSIG(k)によって定義される。ベクトルvCOMPLEXは、各サブバンド・グループについて、PAR混合行列の要素が複素数値の数であるか実数値の非負の数であるかを示す。これらの入力信号およびパラメータから、PARエンコーダはエンコードされたPARパラメータ集合ΓPAR(k−kHOA−1)を計算する。これもステップ／ステージ１６に入力される。
【００３０】
マルチプレクサおよびフレーム同期ステップ／ステージ１６は、パラメータ集合ΓHOA(k−kHOA)、ΓPAR(k−kHOA−1)およびΓTrans(k−kHOA−kenc)のフレーム遅延を同期させ、それらを符号化されたHOAフレームΓ(k−kmax)に組み合わせる。
【００３１】
HOAエンコーダ遅延はkHOAによって定義される。ここで、HOAデコーダはいかなる追加的遅延も導入しない。知覚的エンコーダ遅延kencについて同じ定義が成り立つ。PAR処理も一フレームの遅延を加えるので、全体的な遅延はkmax＝max{kHOA＋kenc,kHOA＋1}となる。
【００３２】
〈PARエンコーダ〉
PAR処理の基本的特徴は、疎なHOA表現D(k')からの脱相関された信号の生成と、これらの脱相関された信号を複製された周囲HOA表現に組み合わせる周波数領域の混合行列の取得であり、その複製された周囲HOA表現が、もとのHOA表現C(k')の空間的属性に合うために疎で高度に相関したHOA表現を向上させる。脱相関は、このコンテキストでは、サブバンド信号の位相がその絶対値を変えることなく修正されることを意味する。したがって、図２に示されるPARエンコーダは、入力HOA表現C(k')およびD(k')から、PARエンコード・パラメータoPAR、nSIG(k')、vCOMPLEXおよびIused(k')の考慮のもとに、符号化されたパラメータ集合ΓPAR(k'−1)を計算する。ここで、簡単のためにインデックスk'＝k−kHOAを導入した。
【００３３】
PAR処理は周波数領域で実行される。PAR分解フィルタバンクは入力HOA表現をその複素数値の周波数領域表現に変換する。ここで、時間領域サンプルの数は周波数領域サンプルの数に等しいことが想定される。たとえば、NFB個のサブバンドをもつ直交ミラー・フィルタバンク（QMF）がフィルタバンクとして使用されることができる。第一のフィルタバンク２４はO×L行列C(k')をNFB個の周波数領域の
【数１５】
0006378432.tif 000016
に変換し、第二のフィルタバンク２３はO×L行列D(k')をNFB個の周波数領域の
【数１６】
0006378432.tif 000017
に変換する。
【００３４】
F、oPAR、nSIG(k')およびvCOMPLEXをも受領するステップまたはステージ２５において、これらのサブバンドはNSB個のサブバンド・グループにグループ化される。各サブバンド・グループg＝1…NSBの信号は、対応する数のPARサブバンド・エンコーダ・ステップまたはステージ２６および２７によって個々にエンコードされる。
【００３５】
PARサブバンド構成は次の行列によって定義される。
【００３６】
【数１７】
0006378432.tif 000018
ここで、第一および第二の列は、対応するサブバンド・グループgの最初と最後のサブバンド・インデックスのインデックスjを保持する。サブバンド構成は、ステップまたはステージ２１において、欧州特許出願第14306077.0号に記載される方法によってパラメータ集合ΓSUBBANDにエンコードされる。それは各フレーム・インデックスkについて固定されているので、デコーダに送信される必要があるのは初期化のための一度だけでよい。
【００３７】
ステップ／ステージ２５におけるサブバンドのグループ化は、所与のサブバンド構成に従って、入力信号およびパラメータを各PARサブバンド・エンコーダ・ステップ／ステージ２６、２７に差し向ける。それにより、サブバンド・グループgの各PARサブバンド・エンコーダは、すべてのjg＝fg,1、…、fg,2についての入力として、
【数１８】
0006378432.tif 000019
を取得する。
【００３８】
パラメータoPAR,gは、PARエンコーダがパラメータを計算するHOA次数を示す。この次数は、HOA表現C(k')のHOA次数N以下である。それは、エンコードされたPARパラメータΓMg(k'−1)を送信するためのデータ・レートを減らすために使われる。ベクトル
【数１９】
0006378432.tif 000020
はすべてのサブバンド・グループについてのHOA次数を保持する。
【００３９】
複製された周囲HOA表現の一つの空間領域信号を生成するために使われる脱相関された信号の数は
【数２０】
0006378432.tif 000021
によって定義される。必要とされる信号の数はHOA表現に依存するので、それはフレーム毎に更新される。高度に空間的に拡散したシーンを含むHOA表現については、それほど空間的に拡散していないHOA表現についてよりも、より多くの脱相関された信号が必要とされる。エンコードされたPARパラメータについてのデータ・レートは使用される脱相関された信号の数とともに増大するので、該パラメータもデータ・レートを減らすために使用されることができる。
【００４０】
脱相関された信号の混合は、行列乗算によってなされる。ここで、エンコードされた行列はPARパラメータ集合ΓMg(k'−1)に含まれる。ベクトル
【数２１】
0006378432.tif 000022
は、混合行列の要素が実数値の非負の数であるか複素数値の数であるかを示すブール変数を含む。ここで、vCOMPLEX,g＝1については、サブバンド・グループgにおいて複素数値の要素の行列が使われると定義されることができる。トランスポート信号Z(k)の圧縮のため、デコードされたトランスポート信号の位相情報が、パラメトリック符号化ツールのためにデコーダ側で失われることがありうる（たとえばスペクトル帯域複製方法が適用される場合）。この場合、PAR処理は、欠けている周囲成分の空間的なパワー分布を複製するだけであることができる。つまり、PAR混合行列の位相情報は古くなっている。
【００４１】
さらに、パラメータIused(k')が各PARサブバンド・エンコーダ・ステップ／ステージ２６、２７に入力される。この集合は、D(k')からの、脱相関された信号を生成するために使われる疎なHOA係数シーケンスのインデックスを保持する。これらのインデックスはHOA次数oPAR,gの範囲内の係数シーケンスを指すべきであり、それはもとのHOA表現C(k')のシーケンスと著しく異ならないべきである。最良の場合には、それらのシーケンスはPARエンコーダにおいて同一であり、デコーダ側では、選択されたシーケンスは知覚的符号化によって加えられる歪みによってのみ異なる。
【００４２】
最後に、エンコードされたPARパラメータ集合
【数２２】
0006378432.tif 000023
エンコードされたサブバンド構成集合ΓSUBBANDおよびPAR符号化パラメータoPAR、nSIG(k')およびvCOMPLEXが、マルチプレクサおよびフレーム同期ステップまたはステージ２２において、それらのフレーム・インデックスによって同期され、PARビットストリーム・パラメータ集合ΓPAR(k'−1)に多重化される。
【００４３】
〈PARサブバンド・エンコーダ〉
PARサブバンド・エンコーダ・ステップ／ステージ２６および２７は図３においてより詳細に示されている。PARサブバンドgの各サブバンドjg＝fg,1,…fg,2について、行列
【数２３】
0006378432.tif 000024
はステップまたはステージ３１１、３１２、３１３においてその空間領域表現
【数２４】
0006378432.tif 000025
に、節〈空間変換〉において後述する空間変換によって変換される。それからステップまたはステージ３２１、３２２、３２３、３２４において共分散行列
【数２５】
0006378432.tif 000026
が計算される。ここで、AHは、行列Aのエルミート転置を表わす。PARデコーダにおいて二つの隣接するフレームの行列の間のクロスフェードを可能にするために現在フレームおよび前のフレームについて有効な共分散行列を得るために、前のフレームの行列が含められる。ステップまたはステージ３３１および３３２における脱相関された信号の生成は
【数２６】
0006378432.tif 000027
からの、使用される係数のインデックス集合Iused(k')に従って選択される係数シーケンスの部分集合を空間領域に変換して、これらの空間領域信号を置換行列
【数２７】
0006378432.tif 000028
を用いて置換する。それらの信号を、行列
【数２８】
0006378432.tif 000029
を生成する対応する脱相関器に割り当てるためである。これらの処理の詳細な記述は、節〈脱相関信号の生成〉において与える。
【００４４】
ステップまたはステージ３４１および３４２において対応する空間領域信号の共分散行列を得るために、
【数２９】
0006378432.tif 000030
に含まれる置換が、行列
【数３０】
0006378432.tif 000031
によって反転される必要がある。したがって、脱相関された信号の共分散行列は
【数３１】
0006378432.tif 000032
から得られる。
【００４５】
【数３２】
0006378432.tif 000033
の計算のために、逆置換行列PHoPAR,g,nSIG,g(k'−1)は、両方のフレームについて有効な共分散行列を得るために現在フレームおよび前のフレームに適用される。これは、二つの隣り合うフレームの混合行列および置換の間の有効なクロスフェードのために必要とされる。
【００４６】
各サブバンドのHOA表現は互いに独立であると想定される。よって、サブバンド・グループの共分散行列は、その諸サブバンドの共分散行列の和によって計算できる。よって、PARサブバンド・エンコーダは、組み合わせ器ステップまたはステージ３５２において共分散行列
【数３３】
0006378432.tif 000034
を計算し、組み合わせ器ステップまたはステージ３５４において共分散行列
【数３４】
0006378432.tif 000035
を計算し、
組み合わせ器ステップまたはステージ３５１において共分散行列
【数３５】
0006378432.tif 000036
を計算する。
【００４７】
脱相関信号の共分散行列
【数３６】
0006378432.tif 000037
組み合わせ器ステップまたはステージ３５３において生成された行列
【数３７】
0006378432.tif 000038
および行列
【数３８】
0006378432.tif 000039
から、混合行列Mg(k'−1)が、混合行列計算ステップまたはステージ３６において得られる。その処理は節〈混合行列の計算〉において述べる。
【００４８】
最後に、ステップまたはステージ３７において、混合行列Mg(k'−1)が量子化され、パラメータ集合ΓMg(k'−1)にエンコードされる。これについては節〈混合行列のエンコード〉で述べる。
【００４９】
〈空間変換〉
空間変換では、入力HOA表現Cがその空間領域表現Wに、所与のHOA次数oPAR,gについての、節〈実数値の球面調和関数の定義〉からの球面調和関数変換を使って変換される。HOA次数oPAR,gは通例、入力HOA次数Nより小さいので、QPAR,g＝(oPAR,g＋1)2より大きなインデックスをもつCからの行を除去してはじめて球面調和関数変換が適用できる。
【００５０】
〈脱相関信号の生成〉
脱相関された信号の生成は、以下の処理ステップを含む：
・疎なHOA表現〔チルダ付きのD(k',jg)〕から、使用される係数のインデックス集合Iused(k')によって定義される係数シーケンスの部分集合を選択する；
・HOA次数oPAR,gについて、節〈空間変換〉に従って、選択された係数シーケンスの空間変換を実行する；
・アンビエンス複製のために使われる信号の数nSIG,g(k')およびHOA次数oPAR,gについて選択された置換行列PoPAR,g,nSIG,g(k')によって、脱相関器への割り当てのための空間領域信号を置換。
・置換された信号を、サブバンド信号の絶対値を最もよく保存しつつサブバンド信号の位相を修正する個別の処理を使って脱相関する。
【００５１】
以下では、これらの処理ステップの詳細な説明を与える。
【００５２】
脱相関器は、入力行列〔チルダ付きのD(k',jg)〕から、すべての非アクティブなHOA係数シーケンスを除去する。これは、インデックス集合Iused(k')の要素ではないインデックスをもつ行を、0の
【数３９】
0006378432.tif 000040
ベクトルによって置き換えることによる。結果として得られる。行列
【数４０】
0006378432.tif 000041
は次いで、節〈空間変換〉からの空間変換を使って、その
【数４１】
0006378432.tif 000042
の空間領域表現行列
【数４２】
0006378432.tif 000043
に変換される。
【００５３】
混合行列の各行の計算の間、
【数４３】
0006378432.tif 000044
からのnSIG,g(k')個の空間的に隣り合う信号が選択される。したがって、nSIG,g(k')個の選択された信号の間の最良の脱相関が保証されるよう、
【数４４】
0006378432.tif 000045
からの信号を脱相関器に差し向けるために、行列
【数４５】
0006378432.tif 000046
が置換される。nSIG,g(k')とoPAR,gのそれぞれのあらかじめ定義された組み合わせについて、固定のQPAR,g×QPAR,g置換行列PoPAR,g,nSIC,g(k')が定義される必要がある。これらの置換行列の計算および対応する信号選択テーブルは節〈置換および選択行列の計算〉において与えられる。
【００５４】
次いで、実際の置換が次式によって実行される。
【００５５】
【数４６】
0006378432.tif 000047
ここで、diag(f)はfの要素からの対角行列をなす。
【００５６】
異なる置換行列の間の切り換えのためのフェードインおよびフェードアウト・ベクトルは、
【数４７】
0006378432.tif 000048
によって定義され、その要素は
【数４８】
0006378432.tif 000049
から得られる。
【００５７】
一方の置換行列から他方へのフェードは、脱相関器の入力信号における不連続を防止する。その後、
【数４９】
0006378432.tif 000050
の各行のQPAR,g個の信号が対応する脱相関器によって脱相関される。行列
【数５０】
0006378432.tif 000051
を形成するためである。使用される脱相関方法は、非特許文献４の節6.6で定義されている。
【００５８】
基本的に、各脱相関器は、各周波数帯域信号を、個別のサンプル数だけ遅延させる。ここで、遅延は、QPAR,g個の脱相関器全部について等しい。さらに、それぞれの脱相関器は、その入力信号に個別の全域通過フィルタを適用する。脱相関器の異なる構成は、空間領域信号〔チルダ付きのWPERMUTE〕の位相情報を異なる仕方で歪め、その結果、空間領域信号の脱相関が生じる。
【００５９】
〈混合行列の計算〉
混合行列Mg(k'−1)は、変数vCOMPLEX,gによって信号伝達される実数値の非負または複素数値の行列要素について計算できる。1に等しいvCOMPLEX,gについては、複素数値の混合行列が節〈複素数値の混合行列〉に従って計算される。それによれば、この計算は、トランスポート・チャネルの知覚的符号化がサブバンド・グループg内のサンプルの位相情報を破壊しない場合にのみ適用可能である。
【００６０】
1に等しいvCOMPLEX,g以外では、実数値の非負の要素の混合行列が、複製された周囲HOA表現の抽出のために十分である。実数値の非負の混合行列の計算のための例示的な処理は節〈実数値の非負の混合行列〉において与えられる。
【００６１】
〈複素数値の混合行列〉
混合行列の計算は、上述した非特許文献３に記載される方法に基づく。混合行列Mはマルチチャネル信号Xをより多数のチャネルをもつ信号Yに、Y＝MXによってアップミックスするために計算される。
【００６２】
【数５１】
0006378432.tif 000052
混合行列Mについての解は
【数５２】
0006378432.tif 000053
によって与えられる。ここで、||・||FROは行列のフロベニウス・ノルムを表わし、信号ベクトルXと、Yの共分散行列ΣYとは既知である。プロトタイプ混合行列Qは
【数５３】
0006378432.tif 000054
〔＾Y＝QX〕を満たし、よって＾YはYのよい近似である。＾YおよびYからの信号のエネルギーは異なることがあるので、対角行列Gが＾YのエネルギーをYのエネルギーに規格化する。ここで、Gの対角要素は
【数５４】
0006378432.tif 000055
によって与えられ、
【数５５】
0006378432.tif 000056
は
【数５６】
0006378432.tif 000057
の対角要素である。g番目のサブバンド・グループの各サブバンドjg＝fg,1,…,fg,2について、向上された空間領域信号の行列Cout（{k',k'−1},jg）は、疎なHOA表現の空間領域信号と混合された空間領域の脱相関された信号との和から次式によって計算されると想定される。
【００６３】
【数５７】
0006378432.tif 000058
ここで、記法{k',k'−1}は、混合行列Mg(k'−1)が現在フレームおよび直前フレームについて有効であることを表わすために使われている。
【００６４】
空間領域信号
【数５８】
0006378432.tif 000059
は定義により相関していないと想定されるので、向上された空間領域信号Cout（{k',k'−1},jg）の相関行列Σout(k'−1)は、二つの成分の相関行列の和として次式によって書くことができる。
【００６５】
【数５９】
0006378432.tif 000060
向上された疎なHOA表現が、音響心理学的な観点から、もとのHOA表現〔チルダ付きのC(k',jg)〕と同じように聞こえるようにするために、それらの相関行列がマッチされることができる。すなわち、
【数６０】
0006378432.tif 000061
この要件は、混合行列の次の制約条件につながる：
【数６１】
0006378432.tif 000062
ここで、ΔΣg(k'＾1)は式(12)で定義されている。
【００６６】
式(18)および(27)の比較は、次の割り当てを与える：
【数６２】
0006378432.tif 000063
ここで、KYおよびKXは
【数６３】
0006378432.tif 000064
の特異値分解から計算できる。
【００６７】
最後に、行列Qが、提案される方法のために定義される必要がある。行列＾YはYのよい近似なので、Qは次の式の解である必要がある。
【００６８】
【数６４】
0006378432.tif 000065
この問題についてのよく知られた解法は、ムーア・ペンローズの擬似逆行列を使って
【数６５】
0006378432.tif 000066
として定義される近似誤差のユークリッド・ノルムを最小化することである。
【００６９】
混合行列を伝送するためのデータ・レートの低減のために、
【数６６】
0006378432.tif 000067
からのnSIG,g(k'−1)個の空間的に隣接する信号が、複製される周囲HOA表現の各空間領域信号の計算について選択されることができる。よって、混合行列Mg(k'−1)の各行は、個々に次の選択行列に従って計算される必要がある。
【００７０】
【数６７】
0006378432.tif 000068
ここで、要素so,nは、複製される周囲HOA表現のo番目の空間領域信号を生成するために使われる
【数６８】
0006378432.tif 000069
からの行ベクトルのインデックスを表わし、n＝1…nSIG,g(k'−1)である。混合行列の各行について個々に式(19)を解くためには、
【数６９】
0006378432.tif 000070
に変換される必要がある。
【００７１】
【数７０】
0006378432.tif 000071
と定義され、taはTのa＝1…QPAR,gの列ベクトルの一つである。Mg(k'−1)のo＝1…QPAR,gの行のそれぞれの計算のために、部分行列
【数７１】
0006378432.tif 000072
が構築され、ベクトルmrow,oが次式によって決定される。
【００７２】
【数７２】
0006378432.tif 000073
ここで、kY,oはKYからのo番目の行ベクトルであり、To+はムーア・ペンローズ擬似逆行列を表わす。いくつかの場合には、Toは悪条件となることがあり、擬似逆行列の計算において正則化を必要とすることがある。
【００７３】
少なくとも、混合行列Mg(k'−1)の要素mo,iは
【数７３】
0006378432.tif 000074
に割り当てられる。ここで、mrow,o,aはベクトルmrow,oの要素であり、o＝1…QPAR,gである。
【００７４】
〈実数値の非負の混合行列〉
しかしながら、知覚的符号化のスペクトル帯域幅複製によって影響されうる高周波数サブバンド・グループgについては、節〈複素数値の混合行列〉で述べた方法は合理的ではない。疎なHOA表現の再構成されたサブバンド信号の位相が、もとのサブバンド信号の位相と、基本的にさえ似ているとは想定できないからである。
【００７５】
そのような場合には、位相は無視できる。その代わり、混合行列Mg(k'−1)の計算のために信号パワーにのみ集中する。予測係数の決定のための合理的な基準は、誤差
【数７４】
0006378432.tif 000075
を最小化することである。ここで、演算子|・|2は行列に対して要素ごとに適用されると想定される。換言すれば、混合行列は、脱相関されたHOA表現のすべての重み付けされた空間的サブバンド信号のパワーの和が、疎なHOA表現のもとのおよび空間領域サブバンド信号の残差のパワーを最もよく近似するよう選ばれる。この場合、この最適化問題を解くために、非負行列因子分解（NMF:  Nonnegative  Matrix  Factorisation）技法が使用できる。NMFへの入門については、たとえば非特許文献６を参照。
【００７６】
〈混合行列のエンコード〉
各サブバンド・グループg＝1,…,NSBの混合行列Mg(k'−1)は、量子化されて、パラメータ集合ΓMg(k'−1)にエンコードされる。ここで、選択行列
【数７５】
0006378432.tif 000076
によって定義されるQPAR,g×nSIG,g(k'−1)の部分行列のみが符号化される。行列要素の量子化は、複製される周囲HOA表現の知覚されるオーディオ品質を低下させることなく、データ・レートを下げる必要がある。したがって、重なり合うフレームでの共分散行列の計算に起因して、相続くフレームの混合行列の間には高い相関があるという事実を活用できる。特に、各部分行列要素は、その絶対値および角度によって表現されることができ、次いで、相続くフレームの間の角度および絶対値の差が符号化される。
【００７７】
絶対値が区間[0,mmax]内にはいると想定される場合、絶対値の差は区間[−mmax,mmax]内にはいる。角度の差は区間[−π,π]内にはいると想定される。これらの差の量子化のために、絶対値および角度差のためのあらかじめ定義されたビット数が対応して使われる。実数値の非負の要素をもつ混合行列を使う場合、位相差は常に0なので、絶対値差のみが符号化される。
【００７８】
発明者は、実験的に、個々の差の生起確率がきわめて非一様に分布していることを見出した。特に、絶対値および角度における小さな差が、大きな差よりも、著しく頻繁に生起する。よって、符号化されるべき個々の値の先験的確率に基づく符号化方法（ハフマン符号化のような）が、混合行列要素当たりの平均ビット数を有意に減らすために、活用できる。
【００７９】
さらに、nSIG,g(k'−1)の値はフレーム毎に伝送される必要がある。この目的のために、あらかじめ定義されたテーブルのインデックスが信号伝達されることができる。該インデックスは、それぞれの有効なPAR  HOA次数について定義されている。
【００８０】
〈置換および選択行列の計算〉
混合行列の伝送のためのデータ・レートを低減するために、行当たりのアクティブな（すなわち0でない）要素の数を減らすことができる。アクティブな行要素は、ここではターゲット信号と呼ばれる複製された周囲HOA表現の一つの空間領域信号を混合するために使われる、空間領域におけるQPAR個のうちnSIG個の脱相関された信号に対応する。混合されるべき脱相関された空間領域信号の複素数値のサブバンド信号は、理想的には、位相スペクトルは異なるが、ターゲット信号のスケーリングされた絶対値スペクトルをもつべきである。これは、ターゲット信号の空間的近傍から、混合されるべき信号を選択することによって達成できる。
【００８１】
こうして、それぞれのo番目のターゲット信号位置、o＝1,…,QPAR、についての第一段階では、それぞれのHOA次数oPARおよびそれぞれのアクティブな行の数nSIGについて、nSIG個の空間的に隣接する位置のグループが見出される。第二段階では、各グループ内でのnSIG個の信号の間の相互相関を最小にするために、QPAR個の脱相関器へのQPAR個の入力信号の割り当てが得られる。
【００８２】
所与のHOA次数oPARについてあるグループのnSIG個の信号を見出す一つの方法は、すべての空間領域位置とo番目のターゲット信号の位置との間の角距離を計算し、nSIG個の最小の距離に属する信号インデックスをo番目のグループ中に選択することである。こうして、式(34)からの行列
【数７６】
0006378432.tif 000077
のo番目の行ベクトルは、o番目のグループの昇順ソートされたインデックスからなる。oPARおよびnSIGのあらかじめ定義された各組み合わせについての行列は、PARエンコーダおよびデコーダにおいて既知であると想定される。
【００８３】
ここで、空間領域信号の脱相関器への割り当ては、oPARおよびnSIGのあらかじめ定義された各組み合わせについて見出され、置換行列PoPAR,nSIGにおいて記憶される必要がある。したがって、ある基準のもとで最良の割り当てを見出すために、すべての可能な割り当てにわたる探索が適用される。一つの可能な基準は、すべての脱相関器の全域通過インパルス応答の共分散行列Σを構築することである。割り当てのペナルティーは以下の段階によって計算される：
・各グループについて、そのグループの信号に割り当てられている行列Σからの要素のみを選択することによって、共分散部分行列を構築する；
・それぞれの共分散部分行列の最大および最小の特異値の商を合計する。
【００８４】
最低のペナルティーをもつ割り当てから、置換行列PoPAR,nSIGが得られる。それにより、節〈脱相関信号の生成〉からの行列
【数７７】
0006378432.tif 000078
の各行が、割り当てられた脱相関器の対応するインデックスに置換される（permuted）。
【００８５】
〈HOAデコーダ・フレームワーク〉
PARデコーダを含むHOAデコーダ／HOA圧縮解除器のフレームワークが図４に描かれている。ビットストリーム・パラメータ集合Γ(k)はデマルチプレクサ・ステップまたはステージ４１において、サイド情報パラメータ集合ΓHOA(k)およびΓPAR(k)ならびに信号パラメータ集合ΓTrans(k)に多重分離される。サイド情報と信号パラメータとの間の遅延はすでにHOAエンコーダにおいて整列されているので、デコーダ側はそのデータを、すでに同期された形で受領する。
【００８６】
信号パラメータ集合ΓTrans(k)は知覚的オーディオ・デコーダ・ステップまたはステージ４２に入力される。これは、信号パラメータ集合ΓTrans(k)から疎なHOA表現
【数７８】
0006378432.tif 000079
〔便宜上＾Z(k)と書く場合がある；以下同様〕をデコードする。続くHOAデコーダ・ステップまたはステージ４３は、デコードされたトランスポート信号＾Z(k)およびサイド情報パラメータ集合ΓHOA(k)から、デコードされた疎なHOA表現＾D(k)を組成する（compose）。
【００８７】
インデックス集合Iused(k)もHOAデコーダ・ステップ／ステージ４３によって再構成される。デコードされた疎なHOA表現＾D(k)、インデックス集合Iused(k)およびPARサイド情報パラメータ集合ΓPAR(k)がPARデコーダ・ステップまたはステージ４４に入力され、そこから該PARデコーダ・ステップまたはステージ４４が、複製された周囲HOA表現を再構成し、デコードされた疎なHOA表現＾D(k)を向上させて、デコードされたHOA表現＾C(k)にする。
【００８８】
〈PARデコーダ・フレームワーク〉
図５に示されるPARデコーダ・フレームワークは、デコードされたHOA表現＾C(k)を再構成するために、デコードされた複製された周囲HOA表現CPAR(k)によって、デコードされた疎なHOA表現＾D(k)を向上させる。デコードされたHOA表現＾C(k)のサンプルは、適用されたフィルタバンクの分解および合成遅延に従って遅延させられる。PARサイド情報パラメータ集合ΓPAR(k)はデマルチプレクサ・ステップまたはステージ５１において、サブバンド構成集合ΓSUBBAND、PARパラメータoPAR、nSIG(k)、vCOMPLEXおよび各サブバンド・グループg＝1,…,NSBについてのエンコードされた混合行列の諸データ集合ΓMg(k)に多重分離される。
【００８９】
並行して、デコードされた疎なHOA表現＾D(k)は分解フィルタバンク・ステップまたはステージ５２において、j＝1,…,NFB個の周波数帯域HOA表現行列
【数７９】
0006378432.tif 000080
に変換される。適用されるフィルタバンクは、エンコーダ側でPARエンコーダにおいて使われたものと同一である必要がある。
【００９０】
サブバンド構成の集合ΓSUBBANDから、サブバンド・グループの数NSBと、式(1)において定義されるサブバンド構成行列Fとがステップまたはステージ５３においてデコードされ、グループ割り当てステップまたはステージ５４に入力される。これらのパラメータに従って、グループ割り当てステップまたはステージ５４は、ステップ／ステージ５１および５３からのパラメータおよびステップ／ステージ５２からの周波数ベースのHOA表現
【数８０】
0006378432.tif 000081
を、サブバンド1…NSBについての対応するPARサブバンド・デコーダ・ステップまたはステージ５５、５６に差し向ける。
【００９１】
NSB個のPARサブバンド・デコーダ５５、５６は、デコードされた疎なHOA表現行列
【数８１】
0006378432.tif 000082
の係数シーケンスおよび対応する周波数帯域jg＝fg,1,…,fg,2についてのPARサブバンド・パラメータoPAR、vCOMPLEX、nSIG(k)、ΓMg(k)およびIused(k)から、複製された周囲HOA表現
【数８２】
0006378432.tif 000083
の係数シーケンスを生成する。
【００９２】
各周波数帯域の、結果として得られる複製された周囲HOA表現行列
【数８３】
0006378432.tif 000084
は、合成フィルタバンク・ステップまたはステージ５８において時間領域HOA表現CPAR(k)に変換される。最後に、CPAR(k)は、組み合わせステップまたはステージ５９において、（フィルタバンク遅延補償５７において）遅延補償された疎なHOA表現＾DDELAY(k)に、サンプルごとに加算されて、デコードされたHOA表現＾C(k)を生成する。
【００９３】
〈PARサブバンド・デコーダ〉
図６に描かれるPARサブバンド・デコーダは、サブバンド・グループgの周波数帯域jg＝fg,1,…,fg,2について、周波数領域の複製された周囲HOA表現行列
【数８４】
0006378432.tif 000085
を生成する。
【００９４】
並行して、置換され、脱相関された空間領域信号行列
【数８５】
0006378432.tif 000086
がステップまたはステージ６１１、６１２において、パラメータIused(k)、oPAR,gおよびnSIG,g(k)を使って、疎なHOA表現行列
【数８６】
0006378432.tif 000087
の係数シーケンスから生成される。この処理は、PARサブバンド・エンコーダにおいて使われる、節〈脱相関信号の生成〉からの処理と同一である。
【００９５】
さらに、混合行列＾Mg(k)が、混合行列デコード・ステップまたはステージ６３において、パラメータoPAR,g、nSIG,g(k)およびvCOMPLEX,gを使って、エンコードされた混合行列のデータ・セットΓMg(k)から得られる。混合行列要素の実際のデコードは、節〈混合行列のデコード〉において記述されている。その後、複製された周囲HOA表現
【数８７】
0006378432.tif 000088
の空間領域信号が、対応する脱相関された空間領域信号
【数８８】
0006378432.tif 000089
から、アンビエンス複製ステップまたはステージ６２１、６２２において、
【数８９】
0006378432.tif 000090
を使って、節〈アンビエンス複製〉において述べたアンビエンス複製処理によって、サブバンド・グループgの各周波数帯域jgについて、生成される。
【００９６】
最後に、複製された周囲HOA表現の空間領域信号
【数９０】
0006378432.tif 000091
が、ステップまたはステージ６４１、６４２において、oPAR,gおよび逆空間変換を使って、HOA表現に変換し戻される。ここで、節〈球面調和関数変換〉からの逆球面調和関数変換が適用される。生成された複製された周囲HOA表現行列
【数９１】
0006378432.tif 000092
は、次元
【数９２】
0006378432.tif 000093
をもつ必要があり、ここで、対応するPAR  HOA次数oPAR,gの最初のQPAR,g行のみが0でない要素をもつ。
【００９７】
〈混合行列のデコード〉
エンコードされた混合行列の要素のインデックスは、、現在の選択行列
【数９３】
0006378432.tif 000094
によって定義される。よって、混合行列当たりQPAR,gかけるnSIG,g(k)の要素がデコードされる必要がある。
【００９８】
したがって、第一段階では、各行列要素の角度および絶対値差が、PARエンコーダにおいて適用された対応するエントロピー符号化に応じてデコードされる。次いで、デコードされた角度および絶対値差が、直前のフレームの再構成されたQPAR,g×QPAR,gの角度および絶対値混合行列に加算される。ここで、現在の選択行列
【数９４】
0006378432.tif 000095
のみが使用され、他のすべての要素は0に設定される必要がある。更新された再構成された角度および絶対値混合行列から、デコードされた混合行列
【数９５】
0006378432.tif 000096
の複素数値が、次式によって復元される。
【００９９】
【数９６】
0006378432.tif 000097
ここで、ma,bは第a行第b列における＾Mg(k)の要素であり、mANGLE,a,bおよびmABS,a,bは更新された再構成された角度および絶対値混合行列の対応する要素である。
【０１００】
〈アンビエンス複製〉
アンビエンス複製（ambience  replication）は、脱相関された空間領域信号の逆置換を実行する。逆置換は、パラメータoPAR,gおよびnSIG,g(k)についての置換行列によって定義され、その後に混合行列＾Mg(k)の乗算が続く。隣り合うフレームのパラメータのなめらかな遷移のために、現在フレームからの脱相関された信号が処理され、現在フレームと前のフレームのパラメータを使ってクロスフェードされる。したがって、アンビエンス複製の処理は
【数９７】
0006378432.tif 000098
によって定義される。ここで、式(14)および(15)からのクロスフェード関数が使われている。
【０１０１】
〈高次アンビソニックスの基礎〉
高次アンビソニックス（HOA）は、音源がないと想定されるコンパクトな関心領域内の音場の記述に基づく。その場合、関心領域内の時刻tおよび位置xにおける音圧の空間時間的挙動p(t,x)は、斉次の波の式（homogeneous  wave  equation）によって物理的に完全に決定される。以下では、図７に示される球面座標系を想定する。使用されるこの座標系では、x軸は前方位置を向き、y軸は左を向き、z軸は上を向く。空間内の位置x＝(r,θ,φ)Tは動径r＞0（すなわち、座標原点までの距離）、極軸zから測った傾斜角θ∈[0,π]およびxy平面においてx軸から反時計回りに測った方位角φ∈[0,2π[によって表現される。さらに、(・)Tは転置を表わす。
【０１０２】
すると、ωが角周波数を表わし、iは虚数単位を示すものとして、非特許文献７の教科書から、
Ft(・)によって表わされる時間に関する音圧のフーリエ変換、すなわち
【数９８】
0006378432.tif 000099
は、
【数９９】
0006378432.tif 000100
に従って球面調和関数級数に展開されうることが示せる。ここで、csは音速を表わし、kは角波数を表わす。角波数は角周波数ωに、k＝ω/csによって関係付けられる。さらに、jn(・)は第一種の球面ベッセル関数を表わし、Snm(θ,φ)は次数（order）n、陪数（degree）mの実数値の球面調和関数を表わす。これは〈実数値球面調和関数の定義〉の節で定義される。展開係数Anm(k)は角波数kのみに依存する。音圧が空間的に帯域制限されていることが暗黙的に想定されていることを注意しておく。よって、級数は次数インデックスnに関して上限Nで打ち切られる。このNはHOA符号化表現の次数と呼ばれる。
【０１０３】
音場が、角タプル（θ,φ）によって指定されるすべての可能な方向から到来する、異なる角周波数ωの無限個の調和平面波の重ね合わせによって表現されるとすると、それぞれの平面波複素振幅関数C(ω,θ,φ)は次の球面調和関数展開によって表わせることを示せる（非特許文献８）。
【０１０４】
【数１００】
0006378432.tif 000101
ここで、展開係数Cnm(k)は展開係数Anm(k)に、
Anm(k)＝inCnm(k)        (46)
によって関係付けられる。
個々の係数Cnm(k＝ω/cs)が角周波数ωの関数であるとすると、逆フーリエ変換（F−1(・)によって表わされる）の適用は、各次数nおよび陪数mについて、時間領域関数
【数１０１】
0006378432.tif 000102
を与える。これらの時間領域関数はここでは連続時間HOA係数シーケンスと称され、これは
【数１０２】
0006378432.tif 000103
によって単一のベクトルc(t)にまとめることができる。
【０１０５】
ベクトルc(t)内のHOA係数シーケンスcnm(t)の位置インデックスは
n(n＋1)＋1＋m
によって与えられる。ベクトルc(t)内の全体的な要素数はO＝(N＋1)2によって与えられる。
最終的なアンビソニックス・フォーマットは、サンプリング周波数fsを使って、c(t)のサンプリングされたバージョンを、
【数１０３】
0006378432.tif 000104
として与える。ここで、Ts＝1/fsはサンプリング周期を表わす。c(lTs)の要素は離散時間HOA係数シーケンスと称される。これは常に実数値であることが示せる。この属性は、連続時間バージョンcnm(t)についても成り立つ。
【０１０６】
〈実数値の球面調和関数の定義〉
実数値の球面調和関数Snm(θ,φ)（非特許文献９、3.1章に基づくSN3D規格化を想定）は次式によって与えられる。
【０１０７】
【数１０４】
0006378432.tif 000105
ルジャンドル陪関数Pn,m(x)は次式によって定義される。
【０１０８】
【数１０５】
0006378432.tif 000106
ここで、ルジャンドル多項式Pn(x)を用いているが、非特許文献７とは異なり、コンドン・ショートリー（Condon−Shortley）位相項(−1)mがない。
【０１０９】
〈球面調和関数変換〉
HOAシーケンスの空間表現が、単位球上でほぼ一様に分布しているO個の空間方向Ωo、、1≦o≦Oで離散化される場合、O個の方向性信号c(t,Ωo)が得られる。これらの信号を
【数１０６】
0006378432.tif 000107
としてベクトルにまとめると、それは式(48)で定義した連続的アンビソニックス表現c(t)から、簡単な行列乗算により、
【数１０７】
0006378432.tif 000108
として計算できる。ここで、(・)Hは統合的な共役転置を示し、Ψは
【数１０８】
0006378432.tif 000109
によって定義されるモード行列を表わす。
これらの方向Ωoは単位球上でほぼ一様に分布しているので、モード行列は一般には可逆である。よって、連続的アンビソニックス表現は方向性信号c(t,Ωo)から
【数１０９】
0006378432.tif 000110
によって計算できる。
【０１１０】
両方の式は、アンビソニックス表現と空間領域との間の変換および逆変換をなす。これらの変換は、球面調和関数変換および逆球面調和関数変換と呼ばれる。これらの方向Ωoは単位球上でほぼ一様に分布しているので、近似
【数１１０】
0006378432.tif 000111
が利用可能である。これは式(54)においてΨHの代わりにΨ−1を使うことを正当化する。有利なことに、言及されたすべての関係は、離散時間領域についても有効である。
【０１１１】
本発明は、単一のプロセッサまたは電子回路によって、あるいは並列に動作するおよび／または完全な処理の異なる部分で動作するいくつかのプロセッサまたは電子回路によって実行されることができる。
【０１１２】
かかるプロセッサ（単数または複数）を記載される処理に従って動作させるための命令は一つまたは複数のメモリに記憶されることができる。少なくとも一つのプロセッサが、これらの命令を実行するよう構成される。
【図１】
0006378432.tif 000150
【図２】
0006378432.tif 000151
【図３】
0006378432.tif 000152
【図４】
0006378432.tif 000153
【図５】
0006378432.tif 000154
【図６】
0006378432.tif 000155
【図７】
0006378432.tif 000156