(57)【特許請求の範囲】
【請求項１】
圧縮された高次アンビソニックス（HOA）表現から方向情報をデコードする方法であって、前記圧縮されたHOA表現の各フレームについて、
・前記圧縮されたHOA表現から、
各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合（MFB(k)）と、
それぞれの周波数サブバンドおよびDSB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるかどうかを示すビット（bSubBandDirIsActive(k,fj)）と、
それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,fj)）および方向性サブバンド信号情報とを抽出する段階と；
・それぞれの周波数サブバンド方向について、前記相対方向インデックス（RelDirIndices(k,fj)）を絶対方向インデックスに変換する段階であって、各相対方向インデックスは、前記ビット（bSubBandDirIsActive(k,fj)）が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合（MFB(k)）内のインデックスとして使われる、段階と；
・前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階とを含む、
方法。
【請求項２】
現在フレームにおける方向性サブバンド信号を予測する前記段階は、前のフレームの当該サブバンドの方向性サブバンド信号を判別することを含み、
前記方向性サブバンド信号のインデックスが前記前のフレームにおいて0であり、現在フレームにおいて0でない場合には、新たな方向性サブバンド信号が生成され、
前記方向性信号のインデックスが前記前のフレームにおいて0でなく、現在フレームにおいて0である場合には、前の方向性サブバンド信号がキャンセルされ、
方向性サブバンド信号のインデックスが第一の方向から第二の方向に変わる場合には該方向性サブバンド信号の方向が該第一の方向から該第二の方向に動かされる、
請求項１記載の方法。
【請求項３】
前記方向性サブバンド信号情報は少なくとも、複数の打ち切りされたHOA係数シーケンス、前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルおよび複数の予測行列を含み、当該方法はさらに、
・前記複数の打ち切りされたHOA係数シーケンスおよび前記割り当てベクトルから打ち切りされたHOA表現を再構成する段階と；
・分解フィルタバンクにおいて、前記再構成された打ち切りされたHOA表現を複数F個の周波数サブバンドについての周波数サブバンド表現に分解する段階とを含み、
方向性サブバンド信号を予測する前記段階は、前記周波数サブバンド表現および前記複数の予測行列を使う、
請求項１記載の方法。
【請求項４】
前記抽出する段階は、前記圧縮されたHOA表現を多重分離して、知覚的に符号化された部分とエンコードされたサイド情報部分とを得ることを含み前記知覚的に符号化された部分は前記打ち切りされたHOA係数シーケンスを含み、前記エンコードされたサイド情報部分は、アクティブな候補方向の前記集合と、アクティブなサブバンド方向の前記相対方向インデックスと、前記割り当てベクトルと、前記予測行列と、各周波数サブバンドおよび各アクティブな候補方向について前記アクティブな候補方向がアクティブなサブバンド方向であることを示す前記ビットとを含む、請求項１記載の方法。
【請求項５】
前記方向性サブバンド信号情報は、アクティブな方向の集合（MDIR(k)）と、第一および第二のインデックスをもつインデックスのタプルを含むタプル集合（MDIR(k＋1,f1)、…、MDIR(k＋1,fF)）とを含み、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向の前記集合（MDIR(k)）内のアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、軌跡は、特定の音源の方向の時間的なシーケンスである、請求項１記載の方法。
【請求項６】
入力高次アンビソニックス（HOA）信号のフレームについての方向情報をエンコードする方法であって、
・前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合（MDIR(k)）を決定する段階であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、段階と；
・前記入力HOA信号を複数の周波数サブバンド（f1,…,fF）に分割する段階と；
・アクティブな候補方向の前記第一の集合（MDIR(k)）のうちで、前記周波数サブバンドのそれぞれについて、DSB＜Qであるとして、DSB個までのアクティブなサブバンド方向の第二の集合を決定する段階と；
・周波数サブバンド毎に各方向に相対方向インデックスを割り当てる段階であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、段階と；
・現在フレームについての方向情報を集める段階であって、前記方向情報は、
前記アクティブな候補方向（MDIR(k)）と、
各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるかどうかを示すビット（bSubBandDirIsActive(k,fj)）と、
各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,fj)）とを含む、段階と；
・集められた方向情報を伝送する段階とを含む、
方法。
【請求項７】
前記入力HOA信号から、打ち切りされたHOA表現および方向性サブバンド信号を組成する段階をさらに含み、前記打ち切りされたHOA表現は、一つまたは複数の係数シーケンスが0に設定されているHOA信号であり、前記方向情報は、前記方向性サブバンド信号が関連する方向を与えるものであり、前記伝送する段階はさらに、前記打ち切りされたHOA表現と、前記方向性サブバンド信号を定義する情報とを伝送することを含む、請求項６記載の方法。
【請求項８】
前記方向性サブバンド信号を定義する情報は予測行列を含む、請求項７記載の方法。
【請求項９】
・アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドの少なくとも一つにおいて使われる使用される候補方向の集合（MFB(k)）と、使用される候補方向の前記集合の要素数（NoOfGlobalDirs(k)）とを決定する段階であって、方向情報を集める前記段階における前記アクティブな候補方向が前記使用される候補方向である、段階と；
・前記使用される候補方向を、そのグローバル方向インデックスによってエンコードし、前記要素数をlog2(D)ビットによってエンコードする段階であって、Dは（フルバンド）候補方向のあらかじめ定義された最大数である、段階とをさらに含む、
請求項６記載の方法。
【請求項１０】
アクティブなサブバンド方向の軌跡を決定する段階をさらに含み、アクティブなサブバンド方向は、ある周波数サブバンドについてのある音源の方向であり、軌跡は、特定の音源の方向の時間的シーケンスであり、現在フレームの現在の周波数サブバンドのアクティブなサブバンド方向は、先行するフレームの同じ周波数サブバンドのアクティブなサブバンド方向と比較され、同一のまたは近隣のアクティブなサブバンド方向が同じ軌跡に属すると判定される、請求項６記載の方法。
【請求項１１】
サブバンド毎に各方向に割り当てされた前記方向インデックスは軌跡インデックスであり、当該方法はさらに、
・それぞれの決定された軌跡に軌跡インデックスを割り当てる段階と；
・各周波数サブバンドについてインデックスのタプルを含むタプル集合（MDIR(k,f1)、…、MDIR(k,fF)）を生成する段階とを含み、インデックスの各タプルは、現在の周波数サブバンドについてのアクティブなサブバンド方向のインデックスと、該アクティブなサブバンド方向について決定された軌跡の前記軌跡インデックスとを含む、
請求項１０記載の方法。
【請求項１２】
圧縮された高次アンビソニックス（HOA）表現から方向情報をデコードする装置であって、
・前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合（MFB(k)）と、
それぞれの周波数サブバンドおよび最大（DSB）個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるかどうかを示すビット（bSubBandDirIsActive(k,fj)）と、
それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,fj)）および方向性サブバンド信号情報と
を抽出するよう構成された抽出モジュールと；
・それぞれの周波数サブバンド方向について、前記相対方向インデックス（RelDirIndices(k,fj)）を絶対方向インデックスに変換するよう構成された変換モジュールであって、各相対方向インデックスは、前記ビット（bSubBandDirIsActive(k,fj)）が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合（MFB(k)）内のインデックスとして使われる、モジュールと；
・前記方向性サブバンド信号情報から方向性サブバンド信号を予測するよう構成された予測モジュールであって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、モジュールとを有する、
装置。
【請求項１３】
現在フレームにおける方向性サブバンド信号を予測するよう構成された前記予測モジュールは、
・前のフレームの当該サブバンドの方向性サブバンド信号を判別し；
・前記方向性サブバンド信号のインデックスが前記前のフレームにおいて0であり、現在フレームにおいて0でない場合には、新たな方向性サブバンド信号を生成し；
・前記方向性信号のインデックスが前記前のフレームにおいて0でなく、現在フレームにおいて0である場合には、前の方向性サブバンド信号をキャンセルし；
・方向性サブバンド信号のインデックスが第一の方向から第二の方向に変わる場合には該方向性サブバンド信号の方向を該第一の方向から該第二の方向に動かす
ようさらに構成されている、請求項１２記載の装置。
【請求項１４】
前記方向性サブバンド信号情報は少なくとも、複数の打ち切りされたHOA係数シーケンス、前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルおよび複数の予測行列を含み、当該装置はさらに、
・前記複数の打ち切りされたHOA係数シーケンスおよび前記割り当てベクトルから打ち切りされたHOA表現を再構成するよう構成された打ち切りHOA表現再構成モジュールと；
・前記再構成された打ち切りされたHOA表現を複数F個の周波数サブバンドについての周波数サブバンド表現に分解するよう構成された一つまたは複数の分解フィルタバンクとを有しており、
前記予測モジュールは、方向性サブバンド信号の前記予測のために、前記周波数サブバンド表現および前記複数の予測行列を使う、
請求項１２記載の装置。
【請求項１５】
前記抽出モジュールは、前記圧縮されたHOA表現を多重分離して、知覚的に符号化された部分とエンコードされたサイド情報部分とを得るようさらに構成されており、前記知覚的に符号化された部分は前記打ち切りされたHOA係数シーケンスを含み、
前記エンコードされたサイド情報部分は、アクティブな候補方向の前記集合と、アクティブなサブバンド方向の前記相対方向インデックスと、前記割り当てベクトルと、前記予測行列と、各周波数サブバンドおよび各アクティブな候補方向について前記アクティブな候補方向がアクティブなサブバンド方向であることを示す前記ビットとを含む、請求項１２記載の装置。
【請求項１６】
前記方向性サブバンド信号情報は、アクティブな方向の集合（MDIR(k)）と、第一および第二のインデックスをもつインデックスのタプルを含むタプル集合（MDIR(k＋1,f1)、…、MDIR(k＋1,fF)）とを含み、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向の前記集合（MDIR(k)）内のアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、軌跡は、特定の音源の方向の時間的なシーケンスである、請求項１２記載の装置。
【請求項１７】
入力高次アンビソニックス（HOA）信号のフレームについての方向情報をエンコードするための装置であって、
・前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合（MDIR(k)）を決定するよう構成されたアクティブ候補決定モジュールであって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、モジュールと；
・前記入力HOA信号を複数の周波数サブバンド（f1,…,fF）に分割するよう構成された分解フィルタバンク・モジュールと；
・アクティブな候補方向の前記第一の集合（MDIR(k)）のうちで、前記周波数サブバンドのそれぞれについて、DSB＜Qであるとして、DSB個までのアクティブなサブバンド方向の第二の集合を決定するよう構成されたサブバンド方向決定モジュールと；
・周波数サブバンド毎に各方向に相対方向インデックスを割り当てるよう構成された相対方向インデックス割り当てモジュールであって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、モジュールと；
・現在フレームについての方向情報を集めるよう構成された方向情報まとめモジュールであって、前記方向情報は、
前記アクティブな候補方向（MDIR(k)）と、
各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるかどうかを示すビット（bSubBandDirIsActive(k,fj)）と、
各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックス（RelDirIndices(k,fj)）とを含む、
モジュールと；
・集められた方向情報をパックするよう構成されたパッキング・モジュールとを有する、
装置。
【請求項１８】
前記方向性サブバンド信号を定義する情報は予測行列を含む、請求項１７記載の装置。
【請求項１９】
・アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドの少なくとも一つにおいて使われる、使用される候補方向の集合（MFB(k)）を決定し、使用される候補方向の前記集合の要素数（NoOfGlobalDirs(k)）を決定するよう構成された使用候補方向決定モジュールであって、前記方向情報まとめモジュールが集める前記方向情報に含まれる前記アクティブな候補方向が前記使用される候補方向である、モジュールと；
・前記使用される候補方向を、そのグローバル方向インデックスによってエンコードし、前記要素数をlog2(D)ビットによってエンコードするよう構成されたエンコーダであって、Dはフルバンドについての候補方向のあらかじめ定義された最大数である、モジュールとをさらに有する、
請求項１７記載の装置。
【請求項２０】
アクティブなサブバンド方向の軌跡を決定するよう構成された軌跡決定モジュールをさらに有しており、アクティブなサブバンド方向は、ある周波数サブバンドについてのある音源の方向であり、軌跡は、特定の音源の方向の時間的シーケンスであり、一つまたは複数の方向比較器が、現在フレームの現在の周波数サブバンドのアクティブなサブバンド方向を、先行するフレームの同じ周波数サブバンドのアクティブなサブバンド方向と比較し、同一のまたは近隣のアクティブなサブバンド方向が同じ軌跡に属すると判定される、請求項１７記載の装置。
【請求項２１】
前記相対方向インデックス割り当てモジュールがサブバンド毎に各方向に割り当てる方向インデックスは軌跡インデックスであり、前記相対方向インデックス割り当てモジュールがさらに、
・それぞれの決定された軌跡に軌跡インデックスを割り当てるよう構成された軌跡インデックス割り当てモジュールと；
・各周波数サブバンドについてインデックスのタプルを含むタプル集合（MDIR(k,f1)、…、MDIR(k,fF)）を生成するよう構成されたタプル集合生成器とを有しており、インデックスの各タプルは、現在の周波数サブバンドについてのアクティブなサブバンド方向のインデックスと、該アクティブなサブバンド方向について決定された軌跡の前記軌跡インデックスとを含む、
請求項２０記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、HOA信号表現のサブバンド内の優勢な方向性信号の方向のエンコード方法、HOA信号表現のサブバンド内の優勢な方向性信号の方向のデコード方法、HOA信号表現のサブバンド内の優勢な方向性信号の方向のエンコード装置およびHOA信号表現のサブバンド内の優勢な方向性信号の方向のデコード装置に関する。
【背景技術】
【０００２】
高次アンビソニックス（HOA:  Higher  Order  Ambisonics）は、波面合成（WFS:  wave  field  synthesis）または22.2として知られるもののようなチャネル・ベースのアプローチのような他の技法もあるうちでの、三次元音を表現するための一つの可能性を提供する。チャネル・ベースの方法とは対照的に、HOA表現は特定のスピーカー・セットアップとは独立であるという利点をもたらす。この柔軟性は、特定のスピーカー・セットアップでのHOA表現の再生のために必要とされるデコード・プロセスの代償を伴う。必要とされるスピーカーの数が通例非常に多いWFSアプローチに比べ、HOAは少数のスピーカーのみからなるセットアップにレンダリングされてもよい。HOAのさらなる利点は、同じ表現を、いかなる修正もなしでヘッドフォンへのバイノーラル・レンダリングのために用いることもできるということである。
【０００３】
HOAは、複素調和平面波振幅のいわゆる空間密度の、打ち切りされた球面調和関数（SH）展開による表現に基づく。各展開係数は角周波数の関数であり、これは時間領域関数によって等価に表現できる。よって、一般性を失うことなく、完全なHOA音場表現は、実際に、O個の時間領域関数からなると理解できる。ここで、Oは展開係数の数を表わす。これらの時間領域関数は、以下では、等価だが、HOA係数シーケンスまたはHOAチャネルと称される。
【０００４】
HOA表現の空間分解能は、展開の最大次数Nの増大とともに改善する。残念ながら、展開係数の数Oは次数Nとともに二次で、特にO＝(N＋1)2の形で増大する。たとえば、次数N＝4を使う典型的なHOA表現はO＝25個のHOA（展開）係数を必要とする。上記の考察によれば、HOA表現の伝送のための全ビットレートは、所望される単一チャネル・サンプリング・レートfSおよびサンプル当たりのビット数Nbを与えられて、O・fS・Nbによって決定される。結果として、たとえば次数N＝4のHOA表現を、fS＝48kHzのサンプリング・レートで、サンプル当たりNb＝16ビットを用いて伝送することは、19.2MBits/sのビットレートにつながる。これは、たとえばストリーミングのような多くの実際的な用途にとって非常に高い。このように、HOA表現の圧縮がきわめて望ましい。
【０００５】
HOA音場表現の圧縮のためのさまざまな手法が非特許文献４、５、６において提案されている。これらの手法は、音場解析を実行し、与えられたHOA表現を方向性成分（directional  component）と残差周囲成分（residual  ambient  component）に分解することで共通している。一方では、最終的な圧縮された表現は、いくつかの量子化された信号を含むことが想定され、該量子化された信号は、いわゆる方向性およびベクトル・ベースの信号と周囲HOA成分（ambient  HOA  component）の関連する係数シーケンスとの知覚的符号化から帰結する。他方では、最終的な圧縮された表現は、量子化された信号に関係する追加的なサイド情報を含む。このサイド情報は、HOA表現の、その圧縮されたバージョンからの再構成のために必要である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】J´er＾ome  Daniel.  Repr´esentation  de  champs  acoustiques,  application  ｀a  la  transmission  et  ｀a  la  reproduction  de  sc｀enes  sonores  complexes  dans  un  contexte  multim´edia.  PhD  thesis,  Universit´e  Paris  6,  2001
【非特許文献２】J¨org  Fliege  and  Ulrike  Maier.  A  two-stage  approach  for  computing  cubature  formulae  for  the  sphere.  Technical  report,  Fachbereich  Mathematik,  Universit¨at  Dortmund,  1999.  ノード数はhttp://www.mathematik.uni-dortmund.de/lsx/research/projects/fliege/nodes/nodes.htmlにある。
【非特許文献３】Sven  Kordon  and  Alexander  Krueger.  Adaptive  value  range  control  for  HOA  signals.  Patent  application  (Technicolor  Internal  Reference:  PD130016),  July  2013
【非特許文献４】Alexander  Krueger  and  Sven  Kordon.  Intelligent  signal  extraction  and  packing  for  compression  of  HOA  sound  field  representations.  特許出願EP  13305558.2  (Technicolor  Internal  Reference:  PD130015),  filed  29.  April  2013
【非特許文献５】A.  Krueger,  S.  Kordon,  and  J.  Boehm.  HOA  compression  by  decomposition  into  directional  and  ambient  components.  公開特許出願EP2743922  (Technicolor  Internal  Reference:  PD120055),  December  2012.
【非特許文献６】Alexander  Kr¨uger,  Sven  Kordon,  Johannes  Boehm,  and  Jan-Mark  Batke.  Method  and  apparatus  for  compressing  and  decompressing  a  higher  order  ambisonics  signal  representation.  公開特許出願EP2665208  (Technicolor  Internal  Reference:  PD120015),  May  2012
【非特許文献７】Alexander  Kr¨uger.  Method  and  apparatus  for  robust  sound  source  direction  tracking  based  on  Higher  Order  Ambisonics.  公開特許出願EP2738962  (Technicolor  Internal  Reference:  PD120049),  November  2012
【非特許文献８】Daniel  D.  Lee  and  H.  Sebastian  Seung.  Learning  the  parts  of  objects  by  nonnegative  matrix  factorization.  Nature,  401:788‐791,  1999
【非特許文献９】ISO/IEC  JTC  1/SC  29  N.  Text  of  ISO/IEC  2300‐3/CD,  MPEG-H  3d  audio,  April  2014
【非特許文献１０】Boaz  Rafaely.  Plane-wave  decomposition  of  the  sound  field  on  a  sphere  by  spherical  convolution.  J.  Acoust.  Soc.  Am.,  4(116):2149−2157,  October  2004
【非特許文献１１】Earl  G.  Williams.  Fourier  Acoustics,  volume  93  of  Applied  Mathematical  Sciences.  Academic  Press,  1999
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献４、５、６についての量子化された信号の合理的な最小数は8である。よって、これらの方法の一つでのデータ・レートは、個々の知覚的符号化器について32kbit/sのデータ・レートを想定すると、典型的には256kbit/sより低くはない。たとえばモバイル装置へのオーディオ・ストリーミングのようなある種の用途のためには、この全データ・レートは高すぎることがありうる。よって、たとえば128kbit/sのような顕著により低いデータ・レートに対処するHOA圧縮方法に対する需要がある。
【課題を解決するための手段】
【０００８】
圧縮されたHOA表現から方向情報をエンコードするための方法および装置および圧縮されたHOA表現から方向情報をデコードするための方法および装置が開示される。さらに、音場の高次アンビソニックス（HOA）表現の低ビットレート圧縮および圧縮解除のための実施形態が開示される。音場のHOA表現の低ビットレート圧縮方法の一つの主要な側面は、HOA表現を複数の周波数サブバンドに分解し、各周波数サブバンド内の係数を、打ち切りされたHOA表現と、いくつかの予測された方向性サブバンド信号に基づく表現との組み合わせによって近似することである。
【０００９】
打ち切りされたHOA表現は少数の選択された係数シーケンスを含む。ここで、選択は時間とともに変わることが許容される。たとえば、フレーム毎に新たな選択がなされる。打ち切りされたHOA表現を表わす選択された係数シーケンスは知覚的に符号化され、最終的な圧縮されたHOA表現の一部となる。ある実施形態では、符号化効率を高め、レンダリングにおけるノイズ・マスキング解除（noise  unmasking）の効果を低減するために、それらの選択された係数シーケンスは知覚的符号化の前に脱相関される。それらの選択されたHOA係数シーケンスのうちの所定数に対して空間的変換を適用することによって、部分的脱相関が達成される。圧縮解除のためには、脱相関は、再相関によって反転される。そのような部分的脱相関の大いなる利点は、圧縮解除に際して脱相関を反転させるために追加のサイド情報が必要とされないことである。
【００１０】
近似されたHOA表現の他方の成分は、対応する方向をもついくつかの方向性サブバンド信号によって表現される。これらは、打ち切りされたHOA表現の係数シーケンスからの予測を含むパラメトリック表現によって符号化される。ある実施形態では、それぞれの方向性サブバンド信号が、打ち切りされたHOA表現の係数シーケンスのスケーリングされた和によって予測（または表現）される。ここで、スケーリングは、一般的には複素数値である。圧縮解除のために方向性サブバンド信号のHOA表現を再合成することができるために、圧縮された表現は、方向の量子化されたバージョンとともに複素数値の予測スケーリング因子の量子化されたバージョンを含む。
【００１１】
ある実施形態では、圧縮されたHOA表現から方向情報をデコードする方法が、前記圧縮されたHOA表現の各フレームについて、前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合と、それぞれの周波数サブバンドおよび最大閾値DSB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットと、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスおよび方向性サブバンド信号情報とを抽出する段階と；それぞれの周波数サブバンド方向について、前記相対方向インデックスを絶対方向インデックスに変換する段階であって、各相対方向インデックスは、前記ビットが前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合内のインデックスとして使われる、段階と；前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階とを含む。
【００１２】
ある実施形態では、入力HOA信号のフレームについての方向情報をエンコードする方法が、前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合を決定する段階であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、段階と；前記入力HOA信号を複数の周波数サブバンドに分割する段階と；アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドのそれぞれについて、DSB＜Qであるとして、DSB個までのアクティブなサブバンド方向の第二の集合を決定する段階と；周波数サブバンド毎に各方向に相対方向インデックスを割り当てる段階であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、段階と；現在フレームについての方向情報を集める段階と；集められた方向情報を伝送する段階とを含む。前記方向情報は、前記アクティブな候補方向と、各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビットと、各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックスとを含む。
【００１３】
ある実施形態では、コンピュータ可読媒体が、コンピュータ上で実行されたときに上記の方向情報をエンコードする方法およびデコードする方法の少なくとも一方をコンピュータに実行させる実行可能命令を記憶している。
【００１４】
ある実施形態では、方向情報をフレームごとにエンコードする（そしてそれにより圧縮する）および／またはデコードする（そしてそれにより圧縮解除する）ための装置が、プロセッサと、プロセッサ上で実行されたときに上記の方向情報をエンコードする方法の段階および／または上記の方向情報をデコードする方法の段階を実行するソフトウェア・プログラムのためのメモリとを有する。
【００１５】
ある実施形態では、圧縮されたHOA表現から方向情報をデコードする装置が、前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合と、それぞれの周波数サブバンドおよびDSB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットと、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスおよび方向性サブバンド信号情報とを抽出するよう構成された抽出モジュールと；それぞれの周波数サブバンド方向について、前記相対方向インデックスを絶対方向インデックスに変換するよう構成された変換モジュールであって、各相対方向インデックスは、前記ビットが前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合内のインデックスとして使われる、モジュールと；前記方向性サブバンド信号情報から方向性サブバンド信号を予測するよう構成された予測モジュールであって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、モジュールとを有する。
【００１６】
ある実施形態では、方向情報をエンコードする装置は少なくともアクティブ候補決定モジュールと、分解フィルタバンク・モジュールと、サブバンド方向決定モジュールと、相対方向インデックス割り当てモジュールと、方向情報まとめモジュールと、パッキング・モジュールとを有する。
【００１７】
アクティブ候補決定モジュールは、前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合MDIR(k)を決定するよう構成される。前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ。分解フィルタバンク・モジュールは、前記入力HOA信号を複数の周波数サブバンドに分割するよう構成される。サブバンド方向決定モジュールは、アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドのそれぞれについて、DSB＜Qであるとして、DSB個までのアクティブなサブバンド方向の第二の集合を決定するよう構成される。相対方向インデックス割り当てモジュールは、周波数サブバンド毎に各方向に相対方向インデックス（[1,…,NoOfGlobalDirs(k)]の範囲内）を割り当てるよう構成される。方向情報まとめモジュールは、現在フレームについての方向情報を集めるよう構成される。方向情報は、前記アクティブな候補方向MDIR(k)と、各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビットと、各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックスとを含む。パッキング・モジュールは、集められた方向情報を伝送するよう構成される。
【発明の効果】
【００１８】
開示される方向情報のエンコードの利点は、データ・レート削減である。
【００１９】
さらなる利点は、各周波数サブバンドについての低減した、よってより高速な探索である。
【００２０】
本発明のさらなる目的、特徴および利点は、添付の図面との関連で参酌されるときの以下の記述および付属の請求項を考慮することから明白となるであろう。
【図面の簡単な説明】
【００２１】
本発明の例示的実施形態が、付属の図面を参照して記述される。
【図１】空間的HOAエンコーダのアーキテクチャを示す図である。
【図２】方向推定ブロックのアーキテクチャを示す図である。
【図３】知覚的サイド情報源エンコーダを示す図である。
【図４】知覚的サイド情報源デコーダを示す図である。
【図５】空間的HOAデコーダのアーキテクチャを示す図である。
【図６】球面座標系を示す図である。
【図７】方向推定処理ブロックを示す図である。
【図８】打ち切りされたHOA表現の方向、軌跡インデックス集合および係数を示す図である。
【図９】エンコード方法のフローチャートである。
【図１０】デコード方法のフローチャートである。
【図１１】方向情報をエンコードする装置を示す図である。
【図１２】方向情報をデコードする装置を示す図である。
【図１３】方向インデックス付けを示す図である。
【発明を実施するための形態】
【００２２】
音場のHOA表現のための提案される低ビットレート圧縮方法の一つの主要な発想は、もとのHOA表現をフレームごとおよび周波数サブバンドごとに、すなわち各HOAフレームの個々の周波数サブバンド内で、二つの部分の組み合わせによって近似するということである。二つの部分とは、打ち切りされたHOA表現と、いくつかの予測された方向性サブバンド信号に基づく表現である。HOAの基本の概要を下記でさらに与えておく。
【００２３】
近似されたHOA表現の第一の部分は、少数の選択された係数シーケンスからなる打ち切りされたHOAバージョンであり、該選択は時間とともに（たとえばフレーム毎に）変わることが許容される。打ち切りされたHOAバージョンを表わすための選択されたそれらの係数シーケンスは、次いで、知覚的に符号化され、最終的な圧縮されたHOA表現の一部となる。符号化効率を高め、レンダリングにおけるノイズ・マスキング解除（noise  unmasking）の効果を低減するために、それらの選択された係数シーケンスを、知覚的符号化の前に脱相関することが有利である。それらの選択されたHOA係数シーケンスのうちの所定数に対して空間的変換、つまり所与の数の仮想スピーカー信号へのレンダリングを適用することによって、部分的脱相関が達成される。かかる部分的脱相関の大いなる利点は、圧縮解除に際して脱相関を反転させるために追加のサイド情報が必要とされないことである。
【００２４】
近似されたHOA表現の第二の部分は、対応する方向をもついくつかの方向性サブバンド信号によって表現される。しかしながら、これらは従来は符号化されない。その代わり、これらは前記第一の部分、すなわち打ち切りされたHOA表現の係数シーケンスからの予測によってパラメトリック表現として符号化される。具体的には、各方向性サブバンド信号は、打ち切りされたHOA表現の係数シーケンスのスケーリングされた和によって予測される。ここで、スケーリングは線形であり、一般的には複素数値である。両方の部分が合わさって、HOA信号の圧縮された表現をなし、よって低ビットレートを達成する。圧縮解除のために方向性サブバンド信号のHOA表現を再合成することができるために、圧縮された表現は、方向の量子化されたバージョンとともに複素数値の予測スケーリング因子の量子化されたバージョンを含む。このコンテキストにおいて特に重要な側面は、方向および複素数値の予測スケーリング因子の計算ならびにいかにしてそれらを効率的に符号化するかである。
【００２５】
低ビットレートHOA圧縮
提案される低ビットレートHOA圧縮のために、低ビットレートHOA圧縮器は空間的HOAエンコード部と、知覚的および源エンコード部とに細分されることができる。空間的HOAエンコード部の例示的なアーキテクチャが図１に示されており、知覚的および源エンコード部の例示的なアーキテクチャが図３に示されている。空間的HOAエンコーダ１０は、I個の信号を含む第一の圧縮されたHOA表現を、そのHOA表現をどのように生成するかを記述するサイド情報とともに提供する。知覚的およびサイド情報源符号化器３０では、これらI個の信号が知覚的符号化器３１において知覚的にエンコードされ、サイド情報はサイド情報源符号化器３２における源エンコード（たとえばエントロピー符号化）にかけられる。サイド情報源符号化器３２は、符号化されたサイド情報
【数１】
0006585094.tif 000002
を提供する。次いで、知覚的符号化器３１およびサイド情報源符号化器３２によって提供された二つの符号化された表現は、マルチプレクサ３３において多重化されて、低ビットレートの圧縮されたHOAデータ・ストリーム
【数２】
0006585094.tif 000003
が得られる。
【００２６】
空間的HOAエンコード
図１に示される空間的HOAエンコーダは、フレームごとの処理を実行する。フレームはO個の時間連続的なHOA係数シーケンスの諸部分として定義される。たとえば、エンコードされるべき入力HOA表現のk番目のフレームC(k)は、時間連続的なHOA係数シーケンスのベクトルc(t)（式(46)参照）に関して次のように定義される。
【００２７】
【数３】
0006585094.tif 000004
ここで、kはフレーム・インデックスを表わし、Lはフレーム長（サンプル単位）を表わし、O＝(N＋1)2はHOA係数シーケンスの数を表わし、TSはサンプリング周期を表わす。
【００２８】
打ち切りされたHOA表現の計算
図１に示されるように、打ち切りされたHOA表現の計算における第一段階は、もとのHOAフレームC(k)から、打ち切りされたバージョンCT(k)を計算する（１１）ことを含む。このコンテキストにおける打ち切りとは、入力HOA表現のO個の係数シーケンスのうちI個の特定の係数シーケンスを選択し、他のすべての係数シーケンスを0に設定することを意味する。係数シーケンスの選択のためのさまざまな解決策が、非特許文献４、５、６から知られている。たとえば、最大のパワーまたは人間の知覚に関して最高の有意性をもつものの選択である。選択された係数シーケンスは、打ち切りされたHOAバージョンを表わす。選択された係数シーケンスのインデックスを含むデータ・セットIC,ACT(k)が生成される。次いで、のちにさらに述べるように、打ち切りされたHOAバージョンCT(k)は部分的に脱相関され（１２）、部分的に脱相関された打ち切りされたHOAバージョンCI(k)はチャネル割り当て１３を受ける。ここで、選ばれた係数シーケンスが、利用可能なI個のトランスポート・チャネルに割り当てられる。のちにさらに述べるように、これらの係数シーケンスは、次いで知覚的にエンコードされ（３０）、最終的に、圧縮された表現の一部になる。チャネル割り当て後に知覚的エンコードのためのなめらかな信号を得るために、k番目のフレームでは選択されているがk＋1番目のフレームでは選択されていない係数シーケンスが判別される。あるフレームでは選択されるが次のフレームでは選択されなくなる係数シーケンスは、フェードアウトされる。それらのインデックスは、データ・セットIC,ACT(k)の部分集合であるデータ・セットIC,ACT,OUT(k)に含まれる。同様に、k番目のフレームでは選択されるがk−1番目ののフレームでは選択されていなかった係数シーケンスは、フェードインされる。それらのインデックスは、やはりデータ・セットIC,ACT(k)の部分集合であるデータ・セットIC,ACT,IN(k)に含まれる。フェードのためには、窓関数wOA(l)、l＝1,…,2L（のちに式(39)で導入されるようなもの）が使われてもよい。
【００２９】
ひっくるめると、打ち切りされたバージョンCT(k)のHOAフレームkがO個の個々の係数シーケンス・フレームのL個のサンプルから
【数４】
0006585094.tif 000005
によって構成されるとすると、打ち切りは、係数シーケンス・インデックスn＝1,…,Oおよびサンプル・インデックスl＝1,…,Lについて、
【数５】
0006585094.tif 000006
によって表現されることができる。
【００３０】
係数シーケンスの選択のための基準についてはいくつかの可能性がある。たとえば、一つの有利な解決策は、信号パワーの大半を表わす係数シーケンスを選択することである。もう一つの有利な解決策は、人間の知覚に関して最も有意な係数シーケンスを選択することである。後者の場合、有意性は、たとえば、異なる仕方で打ち切りされた表現を仮想スピーカー信号にレンダリングし、それらの信号ともとのHOA表現に対応する仮想スピーカー信号との間の誤差を決定し、最後に、音マスキング効果を考慮しつつ誤差の有意性を解釈することによって、決定されてもよい。
【００３１】
集合IC,ACT(k)内のインデックスを選択するための合理的な戦略は、ある実施形態では、常に最初のOMIN個のインデックス1,…,OMINを選択するというものである。ここで、OMIN＝(NMIN＋1)2≦Iであり、NMINは、打ち切りされたHOA表現の所与の最小フル次数を表わす。次いで、上述した基準のうちの一つに従って集合{OMIN＋1,…,OMAX}の残りI−OMIN個のインデックスを選択する。ここで、OMAX＝(NMAX＋1)2≦Oであり、NMAXは、選択のために考慮されるHOA係数シーケンスの最大次数を表わす。OMAXはサンプル当たりの転送可能な係数の最大数であり、これは係数の総数O以下であることを注意しておく。この戦略によれば、打ち切り処理ブロック１１は、いわゆる割り当てベクトル
【数６】
0006585094.tif 000007
をも提供する。該割り当てベクトルの要素vA,i(k)、i＝1,…,I−OMINは
【数７】
0006585094.tif 000008
に従って設定される。ここで、n（ただしn≧OMIN＋1）は、のちにi番目のトランスポート信号yi(k)に割り当てられる、C(k)の追加的に選択されたHOA係数シーケンスのHOA係数シーケンス・インデックスを表わす。yi(k)の定義は下記の式(10)において与えられる。よって、CT(k)の最初のOMIN行は、デフォルトにより、HOA係数シーケンス1,…,OMINを含み、CT(k)の続くO−OMIN個の（またはO＝OMAXならOMAX−OMIN個）の行のうち、割り当てベクトルvA(k)にインデックスが格納されている、フレームごとに変化するHOA係数シーケンスを含むI−OMIN個の行がある。最後に、CT(k)の残りの行は0を含む。結果として、後述するように、利用可能なI個のトランスポート信号のうち最初の（または式(10)のように最後の）OMIN個はデフォルトによりHOA係数シーケンス1,…,OMINに割り当てられ、残りのI−OMIN個のトランスポート信号は、割り当てベクトルvA(k)にインデックスが格納されている、フレームごとに変化するHOA係数シーケンスに割り当てられる。
【００３２】
部分的脱相関
第二段階では、その後の知覚的エンコードの効率を高めるとともに、レンダリングにおける選択されたHOA係数シーケンスの行列処理後に生じる符号化ノイズ・マスキング解除を避けるために、選択されたHOA係数シーケンスの部分的脱相関１２が実行される。例示的な部分的脱相関１２は、最初のOMIN個の選択されたHOA係数シーケンスに空間的変換を適用することによって達成される。これは、OMIN個の仮想スピーカー信号へのレンダリングを意味する。それぞれの仮想スピーカー位置は、図６に示される球面座標系によって表わされる。ここで、各位置は単位球上にある、すなわち動径1をもつと想定される。よって、これらの位置は等価に方向Ωj＝(θj,φj)によって表わされることができる。ここで、1≦j≦OMINであり、θjおよびφjはそれぞれ傾斜角および方位角を表わす（球面座標系の定義については下記参照）。これらの方向は、単位球上にできるだけ一様に分散されるべきである（個別的な方法の計算についてはたとえば非特許文献２を参照）。HOAは一般にNMINに依存して方向を定義するので、本稿でΩjが書かれているところでは実際にはΩj(NMIN)が意図されることを注意しておく。
【００３３】
以下では、すべての仮想スピーカー信号のフレームは
【数８】
0006585094.tif 000009
によって表わされる。ここで、wj(k)はj番目の仮想スピーカー信号のk番目のフレームを表わす。さらに、ΨMINは仮想スピーカー方向Ωjに関するモード行列を表わす。ここで、1≦j≦ΩMINである。モード行列は次式によって定義される。
【００３４】
【数９】
0006585094.tif 000010
ここで、
【数１０】
0006585094.tif 000011
は仮想方向Ωiに関するモード・ベクトルを示す。その要素Snm(・)のそれぞれは、のちに定義する（式(48)参照）実数値の球面調和関数を表わす。この記法を使うと、レンダリング・プロセスは次の行列乗算によって定式化できる。
【００３５】
【数１１】
0006585094.tif 000012
よって、部分的脱相関１２の出力である中間表現CI(k)の信号は
【数１２】
0006585094.tif 000013
によって与えられる。
【００３６】
チャネル割り当て
中間表現CI(k)のフレームを計算したのち、その個々の信号cI,n(k)（ここでn∈IC,ACT(k)）は、利用可能なI個のチャネルに割り当てられて（１３）、知覚的エンコードのためのトランスポート信号yi(k)、i＝1,…,Iを与える。割り当て１３の一つの目的は、相続くフレームの間で選択が変化する場合に起こりうる、知覚的にエンコードされるべき信号の不連続を避けることである。割り当ては、
【数１３】
0006585094.tif 000014
によって表わすことができる。
【００３７】
利得制御
トランスポート信号yi(k)のそれぞれは、利得制御ユニット１４によって最終的に処理される。ここで、信号利得は、知覚的エンコーダに好適な値範囲を達成するためになめらかに修正される。利得修正は、相続くブロックの間での深刻な利得変化を避けるために、一種の先読みを必要とし、よって一フレームの遅延を導入する。各トランスポート信号yi(k)について、利得制御ユニット１４は、遅延されたフレームyi(k−1)、i＝1,…,Iを受領または生成する。利得制御後の修正された信号フレームは、zi(k−1)、i＝1,…,Iと表わされる。さらに、何らかの修正がなされた場合に空間的デコーダにおいて反転できるために、利得制御サイド情報が提供される。利得制御サイド情報は、指数ei(k−1)および例外フラグβi(k−1)、i＝1,…,Iを含む。利得制御のより詳細な説明については、たとえば非特許文献９、C.5.2.5節または非特許文献３を参照されたい。このように、打ち切りされたHOAバージョン１９は、利得制御された信号フレームzi(k−1)および利得制御サイド情報ei(k−1)、βi(k−1)、i＝1,…,Iを含む。
【００３８】
分解フィルタバンク
上述したように、近似されたHOA表現は二つの部分から構成される。すなわち、打ち切りされたHOAバージョン１９と、打ち切りされたHOA表現の係数シーケンスから予測される、対応する方向をもつ方向性のサブバンド信号によって表わされる成分とである。よって、第二の部分のパラメトリック表現を計算するために、もとのHOA表現の個々の係数シーケンスの各フレームcn(k)、n＝1,…,Oがまず個々のサブバンド信号
【数１４】
0006585094.tif 000015
のフレームに分解される。これは、一つまたは複数の分解フィルタバンク１５においてなされる。各サブバンドfj、j＝1,…,Fについて、個々のHOA係数シーケンスのサブバンド信号のフレームがサブバンドHOA表現
【数１５】
0006585094.tif 000016
にまとめられてもよい。分解フィルタバンク１５は、方向性サブバンド信号計算のために、このサブバンドHOA表現を方向推定処理ブロック１６および一つまたは複数の計算ブロック１７に与える。
【００３９】
原理的には、任意の型のフィルタ（すなわち、任意の複素数値のフィルタバンク、たとえばQMF、FFT）が分解フィルタバンク１５において使用されうる。分解フィルタバンクと対応する合成フィルタバンクの相続く適用が遅延された恒等関数を与えることは要求されない。そのような恒等関数を与える性質は完璧再構成属性として知られるものである。HOA係数シーケンスcn(k)とは対照的に、それらのサブバンド表現
【数１６】
0006585094.tif 000017
は一般には複素数値である。さらに、これらのサブバンド信号
【数１７】
0006585094.tif 000018
は一般に、もとの時間領域信号に比べて時間的に間引きされている。結果として、フレーム
【数１８】
0006585094.tif 000019
内のサンプル数は通例、時間領域信号フレームcn(k)内のサンプル数（これはL）より顕著に少ない。
【００４０】
ある実施形態では、処理を人間の聴覚系の属性によりよく適合させるために、二つ以上のサブバンド信号がサブバンド信号グループに組み合わされる。各グループの帯域幅は、そのサブバンド信号の数によって、たとえばよく知られたバーク尺度に適合されることができる。すなわち、特に高周波では、二つ以上のグループが一つに組み合わされることができる。この場合、各サブバンド・グループが一組のHOA係数シーケンス
【数１９】
0006585094.tif 000020
からなり、抽出されるパラメータの数は単一のサブバンドについてと同じであることを注意しておく。ある実施形態では、グループ化は、分解フィルタバンク・ブロック１５に組み込まれてもよい一つまたは複数のサブバンド信号グループ化ユニット（明示的には図示していない）において実行される。
【００４１】
方向推定
方向推定処理ブロック１６は、入力HOA表現を解析し、各周波数サブバンドfj、j＝1,…,Fについて、音場に主要な寄与を加えるサブバンド一般平面波関数の方向の集合MDIR(k,fj)を計算する。このコンテキストにおいて、「主要な寄与」という用語は、信号パワーが他の方向から入射するサブバンド一般平面波の信号パワーより高いことを指しうる。また、人間の知覚に関して高い有意性を指すこともある。サブバンド・グループ化が使われる場合には、MDIR(k,fj)の計算のために、単一のサブバンドの代わりに、サブバンド・グループが使われることができることを注意しておく。
【００４２】
圧縮解除の間、相続くフレームの間での推定される方向および予測係数の変化のため、予測される方向性サブバンド信号におけるアーチファクトが生じることがある。そのようなアーチファクトを避けるためには、エンコードの間の方向推定および方向性サブバンド信号の予測は、連結された長フレームに対して実行される。連結された長フレームは、現在フレームおよびその先行フレームからなる。圧縮解除のためには、これらの長フレームに対して推定された量は、予測された方向性のサブバンド信号を用いた重複加算処理を実行するために使われる。
【００４３】
方向推定のための素直なアプローチは、各サブバンドを別個に扱うことであろう。方向探索のために、ある実施形態では、たとえば非特許文献７において提案される技法が適用されてもよい。このアプローチは、個々の各サブバンドについて、方向推定値のなめらかな時間的軌跡を提供し、急峻な方向変化または開始を捕捉できる。しかしながら、この既知のアプローチには二つの欠点がある。第一に、各サブバンドにおける独立した方向推定は、フルバンドの一般平面波（たとえばある方向からの過渡的なドラム・ビート）が存在する場合に、個々のサブバンド方向における推定誤差が、足し合わせても単一の方向からの所望されるフルバンド・バージョンにならない種々の方向からのサブバンド一般平面波につながりうるという、望まれない効果につながることがありうる。特に、ある諸方向からの過渡信号がぼかされる。
【００４４】
第二に、低ビットレート圧縮を得るという意図を考えると、サイド情報から帰結する全ビットレートを念頭に置く必要がある。以下では、そのような素朴なアプローチのためのビットレートがかなり高くなることを例によって示す。例示的に、サブバンドの数Fは10であると想定され、各サブバンドについての方向の数（これは各集合MDIR(k,fj)における要素の数に対応する）は4であると想定される。さらに、非特許文献９で提案されているように、各サブバンドについて、Q=900個の潜在的な方向候補の格子上で探索を実行するとする。これは、単一の方向の単純な符号化のために
【数２０】
0006585094.tif 000021
ビットを要求する。毎秒約50フレームのフレーム・レートを想定すると、結果として得られる全体的なデータ・レートは、方向の符号化された表現だけのために、
（10ビット／方向）・（4方向／帯域）・（10帯域／フレーム）・（50フレーム／秒）＝20kbit/s
となる。たとえ毎秒25フレームのフレーム・レートを想定するとしても、結果として得られるデータ・レート10kbit/sはかなり高い。
【００４５】
改善として、ある実施形態では、方向推定ブロック２０において、方向推定のための以下の方法が使われる。一般的な発想は図２に示されている。第一段階では、フルバンド方向推定ブロック２１が、Q個の試験方向ΩTEST,q、q＝1,…,Qからなる方向格子上で、連結された長フレーム
【数２１】
0006585094.tif 000022
を使って、予備的なフルバンド方向推定または探索を実行する。ここで、C(k)およびC(k−1)はフルバンドのもとのHOA表現の現在および前の入力フレームである。この方向探索は、D(k)≦D個の方向候補ΩCAND,d(k)、d＝1,…,D(k)を提供し、これらが集合MDIR(k)に含まれる。すなわち、
MDIR(k)＝｛ΩCAND,1(k),…,ΩCAND,D(k)(k)｝        (13)
となる。
【００４６】
フレーム毎の方向候補の最大数についての典型的な値はD＝16である。方向推定は、たとえば非特許文献７において提案されている方法によって達成されることができる。発想は、入力HOA表現の方向性パワー分布から得られる情報を、方向のベイジアン推定についての単純な源動きモデルと組み合わせるというものである。
【００４７】
第二段階では、方向探索が、サブバンド（またはサブバンド・グループ）毎に、サブバンド方向推定ブロック２２によって個々の各サブバンドについて実行される。しかしながら、サブバンドについてのこの方向探索は、Q個の試験方向からなる初期のフルの方向格子を考える必要はなく、各サブバンドについてD(k)個の方向のみを含む候補集合MDIR(k)のみを考えればよい。fj番目のサブバンド、j＝1,…,Fについての方向の数DSB(k,fj)は、DSBより大きくなく、DSBは典型的にはDより顕著に小さく、たとえばDSB＝4である。フルバンド方向探索と同様に、サブバンドに関係した方向探索も、前のフレームと現在フレームからなる、サブバンド信号の長い連結されたフレーム
【数２２】
0006585094.tif 000023
に対して実行される。原理的には、フルバンドに関係した方向探索についてと同じベイジアン推定方法が、サブバンド関係の方向探索のために適用されてもよい。
【００４８】
特定の音源の方向は時間とともに変化してもよい（だが変化する必要はない）。特定の音源の方向の時間的シーケンスは本稿では「軌跡」と呼ばれる。各サブバンド関係の方向または軌跡は曖昧さのないインデックスを得て、それにより異なる軌跡の混同が防止され、連続的な方向性サブバンド信号が与えられる。このことは、方向性サブバンド信号の後述する予測のために重要である。これは特に、さらに下記で定義される相続く予測係数行列A(k,fj)の間の時間的依存性を活用することを許容する。したがって、fj番目のサブバンドのための方向推定は、タプルの集合MDIR(k,fj)を提供する。各タプルは、個々の（アクティブな）方向軌跡を同定するインデックスd∈IDIR(k,fj)⊆{1,…,DSB}と、それぞれの推定される方向ΩSB,d(k,fj)とからなる。すなわち、
【数２３】
0006585094.tif 000024
サブバンド方向探索は上述したように現在フレームの方向候補ΩCAND,d(k)、d＝1,…,D(k)の間でのみ実行されるので、定義により、集合｛(ΩSB,d(k,fj)｜d∈IDIR(k,fj))｝は各j＝1,…,FについてのMDIR(k)の部分集合である。各インデックスはQ個ではなくD(k)個の候補方向のうちの一つの方向を定義し、D(k)≦Qであるので、これは、方向に関するサイド情報のより効率的な符号化を許容する。インデックスdは、軌跡を生成するためにその後のフレームにおいて方向を追跡するために使われる。図２に示され、上記したように、方向推定処理ブロック１６はある実施形態では、フルバンド方向推定ブロック２１と、各サブバンドもしくはサブバンド・グループについてのサブバンド方向推定ブロック２２とを有する方向推定ブロック２０を備える。これはさらに、図７に示されるように上述した長フレームを方向推定ブロック２０に提供する長フレーム生成ブロック２３を有していてもよい。長フレーム生成ブロック２３は、たとえば一つまたは複数のメモリを使って、それぞれLサンプルの長さをもつ二つの相続く入力フレームから長フレームを生成する。長フレームは、本稿では￣によって、またk−1およびkの二つのインデックスをもつことによって示される。他の実施形態では、長フレーム生成ブロック２３は、図１に示されるエンコーダ内の別個のブロックであってもよく、あるいは他のブロックに組み込まれてもよい。
【００４９】
方向性サブバンド信号の計算
図１に戻ると、分解フィルタバンク１５によって提供されるサブバンドHOA表現フレーム
【数２４】
0006585094.tif 000025
は、一つまたは複数の方向性サブバンド信号計算ブロック１７にも入力される。方向性サブバンド信号計算ブロック１７では、すべてのDSB個の潜在的な方向性サブバンド信号の長フレーム
【数２５】
0006585094.tif 000026
が
【数２６】
0006585094.tif 000027
のように行列に配列される。
【００５０】
さらに、非アクティブな方向性サブバンド信号のフレーム、すなわちインデックスdが集合IDIR(k,fj)内に含まれない長い信号フレーム
【数２７】
0006585094.tif 000028
は0に設定される。
【００５１】
残りの長い信号フレーム
【数２８】
0006585094.tif 000029
すなわち、インデックスd∈IDIR(k,fj)をもつものは、行列
【数２９】
0006585094.tif 000030
内に集められる。それに含まれるアクティブな方向性サブバンド信号を計算するための一つの可能性は、そのHOA表現ともとの入力サブバンドHOA表現との間の誤差を最小にすることである。解は
【数３０】
0006585094.tif 000031
によって与えられる。ここで、(・)+はムーア・ペンローズの擬似逆行列を表わし、
【数３１】
0006585094.tif 000032
は、集合｛(ΩSB,d(k,fj)｜d∈IDIR(k,fj))｝内の方向推定値に関するモード行列を表わす。サブバンド・グループの場合、方向性サブバンド信号
【数３２】
0006585094.tif 000033
の集合は、グループのすべてのHOA表現
【数３３】
0006585094.tif 000034
に一つの列（ΨSB(k,fj)）+を乗算することから計算されることを注意しておく。長フレームは、上記したものと同様の一つまたは複数のさらなる長フレーム生成ブロックによって生成されることができることを注意しておく。同様に、長フレームは、長フレーム分解ブロックにおいて、正規長さのフレームに分解されることができる。ある実施形態では、方向性サブバンドの計算のための諸ブロック１７は、それらの出力において、長フレーム
【数３４】
0006585094.tif 000035
を、方向性サブバンド予測ブロック１８に提供する。
【００５２】
方向性サブバンド信号の予測
上述したように、近似的なHOA表現は、アクティブな方向性サブバンド信号によって部分的に表現される。だが、これは従来は符号化されないものである。従来と違って、現在記載される実施形態では、符号化された表現の伝送のための全データ・レートを低く保つために、パラメトリック表現が使われる。パラメトリック表現では、それぞれのアクティブな方向性サブバンド信号
【数３５】
0006585094.tif 000036
すなわちインデックスd∈IDIR(k,fj)をもつものが、打ち切りされたサブバンドHOA表現
【数３６】
0006585094.tif 000037
の係数シーケンスの重み付けされた和によって予測される。ここで、n∈IC,ACT(k−1)であり、重みは一般に複素数値である。
【００５３】
よって、
【数３７】
0006585094.tif 000038
が
【数３８】
0006585094.tif 000039
の予測されたバージョンを表わすとすると、予測は
【数３９】
0006585094.tif 000040
として行列乗算によって表わされる。ここで、
【数４０】
0006585094.tif 000041
はサブバンドfjについてのすべての重み付け因子（あるいは等価だが予測係数）をもつ行列である。予測行列A(k,fj)の計算は、一つまたは複数の方向性サブバンド予測ブロック１８において実行される。ある実施形態では、図１に示されるように、サブバンド毎に一つの方向性サブバンド予測ブロック１８が使われる。別の実施形態では、複数またはすべてのサブバンドのために単一の方向性サブバンド予測ブロック１８が使われる。サブバンド・グループの場合には、各グループについて一つの行列A(k,fj)が計算されるが、それはグループのそれぞれのHOA表現
【数４１】
0006585094.tif 000042
を乗算され、グループ毎に一組の行列
【数４２】
0006585094.tif 000043
を生成する。構築法により、インデックスd∈IDIR(k,fj)をもつもの以外のA(k,fj)のすべての行は0であることを注意しておく。つまり、アクティブな方向性サブバンド信号のみが予測される。さらに、インデックスn∈IC,ACT(k−1)をもつもの以外のA(k,fj)のすべての列も0である。つまり、予測のためには、伝送され、HOA圧縮解除の間に予測のために利用可能であるHOA係数シーケンスのみが考慮される。
【００５４】
予測行列A(k,fj)の計算のために、以下の諸側面が考慮される必要がある。
【００５５】
第一に、もとの打ち切りされたサブバンドHOA表現
【数４３】
0006585094.tif 000044
は一般に、HOA圧縮解除において利用可能ではない。その代わり、その知覚的にデコードされたバージョン
【数４４】
0006585094.tif 000045
が利用可能であり、方向性サブバンド信号の予測のために使われる。低ビットレートでは、典型的なオーディオ・コーデック（たとえばAACまたはUSAC）は、スペクトルの低周波数および中程度の周波数は通常通り符号化されるが、高周波数内容（たとえば5kHz以降）は高周波数包絡についての追加のサイド情報を使って低周波数および中程度の周波数から複製されるスペクトル帯域複製（SBR）を使う。そのため、知覚的デコード後の打ち切りされたHOA成分
【数４５】
0006585094.tif 000046
の再構成されたサブバンド係数シーケンスの大きさは、もとの
【数４６】
0006585094.tif 000047
のものに似る。しかしながら、これは位相については成り立たない。よって、高周波数サブバンドについては、複素数値の予測係数を使うことによる予測のために何らかの位相関係を活用することは意味がない。その代わり、実数値の予測係数のみを使うほうが合理的である。特に、fj番目のサブバンドがSBRの開始周波数を含むようインデックスjSBRを定義して、予測係数の型を次のように設定することが有利である。
【００５６】
【数４７】
0006585094.tif 000048
換言すれば、ある実施形態では、より低いサブバンドについての予測係数は複素数値であり、一方、より高いサブバンドについての予測係数は実数値である。
【００５７】
第二に、ある実施形態では、行列A(k,fj)の計算の戦略は、その型に適合される。特に、SBRによって影響されない低周波数サブバンドfj、1≦j＜jSBRについては、
【数４８】
0006585094.tif 000049
とその予測されたバージョン
【数４９】
0006585094.tif 000050
との間の誤差のユークリッド・ノルムを最小化することによって、A(k,fj)の0でない要素を決定することが可能である。知覚的符号化器３１は、jSBR（図示せず）を定義し、提供する。このようにして、関係する信号の位相関係が予測のために明示的に活用される。サブバンド・グループについては、グループのすべての方向性信号に対する予測誤差のユークリッド・ノルムが最小化されるべきである（すなわち、最小二乗予測誤差）。SBRによって影響される高周波数サブバンドfj、jSBR≦j≦Fについては、打ち切りされたHOA成分
【数５０】
0006585094.tif 000051
の再構成されたサブバンド係数シーケンスの位相は、もとのサブバンド係数シーケンスの位相にいささかも似ていると想定することができないため、上述した基準は合理的ではない。
【００５８】
この場合、一つの解決策は、位相を無視し、その代わりに予測のためには信号パワーのみに集中することである。予測係数の決定のための合理的な基準は次の誤差を最小化することである。
【００５９】
【数５１】
0006585094.tif 000052
ここで、演算|・|2は要素ごとに行列に適用されると想定される。換言すれば、予測係数は、打ち切りされたHOA成分のすべての重み付けされたサブバンドまたはサブバンド・グループの係数シーケンスのパワーの和が、方向性サブバンド信号のパワーを最もよく近似するように、選ばれる。この場合、この最適化問題を解いて予測行列A(k,fj)、j＝1,…,Fの予測係数を得るために、非負行列因子分解（NMF:  Nonnegative  Matrix  Factorization）技法（たとえば非特許文献８参照）を使うことができる。これらの行列は、次いで、知覚的および源エンコード段３０に提供される。
【００６０】
知覚的および源エンコード
上記の空間的HOA符号化後、k−1番目のフレームについての結果として得られる利得適応されたトランスポート信号zi(k−1)、i＝1,…,Iは符号化されて、それらの符号化された表現
【数５２】
0006585094.tif 000053
が得られる。これは、図３に示される知覚的および源エンコード段３０における知覚的符号化器３１によって実行される。さらに、集合MDIR(k)、MDIR(k,fj)、f＝1,…,F、予測係数行列A(k,fj)∈CO×DSB、j＝1,…,F、利得制御パラメータei(k−1)およびβi(k−1)、i＝1,…,Iおよび割り当てベクトルvA(k−1)に含まれる情報が、効率的な記憶または伝送のために冗長性を除去するために源エンコードにかけられる。これは、サイド情報源符号化器３２によって実行される。結果として得られる符号化された表現
【数５３】
0006585094.tif 000054
はマルチプレクサ３３において、符号化されたトランスポート信号表現
【数５４】
0006585094.tif 000055
と一緒に多重化されて、最終的な符号化されたフレーム
【数５５】
0006585094.tif 000056
を生成する。
【００６１】
原理的には、利得制御パラメータの源符号化および割り当ては非特許文献９と同様に実行できるので、本稿は方向および予測パラメータの符号化のみに焦点を当て、それについて以下で詳述する。
【００６２】
方向の符号化
個々のサブバンド方向の符号化のために、上記に基づく非有意性削減を活用して、選ばれるべき個々のサブバンド方向を制約することができる。前述したように、これら個々のサブバンド方向は、あらゆる可能な試験方向ΩTEST,q、q＝1,…,Qから選ばれるのではなく、フルバンドHOA表現の各フレームについて決定される少数の候補から選ばれる。例示的に、サブバンド方向の源符号化のための可能な仕方は、下記のアルゴリズム１においてまとめられる。
【００６３】
アルゴリズム１の第一段階では、サブバンド方向として実際に生起するすべてのフルバンド方向候補の集合MFB(k)が決定される。すなわち、
【数５６】
0006585094.tif 000057
NoOfGlobalDirs(k)によって表わされるこの集合の要素数は、方向の符号化された表現の第一の部分である。MFB(k)は定義によりMDIR(k)の部分集合なので、NoOfGlobalDirs(k)は
【数５７】
0006585094.tif 000058
ビットで符号化できる。さらなる記述を明確にするために、集合MFB(k)内の方向はΩFB,d(k)、d＝1,…,NoOfGlobalDirs(k)によって表わされる。すなわち、
【数５８】
0006585094.tif 000059
【００６４】
【表１】
0006585094.tif 000060
第二段階では、集合MFB(k)内の方向が、ここで格子（grid）と称される可能な試験方向ΩTEST,qのインデックスq＝1,…,Qによって符号化される。各方向ΩFB,d(k)、d＝1,…,NoOfGlobalDirs(k)について、それぞれの格子インデックスは、
【数５９】
0006585094.tif 000061
ビットのサイズをもつ配列要素GlobalDirGridIndices(k)[d]において符号化される。すべての符号化されたフルバンド方向を表わす全アレイGlobalDirGridIndices(k)はNoOfGlobalDirs(k)個の要素からなる。
【００６５】
第三段階では、各サブバンドまたはサブバンド・グループfj、j＝1,…,Fについて、d番目の方向性サブバンド信号（d＝1,…,DSB）がアクティブであるか否か、すなわちd∈IDIR(k,fj)であるかどうかの情報が、配列要素bSubBandDirIsActive(k,fj)[d]において符号化される。d∈IDIR(k,fj)であれば、それぞれのサブバンド方向ΩSB,d(k,fj)はそれぞれのフルバンド方向ΩFB,i(k)のインデックスiによって、DSB(k,fj)個の要素からなる配列RelDirIndices(k,fj)に符号化される。
【００６６】
この方向エンコード方法の効率を示すために、上記の例に基づく方向の符号化された表現についての最大データ・レートが計算される：F＝10サブバンド、DSB(k,fj)＝DSB＝サブバンド毎に4方向、Q＝900個の試験方向および毎秒25フレームのフレーム・レートが想定される。通常の符号化方法では、必要とされるデータ・レートは10kbit/sであった。ある実施形態に基づくこの改善された符号化方法では、フルバンド方向の数がNoOfGlobalDirs(k)＝D＝8であるとすれば、GlobalDirGridIndices(k)を符号化するためにフレーム当たり
【数６０】
0006585094.tif 000062
ビットが、bSubBandDirIsActive(k,fj)を符号化するためにDSB・F＝40ビットが、RelDirIndices(k,fj)を符号化するために
【数６１】
0006585094.tif 000063
ビットが必要とされる。その結果、（240ビット／フレーム）・（25フレーム／秒）＝6kbit/sのデータ・レートとなり、これは10kbit/sより顕著に小さい。フルバンド方向のより多くの数NoOfGlobalDirs(k)＝D＝16についてでさえも、たった7kbit/sのデータ・レートで十分である。
【００６７】
図１３は、アルゴリズム１におけるような方向インデックス付けを示している。集合MDIR(k)はD(k)個のフルバンド候補方向をもち、D(k)≦Dであり、Dはあらかじめ定義された値である。集合MDIR(k)、MDIR(k)の部分集合はNoOfGlobalDirs(k)個の実際に使われる方向をもつ。GlobalDirIndicesは、フルバンド方向（たとえば900個の方向のいわゆる格子をいう）のインデックスを格納する配列である。bSubBandDirIsActiveは、DSB個までの軌跡（または方向）のそれぞれについて、「アクティブ」または「アクティブでない」を示すビットを格納する。RelDirIndicesは、bSubBandDirIsActiveが「アクティブ」を示す軌跡／方向について、それぞれlog2(NoOfGlobalDirs(k))ビットを用いてGlobalDirIndicesのインデックスを格納する。
【００６８】
予測係数行列の符号化
予測係数行列の符号化のためには、方向軌跡、よって方向性サブバンド信号のなめらかさのために相続くフレームの予測係数の間には高い相関があるという事実を活用できる。さらに、各予測係数行列A(k,fj)についてフレーム毎に（DSB(k,fj)・MC,ACT(k−1)）個の潜在的な0でない要素の比較的多くの数がある。ここで、MC,ACT(k−1)は集合IC,ACT(k−1)内の要素数を表わす。サブバンド・グループが使われなければ、全部で、フレーム当たり符号化されるべきF個の行列がある。サブバンド・グループが使われる場合には、フレーム当たりに符号化されるべき行列は相応してF個より少なくなる。
【００６９】
ある実施形態では、各予測係数のためのビット数を低く保つために、各複素数値の予測係数はその絶対値とその偏角によって表現され、次いで偏角および絶対値が相続くフレームの間で異なる仕方で、行列A(k,fj)のそれぞれの特定の要素について独立に、符号化される。絶対値が区間[0,1]内にあると想定される場合、絶対値の差は区間[−1,1]内にある。複素数の偏角の差は区間[−π,π]内にあると想定されてもよい。絶対値および偏角の差の両方の量子化のために、それぞれの区間は等しいサイズのたとえば2NQ個の部分区間に細分されることができる。その場合、それぞれの絶対値および偏角の差について、素直な符号化だとNQビットを必要とする。さらに、相続くフレームの予測係数の間の上述した相関のため、個々の差の生起確率はきわめて非一様に分布していることが実験的に見出されている。特に、絶対値および偏角における小さな差は、より大きな差よりも有意に高頻度で生起する。よって、たとえばハフマン符号化のような、符号化されるべき個々の値の事前確率に基づく符号化方法が、予測係数毎の平均ビット数を有意に減らすために活用できる。換言すれば、予測行列A(k,fj)の実部および虚部の代わりに、予測行列A(k,fj)における値の絶対値および位相を異なる仕方でエンコードすることが通例は有利である。しかしながら、実部および虚部の使用が受け入れ可能な状況も生じるかもしれない。
【００７０】
ある実施形態では、非差分的に符号化された行列係数を含む特別なアクセス・フレームが、ある間隔（用途固有、たとえば毎秒一回）において送られる。これは、デコーダがこれらの特殊なアクセス・フレームから差分デコードを再開することを許容し、よってデコードのためのランダムな入場を可能にする。
【００７１】
以下では、上記のように構築された低ビットレート圧縮されたHOA表現の圧縮解除を記述する。圧縮解除もフレーム毎に機能する。
【００７２】
原理的には、ある実施形態に基づく低ビットレートHOAデコーダは、上記の低ビットレートHOAエンコーダ・コンポーネントの、逆順に配列された対応物を有する。特に、低ビットレートHOAデコーダは、図４に描かれるような知覚的および源デコード部と、図６に示されるような空間的HOAデコード部とに細分できる。
【００７３】
知覚的および源デコード
図４は、ある実施形態における、知覚的およびサイド情報源デコーダ４０を示している。知覚的およびサイド情報源デコーダ４０において、低ビットレート圧縮されたHOAビットストリーム
【数６２】
0006585094.tif 000064
はまずデマルチプレクサにおいて多重分離されて（ｓ４１）、I個の信号の知覚的に符号化された表現
【数６３】
0006585094.tif 000065
およびどのようにしてそのHOA表現を生成するかを記述する符号化されたサイド情報
【数６４】
0006585094.tif 000066
を生じる。次いで、知覚的デコーダ４２におけるI個の信号の知覚的デコード（ｓ４２）およびサイド情報デコーダ４３（たとえばエントロピー・デコーダ）におけるサイド情報のデコード（ｓ４３）が実行される。
【００７４】
知覚的デコーダ４２はI個の信号
【数６５】
0006585094.tif 000067
を知覚的にデコードされた信号
【数６６】
0006585094.tif 000068
にデコードする。
【００７５】
サイド情報源デコーダ４３は、符号化されたサイド情報
【数６７】
0006585094.tif 000069
をタプル集合MDIR(k＋1,fj)、j＝1,…,F、各サブバンドまたはサブバンド・グループfj（j＝1,…,F）についての予測係数行列A(k＋1,fj)、利得補正指数ei(k)および利得補正例外フラグβi(k)ならびに割り当てベクトルvAMB,ASSIGN(k)にデコードする。
【００７６】
アルゴリズム２は、符号化されたサイド情報
【数６８】
0006585094.tif 000070
からどのようにしてタプル集合MDIR(k＋1,fj)、j＝1,…,Fを生成するかを例示的にまとめている。サブバンド方向のデコードは下記で詳細に記述される。
【００７７】
第一に、符号化されたサイド情報
【数６９】
0006585094.tif 000071
からNoOfGlobalDirs(k)が抽出される。上記のように、これらはサブバンド方向としても使われる。それは┌log2(D)┐ビットで符号化される。
【００７８】
第二段階では、NoOfGlobalDirs(k)個の要素からなる配列GlobalDirGridIndices(k)が抽出される。各要素は┌log2(Q)┐ビットによって符号化される。この配列は、フルバンド方向ΩFB,d(k)、d＝1,…,NoOfGlobalDirs(k)を表わす格子インデックスを含み、
ΩFB,d(k)＝ΩTEST,GlobalDirGridIndices(k)[d]        (23)
となる。
【００７９】
次いで、各サブバンドまたはサブバンド・グループfj、j＝1,…,Fについて、DSB個の要素からなる配列bSubBandDirIsActive(k,fj)が抽出される。ここで、d番目の要素bSubBandDirIsActive(k,fj)[d]は、d番目のサブバンド方向がアクティブであるか否かを示す。さらに、アクティブなサブバンド方向の総数DSB(k,fj)が計算される。
【００８０】
最後に、各サブバンドまたはサブバンド・グループfj、j＝1,…,Fについて、タプルの集合MDIR(k,fj)が計算される。これは、個々の（アクティブな）サブバンド方向軌跡を同定するインデックスd∈IDIR(k,fj)⊆{1,DSB}およびそれぞれの推定される方向ΩSB(k,fj)からなる。
【００８１】
【表２】
0006585094.tif 000072
次に、各サブバンドまたはサブバンド・グループfj、j＝1,…,Fについて、予測係数行列A(k＋1,fj)が、符号化されたフレーム
【数７０】
0006585094.tif 000073
から再構成される。ある実施形態では、再構成は、サブバンドまたはサブバンド・グループfj毎に以下のステップを含む：第一に、各行列係数の偏角および絶対値の差がエントロピー復号によって得られる。次いで、エントロピー復号された偏角および絶対値の差が、それらの符号化のために使われたビット数NQに従って実際の値範囲に再スケーリングされる。最後に、現在の予測係数行列A(k＋1,fj)が、再構成された偏角および絶対値の差を、最新の係数行列A(k,fj)、すなわち直前フレームの係数行列の係数に加えることによって、構築される。
【００８２】
このように、現在の行列A(k＋1,fj)のデコードのためには直前の行列A(k,fj)が知られている必要がある。ある実施形態では、ランダム・アクセスを可能にするために、特別なアクセス・フレームがある間隔で受領される。該特別なアクセス・フレームは、これらのフレームから差分デコードを再開するために、非差分的に符号化された行列係数を含む。
【００８３】
知覚的およびサイド情報源デコーダ４０は、知覚的にデコードされた信号
【数７１】
0006585094.tif 000074
と、タプル集合MDIR(k＋1,fj)、j＝1,…,Fと、予測係数行列A(k＋1,fj)と、利得補正指数ei(k)と、利得補正例外フラグβi(k)と、割り当てベクトルvAMB,ASSIGN(k)とをその後の空間的HOAデコーダ５０に出力する。
【００８４】
空間的HOAデコード
図５は、ある実施形態における例示的な空間的HOAデコーダ５０を示している。空間的HOAデコーダ５０は、I個の信号
【数７２】
0006585094.tif 000075
およびサイド情報デコーダ４３によって与えられる上記のサイド情報から、再構成されたHOA表現を生成する。空間的HOAデコーダ５０内の個々の処理ユニットについて下記で詳細に述べる。
【００８５】
逆利得制御
空間的HOAデコーダ５０において、知覚的デコードされた信号
【数７３】
0006585094.tif 000076
は、関連付けられた利得補正指数ei(k)および利得補正例外フラグβi(k)と一緒に、まず一つまたは複数の逆利得制御処理ブロック５１に入力される。逆利得制御処理ブロックは、利得補正された信号フレーム
【数７４】
0006585094.tif 000077
を与える。ある実施形態では、I個の信号
【数７５】
0006585094.tif 000078
のそれぞれは、図５と同様に別個の逆利得制御処理ブロック５１に入力され、i番目の逆利得制御処理ブロックが利得補正された信号フレーム
【数７６】
0006585094.tif 000079
を与える。逆利得制御のより詳細な記述は、たとえば非特許文献９の節11.4.2.1から知られている。
【００８６】
打ち切りされたHOA再構成
打ち切りされたHOA再構成ブロック５２では、I個の利得補正された信号フレーム
【数７７】
0006585094.tif 000080
が、割り当てベクトルVAMB,ASSIGN(k)によって与えられる情報に従ってHOA係数シーケンス行列に再分配（すなわち、再割り当て）される。それにより、打ち切りされたHOA表現
【数７８】
0006585094.tif 000081
が再構成される。割り当てベクトルVAMB,ASSIGN(k)は、各伝送チャネルについて、もとのHOA成分のどの係数シーケンスを含んでいるかを示すI個の成分を有する。さらに、割り当てベクトルの要素は、k番目のフレームについてのすべての受領された係数シーケンスのインデックス（もとのHOA成分を指すインデックス）の集合IC,ACT(k)
IC,ACT(k)＝｛VAMB,ASSIGN,i(k)|i＝1,…,I｝        (24)
をなす。
【００８７】
打ち切りされたHOA表現
【数７９】
0006585094.tif 000082
の再構成は以下のステップを含む。
【００８８】
第一に、デコードされた中間表現
【数８０】
0006585094.tif 000083
の個々の成分
【数８１】
0006585094.tif 000084
は、割り当てベクトル内の情報に依存して、0に設定されるか、利得補正された信号フレーム
【数８２】
0006585094.tif 000085
の対応する成分によって置き換えられる。すなわち、
【数８３】
0006585094.tif 000086
つまり、上述したように、割り当てベクトルのi番目の要素（式(26)ではn）は、i番目の係数
【数８４】
0006585094.tif 000087
が、デコードされた中間表現行列（式(25)）のn番目の行における
【数８５】
0006585094.tif 000088
を置換することを示す。
【００８９】
第二に、
【数８６】
0006585094.tif 000089
内の最初のOMIN個の信号の再相関が、逆空間的変換を適用することによって実行され、フレーム
【数８７】
0006585094.tif 000090
を与える。ここで、モード行列ΨMINは式(6)において定義されたとおりである。モード行列は、各OMINまたはNMINについてあらかじめ定義されている所与の諸方向に依存し、よってエンコーダおよびデコーダの両方において独立して構築されることができる。OMIN（またはNMIN）も慣習上あらかじめ定義される。
【００９０】
最後に、再構成された打ち切りされたHOA表現
【数８８】
0006585094.tif 000091
が再相関された信号
【数８９】
0006585094.tif 000092
および中間表現の信号
【数９０】
0006585094.tif 000093
から
【数９１】
0006585094.tif 000094
に従って合成される。
【００９１】
分解フィルタバンク
予測された方向性サブバンド信号によって表わされる第二のHOA成分をさらに計算するために、圧縮解除された打ち切りされたHOA表現
【数９２】
0006585094.tif 000095
の個々の係数シーケンスnの各フレーム
【数９３】
0006585094.tif 000096
がまず、一つまたは複数の分解フィルタバンク５３において、個々のサブバンド信号のフレーム
【数９４】
0006585094.tif 000097
に分解される。各サブバンドfj、j＝1,…,Fについて、個々のHOA係数シーケンスのサブバンド信号のフレームは、サブバンドHOA表現
【数９５】
0006585094.tif 000098
にまとめられてもよい。
【００９２】
HOA空間的デコード段において適用される前記一つまたは複数の分解フィルタバンク５３は、HOA空間的エンコード段における一つまたは複数の分解フィルタバンク１５と同じであり、サブバンド・グループについては、HOA空間的エンコード段からのグループ化が適用される。このように、ある実施形態では、グループ化情報がエンコードされた信号に含められる。グループ化情報についてのさらなる詳細は後述する。
【００９３】
ある実施形態では、HOA圧縮段における打ち切りされたHOA表現の計算のために最大次数NMAXが考慮され（上記の式(4)付近を参照）、HOA圧縮器および圧縮解除器の分解フィルタバンク１５、５３の適用は、インデックスn＝1,…,OMAXをもつHOA係数シーケンス
【数９６】
0006585094.tif 000099
のみに制約される。インデックスn＝OMAX＋1,…,Oをもつサブバンド信号フレーム
【数９７】
0006585094.tif 000100
は0に設定されることができる。
【００９４】
方向性サブバンドHOA表現の合成
各サブバンドまたはサブバンド・グループについて、方向性サブバンドもしくはサブバンド・グループHOA表現
【数９８】
0006585094.tif 000101
が、一つまたは複数の方向性サブバンド合成ブロック５４において合成される。ある実施形態では、相続くフレームの間での方向および予測係数の変化に起因するアーチファクトを避けるために、方向性サブバンドHOA表現の計算は、重複加算の概念に基づく。よって、ある実施形態では、fj番目のサブバンド、j＝1,…,Fに関係したアクティブな方向性サブバンド信号のHOA表現
【数９９】
0006585094.tif 000102
は、フェードアウトされる成分とフェードインされる成分との和として計算される：
【数１００】
0006585094.tif 000103
第一段階では、二つの個々の成分を計算するために、フレームk1∈{k,k＋1}についての予測係数行列A(k1,fj)とk番目のフレームについての打ち切りされたサブバンドHOA表現
【数１０１】
0006585094.tif 000104
との関係したすべての方向性サブバンド信号
【数１０２】
0006585094.tif 000105
の瞬時フレームが、
【数１０３】
0006585094.tif 000106
によって計算される。
【００９５】
サブバンド・グループについては、各グループについてのHOA表現
【数１０４】
0006585094.tif 000107
が固定した行列A(k1,fj)を乗算されて、そのグループのサブバンド信号
【数１０５】
0006585094.tif 000108
を生成する。
【００９６】
第二段階では、方向ΩSB,d(k,fj)に関する方向性サブバンド信号
【数１０６】
0006585094.tif 000109
の瞬時サブバンドHOA表現
【数１０７】
0006585094.tif 000110
が
【数１０８】
0006585094.tif 000111
として得られる。ここで、ψ(ΩSB,d(k,fj))∈ROは、方向ΩSB,d(k,fj)に関する（式(7)におけるモード・ベクトルのような）モード・ベクトルを表わす。サブバンド・グループについては、式(32)はグループのすべての信号について実行され、行列ψ(ΩSB,d(k,fj))は各グループについて固定されている。
【００９７】
行列
【数１０９】
0006585094.tif 000112
がそのサンプルから
【数１１０】
0006585094.tif 000113
によって構成されるとすると、アクティブな方向性サブバンド信号のHOA表現のフェードアウトされる成分およびフェードインされる成分のサンプル値は最終的に
【数１１１】
0006585094.tif 000114
によって決定される。ここで、ベクトル
【数１１２】
0006585094.tif 000115
は重複加算の窓関数を表わす。窓関数の例は、周期的ハン窓によって与えられ、その要素は
【数１１３】
0006585094.tif 000116
によって定義される。
【００９８】
サブバンドHOA組成（composition）
各サブバンドまたはサブバンド・グループfj、j＝1,…,Fについて、デコードされたサブバンドHOA表現
【数１１４】
0006585094.tif 000117
の係数シーケンス
【数１１５】
0006585094.tif 000118
は、以前に伝送されていれば打ち切りされたHOA表現
【数１１６】
0006585094.tif 000119
の係数シーケンスに設定され、そうでなければ方向性サブバンド合成ブロック５４の一つによって与えられる方向性HOA成分
【数１１７】
0006585094.tif 000120
の係数シーケンスに設定される。すなわち、
【数１１８】
0006585094.tif 000121
このサブバンド組成は、一つまたは複数のサブバンド組成ブロック５５によって実行される。ある実施形態では、各サブバンドまたはサブバンド・グループについて、よって前記一つまたは複数の方向性サブバンド合成ブロック５４のそれぞれについて、別個のサブバンド組成ブロック５５が使われる。ある実施形態では、方向性サブバンド合成ブロック５４およびその対応するサブバンド組成ブロック５５は、単一のブロックに統合される。
【００９９】
合成フィルタバンク
最終段階では、デコードされたHOA表現が、すべてのデコードされたサブバンドHOA表現
【数１１９】
0006585094.tif 000122
から合成される。圧縮解除されたHOA表現
【数１２０】
0006585094.tif 000123
の個々の時間領域係数シーケンス
【数１２１】
0006585094.tif 000124
は、一つまたは複数の合成フィルタバンク５６によって対応するサブバンド係数シーケンス
【数１２２】
0006585094.tif 000125
から合成される。該一つまたは複数の合成フィルタバンク５６は、圧縮解除されたHOA表現
【数１２３】
0006585094.tif 000126
を最終的に出力する。
【０１００】
合成された時間領域係数シーケンスは通例、分解および合成フィルタバンク５３、５６の相続く適用のため、遅延をもつことを注意しておく。
【０１０１】
図８は、単一の周波数サブバンドf1について、一組のアクティブな方向の候補、それらの選ばれた軌跡および対応するタプル集合を例示的に示している。フレームkでは、四つの方向が周波数サブバンドf1においてアクティブである。これらの方向はそれぞれの軌跡T1、T2、T3およびT5に属する。前のフレームk−2およびk−1では、異なる方向、すなわちそれぞれT1、T2、T6およびT1〜T4がアクティブであった。フレームkにおけるアクティブな方向の集合MDIR(k)は、フルバンドに関係し、いくつかのアクティブな方向の候補を含む。たとえば、MDIR(k)＝｛Ω3,Ω8,Ω52,Ω101,Ω229,Ω446,Ω581｝である。各方向は任意の仕方で、たとえば二つの角度によってまたはあらかじめ定義されたテーブルのインデックスとして、表現できる。アクティブなフルバンドの方向の集合から、サブバンドおよびその対応する軌跡において実際にアクティブである方向が、各周波数サブバンドについて別個に、タプル集合MDIR(k,fj)、j＝1,…,Fに集められる。たとえば、フレームkの第一の周波数サブバンドでは、アクティブな方向はΩ3,Ω52,Ω229,Ω581であり、その関連する軌跡はそれぞれT3、T1、T2およびT5である。第二の周波数サブバンドf2では、アクティブな方向は例示的にΩ52およびΩ229のみであり、その関連する軌跡はそれぞれT1およびT2である。
【０１０２】
下記は、例示的な集合IC,ACT(k)＝{1,2,4,6}における係数シーケンスに対応する例示的な打ち切りされたHOA表現CT(k)の係数行列の一部である。
【０１０３】
【数１２４】
0006585094.tif 000127
IC,ACT(k)によれば、行1、2、4、6の係数のみが0に設定されない（とはいえ、信号によっては0になることもある）。行列CT(k)の各列は、サンプルを指し、該行列の各行は係数シーケンスである。圧縮は、すべての係数シーケンスではなく、いくつかの選択された係数シーケンス、すなわちインデックスがそれぞれIC,ACT(k)および割り当てベクトルvA(k)に含まれている係数シーケンスのみがエンコードされ伝送されることを含む。デコーダでは、それらの係数は圧縮解除されて、再構成された打ち切りされたHOA表現の正しい行列行に配置される。それらの行についての情報は、割り当てベクトルvAMB,ASSIGN(k)から得られる。vAMB,ASSIGN(k)は、それぞれの伝送される係数シーケンスについて使われるトランスポート・チャネルをさらに与える。残りの係数シーケンスは0で満たされ、のちに、受領された（通例は0でない）係数から、受領されたサイド情報、たとえば予測行列に従って予測される。
【０１０４】
サブバンド・グループ化
ある実施形態では、使用される諸サブバンドは、人間の聴覚の音響心理学的属性に適合された異なる帯域幅をもつ。あるいはまた、分解フィルタバンク５３からのいくつかのサブバンドが組み合わされて、異なる帯域幅をもつサブバンドをもつ適応されたフィルタバンクをなす。分解フィルタバンク５３からの隣接するサブバンドのグループが同じパラメータを使って処理される。組み合わされたサブバンドのグループが使われる場合、エンコーダ側で適用される対応するサブバンド構成がデコーダ側に知られていなければならない。ある実施形態では、構成情報が伝送され、デコーダによって合成フィルタバンクをセットアップするために使われる。ある実施形態では、構成情報は、（たとえばリスト内の）複数のあらかじめ定義された既知の構成のうちの一つについての識別子を含む。
【０１０５】
もう一つの実施形態では、サブバンド構成を定義するための必要とされるビット数を減らす次の柔軟な解決策が使われる。サブバンド構成の効率的なエンコードのために、最初、最後から二番目および最後のサブバンド・グループのデータが、他のサブバンド・グループとは異なる仕方で扱われる。さらに、サブバンド・グループ帯域幅差分値がエンコードにおいて使われる。原理的には、サブバンド・グループ化情報符号化方法は、オーディオ信号の一つまたは複数のフレームについて有効なサブバンド・グループについてサブバンド構成データを符号化するために好適である。ここで、各サブバンド・グループは一つまたは複数の隣接するもとのサブバンドの組み合わせであり、もとのサブバンドの数はあらかじめ定義されている。ある実施形態では、次のサブバンド・グループの帯域幅は、現在サブバンド・グループの帯域幅以上である。この方法は、NSB個のサブバンド・グループを、NSB−1を表わす固定数のビットを用いて符号化することを含み、NSB＞1であれば、最初のサブバンド・グループg1について、帯域幅値BSB[1]を、BSB[1]−1を表わす単進符号を用いて符号化することを含む。NSB＝3であれば、固定数のビットをもつ帯域幅差分値ΔBSB[2]＝BSB[2]−BSB[1]が、第二のサブバンド・グループg2について符号化される。NSB＞3であれば、対応する数の帯域幅差分値ΔBSB[g]＝BSB[g]−BSB[g−1]が、サブバンド・グループg2,…,gNSB-2について単進符号を用いて符号化され、帯域幅差分値ΔBSB[NSB−1]＝BSB[NSB−1]−BSB[NSB−2]が最後のサブバンド・グループgNSB-1について固定数のビットを用いて符号化される。サブバンド・グループについての帯域幅値は、隣接するもとのサブバンドの数として表現される。最後のサブバンド・グループgSBについては、符号化されるサブバンド構成データに対応する値が含められる必要はない。
【０１０６】
以下では、高次アンビソニックスのいくつかの基本的な特徴が説明される。
【０１０７】
高次アンビソニックス（HOA）は、音源がないと想定されるコンパクトな関心領域内の音場の記述に基づく。その場合、関心領域内の位置xおよび時刻tにおける音圧の空間時間的挙動p(t,x)は、斉次の波の式（homogeneous  wave  equation）によって物理的に完全に決定される。以下では、図６に示される球面座標系を想定する。この座標系では、x軸は前方位置を向き、y軸は左を向き、z軸は上を向く。空間内の位置x＝(r,θ,φ)Tは動径r＞0（すなわち、座標原点までの距離）、極軸z(!)から測った傾斜角θ∈[0,π]およびxy平面においてx軸から反時計回りに測った方位角φ∈[0,2π[によって表現される。さらに、(・)Tは転置を表わす。
【０１０８】
すると、ωが角周波数を表わし、iは虚数単位を示すものとして、Ft(・)によって表わされる時間に関する音圧のフーリエ変換、すなわち
【数１２５】
0006585094.tif 000128
は、
【数１２６】
0006585094.tif 000129
に従って球面調和関数級数に展開されうることが示せる（非特許文献１１）。式(42)において、csは音速を表わし、kは角波数を表わす。角波数は角周波数ωに、k＝ω/csによって関係付けられる。さらに、jn(・)は第一種の球面ベッセル関数を表わし、Snm(θ,φ)は次数n、陪数mの実数値の球面調和関数を表わす。展開係数Anm(k)は角波数kのみに依存する。音圧が空間的に帯域制限されていることが暗黙的に想定されていることを注意しておく。よって、級数は次数インデックスnに関して上限Nで打ち切られる。このNはHOA符号化表現の次数と呼ばれる。
【０１０９】
音場が異なる角周波数ωの無限個の調和平面波の重ね合わせによって表現され、角タプル（θ,φ）によって指定されるすべての可能な方向から到来するとすると、それぞれの平面波複素振幅関数C(ω,θ,φ)は次の球面調和関数展開によって表わせることを示せる（非特許文献１０）。
【０１１０】
【数１２７】
0006585094.tif 000130
ここで、展開係数Cnm(k)は展開係数Anm(k)に、
Anm(k)＝inCnm(k)        (44)
によって関係付けられる。個々の係数Cnm(k＝ω/cs)が角周波数ωの関数であるとすると、逆フーリエ変換（F-1(・)によって表わされる）の適用は、各次数nおよび陪数mについて、時間領域関数
【数１２８】
0006585094.tif 000131
を与える。これらの時間領域関数はここでは連続時間HOA係数シーケンスと称され、これは
【数１２９】
0006585094.tif 000132
によって単一のベクトルc(t)にまとめることができる。
ベクトルc(t)内のHOA係数シーケンスcnm(t)の位置インデックスは
n(n＋1)＋1＋m
によって与えられる。
【０１１１】
ベクトルc(t)内の全体的な要素数はO＝(N＋1)2によって与えられる。最終的なアンビソニックス・フォーマットは、サンプリング周波数fsを使って、c(t)のサンプリングされたバージョンを、
【数１３０】
0006585094.tif 000133
として与える。ここで、Ts＝1/fsはサンプリング周期を表わす。c(lTs)の要素はここでは離散時間HOA係数シーケンスと称される。これは常に実数値であることが示せる。この属性は、連続時間バージョンcnm(t)についても成り立つ。
【０１１２】
実数値の球面調和関数の定義
実数値の球面調和関数Snm(θ,φ)（SN3D規格化（非特許文献１、3.1章）を想定）は次式によって与えられる。
【０１１３】
【数１３１】
0006585094.tif 000134
ルジャンドル陪関数Pn,m(x)は次式によって定義される。
【０１１４】
【数１３２】
0006585094.tif 000135
ここで、ルジャンドル多項式Pn(x)を用いているが、非特許文献１１とは異なり、コンドン・ショートリー（Condon-Shortley）位相項(−1)mは使っていない。
【０１１５】
ある実施形態では、（複素数値のフィルタバンクから得られた）HOA信号表現のサブバンドまたはサブバンド・グループ内の優勢な方向性信号の方向をフレームごとに決定し、効率的にエンコードする方法は、各現在フレームkについて：HOA信号におけるフルバンド方向候補の集合MDIR(k)、集合MDIR(k)における要素数NoOfGlobalDirs(k)および該要素数をエンコードするために必要とされる数D(k)＝log2(NoOfGlobalDirs(k))を決定する段階であって、各フルバンド方向候補は、Q個の可能な方向のあらかじめ定義されたフル集合に関係するグローバル・インデックスq（q∈[1,…,Q]）をもつ、段階と；現在フレームkの各サブバンドまたはサブバンド・グループjについて、集合MDIR(k)内のフルバンド方向候補のうちどの方向がアクティブなサブバンド方向として現われるかを判別する段階と；前記サブバンドまたはサブバンド・グループのいずれかにおいてアクティブなサブバンド方向として現われる、使用されるフルバンド方向候補の集合MFB(k)（みなHOA信号中のフルバンド方向候補の集合MDIR(k)に含まれる）および使用されるフルバンド方向候補の集合MFB(k)内の要素数NoOfGlobalDirs(k)を決定する段階と；現在フレームkの各サブバンドまたはサブバンド・グループjについて：集合MDIR(k)内のフルバンド方向候補のうちのd個（d∈[1,…,D]）までの方向のどの方向がアクティブなサブバンド方向であるかを判別する段階と；アクティブなサブバンド方向のそれぞれについて軌跡および軌跡インデックスを決定する段階と；前記軌跡インデックスをそれぞれのアクティブなサブバンド方向に割り当てる段階と；現在のサブバンドまたはサブバンド・グループj内のアクティブなサブバンド方向のそれぞれをD(k)ビットをもつ相対インデックスによってエンコードする段階とを含む。
【０１１６】
ある実施形態では、コンピュータ可読媒体が、コンピュータ上で実行されたときに該コンピュータに、優勢な方向性信号の方向をフレームごとに決定し、効率的にエンコードするための上記で開示された方法を実行させる実行可能命令を記憶している。
【０１１７】
さらに、ある実施形態では、HOA信号表現のサブバンド内の優勢な方向性信号の方向をデコードする方法が、デコードされるべきHOA信号表現について最大数の方向Dのインデックスを受領する段階と；サブバンド毎のアクティブな方向性信号のインデックスを受領する段階と；デコードされるべきHOA信号表現の最大数の方向Dの方向を再構成する段階と；デコードされるべきHOA信号表現の再構成された方向Dおよびサブバンド毎のアクティブな方向信号のインデックスからサブバンド毎のアクティブな方向を再構成する段階と；諸サブバンドの方向性信号を予測する段階とを含み、サブバンドの現在フレームにおける方向性信号の前記予測は、そのサブバンドの先行フレームの方向性信号を決定することを含み、前記方向性信号のインデックスが前記先行フレームにおいて0であり現在フレームにおいて0でない場合には新たな方向性信号が生成され、前記方向性信号のインデックスが前記先行フレームにおいて0でなく現在フレームにおいて0である場合には前の方向性信号がキャンセルされ、方向性信号のインデックスが第一の方向から第二の方向に変わる場合には、該方向性信号の方向が該第一の方向から該第二の方向に動かされる。
【０１１８】
ある実施形態では、図１および図３に示され、上記で論じたように、所与の数の係数シーケンスをもつ入力HOA信号のフレームをエンコードするための装置であって、各係数シーケンスはインデックスをもつ、装置が、少なくとも一つのハードウェア・プロセッサと、少なくとも一つのソフトウェア・コンポーネントを有体に具現する非一時的な有体なコンピュータ可読記憶媒体とを有する。前記ソフトウェア・コンポーネントは、前記少なくとも一つのハードウェア・プロセッサ上で実行されるときに、
低減された数の0でない係数シーケンスをもつ打ち切りされたHOA表現CT(k)を計算する段階１１と、打ち切りされたHOA表現に含まれているアクティブな係数シーケンスのインデックスの集合IC,ACT(k)を決定する段階１１と、前記入力HOA信号から、候補方向の第一の集合MDIR(k)を推定する段階１６と；前記入力HOA信号を複数の周波数サブバンドf1,…,fFに分割する段階１５であって、それらの周波数サブバンドの係数シーケンス
【数１３３】
0006585094.tif 000136
が得られる、段階と、それらの周波数サブバンドのそれぞれについて、方向の第二の集合MDIR(k,f1)、…、MDIR(k,fF)を推定する段階１６であって、方向の前記第二の集合の各要素は第一および第二のインデックスをもつインデックスのタプルであり、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、各アクティブな方向は前記入力HOA信号の候補方向の前記第一の集合MDIR(k)にも含まれる、段階と、前記周波数サブバンドのそれぞれについて、それぞれの周波数サブバンドの方向の前記第二の集合MDIR(k,f1)、…、MDIR(k,fF)に応じてその周波数サブバンドの係数シーケンス
【数１３４】
0006585094.tif 000137
から方向性サブバンド信号
【数１３５】
0006585094.tif 000138
を計算する段階１７と、前記周波数サブバンドのそれぞれについて、それぞれの周波数サブバンドのアクティブな係数チャネルのインデックスの前記集合IC,ACT(k)を使ってその周波数サブバンドの係数シーケンス
【数１３６】
0006585094.tif 000139
から方向性サブバンド信号
【数１３７】
0006585094.tif 000140
を予測するよう適応された予測行列A(k,f1),…,A(k,fF)を計算する段階１８と、候補方向の前記第一の集合MDIR(k)、方向の前記第二の集合MDIR(k,f1)、…、MDIR(k,fF)、前記予測行列A(k,f1),…,A(k,fF)および前記打ち切りされたHOA表現CT(k)をエンコードする段階とを引き起こす。
【０１１９】
ある実施形態では、図４および図５に示され、上記で論じたように、圧縮されたHOA表現をデコードするための装置が、少なくとも一つのハードウェア・プロセッサと、少なくとも一つのソフトウェア・コンポーネントを有体に具現する非一時的な有体なコンピュータ可読記憶媒体とを有する。前記ソフトウェア・コンポーネントは、前記少なくとも一つのハードウェア・プロセッサ上で実行されるときに、
前記圧縮されたHOA表現から、複数の打ち切りされたHOA係数シーケンス
【数１３８】
0006585094.tif 000141
前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルvAMB,ASSIGN(k)、サブバンドに関係した方向情報MDIR(k＋1,f1),…,MDIR(k＋1,fF)、複数の予測行列A(k＋1,f1),…,A(k＋1,fF)および利得制御サイド情報e1(k),β1(k),…,eI(k),βI(k)を抽出する段階s41、s42、s43と；
前記複数の打ち切りされたHOA係数シーケンス
【数１３９】
0006585094.tif 000142
前記利得制御サイド情報e1(k),β1(k),…,eI(k),βI(k)および前記割り当てベクトルvAMB,ASSIGN(k)から打ち切りされたHOA表現
【数１４０】
0006585094.tif 000143
を再構成する段階s51、s52と；
分解フィルタバンク５３において、前記再構成された打ち切りされたHOA表現
【数１４１】
0006585094.tif 000144
を複数F個の周波数サブバンドについての周波数サブバンド表現
【数１４２】
0006585094.tif 000145
に分解する段階と；
各周波数サブバンド表現について方向性サブバンド合成ブロック５４において、前記再構成された打ち切りされたHOA表現の前記それぞれの周波数サブバンド表現
【数１４３】
0006585094.tif 000146
と、前記サブバンドに関係した方向情報MDIR(k＋1,f1),…,MDIR(k＋1,fF)と、前記予測行列A(k＋1,f1),…,A(k＋1,fF)とから、予測された方向性HOA表現
【数１４４】
0006585094.tif 000147
を合成する段階s54と；
前記F個の周波数サブバンドのそれぞれについてサブバンド組成ブロック５５において、係数シーケンス
【数１４５】
0006585094.tif 000148
をもつデコードされたサブバンドHOA表現
【数１４６】
0006585094.tif 000149
を組成する段階s55であって、該係数シーケンスは、該係数シーケンスが前記割り当てベクトルvAMB,ASSIGN(k)に含まれるインデックスnをもつ場合には前記打ち切りされたHOA表現
【数１４７】
0006585094.tif 000150
の係数シーケンスから得られ、それ以外の場合には前記方向性サブバンド合成ブロック５４の一つによって与えられる前記予測された方向性HOA成分
【数１４８】
0006585094.tif 000151
の係数シーケンスから得られる、段階と；
合成フィルタバンク５６において、前記デコードされたサブバンドHOA表現
【数１４９】
0006585094.tif 000152
を合成して、デコードされたHOA表現
【数１５０】
0006585094.tif 000153
を得る段階s56とを引き起こす。
【０１２０】
図９は、ある実施形態における、デコード方法のフローチャートを示している。圧縮されたHOA表現から方向情報をデコードする方法９０は、前記圧縮されたHOA表現の各フレームについて、
前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合MFB(k)と、それぞれの周波数サブバンドおよびDSB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,fj)と、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスRelDirIndices(k,fj)および方向性サブバンド信号情報とを抽出する段階s91-93と；
それぞれの周波数サブバンド方向について、前記相対方向インデックスRelDirIndices(k,fj)を絶対方向インデックスに変換する段階s60であって、各相対方向インデックスは、前記ビットbSubBandDirIsActive(k,fj)が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合MFB(k)内のインデックスとして使われる、段階と；前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階s70であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階とを含む。
【０１２１】
ある実施形態では、現在フレームにおける方向性サブバンド信号を予測する段階s70は、前のフレームの当該サブバンドの方向性サブバンド信号を判別することを含み、前記方向性サブバンド信号のインデックスが前記前のフレームにおいて0であり、現在フレームにおいて0でない場合には新たな方向性サブバンド信号が生成され、前記方向性信号のインデックスが前記前のフレームにおいて0でなく、現在フレームにおいて0である場合には前の方向性サブバンド信号がキャンセルされ、f方向性サブバンド信号のインデックスが第一の方向から第二の方向に変わる場合には該方向性サブバンド信号の方向が該第一の方向から該第二の方向に動かされる。
【０１２２】
ある実施形態では、少なくとも一つのサブバンドは二つ以上の周波数サブバンドのサブバンド・グループである。
【０１２３】
ある実施形態では、前記方向性サブバンド信号情報は少なくとも、複数の打ち切りされたHOA係数シーケンス
【数１５１】
0006585094.tif 000154
前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルvAMB,ASSIGN(k)および複数の予測行列A(k＋1,f1),…,A(k＋1,fF)を含む。ある実施形態では、本方法はさらに、前記複数の打ち切りされたHOA係数シーケンス
【数１５２】
0006585094.tif 000155
および前記割り当てベクトルvAMB,ASSIGN(k)から打ち切りされたHOA表現
【数１５３】
0006585094.tif 000156
を再構成する段階s51、s52と；
分解フィルタバンク５３において、前記再構成された打ち切りされたHOA表現
【数１５４】
0006585094.tif 000157
を複数F個の周波数サブバンドについての周波数サブバンド表現
【数１５５】
0006585094.tif 000158
に分解する段階s53とを含み、
方向性サブバンド信号を予測する前記段階は、前記周波数サブバンド表現
【数１５６】
0006585094.tif 000159
および前記複数の予測行列A(k＋1,f1),…,A(k＋1,fF)を使う。
【０１２４】
ある実施形態では、前記抽出する段階は、前記圧縮されたHOA表現を多重分離s91して、知覚的に符号化された部分とエンコードされたサイド情報部分とを取得することを含む。知覚的に符号化された部分は前記打ち切りされたHOA係数シーケンス
【数１５７】
0006585094.tif 000160
を含み、前記エンコードされたサイド情報部分は、アクティブな候補方向の前記集合MDIR(k)と、アクティブなサブバンド方向の前記相対方向インデックスRelDirIndices(k,fj)と、前記割り当てベクトルvAMB,ASSIGN(k)と、前記予測行列A(k＋1,f1),…,A(k＋1,fF)と、各周波数サブバンドおよび各アクティブな候補方向について前記アクティブな候補方向がアクティブなサブバンド方向であることを示すbSubBandDirIsActive(k,fj)内の前記ビットとを含む。
【０１２５】
ある実施形態では、本方法はさらに、知覚的デコーダ４２において、前記抽出された打ち切りされたHOA係数シーケンス
【数１５８】
0006585094.tif 000161
を知覚的デコードs92して前記打ち切りされたHOA係数シーケンス
【数１５９】
0006585094.tif 000162
を得ることを含む。ある実施形態では、本方法はさらに、サイド情報源デコーダ４３において、前記エンコードされたサイド情報部分をデコードs93して、前記サブバンド関係方向情報MDIR(k＋1,f1),…,MDIR(k＋1,fF)、予測行列A(k＋1,f1),…,A(k＋1,fF)、利得制御サイド情報e1(k),β1(k),…,eI(k),βI(k)および割り当てベクトルvAMB,ASSIGN(k)を得ることを含む。
【０１２６】
ある実施形態では、前記抽出する段階は、利得制御サイド情報e1(k),β1(k),…,eI(k),βI(k)を抽出することを含み、該利得制御サイド情報は前記打ち切りされたHOA表現の再構成s51,s52にいて使われる。
【０１２７】
ある実施形態では、本方法はさらに、各周波数サブバンド表現について方向性サブバンド合成ブロック５４において、前記再構成された打ち切りされたHOA表現の前記それぞれの周波数サブバンド表現
【数１６０】
0006585094.tif 000163
と、前記サブバンドに関係した方向情報MDIR(k＋1,f1),…,MDIR(k＋1,fF)と、前記予測行列A(k＋1,f1),…,A(k＋1,fF)から、予測された方向性HOA表現
【数１６１】
0006585094.tif 000164
を合成する段階s54と；
前記F個の周波数サブバンドのそれぞれについてサブバンド組成ブロック５５において、係数シーケンス
【数１６２】
0006585094.tif 000165
をもつデコードされたサブバンドHOA表現
【数１６３】
0006585094.tif 000166
を組成する段階s55であって、該係数シーケンスは、該係数シーケンスが前記割り当てベクトルvAMB,ASSIGN(k)に含まれるインデックスnをもつ場合には前記打ち切りされたHOA表現
【数１６４】
0006585094.tif 000167
の係数シーケンスから得られ、それ以外の場合には前記方向性サブバンド合成ブロック５４の一つによって与えられる前記予測された方向性HOA成分
【数１６５】
0006585094.tif 000168
の係数シーケンスから得られる、段階と；
合成フィルタバンク５６において、前記デコードされたサブバンドHOA表現
【数１６６】
0006585094.tif 000169
を合成s56して、デコードされたHOA表現を得る段階とを含む。ある実施形態では、前記方向性サブバンド信号情報は、アクティブな方向の集合MDIR(k)と、第一および第二のインデックスをもつインデックスのタプルを含むタプル集合MDIR(k,f1)、…、MDIR(k,fF)とを含み、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向の前記集合MDIR(k)内のアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、軌跡は、特定の音源の方向の時間的なシーケンスである。
【０１２８】
ある実施形態では、方向情報をデコードする装置がプロセッサと、実行されたときに前記装置に請求項１の段階を実行させる命令を記憶しているメモリとを有する。
【０１２９】
図１０は、ある実施形態におけるエンコード方法のフローチャートを示している。入力HOA信号のフレームについての方向情報をエンコードする方法１００は、前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合MDIR(k)を決定する段階s101であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、段階と；前記入力HOA信号を複数の周波数サブバンドf1,…,fFに分割する段階s102と；アクティブな候補方向の前記第一の集合MDIR(k)のうちで、前記周波数サブバンドのそれぞれについて、DSB＜Qであるとして、DSB個までのアクティブなサブバンド方向の第二の集合を決定する段階s103と；周波数サブバンド毎に各方向に相対方向インデックスを割り当てる段階s104であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、段階と；現在フレームについての方向情報を集める段階s105と；集められた方向情報を伝送する段階s106とを含む。
【０１３０】
前記方向情報は、前記アクティブな候補方向MDIR(k)と、各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,fj)と、各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックスRelDirIndices(k,fj)とを含む。
【０１３１】
ある実施形態では、当該方法はさらに、前記入力HOA信号から、打ち切りされたHOA表現CT(k)および方向性サブバンド信号
【数１６７】
0006585094.tif 000170
を組成する段階s107を含む。前記打ち切りされたHOA表現は、一つまたは複数の係数シーケンスが0に設定されているHOA信号である。前記方向情報は、前記方向性サブバンド信号が関連する方向を与える。前記伝送する段階はさらに、前記打ち切りされたHOA表現CT(k)と、前記方向性サブバンド信号
【数１６８】
0006585094.tif 000171
を定義する情報とを伝送することを含む。
【０１３２】
ある実施形態では、前記方向性サブバンド信号
【数１６９】
0006585094.tif 000172
を定義する情報は予測行列A(k,f1),…,A(k,fF)を含む。ある実施形態では、当該方法はさらに、アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドの少なくとも一つにおいて使われる使用される候補方向の集合MFB(k)と、使用される候補方向の前記集合の要素数NoOfGlobalDirs(k)とを決定する段階s105aであって、方向情報を集める前記段階s105における前記アクティブな候補方向が前記使用される候補方向である、段階と；前記使用される候補方向を、そのグローバル方向インデックスによってエンコードしs105b、前記要素数をlog2(D)ビットによってエンコードする段階であって、Dは（フルバンド）候補方向のあらかじめ定義された最大数である、段階とを含む。図１０のｂ）は、これらの実施形態を示している。
【０１３３】
ある実施形態では、当該方法はさらに、アクティブなサブバンド方向の軌跡を決定する段階s104aを含む。ここで、アクティブなサブバンド方向は、ある周波数サブバンドについてのある音源の方向であり、軌跡は、特定の音源の方向の時間的シーケンスである。現在フレームの現在の周波数サブバンドのアクティブなサブバンド方向は、先行するフレームの同じ周波数サブバンドのアクティブなサブバンド方向と比較され、同一のまたは近隣のアクティブなサブバンド方向が同じ軌跡に属すると判定される。
【０１３４】
ある実施形態では、サブバンド毎に各方向に割り当てs104された方向インデックスは軌跡インデックスであり、当該方法はさらに、それぞれの決定された軌跡に軌跡インデックスを割り当てる段階s104bと；各周波数サブバンドについてインデックスのタプルを含むタプル集合MDIR(k,f1)、…、MDIR(k,fF)を生成する段階s104cとを含む。ここで、インデックスの各タプルは、現在の周波数サブバンドについてのアクティブなサブバンド方向のインデックスと、該アクティブなサブバンド方向について決定された軌跡の前記軌跡インデックスとを含む。図１０のｃ）は、これらの実施形態の組み合わせを示している。ある実施形態では、二つ以上の周波数サブバンドの少なくとも一つのグループが生成され、前記少なくとも一つのグループが単一の周波数サブバンドの代わりに使われ、単一の周波数サブバンドと同じように扱われる。
【０１３５】
ある実施形態では、エンコードのための装置が、プロセッサと、実行されたときに当該装置に請求項７の段階を行なわせる命令を記憶しているメモリとを有する。
【０１３６】
図１１は、ある実施形態において、入力HOA信号のフレームについての方向情報をエンコードするための装置を示している。当該装置は、前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合MDIR(k)を決定s101するよう構成されているアクティブ候補決定モジュール１０１であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、アクティブ候補決定モジュールと；前記入力HOA信号を複数の周波数サブバンドf1,…,fFに分割s102するよう構成された分解フィルタバンク・モジュール１０２（分解フィルタバンク１５をもつ）と；アクティブな候補方向の前記第一の集合MDIR(k)のうちで、前記周波数サブバンドのそれぞれについて、DSB＜Qであるとして、DSB個までのアクティブなサブバンド方向の第二の集合を決定s103するよう構成されたサブバンド方向決定モジュール１０３と；周波数サブバンド毎に各方向に相対方向インデックスを割り当てるs104よう構成された相対方向インデックス割り当てモジュール１０４であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、相対方向インデックス割り当てモジュールと；現在フレームについての方向情報を集めるs105よう構成された方向情報まとめモジュール１０５と；集められた方向情報をパックする（そして記憶または伝送する）s106よう構成されたパッキング・モジュール１０６とを有する。  前記方向情報は、前記アクティブな候補方向MDIR(k)と、各周波数サブバンドおよび各アクティブな候補方向について、前記それぞれの周波数サブバンドについてそのアクティブな候補方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,fj)と、各周波数サブバンドについて、サブバンド方向の前記第二の集合内のアクティブなサブバンド方向の相対方向インデックスRelDirIndices(k,fj)とを含む。モジュール１０１〜１０６は、たとえば、それぞれのソフトウェアによって構成されうる一つまたは複数のハードウェア・プロセッサを使って実装できる。
【０１３７】
ある実施形態では、当該装置はさらに、アクティブな候補方向の前記第一の集合のうちで、前記周波数サブバンドの少なくとも一つにおいて使われる、使用される候補方向の集合MFB(k)を決定し、使用される候補方向の前記集合の要素数を決定するよう構成された使用候補方向決定モジュール１０５ａであって、前記方向情報まとめモジュール１０５が集める前記方向情報に含まれる前記アクティブな候補方向が前記使用される候補方向である、モジュールと、前記使用される候補方向を、そのグローバル方向インデックスによってエンコードし、前記要素数をlog2(D)ビットによってエンコードするよう構成されたエンコーダ１０５ｂであって、Dはフルバンド候補方向の（すなわちフルバンドについての）あらかじめ定義された最大数である、モジュールとを有する。
【０１３８】
ある実施形態では、当該装置はさらに、アクティブなサブバンド方向の軌跡を決定するよう構成された軌跡決定モジュール１０４ａを有する。ここで、アクティブなサブバンド方向は、ある周波数サブバンドについてのある音源の方向であり、軌跡は、特定の音源の方向の時間的シーケンスである。一つまたは複数の方向比較器が、現在フレームの現在の周波数サブバンドのアクティブなサブバンド方向は、先行するフレームの同じ周波数サブバンドのアクティブなサブバンド方向と比較し、同一のまたは近隣のアクティブなサブバンド方向が同じ軌跡に属すると判定される。
【０１３９】
ある実施形態では、前記相対方向インデックス割り当てモジュール１０４がサブバンド毎に各方向に割り当てる方向インデックスは軌跡インデックスであり、前記相対方向インデックス割り当てモジュール１０４はさらに、それぞれの決定された軌跡に軌跡インデックスを割り当てるよう構成された軌跡インデックス割り当てモジュール１０４ｂと；各周波数サブバンドについてインデックスのタプルを含むタプル集合MDIR(k,f1)、…、MDIR(k,fF)を生成するよう構成されたタプル集合生成器１０４ｃとを有する。ここで、インデックスの各タプルは、現在の周波数サブバンドについてのアクティブなサブバンド方向のインデックスと、該アクティブなサブバンド方向について決定された軌跡の前記軌跡インデックスとを含む。
【０１４０】
ある実施形態では、当該装置はさらに、二つ以上の周波数サブバンドの少なくとも一つのグループを生成するよう構成された少なくとも一つのグループ化モジュールを有し、前記少なくとも一つのグループが単一の周波数サブバンドの代わりに使われ、単一の周波数サブバンドと同じように処理される。
【０１４１】
図１２は、ある実施形態において、圧縮されたHOA表現から方向情報をデコードしてHOA信号のフレームについての方向情報を得る装置を示している。当該装置は、前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合MFB(k)と、それぞれの周波数サブバンドおよび最大DSB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,fj)と、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスRelDirIndices(k,fj)および方向性サブバンド信号情報とを抽出するよう構成された抽出モジュール４０と；それぞれの周波数サブバンド方向について、前記相対方向インデックスRelDirIndices(k,fj)を絶対方向インデックスに変換するよう構成された変換モジュール６０であって、各相対方向インデックスは、前記ビットbSubBandDirIsActive(k,fj)が前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合MFB(k)内のインデックスとして使われる、モジュールと；前記方向性サブバンド信号情報から方向性サブバンド信号を予測するよう構成された予測モジュール７０であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、モジュールとを有する。モジュール４０、６０、７０はたとえば、それぞれのソフトウェアによって構成されうる一つまたは複数のハードウェア・プロセッサを使って実装できる。
【０１４２】
ある実施形態では、所与の数の係数シーケンスをもつ入力HOA信号のフレームをエンコードする（そしてそれにより圧縮する）ための方法であって、各係数シーケンスはインデックスをもつ、方法が、打ち切りされたHOA表現に含まれるべきアクティブな係数シーケンスのインデックスの集合IC,ACT(k)を決定する段階と；低減された数の0でない係数シーケンス（すなわち、入力HOA信号より少数の0でない係数シーケンス、よってより多い0である係数シーケンス）をもつ打ち切りされたHOA表現CT(k)を計算する段階と；前記入力HOA信号から、候補方向の第一の集合MDIR(k)を推定する段階と；前記入力HOA信号を複数の周波数サブバンドに分割する段階であって、それらの周波数サブバンドの係数
【数１７０】
0006585094.tif 000173
が得られる、段階と；それらの周波数サブバンドのそれぞれについて、方向の第二の集合MDIR(k,f1)、…、MDIR(k,fF)を推定する段階であって、方向の前記第二の集合の各要素は第一および第二のインデックスをもつインデックスのタプルであり、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、各アクティブな方向は前記入力HOA信号の候補方向の前記第一の集合MDIR(k)にも含まれる（すなわち、方向の前記第二の集合におけるアクティブなサブバンド方向は、方向のフルバンドの前記第一の集合の部分集合である）、段階と、前記周波数サブバンドのそれぞれについて、それぞれの周波数サブバンドの方向の前記第二の集合MDIR(k,f1)、…、MDIR(k,fF)に応じてその周波数サブバンドの係数
【数１７１】
0006585094.tif 000174
から方向性サブバンド信号
【数１７２】
0006585094.tif 000175
を計算する段階と；前記周波数サブバンドのそれぞれについて、それぞれの周波数サブバンドのアクティブな係数シーケンスのインデックスの前記集合IC,ACT(k)を使ってその周波数サブバンドの係数
【数１７３】
0006585094.tif 000176
から方向性サブバンド信号
【数１７４】
0006585094.tif 000177
を予測するよう適応された予測行列A(k,f1),…,A(k,fF)を計算する段階と；候補方向の前記第一の集合MDIR(k)、方向の前記第二の集合MDIR(k,f1)、…、MDIR(k,fF)、前記予測行列A(k,f1),…,A(k,fF)および前記打ち切りされたHOA表現CT(k)をエンコードする段階とを含む。
【０１４３】
方向の前記第二の集合は周波数サブバンドに関係する。候補方向の前記第一の集合はフル周波数帯域に関係する。有利なことに、サブバンド方向の前記第二の集合はフルバンド方向の前記第一の集合の部分集合なので、前記周波数サブバンドのそれぞれについて方向の第二の集合を推定する段階において、周波数サブバンドの方向MDIR(k,f1)、…、MDIR(k,fF)は、フルバンドHOA信号の方向MDIR(k)のうちでのみ探索すればよい。ある実施形態では、各タプル内での前記第一および第二のインデックスの逐次順は入れ替えられてもよい。すなわち、前記第一のインデックスが現在の周波数サブバンドについてのアクティブな方向のインデックスとなり、前記第二のインデックスが前記アクティブな方向についての軌跡インデックスとなる。
【０１４４】
完備なHOA信号は、複数の係数シーケンスまたは係数チャネルを含む。これらの係数シーケンスのうちの一つまたは複数が0に設定されているHOA信号は、本稿では打ち切りされたHOA表現と呼ばれる。打ち切りされたHOA表現を計算または生成することは、一般には、アクティブであり、よって0に設定されない係数シーケンスを選択し、アクティブでない係数シーケンスを0に設定することを含む。この選択は、さまざまな基準に従って、たとえば、0に設定されない係数シーケンスとして、最大エネルギーを含む係数シーケンスまたは知覚的に最も有意である係数シーケンスを選択することによって、あるいは任意に係数シーケンスを選択することなどによって、できる。HOA信号を周波数サブバンドに分割することは、たとえば直交ミラー・フィルタ（QMF）を含む分解フィルタバンクによって実行されることができる。
【０１４５】
ある実施形態では、打ち切りされたHOA表現CT(k)のエンコードは、打ち切りされたHOAチャネル・シーケンスの部分的な脱相関と、（相関したまたは脱相関された）打ち切りされたHOAチャネル・シーケンスy1(k),…,yI(k)をトランスポート・チャネルに割り当てるためのチャネル割り当てと、前記トランスポート・チャネルのそれぞれに対して利得制御を実行する段階であって、各トランスポート・チャネルについての利得制御サイド情報ei(k−1)、βi(k−1)が生成される、段階と、知覚的エンコーダにおいて利得制御された打ち切りされたHOAチャネル・シーケンスz1(k),…,zI(k)をエンコードする段階と、前記利得制御サイド情報ei(k−1)、βi(k−1)、候補方向の前記第一の集合MDIR(k)、方向の前記第二の集合MDIR(k,f1)、…、MDIR(k,fF)および前記予測行列A(k,f1),…,A(k,fF)をサイド情報源符号化器においエンコードする段階と、前記知覚的エンコーダおよび前記サイド情報源符号化器の出力を多重化して、エンコードされたHOA信号フレーム
【数１７５】
0006585094.tif 000178
を得る段階とを含む。
【０１４６】
さらに、ある実施形態では、圧縮されたHOA表現をデコードする（そしてそれにより圧縮解除する）ための方法が、前記圧縮されたHOA表現から、複数の打ち切りされたHOA係数シーケンス
【数１７６】
0006585094.tif 000179
前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示す（または含む）割り当てベクトルvAMB,ASSIGN(k)、サブバンドに関係した方向情報MDIR(k＋1,f1),…,MDIR(k＋1,fF)、複数の予測行列A(k＋1,f1),…,A(k＋1,fF)および利得制御サイド情報e1(k),β1(k),…,eI(k),βI(k)を抽出する段階と；前記複数の打ち切りされたHOA係数シーケンス
【数１７７】
0006585094.tif 000180
前記利得制御サイド情報e1(k),β1(k),…,eI(k),βI(k)および前記割り当てベクトルvAMB,ASSIGN(k)から打ち切りされたHOA表現
【数１７８】
0006585094.tif 000181
を再構成する段階と；分解フィルタバンクにおいて、前記再構成された打ち切りされたHOA表現
【数１７９】
0006585094.tif 000182
を複数F個の周波数サブバンドについての周波数サブバンド表現
【数１８０】
0006585094.tif 000183
に分解する段階と；各周波数サブバンド表現について方向性サブバンド合成ブロックにおいて、前記再構成された打ち切りされたHOA表現の前記それぞれの周波数サブバンド表現
【数１８１】
0006585094.tif 000184
と、前記サブバンドに関係した方向情報MDIR(k＋1,f1),…,MDIR(k＋1,fF)と、前記予測行列A(k＋1,f1),…,A(k＋1,fF)から、予測された方向性HOA表現
【数１８２】
0006585094.tif 000185
を合成する段階と；前記F個の周波数サブバンドのそれぞれについてサブバンド組成ブロックにおいて、係数シーケンス
【数１８３】
0006585094.tif 000186
をもつデコードされたサブバンドHOA表現
【数１８４】
0006585094.tif 000187
を組成する段階であって、該係数シーケンスは、該係数シーケンスが前記割り当てベクトルvAMB,ASSIGN(k)に含まれる（すなわちその要素である）インデックスnをもつ場合には前記打ち切りされたHOA表現
【数１８５】
0006585094.tif 000188
の係数シーケンスから得られ、それ以外の場合には前記方向性サブバンド合成ブロックの一つによって与えられる前記予測された方向性HOA成分
【数１８６】
0006585094.tif 000189
の係数シーケンスから得られる、段階と；合成フィルタバンクにおいて、前記デコードされたサブバンドHOA表現
【数１８７】
0006585094.tif 000190
を合成して、デコードされたHOA表現
【数１８８】
0006585094.tif 000191
を得る段階とを含む。ある実施形態では、前記抽出する段階は、前記圧縮されたHOA表現を多重分離して、知覚的に符号化された部分とエンコードされたサイド情報部分とを取得することを含む。ある実施形態では、知覚的に符号化された部分は、知覚的にエンコードされた打ち切りされたHOA係数シーケンス
【数１８９】
0006585094.tif 000192
を含み、前記抽出する段階は、知覚的デコーダにおいて、知覚的にエンコードされた打ち切りされたHOA係数シーケンス
【数１９０】
0006585094.tif 000193
をデコードして前記打ち切りされたHOA係数シーケンス
【数１９１】
0006585094.tif 000194
を得ることを含む。ある実施形態では、前記抽出する段階は、サイド情報源デコーダにおいて、前記エンコードされたサイド情報部分をデコードして、前記サブバンド関係方向MDIR(k＋1,f1),…,MDIR(k＋1,fF)、予測行列A(k＋1,f1),…,A(k＋1,fF)、利得制御サイド情報e1(k),β1(k),…,eI(k),βI(k)および割り当てベクトルvAMB,ASSIGN(k)を得ることを含む。
【０１４７】
ある実施形態では、HOA信号をデコードする装置が、前記圧縮されたHOA表現から、複数の打ち切りされたHOA係数シーケンス
【数１９２】
0006585094.tif 000195
前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルvAMB,ASSIGN(k)、サブバンドに関係した方向情報MDIR(k＋1,f1),…,MDIR(k＋1,fF)、複数の予測行列A(k＋1,f1),…,A(k＋1,fF)および利得制御サイド情報e1(k),β1(k),…,eI(k),βI(k)を抽出するよう構成された抽出モジュールと；前記複数の打ち切りされたHOA係数シーケンス
【数１９３】
0006585094.tif 000196
前記利得制御サイド情報e1(k),β1(k),…,eI(k),βI(k)および前記割り当てベクトルvAMB,ASSIGN(k)から、打ち切りされたHOA表現
【数１９４】
0006585094.tif 000197
を再構成するよう構成された再構成モジュールと；前記再構成された打ち切りされたHOA表現
【数１９５】
0006585094.tif 000198
を複数F個の周波数サブバンドについての周波数サブバンド表現
【数１９６】
0006585094.tif 000199
に分解するよう構成された分解フィルタバンク・モジュール５３と；各周波数サブバンド表現について、前記再構成された打ち切りされたHOA表現の前記それぞれの周波数サブバンド表現
【数１９７】
0006585094.tif 000200
と、前記サブバンドに関係した方向情報MDIR(k＋1,f1),…,MDIR(k＋1,fF)と、前記予測行列A(k＋1,f1),…,A(k＋1,fF)から、予測された方向性HOA表現
【数１９８】
0006585094.tif 000201
を合成するよう構成された少なくとも一つの方向性サブバンド合成モジュール５４と；前記F個の周波数サブバンドのそれぞれについて、係数シーケンス
【数１９９】
0006585094.tif 000202
をもつデコードされたサブバンドHOA表現
【数２００】
0006585094.tif 000203
を組成するよう構成された少なくとも一つのサブバンド組成モジュール５５であって、該係数シーケンスは、該係数シーケンスが前記割り当てベクトルvAMB,ASSIGN(k)に含まれるインデックスnをもつ場合には前記打ち切りされたHOA表現
【数２０１】
0006585094.tif 000204
の係数シーケンスから得られ、それ以外の場合には前記方向性サブバンド合成モジュール５４の一つによって与えられる前記予測された方向性HOA成分
【数２０２】
0006585094.tif 000205
の係数シーケンスから得られる、モジュールと；前記デコードされたサブバンドHOA表現
【数２０３】
0006585094.tif 000206
を合成して、デコードされたHOA表現
【数２０４】
0006585094.tif 000207
を得るよう構成された合成フィルタバンク・モジュール５６とを有する。
【０１４８】
サブバンドは一般に、複素数値のフィルタバンクから得られる。前記割り当てベクトルの一つの目的は、送信／受信される、よって打ち切りされたHOA表現に含まれる係数シーケンスのシーケンス・インデックスを示し、それによりこれらの係数シーケンスの最終的なHOA信号への割り当てを可能にすることである。換言すれば、割り当てベクトルは、打ち切りされたHOA表現の各係数シーケンスについて、それが最終的なHOA信号におけるどの係数シーケンスに対応するかを示す。たとえば、打ち切りされたHOA表現が四つの係数シーケンスを含み、最終的なHOA信号が九つの係数シーケンスをもつ場合、割り当てベクトルは（原理的に）[1,2,5,7]であってもよい。これにより、打ち切りされたHOA表現の第一、第二、第三および第四の係数シーケンスが実際には最終的なHOA信号における第一、第二、第五および第七の係数シーケンスであることを示す。
【０１４９】
ある実施形態では、現在フレームにおける方向性サブバンド信号を予測するよう構成された予測モジュールは、そのサブバンドの先行フレームの方向性サブバンド信号を決定し、前記方向性サブバンド信号のインデックスが前記先行フレームにおいて0であり現在フレームにおいて0でない場合には新たな方向性サブバンド信号を生成し、前記方向性信号のインデックスが前記先行フレームにおいて0でなく現在フレームにおいて0である場合には前の方向性サブバンド信号をキャンセルし、方向性サブバンド信号のインデックスが第一の方向から第二の方向に変わる場合には、該方向性サブバンド信号の方向を該第一の方向から該第二の方向に動かすよう構成されている。ある実施形態では、少なくとも一つのサブバンドが二つ以上の周波数サブバンドのサブバンド・グループである。ある実施形態では、前記方向性サブバンド信号情報は、少なくとも複数の打ち切りされたHOA係数シーケンスと、前記打ち切りされたHOA係数シーケンスのシーケンス・インデックスを示すまたは含む割り当てベクトルと、複数の予測行列とを含み、当該装置はさらに、前記複数の打ち切りされたHOA係数シーケンスおよび前記割り当てベクトルから打ち切りされたHOA表現を再構成するよう構成された打ち切りHOA表現再構成モジュールと、前記再構成された打ち切りされたHOA表現を複数F個の周波数サブバンドについての周波数サブバンド表現に分解するよう構成された一つまたは複数の分解フィルタバンクとを有する。ここで、前記予測モジュールは、前記周波数サブバンド表現および前記複数の予測行列を、方向性サブバンド信号の前記予測のために使う。ある実施形態では、前記抽出モジュールはさらに、前記圧縮されたHOA表現を多重分離して、知覚的に符号化された部分とエンコードされたサイド情報部分とを取得するよう構成されている。知覚的に符号化された部分は前記打ち切りされたHOA係数シーケンスを含み、前記エンコードされたサイド情報部分は、アクティブな候補方向の前記集合MDIR(k)と、アクティブなサブバンド方向の前記相対方向インデックスと、前記割り当てベクトルと、前記予測行列と、各周波数サブバンドおよび各アクティブな候補方向について前記アクティブな候補方向がアクティブなサブバンド方向であることを示す前記ビットとを含む。ある実施形態では、前記方向性サブバンド信号情報は、アクティブな方向の集合と、第一および第二のインデックスをもつインデックスのタプルを含むタプル集合とを含み、前記第二のインデックスは現在の周波数サブバンドについてアクティブな方向の前記集合内のアクティブな方向のインデックスであり、前記第一のインデックスは該アクティブな方向の軌跡インデックスであり、軌跡は、特定の音源の方向の時間的なシーケンスである。
【０１５０】
ある実施形態では、コンピュータ可読媒体が、コンピュータ上で実行されたときに入力HOA信号のフレームについての方向情報をエンコードする方法をコンピュータに実行させる実行可能命令を記憶している。前記方法は、前記入力HOA信号から、音源の方向であるアクティブな候補方向の第一の集合MDIR(k)を決定する段階であって、前記アクティブな候補方向は、あらかじめ定義されたQ個のグローバル方向の集合のうちで決定され、各グローバル方向はグローバル方向インデックスをもつ、段階と；前記入力HOA信号を複数の周波数サブバンドに分割する段階と；アクティブな候補方向の前記第一の集合MDIR(k)のうちで、前記周波数サブバンドのそれぞれについて、DSB＜Qであるとして、DSB個までのアクティブなサブバンド方向の第二の集合を決定する段階と；周波数サブバンド毎に各方向に相対方向インデックスを割り当てる段階であって、前記方向インデックスは範囲[1,…,NoOfGlobalDirs(k)]内である、段階と；現在フレームについての方向情報を集める段階であって、前記方向情報は前記アクティブな候補方向MDIR(k)と、各周波数サブバンドおよび各アクティブな候補方向について、そのアクティブな候補方向がそれぞれの周波数サブバンドについてアクティブなサブバンド方向であるか否かを示すビットと、各周波数サブバンドについて、サブバンド方向の前記第二の集合におけるアクティブなサブバンド方向の前記相対方向インデックスとを含む、段階と；集められた方向情報を伝送する段階とを含む。さらなる実施形態は、上記で開示したエンコード方法との類推で導出できる。
【０１５１】
ある実施形態では、コンピュータ可読媒体が、コンピュータ上で実行されたときに圧縮されたHOA表現から方向情報をデコードする方法をコンピュータに実行させる実行可能命令を記憶している。前記方法は、前記圧縮されたHOA表現の各フレームについて、
前記圧縮されたHOA表現から、各候補方向は少なくとも一つの周波数サブバンドにおいて潜在的なサブバンド信号源方向であるとして候補方向の集合MFB(k)と、それぞれの周波数サブバンドおよびDSB個までの潜在的なサブバンド信号源方向のそれぞれについて、前記それぞれの周波数サブバンドについてその潜在的なサブバンド信号源方向がアクティブなサブバンド方向であるか否かを示すビットbSubBandDirIsActive(k,fj)と、それぞれのアクティブなサブバンド方向についてのアクティブなサブバンド方向の相対方向インデックスおよび方向性サブバンド信号情報とを抽出する段階と；それぞれの周波数サブバンド方向について、前記相対方向インデックスを絶対方向インデックスに変換する段階であって、各相対方向インデックスは、前記ビットが前記それぞれの周波数サブバンドについてその候補方向がアクティブなサブバンド方向であることを示す場合には、候補方向の前記集合MFB(k)内のインデックスとして使われる、段階と；前記方向性サブバンド信号情報から方向性サブバンド信号を予測する段階であって、前記絶対方向インデックスに従って前記方向性サブバンド信号に方向が割り当てられる、段階とを含む。さらなる実施形態は、上記で開示したデコード方法との類推で導出できる。
【０１５２】
好ましい実施形態に適用される本発明の基本的な新規な特徴が図示され、記述され、指摘されてきたが、本発明の精神から外れることなく、記載される装置および方法、開示される装置の形および詳細およびその動作において、さまざまな省略、置換および変更がなされてもよいことは理解されるであろう。実質的に同じ機能を実質的に同じ仕方で実行して同じ結果を達成する要素のあらゆる組み合わせは本発明の範囲内である。ある記載される実施形態から別の記載される実施形態への要素の代用も完全に意図され、考えられている。本発明は純粋に例として記載されてきたのであって、本発明の範囲から外れることなく細部の修正がなし得ることは理解されるであろう。本稿および（適切な場合には）請求項および図面に開示される各事項は、独立してまたは任意の適切な組み合わせにおいて設けられてもよい。特徴は、適切な場合には、ハードウェア、ソフトウェアまたは両者の組み合わせにおいて実装されうる。接続は、該当する場合には、無線の接続または有線の必ずしも直接もしくは専用ではない接続として実装されてもよい。ある実施形態では、抽出モジュール、利得制御ユニット、サブバンド信号グループ化ユニット、処理ユニットその他といった上述したモジュールまたはユニットのそれぞれは、少なくとも一つのシリコン・コンポーネントを使って少なくとも部分的にハードウェアで実装される。
【図１】
0006585094.tif 000208
【図２】
0006585094.tif 000209
【図３】
0006585094.tif 000210
【図４】
0006585094.tif 000211
【図５】
0006585094.tif 000212
【図６】
0006585094.tif 000213
【図７】
0006585094.tif 000214
【図８】
0006585094.tif 000215
【図９ａ）】
0006585094.tif 000216
【図９ｂ）】
0006585094.tif 000217
【図１０ａ）】
0006585094.tif 000218
【図１０ｂ）】
0006585094.tif 000219
【図１０ｃ）】
0006585094.tif 000220
【図１１】
0006585094.tif 000221
【図１２】
0006585094.tif 000222
【図１３】
0006585094.tif 000223