(57)【要約】      （修正有）【課題】任意のラウドスピーカー・セットアップのために、高次アンビソニックス（ＨＯＡ）のような音場信号のレンダリングを適用する方法および装置を提供する。【解決手段】目標ラウドスピーカーの所与の配置へのレンダリングのためのデコード行列Ｄは、目標スピーカーの数およびその位置、球面モデリング格子の位置およびＨＯＡ次数Ｎを取得する段階と、モデリング格子の位置およびスピーカーの位置から混合行列Ｇを生成する段階１４１と、球面モデリング格子の位置およびＨＯＡ次（Ｎからモード行列を生成する段階１４２と、混合行列Ｇおよびモード行列から第一のデコード行列を計算する段階１４３と、第一のデコード行列を平滑化およびスケーリング係数を用いて平滑化およびスケーリングする段階１４４、１４５とによって得る。【選択図】図５
2020129811.tif 000002
【特許請求の範囲】
【請求項１】
音または音場の高次アンビソニックス（HOA）表現をデコードする方法であって、
混合行列Gおよびモード行列
【数１】
2020129811.tif 000155
に基づく平滑化されたデコード行列
【数２】
2020129811.tif 000156
を受領する段階であって、前記混合行列GはHOA次数Nに関係した球面モデリング格子の位置およびL個のスピーカーに基づいて決定されたものであり、前記モード行列は前記球面モデリング格子および前記HOA次数Nに基づいて決定されたものであり、
前記平滑化されたデコード行列は、第一のデコード行列
【数３】
2020129811.tif 000157
の、平滑化係数を用いた平滑化およびスケーリングに基づいて決定されたものであり、前記第一のデコード行列は
【数４】
2020129811.tif 000158
に基づいて決定されたものであり、U、Vはユニタリー行列に基づき、前記モード行列のエルミート転置された混合行列GHとの積のコンパクトな特異値分解が
【数５】
2020129811.tif 000159
に基づいて決定され、Sは特異値要素をもつ対角行列に基づき、
＾付きのSは恒等行列または修正された対角行列である打ち切りされたコンパクトな特異値分解行列であり、前記修正された対角行列は特異値要素をもつ前記対角行列に基づいて、ある閾値以上の特異値要素を1で置き換え、前記閾値未満の特異値要素を0で置き換えることによって決定され、各特異値要素についての前記閾値の値は各特異値要素の値に依存する、段階と；
前記平滑化されたデコード行列に基づいて、前記HOA音場表現の係数を周波数領域から空間領域にレンダリングする段階とを含む、
方法。
【請求項２】
空間的信号Wをバッファリングおよびシリアル化する段階であって、複数のチャネルについての時間サンプルw(t)が得られる段階と；
前記チャネルのそれぞれについて個々に時間サンプルw(t)を遅延線において遅延させる段階であって、対応するデジタル信号が得られる段階とをさらに含み、
前記遅延線が異なるラウドスピーカー距離を補償する、
請求項１記載の方法。
【請求項３】
請求項１記載の方法をコンピュータに実行させる実行可能命令を記憶している非一時的なコンピュータ可読媒体。
【請求項４】
オーディオ再生のための音または音場の高次アンビソニックス（HOA）表現をデコードする装置であって、
前記HOA音場表現の係数をデコードするよう構成されたデコーダを有しており、前記デコーダは：
混合行列Gおよびモード行列
【数６】
2020129811.tif 000160
に基づく平滑化されたデコード行列
【数７】
2020129811.tif 000161
を受領する受領器であって、前記混合行列GはHOA次数Nに関係した球面モデリング格子の位置およびL個のスピーカーに基づいて決定されたものであり、前記モード行列は前記球面モデリング格子および前記HOA次数Nに基づいて決定されたものであり、
前記平滑化されたデコード行列は、第一のデコード行列
【数８】
2020129811.tif 000162
の、平滑化係数を用いた平滑化およびスケーリングに基づいて決定されたものであり、前記第一のデコード行列は
【数９】
2020129811.tif 000163
に基づく行列U、Vに基づいて決定され、U、Vはユニタリー行列に基づき、
前記モード行列のエルミート転置された混合行列GHとの積のコンパクトな特異値分解が
【数１０】
2020129811.tif 000164
に基づいて決定され、Sは特異値要素をもつ対角行列に基づいて決定されたものであり、＾付きのSは恒等行列または修正された対角行列である打ち切りされたコンパクトな特異値分解行列であり、前記修正された対角行列は特異値要素をもつ前記対角行列に基づいて、ある閾値以上の特異値要素を1で置き換え、前記閾値未満の特異値要素を0で置き換えることによって決定され、各特異値要素についての前記閾値の値は各特異値要素の値に依存する、受領器と；
前記平滑化されたデコード行列に基づいて、前記HOA音場表現の係数を周波数領域から空間領域にレンダリングするよう構成されたレンダラーとを含む、
装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ再生のためのオーディオ音場表現、詳細にはアンビソニックス・フォーマットのオーディオ表現をレンダリングするための方法および装置に関する。
【背景技術】
【０００２】
正確な局在化／定位はいかなる空間的オーディオ再生システムにとっても主要な目標である。そのような再生システムは、3Dサウンドから裨益する会議システム、ゲームまたは他の仮想環境のためにきわめて応用可能である。3Dにおけるサウンド・シーンは、自然な音場として合成または捕捉されることができる。たとえばアンビソニックスのような音場信号は所望される音場の表現を搬送する。アンビソニックス・フォーマットは、音場の球面調和関数分解に基づく。基本的なアンビソニックス・フォーマットまたはBフォーマットは次数0および1の球面調和関数を使うが、いわゆる高次アンビソニックス（HOA:  Higher  Order  Ambisonics）は少なくとも二次のさらなる球面調和関数も使う。そのようなアンビソニックス・フォーマットの信号から個々のラウドスピーカー信号を得るには、デコードまたはレンダリング・プロセスが必要とされる。ラウドスピーカーの空間的配置は、本稿ではラウドスピーカー・セットアップと称される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第2011/117399号（Johann-Markus  Batke,  Florian  Keiler,  and  Johannes  Boehm、Method  and  device  for  decoding  an  audio  soundfield  representation  for  audio  playback(PD100011)）
【非特許文献】
【０００４】
【非特許文献１】T.D.  Abhayapala、Generalized  framework  for  spherical  microphone  arrays:  Spatial  and  frequency  decomposition、Proc.  IEEE  International  Conference  on  Acoustics,  Speech,  and  Signal  Processing  (ICASSP),  （受理）  Vol.  X,  pp.  ,  April  2008,  Las  Vegas,  USA
【非特許文献２】〔本訳稿では欠番（特許文献１）〕
【非特許文献３】Jerome  Daniel,  Rozenn  Nicol,  and  Sebastien  Moreau、Further  investigations  of  high  order  ambisonics  and  wavefield  synthesis  for  holophonic  sound  imaging、AES  Convention  Paper  5788  Presented  at  the  114th  Convention、March  2003.  Paper  4795  presented  at  the  114th  Convention
【非特許文献４】Jerome  Daniel、Representation  de  champs  acoustiques,  application  a  la  transmission  et  a  la  reproduction  de  scenes  sonores  complexes  dans  un  contexte  multimedia、PhD  thesis,  Universite  Paris  6,  2001
【非特許文献５】James  R.  Driscoll  and  Dennis  M.  Healy  Jr.、Computing  Fourier  transforms  and  convolutions  on  the  2-sphere、Advances  in  Applied  Mathematics,  15:202-250,  1994
【非特許文献６】Jorg  Fliege、Integration  nodes  for  the  sphere、http://www.personal.soton.ac.uk/jf1w07/nodes/nodes.html、オンライン、アクセス日2012-06-01
【非特許文献７】Jorg  Fliege  and  Ulrike  Maier、A  two-stage  approach  for  computing  cubature  formulae  for  the  sphere、Technical  Report,  Fachbereich  Mathematik,  Universitat  Dortmund,  1999
【非特許文献８】R.  H.  Hardin  and  N.J.A.  Sloane、ウェブページ：Spherical  designs,  spherical  t-designs、http://www2.research.att.com/~njas/sphdesigns/
【非特許文献９】R.H.  Hardin  and  N.J.A.  Sloane、Mclaren's  improved  snub  cube  and  other  new  spherical  designs  in  three  dimensions、Discrete  and  Computational  Geometry,  15:429-441,  1996
【非特許文献１０】M.A.  Poletti、Three-dimensional  surround  sound  systems  based  on  spherical  harmonics.、J.  Audio  Eng.  Soc,  53(11):1004-1025,  November  2005
【非特許文献１１】Ville  Pulkki、Spatial  Sound  Generation  and  Perception  by  Amplitude  Panning  Techniques、PhD  thesis,  Helsinki  University  of  Technology,  2001
【非特許文献１２】Boaz  Rafaely、Plane-wave  decomposition  of  the  sound  field  on  a  sphere  by  spherical  convolution、J.  Acoust.  Soc.  Am.,  4(116):2149-2157,  October  2004
【非特許文献１３】Earl  G.  Williams、Fourier  Acoustics,  volume  93  of  Applied  Mathematical  Sciences.  Academic  Press,  1999
【非特許文献１４】F.  Zotter,  H.  Pomberger,  and  M.  Noisternig、Energy-preserving  ambisonic  decoding、Acta  Acustica  united  with  Acustica,  98(1):37-47,  January/February  2012
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、既知のレンダリング・アプローチは通常のラウドスピーカー・セットアップについてのみ好適である一方、任意のラウドスピーカー・セットアップがずっと普通である。そのようなレンダリング・アプローチが任意のラウドスピーカー・セットアップに適用されると、音の指向性に問題が生じる。
【課題を解決するための手段】
【０００６】
本発明は、規則的および非規則的な空間的ラウドスピーカー分布の両方についてオーディオ音場表現をレンダリング／デコードする方法であって、前記レンダリング／デコードはきわめて改善された局在化属性を提供し、エネルギー保存的であるものを記述する。特に、本発明は、音場データのためのデコード行列を、たとえばHOAフォーマットにおいて得るための新しい方法を提供する。HOAフォーマットは、ラウドスピーカー位置に直接関係していない音場を記述する。得られるラウドスピーカー信号は必然的にチャネル・ベースのオーディオ・フォーマットなので、HOA信号のデコードは、オーディオ信号のレンダリングに常に緊密に関係している。したがって、本発明は、音場に関係したオーディオ・フォーマットのデコードおよびレンダリングの両方に関係する。
【０００７】
本発明の一つの利点は、非常に良好な指向性属性をもつエネルギー保存的なデコードが達成されるということである。「エネルギー保存的」という用語は、HOA指向性信号内のエネルギーがデコード後に保存される、よってたとえば一定振幅の方向性空間的掃引が一定のラウドネスで知覚されるということを意味する。「良好な指向性属性」という用語は、指向性のメインローブおよび小さなサイドローブによって特徴付けられるスピーカー指向性であって、通常のレンダリング／デコードと比較して高められているものをいう。
【０００８】
本発明は、任意のラウドスピーカー・セットアップのための高次アンビソニックス（HOA）のような音場信号のレンダリングであって、きわめて改善された局在化属性を与え、エネルギー保存的であるものを開示する。これは、音場データのための新しい型のデコード行列および該デコード行列を得るための新しい方法によって得られる。任意の空間的ラウドスピーカー・セットアップのためのオーディオ音場表現をレンダリングする方法において、目標ラウドスピーカーの所与の配置への前記レンダリングのための前記デコード行列は、目標スピーカーの数およびその位置、球面モデリング格子の位置およびHOA次数を取得する段階と、前記モデリング格子の位置および前記スピーカーの位置から混合行列を生成する段階と、前記球面モデリング格子の位置および前記HOA次数からモード行列を生成する段階と、前記混合行列および前記モード行列から第一のデコード行列を計算する段階と、前記第一のデコード行列を平滑化およびスケーリング係数を用いて平滑化およびスケーリングしてエネルギー保存的なデコード行列を得る段階とによって得られる。
【０００９】
ある実施形態では、本発明は、請求項１記載のオーディオ再生のためのオーディオ音場表現をデコードおよび／またはレンダリングする方法に関する。別の実施形態では、本発明は、請求項９記載のオーディオ再生のためのオーディオ音場表現をデコードおよび／またはレンダリングする装置に関する。さらにもう一つの実施形態では、本発明は、請求項１５記載のオーディオ再生のためのオーディオ音場表現をデコードおよび／またはレンダリングする方法をコンピュータに実行させる実行可能命令が記憶されているコンピュータ可読媒体に関する。
【００１０】
一般に、本発明は以下のアプローチを使う。第一に、再生のために使用されるラウドスピーカー・セットアップに依存するパン関数が導出される。第二に、当該ラウドスピーカー・セットアップのすべてのラウドスピーカーについて、デコード行列（たとえばアンビソニックス・デコード行列）がこれらのパン関数（または該パン関数から得られた混合行列）から計算される。第三の段階では、前記デコード行列が生成され、エネルギー保存的となるよう処理される。最後に、前記ラウドスピーカー・パンを平滑化してサイドローブを抑制するために、前記デコード行列がフィルタリングされる。フィルタリングされたデコード行列は、所与のラウドスピーカー・セットアップのために前記オーディオ信号をレンダリングするために使われる。サイドローブは、レンダリングの副作用であり、望ましくない方向におけるオーディオ信号を与える。前記レンダリングは、所与のラウドスピーカー・セットアップのために最適化されているので、サイドローブはわずらわしい。サイドローブが最小化され、それによりラウドスピーカー信号の指向性が改善されることが本発明の利点の一つである。
【００１１】
本発明のある実施形態によれば、オーディオ再生のためのオーディオ音場表現をレンダリング／デコードする方法は、受領されたHOA時間サンプルb(t)をバッファリングする段階であって、M個のサンプルおよび時間インデックスμの諸ブロックが形成される、段階と、係数B(μ)をフィルタリングして周波数フィルタリングされた係数
【００１２】
【数１】
2020129811.tif 000003
を得る段階と、該周波数フィルタリングされた係数を、デコード行列Dを使って空間領域にレンダリングする段階であって、空間的信号W(μ)が得られる段階とを含む。ある実施形態では、さらなる段階は、L個のチャネルのそれぞれについて個々に時間サンプルw(t)を遅延させる段階であって、L個のデジタル信号が得られる段階と、前記L個のデジタル信号をデジタル‐アナログ（D/A）変換して増幅する段階であって、L個のアナログ・ラウドスピーカー信号が得られる段階とを含む。
【００１３】
前記レンダリングする段階のための、すなわち目標スピーカーの所与の配置のためのデコード行列Dは、目標スピーカーの数およびそれらのスピーカーの位置を取得する段階と、球面モデリング格子の位置およびHOA次数を決定する段階と、球面モデリング格子の位置および前記スピーカーの位置から混合行列を生成する段階と、前記球面モデリング格子および前記HOA次数からモード行列を生成する段階と、前記混合行列Gおよび前記モード行列
【００１４】
【数２】
2020129811.tif 000004
から第一のデコード行列を計算する段階と、前記第一のデコード行列を平滑化およびスケーリング係数を用いて平滑化およびスケーリングする段階であって、前記デコード行列が得られる段階とによって得られる。
【００１５】
もう一つの側面によれば、オーディオ再生のためのオーディオ音場表現をデコードする装置は、前記デコード行列Dを得るためのデコード行列計算ユニットを有するレンダリング処理ユニットを有し、前記デコード行列計算ユニットは、目標スピーカーの数Lを取得する手段およびそれらのスピーカーの位置
【００１６】
【数３】
2020129811.tif 000005
を取得する手段と、球面モデリング格子の位置
【００１７】
【数４】
2020129811.tif 000006
を決定する手段およびHOA次数Nを取得する手段と、前記球面モデリング格子の位置および前記スピーカーの位置から混合行列Gを生成する第一の処理ユニットと、前記球面モデリング格子
【００１８】
【数５】
2020129811.tif 000007
および前記HOA次数Nからモード行列
【００１９】
【数６】
2020129811.tif 000008
を生成する第二の処理ユニットと、前記モード行列の、エルミート転置された混合行列Gとの積の、
【００２０】
【数７】
2020129811.tif 000009
に基づくコンパクトな特異値分解を実行する第三の処理ユニットであって、U、Vはユニタリー行列から導出され、Sは特異値要素をもつ対角行列である、ユニットと、行列U、Vから
【００２１】
【数８】
2020129811.tif 000010
に従って第一のデコード行列
【００２２】
【数９】
2020129811.tif 000011
を計算する計算手段であって、＾付きのSは恒等行列または前記特異値要素をもつ対角行列から導出された対角行列である、計算手段と、前記第一のデコード行列を平滑化係数
【００２３】
【数１０】
2020129811.tif 000012
を用いて平滑化およびスケーリングする平滑化およびスケーリング・ユニットであって、前記デコード行列Dが得られるユニットとを有する。
【００２４】
さらにもう一つの側面によれば、コンピュータ可読媒体が、コンピュータ上で実行されたときに該コンピュータに、上記で開示したようなオーディオ再生のためのオーディオ音場表現をデコードする方法を実行させる実行可能命令を記憶している。
【００２５】
本発明のさらなる目的、特徴および利点は、以下の記述および付属の請求項を付属の図面との関連で考慮すれば明白となるであろう。
【図面の簡単な説明】
【００２６】
本発明の例示的な実施形態が、付属の図面を参照して記述される。
【図１】本発明のある実施形態に基づく方法のフローチャートである。
【図２】混合行列Gを構築する方法のフローチャートである。
【図３】レンダラーのブロック図である。
【図４】デコード行列生成プロセスの概略的な諸段階のフローチャートである。
【図５】デコード行列生成ユニットのブロック図である。
【図６】スピーカーが接続されたノードとして示されている例示的な16スピーカー・セットアップである。
【図７】ノードがスピーカーとして示されている、自然なビューにおける例示的な16スピーカー・セットアップである。
【図８】N＝3の従来技術（非特許文献１４）を用いて得られるデコード行列についての完璧なエネルギー保存特性について一定である＾E/E比を示すエネルギー図である。
【図９】N＝3の従来技術（非特許文献１４）に従って設計されるデコード行列についての音圧図である。中央スピーカーのパン・ビームが強いサイドローブをもつ。
【図１０】N＝3の従来技術（特許文献１）を用いて得られるデコード行列についての4dBより大きいゆらぎをもつ＾E/E比を示すエネルギー図である。
【図１１】N＝3の従来技術（特許文献１）に従って設計されるデコード行列についての音圧図である。中央スピーカーのパン・ビームが小さなサイドローブをもつ。
【図１２】本発明に基づく方法または装置によって得られる1dBより小さいゆらぎをもつ＾E/E比を示すエネルギー図である。一定の振幅をもつ空間的パンは等しいラウドネスをもって知覚される。
【図１３】本発明に基づく方法を用いて設計されるデコード行列についての音圧図である。中央スピーカーは小さなサイドローブをもつパン・ビームをもつ。
【発明を実施するための形態】
【００２７】
概括的には、本発明は、高次アンビソニックス（HOA）オーディオ信号のような音場フォーマットされたオーディオをラウドスピーカーにレンダリング（すなわちデコード）することに関する。ここで、ラウドスピーカーは対称的または非対称的な、規則的または非規則的な位置にある。オーディオ信号は、利用可能であるよりも多くのラウドスピーカーにフィードするために好適であってもよい。たとえば、HOA係数の数はラウドスピーカーの数より大きいことがある。本発明は、非常に良好な方向性属性をもつデコーダのためのエネルギー保存的なデコード行列を提供する。すなわち、スピーカー指向性ローブが、通常のデコード行列を用いて得られるスピーカー指向性ローブより、より強い指向性メインローブおよびより小さなサイドローブを含む。エネルギー保存的とは、HOA指向性信号内のエネルギーがデコード後に保存され、よってたとえば一定振幅の方向性空間掃引が一定のラウドネスをもって知覚されることを意味する。
【００２８】
図１は、本発明のある実施形態に基づく方法のフローチャートである。この実施形態では、オーディオ再生のためのHOAオーディオ音場表現をレンダリング（すなわち、デコード）する方法が、次のようにして生成されるデコード行列を使う。第一に、目標ラウドスピーカーの数L、それらのラウドスピーカーの位置
【００２９】
【数１１】
2020129811.tif 000013
、球面モデリング格子
【００３０】
【数１２】
2020129811.tif 000014
および次数N（たとえばHOA次数）が決定される（１１）。前記スピーカーの位置および前記球面モデリング格子から混合行列Gが生成され（１２）、前記球面モデリング格子および前記前記HOA次数Nからモード行列
【００３１】
【数１３】
2020129811.tif 000015
が生成される（１３）。前記混合行列Gおよび前記モード行列から第一のデコード行列
【００３２】
【数１４】
2020129811.tif 000016
が計算される（１４）。前記第一のデコード行列は、平滑化係数
【００３３】
【数１５】
2020129811.tif 000017
を用いて平滑化され（１５）、平滑化されたデコード行列
【００３４】
【数１６】
2020129811.tif 000018
が得られ、該平滑化されたデコード行列が該平滑化されたデコード行列から得られるスケーリング因子を用いてスケーリングされ（１６）、前記デコード行列Dが得られる。ある実施形態では、平滑化１５およびスケーリング１６は単一のステップで実行される。
【００３５】
ある実施形態では、ラウドスピーカーの数LおよびHOA係数チャネルの数O3D＝(N＋1)2に依存して、前記平滑化係数は二つの異なる方法の一方によって得られる。ラウドスピーカーの数LがHOA係数チャネルの数O3Dより少なければ、前記平滑化係数を得るための新しい方法が使用される。
【００３６】
ある実施形態では、複数の異なるラウドスピーカー配置に対応する複数のデコード行列が生成され、のちの使用のために記憶される。前記複数の異なるラウドスピーカー配置は、ラウドスピーカーの数、一つまたは複数のラウドスピーカーの位置および入力オーディオ信号の次数Nのうちの少なくとも一つによって異なることができる。すると、レンダリング・システムを初期化する際、マッチするデコード行列が決定され、現在のニーズに従って記憶部から取り出され、デコードのために使用される。
【００３７】
ある実施形態では、デコード行列Dは、前記モード行列
【００３８】
【数１７】
2020129811.tif 000019
の、エルミート転置された混合行列GHとの積の、
【００３９】
【数１８】
2020129811.tif 000020
に基づくコンパクトな特異値分解を実行し、行列U、Vから
【００４０】
【数１９】
2020129811.tif 000021
に従って第一のデコード行列
【００４１】
【数２０】
2020129811.tif 000022
を計算することによって得られる。U、Vはユニタリー行列から導出され、Sは、チルダ付きのΨで表わされる前記モード行列の、エルミート転置された混合行列GHとの積の、前記コンパクトな特異値分解の特異値要素をもつ対角行列である。この実施形態に従って得られるデコード行列はしばしば、後述する代替的な実施形態を用いて得られるデコード行列より、数値的に安定である。行列のエルミート転置は、行列の共役複素転置である。
【００４２】
前記代替的な実施形態では、デコード行列Dは、エルミート転置されたモード行列
【００４３】
【数２１】
2020129811.tif 000023
の、前記混合行列Gとの積の、
【００４４】
【数２２】
2020129811.tif 000024
に基づくコンパクトな特異値分解を実行することによって得られる。ここで、第一のデコード行列は
【００４５】
【数２３】
2020129811.tif 000025
によって導出される。
【００４６】
ある実施形態では、コンパクトな特異値分解は、前記モード行列
【００４７】
【数２４】
2020129811.tif 000026
および混合行列Gに対して、
【００４８】
【数２５】
2020129811.tif 000027
に従って実行される。ここで、第一のデコード行列は
【００４９】
【数２６】
2020129811.tif 000028
によって導出される。ここで、＾付きのSは、ある閾値thr以上のすべての特異値を1で置き換え、前記閾値thrより小さい要素を0で置き換えることによって、前記特異値分解行列Sから導出される、打ち切りされたコンパクトな特異値分解行列である。閾値thrは特異値分解行列の実際の値に依存し、例示的に、0.06*S1（Sの最大要素）のオーダーであってもよい。
【００５０】
ある実施形態では、コンパクトな特異値分解は、前記モード行列
【００５１】
【数２７】
2020129811.tif 000029
および混合行列Gに対して、
【００５２】
【数２８】
2020129811.tif 000030
に従って実行される。ここで、第一のデコード行列は
【００５３】
【数２９】
2020129811.tif 000031
によって導出される。＾付きのSおよび閾値thrは直前の実施形態について上述したようなものである。閾値thrは通例、最大の特異値から導出される。
【００５４】
ある実施形態では、HOA次数Nおよび目標スピーカー数Lに依存して、平滑化係数を計算するための二つの異なる方法が使われる。HOAチャネルより少ない目標スピーカーがある、すなわちO3D＝(N2＋1)＞Lである場合には、平滑化およびスケーリング係数
【００５５】
【数３０】
2020129811.tif 000032
は、次数N＋1のルジャンドル多項式の零点から導出されるmax  rE個の係数の通常の集合に対応する。そうでなく、十分な目標スピーカーがある、すなわちO3D＝(N2＋1)≦Lである場合には、係数
【００５６】
【数３１】
2020129811.tif 000033
はlen〔長さ〕＝(2N＋1)およびwidth〔幅〕＝2Nをもつカイザー（Kaiser）窓の要素
【００５７】
【数３２】
2020129811.tif 000034
から、スケーリング因子cfを用いて、
【００５８】
【数３３】
2020129811.tif 000035
に従って構築される。カイザー窓の使用される要素は、(N＋1)番目の要素で始まり、これは一度だけ使われ、反復的に使われるその後の要素へと続く。(N＋2)番目の要素は三回使われる、など。
【００５９】
ある実施形態では、スケーリング因子は、平滑化されたデコード行列から得られる。特に、ある実施形態では、
【００６０】
【数３４】
2020129811.tif 000036
に従って得られる。
【００６１】
以下では、フル・レンダリング・システムが記述される。本発明の主要な焦点は、デコード行列Dが上記のようにして生成される、レンダラーの初期化フェーズである。ここで、主たる焦点は、前記一つまたは複数のデコード行列を、たとえばコードブックのために導出する技術である。デコード行列を生成するために、何個の目標ラウドスピーカーが利用可能であるかおよびそれらがどこに位置されるか（それらのラウドスピーカーの位置）は既知である。
【００６２】
図２は、本発明のある実施形態に基づく、混合行列Gを構築する方法のフローチャートを示している。この実施形態では、0だけをもつ初期混合行列が生成され（２１）、角方向Ωs＝[θs,φs]Tおよび動径rsをもつあらゆる仮想源について、以下の段階が実行される。まず、位置[1,ΩsT]Tを囲む三つのラウドスピーカーl1,l2,l3が決定される（２２）。ここで、単位動径が想定されている。
【００６３】
【数３５】
2020129811.tif 000037
を用いて行列R＝[rl1,rl2,rl3]が構築される（２３）。行列Rは、Lt＝spherical_to_cartesian(R)に従ってデカルト座標に変換される（２４）。次いで、仮想源位置がs＝(sinΘscosφs,sinΘssinφs,cosΘs)Tに従って構築され（２５）、利得gが、g＝(gl1,gl1,gl3)Tとして、g＝Lt-1sに従って計算される（２６）。この利得はg＝g/‖g‖2に従って規格化され（２７）、Gの対応する要素Gl,sが規格化された利得で置き換えられる：Gl1,s＝gl1、Gl2,s＝gl2、Gl3,s＝gl3。
【００６４】
下のセクションは、高次アンビソニックス（HOA）の簡単な紹介を与え、処理されるべき、すなわちラウドスピーカーのためにレンダリングされるべき信号を定義する。
【００６５】
高次アンビソニックス（HOA）は、音源がないと想定されるコンパクトな関心領域内の音場の記述に基づく。その場合、時刻tおよび関心領域内の（球面座標：動径r、傾斜θ、方位角φでの）位置x＝[r,θ,φ]Tにおける音圧p(t,x)の空間時間的振る舞いは、斉次波動方程式（homogeneous  wave  equation）によって物理的には完全に決定される。ωが角周波数を表わすとして、時間に関する音圧のフーリエ変換、すなわち
【００６６】
【数３６】
2020129811.tif 000038
（Ft{  }は−∞から∞への積分∫p(t,x)e-ωtdtに対応する）は、
【００６７】
【数３７】
2020129811.tif 000039
のように球面調和関数（SH）の級数に展開されうる（非特許文献１３）。
【００６８】
式(2)において、csは音速を表わし、k＝ω/csは角波数を表わす。さらに、jn(・)は第一種のn次球面ベッセル関数を示し、Ynm(・)は次数（order）nおよび陪数（degree）mの球面調和関数（SH）を表わす。音場についての完全な情報は、実際には音場係数Anm(k)内に含まれる。
【００６９】
SHは一般には複素数値の関数であることを注意しておくべきである。しかしながら、その近似的な線形結合により、実数値の関数を得て、上記展開をこれらの関数に関して実行することが可能である。
【００７０】
式(2)における圧力音場（sound  field）記述に関係して、源場（source  field）が次のように定義できる。
【００７１】
【数３８】
2020129811.tif 000040
ここで、源場または振幅密度（非特許文献１２）D(kcs,Ω)は角波数および角方向Ω＝[θ,φ]Tに依存する。源場は遠距離場／近距離場、離散／連続源からなることができる（非特許文献１）。源場係数Bnmは音場係数Anmと次式によって関係付けられる（非特許文献１）。
【００７２】
【数３９】
2020129811.tif 000041
ここで、hn(2)は第二種の球面ハンケル関数であり、rsは原点からの源距離である。
【００７３】
HOA領域の信号は、周波数領域または時間領域において、源場または音場係数の逆フーリエ変換として表現できる。以下の記述では、有限数の源場係数の時間領域表現
【００７４】
【数４０】
2020129811.tif 000042
の使用を想定する。式(3)における無限級数はn＝Nにおいて打ち切られる。打ち切りは、空間的な帯域幅制限に対応する。係数（またはHOAチャネル）の数は
3Dについては  O3D＝(N＋1)2        (6)
によって、2Dのみの記述についてはO2D＝2N＋1によって与えられる。係数bnmはラウドスピーカーによるのちの再生のためにある時間サンプルtのオーディオ情報を含む。これらは記憶または送信されることができ、よってデータ・レート圧縮の対象である。係数の単独の時間サンプルはO3D個の要素をもつベクトルb(t)
【００７５】
【数４１】
2020129811.tif 000043
によって表現でき、M個の時間サンプルのブロックは行列B
【００７６】
【数４２】
2020129811.tif 000044
によって表現できる。
【００７７】
音場の二次元表現は、円調和関数を用いた展開によって導出できる。これは、上記で呈示した一般的な記述において、固定した傾斜角θ＝π/2、係数の異なる重みおよびO2D個の係数に縮小された集合（m＝±n）を使った特殊な場合である。よって、以下の考察はみな2D表現にも当てはまる。その場合、球という用語は円という用語によって置き換える必要がある。
【００７８】
ある実施形態では、係数データに沿ってメタデータが送られ、係数データの曖昧さのない同定を許容する。時間サンプル係数ベクトルb(t)を導出するためのすべての必要な情報は、伝送されるメタデータを通じてまたは所与のコンテキストのために与えられる。さらに、HOA次数NまたはO3Dの少なくとも一方ならびにある実施形態ではさらに近距離場記録を示すrsと一緒の特殊なフラグはデコーダにおいて既知であることを注意しておく。
【００７９】
次に、HOA信号のラウドスピーカーへのレンダリングが記述される。このセクションは、デコードの基本原理およびいくつかの数学的属性を示す。
【００８０】
基本的なデコードは、第一に、平面波ラウドスピーカー信号を想定し、第二に、スピーカーから原点までの距離が無視できることを想定する。l＝1,…,Lとして球面方向
【００８１】
【数４３】
2020129811.tif 000045
に位置するL個のラウドスピーカーにレンダリングされるHOA係数bの時間サンプルは、
w＝Db        (9)
によって記述できる（非特許文献１０）。ここで、w∈RL×1はL個のスピーカー信号の時間サンプルを表わし、デコード行列は
【００８２】
【数４４】
2020129811.tif 000046
である。デコード行列は
D＝Ψ+        (10)
によって導出できる。ここで、Ψ+はモード行列Ψの擬似逆行列である。モード行列Ψは
Ψ＝[y1,…,yL]        (11)
として定義される。ここで、
【００８３】
【数４５】
2020129811.tif 000047
であり、
【００８４】
【数４６】
2020129811.tif 000048
はスピーカー方向
【００８５】
【数４７】
2020129811.tif 000049
の球面調和関数からなる。Hは共役複素転置を表わす（エルミートとしても知られる）。
【００８６】
次に、特異値分解（SVD:  Singular  Value  Decomposition）による行列の擬似逆行列が記述される。擬似逆行列を導出するための一つの普遍的な方法は、まずコンパクトなSVD：
Ψ＝USVH        (12)
を計算することである。ここで、
【００８７】
【数４８】
2020129811.tif 000050
は回転行列から導出され、S＝diag(S1,…,SK)∈RK×Kは、K＞0およびK≦min(O3D,L)として、降順の特異値S1≧S2≧…≧SKの対角行列である。擬似逆行列は
【００８８】
【数４９】
2020129811.tif 000051
によって決定される。ここで、＾付きのS＝diag(S1-1,…,SK-1)である。Skの非常に小さい値をもつ悪条件の行列については、対応する逆数値Sk-1は0で置き換えられる。これは、打ち切り特異値分解（Truncated  Singular  Value  Decomposition）と呼ばれる。通例、0で置き換えるべき対応する逆数値を特定するために、最大の特異値S1に対する検出閾値が選択される。
【００８９】
以下では、エネルギー保存属性が記述される。HOA領域における信号エネルギーは
E＝bHb        (14)
によって与えられ、空間領域における対応するエネルギーは
【００９０】
【数５０】
2020129811.tif 000052
によって与えられる。エネルギー保存的なデコーダ行列についての比＾E/Eは（実質的に）一定である〔本稿では、便宜上、＾付きのEを＾Eで表わすなどする〕。これは、恒等行列Iおよび定数c∈Rを用いて、DHD＝cIである場合に達成できるだけである。これは、Dがノルム2の条件数cond(D)＝1をもつことを要求する。これはまた、DのSVD（特異値行列）が同一の特異値を生じること：D＝USVHでS＝diag(SK,…,SK)を要求する。
【００９１】
一般に、エネルギー保存的なレンダラー設計は当技術分野において知られている。L≧O3Dについてのエネルギー保存デコーダ行列設計は、非特許文献１４において、
D＝VUH        (16)
によって提案されている。ここで、式(13)からの＾付きのSは＾S＝Iとなるよう強制されており、よって式(16)では落とすことができる。積DHD＝UVHVUH＝Iであり、比＾E/Eは1になる。この設計方法の恩恵は、空間的なパンが、知覚されるラウドネスにおけるゆらぎをもたない、均一な空間的音印象を保証するエネルギー保存である。この設計の欠点は、指向性の精度の損失および非対称的な、非規則的なスピーカー位置についての強いラウドスピーカー・ビーム・サイドローブである（図８〜図９参照）。本発明は、この欠点を克服できる。
【００９２】
非規則的に位置されるスピーカーについてのレンダラー設計も当技術分野において知られている。特許文献１では、L≧O3DおよびL＜O3Dについてのデコーダ設計方法であって、再生される指向性における高い精度でのレンダリングを許容するものが記述されている。この設計方法の欠点は、導出されるレンダラーがエネルギー保存的ではないことである（図１０〜図１１参照）。
【００９３】
空間的平滑化のために、球面畳み込み（spherical  convolution）が使用できる。これは、空間的フィルタリング・プロセスまたは係数領域における窓掛け（windowing）（畳み込み）である。その目的は、サイドローブ、いわゆるパン・ローブ（panning  lobe）を最小化することである。もとのHOA係数bnmおよびゾーン係数hn0の重み付けされた積によって、チルダ付きのbnmで表わされる新たな係数が与えられる（非特許文献５）：
【００９４】
【数５１】
2020129811.tif 000053
これは、空間領域におけるS2上での左畳み込みと等価である（非特許文献５）。便利なことに、これは非特許文献５において、通例実数値の重み付け係数および定数因子dfを含むベクトル
【００９５】
【数５２】
2020129811.tif 000054
を用いて
【００９６】
【数５３】
2020129811.tif 000055
によってHOA係数Bに重み付けすることによって、レンダリング／デコードに先立って、ラウドスピーカー信号の指向性属性を平滑化するために使われる。平滑化の発想は、HOA係数を増大する次数インデックスnとともに減衰させることである。平滑化重み付け係数
【００９７】
【数５４】
2020129811.tif 000056
【００９８】
【数５５】
2020129811.tif 000057
は1のみをもつ長さO3Dのベクトル）、第二のものは均等に分布した角パワー（angular  power）を提供し、inphaseはフルのサイドローブ抑制をフィーチャーする。
【００９９】
以下では、開示される解決策のさらなる詳細および実施形態が記述される。まず、レンダラー・アーキテクチャが、その初期化、スタートアップ挙動および処理の点で記述される。
【０１００】
ラウドスピーカー・セットアップ、すなわちラウドスピーカーの数または聴取位置に対するいずれかのラウドスピーカーの位置が変わるたびに、レンダラーは、サポートされるHOA入力信号がもつ任意のHOA次数Nについてのデコード行列の集合を決定する初期化プロセスを実行する必要がある。また、遅延線についての個々のスピーカー遅延dlおよびスピーカー利得glが、スピーカーと聴取位置の間の距離から決定される。このプロセスは後述される。ある実施形態では、導出されたデコード行列はコードブック内に記憶される。HOAオーディオ入力特性が変わるたびに、レンダラー制御ユニットは、現在有効な特性を決定し、コードブックからマッチするデコード行列を選択する。コードブック鍵はHOA次数Nまたは等価だがO3Dであることができる（式(6)参照）。
【０１０１】
レンダリングのためのデータ処理の概略的な段階は、図３を参照して説明される。図３は、レンダラーの処理ブロックのブロック図を示している。該処理ブロックは、第一のバッファ３１、周波数領域フィルタリング・ユニット３２、レンダリング処理ユニット３３、第二のバッファ３４、L個のチャネルのための遅延ユニット３５およびデジタル‐アナログ変換器および増幅器３６である。
【０１０２】
時間インデックスtをもつHOA時間サンプルおよびO3D個のHOA係数チャネルb(t)はまず第一のバッファ３１に記憶されて、ブロック・インデックスμをもつM個のサンプルのブロックをなす。B(μ)の係数は、周波数領域フィルタリング・ユニット３２において周波数フィルタリングされて、＾付きのB(μ)で表わされる周波数フィルタリングされたブロックが得られる。この技術は、球状ラウドスピーカー源の距離を補償して、近距離場記録を扱えるようにするために知られている（非特許文献３）。＾付きのB(μ)で表わされる周波数フィルタリングされたブロック信号は、レンダリング処理ユニット３３において、
【０１０３】
【数５６】
2020129811.tif 000058
によって空間領域にレンダリングされる。ここで、W(μ)∈RL×Mは、L個のチャネルにおける空間的信号を、M個の時間サンプルのブロックで表わす。この信号は、第二のバッファ３４にバッファリングされ、シリアル化されて、図３でw(t)として参照されている、L個のチャネルにおける時間インデックスtをもつ単独の諸時間サンプルを形成する。これは、遅延ユニット３５内のL個のデジタル遅延線にフィードされるシリアル信号である。それらの遅延線は、聴取位置の個々のスピーカーlまでの異なる距離を、dlサンプルの遅延を用いて補償する。原理的には、各遅延線はFIFO（先入れ先出しメモリ）である。よって、遅延補償された信号３５５は、デジタル‐アナログ変換器および増幅器３６において、D/A変換され、増幅され、L個のラウドスピーカーにフィードできる信号３６５を提供する。スピーカー利得補償glは、D/A変換の前に、あるいはアナログ領域においてスピーカー・チャネル増幅を適応させることによって、考慮されることができる。
【０１０４】
レンダラー初期化は次のように機能する。
【０１０５】
第一に、スピーカー数および位置は既知である必要はない。初期化の第一段階は、新しいスピーカー数および関係する位置
【０１０６】
【数５７】
2020129811.tif 000059
を利用可能にする。ここで、rlは聴取位置からスピーカーlまでの距離であり、＾付きのθl,φlは関係する球面角である。さまざまな方法が適用されうる。たとえば、スピーカー位置の手動入力または試験信号を使った自動初期化である。スピーカー位置
【０１０７】
【数５８】
2020129811.tif 000060
の手動入力は、接続されたモバイル装置またはあらかじめ定義された位置集合の選択のための、装置に統合されたユーザー・インターフェースのような十分なインターフェースを使ってなされてもよい。自動初期化は、
【０１０８】
【数５９】
2020129811.tif 000061
を導出するために、マイクロホン・アレイおよび専用のスピーカー試験信号を評価ユニットとともに使ってなされてもよい。最大距離rmaxは、rmax＝max(r1,…,rL)によって決定され、最小距離rminは、rmin＝min(r1,…,rL)によって決定される。
【０１０９】
L個の距離rlおよびrmaxは遅延線および利得補償３５に入力される。各スピーカー・チャネルについての遅延サンプルの数dlは
【０１１０】
【数６０】
2020129811.tif 000062
によって、サンプリング・レートfs、音速c（摂氏20°の温度においてc≒343m/s）を用いて決定される。
【０１１１】
【数６１】
2020129811.tif 000063
は次の整数への丸めを示す。異なるrlについてスピーカー利得を補償するために、ラウドスピーカー利得glがgl＝rl/rminによって決定される、あるいは音響測定を使って導出される。
【０１１２】
たとえば上記コードブックについてのデコード行列の計算は以下のように機能する。デコード行列を生成する方法の概略的な段階は図４に示されている。図５は、ある実施形態における、デコード行列を生成する対応する装置の処理ブロックを示している。入力はスピーカー方向
【０１１３】
【数６２】
2020129811.tif 000064
と、球面モデリング格子
【０１１４】
【数６３】
2020129811.tif 000065
と、HOA次数Nである。
【０１１５】
スピーカー方向
【０１１６】
【数６４】
2020129811.tif 000066
は球面角
【０１１７】
【数６５】
2020129811.tif 000067
として表現でき、球面モデリング格子
【０１１８】
【数６６】
2020129811.tif 000068
は球面角
【０１１９】
【数６７】
2020129811.tif 000069
によって表現できる。方向の数はスピーカーの数より大きく（S＞L）、HOA係数の数より大きい（S＞O3D）ように選択される。この格子の諸方向は、非常に規則的な仕方で単位球をサンプリングするべきである。好適な格子は非特許文献６、９において論じられており、非特許文献７、８において見出すことができる。格子
【０１２０】
【数６８】
2020129811.tif 000070
は一度選択される。例として、非特許文献６からのS＝324の格子が、HOA次数N＝9までのデコード行列については十分である。HOA次数Nは、コードブックを充填していくために、N＝1,…,Nmaxとインクリメンタルに選択される。ここで、NmaxはサポートされるHOA入力コンテンツの最大HOA次数である。
【０１２１】
上記スピーカー方向および上記球面モデリング格子が混合行列構築ブロック４１に入力され、該ブロックはその混合行列Gを生成する。上記球面モデリング格子およびHOA次数Nはモード行列構築ブロック４２に入力され、該ブロックはそのモード行列
【０１２２】
【数６９】
2020129811.tif 000071
を生成する。上記混合行列および上記モード行列はデコード行列構築ブロック４３に入力され、該ブロックはそのデコード行列
【０１２３】
【数７０】
2020129811.tif 000072
を生成する。上記デコード行列はデコード行列平滑化ブロック４４に入力され、該ブロックはデコード行列を平滑化し、スケーリングする。さらなる詳細は下記で与える。デコード行列平滑化ブロック４４の出力はデコード行列Dであり、これは関係した鍵N（またはその代わりにO3D）と一緒にコードブック中に記憶される。モード行列構築ブロック４２では、上記球面モデリング格子が式(11)と類似のモード行列を構築するために使用される：
【０１２４】
【数７１】
2020129811.tif 000073
チルダ付きのΨで表わされるこのモード行列は特許文献１ではΞと称されていることを注意しておく。
【０１２５】
混合行列構築ブロック４２において、G∈RL×Sの混合行列Gが生成される。混合行列Gは特許文献１ではWと称されていることを注意しておく。混合行列Gのl番目の行は諸方向
【０１２６】
【数７２】
2020129811.tif 000074
からのS個の仮想源をスピーカーlに混合するための混合利得からなる。ある実施形態では、特許文献１でのように、これらの混合利得を導出するために、ベクトル基底振幅パン（VBAP:  vector  base  amplitude  panning）（非特許文献１１）が使われる。Gを導出するアルゴリズムは下記のようにまとめられる。
１  0の値をもつGを生成（すなわちGを初期化）
２  for  すべてのs＝1…S
３  {
４  単位動径を想定して、位置[1,ΩsT]Tを囲む三つのスピーカーl1,l2,l3を見出し、
【０１２７】
【数７３】
2020129811.tif 000075
を用いて行列R＝[rl1,rl2,rl3]を構築。
５  Lt＝デカルト座標でのspherical_to_cartesian(R)を計算。
６  仮想源位置s＝(sinΘscosφs,sinΘssinφs,cosΘs)Tを構築。
７  g＝(gl1,gl2,gl3)Tとして、g＝Lt-1sを計算
８  利得を規格化：g＝g/‖g‖2
９  Gの関係する要素Gl,sをgの要素で充填：
Gl1,s＝gl1、Gl2,s＝gl2、Gl3,s＝gl3
１０  }。
【０１２８】
デコード行列構築ブロック４３では、上記モード行列と転置された混合行列との行列積のコンパクトな特異値分解が計算される。これは、本発明の重要な側面であり、これはさまざまな仕方で実行されることができる。ある実施形態では、モード行列
【０１２９】
【数７４】
2020129811.tif 000076
と転置された混合行列GTの行列積のコンパクトな特異値分解Sが、
【０１３０】
【数７５】
2020129811.tif 000077
に従って計算される。
【０１３１】
代替的な実施形態では、モード行列
【０１３２】
【数７６】
2020129811.tif 000078
と擬似逆混合行列G+の行列積のコンパクトな特異値分解Sが、
【０１３３】
【数７７】
2020129811.tif 000079
に従って計算される。ここで、G+は混合行列Gの擬似逆行列である。
【０１３４】
ある実施形態では、
【０１３５】
【数７８】
2020129811.tif 000080
である対角行列が生成される。ここで、最初の対角要素はSの逆対角成分：
【０１３６】
【数７９】
2020129811.tif 000081
であり、続く対角要素
【０１３７】
【数８０】
2020129811.tif 000082
は、aが閾値であるとして、
【０１３８】
【数８１】
2020129811.tif 000083
であれば1の値に設定され
【０１３９】
【数８２】
2020129811.tif 000084
あるいは
【０１４０】
【数８３】
2020129811.tif 000085
であれば0の値に設定される
【０１４１】
【数８４】
2020129811.tif 000086
好適な閾値aは、0.06程度であることが見出された。小さな逸脱、たとえば0.01の範囲内または±10%の範囲内の逸脱は受け容れ可能である。すると、デコード行列は次のように計算される：
【０１４２】
【数８５】
2020129811.tif 000087
デコード行列平滑化ブロック４４では、デコード行列は平滑化される。従来技術において知られているように平滑化係数をデコード前のHOA係数に適用する代わりに、平滑化はデコード行列と直接組み合わされることができる。これは、処理段階または処理ブロックを一つ節約する。
【０１４３】
【数８６】
2020129811.tif 000088
ラウドスピーカーより多くの係数をもつ（すなわち、O3D＞L）HOAコンテンツのためのデコーダについても良好なエネルギー保存属性を得るために、適用される平滑化係数
【０１４４】
【数８７】
2020129811.tif 000089
は、HOA次数N（O3D＝(N＋1)2）依存して選択される。
【０１４５】
L≧O3Dについては、
【０１４６】
【数８８】
2020129811.tif 000090
は、非特許文献４でのように、次数N＋1のルジャンドル多項式の零点から導出されるmax  rE個の係数に対応する。
【０１４７】
L＜O3Dについては、
【０１４８】
【数８９】
2020129811.tif 000091
の係数は、次のようにしてカイザー窓から構築される：
【０１４９】
【数９０】
2020129811.tif 000092
ここで、len＝2N＋1、width＝2N、Kは2N＋1個の実数値の要素をもつベクトルである。それらの要素はカイザー窓公式
【０１５０】
【数９１】
2020129811.tif 000093
によって生成される。ここで、I0(  )は第一種の零次の修正ベッセル関数を表わす。ベクトル
【０１５１】
【数９２】
2020129811.tif 000094
は
【０１５２】
【数９３】
2020129811.tif 000095
の要素から構築される。ここで、すべての要素KN+1+nはHOA次数インデックスn＝0,…,Nについて2n＋1回の反復を得る。cfは、異なるHOA次数のプログラムの間でラウドネスを等しく保つための一定のスケーリング因子である。すなわち、カイザー窓の使用される要素は、(N＋1)番目の要素で始まり、これは一度だけ使われ、反復的に使われるその後の要素へと続く。(N＋2)番目の要素は三回使われる、など。
【０１５３】
ある実施形態では、平滑化されたデコード行列はスケーリングされる。ある実施形態では、平滑化は、デコード行列平滑化ブロック４４において、図４のａ）に示されるようにして実行される。異なる実施形態では、スケーリングは、行列スケーリング・ブロック４５において別個の段階として、図４のｂ）に示されるようにして実行される。
【０１５４】
ある実施形態では、上記一定のスケーリング因子はデコード行列から得られる。特に、デコード行列のいわゆるフロベニウス・ノルムに従って得ることができる：
【０１５５】
【数９４】
2020129811.tif 000096
ここで、チルダ付きのdl,qはチルダ付きのDで表わされる行列（平滑後）の行l、列qの行列要素である。規格化された行列は
【０１５６】
【数９５】
2020129811.tif 000097
である。
【０１５７】
図５は、本発明のある側面に基づいて、オーディオ再生のためのオーディオ音場表現をデコードする装置を示している。該装置は、前記デコード行列Dを得るためのデコード行列計算ユニット１４０を有するレンダリング処理ユニット３３を有し、前記デコード行列計算ユニット１４０は、目標スピーカーの数Lを取得する手段１ｘおよびそれらのスピーカーの位置
【０１５８】
【数９６】
2020129811.tif 000098
を取得する手段と、球面モデリング格子位置
【０１５９】
【数９７】
2020129811.tif 000099
を決定する手段１ｙおよびHOA次数Nを取得する手段１ｚと、前記球面モデリング格子の位置および前記スピーカーの位置から混合行列Gを生成する第一の処理ユニット１４１と、前記球面モデリング格子
【０１６０】
【数９８】
2020129811.tif 000100
および前記HOA次数Nからモード行列
【０１６１】
【数９９】
2020129811.tif 000101
を生成する第二の処理ユニット１４２と、前記モード行列の、エルミート転置された混合行列Gとの積の、
【０１６２】
【数１００】
2020129811.tif 000102
に基づくコンパクトな特異値分解を実行する第三の処理ユニット１４３であって、U、Vはユニタリー行列から導出され、Sは特異値要素をもつ対角行列である、ユニットと、行列U、Vから
【０１６３】
【数１０１】
2020129811.tif 000103
に従って第一のデコード行列
【０１６４】
【数１０２】
2020129811.tif 000104
を計算する計算手段１４４と、前記第一のデコード行列を平滑化係数
【０１６５】
【数１０３】
2020129811.tif 000105
を用いて平滑化およびスケーリングする平滑化およびスケーリング・ユニット１４５であって、前記デコード行列Dが得られるユニットとを有する。ある実施形態では、前記平滑化およびスケーリング・ユニット１４５は、前記第一のデコード行列を平滑化して、平滑化されたデコード行列
【０１６６】
【数１０４】
2020129811.tif 000106
が得られる平滑化ユニット１４５１と、平滑化されたデコード行列をスケーリングして前記デコード行列Dが得られるスケーリング・ユニット１４５２としてである。
【０１６７】
図６は、例示的な16スピーカー・セットアップにおけるスピーカー位置を、スピーカーが接続されたノードとして示されるノード概略図において示している。前景の接続は実線として示され、背景の接続は破線として示されている。図７は、16スピーカーをもつ同じスピーカー・セットアップを遠近法図で示している。
【０１６８】
以下では、図５および図６におけるようなスピーカー・セットアップでの得られた例示的な結果について述べる。音信号のエネルギー分布および特に比＾E/EがdBで2球上に示される（すべての試験方向）。ラウドスピーカー・パン・ビームの例として、中央スピーカー・ビーム（図６ではスピーカー７）が示される。たとえば、N＝3として非特許文献１４において設計されているデコーダ行列は、図８に示されるような比＾E/Eを生成する。これは、比＾E/Eがほとんど一定なので、ほとんど完璧なエネルギー保存特性を与える：暗い領域（より低いボリュームに対応）と明るい領域（より高いボリュームに対応）の間の差が0.01dB未満である。しかしながら、図９に示されるように、中央スピーカーの対応するパン・ビームは強いサイドローブをもつ。これは、特に中心から外れた聴取者にとって、空間的な知覚を乱す。
【０１６９】
他方、N＝3として特許文献１において設計されているデコーダ行列は図９に示されるような比＾E/Eを生じる。図１０で使われるスケールでは、暗い領域は−2dBまでのより低いボリュームに対応し、明るい領域は＋2dBまでのより高いボリュームに対応する。このように、比＾E/Eは4dBより大きなゆらぎを示す。これは、たとえば一定の振幅での上から中央スピーカー位置への空間的パンが等しいラウドネスで知覚されることができないので、不都合である。しかしながら、図１１に示されるように、中央スピーカーの対応するパン・ビームは非常に小さなサイドローブをもち、これは、中心から外れた聴取位置にとって有益である。
【０１７０】
図１２は、簡単な比較のために例示的にN＝3とした、本発明に基づくデコーダ行列を用いて得られる音信号のエネルギー分布を示している。比＾E/Eのスケール（図１２の右側に示されている）は3.15〜3.45dBの範囲である。このように、この比のゆらぎは0.31dBより小さく、音場におけるエネルギー分布は非常に均等である。結果として、一定振幅をもついかなる空間的パンも、等しいラウドネスで知覚される。図１３に示されるように、中央スピーカーのパン・ビームは非常に小さいサイドローブをもつ。これは、サイドローブが可聴となることがありわずらわしくなる中心から外れた聴取位置にとって有益である。このように、本発明は、非特許文献１４および特許文献１における従来技術で達成可能な組み合わされた利点を、それらそれぞれの欠点を被ることなしに、提供する。
【０１７１】
本稿においてスピーカーが言及されるときは常に、ラウドスピーカーのような音発生装置が意図されることを注意しておく。
【０１７２】
図面におけるフローチャートおよび／またはブロック図は、本発明のさまざまな実施形態に基づくシステム、方法およびコンピュータ・プログラム・プロダクトの可能な実装の構成、動作および機能を例解する。これに関し、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装するための一つまたは複数の実行可能な命令を含む、コードのモジュール、セグメントまたは部分を表わしうる。
【０１７３】
また、いくつかの代替的な実装では、ブロックにおいて記される機能は、図に記される順序から外れて生起してもよい。たとえば、相続いて示されている二つのブロックが、実際には、実質的に並行して実行されてもよいし、あるいはそれらのブロックは時には逆の順序で実行されてもよいし、あるいは関わっている機能に依存して、ブロックは代替的な順序で実行されてもよい。ブロック図および／またはフローチャート図解の各ブロックおよびブロック図および／またはフローチャート図解のブロックの組み合わせが、指定された機能または工程を実行する特殊目的のハードウェア・ベースのシステムによって、あるいは特殊目的ハードウェアとコンピュータ命令の組み合わせによって実装されることができることも注意しておく。明示的に記載されていないものの、本願の諸実施形態は、任意の組み合わせまたはサブコンビネーションにおいて用いることができる。
【０１７４】
さらに、当業者は理解するであろうが、本願の原理の諸側面は、システム、方法またはコンピュータ可読媒体として具現されることができる。よって、本願の原理の諸側面は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または本稿でみな一般に「回路」「モジュール」または「システム」として言及されることのできるソフトウェアおよびハードウェア側面を組み合わせた実施形態の形を取ることができる。さらに、本願の原理の諸側面はコンピュータ可読記憶媒体の形を取ることができる。一つまたは複数のコンピュータ可読記憶媒体の任意の組み合わせが利用されてもよい。本稿で使われるところのコンピュータ可読記憶媒体は、その中に情報を記憶する内在的な機能およびそこから情報の取り出しを提供する内在的な機能を与えられた非一時的な記憶媒体と考えられる。
【０１７５】
また、当業者は理解するであろうが、本願で呈示されるブロック図は、本発明の原理を具現する例解用のシステム・コンポーネントおよび／または回路の概念図を表わす。同様に、あらゆるフローチャート、流れ図、状態遷移図、擬似コードは、コンピュータ可読記憶媒体において実質的に表現され、よってコンピュータまたはプロセッサによって実行されうるさまざまなプロセスを表わす。これは、そのようなコンピュータまたはプロセッサが明示的に示されているか否かによらない。
【０１７６】
いくつかの態様を記載しておく。
〔態様１〕
オーディオ再生のための高次アンビソニックス音場表現をレンダリングする方法であって、
・受領されたHOA時間サンプルb(t)をバッファリングする段階（３１）であって、M個のサンプルおよび時間インデックスμの諸ブロックが形成される、段階と；
・前記係数B(μ)をフィルタリングして周波数フィルタリングされた係数
【数１０５】
2020129811.tif 000107
を得る段階（３２）と；
・該周波数フィルタリングされた係数を、デコード行列Dを使って空間領域にレンダリングする段階（３３）であって、空間的信号W(μ)が得られる段階と；
・前記空間的信号W(μ)をバッファリングおよびシリアル化して、L個のチャネルについての時間サンプルw(t)が得られる段階（３４）と；
・L個のチャネルのそれぞれについて個々に時間サンプルw(t)を遅延線において遅延させる段階（３５）であって、L個のデジタル信号（３５５）が得られる段階と；
・前記L個のデジタル信号（３５５）をデジタル‐アナログ変換して増幅する段階（３６）であって、L個のアナログ・ラウドスピーカー信号（３６５）が得られる段階とを含んでおり、
前記レンダリングする段階（３３）の前記デコード行列（D）は、目標スピーカーの所与の配置に対してレンダリングするためであり、
・目標スピーカーの数（L）およびそれらのスピーカーの位置
【数１０６】
2020129811.tif 000108
を取得する段階（１１）と；
・前記受領されたHOA時間サンプルb(t)に従って前記HOA次数（N）に関係した球面モデリング格子の位置
【数１０７】
2020129811.tif 000109
を決定する段階（１２）と；
・前記球面モデリング格子の位置および前記スピーカーの位置から混合行列（G）を生成する段階（４１）と；
・前記球面モデリング格子
【数１０８】
2020129811.tif 000110
および前記HOA次数（N）からモード行列
【数１０９】
2020129811.tif 000111
を生成する段階（４２）と；
・前記モード行列の、エルミート転置された混合行列（G）との積の、
【数１１０】
2020129811.tif 000112
に基づくコンパクトな特異値分解を実行する段階（４３）であって、U、Vはユニタリー行列から導出され、Sは特異値要素をもつ対角行列であり、前記行列U、Vから第一のデコード行列
【数１１１】
2020129811.tif 000113
が
【数１１２】
2020129811.tif 000114
に従って計算され、ここで、＾付きのSは恒等行列または特異値要素をもつ前記対角行列から導出される対角行列である、段階と；
・前記第一のデコード行列を平滑化係数
【数１１３】
2020129811.tif 000115
を用いて平滑化およびスケーリングする段階であって、前記デコード行列（D）が得られる段階とによって得られる、
方法。
〔態様２〕
前記平滑化は、L≧O3Dであれば第一の平滑化方法を使い、L＜O3Dであれば異なる第二の平滑化方法を使い、ここで、O3D＝(N＋1)2であり、次いでスケーリングされる平滑化されたデコード行列
【数１１４】
2020129811.tif 000116
が得られる、態様１記載の方法。
〔態様３〕
前記第二の平滑化方法において、重み付け係数
【数１１５】
2020129811.tif 000117
が、カイザー窓の要素から
【数１１６】
2020129811.tif 000118
に従って構築され、HOA次数インデックスn＝0,…,Nについてすべての要素KN+1+nは2n＋1回反復され、cfは一定のスケーリング因子である、態様２記載の方法。
〔態様４〕
前記カイザー窓がK＝KaiserWindow(len,width)に従って得られ、len＝2N＋1、width＝2Nであり、ここで、Kはカイザー窓公式
【数１１７】
2020129811.tif 000119
によって生成される2N＋1個の実数値の要素をもつベクトルであり、I0(  )は第一種の零次の修正ベッセル関数を表わす、態様３記載の方法。
〔態様５〕
前記第一のデコード行列
【数１１８】
2020129811.tif 000120
が平滑化されて（４４）平滑化されたデコード行列
【数１１９】
2020129811.tif 000121
が得られ、前記スケーリング（４５）は、前記平滑化されたデコード行列のフロベニウス・ノルムから
【数１２０】
2020129811.tif 000122
に従って得られる一定のスケーリング因子cfを用いて実行され、ここで、
【数１２１】
2020129811.tif 000123
は前記平滑化されたデコード行列の行lおよび列qの行列要素である、態様１ないし４のうちいずれか一項記載の方法。
〔態様６〕
前記第一のデコード行列
【数１２２】
2020129811.tif 000124
が平滑化されて平滑化されたデコード行列
【数１２３】
2020129811.tif 000125
が得られ、前記スケーリングは、前記HOA入力信号とともに受領されるまたは記憶部から取り出される一定のスケーリング因子cfを用いて実行される、態様１ないし４のうちいずれか一項記載の方法。
〔態様７〕
前記第一の平滑化方法において、前記重み付け係数
【数１２４】
2020129811.tif 000126
が次数N＋1のルジャンドル多項式の零点から、実数値の重み付け係数および定数因子dfをもつ
【数１２５】
2020129811.tif 000127
に従って導出される、態様２ないし６のうちいずれか一項記載の方法。
〔態様８〕
前記遅延線が異なるラウドスピーカー距離を補償する、態様１ないし７のうちいずれか一項記載の方法。
〔態様９〕
オーディオ再生のための高次アンビソニックス音場表現をレンダリングする装置であって、
・受領されたHOA時間サンプルb(t)をバッファリングする第一のバッファ（３１）であって、M個のサンプルおよび時間インデックスμの諸ブロックが形成される、バッファと；
・前記係数B(μ)をフィルタリングして周波数フィルタリングされた係数
【数１２６】
2020129811.tif 000128
を得る周波数領域フィルタリング・ユニット（３２）と；
・該周波数フィルタリングされた係数を、デコード行列（D）を使って空間領域にレンダリングするレンダリング処理ユニット（３３）と；
・前記空間的信号W(μ)をバッファリングおよびシリアル化して、L個のチャネルについての時間サンプルw(t)が得られる第二のバッファおよびシリアル化器（３４）と；
・L個のチャネルのそれぞれについて個々に時間サンプルw(t)を遅延させる遅延線を有する遅延ユニット（３５）と；
・前記L個のデジタル信号を変換および増幅してL個のアナログ・ラウドスピーカー信号が得られるD/A変換器および増幅器（３６）とを有しており、
前記レンダリング処理ユニット（３３）は前記デコード行列（D）を得るためのデコード行列計算ユニットを有し、前記デコード行列計算ユニットは、
・目標スピーカーの数（L）を取得する手段およびそれらのスピーカーの位置
【数１２７】
2020129811.tif 000129
を取得する手段と；
・球面モデリング格子位置
【数１２８】
2020129811.tif 000130
を決定する手段およびHOA次数（N）を取得する手段と；
・前記球面モデリング格子の位置および前記スピーカーの位置から混合行列（G）を生成する第一の処理ユニット（１４１）と；
・前記球面モデリング格子
【数１２９】
2020129811.tif 000131
および前記HOA次数（N）からモード行列
【数１３０】
2020129811.tif 000132
を生成する第二の処理ユニット（１４２）と；
・前記モード行列の、エルミート転置された混合行列（G）との積の、
【数１３１】
2020129811.tif 000133
に基づくコンパクトな特異値分解を実行する第三の処理ユニット（１４３）であって、U、Vはユニタリー行列から導出され、Sは特異値要素をもつ対角行列である、ユニットと；
・前記行列U、Vから
【数１３２】
2020129811.tif 000134
に従って第一のデコード行列
【数１３３】
2020129811.tif 000135
を計算する計算手段（１４４）であって、
【数１３４】
2020129811.tif 000136
は恒等行列または前記特異値要素をもつ対角行列から導出された対角行列である、計算手段と；
・前記第一のデコード行列を平滑化係数
【数１３５】
2020129811.tif 000137
を用いて平滑化およびスケーリングする平滑化およびスケーリング・ユニット（１４５）であって、前記デコード行列（D）が得られるユニットとを有する、
装置。
〔態様１０〕
前記レンダリング処理ユニット（３３）は、前記デコード行列（D）を前記HOA音場表現に適用する手段であって、デコードされたオーディオ信号が得られる手段を有する、態様９記載の装置。
〔態様１１〕
前記レンダリング処理ユニット（３３）は、前記デコード行列をのちの使用のために記憶する手段を有する、態様９または１０記載の装置。
〔態様１２〕
前記平滑化およびスケーリング・ユニット（１４５）は、L≧O3Dであれば第一の平滑化方法に従って動作し、L＜O3Dであれば異なる第二の平滑化方法に従って動作し、ここで、O3D＝(N＋1)2であり、次いでスケーリングされて平滑化されスケーリングされたデコード行列（D）を得る平滑化されたデコード行列
【数１３６】
2020129811.tif 000138
が得られる、態様９ないし１１のうちいずれか一項記載の装置。
〔態様１３〕
前記第二の平滑化方法において、重み付け係数
【数１３７】
2020129811.tif 000139
が、カイザー窓の要素から
【数１３８】
2020129811.tif 000140
に従って構築され、HOA次数インデックスn＝0,…,Nについてすべての要素KN+1+nは2n＋1回反復され、cfは一定のスケーリング因子である、態様１２記載の装置。
〔態様１４〕
前記第一のデコード行列
【数１３９】
2020129811.tif 000141
が平滑化ユニット（１４４）において平滑化されて平滑化されたデコード行列
【数１４０】
2020129811.tif 000142
が得られ、前記スケーリングはスケーリング器（１４５）において、前記平滑化されたデコード行列のフロベニウス・ノルムから
【数１４１】
2020129811.tif 000143
に従って得られる一定のスケーリング因子cfを用いて実行され、ここで、
【数１４２】
2020129811.tif 000144
は前記平滑化されたデコード行列の行lおよび列qの行列要素である、態様９ないし１３のうちいずれか一項記載の装置。
〔態様１５〕
実行可能命令を記憶しているコンピュータ可読媒体であって、前記命令はコンピュータに、オーディオ再生のためのオーディオ音場表現をデコードする方法であって、
・受領されたHOA時間サンプルb(t)をバッファリングする段階（３１）であって、M個のサンプルおよび時間インデックスμの諸ブロックが形成される、段階と；
・前記係数B(μ)をフィルタリングして周波数フィルタリングされた係数
【数１４３】
2020129811.tif 000145
を得る段階（３２）と；
・該周波数フィルタリングされた係数を、デコード行列Dを使って空間領域にレンダリングする段階（３３）であって、空間的信号W(μ)が得られる段階と；
・前記空間的信号W(μ)をバッファリングおよびシリアル化して、L個のチャネルについての時間サンプルw(t)が得られる段階（３４）と；
・L個のチャネルのそれぞれについて個々に時間サンプルw(t)を遅延線において遅延させる段階（３５）であって、L個のデジタル信号（３５５）が得られる段階と；
・前記L個のデジタル信号（３５５）をデジタル‐アナログ変換して増幅する段階（３６）であって、L個のアナログ・ラウドスピーカー信号（３６５）が得られる段階とを含んでおり、
前記レンダリングする段階（３３）の前記デコード行列（D）は、目標スピーカーの所与の配置に対してレンダリングするためであり、
・目標スピーカーの数（L）およびそれらのスピーカーの位置
【数１４４】
2020129811.tif 000146
を取得する段階（１１）と；
・前記受領されたHOA時間サンプルb(t)に従って前記HOA次数（N）に関係した球面モデリング格子
【数１４５】
2020129811.tif 000147
の位置を決定する段階と；
・前記球面モデリング格子の位置および前記スピーカーの位置から混合行列（G）を生成する段階と；
・前記球面モデリング格子
【数１４６】
2020129811.tif 000148
および前記HOA次数（N）からモード行列
【数１４７】
2020129811.tif 000149
を生成する段階と；
・前記モード行列の、エルミート転置された混合行列（G）との積の、
【数１４８】
2020129811.tif 000150
に基づくコンパクトな特異値分解を実行する段階であって、U、Vはユニタリー行列から導出され、Sは特異値要素をもつ対角行列である、段階と；
・前記行列U、Vから第一のデコード行列
【数１４９】
2020129811.tif 000151
を
【数１５０】
2020129811.tif 000152
に従って計算する段階であって、
【数１５１】
2020129811.tif 000153
は恒等行列または特異値要素をもつ前記対角行列から導出される対角行列である、段階と；
・前記第一のデコード行列を平滑化係数
【数１５２】
2020129811.tif 000154
を用いて平滑化およびスケーリングする段階であって、前記デコード行列（D）が得られる段階とによって得られる、
方法を実行させるものである、コンピュータ可読媒体。
【図１】
2020129811.tif 000165
【図２】
2020129811.tif 000166
【図３】
2020129811.tif 000167
【図４】
2020129811.tif 000168
【図５】
2020129811.tif 000169
【図６】
2020129811.tif 000170
【図７】
2020129811.tif 000171
【図８】
2020129811.tif 000172
【図９】
2020129811.tif 000173
【図１０】
2020129811.tif 000174
【図１１】
2020129811.tif 000175
【図１２】
2020129811.tif 000176
【図１３】
2020129811.tif 000177
【外国語明細書】
2020129811000001.pdf