(57)【特許請求の範囲】
【請求項１】
オーディオシーンの２次元または３次元の高次ＡｍｂｉｓｏｎｉｃｓＨＯＡ表現内に含まれる複数のサウンドオブジェクトの相対的位置を変更する方法であって、
次元Ｏｉｎを有する入力ベクトルＡｉｎが、入力信号のフーリエ級数の係数を決定し、次元Ｏｏｕｔを有する出力ベクトルＡｏｕｔが、対応する変更後の出力信号のフーリエ級数の係数を決定し、前記方法は、
モード行列Ψ１の疑似逆行列を用いて、ｓｉｎ＝ΨＴ（ΨΨＴ）−１Ａｉｎを計算することにより、入力ＨＯＡ係数の前記入力ベクトルＡｉｎを、規則的に配置されたラウドスピーカの位置に対して、空間領域の入力信号ｓｉｎにデコードするステップと、
Ａｏｕｔ＝Ψ２ｓｉｎを計算することにより、前記入力信号ｓｉｎを、適合させた出力ＨＯＡ係数を有する前記出力ベクトルＡｏｕｔに、空間領域でワープ及びエンコードするステップであって、規則的に配置されたラウドスピーカの位置の角度（φｉｎ，θｉｎ）が、前記出力ベクトルＡｏｕｔ中のターゲットラウドスピーカ位置のターゲット角度（φｏｕｔ，θｉｎ）に、１対１マッピングされるワーピング関数ｆ（φ）により、前記モード行列Ψ２のモードベクトルがモード行列Ψ１のモードベクトルに対して修正される、ステップとを有する方法。
【請求項２】
前記空間領域の入力信号ｓｉｎは、前記ワープ及びエンコードするステップの前に、ゲイン関数ｇ（φ）またはｇ（θ，φ）により重み付けされる、請求項１に記載の方法。
【請求項３】
２次元Ａｍｂｉｓｏｎｉｃｓの場合、前記ゲイン関数は
〈外１〉
0005921678.tif 000053
３次元Ａｍｂｉｓｏｎｉｃｓの場合、前記ゲイン関数は、φ方向とθ方向において、
〈外２〉
0005921678.tif 000054
φは方位角であり、θは傾斜角であり、φεは小さい方位角である、
請求項２に記載の方法。
【請求項４】
仮想的ラウドスピーカの数または次元ＯｗａｒｐがＨＯＡ係数の数または次元Ｏｉｎ以上である場合、前記デコードするステップの前に、より高次のゼロ係数を追加することにより、前記入力ベクトルＡｉｎの次数または次元を拡張する、請求項１または２に記載の方法。
【請求項５】
ＨＯＡ係数の次数または次元が前記モード行列Ψ２の次数または次元より低い場合、前記出力ベクトルＡｏｕｔを提供するため、前記ワープされた係数の一部を取り除くために、前記ワープされエンコードされ場合によっては重み付けされた信号Ψ２ｓｉｎを、最高次にゼロ係数を有するウィンドウベクトルｗを用いて、さらに重み付けする、請求項１または２に記載の方法。
【請求項６】
前記デコード、重み付け、及びワープ／デコードするステップは、共にサイズＯｗａｒｐ×Ｏｗａｒｐの変換行列
〈外３〉
0005921678.tif 000055
を用いることにより実行され、ｄｉａｇ（ｗ）は前記ウィンドウベクトルｗの値を主対角線の成分として有する対角行列を示し、ｄｉａｇ（ｇ）は前記ゲイン関数ｇを主対角線の成分として有する対角行列を示す、請求項２に従属した請求項５に記載の方法。
【請求項７】
前記変換行列ＴをサイズＯｏｕｔ×Ｏｉｎとなるような形状にするため、前記変換行列Ｔの対応する列及び／またはラインをスペースワーピング演算Ａｏｕｔ＝ＴＡｉｎを実行するように除去する、請求項６に記載の方法。
【請求項８】
オーディオシーンの２次元または３次元の高次ＡｍｂｉｓｏｎｉｃｓＨＯＡ表現内に含まれる複数のサウンドオブジェクトの相対的位置を変更する装置であって、
次元Ｏｉｎを有する入力ベクトルＡｉｎが、入力信号のフーリエ級数の係数を決定し、次元Ｏｏｕｔを有する出力ベクトルＡｏｕｔが、対応する変更後の出力信号のフーリエ級数の係数を決定し、前記装置は、
モード行列Ψ１の疑似逆行列を用いて、ｓｉｎ＝ΨＴ（ΨΨＴ）−１Ａｉｎを計算することにより、入力ＨＯＡ係数の前記入力ベクトルＡｉｎを、規則的に配置されたラウドスピーカの位置に対して、空間領域の入力信号ｓｉｎにデコードするように構成された手段と、
Ａｏｕｔ＝Ψ２ｓｉｎを計算することにより、前記入力信号ｓｉｎを、適合させた出力ＨＯＡ係数を有する前記出力ベクトルＡｏｕｔに、空間領域でワープ及びエンコードするように構成された手段であって、規則的に配置されたラウドスピーカの位置の角度（φｉｎ，θｉｎ）が、前記出力ベクトルＡｏｕｔ中のターゲットラウドスピーカ位置のターゲット角度（φｏｕｔ，θｉｎ）に、１対１マッピングされるワーピング関数ｆ（φ）により、前記モード行列Ψ２のモードベクトルがモード行列Ψ１のモードベクトルに対して修正される、手段とを有する装置。
【請求項９】
前記ワープ及びエンコードする前に、ゲイン関数ｇ（φ）またはｇ（θ，φ）により前記空間領域の入力信号ｓｉｎを重み付けするように構成された手段を含む、請求項８に記載の装置。
【請求項１０】
２次元Ａｍｂｉｓｏｎｉｃｓの場合、前記ゲイン関数は
〈外４〉
0005921678.tif 000056
であり、
３次元Ａｍｂｉｓｏｎｉｃｓの場合、前記ゲイン関数は、φ方向とθ方向において、
〈外５〉
0005921678.tif 000057
であり、
φは方位角であり、θは傾斜角であり、φεは小さい方位角である、
請求項９に記載の装置。
【請求項１１】
前記デコードをする前に、仮想ラウドスピーカの数または次元がＨＯＡ係数の数または次元Ｏｉｎ以上である場合に、より高い次数のゼロ係数を加えることにより、前記入力ベクトルＡｉｎの次数または次元を拡張するように構成された手段を含む、請求項８または９に記載の装置。
【請求項１２】
最高次にゼロ係数を有するウィンドウベクトルｗを用いて、前記ワープされ、エンコードされ、場合によっては重み付けされた信号Ψ２ｓｉｎをさらに重み付けし、前記出力ベクトルＡｏｕｔを提供するために、前記ワープされた係数の一部を除去するように構成された手段を含む、請求項８または９に記載の装置。
【請求項１３】
サイズＯｗａｒｐ×Ｏｗａｒｐの変換行列
〈外６〉
0005921678.tif 000058
を用いることにより、共に前記デコード、重み付け、及びワープ／デコードを実行するように構成された手段を含み、ｄｉａｇ（ｗ）は前記ウィンドウベクトルｗの値を主対角線の成分として有する対角行列を示し、ｄｉａｇ（ｇ）は前記ゲイン関数ｇを主対角線の成分として有する対角行列を示す、請求項９に従属した請求項１２に記載の装置。
【請求項１４】
前記変換行列ＴをサイズＯｏｕｔ×Ｏｉｎとなるような形状にするため、共に前記デコード、重み付け、及びワープ／デコードを実行するように構成された手段において、前記変換行列Ｔの対応する列及び／またはラインをスペースワーピング演算Ａｏｕｔ＝ＴＡｉｎを実行するように除去する、請求項１３に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
オーディオシーンの２次元または３次元の高次Ambisonics表現内に含まれるサウンドオブジェクトの相対位置を変更する方法と装置に関する。
【背景技術】
【０００２】
高次Ambisonics（ＨＯＡ）は、２次元及び３次元の両方で、優れた空間解像度を有する複雑なオーディオシーンの取得、操作、録音、送信及び再生を容易にする空間的サウンドフィールドの表現である。サウンドフィールドは、フーリエ・ベッセル級数により空間の基準点及びその周りにおいて近似される。
【０００３】
ＨＯＡ手法で取得したオーディオシーンの空間構成を操作する手法は限られた数しかない。原理的には、２つの方法がある。すなわち、
Ａ）例えば、ＤｉｒＡＣを介して、オーディオシーンを別々のサウンドオブジェクトと関連位置情報とに分解し、位置パラメータを操作して新しいシーンを合成する。欠点は、高度で間違いやすいシーン分解が必須だということである。
Ｂ）ＨＯＡベクトルの線形変換により、ＨＯＡ表現の内容を修正できる。これについては、前後方向の回転、鏡映、及び強調のみが提案されている。これらの既知の変換ベースの修正手法はすべて、シーン内の複数のオブジェクトの相対的位置を一定に保つ。
【０００４】
シーンの内容を操作または修正するために、ＨＯＡの回転と鏡映を含み、特定方向の優越性を修正するスペースワーピング（space  warping）が提案されている（非特許文献１−３）。
【非特許文献１】G.J.  Barton,  M.A.  Gerzon著「Ambisonic  Decoders  for  HDTV」（AES  Convention,  １９９２）
【非特許文献２】J.  Daniel著「Representation  de  champs  acoustiques,  application  a  la  transmission  et  a  la  reproduction  de  scenes  sonores  complexes  dans  un  contexte  multimedia」（PhD  thesis,  Universite  de  Paris  ６,  ２００１,  Paris,  France）
【非特許文献３】M.  Chapman,  Ph.  Cotterell著「Towards  a  Comprehensive  Account  of  Valid  Ambisonic  Transformations」（Ambisonics  Symposium,  ２００９,  Graz,  Austria）
【発明の開示】
【０００５】
本発明により解決されるべき問題は、シーンの組成を分析する必要性無しに、ＨＯＡベースのオーディオシーン内に含まれる複数のサウンドオブジェクトの相対的位置の変更を容易にすることである。この問題は、請求項１に開示した方法により解決される。この方法を利用する装置を請求項８に開示した。
【０００６】
本発明は、高次Ambisonics表現として取得または生成されたサウンドフィールド情報の空間的内容及び／または再生を修正するためにスペースワーピングを用いる。ＨＯＡドメインにおけるスペーシャルワーピングは、マルチステップアプローチ、またはより計算的に効率のよいシングルステップの線形行列乗算を表す。２次元と３次元のサウンドフィールドに対するワーピング特性は異なってもよい。
【０００７】
ワーピングは、シーン分析や分解を行わずに、空間領域で行われる。ある順序で入力されたＨＯＡ係数は、重みまたは規則的に配置された（仮想的）ラウドスピーカの入力信号に復号される。発明的スペースワーピング処理には複数の利点がある。すなわち、
・パラメータ化に自由度があるので、非常に柔軟である、
・非常に効率的に、すなわち比較的低い複雑性で、実装できる、
・シーン分析や分解が必要ない。
【０００８】
原理的に、本発明的方法は、オーディオシーンの２次元または３次元の高次Ambisonics（ＨＯＡ）表現内に含まれる複数のサウンドオブジェクトの相対位置を変更するのに適している、次元Ｏｉｎの入力ベクトルＡｉｎが入力信号のフーリエ級数の係数を決定し、次元Ｏｏｕｔの出力ベクトルＡｏｕｔが、対応する変更後の出力信号のフーリエ級数の係数を決定する。前記方法は次のステップを含む。
・前記入力ＨＯＡ係数の入力ベクトルＡｉｎを、
＜外１＞
0005921678.tif 000002
を計算することにより、モード行列Ψ１の逆行列Ψ１−１を用いて、規則的に配置されたラウドスピーカの位置に対する空間領域の入力信号ｓｉｎに復号するステップ、
・前記入力信号ｓｉｎを、
＜外２＞
0005921678.tif 000003
を計算することにより、前記適合させた出力ＨＯＡ係数の出力ベクトルＡｏｕｔに空間領域でワープ及びエンコードするステップであって、元のラウドスピーカ位置の角度が、前記出力ベクトルＡｏｕｔ中のターゲットラウドスピーカ位置のターゲット角度に、１対１にマッピングされるワーピング関数ｆ（Φ）により、モード行列のモードベクトルが修正されるステップ。
【０００９】
原理的に、本発明的装置は、オーディオシーンの２次元または３次元の高次Ambisonics（ＨＯＡ）表現内に含まれる複数のサウンドオブジェクトの相対位置を変更するのに適し、次元Ｏｉｎの入力ベクトルＡｉｎが入力信号のフーリエ級数の係数を決定し、次元Ｏｏｕｔの出力ベクトルＡｏｕｔが、対応する変更後の出力信号のフーリエ級数の係数を決定する。前記装置は次の手段を含む。
・前記入力ＨＯＡ係数の入力ベクトルＡｉｎを、
＜外３＞
0005921678.tif 000004
を計算することにより、モード行列Ψ１の逆行列Ψ１−１を用いて、規則的に配置されたラウドスピーカの位置に対する空間領域の入力信号ｓｉｎに復号するように構成された手段、
・前記入力信号ｓｉｎを、
＜外４＞
0005921678.tif 000005
を計算することにより、前記適合させた出力ＨＯＡ係数の出力ベクトルＡｏｕｔに空間領域でワープ及びエンコードするように構成された手段であって、元のラウドスピーカ位置の角度が、前記出力ベクトルＡｏｕｔ中のターゲットラウドスピーカ位置のターゲット角度に、１対１にマッピングされるワーピング関数ｆ（Φ）により、モード行列のモードベクトルが修正される手段。
【００１０】
本発明のこれ以外の有利な実施形態は、それぞれの従属項に開示されている。
【図面の簡単な説明】
【００１１】
添付した図面を参照して、本発明の実施形態を例として説明する。
【図１】空間領域におけるワーピングの原理を示す図である。
【図２】Ｎｉｎ＝３、Ｎｏｕｔ＝１２、及びワーピング関数がｆ（Φ）＝Φ＋２ atan (a ｓｉｎΦ/ (1-a cos Φ))
【図３】ワーピング関数及び「内部」順序Ｎｗａｒｐが異なる場合の行列歪みを示す図である。
【発明を実施するための形態】
【００１２】
結局、理解できるように、スペースワーピングの発明的アプリケーションを２次元の設定で説明し、ＨＯＡ表現は円形ハーモニクス（circular  harmonics）に依存し、表現されるサウンドフィールドは平面音波のみを含むものと仮定する。その後、説明を球面ハーモニクス（spherical  harmonics）に基づいて３次元の場合に拡張する。
【００１３】
記法
Ambisonics理論では、空間中のある点及びその周りにおけるサウンドフィールドは、先を切り捨てたフーリエ・ベッセル級数により記述される。一般的に、基準点は、選択した座標系の原点にあると仮定する。
【００１４】
球面座標を用いる３次元アプリケーションの場合、すべての確定されたインデックスｎ＝０，１，・・・，Ｎとｍ＝−ｎ，・・・，ｎの係数Ａｎｍを有するフーリエ級数は、方位角Φ、傾きθ、原点からの距離ｒにおけるサウンドフィールドの圧力を
【数１】
0005921678.tif 000006
と記述する。
ここで、ｋは波数であり、
＜外５＞
0005921678.tif 000007
＜外６＞
0005921678.tif 000008
で用いられる。特定の順序Ｎの場合、フーリエ・ベッセル級数の係数の数は
＜外７＞
0005921678.tif 000009
円座標を用いる２次元アプリケーションの場合、カーネル関数は方位角Φのみに依存する。ｍ≠ｎであるすべての係数は、値がゼロであり省略できる。それゆえ、ＨＯＡ係数の数は
＜外８＞
0005921678.tif 000010
のみに減少する。さらに、傾きθ＝π／２は一定である。留意点として、２次元の場合、かつサウンドオブジェクトが円上に完全に一様に分布している場合、すなわち
＜外９＞
0005921678.tif 000011
である場合、Ψ内のモードベクトルは、周知の離散フーリエ変換ＤＦＴのカーネル関数と同じである。
【００１５】
カーネル関数の定義には異なる複数の慣例があり、Ambisonics係数Ａｎｍの定義も異なる。しかし、細かい定義は、本願で説明するスペースワーピング手法の基本的な仕様と特徴には影響しない。
【００１６】
ＨＯＡ「信号」は、各時点のAmbisonics係数のベクトルＡを含む。２次元、すなわち円の設定の場合、係数ベクトルの典型的な組成と順序は
【数２】
0005921678.tif 000012
である。３次元の球面の設定の場合、係数の通常の順序は異なり
【数３】
0005921678.tif 000013
となる。ＨＯＡ表現のエンコーディングは線形に振る舞い、それゆえ複数の離れたサウンドオブジェクトのＨＯＡ係数は、結果的なサウンドフィールドのＨＯＡ係数を求めるために、合計できる。
【００１７】
明白なエンコーディング
複数の方向からの複数のサウンドオブジェクトの明白なエンコーディングは、ベクトル代数で簡単に求められる。「エンコーディング」は、同じ時点ｌにおける、及び音波が座標系の原点に到着する方向φｉとθｉにおける、個々のサウンドオブジェクト（ｉ＝０・・・Ｍ−１）の圧力貢献ｓｉ（ｋ，ｌ）に関する情報から、時点ｌと波数ｋにおけるＨＯＡ計数Ａ（ｋ，ｌ）
【数４】
0005921678.tif 000014
のベクトルを求めることである。
【００１８】
２次元設定と式（２）で確定したＨＯＡベクトルの成分を仮定すると、モード行列Ψは、モードベクトル
＜外１０＞
0005921678.tif 000015
【数５】
0005921678.tif 000016
である。
【００１９】
上で定義したように、ＨＯＡ表現のエンコーディングは、入力信号（サウンドオブジェクト）が空間的に分布しているので、空間・周波数変換と解釈できる。行列Ψによるこの変換は、サウンドオブジェクトの数がＨＯＡ係数の数に等しい、すなわちＭ＝Ｏの場合、及び方向φｉが単位円の周りに広がっている（reasonably  spread）場合にのみ、情報損失無しに逆変換できる。数学的に言うと、逆変換できる条件は、モード行列Ψが正方行列（Ｏ×Ｏ）であり、逆行列があることである。
【００２０】
単純な復号
復号により、リアルまたはバーチャルラウドスピーカのドライバ信号が得られ、そのドライバ信号は入力ＨＯＡ係数により記述される所望のサウンドフィールドを正確に再生するために用いられる。かかる復号は数Ｍとラウドスピーカの位置とに依存する。次の重要な３つの場合を区別しなければならない（注釈、これらの場合は、ラウドスピーカがジオメトリ的に合理的に設置されているという仮定の下で、「ラウドスピーカの数」により確定されるという意味で単純化される。より正確には、ターゲットのラウドスピーカの設置のモードマトリックスのランクにより確定される。下記の復号規則の例では、モードマッチング復号原理を用いるが、他の復号原理も利用でき、３つのシナリオに対する復号規則は異なることになる。
【００２１】
・過剰決定の場合（overdetermined  case）：ラウドスピーカの数はＨＯＡ係数の数より多く、すなわちＭ＞０である。この場合、復号問題には位置的な解法はないが、すべての潜在的解法のＭ次元空間のＭ−Ｏ次元サブ空間にあるさまざまな許容可能解が存在する。典型的には、ラウドスピーカ信号ｓ、
【数６】
0005921678.tif 000017
を決定するために、特定のラウドスピーカ設定のモードマトリックスΨの疑似逆行列を用いる。
【００２２】
この解は、粗再生パワー
＜外１１＞
0005921678.tif 000018
が最小となるラウドスピーカ信号を与える（例えば、L.L.Scharf,  「Statistical  Signal  Processing.  Detection,  Estimation,  and  Time  Series  Analysis」,  Addison-Wesley  Publishing  Company,  Reading,  Massachusetts,  １９９０を参照されたい）規則的なラウドスピーカの設定の場合（これは２次元の場合に容易に行い得る）、行列演算
＜外１２＞
0005921678.tif 000019
は単位行列となり、式（６）の復号規則は
＜外１３＞
0005921678.tif 000020
に単純化される。
【００２３】
・決定された場合：ラウドスピーカの数はＨＯＡ係数の数と同じである。復号問題にはただ１つの解しかなく、それはモードマトリックスΨの逆行列Ψ−１により
【数７】
0005921678.tif 000021
確定される。
【００２４】
・劣決定の場合：ラウドスピーカの数ＭはＨＯＡ係数の数Ｏより少ない。サウンドフィールドを復号する数学的問題は、劣決定（underdetermined）であり、一意的かつ厳密な解は無い。その替わりに、所望のサウンドフィールドに最もマッチしそうなラウドスピーカ信号を決定するには、数値的な最適化を用いなければならない。
【００２５】
安定した解を求めるために、例えば式
【数８】
0005921678.tif 000022
により、正規化を適用できる。ここで、Ｉは単位行列であり、スカラー係数λは正規化の量を確定する。一例として、λは
＜外１４＞
0005921678.tif 000023
の固有値の平均に設定できる。
【００２６】
得られるビームパターンは、準最適であり得る。一般的に、このアプローチで得られるビームパターンは過剰に指向的であり、多くのサウンド情報が過小評価される。
【００２７】
上記のすべてのデコーダの例では、ラウドスピーカは平面波を放射すると仮定した。現実世界のラウドスピーカの再生特性は異なり、復号規則がその特性を考慮しなければならない。
【００２８】
ベーシックワーピング
本発明の空間ワーピングの原理を図１ａに示す。ワーピングは空間領域で行われる。それゆえ、次数Ｎｉｎ、次元Ｏｉｎの入力ＨＯＡ係数Ａｉｎは、まず規則的に配置された（バーチャル）ラウドスピーカの重みまたは入力信号ｓｉｎに、ステップ／段階１２で復号される。この復号ステップでは、決定デコーダ（determined  decoder）、すなわち仮想ラウドスピーカの数または次元ＯｗａｒｐがＨＯＡ係数Ｏｉｎ以上であるデコーダを用いると有利である。後者の場合（ＨＯＡ係数よりラウドスピーカが多い場合）、ＨＯＡ係数のベクトルＡｉｎの次数または次元は、ステップ／段階１１において、高次にゼロ係数を加えることにより、容易に拡張できる。ターゲットベクトルｓｉｎの次元は、結局、Ｏｗａｒｐで示される。
【００２９】
復号規則は
【数９】
0005921678.tif 000024
である。
【００３０】
＜外１５＞
0005921678.tif 000025
である。これにより、モードマトリックスΨ１が復号行列Ψ１−１を決定するのに調子がよいことが保証される。
【００３１】
次に、バーチャルラウドスピーカの位置が、所望のワーピング特性により、「ワープ」処理で修正される。そのワープ処理は、ステップ／段階１４において、モードマトリックスΨ２を用いて、ターゲットベクトルｓｉｎ（またはｓｏｕｔ）の符号化と合成され、次元Ｏｗａｒｐの、またはさらに下記の処理ステップが施されて、次元Ｏｏｕｔの、ワープしたＨＯＡ係数のベクトルＡｏｕｔが得られる。原理的に、ワーピング特性はソース角からターゲット角への１対１マッピングにより完全に確定できる。すなわち、各ソース角φｉｎ＝０・・・２πとθｉｎ＝０・・・２πに対して、ターゲット角が確定され、２次元の場合、
【数１０】
0005921678.tif 000026
であり、３次元の場合、
【数１１】
0005921678.tif 000027
【数１２】
0005921678.tif 000028
である。
【００３２】
理解のため、この（仮想的な）再方向付けは、ラウドスピーカを新しい位置へ物理的に動かすことと対比できる。
【００３３】
この手順により生じるひとつの問題は、ある角度にある隣接するラウドスピーカ間の距離が、ワーピング関数ｆ（φ）の傾きにより変わることである（これはこの後２次元の場合について説明する）：ｆ（φ）の傾きが１より大きいとき、ワープしたサウンドフィールド中の同じ角度空間は、元のサウンドフィールドよりも、少ない「ラウドスピーカ」で占められ、その逆も成り立つ。言い換えると、ラウドスピーカの密度Ｄｓは
【数１３】
0005921678.tif 000029
のように振る舞う。
【００３４】
次に、これは、空間ワーピングにより、リスナの周りのサウンドバランスが変わることを意味する。ラウドスピーカの密度が高くなる、すなわち
＜外１６＞
0005921678.tif 000030
である領域は、より支配的になり、
＜外１７＞
0005921678.tif 000031
オプションとして、アプリケーションの要請に依存して、ラウドスピーカ密度の上記の変化は、重みステップ／段階１３においてバーチャルラウドスピーカ出力信号ｓｉｎに利得関数ｇ（φ）を適用することにより、対抗（counter）され、信号ｓｏｕｔが得られる。原理的に、任意の重み付け関数ｇ（φ）を指定できる。ワーピング関数ｆ（φ）の微分に比例する具体的な有利な一変形例
【数１４】
0005921678.tif 000032
が経験的に決定されている。
【００３５】
この特定の重み付け関数を用いて、適当に高い内部次数（inner  order）と出力次数（outer  order）を仮定して（下の「ＨＯＡ次数の設定のしかた」セクションを参照）、ワープされた角度ｆ（φ）におけるパンニング関数の振幅は、元の角度φにおける元のパンニング関数と等しく保たれる。それにより、オープニング角ごとの均一なサウンドバランス（振幅）が得られる。
【００３６】
上記の重み付け関数例からは離れて、例えば、オープニング角ごとにパワーを等しくするために、他の重み付け関数を用いることもできる。
【００３７】
最後に、ステップ／段階１４において、重み付けされたバーチャルラウドスピーカ信号はワープされ、
＜外１８＞
0005921678.tif 000033
を実行することにより、モードマトリックスΨ２で再びエンコードされる。Ψ２は、ワーピング関数ｆ（Φ）により、Ψ１とは異なるモードベクトルを含む。結果は、ワープされたサウンドフィールドのＯｗａｒｐ次元ＨＯＡ表現である。
【００３８】
ターゲットＨＯＡ表現の次数または次元はΨ２の次元より低い（後の「ＨＯＡ次数の設定のしかた」セクションを参照）場合、ワープされた係数のいくつか（すなわち、一部）はステップ／段階１５で除去（取り除き）されねばならない。一般的に、この取り除き操作はウィンドウ操作により記述できる：エンコードされたベクトル
＜外１９＞
0005921678.tif 000034
は、除去される最高次には０である係数を含むウィンドウベクトルｗとかけられる。このかけ算は、さらなる重み付けを表すと考えることができる。最も単純な場合には、正方形ウィンドウが適用できるが、文献M.A.  Poletti、「A  Unified  Theory  of  Horizontal  Holographic  Sound  Systems」（Journal  of  the  Audio  Engineering  Society,  ４８(１２),  pp.１１５５-  １１８２,  ２０００）のセクション３に記載されているように、より高度なウィンドウを用いることもでき、または上記のＪ．Ｄａｎｉｅｌの博士論文のセクション３．３．２に記載された「同相（in-phase）」または「max.  rE」ウィンドウを用いることもできる。
【００３９】
３次元のワーピング関数
２次元の場合について、ワーピング関数ｆ（φ）、及び関連する重み付け関数ｇ（φ）の概念を上で説明した。以下は、高次元であり、球面ジオメトリを適用しなければならないために、より高度である３次元の場合への拡張である。２つの簡単なシナリオを導入する。両方とも、１次元のワーピング関数ｆ（φ）またはｆ（θ）により所望の空間的ワーピングを指定できる。
【００４０】
経度方向の空間的ワーピングでは、空間的ワーピングは、方位角φのみの関数として実行できる。この場合は、上で説明した２次元の場合とほぼ同様である。ワーピング関数は
【数１５】
0005921678.tif 000035
【数１６】
0005921678.tif 000036
により完全に確定される。
【００４１】
それにより、２次元の場合のように、同様のワーピング関数を適用できる。空間的ワーピングは、赤道上においてサウンドオブジェクトに対し最大のインパクトを有し、球の極においてサウンドオブジェクトに対し最小のインパクトを有する。球面上の（ワープされた）サウンドオブジェクトの密度は、方位角のみに依存する。それゆえ、一定密度に重み付け関数は
【数１７】
0005921678.tif 000037
ワーピングを適用しその後に逆回転する前に球面を（仮想的に）回転することにより、空間におけるワーピング特性の自由な方向付けが可能である。
【００４２】
緯度方向の空間的ワーピングでは、子午線に沿ってのみ空間的ワーピングができる。ワーピング関数は
【数１８】
0005921678.tif 000038
【数１９】
0005921678.tif 000039
により確定される。
【００４３】
球面上のこのワーピング関数の重要な特性は、方位角が一定に保たれても、方位角方向の２点の角度距離は傾きの変化により変化することがあるということである。理由は、２本の子午線間の角度距離が赤道で最大であるが、２つの極ではゼロになるからである。この事実は重み付け関数で考慮しなければならない。
【００４４】
２点ＡとＢの角度距離ｃは、球面幾何学の余弦則により決定でき、
【数２０】
0005921678.tif 000040
、ここでφＡＢは２点ＡとＢの間の角度距離である。I.N.  Bronstein,  K.A.  Semendjajew,  G.  Musiol,  H.  Muhlig著「Taschenbuch  der  Mathematik」（Verlag  Harri  Deutsch,  Thun,  Frankfurt  /Main,  ５th  edition,  ２０００）の式（３．１８８ｃ）を参照されたい。同じ傾きθにおける２点間の角度距離に関して、この式は
【数２１】
0005921678.tif 000041
と単純化できる。
【００４５】
この式は、空間中の点と、小さい方位角φεだけ離れた他の点との間の角距離を求めるために使うことができる。「小さい」とは、実際のアプリケーションにおいて現実的に小さいが、ゼロではないことを意味し、理論的には、極限値φε→０である。ワーピング前後の各距離間の比は、サウンドオブジェクトの密度がφ方向で変化する係数
【数２２】
0005921678.tif 000042
を与える。
【００４６】
最終的に、重み付け関数は、φ方向とθ方向の２つの重み付け関数の積
【数２３】
0005921678.tif 000043
である。ここで再び、前出のシナリオのように、空間におけるワーピング特性の自由な方向付けは、回転により実現可能である。
【００４７】
単一ステップ処理
【数２４】
0005921678.tif 000044
と記述する。ここで、ｄｉａｇ（・）はそのベクトル引数の値を主対角線の成分としてもつ対角行列を示し、ｇは重み付け関数であり、ｗは上記の、すなわちステップ／段階１５で実行される取り除きに備えた重み付けと、係数取り除き（coefficients-stripping）そのものの２つの関数からの取り除き（stripping）を準備するウィンドウベクトルであるり、式（２４）のウィンドウベクトルは、重み付けのみに作用する。
【００４８】
マルチステップアプローチにおける次数の２つのアダプテーション、すなわちデコーダに先行する次数の拡張と、エンコーディング後のＨＯＡ係数の取り除きも、対応する劣及び／またはラインを除去することにより、変換行列Ｔに組み込める。それゆえ、サイズＯｏｕｔ×Ｏｉｎの行列を求め、入力ＨＯＡベクトルに直接適用できる。そして、空間的ワーピング演算は
【数２５】
0005921678.tif 000045
となる。
【００４９】
有利にも、Ｏｗａｒｐ×ＯｗａｒｐからＯｏｕｔ×Ｏｉｎへの変換行列Ｔの次元の有効な低減により、図１ｂによる単一ステップ処理を実行するのに必要な計算上の複雑性は、図１ａのマルチステップアプローチに必要なものようりも大幅に少なくなり、それでも単一ステップ処理で完全に同じ結果が得られる。具体的に、それにより、マルチステップ処理が中間信号の低い次数Ｎｗａｒｐで実行された場合に生じ得る歪みを回避する（詳細は下の「ＨＯＡ次数の設定のしかた」セクションを参照されたい）。
【００５０】
技術水準：回転及び鏡映
サウンドフィールドの回転と鏡映は、空間的ワーピングの「単純な」サブカテゴリーと考えられる。これらの変換の特別な特性は、サウンドオブジェクト相互の相対的位置は変わらないということである。すなわち、元のサウンドシーンにおいて、例えば、他のサウンドオブジェクトの右側３０°にあったサウンドオブジェクトは、回転されたサウンドシーンにおいても同じ他のオブジェクトの右側３０°にある。鏡映の場合、符号は変わるが、角距離は同じである。
【００５１】
サウンドフィールド情報の回転と鏡映のアルゴリズムとアプリケーションは研究され、例えば上記のBarton/Gerzon及びJ.Danielの文献、及びM.  Noisternig,  A.  Sontacchi,  Th  .  Musil,  R.  Holdrich著「A  ３D  Ambisonic  Based  Binaural  Sound  Reproduction  System」（Proc.  of  the  AES  ２４th  Intl.  Conf.  on  Multichannel  Audio,  Banff,  Canada,  ２００３）及びH.  Pomberger,  F.  Zotter著「An  Ambisonics  Format  for  Flexible  Playback  Layouts」（１st  Ambisonics  Symposium,  Graz,  Austria,  ２００９）に記載されている。
【００５２】
これらのアプローチは回転行列の解析的表現に基づく。例えば、円形サウンドフィールド（２次元の場合）の任意の角度αの回転は、ワーピングマトリックスＴαとのかけ算により行い得る。Ｔα
【数２６】
0005921678.tif 000046
では係数のサブセットが非ゼロである。
【００５３】
この例のように、回転及び／または鏡映演算のすべてのワーピングマトリックスは、同じ次数の係数のみが互いに影響するという特殊な特性を有する。それゆえ、これらのワーピングマトリックスは、非ゼロ要素が非常に少なく、出力Ｎｏｕｔは、空間的情報を失うことなく、入力次数Ｎｉｎと等しくできる。
【００５４】
サウンドフィールド情報の回転や鏡映が必要である多数の興味深いアプリケーションがある。一例は、ヘッドトラッキングシステムを有するヘッドホンを介したサウンドフィールドの再生である。頭部の回転角によりＨＲＴＦ（head-related  transfer  function）を補間するのではなく、頭部の位置によりサウンドフィールドを予め回転して、再生には一定のＨＲＴＦを用いると都合がよい。この処理は、上記のNoisternig/Sontacchi/Musil/Holdrichの文献に記載されている。
【００５５】
他の例が、サウンドフィールド情報のエンコーディングの場合について、上記のPomberger/Zotterの文献に記載されている。ＨＯＡベクトルにより記述される空間領域を、円（２次元の場合）または球の一部に制約することも可能である。制約のため、ＨＯＡベクトルの一部はゼロになる。あの文献で提唱されているアイデアは、この冗長性低減特性をサウンドフィールド情報のミクストオーダーコーディング（mixed-order  coding）に利用するものである。上記の制約は空間の特定領域にのみ得られるため、伝送された部分的情報を空間の所望の領域にシフトするためには、一般的には回転演算が必要である。
【００５６】
実施例
図２は、２次元（円）の場合における空間的ワーピングの一例を示す。ワーピング関数は、一実数値パラメータを有する離散時間オールパスフィルタの位相応答に似た、
【数２７】
0005921678.tif 000047
とした。M.  Kappelan著「Eigenschaften  von  Allpass-Ketten  und  ihre  Anwendung  bei  der  nicht-aquidistanten  spektralen  Analyse  und  Synthese」（PhD  thesis,  Aachen  University  (RWTH)  ,  Aachen,  Germany,  １９９８）を参照。
【００５７】
ワーピング関数を図２ａに示した。２π周期のワーピング関数を保証し、一パラメータａを有する空間的歪みの量を修正できるので、このワーピング関数ｆ（φ）を選択した。
【００５８】
図２ｂに示した対応する重み付け関数ｇ（φ）は、必然的に、そのワーピング関数から得られる。
【００５９】
図２ｃは、７×２５シングルステップ変換ワーピングマトリックスＴを示す。この行列の個々の係数の対数絶対値を、添付のグレースケールまたはシェーディングバーにより、グレースケールまたはシェーディングタイプにより示した。この行列例は、入力ＨＯＡ次数Ｎε＝３、出力次数Ｎｏｕｔ＝１２に対して設計されている。低次係数から高次係数まで変換により分散した情報のほとんどをキャプチャするためには、高い出力次数が必要である。出力次数がさらに減れば、ワーピング演算の精度が悪くなるだろう。ワーピングマトリックスの非ゼロ係数が無視されるからである（より詳細については、以下の「ＨＯＡ次数の設定のしかた」セクションを参照されたい）。
【００６０】
このワーピングマトリックスの非常に有用な特性は、その多くの部分がゼロであるということである。これにより、この演算を実行する時に多くの計算パワーを節約できるが、シングルステップ変換行列のある部分がゼロであることは原則ではない。
【００６１】
図２ｄと図２ｅは、いくつかの平面波により生じるビームパターンの例におけるワーピング特性を示す。両図は、φの位置０，２／７π、４／７π、６／７π、８／７π、１０／７π及び１２／７πにおける、すべての振幅が１である７つの同じ入力平面波のものであり、７つの角振幅分布を示し、すなわち過剰決定の規則的デコーディング演算のベクトルｓ
【数２８】
0005921678.tif 000048
を示す。ここで、ＨＯＡベクトルＡは、元のベクトルまたは平面波のセットをワープしたもののどちらかである。円の外側の数字は角度φを表す。バーチャルラウドスピーカ数（例えば、３６０）は、ＨＯＡパラメータの数よりかなり多い。前方方向から来る平面波の振幅分布またはビームパターンは、φ＝０である。
【００６２】
図２ｄは、元のＨＯＡ表現の振幅分布を示す。７つのすべての分布は、似た形状であり、メインローブと同じ幅を有する。メインローブの最大は、予想通り、元の７つのサウンドオブジェクトの角度φ＝（０、２／７π、・・・）にある。メインローブは、元のＨＯＡベクトルの限定次数Ｎｉｎ＝３に対応する幅を有する。
【００６３】
図２ｅは、同じサウンドオブジェクトの振幅分布であるが、ワーピング演算を行った後のものを示す。一般的に、オブジェクトは０°の前方向に向けて動かされ、ビームパターンは変更されている：前方向φ＝０のまわりのメインローブは、狭くなり、よりフォーカスされている。一方、１８０°のまわりの後ろ方向のメインローブは大幅に広くなった。サイドでは、９０°と２７０°で最大のインパクトがあり、ビームパターンは、これらの角度に対する図２ｂの重み付け関数ｇ（φ）の大きな傾きのため、非対称になっている。ビームパターンのこれらの大きな変化（狭くなり形状が変わる変化）は、ワープされたＨＯＡベクトルの高次Ｎｏｕｔ＝１２により可能になっている。理論的には、前方向のメインローブの分解能は、２．３３倍だけ増加している。一方、後ろ方向の分解能は１／２．３３倍だけ減少している。ローカルの次元が空間的に変わるミクストオーダー信号が生成される。ワープされたＨＯＡ係数を満足行く精度で表すには
＜外２０＞
0005921678.tif 000049
の最小出力次元が必要であると仮定できる。以下の「ＨＯＡ次元の設定のしかた」セクションでは、本来のローカル次元をより詳細に説明する。
【００６４】
特性
上記のワーピングステップは一般的であり非常に柔軟である。少なくとも次の基本演算を実現できる：任意の軸及び／または面のよる回転及び／または鏡映、連続ワーピング関数による空間的歪み、及び特定方向の重み付け（空間的ビームフォーミング）。
【００６５】
以下のサブセクションでは、本発明のスペースワーピングの多くの特性を強調し、これらの詳細により何ができて何ができないかについてガイダンスを与える。さらにまた、いくつかのデザインルールを説明する。原理的に、次のパラメータは所望のワーピング特性を得るために、自由度があり調節できる：
・ワープ関数ｆ（θ，φ）；
・重み付け関数ｇ（θ，φ）；
・内部次元Ｎｗａｒｐ；
・出力次元Ｎｏｕｔ；
・ベクトルｗを用いた出力係数のウィンドウイング
線形性
マルチステップ処理の基本的な変換ステップは、定義により線形である。中間で起こっている新しいロケーションへのサウンドソースの非線形マッピングは、エンコーディングマトリックスの確定にインパクトがあるが、エンコーディングマトリックス自体は線形のままである。その結果、合成されたスペースワーピング演算とＴとの行列のかけ算は、線形演算であり、すなわち
【数２９】
0005921678.tif 000050
である。この特性は本質的である。この特性により、異なる複数のサウンドソースからの同時的な貢献を含む複雑なサウンドフィールド情報を処理できるからである。
【００６６】
空間不変性
定義により（ワーピング関数が傾き１または−１で完全に線形でない限り）、スペースワーピング変換は空間的に不変ではない。これは、その演算が、半球上の異なる位置にあったサウンドオブジェクトに対して異なる振る舞いをすることを意味する。数学的に言えば、この特性は、少なくともいくつかの任意の角度α∈］０．．．２π［に対するワーピング関数ｆ（φ）の非線形性、すなわち
【数３０】
0005921678.tif 000051
の結果である。
【００６７】
可逆性
一般的には、変換行列Ｔは数学的反転によっては単純に逆にできない。ひとつの明らかな理由はＴは通常は非正方行列であることにある。正方なスペースワーピング行列であっても可逆ではない。低次係数から高次係数に広がっている情報が失われ（ＨＯＡ次元の設定のしかたセクションと実施例セクションの例とを比較されたい）、演算で情報が失われることは、その演算が逆転できないことを意味するからである。
【００６８】
それゆえ、スペースワーピング演算を少なくとも近似的に逆転する他の方法を見つけなければならない。逆ワーピング変換Ｔｒｅｖは、ワーピング関数ｆ（・）の逆関数ｆｒｅｖ（・）
【数３１】
0005921678.tif 000052
を介してデザインできる。ＨＯＡ次元の選択によって、この処理は逆変換を近似する。
【００６９】
ＨＯＡ次元の設定のしかた
スペースワーピング変換をデザインする時に考慮すべき重要な側面は、ＨＯＡ次元である。入力ベクトルＡｉｎの次数Ｎｉｎは外的制約により予め決まっているが、出力ベクトルＡｏｕｔの次数Ｎｏｕｔと実際の非線形ワーピング演算の「内部」次数Ｎｗａｒｐは、大体任意に割り当てできる。しかし、両方の次数ＮｉｎとＮｗａｒｐは両方とも以下に説明するように注意して選択しなければならない。
【００７０】
「内部」次元Ｎｗａｒｐ；
「内部」次元Ｎｗａｒｐは、上記のマルチステップスペースワーピングにおける実際のでコーディング、ワーピング、及びエンコーディングステップの精度を確定する。一般的に、次数Ｎｗａｒｐは入力次数Ｎｉｎと出力次数Ｎｏｕｔの両方より大幅に大きくなければならない。この要件の理由は、ワーピング演算が一般的に非線形演算なので、歪みとアーティファクトが生じることにある。
【００７１】
このことを説明するため、図３は、図２の例に用いたのと同じワーピング関数の完全なワーピングマトリックスの例を示す。図３ａ、図３ｃ、及び図３ｅは、それぞれワーピング関数ｆ１（φ）、ｆ２（φ）及びｆ３（φ）を示す。図３ｂ、図３ｄ、及び図３ｆは、それぞれワーピングマトリックスＴ１（ｄＢ）、Ｔ２（ｄＢ）、及びＴ３（ｄＢ）を示す。例示のために、特定の入力次元Ｎｉｎまたは出力次元Ｎｏｕｔのワーピングマトリックスを決定するために、これらのワーピングマトリックスはクリッピングされていない。そのかわり、図３ｂ、図３ｄ、及び図３ｆ中の中央のボックスの点線は、最終結果の目標サイズＮｏｕｔ×Ｎｉｎ、すなわちクリッピングされた変換行列を示す。このように、ワーピングマトリックスへの非線形歪みのインパクトは明らかに見える。この例では、目標次元は任意的にＮｉｎ＝３０及びＮｏｕｔ＝１００に設定されている。
【００７２】
基本的な問題が図３ｂから分かる：明らかに、空間領域における非線形処理により、ワーピングマトリックス内の係数が主対角線の周りに広がり、行列の中心から遠くなればなるほどより大きく広がる。中心から非常に遠いところでは、ｙは縦軸として、例では｜ｙ｜≧９０のところでは、広がった係数は行列全体の境界に達しており、「跳ね返る」ように見える。これにより特殊な歪みが発生し、ワーピングマトリックスの大きな部分に及ぶ。実験的な評価では、歪みプロダクト（distortion  products）が行列の目標エリア（図中、点線で示した）内に配置されるとすぐに、これらの歪みが変換性能を大きく損なうことが観察された。
【００７３】
図３ｂの第１の例の場合、処理の「内部」次数がＮｗａｒｐ＝２００とされ、これは出力次数Ｎｏｕｔ＝１００より大幅に大きいので、うまくいっている。歪んだ領域は点線のボックスには及んでいない。
【００７４】
他のシナリオを図３ｄに示した。内部次数は出力次数に等しく指定されており、すなわちＮｗａｒｐ＝Ｎｏｕｔ＝１００である。図は、歪みの範囲は、内部次数に対して線形にスケールすることを示している。その結果、変換の出力の高次係数は歪みプロダクト（distortion  products）により汚染されている。かかるスケーリング特性の利点は、内部次数Ｎｗａｒｐを適宜大きくすることにより、これらのタイプの非線形歪みを回避できるらしいことである。
【００７５】
図３ｆは、係数がａ＝０．７と大きいよりアグレッシブなワーピング関数を有する例を示す。ワーピング関数がよりアグレッシブなので、内部次数Ｎｗａｒｐ＝２００の場合であっても、歪みは目標行列エリアに及んでしまう。この場合、前出のパラグラフで求めたように、過剰プロビジョニングよりも内部次数はより大きくしなければならない。このワーピング関数の実験は、内部次数を例えばＮ＝４００に増加することにより、これらの非線形歪みがなくなることを示している。
【００７６】
要するに、ワーピング演算が強ければ強いほど、内部次数Ｎｗａｒｐは大きくなければならない。最小内部次数を求める公式はまだ無い。しかし、疑わしい場合には、過剰プロビジョンの「内部」次数が役に立つ。非線形効果はワーピングマトリックスのサイズに対して線形にスケールするからである。原理的に、「内部」次数は任意で高くすることができる。具体的に、シングルステップの変換行列を求める場合、内部次数は最終的なワーピング演算の複雑性に対しては、何ら役割を果たさない。
【００７７】
出力次数Ｎｏｕｔ：
ワーピング変換の出力次数Ｎｏｕｔを記述するため、次の２つの側面を考慮すべきである：
・一般的に、異なる次数の係数に広がったすべての情報を保持するために、出力次数は入力次数Ｎｉｎより大きくなければならない。実際に必要なサイズは、ワーピング関数の特性にも依存する。経験から言って、ワーピング関数ｆ（φ）が「ブロードバンド」でなければないほど、必要な出力次数は小さくなる。いくつかの場合には、必要な出力次数Ｎｏｕｔを制限するため、ワーピング関数をローパスフィルタにかけることができると思われる。
一例は図３ｂに示されている。このワーピング関数の場合、点線のボックスで示したように、出力次数Ｎｏｕｔ＝１００は情報の損失を防ぐのに十分である。出力次数が大幅に、例えばＮｏｕｔ＝５０に低減されると、変換行列のいくつかの非ゼロ係数が残り、対応する情報損失が生じると考えられる。
・いくつかの場合には、限定された次数のみを処理できる処理または装置に対して、出力ＨＯＡ係数を用いる。例えば、ターゲットは、限られた数のスピーカを有するラウドスピーカセットアップであり得る。かかるアプリケーションでは、出力次数は目標システムの能力により指定されるべきである。Ｎｏｕｔが十分小さければ、ワーピング変換により空間的情報が効果的に低減される。
【００７８】
内部次数Ｎｗａｒｐの出力次数Ｎｏｕｔへの低減は、高次係数をドロップすることにより行い得る。これは、ＨＯＡ出力ベクトルへの正方形のウィンドウの適用に対応する。あるいは、上記のM.A.  PolettiやJ.  Danielの文献に記載されているように、.より高度な帯域幅低減手法を適用できる。それにより、正方形のウィンドウイングよりもより多くの情報が失われ易いが、よりよい方向パターンが実現できる。
【００７９】
本発明は、例えば、録音、ポストプロダクション、伝送、再生などのオーディオ処理チェーンの異なる複数の部分で用いることができる。
【図１】
0005921678.tif 000059
【図２ａ】
0005921678.tif 000060
【図２ｂ】
0005921678.tif 000061
【図２ｃ】
0005921678.tif 000062
【図２ｄ】
0005921678.tif 000063
【図２ｅ】
0005921678.tif 000064
【図３】
0005921678.tif 000065