(57)【特許請求の範囲】
【請求項１】
動き補償の方法であって、
動きを補償するように構成されたデバイスが、マイクロフォンアレイによる３次元（３Ｄ）音場の１つ以上のオーディオオブジェクトの取込みに関連付けられた１つ以上の移動を示す動き情報を受け取ることと、
動きを補償するように構成された前記デバイスが、前記マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を補償するために、前記３Ｄ音場の１つ以上の高次アンビソニックス（ＨＯＡ）表現を調整することと、
動きを補償するように構成された前記デバイスが、前記３Ｄ音場の前記１つ以上のＨＯＡ表現に基づいて、動き補償済みビットストリームを生成することと
を備える方法。
【請求項２】
前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、前記マイクロフォンアレイの１つ以上のマイクロフォンに関連付けられた仮想位置決定情報を調整することを備える、請求項１に記載の方法。
【請求項３】
前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、前記１つ以上のＨＯＡ表現に関連付けられた空間情報を変えることを備える、請求項１に記載の方法。
【請求項４】
前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、前記１つ以上の移動に関連付けられた効果マトリクスを取得することを備える、請求項１に記載の方法。
【請求項５】
前記効果マトリクスは、前記１つ以上の移動に対する逆回転動作を表す、請求項４に記載の方法。
【請求項６】
前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、動き補償済み３Ｄ音場を取得するために、前記１つ以上のＨＯＡ表現に前記効果マトリクスを適用することを備える、請求項４に記載の方法。
【請求項７】
前記効果マトリクスを取得することは、
動きを補償するように構成された前記デバイスが、前記１つ以上の移動に関連付けられた回転情報を取得することと、
動きを補償するように構成された前記デバイスが、少なくとも部分的には、前記回転情報の逆を算出することで、前記効果マトリクスを算出することと
を備える、請求項４に記載の方法。
【請求項８】
前記効果マトリクスは、ゼロエントリのセットと重要エントリのセットとを備え、
前記ゼロエントリのセットは、前記重要エントリのセットよりも多い数のエントリを含む、
請求項４に記載の方法。
【請求項９】
前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、前記３Ｄ音場に関連付けられた複数のオーディオサンプルのサブセットについての前記１つ以上のＨＯＡ表現を、前記サブセットのオーディオサンプルの任意の対が前記複数の前記オーディオサンプルのインターバルを表すように調整することを備える、請求項１に記載の方法。
【請求項１０】
前記インターバルは、１０サンプルインターバル又は１２サンプルインターバルのうちの１つを備える、請求項９に記載の方法。
【請求項１１】
動きを補償するように構成された前記デバイスが、１つ以上の補間済み効果マトリクスを取得するために、各インターバルに関連するそれぞれの効果マトリクスを補間することを更に備える、請求項９に記載の方法。
【請求項１２】
動きを補償するように構成された前記デバイスが、対応するインターバルに含まれる対応するサンプルに各補間済み効果マトリクスを適用することを更に備える、請求項１１に記載の方法。
【請求項１３】
動きを補償するように構成された前記デバイスが、１つ以上の微小移動を、前記３Ｄ音場の前記１つ以上のオーディオオブジェクトに関連付けられた１つ以上の緩徐な移動と区別することを更に備える、請求項１に記載の方法。
【請求項１４】
前記微小移動を前記緩徐な移動と区別することは、前記取込みに関連付けられた動き情報を記述する距離、周波数又は角度の鋭さのうちの１つ以上に関連付けられた閾値に基づいている、請求項１３に記載の方法。
【請求項１５】
前記マイクロフォンアレイによる前記３Ｄ音場の前記１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を示す前記動き情報を受け取ることは、動きを補償するように構成された前記デバイスが、前記移動に関連付けられたヨー角、ピッチ角又はロール角のうちの１つ以上を受け取ることを備え、
前記移動を補償するために、前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、前記ヨー角、前記ピッチ角又は前記ロール角のうちの受け取った前記１つ以上に基づいて、回転情報を補償することを備える
請求項１に記載の方法。
【請求項１６】
前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、前記３Ｄ音場の時間ドメイン表現についての前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整することを備える、請求項１に記載の方法。
【請求項１７】
前記３Ｄ音場の前記時間ドメイン表現は、前記３Ｄ音場の事前トランスコード化表現を備える、請求項１６に記載の方法。
【請求項１８】
動きを補償するように構成された前記デバイスが、前記３Ｄ音場に関連して前記マイクロフォンアレイによって取り込まれた全てのオーディオサンプルについての前記１つ以上のＨＯＡ表現を調整することを更に備える、請求項１に記載の方法。
【請求項１９】
前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、前記移動と、前記マイクロフォンアレイに関連付けられた実際の位置決定情報とに基づいて、仮想再位置決定情報を生成することを備える、請求項１に記載の方法。
【請求項２０】
動きを補償するように構成されたデバイスであって、
３次元（３Ｄ）音場に関連付けられたオーディオデータを記憶するように構成されたメモリと、
前記メモリに結合された１つ以上のプロセッサと
を備え、前記１つ以上のプロセッサは、
マイクロフォンアレイによる前記３次元（３Ｄ）音場の１つ以上のオーディオオブジェクトの取込みに関連付けられた１つ以上の移動を示す動き情報を受け取ることと、
前記マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を補償するために、マイクロフォンアレイの１つ以上のマイクロフォンに関連付けられた前記３Ｄ音場の１つ以上の高次アンビソニックス（ＨＯＡ）表現を調整することと、
前記３Ｄ音場の、調整された前記１つ以上のＨＯＡ表現に基づいて、動き補償済みビットストリームを生成することと
を行うように構成される、デバイス。
【請求項２１】
前記マイクロフォンアレイによる前記３Ｄ音場の前記１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を示す前記動き情報を受け取るために、前記１つ以上のプロセッサは、加速度計又はコンパスのうちの１つ以上を備える動き検知デバイスから前記動き情報を受け取るように構成される、請求項２０に記載のデバイス。
【請求項２２】
前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整するために、前記１つ以上のプロセッサは、前記マイクロフォンアレイの１つ以上のマイクロフォンに関連付けられた仮想位置決定情報音場を調整するように構成される、請求項２０に記載のデバイス。
【請求項２３】
前記１つ以上のＨＯＡ表現を調整するために、前記１つ以上のプロセッサは、前記１つ以上の移動に対する逆回転動作を表す効果マトリクスを取得するように構成される、請求項２０に記載のデバイス。
【請求項２４】
前記１つ以上のプロセッサは、前記３Ｄ音場の時間ドメイン表現についての前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整することで、前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整するように構成され、
前記３Ｄ音場の前記時間ドメイン表現は、前記３Ｄ音場の事前トランスコード化表現を備える、
請求項２０に記載のデバイス。
【請求項２５】
前記１つ以上のプロセッサは、前記移動と、前記マイクロフォンアレイに関連付けられた実際の位置決定情報とに基づいて、仮想再位置決定情報を生成することで、前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整するように構成される、請求項２０に記載のデバイス。
【請求項２６】
動きを補償するように構成されたデバイスであって、
３次元（３Ｄ）音場に関連付けられたオーディオデータを記憶するための手段と、
マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの取込みに関連付けられた１つ以上の移動を示す動き情報を受け取るための手段と、
前記マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を補償するために、前記３Ｄ音場の１つ以上の高次アンビソニックス（ＨＯＡ）表現を調整するための手段と、
前記３Ｄ音場の、調整された前記１つ以上のＨＯＡ表現に基づいて、動き補償済みビットストリームを生成するための手段と
を備えるデバイス。
【請求項２７】
前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整するための前記手段は、前記マイクロフォンアレイの１つ以上のマイクロフォンに関連付けられた仮想位置決定情報を調整するための手段を備える、請求項２６に記載のデバイス。
【請求項２８】
前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整するための前記手段は、
前記１つ以上の移動に関連付けられた回転情報を取得するための手段と、
前記回転情報に対する逆動作を表す効果マトリクスを取得するために前記回転情報の逆を算出するための手段と、
動き補償済み３Ｄ音場を取得するために、前記１つ以上のＨＯＡ表現に前記効果マトリクスを適用するための手段と
を備える、請求項２７に記載のデバイス。
【請求項２９】
前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整するための前記手段は、前記３Ｄ音場の時間ドメイン表現についての前記３Ｄ音場の前記１つ以上のＨＯＡ表現を調整するための手段を備え、前記３Ｄ音場の前記時間ドメイン表現は、前記３Ｄ音場の事前トランスコード化表現を備える、請求項２６に記載のデバイス。
【請求項３０】
命令で符号化される非一時的なコンピュータ読取可能な記憶媒体であって、前記命令は、実行されると、動きを補償するためのコンピューティングデバイスの１つ以上のプロセッサに、
マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの取込みに関連付けられた１つ以上の移動を示す動き情報を受け取ることと、
前記マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を補償するために、前記３Ｄ音場の１つ以上の高次アンビソニックス（ＨＯＡ）表現を調整することと、
前記３Ｄ音場の、調整された前記１つ以上のＨＯＡ表現に基づいて、動き補償済みビットストリームを生成することと
を行わせる、非一時的なコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【関連出願】
【０００１】
[0001]本願は、以下の優先権を主張し、以下の各々の全コンテンツは、参照によって本明細書に組み込まれる：
２０１５年２月３日に出願された「CODING HIGHER-ORDER AMBISONIC AUDIO DATA WITH MOTION STABILIZATION」と題する米国特許仮出願第６２／１１１，６４１号、及び
２０１５年２月３日に出願された「CODING HIGHER-ORDER AMBISONIC AUDIO DATA WITH MOTION STABILIZATION」と題する米国特許仮出願第６２／１１１，６４２号。
【技術分野】
【０００２】
[0002]本開示はオーディオデータに関し、より具体的には、高次アンビソニックオーディオデータのコード化に関する。
【背景技術】
【０００３】
[0003]（複数の球面調和係数（ＳＨＣ）又は他の階層要素によって表されることが多い）高次アンビソニックス（ＨＯＡ）信号は、音場の３次元表現である。ＨＯＡ又はＳＨＣ表現は、ＳＨＣ信号からレンダリングされるマルチチャネルオーディオ信号を再生するために使用されるローカルスピーカ幾何学的配置から独立している方法で音場を表し得る。ＳＨＣ信号はまた、このＳＨＣ信号が、５．１オーディオチャネルフォーマット又は７．１オーディオチャネルフォーマットのような、周知かつ高く採用されているマルチチャネルフォーマットにレンダリングされ得るため、後位互換性を容易にし得る。従って、ＳＨＣ表現は、後位互換性にも対応する音場のより良好な表現を可能にし得る。
【発明の概要】
【０００４】
[0004]一般に、高次アンビソニックスオーディオデータのコード化のための技法が説明される。高次アンビソニックスオーディオデータは、１よりも大きい次数を有する球面調和基底関数に対応する少なくとも１つの高次アンビソニック（ＨＯＡ）係数を備え得る。
【０００５】
[0005]一態様では、本開示は、動き補償の方法に向けられている。方法は、動き（motion）を補償するように構成されたデバイスによって、マイクロフォンアレイによる３次元（３Ｄ）音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動（movements）を示す動き情報を受け取ることを含む。方法は、動きを補償するように構成されたデバイスによって、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を補償するために、マイクロフォンアレイの１つ又は複数のマイクロフォンに関連付けられた仮想位置決定情報を調整することを更に含む。方法は、動きを補償するように構成されたデバイスによって、調整された仮想位置決定情報に基づいて、動き補償済みビットストリームを生成することを更に含み得る。
【０００６】
[0006]別の態様では、本開示は、動きを補償するように構成されたデバイスに向けられている。デバイスは、３次元（３Ｄ）音場に関連付けられたオーディオデータを記憶するように構成されたメモリと、１つ又は複数のプロセッサとを含む。１つ又は複数のプロセッサは、マイクロフォンアレイによる３次元（３Ｄ）音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を示す動き情報を受け取ることと、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を補償するために、マイクロフォンアレイの１つ又は複数のマイクロフォンに関連付けられた仮想位置決定情報を調整することとを行うように構成される。１つ又は複数のプロセッサはまた、調整された仮想位置決定情報に基づいて、動き補償済みビットストリームを生成するように構成され得る。
【０００７】
[0007]別の態様では、本開示は、動きを補償するように構成されたデバイスに向けられている。デバイスは、３次元（３Ｄ）音場に関連付けられたオーディオデータを記憶するための手段と、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を示す動き情報を受け取るための手段と、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を補償するために、マイクロフォンアレイの１つ又は複数のマイクロフォンに関連付けられた仮想位置決定情報を調整するための手段とを含む。デバイスはまた、調整された仮想位置決定情報に基づいて、動き補償済みビットストリームを生成するための手段を含み得る。
【０００８】
[0008]別の態様では、本開示は、命令で符号化された、非一時的なコンピュータ読取可能な記憶媒体に向けられている。これらの命令は、実行されると、動きを補償するためのコンピューティングデバイスの１つ又は複数のプロセッサに、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を示す動き情報を受け取ることと、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を補償するために、マイクロフォンアレイの１つ又は複数のマイクロフォンに関連付けられた仮想位置決定情報を調整することと、調整された仮想位置決定情報に基づいて、動き補償済みビットストリームを生成することとを行わせる。
【０００９】
[0009]本技法の１つ又は複数の態様の詳細が、付随の図面及び以下の説明において示される。本技法の他の特徴、目的及び利点は、本説明及び図面から並びに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】[0010]図１は、様々な次数及び副次数（sub-order）の球面調和基底関数を例示する図である。
【図２】[0011]図２は、本開示で説明される技法の様々な態様を実行し得るシステムを例示する図である。
【図３Ａ】[0012]図３Ａは、本開示の態様に係る、コンテンツ取込みデバイス及びコンテンツ取込み支援デバイスの例となる実現をより詳細に例示するブロック図である。
【図３Ｂ】図３Ｂは、本開示の態様に係る、コンテンツ取込みデバイス及びコンテンツ取込み支援デバイスの例となる実現をより詳細に例示するブロック図である。
【図４Ａ】[0013]図４Ａは、本開示で説明されるコード化技法の様々な態様を実行する際のオーディオ符号化デバイスの例示的な動作を例示するフローチャートである。
【図４Ｂ】[0014]図４Ｂは、図４Ａに例示されるプロセスの代替的な表現を例示するフローチャートである。
【図４Ｃ】[0015]図４Ｃは、本開示の１つ又は複数の態様に係る、音場のオーディオオブジェクトの３Ｄ移動を測定する際に安定化ユニットが使用し得る様々な角度を例示する概念図である。
【図４Ｄ】[0016]図４Ｄは、本開示の１つ又は複数の態様に係る、安定化ユニットが、ＨＯＡドメインにおけるオーディオオブジェクトの動き安定化のための、図４Ａのプロセスに関連して実現し得る微調整を例示する概念図である。
【図５】[0017]図５は、本開示で説明されるコード化技法を実行する際のオーディオ復号デバイスの例示的な動作を例示するフローチャートである。
【図６Ａ】[0018]図６Ａは、本開示の様々な態様に係る、コンテンツ取込みデバイス３００とマイクロフォンとのある組み合わせを例示する図である。
【図６Ｂ】図６Ｂは、本開示の様々な態様に係る、コンテンツ取込みデバイス３００とマイクロフォンとの別の組み合わせを例示する図である。
【図６Ｃ】図６Ｃは、本開示の様々な態様に係る、コンテンツ取込みデバイス３００とマイクロフォンとのさらに別の組み合わせを例示する図である。
【図６Ｄ】図６Ｄは、本開示の様々な態様に係る、コンテンツ取込みデバイス３００とマイクロフォンとのさらに別の組み合わせを例示する図である。
【図６Ｅ】図６Ｅは、本開示の様々な態様に係る、コンテンツ取込みデバイス３００とマイクロフォンとのさらに別の組み合わせを例示する図である。
【図６Ｆ】図６Ｆは、本開示の様々な態様に係る、コンテンツ取込みデバイス３００とマイクロフォンとのさらに別の組み合わせを例示する図である。
【図７Ａ】[0019]図７Ａは、本開示で説明される技法に係る、コンテンツ取込みデバイスに固定された３次元マイクロフォンを利用するスマートフォンの形式のコンテンツ取込みデバイスの異なる例を例示する図である。
【図７Ｂ】図７Ｂは、本開示で説明される技法に係る、コンテンツ取込みデバイスに固定された３次元マイクロフォンを利用するスマートフォンの形式のコンテンツ取込みデバイスの異なる例を例示する図である。
【図７Ｃ】図７Ｃは、本開示で説明される技法に係る、コンテンツ取込みデバイスに固定された３次元マイクロフォンを利用するスマートフォンの形式のコンテンツ取込みデバイスの異なる例を例示する図である。
【図７Ｄ】図７Ｄは、本開示で説明される技法に係る、コンテンツ取込みデバイスに固定された３次元マイクロフォンを利用するスマートフォンの形式のコンテンツ取込みデバイスの異なる例を例示する図である。
【図７Ｅ】図７Ｅは、本開示で説明される技法に係る、コンテンツ取込みデバイスに固定された３次元マイクロフォンを利用するスマートフォンの形式のコンテンツ取込みデバイスの異なる例を例示する図である。
【図８Ａ】[0020]図８Ａは、本開示の１つ又は複数の態様に係る、マイクロフォンの異なる例を例示する図である。
【図８Ｂ】図８Ｂは、本開示の１つ又は複数の態様に係る、マイクロフォンの異なる例を例示する図である。
【図９】[0021]図９は、本開示の１つ又は複数の態様に係る、１つ又は複数の例となるコンテンツ取込み支援デバイスと通信状態にある例となるコンテンツ取込みデバイスを例示する概念図である。
【発明の詳細な説明】
【００１１】
[0022]サラウンドサウンドの進化により、現今、エンターテイメントのための多くの出力フォーマットが利用可能になった。そのような消費者向けのサラウンドサウンドフォーマットの例は、それらが、特定の幾何学的な座標にあるラウドスピーカへのフィード（供給）を暗に特定する点で、大抵は「チャネル」ベースである。消費者向けのサラウンドサウンドフォーマットは、（フロントレフト（ＦＬ）、フロントライト（ＦＲ）、センタ又はフロントセンタ、バックレフト又はサラウンドレフト、バックライト又はサラウンドライト、低周波数効果（ＬＦＥ））という６つのチャネルを含む）普及している５．１フォーマットと、成長中の７．１フォーマットと、（例えば、超高精細テレビ規格で使用するための）７．１．４フォーマット及び２２．２フォーマットのようなハイトスピーカを含む様々なフォーマットとを含む。消費者向けでないフォーマットは、「サラウンドアレイ」と称されることが多い（対称的幾何学的配置又は非対称的幾何学的配置の）任意の数のスピーカに及び得る。そのようなアレイの一例は、切頂二十面体のコーナ上の座標に配置された３２個のラウドスピーカを含む。
【００１２】
[0023]将来のＭＰＥＧエンコーダへの入力は、オプション的に、３つの可能なフォーマットのうちの１つである：（ｉ）（上述した）典型的なチャネルベースのオーディオ、これは、事前に指定された位置にあるラウドスピーカを通じて再生されるように意図されている、（ｉｉ）オブジェクトベースのオーディオ、これは、単一オーディオオブジェクトについての離散パルス符号変調（ＰＣＭ）データを、（数ある情報の中でもとりわけ）それらのロケーション座標を含む関連メタデータに含める、及び（ｉｉｉ）シーンベースのオーディオ、これは、（「球面調和係数」又はＳＨＣ、「高次アンビソニックス」又はＨＯＡ及び「ＨＯＡ係数」とも呼ばれる）球面調和基底関数の係数を使用して音場を表現することを伴う。将来のＭＰＥＧエンコーダは、スイスのジュネーブにおいて２０１３年１月に公開され、http://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w13411.zipで入手可能である、国際標準化機構／国際電気標準会議（ＩＳＯ）／（ＩＥＣ）のＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ１３４１１による「Call for Proposals for 3D Audio」と題する文書においてより詳細に記載され得る。
【００１３】
[0024]この市場には、様々な「サラウンド−サウンド」チャネルベースのフォーマットが存在する。それらは、例えば、（ステレオ以上にリビングルームに進出したという観点から最も成功している）５．１ホームシアターシステムから、ＮＨＫ（日本放送協会（Nippon Hoso Kyokai）又は日本放送協会（Japan Broadcasting Corporation））によって開発された２２．２システムまで多岐にわたる。コンテンツ製作者（例えば、ハリウッドスタジオ）は、映画用のサウンドトラックを一度製作し、各スピーカ構成のためにそれをリミックスする努力を費やさないことを望むだろう。最近、標準開発機関（Standards Developing Organizations）は、標準化ビットストリームへの符号化と、（レンダラを含む）再生装置の位置における音響条件及びスピーカ幾何学的配置（及び、数）に対して適応可能かつ不可知論的な後続の復号とを提供するための方法を検討してきた。
【００１４】
[0025]コンテンツ製作者にそのような柔軟性を提供するため、要素の階層的セットが、音場を表すために使用され得る。要素の階層的セットは、要素のセットを指し得、そこでは、それらの要素は、低次要素（lower-ordered element）の基本セットが、モデリングされた音場の完全な表現を提供するように順序付けられる。このセットが高次要素（higher-order element）を含むように拡張されると、この表現は、より詳細になり、解像度が高まる。
【００１５】
[0026]要素の階層的セットの一例は、球面調和係数（ＳＨＣ）のセットである。以下の式は、ＳＨＣを使用して音場の記述又は表現を実証する：
【数１】
0006301567.tif 000002
大括弧内の項が、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）又はウェーブレット変換のような様々な時間周波数変換によって近似され得る信号の周波数ドメイン表現（即ち、Ｓ（ω，ｒｒ，θｒ，φｒ））であることは認識され得る。階層的セットの他の例は、ウェーブレット変換係数のセット及び多重分解能基底関数（multiresolution basis function）の係数の他のセットを含む。
【００１６】
[0028]図１は、ゼロ次（ｎ＝０）から４次（ｎ＝４）までの球面調和基底関数を例示する図である。図に示すように、次数ごとに、副次数ｍの拡張が存在するが、これは、例示を容易にするために、図１の例において示されてはいるが明示的には述べられていない。
【００１７】
【数２】
0006301567.tif 000003
ＳＨＣは、シーンベースのオーディオを表し、ここで、ＳＨＣは、より効率的な送信又は記憶を促進し得る符号化されたＳＨＣを取得するためにオーディオエンコーダに入力され得る。例えば、（１＋４）２個（２５個、よって４次）の係数を伴う４次表現が使用され得る。
【００１８】
[0030]上で述べたように、ＳＨＣは、マイクロフォンアレイを使用したマイクロフォン録音から導出され得る。ＳＨＣがマイクロフォンアレイからどのように導出され得るかの様々な例は、２００５年１１月のＪ．Ａｕｄｉｏ Ｅｎｇ．Ｓｏｃ．第５３巻、第１１号の第１００４−１０２５頁の、Poletti, M．による「Three-Dimensional Surround Sound Systems Based on Spherical Harmonics」に記載されている。
【００１９】
[0031]ＳＨＣがオブジェクトベースの記述からどのように導出され得るかを例示するために、以下の方程式を考慮する。
【数３】
0006301567.tif 000004
本来、係数は、音場についての情報（３Ｄ座標の関数としての圧力）を含み、上記は、観測点｛ｒｒ，θｒ，φｒ｝の近接における、個々のオブジェクトから全体の音場の表現への変換を表す。残りの図は、オブジェクトベース及びＳＨＣベースのオーディオコード化のコンテキストで以下に説明される。
【００２０】
[0032]図２は、本開示で説明される技法の様々な態様を実行し得るシステム１０を例示する図である。図２の例に示されるように、システム１０は、コンテンツ製作者デバイス１２と、コンテンツ消費者デバイス１４とを含む。コンテンツ製作者デバイス１２及びコンテンツ消費者デバイス１４のコンテキストで説明されているが、本技法は、オーディオデータを表すビットストリームを形成するために、（ＨＯＡ係数とも呼ばれ得る）ＳＨＣ又は音場の任意の他の階層的表現が符号化される任意のコンテキストで実現され得る。更に、コンテンツ製作者デバイス１２は、数例を提供するために、ハンドセット（又は、セルラ電話）、タブレットコンピュータ、スマートフォン又はデスクトップコンピュータを含む、本開示で説明される技法を実現する能力がある任意の形式のコンピューティングデバイスを表し得る。同様に、コンテンツ消費者デバイス１４は、数例を提供するために、ハンドセット（又は、セルラ電話）、タブレットコンピュータ、スマートフォン、セットトップボックス又はデスクトップコンピュータを含む、本開示で説明される技法を実現する能力がある任意の形式のコンピューティングデバイスを表し得る。
【００２１】
[0033]コンテンツ製作者デバイス１２は、コンテンツ消費者デバイス１４のようなコンテンツ消費者デバイスのオペレータによる消費のためのマルチチャネルオーディオコンテンツを生成し得る映画スタジオ又は他のエンティティによって動作され得る。いくつかの例では、コンテンツ製作者デバイス１２は、ＨＯＡ係数１１を圧縮したいと望む個々のユーザによって動作され得る。多くの場合、コンテンツ製作者は、ビデオコンテンツと同時にオーディオコンテンツを生成する。コンテンツ消費者デバイス１４は、個人によって動作され得る。コンテンツ消費者デバイス１４は、マルチチャネルオーディオコンテンツとしての再生のためにＳＨＣをレンダリングする能力がある任意の形式のオーディオ再生システムを指し得る、オーディオ再生システム１６を含み得る。
【００２２】
[0034]コンテンツ製作者デバイス１２は、コンテンツ取込みデバイス３００とコンテンツ取込み支援デバイス３０２とを含む。コンテンツ取込みデバイス３００は、マイクロフォン５とインターフェース接続するか他の方法で通信するように構成され得る。マイクロフォン５は、ＨＯＡ係数１１として音場を取り込む及び表現する能力のあるアイゲンマイク（登録商標）又は他のタイプの３Ｄオーディオマイクロフォンを表し得る。コンテンツ取込みデバイス３００は、いくつかの例では、コンテンツ取込みデバイス３００の筐体へと統合された統合マイクロフォン５を含み得る。いくつかの例では、コンテンツ取込みデバイス３００は、マイクロフォン５とワイヤレスに又はワイヤード接続を介してインターフェース接続し得る。コンテンツ取込みデバイスとマイクロフォンとの様々な組み合わせは、以下でより詳細に説明される。
【００２３】
[0035]コンテンツ取込みデバイス３００は、カメラ、（保護ケースと、スポーツ及び他の厳しい（rugged）アクティビティ中の生録音に好適な構成要素とを含み得る）堅牢カメラ、セルラ電話、いわゆる「スマートフォン」、タブレットコンピュータ、デスクトップコンピュータ、ワークステーション、又は音場を表すＨＯＡ係数１１を取り込むためにマイクロフォン５とインターフェース接続する能力のある任意の他のデバイスを含み得る。コンテンツ取込みデバイス３００はまた、コンテンツ取込み支援デバイス３０２とインターフェース接続するか他の方法で通信するように構成され得る。コンテンツ取込み支援デバイス３０２は、セルラ電話、いわゆる「スマートフォン」、タブレットコンピュータ、デスクトップコンピュータ、ワークステーション、又はコンテンツ取込みデバイス３００とインターフェース接続する能力のある任意の他のデバイスを含み得る。
【００２４】
[0036]コンテンツ取込みデバイス３００は、いくつかの例では、コンテンツ取込み支援デバイス３０２とワイヤレスに通信するように構成され得る。いくつかの例では、コンテンツ取込みデバイス３００は、コンテンツ取込み支援デバイス３０２と通信、ワイヤレス接続又はワイヤード接続の一方又は両方を介して通信し得る。コンテンツ取込みデバイス３００とコンテンツ取込み支援デバイス３０２との間の接続を介して、コンテンツ取込みデバイス３００は、コンテンツ３０１の様々な形式でコンテンツを提供し得る。コンテンツ３０１は、ビデオデータ、テキストデータ、画像データ及びオーディオデータのうちの１つ又は複数を含み得る。コンテンツ３０１がビデオデータを含むとき、そのビデオデータは、非圧縮形式又は圧縮形式であり得る。コンテンツが画像データを含むとき、その画像データは、非圧縮形式又は圧縮形式であり得る。コンテンツがオーディオデータを含むとき、そのオーディオデータは、非圧縮形式又は圧縮形式であり得る。
【００２５】
[0037]コンテンツ取込み支援デバイス３０２は、コンテンツ３０１を取り込むのを支援するためにコンテンツ取込みデバイス３００とインターフェース接続するように構成されたデバイスを表し得る。コンテンツ取込み支援デバイス３０２は、いくつかの例では、コンテンツ取込み支援デバイス３０２のオペレータがコンテンツ取込みデバイス３００の動作を制御することを可能にするように構成された（「ａｐｐ」と呼ばれ得る）アプリケーションを実行し得る。アプリケーションは、オペレータが、ビデオ記録セッティング、テキストセッティング、画像取込みセッティング及びオーディオ記録セッティングのような、コンテンツ取込みデバイス３００の様々なセッティングを構成することを可能にし得る。アプリケーションはまた、オペレータが、コンテンツ３０１の取込みを開始すること、コンテンツ３０１の取込みを停止すること、又はコンテンツ３０１の取込みの開始及び停止を両方行うことを可能にし得る。
【００２６】
[0038]コンテンツ取込み支援デバイス３０２はまた、コンテンツ３０１の処理を様々な方法で支援し得る。いくつかの例では、コンテンツ取込みデバイス３００は、（コンテンツ取込み支援デバイス３０２のハードウェア又はソフトウェア能力の観点から）コンテンツ取込み支援デバイス３０２の様々な態様を利用し得る。例えば、コンテンツ取込み支援デバイス３０２は、（ＭＰＥＧ（Motion Picture Experts Group）によって示された「ＵＳＡＣ」と表される音声音響統合コーダ（unified speech and audio coder）のような）聴覚心理オーディオ符号化（psychoacoustic audio encoding）を実行するように構成された専用ハードウェア（又は、実行されると、１つ又は複数のプロセッサにそれを行わせる専門ソフトウェア）を含み得る。コンテンツ取込みデバイス３００は、聴覚心理オーディオエンコーダ専用ハードウェア又は専門ソフトウェアを含まず、代わりに、コンテンツ３０１のオーディオアスペクトを聴覚心理オーディオコード化以外の形式で提供し得る。コンテンツ取込み支援デバイス３０２は、少なくとも部分的には、コンテンツ３０１のオーディオアスペクトに関連して聴覚心理オーディオ符号化を実行することで、コンテンツ３０１の取込みを支援し得る。
【００２７】
[0039]コンテンツ取込み支援デバイス３０２はまた、コンテンツ３０１に少なくとも部分的に基づいて１つ又は複数のビットストリーム２１を生成することで、コンテンツ取込みを支援し得る。ビットストリーム２１は、圧縮バージョンのＨＯＡ係数１１及び（圧縮バージョンの取り込まれたビデオデータ、画像データ又はテキストデータのような）任意の他の異なるタイプのコンテンツ３０１を表し得る。コンテンツ取込み支援デバイス３０２は、一例として、ワイヤード又はワイヤレスチャネル、データ記録デバイス又は同様のものであり得る送信チャネルにわたって、送信のためのビットストリーム２１を生成し得る。ビットストリーム２１は、符号化バージョンのＨＯＡ係数１１を表し得、一次ビットストリームと、サイドチャネル情報と呼ばれ得る別のサイドビットストリームとを含み得る。
【００２８】
[0040]図２では、コンテンツ消費者デバイス１４に直接送信されるとして示されているが、コンテンツ製作者デバイス１２は、コンテンツ製作者デバイス１２とコンテンツ消費者デバイス１４との間に配置された中間デバイスにビットストリーム２１を出力し得る。中間デバイスは、このビットストリームを要求し得るコンテンツ消費者デバイス１４への後の配信のためにビットストリーム２１を記憶し得る。中間デバイスは、ファイルサーバ、ウェブサーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイル電話、スマートフォン、又はオーディオデコーダによる後の取出しのためにビットストリーム２１を記憶する能力がある任意の他のデバイスを備え得る。中間デバイスは、ビットストリーム２１を要求する、コンテンツ消費者デバイス１４のような加入者にビットストリーム２１を（場合によっては、対応するビデオデータビットストリームを送信することと共に）ストリーミングする能力があるコンテンツ配信ネットワークに存在し得る。
【００２９】
[0041]代替的に、コンテンツ製作者デバイス１２は、コンパクトディスク、デジタルビデオディスク、高解像度ビデオディスクのような記憶媒体又は他の記憶媒体にビットストリーム２１を記憶し得、それらの多くが、コンピュータによって読み出されることができ、従って、コンピュータ読取可能な記憶媒体又は非一時的なコンピュータ読取可能な記憶媒体と呼ばれ得る。このコンテキストでは、送信チャネルは、媒体に記憶されたコンテンツが送信されるチャネルを指し得る（そして、小売店及び他の店ベースの配信メカニズムを含み得る）。従って、何れにしても、本開示の技法は、この点で、図２の例に制限されるべきではない。
【００３０】
[0042]図２の例において更に示されるように、コンテンツ消費者デバイス１４は、オーディオ再生システム１６を含む。オーディオ再生システム１６は、マルチチャネルオーディオデータを再生する能力がある任意のオーディオ再生システムを表し得る。オーディオ再生システム１６は、多数の異なるレンダラ２２を含み得る。レンダラ２２は、各々、異なる形式のレンダリングを提供し得、ここで、異なる形式のレンダリングは、ベクトル基底振幅パン（ＶＢＡＰ）を実行することの様々な方法のうちの１つ又は複数及び／又は音場合成を実行することの様々な方法のうちの１つ又は複数を含み得る。本明細書で説明される場合、「Ａ及び／又はＢ」は、「Ａ又はＢ」、又は「Ａ及びＢ」の両方を意味する。
【００３１】
[0043]オーディオ再生システム１６は、オーディオ復号デバイス２４を更に含み得る。オーディオ復号デバイス２４は、ビットストリーム２１からＨＯＡ係数１５を復号するように構成されたデバイスを表し得、ここで、ＨＯＡ係数１５は、ＨＯＡ係数１１に類似し得るが、損失の多い動作（例えば、量子化）及び／又は送信チャネルを介した送信により異なり得る。オーディオ再生システム１６は、ＨＯＡ係数１５を取得するためにビットストリーム２１を復号した後に、ラウドスピーカフィード２５を出力するためにＨＯＡ係数１５をレンダリングする。ラウドスピーカフィード２５は、（例示を簡潔にするために図２の例には示されていない）１つ又は複数のラウドスピーカを駆動し得る。
【００３２】
[0044]適切なレンダラを選択するために、又は、いくつかの事例では、適切なレンダラを生成するために、オーディオ再生システム１６は、ラウドスピーカの数及び／又はラウドスピーカの空間的幾何学的配置を示すラウドスピーカ情報１３を取得し得る。いくつかの事例では、オーディオ再生システム１６は、基準マイクロフォンを使用して、及び、ラウドスピーカ情報１３を動的に決定するような方法でラウドスピーカを駆動して、ラウドスピーカ情報１３を取得し得る。他の事例では又はラウドスピーカ情報１３の動的な決定と併せて、オーディオ再生システム１６は、オーディオ再生システム１６とインターフェース接続し、ラウドスピーカ情報１３を入力するようユーザに促し得る。
【００３３】
[0045]次に、オーディオ再生システム１６は、ラウドスピーカ情報１３に基づいてオーディオレンダラ２２のうちの１つを選択し得る。いくつかの事例では、オーディオ再生システム１６は、オーディオレンダラ２２の何れもが、ラウドスピーカ情報１３において指定されたラウドスピーカ幾何学的配置に対して、（ラウドスピーカ幾何学的配置の観点から）何らかの閾値類似性尺度内にないとき、ラウドスピーカ情報１３に基づいて、オーディオレンダラ２２のうちの１つを生成し得る。オーディオ再生システム１６は、いくつかの事例では、オーディオレンダラ２２のうちの既存の１つを選択しようと最初に試みることなく、ラウドスピーカ情報１３に基づいてオーディオレンダラ２２のうちの１つを生成し得る。次に、１つ又は複数のスピーカは、レンダリングされたラウドスピーカフィード２５を再生し得る。
【００３４】
[0046]図３Ａ及び３Ｂは、より詳細に、コンテンツ取込みデバイス３００及びコンテンツ取込み支援デバイス３０２の例となる実現を例示するブロック図である。図３Ａの例は一般に、本開示の事後トランスコード化安定化技法に向けられている。コンテンツ取込みデバイス３００は、オーディオコンテンツ取込みユニット３１０と、オーディオ符号化デバイス２０と、非オーディオコンテンツ取込みユニット３１２と、非オーディオ符号化デバイス３１４と、インターフェースユニット３１６（「インターフェース３１６」）とを含む。示されるように、コンテンツ取込みデバイス３００はまた、安定化ユニット３２０を含む。オーディオコンテンツ取込みユニット３１０は、マイクロフォン５とインターフェース接続し、マイクロフォン５から受け取ったオーディオデータを安定化ユニット３２０に供給するように構成されたユニットを表し得る。オーディオコンテンツ取込みユニット３１０は、取り込まれたＨＯＡ係数１１を安定化ユニット３２０に供給し得る。マイクロフォン５は、上では、ＨＯＡ係数１１を取り込むとして上述されているが、様々な実現では、コンテンツ取込みデバイスの他の構成要素（例えば、オーディオコンテンツ取込みユニット３１０）が、マイクロフォン５によって供給されるオーディオデータを使用してＨＯＡ係数１１を生成し得ることは認識されるであろう。例えば、安定化ユニット３２０は、マイクロフォン５のマイクロフォンアレイに含まれる個々のマイクロフォンの各々についての位置情報を使用して、マイクロフォン５の出力をＨＯＡ係数へとトランスコード化し得る。
【００３５】
[0047]次に、安定化ユニット３２０は、マイクロフォン５に関する特定の動き情報を補償するために、ＨＯＡ係数１１を調整するために、本開示の技法を実現し得る。より具体的には、安定化ユニット３２０は、マイクロフォンジッタ又はマイクロフォン５に関連付けられた他のそのような移動によって生じる効果を緩和するために、又はいくつかのケースでは除去するために、音場のオーディオオブジェクトを安定化し得る。図３Ａの例では、安定化ユニット３２０は、ＨＯＡドメインにおけるデータ（即ち、ＨＯＡ係数１１）を使用して、マイクロフォン５のジッタ指示移動（jitter-indicating movement）を修正し得る。
【００３６】
[0048]追加的に、安定化ユニット３２０は、移動をトラッキングするのを助ける加速度計又はコンパスのような、例えば、３次元（３Ｄ）又は６自由度といった複数の自由度で動き情報を検知するように構成されたデバイスから、マイクロフォン５についての移動情報を受け取り得る。次に、安定化ユニット３２０は、本開示の動き安定化技法を実行するために、３Ｄ動き情報を適用し得る。様々な例では、マイクロフォン５は、（例えば、個々のマイクロフォンの球面アレイの中央に配置された）内蔵の加速度計を含み得るか、外付けの加速度計（例えば、マイクロフォン５の他の構成要素に取り付けられている加速度計）に結合され得る。一例では、加速度計は、マイクロフォン５のステム（stem）又はハンドルに含まれ得る。一般に、加速度計は、同一平面に沿って、又はマイクロフォン５のアレイと実質的に類似した平面に沿って回転する任意のロケーションに配置され得る。より具体的には、安定化ユニット３２０は、ＨＯＡ係数１１に逆回転を適用することで、動き安定化を実行し得る。
【００３７】
[0049]（例えば、ジッタを示す）移動を補償することで音場を安定化することは、図３Ａの実現におけるケースのように、（例えば、ＨＯＡ係数１１に関連する）ＨＯＡドメインにおいて実現されるとき、より計算効率が良いだろう。故に、様々なシナリオでは、図３Ａに例示される解決策は、他の代替例よりも実現可能であり得る。例えば、安定化ユニット３２０は、構造上の制約の導入及びマイクロフォン５又はコンテンツ取込みデバイス３００への追加を必要とすることなく、マイクロフォン５によって取り込まれた３Ｄ音場における移動（例えば、ジッタ）を補償し得る。故に、安定化ユニット３２０は、ユーザ生成コンテンツ及び／又は本人の話（first person account）を取り込むことに関連した、コンテンツ取込みデバイス３００及び／又はマイクロフォン５の有用性を潜在的に邪魔することなく、ジッタのような移動を補償し得る。
【００３８】
[0050]特定の例では、安定化ユニット３２０は、マイクロフォン５に関連付けられた動き情報を分析し、記録された動き情報とは逆の方法で音場を回転し得る。いくつかの例では、安定化ユニット３２０は、マイクロフォン５の特定の移動を補償（又は、逆に回転）するのみであり得る。例えば、安定化ユニット３２０は、迅速な移動、ジッタ又は高周波数移動だけを補償し得、これらは全て、上では「微小移動」として説明される。より具体的には、この例では、安定化ユニット３２０は、加速度計によって記録された他の（例えば、より平滑な又はより勾配のある）動き情報を保持し得、それによって、３Ｄオーディオ生成の品質を維持する。
【００３９】
[0051]様々な例では、安定化ユニット３２０は、ＨＯＡ係数１１に効果マトリクス（effects matrix）を適用することで、本開示の動き安定化技法を実現し得る。安定化ユニット３２０は、加速度計によってマイクロフォン５のために記録された動き情報を使用して、効果マトリクスを生成し得る。より具体的には、安定化ユニット３２０は、マイクロフォン５のために加速度計によって記録された動き情報と比較して、音場への効果マトリクスの適用が音場の逆回転をもたらすように効果マトリクスを生成し得る。効果マトリクスを適用することで、安定化ユニット３２０は、オーディオコンテンツ取込みユニット３１０によって生成されたＨＯＡ係数１１に混合及び／又は重み付けを追加し得る。この例では、安定化ユニット３２０が受け取るＨＯＡ係数１１は、「非補償型」ＨＯＡ係数を表し得る。効果マトリクスを非補償型ＨＯＡ係数１１に適用することで、安定化ユニット３２０は、動き補償済みＨＯＡ係数１５を生成し得る。本開示の効果マトリクス及び動き補償プロセスの更なる詳細は、図４Ａ−４Ｄに関連して以下で説明される。
【００４０】
[0052]オーディオ符号化デバイス２０は、ＨＯＡ係数１１の（ビット単位での）サイズを低減するために、ＨＯＡ係数１１をコード化するように構成されたユニットを表し得る。オーディオ符号化デバイス２０は、ビットストリーム２１を生成し得、これは、次に、再送信又は記憶のためにコンテンツ取込み支援デバイス３０２にパスされる。オーディオ符号化デバイス２０は、文書番号ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ２０１４／Ｍ３１８２７の、２０１４年１月付けで、米国のサンノゼで提示された「RM1-HOA Working Draft Text」と題するＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１新興規格のような既知のオーディオ規格に適合するようにビットストリーム２１を生成し得る。
【００４１】
[0053]非オーディオコンテンツ取込みユニット３１２は、ビデオデータ、画像データ又はテキストデータのような、全ての非オーディオコンテンツを取り込むように構成されたユニットを表し得る。例示のために、非オーディオコンテンツ取込みユニット３１２は、ビデオデータの形式で非オーディオコンテンツを取り込み得ると想定される。非オーディオ符号化デバイス３１４は、ビデオデータを符号化するように構成されたユニットを表し得る。非オーディオ符号化デバイス３１４は、ビデオコード化規格に適合するビットストリームを生成し得る。例となるビデオコード化規格は、ＨＥＶＣ（High-Efficiency Video Coding）規格であり、これは、ＩＴＵ−Ｔ ＶＣＥＧ（Video Coding Experts Group）のＪＣＴ−ＶＣ（Joint Collaboration Team on Video Coding）及びＩＳＯ／ＩＥＣ ＭＰＥＧ（Motion Picture Experts Group）によって最近完成された。以降ＨＥＶＣバージョン１と称される最新のＨＥＶＣ規格は、http://www.itu.int/rec/T-REC-H.265-201304-Iから入手可能である。非オーディオ符号化デバイス３１４は、圧縮バージョンのビデオデータを表すビットストリーム２１を生成し得る。
【００４２】
[0054]インターフェースユニット３１６は、別のデバイスとインターフェース接続するように構成されたユニットを表す。インターフェースユニット３１６は、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、ピア・ツー・ピアネットワーク又はパーソナルエリアネットワーク（ＰＡＮ）のようなネットワークを介してもう一方のデバイスとインターフェース接続し得る。ＷＬＡＮの例は、ＩＥＥＥ８０２．１１ｇワイヤレス規格に適合するＩＥＥＥ８０２．１１ｇ ＷＬＡＮである。ＰＡＮの例は、ブルートゥース（登録商標）の規格セットに適合するＰＡＮである。インターフェースユニット３１６は、いくつかの例では、専用の接続（例えば、ワイヤ）を介してもう一方のデバイスとインターフェース接続し得る。
【００４３】
[0055]ＨＯＡ係数１１が３次元（３Ｄ）で音場を記述し得ると仮定すると、非圧縮ＨＯＡ係数１１のサイズは、かなり大きいだろう。音場の４次表現では、ＨＯＡ係数１１の各サンプルは、（４＋１）２個、即ち２５個の係数を含む。これらの係数の各々は、３２ビット数である。従って、ＨＯＡ係数１１の各サンプルは、約２５×３２、即ち８００ビットである。
【００４４】
[0056]コンテンツ取込みデバイス３００は、送信チャネル３２１を介してコンテンツ取込み支援デバイス３０２とインターフェース接続するためにインターフェース３１６を起動し得る。ＰＡＮを介そうがＷＬＡＮを介そうが、送信チャネル３２１は、特に、コンテンツ取込みデバイス３００が同じ送信チャネル３２１を介してビデオデータも供給しようと試みているとき、原オーディオデータを未圧縮ＨＯＡ係数１１の形式で受け入れるのに十分な帯域幅を提供しない可能性がある。（ＰＡＮ又はＷＬＡＮ送信チャネルを表し得る）ワイヤレス送信チャネルに関連して説明されているが、本技法は、ワイヤードセッティングでも利用可能であり得る。ワイヤードセッティングでは、データ処理、キャッシング及び記憶速度の制限のような、特定の他の制限が生じ得る。更に、記憶サイズは、どれだけのデータが記憶されることができるかを制限し得る。このように、本技法は、ワイヤレス送信チャネルの例に制限されるべきではなく、ワイヤードセッティングにも適用され得る。更に、データ処理、キャッシング、記憶速度、記憶サイズの制限はまた、ワイヤードセッティング及びワイヤレスセッティングの両方で生じ得る。従って、本技法は、これらの制限の任意の組み合わせを伴って、これらのセッティングの任意の組み合わせで適用され得る。
【００４５】
[0057]送信チャネル３２１を介したコンテンツ３０１の送信を可能にするために、コンテンツ取込みデバイス３００は、最初に、ＨＯＡ係数１１と、ビデオデータのような任意の付随の非オーディオデータとを符号化し得る。ＨＯＡ係数１１を符号化するために、コンテンツ取込みデバイス３００は、オーディオ符号化デバイス２０を起動し得る。オーディオ符号化デバイス２０は、ＨＯＡ係数１１を符号化してビットストリーム２１を取得し得、このビットストリーム２１をコンテンツ３０１の一部として供給する。インターフェース３１６は、送信チャネル３２１を形成するときに、送信（ＴＸ）チャネルネゴシエーションユニット３１７を起動し得る。ＴＸチャネルネゴシエーションユニット３１７は、コンテンツ取込み支援デバイス３０２内に含まれるインターフェース３１６の対応するＴＸチャネルネゴシエーションユニット３１７とネゴシエートし得る。
【００４６】
[0058]次に、コンテンツ取込みデバイス３００のＴＸチャネルネゴシエーションユニット３１７及びコンテンツ取込み支援デバイス３０２の対応するＴＸチャネルネゴシエーションユニット３１７’は、送信チャネル３２１の確立をネゴシエートし得、適切なチャネルを選択し、コンテンツ取込みデバイス３００のインターフェース３１６とコンテンツ取込み支援デバイス３０２の対応するインターフェース３１６’との間でのデータ通信を可能にするようにこれらのチャネルを構成する。送信チャネル３２１のネゴシエーション中、コンテンツ取込みデバイス３００のＴＸチャネルネゴシエーションユニット３１７は、コンテンツ取込み支援デバイス３０２の様々な態様に関する情報を要求し得る。情報は、コンテンツ３０１の記憶のためにコンテンツ取込み支援デバイス３０２において利用可能な記憶容量を示す情報を備え得る。コンテンツ取込み支援デバイス３０２のＴＸチャネルネゴシエーションユニット３１７は、コンテンツ取込みデバイス３００のＴＸチャネルネゴシエーションユニット３１７に記憶容量を示す情報を提供し得る。
【００４７】
[0059]図３Ｂは、本開示の事前トランスコード化安定化技法に一般に向けられている例となる実現を例示する。換言すると、図３Ｂの実現は、事前トランスコード化段階におけるオーディオデータ、即ち、ＨＯＡドメインにないオーディオデータに対する動き補償動作に向けられている。
【００４８】
[0060]図３Ｂに示されるように、仮想再位置決定ユニット３３０は、ジッタを示す移動のような移動を補償するために、マイクロフォン５に仮想再位置決定データ３３１を通信し得る。次に、マイクロフォン５は、マイクロフォン５の個々のマイクロフォンによって取り込まれたオーディオオブジェクトについての空間情報を調整するために、仮想再位置決定データ３３１を適用し、将来のオーディオ取込みのために、この仮想再位置決定を伝播し得る。図３Ｂの事前トランスコード化安定化技法の更なる詳細は、図５に関連して以下で説明される。
【００４９】
[0061]図４Ａは、本開示で説明されるコード化技法を実行する際のオーディオ符号化デバイスの例示的な動作を例示するフローチャートである。プロセス２００は様々なデバイスによって実行され得るが、説明を容易にするためだけに、プロセス２００は、図３Ａのオーディオ符号化デバイス２０の１つ又は複数の構成要素によって実行されているとして以下で説明される。例えば、安定化ユニット３２０（及び／又は、個々に又は様々な組み合わせで機能する、それの１つ又は複数の構成要素）は、音場のオーディオオブジェクトを安定化させて、マイクロフォンジッタ又は他のそのような移動によって生じる効果を緩和するため、又はいくつかのケースでは除去するために、図４Ａのプロセス２００を実現し得る。図４Ａは、図３Ａの安定化ユニット３２０が、ＨＯＡドメインにおける移動問題を修正する実現を例示する。図４の特定の例で示されるように、安定化ユニット３２０は、３Ｄオーディオ対応マイクロフォンアレイＭ１〜Ｍｎの個々のマイクロフォンの各々の実際の位置を使用して、マイクロフォンの出力をＨＯＡ係数へとトランスコード化し得る（２１０）。例えば、個々のマイクロフォンの各々についての実際の位置情報は、マイクロフォンアレイの移動によって生じる移動（ジッタ及び／又は即ち「微小移動」を含む）を反映し得る。
【００５０】
[0062]追加的に、図４Ａに例示されるプロセス２００によれば、安定化ユニット３２０は、移動のトラッキングを助ける加速度計又はコンパスのような、３Ｄで動き情報を検知するように構成されたデバイスから、マイクロフォンＭ１〜Ｍｎについての動き情報を受け取り得る（２２０）。次に、安定化ユニット３２０は、個々のマイクロフォンマイクロフォンＭ１〜Ｍｎの各々についての移動情報を導出する、又は他の方法で決定するために、受け取った動き情報を使用し得る。安定化ユニット３２０は、本開示の動き安定化技法を実行するために、３Ｄ動き情報を適用し得る（２３０）。様々な例では、マイクロフォンは、（例えば、個々のマイクロフォンＭ１〜Ｍｎの球面アレイの中央に配置された）内蔵の加速度計を含み得るか、外付けの加速度計（例えば、カメラ／マイクロフォンセットアップの他の構成要素に取り付けられている加速度計）に結合され得る。一例では、加速度計は、マイクロフォンのステム又はハンドルに含まれ得る。より具体的には、安定化ユニット３２０は、個々のマイクロフォンＭ１〜Ｍｎのアレイによって取り込まれた３Ｄ音場のＨＯＡドメイン表現に逆回転を適用することで、動き安定化を実行し得る。加速度計は、同一平面に沿って、又は個々のマイクロフォンＭ１〜Ｍｎのアレイと実質的に類似した平面に沿って回転する任意のロケーションに配置され得る。安定化ユニット３２０が、加速度計と個々のマイクロフォンＭ１〜Ｍｎのアレイとの間の位置関係へのアクセスを有する実現では、安定化ユニット３２０は、加速度計がマイクロフォンアレイと同一又は実質的に類似した平面に沿って回転しない場合であっても、マイクロフォンアレイについての動き情報を導出し得る。このように、安定化ユニット３２０は、マイクロフォンアレイの動き情報を決定し、次に、個々のマイクロフォンＭ１〜Ｍｎの各々についての移動情報を取得するために、様々な方法で加速度計によって供給されるデータを活用するために、本開示の技法を実現し得る。
【００５１】
[0063]移動を補償することで音場を安定化することは、図４Ａの例におけるケースのように、ＨＯＡドメインにおいて実現されるとき、より計算効率が良いであろう。故に、様々なシナリオでは、プロセス２００の解決策は、他の代替例よりも実現可能であり得る。例えば、図４Ａのプロセス２００を実現することで、安定化ユニット３２０は、構造上の制約の導入及びカメラ及び／又はマイクロフォンシステムへの追加を必要とすることなく音場における移動を補償し得る。故に、安定化ユニット３２０は、ユーザ生成コンテンツ及び／又は本人の話を取り込むことに関連した、カメラ及び／又はマイクロフォンシステムの有用性を潜在的に邪魔することなく、移動を補償し得る。
【００５２】
[0064]特定の例では、安定化ユニット３２０は、受け取った（２２０）動き情報を分析し、取り込まれた動き（２３０）とは逆の方法で音場を回転し得る。いくつかの例では、安定化ユニット３２０は、ステップ２２０において受け取った特定の移動だけを補償し（又は、逆に回転し）得る。例えば、安定化ユニット３２０は、迅速な移動、ジッタ又は高頻度移動だけを補償し得、これらは全て、上では「微小移動」として説明される。より具体的には、この例では、オーディオ符号化デバイス２０は、他の（例えば、より平滑な又はより勾配のある）動き情報を保持し得、それによって、３Ｄオーディオ生成のインテグリティを維持する。
【００５３】
[0065]図４Ｂは、図４Ａのプロセス２００の代替的な表現を例示するフローチャートである。図４Ｂの例では、動き安定化は、効果マトリクス２４０によって例示される。オーディオ符号化デバイス２０は、ステップ２２０において受け取った、マイクロフォンＭ１〜Ｍｎについての動き情報を使用して効果マトリクス２４０を生成し得る。より具体的には、安定化ユニット３２０は、ステップ２２０において受け取った動き情報と比較して、音場への効果マトリクス２４０の適用が音場の逆回転をもたらすように効果マトリクス２４０を生成し得る。効果マトリクス２４０は、図４Ｂにおいて、重要領域（significant region）２４４とグラフィカルに区別されるゼロ領域（zero region）２４２を含む。ゼロ領域は、効果マトリクス２４０が適用される非補償型ＨＯＡ係数に対する何れの回転も示さないマトリクスエントリ又はセルを表し得る。反対に、重要領域２４４は、特定の「重み」が関連付けられているマトリクスエントリ又はセルを表し、故に、ステップ２１０において生成された非補償型ＨＯＡ係数を回転するための何らかのレベルの回転を表し得る。効果マトリクス２４０を適用する際、安定化ユニット３２０は、ステップ２１０において生成された非補償型ＨＯＡ係数に混合及び／又は重み付けを追加し得る。
【００５４】
[0066]図４Ｂの例では、重要領域２４４は、効果マトリクス２４０の５０パーセント未満を形成し、ゼロ領域２４２は、効果マトリクス２４０の５０パーセントよりも多くを表す。故に、図４Ｂの例では、安定化ユニット３２０は、ステップ２１０においてトランスコード化される非補償型ＨＯＡ係数の少数の方だけを逆に回転するために、本開示の動き安定化技法を実行し得る。図４Ｂに例示されるように、安定化ユニット３２０は、ステップ２２０において受け取った特定の移動（例えば、ジッタを示す微小移動）をターゲットにすることと、効果マトリクス２４０を適用することでターゲットにされた移動だけを補償することとによって、計算効率が良い方法で、本開示に従って動き補償を実行し得る。
【００５５】
[0067]図４Ｃは、音場のオーディオオブジェクトの３Ｄ移動を測定する際に安定化ユニット３２０が使用し得る様々な角度（即ち、回転）を例示する概念図である。図４Ｂに例示される効果マトリクス２４０の算出の数学的表現は、次の通りである：
【数４】
0006301567.tif 000005
上の方程式では、効果マトリクス２４０は、式Ｒ（φ，θ，ψ）で表される。次に、φは、ロール角を表し、θは、ピッチ角を表し、ψは、ヨー角を表す。非補償型ＨＯＡ係数を逆に回転するために効果マトリクス２４０を適用する際、オーディオ符号化デバイス２０は、ローパスフィルタ、中間フィルタ又はカルマンフィルタのような１つ又は複数のフィルタを適用し得る。
【００５６】
[0068]ＨＯＡドメインにおいて回転マトリクスを計算するための様々な技法は、例えば、Zotterによる「Analysis and Synthesis of Sound-Radiation with Spherical Arrays」又はKronlachnerとZotterによる「Spatial transformations for the enhancement of Ambisonic recordings」に記載されている。１つのそのような技法が本明細書で説明される。この例となる技法によれば、回転マトリクスは、空間ドメインにおいて計算され、離散球面調和変換（「ＤＳＨＴ」）を介してＨＯＡドメインへと変換される。変換積分は、Ｌ＞＝（Ｎ＋１）２方向で、Ｌ個の方向Γ＝［γ１，．．．γＬ］Ｔへのサンプリング点の好適な分布によってサンプリングされる。
【００５７】
[0069]ＨＯＡドメインにおける回転マトリクスＭｒｏｔは、方向Γ及びＲ・Γについて、回転カーネルＲ（φ，θ，ψ）と、最大でＨＯＡ次数Ｎの球面調和とに基づいて計算される。回転マトリクスＭｒｏｔの算出は、次のように表され得る：
Ｍｒｏｔ＝ＤＳＨＴ Ｎ｛Ｙ（Ｒ（φ，θ，ψ）・Γ）｝
Ｍｒｏｔ＝Ｙ†（ ）・Ｙ（Ｒ（φ，θ，ψ）・Γ）
ここで、（・）†は、（・）のＭｏｎｒｏｓｅ−Ｐｅｎｎ疑似逆を表す。
【００５８】
[0070]図４Ｄは、安定化ユニット３２０が、ＨＯＡドメインにおけるオーディオオブジェクトの動き安定化のためのプロセス２００に関連して実現し得る微調整を例示する概念図である。いくつかの実現では、安定化ユニット３２０は、効果マトリクス２４０の別個のインスタンスを算出し、全てのオーディオサンプル、即ちフレームに適用し、それによって、各サンプルのオーディオオブジェクトを補償して、対応する空間情報に対する移動誘起変化を修正し得る。しかしながら、図４Ｄに例示される実現のようないくつかの実現では、安定化ユニット３２０は、効果マトリクス２４０の別個のインスタンスを導出し、例えば、１０サンプルごと、１２ごと、等の所与のインターバルでサンプルに適用することで、計算リソースを節約し得る。安定化ユニット３２０によって決定されるサンプルのインターバルは、本明細書ではサンプルの「ブロック」と呼ばれる。
【００５９】
[0071]図４Ｄは、４つのそのようなブロック、即ち、オーディオサンプルブロック２５０Ａ−２５０、を例示する。そのようなインターバルにおいて効果マトリクスを適用することで生じるブロック歪み（blocking artifacts）を緩和する、又は場合によっては除去するために、オーディオ符号化デバイスは、本開示の技法を適用して、効果マトリクス２４０の別個のインスタンスを補間し得る。換言すると、安定化ユニット３２０は、効果マトリクス２４０の以前のインスタンスに、対応する補間関数２５０Ａ−２６０Ｄを適用することで、オーディオサンプルブロック２５０Ａ−２５０Ｄの各々内の遷移を「平滑に」し得る。
【００６０】
[0072]効果マトリクス２４０の対応するインスタンスに補間関数２５０Ａ−２６０Ｄを適用することで、安定化ユニット３２０は、本開示の技法を適用して、コード化効率を改善しつつ、精度損失を緩和し得る。より具体的には、安定化ユニット３２０は、マルチサンプルインターバルにおいて効果マトリクス２４０を適用するために、（例えば、より一般的なゼロエントリとは対照的に重要な重み値の観点から）効果マトリクス２４０の希薄さ（sparseness）を活用し得、これらのインターバルを通して効果マトリクス２４０を補間する。図４Ｄの補間ベースの実現は、トランスコード化されたオーディオ入力の各サンプルについての効果マトリクス２４０のリアルタイム計算及び適用よりも効率的かつ計算上負担の少ない解決策を表し得る。
【００６１】
[0073]図４Ｄで例示されるように、図４Ａ−４Ｄに関連して説明される事後トランスコード化動き補償技法は、カスタマイズ可能である。事後トランスコード化動き補償技法に関連して可能である他のカスタマイズは、取り込まれたオーディオデータの選択セグメントだけをターゲットにするために動き補償を適用すること、移動が補償されるべき微小移動として資格があるかを決定するための閾値を設定すること、等を含む。故に、図４Ａ−４Ｄの事後トランスコード化動き補償解決策は、デバイス特性、サウンド特性、ユーザ入力若しくはセッティング又は特定のシナリオ固有の様々な他のパラメータに基づいて、微小移動を補償するためにオーディオ符号化デバイス２０が実現し得るカスタマイズ可能な解決策を表す。
【００６２】
[0074]図５は、本開示で説明されるコード化技法を実行する際のオーディオ復号デバイスの例示的な動作を例示するフローチャートである。図５は、本開示の様々な態様に係る、仮想再位置決定ユニット３３０（及び／又は、個々に又は任意の組み合わせで機能する、それの１つ又は複数の構成要素）が、動き補償を実現することで、音場のオーディオオブジェクトを安定化し得る例となるプロセス２７０を例示する。図５の実現では、仮想再位置決定ユニット３３０は、事前トランスコード化段におけるオーディオデータ、即ち、ＨＯＡドメインにないオーディオデータに対して動き補償動作を実行し得る。
【００６３】
[0075]図５に示されるように、仮想再位置決定ユニット３３０は、移動を補償するために、個々のマイクロフォンＭ１〜Ｍｎのうちの１つ又は複数の仮想再位置決定（２８０）を実行し得る。より具体的には、ステップ２８０への入力は、ステップ２１０において３Ｄ動きセンサ（例えば、加速度計）から決定されるようなマイクロフォンアレイの動き情報と、個々のマイクロフォンＭ１〜Ｍｎの実際の位置とを含む。次に、仮想再位置決定ユニット３３０は、ステップ２８０において仮想再位置決定情報を導出するために、ステップ２１０において受け取った動き情報を実際のマイクロフォン位置と組み合わせ得る。オーディオ符号化デバイスは、個々のマイクロフォンＭ１〜Ｍｎによって取り込まれたオーディオオブジェクトについての空間情報を調整するために、ステップ２８０において仮想再位置決定を適用し、将来のオーディオ取込みのために、この仮想再位置決定を伝播し得る。
【００６４】
[0076]図５に例示されるプロセス２７０は、低複雑性を表し、故に、計算上、図４Ａ−４Ｄに関連して説明された事後トランスコード化補償技法と比べてそれ程高価な実現でない。プロセス２７０にあるように、「臨機応変に」仮想マイクロフォン再位置決定を実現すること及び将来のオーディオ取込みのために任意の動き補償調整を前方に伝播することで、仮想再位置決定ユニット３３０は、計算リソース及びエネルギ消費を節約しつつ、マイクロフォンジッタの効果を緩和又は潜在的に除去し得る。故に、プロセス２７０は、低バッテリシナリオと、オーディオ符号化デバイスが（例えば、スマートフォン又はタブレットコンピュータを介して）利用可能な計算リソースが比較的少ないシナリオとに対して実行可能である動き補償プロセスを例示し得る。
【００６５】
[0077]球面マイクロフォンアレイのマイクロフォン信号ｘＬからＨＯＡドメインへの変換（又は、トランスコード化）は、このアレイの幾何学的なプロパティに基づいて後続の信号処理と組み合わせて離散球面変換ＤＳＨＴを介して実行され得る。ＤＳＨＴは、次のように、マイクロフォン信号ｘＮと、マイクロフォンの方向Γ＝［γ１，．．．γＬ］Ｔについて計算された最大でＨＯＡ次数Ｎの球面調和との乗算によって実行され得る：
ＤＳＨＴＮ＝ＹＮ−１（Γ）・ｘＬ
【００６６】
[0078]音場の予想される回転は、次のように回転カーネルＲ（φ，θ，ψ）を使用してマイクロフォンの方向を仮想的に回転することで実行される：
ＤＳＨＴＮ＝ＹＮ−１（Ｒ（φ，θ，ψ）・Γ）・ｘＬ
【００６７】
[0079]図６Ａ−６Ｆは、コンテンツ取込みデバイス３００とマイクロフォン５との異なる組み合わせを例示する図である。図６Ａの例では、（例示のために堅牢カメラとして示される）コンテンツ取込みデバイス３００は、レンズを含む画像取込みシステム３７７がビデオデータ又は画像データの一方又は両方を取り込むように構成された、筐体３７５を有するカメラシステムを表し得る。筐体３７５は、マイクロフォン５のスタンド３を含む、マイクロフォン５全体を統合するように適応され得る。換言すると、マイクロフォン５は、スタンド３とマイクロフォンアレイ６とを含む。スタンド３は、筐体３７５及びマイクロフォンアレイ６に取り付けられているだろう。
【００６８】
[0080]図６Ｂの例では、マイクロフォン５は、スタンド３を含まないが、依然として、コンテンツ取込みデバイス３００と統合される。換言すると、マイクロフォン５は、筐体３７５に取り付けられているマイクロフォンアレイ６だけを含む。図６Ｃの例では、マイクロフォン５は、ワイヤ４を介してコンテンツ取込みデバイス３００と通信する。プロセッサ（図示されない）は、ワイヤ４を介してＨＯＡ係数１１を取得するように構成され得る。図６Ｄ及び６Ｅの例では、マイクロフォン５は、それぞれＰＡＮ１及びＷＬＡＮ２を介してコンテンツ取込みデバイス３００とワイヤレス通信状態にある。プロセッサは、図６Ｄ及び６Ｅの例では、ワイヤレスに（例えば、それぞれＰＡＮ１及びＷＬＡＮ２を介して）ＨＯＡ係数１１を取得するように構成され得る。
【００６９】
[0081]図６Ｆの例では、コンテンツ取込みデバイス３００はまた、統合マイクロフォン３９０Ａ−３９０Ｃを含む。３Ｄオーディオマイクロフォン５は、マイクロフォンアレイを含み、ここにおいて、マイクロフォンアレイの各マイクロフォンは、隣接したマイクロフォンからおおよそ距離Ｄ１離れている。マイクロフォンアレイの各マイクロフォンはまた、半球の周囲に、又は代替的に球体の周囲に等距離に配置される。３９０Ａ−３９０Ｃの統合マイクロフォンは、隣接したマイクロフォンから距離Ｄ２離れて配置され得る。距離Ｄ２は、距離Ｄ１よりも大きいだろう。コンテンツ取込みデバイス３００は、マイクロフォン５によって取り込まれるＨＯＡオーディオデータを増加するために、統合マイクロフォン３９０Ａ−３９０Ｃを含み得る。統合マイクロフォン３９０Ａ−３９０Ｃの（距離Ｄ２によって表されるような）より大きなマイクロフォンの分離は、低周波数の取込みを容易にし得る。マイクロフォンアレイのマイクロフォンの距離Ｄ１が小さいため、マイクロフォン５は、低周波数を適切に取り込むことができないだろう。
【００７０】
[0082]図７Ａ−７Ｅは、本開示で説明される技法に係る、コンテンツ取込みデバイスに固定された３次元マイクロフォンを利用するスマートフォンの形式のコンテンツ取込みデバイスの異なる例を例示する図である。図７Ａの例では、コンテンツ取込みデバイス３００は、固定デバイス３９５が取り付けられているプラットフォームを提供する。固定デバイス３９５は、クランプを含み得る。クランプは、マイクロフォン５と使用される潜在的なコンテンツ取込みデバイス３００の異なるサイズ及び形状因子に適合するために、張力ラチェットメカニズムを介して徐々に締まり（ratchet down）得る。固定デバイス３９５は、多数のマイクロフォン取付け点を含み得る。マイクロフォン取付け点は、共通の雌ネジサイズに対応した雌ネジ取付け点と、カメラ又は他のタイプのオーディオ／ビジュアル機器のための通板とを備え得る。マイクロフォン取付け点は、クランプの上部に位置し得る（ここで、上部とは、コンテンツ取込みデバイス３００が水平方向に持たれている間に使用されるときのクランプの上部を指す）。マイクロフォン取付け点はまた、マイクロフォン取付け点３８７によって、図７Ｂに示されるようにクランプの背面に位置し得る。図７Ｃ−７Ｅの例は、固定デバイス３９５の更なる側面、背面及び正面スナップショットを提供する。
【００７１】
[0083]図８Ａ及び８Ｂは、マイクロフォン５の異なる例を例示する図である。図８Ａの例には、クゥアルコム・テクノロジーズ・インコーポレイテッドによって開発された３２マイクロフォンアレイマイクロフォンが示される。図８Ａのマイクロフォン５は、一例として、ＵＳＢワイヤード接続を含む。図８Ｂに示される例は、アイゲンマイク（登録商標）と呼ばれる、クァルコムの３２マイクロフォンデバイスへの代替的なマイクロフォンである。
【００７２】
[0084]図９は、１つ又は複数の例となるコンテンツ取込み支援デバイス３０２と通信状態にある例となるコンテンツ取込みデバイス３００を例示する概念図である。図９の例で示されるように、（例示のために、スマートフォン及びタブレット／ラップトップとして示される）コンテンツ取込み支援デバイス３０２は、ワイヤレスローカルエリアネットワーク３８０を介してコンテンツ取込みデバイス３００と通信し得る。代替的に、コンテンツ取込み支援デバイス３０２は、パーソナルエリアネットワーク、セルラネットワーク又は他のワイヤレス形式の通信を介してコンテンツ取込みデバイス３００と通信し得る。更に、コンテンツ取込み支援デバイス３０２は、ワイヤード接続を介してコンテンツ取込みデバイス３００と通信し得る。パーソナルエリアネットワーク１を介してマイクロフォン５と通信していると示されているが、コンテンツ取込みデバイス３００は、図４Ａ−４Ｄの例に関連して上述したもののような、任意の形式の通信を介してマイクロフォン５と通信し得る。
【００７３】
[0085]示されるように、いくつかの例では、本開示は、動き補償の方法に向けられており、方法は、３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を補償するために、３次元（３Ｄ）音場の１つ又は複数の高次アンビソニックス（ＨＯＡ）表現を調整することを含む。いくつかの例では、１つ又は複数のＨＯＡ表現を調整することは、１つ又は複数の移動に関連付けられた効果マトリクスを取得することを含む。いくつかの例では、効果マトリクスは、１つ又は複数の移動に対する逆回転動作を表す。
【００７４】
[0086]いくつかの例では、１つ又は複数のＨＯＡ表現を調整することは、動き補償済み３Ｄ音場を取得するために、１つ又は複数のＨＯＡ表現に効果マトリクスを適用することを含む。いくつかの例によれば、効果マトリクスを取得することは、１つ又は複数の移動に関連付けられた回転情報を取得することと、少なくとも部分的には、回転情報の逆を算出することで効果マトリクスを算出することとを含む。いくつかの例では、効果マトリクスは、ゼロエントリ（zero entry）のセットと有意エントリ（significant entry）のセットとを備える。１つのそのような例によれば、ゼロエントリのセットは、有意エントリのセットよりも多い数のエントリを含む。
【００７５】
[0087]いくつかの例によれば、１つ又は複数のＨＯＡ表現を調整することは、オーディオデータの各オーディオサンプルについての１つ又は複数のＨＯＡ表現を調整することを備える。いくつかの例では、１つ又は複数のＨＯＡ表現を調整することは、オーディオサンプルのサブセットについての１つ又は複数のＨＯＡ表現を、そのサブセットのオーディオサンプルの任意の対が複数のオーディオサンプルのインターバルを表すように調整することを備える。いくつかの例によれば、インターバルは、１０サンプルインターバル又は１２サンプルインターバルのうちの１つを備える。いくつかの例では、方法は、１つ又は複数の補間済み効果マトリクスを取得するために、各インターバルに関連する効果マトリクスを補間することを更に含み得る。１つのそのような例では、方法は、対応するインターバルに含まれる対応するサンプルに各補間済み効果マトリクスを適用することを更に含み得る。
【００７６】
[0088]いくつかの例では、方法は、動き検知デバイスから、移動を記述するデータを取得することを更に含み得る。いくつかの例では、動き検知デバイスは、加速度計又はコンパスのうちの１つ又は複数を備え得る。いくつかの例によれば、動きセンサは、オーディオデータを取り込むように構成されたマイクロフォンアレイに結合される。いくつかの例では、動き検知デバイスは、マイクロフォンアレイの一部を形成する。いくつかの例によれば、方法は、１つ又は複数の微小移動を、３Ｄ音場の１つ又は複数のオーディオオブジェクトに関連付けられた１つ又は複数の緩徐な移動と区別する（differentiate）ことを更に含み得る。１つのそのような例では、微小移動を緩徐な移動と区別することは、取込みに関連付けられた動き情報を記述する距離、周波数又は角度の鋭さのうちの１つ又は複数に関連付けられた閾値に基づいている。
【００７７】
[0089]いくつかの例によれば、方法は、移動に関連付けられたヨー角、ピッチ角又はロール角のうちの１つ又は複数を取得することを更に含み得る。いくつかの例では、１つ又は複数のＨＯＡ表現を調整することは、１つ又は複数のＨＯＡ表現に関連付けられた空間情報を変えることを含む。本開示の態様に係るいくつかの例では、デバイスは、動きを補償するように構成され、デバイスは、高次アンビソニック（ＨＯＡ）オーディオデータを記憶するように構成されたメモリと、上述した方法の何れか、又は説明した方法の任意の組み合わせを実行するように構成された１つ又は複数のプロセッサとを含み得る。いくつかの例では、デバイスは、動きを補償するように構成され、デバイスは、高次アンビソニック（ＨＯＡ）オーディオデータを記憶するための手段と、上述した方法の何れか、又は説明した方法の任意の組み合わせを実行するための手段とを含み得る。いくつかの例では、コンピュータ読取可能な記憶媒体は、命令で符号化され得、これらの命令は、実行されると、上述した方法の何れか、又は説明した方法の任意の組み合わせを実行する。
【００７８】
[0090]いくつかの態様によれば、本開示は、動き補償の方法に向けられている。方法は、マイクロフォンアレイによる３次元（３Ｄ）音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を補償するために、マイクロフォンアレイの１つ又は複数のマイクロフォンに関連付けられた仮想位置決定情報を調整することを含み得る。いくつかの例では、方法は、仮想位置決定情報を調整することは、３Ｄ音場の時間ドメイン表現についての仮想位置決定情報を調整することとを含む。いくつかの例では、３Ｄ音場の時間ドメイン表現は、３Ｄ音場の事前トランスコード化表現を備える。いくつかの例では、方法は、３Ｄ音場に関連してマイクロフォンアレイによって取り込まれた全てのオーディオサンプルについての仮想位置決定情報を調整することを更に含み得る。
【００７９】
[0091]いくつかの例では、仮想位置決定情報を調整することは、移動と、マイクロフォンアレイに関連付けられた実際の位置決定情報とに基づいて、仮想再位置決定情報を生成することを備える。いくつかのそのような例では、方法は、動き検知デバイスから、移動を記述するデータを取得することを更に含む。１つのそのような例では、動き検知デバイスは、加速度計又はコンパスのうちの１つ又は複数を備える。
【００８０】
[0092]本開示の態様に係るいくつかの例では、デバイスは、動きを補償するように構成され、デバイスは、高次アンビソニック（ＨＯＡ）オーディオデータを記憶するように構成されたメモリと、上述した方法の何れか、又は説明した方法の任意の組み合わせを実行するように構成された１つ又は複数のプロセッサとを含み得る。いくつかの例では、デバイスは、動きを補償するように構成され、デバイスは、高次アンビソニック（ＨＯＡ）オーディオデータを記憶するための手段と、上述した方法の何れか、又は説明した方法の任意の組み合わせを実行するための手段とを含み得る。いくつかの例では、コンピュータ読取可能な記憶媒体は、命令で符号化され得、これらの命令は、実行されると、上述した方法の何れか又は説明した方法の任意の組み合わせを実行する。
【００８１】
[0093]いくつかの態様によれば、本開示は、筐体と、ビデオデータ及び画像データの一方又は両方を取り込むための、レンズを含む画像取込みシステムと、高次アンビソニックオーディオデータを取り込むように構成された３次元（３Ｄ）マイクロフォンとを含むカメラシステムに向けられており、ここにおいて、３Ｄマイクロフォンは、スタンド及びマイクロフォンアレイを含み、スタンドは、カメラの筐体とマイクロフォンアレイとに取り付けられている。いくつかの例では、筐体は、１つ又は複数の動き検知デバイスを収容するように構成される。１つのそのような例によれば、３Ｄマイクロフォンは、１つ又は複数の動き検知デバイスに結合されるように構成される。
【００８２】
[0094]いくつかの例では、１つ又は複数の動き検知デバイスは、加速度計又はコンパスのうちの少なくとも１つを備える。１つのそのような例によれば、加速度計は、３Ｄマイクロフォンに関連付けられた動き情報を取得するように構成される。いくつかの例では、コンパスは、１つ又は複数の基本方位（cardinal direction）に関連付けられた情報を含む、３Ｄマイクロフォンに関連付けられた動き情報を取得するように構成される。
【００８３】
[0095]いくつかの態様によれば、本開示は、筐体と、ビデオデータ及び画像データの一方又は両方を取り込むための、レンズを含む画像取込みシステムと、高次アンビソニックオーディオデータを取り込むように構成された３次元（３Ｄ）マイクロフォンとを含むカメラシステムに向けられており、ここにおいて、３Ｄマイクロフォンは、カメラの筐体に取り付けられているマイクロフォンアレイを含む。いくつかの例では、筐体は、１つ又は複数の動き検知デバイスを収容するように構成される。いくつかの例では、３Ｄマイクロフォンは、１つ又は複数の動き検知デバイスに結合されるように構成される。いくつかの例では、１つ又は複数の動き検知デバイスは、加速度計又はコンパスのうちの少なくとも１つを備える。１つのそのような例によれば、加速度計は、３Ｄマイクロフォンに関連付けられた動き情報を取得するように構成される。いくつかの例によれば、コンパスは、１つ又は複数の基本方位に関連付けられた情報を含む３Ｄマイクロフォンに関連付けられた動き情報を取得するように構成される。
【００８４】
[0096]いくつかの態様によれば、本開示は、プロセッサと、ビデオデータ及び画像データの一方又は両方を取り込むための、レンズを含む画像取込みシステムと、高次アンビソニックオーディオデータを取り込むように構成された３次元（３Ｄ）マイクロフォンとを含むカメラシステムに向けられており、ここで、３Ｄマイクロフォンは、３Ｄマイクロフォンをプロセッサに通信的に結合するワイヤを含み、プロセッサは、このワイヤを介して高次アンビソニックオーディオデータを取得するように構成される。いくつかの例では、筐体は、１つ又は複数の動き検知デバイスを収容するように構成される。いくつかの例では、３Ｄマイクロフォンは、１つ又は複数の動き検知デバイスに結合されるように構成される。いくつかの例によれば、１つ又は複数の動き検知デバイスは、加速度計又はコンパスのうちの少なくとも１つを備える。１つのそのような例では、加速度計は、３Ｄマイクロフォンに関連付けられた動き情報を取得するように構成される。いくつかの例によれば、コンパスは、１つ又は複数の基本方位に関連付けられた情報を含む、３Ｄマイクロフォンに関連付けられた動き情報を取得するように構成される。
【００８５】
[0097]いくつかの態様では、本開示は、動き補償の方法に向けられている。方法は、動きを補償するように構成されたデバイスによって、マイクロフォンアレイによる３次元（３Ｄ）音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を示す動き情報を受け取ることを備える。方法は、動きを補償するように構成されたデバイスによって、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を補償するために、マイクロフォンアレイの１つ又は複数のマイクロフォンに関連付けられた仮想位置決定情報を調整することを更に含む。方法は、動きを補償するように構成されたデバイスによって、調整された仮想位置決定情報に基づいて、動き補償済みビットストリームを生成することを更に含み得る。いくつかの例では、仮想位置決定情報を調整することは、動きを補償するように構成されたデバイスによって、３Ｄ音場の１つ又は複数の高次アンビソニックス（ＨＯＡ）表現を調整することを備える。いくつかの例では、１つ又は複数のＨＯＡ表現を調整することは、動きを補償するように構成されたデバイスによって、１つ又は複数のＨＯＡ表現に関連付けられた空間情報を変えることを備える。いくつかの例では、１つ又は複数のＨＯＡ表現を調整することは、動きを補償するように構成されたデバイスによって、１つ又は複数の移動に関連付けられた効果マトリクスを取得することを備える。
【００８６】
[0098]いくつかの例によれば、効果マトリクスは、１つ又は複数の移動に対する逆回転動作を表す。いくつかの事例では、１つ又は複数のＨＯＡ表現を調整することは、動きを補償するように構成されたデバイスによって、動き補償済み３Ｄ音場を取得するために、１つ又は複数のＨＯＡ表現に効果マトリクスを適用することを備える。いくつかの例では、効果マトリクスを取得することは、動きを補償するように構成されたデバイスによって、１つ又は複数の移動に関連付けられた回転情報を取得することと、動きを補償するように構成されたデバイスによって、少なくとも部分的には、回転情報の逆を算出することで、効果マトリクスを算出することとを備える。
【００８７】
[0099]いくつかの例では、効果マトリクスは、ゼロエントリのセットと重要エントリのセットとを備え、ゼロエントリのセットは、重要エントリのセットよりも多い数のエントリを含む。いくつかの事例では、１つ又は複数のＨＯＡ表現を調整することは、動きを補償するように構成されたデバイスによって、３Ｄ音場に関連付けられた複数のオーディオサンプルのサブセットについての１つ又は複数のＨＯＡ表現を、そのサブセットのオーディオサンプルの任意の対が複数のオーディオサンプルのインターバルを表すように調整することを備える。
【００８８】
[0100]いくつかの例によれば、インターバルは、１０サンプルインターバル又は１２サンプルインターバルのうちの１つを備える。いくつかの実現では、方法は、動きを補償するように構成されたデバイスによって、１つ又は複数の補間済み効果マトリクスを取得するために、各インターバルに関連する効果マトリクスを補間することを更に備える。１つのそのような例では、方法は、動きを補償するように構成されたデバイスによって、対応するインターバルに含まれる対応するサンプルに各補間済み効果マトリクスを適用することを更に備える。
【００８９】
[0101]いくつかの実現では、方法は、動きを補償するように構成されたデバイスによって、１つ又は複数の微小移動を、３Ｄ音場の１つ又は複数のオーディオオブジェクトに関連付けられた１つ又は複数の緩徐な移動と区別することを更に備える。１つのそのような実現では、微小移動を緩徐な移動と区別することは、取込みに関連付けられた動き情報を記述する距離、周波数又は角度の鋭さのうちの１つ又は複数に関連付けられた閾値に基づいている。
【００９０】
[0102]いくつかの例では、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を示す動き情報を受け取ることは、動きを補償するように構成されたデバイスによって、移動に関連付けられたヨー角、ピッチ角又はロール角のうちの１つ又は複数を受け取ることを含む。１つのそのような例では、移動を補償するために仮想位置決定情報を調整することは、動きを補償するように構成されたデバイスによって、ヨー角、ピッチ角又はロール角のうちの取得した１つ又は複数に基づいて、回転情報を補償することを備える。いくつかの例によれば、仮想位置決定情報を調整することは、動きを補償するように構成されたデバイスによって、３Ｄ音場の時間ドメイン表現についての仮想位置決定情報を調整することを備える。
【００９１】
[0103]いくつかの例によれば、３Ｄ音場の時間ドメイン表現は、３Ｄ音場の事前トランスコード化表現を備える。いくつかの例では、方法は、動きを補償するように構成されたデバイスによって、３Ｄ音場に関連したマイクロフォンアレイによって取り込まれた全てのオーディオサンプルについての仮想位置決定情報を調整することを更に含む。いくつかの例では、仮想位置決定情報を調整することは、動きを補償するように構成されたデバイスによって、移動と、マイクロフォンアレイに関連付けられた実際の位置決定情報とに基づいて、仮想再位置決定情報を生成することを備える。
【００９２】
[0104]いくつかの態様では、本開示は、動きを補償するように構成されたデバイスに向けられている。デバイスは、３次元（３Ｄ）音場に関連付けられたオーディオデータを記憶するように構成されたメモリと、１つ又は複数のプロセッサとを備える。１つ又は複数のプロセッサは、マイクロフォンアレイによる３次元（３Ｄ）音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を示す動き情報を受け取ることと、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を補償するために、マイクロフォンアレイの１つ又は複数のマイクロフォンに関連付けられた仮想位置決定情報を調整することとを行うように構成される。１つ又は複数のプロセッサはまた、調整された仮想位置決定情報に基づいて、動き補償済みビットストリームを生成するように構成され得る。
【００９３】
[0105]いくつかの例では、１つ又は複数のプロセッサは、動き検知デバイスから移動を記述するデータを取得するように更に構成される。いくつかの例では、動き検知デバイスは、加速度計又はコンパスのうちの１つ又は複数を備え得る。いくつかの例では、仮想位置決定情報を調整するために、１つ又は複数のプロセッサは、３Ｄ音場の１つ又は複数の高次アンビソニックス（ＨＯＡ）表現を調整するように構成される。いくつかの例では、１つ又は複数のＨＯＡ表現を調整するために、１つ又は複数のプロセッサは、１つ又は複数の移動に関連付けられた効果マトリクスを取得するように構成される。１つのそのような例では、効果マトリクスは、１つ又は複数の移動に対する逆回転動作を表す。
【００９４】
[0106]いくつかの例によれば、１つ又は複数のプロセッサは、３Ｄ音場の時間ドメイン表現についての仮想位置決定情報を調整することで、仮想位置決定情報を調整するように構成される。いくつかの例では、３Ｄ音場の時間ドメイン表現は、３Ｄ音場の事前トランスコード化表現を備える。いくつかの例によれば、１つ又は複数のプロセッサは、移動と、マイクロフォンアレイに関連付けられた実際の位置決定情報とに基づいて仮想再位置決定情報を生成することで仮想位置決定情報を調整するように構成される。
【００９５】
[0107]様々な態様では、本開示は、動きを補償するように構成されたデバイスに向けられている。デバイスは、３次元（３Ｄ）音場に関連付けられたオーディオデータを記憶するための手段と、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を示す動き情報を受け取るための手段と、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を補償するために、マイクロフォンアレイの１つ又は複数のマイクロフォンに関連付けられた仮想位置決定情報を調整するための手段とを備える。デバイスはまた、調整された仮想位置決定情報に基づいて、動き補償済みビットストリームを生成するための手段を含み得る。いくつかの実現によれば、仮想位置決定情報を調整するための手段は、３Ｄ音場の１つ又は複数の高次アンビソニックス（ＨＯＡ）表現を調整するための手段を含む。いくつかの例では、仮想位置決定情報を調整するための手段は、１つ又は複数の移動に関連付けられた回転情報を取得するための手段と、回転情報に対する逆動作を表す効果マトリクスを取得するために回転情報の逆を算出するための手段と、動き補償済み３Ｄ音場を取得するために１つ又は複数のＨＯＡ表現に効果マトリクスを適用するための手段とを含む。いくつかの例によれば、仮想位置決定情報を調整するための手段は、３Ｄ音場の時間ドメイン表現についての仮想位置決定情報を調整するための手段を備え、３Ｄ音場の時間ドメイン表現は、３Ｄ音場の事前トランスコード化表現を備える。
【００９６】
[0108]いくつかの態様では、本開示は、命令で符号化された、非一時的なコンピュータ読取可能な記憶媒体に向けられている。これらの命令は、実行されると、動きを補償するためのコンピューティングデバイスの１つ又は複数のプロセッサに、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を示す動き情報を受け取ることと、マイクロフォンアレイによる３Ｄ音場の１つ又は複数のオーディオオブジェクトの取込みに関連付けられた１つ又は複数の移動を補償するために、マイクロフォンアレイの１つ又は複数のマイクロフォンに関連付けられた仮想位置決定情報を調整することと、調整された仮想位置決定情報に基づいて、動き補償済みビットストリームを生成することとを行わせる。
【００９７】
[0109]前述の技法は、任意の数の異なるコンテキスト及びオーディオエコシステムに関連して実行され得る。本技法は多数の例となるコンテキストに制限にされるべきであるが、それらの例となるコンテキストが以下で説明される。１つの例となるオーディオエコシステムは、オーディオコンテンツ、映画スタジオ、音楽スタジオ、ゲーム用のオーディオスタジオ、チャネルベースのオーディオコンテンツ、コード化エンジン、ゲームオーディオステム、ゲームオーディオコード化／レンダリングエンジン及び配信システムを含み得る。
【００９８】
[0110]映画スタジオ、音楽スタジオ及びゲーム用のオーディオスタジオは、オーディオコンテンツを受け取り得る。いくつかの例では、オーディオコンテンツは、獲得の出力を表し得る。映画スタジオは、例えば、デジタルオーディオワークステーション（ＤＡＷ）を使用することで、（例えば、２．１、５．１及び７．１で）チャネルベースのオーディオコンテンツを出力し得る。音楽スタジオは、例えば、ＤＡＷを使用することで、（例えば、２．１及び５．１で）チャネルベースのオーディオコンテンツを出力し得る。何れのケースにおいても、コード化エンジンは、配信システムによる出力のために、チャネルベースのオーディオコンテンツベースの１つ又は複数のコーデック（例えば、ＡＡＣ、ＡＣ３、Ｄｏｌｂｙ Ｔｒｕｅ ＨＤ、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、及びＤＴＳ Ｍａｓｔｅｒ Ａｕｄｉｏ）を受け取り、符号化し得る。ゲーム用のオーディオスタジオは、例えば、ＤＡＷを使用することで、１つ又は複数のゲームオーディオステムを出力し得る。ゲームオーディオコード化／レンダリングエンジンは、配信システムによる出力のために、このオーディオステムをチャネルベースのオーディオコンテンツへとコード化及び又はレンダリングし得る。本技法が実行され得る別の例となるコンテキストは、ブロードキャスト記録オーディオオブジェクト、プロフェッショナルオーディオシステム、消費者オンデバイス取込み、ＨＯＡオーディオフォーマット、オンデバイスレンダリング、消費者向けオーディオ、ＴＶ、付属品及び車載用オーディオシステムを含み得るオーディオエコシステムを備える。
【００９９】
[0111]ブロードキャスト記録オーディオオブジェクト、プロフェッショナルオーディオシステム及び消費者オンデバイス取込みは全て、ＨＯＡオーディオフォーマットを使用して、それらの出力をコード化し得る。このように、オーディオコンテンツは、オンデバイスレンダリング、消費者向けオーディオ、ＴＶ、付属品及び車載用オーディオシステムを使用して再生され得る単一表現へとＨＯＡオーディオフォーマットを使用してコード化され得る。換言すると、オーディオコンテンツの単一表現は、オーディオ再生システム１６のような一般の（即ち、５．１、７．１、等の特定の構成を必要とするのとは対照的な）オーディオ再生システムで再生され得る。
【０１００】
[0112]本技法が実行され得るコンテキストの他の例は、獲得要素（acquisition element）と再生要素（playback element）とを含み得るオーディオエコシステムを含む。獲得要素は、ワイヤード及び／又はワイヤレス獲得デバイス（例えば、アイゲンマイクロフォン）、オンデバイスサラウンドサウンド取込み、及びモバイルデバイス（例えば、スマートフォン及びタブレット）を含み得る。いくつかの例では、ワイヤード及び／又はワイヤレス獲得デバイスは、ワイヤード及び／又はワイヤレス通信チャネルを介してモバイルデバイスに結合され得る。
【０１０１】
[0113]本開示の１つ又は複数の技法に従って、モバイルデバイスは、音場を獲得するために使用され得る。例えば、モバイルデバイスは、ワイヤード及び／又はワイヤレス獲得デバイス及び／又はオンデバイスサラウンドサウンド取込み（例えば、モバイルデバイスへと統合された複数のマイクロフォン）を介して音場を獲得し得る。次に、モバイルデバイスは、再生要素のうちの１つ又は複数による再生のために、獲得した音場を、ＨＯＡ係数へとコード化し得る。例えば、モバイルデバイスのユーザは、生のイベント（例えば、ミーティング、会議、試合、コンサート、等）を記録（その音場を獲得）し、この記録をＨＯＡ係数へとコード化し得る。
【０１０２】
[0114]モバイルデバイスはまた、ＨＯＡコード化された音場を再生するために再生要素のうちの１つ又は複数を利用し得る。例えば、モバイルデバイスは、ＨＯＡコード化された音場を復号し、再生要素のうちの１つ又は複数に音場を再現させる信号を、再生要素のうちの１つ又は複数に出力し得る。一例として、モバイルデバイスは、１つ又は複数のスピーカ（例えば、スピーカアレイ、音板、等）に信号を出力するために、ワイヤレス及び／又はワイヤレス通信チャネルを利用し得る。別の例として、モバイルデバイスは、１つ又は複数のドッキングステーション及び／又は１つ又は複数のドッキングされるスピーカ（例えば、スマートカー及び／又はホームにおけるサウンドシステム）に信号を出力するためにドッキング解決策を利用し得る。別の例として、モバイルデバイスは、例えば、現実的なバイノーラルサウンドを作成するために、ヘッドフォンのセットに信号を出力するためにヘッドフォンレンダリングを利用し得る。
【０１０３】
[0115]いくつかの例では、特定のモバイルデバイスは、３Ｄ音場を獲得すること及び同じ３Ｄ音場を後の時間に再生することの両方を行い得る。いくつかの例では、モバイルデバイスは、３Ｄ音場を獲得し、３Ｄ音場をＨＯＡへと符号化し、符号化された３Ｄ音場を、再生のために１つ又は複数の他のデバイス（例えば、他のモバイルデバイス及び／又は他の非モバイルデバイス）に送信し得る。
【０１０４】
[0116]本技法が実行され得る更に別のコンテキストは、オーディオコンテンツ、ゲームスタジオ、コード化されたオーディオコンテンツ、レンダリングエンジン及び配信システムを含み得るオーディオエコシステムを含む。いくつかの例では、ゲームスタジオは、ＨＯＡ信号の編集をサポートし得る１つ又は複数のＤＡＷを含み得る。例えば、１つ又は複数のＤＡＷは、１つ又は複数のゲームオーディオシステムで動作する（例えば、それと連動する）ように構成され得るＨＯＡプラグイン及び／又はツールを含み得る。いくつかの例では、ゲームスタジオは、ＨＯＡをサポートする新しいステムフォーマットを出力し得る。何れのケースにおいても、ゲームスタジオは、配信システムによる再生のために音場をレンダリングし得るレンダリングエンジンに、コード化されたオーディオコンテンツを出力し得る。
【０１０５】
[0117]本技法はまた、例示的なオーディオ獲得デバイスに関連して実行され得る。例えば、本技法は、３Ｄ音場を記録するように集合的に構成される複数のマイクロフォンを含み得るアイゲンマイクロフォンに関連して実行され得る。いくつかの例では、アイゲンマイクロフォンの複数のマイクロフォンは、半径約４ｃｍの実質的に球体のボールの表面上に位置し得る。いくつかの例では、オーディオ符号化デバイス２０は、マイクロフォンから直接的にビットストリーム２１を出力するために、アイゲンマイクロフォンへと統合され得る。
【０１０６】
[0118]別の例示的なオーディオ獲得のコンテキストは、１つ又は複数のアイゲンマイクロフォンのような１つ又は複数のマイクロフォンから信号を受け取るように構成され得る中継車（production truck）を含み得る。中継車もまた、オーディオエンコーダ２０のようなオーディオエンコーダを含み得る。
【０１０７】
[0119]モバイルデバイスはまた、いくつかの事例では、３Ｄ音場を記録するように集合的に構成される複数のマイクロフォンを含み得る。換言すると、複数のマイクロフォンは、Ｘ、Ｙ、Ｚダイバーシティを有し得る。いくつかの例では、モバイルデバイスは、モバイルデバイスの１つ又は複数の他のマイクロフォンに対してＸ、Ｙ、Ｚダイバーシティを提供するために回転され得るマイクロフォンを含み得る。モバイルデバイスはまた、オーディオエンコーダ２０のようなオーディオエンコーダを含み得る。
【０１０８】
[0120]堅牢撮像装置は、３Ｄ音場を記録するように更に構成され得る。いくつかの例では、堅牢撮像装置は、アクティビティに携わっているユーザのヘルメットに取り付けられているだろう。例えば、堅牢撮像装置は、急流ラフティングをしているユーザのヘルメットに取り付けられているだろう。このように、堅牢撮像装置は、ユーザの周囲全体のアクション（例えば、ユーザの後ろで水が衝突していること、ラフティングをしている別の人がユーザの前で話していること、等）を表す３Ｄ音場を取り込み得る。
【０１０９】
[0121]本技法はまた、３Ｄ音場を記録するように構成され得る、付属品強化モバイルデバイス（accessory enhanced mobile device）に関連して実行され得る。いくつかの例では、モバイルデバイスは、１つ又は複数の付属品が追加されているが、上述したモバイルデバイスに類似し得る。例えば、付属品強化モバイルデバイスを形成するために、アイゲンマイクロフォンが、上述したモバイルデバイスに取り付けられているだろう。このように、付属品強化モバイルデバイスは、この付属品強化モバイルデバイスに不可欠なサウンド取込み構成要素だけを使用するよりも高い品質バージョンの３Ｄ音場を取り込み得る。
【０１１０】
[0122]本開示で説明された技法の様々な態様を実行し得る例となるオーディオ再生デバイスが以下で更に説明される。本開示の１つ又は複数の技法に従って、スピーカ及び／又は音板は、３Ｄ音場を依然として再生しつつ、あらゆる任意の構成で配列され得る。更に、いくつかの例では、ヘッドフォン再生デバイスは、ワイヤード接続及びワイヤレス接続の何れかを介してデコーダ２４に結合され得る。本開示の１つ又は複数の技法に従って、音場の単一の一般表現は、スピーカ、音板及びヘッドフォン再生デバイスの任意の組み合わせで音場をレンダリングするために利用され得る。
【０１１１】
[0123]多数の異なる例となるオーディオ再生環境もまた、本開示で説明された技法の様々な態様を実行するのに好適であり得る。例えば、５．１スピーカ再生環境、２．０（例えば、ステレオ）スピーカ再生環境、フルハイトフロントラウドスピーカを有する９．１スピーカ再生環境、２２．２スピーカ再生環境、１６．０スピーカ再生環境、自動車用のスピーカ再生環境及び小型イヤホン再生環境を備えたモバイルデバイスは、本開示で説明された技法の様々な態様を実行するのに好適な環境であり得る。
【０１１２】
[0124]本開示の１つ又は複数の技法に従って、音場の単一の一般表現は、前述の再生環境の何れかで音場をレンダリングするために利用され得る。追加的に、本開示の技法は、レンダード（rendered）が、上述したもの以外の再生環境での再生のために、一般表現から音場をレンダリングすることを可能にする。例えば、設計考慮が７．１スピーカ再生環境に準じたスピーカの適切な設置を妨げる場合（例えば、右のサラウンドスピーカを設置することができない場合）、本開示の技法は、レンダ（render）が、再生が６．１スピーカ再生環境で達成され得るように、他の６つ全てのスピーカを用いて補償することを可能にする。
【０１１３】
[0125]更に、ユーザは、ヘッドフォンを着用しながらスポーツゲームを観戦し得る。本開示の１つ又は複数の技法に従って、スポーツゲームの３Ｄ音場が獲得され得（例えば、１つ又は複数のアイゲンマイクロフォンが、野球場内に及び／又はその周囲に配置され得る）、３Ｄ音場に対応するＨＯＡ係数が、取得され、デコーダに送信され得、デコーダが、ＨＯＡ係数に基づいて３Ｄ音場を再構築し、再構築された３Ｄ音場をレンダラに出力し得、レンダラが、再生環境（例えば、ヘッドフォン）のタイプに関するインジケーションを取得し、ヘッドフォンに、スポーツゲームの３Ｄ音場の表現を出力させる信号へと、再構築された３Ｄ音場をレンダリングし得る。
【０１１４】
[0126]上述した様々な事例の各々では、オーディオ符号化デバイス２０が方法を実行し得るか、そうでなければ、オーディオ符号化デバイス２０が実行するように構成された方法の各ステップを実行する手段を備え得ることは理解されるべきである。いくつかの事例では、手段は、１つ又は複数のプロセッサを備え得る。いくつかの事例では、１つ又は複数のプロセッサは、非一時的なコンピュータ読取可能な記憶媒体に記憶された命令により構成された専用プロセッサを表し得る。換言すると、符号化の例のセットの各々における技法の様々な態様は、実行されたときに、オーディオ符号化デバイス２０が実行するように構成されている方法を実行することを１つ又は複数のプロセッサに行わせる命令を記憶している非一時的なコンピュータ読取可能な記憶媒体を提供し得る。
【０１１５】
[0127]１つ又は複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせで実現され得る。ソフトウェアで実現される場合、これら機能は、１つ又は複数の命令又はコードとして、コンピュータ読取可能な媒体に記憶され、コンピュータ読取可能な媒体を通して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ読取り可能な媒体は、データ記憶媒体のような有形の媒体に対応するコンピュータ読取可能な記憶媒体を含み得る。データ記憶媒体は、本開示で説明された技法の実現のための命令、コード及び／又はデータ構造を取り出すために、１つ又は複数のコンピュータ又は１つ又は複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ読取可能な媒体を含み得る。
【０１１６】
[0128]同様に、上述した様々な事例の各々では、オーディオ復号デバイス２４が方法を実行し得るか、そうでなければ、オーディオ復号デバイス２４が実行するように構成された方法の各ステップを実行する手段を備え得ることは理解されるべきである。いくつかの事例では、手段は、１つ又は複数のプロセッサを備え得る。いくつかの事例では、１つ又は複数のプロセッサは、非一時的なコンピュータ読取可能な記憶媒体に記憶された命令により構成された専用プロセッサを表し得る。換言すると、符号化の例のセットの各々における技法の様々な態様は、実行されたときに、オーディオ復号デバイス２４が実行するように構成されている方法を実行することを１つ又は複数のプロセッサに行わせる命令を記憶している非一時的なコンピュータ読取可能な記憶媒体を提供し得る。
【０１１７】
[0129]限定ではなく例として、このようなコンピュータ読取可能な記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ若しくは他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、フラッシュメモリ、又はデータ構造若しくは命令の形式で所望のプログラムコードを記憶若しくは搬送するために使用されることができかつコンピュータによってアクセスされることができる任意の他の媒体を備え得る。しかしながら、コンピュータ読取可能な記憶媒体及びデータ記憶媒体は、接続、搬送波、信号又は他の一時的な有形の媒体を含まないが、代わりとして、非一時的な有形の記憶媒体に向けられていることは理解されるべきである。本明細書で使用される場合、ディスク（disk）及びディスク（disc）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク及びブルーレイディスクを含み、ディスク（disk）は、通常磁気的にデータを再生し、ディスク（disc）は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ読取可能な媒体の範囲内に含まれるべきである。
【０１１８】
[0130]命令は、１つ又は複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）又は他の等価的な集積回路又はディスクリート論理回路のような１つ又は複数のプロセッサによって実行され得る。従って、本明細書で使用される場合、「プロセッサ」という用語は、前述の構造又は本明細書で説明された技法の実現に好適な任意の他の構造の何れかを指し得る。加えて、いくつかの態様では、本明細書で説明された機能性は、符号化及び復号のために構成された専用ハードウェア及び／又はソフトウェアモジュール内に提供され得るか、組み合わせられたコーデックに組み込まれ得る。また、本技法は、１つ又は複数の回路又は論理素子において十分に実現され得る。
【０１１９】
[0131]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、幅広い種類のデバイス又は装置で実現され得る。様々な構成要素、モジュール又はユニットは、本開示では、開示された技法を実行するように構成されたデバイスの機能的な態様を強調するように説明されているが、必ずしも異なるハードウェアユニットによる実現を必要とするわけではない。むしろ、上述したように、様々なユニットは、コーデックハードウェアユニットへと組み合わせられるか、好適なソフトウェア及び／又はファームウェアと併せて、上述したような１つ又は複数のプロセッサを含む、相互動作するハードウェアユニットの集合によって提供され得る。
【０１２０】
[0132]本技法の様々な態様が説明されている。本技法のこれらの態様及び他の態様は、以下の特許請求の範囲の範囲内である。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
動き補償の方法であって、
動きを補償するように構成されたデバイスが、マイクロフォンアレイによる３次元（３Ｄ）音場の１つ以上のオーディオオブジェクトの取込みに関連付けられた１つ以上の移動を示す動き情報を受け取ることと、
動きを補償するように構成された前記デバイスが、前記マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を補償するために、前記マイクロフォンアレイの１つ以上のマイクロフォンに関連付けられた仮想位置決定情報を調整することと、
動きを補償するように構成された前記デバイスが、調整された前記仮想位置決定情報に基づいて、動き補償済みビットストリームを生成することと
を備える方法。
［Ｃ２］
前記仮想位置決定情報を調整することは、動きを補償するように構成された前記デバイスが、前記３Ｄ音場の１つ以上の高次アンビソニックス（ＨＯＡ）表現を調整することを備える、Ｃ１に記載の方法。
［Ｃ３］
前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、前記１つ以上のＨＯＡ表現に関連付けられた空間情報を変えることを備える、Ｃ２に記載の方法。
［Ｃ４］
前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、前記１つ以上の移動に関連付けられた効果マトリクスを取得することを備える、Ｃ２に記載の方法。
［Ｃ５］
前記効果マトリクスは、前記１つ以上の移動に対する逆回転動作を表す、Ｃ４に記載の方法。
［Ｃ６］
前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、動き補償済み３Ｄ音場を取得するために、前記１つ以上のＨＯＡ表現に前記効果マトリクスを適用することを備える、Ｃ４に記載の方法。
［Ｃ７］
前記効果マトリクスを取得することは、
動きを補償するように構成された前記デバイスが、前記１つ以上の移動に関連付けられた回転情報を取得することと、
動きを補償するように構成された前記デバイスが、少なくとも部分的には、前記回転情報の逆を算出することで、前記効果マトリクスを算出することと
を備える、Ｃ４に記載の方法。
［Ｃ８］
前記効果マトリクスは、ゼロエントリのセットと重要エントリのセットとを備え、
前記ゼロエントリのセットは、前記重要エントリのセットよりも多い数のエントリを含む、
Ｃ４に記載の方法。
［Ｃ９］
前記１つ以上のＨＯＡ表現を調整することは、動きを補償するように構成された前記デバイスが、前記３Ｄ音場に関連付けられた複数のオーディオサンプルのサブセットについての前記１つ以上のＨＯＡ表現を、前記サブセットのオーディオサンプルの任意の対が前記複数の前記オーディオサンプルのインターバルを表すように調整することを備える、Ｃ２に記載の方法。
［Ｃ１０］
前記インターバルは、１０サンプルインターバル又は１２サンプルインターバルのうちの１つを備える、Ｃ９に記載の方法。
［Ｃ１１］
動きを補償するように構成された前記デバイスが、１つ以上の補間済み効果マトリクスを取得するために、各インターバルに関連する前記効果マトリクスを補間することを更に備える、Ｃ９に記載の方法。
［Ｃ１２］
動きを補償するように構成された前記デバイスが、対応するインターバルに含まれる対応するサンプルに各補間済み効果マトリクスを適用することを更に備える、Ｃ１１に記載の方法。
［Ｃ１３］
動きを補償するように構成された前記デバイスが、１つ以上の微小移動を、前記３Ｄ音場の前記１つ以上のオーディオオブジェクトに関連付けられた１つ以上の緩徐な移動と区別することを更に備える、Ｃ１に記載の方法。
［Ｃ１４］
前記微小移動を前記緩徐な移動と区別することは、前記取込みに関連付けられた動き情報を記述する距離、周波数又は角度の鋭さのうちの１つ以上に関連付けられた閾値に基づいている、Ｃ１３に記載の方法。
［Ｃ１５］
前記マイクロフォンアレイによる前記３Ｄ音場の前記１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を示す前記動き情報を受け取ることは、動きを補償するように構成された前記デバイスが、前記移動に関連付けられたヨー角、ピッチ角又はロール角のうちの１つ以上を受け取ることを備え、
前記移動を補償するために、前記仮想位置決定情報を調整することは、動きを補償するように構成された前記デバイスが、前記ヨー角、前記ピッチ角又は前記ロール角のうちの受け取った前記１つ以上に基づいて、回転情報を補償することを備える
Ｃ１に記載の方法。
［Ｃ１６］
前記仮想位置決定情報を調整することは、動きを補償するように構成された前記デバイスが、前記３Ｄ音場の時間ドメイン表現についての前記仮想位置決定情報を調整することを備える、Ｃ１に記載の方法。
［Ｃ１７］
前記３Ｄ音場の前記時間ドメイン表現は、前記３Ｄ音場の事前トランスコード化表現を備える、Ｃ１６に記載の方法。
［Ｃ１８］
動きを補償するように構成された前記デバイスが、前記３Ｄ音場に関連して前記マイクロフォンアレイによって取り込まれた全てのオーディオサンプルについての前記仮想位置決定情報を調整することを更に備える、Ｃ１に記載の方法。
［Ｃ１９］
前記仮想位置決定情報を調整することは、動きを補償するように構成された前記デバイスが、前記移動と、前記マイクロフォンアレイに関連付けられた実際の位置決定情報とに基づいて、仮想再位置決定情報を生成することを備える、Ｃ１に記載の方法。
［Ｃ２０］
動きを補償するように構成されたデバイスであって、
３次元（３Ｄ）音場に関連付けられたオーディオデータを記憶するように構成されたメモリと、
１つ以上のプロセッサと
を備え、前記１つ以上のプロセッサは、
マイクロフォンアレイによる３次元（３Ｄ）音場の１つ以上のオーディオオブジェクトの取込みに関連付けられた１つ以上の移動を示す動き情報を受け取ることと、
前記マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を補償するために、マイクロフォンアレイの１つ以上のマイクロフォンに関連付けられた仮想位置決定情報を調整することと、
調整された前記仮想位置決定情報に基づいて、動き補償済みビットストリームを生成することと
を行うように構成される、デバイス。
［Ｃ２１］
前記マイクロフォンアレイによる前記３Ｄ音場の前記１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を示す前記動き情報を受け取るために、前記１つ以上のプロセッサは、加速度計又はコンパスのうちの１つ以上を備える動き検知デバイスから前記動き情報を受け取るように構成される、Ｃ２０に記載のデバイス。
［Ｃ２２］
前記仮想位置決定情報を調整するために、前記１つ以上のプロセッサは、３Ｄ音場の１つ以上の高次アンビソニックス（ＨＯＡ）表現を調整するように構成される、Ｃ２０に記載のデバイス。
［Ｃ２３］
前記１つ以上のＨＯＡ表現を調整するために、前記１つ以上のプロセッサは、前記１つ以上の移動に対する逆回転動作を表す効果マトリクスを取得するように構成される、Ｃ２２に記載のデバイス。
［Ｃ２４］
前記１つ以上のプロセッサは、前記３Ｄ音場の時間ドメイン表現についての前記仮想位置決定情報を調整することで、前記仮想位置決定情報を調整するように構成され、
前記３Ｄ音場の前記時間ドメイン表現は、前記３Ｄ音場の事前トランスコード化表現を備える、
Ｃ２０に記載のデバイス。
［Ｃ２５］
前記１つ以上のプロセッサは、前記移動と、前記マイクロフォンアレイに関連付けられた実際の位置決定情報とに基づいて、仮想再位置決定情報を生成することで前記仮想位置決定情報を調整するように構成される、Ｃ２０に記載のデバイス。
［Ｃ２６］
動きを補償するように構成されたデバイスであって、
３次元（３Ｄ）音場に関連付けられたオーディオデータを記憶するための手段と、
マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの取込みに関連付けられた１つ以上の移動を示す動き情報を受け取るための手段と、
前記マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を補償するために、マイクロフォンアレイの１つ以上のマイクロフォンに関連付けられた仮想位置決定情報を調整するための手段と、
調整された前記仮想位置決定情報に基づいて、動き補償済みビットストリームを生成するための手段と
を備えるデバイス。
［Ｃ２７］
前記仮想位置決定情報を調整するための前記手段は、前記３Ｄ音場の１つ以上の高次アンビソニックス（ＨＯＡ）表現を調整するための手段を備える、Ｃ２６に記載のデバイス。
［Ｃ２８］
前記仮想位置決定情報を調整するための前記手段は、
前記１つ以上の移動に関連付けられた回転情報を取得するための手段と、
前記回転情報に対する逆動作を表す効果マトリクスを取得するために前記回転情報の逆を算出するための手段と、
動き補償済み３Ｄ音場を取得するために、前記１つ以上のＨＯＡ表現に前記効果マトリクスを適用するための手段と
を備える、Ｃ２７に記載のデバイス。
［Ｃ２９］
前記仮想位置決定情報を調整するための前記手段は、前記３Ｄ音場の時間ドメイン表現についての前記仮想位置決定情報を調整するための手段を備え、前記３Ｄ音場の前記時間ドメイン表現は、前記３Ｄ音場の事前トランスコード化表現を備える、Ｃ２６に記載のデバイス。
［Ｃ３０］
命令で符号化される非一時的なコンピュータ読取可能な記憶媒体であって、前記命令は、実行されると、動きを補償するためのコンピューティングデバイスの１つ以上のプロセッサに、
マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの取込みに関連付けられた１つ以上の移動を示す動き情報を受け取ることと、
前記マイクロフォンアレイによる前記３Ｄ音場の１つ以上のオーディオオブジェクトの前記取込みに関連付けられた前記１つ以上の移動を補償するために、マイクロフォンアレイの１つ以上のマイクロフォンに関連付けられた仮想位置決定情報を調整することと、
調整された前記仮想位置決定情報に基づいて、動き補償済みビットストリームを生成することと
を行わせる、非一時的なコンピュータ読取可能な記憶媒体。
【要約】一般に、動き補償のための技法及びデバイスが説明される。例、動きを補償するように構成されたデバイス。デバイスは、３次元（３Ｄ）音場に関連付けられたオーディオデータを記憶するように構成されたメモリと、１つ以上のプロセッサとを含む。１つ以上のプロセッサは、マイクロフォンアレイによる３次元（３Ｄ）音場の１つ以上のオーディオオブジェクトの取込みに関連付けられた１つ以上の移動を示す動き情報を受け取ることと、マイクロフォンアレイによる３Ｄ音場の１つ以上のオーディオオブジェクトの取込みに関連付けられた１つ以上の移動を補償するために、マイクロフォンアレイの１つ以上のマイクロフォンに関連付けられた仮想位置決定情報を調整することとを行うように構成される。１つ以上のプロセッサはまた、調整された仮想位置決定情報に基づいて、動き補償済みビットストリームを生成するように構成され得る。
【選択図】  図５【図１】
0006301567.tif 000006
【図２】
0006301567.tif 000007
【図３Ａ】
0006301567.tif 000008
【図３Ｂ】
0006301567.tif 000009
【図４Ａ】
0006301567.tif 000010
【図４Ｂ】
0006301567.tif 000011
【図４Ｃ】
0006301567.tif 000012
【図４Ｄ】
0006301567.tif 000013
【図５】
0006301567.tif 000014
【図６Ａ】
0006301567.tif 000015
【図６Ｂ】
0006301567.tif 000016
【図６Ｃ】
0006301567.tif 000017
【図６Ｄ】
0006301567.tif 000018
【図６Ｅ】
0006301567.tif 000019
【図６Ｆ】
0006301567.tif 000020
【図７Ａ】
0006301567.tif 000021
【図７Ｂ】
0006301567.tif 000022
【図７Ｃ】
0006301567.tif 000023
【図７Ｄ】
0006301567.tif 000024
【図７Ｅ】
0006301567.tif 000025
【図８Ａ】
0006301567.tif 000026
【図８Ｂ】
0006301567.tif 000027
【図９】
0006301567.tif 000028