(57)【要約】  音場を記述する基底関数係数のセットの後方互換性のある符号化のためのシステム、方法、および装置が提示される。【選択図】図２Ａ
2015525897.tif 000002
【特許請求の範囲】
【請求項１】
時間間隔の間の音場を記述する複数の基底関数係数を処理する方法であって、前記方法は、
複数のチャネル信号を生成するために、前記複数の基底関数係数の第１のグループに対して可逆変換を実行することと、ここにおいて、前記複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる、
前記複数のチャネル信号に基づいて、（Ａ）前記複数の基底関数係数の第２のグループの表現と、ここにおいて、前記第２のグループは、前記第１のグループとは異なり、（Ｂ）前記第２のグループの前記表現とは別である、前記複数のチャネル信号の表現と、を含むデータ構造を生成することと
を備える、方法。
【請求項２】
前記複数の基底関数係数は、球面調和関数の基底関数の複数の係数である、
請求項１に記載の方法。
【請求項３】
前記複数のチャネル信号は、第１のラウドスピーカ位置と関連づけられた第１のチャネル信号と、前記第１のラウドスピーカ位置とは異なる第２のラウドスピーカ位置と関連づけられた第２のチャネル信号と
を含む、請求項１に記載の方法。
【請求項４】
前記複数のチャネル信号は、第１の空間方向と関連づけられた第１のチャネル信号と、前記第１の空間方向とは異なる第２の空間方向と関連づけられた第２のチャネル信号と
を含む、請求項１に記載の方法。
【請求項５】
前記第１のグループの前記係数の各々について、前記係数は、そのエネルギが、第１の平面外の任意の方向に沿うのと少なくとも同じ程度に、前記第１の平面内の少なくとも１つの方向に沿って集中された基底関数に対応し、前記第１の平面は、前記第１および第２の空間方向を含む、
請求項４に記載の方法。
【請求項６】
前記第１のグループの第１の係数は、全方向性である基底関数に対応し、
前記第１のグループの他の係数の各々について、前記係数は、そのエネルギが、第１の平面内の少なくとも１つの方向に沿って集中された基底関数に対応し、前記第１の平面は、前記第１および第２の空間方向を含む、
請求項４に記載の方法。
【請求項７】
前記第２のグループの前記係数の少なくともいくつかの各々について、前記係数は、そのエネルギが、前記第１および第２の空間方向を含む平面外の少なくとも１つの方向に沿って集中された基底関数に対応する、
請求項４に記載の方法。
【請求項８】
前記複数のチャネル信号は、チャネル信号のセットを含み、前記チャネル信号のセットの各信号は、互いに等間隔を置かれた同一平面上の方向のセットのうちの対応する異なる１つと関連づけられる、
請求項１に記載の方法。
【請求項９】
前記複数の基底関数係数の中の各々は、前記複数の内の対応する次数を有し、
前記複数の基底関数係数の前記第１のグループの中の各々について、前記係数の前記次数は、前記複数の基底関数係数の前記第２のグループの前記係数の前記次数の中で最も低いものよりも少ない、
請求項１に記載の方法。
【請求項１０】
前記複数の基底関数係数の中の各々は、前記複数の内の対応する次数を有し、
前記複数の基底関数係数の前記第２のグループの中の各々について、前記係数の前記次数は、前記複数の基底関数係数の前記第１のグループの前記係数の前記次数の中で最も高いものよりも大きい、
請求項１に記載の方法。
【請求項１１】
前記可逆変換を前記実行することは、（Ａ）前記複数の基底関数係数の前記第１のグループと、（Ｂ）可逆マトリクスとの積を計算することを備える、
請求項１に記載の方法。
【請求項１２】
前記データ構造は、前記第２のグループの前記表現を含む第１のストリームと、前記複数のチャネル信号の前記表現を含む第２のストリームと
を含む、請求項１に記載の方法。
【請求項１３】
前記方法は、前記複数のチャネル信号の各々を、時間領域サンプルのシーケンスに変換することを含み、
前記複数のチャネル信号の前記表現は、前記時間領域サンプルのシーケンスに基づく、
請求項１に記載の方法。
【請求項１４】
前記方法は、前記複数の基底関数係数を生成するために、複数のオーディオ入力信号をエンコードすることを含む、
請求項１に記載の方法。
【請求項１５】
前記複数のオーディオ入力信号の各々は、マイクロフォンアレイの対応するマイクロフォンによって生成される信号に基づく、
請求項１４に記載の方法。
【請求項１６】
時間間隔の間の音場を記述する複数の基底関数係数を得る方法であって、前記方法は、
データ構造から、（Ａ）前記複数の基底関数係数の第２のグループの表現と、（Ｂ）前記第２のグループの前記表現とは別である、複数のチャネル信号の表現とを得ることと、ここにおいて、前記複数のチャネル信号のサブセットの各々は、対応する異なる空間領域と関連づけられる、
前記複数の基底関数係数の第１のグループを生成するために、前記複数のチャネル信号の前記サブセットに対して変換を実行することと、ここにおいて、前記第１のグループは、前記第２のグループとは異なる、
を備える、方法。
【請求項１７】
前記複数の基底関数係数の各々は、直交基底関数のセットのうちの一意的な１つに対応する、
請求項１６に記載の方法。
【請求項１８】
前記複数の基底関数係数の各々は、球面調和関数の基底関数のセットのうちの一意的な１つに対応する、
請求項１６に記載の方法。
【請求項１９】
前記方法は、前記複数の基底関数係数に基づいて、第２の複数のチャネル信号を生成することを備え、
前記複数のチャネル信号の前記サブセットの各信号は、同一平面上の方向のセットのうちの対応する異なる１つと関連づけられ、
前記第２の複数のチャネル信号の各々は、３次元空間に広がる方向のセットのうちの対応する異なる１つと関連づけられる、
請求項１６に記載の方法。
【請求項２０】
時間間隔の間の音場を記述する複数の基底関数係数を処理するための装置であって、前記装置は、
複数のチャネル信号を生成するために、前記複数の基底関数係数の第１のグループに対して可逆変換を実行するための手段と、ここにおいて、前記複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる、
前記複数のチャネル信号に基づいて、（Ａ）前記複数の基底関数係数の第２のグループの表現と、ここにおいて、前記第２のグループは、前記第１のグループとは異なり、（Ｂ）前記第２のグループの前記表現とは別である、前記複数のチャネル信号の表現と、を含むデータ構造を生成するための手段と
を備える、装置。
【請求項２１】
前記複数の基底関数係数は、球面調和関数の基底関数の複数の係数である、
請求項２０に記載の装置。
【請求項２２】
前記複数のチャネル信号は、第１の空間方向と関連づけられた第１のチャネル信号と、前記第１の空間方向とは異なる第２の空間方向と関連づけられた第２のチャネル信号とを含む、
請求項２０に記載の装置。
【請求項２３】
前記第２のグループの前記係数の少なくともいくつかの各々について、前記係数は、そのエネルギが、前記第１および第２の空間方向を含む平面外の少なくとも１つの方向に沿って集中された基底関数に対応する、
請求項２０に記載の装置。
【請求項２４】
前記複数のチャネル信号は、チャネル信号のセットを含み、前記チャネル信号のセットの各信号は、互いに等間隔を置かれた同一平面上の方向のセットのうちの対応する異なる１つと関連づけられる、
請求項２０に記載の装置。
【請求項２５】
前記複数の基底関数係数の中の各々は、前記複数の内の対応する次数を有し、
前記複数の基底関数係数の前記第１のグループの中の各々について、前記係数の前記次数は、前記複数の基底関数係数の前記第２のグループの前記係数の前記次数の中で最も低いものよりも少ない、
請求項２０に記載の装置。
【請求項２６】
前記可逆変換を実行するための前記手段は、（Ａ）前記複数の基底関数係数の前記第１のグループと、（Ｂ）可逆マトリクスとの積を計算するための手段を備える、
請求項２０に記載の装置。
【請求項２７】
前記装置は、前記複数のチャネル信号の各々を、時間領域サンプルのシーケンスに変換するための手段を含み、
前記複数のチャネル信号の前記表現は、前記時間領域サンプルのシーケンスに基づく、
請求項２０に記載の装置。
【請求項２８】
前記装置は、前記複数の基底関数係数を生成するために、複数のオーディオ入力信号をエンコードするための手段を含む、
請求項２０に記載の装置。
【請求項２９】
時間間隔の間の音場を記述する複数の基底関数係数を処理するための装置であって、前記装置は、
複数のチャネル信号を生成するために、前記複数の基底関数係数の第１のグループに対して可逆変換を実行するように構成された計算器と、ここにおいて、前記複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる、
前記複数のチャネル信号に基づいて、（Ａ）前記複数の基底関数係数の第２のグループの表現と、ここにおいて、前記第２のグループは、前記第１のグループとは異なり、（Ｂ）前記第２のグループの前記表現とは別である、前記複数のチャネル信号の表現と、を含むデータ構造を生成するように構成されたデータフォーマッタと
を備える、装置。
【請求項３０】
前記複数の基底関数係数は、球面調和関数の基底関数の複数の係数である、
請求項２９に記載の装置。
【請求項３１】
前記複数のチャネル信号は、第１の空間方向と関連づけられた第１のチャネル信号と、前記第１の空間方向とは異なる第２の空間方向と関連づけられた第２のチャネル信号と
を含む、請求項２９に記載の装置。
【請求項３２】
前記第２のグループの前記係数の少なくともいくつかの各々について、前記係数は、そのエネルギが、前記第１および第２の空間方向を含む平面外の少なくとも１つの方向に沿って集中された基底関数に対応する、
請求項２９に記載の装置。
【請求項３３】
前記複数のチャネル信号は、チャネル信号のセットを含み、前記チャネル信号のセットの各信号は、互いに等間隔を置かれた同一平面上の方向のセットのうちの対応する異なる１つと関連づけられる、
請求項２９に記載の装置。
【請求項３４】
前記複数の基底関数係数の中の各々は、前記複数の内の対応する次数を有し、
前記複数の基底関数係数の前記第１のグループの中の各々について、前記係数の前記次数は、前記複数の基底関数係数の前記第２のグループの前記係数の前記次数の中で最も低いものよりも少ない、
請求項２９に記載の装置。
【請求項３５】
前記計算器は、（Ａ）前記複数の基底関数係数の前記第１のグループと、（Ｂ）可逆マトリクスとの積を計算するように構成される、
請求項２９に記載の装置。
【請求項３６】
前記装置は、前記複数のチャネル信号の各々を、時間領域サンプルのシーケンスに変換するように構成された第２の計算器を含み、
前記複数のチャネル信号の前記表現は、前記時間領域サンプルのシーケンスに基づく、
請求項２９に記載の装置。
【請求項３７】
前記装置は、前記複数の基底関数係数を生成するために、複数のオーディオ入力信号をエンコードするように構成されたエンコーダを含む、
請求項２９に記載の装置。
【請求項３８】
有形の特徴を読み取る機械に請求項１に記載の方法を実行させる前記特徴を有する非一時的なコンピュータ可読データ記憶媒体。
【発明の詳細な説明】
【米国特許法第１１９条に基づく優先権の主張】
【０００１】
[0001]本特許出願は、２０１２年７月１５日に出願され、本譲受人に譲渡された、「空間オーディオ表現のために球面調和関数係数を使用する場合の後方互換性の提供（“PROVIDING BACKWARD COMPATIBILITY WHEN USING SPHERICAL HARMONICS COEFFICIENTS FOR SPATIAL AUDIO REPRESENTATION”）」と題された仮特許出願第６１／６７１，７８９号の優先権を主張する。
【技術分野】
【０００２】
[0002]本開示は、空間オーディオ符号化（spatial audio coding）に関する。
【背景技術】
【０００３】
[0003]サラウンドサウンドの発展は、今日のエンターテインメントのために多くの出力フォーマットを利用可能にした。市場におけるサラウンドサウンドフォーマットの範囲は、ポピュラーな５．１ホームシアターシステムフォーマットを含み、これは、ステレオ以上にリビングルームに進出しているという点で、最も成功したものである。このフォーマットは、次の６つのチャネルを含む：前方左（Ｌ）、前方右（Ｒ）、中央または前方中央（Ｃ）、後方左またはサラウンド左（Ｌｓ）、後方右またはサラウンド右（Ｒｓ）、および低周波数効果（ＬＦＥ：low frequency effects）。サラウンドサウンドフォーマットの他の例は、例えば、超高精細度テレビジョン規格での使用のために、ＮＨＫ（Nippon Hoso Kyokaiすなわち日本放送協会）よって開発された先進的な（futuristic）２２．２フォーマットおよび発展中の７．１フォーマットを含む。サラウンドサウンドフォーマットにとっては、２次元および／または３次元でオーディオをエンコードすることが望ましくありうる。
【発明の概要】
【０００４】
[0004]一般的な構成による、複数の基底関数係数を処理する方法が説明される。複数の基底関数係数は、時間間隔の間の音場を記述する。この方法は、複数のチャネル信号を生成するために、複数の基底関数係数の第１のグループに対して可逆変換（reversible transform）を実行することを含み、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。この方法はまた、複数のチャネル信号に基づいて、（Ａ）複数の基底関数係数の第２のグループの表現と、ここで、第２のグループは、第１のグループとは異なり、（Ｂ）第２のグループの表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成することを含む。有形の特徴を読み取る機械にこのような方法を実行させる該特徴を有するコンピュータ可読記憶媒体（例えば、非一時的な媒体）がまた、開示される。
【０００５】
[0005]一般的な構成による、複数の基底関数係数を処理するための装置が説明される。複数の基底関数係数は、時間間隔の間の音場を記述する。この装置は、複数のチャネル信号を生成するために、複数の基底関数係数の第１のグループに対して可逆変換を実行するための手段を含み、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。この装置はまた、複数のチャネル信号に基づいて、（Ａ）複数の基底関数係数の第２のグループの表現と、ここで、第２のグループは、第１のグループとは異なり、（Ｂ）第２のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成するための手段を含む。
【０００６】
[0006]別の一般的な構成による、複数の基底関数係数を処理するための装置が説明される。複数の基底関数係数は、時間間隔の間の音場を記述する。この装置は、複数のチャネル信号を生成するために、複数の基底関数係数の第１のグループに対して可逆変換を実行するように構成された計算器を含み、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。この装置はまた、複数のチャネル信号に基づいて、（Ａ）複数の基底関数係数の第２のグループの表現と、ここで、第２のグループは、第１のグループとは異なり、（Ｂ）第２のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成するように構成されたデータフォーマッタを含む。
【図面の簡単な説明】
【０００７】
【図１Ａ】図１Ａは、後方互換性を考慮しないシーンベースの（scene-based）符号化の例を示す。
【図１Ｂ】図１Ｂは、ＭＰＥＧコーデックを使用する標準化についての一般的な構造を例示する。
【図１Ｃ】図１Ｃは、モノラル／ステレオについての後方互換性のある例を示す。
【図２Ａ】図２Ａは、後方互換性のある設計によるエンコーディングプロセスの例を示す。
【図２Ｂ】図２Ｂは、シーンベースのデータをデコードすることができない従来のデコーダ上でのデコーディングプロセスの例を示す。
【図３Ａ】図３Ａは、シーンベースのデータを処理する（handle）ことができる新しいデバイスによるデコーディングプロセスの例を示す。
【図３Ｂ】図３Ｂは、一般的な構成による、オーディオ信号処理の方法 Ｍ１００のフローチャートを示す。
【図３Ｃ】図３Ｃは、一般的な構成による、オーディオ信号処理のための装置 ＭＦ１００のブロック図を示す。
【図３Ｄ】図３Ｄは、別の一般的な構成による、オーディオ信号処理のための装置 Ａ１００のブロック図を示す。
【図４】図４は、次数０および１の球面調和関数の基底関数の大きさ（magnitudes）の表面メッシュプロットの例を示す。
【図５】図５は、次数２の球面調和関数の基底関数の大きさの表面メッシュプロットの例を示す。
【図６】図６は、５．１システムのためのラウドスピーカ角度の規格準拠の例を示す。
【図７】図７は、５．１ターゲットシステムのためのラウドスピーカ角度の等間隔を置かれた配置の例を示す。
【図８】図８は、７．１システムのためのラウドスピーカ角度の規格準拠の例を示す。
【図９】図９は、７．１ターゲットシステムのためのラウドスピーカ角度の等間隔を置かれた配置の例を示す。
【図１０Ａ】図１０Ａは、一般的な構成による、オーディオ信号処理の方法 Ｍ２００のフローチャートを示す。
【図１０Ｂ】図１０Ｂは、方法 Ｍ２００の実装 Ｍ２１０のフローチャートを示す。
【図１１Ａ】図１１Ａは、一般的な構成による、オーディオ信号処理のための装置 ＭＦ２００のブロック図を示す。
【図１１Ｂ】図１１Ｂは、装置 ＭＦ１００の実装 ＭＦ２１０のブロック図を示す。
【図１１Ｃ】図１１Ｃは、別の一般的な構成による、オーディオ信号処理のための装置 Ａ２００のブロック図を示す。
【図１１Ｄ】図１１Ｄは、装置 Ａ１００の実装 Ａ２１０のブロック図を示す。
【図１１Ｅ】図１１Ｅは、別の一般的な構成による、オーディオ信号処理のための装置 Ｐ１００のブロック図を示す。
【発明を実施するための形態】
【０００８】
[0029]その文脈によって明確に限定されていない限り、「信号」という用語は、ここでは、ワイヤ、バス、または他の伝送媒体上で表される記憶場所（memory location）（または、記憶場所のセット）の状態を含む、その通常の意味のいずれをも示すために使用される。その文脈によって明確に限定されていない限り、「発生する（generating）」という用語は、ここでは、計算する（computing）またはさもなければ生成する（producing）など、その通常の意味のいずれをも示すために使用される。その文脈によって明確に限定されていない限り、「計算する（calculating）」という用語は、ここでは、複数の値から選択する、推定する、評価する、および／または計算する（computing）など、その通常の意味のいずれをも示すために使用される。その文脈によって明確に限定されていない限り、「得る（obtaining）」という用語は、計算する、導出する、（例えば、外部デバイスから）受信する、および／または（例えば、記憶要素のアレイから）取り出すなど、その通常の意味のいずれをも示すために使用される。その文脈によって明確に限定されていない限り、「選択する（selecting）」という用語は、２つ以上のセットのうちの、少なくとも１つ、およびすべてよりも少数を使用する、適用する、示す、および／または識別するなど、その通常の意味のいずれをも示すために使用される。「備える（comprising）」という用語は、本説明と特許請求の範囲とにおいて使用される場合、他の要素または動作を除外するものではない。「〜に基づく」（「ＡはＢに基づく」など）という用語は、（ｉ）「〜から導出される」（例えば、「ＢはＡの前の形（precursor）である」）、（ｉｉ）「少なくとも〜に基づく」（例えば、「Ａは少なくともＢに基づく」）、および特定の文脈において適切な場合には、（ｉｉｉ）「〜に等しい」（例えば、「ＡはＢに等しい」）という場合を含む、その通常の意味のいずれをも示すために使用される。同様に、「〜に応答して」という用語は、「少なくとも〜に応答して」を含む、その通常の意味のいずれをも示すために使用される。
【０００９】
[0030]マルチマイクロフォンオーディオ感知デバイスのマイクロフォンの「位置（location）」への参照は、文脈によって別段に示されていない限り、マイクロフォンの音響的に敏感な面の中心の位置を示す。「チャネル」という用語は、特定の文脈に応じて、ときには、信号経路を示すために使用され、またその他のときには、そのような経路によって搬送される信号を示すために使用される。別段に示されていない限り、「一連（series）」という用語は、２つ以上のアイテムのシーケンスを示すために使用される。「対数（logarithm）」という用語は、１０を底とする対数を示すために使用されるが、他の底へのこのような演算の拡張は本開示の範囲内である。「周波数成分」という用語は、（例えば、高速フーリエ変換によって生成されるような）信号の周波数領域表現のサンプル、または信号のサブバンド（例えば、バーク尺度またはメル尺度のサブバンド）など、信号の周波数帯域または周波数のセットの中の１つを示すために使用される。
【００１０】
[0031]別段に示されていない限り、特定の特徴を有する装置の動作のいかなる開示も、類似の特徴を有する方法を開示する（その逆も同様）ように明確に意図され、また、特定の構成による装置の動作のいかなる開示も、類似の構成による方法を開示する（その逆も同様）ように明確に意図される。「構成」という用語は、その特定の文脈によって示されるように、方法、装置、および／またはシステムに関して使用されうる。「方法」、「プロセス」、「プロシージャ（procedure）」、および「技法（technique）」という用語は、特定の文脈によって別段に示されていない限り、一般的に、および交換可能に使用される。「装置」および「デバイス」という用語も、特定の文脈によって別段に示されていない限り、一般的に、および交換可能に使用される。「要素」および「モジュール」という用語は、一般に、より大きな構成の一部分を示すために使用される。その文脈によって明確に限定されていない限り、「システム」という用語は、ここでは、「共通の目的を果たすために相互作用する要素のグループ」を含む、その通常の意味のいずれをも示すために使用される。
【００１１】
[0032]また、文書の一部分の参照によるいかなる組み込みも、その部分内で参照される用語または変数の定義が、その文書中の他の場所、ならびに組み込まれた部分中で参照される任意の図に現れた場合、そのような定義を組み込んでいることを理解されたい。最初に定冠詞によって前置き（introduced）されていない限り、請求項の要素を修飾するために使用される順序を表す用語（例えば、「第１の」、「第２の」、「第３の」など）は、それ自体では別のものに対する請求項の要素のいかなる優先度または順序も示すものではなく、むしろ、請求項の要素を、（順序を表す用語の使用以外では）同じ名称を有する別の請求項の要素から単に区別する。その文脈によって明確に限定されていない限り、「複数」および「セット」という用語の各々は、ここでは、１よりも大きい整数の量を示ために使用される。
【００１２】
[0033]消費者向けオーディオにおける当該技術分野の現状は、チャネルベースのサラウンドサウンドを使用する空間符号化であり、これは、前もって指定されたポジションにおけるラウドスピーカを通じて再生されるように意図される。空間オーディオ符号化に対する別のアプローチが、オブジェクトベースのオーディオであり、これは、（他の情報の中でも）空間におけるオブジェクトの位置座標を含む関連するメタデータを有する、単一オーディオのオブジェクトのための離散パルス符号変調（ＰＣＭ：pulse-code-modulation）データを伴う。
【００１３】
[0034]空間オーディオ符号化に対する（例えば、サラウンドサウンド符号化に対する）更なるアプローチが、シーンベースのオーディオであり、これは、球面調和関数の基底関数の係数を使用して音場を表現することを伴う。このような係数はまた、「球面調和関数係数（spherical harmonic coefficients）」すなわちＳＨＣと呼ばれる。図１Ａは、シーンベースのアプローチによる、簡単なエンコーディングおよびデコーディングのプロセスを図示する。この例では、シーンベースのエンコーダ ＳＥ１０は、ＳＨＣの記述を生成し、それは、送信され（および／または記憶され）、（例えば、ＳＨレンダラ ＳＲ１０による）レンダリングのためにＳＨＣを受信するシーンベースのデコーダ ＳＤ１０においてデコードされる。このようなエンコーディングは、（例えば、１つまたは複数のコードブックインデックスへの）量子化、誤り訂正符号化、冗長符号化などのような、帯域圧縮のための１つまたは複数のロッシー（lossy）またはロスレス（lossless）の符号化技法を含みうる。追加または代替として、このようなエンコーディングは、Ｂフォーマット、Ｇフォーマット、または高次アンビソニックス（ＨＯＡ：Higher-order Ambisonics）などの、アンビソニックフォーマットにオーディオチャネル（例えば、マイクロフォン出力）をエンコードすることを含みうる。一般に、エンコーダ ＳＥ１０は、（ロッシーまたはロスレスの符号化のいずれかについての）無関係性（irrelevancies）および／または係数の中の冗長性（redundancies）を利用する技法を使用して、ＳＨＣをエンコードしうる。
【００１４】
[0035]標準化されたビットストリームへの空間オーディオ情報のエンコーディングと、レンダラの位置における音響状態およびスピーカの幾何学的配置に不可知（agnostic）および適合可能な後続するデコーディングとを提供することが望ましくありうる。このようなアプローチは、再生（reproduction）のために最終的に使用される特定のセットアップにかかわらず、均一なリスニング（listening）体験の目標を提供しうる。図１Ｂは、ＭＰＥＧコーデックを使用する、このような標準化についての一般的な構造を例示する。この例では、エンコーダ ＭＰ１０への入力オーディオソースは、例えば、次のうちの任意の１つまたは複数を含みうる：チャネルベースのソース（例えば、１．０（モノフォニック）、２．０（ステレオフォニック）、５．１、７．１、１１．１、２２．２）、オブジェクトベースのソース、およびシーンベースのソース（例えば、高次球面調和関数、アンビソニックス）。同様に、デコーダ（およびレンダラ）ＭＰ２０によって生成されるオーディオ出力は、例えば、次のうちの任意の１つまたは複数を含みうる：モノフォニック、ステレオフォニック、５．１、７．１、および／または２２．２のラウドスピーカアレイ用のフィード、不規則に分散されたラウドスピーカアレイ用のフィード、ヘッドホン用のフィード、インタラクティブオーディオ。
【００１５】
[0036]また、オーディオマテリアルが、（例えば、コンテンツクリエータによって）１度作られ、その後、異なる出力およびラウドスピーカセットアップへデコードおよびレンダリングされうるフォーマットにエンコードされる、「１度作り、何度も使う（create-once, use-many）」という原理に従うことが望ましくありうる。例えば、ハリウッドスタジオのようなコンテンツクリエータは、通常、映画用のサウンドトラックを１度だけ作成するのが好ましく、可能なラウドスピーカ構成ごとにそれをリミックスする労力を費やしたくない。
【００１６】
[0037]図１Ｂの標準化された例におけるＭＰＥＧエンコーダ ＭＰ１０への入力は、オプションとして、チャネルベースのフォーマット、オブジェクトベースのフォーマット、およびシーンベースのフォーマットのうちの１つである。シーンベースのフォーマットを使用することの多数の利点が存在する。しかしながら、このようなフォーマットを使用することの１つの考えらえる欠点が、既存の消費者向けオーディオシステムに対する後方互換性の欠如である。ＳＨＣを使用した場合の後方互換性の欠如は、ＳＨＣがＰＣＭデータではないという事実によるものである。（「レガシー」システムとも呼ばれる）新しいシーンベースのデコーダが欠如している既存の受信機は、このような信号をデコードすることができず、プログラムを再生することができない。本開示は、音場を表現するために係数の階層的なセット（例えば、ＳＨＣ、またはその他の基底関数セットの係数）を使用する場合に、この後方互換性の欠如に対処するために使用されうる方法、システム、および装置を説明する。
【００１７】
[0038]ここで説明されるアプローチは、音場のＳＨＣベースの表現の使用における潜在的な欠点に対する解決策を提供する。この解決策なしでは、ＳＨＣベースの表現は、何百万もの既存のレガシー再生システムで機能性を有することができないことにより課せられる著しい欠点により、展開するのが困難である。
【００１８】
[0039]レガシーモノフォニック再生システムが互換性を保持することが必要であったので、後方互換性は、ステレオフォニックフォーマットが最初に導入されたときでさえも懸念であった。このケースでは、モノラル−ステレオの後方互換性は、マトリクス化を使用して保持された。ステレオ「Ｍ−ミドル（middle）」および「Ｓ−サイド（Side）」フォーマットは、Ｍチャネルのみを使用することによって、モノラル対応のシステムとの互換性を保持することができる。図１Ｃに示されるように、ステレオ対応のシステムは、「Ｌ−左」および「Ｒ−右」のチャネルをデコードするために、単純な２×２マトリクス演算を実行する。
【００１９】
[0040]Ｍ−Ｓ信号は、（同一になっている（happens to be））上記マトリクスの逆のものを使用することによって、Ｌ−Ｒ信号から計算されうる。このように、レガシーモノフォニックプレーヤは、機能性を保持し、一方、ステレオフォニックプレーヤは、左および右のチャネルを正確にデコードしうる。同様の方法で、モノフォニックプレーヤおよびステレオフォニックプレーヤの機能性を保存して、３−チャネルプレーヤの機能性を追加する、後方互換性を保持する第３のチャネルが追加されうる。
【００２０】
[0041]追加のチャネルを含むための、従来の５．１チャネルベースのマトリクス化されたオーディオアプローチの拡張は、拡張されたチャネルフォーマットのサブセットとして５．１サンプルを含むことによって、後方互換性の問題を回避しうる。例えば、ほとんどの既存の消費者向けオーディオシステムは、５．１−チャネル入力を受け入れる。後方互換性のある拡張されたビットストリームでは、５．１サンプルは、レガシーシステムによって認識された位置にあり、余分のチャネルは、例えば、すべてのチャネルサンプルを含むフレームパケットの拡張された部分に位置する。このようなアプローチの別の例が、ドルビーデジタルプラスビットストリーム（ドルビーラボラトリーズ、Ｉｎｃ．、サンフランシスコ、ＣＡ）であり、これは、５．１ミックスを有するコアパケットと、７．１ミックスの４つのサラウンドチャネルを有する拡張パケットとを含む。代替として、デコーダは、より高い数のチャネルに対してマトリクス化動作を実行することによって、５．１チャネルデータを決定するように構成されうる。
【００２１】
[0042]オブジェクトベースのフォーマットにおける後方互換性の問題に対処するための１つの提案されるアプローチが、オブジェクトとともに、ダウンミックスされた５．１チャネル信号を送ることである。このようなシナリオでは、レガシーチャネルベースのシステムは、ダウンミックスされた５．１チャネルベースのオーディオを再生するであろう一方で、より高度なレンダラは、音場をレンダリングするために、５．１オーディオと個々のオーディオオブジェクトの組み合わせ、または個々のオブジェクトのみのいずれかを使用するであろう。不都合なことに、後方互換性に対するこのようなアプローチは、２つの異なるフォーマットで同じオーディオ情報を送ることによって、帯域幅を非効率的に使用しうる。
【００２２】
[0043]本開示は、音場を記述する要素の階層的なセット（例えば、ＳＨＣのセット）の２つの部分が異なって処理されるシステム、方法、および装置の説明を含む。このアプローチでは、要素のサブセットは、マルチチャネルオーディオ信号のセットを得るために、（例えば、以下に詳しく述べる変換マトリクスを使用して）変換される。このようなアプローチは、階層的なセットのサブセット（「基本セット（basic set）」）を、従来のマルチチャネルオーディオフォーマットとの互換性があるオーディオの複数のチャネルに変換するために使用されうる。このようなアプローチはまた、後方互換性を維持するために、任意の所望の数のチャネルを得るように構成されうる。このような後方互換性のあるシステムの態様の例は、エンコーダとデコーダの両方の構造についての説明とともに、図２Ａ、図２Ｂ、および図３Ａのシステム図において要約される。
【００２３】
[0044]図２Ａは、このようなエンコーディングアプローチの一般的な例を示す。１つの特定の使用は、（さもなければ、後方互換性が問題でない場合に使用されうる）ＳＨＣの完全なセットの基本セットを、（例えば、変換マトリクス ＴＭ１０および再エンコーダ／トランスコーダ ＴＣ１０によって生成されるような）従来のマルチチャネルオーディオフォーマットを表す複数のチャネルに変換することである。ＳＨＣのセットの残り（例えば、サブセットの一部でない係数）は、変換されない拡張されたセットとみなされ、（例えば、ここで説明され、この例ではビットストリームマルチプレクサ ＭＸ１０によって生成されるような、パケットまたはビットストリームにおいて）後方互換性のあるマルチチャネルオーディオエンコードされた信号と平行して（alongside）、記憶のために、および／または、送信チャネル（例えば、ワイヤードおよび／またはワイヤレスチャネル）を介した送信のために、（例えば、帯域圧縮のために、シーンベースのエンコーダ ＳＥ１０の実装 ＳＥ２０によって）別々にエンコードされうる。例えば、これらのエンコードされたビットは、フレームのためのビットストリームの拡張された部分またはパケットの拡張された部分（例えば、ユーザ定義の部分）にパックされうる。
【００２４】
[0045]受信側において、ビットストリームは、（例えば、デマルチプレクサ ＤＸ１０によって）逆多重化され、従来のデコーダ（例えば、レガシーデコーダ ＬＤ１０）のみをサポートするレガシーシステムは、後方互換性のあるマルチチャネルオーディオコンテンツのみを使用し、したがって、機能性を保持し、図２Ｂに示されるように、フレームのパケットまたはビットストリームの拡張された部分を無視する。
【００２５】
[0046]シーンベースのデコーディングをサポートする受信機が、図３Ａに示される一般的な例に従って、デコーディングプロセスを実行することができ、これは、図２Ａに示されたようなエンコーディングアプローチの逆（reciprocal）である。チャネルが再エンコードまたはトランスコードされている場合、デコーディングの中間ステップが実行されうる。例えば、トランス−デコーダ ＴＣ２０は、後方互換性のあるビットストリームを、マルチチャネルオーディオ信号に変換するために使用されうる。その後、逆変換マトリクス ＩＭ１０は、マルチチャネルオーディオ信号を、階層的なセットの元のサブセット（例えば、ＳＨＣの基本セット）に変換するために使用される。階層的なセットの残り（例えば、ＳＨＣの拡張されたセット）は、（例えば、パケットまたはビットストリームの拡張された部分から）シーンベースのデコーダ ＳＤ１０の実装 ＳＤ２０によって復元される。このように、完全な階層的なセット（例えば、ＳＨＣの完全なセット）は、復元されて、様々なタイプの音場レンダリングが行われることを可能にするために、ＳＨレンダラ ＳＲ１０によって処理されうる。
【００２６】
[0047]音場を表現するためにＳＨＣのセットを使用することは、音場を表現するために要素の階層的なセットを使用する一般的なアプローチの特定の例である。ＳＨＣのセットのような、要素の階層的なセットは、低次要素（lower-ordered elements）の基本セットが、モデル化された音場の完全な表現を提供するように、要素が順序付けられた（ordered）セットである。セットが高次要素を含むように拡張されるにつれて、空間における音場の表現は、より詳細になる。
【００２７】
[0048]（例えば、図３Ａに示されるような）ソースＳＨＣは、シーンベース対応の（scene-based-capable）録音スタジオでミキシング技師によってミックスされたようなソース信号でありうる。ソースＳＨＣはまた、マイクロフォンアレイによって捕えられた信号から、またはラウドスピーカのサラウンドアレイによる音波表現（sonic presentation）の録音から生成されうる。ＳＨＣのソースセットへのＰＣＭストリームおよび関連する位置情報（例えば、オーディオオブジェクト）の変換もまた、企図される。
【００２８】
[0049]音場は、以下のような式を使用して、ＳＨＣに関して表現されうる：
【数１】
2015525897.tif 000003
【００２９】
この式は、音場の任意の点｛ｒｒ，θｒ，φｒ｝における圧力ｐｉが、
【数２】
2015525897.tif 000004
【００３０】
によって一意的に表されうることを示す。ここで、波数ｋ＝ω／ｃであり、ｃは、音速（約３４３ｍ／ｓ）であり、｛ｒｒ，θｒ，φｒ｝は、基準点（または観測点）であり、ｊｎ（・）は、次数ｎの球ベッセル関数であり、
【数３】
2015525897.tif 000005
【００３１】
は、次数ｎおよび下位次数（suborder）ｍの球面調和関数の基底関数である（ＳＨＣのいくつかの記述は、ｎを（すなわち、対応するルジャンドル多項式の）ディグリー（degree）およびｍを次数と呼ぶ（label））。角括弧内の項は、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、またはウェーブレット変換などの、様々な時間周波数変換によって近似されうる信号（すなわち、Ｓ（ω、ｒｒ，θｒ，φｒ））の周波数領域表現であることが認識されうる。
【００３２】
[0050]図４は、次数０および１の球面調和関数の基底関数の大きさの表面メッシュプロットの例を示す。関数
【数４】
2015525897.tif 000006
【００３３】
の大きさは、球状および全方向性（omnidirectional）である。関数
【数５】
2015525897.tif 000007
【００３４】
は、それぞれ＋ｙおよび−ｙの方向に広がる、正および負の球状ローブを有する。関数
【数６】
2015525897.tif 000008
【００３５】
は、それぞれ＋ｚおよび−ｚの方向に広がる、正および負の球状ローブを有する。関数
【数７】
2015525897.tif 000009
【００３６】
は、それぞれ＋ｘおよび−ｘの方向に広がる、正および負の球状ローブを有する。
【００３７】
[0051]図５は、次数２の球面調和関数の基底関数の大きさの表面メッシュプロットの例を示す。関数
【数８】
2015525897.tif 000010
【００３８】
は、ｘ−ｙ平面に広がるローブを有する。関数
【数９】
2015525897.tif 000011
【００３９】
は、ｙ−ｚ平面に広がるローブを有し、関数
【数１０】
2015525897.tif 000012
【００４０】
は、ｘ−ｚ平面に広がるローブを有する。関数
【数１１】
2015525897.tif 000013
【００４１】
は、＋ｚおよび−ｚの方向に広がる正ローブと、ｘ−ｙ平面に広がるドーナツ形の（toroidal）負ローブとを有する。
【００４２】
[0052]セットにおけるＳＨＣの総数は、様々な要因に依存しうる。シーンベースのオーディオの場合、例えば、ＳＨＣの総数は、録音アレイにおけるマイクロフォントランスデューサの数によって制約されうる。チャネルベースおよびオブジェクトベースのオーディオの場合、ＳＨＣの総数は、利用可能な帯域幅によって決定されうる。１つの例では、各周波数について２５個の係数を伴う４次の表現（すなわち、０≦ｎ≦４，−ｎ≦ｍ≦＋ｎ）が使用される。ここで説明されるアプローチで使用されうる階層的なセットの他の例は、ウェーブレット変換係数のセットおよび多重解像度の基底関数（multiresolution basis functions）の係数の他のセットを含む。
【００４３】
[0053]
【数１２】
2015525897.tif 000014
【００４４】
は、４面体または球状のマイクロフォンアレイなどの、任意の様々なマイクロフォンアレイ構成を使用して物理的に捕捉された（例えば、記録された）信号から導出されうる。この形式の入力は、提案されたエンコーダへのシーンベースのオーディオ入力を表す。限定されない例では、ＳＨＣエンコーダへの入力は、アイゲンマイク（Eigenmike）（登録商標）（ｍｈアコースティックス ＬＬＣ、サンフランシスコ、ＣＡ）のような、マイクロフォンアレイの異なる出力チャネルであると仮定される。アイゲンマイク（登録商標）アレイの１つの例が、ｅｍ３２アレイであり、これは、ｉ＝１から３２の出力信号ｐｉ（ｔ）の各々が、マイクロフォンｉによって時間サンプルｔにおいて記録された圧力であるように、直径８．４センチメートルの球体の表面上に配置された３２個のマイクロフォンを含む。代替として、
【数１３】
2015525897.tif 000015
【００４５】
は、音場のチャネルベースまたはオブジェクトベースの記述から導出されうる。例えば、個々のオーディオオブジェクトに対応する音場についての係数
【数１４】
2015525897.tif 000016
【００４６】
は、
【数１５】
2015525897.tif 000017
【００４７】
として表されることができ、ここで、ｉは、√−１であり、
【数１６】
2015525897.tif 000018
【００４８】
は、次数ｎの（第２種の）球ハンケル関数であり、｛ｒｓ，θｓ，φｓ｝は、オブジェクトの位置であり、ｇ（ω）は、周波数の関数としてのソースエネルギである。
【００４９】
[0054]周波数の関数としてのソースエネルギｇ（ω）を知ることは、我々に、各ＰＣＭオブジェクトとその位置を、
【数１７】
2015525897.tif 000019
【００５０】
に変換することを与える。このソースエネルギは、例えば、ＰＣＭストリームに対して高速フーリエ変換（例えば、２５６−、５１２−、または１０２４−点ＦＦＴ）を実行することによってなど、時間周波数解析技法を使用して得られうる。さらに、（上記は、線形および直交の分解なので）各オブジェクトについての
【数１８】
2015525897.tif 000020
【００５１】
係数は、加法的（additive）であることが示されうる。このように、多数のＰＣＭオブジェクトが、（例えば、個々のオブジェクトについての係数ベクトルの合計として）
【数１９】
2015525897.tif 000021
【００５２】
係数によって表されうる。本質的に、これらの係数は、音場についての情報（３Ｄ座標の関数としての圧力）を含み、上記は、観測点｛ｒｒ，θｒ，φｒ｝の近接における、個々のオブジェクトから音場全体の表現への変換を表す。
【００５３】
[0055]当業者であれば、動径成分（radial component）を含まない表現などの、式（２）に示された表現以外の係数
【数２０】
2015525897.tif 000022
【００５４】
（または、同等に、対応する時間領域の係数
【数２１】
2015525897.tif 000023
【００５５】
）の表現を認識するであろう。当業者であれば、（例えば、実数、複素数、正規化（例えば、Ｎ３Ｄ）、半正規化（例えば、ＳＮ３Ｄ）、ファース・モーム（Furse-Malham）（ＦｕＭａまたはＦＭＨ）などの）球面調和関数の基底関数のいくつかの少し異なる定義が知られていること、および、その結果として、式（１）（すなわち、音場の球面調和関数分解）および式（２）（すなわち、点源（point source）によって生成された音場の球面調和関数分解）は、少し異なった形態で本書に現れうることを認識するであろう。本説明は、球面調和関数の基底関数の任意の特定の形態に限定されず、実際に、要素の他の階層的なセットにも同様に、一般的に適用可能である。
【００５６】
[0056]図３Ｂは、時間間隔の間の音場を記述する複数の基底関数係数を処理するための方法 Ｍ１００のフローチャートを示す。方法 Ｍ１００は、タスク Ｔ１００およびタスク Ｔ２００を含む。タスク Ｔ１００は、複数のチャネル信号を生成するために、複数の基底関数係数の第１のグループ（「基本セット」）に対して可逆変換を実行し、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。複数のチャネル信号に基づいて、タスク Ｔ２００は、（Ａ）複数の基底関数係数の第２のグループ（「拡張されたセット」）の表現と、ここで、第２のグループは、第１のグループとは異なり、（Ｂ）第２のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成する。
【００５７】
[0057]方法 Ｍ１００の実装の設計は、マルチチャネルオーディオに（例えば、従来のフォーマットに）変換される元の階層的なセットのサブセット（すなわち、基本セット）を選択することを含みうる。このようなアプローチが少なくとも従来の５．１サラウンド／ホームシアター能力との互換性を維持するために実装されるであろうことが予期されうる。５．１フォーマットの場合、マルチチャネルオーディオチャネルは、前方左（Ｌ）、中央（Ｃ）、前方右（Ｒ）、左サラウンド（Ｌｓ）、右サラウンド（Ｒｓ）、および低周波数効果（ＬＦＥ）である。７．１フォーマットは、左後方（Ｌｂ）および右後方（Ｒｂ）のチャネルを追加する。以下の説明では、５．１フォーマットは、典型的なターゲットマルチチャネルオーディオフォーマットとして使用され、実例的なアプローチが詳しく述べられる。同じ手法が他のマルチチャネルオーディオフォーマット（例えば、７．１、２２．２など）に汎用化されうることが、企図され、ここに開示される。
【００５８】
[0058]基本セットを選択するための様々なアプローチが可能である。５．１フォーマットでは、（特定の位置からの全帯域オーディオに対応する）５つの信号が利用可能であるので（これに加えて、ＬＦＥ信号−これは、標準化された位置を持たず、これら５つのチャネルをローパスフィルタリングすることによって決定されうる）、１つのアプローチは、５．１フォーマットに変換するために、ＳＨＣのうちの５つを使用することである。さらに、対応する基底関数の空間的オリエンテーションに従って基本セットを選択することが望ましくありうる。５．１フォーマットは、２Ｄレンダリングのみ可能であるので、例えば、基本セットが、何らかの水平情報を搬送するＳＨＣのみを含むことが望ましくありうる。言い換えれば、そのエネルギが、（例えば、ｘ−ｙ平面のような）ラウドスピーカ位置を含む平面内の少なくとも１つの方向に沿って集中された基底関数に対応するＳＨＣを選択することが望ましくありうる。図４に見られるように、係数
【数２２】
2015525897.tif 000024
【００５９】
は、例えば、水平指向性についてのごくわずかの情報を搬送し、したがって、このサブセットから除外されうる。
【数２３】
2015525897.tif 000025
【００６０】
実数部分または虚数部分のいずれかについても同じことが当てはまる（例えば、
【数２４】
2015525897.tif 000026
【００６１】
として図５に示される基底関数を参照）。基本セットのために選択される特定の係数は、例えば、実装において選ばれる球面調和関数の基底関数の定義に依存して変化しうる（本書においては、様々な定義が存在する：実数、虚数、複素数、または組み合わせ）。
【００６２】
[0059]このように、５つの
【数２５】
2015525897.tif 000027
【００６３】
係数が、変換のために選ばれうる。係数
【数２６】
2015525897.tif 000028
【００６４】
は、全方向性の情報を搬送するので、この係数を常に使用することが望ましくありうる。同様に、それらが著しい水平指向性の情報を搬送するので、
【数２７】
2015525897.tif 000029
【００６５】
の実数部分および
【数２８】
2015525897.tif 000030
【００６６】
の虚数部分を含むことが望ましくありうる。最後に残った２つの係数については、可能な候補は、
【数２９】
2015525897.tif 000031
【００６７】
の実数および虚数の部分を含む。様々な他の組み合わせもまた、可能である。例えば、基本セットは、
【数３０】
2015525897.tif 000032
【００６８】
と、
【数３１】
2015525897.tif 000033
【００６９】
の実数部分と、
【数３２】
2015525897.tif 000034
【００７０】
の虚数部分との３つの係数のみを含むように選択されうる。基本セットについては、以下に説明されるように、望まれたチャネルの数、そしてまた、変換マトリクスに対する可逆性の制約に依存して、より多くまたはより少ない係数を含むことが可能である。
【００７１】
[0060]ここで説明されるような、５．１と互換性のあるシステムのための設計の詳細は、異なるターゲットフォーマットのために適宜調整されうる。例として、７．１システムについての互換性を可能にするために、２つの余分のオーディオコンテンツチャネルが互換性要件に追加され、結果として生じる変換マトリクスが正方であり、したがって可逆になるように、さらに２つのＳＨＣが基本セットに追加されうる。７．１システム（例えば、ドルビーＴｒｕｅＨＤ）のための大多数のラウドスピーカ配置が依然として水平面上にあるので、ＳＨＣの選択は、依然として高さ情報を有するものを除外しうる。このように、水平面信号レンダリングは、レンダリングシステムにおける追加されたラウドスピーカチャネルから利益を得るであろう。高さのダイバーシティを有するラウドスピーカを含むシステム（例えば、９．１、１１．１および２２．２システム）では、高さ情報を有するＳＨＣを基本セットに含むことが望ましくありうる。
【００７２】
[0061]我々は、マルチチャネルに対する一般論を述べたが、一方で、現在の市場における重点は、５．１チャネルに関するものであり、これは、それがセットトップボックスのようなレガシー消費者向けオーディオシステムの機能性を保証するための「最小公分母（least common denominator）」であるからである。ステレオおよびモノラルのようなより低い数のチャネルについては、多くの先行技術における既存の５．１解決策が、コンテンツ情報を維持するためにダウンミックスをカバーするのに十分であろう。これらのケース（すなわち、１．０および２．０）は、自明であると考えられ、本開示においてさらに説明されることはない。
【００７３】
[0062]発生しうる別の問題は、（例えば、ＳＨＣの）基本セットからマルチチャネルオーディオへ、そして基本セットに戻すまでの、順方向および逆方向の変換において、どれだけの誤りが生成されるかである。タスク Ｔ１００は、各々が対応する異なる空間領域（例えば、対応する異なるラウドスピーカ位置）と関連づけられる複数のチャネル信号を生成するために、複数の基底関数係数の基本セットに対して可逆変換を実行する。ＳＨＣの基本セット（例えば、上述されたように選択された５つの係数）を、５．１フォーマットにおける５つの全帯域オーディオ信号に変換するために可逆マトリクスを適用するために、タスク Ｔ１００を実装することが望ましくありうる。可逆性に対する要望は、分解能の損失が無いか少ない状態で、５つの全帯域オーディオ信号をＳＨＣの基本セットに戻す変換を可能にすることである。
【００７４】
[0063]この変換マトリクス（例えば、図２Ａに示されるようなマトリクス ＴＭ１０）を決定するための１つの可能な方法が、「モード整合」として知られる動作である。したがって、ラウドスピーカフィードは、各ラウドスピーカが球面波を生成すると仮定することによって計算される。このようなシナリオでは、
【数３３】
2015525897.tif 000035
【００７５】
番目のスピーカによる、ある特定のポジションｒ，θ，φにおける（周波数の関数として）圧力は、
【数３４】
2015525897.tif 000036
【００７６】
によって与えられ、ここで、｛ｒｌ，θｌ，φｌ｝は、
【数３５】
2015525897.tif 000037
【００７７】
番目のラウドスピーカのポジションを表し、ｇｌ（ω）は、（周波数領域における）
【数３６】
2015525897.tif 000038
【００７８】
番目のスピーカのラウドスピーカフィードである。５つすべてのスピーカによる全圧力Ｐｔは、したがって、
【数３７】
2015525897.tif 000039
【００７９】
によって与えられる。
【００８０】
[0064]我々はまた、５つのＳＨＣに関しての全圧力は、式
【数３８】
2015525897.tif 000040
【００８１】
によって与えられることを知っている。
【００８２】
[0065]上記２つの式を等しいと定義することは、以下のように、ＳＨＣに関してのラウドスピーカフィードを表すために、変換マトリクスを使用することを我々に可能にする。
【数３９】
2015525897.tif 000041
【００８３】
[0066]この式は、５つのラウドスピーカフィードと選択されたＳＨＣとの間に直接的な関係があることを示す。変換マトリクスは、例えば、サブセット（例えば、基本セット）においてどの係数が使用されたか、および球面調和関数の基底関数のどの定義が使用されたかに依存して変化しうる。同様の方法で、選択された基本セットから異なるチャネルフォーマット（例えば、７．１、２２．２）に変換するための変換マトリクスが構築されうる。上記変換マトリクスが「モード整合」基準から導出された一方で、代替の変換マトリクスが、圧力整合、エネルギ整合などのような、他の基準からも導出されうる。
【００８４】
[0067]上記式での変換マトリクスが、ラウドスピーカフィードからＳＨＣへの変換を可能にする一方で、我々はまた、ＳＨＣから始まり、我々が５つのチャネルフィードを算出（work out）することができ、そしてその後、デコーダにおいて、（高度な（すなわち、レガシーでない）レンダラが存在する場合）我々がオプションとしてＳＨＣに変換し戻すことができるように、マトリクスが可逆であることが好ましい。例えば、変換マトリクスについては、整数入力に応答して整数出力を生成することが望ましくありうる。マトリクスの可逆性を保証するために上記フレームワークを操作する様々な方法が、利用されうる。これらは、それに限定されるものではないが、正則化技法（例えば、周波数に依存する正則化）およびしばしばフルランクおよび明確に定義された固有値を保証するように働く様々な他のマトリクス操作技術などの、数学的技法を含む。
【００８５】
[0068]可逆性を保証するための技法はまた、それに限定されるものではないが、１つまたは複数のラウドスピーカのポジションを変化させることを含む。このような技法は、例えば、５．１システムの５つのラウドスピーカのうちの１つまたは複数のポジションを、それらが依然として（例えば、ＩＴＵ−Ｒ ＢＳ．７７５−１勧告、国際電気通信連合、ジェノバ、ＣＨ、によって指定されるような）指定された角度公差に従うように、調整することを含みうる。図６は、使用されうる５．１システムのためのラウドスピーカ角度の規格準拠の例を示すＴ−設計に従うもののような、トランスデューサの標準間隔は、典型的に行儀のよい（well behaved）ものである。
【００８６】
[0069]代替として、タスク Ｔ１００は、基本セットを平面において等間隔を置かれたラウドスピーカ角度に対応するチャネル信号のセットに変換する変換マトリクスを適用するために実装されうる。可逆性は、このような変換マトリクスについて典型的に保証される。図７は、５．１ターゲットシステムのためのラウドスピーカ角度のこのような配置の例を示す。このような等間隔を置かれた配置は、５．１規格と厳密には準拠していない可能性もあるが、それは、依然としてラウドスピーカフィードの適切な後方互換性のあるセットを提供し、また、係数の基本セットを復元するための可逆変換マトリクスを得る確実な方法を提供する。タスク Ｔ１００の７−チャネルの実装について、図８および図９は、それぞれ、７．１システムのためのラウドスピーカ角度の規格準拠のセット、および平面において等間隔を置かれたラウドスピーカ角度の対応するセットの類似した例を示す。
【００８７】
[0070]５．１、７．１、および２２．２などの、少なくとも１つの低周波数効果（ＬＦＥ）チャネルを含むターゲットチャネルフォーマットについては、このようなチャネルも同様に含むようにチャネル信号のセットを生成するために、方法 Ｍ１００を実装することが望ましくありうる。１つの例では、方法 Ｍ１００は、タスク Ｔ１００によって生成されるチャネル信号をローパスフィルタリングすることと、結果として生じるローパス信号を合計することとによって、ＬＦＥチャネルを生成するタスクを含む。複数のＬＦＥチャネル（例えば、２２．２フォーマットのための左ＬＦＥチャネルおよび右ＬＦＥチャネル）が必要とされるケースについて、このようなタスクは、各ターゲット位置に空間的に最も近いローパス信号を合計することによって、これらのチャネルを生成するために実装されうる。この方法で生成されたＬＦＥチャネルは冗長であるが、それは、依然としてレガシーＬＦＥチャネルに適した信号を提供し、このようなアプローチはまた、変換マトリクスに対するいかなる変更も回避する。
【００８８】
[0071]すべての操作後に、修正されたマトリクスが実際に、正しいおよび／または受け入れ可能なラウドスピーカフィードを生成することを保証するために、変換マトリクスによってレンダリングされたチャネル信号を（例えば、心理音響的に）テストすることが望ましくありうる。可逆性が保存されている限り、ＳＨＣの正しいデコーディングを保証する逆問題は、典型的に問題ではない。基本セット（例えば、ＳＨＣのサブセット）と従来のマルチチャネルオーディオとの間の変換を可能にするマトリクスが導出されうるということ、また、（マルチチャネルオーディオの忠実性を低減させない）操作後に、同様に可逆であるわずかに修正されたマトリクスも、公式化されうるということで、典型的に十分である。
【００８９】
[0072]複数のチャネル信号に基づいて、タスク Ｔ２００は、（Ａ）複数の基底関数係数の第２のグループ（例えば、「拡張されたセット」）の表現と、ここで、第２のグループは、第１のグループとは異なり、（Ｂ）第２のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成する。データ構造は、（例えば、１つまたは複数のライブのビットストリームまたはパケットのストリームを含む）時間における構造、および／または、（例えば、記憶媒体に記憶された１つまたは複数のビットストリーム、またはバッファに記憶された１つまたは複数のパケットを含む）空間における構造でありうる。
【００９０】
[0073]式（６）に示されたように、タスク Ｔ１００は、周波数領域におけるチャネル信号を生成するために、各周波数において基本セットに変換マトリクスを適用するために実装されうる。方法 Ｍ１００は、対応する時間領域チャネル信号（例えば、線形ＰＣＭストリーム）を生成するために、これらの周波数領域チャネル信号の各々に対して逆周波数変換（例えば、逆ＦＦＴ）を実行するタスクを含むために実装されうる。
【００９１】
[0074]これらチャネル信号は、ＨＤＭＩ（登録商標）インタフェース（高精細度マルチメディアインタフェース、ＨＤＭＩライセンス、ＬＬＣ、サニーヴェール、ＣＡ）によって、線形ＰＣＭストリームとして搬送されうる。別の例では、これらチャネル信号は、ＣＤ、ＤＶＤ、ＤＶＤオーディオ、またはブルーレイ（登録商標）ディスクなどの、光ディスク上に線形ＰＣＭストリームとして記憶されうる。ブルーレイディスク（例えば、ブルーレイディスクアプリケーション定義 ＢＤ−Ｊ、２００５年３月、ブルーレイディスク協会、ｗｗｗ−ｄｏｔ−ｂｌｕ−ｒａｙｄｉｓｃ−ｄｏｔ−ｃｏｍ、に準拠した光データ記憶媒体）は、ＭＰＥＧ−２トランスポートストリームを含むファイル「ｚｚｚｚｚ．ｍ２ｔｓ」を含むことができ、ここで、「ｚｚｚｚｚ」は、ＡＶストリームファイルをクリップ情報ファイルと関連づける５桁の番号である。ストリームファイル「ｚｚｚｚｚ．ｍ２ｔｓ」は、複数のエレメンタリオーディオストリーム（elementary audio streams）を含みうる。タスク Ｔ２００は、ＬＰＣＭストリームとしてタスク Ｔ１００によって生成されたチャネル信号の時間領域バージョンを含む、このようなストリームファイルを生成するために実装されうる。
【００９２】
[0075]帯域幅および／または記憶のリソースの使用を低減させるためには、ＬＰＣＭチャネルストリームを圧縮するために、タスク Ｔ２００を実装することが望ましくありうる。ＳＨＣの基本セットの復元性を保証するためには、ロスレス圧縮スキームを使用してこのような圧縮を実行することが望ましくありうる。１つの例では、タスク Ｔ２００は、ＤＶＤオーディオに準拠したビットストリームを生成するために、メリディアンロスレス圧縮（ＭＬＰ：Meridian Lossless Packing）を使用してＰＣＭストリームをエンコードするために実装される。別の例では、タスク Ｔ２００は、ＡＡＣコアコーデックに対してＭＰＥＧ−４ ＳＬＳ（スケーラブル・ツー・ロスレス（Scalable to Lossless））ロスレス拡張を使用して、ＰＣＭストリームをエンコードするために実装される。更なる例では、タスク Ｔ２００は、ＭＬＰの改善されたバージョンを使用して７．１オーディオをエンコードするドルビーＴｒｕｅＨＤ、および／または、ロスレスのオプションで同様に７．１オーディオをエンコードするＤＴＳ−ＨＤマスタオーディオ（ＤＴＳ、Ｉｎｃ．、カラバサス、ＣＡ）を使用して、ＰＣＭストリームをロスレスにエンコーディングすることによって生成されるエレメンタリオーディオストリームを含むストリームファイル（例えば、上述されたような、ブルーレイ準拠のｍ２ｔｓファイル）を生成するために実装される。
【００９３】
[0076]タスク Ｔ２００は、さもなければ、（例えば、トランスコーダ ＴＣ１０の動作によって、図２Ａに例示されるように）チャネル信号を記述する後方互換性のある符号化された信号へとチャネル信号をエンコードするために実装されうる。このようなエンコーディングは、チャネル信号に対してロッシー圧縮スキームを実行することを含みうる。タスク Ｔ２００のこのような実装において使用されうる後方互換性のあるコーデックの例は、（例えば、ＡＴＳＣ規格：デジタルオーディオ圧縮、Ｄｏｃ．Ａ／５２：２０１２、２０１２年３月２３日、高度テレビジョンシステム委員会、ワシントン、ＤＣ、において説明され；また、ＡＴＳＣ Ａ／５２またはドルビーデジタルとも呼ばれ、ロッシーＭＤＣＴ圧縮を使用する）ＡＣ３、（ロッシー圧縮のオプションを含む）ドルビーＴｒｕｅＨＤ、（同様にロッシー圧縮のオプションを含む）ＤＴＳ−ＨＤマスタオーディオ、およびＭＰＥＧサラウンド（ＭＰＳ、ＩＳＯ／ＩＥＣ １４４９６−３、高効率アドバンストオーディオ符号化すなわちＨｅＡＡＣとも呼ばれ、そこで、５．１フォーマット信号の６つのチャネルは、レンダラにおいて残りのチャネルの合成（synthesis）を可能にする、両耳間レベル差、両耳間時間差、およびチャネル間コヒーレンスなどの、対応するサイド情報（side information）により、モノラルまたはステレオのＰＣＭストリームへダウンミックスされる）を含む。これらのコーデックは、典型的に、入力として時間領域チャネル信号（例えば、線形ＰＣＭストリームのセット）を受け入れる。このようなトランスコーディングは、チャネル信号が、多くの消費者向けデバイスおよびセットトップボックス内にあるＡＣ３デコーダとの後方互換性を保持することを可能にする。例えば、エンコードされたチャネルは、所望の対応するチャネルベースのフォーマットに準拠するパケットの対応する部分にパックされうる。
【００９４】
[0077]このようなケースでは、方法 Ｍ１００は、トランスコードされたビットストリームの１つまたは複数の拡張された部分（例えば、ＡＣ３パケットの「ａｕｘｄａｔａ」部分）での送信（および／または記憶）のために、別々に階層的なセットの残り（例えば、サブセットの一部でなかったＳＨＣ）をエンコードするために実装されうる。このような動作は、例えば、ビットストリームマルチプレクサ ＭＸ１０の動作によって、図２Ａに例示される。方法 Ｍ１００のこのような実装については、送信および／または記憶のための２つの異なる後方互換性のあるビットストリームを生成するために、各々がマルチチャネル信号を異なるそれぞれのフォーマットに符号化する、２つ以上の異なるトランスコーディング動作（例えば、ＡＣ３トランスコーディングおよびドルビーＴｒｕｅＨＤトランスコーディング）を含むことも可能である。
【００９５】
[0078]上述されたように、ドルビーデジタルプラスのビットストリームは、５．１ミックスを有するコア（Ａ）パケットと、７．１ミックスの４つのサラウンドチャネルを有する拡張（Ｂ）パケットとを含む。このようなコーデックとの互換性のための方法 Ｍ１００の実装は、このようなＡパケットおよびＢパケットにエンコーディングするために、（各周波数についての）７つのＳＨＣの基本セットを７つのチャネルに変換するように構成されたタスク Ｔ１００の実装を含みうる。このようなケースでは、タスク Ｔ２００は、拡張されたセットにおいて８番目およびそれ以上のＳＨＣを含むか、あるいは代替として、拡張されたセットにおいて６番目およびそれ以上のＳＨＣを含むために実装されることができ、ここで、拡張されたセットは、１つまたは複数の更なる拡張パケットへとエンコードされうる。
【００９６】
[0079]異なる長さの時間間隔に対応するパケットを生成するために、タスク Ｔ２００を実装することが望ましくありうる。例えば、より短い間隔が、オーディオ入力における一時的な（transient）イベントをエンコードするために使用されることができ、一方で、より長い間隔は、定常（stationary）信号をエンコードするために使用されることができる。１つのこのような例では、タスク Ｔ２００は、後方互換性のためにＰＣＭチャネルにおける一定の時間間隔をエンコードするためであるが、異なる間隔長を拡張されたセットにエンコードするために実装される。別のこのような例では、タスク Ｔ２００は、対応する時間間隔の持続時間のインジケーションとともに、異なる長さの間隔をＰＣＭストリームにエンコードするために実装される。ＡＣ−３符号化が使用されるケースでは、例えば、タスク Ｔ２００は、２５６サンプルおよび５１２サンプルの２つのブロック長のオプションの間で切り替えるために実装されうる。
【００９７】
[0080]図２Ａに例示されるように、係数の拡張されたセットは、送信および／または記憶のために、エンコードされたチャネル信号と関連づけられる（例えば、多重化される）前に、エンコードされうる。このようなエンコーディングは、帯域圧縮を含みうる。例えば、拡張されたセットは、（例えば、１つまたは複数のコードブックインデックスへの）量子化、誤り訂正符号化、冗長符号化などのような、１つまたは複数のロッシーまたはロスレスの符号化技法、および／またはパケット化を適用することによって（例えば、エンコーダ ＳＥ２０によって）エンコードされうる。追加または代替として、このようなエンコーディングは、Ｂフォーマット、Ｇフォーマット、または高次アンビソニックス（ＨＯＡ）などの、アンビソニックフォーマットにエンコードすることを含みうる。１つの例では、係数の拡張されたセットは、ＨＯＡ Ｂフォーマットにエンコードされ、その後、Ｂフォーマット信号は、アドバンストオーディオ符号化（ＡＡＣ；例えば、ＩＳＯ／ＩＥＣ １４４９６−３：２００９、「情報テクノロジー−オーディオビジュアルオブジェクトの符号化−パート３：オーディオ」、国際標準化機構、ジェノバ、ＣＨ、において定義される）を使用してエンコードされる。（例えば、エンコーダ ＳＥ２０によって）拡張されたセットに対して実行されうる、ＳＨＣのセットをエンコードするための他の方法の説明が、例えば、米国特許出願公開第２０１２／０１５５６５３ Ａ１号（Ｊａｘ他）および第２０１２／０３１４８７８ Ａ１号（Ｄａｎｉｅｌ他）において見つけられうる。係数の拡張されたセットは、例えば、異なる時間における同じ次数の係数の間の差および／または異なる次数の係数の間の差としてエンコードされうる。
【００９８】
[0081]（例えば、ストリーミング、ブロードキャスト、マルチキャスト、記憶、および／またはメディアマスタリング（例えば、ＣＤ、ＤＶＤ、およびまたはブルーレイ（登録商標）ディスクのメディアマスタリング）のためのビットストリームを生成するために）ここで説明されるような方法 Ｍ１００の実装を実行するために、図１Ｂに示されるようなＭＰＥＧエンコーダ ＭＰ１０を実装することが望ましくありうる。
【００９９】
[0082]後方互換性のあるデータ構造から基底関数係数の完全なセットを得ることは、チャネル信号を得るために（例えば、デマルチプレクサ ＤＸ１０、トランス−デコーダ ＴＣ２０、およびシーンベースのデコーダ ＳＤ２０を介して）任意の介在する符号化レイヤおよび／または領域変換を除去し、その後、これらチャネル信号に対して、（例えば、図３Ａに示されるマトリクス ＩＭ１０のような）上述された可逆変換の逆を適用することによって、類似の方法で実行されうる。図１０Ａは、一般的な構成による、時間間隔の間の音場を記述する複数の基底関数係数を得る方法 Ｍ２００のフローチャートを示す。上述されたように、複数の基底関数係数の各々は、直交基底関数のセットのうちの一意的な１つ（例えば、球面調和関数の基底関数のセットのうちの一意的な１つ）に対応しうる。
【０１００】
[0083]方法 Ｍ２００は、タスク Ｔ３００およびＴ ４００を含む。データ構造から、タスク Ｔ３００は、（Ａ）複数の基底関数係数の第２のグループ（「拡張されたセット」）の表現と、（Ｂ）第２のグループの該表現とは別である、複数のチャネル信号の表現とを得る。複数のチャネル信号のサブセットの各々は、対応する異なる空間領域（例えば、５．１または７．１フォーマットの同一平面上の方向）と関連づけられ、一方で、複数のチャネル信号はまた、ＬＴＥチャネルのような、１つまたは複数の無指向性（または全方向性）の信号を含みうる。周波数領域における複数のチャネル信号のサブセットを得るために、ＬＰＣＭストリームのセットに対してＦＦＴを実行するために、タスク Ｔ３００を実装することが望ましくありうる。タスク Ｔ４００は、複数の基底関数係数の第１のグループ（「基本セット」）を生成するために、複数のチャネル信号のサブセットに対して変換を実行し、ここで、第１のグループは、第２のグループとは異なる。データ構造において係数の拡張されたセットの表現が存在すると検出した際にのみ、方法 Ｍ２００を実行し、さもなければ、チャネル信号を、それらを係数の基本セットに変換することなく、後方互換性のある方法で（例えば、ラウドスピーカフィードとして）レンダリングすることが望ましくありうる。
【０１０１】
[0084]方法 Ｍ２００は、そこから基本セットが復元された複数のチャネル信号と関連づけられたものとは異なるラウドスピーカの幾何学的配置に、基底関数係数の完全なセットをレンダリングするために実装されうる。図１０Ｂは、タスク Ｔ５００を含む方法 Ｍ２００のこのような実装 Ｍ２１０のフローチャートを示す。複数の基底関数係数に基づいて、タスク Ｔ５００は、第２の複数のチャネル信号を生成する。このケースでは、複数のチャネル信号のサブセットの各信号は、同一平面上の方向のセットのうちの対応する異なる１つと関連づけられ、一方、第２の複数のチャネル信号の各々は、３次元空間に広がる方向のセットのうちの対応する異なる１つと関連づけられる。例えば、第２の複数のチャネル信号は、基準面の上方（above）にあるラウドスピーカ位置に対応するか、さもなければ、高さ情報を提供する、１つまたは複数のチャネルを含みうる。１つの例では、タスク Ｔ５００は、（例えば、典型的に、いかなる可逆性の制約もないが、式（３）−（６）への参照により）上述されたような、係数の基本セットを後方互換性のあるチャネル信号に変換するための変換マトリクスの導出と類似の方法で得られる、特定のラウドスピーカの幾何学的配置についてのレンダリングマトリクスを適用するために実装される。
【０１０２】
[0085]したがって、上記は、要素の階層的なセット（例えば、ＳＨＣのセット）と複数のオーディオチャネルとの間で変換するためのロスレスメカニズムを表す。マルチチャネルオーディオ信号が更なる符号化ノイズにさらされない限り、いかなる誤りも生じない（incurred）。（例えば、ロッシー圧縮動作を介して）それらが符号化ノイズにさられるケースでは、ＳＨＣへの変換は誤りを生じうる。しかしながら、係数の値をモニタリングし、それらの影響を低減させるための適切なアクションを取ることによって、これらの誤りを考慮する（account for）ことが可能である。これらの方法は、ＳＨＣ表現における固有の冗長性を含む、ＳＨＣの特性を考慮しうる。
【０１０３】
[0086]図３Ｃは、時間間隔の間の音場を記述する複数の基底関数係数を処理するための装置 ＭＦ１００のブロック図を示す。装置 ＭＦ１００は、（例えば、タスク Ｔ１００および変換マトリクス ＴＭ１０の実装を参照してここで説明されたように、）複数のチャネル信号を生成するために、複数の基底関数係数の第１のグループ（「基本セット」）に対して可逆変換を実行するための手段 Ｆ１００を含み、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。装置 ＭＦ１００はまた、（例えば、タスク Ｔ２００、トランスコーダ ＴＣ１０、エンコーダ ＳＥ２０、およびマルチプレクサ ＭＸ１０の実装を参照してここで説明されたように、）複数のチャネル信号に基づいて、（Ａ）複数の基底関数係数の第２のグループ（「拡張されたセット」）の表現と、ここで、第２のグループは、第１のグループとは異なり、（Ｂ）第２のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成するための手段 Ｆ２００を含む。
【０１０４】
[0087]図３Ｄは、時間間隔の間の音場を記述する複数の基底関数係数を処理するための装置 Ａ１００のブロック図を示す。装置 Ａ１００は、（例えば、タスク Ｔ１００および変換マトリクス ＴＭ１０の実装を参照してここで説明されたように、）複数のチャネル信号を生成するために、複数の基底関数係数の第１のグループ（「基本セット」）に対して可逆変換を実行するように構成された計算器１００を含み、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。装置 Ａ１００はまた、（例えば、タスク Ｔ２００、トランスコーダ ＴＣ１０、エンコーダ ＳＥ２０、およびマルチプレクサ ＭＸ１０の実装を参照してここで説明されたように、）複数のチャネル信号に基づいて、（Ａ）複数の基底関数係数の第２のグループ（「拡張されたセット」）の表現と、ここで、第２のグループは、第１のグループとは異なり、（Ｂ）第２のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成するように構成されたデータフォーマッタ２００を含む。フォーマッタ２００は、パケタイザ（packetizer）を含みうる。
【０１０５】
[0088]図１１Ａは、一般的な構成による、時間間隔の間の音場を記述する複数の基底関数係数を得るための装置 ＭＦ２００のブロック図を示す。装置 ＭＦ２００は、（例えば、タスク Ｔ３００、デマルチプレクサ ＤＸ１０、トランスコーダ ＴＣ２０、およびデコーダ ＳＤ２０の実装を参照してここで説明されたように、）データ構造から、（Ａ）複数の基底関数係数の第２のグループ（「拡張されたセット」）の表現と、（Ｂ）第２のグループの該表現とは別である、複数のチャネル信号の表現とを得るための手段 Ｆ３００を含む。装置 ＭＦ２００はまた、（例えば、タスク Ｔ４００および逆変換マトリクス ＩＭ１０の実装を参照してここで説明されたように、）複数の基底関数係数の第１のグループ（「基本セット」）を生成するために、複数のチャネル信号のサブセットに対して変換を実行するための手段 Ｆ４００を含み、ここで、第１のグループは、第２のグループとは異なる。図１１Ｂは、（例えば、タスク Ｔ５００およびレンダラ ＳＲ１０の実装を参照してここで説明されたように、）複数の基底関数係数に基づいて、第２の複数のチャネル信号を生成するための手段 Ｆ５００を含む装置 ＭＦ２００の実装 ＭＦ２１０のフローチャートを示す。
【０１０６】
[0089]図１１Ｃは、一般的な構成による、時間間隔の間の音場を記述する複数の基底関数係数を得るための装置 Ａ２００のブロック図を示す。装置 Ａ２００は、（例えば、タスク Ｔ３００、デマルチプレクサ ＤＸ１０、トランスコーダ ＴＣ２０、およびデコーダ ＳＤ２０の実装を参照してここで説明されたように、）データ構造から、（Ａ）複数の基底関数係数の第２のグループ（「拡張されたセット」）の表現と、（Ｂ）第２のグループの該表現とは別である、複数のチャネル信号の表現とを得るように構成されたデータ抽出器（data extractor）３００を含む。抽出器３００は、デパケタイザ（depacketizer）を含みうる。装置 Ａ２００はまた、（例えば、タスク Ｔ４００および逆変換マトリクス ＩＭ１０の実装を参照してここで説明されたように、）複数の基底関数係数の第１のグループ（「基本セット」）を生成するために、複数のチャネル信号のサブセットに対して変換を実行するように構成された計算器４００を含み、ここで、第１のグループは、第２のグループとは異なる。図１１Ｄは、（例えば、タスク Ｔ５００およびレンダラ ＳＲ１０の実装を参照してここで説明されたように、）複数の基底関数係数に基づいて、第２の複数のチャネル信号を生成するように構成されたレンダラ５００を含む装置 Ａ２００の実装 Ａ２１０のフローチャートを示す。
【０１０７】
[0090]更なる例では、方法 Ｍ１００は、２つ以上の基底関数係数のセットを組み合わせるタスクを含むために実装され、ここで、各セットは、対応する時間間隔の間の対応する音場を記述し、タスク Ｔ１００への入力として組み合わされたセットを提供する。例えば、このようなタスクは、組み合わされた音場の記述を生成するために、（例えば、ＳＨＣベクトルの係数ベクトル加法を実行するように）係数の複数のセットを追加するために実装されうる。基底関数係数の各セットは、例えば、オーディオオブジェクトを表しうる。このような基底関数係数のセット（例えば、１つのオブジェクトのためのＳＨＣベクトル）は、（例えば、複数のオブジェクトのうちの別のもののための）基底関数係数の別のセットよりも高い次数（例えば、より長い長さ）を有しうる。例えば、フォアグラウンドにおけるオブジェクト（例えば、主演男優の音声）は、バックグラウンドにおけるオブジェクト（例えば、音響効果）よりも高次のセットで表されうる。
【０１０８】
[0091]図１１Ｅは、一般的な構成による装置 Ｐ１００のためのブロック図を示す。装置 Ｐ１００は、対応するデータ構造を生成するために、時間間隔の間の音場を記述する複数の基底関数係数に対して、ここで説明されたような方法 Ｍ１００の実装を実行するように構成されたプロセッサ Ｐ１０を含む。装置 Ｐ１００はまた、プロセッサ Ｐ１０によって生成されたデータ構造を記憶するように構成されたメモリ ＭＥ１０を含む。
【０１０９】
[0092]音響信号を受信するように構成された２つ以上のマイクロフォンのアレイを有する携帯用オーディオ感知デバイス内で、ここで説明されたような方法（例えば、方法 Ｍ１００またはＭ２００）を実行することが望ましくありうる。このようなアレイを含むために実装されることができ、かつ、録音および／または音声通信アプリケーションのために使用されることができる携帯用オーディオ感知デバイスの例は、電話ハンドセット（例えば、セルラ電話ハンドセット）、ワイヤードまたはワイヤレスのヘッドセット（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドセット）、ハンドヘルドオーディオおよび／またはビデオレコーダ（例えば、カムコーダ）、オーディオおよび／またはビデオコンテンツを記録するように構成されたパーソナルメディアプレーヤ、携帯情報端末（ＰＤＡ）または他のハンドヘルドコンピューティングデバイス、およびノートブックコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、あるいはその他の携帯用コンピューティングデバイスを含む。
【０１１０】
[0093]ここで開示された方法および装置は、概して、このようなアプリケーションの移動型またはさもなければ携帯型の事例を含む、任意のトランシービングおよび／またはオーディオ感知のアプリケーションにおいて、および／または、遠距離にあるソースからの信号成分の感知の際に適用されうる。例えば、ここで開示された構成の範囲は、符号分割多元接続（ＣＤＭＡ）無線インタフェースを用いるように構成されたワイヤレス電話通信システムに存在する通信デバイスを含む。それにもかかわらず、当業者であれば、ここで説明されたような特徴を有する方法および装置が、ワイヤードおよび／またはワイヤレス（例えば、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、および／または、ＴＤ−ＳＣＤＭＡ）の送信チャネル上でボイスオーバーＩＰ（ＶｏＩＰ）を用いるシステムのような、当業者に知られている幅広い範囲の技術を用いる任意の様々な通信システムに存在しうることを理解するであろう。
【０１１１】
[0094]ここで開示された通信デバイス（例えば、スマートフォン、タブレットコンピュータ）が、パケット交換（例えば、ＶｏＩＰのようなプロトコルに従ってオーディオ送信を搬送するように構成されている、ワイヤードおよび／またはワイヤレスネットワーク）および／または回線交換であるネットワークでの使用のために適合されうることは、明確に企図され、ここに開示されている。また、ここで開示された通信デバイスが、狭帯域符号化システム（例えば、約４または５キロヘルツのオーディオ周波数範囲をエンコードするシステム）での使用のために、および／または、全帯域広帯域符号化システムと分割帯域広帯域符号化システムを含む、広帯域符号化システム（例えば、５キロヘルツよりも大きいオーディオ周波数をエンコードするシステム）での使用のために、適合されうることも、明確に企図され、ここに開示されている。
【０１１２】
[0095]説明された構成の先の提示は、いかなる当業者であっても、ここに開示された方法および他の構造の製造または使用を可能にするように提供される。ここで説明および示されたフローチャート、ブロック図、および他の構造は、例にすぎず、これらの構造の他の変形もまた、本開示の範囲内にある。これらの構成に対する様々な修正が可能であり、ここで提示された一般的な原理は、他の構成にも適用されうる。したがって、本開示は、上記に示された構成に限定されるようには意図されず、当初の開示の一部を形成する、提出された添付の特許請求の範囲を含む、何らかの形でここに開示された原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
【０１１３】
[0096]当業者であれば、情報および信号は、様々な異なる技術および技法のうちの任意のものを用いて表されうることを理解するであろう。例えば、上記説明の全体にわたって参照されうるデータ、命令、コマンド、情報、信号、ビット、およびシンボルは、電圧、電流、電磁波、磁場または磁性粒子、光場または光粒子、あるいはこれらの任意の組み合わせによって表されうる。
【０１１４】
[0097]ここで開示されたような構成の実装のための重要な設計要件は、特に、圧縮されたオーディオまたはオーディオビジュアル情報（例えば、ここで識別された例のうちの１つのような、圧縮フォーマットにしたがってエンコードされたファイルまたはストリーム）の再生のような、計算集中的なアプリケーションに対して、または、広帯域通信（例えば、１２、１６、４４．１、４８、または１９２ｋＨｚのような、８キロヘルツよりも高いサンプリングレートにおける音声通信）のためのアプリケーションに対して、（典型的には、１秒当たり数百万の命令、すなわちＭＩＰＳにおいて測定される）処理遅延および／または計算の複雑さを最小化することを含みうる。
【０１１５】
[0098]マルチマイクロフォン処理システムの目的は、全体的なノイズ低減において１０ないし１２ｄＢを達成すること、所望のスピーカの動きの間の、音声レベルおよび色を保存すること、積極的なノイズ除去、スピーチの残響除去の代わりにノイズがバックグラウンドに移ったとの知覚を得ること、および／または、より積極的なノイズ低減のために後処理のオプションを可能にすることを含みうる。
【０１１６】
[0099]ここで開示されたような装置（例えば、任意の装置 Ａ１００、Ａ２００、Ａ２１０、ＭＦ１００、ＭＦ２００、ＭＦ２１０、およびＰ１００）は、意図されたアプリケーションに適していると思われる、ソフトウェアを有するおよび／またはファームウェアを有するハードウェアの任意の組み合わせにおいて実装されうる。例えば、このような装置の要素は、例えば、同じチップ上またはチップセット中の２つ以上のチップの間に存在する、電子デバイスおよび／または光デバイスとして組み立てられうる。このようなデバイスの１つの例は、トランジスタまたは論理ゲートのような、論理要素の固定アレイまたはプログラマブルアレイであり、任意のこれらの要素が、１つまたは複数のこのようなアレイとして実装されうる。装置の要素のうちの任意の２つ以上またはすべてさえが、同じアレイまたは複数のアレイ内で実装されうる。このようなアレイまたは複数のアレイは、１つまたは複数のチップ内で（例えば、２つ以上のチップを含むチップセット内で）実装されうる。
【０１１７】
[0100]ここで開示された装置（例えば、任意の装置 Ａ１００、Ａ２００、Ａ２１０、ＭＦ１００、ＭＦ２００、ＭＦ２１０、およびＰ１００）の様々な実装の１つまたは複数の要素はまた、マイクロプロセッサ、組み込まれたプロセッサ、ＩＰコア、デジタル信号プロセッサ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＡＳＳＰ（特定用途向け規格品）、およびＡＳＩＣ（特定用途向け集積回路）などの、論理要素の１つまたは複数の固定アレイまたはプログラマブルアレイ上で実行するように構成された命令の１つまたは複数のセットとして全体的にまたは部分的に実装されうる。ここで開示されたような装置の実装の任意の様々な要素はまた、１つまたは複数のコンピュータ（例えば、「プロセッサ」とも呼ばれる、命令の１つまたは複数のセットまたはシーケンスを実行するようにプログラムされた１つまたは複数のアレイを含む機械）として具現化されることができ、これらの要素のうちの、任意の２つ以上またはすべてさえも、このような同じコンピュータまたは複数のコンピュータ内で実装されることができる。
【０１１８】
[0101]ここで開示されたような処理のためのプロセッサまたは他の手段（例えば、プロセッサ Ｐ１０）は、例えば、同じチップ上またはチップセット中の２つ以上のチップの間に存在する、１つまたは複数の電子デバイスおよび／または光デバイスとして組み立てられうる。このようなデバイスの１つの例は、トランジスタまたは論理ゲートのような、論理要素の固定アレイまたはプログラマブルアレイであり、任意のこれらの要素は、１つまたは複数のこのようなアレイとして実装されうる。このようなアレイまたは複数のアレイは、１つまたは複数のチップ内で（例えば、２つ以上のチップを含むチップセット内で）実装されうる。このようなアレイの例は、マイクロプロセッサ、組み込まれたプロセッサ、ＩＰコア、ＤＳＰ、ＦＰＧＡ、ＡＳＳＰ、およびＡＳＩＣなどの、論理要素の固定アレイまたはプログラマブルアレイを含む。ここで開示されたようなプロセッサまたは処理のための他の手段はまた、１つまたは複数のコンピュータ（例えば、命令の１つまたは複数のセットまたはシーケンスを実行するようにプログラムされた１つまたは複数のアレイを含む機械）または他のプロセッサとして具現化されうる。プロセッサがその中に組み込まれているデバイスまたはシステム（例えば、オーディオ感知デバイス）の別の動作に関連するタスクのような、ここで説明されたようなオーディオ符号化プロシージャに直接的に関連しない命令の他のセットを実行するか、あるいはタスクを実行するために、ここで説明されたようなプロセッサが使用されることが可能である。ここで開示されたような方法の一部を、オーディオ感知デバイスのプロセッサによって実行し、この方法の別の部分を、１つまたは複数の他のプロセッサの制御下で実行することも可能である。
【０１１９】
[0102]当業者であれば、ここで開示された構成に関連して説明された様々な例示的なモジュール、論理ブロック、回路、およびテストおよび他の動作は、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されうることを理解するであろう。このようなモジュール、論理ブロック、回路、および動作は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣまたはＡＳＳＰ、ＦＰＧＡまたは他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいは、ここで開示されたような構成を生成するように設計されたこれらの任意の組み合わせで実装または実行されうる。例えば、このような構成は、ハードワイヤード回路として、特定用途向け集積回路中に組み立てられた回路構成として、または機械可読コードとしてデータ記憶媒体からあるいはデータ記憶媒体へロードされたソフトウェアプログラムまたは不揮発性記憶装置中にロードされたファームウェアプログラムとして、少なくとも部分的に実装されることができ、このようなコードは、汎用プロセッサまたは他のデジタル信号処理ユニットのような、論理要素のアレイによって実行可能な命令である。汎用プロセッサは、マイクロプロセッサでありうるが、代替において、このプロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシン（state machine）でありうる。プロセッサはまた、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つまたは複数のマイクロプロセッサ、あるいはその他任意のこのような構成である、コンピューティングデバイスの組み合わせとして実装されうる。ソフトウェアモジュールは、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読み出し専用メモリ）、フラッシュＲＡＭのような不揮発性ＲＡＭ（ＮＶＲＡＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバルディスク、またはＣＤ−ＲＯＭなどの非一時的な記憶媒体において、あるいは当該技術分野において周知であるその他任意の形態の記憶媒体において存在しうる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、また記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替において、記憶媒体は、プロセッサと一体化されうる。プロセッサおよび記憶媒体は、ＡＳＩＣ内に存在しうる。ＡＳＩＣは、ユーザ端末内に存在しうる。代替において、プロセッサおよび記憶媒体は、ユーザ端末内にディスクリートコンポーネントとして存在しうる。
【０１２０】
[0103]ここで開示された様々な方法（例えば、任意の方法 Ｍ１００、Ｍ２００、およびＭ２１０）は、プロセッサのような論理要素のアレイによって実行されることができ、また、ここで説明されたような装置の様々な要素は、このようなアレイ上で実行するように設計されたモジュールとして実装されることができることに留意されたい。ここで使用される場合、「モジュール」または「サブモジュール」という用語は、ソフトウェア、ハードウェア、またはファームウェアの形態においてコンピュータ命令（例えば、論理式（logical expressions））を含む、任意の方法、装置、デバイス、ユニットまたはコンピュータ可読データ記憶媒体を指しうる。複数のモジュールまたはシステムを組み合わせて、１つのモジュールまたはシステムにすることができ、ならびに、同じ機能を実行するために、１つのモジュールまたはシステムを、複数のモジュールまたはシステムに分離できることが理解されるべきである。ソフトウェアまたは他のコンピュータ実行可能な命令で実装される場合、プロセスの要素は本質的に、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、および、これに類するものなどによって、関連するタスクを実行するためのコードセグメントである。「ソフトウェア」という用語は、ソースコード、アセンブリ言語コード、機械コード、バイナリコード、ファームウェア、マクロコード、マイクロコード、論理要素のアレイによって実行可能な命令の任意の１つまたは複数のセットまたはシーケンス、ならびに、このような例の任意の組み合わせを含むことが理解されるべきである。プログラムまたはコードセグメントは、プロセッサ可読記憶媒体中に記憶されることができ、または、送信媒体または通信リンク上で、搬送波で具現化されるコンピュータデータ信号によって送信されることができる。
【０１２１】
[0104]ここで開示された方法、スキーム、および技法の実装はまた、論理要素のアレイ（例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、または他の有形のステートマシン）を含む機械によって可読および／または実行可能な命令の１つまたは複数のセットとして、（例えば、ここでリストされたような１つまたは複数のコンピュータ可読媒体において）有形的（tangibly）に具現化されうる。「コンピュータ可読媒体」という用語は、揮発性、不揮発性、取り外し可能および取り外し不可能な媒体を含む、情報を記憶または転送しうる任意の媒体を含みうる。コンピュータ可読媒体の例は、電子回路、半導体メモリデバイス、ＲＯＭ、フラッシュメモリ、消去可能ＲＯＭ（ＥＲＯＭ）、フロッピー（登録商標）ディスケットまたは他の磁気記憶装置、ＣＤ−ＲＯＭ／ＤＶＤまたは他の光記憶装置、ハードディスク、光ファイバー媒体、無線周波数（ＲＦ）リンク、あるいは、所望の情報を記憶するために使用されることができ、かつアクセスされることができるその他任意の媒体を含む。コンピュータデータ信号は、電子ネットワークチャネル、光ファイバー、無線、電磁気、ＲＦリンクなどのような、送信媒体上で伝搬しうる任意の信号を含みうる。コードセグメントは、インターネットまたはイントラネットのようなコンピュータネットワークを介してダウンロードされうる。任意のケースでは、本開示の範囲は、このような実施形態によって限定されるようには解釈されるべきでない。
【０１２２】
[0105]ここで説明された方法のタスクの各々は、直接的に、ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはこれら２つの組み合わせにおいて、具現化されうる。ここで開示されたような方法の実装の典型的なアプリケーションにおいて、論理要素（例えば、論理ゲート）のアレイは、方法の様々なタスクのうちの、１つ、１つより多くのもの、またはすべてさえも、実行するように構成される。タスクのうちの１つまたは複数（場合によってはすべて）は、コード（例えば、命令の１つまたは複数のセット）としても実装されることができ、論理要素のアレイ（例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、または他の有形のステートマシン）を含む機械（例えば、コンピュータ）によって可読および／また実行可能なコンピュータプログラム製品（例えば、ディスク、フラッシュまたは他の不揮発性メモリカード、半導体メモリチップなどのような、１つまたは複数のデータ記憶媒体）で具現化されることができる。ここで開示されたような方法の実装のタスクはまた、１つより多くのこのようなアレイまたは機械によって実行されうる。これらのまたは他の実装では、これらタスクは、このような通信能力を有するセルラ電話または他のデバイスなどの、ワイヤレス通信のためのデバイス内で実行されうる。このようなデバイスは、（例えば、ＶｏＩＰのような１つまたは複数のプロトコルを使用する）回線交換ネットワークおよび／またはパケット交換ネットワークと通信するように構成されうる。例えば、このようなデバイスは、エンコードされたフレームを受信および／または送信するように構成されたＲＦ回路を含みうる。
【０１２３】
[0106]ここで開示された様々な方法が、ハンドセット、ヘッドセット、または携帯情報端末（ＰＤＡ）のような、携帯用通信デバイスによって実行されうること、およびここで説明された様々な装置がこのようなデバイス内に含まれうることが明確に開示される。典型的なリアルタイム（例えば、オンライン）アプリケーションは、このようなモバイルデバイスを使用して実施される電話会話である。
【０１２４】
[0107]１つまたは複数の典型的な実施形態では、ここで説明された動作は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実装されうる。ソフトウェアで実装される場合、このような動作は、コンピュータ可読媒体上で、１つまたは複数の命令またはコードとして記憶または送信されうる。「コンピュータ可読媒体」という用語は、コンピュータ可読記憶媒体と通信（例えば、送信）媒体の両方を含む。限定ではなく例として、コンピュータ可読記憶媒体は、（限定はしないが、動的または静的なＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、および／またはフラッシュＲＡＭを含みうる）半導体メモリ、または、強誘電体、磁気抵抗、オボニック（ovonic）、高分子、または相転移メモリのような、記憶要素のアレイ、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、および／または磁気ディスク記憶装置または他の磁気記憶デバイスを備えうる。このような記憶媒体は、コンピュータによってアクセスされうる命令またはデータ構造の形態で情報を記憶しうる。通信媒体は、１つの場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータによってアクセスされうる命令またはデータ構造の形態で所望のプログラムコードを搬送するために使用されうる任意の媒体を備えうる。また、任意の接続は、コンピュータ可読媒体と厳密には称されうる。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、電波、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、またはその他の遠隔ソースから送信される場合には、この同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、電波、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。ここで使用される場合、ディスク（disk）およびディスク（disc）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多目的ディスク（ＤＶＤ）、フロッピーディスクおよびブルーレイ（登録商標）ディスク（ブルーレイディスクアソシエィション、ユニバーサルシティ、ＣＡ）を含み、ここでディスク（disks）は、通常磁気的にデータを再生し、一方ディスク（discs）は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
【０１２５】
[0108]ここで説明されたような音響信号処理装置（例えば、装置 Ａ１００またはＭＦ１００）は、ある動作を制御するためにスピーチ入力を受け入れるか、さもなければ、バックグラウンドノイズからの所望のノイズの分離から利益を得ることができる、通信デバイスのような電子デバイス中に組み込まれることができる。多くのアプリケーションは、複数の方向から生じるバックグラウンドサウンドから、所望のクリアなサウンドをエンハンスするまたは分離することから、利益を得ることができる。このようなアプリケーションは、音声認識と検出、スピーチエンハンスメントと分離、音声によりアクティブ化される制御、およびこれに類するものなどの能力を組み込む電子デバイスまたはコンピューティングデバイスにおけるヒューマンマシンインタフェースを含みうる。限定された処理能力のみを提供するデバイスにおいて適切であるように、このような音響信号処理装置を実装することが望ましくありうる。
【０１２６】
[0109]ここで説明されたモジュール、要素、およびデバイスの様々な実装の要素は、例えば、同じチップ上またはチップセット中の２つ以上のチップの間に存在する、電子デバイスおよび／または光デバイスとして組み立てられうる。このようなデバイスの１つの例は、トランジスタまたはゲートのような、論理要素の固定アレイまたはプログラマブルアレイである。ここで説明された装置の様々な実装の１つまたは複数の要素はまた、マイクロプロセッサ、組み込まれたプロセッサ、ＩＰコア、デジタル信号プロセッサ、ＦＰＧＡ、ＡＳＳＰ、およびＡＳＩＣなどの、論理要素の１つまたは複数の固定アレイまたはプログラマブルアレイ上で実行するように構成された命令の１つまたは複数のセットとして全体的にまたは部分的に実装されうる。
【０１２７】
[0110]装置がその中に組み込まれているデバイスまたはシステムの別の動作に関連するタスクのような、装置の動作に直接的に関連しない命令の他のセットを実行するか、あるいはタスクを実行するために、ここで説明されたような装置の実装の１つまたは複数の要素が使用されることが可能である。このような装置の実装の１つまたは複数の要素が、共通の構造（例えば、異なる時間において、異なる要素に対応するコードの一部を実行するために使用されるプロセッサ、異なる時間において、異なる要素に対応するタスクを実行するように実行される命令のセット、あるいは、異なる時間において、異なる要素に対する動作を実行する、電子デバイスおよび／または光デバイスの構成）を有することも可能である。
【図１Ａ】
2015525897.tif 000042
【図１Ｂ】
2015525897.tif 000043
【図１Ｃ】
2015525897.tif 000044
【図２Ａ】
2015525897.tif 000045
【図２Ｂ】
2015525897.tif 000046
【図３Ａ】
2015525897.tif 000047
【図３Ｂ】
2015525897.tif 000048
【図３Ｃ】
2015525897.tif 000049
【図３Ｄ】
2015525897.tif 000050
【図４】
2015525897.tif 000051
【図５】
2015525897.tif 000052
【図６】
2015525897.tif 000053
【図７】
2015525897.tif 000054
【図８】
2015525897.tif 000055
【図９】
2015525897.tif 000056
【図１０Ａ】
2015525897.tif 000057
【図１０Ｂ】
2015525897.tif 000058
【図１１Ａ】
2015525897.tif 000059
【図１１Ｂ】
2015525897.tif 000060
【図１１Ｃ】
2015525897.tif 000061
【図１１Ｄ】
2015525897.tif 000062
【図１１Ｅ】
2015525897.tif 000063
【国際調査報告】
2015525897.tif 000064
2015525897.tif 000065