(57)【要約】  メモリ及び制御回路を含むオーディオ再生装置。メモリは、オーディオセグメント及びメタデータ情報を含む少なくとも１つの符号化オーディオオブジェクトを含む複数のオーディオフレームを含む符号化オブジェクトベースオーディオストリームを記憶する。制御回路は、メタデータ情報を抽出し、少なくとも１つの符号化オーディオオブジェクトに関連する抽出されたメタデータ情報に基づいて、物理的３次元（３Ｄ）空間内の複数のスピーカのうちの第１のスピーカの第１の時刻における第１の位置から第２の位置への動きを制御する。制御回路は、少なくとも１つの符号化オーディオオブジェクトからオーディオセグメントを復号し、複数のオーディオフレームのうちの第１のオーディオフレーム内の第２の位置における第１のスピーカによる第２の時刻における復号オーディオセグメントの再生を制御する。【選択図】      図７
2021531700.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ再生装置であって、
関連するオーディオセグメント及びメタデータ情報を含む少なくとも１つの符号化オーディオオブジェクトを含む複数のオーディオフレームを含む符号化オブジェクトベースオーディオストリームを記憶するように構成されたメモリと、
前記メモリに結合された回路と、
を備え、前記回路は、
前記符号化オブジェクトベースオーディオストリーム内の前記複数のオーディオフレームから前記少なくとも１つの符号化オーディオオブジェクトに関連する前記メタデータ情報を抽出し、
前記少なくとも１つの符号化オーディオオブジェクトに関連する前記抽出されたメタデータ情報に基づいて、物理的３次元（３Ｄ）空間内の複数のスピーカのうちの第１のスピーカの第１の時刻における第１の位置から第２の位置への移動を制御し、
前記複数のオーディオフレーム内の前記少なくとも１つの符号化オーディオオブジェクトから前記オーディオセグメントを復号し、
前記複数のオーディオフレームのうちの第１のオーディオフレーム内の前記第２の位置における前記第１のスピーカによる前記第１の時刻の後の第２の時刻における前記復号オーディオセグメントの再生を制御する、
ように構成される、
ことを特徴とするオーディオ再生装置。
【請求項２】
前記メタデータ情報は、前記少なくとも１つの符号化オーディオオブジェクトに関連する位置情報を含み、該位置情報は、前記物理的３Ｄ空間におけるｘ軸座標、ｙ軸座標及びｚ軸座標を含む、
請求項１に記載のオーディオ再生装置。
【請求項３】
前記回路は、前記位置情報の前記ｘ軸座標、前記ｙ軸座標又は前記ｚ軸座標のうちの少なくとも１つに基づいて、前記複数のスピーカのうちの前記第１のスピーカを前記第２の位置に移動させるようにさらに構成される、
請求項２に記載のオーディオ再生装置。
【請求項４】
前記回路は、前記少なくとも１つの符号化オーディオオブジェクトに関連する前記位置情報に基づいて前記複数のスピーカから前記第１のスピーカを選択するようにさらに構成され、
前記第１のスピーカは、前記物理的３Ｄ空間内の前記複数のスピーカの中で、前記少なくとも１つの符号化オーディオオブジェクトに関連する前記位置情報に最も近い、
請求項３に記載のオーディオ再生装置。
【請求項５】
前記回路は、前記複数のオーディオフレームのオブジェクト−位置マッピング情報を生成するようにさらに構成され、前記オブジェクト−位置マッピング情報は、前記複数のオーディオフレーム内の前記少なくとも１つの符号化オーディオオブジェクトを含む複数の符号化オーディオオブジェクトの前記位置情報を示す、
請求項３に記載のオーディオ再生装置。
【請求項６】
前記回路は、前記生成されたオブジェクト−位置マッピング情報に基づいて前記複数のオーディオフレームの各々のスピーカ−オブジェクトマッピング情報を生成するようにさらに構成され、
前記スピーカ−オブジェクトマッピング情報は、前記複数の符号化オーディオオブジェクトに関連する前記複数のスピーカの移動情報又は動作モードのうちの少なくとも１つを示す、
請求項５に記載のオーディオ再生装置。
【請求項７】
前記回路は、前記符号化オブジェクトベースオーディオストリームの異なるオーディオフレーム内の前記複数の符号化オーディオオブジェクトの前記対応するメタデータ情報に基づいて、前記異なるオーディオフレーム内の前記複数のスピーカの前記動作モードを変更するようにさらに構成される、
請求項６に記載のオーディオ再生装置。
【請求項８】
前記動作モードは、アクティブモード、モーションモード、アクティブモーションモード又はイナクティブモードのうちの少なくとも１つを含む、
請求項７に記載のオーディオ再生装置。
【請求項９】
前記回路は、前記アクティブモードにおいて、前記復号オーディオセグメントを再生するように前記第１のスピーカを制御するようさらに構成される、
請求項８に記載のオーディオ再生装置。
【請求項１０】
前記回路は、前記モーションモードにおいて、
前記少なくとも１つの符号化オーディオオブジェクトに関連する前記位置情報に基づいて前記第１のスピーカの移動を制御し、
前記第１のスピーカによる前記復号オーディオセグメントの再生を無効にする、
ようにさらに構成される、請求項８に記載のオーディオ再生装置。
【請求項１１】
前記回路は、前記アクティブモーションモードにおいて、前記第１のスピーカを、
前記位置情報に基づいて移動し、
同時に前記復号オーディオセグメントを再生する、
ように制御するようさらに構成される、請求項８に記載のオーディオ再生装置。
【請求項１２】
前記回路は、前記イナクティブモードにおいて、前記第１のスピーカの移動を無効にするとともに、前記復号オーディオセグメントの再生を無効にするようにさらに構成される、
請求項８に記載のオーディオ再生装置。
【請求項１３】
前記回路は、
前記符号化オブジェクトベースオーディオストリーム内の複数の連続オーディオフレームから前記少なくとも１つの符号化オーディオオブジェクトに関連する前記位置情報を抽出し、
前記少なくとも１つの符号化オーディオオブジェクトに関連する前記位置情報が前記複数の連続オーディオフレームにわたる経路又は軌道を形成するかどうかを判定し、
前記少なくとも１つの符号化オーディオオブジェクトに関連する前記位置情報が前記複数の連続オーディオフレームにわたる経路又は軌道を形成するとの判定に基づいて、前記経路又は前記軌道に沿った前記第１のスピーカの前記移動を制御する、
ようにさらに構成される、請求項３に記載のオーディオ再生装置。
【請求項１４】
前記回路は、前記複数のオーディオフレームのうちの第２のオーディオフレーム内の前記第１のスピーカの前記移動を制御するようにさらに構成され、前記第２のオーディオフレームは、前記符号化オブジェクトベースオーディオストリーム内の前記第１のオーディオフレームの前に存在する、
請求項１に記載のオーディオ再生装置。
【請求項１５】
前記回路は、
前記符号化オブジェクトベースオーディオストリーム内の第２の符号化オーディオオブジェクトに関連する前記メタデータ情報に基づいて、前記第１のオーディオフレーム内の前記複数のスピーカのうちの第２のスピーカの前記物理的３Ｄ空間内の第３の位置から第４の位置への移動を制御し、
前記複数のオーディオフレームのうちの第３のオーディオフレーム内の前記第４の位置における、前記第２のスピーカによる前記第２の時刻の後の第３の時刻における前記第２の符号化オーディオオブジェクトの第２のオーディオセグメントの再生を制御する、
ようにさらに構成される、請求項１４に記載のオーディオ再生装置。
【請求項１６】
前記回路は、前記物理的３Ｄ空間内の前記第１のスピーカと前記第２のスピーカとの間の衝突を避けるために、前記第１のスピーカと前記第２のスピーカとの間で前記移動を同期させるようにさらに構成される、
請求項１５に記載のオーディオ再生装置。
【請求項１７】
前記複数のスピーカの各々は、スピーカ移動構成内の可動装置に取り付けられ、前記可動装置は、飛行物体、可動アーム付き装置、又は前記物理的３Ｄ空間内で３６０度移動できる装置のうちの１つを含む、
請求項１に記載のオーディオ再生装置。
【請求項１８】
オーディオ再生方法であって、
メモリ及び制御回路を含むオーディオ再生装置において、
関連するオーディオセグメント及びメタデータ情報を含む少なくとも１つの符号化オーディオオブジェクトを含む複数のオーディオフレームを含む符号化オブジェクトベースオーディオストリームをメモリに記憶するステップと、
前記制御回路が、前記符号化オブジェクトベースオーディオストリーム内の前記複数のオーディオフレームから前記少なくとも１つの符号化オーディオオブジェクトに関連する前記メタデータ情報を抽出するステップと、
前記制御回路が、前記少なくとも１つの符号化オーディオオブジェクトに関連する前記抽出されたメタデータ情報に基づいて、物理的３次元（３Ｄ）空間内の複数のスピーカのうちの第１のスピーカの第１の時刻における第１の位置から第２の位置への移動を制御するステップと、
前記制御回路が、前記複数のオーディオフレーム内の前記少なくとも１つの符号化オーディオオブジェクトから前記オーディオセグメントを復号するステップと、
前記制御回路が、前記複数のオーディオフレームのうちの第１のオーディオフレーム内の前記第２の位置における前記第１のスピーカによる前記第１の時刻の後の第２の時刻における前記復号オーディオセグメントの再生を制御するステップと、
を含むことを特徴とするオーディオ再生方法。
【請求項１９】
前記メタデータ情報は、前記少なくとも１つの符号化オーディオオブジェクトに関連する位置情報を含み、前記位置情報は、前記物理的３Ｄ空間におけるｘ軸座標、ｙ軸座標及びｚ軸座標を含む、
請求項１８に記載のオーディオ再生方法。
【請求項２０】
前記回路が、前記位置情報の前記ｘ軸座標、前記ｙ軸座標又は前記ｚ軸座標のうちの少なくとも１つに基づいて、前記複数のスピーカのうちの第１のスピーカの前記第２の位置への移動を制御するステップをさらに含む、
請求項１９に記載のオーディオ再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照／引用による組み入れ〕
なし。
【０００２】
本開示の様々な実施形態は、オーディオ再生技術に関する。具体的には、本開示の様々な実施形態は、最低限度の（ｍｉｎｉｍａｌｉｓｔｉｃ）移動スピーカを使用してオブジェクトベースオーディオストリームを再生する装置及び方法に関する。
【背景技術】
【０００３】
最近のオーディオ再生分野の進歩は、室内及び映画館などの異なる筐体におけるサラウンドサウンド生成に関連する様々な技術及びシステムの発展をもたらした。このようなシステムの１つに、サラウンドサウンドシステムとも呼ばれるマルチチャネルオーディオ再生システムがある。サラウンドサウンドシステムは複数のスピーカを有し、各スピーカはそれぞれのチャネル上で提供されるオーディオを生成する。しかしながら、このようなサラウンドオーディオシステムのスピーカは、リスニングエリア内の固定位置に配置される。従って、従来のサラウンドサウンドシステムからのオブジェクトベースオーディオストリームにおける異なるオーディオオブジェクトのサウンド再生では、正確でリアルなサウンド再生が行われないことがある。オブジェクトベースオーディオストリームは、異なるオーディオが異なるオブジェクトに分解されたオーディオコンテンツとすることができる。オーディオオブジェクトとして知られているこれらのオブジェクトは音源も明確にし、オーディオ信号と、録音時における音源の位置などを示す何らかのメタデータとを含む。最近では、このようなオブジェクトベースのオーディオ表現及び関連するオーディオ技術が研究の盛んな分野である。通常、実際の３Ｄ空間内の異なる位置で取り込まれたオーディオオブジェクトを含むことができるオブジェクトベースオーディオストリームの正確なオーディオ再生を行うには、室内などのリスニングエリアのＸ、Ｙ、Ｚ方向における全ての可能な位置でのオーディオ再生のために相当数のスピーカが必要となり得る。このようなことは実際には実現不可能であるとともに、オーディオシステムのコスト及び複雑性がさらに過剰になって望ましくないと考えられる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法のさらなる限界及び不利点が明らかになるであろう。
【課題を解決するための手段】
【０００５】
少なくとも１つの図に実質的に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示すような、最低限度の移動スピーカを使用してオブジェクトベースオーディオストリーム内のオーディオオブジェクトを再生する装置及び方法を提供する。
【０００６】
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
【図面の簡単な説明】
【０００７】
【図１】本開示の実施形態による、最低限度の移動スピーカを使用してオブジェクトベースオーディオストリームに含まれるオーディオオブジェクトを再生する例示的なネットワーク環境を示すブロック図である。
【図２】本開示の実施形態による、最低限度の移動スピーカを使用してオブジェクトベースオーディオストリームに含まれるオーディオオブジェクトを再生する例示的なオーディオ再生装置を示すブロック図である。
【図３Ａ】本開示の実施形態による、図２のオーディオ再生装置によって最低限度の移動スピーカを使用してオーディオオブジェクトを再生する例示的な動作を示す図である。
【図３Ｂ】本開示の実施形態による、図２のオーディオ再生装置によって最低限度の移動スピーカを使用してオーディオオブジェクトを再生する例示的な動作を示す図である。
【図３Ｃ】本開示の実施形態による、図２のオーディオ再生装置によって最低限度の移動スピーカを使用してオーディオオブジェクトを再生する例示的な動作を示す図である。
【図３Ｄ】本開示の実施形態による、図２のオーディオ再生装置によって最低限度の移動スピーカを使用してオーディオオブジェクトを再生する例示的な動作を示す図である。
【図４Ａ】本開示の実施形態による、図２のオーディオ再生装置によって、連続オーディオフレーム内の経路又は軌道を形成するオーディオオブジェクトを再生する例示的な動作を示す図である。
【図４Ｂ】本開示の実施形態による、図２のオーディオ再生装置によって、連続オーディオフレーム内の経路又は軌道を形成するオーディオオブジェクトを再生する例示的な動作を示す図である。
【図４Ｃ】本開示の実施形態による、図２のオーディオ再生装置によって、連続オーディオフレーム内の経路又は軌道を形成するオーディオオブジェクトを再生する例示的な動作を示す図である。
【図４Ｄ】本開示の実施形態による、図２のオーディオ再生装置によって、連続オーディオフレーム内の経路又は軌道を形成するオーディオオブジェクトを再生する例示的な動作を示す図である。
【図５Ａ】本開示の実施形態による、オブジェクトベースオーディオストリーム内の複数の連続オーディオフレームの軌道を形成するオーディオオブジェクトの位置情報の例示的なグラフィック表現を示す図である。
【図５Ｂ】本開示の実施形態による、オブジェクトベースオーディオストリーム内の複数の連続オーディオフレームの軌道を形成するオーディオオブジェクトの位置情報の例示的なグラフィック表現を示す図である。
【図６Ａ】本開示の実施形態による、スピーカセットの移動に基づいてオーディオオブジェクトを再生する例示的な動作を示す図である。
【図６Ｂ】本開示の実施形態による、スピーカセットの移動に基づいてオーディオオブジェクトを再生する例示的な動作を示す図である。
【図６Ｃ】本開示の実施形態による、スピーカセットの移動に基づいてオーディオオブジェクトを再生する例示的な動作を示す図である。
【図７】本開示の実施形態による、最低限度の移動スピーカを使用してオーディオオブジェクトを再生する例示的な動作を示す第１のフローチャートである。
【図８Ａ】本開示の実施形態による、複数の連続オーディオフレームの経路又は軌道を形成するオーディオオブジェクトを再生する例示的な動作を示す第２のフローチャートである。
【図８Ｂ】本開示の実施形態による、複数の連続オーディオフレームの経路又は軌道を形成するオーディオオブジェクトを再生する例示的な動作を示す第２のフローチャートである。
【発明を実施するための形態】
【０００８】
開示する最低限度の移動スピーカを使用してオブジェクトベースオーディオストリームに含まれるオーディオオブジェクトを再生する装置では、後述する実装を見出すことができる。本開示の例示的な態様は、強化されたサラウンドサウンド体験をもたらすために必要な物理的３Ｄ空間内の最低数のスピーカの動きを制御することによってリスナに強化されたサラウンドサウンド体験を提供するオーディオ再生装置を提供する。
【０００９】
オーディオ再生装置は、複数のオーディオフレームを含む符号化オブジェクトベースオーディオストリームを記憶するように構成されたメモリを含むことができる。複数のオーディオフレームは、少なくとも１つの符号化オーディオオブジェクトを含むことができ、少なくとも１つの符号化オーディオオブジェクトは、関連するオーディオセグメント及びメタデータ情報をさらに含む。メタデータ情報は、各オーディオオブジェクトの位置情報を含むことができる。位置情報には、オーディオオブジェクトを符号化することができる。オーディオオブジェクトに関連する位置情報は、室内などの物理的３Ｄ空間内に提供された複数のスピーカからの最低数のスピーカを使用して物理的３Ｄ空間内で再現されることが望ましい実際の３Ｄ環境内のサウンド取り込み時点における音源の空間位置を示すことができる。開示するオーディオ再生装置は、物理的３Ｄ空間内の複数のスピーカのうちの１又は２以上のスピーカの制御された動きを可能にする。この制御された動きは、オーディオオブジェクトの位置情報に基づくことができ、オーディオオブジェクトのサウンドの実際の再生前に行うことができる。物理的３Ｄ空間内のオーディオオブジェクトの位置の最も近くに存在し得るスピーカを動かすことができる一方で、他のスピーカは動かさず、又は他のオーディオオブジェクトに割り当てることができる。開示するオーディオ再生装置は、オーディオオブジェクトの位置情報に基づく物理的３Ｄ空間内の制御されたスピーカの動きを使用して、特定のタスクのためのスピーカ数、並びに対応するコスト及び複雑性を増加させることなく、オーディオオブジェクトのサウンドを正確に再生することができる。従って、開示するオーディオ再生装置は、室内などの物理的３Ｄ空間内のリスナに、オーディオオブジェクトの録音又は取り込みが行われた（望ましくない雑音を排除した）実際の３Ｄ環境と同様のコスト効率の良い正確な強化されたサラウンドサウンド効果を提供する。
【００１０】
図１は、本開示の実施形態による、最低限度の移動スピーカを使用してオブジェクトベースオーディオストリームに含まれるオーディオオブジェクトを再生する例示的なネットワーク環境を示すブロック図である。図１には、ネットワーク環境１００を示す。ネットワーク環境１００は、オーディオ再生装置１０２と、マルチメディアコンテンツソース１０４と、通信ネットワーク１０６と、複数のスピーカ１０８ａ〜１０８ｎと、リスニングエリア１１０と、リスナ１１２とを含むことができる。オーディオ再生装置１０２は、通信ネットワーク１０６を介してマルチメディアコンテンツソース１０４及び複数のスピーカ１０８ａ〜１０８ｎに通信可能に結合することができる。
【００１１】
オーディオ再生装置１０２は、複数のスピーカ１０８ａ〜１０８ｎを物理的３Ｄ空間（すなわち、リスニングエリア１１０）内の第１の位置から第２の位置に移動するように制御するよう構成できる好適なロジック、回路及びインターフェイスを含むことができる。オーディオ再生装置１０２は、符号化オブジェクトベースオーディオストリーム内のオーディオオブジェクトの位置情報に基づいて複数のスピーカ１０８ａ〜１０８ｎの動きを制御するように構成することができる。符号化オブジェクトベースオーディオストリームは、それぞれがオーディオオブジェクトを含む複数のオーディオフレームを含むことができる。オーディオオブジェクトは、オーディオセグメントと、オーディオセグメントに関連するオーディオソースの位置情報とを含むことができる。位置情報は、符号化オブジェクトベースオーディオストリームの取り込み又は作成時点におけるオーディオソースのＸＹＺ位置を示すことができる。
【００１２】
オーディオ再生装置１０２は、（物理的３Ｄ空間内の第２の位置に移動した）複数のスピーカ１０８ａ〜１０８ｎを、符号化オブジェクトベースオーディオストリームのオーディオオブジェクトを再生するように制御するようさらに構成することができる。いくつかの実施形態では、オーディオ再生装置１０２を、符号化オブジェクトベースオーディオストリームを含むマルチメディアコンテンツをリスナ１１２に対してレンダリングするディスプレイ装置又はテレビ１１４とすることができる。オーディオ再生装置１０２の例としては、以下に限定するわけではないが、マルチチャネルスピーカシステム、オーディオ−ビデオ（ＡＶ）娯楽システム、ホームシアターシステム、テレビシステム、ディスプレイシステム、ビデオ会議システム、コンピュータ装置、ゲーム装置、メインフレーム機械、サーバ、コンピュータワークステーション、及び／又は消費者電子（ＣＥ）装置を挙げることができる。
【００１３】
マルチメディアコンテンツソース１０４は、符号化オブジェクトベースオーディオストリームなどのマルチメディアコンテンツを記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。いくつかの実施形態では、マルチメディアコンテンツソース１０４を、オーディオソースのオーディオデータにオーディオソースの位置情報を含むメタデータ情報を符号化することによって符号化オブジェクトベースオーディオストリームを生成するようにさらに構成することができる。マルチメディアコンテンツソース１０４は、符号化オブジェクトベースオーディオストリームを含むマルチメディアコンテンツを通信ネットワーク１０６を介してオーディオ再生装置１０２に伝えるようにさらに構成することができる。いくつかの実施形態では、マルチメディアコンテンツソース１０４を、マルチメディアコンテンツを記憶するサーバとすることができる。サーバの例としては、以下に限定するわけではないが、クラウドサーバ、データベースサーバ、ファイルサーバ、ウェブサーバ、アプリケーションサーバ、メインフレームサーバ、又はその他のタイプのサーバを挙げることができる。いくつかの実施形態では、マルチメディアコンテンツソース１０４を、セットトップボックス、ライブコンテンツストリーミング装置、又は放送局とすることができる。マルチメディアコンテンツの例としては、以下に限定するわけではないが、オーディオコンテンツ、ビデオコンテンツ、テレビコンテンツ、アニメーションコンテンツ、及び／又は対話型コンテンツを挙げることができる。
【００１４】
通信ネットワーク１０６は、オーディオ再生装置１０２をマルチメディアコンテンツソース１０４とリスニングエリア１１０などの物理的３Ｄ空間に収容された複数のスピーカ１０８ａ〜１０８ｎとに通信可能に結合できる通信媒体を含むことができる。通信ネットワーク１０６の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、無線フィデリティ（Ｗｉ-Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１０６に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ−Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを挙げることができる。
【００１５】
複数のスピーカ１０８ａ〜１０８ｎは、オーディオ再生装置１０２から通信ネットワーク１０６を介してオーディオ信号を受け取るように構成できる好適なロジック、回路及びインターフェイスを含むことができる。複数のスピーカ１０８ａ〜１０８ｎの各々は、受け取ったオーディオ信号に基づいてサウンドを出力又は再生するようにさらに構成することができる。いくつかの実施形態では、複数のスピーカ１０８ａ〜１０８ｎを、有線又は無線ネットワークを介してオーディオ再生装置１０２に通信可能に結合することができる。複数のスピーカ１０８ａ〜１０８ｎの各々は、最初にリスニングエリア１１０内のデフォルト位置などの、サラウンドサウンドリスニング環境を形成する特定の位置に存在することができる。複数のスピーカ１０８ａ〜１０８ｎの各々の位置は、オーディオ再生装置１０２にとって既知とすることができる。ある実施形態によれば、複数のスピーカ１０８ａ〜１０８ｎの各々は、オーディオ再生装置１０２から位置情報及びオーディオ信号を受け取るようにさらに構成される。複数のスピーカ１０８ａ〜１０８ｎの各々は、受け取った位置情報からＸ軸、Ｙ軸及びＺ軸座標（以下、ＸＹＺ座標と呼ぶ）を抽出し、この結果、抽出されたＸＹＺ座標に基づいてリスニングエリア１１０などの物理的３Ｄ空間内で移動するようにさらに構成される。
【００１６】
ある実施形態によれば、複数のスピーカ１０８ａ〜１０８ｎは、リスニングエリア１１０内の複数のスピーカ１０８ａ〜１０８ｎの決定された位置及び／又は構成に基づいてマルチチャネルオーディオを再生するようにさらに構成することができる。マルチチャネルスピーカシステムの例としては、以下に限定するわけではないが、２．１、５．１、７．１、９．１、１１．１などのスピーカシステム構成を挙げることができる。ある実施形態によれば、スピーカ１０８ａは中央スピーカに対応することができ、複数のスピーカ１０８ｂ〜１０８ｎは、リスニングエリア１１０内の１又は２以上のサラウンドスピーカに対応することができる。複数のスピーカ１０８ａ〜１０８ｎの例としては、以下に限定するわけではないが、ラウドスピーカ、ウーファ、サブウーファ、ツイータ、無線スピーカ、モニタスピーカ、或いはその他のスピーカ又はサウンド出力装置を挙げることができる。
【００１７】
リスニングエリア１１０は、複数のスピーカ１０８ａ〜１０８ｎを介して様々なオーディオアイテムが再生される物理的３Ｄエリアを意味することができる。リスニングエリア１１０の例としては、以下に限定するわけではないが、（囲われた住居空間、映画館及び会議エリアなどの）建物内の物理的空間、又は空間と建築構造との組み合わせ（例えば、スタジアム、屋外音楽イベント、公園及び運動場など）を挙げることができる。
【００１８】
リスナ１１２は、複数のスピーカ１０８ａ〜１０８ｎによって生成されたサラウンドサウンドを消費する関心対象を意味することができる。リスナ１１２は、人間、又は実在の人間に類似し得るロボットとすることができる。リスナ１１２は、オーディオ再生装置１０２に関連することができる。
【００１９】
オーディオ再生装置１０２は、動作中に、複数のオーディオフレームを含む符号化オブジェクトベースオーディオストリームを記憶するように構成することができる。複数のオーディオフレームの各々は、少なくとも１つの符号化オーディオオブジェクトを含むことができる。符号化オーディオオブジェクトは、符号化オーディオオブジェクトに関連するオーディオセグメント及びメタデータ情報（例えば、位置情報）を含むことができる。オーディオオブジェクトのメタデータ情報は、３Ｄ実空間（又は実環境）内のオーディオセグメントのオーディオソースの位置を示すＸＹＺ座標を含むことができる。いくつかの実施形態では、オーディオ再生装置１０２を、マルチメディアコンテンツソース１０４から通信ネットワーク１０６を介して符号化オブジェクトベースオーディオストリームを受け取るようにさらに構成することができる。
【００２０】
ある実施形態によれば、オーディオ再生装置１０２は、符号化オブジェクトベースオーディオストリームの複数のオーディオフレームの各々における各オーディオオブジェクトのメタデータ情報（位置情報）を抽出（事前復号）するようにさらに構成することができる。オーディオ再生装置１０２は、異なるオーディオフレーム内の各オーディオオブジェクトの抽出された位置情報に基づいて、リスニングエリア１１０などの物理的３Ｄ空間内の複数のスピーカ１０８ａ〜１０８ｎの動きを制御するように構成することができる。ある実施形態によれば、オーディオ再生装置１０２は、複数のスピーカ１０８ａ〜１０８ｎの動きを線形経路又は曲線軌道で制御するように構成することができる。オーディオ再生装置１０２は、オブジェクトベースオーディオストリームの複数の連続オーディオフレームの規定の軌道内で移動するオーディオオブジェクトの識別に基づいて、複数のスピーカ１０８ａ〜１０８ｎのうちの少なくとも１つのスピーカの動きを規定の軌道内で制御するように構成することができる。
【００２１】
ある実施形態によれば、オーディオ再生装置１０２は、少なくとも１つのオーディオフレームの再生中に少なくとも１つのスピーカ（複数のスピーカ１０８ａ〜１０８ｎのうちの１つのスピーカ）の開始位置から目的位置までの動きを制御するように構成することができる。オーディオ再生装置１０２は、オブジェクトベースオーディオストリーム内の次のオーディオフレームのオーディオオブジェクトの位置情報に基づいて少なくとも１つのスピーカの動きを制御するように構成することができる。従って、少なくとも１つのスピーカは、次のオーディオフレームに含まれるオーディオオブジェクトのオーディオセグメントのレンダリング（又は再生）前に（リスニングエリア１１０などの）物理的３Ｄ空間内の所望の位置に移動する。
【００２２】
ある実施形態によれば、オーディオ再生装置１０２は、複数のオーディオフレーム内のオーディオオブジェクトからオーディオセグメントを復号するように構成することができる。オーディオ再生装置１０２は、抽出された位置情報に基づいて、リスニングエリア１１０内の複数のスピーカ１０８ａ〜１０８ｎを、異なるオーディオフレーム内のオーディオオブジェクトの復号オーディオセグメントのサウンドを再生するように制御するようさらに構成することができる。オーディオオブジェクトの位置情報に基づく複数のスピーカ１０８ａ〜１０８の動き、及び複数のスピーカ１０８ａ〜１０８ｎによるオーディオオブジェクトのサウンドのさらなるレンダリングについては、例えば図３Ａ〜図３Ｄにおいて詳細に説明する。
【００２３】
ある実施形態によれば、複数のスピーカ１０８ａ〜１０８ｎの各々は、ＸＹ位置において動くことができる可動装置に取り付けることができる。いくつかの実施形態では、複数のスピーカ１０８ａ〜１０８ｎの各々を、物理的３Ｄ空間（リスニングエリア１１０など）内のＸＹＺ位置において動くことができる飛行物体（例えば、ドローン）に取り付けることができる。いくつかの実施形態では、複数のスピーカ１０８ａ〜１０８ｎを、リスニングエリア１１０の内部に設置された装置の複数の可動アームに取り付けることができる。この装置は、リスニングエリア１１０の天井、床又は壁のいずれかに固定することができる。装置の複数の可動アームは、オーディオ再生装置１０２から送信された制御信号に基づいてリスニングエリア１１０内で動くことができる。いくつかの実施形態では、複数のスピーカ１０８ａ〜１０８ｎを、物理的３Ｄ空間内で３６０度方向に動くことができる電子的又は機械的装置に取り付けることができる。従って、リスナ１１２は、（リスニングエリア１１０などの）物理的３Ｄ空間内の異なるＸＹＺ位置において動く複数のスピーカ１０８ａ〜１０８ｎの能力により、符号化オブジェクトベースオーディオストリームに含まれるオーディオオブジェクトのサウンドの取り込み時点における異なるオーディオソースの位置付けと同様の強化されたサラウンドサウンド体験を体験することができる。オーディオ再生装置１０２の制御下で物理的３Ｄ空間（リスニングエリア１１０など）内で動く複数のスピーカ１０８ａ〜１０８ｎの能力は、物理的３Ｄ空間（すなわち、リスニングエリア１１０）内のスピーカ１０８ａ〜１０８ｎの３Ｄ位置（ＸＹＺ座標）に、オブジェクトベースオーディオストリーム内のオーディオオブジェクトの３Ｄ位置を模倣する機能を提供する。従って、物理的３Ｄ空間（すなわち、リスニングエリア１１０）内のリスナ１１２などのリスナに真の没入的なサラウンドサウンド効果を提供することができる。
【００２４】
図２は、本開示の実施形態による、最低限度の移動スピーカを使用してオブジェクトベースオーディオストリームに含まれるオーディオオブジェクトを再生する例示的なオーディオ再生装置を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２には、オーディオ再生装置１０２のブロック図を示す。オーディオ再生装置１０２は、回路２００と、ネットワークインターフェイス２０２と、メモリ２０６と、入力／出力（Ｉ／Ｏ）装置２０８とを含むことができる。回路２００は、プロセッサ２０４と、オブジェクト−位置マップ生成器２１０と、スピーカ−オブジェクトマップ生成器２１２とをさらに含むことができる。Ｉ／Ｏ装置２０８は、ディスプレイ画面２０８Ａを含むことができる。ディスプレイ画面２０８Ａ上には、アプリケーションインターフェイス２１４をレンダリングすることができる。可動装置２１６Ａなどの複数の可動装置を含むことができるスピーカ移動構成２１６も示す。回路２００は、通信ポート／チャネルの組を介して、ネットワークインターフェイス２０２、メモリ２０６、Ｉ／Ｏ装置２０８に通信可能に結合することができる。
【００２５】
ネットワークインターフェイス２０２は、複数のスピーカ１０８ａ〜１０８ｎの動きを制御する制御信号を通信ネットワーク１０６を介して伝えるように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ネットワークインターフェイス２０２は、再生のために通信ネットワーク１０６を介して複数のスピーカ１０８ａ〜１０８ｎにオーディオ信号を伝えるようにさらに構成することができる。ネットワークインターフェイス２０２は、マルチメディアコンテンツソース１０４から通信ネットワーク１０６を介して１又は２以上の符号化オブジェクトベースオーディオストリームを受け取るようにさらに構成することができる。ネットワークインターフェイス２０２は、オーディオ再生装置１０２と通信ネットワーク１０６との有線又は無線通信をサポートする様々な既知の技術を使用することによって実装することができる。ネットワークインターフェイス２０２は、様々な有線又は無線通信プロトコルを介して通信することができる。ネットワークインターフェイス２０２は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ−デコーダ（ＣＯＤＥＣ）チップセット、加入者アイデンティティモジュール（ＳＩＭ）カード、及びローカルバッファを含むことができる。
【００２６】
プロセッサ２０４は、メモリ２０６に記憶された命令セットを実行するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。いくつかの実施形態では、プロセッサ２０４を、マルチメディアコンテンツソース１０４からネットワークインターフェイス２０２を介して符号化オブジェクトベースオーディオストリームを受け取るように構成することができる。プロセッサ２０４は、メモリ２０６に記憶された符号化オブジェクトベースオーディオストリームを復号するように構成することができる。プロセッサ２０４は、符号化オブジェクトベースオーディオストリームの複数のオーディオフレームの各々に含まれるオーディオオブジェクトのメタデータ情報（位置情報）を抽出（事前復号）するようにさらに構成することができる。プロセッサ２０４は、オーディオオブジェクトの再生前に、抽出された位置情報（ＸＹＺ座標）に基づいて、複数のスピーカ１０８ａ〜１０８ｎを物理的３Ｄ空間（すなわちリスニングエリア１１０）内で（線形的に又は軌道内で）動くように制御するようさらに構成することができる。プロセッサ２０４は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。プロセッサ２０４の例としては、以下に限定するわけではないが、グラフィックプロセッシングユニット（ＧＰＵ）、中央処理装置（ＣＰＵ）、ｘ８６ベースプロセッサ、ｘ６４ベースプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサを挙げることができる。
【００２７】
メモリ２０６は、プロセッサ２０４が実行できる命令セットを記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。メモリ２０６は、複数の符号化オブジェクトベースオーディオストリームを記憶するように構成することができる。いくつかの実施形態では、メモリ２０６を、符号化オブジェクトベースオーディオストリームを含むマルチメディアコンテンツを記憶するように構成することができる。メモリ２０６の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電子的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ、又はセキュアデジタル（ＳＤ）カードを挙げることができる。
【００２８】
Ｉ／Ｏ装置２０８は、リスナ１１２とオーディオ再生装置１０２の異なる動作コンポーネントとの間のＩ／Ｏチャネル／インターフェイスを提供するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。Ｉ／Ｏ装置２０８は、リスナ１１２などのユーザから入力を受け取り、ユーザから提供された入力に基づいて出力を提示することができる。Ｉ／Ｏ装置２０８は、オーディオ再生装置１０２の異なる動作コンポーネントと通信することができる他の様々なＩ／Ｏ装置に接続するための様々な入力及び出力ポートを含むことができる。入力装置の例としては、以下に限定するわけではないが、タッチ画面、キーボード／キーパッド、一連のボタン、マウス、ジョイスティック、マイク、及び画像取り込み装置を挙げることができる。出力装置の例としては、以下に限定するわけではないが、ディスプレイ（例えば、ディスプレイ画面２０８Ａ）、スピーカ、及び触覚出力装置又はいずれかの感覚出力装置を挙げることができる。
【００２９】
ディスプレイ画面２０８Ａは、ディスプレイ画面２０８Ａにアプリケーションインターフェイス２１４をレンダリングして、オーディオ再生装置１０２を操作できるリスナ１１２に情報を表示するように構成できる好適なロジック、回路、インターフェイスを含むことができる。ディスプレイ画面２０８Ａは、視覚情報（すなわち、画像又はビデオ）を含むマルチメディアコンテンツを表示するように構成することができる。ディスプレイ画面２０８Ａは、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、及び有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、及びその他のディスプレイなどの複数の既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ画面２０８Ａは、スマートグラス装置のディスプレイ画面、シースルーディスプレイ、投影ベースのディスプレイ、エレクトロクロミックディスプレイ、及び透過型ディスプレイを意味することができる。
【００３０】
オブジェクト−位置マップ生成器２１０は、符号化オブジェクトベースオーディオストリームに含まれる各オーディオオブジェクトのメタデータ情報をプロセッサ２０４から受け取るように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。オブジェクト−位置マップ生成器２１０は、オブジェクトベースオーディオストリームに含まれる各オーディオオブジェクトと対応するオーディオオブジェクトの抽出された位置情報との間のマッピングを生成するようにさらに構成することができる。この位置情報（ＸＹＺ座標）は、対応するオーディオオブジェクトのオーディオの取り込み又は録音が行われた時点の各オーディオオブジェクトの実際の位置情報（３Ｄ空間における）を示す。ある実施形態によれば、プロセッサ２０４は、複数のスピーカ１０８ａ〜１０８ｎのうちの１つのスピーカセットの（オーディオオブジェクトから抽出された）同じＸＹＺ位置への移動を制御するとともに、オーディオオブジェクトのオーディオの再生をさらに制御するように構成することができる。オーディオの再生は、オブジェクトベースオーディオストリーム内でオーディオオブジェクトのオーディオフレームがサウンド再生に到達した時には常に実行される。ある実施形態によれば、オーディオ再生装置１０２は、オブジェクト−位置マップ生成器２１０によって生成されたオブジェクト−位置マッピングに基づいて複数のスピーカ１０８ａ〜１０８ｎの動きを制御するように構成することができる。いくつかの実施形態では、オブジェクト−位置マップ生成器２１０を専用／特殊用途回路として実装することができる。オブジェクト−位置マップ生成器２１０の他の実装例は、グラフィックプロセッシングユニット（ＧＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、又はその他の制御回路とすることができる。
【００３１】
スピーカ−オブジェクトマップ生成器２１２は、オブジェクトベースオーディオストリームに含まれる各オーディオオブジェクトと複数のスピーカ１０８ａ〜１０８ｎとの間のスピーカ−オブジェクトマッピングを生成するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。スピーカ−オブジェクトマップ生成器２１２によって生成されたスピーカ−オブジェクトマッピングは、複数のスピーカ１０８ａ〜１０８ｎのうちのどのスピーカが物理的３Ｄ空間（すなわち、リスニングエリア１１０）内で動いて対応するオーディオオブジェクトのサウンドをさらに再生するようにプロセッサ２０４によって制御されるかを示す。ある実施形態によれば、プロセッサ２０４は、スピーカ−オブジェクトマップ生成器２１２によって生成されたスピーカ−オブジェクトマッピングに基づいて、（リスニングエリア１１０内の）利用可能な複数のスピーカ１０８ａ〜１０８ｎからのスピーカセットを特定の次のオーディオオブジェクトに対して選択し又は割り当てるように構成することができる。プロセッサ２０４は、オブジェクト−位置マップ生成器２１０によって生成されたスピーカ−オブジェクトマッピングによって示される特定の次のオーディオオブジェクトの位置情報に基づいて、選択されたスピーカセットの動きを制御するようにさらに構成することができる。いくつかの実施形態では、プロセッサ２０４を、特定の次のオーディオオブジェクトの位置情報に従って、複数のスピーカ１０８ａ〜１０８ｎのうちの最も近いスピーカセットを物理的３Ｄ空間（すなわち、リスニングエリア１１０）内の特定の位置に到達（又は移動）するように選択し又は割り当てるように構成することができる。ある実施形態によれば、スピーカ−オブジェクトマップ生成器２１２によって生成されたスピーカ−オブジェクトマッピングは、複数のスピーカ１０８ａ〜１０８ｎの動作モードを示すことができる。動作モードの例としては、以下に限定するわけではないが、アクティブモード（サウンドを生成しているが動いていないスピーカ）、モーションモード（線形的に又は軌道内で動いているが、動いている間にサウンドを生成しないスピーカ）、アクティブモーションモード（サウンドを生成すると同時に動いているスピーカ）、イナクティブモード（スピーカがアイドル状態であり、サウンドを生成せずに動いていない）を挙げることができる。スピーカ−オブジェクトマップ生成器２１２の実装例は、専用回路、グラフィックプロセッシングユニット（ＧＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、又はその他の制御回路とすることができる。
【００３２】
アプリケーションインターフェイス２１４は、ディスプレイ画面２０８Ａなどのディスプレイ画面上にレンダリングされるユーザインターフェイス（ＵＩ）に対応することができる。アプリケーションインターフェイス２１４は、符号化オブジェクトベースオーディオストリームを含むマルチメディアコンテンツのビデオ部分を表示するように構成することができる。いくつかの実施形態では、アプリケーションインターフェイス２１４を、オーディオ再生装置１０２のために受け取ることができるユーザ入力を通じてＵＩオプションを表示するように構成することができる。ユーザ入力の例としては、以下に限定するわけではないが、マルチメディアコンテンツソース１０４又はメモリ２０６からのコンテンツの検索又は選択、オーディオ再生装置１０２の設定の構成、マルチメディアコンテンツのソースの選択、レンダリングする特定のオーディオフレームの選択、複数のスピーカ１０８ａ〜１０８ｎからの特定のスピーカの作動／停止、及び／又は複数のスピーカ１０８ａ〜１０８ｎの動きについてのユーザ定義又は手動制御を挙げることができる。
【００３３】
スピーカ移動構成２１６は、（リスニングエリア１１０などの）３Ｄ物理空間内に複数のスピーカ１０８ａ〜１０８ｎを保持するための支持体を提供する構造に対応することができる。スピーカ移動構成２１６の構造は、複数のスピーカ１０８ａ〜１０８ｎのうちの少なくとも１つのスピーカの位置変更に基づいてリアルタイムで変化することができる。いくつかの実施形態では、スピーカ移動構成２１６が複数の可動装置２１６Ａを含むことができる。複数のスピーカ１０８ａ〜１０８ｎは、複数の可動装置２１６Ａに装着され又は機械的に取り付けられる。複数の可動装置２１６Ａは、物理的３Ｄ空間（すなわち、リスニングエリア１１０）内のＸＹＺ位置において移動する能力を有することができる。スピーカ移動構成２１６は、リスニングエリア１１０の壁（又は天井又は床）における軌道を含むことができる。可動装置２１６Ａは、スピーカ移動構成２１６の軌道上を移動して、複数のスピーカ１０８ａ〜１０８ｎを異なるＸＹＺ位置に配置することができる。ある実施形態によれば、スピーカ移動構成２１６は、オーディオ再生装置１０２から通信ネットワーク１０６を介して制御信号を受け取るように構成することができる。スピーカ移動構成２１６は、受け取った制御信号に基づいて可動装置２１６Ａの動きを制御するように構成することができる。いくつかの実施形態では、複数のスピーカ１０８ａ〜１０８ｎが可動スピーカであり、オーディオ再生装置１０２から直接受け取った制御信号に基づいて物理的３Ｄ空間（すなわち、リスニングエリア１１０）内で移動する能力を有することができる。
【００３４】
図１に示すようなオーディオ再生装置１０２によって実行される機能又は動作は、回路２００、プロセッサ２０４、オブジェクト−位置マップ生成器２１０及びスピーカ−オブジェクトマップ生成器２１２が実行することができる。プロセッサ２０４、オブジェクト−位置マップ生成器２１０及びスピーカ−オブジェクトマップ生成器２１２によって実行される動作については、例えば図３Ａ〜図３Ｄ及び図４Ａ〜図４Ｄにおいて詳細に説明する。
【００３５】
図３Ａ、図３Ｂ、図３Ｃ及び図３Ｄに、本開示の実施形態による、図２のオーディオ再生装置が最低限度の移動スピーカを使用してオーディオオブジェクトを再生する例示的な動作を集合的に示す。図３Ａ、図３Ｂ、図３Ｃ及び図３Ｄの説明は、図１及び図２の要素に関連して行う。図３Ａは、本開示の実施形態による、符号化オブジェクトベースオーディオストリームに含まれるオーディオオブジェクトのフレーム毎の表現である。図３Ａには、オブジェクトベースオーディオストリームの複数のオーディオフレームの異なる連続フレーム３０４Ａ、３０４Ｂ及び３０４Ｃを（フレーム０、フレーム１及びフレーム２として）示す。いくつかの実施形態では、オブジェクトベースオーディオストリームが、複数のオーディオフレームを含むオーディオコンテンツに対応することができる。オーディオフレームは、各オーディオオブジェクトの互いに対する３Ｄ位置を示す代表的フレームとすることができる。例えば、（図３Ａの第１のフレーム３０４Ａ、第２のフレーム３０４Ｂ及び第３のフレーム３０４Ｃなどの）オーディオフレームの各々は、オーディオオブジェクト３０６Ａ、３０６Ｂ及び３０６Ｃの互いに対する及び中心位置３０２に対する相対的位置付けを示す。オブジェクトベースオーディオストリーム内の総オーディオフレーム数は、特定の因子に基づくことができる。このような因子の例としては、以下に限定するわけではないが、複数のオーディオフレームが録音されたサンプリングレート（すなわち、１秒当たりのフレーム数）、オブジェクトベースオーディオの合計時間又は長さ、及び／又はオブジェクトベースオーディオストリームのサイズを挙げることができる。ある実施形態によれば、中心位置３０２の座標は０，０，０とすることができる。いくつかの実施形態では、中心位置３０２が、対応する位置情報を有するオーディオオブジェクトに関連するサウンドを取り込んだことに従って符号化オブジェクトベースオーディオストリームを作成したオーディオ又はビデオ取り込み装置の位置に対応することができる。
【００３６】
図３Ａ及び図３Ｂを参照すると、（フレーム０としても表される）第１のフレーム３０４Ａは、例えば１００，２０，８０（図３Ｂ）として表されるＸＹＺ座標における位置情報を有する第１のオーディオオブジェクト３０６Ａ（例えば、飛んでいる鳥）を含むことができる。ある実施形態によれば、ＸＹＺ座標は、中心位置３０２から測定した異なる長さ単位で示すことができる。この長さ単位の例としては、以下に限定するわけではないが、ミリメートル（ｍｍ）、センチメートル（ｃｍ）、インチ、フィート、ヤード、及び／又はメートル（ｍ）を挙げることができる。ある実施形態によれば、（フレーム１としても表される）第２のフレーム３０４Ｂは、第１のオーディオオブジェクト３０６Ａ（飛んでいる鳥）と、例えば１０，−５０，０として表されるＸＹＺ座標における対応する位置情報を有する第２のオーディオオブジェクト３０６Ｂ（例えば、車両）という２つのオーディオオブジェクトを含むことができる。同様に、図３Ａに示す（フレーム２としても表される）第３のフレーム３０４Ｃは、第２のオーディオオブジェクト３０６Ｂ（例えば、車両の音）と、例えば−８０，−５０，５として表されるＸＹＺ座標における対応する位置情報を有する第３のオーディオオブジェクト３０６Ｃ（例えば、人間の声）という２つのオーディオオブジェクトを含むことができる。（フレーム２としても表される）第３のフレーム３０４Ｃは、第１のオーディオオブジェクト３０６Ａを含まないことができる。ある実施形態によれば、第１のオーディオオブジェクト３０６Ａが（フレーム２としても表される）第３のフレーム３０４Ｃに含まれていないことは、（フレーム２としても表される）第３のフレーム３０４Ｃの録音中に第１のオーディオオブジェクト３０６Ａが音を発していないことを示すことができる。いくつかの実施形態では、第１のオーディオオブジェクト３０６Ａが（フレーム２としても表される）第３のフレーム３０４Ｃに含まれていないことが、（フレーム２としても表される）第３のフレーム３０４Ｃの録音中に第１のオーディオオブジェクト３０６Ａが発した音が（オーディオ取り込み装置によって設定された）所定の閾値未満であることを示すことができる。
【００３７】
図３Ｂには、オブジェクト−位置マップ生成器２１０が生成する、符号化オブジェクトベースオーディオストリームに含まれる複数のオーディオフレームの例示的なオブジェクト−位置マッピング情報を示す。ある実施形態によれば、オブジェクト−位置マップ生成器２１０は、オーディオオブジェクト３０６Ａ、３０６Ｂ及び３０６Ｃの各々と、（図３Ａに示す第１のフレーム３０４Ａ、第２のフレーム３０４Ｂ及び第３のフレーム３０４Ｃなどの）複数のオーディオフレームの各々の関連する位置情報との間の関係を示すことができるオブジェクト−位置マッピング情報を生成するように構成することができる。オブジェクト−位置マッピング情報における各オーディオオブジェクト３０６Ａ、３０６Ｂ及び３０６Ｃの位置情報は、（第１のフレーム３０４Ａ、第２のフレーム３０４Ｂ及び第３のフレーム３０４Ｃなどの）オーディオフレームに取り込まれた／録音されたオーディオオブジェクト３０６Ａ、３０６Ｂ及び３０６Ｃの正確な位置情報（ＸＹＺ座標）を示すことができる。オーディオ再生装置１０２は、生成された各オーディオフレームのオブジェクト−位置マッピング情報を利用して、対応するオーディオフレームに関連するサウンドの再生中に標的オーディオオブジェクトのオーディオ（又はサウンド）を出力するように少なくとも１つのスピーカ（複数のスピーカ１０８ａ〜１０８ｎの１つのスピーカ）を制御する前に、これらのスピーカの選択及び所望の位置（すなわち、標的オーディオオブジェクトの位置情報）への移動を予め自動的に制御することができる。
【００３８】
ある実施形態によれば、オブジェクト−位置マッピング情報は、異なるオーディオオブジェクトの存在及び複数のオーディオフレームの各々の関連する位置情報を示すこともできる。図３Ｂには、異なるオーディオオブジェクト（３０６Ａ、３０６Ｂ及び３０６Ｃ）とオーディオフレーム（３０４Ａ、３０４Ｂ及び３０４Ｃ）の各々の対応する位置情報との間のオブジェクト−位置マッピング情報の表形式表現（ｔａｂｕｌａｒ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）３０８を示す。ある実施形態によれば、フレーム「０」３０４Ａに関する第２のオーディオオブジェクト３０６Ｂ及び第３のオーディオオブジェクト３０６Ｃの位置情報の（短ダッシュ記号「‐」として表す）不在は、第２のオーディオオブジェクト３０６Ｂ及び第３のオーディオオブジェクト３０６Ｃが（フレーム０としても表される）第１のフレーム３０４Ａにおいて不在又は無音であることを示すことができる。同様に、（フレーム２としても表される）第３のフレーム３０４Ｃに関する第１のオーディオオブジェクト３０６Ａの位置情報の不在は、（フレーム２としても表される）第３のフレーム３０４Ｃにおける録音中に第１のオーディオオブジェクト３０６Ａが不在又は無音であることを示すことができる。
【００３９】
図３Ｃには、スピーカ−オブジェクトマップ生成器２１２によって生成されるスピーカ−オブジェクトマッピング情報の表形式表現３１０を示す。スピーカ−オブジェクトマッピング情報は、オブジェクト−位置マップ生成器２１０によって生成されたオブジェクト−位置マッピング情報に基づく、スピーカと各オーディオフレームの対応するオーディオオブジェクトとの間のマッピングを示す。ある実施形態によれば、スピーカ−オブジェクトマップ生成器２１２は、オブジェクト−位置マップ生成器２１０からオブジェクト−位置マッピング情報を受け取ってスピーカ−オブジェクトマッピング情報をさらに生成するように構成することができる。スピーカ−オブジェクトマップ生成器２１２は、オブジェクト−位置マップ生成器２１０によって生成されたオブジェクト−位置マッピング情報内の位置情報に基づいて、（複数のスピーカ１０８ａ〜１０８ｎからの）少なくとも１つのスピーカを各オーディオフレーム内の各オーディオオブジェクトに割り当てるようにさらに構成することができる。ある実施形態によれば、プロセッサ２０４は、（リスニングエリア１１０内に位置する）複数のスピーカ１０８ａ〜１０８ｎの現在位置をメモリ２０６に記憶するように構成することができる。いくつかの実施形態では、プロセッサ２０４を、リスニングエリア１１０内の１又は２以上のスピーカの移動後に、メモリ２０６内の複数のスピーカ１０８ａ〜１０８ｎの現在位置を更新するように構成することができる。いくつかの実施形態では、プロセッサ２０４を、スピーカの現在位置を記憶するための専用ストレージセクタをメモリ２０６内に割り当てるように構成することができる。プロセッサ２０４は、スピーカの移動後に、専用ストレージセクタ内の現在位置を更新するようにさらに構成することができる。
【００４０】
ある実施形態によれば、スピーカ−オブジェクトマップ生成器２１２は、複数のスピーカ１０８ａ〜１０８ｎの現在位置及びオーディオオブジェクト（３０６Ａ、３０６Ｂ及び３０６Ｃ）の位置情報に基づいて複数のスピーカ１０８ａ〜１０８ｎの一部をオーディオオブジェクト３０６Ａ、３０６Ｂ及び３０６Ｃに割り当てるように構成することができる。いくつかの実施形態では、スピーカ−オブジェクトマップ生成器２１２を、物理的３Ｄ空間（すなわち、リスニングエリア１１０）内の特定のオーディオオブジェクトの位置情報に最も近い（複数のスピーカ１０８ａ〜１０８ｎからの）スピーカを割り当て又は選択するように構成することができる。いくつかの実施形態では、スピーカ−オブジェクトマップ生成器２１２を、所定の設定に基づいて複数のスピーカ１０８ａ〜１０８ｎの一部をオーディオオブジェクト３０６Ａ、３０６Ｂ及び３０６Ｃに割り当てるように構成することができる。スピーカ−オブジェクトマップ生成器２１２は、特定のオーディオオブジェクトのオーディオタイプに基づいて、この特定のオーディオオブジェクトにスピーカを割り当てるように構成することができる。ある実施形態によれば、スピーカ−オブジェクトマップ生成器２１２は、ユーザ入力に基づいて特定のオーディオオブジェクトにスピーカを割り当てるように構成することができる。ユーザ入力の例としては、以下に限定するわけではないが、オブジェクトベースオーディオストリームの特定の時間間隔、リスニングエリア１１０のサイズ又は範囲、リスニングエリア１１０の間取り情報（ｆｌｏｏｒ−ｐｌａｎ  ｉｎｆｏｒｍａｔｉｏｎ）、リスニングエリア１１０の壁の材料、リスニングエリア１１０の占有情報（オーディオオブジェクトの数又は非生物アイテムの数）、スピーカの消費電力情報、オーディオ再生装置１０２の残存バッテリ情報、複数のスピーカ１０８ａ〜１０８ｎの残存バッテリ情報を挙げることができる。
【００４１】
例えば、オーディオ再生装置１０２は、複数のオーディオオブジェクトを含む特定のオーディオフレームにスピーカ１０８ａ及び１０８ｂを割り当てるように構成することができる。いくつかの実施形態では、オーディオ再生装置１０２を、次のオーディオフレーム内又は次の複数の連続オーディオフレームを含む時間間隔中のいずれかに存在するオーディオオブジェクトの数に基づいてリスニングエリア１１０内の最低数の利用可能なスピーカを割り当てるように構成することができる。このようなシナリオでは、この時間間隔にわたって割り当てられた最低数の利用可能なスピーカにアクティブモードとしての動作モードを割り当てることができる。
【００４２】
図３Ｃに示すように、スピーカ−オブジェクトマッピング情報の表形式表現３１０は、連続オーディオフレーム（３１２Ａ、３１２Ｂ、３１２Ｃ）内の異なるオーディオオブジェクト（３０６Ａ、３０６Ｂ、３０６Ｃ）への異なるスピーカ（１０８ａ〜１０８ｎ）の割り当てを示す。（フレーム０としても表される）第１のフレーム３１２Ａのスピーカ−オブジェクトマッピング情報は、第１のオーディオオブジェクト３０６Ａに第１のスピーカ１０８ａが割り当てられ、（フレーム０としても表される）第１のフレーム３１２Ａの第２のオーディオオブジェクト３０６Ｂに第２のスピーカ１０８ｂが割り当てられることを示す。同様に、（フレーム１としても表される）第２のフレーム３１２Ｂのスピーカ−オブジェクトマッピング情報は、第１のオーディオオブジェクト３０６Ａに第１のスピーカ１０８ａが割り当てられ、第２のオーディオオブジェクト３０６Ｂに第２のスピーカ１０８ｂが割り当てられ、第３のオーディオオブジェクト３０６Ｃに第３のスピーカ１０８ｃが割り当てられることを示す。同様に、（フレーム２としても表される）第３のフレーム３１２Ｃのスピーカ−オブジェクトマッピング情報は、第２のオーディオオブジェクト３０６Ｂに第２のスピーカ１０８ｂが割り当てられ、第３のオーディオオブジェクト３０６Ｃに第３のスピーカ１０８ｃが割り当てられることを示す。ある実施形態によれば、スピーカ−オブジェクトマップ生成器２１２は、オーディオオブジェクトの位置情報に基づいて単一のオーディオオブジェクトに複数のスピーカを割り当てるように構成することができる。いくつかの実施形態では、物理的３Ｄ空間（すなわち、リスニングエリア１１０）内でオーディオオブジェクトの位置情報から等距離にある複数のスピーカをオーディオオブジェクトに割り当てることができる。
【００４３】
ある実施形態によれば、スピーカ−オブジェクトマッピング情報は、（第１のフレーム３１２Ａ、第２のフレーム３１２Ｂ及び第３のフレーム３１２Ｃなどの）各オーディオフレームの異なるオーディオオブジェクトに割り当てられる各スピーカの動作モード情報を含むことができる。ある実施形態によれば、この動作モード情報は、複数のスピーカ１０８ａ、１０８ｂ及び１０８ｃの異なる動作モードを含むことができる。動作モードの例としては、以下に限定するわけではないが、アクティブモード、モーションモード、アクティブモーションモード及びイナクティブモードを挙げることができる。アクティブモードは、割り当てられたスピーカが現在特定のオーディオフレームのオーディオオブジェクトのサウンドをレンダリングしていることを示すことができる。モーションモードは、割り当てられたスピーカが特定のオーディオフレームの再生中にオーディオオブジェクトに関連する位置情報に向かって移動中であることを示すことができる。いくつかの実施形態では、割り当てられたスピーカが、関連するオーディオオブジェクトの位置情報がスピーカの現在位置から離れており、１つのオーディオフレーム内でスピーカと位置情報との間の距離をカバーできない可能性があると考えて、複数の連続オーディオフレームにわたってモーションモードに入ることができる。
【００４４】
ある実施形態によれば、アクティブモーションモードは、割り当てられたスピーカがオーディオオブジェクトの位置情報の通りに移動中であると同時にオーディオオブジェクトのサウンドを生成していることをさらに示すことができる。オーディオオブジェクト（例えば、車両）が経路（又は軌道）を移動しながらサウンドを生成するいくつかのシナリオでは、録音時点にオーディオオブジェクトのオーディオソースが発した音と同様の実際のサウンドをリスナ１１２が異なる位置で聴くことができるように、割り当てられたスピーカが、１つのオーディオフレームの再生中又は複数の連続オーディオフレームの再生中にアクティブモーションモードで機能することができる。このように（規定の経路、曲線又は軌道を通じて２つ及び／又は３つの方向又は次元に移動する）異なるスピーカによってサウンドをレンダリングすると、スピーカがリスニングエリア１１０内の固定位置に配置される従来のシナリオでは困難と考えられる各オーディオフレームの没入的で正確なサウンド再生が行われる。従って、（関連する位置情報を有する）オーディオオブジェクトに基づく異なるモード（アクティブ、モーション又はアクティブモーション）で機能するスピーカの能力は、オーディオ再生装置１０２が物理的３Ｄ空間（例えば、リスニングエリア１１０）内の強化された３Ｄサラウンドサウンドを高精度で達成することを可能にする。
【００４５】
イナクティブモードは、スピーカがアイドル状態である（サウンドの生成も移動もしていない）ことを示すことができる。このようなスピーカの動作モードは、次のオーディオフレーム内のオーディオオブジェクトの最も近い位置情報の検出に基づいて、アクティブモード、モーションモード又はアクティブモーションモード間で変更し又は切り替えることができる。異なるオーディオフレームにおけるいくつかのスピーカのイナクティブモードは、オーディオ再生装置１０２又は（オーディオ再生装置１０２及びスピーカを含む）システムが全体的な電力効率を高めるのに役立つ。
【００４６】
図３Ｄには、スピーカ−オブジェクトマッピング情報に基づく、異なるオーディオフレームの割り当てられたスピーカの異なるモードを示す。図３Ｄの（フレーム０としても表される）第１のフレーム３１２Ａの再生中、アクティブモードにある第１のスピーカ１０８ａは、第１のオーディオオブジェクト３０６Ａのサウンドを再生することができ、例えば第１のオーディオオブジェクト３０６ＡのＸＹＺ座標：１００，２０，８０などの位置情報に存在することができる。さらに、（フレーム０としても表される）第１のフレーム３１２Ａの再生中には、第２のスピーカ１０８ｂが第２のオーディオオブジェクト３０６Ｂに割り当てられてモーションモードに入ることができる。ある実施形態によれば、オーディオ再生装置１０２は、第２のスピーカ１０８ｂが第２のオーディオオブジェクト３０６Ｂの提供された位置情報に移動するように、第２のスピーカ１０８ｂ（又は、第２のスピーカ１０８ｂが取り付けられたスピーカ移動構成２１６の可動装置）に第２のオーディオオブジェクト３０６Ｂの（１０，−５０，０として表される）位置情報を提供するように構成することができる。いくつかの実施形態では、オーディオ再生装置１０２を、（フレーム０としても表される）第１のフレーム３１２Ａの再生中に第２のスピーカ１０８ｂを第２のオーディオオブジェクト３０６Ｂの位置情報に向けて移動させるように制御するよう構成することができる。さらに、（フレーム０としても表される）第１のフレーム３１２Ａでは、図３Ｃの対応するスピーカ−出力マッピング情報によって示すように、第３のスピーカ１０８ｃはイナクティブモードであってオーディオオブジェクトに割り当てられていない。
【００４７】
（フレーム１としても表される）第２のフレーム３１２Ｂに関連するオーディオの再生中、第１のスピーカ１０８ａは、依然としてアクティブモードであることができ、第１のオーディオオブジェクト３０６Ａのサウンドを再生することができ、（フレーム０としても表される）第１のフレーム３１２Ａと同じ位置に存在することができる。このことは、（フレーム０としても表される）第１のフレーム３１２Ａ及び（フレーム１としても表される）第２のフレーム３１２Ｂのオーディオセグメントの再生中に、第１のオーディオオブジェクト３０６Ａ（例えば、飛んでいる鳥）が音を発していることを示す。さらに、（フレーム１としても表される）第２のフレーム３１２Ｂのオーディオセグメントの再生中には、（（フレーム０としても表される）第１のフレーム３１２Ａ内で第２のオーディオオブジェクト３０６Ｂの位置に向けて移動した）第２のスピーカ１０８ｂが第２のオーディオオブジェクト３０６Ｂに割り当てられ、アクティブモードになって第２のオーディオオブジェクト３０６Ｂのサウンドを再生することができる。従って、第２のスピーカ３１４Ｂは、（フレーム１としても表される）第２のフレーム３１２Ｂの再生中に第２のオーディオオブジェクト３０６Ｂのサウンドを生成するために、前のオーディオフレーム（第１のフレーム３１２Ａ）の再生時に予め（第２のオブジェクト３０６Ｂの）関連する位置を取ることができる。従って、オーディオ再生装置１０２は、実際のサウンド再生前に各オーディオフレーム内の各オーディオオブジェクトの位置情報を抽出（事前復号）して、オブジェクト−位置マッピング情報及びスピーカ−オブジェクト及びマッピング情報を生成することにより、オブジェクトベースオーディオストリーム内の異なるオーディオオブジェクトの候補スピーカ及びその動作モードを自動的に識別することができる。これにより、オーディオ再生装置１０２は、次のオーディオフレーム内に存在し得るオーディオオブジェクトの実際のサウンドの再生前に、識別されたスピーカをオーディオオブジェクトの対応する所望の位置に移動させることがさらに可能になる。
【００４８】
さらに、（フレーム１としても表される）第２のフレーム３１２Ｂの再生中には、第３のスピーカ１０８ｃが第３のオーディオオブジェクト３０６Ｃに割り当てられてモーションモードに入ることができる。オーディオ再生装置１０２は、例えば第３のオーディオオブジェクト３０６Ｃ（例えば、人間）のＸＹＺ座標：−８０，１０，５などの位置情報に基づいて、（フレーム１としても表される）第２のフレーム３１２Ｂの再生中に第３のスピーカ１０８Ｃを第３のオーディオオブジェクト３０６Ｃの位置に移動させるように制御するよう構成することができる。さらに、図３Ｄの（フレーム２としても表される）第３のフレーム３１２Ｃの再生中には、第１のスピーカ１０８ａがイナクティブモードになってオーディオオブジェクトに割り当てられないようにすることができる。図示のように、第２のスピーカ１０８ｂは、依然としてアクティブモードのまま、同じ位置で第２のオーディオオブジェクト３０６Ｂのサウンドを再生することができる。さらに、（第２のフレーム３１２Ｂの再生中に移動した）第３のスピーカ１０８ｃは、アクティブモードになって第３のオーディオオブジェクト３０６Ｃのサウンドを再生することができる。従って、複数のスピーカ１０８ａ〜１０８ｎは全て同様に異なるオーディオオブジェクトに割り当てられ、（異なるＸＹＺ位置において）移動して異なる動作モードで動作してオブジェクトベースオーディオストリーム全体のサウンドを再生するようにオーディオ再生装置１０２によって制御される。従って、移動能力を有する最低数のスピーカを効率的に使用することで、異なる３Ｄ位置における各オーディオオブジェクトのサウンド再生が実現される。換言すれば、オーディオオブジェクトの同じサラウンドサウンド効果を再生するために、物理的３Ｄ空間（すなわち、リスニングエリア１１０）内の全ての可能な位置に何百個ものスピーカを設置する必要はない。（リスニングエリア１１０などの）物理的３Ｄ空間内のオーディオ再生装置１０２の制御下にある最低限度の移動スピーカは、コスト、エネルギー消費量及び計算の複雑性をより低く抑えてオーディオオブジェクトの精密なサラウンドサウンド再生を提供する。従って、本開示は、従来のオーディオ再生技術を凌ぐ複数の利点をもたらす。さらに、オーディオ再生装置１０２は、スピーカ及びその他のリソースの最適な利用を促すことにより、オーディオ再生装置１０２の他の動作のためのさらなる計算リソースをもたらすことができる。
【００４９】
図４Ａ、図４Ｂ、図４Ｃ及び図４Ｄに、本開示の実施形態による、複数の連続オーディオフレーム内で経路又は軌道を形成するオーディオオブジェクトを図２のオーディオ再生装置が再生する例示的な動作を集合的に示す。図４Ａ、図４Ｂ、図４Ｃ及び図４Ｄの説明は、図１及び図２の要素に関連して行う。図４Ａの第１のフレーム４０６Ａ、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃなどの複数の連続オーディオフレームには、第１のオーディオオブジェクト４０４Ａ（例えば、飛行物体からの音）が連続オーディオフレームにわたって軌道又は曲線（曲線の破線の矢印マークによっても表される）を形成する様子を示す。同様に、第２のオーディオオブジェクト４０４Ｂ（例えば、移動中の車両の音）は、（直線の破線の矢印によっても表される）連続オーディオフレームにわたって線形経路を形成する。
【００５０】
オーディオ再生装置１０２のプロセッサ２０４は、動作時に、符号化オブジェクトベースオーディオストリームの全てのオーディオフレームの第１のオーディオオブジェクト４０４Ａの位置情報及び第２のオーディオオブジェクト４０４Ｂの位置情報を抽出する（すなわち、さらに事前復号する）ように構成することができる。さらに、オブジェクト−位置マップ生成器２１０は、第１のフレーム４０６Ａ、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃなどの連続オーディオフレームの各々の第１のオーディオオブジェクト４０４Ａ及び第２のオーディオオブジェクト４０６Ｂの位置情報を示すオブジェクト−位置マッピング情報４０８を生成するように構成することができる。
【００５１】
図４Ｂには、オブジェクト−位置マップ生成器２１０によって生成される、図４Ａのオーディオフレーム４０６Ａ、４０６Ｂ及び４０６Ｃのオブジェクト−位置マッピング情報４０８を示す。ある実施形態によれば、プロセッサ２０４は、第１のオーディオオブジェクト４０４Ａ及び第２のオーディオオブジェクト４０４Ｂのオブジェクト−位置マッピング情報４０８における連続オーディオフレーム（第１のフレーム４０６Ａ、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃなど）の位置情報を分析するように構成することができる。プロセッサ２０４は、この分析に基づいて、第１のオーディオオブジェクト４０４Ａ又は第２のオーディオオブジェクト４０４Ｂのいずれかが連続オーディオフレーム４０６Ａ、４０６Ｂ及び４０６Ｃにわたる軌道又は曲線を辿るかどうかを識別するようにさらに構成することができる。連続オーディオフレームにわたる軌道又は曲線の識別については、例えば図５において詳細に説明する。図４Ａ及び図４Ｂに示すように、プロセッサ２０４は、第１のオーディオオブジェクト４０４Ａが第１のフレーム４０６Ａ、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃなどの連続オーディオフレームにわたる軌道を形成し、第２のオーディオオブジェクト４０４Ｂが第１のフレーム４０６Ａ、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃなどの連続オーディオフレームにわたる線形経路を形成することを識別するように構成することができる。
【００５２】
図４Ｃには、図４Ａ及び図４Ｂの第１のオーディオオブジェクト４０４Ａ及び第２のオーディオオブジェクト４０４Ｂの例示的なスピーカ−オブジェクトマッピング情報４１０を示す。スピーカ−オブジェクトマップ生成器２１２は、第１のフレーム４０６Ａ、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃなどの各連続オーディオフレームの第１のオーディオオブジェクト４０４Ａ及び第２のオーディオオブジェクト４０４Ｂのスピーカ−オブジェクトマッピング情報４１０を生成するように構成することができる。プロセッサ２０４は、生成されたスピーカ−オブジェクトマッピング情報４１０に従って、第１のフレーム４０６Ａ、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃなどの連続オーディオフレームの第１のオーディオオブジェクト４０４Ａに第１のスピーカ１０８ａをアクティブモーション動作モードで割り当てるように構成することができる。同様に、プロセッサ２０４は、生成されたスピーカ−オブジェクトマッピング情報４１０に従って、第１のフレーム４０６Ａ、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃなどの連続オーディオフレームの第２のオーディオオブジェクト４０４Ｂに第２のスピーカ１０８ｂをアクティブモーション動作モードで割り当てるように構成することができる。
【００５３】
図４Ｄには、異なる代表図（ｒｅｐｒｅｓｅｎｔａｔｉｖｅ  ｖｉｅｗｓ）４１２Ａ、４１２Ｂ及び４１２Ｃを示す。図示の異なる代表図４１２Ａ、４１２Ｂ及び４１２Ｃの各々は、１つのオーディオフレームに関連する。例えば、代表図４１２Ａは、第１のフレーム４０６Ａの再生中における第１のスピーカ１０８ａの現在位置及び軌道に沿った例示的な動きと、第２のスピーカ１０８ｂの現在位置及び線形経路に沿った例示的な動きとを示すことができる。同様に、代表図４１２Ｂ及び４１２Ｃは、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃなどのそれぞれの連続オーディオフレームの再生中における第１のスピーカ１０８ａの現在位置及び軌道に沿った例示的な動きと、第２のスピーカ１０８ｂの現在位置及び線形経路に沿った例示的な動きとを示すことができる。軌道に沿った第１のスピーカ１０８ａ及び線形経路に沿った第２のスピーカ１０８ｂの動きは、第１のフレーム４０６Ａ、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃなどの連続オーディオフレームの各々のオブジェクト−位置マッピング情報４０８及びスピーカ−オブジェクトマッピング情報４１０に基づいて制御することができる。
【００５４】
アクティブモーションモードでは、第１のスピーカ１０８ａを、連続オーディオフレーム（すなわち、第１のフレーム４０６Ａ、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃ）の第１のオーディオオブジェクト４０４Ａの位置情報に従って軌道に沿って移動しながら第１のオーディオオブジェクト４０４Ａのサウンドを生成するように構成することができる。同様に、第２のスピーカ１０８ｂは、連続オーディオフレーム（すなわち、第１のフレーム４０６Ａ、第２のフレーム４０６Ｂ及び第３のフレーム４０６Ｃ）の第２のオーディオオブジェクト４０４Ｂの位置情報に従って線形経路に沿って移動しながら第２のオーディオオブジェクト４０４Ｂのサウンドを生成するように構成することができる。ある実施形態によれば、オーディオ再生装置１０２は、特定のオーディオオブジェクトの軌道に沿ってスピーカ１０８ａを移動させることによって特定のオーディオオブジェクトのスムーズな動きを生成するように構成することができる。
【００５５】
図５Ａ及び図５Ｂに、本開示の実施形態による、オブジェクトベースオーディオストリーム内の複数の連続オーディオフレームの軌道を形成するオーディオオブジェクトの位置情報の例示的な表現を示す。図５Ａには、特定のオーディオオブジェクトの指定数の連続オーディオフレームの位置情報（ＸＹＺ座標）を示すオブジェクト−位置マッピング情報の表現５０２を示す。特定のオーディオオブジェクトのオブジェクト−位置マッピング情報の表現５０２は、特定のオーディオオブジェクトがＺ軸座標の変化を伴わずに地表上の軌道（又は曲線）を移動したことを示すことができる。ある実施形態によれば、オーディオ再生装置１０２のプロセッサ２０４は、オブジェクト−位置マッピング情報を分析して、特定のオーディオオブジェクトが軌道又は曲線を辿っていることを識別するように構成することができる。いくつかの実施形態では、オーディオ再生装置１０２を、指定数の連続オーディオフレーム内のオブジェクト−位置マッピング情報における位置情報に対する曲線適合法（ｃｕｒｖｅ  ｆｉｔｔｉｎｇ  ｔｅｃｈｎｉｑｕｅｓ）の実行に基づいて軌道を識別するように構成することができる。曲線適合法の例としては、以下に限定するわけではないが、多項式曲線適合（ｐｏｌｙｎｏｍｉａｌ  ｃｕｒｖｅ  ｆｉｔｔｉｎｇ）又は幾何学的曲線適合（ｇｅｏｍｅｔｒｉｃ  ｃｕｒｖｅ  ｆｉｔｔｉｎｇ）を挙げることができる。ある実施形態によれば、特定のオーディオオブジェクトの位置の大半が曲線付近に収まる場合、プロセッサ２０４は、この特定のオーディオオブジェクトの位置を指定数の連続オーディオフレームの曲線又は軌道の一部であるとみなすことができる。ある実施形態によれば、プロセッサ２０４は、リスニングエリア１１０のサイズ又は総面積に基づいて、曲線に対する位置の近接性の閾値を定めるように構成することができる。
【００５６】
図６Ａ、図６Ｂ及び図６Ｃに、本開示の実施形態による、スピーカセットの動きに基づいてオーディオオブジェクトを再生する例示的な動作を示す。図６Ａ、図６Ｂ及び図６Ｃの説明は、図１及び図２の要素に関連して行う。図３Ａ〜図３Ｄ及び図４Ａ〜図４Ｄに関して説明した動作と同様に、図６Ａ、図６Ｂ及び図６Ｃには、第１のオーディオオブジェクト６０６Ａ及び第２のオーディオオブジェクト６０６Ｂにそれぞれピンポン方式で（ｉｎ  ｔｈｅ  ｐｉｎｇ−ｐｏｎｇ  ｍａｎｎｅｒ）割り当てられた第１のスピーカ１０８ａ及び第２のスピーカ１０８ｂの動作を集合的に示す。図６Ｂ及び図６Ｃに示すように、（フレーム０としても表される）第１のフレーム６１０Ａの再生中には、第１のスピーカ１０８ａがアクティブモードに入って第１のオーディオオブジェクト６０６Ａのサウンドを生成することができる。さらに、（フレーム０としても表される）第１のフレーム６１０Ａ中には、第２のスピーカ１０８ｂがモーションモードに入り、（フレーム１としても表される）第２のフレーム６１０Ｂ内の第２のオーディオオブジェクト６０６Ｂのサウンドを再生するように第２のオーディオオブジェクト６０６Ｂの位置に向かって移動することができる。同様に、（フレーム１としても表される）第２のフレーム６１０Ｂの再生中には、第１のスピーカ１０８ａがモーションモードに入り、（フレーム２としても表される）第３のフレーム６１０Ｃ内の第１のオーディオオブジェクト６０６Ａのサウンドをさらに再生するように第１のオーディオオブジェクト６０６Ａの新たな位置に向かって移動することができる。さらに、（フレーム１としても表される）第２のフレーム６１０Ｂ中には、第２のスピーカ１０８ｂがアクティブモードに入り、（フレーム１としても表される）第２のフレーム６１０Ｂ内の第２のオーディオオブジェクト６０６Ｂのサウンドを生成することができる。
【００５７】
このような、１つのオーディオフレーム中に１つのスピーカがオーディオオブジェクトを再生し、（同じオーディオフレーム中の）別のスピーカ位置自体が次のオーディオフレーム中に別のオーディオオブジェクトをさらに再生する動作が、オーディオ再生装置１０２のピンポンモードである。ある実施形態によれば、オーディオ再生装置１０２は、オブジェクトベースオーディオストリームの指定数の連続オーディオフレーム内のオーディオオブジェクトの位置情報の分析に基づいてピンポンモードを有効にするように構成することができる。いくつかの実施形態では、オーディオ再生装置１０２を、リスニングエリア１１０内の移動能力を有するスピーカの数に基づいてピンポンモードを有効にするように構成することができる。いくつかの実施形態では、オーディオ再生装置１０２を、複数のスピーカセットをピンポンモードで割り当てるように構成することができる。例えば、オーディオ再生装置１０２は、第１のスピーカセットを、現在のオーディオフレーム中にオーディオオブジェクトを再生するように制御し、第２のスピーカセットを、現在のオーディオフレーム中に移動して次の／次回のオーディオフレーム中に同じ又は別のオーディオオブジェクトをさらに再生するように制御するよう構成することができる。ある実施形態によれば、第１又は第２のスピーカセットは、マルチチャネルスピーカシステムの一部である。マルチチャネルスピーカシステムの例としては、以下に限定するわけではないが、２．１、５．１、７．１、９．１、１１．１スピーカシステム構成を挙げることができる。
【００５８】
ある実施形態によれば、プロセッサ２０４は、２又は３以上のスピーカ同士の物理的衝突を避けるために、（リスニングエリア１１０内で）第１のスピーカセットと第２のスピーカセットとの間で動きを同期させるように構成することができる。プロセッサ２０４は、メモリ２０６に記憶されたスピーカの現在位置、スピーカが移動する必要がある目的位置、及び現在位置と目的位置との間を移動するためにスピーカが辿る（リスニングエリア１１０内の）経路に基づいて動きを同期させるように構成することができる。ある実施形態によれば、スピーカが辿る経路は、限定するわけではないがリスニングエリア１１０内の他のスピーカの現在位置及びリスナの存在を含むことができる因子に基づくことができる。いくつかの実施形態では、複数のスピーカ１０８ａ〜１０８ｎのうちの１又は２以上のスピーカを、目的位置に向かう移動前に角度（又は方向）を変更するように構成することができる。特定のスピーカは、限定するわけではないが、特定のスピーカの現在の配向角、リスニングエリア１１０内のリスナ１１２の位置、及び特定のスピーカの現在位置に対する目的位置の方向である異なる因子に基づいて角度（又は方向）を変化させるように構成することができる。ある実施形態によれば、特定のスピーカが取り付けられた可動装置は、オーディオ再生装置１０２から受け取られた制御信号に基づいて角度を変更することができる。
【００５９】
図７は、本開示の実施形態による、最低限度の移動スピーカを使用してオーディオオブジェクトを再生する例示的な動作を示すフローチャートである。図７には、フローチャート７００を示す。フローチャート７００の説明は、図１、図２、図３Ａ〜図３Ｄ、図５Ａ及び図５Ｂに関連して行う。７０４〜７２２の動作は、オーディオ再生装置１０２において実施することができる。フローチャート７００の動作は、７０２から開始して７０４に進むことができる。
【００６０】
７０４において、複数のオーディオフレームを含む符号化オブジェクトベースオーディオストリームを受け取ることができる。ある実施形態によれば、プロセッサ２０４は、マルチメディアコンテンツソース１０４から通信ネットワーク１０６を介して符号化オブジェクトベースオーディオストリームを受け取るように構成することができる。いくつかの実施形態では、オーディオ再生装置１０２のプロセッサ２０４を、オーディオ再生装置１０２のメモリ２０６から符号化オブジェクトベースオーディオストリームを取り出すように構成することができる。複数のオーディオフレームは、少なくとも１つの符号化オーディオオブジェクトを含むことができ、少なくとも１つの符号化オーディオオブジェクトは、関連するオーディオセグメント及びメタデータ情報を含む。メタデータ情報は、物理的３Ｄ空間（すなわち、リスニングエリア１１０）内のオーディオオブジェクトの位置情報（ＸＹＺ座標）を含むことができる。オーディオセグメントは、オーディオオブジェクトのサウンドデータ又はオーディオデータを含むことができる。
【００６１】
７０６において、受け取られた符号化オブジェクトベースオーディオストリームの複数のオーディオフレームから符号化オーディオオブジェクトを抽出することができる。プロセッサ２０４は、符号化オブジェクトベースオーディオストリームの複数のオーディオフレームから符号化オーディオオブジェクトを抽出するように構成することができる。
【００６２】
７０８において、抽出された符号化オーディオオブジェクトから位置情報（メタデータ）をさらに抽出することができる。プロセッサ２０４は、抽出された符号化オーディオオブジェクトから位置情報をさらに抽出するように構成することができる。換言すれば、オーディオ再生装置１０２は、オーディオオブジェクトのサウンド再生前に符号化オブジェクトベースオーディオストリームに含まれる全てのオーディオオブジェクト位置情報を抽出して事前復号するように構成することができる。
【００６３】
７１０において、複数のオーディオフレームの各々の抽出された位置情報（メタデータ）に基づいてオブジェクト−位置マッピング情報を生成することができる。オーディオ再生装置１０２のオブジェクト−位置マップ生成器２１０は、複数のオーディオフレームの各々のオブジェクト−位置マッピング情報を生成するように構成することができる。オブジェクト−位置マッピング情報は、符号化オブジェクトベースオーディオストリームに含まれる各オーディオフレーム内の各オーディオオブジェクトの位置情報を示すことができる。オーディオ再生装置１０２は、生成されたオブジェクト−位置マッピング情報を使用して、各オーディオフレーム内の各オーディオオブジェクトの位置情報を予め決定するように構成することができる。オブジェクト−位置マッピング情報については、例えば図３Ａ〜図３Ｄ及び図４Ａ〜図４Ｄにおいて詳細に説明した。
【００６４】
７１２において、生成されたオブジェクト−位置マッピング情報に基づいて、抽出された符号化オブジェクトに複数のスピーカを割り当てることができる。プロセッサ２０４は、複数のスピーカを選択し、生成されたオブジェクト−位置マッピング情報に基づいて、選択された複数のスピーカを１つの符号化オーディオオブジェクトに割り当てるように構成することができる。ある実施形態によれば、プロセッサ２０４は、物理的３Ｄ空間（すなわち、リスニングエリア１１０）内の複数のスピーカから、少なくとも１つのスピーカを割り当てる必要がある符号化オーディオオブジェクトの位置情報に最も近い少なくとも１つのスピーカを選択することができる。
【００６５】
７１４において、生成されたオブジェクト−位置マッピング情報に基づいて、７１２において抽出されたオーディオオブジェクトに割り当てられた複数のスピーカに動作モードを割り当てることができる。プロセッサ２０４は、複数のスピーカに動作モードを割り当てるように構成することができる。動作モードの例としては、以下に限定するわけではないが、アクティブモード（サウンドを生成しているが動いていないスピーカ）、モーションモード（線形的に又は軌道内で動いているが、動いている間にサウンドを生成しないスピーカ）、アクティブモーションモード（サウンドを生成すると同時に線形的に又は軌道内で動いているスピーカ）、イナクティブモード（サウンドを生成せずに動いてもいないアイドル状態のスピーカ）を挙げることができる。ある実施形態によれば、あるオーディオフレーム中にオーディオオブジェクトに割り当てられないスピーカはイナクティブモードに割り当てることができる。
【００６６】
７１６において、複数のオーディオフレームの各々の割り当てられた複数のスピーカ及び割り当てられた動作モードに基づいて、スピーカ−オブジェクトマッピング情報を生成することができる。オーディオ再生装置１０２のスピーカ−オブジェクトマップ生成器２１２は、符号化オブジェクトベースオーディオストリームの複数のオーディオフレームの各々のスピーカ−オブジェクトマッピング情報を生成するように構成することができる。スピーカ−オブジェクトマッピング情報については、例えば図３Ａ〜図３Ｄ及び図４Ａ〜図４Ｄにおいて詳細に説明した。
【００６７】
７１８において、生成されたスピーカ−オブジェクトマッピング情報に基づいて、オーディオオブジェクトに割り当てられた複数のスピーカを第１の時刻に第１の位置から第２の位置に移動するように制御することができる。プロセッサ２０４は、生成されたスピーカ−オブジェクトマッピング情報に基づいて、割り当てられた複数のスピーカを対応するオーディオオブジェクトの位置情報に向かって移動するように制御するよう構成することができる。ある実施形態によれば、複数のスピーカは、オーディオオブジェクトのサウンド再生前に移動するように制御される。
【００６８】
７２０において、符号化オーディオオブジェクトからオーディオセグメントを復号して抽出することができる。プロセッサ２０４は、７１２において特定のスピーカに割り当てられた符号化オーディオオブジェクトからオーディオセグメントを抽出して復号するように構成することができる。ある実施形態によれば、プロセッサ２０４は、オーディオオブジェクトの対応するオーディオフレーム中又はオーディオオブジェクトの対応するオーディオフレーム前にオーディオオブジェクトを復号するように構成することができる。
【００６９】
７２２において、７１２においてオーディオオブジェクトに割り当てられた複数のスピーカによる第２の時刻におけるオーディオオブジェクトの復号オーディオセグメントの再生を制御することができる。プロセッサ２０４は、（７１８において予めオーディオオブジェクトの位置に移動していた）割り当てられた複数のスピーカを、オブジェクトベースオーディオストリーム内のオーディオオブジェクトの実際のオーディオフレーム中に、復号されたオーディオセグメントを再生するように制御するよう構成することができる。オーディオオブジェクトに割り当てられたスピーカの動き、及び割り当てられた複数のスピーカによるオーディオオブジェクトのサウンドの再生については、例えば図３Ｄ、図４Ｄ及び図６Ｃに示して説明した。制御は、終了７２４に進む。
【００７０】
図８Ａ及び図８Ｂに、本開示の実施形態による、複数の連続オーディオフレーム内で経路又は軌道を形成するオーディオオブジェクトを再生するための例示的な動作を示すフローチャートを集合的に示す。図８Ａ及び図８Ｂには、フローチャート８００を示す。フローチャート８００の説明は、図１、図２、図３Ａ〜図３Ｄ及び図４Ａ〜図４Ｄに関連して行う。８０４〜８２６の動作は、オーディオ再生装置１０２において実施することができる。フローチャート８００の動作は、８０２から開始して８０４に進むことができる。
【００７１】
動作８０４〜８１０は、図７の７０４〜７１０の動作に類似することができる。８０４において、複数のオーディオフレームを含む符号化オブジェクトベースオーディオストリームを受け取ることができる。８０６において、受け取られた符号化オブジェクトベースオーディオストリームの複数のオーディオフレームから符号化オーディオオブジェクトを抽出することができる。８０８において、抽出された符号化オーディオオブジェクトから位置情報（メタデータ）をさらに抽出することができる。８１０において、複数のオーディオフレームの各々の抽出された位置情報（メタデータ）に基づいてオブジェクト−位置マッピング情報を生成することができる。
【００７２】
８１２において、生成されたオブジェクト−位置マッピング情報に基づいて、複数の連続オーディオフレームにわたる軌道を形成する符号化オーディオオブジェクトを識別することができる。プロセッサ２０４は、生成されたオブジェクト−位置マッピング情報におけるオーディオオブジェクトの位置情報に基づいて、指定数の連続オーディオフレームにわたる軌道又は曲線を形成するオーディオオブジェクトを識別するように構成することができる。ある実施形態によれば、プロセッサ２０４は、指定数の連続オーディオフレームのオーディオオブジェクトの位置情報を分析し、この分析に基づいて、軌道を形成するオーディオオブジェクトを識別するように構成することができる。軌道を形成するオーディオオブジェクトの識別の詳細については、例えば図５において詳細に説明した。
【００７３】
８１４において、生成されたオブジェクト−位置マッピング情報に基づいて、識別されたオーディオオブジェクトの軌道情報を生成することができる。プロセッサ２０４は、識別されたオーディオオブジェクトの軌道情報を生成し、生成された軌道情報をメモリ２０６に記憶するように構成することができる。この軌道情報は、複数の連続オーディオフレームの識別されたオーディオオブジェクトの位置情報を含むことができる。ある実施形態によれば、軌道情報は、複数の連続オーディオフレーム間における位置情報（ＸＹＺ座標）の変化を含むことができる。位置情報の変化は、物理的３Ｄ空間（すなわち、リスニングエリア）内のＸ軸座標、Ｙ軸座標又はＺ軸座標のいずれかの変化とすることができる。
【００７４】
８１６において、生成された軌道情報に基づいて、識別された符号化オーディオオブジェクトに複数のスピーカ１０８ａ〜１０８ｎのうちの１又は２以上のスピーカを割り当てることができる。プロセッサ２０４は、複数のスピーカ１０８ａ〜１０８ｎから１つのスピーカを選択し、選択されたスピーカを識別されたオーディオオブジェクトに割り当てるように構成することができる。ある実施形態によれば、プロセッサ２０４は、複数のスピーカ１０８ａ〜１０８ｎから最も近いスピーカを選択し、選択されたスピーカを識別されたオーディオオブジェクトの軌道情報の開始位置に配置することができる。いくつかの実施形態では、プロセッサ２０４が、現在イナクティブモードであるスピーカ（サウンドも生成せず動いてもいないスピーカ）を選択することができる。
【００７５】
８１８において、複数のスピーカ１０８ａ〜１０８ｎに動作モードを割り当てることができる。プロセッサ２０４は、割り当てられた複数のスピーカに動作モードを割り当てるように構成することができる。動作モードの例としては、以下に限定するわけではないが、アクティブモード（サウンドを生成しているが動いていないスピーカ）、モーションモード（線形的に又は軌道内で動いているが、動いている間にサウンドを生成しないスピーカ）、アクティブモーションモード（サウンドを生成すると同時に動いているスピーカ）、イナクティブモード（スピーカがアイドル状態であり、サウンドを生成せずに動いてもいない）を挙げることができる。アクティブモードが割り当てられた場合、制御は８２０Ａに進む。モーションモードが割り当てられた場合、制御は８２０Ｂに進む。アクティブモーションモードが割り当てられた場合、制御は８２０Ｃに進む。イナクティブモードが割り当てられた場合、制御は８２０Ｄに進む。
【００７６】
８２０Ａにおいて、１又は２以上の第１のスピーカの現在位置におけるオーディオ出力のために、複数のスピーカ１０８ａ〜１０８ｎのうちの識別された１又は２以上の第１のスピーカにオーディオセグメントを伝えることができる。８２０Ｂにおいて、生成された軌道情報に基づいて、複数のスピーカ１０８ａ〜１０８ｎのうちの識別された１又は２以上の第２のスピーカの各々に、識別された符号化オーディオオブジェクトの各々の現在位置から対応する軌道の開始位置に第１の時刻に移動するための固有の制御信号を伝えることができる。固有の制御信号は、特定のスピーカの位置情報を含むことができる。プロセッサ２０４は、識別された１又は２以上の第２のスピーカがモーションモードで移動している間、識別された１又は２以上の第２のスピーカからのオーディオ出力を無効にするように構成することができる。識別された１又は２以上の第２のスピーカは、指定数の連続オーディオフレームにわたる軌道を形成するそれぞれのオーディオオブジェクトの実際の再生前に異なる開始位置に配置される。８２０Ｃにおいて、生成された軌道情報に基づいて、複数のスピーカ１０８ａ〜１０８ｎのうちの識別された１又は２以上の第３のスピーカの各々に、識別された符号化オーディオオブジェクトの各々の軌道の開始位置から対応する目的位置に異なる時刻に移動するための固有の制御信号及び固有のオーディオセグメントを伝えることができる。アクティブモーションモードでは、複数のスピーカ１０８ａ〜１０８ｎのうちの識別された１又は２以上の第３のスピーカが、オーディオオブジェクトの指定数の連続オーディオフレームにわたる軌道に沿って移動しながら同時にオーディオオブジェクトのサウンドを生成することができる。８２０Ｄにおいて、複数のスピーカ１０８ａ〜１０８ｎのうちの識別された１又は２以上の第４のスピーカの各々に、識別された１又は２以上の第４のスピーカを停止するための又は停止を維持するための固有の制御信号を伝えることができる。サウンド出力の停止及び動きの停止の両方が維持される。
【００７７】
８２２において、符号化オーディオオブジェクトからオーディオセグメントを復号して抽出することができる。プロセッサ２０４は、軌道を形成するオーディオオブジェクトからオーディオセグメント（サウンドデータ）を復号して抽出するように構成することができる。ある実施形態によれば、プロセッサ２０４は、オーディオオブジェクトの対応するオーディオフレームの再生中又は複数の連続オーディオフレームの軌道を形成するオーディオオブジェクトの対応するオーディオフレームの再生前にオーディオセグメントを復号するように構成することができる。
【００７８】
８２４において、第２の時刻におけるオーディオオブジェクトの復号オーディオセグメントの再生を制御すると同時に、（アクティブモードの場合を除き）識別された符号化オーディオオブジェクトの軌道に沿った識別された１又は２以上のスピーカの動きを制御することができる。プロセッサ２０４は、（８２０において既に軌道の開始位置に移動している）割り当てられた複数のスピーカのうちの識別された１又は２以上のスピーカを、オーディオオブジェクトの実際のオーディオフレーム中に復号オーディオセグメントを再生するように制御するよう構成することができる。プロセッサ２０４は、複数のスピーカ１０８ａ〜１０８ｎのうちの識別された１又は２以上のスピーカの動きを、それぞれのオーディオオブジェクトのオーディオセグメントを再生しながらオーディオオブジェクトの軌道に沿って移動するように制御するようさらに構成することができる。１又は２以上のスピーカの軌道内移動及びオーディオオブジェクトのサウンドの再生については、例えば図６Ａ〜図６Ｃに示して説明した。制御は、終了８２６に進む。
【００７９】
本開示の例示的な態様によれば、オーディオ再生装置１０２は、頭部装着型装置（ＨＭＤ）とすることができる。従って、本開示において説明したオーディオ再生装置１０２によって実行される動作は、ＨＭＤによって実行することもできる。例えば、ＨＭＤは、ＨＭＤを装着しているユーザの頭部の周囲に配置された複数のスピーカに結合することができる。ある実施形態によれば、ＨＭＤに結合された複数のスピーカは、ＨＭＤによって再生されるオーディオオブジェクトに基づいてユーザの頭部の周囲を３６０度方向に移動してユーザにサラウンドサウンド効果を提供できる、デスクトップスピーカに比べて小型のスピーカ（例えば、極小ボタン様スピーカ（ｔｉｎｙ  ｂｕｔｔｏｎ  ｌｉｋｅ  ｓｐｅａｋｅｒｓ））である。
【００８０】
本開示の例示的な態様は、（回路２００などの）回路及び（メモリ２０６などの）メモリを含む（オーディオ再生装置１０２などの）オーディオ再生装置を含むことができる。メモリは、複数のオーディオフレームを含む符号化オブジェクトベースオーディオストリームを記憶するように構成することができる。複数のオーディオフレームは、少なくとも１つの符号化オーディオオブジェクトを含み、少なくとも１つの符号化オーディオオブジェクトは、関連するオーディオセグメント及びメタデータ情報を含む。回路は、符号化オブジェクトベースオーディオストリーム内の複数のオーディオフレームから少なくとも１つの符号化オーディオオブジェクトに関連するメタデータ情報を抽出するように構成することができる。回路は、少なくとも１つの符号化オーディオオブジェクトに関連する抽出されたメタデータ情報に基づいて、物理的３次元（３Ｄ）空間内の複数のスピーカのうちの第１のスピーカの動きを制御するようにさらに構成することができる。回路は、第１の時刻における物理的３Ｄ空間内の第１の位置から第２の位置への第１のスピーカの移動を制御するようにさらに構成することができる。回路は、複数のオーディオフレーム内の少なくとも１つの符号化オーディオオブジェクトからオーディオセグメントを復号するようにさらに構成することができる。回路は、複数のオーディオフレームのうちの第１のオーディオフレーム内の第２の位置における第１のスピーカによる復号オーディオセグメントの再生を制御するようにさらに構成することができる。回路は、（第１のスピーカが移動した）第１の時刻の後の第２の時刻における復号オーディオセグメントの再生を制御するようにさらに構成することができる。
【００８１】
ある実施形態によれば、メタデータ情報は、少なくとも１つの符号化オーディオオブジェクトに関連する位置情報を含むことができる。位置情報は、物理的３Ｄ空間内のＸ軸座標、Ｙ軸座標及びＺ軸座標を含むことができる。回路は、位置情報のＸ軸座標、Ｙ軸座標又はＺ軸座標のうちの少なくとも１つに基づいて、複数のスピーカのうちの第１のスピーカを第２の位置に移動させるようにさらに構成することができる。
【００８２】
ある実施形態によれば、回路は、少なくとも１つの符号化オーディオオブジェクトに関連する位置情報に基づいて、複数のスピーカから第１のスピーカを選択するようにさらに構成することができる。第１のスピーカは、物理的３Ｄ空間内の複数のスピーカの中で、少なくとも１つの符号化オーディオオブジェクトに関連する位置情報に最も近いものである。
【００８３】
ある実施形態によれば、回路は、複数のオーディオフレームのオブジェクト−位置マッピング情報を生成するようにさらに構成することができる。オブジェクト−位置マッピング情報は、複数のオーディオフレーム内の少なくとも１つの符号化オーディオオブジェクトを含む複数の符号化オーディオオブジェクトの位置情報を示すことができる。回路は、生成されたオブジェクト−位置マッピング情報に基づいて、複数のオーディオフレームの各々のスピーカ−オブジェクトマッピング情報を生成するようにさらに構成することができる。スピーカ−オブジェクトマッピング情報は、複数の符号化オーディオオブジェクトに関連する複数のスピーカの移動情報又は動作モードのうちの少なくとも１つを示すことができる。回路は、異なるオーディオフレーム内の複数の符号化オーディオオブジェクトの対応するメタデータ情報に基づいて、符号化オブジェクトベースオーディオストリームの異なるオーディオフレーム内の複数のスピーカの動作モードを変更するようにさらに構成することができる。
【００８４】
ある実施形態によれば、動作モードは、アクティブモード、モーションモード、アクティブモーションモード又はイナクティブモードのうちの少なくとも１つを含むことができる。アクティブモードでは、回路を、第１のスピーカを復号オーディオセグメントを再生するように制御するようさらに構成することができる。モーションモードでは、回路を、少なくとも１つの符号化オーディオオブジェクトに関連する位置情報に基づいて第１のスピーカの動きを制御するとともに、第１のスピーカによる復号オーディオセグメントの再生を無効にするようにさらに構成することができる。アクティブモーションモードでは、回路を、位置情報に基づいて第１のスピーカを移動させると同時に復号オーディオセグメントを再生させるように制御するようさらに構成することができる。イナクティブモードでは、回路を、第１のスピーカの移動及び復号オーディオセグメントの再生を無効にするようにさらに構成することができる。
【００８５】
ある実施形態によれば、回路は、符号化オブジェクトベースオーディオストリームの複数の連続オーディオフレームから少なくとも１つの符号化オーディオオブジェクトに関連する位置情報を抽出するようにさらに構成することができる。回路は、少なくとも１つの符号化オーディオオブジェクトに関連する位置情報が複数の連続オーディオフレームにわたる経路又は軌道を形成するかどうかを判定するようにさらに構成することができる。回路は、少なくとも１つの符号化オーディオオブジェクトに関連する位置情報が複数の連続オーディオフレームにわたる経路又は軌道を形成するとの判定に基づいて、経路又は軌道に沿った第１のスピーカの動きを制御するようにさらに構成することができる。
【００８６】
ある実施形態によれば、回路は、複数のオーディオフレームのうちの第２のオーディオフレーム内の第１のスピーカの動きを制御するようにさらに構成することができる。第２のオーディオフレームは、符号化オブジェクトベースオーディオストリーム内の第１のオーディオフレームの前に存在することができる。回路は、符号化オブジェクトベースオーディオストリーム内の第２の符号化オーディオオブジェクトに関連するメタデータ情報に基づいて、第１のオーディオフレーム内の複数のスピーカのうちの第２のスピーカの動きを制御するようにさらに構成することができる。回路は、物理的３Ｄ空間内の第３の位置から第４の位置への第２のスピーカの動きを制御するようにさらに構成することができる。回路は、複数のオーディオフレームの第３のオーディオフレーム内の第４の位置における第２のスピーカによる第２の符号化オーディオオブジェクトの第２のオーディオセグメントの再生を制御するようにさらに構成することができる。回路は、第２の時刻後の第３の時刻における第２のオーディオセグメントの再生を制御するようにさらに構成することができる。回路は、物理的３Ｄ空間内の第１のスピーカと第２のスピーカとの間の衝突を避けるために、第１のスピーカと第２のスピーカとの間で動きを同期させるようにさらに構成することができる。
【００８７】
ある実施形態によれば、複数のスピーカの各々をスピーカ移動構成内の可動装置に取り付けることができ、可動装置は、飛行物体、可動アーム付き装置、又は物理的３Ｄ空間内で３６０度移動できる装置のうちの１つを含むことができる。
【００８８】
本開示の様々な実施形態は、非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は制御回路を含む機械及び／又はコンピュータが実行できる命令セットを記憶した非一時的機械可読媒体及び／又は記憶媒体を提供することができる。命令セットは、複数のオーディオフレームを含む符号化オブジェクトベースオーディオストリームの記憶を含むステップを実行するように機械及び／又はコンピュータによって実行可能とすることができる。複数のオーディオフレームは、少なくとも１つの符号化オーディオオブジェクトを含むことができ、少なくとも１つの符号化オーディオオブジェクトは、関連するオーディオセグメント及びメタデータ情報を含む。少なくとも１つの符号化オーディオオブジェクトに関連するメタデータ情報は、符号化オブジェクトベースオーディオストリーム内の複数のオーディオフレームから抽出することができる。複数のスピーカのうちの第１のスピーカの動きは、少なくとも１つの符号化オーディオオブジェクトに関連する抽出されたメタデータ情報に基づいて、第１の時刻に物理的３次元（３Ｄ）空間内で第１の位置から第２の位置に制御することができる。オーディオセグメントは、複数のオーディオフレーム内の少なくとも１つの符号化オーディオオブジェクトから復号することができる。第１の時刻の後の第２の時刻に、複数のオーディオフレームのうちの第１のオーディオフレーム内の第２の位置における第１のスピーカによる復号オーディオセグメントの再生を制御することができる。
【００８９】
本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。
【００９０】
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
【００９１】
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。
【符号の説明】
【００９２】
７００  フローチャート
７０２  開始
７０４  複数のオーディオフレームを含む符号化オブジェクトベースオーディオストリームを受け取る
７０６  受け取った符号化オブジェクトベースオーディオストリーム内の複数のオーディオフレームから符号化オーディオオブジェクトを抽出
７０８  抽出された符号化オーディオオブジェクトから位置情報を抽出
７１０  複数のオーディオフレームの各々の抽出された位置情報に基づいてオブジェクト−位置マッピング情報を生成
７１２  生成されたオブジェクト−位置マッピング情報に基づいて、抽出された符号化オーディオオブジェクトに複数のスピーカを割り当て
７１４  生成されたオブジェクト−位置マッピング情報に基づいて、抽出されたオーディオオブジェクトに割り当てられた複数のスピーカに動作モードを割り当て
７１６  複数のオーディオフレームの各々の割り当てられた複数のスピーカ及び割り当てられた動作モードに基づいてスピーカ−オブジェクトマッピング情報を生成
７１８  生成されたスピーカ−オブジェクトマッピング情報に基づいて、割り当てられた複数のスピーカの第１の時刻における第１の位置から第２の位置への動きを制御
７２０  抽出された符号化オーディオオブジェクトからオーディオセグメントを復号
７２２  複数のオーディオフレーム内の割り当てられた複数のスピーカによる第２の時刻における復号オーディオセグメントの再生を制御
７２４  終了
【図１】
2021531700.tif 000003
【図２】
2021531700.tif 000004
【図３Ａ】
2021531700.tif 000005
【図３Ｂ】
2021531700.tif 000006
【図３Ｃ】
2021531700.tif 000007
【図３Ｄ】
2021531700.tif 000008
【図４Ａ】
2021531700.tif 000009
【図４Ｂ】
2021531700.tif 000010
【図４Ｃ】
2021531700.tif 000011
【図４Ｄ】
2021531700.tif 000012
【図５Ａ】
2021531700.tif 000013
【図５Ｂ】
2021531700.tif 000014
【図６Ａ】
2021531700.tif 000015
【図６Ｂ】
2021531700.tif 000016
【図６Ｃ】
2021531700.tif 000017
【図７】
2021531700.tif 000018
【図８Ａ】
2021531700.tif 000019
【図８Ｂ】
2021531700.tif 000020
【国際調査報告】
2021531700.tif 000021
2021531700.tif 000022
2021531700.tif 000023