(57)【要約】  本技術は、情報の伝送量を削減しつつ配信側の処理負荷を低減させることができるようにする情報処理装置および方法、並びにプログラムに関する。情報処理装置は、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、空間内のオブジェクトの位置を示す、ユーザの位置に応じた第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得する取得部と、低精度位置情報および追加情報に基づいて位置情報を求める位置情報算出部とを備える。本技術は情報処理装置に適用することができる。
2019198540.tif 000002
【特許請求の範囲】
【請求項１】
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得する取得部と、
前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める位置情報算出部と
を備える情報処理装置。
【請求項２】
前記位置情報算出部は、前記ユーザの位置を示すユーザ位置情報と、前記低精度位置情報とに基づいて、前記追加情報が必要な前記オブジェクトを特定し、
前記取得部は、１または複数の前記オブジェクトのうち、前記位置情報算出部により特定された前記オブジェクトについて前記追加情報を取得する
請求項１に記載の情報処理装置。
【請求項３】
前記位置情報算出部は、前記追加情報が必要な前記オブジェクトごとに、前記ユーザ位置情報と前記低精度位置情報とに基づいて、複数の精度のなかから前記位置情報の前記第２の精度を決定する
請求項２に記載の情報処理装置。
【請求項４】
前記低精度位置情報および前記位置情報は、前記空間内における前記オブジェクトの位置の絶対座標を示す情報であり、
前記ユーザ位置情報は、前記空間内における前記ユーザの位置の絶対座標を示す情報である
請求項２に記載の情報処理装置。
【請求項５】
前記位置情報および前記ユーザ位置情報に基づいて、前記位置情報を前記ユーザから見た前記オブジェクトの相対的な位置を示す極座標情報に変換する変換部をさらに備える
請求項４に記載の情報処理装置。
【請求項６】
前記追加情報は、前記位置情報と前記低精度位置情報との差分の情報である
請求項１に記載の情報処理装置。
【請求項７】
前記オブジェクトはオーディオオブジェクトである
請求項１に記載の情報処理装置。
【請求項８】
情報処理装置が、
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、
前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得し、
前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める
情報処理方法。
【請求項９】
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、
前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得し、
前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する通信部を備える
情報処理装置。
【請求項１１】
前記低精度位置情報および前記位置情報は、前記空間内における前記オブジェクトの位置の絶対座標を示す情報である
請求項１０に記載の情報処理装置。
【請求項１２】
前記追加情報は、前記位置情報と前記低精度位置情報との差分の情報である
請求項１０に記載の情報処理装置。
【請求項１３】
前記オブジェクトの位置を示す情報を最も高い精度の量子化ステップ幅で量子化して得られた最高精度位置情報を記録する記録部と、
前記最高精度位置情報の一部を抽出することで前記低精度位置情報または前記追加情報を生成する送信情報生成部と
をさらに備える請求項１２に記載の情報処理装置。
【請求項１４】
前記量子化ステップ幅は、１／２のべき乗値に定数を乗算して得られる値とされる
請求項１３に記載の情報処理装置。
【請求項１５】
前記オブジェクトはオーディオオブジェクトである
請求項１０に記載の情報処理装置。
【請求項１６】
情報処理装置が、
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、
前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する
情報処理方法。
【請求項１７】
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、
前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置および方法、並びにプログラムに関し、特に、情報の伝送量を削減しつつ配信側の処理負荷を低減させることができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来の固定視点向け3D Audioとして規格化されたMPEG（Moving Picture Experts Group）-H符号化規格は、受聴者の位置を原点とし、その周りの空間内をオーディオオブジェクトが移動するという考え方に基づいている（例えば、非特許文献１参照）。【０００３】
そのため、固定視点では原点にいる受聴者から見た各々のオーディオオブジェクトの位置情報は、受聴者から各オーディオオブジェクトまでの水平方向の角度、高さ方向の角度、および距離を用いた極座標により記述されている。【０００４】
このようなMPEG-H符号化規格を利用すれば、固定視点のコンテンツにおいて、空間内の各オーディオオブジェクトの位置に、それらのオーディオオブジェクトの音像を定位させることができ、臨場感の高いオーディオ再生を実現することが可能である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】ISO/IEC 23008-3 Information technology − High efficiency coding and media delivery in heterogeneous environments − Part 3: 3D audio
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方で、空間内の任意の位置を受聴者の位置とすることができる自由視点のコンテンツも知られている。自由視点では、空間内においてオーディオオブジェクトが移動することに加え、受聴者も移動可能である。つまり、受聴者が移動可能であるという点において、自由視点は固定視点と異なっている。【０００７】
このような自由視点においても、固定視点における場合と同様に、受聴者から見たオーディオオブジェクトの位置を示す極座標の位置情報を得ることができれば、MPEG-Hで規格化された極座標系のレンダラによりオーディオ再生を実現することが可能である。すなわち、固定視点における場合と同様のレンダリング処理により自由視点のオーディオ再生を実現することができる。【０００８】
この場合、例えば各オーディオオブジェクトのオーディオデータと、それらのオーディオオブジェクトの位置を示す位置情報とがサーバから再生側に提供される。そして、再生側において空間内のオーディオオブジェクトの位置に音像を定位させるオーディオ再生のためのレンダリングが行われる。【０００９】
ところが、MPEG-Hのレンダラにより自由視点のオーディオ再生を実現しようとすると、オーディオオブジェクトや受聴者の位置が変化するたびに、受聴者から見たオーディオオブジェクトの位置の更新やオーディオオブジェクトの位置に関する情報の伝送が必要となる。したがって、情報の伝送量やサーバ等のコンテンツの配信側での処理負荷が増加してしまうおそれがある。さらにサーバに接続する受聴者の数が増えた場合には、その数の倍数分だけ処理負荷が増大することになり、その数が数千、数万となると過大な負荷となってしまう。【００１０】
本技術は、このような状況に鑑みてなされたものであり、情報の伝送量を削減しつつ配信側の処理負荷を低減させることができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の第１の側面の情報処理装置は、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得する取得部と、前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める位置情報算出部とを備える。【００１２】
本技術の第１の側面の情報処理方法またはプログラムは、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得し、前記低精度位置情報および前記追加情報に基づいて前記位置情報を求めるステップを含む。【００１３】
本技術の第１の側面においては、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報が取得され、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報が取得され、前記低精度位置情報および前記追加情報に基づいて前記位置情報が求められる。【００１４】
本技術の第２の側面の情報処理装置は、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する通信部を備える。【００１５】
本技術の第２の側面の情報処理方法またはプログラムは、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信するステップを含む。【００１６】
本技術の第２の側面においては、ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報が送信され、前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報が送信される。
【発明の効果】
【００１７】
本技術の第１の側面および第２の側面によれば、情報の伝送量を削減しつつ配信側の処理負荷を低減させることができる。【００１８】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】コンテンツ再生システムの構成例を示す図である。
【図２】コンテンツ再生システムの処理シーケンスについて説明する図である。
【図３】コンテンツ再生システムの構成例を示す図である。
【図４】サーバの構成例を示す図である。
【図５】クライアントの構成例を示す図である。
【図６】知覚限界角度について説明する図である。
【図７】符号化処理およびファイル保存処理を説明するフローチャートである。
【図８】最高精度位置符号化データファイルのシンタックス例を示す図である。
【図９】位置情報取得処理および位置情報送信処理を説明するフローチャートである。
【図１０】ヘッダ情報のシンタックス例を示す図である。
【図１１】低精度量子化位置情報が含まれるビットストリームのシンタックス例を示す図である。
【図１２】正規化位置情報の符号化例について説明する図である。
【図１３】追加ビット情報取得処理および追加ビット情報送信処理を説明するフローチャートである。
【図１４】追加ビット情報の送信要求のシンタックス例を示す図である。
【図１５】差分データのシンタックス例を示す図である。
【図１６】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２１】
〈第１の実施の形態〉
〈コンテンツ再生システムの構成例〉
本技術は、受聴者からオブジェクトまでの距離に応じて、オブジェクトの位置を示す位置情報の量子化精度を切り替えることで、情報の伝送量を削減しつつサーバ等のコンテンツ配信側の処理負荷を低減させることができるようにするものである。
【００２２】
なお、以下では、コンテンツの再生側において、受聴者から見たオーディオオブジェクトの位置を示す情報に基づいてオーディオオブジェクトのオーディオデータのレンダリングを行う場合、具体的にはMPEG-Hのレンダラにより自由視点のオーディオ再生を実現する場合を例として説明する。しかし、その他、受聴者から見たオブジェクトの位置を示す情報に基づいて、オブジェクトを被写体として含むコンテンツ映像を再生する場合などにおいても本技術を適用することが可能である。
【００２３】
なお、以下では、オーディオオブジェクトを単にオブジェクトと称することとする。
【００２４】
例えばMPEG-Hのレンダラにより自由視点のオーディオ再生を行う場合、図１に示すコンテンツ再生システムによりオーディオ再生を実現することが考えられる。
【００２５】
図１に示すコンテンツ再生システムは受聴者位置取得装置１１、極座標位置情報エンコーダ１２、サーバ１３、クライアント１４、およびMPEG-Hレンダラ１５を有している。
【００２６】
このコンテンツ再生システムでは、コンテンツの制作者等であるサーバ側のユーザU11が、空間内の各オブジェクトについて、それらのオブジェクトの空間内の位置を示すオブジェクト位置情報を極座標位置情報エンコーダ１２に入力する。なお、オブジェクト位置情報は、絶対座標とされてもよいし極座標とされてもよい。
【００２７】
また、クライアント１４側には、再生されたコンテンツを視聴するユーザ、すなわちコンテンツの音声の受聴者U12がおり、その受聴者U12の空間内における位置を示す受聴者位置情報が受聴者位置取得装置１１により取得される。
【００２８】
例えば受聴者位置取得装置１１は、受聴者U12の空間内の位置を測定するGPS（Global Positioning System）やジャイロセンサなどの測距デバイス、バーチャル空間内の受聴者U12の仮想的な位置情報を取得する入力装置等からなり、受聴者U12の位置を示す受聴者位置情報を出力する。
【００２９】
ここで、受聴者位置情報は、空間内における受聴者U12の絶対的な位置を示す、３次元直交座標系、すなわちｘｙｚ座標系の座標（ｘ座標、ｙ座標、およびｚ座標）により表される絶対座標情報とされる。以下、ｘｙｚ座標系の座標により表される、空間内の絶対的な位置を示す情報を絶対座標とも称することとする。
【００３０】
受聴者位置取得装置１１により出力された受聴者位置情報は、クライアント１４およびサーバ１３を介して極座標位置情報エンコーダ１２により受信される。
【００３１】
極座標位置情報エンコーダ１２は、受聴者位置取得装置１１から受信した受聴者位置情報と、ユーザU11により入力されたオブジェクト位置情報とに基づいて、空間内における受聴者U12から見たオブジェクトの位置を示す極座標を極座標位置情報として生成する。
【００３２】
そして、極座標位置情報エンコーダ１２は、各オブジェクトについて得られた極座標位置情報を符号化（エンコード）し、符号化された極座標位置情報を、サーバ１３を介してクライアント１４に送信する。
【００３３】
クライアント１４では、そのクライアント１４に設けられた極座標位置情報デコーダ２１により、極座標位置情報エンコーダ１２から受信した極座標位置情報を復号（デコード）し、その結果得られた極座標位置情報をMPEG-Hレンダラ１５へと供給する。
【００３４】
MPEG-Hレンダラ１５は、クライアント１４から各オブジェクトの極座標位置情報の供給を受けるとともに、サーバ１３から各オブジェクトのオーディオデータの供給も受ける。このMPEG-Hレンダラ１５は、MPEG-Hで規格化された極座標系のレンダラである。
【００３５】
MPEG-Hレンダラ１５は、各オブジェクトのオーディオデータおよび極座標位置情報に基づいてレンダリングを行い、空間内の各位置にオブジェクトの音像が定位する再生オーディオデータを生成し、スピーカ等の再生系へと出力する。
【００３６】
例えば空間内にオブジェクトがN個ある場合、コンテンツ再生システムでの処理シーケンスは図２に示すようになる。
【００３７】
図２に示す例では、まずクライアント１４は矢印A11に示すように、サーバ１３に対して空間内にあるオブジェクトの個数、すなわちオブジェクト数の通知を要求する。
【００３８】
するとサーバ１３は、クライアント１４の要求に応じて、矢印A12に示すようにクライアント１４に対してオブジェクト数を通知する。
【００３９】
また、クライアント１４は、受聴者位置取得装置１１から受聴者位置情報を取得すると、その受聴者位置情報を矢印A13に示すように、サーバ１３を介して極座標位置情報エンコーダ１２へと送信する。
【００４０】
極座標位置情報エンコーダ１２は、受聴者位置情報を受信すると、その受聴者位置情報と、０番目のオブジェクトのオブジェクト位置情報とに基づいて、受聴者U12から見た０番目のオブジェクトの位置を算出し、その算出結果を示す極座標位置情報を符号化する。すなわち、極座標位置情報が伝送可能なフォーマットに符号化され符号化データとされる。
【００４１】
そして極座標位置情報エンコーダ１２は、矢印A14に示すように、０番目のオブジェクトについて得られた、符号化された極座標位置情報、すなわち極座標位置情報の符号化データを、サーバ１３を介してクライアント１４へと送信する。
【００４２】
クライアント１４側では、極座標位置情報デコーダ２１によって、受信された０番目のオブジェクトの極座標位置情報の符号化データが復号される。
【００４３】
同様に、極座標位置情報エンコーダ１２は、１番目のオブジェクトについて、極座標位置情報の符号化データを生成し、矢印A15に示すように、１番目のオブジェクトの極座標位置情報の符号化データを、サーバ１３を介してクライアント１４へと送信する。また、クライアント１４側では、極座標位置情報デコーダ２１が、受信された１番目のオブジェクトの極座標位置情報の符号化データを復号する。
【００４４】
そして、以降においてもN-1番目のオブジェクトまで、極座標位置情報の符号化データの生成および送信と、極座標位置情報の符号化データの復号が順番に行われる。
【００４５】
以上の処理により、０番目からN-1番目までのN個のオブジェクトについて極座標位置情報が得られると、その後、MPEG-Hレンダラ１５により各オブジェクトの極座標位置情報とオブジェクトデータに基づいて、レンダリングが行われる。
【００４６】
レンダリング処理により得られた再生オーディオデータに基づいて音を再生すれば、受聴者U12から見て正しい位置にオブジェクトの音像を定位させることができる。
【００４７】
例えば自由視点のコンテンツを再生する場合、MPEG-Hレンダラ１５によりレンダリングを行うには、そのMPEG-Hレンダラ１５の入力として、受聴者U12から見たオブジェクトの位置を示す極座標表現の極座標位置情報が必要となる。
【００４８】
図１に示したコンテンツ再生システムでは、固定視点向けのMPEG-Hレンダラ１５をそのまま自由視点でも使用することができる。また、極座標位置情報エンコーダ１２によりリアルタイムで極座標位置情報が生成されて送信されるため、極座標位置情報をサーバ１３上に保持しておく必要がないという利点がある。
【００４９】
しかし、自由視点では、空間内でオブジェクトが移動することに加え、受聴者U12も空間内を移動するので、オブジェクトと受聴者U12のどちらかが移動するたびに、極座標位置情報の更新と伝送が必要となる。
【００５０】
特に、図１に示したコンテンツ再生システムでは、受聴者U12が複数いる場合、すなわち複数のクライアント１４がサーバ１３に接続されている場合には、全ての受聴者U12について、全オブジェクトの極座標位置情報の更新（符号化）を実時間処理することになる。そうすると、コンテンツの配信側である極座標位置情報エンコーダ１２の処理負荷が高くなってしまい、場合によってはクライアント１４に対して、再生時刻までに必要なオブジェクトの極座標位置情報を供給することができなくなってしまう。
【００５１】
これに対して、サーバ１３からクライアント１４に対して、絶対座標により表現されたオブジェクトの空間内の位置を示すオブジェクト位置情報を供給し、クライアント１４側において極座標位置情報を算出することも考えられる。
【００５２】
しかし、本来、絶対座標は受聴者U12の位置に依存しないものであるので、高い精度で表現しなければならず、オブジェクト位置情報をクライアント１４に送信することは伝送量の観点から好ましいとはいえない。すなわち、極座標である極座標位置情報を伝送する場合と比較して、絶対座標であるオブジェクト位置情報を伝送する場合には、情報（オブジェクト位置情報）の伝送量が多くなってしまう。
【００５３】
そこで本技術では、一旦、クライアント側に情報量の少ない低精度のオブジェクトの位置を示す情報を送信しておき、オブジェクトの位置を示す十分な精度の情報が得られるように、低精度の情報とより高い精度の情報との差分の情報を、必要に応じて追加で送信するようにした。これにより、情報の伝送量を削減することができるだけでなく、極座標位置情報エンコーダやサーバといったコンテンツの配信側の処理負荷も低減させることができる。
【００５４】
このような本技術を適用したコンテンツ再生システムは、例えば図３に示すように構成される。なお、図３において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００５５】
図３に示すコンテンツ再生システムは絶対座標位置情報エンコーダ５１、サーバ５２、受聴者位置取得装置５３、クライアント５４、およびMPEG-Hレンダラ５５を有している。このコンテンツ再生システムでは、クライアント５４において、受聴者U12から見たオブジェクトの位置を示す極座標表現の極座標位置情報が算出される。
【００５６】
すなわち、コンテンツの配信側ではユーザU11が空間内における各オブジェクトの位置を示す正規化位置情報などを絶対座標位置情報エンコーダ５１に入力する。
【００５７】
この正規化位置情報は、３次元直交座標系、すなわちｘｙｚ座標系の座標により表される、空間内のオブジェクトの絶対的な位置を示す正規化された絶対座標情報である。
【００５８】
絶対座標位置情報エンコーダ５１は、ユーザU11により入力された正規化位置情報等を符号化し、その結果得られた最高精度位置符号化データファイルをサーバ５２へと送信する。また、サーバ５２は記録部６１を有する情報処理装置であり、絶対座標位置情報エンコーダ５１から受信した最高精度位置符号化データファイルを記録部６１に記録する。
【００５９】
ここで、最高精度位置符号化データファイルには、各オブジェクトについて、正規化位置情報を最も高い精度で量子化して得られた、すなわち小さい量子化ステップ幅で量子化して得られた最高精度量子化位置情報が含まれている。
【００６０】
以下、正規化位置情報から最高精度量子化位置情報を得るときの量子化精度を、最高精度とも称し、最高精度量子化位置情報により示される位置を最高精度絶対位置とも称することとする。
【００６１】
詳細は後述するが最高精度量子化位置情報の一部を抽出することで、最高精度よりも低い量子化精度で正規化位置情報を量子化して得られる量子化位置情報を得ることができる。
【００６２】
以下では、最高精度よりも低い量子化精度で正規化位置情報を量子化して得られる量子化位置情報を低精度量子化位置情報とも称することとし、特に低精度量子化位置情報のうち、最も低い量子化精度の低精度量子化位置情報を最低精度量子化位置情報とも称することとする。また、以下では、低精度量子化位置情報により示される位置を低精度絶対位置とも称し、最低精度量子化位置情報により示される位置を最低精度絶対位置とも称することとする。
【００６３】
さらに、以下では最高精度絶対位置や低精度絶対位置を特に区別する必要のない場合には、単にオブジェクトの絶対位置とも称し、最高精度量子化位置情報や低精度量子化位置情報を特に区別する必要のない場合には、単にオブジェクトの量子化位置情報とも称する。
【００６４】
低精度量子化位置情報は、最高精度量子化位置情報よりも低い精度でオブジェクトの位置を表す絶対座標の情報であるが、最高精度量子化位置情報よりも情報量、すなわちビット数が少ないため、情報の伝送量の削減を図ることができる。
【００６５】
また、クライアント５４側では、図１に示した受聴者位置取得装置１１に対応する受聴者位置取得装置５３により、受聴者U12の位置を示す受聴者位置情報が取得され、クライアント５４に供給される。この受聴者位置取得装置５３は、例えばGPSやジャイロセンサなどの測距デバイス、バーチャル空間内の受聴者U12の仮想的な位置情報を取得する入力装置等から構成される。
【００６６】
クライアント５４は、絶対座標位置情報デコーダ７１および座標変換部７２を有する情報処理装置であり、サーバ５２から最低精度量子化位置情報を取得する。なお、以下ではクライアント５４がサーバ５２から最低精度量子化位置情報を取得する場合を例として説明を行う。しかし、最低精度量子化位置情報に限らず、最高精度よりも低い量子化精度であれば、どのような量子化精度の低精度量子化位置情報が取得されてもよい。
【００６７】
絶対座標位置情報デコーダ７１は、サーバ５２から取得された最低精度量子化位置情報を復号するとともに、受聴者位置情報に基づいて、最低精度量子化位置情報により示されるオブジェクトの位置が十分な精度のものであるかを判定する。
【００６８】
このとき、十分な精度のものでないと判定されたオブジェクトについて、クライアント５４は、十分な精度の量子化位置情報を得るための追加ビット情報をサーバ５２から取得する。追加ビット情報は、十分な精度の量子化位置情報と最低精度量子化位置情報との差分情報であり、追加ビット情報を最低精度量子化位置情報に付加することで、十分な精度の量子化位置情報を得ることができる。なお、場合によっては、十分な精度の量子化位置情報が最高精度量子化位置情報となることもある。
【００６９】
各オブジェクトについて十分な精度の量子化位置情報が得られると、座標変換部７２は、それらの量子化位置情報を、空間内における受聴者U12から見た各オブジェクトの相対的な位置を示す極座標に変換し、極座標位置情報とする。
【００７０】
座標変換部７２は、各オブジェクトの極座標位置情報をMPEG-Hレンダラ５５に供給し、MPEG-Hレンダラ５５は、供給された極座標位置情報と、サーバ５２から取得した各オブジェクトのオーディオデータとに基づいてレンダリングを行う。
【００７１】
そして、MPEG-Hレンダラ５５は、レンダリングにより得られた、空間内の各位置にオブジェクトの音像が定位する再生オーディオデータをスピーカ等の再生系へと出力し、音声を再生させる。なお、MPEG-Hレンダラ５５は、図１のMPEG-Hレンダラ１５と同様に、MPEG-Hで規格化された極座標系のレンダラである。
【００７２】
以上のようなコンテンツ再生システムでは、サーバ５２とクライアント５４との間で授受されるオブジェクトの位置を示す情報が、絶対座標である最低精度量子化位置情報とされている。したがって、空間内における受聴者U12の位置を考慮する必要はなく、移動するオブジェクトについてのみ最低精度量子化位置情報を符号化してクライアント５４に伝送すればよいという利点がある。
【００７３】
〈サーバの構成例〉
次に、図３に示したサーバ５２およびクライアント５４のより詳細な構成例について説明する。まず、サーバ５２の構成例について説明する。
【００７４】
サーバ５２は、例えば図４に示すように構成される。なお、図４において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００７５】
図４に示すサーバ５２は、通信部１０１、制御部１０２、および記録部６１を有している。
【００７６】
通信部１０１は、制御部１０２から供給された各種の情報をクライアント５４に送信したり、絶対座標位置情報エンコーダ５１やクライアント５４から送信されてきた各種の情報を受信して制御部１０２に供給したりする。
【００７７】
制御部１０２は、サーバ５２全体の動作を制御する。制御部１０２は通信制御部１１１および送信情報生成部１１２を有している。
【００７８】
通信制御部１１１は、通信部１０１を制御することで、通信部１０１による絶対座標位置情報エンコーダ５１やクライアント５４との通信を制御する。送信情報生成部１１２は、必要に応じて記録部６１に記録されている最高精度位置符号化データファイル等の情報を用いて、クライアント５４に送信する各種の情報を生成する。
【００７９】
〈クライアントの構成例〉
また、クライアント５４は、例えば図５に示すように構成される。なお、図５において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００８０】
図５に示すクライアント５４は、通信部１４１、制御部１４２、および出力部１４３を有している。
【００８１】
通信部１４１は、制御部１４２から供給された各種の情報をサーバ５２に送信したり、サーバ５２から送信されてきた各種の情報を受信して制御部１４２に供給したりする。
【００８２】
制御部１４２は、クライアント５４全体の動作を制御する。制御部１４２は通信制御部１５１、絶対座標位置情報デコーダ７１、および座標変換部７２を有している。
【００８３】
通信制御部１５１は、通信部１４１を制御することで、通信部１４１によるサーバ５２との通信を制御する。例えば通信制御部１５１は、通信部１４１を制御して、サーバ５２から最低精度量子化位置情報や追加ビット情報を取得する取得部として機能する。
【００８４】
絶対座標位置情報デコーダ７１は、最低精度量子化位置情報や追加ビット情報に基づいてオブジェクトの絶対的な位置を示す情報を算出することで、符号化された正規化位置情報の復号（デコード）を行う位置情報算出部として機能する。
【００８５】
出力部１４３は、座標変換部７２による座標変換により得られた各オブジェクトの極座標位置情報をMPEG-Hレンダラ５５に出力する。
【００８６】
〈正規化位置情報の符号化について〉
続いて、各オブジェクトの正規化位置情報の符号化（量子化）について説明する。
【００８７】
例えばコンテンツの対象となる空間、すなわちユーザである受聴者U12とオブジェクトが存在する空間が立方体形状の空間であるとし、ある時刻では図６に示すように空間内の中心の位置に受聴者U12がいたとする。なお、図６において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００８８】
図６は、外側の四角形内部の領域R11が、受聴者U12やオブジェクトの存在する３次元空間をｘｙｚ座標系のｚ軸の正の方向から負の方向へ俯瞰した図となっており、その３次元空間の中心位置がｘｙｚ座標系の原点Oとなっている。また、ここでは原点Oの位置に受聴者U12がいる状態となっている。
【００８９】
また、領域R11により表される空間である立方体の一辺の半分の長さ、すなわち原点Oから立方体の端までの実際の長さを絶対距離absoluteDistanceとするものとする。ここで、絶対距離absoluteDistanceの長さの単位は、例えばメートル(m)などとされ、以下では、絶対距離absoluteDistanceを示す情報を絶対距離情報absoluteDistanceとも記すこととする。
【００９０】
人間の聴覚では水平方向については、正面のオブジェクトに対して左右の一定範囲内の角度であれば正面角度と同じ角度と認識されるという知見があり、この角度は知覚限界角度θと呼ばれている。なお、ここでは知覚限界角度θは例えば1.5度であるとする。
【００９１】
したがって、例えば直線L11と直線L12とのなす角度が知覚限界角度θであるとすると、点PT11と点PT12との間の任意の位置に音像を定位させた場合には、その音像位置がどこであっても原点Oにいる受聴者U12には同じ方向から音が聞こえているように知覚される。そのため、この場合には、点PT11と点PT12との間にあるオブジェクトについては、そのオブジェクトの正規化位置情報を、点PT11から点PT12までの距離を量子化ステップ幅として量子化し、そのときの量子化代表値を位置PtQを示す値とすれば、音像位置のずれを感じさせることなく量子化位置情報のビット数を削減することができる。
【００９２】
また、音の到来方向に対する受聴者U12の水平方向の許容誤差は角度情報である知覚限界角度θであることから、同じ左右0.75度以内でも受聴者U12とオブジェクトの距離が近い場合よりも遠い場合の方が、許容誤差の絶対幅は大きくなる。
【００９３】
本技術では人間の知覚限界角度θを利用することで、受聴者U12からオブジェクトまでの距離に応じて量子化位置情報の量子化精度、つまり量子化ステップ幅を変えることで本来の音像方向との知覚差を感じさせないまま情報の伝送量を抑えることができるようにした。
【００９４】
具体的には、絶対座標位置情報エンコーダ５１には、ユーザU11によりオブジェクト数nObj、絶対距離情報absoluteDistance、最小距離情報、各オブジェクトの正規化位置情報、および知覚限界角度θが入力される。
【００９５】
ここで、オブジェクト数nObjは、空間内に存在するオブジェクトの個数である。なお、以下では、コンテンツの対象となる空間が立方体形状であり、その立方体の中心位置がｘｙｚ座標系の原点Oであるものとする。
【００９６】
最小距離情報は、受聴者U12からオブジェクトまでの距離としてとり得る最小距離MinDistを示す情報である。
【００９７】
最小距離MinDistの単位は、例えば絶対距離absoluteDistanceと同じメートル(m)などとされる。このような最小距離MinDistは、例えば受聴者U12の頭部の大きさが考慮されて、受聴者U12とオブジェクトとが重ならないように定められる。なお、最小距離MinDist＝０として受聴者U12の位置にオブジェクトの音像を定位させることも勿論可能である。以下では、最小距離MinDistを示す最小距離情報を、最小距離情報MinDistとも記すこととする。
【００９８】
また、オブジェクトの正規化位置情報は、ｘｙｚ座標系におけるオブジェクトの絶対的な位置を示すｘ座標、ｙ座標、およびｚ座標であるPx(i)、Py(i)、およびPz(i)からなる情報であり、各座標におけるi（但し、0≦i＜nObj）はオブジェクトを識別するインデックスである。
【００９９】
さらに、例えば知覚限界角度θは予め定められた角度、すなわち1.5度とされ、この知覚限界角度θはクライアント５４側においても既知であるものとする。
【０１００】
ユーザU11により各情報が入力されると、絶対座標位置情報エンコーダ５１は入力された各情報を必要に応じて符号化し、出力符号化情報として最高精度位置符号化データファイルを生成する。最高精度位置符号化データファイルには、例えばオブジェクト数nObj、絶対距離情報absoluteDistance、最高精度量子化位置情報、およびべき指数部インデックスexp_index_highが含まれている。
【０１０１】
ここでは、例えばオブジェクト数nObjおよび絶対距離情報absoluteDistanceは非圧縮値とされる。また、最高精度量子化位置情報は、ｘｙｚ座標系における最高精度絶対位置を示すｘ座標、ｙ座標、およびｚ座標の各座標の仮数部であるQpx_high(i)、Qpy_high(i)、およびQpz_high(i)と、それらの各座標の正負の符号を示す符号ビット情報であるsign_x(i)、sign_y(i)、およびsign_z(i)とからなる情報である。
【０１０２】
なお、これらの最高精度絶対位置の仮数部および符号ビット情報におけるi（但し、0≦i＜nObj）はオブジェクトを識別するインデックスである。また、各符号ビット情報は非圧縮値とされ、符号ビット情報の値が０であれば座標が正の値であることを示しており、符号ビット情報の値が１であれば座標が負の値であることを示している。
【０１０３】
べき指数部インデックスexp_index_highは、最小距離MinDistである場合、すなわち最も高い量子化精度とした場合における1/2べき指数値インデックス、つまり1/2べき指数部のインデックスである。例えば、べき指数部インデックスexp_index_highは圧縮値とされる。
【０１０４】
具体的には、最小距離MinDistでのべき指数部インデックスexp_index_highは、最小距離MinDistに基づいて次式（１）を計算することにより求まるものである。
【０１０５】
【数１】
2019198540.tif 000003
【０１０６】
なお、式（１）においてINT（）は引数の整数部を出力するINT関数を示している。
【０１０７】
また、i番目のオブジェクトの最高精度量子化位置情報の仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)は、正規化位置情報のｘ座標Px(i)、ｙ座標Py(i)、およびｚ座標Pz(i)と、べき指数部インデックスexp_index_highと、知覚限界角度θとに基づいて次式（２）を計算することで得ることができる。
【０１０８】
【数２】
2019198540.tif 000004
【０１０９】
式（２）においてstep_highは、べき指数部インデックスexp_index_highに対応する量子化ステップ幅を示しており、次式（３）により求まるものである。式（３）ではsqrt()は平方根を表している。
【０１１０】
【数３】
2019198540.tif 000005
【０１１１】
なお、べき指数部インデックスexp_index_highの値を１ずつ小さくしていけば、各量子化精度に対応する低精度量子化位置情報のべき指数部インデックスexp_indexの値となり、べき指数部インデックスexp_indexの値が小さくなるほど量子化精度が低くなる。したがって、最低精度量子化位置情報のべき指数部インデックスexp_indexの値は０となる。
【０１１２】
以下では、特に量子化精度を区別しない場合には、べき指数部インデックスexp_index_highも含めて、所定の量子化精度の1/2べき指数部のインデックスを、単にべき指数部インデックスexp_indexとも称することとする。
【０１１３】
このように本技術では、最高精度の量子化ステップ幅が1/2のべき乗値、より詳細には1/2のべき乗値に、知覚限界角度θにより定まる定数である2tan(θ/2)/sqrt(3)を乗算したものとされている。このときの1/2のべき乗値の指数がべき指数部インデックスexp_index_highである。こうすることで、最高精度量子化位置情報の仮数部の一部を抽出するだけで、簡単に低精度量子化位置情報の仮数部を得ることができるようになっている。
【０１１４】
また、絶対座標位置情報エンコーダ５１では、正規化位置情報の符号ビットの符号化は、以下のようにして行われる。
【０１１５】
すなわち、ｘ座標Px(i)の値が０以上であればｘ座標の符号ビット情報sign_x(i)の値は０とされ、ｘ座標Px(i)の値が０未満であればｘ座標の符号ビット情報sign_x(i)の値は１とされる。
【０１１６】
同様にして、ｙ座標Py(i)の値が０以上であればｙ座標の符号ビット情報sign_y(i)の値は０とされ、ｙ座標Py(i)の値が０未満であればｙ座標の符号ビット情報sign_y(i)の値は１とされる。また、ｚ座標Pz(i)の値が０以上であればｚ座標の符号ビット情報sign_z(i)の値は０とされ、ｚ座標Pz(i)の値が０未満であればｚ座標の符号ビット情報sign_z(i)の値は１とされる。
【０１１７】
一方で、クライアント５４側では、最高精度量子化位置情報や低精度量子化位置情報の復号が以下のようにして行われる。
【０１１８】
すなわち、復号時には予め既知である知覚限界角度θと、サーバ５２から受信した絶対距離情報absoluteDistanceと、最終的に確定したべき指数部インデックスexp_index_selとに基づいて次式（４）の計算が行われ、量子化ステップ幅step_decが求められる。
【０１１９】
【数４】
2019198540.tif 000006
【０１２０】
べき指数部インデックスexp_index_selは、べき指数部インデックスexp_indexに対応するものである。
【０１２１】
例えば復号しようとする量子化位置情報が最高精度量子化位置情報であれば、べき指数部インデックスexp_index_selの値は、べき指数部インデックスexp_index_highと同じ値とされる。また、復号しようとする量子化位置情報が最低精度量子化位置情報であれば、べき指数部インデックスexp_index_selの値は０とされる。
【０１２２】
さらに、符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)の復号も行われる。
【０１２３】
具体的には、符号ビット情報sign_x(i)の値が０であれば、復号により得られた正規化位置情報のｘ座標の符号を示す符号ビット情報sign_x_val(i)の値が１とされ、符号ビット情報sign_x(i)の値が１であれば、復号により得られた正規化位置情報のｘ座標の符号を示す符号ビット情報sign_x_val(i)の値が−１とされる。
【０１２４】
同様に、符号ビット情報sign_y(i)の値が０であれば、復号により得られた正規化位置情報のｙ座標の符号を示す符号ビット情報sign_y_val(i)の値が１とされ、符号ビット情報sign_y(i)の値が１であれば、復号により得られた正規化位置情報のｙ座標の符号を示す符号ビット情報sign_y_val(i)の値が−１とされる。
【０１２５】
符号ビット情報sign_z(i)の値が０であれば、復号により得られた正規化位置情報のｚ座標の符号を示す符号ビット情報sign_z_val(i)の値が１とされ、符号ビット情報sign_z(i)の値が１であれば、復号により得られた正規化位置情報のｚ座標の符号を示す符号ビット情報sign_z_val(i)の値が−１とされる。
【０１２６】
量子化ステップ幅step_decと、復号後の符号ビット情報sign_x_val(i)、sign_y_val(i)、およびsign_z_val(i)とが得られると、それらの情報と、サーバ５２から受信した絶対距離情報absoluteDistanceと、最終的に確定した量子化位置情報の仮数部とに基づいて、次式（５）が計算され、最終的な復号正規化位置情報が求められる。復号正規化位置情報は、符号化された正規化位置情報を復号することで得られる絶対座標情報である。
【０１２７】
【数５】
2019198540.tif 000007
【０１２８】
なお、式（５）においてDpx(i)、Dpy(i)、およびDpz(i)は、符号化されたi番目のオブジェクトの正規化位置情報のｘ座標Px(i)、ｙ座標Py(i)、およびｚ座標Pz(i)を、復号することにより得られるｘ座標、ｙ座標、およびｚ座標である。また、ｘ座標Dpx(i)、ｙ座標Dpy(i)、およびｚ座標Dpz(i)からなる位置情報が、復号により得られたｘｙｚ座標系におけるオブジェクトの絶対的な位置を示す復号正規化位置情報とされる。
【０１２９】
さらに、式（５）においてQpx_sel(i)、Qpy_sel(i)、およびQpz_sel(i)は、最終的に確定したi番目のオブジェクトの量子化位置情報のｘ座標、ｙ座標、およびｚ座標の仮数部である。例えば最終的に確定したオブジェクトの量子化位置情報が最高精度量子化位置情報である場合には、仮数部Qpx_sel(i)、Qpy_sel(i)、およびQpz_sel(i)は、それぞれ仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)となる。
【０１３０】
〈符号化処理およびファイル保存処理の説明〉
次に、コンテンツ再生システムにおいて行われる具体的な処理について説明する。
【０１３１】
まず、図７のフローチャートを参照して、絶対座標位置情報エンコーダ５１による符号化処理、およびサーバ５２によるファイル保存処理について説明する。
【０１３２】
符号化処理が開始されると、絶対座標位置情報エンコーダ５１はステップＳ１１において、ユーザU11により入力されたオブジェクト数nObj、絶対距離情報absoluteDistance、最小距離情報MinDist、各オブジェクトの正規化位置情報、および知覚限界角度θを取得する。
【０１３３】
ステップＳ１２において絶対座標位置情報エンコーダ５１は式（１）を計算し、受聴者U12からオブジェクトまでの距離が最小距離MinDistとなるときのべき指数部インデックスexp_index_highを算出する。
【０１３４】
ステップＳ１３において絶対座標位置情報エンコーダ５１は、各オブジェクトについて、正規化位置情報、べき指数部インデックスexp_index_high、絶対距離情報absoluteDistance、および知覚限界角度θに基づいて式（２）を計算し、最高精度量子化位置情報の仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)を算出する。
【０１３５】
ステップＳ１４において絶対座標位置情報エンコーダ５１は、各オブジェクトの正規化位置情報の符号ビットを符号化し、符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)を求める。
【０１３６】
以上の処理で最高精度量子化位置情報の仮数部と符号ビット情報を求めることにより、オブジェクトの正規化位置情報が最高精度で符号化（量子化）されたことになる。
【０１３７】
ステップＳ１５において絶対座標位置情報エンコーダ５１は、各オブジェクトの最高精度量子化位置情報が含まれる最高精度位置符号化データファイルを生成する。
【０１３８】
これにより、例えば図８に示すフォーマットの最高精度位置符号化データファイルが生成される。すなわち、図８は、最高精度位置符号化データファイルのシンタックスの一例を示す図である。
【０１３９】
この例では、最高精度位置符号化データファイルの先頭には絶対距離情報absoluteDistanceが配置され、その後にべき指数部インデックスexp_index_highが配置されている。また、べき指数部インデックスexp_index_highに続いて、文字「Num_of_Object」により示されるオブジェクト数nObjを示す情報が配置されている。
【０１４０】
さらに、オブジェクト数nObjを示す情報の後には、そのオブジェクト数nObjの分だけ、各オブジェクトの最高精度量子化位置情報の符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)と、仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)とが配置されている。
【０１４１】
なお、図８の例において、最高精度量子化位置情報の仮数部のビット数を示すceil()は、引数以上の最小の整数値を出力する天井関数を示している。
【０１４２】
このようにして絶対距離情報absoluteDistance、べき指数部インデックスexp_index_high、オブジェクト数nObj、各オブジェクトの最高精度量子化位置情報の符号ビット情報、および各オブジェクトの最高精度量子化位置情報の仮数部が含まれる最高精度位置符号化データファイルが得られると、その後、処理は図７のステップＳ１６へと進む。
【０１４３】
ステップＳ１６において、絶対座標位置情報エンコーダ５１は、生成した最高精度位置符号化データファイルを、無線または有線の通信等によりサーバ５２に送信し、符号化処理は終了する。
【０１４４】
なお、後述するように最高精度位置符号化データファイルがサーバ５２で正しく保存されると、その旨の保存完了通知がサーバ５２から送信されてくるので、絶対座標位置情報エンコーダ５１は送信されてきた保存完了通知を受信して、適宜、表示させる。
【０１４５】
また、最高精度位置符号化データファイルが送信されると、サーバ５２では、ファイル保存処理が開始される。
【０１４６】
すなわち、ステップＳ３１においてサーバ５２の通信部１０１は、絶対座標位置情報エンコーダ５１から送信されてきた最高精度位置符号化データファイルを通信制御部１１１の制御に従って受信し、制御部１０２に供給する。
【０１４７】
ステップＳ３２において制御部１０２は、通信部１０１から供給された最高精度位置符号化データファイルを記録部６１に供給し、保存させる。これにより、記録部６１に最高精度位置符号化データファイルが保存（記録）された状態となる。
【０１４８】
その後、通信制御部１１１は、通信部１０１を制御して、最高精度位置符号化データファイルを正しく保存できた旨の保存完了通知を絶対座標位置情報エンコーダ５１に送信し、ファイル保存処理は終了する。
【０１４９】
以上のようにして絶対座標位置情報エンコーダ５１は、最も高い精度でオブジェクトの正規化位置情報を符号化し、その結果得られた最高精度量子化位置情報を含む最高精度位置符号化データファイルをサーバ５２に送信する。また、サーバ５２は、絶対座標位置情報エンコーダ５１から受信した最高精度位置符号化データファイルを保存する。
【０１５０】
このようにすることで、サーバ５２は、クライアント５４の要求に応じて最高精度量子化位置情報から任意の量子化精度の量子化位置情報を生成し、クライアント５４に伝送することが可能となる。
【０１５１】
これにより、クライアント５４において各オブジェクトの極座標位置情報を求めるようにしてサーバ５２や絶対座標位置情報エンコーダ５１といったコンテンツの配信側の処理負荷を低減させるとともに、最高精度量子化位置情報をそのままクライアント５４に伝送する場合と比較して情報の伝送量を削減することができる。
【０１５２】
〈位置情報取得処理および位置情報送信処理の説明〉
サーバ５２に最高精度位置符号化データファイルが保存されると、クライアント５４はサーバ５２からコンテンツについての各オブジェクトの量子化位置情報の供給を受けることができるようになる。以下、クライアント５４がサーバ５２から量子化位置情報を取得するときに行われる処理について説明する。すなわち、以下、図９のフローチャートを参照して、クライアント５４による位置情報取得処理、およびサーバ５２による位置情報送信処理について説明する。
【０１５３】
クライアント５４により位置情報取得処理が開始されると、ステップＳ６１において、通信部１４１は、通信制御部１５１の制御に従ってオブジェクト数送信要求を、無線または有線の通信等によりサーバ５２に送信する。
【０１５４】
ここで、オブジェクト数送信要求は、コンテンツを構成するオブジェクトの数、すなわち空間内に存在するオブジェクトの数を示すオブジェクト数通知情報の送信を要求する旨の情報である。
【０１５５】
オブジェクト数送信要求が送信されると、サーバ５２では位置情報送信処理が開始される。すなわち、ステップＳ８１において通信部１０１は、クライアント５４から送信されてきたオブジェクト数送信要求を通信制御部１１１の制御に従って受信し、制御部１０２に供給する。
【０１５６】
すると、送信情報生成部１１２は、記録部６１に記録されている最高精度位置符号化データファイルを参照して、オブジェクト数nObjを示すオブジェクト数通知情報を生成し、通信制御部１１１は、生成されたオブジェクト数通知情報を通信部１０１に供給する。
【０１５７】
ステップＳ８２において通信部１０１は、通信制御部１１１の制御に従って、通信制御部１１１から供給されたオブジェクト数通知情報をクライアント５４に送信する。
【０１５８】
これに対して、クライアント５４では、ステップＳ６２において通信部１４１は、サーバ５２から送信されてきたオブジェクト数通知情報を通信制御部１５１の制御に従って受信し、制御部１４２に供給する。
【０１５９】
これによりクライアント５４では、コンテンツにおけるオブジェクト数nObjを把握することができ、そのオブジェクト数nObjに応じて、これから行われる処理の準備等を行うことができる。
【０１６０】
なお、オブジェクト数通知情報は、例えば図１０に示すフォーマット（シンタックス）のヘッダ情報を含むフレームなどとすることができる。
【０１６１】
図１０の例では、ヘッダ情報には、絶対距離情報absoluteDistanceと、文字「Num_of_Object」により示されるオブジェクト数nObjを示す情報とが含まれている。なお、図１０に示すヘッダ情報は、サーバ５２からクライアント５４へと送信される信号全てに付加されてもよいし、初期化時などの適切なタイミングでクライアント５４に送信されてもよいし、定期的にクライアント５４に送信されてもよい。
【０１６２】
オブジェクト数nObjが特定されると、通信制御部１５１は、サーバ５２に対して最低精度量子化位置情報の送信を要求する送信要求を生成し、通信部１４１に供給する。
【０１６３】
なお、ここではクライアント５４によりサーバ５２から最初に取得される低精度量子化位置情報が最低精度量子化位置情報である例について説明するが、最高精度よりも低い量子化精度であれば、どのような量子化精度の低精度量子化位置情報であってもよい。
【０１６４】
ステップＳ６３において、通信部１４１は、通信制御部１５１の制御に従って、通信制御部１５１から供給された最低精度量子化位置情報の送信要求をサーバ５２に送信する。
【０１６５】
すると、サーバ５２では、ステップＳ８３において通信部１０１は、通信制御部１１１の制御に従って、クライアント５４から送信されてきた最低精度量子化位置情報の送信要求を受信して制御部１０２に供給する。
【０１６６】
ステップＳ８４において、送信情報生成部１１２は、通信部１０１から供給された送信要求に応じて、記録部６１に記録されている最高精度位置符号化データファイルを参照して、最低精度量子化位置情報の仮数部を生成する。
【０１６７】
具体的には、例えば送信情報生成部１１２は、各オブジェクトについて、最高精度位置符号化データファイルに含まれる最高精度量子化位置情報の仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)を抽出する。
【０１６８】
そして、送信情報生成部１１２は、べき指数部インデックスexp_index_highと、最も量子化精度が低い最低精度のべき指数部インデックスexp_index＝０の差の分だけ、仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)をシフトさせ、最低精度絶対位置を示すｘ座標、ｙ座標、およびｚ座標の各座標の仮数部であるQpx_low(i)、Qpy_low(i)、およびQpz_low(i)とする。
【０１６９】
換言すれば、最高精度量子化位置情報の仮数部のMSB（Most Significant Bit）側（最上位ビット側）から、最低精度のべき指数部インデックスexp_indexに応じたビット数分の情報を抽出することで、最低精度量子化位置情報の仮数部を得ることができる。
【０１７０】
例えば、べき指数部インデックスexp_index_highの値が９であったとすると、仮数部Qpx_high(i)における下位９ビット分の情報を、仮数部Qpx_high(i)に対するシフト処理により除去して得られた情報が最低精度絶対位置のｘ座標の仮数部Qpx_low(i)とされる。
【０１７１】
また、送信情報生成部１１２は、最高精度位置符号化データファイルに含まれている最高精度量子化位置情報の符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)を、そのまま最低精度量子化位置情報の符号ビット情報とする。これは、量子化精度によらず、符号ビットは同じであるからである。
【０１７２】
ステップＳ８５において、送信情報生成部１１２は、ステップＳ８４の処理で得られた仮数部Qpx_low(i)、Qpy_low(i)、およびQpz_low(i)と、符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)とが含まれる最低精度量子化位置情報を生成する。
【０１７３】
これにより、例えば図１１に示す最低精度量子化位置情報が得られる。より詳細には、図１１は、各オブジェクトの最低精度量子化位置情報が含まれるビットストリームのシンタックス例を示している。
【０１７４】
この例では、オブジェクト数nObj分の各オブジェクトについて、最低精度量子化位置情報の符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)と、最低精度量子化位置情報の各座標の仮数部Qpx_low(i)、Qpy_low(i)、およびQpz_low(i)とがビットストリームに格納されている。
【０１７５】
このようにして最低精度量子化位置情報が得られると、通信制御部１１１は、各オブジェクトの最低精度量子化位置情報を通信部１０１に供給する。
【０１７６】
ステップＳ８６において、通信部１０１は、通信制御部１１１から供給された各オブジェクトの最低精度量子化位置情報を通信制御部１１１の制御に従ってクライアント５４に送信し、位置情報送信処理は終了する。
【０１７７】
ここで、ある１つのオブジェクトの正規化位置情報の１つの軸の座標を符号化した場合の具体的な例を図１２に示す。
【０１７８】
図１２では、知覚限界角度θは1.5度とされており、知覚限界角度θにより定まる許容誤差角度は0.75度となる。また、絶対距離absoluteDistanceは30mであり、正規化位置情報の座標は0.1となっている。
【０１７９】
図１２の例では、この座標値0.1の各量子化精度に対応する仮数部の２進数の値等、すなわちバイナリ値等が示されている。
【０１８０】
すなわち、「１／２のべき指数」は、べき指数部インデックスexp_indexを示しており、べき指数部インデックスexp_indexの値が大きいほど量子化精度が高くなる。
【０１８１】
特にここでは、最も量子化精度が高いべき指数部インデックスexp_index_highの値は「９」となっており、最も量子化精度が低い最低量子化精度のべき指数部インデックスexp_indexの値は「０」となっている。
【０１８２】
また、「受聴者からオブジェクトまでの距離」は、べき指数部インデックスexp_indexに対応する量子化精度の量子化ステップ幅だけ離れた２つの位置が、受聴者U12から見て知覚限界角度θだけ離れた位置となるときの受聴者U12からオブジェクトまでの距離を示している。
【０１８３】
「量子化ステップ幅」は、べき指数部インデックスexp_indexに対応する量子化ステップ幅を示している。
【０１８４】
「実数量子化値」は、べき指数部インデックスexp_indexに対応する量子化ステップ幅により正規化位置情報の座標値「0.1」を量子化したときの実数値である。
【０１８５】
また、「量子化ビット数」は、量子化された正規化位置情報の仮数部のビット数を示しており、「２進バイナリ」は量子化された正規化位置情報の仮数部のバイナリ値（２進バイナリ値）を示しており、「整数化量子化値」は仮数部の値（整数値）を示している。つまり、「整数化量子化値」により示される値が量子化された正規化位置情報の仮数部の値であり、その値のバイナリ値が「２進バイナリ」により示される値である。
【０１８６】
特に、ここでは、べき指数部インデックスexp_indexの値が９であるものについては、「実数量子化値」により示される値を整数化したものが、量子化された正規化位置情報の仮数部の整数化量子化値とされている。
【０１８７】
これに対して、べき指数部インデックスexp_indexの値が８乃至０であるものについては、それらの仮数部は、べき指数部インデックスexp_indexの値が９である仮数部のバイナリ値の一部を抽出して得られたものとなっている。
【０１８８】
例えばべき指数部インデックスexp_indexの値が９である仮数部のバイナリ値の上位７ビットを抽出して得られる値が、べき指数部インデックスexp_indexの値が０である仮数部のバイナリ値となっている。
【０１８９】
なお、ここでは図を見やすくするため、仮数部のバイナリ値の部分では、MSB側にある「0000」が省略されている。
【０１９０】
さらに、「デコード後のPosition」は、量子化された正規化位置情報の仮数部、すなわち「２進バイナリ」により示される値に基づいて復号を行って得られる正規化位置情報の座標値を示している。
【０１９１】
この例では、量子化（符号化）される正規化位置情報の座標値は「0.1」であるから、復号後の正規化位置情報の座標値は「0.1」となることが理想的である。しかし、ここではべき指数部インデックスexp_indexが小さくなるほど量子化精度が低くなるので、復号後の座標値も量子化精度が低くなるほど誤差が大きくなっている。
【０１９２】
正規化位置情報の符号化（量子化）時には、べき指数部インデックスexp_indexに対して量子化ビット数が定まり、その量子化ビット数の仮数部、すなわち座標値の量子化値の２進バイナリ値が得られる。
【０１９３】
各べき指数部インデックスexp_indexにおける仮数部を比較すると、べき指数部インデックスexp_indexの値が大きくなるほど量子化ビット数は増加し、仮数部はLSB（Least Significant Bit）方向、すなわち最下位ビット方向に値が付加されていくことが分かる。
【０１９４】
このことは、べき指数部インデックスexp_indexが大きくなるほど仮数部の量子化精度が高くなることを意味している。そして、高い量子化精度の情報、すなわち最高精度量子化位置情報の仮数部だけを保持しておけば、仮数部のLSB側の情報を除去するだけで、新たに量子化の計算を行わなくても低精度量子化位置情報の仮数部を得ることができる。
【０１９５】
ここで、べき指数部インデックスexp_indexに対応する量子化ステップ幅stepは、次式（６）に示すものとなる。
【０１９６】
【数６】
2019198540.tif 000008
【０１９７】
また、べき指数部インデックスexp_indexに対応する仮数部の量子化ビット数は、量子化ステップ幅stepを用いて、ceil(log2(1/step+1))を計算することで得ることができる。なお、ceil()は天井関数である。
【０１９８】
したがって、例えばべき指数部インデックスexp_indexの値が「０」である場合には、量子化ビット数は７ビットとなる。
【０１９９】
いま、例えばべき指数部インデックスexp_index_highの値が「９」であるとする。この場合、最高精度のべき指数部インデックスexp_index_high＝９と、最低精度のべき指数部インデックスexp_index＝０の差は９となる。
【０２００】
したがって、最低精度量子化位置情報の座標の仮数部は、べき指数部インデックスの差である９ビット分だけ、最高精度量子化位置情報の座標の仮数部「0000110100111011」の下位ビットを除去して得られる７ビットの値「0000110」となる。
【０２０１】
換言すれば、最低精度のべき指数部インデックスexp_indexが０である場合には、量子化ビット数が７となるので、最高精度量子化位置情報の座標の仮数部の上位７ビット分を抽出すれば、最低精度量子化位置情報の座標の仮数部が得られることになる。
【０２０２】
図９のフローチャートの説明に戻り、サーバ５２により最低精度量子化位置情報が送信されると、クライアント５４では、ステップＳ６４の処理が行われる。
【０２０３】
ステップＳ６４において、通信部１４１は、サーバ５２から送信されてきた最低精度量子化位置情報を通信制御部１５１の制御に従って受信し、制御部１４２に供給する。すなわち、通信制御部１５１は最低精度量子化位置情報を取得する。
【０２０４】
最低精度量子化位置情報が受信されると、絶対座標位置情報デコーダ７１は、オブジェクト数nObj分の各オブジェクトを１つずつ処理対象のオブジェクトとして選択していき、それらのオブジェクトの最低精度絶対位置を算出する。
【０２０５】
すなわち、ステップＳ６５において絶対座標位置情報デコーダ７１は、既知である知覚限界角度θと、サーバ５２から受信したフレーム等のヘッダ情報に含まれている絶対距離情報absoluteDistanceとに基づいて式（４）と同様の計算を行い、量子化ステップ幅を算出する。ここでは、最低精度のべき指数部インデックスexp_indexの値は０であるから、式（４）において、べき指数部インデックスexp_index_selの値に代えて０を代入することで量子化ステップ幅が算出される。
【０２０６】
ステップＳ６６において絶対座標位置情報デコーダ７１は、処理対象のオブジェクトについて、ステップＳ６４で受信された最低精度量子化位置情報の符号ビット情報sign_x(i)、sign_y(i)、およびsign_z(i)を復号する。これにより、復号後の符号ビット情報sign_x_val(i)、sign_y_val(i)、およびsign_z_val(i)が得られる。
【０２０７】
ステップＳ６７において絶対座標位置情報デコーダ７１は、処理対象のオブジェクトについて、ステップＳ６５で得られた量子化ステップ幅と、ステップＳ６６で得られた符号ビット情報sign_x_val(i)、sign_y_val(i)、およびsign_z_val(i)と、ステップＳ６４で受信された最低精度量子化位置情報の仮数部Qpx_low(i)、Qpy_low(i)、およびQpz_low(i)とに基づいて最低精度絶対位置を算出する。
【０２０８】
すなわち、絶対座標位置情報デコーダ７１は、上述した式（５）と同様の計算を行って、復号された最低精度絶対位置を示すｘ座標Dtx(i)、ｙ座標Dty(i)、およびｚ座標Dtz(i)からなる復号最低精度正規化位置情報を求める。
【０２０９】
具体的には、式（５）において、量子化ステップ幅step_decに代えてステップＳ６５で得られた量子化ステップ幅が代入され、Qpx_sel(i)、Qpy_sel(i)、およびQpz_sel(i)に代えて仮数部Qpx_low(i)、Qpy_low(i)、およびQpz_low(i)が代入される。また、絶対距離情報absoluteDistanceはサーバ５２から受信したものが用いられる。これにより、ｘ座標Dpx(i)、ｙ座標Dpy(i)、およびｚ座標Dpz(i)に対応するｘ座標Dtx(i)、ｙ座標Dty(i)、およびｚ座標Dtz(i)が得られる。
【０２１０】
このようにして得られたｘ座標Dtx(i)、ｙ座標Dty(i)、およびｚ座標Dtz(i)からなる復号最低精度正規化位置情報は、仮の復号正規化位置情報である。以上のステップＳ６５乃至ステップＳ６７の処理が最低精度量子化位置情報を復号する処理となる。
【０２１１】
ステップＳ６８において絶対座標位置情報デコーダ７１は、全てのオブジェクトを処理対象のオブジェクトとして処理したか否かを判定する。
【０２１２】
ステップＳ６８において、まだ全てのオブジェクトを処理していないと判定された場合、処理はステップＳ６６に戻り、上述した処理が繰り返し行われる。この場合、まだ処理対象とされていないオブジェクトが次の処理対象のオブジェクトとして選択され、復号最低精度正規化位置情報が求められる。
【０２１３】
これに対して、ステップＳ６８において全てのオブジェクトを処理したと判定された場合、位置情報取得処理は終了する。
【０２１４】
以上のようにしてクライアント５４は、サーバ５２から最低精度量子化位置情報を受信して復号処理を行い、復号最低精度正規化位置情報を得る。また、サーバ５２は、クライアント５４の要求に応じて最低精度量子化位置情報を生成し、クライアント５４に送信する。
【０２１５】
このようにすることで、最高精度量子化位置情報を授受する場合よりも、サーバ５２とクライアント５４の間で授受される情報の伝送量を削減することができる。
【０２１６】
なお、ここでは最高精度量子化位置情報のみが予めサーバ５２に記録され、その最高精度量子化位置情報に基づいてクライアント５４へと伝送（送信）される最低精度量子化位置情報が生成される例について説明した。しかし、各量子化精度の量子化位置情報が予めサーバ５２で保持されるようにし、要求された量子化精度の量子化位置情報が読み出されてクライアント５４に送信されるようにしてもよい。
【０２１７】
〈追加ビット情報取得処理および追加ビット情報送信処理の説明〉
ところで、図９を参照して説明した位置情報取得処理が行われると、各オブジェクトについて復号最低精度正規化位置情報が得られることになる。
【０２１８】
空間内のオブジェクトの絶対的な位置を示す量子化位置情報として、最低精度量子化位置情報、つまり復号最低精度正規化位置情報が十分な精度のものであるか否かは、受聴者U12から、正規化位置情報により示される位置までの距離によって特定可能である。
【０２１９】
ここで、十分な精度の量子化位置情報とは、受聴者U12から見た正規化位置情報により示される位置の方向と、受聴者U12から見た量子化位置情報により示される位置の方向とのなす角度がθ／２以下となることである。換言すれば、受聴者U12から見て、量子化位置情報により示される位置が、正規化位置情報により示される位置を中心とする知覚限界角度θの範囲内に位置していることである。
【０２２０】
復号最低精度正規化位置情報は、正確ではないものの空間内における大よそのオブジェクトの位置を示しているので、復号最低精度正規化位置情報を用いれば、空間内における受聴者U12からオブジェクトまでの大よその距離を得ることができる。
【０２２１】
したがって、クライアント５４は、GPS等により計測された高精度な受聴者位置情報と、復号最低精度正規化位置情報とに基づいて、各オブジェクトについて最低精度量子化位置情報が十分な量子化精度のものであるか否か、および十分な量子化精度の量子化位置情報を特定することができる。
【０２２２】
クライアント５４は、最低精度量子化位置情報が十分な量子化精度のものでない場合には、追加ビット情報をサーバ５２から取得して、十分な精度の復号正規化位置情報を得る。以下、そのような場合にクライアント５４およびサーバ５２により行われる処理について説明する。すなわち、以下、図１３のフローチャートを参照して、クライアント５４による追加ビット情報取得処理、およびサーバ５２による追加ビット情報送信処理について説明する。
【０２２３】
クライアント５４において追加ビット情報取得処理が開始されると、ステップＳ１２１において絶対座標位置情報デコーダ７１は、各オブジェクトについて、受聴者U12からオブジェクトまでの距離ObjectDistanceを算出する。
【０２２４】
具体的には、受聴者位置取得装置５３から供給された受聴者位置情報と、復号最低精度正規化位置情報とに基づいて、空間内における受聴者U12からオブジェクトまでのユークリッド距離が距離ObjectDistanceとして算出される。
【０２２５】
ステップＳ１２２において、絶対座標位置情報デコーダ７１は、べき指数部インデックスexp_indexの値を０からより大きい値へと変化させながら、べき指数部インデックスexp_indexに対して定まる距離distanceと、距離ObjectDistanceとを比較する。
【０２２６】
すなわち、例えば絶対座標位置情報デコーダ７１は、べき指数部インデックスexp_index、および絶対距離情報absoluteDistanceに基づいて次式（７）を計算することにより、べき指数部インデックスexp_indexに対応する距離distanceを算出する。
【０２２７】
【数７】
2019198540.tif 000009
【０２２８】
そして、絶対座標位置情報デコーダ７１は、求めた距離distanceと距離ObjectDistanceとを比較し、距離distanceが距離ObjectDistance以下となるか否かを判定する。
【０２２９】
絶対座標位置情報デコーダ７１は、距離distanceが距離ObjectDistance以下となるまで、べき指数部インデックスexp_indexの値を１ずつ増加させながら、距離distanceが距離ObjectDistance以下となる最も小さいべき指数部インデックスexp_indexを特定する。
【０２３０】
なお、以下、距離distanceが距離ObjectDistance以下となる最も小さいべき指数部インデックスexp_indexをべき指数部インデックスexp_index_coverとも称する。
【０２３１】
べき指数部インデックスexp_index_coverは、上述した十分な精度の量子化位置情報のべき指数部インデックスexp_indexのうちの最も値が小さいものである。
【０２３２】
各オブジェクトについて、べき指数部インデックスexp_index_coverが特定されると、処理はステップＳ１２３へと進む。
【０２３３】
ステップＳ１２３において、絶対座標位置情報デコーダ７１は、各オブジェクトについてべき指数部インデックスexp_index_coverと、最低精度量子化位置情報のべき指数部インデックスexp_indexとを比較し、不十分な量子化精度のオブジェクトの洗い出しを行う。
【０２３４】
ここで、べき指数部インデックスexp_index_coverは、最低限必要な量子化精度のべき指数部インデックスexp_indexである。したがって、最低精度量子化位置情報のべき指数部インデックスexp_indexがべき指数部インデックスexp_index_cover未満となるオブジェクトは、量子化精度が不十分なものであるとされる。
【０２３５】
特に、ここでは最低精度量子化位置情報のべき指数部インデックスexp_indexの値は０であるから、べき指数部インデックスexp_index_coverの値が１以上であるオブジェクトは、量子化精度が不十分であり、追加ビット情報が必要なオブジェクトであるとされる。
【０２３６】
このような洗い出しの処理により、量子化精度が不十分であり追加ビット情報が必要となるオブジェクトが特定されるとともに、そのようなオブジェクトについて、予め定められた複数の量子化精度のなかから、必要な量子化精度が決定（特定）されたことになる。ここでいう必要な量子化精度とは、べき指数部インデックスexp_index_coverに対応する量子化精度（量子化ステップ幅）である。
【０２３７】
ステップＳ１２４において絶対座標位置情報デコーダ７１は、べき指数部インデックスexp_indexがべき指数部インデックスexp_index_cover以上となる最低精度量子化位置情報について得られた復号最低精度正規化位置情報を、最終的な復号正規化位置情報とする。
【０２３８】
すなわち、べき指数部インデックスexp_indexがべき指数部インデックスexp_index_cover以上となるオブジェクトについては、十分な量子化精度の復号最低精度正規化位置情報が得られたことになる。そのため、復号最低精度正規化位置情報のｘ座標Dtx(i)、ｙ座標Dty(i)、およびｚ座標Dtz(i)が、そのまま復号正規化位置情報のｘ座標Dpx(i)、ｙ座標Dpy(i)、およびｚ座標Dpz(i)とされる。
【０２３９】
ステップＳ１２５において通信部１４１は、べき指数部インデックスexp_indexがべき指数部インデックスexp_index_cover未満となるオブジェクト、つまり追加ビット情報が必要であると特定されたオブジェクトについて、追加ビット情報の送信要求を送信する。
【０２４０】
例えば絶対座標位置情報デコーダ７１は、追加ビット情報の送信を要求するオブジェクトの数、オブジェクトのインデックスresend_object_index(j)、およびべき指数部インデックスresend_exp_index(j)を含む、追加ビット情報の送信要求を生成する。
【０２４１】
ここで、オブジェクトのインデックスresend_object_index(j)は、追加ビット情報の送信を要求するオブジェクト、つまりべき指数部インデックスexp_indexがべき指数部インデックスexp_index_cover未満となるオブジェクトを識別するインデックスiである。
【０２４２】
べき指数部インデックスresend_exp_index(j)は、インデックスresend_object_index(j)により示されるオブジェクトについて、最終的に必要となる量子化精度のべき指数部インデックスexp_indexである。この場合、べき指数部インデックスexp_index_coverの値がそのままべき指数部インデックスresend_exp_index(j)の値として用いられる。
【０２４３】
これにより、例えば図１４に示すフォーマット（シンタックス）の送信要求が得られる。
【０２４４】
この例では、送信要求の先頭に文字「num_of_resend_objects」により示される追加ビット情報の送信を要求するオブジェクトの数を示す情報が配置されている。
【０２４５】
そして、その後にnum_of_resend_objectsに示される数だけ、オブジェクトのインデックスresend_object_index(j)、およびべき指数部インデックスresend_exp_index(j)が配置されている。
【０２４６】
図１３の説明に戻り、通信制御部１５１は、このようにして生成された追加ビット情報の送信要求を通信部１４１に供給し、サーバ５２へと送信させる。
【０２４７】
追加ビット情報の送信要求が送信されると、サーバ５２では、追加ビット情報送信処理が開始される。
【０２４８】
すなわち、ステップＳ１６１において通信部１０１は、クライアント５４から送信されてきた追加ビット情報の送信要求を通信制御部１１１の制御に従って受信し、制御部１０２に供給する。
【０２４９】
ステップＳ１６２において、送信情報生成部１１２は、通信部１０１から供給された送信要求に応じて、すなわち最低精度量子化位置情報の送信先であるクライアント５４からの要求に応じて、送信が要求されたオブジェクトの追加ビット情報を生成する。
【０２５０】
具体的には、例えば送信情報生成部１１２は、インデックスresend_object_index(j)により示されるオブジェクトについて、最高精度位置符号化データファイルに含まれる最高精度量子化位置情報の仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)を抽出する。
【０２５１】
そして送信情報生成部１１２は、べき指数部インデックスexp_index_highと、べき指数部インデックスresend_exp_index(j)との差の分だけ仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)をシフトさせる。
【０２５２】
これにより、仮数部Qpx_high(i)、Qpy_high(i)、およびQpz_high(i)における下位ビット側のべき指数部インデックスexp_index_highと、べき指数部インデックスresend_exp_index(j)との差の分のビットが除去され、べき指数部インデックスresend_exp_index(j)の量子化位置情報の仮数部が得られることになる。
【０２５３】
送信情報生成部１１２は、得られたべき指数部インデックスresend_exp_index(j)の量子化位置情報の仮数部から、上位ビット側における最低精度量子化位置情報の仮数部のビット数分のビットを除去して追加ビット情報とする。
【０２５４】
この追加ビット情報は、べき指数部インデックスresend_exp_index(j)の量子化位置情報と、最低精度量子化位置情報とのｘ座標、ｙ座標、およびｚ座標の各座標の仮数部の差分情報である追加ビット情報Qpx_diff(j)、Qpy_diff(j)、およびQpz_diff(j)からなる。
【０２５５】
例えば追加ビット情報Qpx_diff(j)は、べき指数部インデックスresend_exp_index(j)の量子化位置情報のｘ座標の仮数部と、最低精度量子化位置情報のｘ座標の仮数部Qpx_low(i)との差分である。
【０２５６】
例えば図１２に示した例において、べき指数部インデックスresend_exp_index(j)の値が７であったとする。
【０２５７】
この場合、最高精度量子化位置情報のべき指数部インデックスexp_index_highは９であるから、その９と、べき指数部インデックスresend_exp_index(j)＝７との差分は２となる。
【０２５８】
また、最高精度量子化位置情報の仮数部である「0000110100111011」から下位２ビット分を除去することで、べき指数部インデックスresend_exp_index(j)＝７の低精度量子化位置情報の仮数部「00001101001110」が得られる。
【０２５９】
さらに、最低精度量子化位置情報の仮数部のビット数は７ビットであるから、仮数部「00001101001110」から上位７ビットを除去すると、追加ビット情報「1001110」が得られることになる。クライアント５４側では、このようにして得られた追加ビット情報「1001110」を、最低精度量子化位置情報の仮数部「0000110」の下位ビット側に付加することで、最終的に必要とされているべき指数部インデックスresend_exp_index(j)＝７である低精度量子化位置情報の仮数部「00001101001110」が得られることになる。
【０２６０】
以上の処理により、各インデックスresend_object_index(j)により示されるオブジェクトについて追加ビット情報が得られると、送信情報生成部１１２は、それらの追加ビット情報が含まれる差分データを生成する。
【０２６１】
これにより、例えば図１５に示されるフォーマット（シンタックス）の差分データが得られる。この例では、差分データには、上述したnum_of_resend_objectsに示される数だけ、オブジェクトの追加ビット情報Qpx_diff(j)、Qpy_diff(j)、およびQpz_diff(j)が含まれている。
【０２６２】
なお、図１５において、各追加ビット情報のビット数は、resend_exp_index(j)分のビット数となっている。
【０２６３】
図１３の説明に戻り、通信制御部１１１は、追加ビット情報が含まれる差分データを通信部１０１に供給し、クライアント５４への送信を制御する。
【０２６４】
ステップＳ１６３において、通信部１０１は、通信制御部１１１の制御に従って、通信制御部１１１から供給された追加ビット情報が含まれる差分データをクライアント５４に送信し、追加ビット情報送信処理は終了する。
【０２６５】
また、差分データが送信されると、クライアント５４ではステップＳ１２６の処理が行われる。
【０２６６】
ステップＳ１２６において、通信部１４１は通信制御部１５１の制御に従って、サーバ５２から送信されてきた差分データを受信して制御部１４２に供給する。すなわち、通信制御部１５１は、追加ビット情報が含まれる差分データを取得する。
【０２６７】
ステップＳ１２７において、絶対座標位置情報デコーダ７１は各インデックスresend_object_index(j)により示されるオブジェクトについて、べき指数部インデックスresend_exp_index(j)の値を、べき指数部インデックスexp_index_selとして式（４）の計算を行い、量子化ステップ幅step_decを算出する。
【０２６８】
ステップＳ１２７では、ステップＳ１２３で量子化精度が不十分であるとされたオブジェクトごと、つまりインデックスresend_object_index(j)により示されるオブジェクトごとに量子化ステップ幅step_decが算出される。
【０２６９】
ステップＳ１２８において、絶対座標位置情報デコーダ７１は各インデックスresend_object_index(j)により示されるオブジェクトについて、通信部１４１から供給された差分データに基づいて、べき指数部インデックスresend_exp_index(j)の量子化位置情報の仮数部を生成する。
【０２７０】
すなわち、絶対座標位置情報デコーダ７１は、最低精度量子化位置情報の仮数部Qpx_low(i)、Qpy_low(i)、およびQpz_low(i)の下位ビット側に、差分データに含まれている追加ビット情報Qpx_diff(j)、Qpy_diff(j)、およびQpz_diff(j)を付加する。
【０２７１】
これにより、べき指数部インデックスresend_exp_index(j)の量子化位置情報の各座標の仮数部が得られ、それらの仮数部が最終的に確定した仮数部Qpx_sel(i)、Qpy_sel(i)、およびQpz_sel(i)とされる。
【０２７２】
ステップＳ１２９において、絶対座標位置情報デコーダ７１は各インデックスresend_object_index(j)により示されるオブジェクトについて、オブジェクトの復号正規化位置情報を算出する。
【０２７３】
具体的には、ステップＳ１２７で得られた量子化ステップ幅step_dec、絶対距離情報absoluteDistance、図９のステップＳ６６で得られた復号後の符号ビット情報、およびステップＳ１２８で得られた最終的に確定した仮数部に基づいて式（５）が計算され、復号正規化位置情報が算出される。
【０２７４】
以上のステップＳ１２７乃至ステップＳ１２９の処理は、最低精度量子化位置情報と追加ビット情報とから得られる量子化位置情報を復号する処理となる。また、以上の処理により、オブジェクト数nObj分の全てのオブジェクトについて、復号正規化位置情報が得られたことになる。
【０２７５】
ステップＳ１３０において、座標変換部７２はオブジェクトごとに、復号正規化位置情報と、受聴者位置取得装置５３から供給された受聴者位置情報とに基づいて、空間内における受聴者U12から見たオブジェクトの位置を示す極座標位置情報を算出する。
【０２７６】
そして、座標変換部７２は、得られた極座標位置情報を出力部１４３に供給し、出力部１４３は、それらの極座標位置情報をMPEG-Hレンダラ５５に出力する。出力部１４３が全オブジェクトの極座標位置情報をMPEG-Hレンダラ５５に出力すると、追加ビット情報取得処理は終了する。
【０２７７】
追加ビット情報取得処理が終了するとMPEG-Hレンダラ５５ではレンダリングが行われる。すなわち、MPEG-Hレンダラ５５は、サーバ５２等から取得した各オブジェクトのオーディオデータと、出力部１４３から供給された極座標位置情報とに基づいてレンダリングを行い、空間内の各位置にオブジェクトの音像が定位する再生オーディオデータを生成し、スピーカ等の再生系へと出力する。
【０２７８】
以上のようにしてクライアント５４は、量子化精度が不十分なオブジェクトについては、サーバ５２から追加ビット情報を取得（受信）して、十分な精度の復号正規化位置情報を算出する。また、サーバ５２は、クライアント５４の要求に応じて追加ビット情報を生成し、クライアント５４へと送信する。
【０２７９】
このようにすることで、クライアント５４では、最初から最高精度量子化位置情報をサーバ５２から取得するよりも少ない情報伝送量で、十分な精度の復号正規化位置情報を得ることができる。
【０２８０】
しかも、必要となる量子化精度を求める処理や極座標位置情報を算出する処理は、全てクライアント５４で行われるので、サーバ５２や絶対座標位置情報エンコーダ５１といったコンテンツ配信側の処理負荷を低減させることができる。特に、この処理負荷の低減効果は、サーバ５２に接続されるクライアント５４の数が多くなるほど大きくなる。
【０２８１】
なお、クライアント５４では、コンテンツの再生時には空間内におけるオブジェクトや受聴者U12の位置が変化するたびに極座標位置情報が変化する。
【０２８２】
そのため、クライアント５４は、例えば受聴者U12の受聴者位置情報が変化すると、極座標位置情報を更新することになる。
【０２８３】
しかし、空間内においてオブジェクトは移動しておらず、かつ受聴者U12がオブジェクトから遠ざかる方向に移動した場合には、そのオブジェクトについては特に復号正規化位置情報の更新は必要ない。これは、オブジェクトは動いていないことに加えて、オブジェクトと受聴者U12の距離がより離れたときには必要となる精度がより低くなるからである。すなわち、既に十分な精度の復号正規化位置情報があるからである。
【０２８４】
そのような場合、例えばクライアント５４の通信制御部１５１は通信部１４１を制御して、動きのあったオブジェクトと、受聴者U12からの距離が短くなったオブジェクトについてのみ、それらのオブジェクトのインデックスiを含む、最低精度量子化位置情報の送信要求をサーバ５２に送信させる。そして、通信部１４１は、図９のステップＳ６４において、それらのオブジェクトのインデックスiのオブジェクトの最低精度量子化位置情報のみをサーバ５２から受信して、クライアント５４でそれ以降の処理が行われ、極座標位置情報が更新される。
【０２８５】
その他、動きのないオブジェクトで、受聴者U12からの距離が短くなったオブジェクトについては、これまでの処理で得られていた復号正規化位置情報と、新たな受聴者U12の受聴者位置情報とから、必要となる量子化精度を特定可能である。
【０２８６】
したがって、この場合、動きがなく、かつ受聴者U12からの距離が短くなったオブジェクトについて、クライアント５４が図１３の追加ビット情報取得処理を行うようにすれば、新たに最低精度量子化位置情報を取得することなく、十分な精度の復号正規化位置情報を得ることができる。
【０２８７】
以上のように、本技術によれば、自由視点の3D Audioにおいて発生するコンテンツ配信側の一方的な処理負荷を回避し、オブジェクトの位置を示す情報を伝送することができる。また、受聴者U12からオブジェクトまでの距離と、人間の知覚限界角度θとに応じて適切な量子化精度を特定するようにしたので、本来の音像方向との差が知覚限界以下となる量子化位置情報を伝送量を抑えながら伝送することが可能となる。
【０２８８】
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２８９】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２９０】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２９１】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０２９２】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
【０２９３】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２９４】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２９５】
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２９６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２９７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９８】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２９９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３００】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０１】
さらに、本技術は、以下の構成とすることも可能である。
【０３０２】
（１）
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得する取得部と、
前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める位置情報算出部と
を備える情報処理装置。
（２）
前記位置情報算出部は、前記ユーザの位置を示すユーザ位置情報と、前記低精度位置情報とに基づいて、前記追加情報が必要な前記オブジェクトを特定し、
前記取得部は、１または複数の前記オブジェクトのうち、前記位置情報算出部により特定された前記オブジェクトについて前記追加情報を取得する
（１）に記載の情報処理装置。
（３）
前記位置情報算出部は、前記追加情報が必要な前記オブジェクトごとに、前記ユーザ位置情報と前記低精度位置情報とに基づいて、複数の精度のなかから前記位置情報の前記第２の精度を決定する
（２）に記載の情報処理装置。
（４）
前記低精度位置情報および前記位置情報は、前記空間内における前記オブジェクトの位置の絶対座標を示す情報であり、
前記ユーザ位置情報は、前記空間内における前記ユーザの位置の絶対座標を示す情報である
（２）または（３）に記載の情報処理装置。
（５）
前記位置情報および前記ユーザ位置情報に基づいて、前記位置情報を前記ユーザから見た前記オブジェクトの相対的な位置を示す極座標情報に変換する変換部をさらに備える
（４）に記載の情報処理装置。
（６）
前記追加情報は、前記位置情報と前記低精度位置情報との差分の情報である
（１）乃至（５）の何れか一項に記載の情報処理装置。
（７）
前記オブジェクトはオーディオオブジェクトである
（１）乃至（６）の何れか一項に記載の情報処理装置。
（８）
情報処理装置が、
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、
前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得し、
前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める
情報処理方法。
（９）
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を取得し、
前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を取得し、
前記低精度位置情報および前記追加情報に基づいて前記位置情報を求める
ステップを含む処理をコンピュータに実行させるプログラム。
（１０）
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する通信部を備える
情報処理装置。
（１１）
前記低精度位置情報および前記位置情報は、前記空間内における前記オブジェクトの位置の絶対座標を示す情報である
（１０）に記載の情報処理装置。
（１２）
前記追加情報は、前記位置情報と前記低精度位置情報との差分の情報である
（１０）または（１１）に記載の情報処理装置。
（１３）
前記オブジェクトの位置を示す情報を最も高い精度の量子化ステップ幅で量子化して得られた最高精度位置情報を記録する記録部と、
前記最高精度位置情報の一部を抽出することで前記低精度位置情報または前記追加情報を生成する送信情報生成部と
をさらに備える（１２）に記載の情報処理装置。
（１４）
前記量子化ステップ幅は、１／２のべき乗値に定数を乗算して得られる値とされる
（１３）に記載の情報処理装置。
（１５）
前記オブジェクトはオーディオオブジェクトである
（１０）乃至（１４）の何れか一項に記載の情報処理装置。
（１６）
情報処理装置が、
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、
前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する
情報処理方法。
（１７）
ユーザがいる空間内のオブジェクトの位置を示す第１の精度の低精度位置情報を送信し、
前記低精度位置情報の送信先からの要求に応じて、前記空間内の前記オブジェクトの位置を示す、前記ユーザの位置に応じた前記第１の精度よりも高い第２の精度の位置情報を得るための追加情報を送信する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０３０３】
５２  サーバ，  ５４  クライアント，  ６１  記録部，  ７１  絶対座標位置情報デコーダ，  ７２  座標変換部，  １０１  通信部，  １０２  制御部，  １４１  通信部，  １４２  制御部
【図１】
2019198540.tif 000010
【図２】
2019198540.tif 000011
【図３】
2019198540.tif 000012
【図４】
2019198540.tif 000013
【図５】
2019198540.tif 000014
【図６】
2019198540.tif 000015
【図７】
2019198540.tif 000016
【図８】
2019198540.tif 000017
【図９】
2019198540.tif 000018
【図１０】
2019198540.tif 000019
【図１１】
2019198540.tif 000020
【図１２】
2019198540.tif 000021
【図１３】
2019198540.tif 000022
【図１４】
2019198540.tif 000023
【図１５】
2019198540.tif 000024
【図１６】
2019198540.tif 000025
【国際調査報告】
2019198540.tif 000026
2019198540.tif 000027