(57)【要約】  ユーザに与える違和感や不快感などを抑制しつつ、臨場感のあるオーディオ再生を実現する。実施形態に係る情報処理装置（１、２）は、複数のオブジェクトを含むコンテンツデータを取得する取得部（１１）と、前記オブジェクトそれぞれに対するレンダリングの実行タイミングを決定する実行タイミング決定部（１３４）と、前記オブジェクトそれぞれの前記実行タイミングの直前に入力されたユーザの視線情報に基づいて前記オブジェクトそれぞれのレンダリングを実行するレンダリング処理部（１５１、１５２、１５３）と、前記レンダリングにより生成された前記オブジェクトごとの出力データを合成する出力合成部（１５４）とを備える。
2020153092.tif 000002
【特許請求の範囲】
【請求項１】
複数のオブジェクトを含むコンテンツデータを取得する取得部と、
前記オブジェクトそれぞれに対するレンダリングの実行タイミングを決定する実行タイミング決定部と、
前記オブジェクトそれぞれの前記実行タイミングの直前に入力されたユーザの視線情報に基づいて前記オブジェクトそれぞれのレンダリングを実行するレンダリング処理部と、
前記レンダリングにより生成された前記オブジェクトごとの出力データを合成する出力合成部と、
を備える情報処理装置。
【請求項２】
前記コンテンツデータは、前記オブジェクトそれぞれに対応付けられた複数のメタデータを含み、
前記実行タイミング決定部は、前記メタデータに基づいて前記オブジェクトそれぞれの前記実行タイミングを決定する
請求項１に記載の情報処理装置。
【請求項３】
前記メタデータは、前記コンテンツデータが再現する３次元空間内でのユーザの視聴位置を基準とした各オブジェクトの位置情報を含む
請求項２に記載の情報処理装置。
【請求項４】
前記実行タイミング決定部は、前記３次元空間内での前記ユーザの視聴位置から前記オブジェクトそれぞれまでの距離に基づいて、前記オブジェクトそれぞれの前記実行タイミングを決定する
請求項３に記載の情報処理装置。
【請求項５】
前記オブジェクトそれぞれには、それぞれ再生環境において表示する表示時刻が設定されており、
前記実行タイミング決定部は、前記表示時刻が同じオブジェクトに関して、前記３次元空間内における前記ユーザの視聴位置までの距離が短いオブジェクトに対するレンダリングが、前記３次元空間内における前記ユーザの視聴位置までの距離が長いオブジェクトに対するレンダリングよりも遅いタイミングで実行されるように、前記実行タイミングを決定する
請求項４に記載の情報処理装置。
【請求項６】
前記出力合成部は、前記オブジェクトそれぞれの前記表示時刻に基づいて前記オブジェクトごとの前記出力データを合成する
請求項５に記載の情報処理装置。
【請求項７】
前記レンダリング処理部は、前記メタデータにさらに基づいて、前記オブジェクトそれぞれのレンダリングを実行する
請求項２に記載の情報処理装置。
【請求項８】
前記レンダリング処理部は、前記ユーザの視線情報に基づいて前記メタデータを加工し、加工後の前記メタデータに基づいて前記オブジェクトそれぞれのレンダリングを実行する
請求項７に記載の情報処理装置。
【請求項９】
前記レンダリング処理部は、前記オブジェクトの再生環境に関する情報にさらに基づいて、前記オブジェクトそれぞれのレンダリングを実行する
請求項２に記載の情報処理装置。
【請求項１０】
前記複数のオブジェクトは、音声オブジェクトを含む請求項１に記載の情報処理装置。
【請求項１１】
前記音声オブジェクトは、MPEG-H  3D  Audio符号化方式にて符号化されている請求項１０に記載の情報処理装置。
【請求項１２】
前記複数のオブジェクトは、映像オブジェクトを含む請求項１に記載の情報処理装置。
【請求項１３】
前記コンテンツデータは、音声コンテンツを含む映像コンテンツである請求項１に記載の情報処理装置。
【請求項１４】
複数のオブジェクトを含むコンテンツデータを取得し、
前記オブジェクトそれぞれに対するレンダリングの実行タイミングを決定し、
前記オブジェクトそれぞれの前記実行タイミングの直前に入力されたユーザの視線情報に基づいて前記オブジェクトそれぞれのレンダリングを実行し、
前記レンダリングにより生成された前記オブジェクトごとの出力データを合成する
ことを備える情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
従来、オーディオ再生においては、ユーザの視線情報を反映して音像定位を変更するようなパンニング技術が知られている。一方で、画音間の時刻同期のためにオーディオ出力を遅延させるバッファリング技術も確立されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】INTERNATIONAL  STANDARD  ISO/IEC  23008-3  First  edition  2015-10-15  Information  technology  -  High  efficiency  coding  and  media  delivery  in  heterogeneous  environments  -  Part  3:  3D  audio
【非特許文献２】INTERNATIONAL  STANDARD  ISO/IEC  23001-8  Information  technology  -  MPEG  systems  technologies  -  Part  8:  Coding-independent  code  points
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、パンニング技術とバッファリング技術とを組み合わせた場合、音声出力のバッファリングによりユーザの視線方向への追従遅れ、すなわち、画音同期ズレが発生し、それにより、ユーザに違和感を与え得るという課題が存在する。また、音声出力をバッファリングしない場合には、パンニングの処理が集中して一時的に負荷が増大し、それにより、音飛びや音割れなどの不具合が発生してユーザに不快感を与え得るという課題が存在する。【０００５】
そこで本開示では、ユーザに与える違和感や不快感などを抑制しつつ、臨場感のあるオーディオ再生を実現することが可能な情報処理装置及び情報処理方法を提案する。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、複数のオブジェクトを含むコンテンツデータを取得する取得部と、前記オブジェクトそれぞれに対するレンダリングの実行タイミングを決定する実行タイミング決定部と、前記オブジェクトそれぞれの前記実行タイミングの直前に入力されたユーザの視線情報に基づいて前記オブジェクトそれぞれのレンダリングを実行するレンダリング処理部と、前記レンダリングにより生成された前記オブジェクトごとの出力データを合成する出力合成部とを備える。
【図面の簡単な説明】
【０００７】
【図１】バッファリング技術を用いた一般的なオーディオ再生の流れを説明するための図である。
【図２】バッファサイズを小さくした場合のオーディオ再生の流れを説明するための図である。
【図３】バッファサイズを大きくした場合のオーディオ再生の流れを説明するための図である。
【図４】バッファリング技術とパンニング技術とを組み合わせた場合のオーディオ再生の流れを説明するための図である（その１）。
【図５】バッファリング技術とパンニング技術とを組み合わせた場合のオーディオ再生の流れを説明するための図である（その２）。
【図６】バッファリング技術とパンニング技術とを組み合わせた場合のオーディオ再生の流れを説明するための図である（その３）。
【図７】２つの音声オブジェクトを再生環境を構成する５つのスピーカにマッピングして出力する例を説明するための図である。
【図８】メタデータに含まれる位置情報を説明するための図である。
【図９】第１の実施形態に係るオーディオ再生の流れを説明するための図である。
【図１０】第１の実施形態に係るレンダリング（３次元パンニング）の流れを説明するための図である。
【図１１】第１の実施形態に係るレンダリングから音声出力までの流れをデータ視点から説明するための図である。
【図１２】第１の実施形態に係る再生装置の概略構成例を示すブロック図である。
【図１３】第１の実施形態に係るデコード部のより詳細なブロック構成例を示すブロック図である。
【図１４】第１の実施形態に係るレンダリング部のより詳細なブロック構成例を示すブロック図である。
【図１５】第１の実施形態に係る入力データのデータ形式の一例を示す図である。
【図１６】第１の実施形態に係る中間データのデータ形式の一例を示す図である。
【図１７】第１の実施形態に係る出力データのデータ形式の一例を示す図である。
【図１８】第１の実施形態に係る中間データ記憶部内での中間データのデータ構造例を概念的に説明するための図である。
【図１９】第１の実施形態に係るMPEG-H  3D  Audioビットストリーム再生フローの概略例を示すフローチャートである。
【図２０】第１の実施形態に係るデコード処理の一例を示すフローチャートである。
【図２１】第１の実施形態に係るＮ次レンダリング処理の一例を示すフローチャートである。
【図２２】第１の実施形態に係るＩ番目の音声オブジェクトのレンダリング処理の一例を示すフローチャートである。
【図２３】第１の実施形態に係る出力合成処理の一例を示すフローチャートである。
【図２４】第１の実施形態に係る中間データ記憶部の圧縮処理を説明するための具体例を示す図である。
【図２５】第１の実施形態に係るレンダリング処理段数決定処理の一例を示すフローチャートである。
【図２６】第１の実施形態に係るレンダリング次数決定処理の一例を示すフローチャートである。
【図２７】第１の実施形態に係るコンテンツ生成側でレンダリング次数を決定する場合のメタデータフィールドの一例を示す図である。
【図２８】第２の実施形態に係る再生装置の概略構成例を示すブロック図である。
【図２９】第２の実施形態に係るデコード部の概略構成例を示すブロック図である。
【図３０】第２の実施形態に係る中間データのデータ形式の一例を示す図である。
【図３１】第２の実施形態に係るレンダリング部の概略構成例を示すブロック図である。
【図３２】本開示の実施形態に係る再生装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【０００９】
また、以下に示す項目順序に従って本開示を説明する。
１．はじめに
１．１  画音再生機器における画音再生の時刻同期の技術
１．１．１  固定遅延量の設定
１．１．２  音声出力のバッファリング
１．２  音像定位を変更するための複数音源に対するパンニング技術
１．３  バッファリング技術とパンニング技術とを組み合わせることで生じる課題
１．４  音声データの符号化方式について
１．４．１  MPEG-H  3D  Audio符号化方式
１．５  用語について
２．第１の実施形態
２．１  MPEG-H  3D  Audioのレンダリングでの実施例
２．２  システム構成
２．３  入力データ、中間データ及び出力データのデータ形式について
２．４  中間データ記憶部内のデータ構造について
２．５  動作フロー
２．５．１  MPEG-H  3D  Audioビットストリーム再生フロー
２．５．２  デコード処理（ステップＳ１０４）
２．５．３  Ｎ次レンダリング処理（ステップＳ１０６）
２．５．４  Ｉ番目の音声オブジェクトのレンダリング処理（ステップＳ１４４）
２．５．４．１  出力合成処理（ステップＳ１６６）
２．５．４．２  中間データ記憶部の圧縮処理（ステップＳ１６７）
２．５．５  レンダリング処理段数決定処理（ステップＳ１０２）
２．５．６  レンダリング次数決定処理（ステップＳ１２４）
２．６  コンテンツ生成側でのレンダリング次数の決定
３．第２の実施形態
３．１  システム構成
４．ハードウェア構成
５．まとめ
【００１０】
１．はじめに
本開示の実施形態に係る情報処理装置及び情報処理方法を説明するにあたり、先に、各実施形態において前提となる技術について、図面を参照して説明する。
【００１１】
１．１  画音再生機器における画音再生の時刻同期の技術
一般的に、画音再生の時刻同期はリップシンクと呼ばれ、映像の出力準備が完了するまで音声の出力を遅延させることで実現される。これは、映像に対して音声が遅れた場合にユーザが抱く違和感に対し、映像に対して音声が先行した場合にユーザが抱く違和感の方が大きいためである。言い換えれば、音声先行に対するユーザ感度が、音声遅延に対するユーザ感度よりも高く、音声が先行した場合の方がより大きな違和感をユーザに与えるためである。
【００１２】
１．１．１  固定遅延量の設定
一般的なデジタルテレビでは、画音同期ずれの解消のために、固定値のオーディオ遅延量をユーザが設定する機能が提供されている。また、ＨＤＭＩ（High-Definition  Multimedia  Interface）では、伝送遅延などの対策として、固定遅延量の設定機能が提供されている。これらのいずれの機能も、ユーザ環境下にて画音間の同期ずれを解消することを目的としている。
【００１３】
１．１．２  音声出力のバッファリング
上述でも触れたように、音声出力をバッファリングすることで画音同期ずれを回避する技術が存在する。この技術では、音声の出力を遅延させる目的で音声出力のバッファリングが行われる。
【００１４】
図１は、バッファリング技術を用いた一般的なオーディオ再生の流れを説明するための図である。図１に示すように、ＰＣ（Personal  Computer）などの情報処理装置にアプリケーション（以下、ＰＣアプリケーションともいう）として実装されたオーディオ再生機能やＬｉｎｕｘなど汎用ＯＳ（Operating  System）を搭載した機器上のオーディオ再生機能においては、入力された音声データに対し、音声復号処理やエフェクト処理（１０１）が実行され、これにより、表示時刻ごとの音声データ（以下、オーディオ出力ともいう）が生成される。図１に示す例では、例えば、入力音声データに対して、表示時刻＃１〜＃３ごとのオーディオ出力＃１〜＃３が生成される。なお、本説明における“＃ｎ（ｎは自然数）”は、例えば、時間軸上での順序と等価であってよい。
【００１５】
一般的なオーディオ再生の流れでは、音声復号処理された音声データに対して、何らかのエフェクト処理が実行される。エフェクト処理としては、ハイパスフィルタやローパスフィルタ等による音質向上を目的とした処理などが挙げられる。ただし、このエフェクト処理は必須ではなく、省略されてもよい。
【００１６】
音声出力のバッファリングとは、音声復号処理やエフェクト処理の実行後に、音声データを直接スピーカ等へ出力するのではなく、一旦、出力バッファへ蓄積し、音声データに付与された表示時刻が再生系の時刻と一致したタイミングで、バッファリングされている音声データをスピーカ等へ出力することである。なお、再生系とは、音声出力や映像出力を実行するシステムであってよく、その時刻とは、当該システムがオーディオ再生や映像再生において管理している時間軸上の時刻であってよい。
【００１７】
したがって、図１に示す例では、音声復号処理やエフェクト処理（１０１）で生成された表示時刻＃１〜＃３ごとのオーディオ出力＃１〜＃３が、一旦、出力バッファ１０２に蓄積され、その後、それぞれの表示時刻＃１〜＃３となったタイミングで、再生環境を構成する１つ以上のスピーカＳＰそれぞれに入力される。
【００１８】
映像も同様に、映像データに付与された表示時刻が再生系の時刻と一致したタイミングでモニタ等に出力される。このようにして再生系の時刻を基準として、映像の表示時刻と音声の表示時刻を同期させることで、画音を同期させることができる。
【００１９】
１．２  音像定位を変更するための複数音源に対するパンニング技術
また、上述したように、オーディオ再生においては、音像定位を変化させるためにマルチチャンネル音声をパンニング処理して出力する技術が知られている。パンニング処理とは、各チャンネル音声の定位を変化させる技術である。パンニング技術を利用することで、例えば、ユーザの視線情報を受け取って視線に合わせてマルチチャンネル音声の定位を変化させ、あたかも、音声出力がユーザの視線に追随しているかのような効果を提供することが可能となる。
【００２０】
１．３  バッファリング技術とパンニング技術とを組み合わせることで生じる課題
上述の「１．１  画音再生機器における画音再生の時刻同期の技術」における「１．１．１  固定の遅延量の設定」で説明した、固定値のオーディオ遅延量を設定する方法は、デジタルテレビ放送やＨＤＭＩなどの伝送路における遅延解消には有効であるが、入力されるビットストリームのサンプリングレートや総チャンネル数などのバリエーションがあるケースでは、固定値のオーディオ遅延量ではバリエーションに対応しきれないという課題が存在する。
【００２１】
また、「１．１  画音再生機器における画音再生の時刻同期の技術」における「１．１．２  音声出力のバッファリング」で説明したバッファリング技術を用いた場合、音声再生の安定性（音飛びや音割れがないこと）と画音同期の精度とがトレードオフの関係になる。すなわち、例えば、図２に示すように、出力バッファ１０２のバッファサイズを小さくすると、画音同期を図る周期を短い周期とすることが可能となるため画音同期の精度は高まるが、処理に対して高いリアルタイム性が要求されるため、音飛びやノイズ混入などのリスクが高まる。
【００２２】
一方で、図３に示すように、出力バッファ１０２のバッファサイズを大きくすると、逆に、音飛びや音割れのリスクが低減するため安定した再生が可能となるが、画音同期の精度が低減し同期ずれが生じ得る。また、必然的に、出力バッファ１０２に大きなバッファサイズが要求される。なお、図２は、バッファサイズを小さくした場合のオーディオ再生の流れを説明するための図であり、図３は、バッファサイズを大きくした場合のオーディオ再生の流れを説明するための図である。
【００２３】
次に、このようなバッファリング技術を利用した画音再生系に、「１．２  音像定位を変更するための複数音源に対するパンニング技術」で説明したパンニング技術を組み合わせた場合について説明する。図４〜図６は、バッファリング技術とパンニング技術とを組み合わせた場合のオーディオ再生の流れを説明するための図である。
【００２４】
図４に示すように、バッファリング技術とパンニング技術とを組み合わせた画音再生系では、エフェクト処理（１０１）において、パンニング処理が実行されることになる。
【００２５】
このパンニング処理では、音像定位変更のための情報が必要となるが、例えば、図５に示すように、音像定位変更のための情報としてユーザの視線情報（以下、ユーザ視線情報という）を用いるケースにおいては、以下のような課題が発生し得る。なお、ユーザ視線情報とは、例えば、再生系がテレビジョンやヘッドマウントディスプレイなどの映像を映し出すスクリーンを含む場合には、このスクリーンに対するユーザ視線の方向に関する情報であってもよく、また、再生系がスピーカやヘッドホンなどのスクリーンを含まない場合には、スピーカや基準とする方向に対するユーザの顔の向きの情報（これも視線情報という）であってもよい。
【００２６】
すなわち、パンニング処理をエフェクト処理に含める場合、パンニング処理時点でのユーザ視線情報に基づいて定位が算出されるため、パンニング処理の実行時刻とタイムスタンプに基づくオーディオ出力の表示時刻とが大きく乖離していると、パンニング処理で使用したユーザ視線情報が示すユーザの視線方向とオーディオ出力を再生環境から出力した際の現実のユーザの視線方向とが大きくずれてしまう。その結果、このずれがそのままユーザ視線方向の追随遅れとしてユーザに認識されてしまい、画音間の空間位置ずれを発生させてしまう。
【００２７】
例えば、図５に例示するように、再生系が４つのオーディオ出力＃１〜＃４をバッファリングする設定であったとき、エフェクト処理（１０１）では、表示時刻＃１のオーディオ出力＃１が出力される時点でのユーザ視線情報に基づいてパンニング処理が実行され、その結果、表示時刻＃１〜＃４のオーディオ出力＃１〜＃４が生成される。
【００２８】
そのような場合、表示時刻＃１から時間的にずれた表示時刻＃２〜＃４のオーディオ出力＃２〜＃４の再生では、ユーザに視線方向の追随性が悪いという印象を与えてしまい、その結果、著しくユーザの興趣感を損なってしまうこととなる。
【００２９】
一般的に、「リップシンクずれ」というと、口などの音源の動きとその音源から発せられる音とが時間的なギャップが存在することを意味するが、広義には、映像上の音源の位置と音声で表現される音源の位置との空間位置ずれも「リップシンクずれ」の定義に含めることができる。そこで本説明では、このような空間位置ずれも「リップシンクずれ」と称することとする。
【００３０】
パンニング処理時点でのユーザ視線方向と出力時点でのユーザ視線方向とをできるだけ一致させるためには、例えば、図６に示すように、パンニング処理（１０１）により生成されたオーディオ出力＃１を順次再生環境に入力して音声出力する、言い換えれば、パンニング処理（１０１）から音声出力までのデータの流れを直結させる必要があるが、その場合、音声出力の直前に処理負荷の高い音声復号処理やエフェクト処理やパンニング処理等が集中して実行されることになる。そのため、例えば、オーディオ再生の場合には、音飛びや音割れなどの音質劣化のリスクが高まってしまう。
【００３１】
そこで以下の実施形態では、パンニング技術とバッファリング技術とを組み合わせた場合でも、画音同期ずれや音飛びや音割れなどの不具合の発生を抑制することで、ユーザに与える違和感や不快感などを抑制しつつ、臨場感のあるオーディオ再生を実現することを可能にする情報処理装置及び情報処理方法を提案する。
【００３２】
１．４  音声データの符号化方式について
１．４．１  MPEG-H  3D  Audio符号化方式
なお、以下の実施形態では、音声データの符号化方式として、MPEG-H  3D  Audio符号化方式を採用した場合を例示する。MPEG-H  3D  Audio符号化方式では、従来の２チャネルステレオ方式や５．１チャネル等のマルチチャンネル方式とともに、移動する音源等を独立した音声オブジェクトとして扱い、音声オブジェクトの信号データとともに音声オブジェクト（音源）の位置情報をメタデータとして符号化することができる。
【００３３】
このように、音声オブジェクトとメタデータとを別々に伝送することで、従来の符号化方式では困難であった特定の音源を再生時に加工することが容易となる。
【００３４】
音声オブジェクトは、これに対応付けられたメタデータに基づいてレンダリングされることで、再生環境を構成する各スピーカにマッピングされ、これにより生成されたオーディオ出力が各スピーカに入力されることで再生される。
【００３５】
なお、MPEG-H  3D  Audio規格では、それぞれの音声オブジェクトを再生環境のスピーカにマッピングする処理をレンダリングと呼称しているが、その処理内容は３次元パンニングと同様であってもよい。
【００３６】
図７は、２つの音声オブジェクトＡ及びＢを再生環境を構成する５つのスピーカＳＰ１〜ＳＰ５にマッピングして出力する例を説明するための図である。図７に示す例では、音声オブジェクトＡを５つのスピーカＳＰ１〜ＳＰ５にマッピングする処理と、音声オブジェクトＢを５つのスピーカＳＰ１〜ＳＰ５にマッピングする処理との合計１０通りのマッピングが実行される。具体的には、以下の通りである。
１．音声オブジェクトＡのスピーカＳＰ１への出力
２．音声オブジェクトＡのスピーカＳＰ２への出力
３．音声オブジェクトＡのスピーカＳＰ３への出力
４．音声オブジェクトＡのスピーカＳＰ４への出力
５．音声オブジェクトＡのスピーカＳＰ５への出力
６．音声オブジェクトＢのスピーカＳＰ１への出力
７．音声オブジェクトＢのスピーカＳＰ２への出力
８．音声オブジェクトＢのスピーカＳＰ３への出力
９．音声オブジェクトＢのスピーカＳＰ４への出力
１０．音声オブジェクトＢのスピーカＳＰ５への出力
【００３７】
ただし、本開示に係る技術には、MPEG-H  3D  Audio符号化方式に限定されず、音像定位を変更可能な種々の符号化方式を採用することが可能である。
【００３８】
１．５  用語について
ここで、本開示において使用する用語について説明する。
【００３９】
（アクセスユニット）
本開示における「アクセスユニット」とは、例えば、同一表示時刻の音声オブジェクトとメタデータとから構成されるデータ構造を指す。
【００４０】
音声オブジェクトとメタデータとは複数あってよい。また、音声オブジェクトとメタデータとは、オブジェクト番号によってペアリングされている。
【００４１】
（音声オブジェクト）
本開示における「音声オブジェクト」とは、例えば、ISO/IEC  14496-3ではobjectやthe  component  objects等として規定されているものであり、音場を生成するための構成要素となる素材音を指す。例えば、音声オブジェクトが音楽の場合、ギターの音やドラムの音など、楽器の音それぞれを１つの音声オブジェクトとして扱うことができる。ただし、これに限定されず、複数の楽器の音を１つの音声オブジェクトとして扱うことも可能である。すなわち、具体的に何を音声オブジェクトとして扱うかについては、コンテンツ製作者が適宜決定してよい。
【００４２】
（メタデータ）
本開示における「メタデータ」とは、例えば、コンテンツが再現する３次元（仮想）空間内でのユーザの視聴位置を基準とした各音声オブジェクトの位置情報を含み得る。この位置情報は、例えば、図８に示すように、azimuth、elevation、及び、radiusの３つパラメータで表され得る。azimuthは、球面座標系における方位角を表し、elevationは、球面座標系における仰角を表し、radiusは、球面座標系における半径を表してよい。
【００４３】
また、メタデータは、位置情報以外にも、例えば、gainやspreadなどのパラメータを含み得る。
【００４４】
gainは、例えば、位置情報により特定される音声オブジェクト１１０の位置に定位させる音声オブジェクトのリニアゲイン値を表してよい。音声オブジェクトのリニアゲイン値とは、例えば、図８における音声オブジェクト１１０の広がりを膨らませたり縮ませたりするときの体積比率に相当し得る。
【００４５】
spreadは、例えば、空間的な広がり度合いを表し、０度から１８０度の間の値で広がり具合が示される。スプレッド値が０以上の場合、極座標で示される音声オブジェクト１１０の位置が、スプレッド値分の方角だけ広がって分布するようにレンダリングされる。
【００４６】
２．第１の実施形態
次に、本開示の第１の実施形態に係る情報処理装置及び情報処理方法について、図面を参照して詳細に説明する。
【００４７】
本実施形態では、音源（音声チャンネルや音声オブジェクト）単位で、適応的にパンニング処理の機会（タイミング）を決定することで、画音間の空間位置ずれを軽減する。そこで本実施形態では、複数の音源に対して、音源ごとに適応的にパンニング処理の機会を決定し、決定された機会で音源ごとにパンニング処理を実行する。
【００４８】
本説明における「適応的」を音楽ライブの映像コンテンツを例に説明すると、例えば、音楽ライブのボーカリストであっても、寄りの映像（例えば、ボーカリストをアップで再生する映像）では画音同期が高い精度で要求されるのに対して、引きの映像（例えば、ボーカリストから離れたところからライブ会場全体を再生する映像）ではボーカリストの細かい所作が把握しづらく、ボーカリストの声がライブ会場のメインスピーカの出力でしか聞こえてこない等の理由から、高い画音同期精度は要求されない。ゆえに、音源の位置情報をもとにユーザの視聴位置から離れた音源ほど、パンニング処理のタイミング（機会）と音声出力のタイミング（表示時刻）との時間差を大きくすることができる、例えば、パンニング処理の機会を音声出力よりもより前倒しにできる、と判断することができる。
【００４９】
そこで本実施形態では、画音同期に求められる精度に応じてパンニング処理の機会を変動させることで、画音間での空間的な位置同期ずれの発生を制御する。これにより、バッファサイズを大きくすることにより生じる画音同期ずれを抑制することが可能となる。
【００５０】
また、本実施形態では、音源ごとに適応的にパンニング処理を実行することで処理負荷の分散を図る。これにより、バッファサイズを小さくすることにより生じ得る音飛びや音割れなどを抑制することが可能となる。
【００５１】
例えば、図９に例示するように、音源位置がユーザの視聴位置に近いなどの理由により高い画音同期精度が求められる音声オブジェクトＢに対しては、音声出力の直前である表示時刻＃１のバッファ領域にオーディオ出力＃１が格納された際にユーザ視線情報を用いたパンニング処理（１０３Ｂ）を実行し、音源位置がユーザの視聴位置から離れているなどの理由により高い画音同期精度が求められない音声オブジェクトＡに対しては、音声出力からある程度時間的に余裕がある表示時刻＃３のバッファ領域にオーディオ出力＃３が格納された際にユーザ視線情報を用いたパンニング処理（１０３Ａ）を実行する。
【００５２】
これにより、高い画音同期精度が求められる音声オブジェクトＢに対しては、音声出力直前のユーザ視線情報に基づいてパンニング処理１０３Ｂが実行されるため、空間的な画音同期ずれを最小限に抑えることが可能となる。また、高い画音同期精度が求められる音声オブジェクトＢのパンニング処理１０３Ｂと高い画音同期精度が求められない音声オブジェクトＡとを分散してパンニング処理１０３Ａとを分散することができるため、音飛びや音割れなどの不具合の発生を抑制することも可能となる。
【００５３】
２．１  MPEG-H  3D  Audioのレンダリングでの実施例
つづいて、本実施形態に係る音声オブジェクトの３次元パンニングについて説明する。ここでは、複数の音声メタデータと共通の音声オブジェクトとによるMPEG-H  3D  Audioビットストリームの音声オブジェクト及び音声メタデータを分離配信する場合を例に挙げて説明する。
【００５４】
MPEG-H  3D  Audio規格によると、音源（音声オブジェクト）ごとに３次元空間での位置情報がメタデータとして記録される。そこで、この位置情報を参照することで、音源（音声オブジェクト）ごとに画音同期に高い精度が要求されるか否かを判定することができる。そこで本実施形態では、この一条法に基づく判定結果に応じて、音声オブジェクトごとにレンダリング処理の機会（タイミング）を決定する。
【００５５】
図１０は、本実施形態に係るレンダリング（３次元パンニング）の流れを説明するための図である。図１０に示すように、本実施形態では、一次レンダリング１０４−１、二次レンダリング１０４−２、及び、三次レンダリング１０４−３の３回のレンダリング機会で、均等に音声オブジェクトがレンダリング処理される。
【００５６】
これを、３つの音声オブジェクトＡ、Ｂ及びＣを５つのスピーカＳＰ１〜ＳＰ５よりなる再生環境から出力する場合を例に説明すると、例えば、表示時刻＃３で音声出力される音声オブジェクトＡ（１０５−１）は一次レンダリング１０４−１で５つのスピーカＳＰ１〜ＳＰ５にマッピング（１０６−１）され、表示時刻＃２で音声出力される音声オブジェクトＢ（１０５−２）は二次レンダリング１０４−２で５つのスピーカにマッピング（１０６−２）され、表示時刻＃３で音声出力される音声オブジェクトＣ（１０５−３）は三次レンダリング１０４−３で５つのスピーカにマッピング（１０６−３）されるという処理の流れとなる。
【００５７】
しかし、一次レンダリング１０４−１で音声オブジェクトＡ、Ｂ及びＣそれぞれを５つのスピーカＳＰ１〜ＳＰ５にマッピングすることもできるし、一次レンダリング１０４−１で音声オブジェクトＡ及びＢそれぞれを５つのスピーカＳＰ１〜ＳＰ５にマッピングし、二次レンダリング１０４−２で音声オブジェクトＣを５つのスピーカＳＰ１〜ＳＰ５にマッピングすることもできる。
【００５８】
最終的な出力音声は、音源（音声オブジェクト）ごとのレンダリング結果のミキシング（重ね合わせ）であるので、レンダリング処理（１０４−１〜１０４−３）を一度に実施しても、複数回に分けて実施しても、得られる最終的な出力データと処理コストは同等となる。
【００５９】
また、レンダリング機会のスケジューリングには様々な方式があるが、例えば、出力する音声データ（オーディオ出力）をスピーカに出力する処理を周期的に行い、その出力機会に合わせて一次レンダリング１０４−１、二次レンダリング１０４−２及び三次レンダリング１０４−３を実行するようにしてもよい。
【００６０】
図１１は、本実施形態に係るレンダリングから音声出力までの流れをデータ視点から説明するための図である。図１１に示す例では、例えば、４８，０００Ｈｚ（ヘルツ）のサンプリングレートの音源を１つのアクセスユニットが１，０２４ビットのオーディオサンプルを含めるようにMPEG-H  3D  Audioで符号化した場合が示されている。その場合、１つのアクセスユニットが約２１ミリ秒分に相当する。
【００６１】
図１１に示す例では、出力音声をスピーカＳＰに出力する処理が約２１ミリ秒周期で実行されることになる。したがって、一次レンダリング１０４−１、二次レンダリング１０４−２及び三次レンダリング１０４−３は、各２１ミリ秒周期中に比例配分的に実行されることとなる。
【００６２】
なお、図１１には、負の表示時刻を定義することで、最初の表示時刻より前にレンダリングが実行できるように構成されている場合が例示されている。
【００６３】
２．２  システム構成
次に、本実施形態に係る再生装置（情報処理装置又は情報処理システムの一部又は全部に相当）について、図面を参照して詳細に説明する。
【００６４】
本実施形態に係る再生装置１は、例えば、MPEG-H  3D  Audioビットストリームのデコード機能、および、レンダリング機能を有し、MPEG-H  3D  Audioビットストリームをデコードし、再生環境におけるスピーカＳＰの配置に対応したレンダリングを実施して、これにより生成された音声信号（オーディオ出力に相当）をスピーカＳＰに出力する。
【００６５】
MPEG-H  3D  Audio規格において、音声オブジェクトのレンダリングは、３次元パンニングによるスピーカゲインの導出に相当する。すなわち、本説明において、「パンニング」と「レンダリング」とは、同等の意味を有していてよい。
【００６６】
また、再生装置１は、ユーザ視線情報と、スピーカレイアウト情報とを取得する機能を有している。
【００６７】
ユーザ視線情報は、例えば、ＰＣアプリケーションにおけるマウス操作やＶＲ（Virtual  Reality）再生におけるヘッドトラッキング情報などであってよい。
【００６８】
スピーカレイアウト情報は、音声オブジェクトの再生環境に関する情報であり、例えば、ユーザや第３者が構築した再生環境におけるスピーカＳＰのレイアウト情報などであってよい。例えば、非特許文献２の８．２節「Channel  configuration」には、スピーカ配置を符号化する方法が示されている。本実施形態に係るスピーカレイアウト情報は、その符号化方式に従って生成された情報であってよい。
【００６９】
また、再生装置１は、ユーザ設定を受け付ける機能を備えてもよい。例えば、再生装置１は、「中間データ記憶部１４を設けるか否か」と、「ユーザの視線情報をトラッキングするか否か」とを、ユーザ設定として取得してもよい。
【００７０】
「中間データ記憶部１４を設けるか否か」は、例えば、コンテンツの再生に使用するメモリ領域を節約するか否かを制御するためのユーザ設定（メモリ設定という）であり、所謂メモリ節約オプションに相当する機能であってよい。このメモリ設定は、例えば、ユーザ側である再生装置１のスペック（再生能力）を鑑みて、ユーザ自身が設定してもよいし、再生コンテンツの提供側（サーバ側）が設定してもよい。
【００７１】
「トラッキングするか否か」は、例えば、パンニング処理においてユーザの視線方向をトラッキングするか否かを制御するためのユーザ設定（以下、トラッキング設定という）であってよい。なお、ユーザの視線方向をトラッキングするか否かは、ユーザの嗜好に依存するものであるため、ユーザが望まない場合には、ユーザの視線方向をトラッキングしないように設定することが可能となる。その場合、パンニング処理による定位変更の必要は生じない。
【００７２】
図１２は、本実施形態に係る再生装置の概略構成例を示すブロック図である。図１２に示すように、再生装置１は、例えば、取得部１１と、入力データ記憶部１２と、デコード部１３と、中間データ記憶部１４と、レンダリング部１５と、出力データ記憶部１６とを備える。
【００７３】
（取得部１１）
取得部１１は、再生装置１に接続された記憶領域や、再生装置１と所定のネットワークを介して接続されたサーバ（クラウド等を含む）から、MPEG-H  3D  Audioビットストリーム（上述したアクセスユニットを表示時刻順に連結し、アクセスユニットごとのバイト長、および、オブジェクト数をまとめたデータ構造をヘッダとして先頭に付加した構造を持つビットストリーム）を取得する。
【００７４】
なお、所定のネットワークには、例えば、ＬＡＮ（Local  Area  Network）やＷＡＮ（Wide  Area  Network）やインターネットや移動体通信網などの種々のネットワークが適用されてよい。
【００７５】
取得部１１は、MPEG-H  3D  Audioビットストリームを取得すると、最初に、MPEG-H  3D  Audioのヘッダを解析し、その後、連続的にMPEG-H  3D  Audioのアクセスユニットを取得する。このとき、取得部１１は、MPEG-H  3D  Audioのヘッダからアクセスユニットのデータ長を示すアクセスユニット長とオブジェクト数とを特定し、この特定したアクセスユニット長及びオブジェクト数を、入力データとして入力データ記憶部１２に記録する。その際、取得部１１は、取得したMPEG-H  3D  Audioのアクセスユニットも、入力データとして入力データ記憶部１２に記録する。
【００７６】
また、取得部１１は、アクセスユニットを入力データ記憶部１２に記録する際、ビットストリームの先頭からのアクセスユニットの通番に基づいて、当該アクセスユニットの表示時刻を算出する。算出された表示時刻は、入力データとして入力データ記憶部１２に記録される。
【００７７】
さらに、取得部１１は、スピーカレイアウト情報から得られる総スピーカ数（出力先数ともいう）と、オブジェクト数と、場合によってはユーザ設定とに基づいて、レンダリング処理段数を決定する。決定されたレンダリング処理段数は、オブジェクト数、アクセスユニット及び表示時刻と同様に、入力データとして入力データ記憶部１２に記録される。
【００７８】
ここで、レンダリング処理段数とは、１つのアクセスユニットに含まれる複数の音声オブジェクトに対して時系列に沿って実行されるレンダリング処理の回数であってよい。例えば、１つのアクセスユニットに含まれる音声オブジェクトが３つのグループにグループ分けされた場合には、レンダリング処理段数は‘３’と決定される。
【００７９】
なお、１つのアクセスユニットに含まれる複数の音声オブジェクトのグループ分けは、例えば、各音声オブジェクトに要求される画音同期精度に基づいて実行されてもよい。各音声オブジェクトに要求される画音同期精度は、例えば、音声オブジェクトに付随するメタデータから特定される２次元平面又は３次元空間中での音声オブジェクト（音源）とユーザとの距離や、ユーザ視線情報等に基づいて取得される指標であってよい。
【００８０】
（入力データ記憶部１２）
入力データ記憶部１２は、例えば、再生装置１が備えるＳＲＡＭ（Static  Random  Access  Memory）やＤＲＡＭ（Dynamic  Random  Access  Memory）などのメモリ領域上に配置された記憶部であり、上述したように、MPEG-H  3D  Audioのアクセスユニットと、このアクセスユニットのアクセスユニット長と、当該アクセスユニットに含まれる音声オブジェクトのオブジェクト数と、当該アクセスユニットの表示時刻と、決定されたレンダリング処理段数とを、MPEG-H  3D  Audioビットストリームの先頭からの通番にしたがって時系列的に、入力データとして記憶する。なお、アクセスユニット長とオブジェクト数と表示時刻とレンダリング処理段数とは、アクセスユニットに対して付加されたメタデータ（以下、付加データという）として扱われてよい。
【００８１】
（デコード部１３）
デコード部１３は、入力データ記憶部１２から１つずつ入力データ（例えば、MPEG-H  3D  Audioのアクセスユニット及び付加データ）を読み出し、読み出した入力データのうちのアクセスユニットを音声オブジェクトとメタデータとに分別する。そして、デコード部１３は、分別した音声オブジェクトとメタデータとにそれぞれ復号処理を行い、この復号結果を中間データとして中間データ記憶部１４に記録する。
【００８２】
ここで、本実施形態に係るデコード部１３のより詳細なブロック構成例を、図１３を用いて説明する。
【００８３】
図１３に示すように、デコード部１３は、例えば、解析器１３１と、音声オブジェクト復号器１３２と、メタデータ復号器１３３と、レンダリング次数決定器１３４とを備える。
【００８４】
・解析器１３１
解析器１３１は、入力データ記憶部１２からMPEG-H  3D  Audioのアクセスユニットを読み出し、読み出したアクセスユニットを解析する。具体的には、アクセスユニットを音声オブジェクトとメタデータとに分別し、音声オブジェクトを音声オブジェクト復号器１３２へ、メタデータをメタデータ復号器１３３へ、それぞれ入力する。
【００８５】
なお、１つのアクセスユニットには、複数の音声オブジェクトとメタデータとを格納することが可能であるため、その場合、音声オブジェクト復号器１３２には、アクセスユニットごとの複数の音声オブジェクトが入力される。
【００８６】
・音声オブジェクト復号器１３２
音声オブジェクト復号器１３２は、MPEG-H  3D  Audioのアクセスユニット中の符号化された音声オブジェクトデータを復号する。そして、音声オブジェクト復号器１３２は、復号後の音声オブジェクトのデータ長を示す音声オブジェクト長と、復号後の音声オブジェクトとをレンダリング次数決定器１３４に入力する。
【００８７】
なお、解析器１３１から複数の音声オブジェクトデータが入力される場合には、複数の音声オブジェクトと同数の音声オブジェクト復号器１３２を並列に動作させてもよいし、１つの音声オブジェクト復号器１３２により複数の音声オブジェクトデータを時分割で順番に復号してもよい。
【００８８】
・メタデータ復号器１３３
メタデータ復号器１３３は、MPEG-H  3D  Audioのアクセスユニット中のメタデータを復号する。そして、メタデータ復号器１３３は、復号後のメタデータのデータ長を示すメタデータ長と、復号後のメタデータとをレンダリング次数決定器１３４に入力する。
【００８９】
なお、解析器１３１から複数のメタデータが入力される場合には、複数のメタデータと同数のメタデータ復号器１３３を並列に動作させてもよいし、１つのメタデータ復号器１３３により複数のメタデータを時分割で順番に復号してもよい。
【００９０】
・レンダリング次数決定器１３４
レンダリング次数決定器１３４は、例えば、各音声オブジェクトに対するレンダリングの実行タイミングを決定する構成であり、音声オブジェクト復号器１３２から入力された音声オブジェクトごとに、メタデータ復号器１３３から入力されたメタデータのうちの音声オブジェクトに対応するメタデータに含まれる位置情報から、当該音声オブジェクトに対するレンダリングの実行タイミングに相当するレンダリング次数を決定する。
【００９１】
以上のようにしてレンダリング次数を決定すると、デコード部１３は、復号後の音声オブジェクト長、復号後の音声オブジェクト、復号後のメタデータ長、復号後のメタデータ、オブジェクト番号、および、決定されたレンダリング次数を、中間データ記憶部１４に中間データの形式で記録する。
【００９２】
なお、オブジェクト番号には、音声オブジェクトの復号処理の順番がそのまま使用されてもよい。
【００９３】
また、中間データの表示時刻フィールドには、入力データ記憶部１２からデコード部１３へ入力された入力データの表示時刻がそのまま記録され、オブジェクト数フィールドには、同じく入力データ記憶部１２からデコード部１３へ入力された入力データのオブジェクト数がそのまま記録されてもよい。
【００９４】
（中間データ記憶部１４）
中間データ記憶部１４は、例えば、再生装置１が備えるＳＲＡＭやＤＲＡＭなどのメモリ領域上に配置された記憶部であり、上述したように、復号後の音声オブジェクト長、復号後の音声オブジェクト、復号後のメタデータ長、復号後のメタデータ、オブジェクト番号、決定されたレンダリング次数、表示時刻及びオブジェクト数を、中間データの形式で記録して保持する。
【００９５】
（レンダリング部１５）
レンダリング部１５は、中間データ記憶部１４から中間データ（例えば、復号された音声オブジェクト及びメタデータ）を読み出し、読み出した音声オブジェクトに対してメタデータに基づいたレンダリング処理を実行する。そして、レンダリング部１５は、このレンダリング処理により得られた結果を出力データ記憶部１６に記録する。
【００９６】
なお、レンダリング部１５には、ユーザ視線情報やスピーカレイアウト情報等が入力されてもよい。レンダリング部１５は、入力されたユーザ視線情報やスピーカレイアウト情報等に基づいて、各音声オブジェクトに対するレンダリング処理を実行してもよい。
【００９７】
ここで、本実施形態に係るレンダリング部１５のより詳細なブロック構成例を、図１４を用いて説明する。
【００９８】
図１４に示すように、レンダリング部１５は、例えば、メタデータ加工器１５１と、出力ゲイン計算器１５２と、音声データ生成器１５３と、出力合成器１５４とを備える。メタデータ加工器１５１、出力ゲイン計算器１５２及び音声データ生成器１５３は、例えば、レンダリング結果である音声オブジェクトごとの出力データを生成するレンダリング処理部を構成する。
【００９９】
・メタデータ加工器１５１
メタデータ加工器１５１は、中間データ記憶部１４から読み出された中間データ中のメタデータを加工する。
【０１００】
より具体的には、メタデータ加工器１５１は、メタデータの加工が実施される時点でのユーザ視線情報を入力し、メタデータの空間位置情報にユーザ視線情報を加算する。しかる後、メタデータ加工器１５１は、更新された空間位置情報をメタデータに書き戻す。更新されたメタデータは、出力ゲイン計算器１５２に入力される。
【０１０１】
・出力ゲイン計算器１５２
出力ゲイン計算器１５２は、メタデータ加工器１５１から入力されたメタデータに基づいて、音声オブジェクトごとに、それぞれのスピーカＳＰ（出力先）に対するリニアゲインを算出する。
【０１０２】
・音声データ生成器１５３
音声データ生成器１５３は、出力ゲイン計算器１５２で算出された音声オブジェクトごとの各スピーカＳＰに対するリニアゲインを適用して、それぞれのスピーカＳＰに出力する音声データを生成する。その際、音声データ生成器１５３は、１つの音声オブジェクトからスピーカＳＰの個数分の音声データを生成する。生成された音声データと、この音声データのデータ長を示す音声データ長とは、出力合成器１５４へ入力される。
【０１０３】
・出力合成器１５４
出力合成器１５４は、出力データ記憶部１６に記録されている音声データに対して、音声データ生成器１５３から出力された音声データを加算する。音声データの加算は、スピーカＳＰ（出力先）ごとに実行される。
【０１０４】
なお、出力データ記憶部１６内には、表示時刻ごとに複数の音声データが記録されている場合がある。その場合、出力合成器１５４は、中間データ記憶部１４からレンダリング部１５へ入力された中間データの表示時刻と一致する表示時刻の出力データに対して、音声データの加算を行う。
【０１０５】
（出力データ記憶部１６）
出力データ記憶部１６は、上述した出力バッファ１０２に相当する構成であり、例えば、再生装置１が備えるＳＲＡＭやＤＲＡＭなどのメモリ領域上に配置された記憶部であり、上述したように、スピーカＳＰ（出力先）ごとの合算された音声データを出力データとして保持する。
【０１０６】
２．３  入力データ、中間データ及び出力データのデータ形式について
次に、入力データ記憶部１２に記憶される入力データ、中間データ記憶部１４に記憶される中間データ、及び、出力データ記憶部１６に記憶される出力データそれぞれのデータ形式について説明する。
【０１０７】
（入力データ）
図１５は、本実施形態に係る入力データのデータ形式の一例を示す図である。取得部１１により取得されたMPEG-H  3D  Audioビットストリームは、図１５に例示するデータ形式の入力データとして入力データ記憶部１２に記録される。
【０１０８】
本実施形態において、MPEG-H  3D  Audioビットストリームは、アクセスユニット単位で取得される。そのため、図１５に示すように、入力データ記憶部１２は、アクセスユニットを記録することを主たる目的とした構成であるが、再生に必要となる付加データとして、上述したアクセスユニット長とオブジェクト数と表示時刻とレンダリング処理段数とも記録される。
【０１０９】
・表示時刻
入力データ形式のうち、表示時刻は、アクセスユニットの表示時刻を記録するためのフィールドである。取得部１１は、MPEG-H  3D  Audioビットストリーム内でのアクセスユニットの通番を基に算出した表示時刻を表示時刻フィールドに記録する。
【０１１０】
・オブジェクト数
オブジェクト数は、アクセスユニットに含まれる音声オブジェクトの総数を記録するためのフィールドである。なお、メタデータの総数は、音声オブジェクトの総数に一致する。取得部１１は、MPEG-H  3D  Audioビットストリームのヘッダを解析して特定したオブジェクト数をオブジェクト数フィールドに記録する。
【０１１１】
・アクセスユニット長
アクセスユニット長は、アクセスユニットのサイズをバイト単位で記録するためのフィールドである。取得部１１は、MPEG-H  3D  Audioビットストリームのヘッダを解析して特定したアクセスユニットのサイズをアクセスユニット長フィールドに記録する。
【０１１２】
・レンダリング処理段数
レンダリング処理段数は、レンダリング処理の回数を記録するためのフィールドである。取得部１１は、レンダリング処理を何回に分けて実行すればよいかを決定し、その回数をレンダリング処理段数としてレンダリング処理段数フィールドに記録する。
【０１１３】
・アクセスユニット
アクセスユニットは、アクセスユニットの本体を記録するフィールドである。取得部１１は、MPEG-H  3D  Audioビットストリームから抽出したアクセスユニットをアクセスユニットフィールドに記録する。
【０１１４】
（中間データ）
図１６は、本実施形態に係る中間データのデータ形式の一例を示す図である。デコード部１３により復号された結果の音声オブジェクト及びメタデータは、図１６に例示するデータ形式の中間データとして中間データ記憶部１４に記録される。また、中間データ記憶部１４には、音声オブジェクト及びメタデータ以外に、付加データに含まれる表示時刻及びオブジェクト数と、音声オブジェクト長と、メタデータ長と、オブジェクト番号と、レンダリングの機会を指定するレンダリング次数とも記録される。オブジェクト番号は、音声オブジェクトとメタデータの紐付としても使用できるが、後述する「レンダリング完了」を示すフラグとしても機能することができる。
【０１１５】
・表示時刻
中間データ形式のうち、表示時刻は、中間データとして記録される音声オブジェクト及びメタデータの表示時刻を記録するためのフィールドである。レンダリング次数決定器１３４は、入力データにおける表示時刻フィールドの値を中間データの表示時刻フィールドにそのまま記録する。
【０１１６】
・オブジェクト数
オブジェクト数は、中間データとして記録される音声オブジェクトの総数を記録するためのフィールドである。レンダリング次数決定器１３４は、入力データのオブジェクト数フィールドの値を中間データのオブジェクト数フィールドにそのまま記録する。
【０１１７】
・音声オブジェクト長
音声オブジェクト長は、音声オブジェクトのサイズをバイト単位で記録するためのフィールドである。なお、すべての音声オブジェクトのサイズは同一であってよい。レンダリング次数決定器１３４は、音声オブジェクト復号器１３２から渡された音声オブジェクト長を中間データの音声オブジェクト長フィールドに記録する。
【０１１８】
・メタデータ長
メタデータ長は、メタデータのサイズをバイト単位で記録するためのフィールドである。なお、すべてのメタデータのサイズは同一であってよい。レンダリング次数決定器１３４は、メタデータ復号器１３３から渡されたメタデータ長を中間データのメタデータ長フィールドに記録する。
【０１１９】
・オブジェクト番号
オブジェクト番号は、音声オブジェクトのオブジェクト番号を記録するためのフィールドである。レンダリング次数決定器１３４は、音声オブジェクト復号器１３２が裁番した番号を中間データのオブジェクト番号フィールドに記録する。例えば、レンダリング処理が完了した音声オブジェクト及びメタデータに関しては、レンダリング次数決定器１３４は、この音声オブジェクト及びメタデータのオブジェクト番号フィールドに“−１”を記録する。これにより、当該音声オブジェクト及びメタデータに対するレンダリング処理が完了（レンダリング完了）したことが示される（中間データ記憶部１４の圧縮処理）。
【０１２０】
・レンダリング次数
レンダリング次数は、レンダリング次数決定器１３４によって決定された音声オブジェクト及びメタデータごとのレンダリング次数を記録するためのフィールドである。なお、レンダリング次数の値が“−１”の場合には、レンダリング次数は不定であると定義されてもよい。レンダリング次数決定器１３４は、音声オブジェクト及びメタデータごとに決定したレンダリング次数を中間データのレンダリング次数フィールドに記録する。
【０１２１】
・音声オブジェクト
音声オブジェクトは、オブジェクト番号に対応した音声オブジェクトを記録するフィールドである。レンダリング次数決定器１３４は、音声オブジェクト復号器１３２から渡された音声オブジェクトデータを中間データの音声オブジェクトフィールドに記録する。
【０１２２】
・メタデータ
メタデータは、オブジェクト番号に対応したメタデータを記録するフィールドである。レンダリング次数決定器１３４は、メタデータ復号器１３３から渡されたメタデータを中間データのメタデータフィールドに記録する。
【０１２３】
（出力データ）
図１７は、本実施形態に係る出力データのデータ形式の一例を示す図である。レンダリング部１５によりレンダリングされた結果の音声データは、図１７に例示するデータ形式の出力データとして出力データ記憶部１６に記録される。
【０１２４】
・表示時刻
表示時刻は、当該出力データの表示時刻を記録するためのフィールドである。出力合成器１５４は、中間データの表示時刻フィールドの値を出力データの表示時刻フィールドにそのまま記録する。
【０１２５】
・出力先数
出力先数は、例えば、再生環境を構成するスピーカＳＰ（出力先）の数を記録するためのフィールドである。出力合成器１５４は、出力ゲイン計算器１５２がスピーカレイアウト情報から得たスピーカＳＰの総数の値を、出力データの出力先数フィールドに記録する。
【０１２６】
・出力音声データ長
出力音声データ長は、出力対象である音声データのサイズをバイト単位で記録するためのフィールドである。出力合成器１５４は、音声データ生成器１５３から渡された出力音声データ長を出力音声データ長フィールドに記録する。なお、すべての出力先において、出力音声データのサイズは同一であってよい。
【０１２７】
・出力音声データ
出力音声データは、出力対象である音声データを記録するためのフィールドである。出力合成器１５４は、音声データ生成器１５３から渡された音声データを、出力先（スピーカＳＰ）ごとに、出力音声データフィールドに記録する。
【０１２８】
２．４  中間データ記憶部内のデータ構造について
ここで、中間データ記憶部１４内に記憶されている中間データのデータ構造について説明する。図１８は、本実施形態に係る中間データ記憶部内での中間データのデータ構造例を概念的に説明するための図である。なお、図１８及び以下の説明では、簡略化のため、図１１に例示したMPEG-H  3D  Audioビットストリームが入力データとして入力された場合を例示する。この例では、表示時刻＝２１、４２、６３、８４の４つのアクセスユニットＡＵ１〜ＡＵ４が入力データとして入力され、取得部１１によりそれぞれのアクセスユニットＡＵ１〜ＡＵ４のレンダリング処理段数が３段と決定され、各段に少なくとも１組の音声オブジェクト及びメタデータが割り振られたものとする。
【０１２９】
図１８に示すように、中間データ記憶部１４内では、複数のアクセスユニットに含まれる音声オブジェクト及びメタデータのペアうち、同じ機会でレンダリング処理されるペア同士が１つのデータセットを構成するように、データ構造が構築されている。
【０１３０】
例えば、表示時刻＝２１のアクセスユニットに対する一次レンダリングの機会でレンダリングされるデータセットＤＳ１には、表示時刻＝２１のアクセスユニットにおいてレンダリング次数＝１と決定された音声オブジェクト及びメタデータが含まれる。
【０１３１】
表示時刻＝４２のアクセスユニットに対する一次レンダリングの機会でレンダリングされるデータセットＤＳ２には、表示時刻＝２１のアクセスユニットにおいてレンダリング次数＝２と決定された音声オブジェクト及びメタデータと、表示時刻＝４２のアクセスユニットにおいてレンダリング次数＝１と決定された音声オブジェクト及びメタデータとが含まれる。
【０１３２】
表示時刻＝６３のアクセスユニットに対する一次レンダリングの機会でレンダリングされるデータセットＤＳ３には、表示時刻＝２１のアクセスユニットにおいてレンダリング次数＝３と決定された音声オブジェクト及びメタデータと、表示時刻＝４２のアクセスユニットにおいてレンダリング次数＝２と決定された音声オブジェクト及びメタデータと、表示時刻＝６３のアクセスユニットにおいてレンダリング次数＝１と決定された音声オブジェクト及びメタデータとが含まれる。
【０１３３】
表示時刻＝８４のアクセスユニットに対する一次レンダリングの機会でレンダリングされるデータセットＤＳ４には、表示時刻＝４２のアクセスユニットにおいてレンダリング次数＝３と決定された音声オブジェクト及びメタデータと、表示時刻＝６３のアクセスユニットにおいてレンダリング次数＝２と決定された音声オブジェクト及びメタデータと、表示時刻＝８４のアクセスユニットにおいてレンダリング次数＝１と決定された音声オブジェクト及びメタデータとが含まれる。
【０１３４】
表示時刻＝８４のアクセスユニットに対する二次レンダリングの機会でレンダリングされるデータセットＤＳ５には、表示時刻＝６３のアクセスユニットにおいてレンダリング次数＝３と決定された音声オブジェクト及びメタデータと、表示時刻＝８４のアクセスユニットにおいてレンダリング次数＝２と決定された音声オブジェクト及びメタデータとが含まれる。
【０１３５】
表示時刻＝８４のアクセスユニットに対する三次レンダリングの機会でレンダリングされるデータセットＤＳ６には、表示時刻＝８４のアクセスユニットにおいてレンダリング次数＝３と決定された音声オブジェクト及びメタデータが含まれる。
【０１３６】
２．５  動作フロー
次に、本実施形態に係る動作フローについて、以下に図面を参照して詳細に説明する。
【０１３７】
２．５．１  MPEG-H  3D  Audioビットストリーム再生フロー
まず、本実施形態に係る動作のメインフローに相当するMPEG-H  3D  Audioビットストリーム再生フローについて説明する。
【０１３８】
図１９は、本実施形態に係るMPEG-H  3D  Audioビットストリーム再生フローの概略例を示すフローチャートである。図１９に示すように、本動作では、まず、取得部１１が、受信したMPEG-H  3D  Audioビットストリームのヘッダを解析する（ステップＳ１０１）。この解析で得られたオブジェクト数及びアクセスユニット長と、MPEG-H  3D  Audioビットストリーム内でのアクセスユニットの受信順に従って決定した表示時刻と、アクセスユニット自体とは、上述したように、入力データ記憶部１２に記録される。
【０１３９】
次に、取得部１１は、レンダリング処理段数を決定する処理を実行する（ステップＳ１０２）。このステップＳ１０２におけるレンダリング処理段数処理の詳細については、後述において図２５を用いて説明する。
【０１４０】
次に、本動作では、デコード部１３が入力データ記憶部１２から入力データ、すなわち、MPEG-H  3D  Audioビットストリームのアクセスユニットを取得し（ステップＳ１０３）、取得したアクセスユニットに対してデコードを実行する（ステップＳ１０４）。このステップＳ１０４におけるデコード処理の詳細については、後述において図２０を用いて説明する。また、このデコードにより得られた中間データは、上述したように、中間データ記憶部１４に記録される。
【０１４１】
次に、本動作では、レンダリング部１５が、レンダリング次数をカウントするための変数Ｎに‘１’を設定、すなわち、変数Ｎをリセットする（ステップＳ１０５）。
【０１４２】
つづいて、レンダリング部１５は、中間データ記憶部１４からレンダリング次数＝Ｎの音声オブジェクト及びそのメタデータを取得し、取得した音声オブジェクト及びそのメタデータに対してレンダリング（以下、Ｎ次レンダリングという）を実行する（ステップＳ１０６）。このステップＳ１０６におけるＮ次レンダリング処理の詳細については、後述において図２１を用いて説明する。また、Ｎ次レンダリングにより得られた出力データは、上述したように、出力データ記憶部１６における同じ表示時刻の音声データに加算される。
【０１４３】
次に、レンダリング部１５は、変数Ｎを１つインクリメントし（ステップＳ１０７）、インクリメント後の変数ＮがステップＳ１０２で決定されたレンダリング処理段数を超えているか否かを判定する（ステップＳ１０８）。
【０１４４】
インクリメント後の変数Ｎがレンダリング処理段数以下の場合（ステップＳ１０８のＮＯ）、レンダリング部１５は、ステップＳ１０６へ戻り、次の次数のレンダリング処理を実行する。
【０１４５】
一方、インクリメント後の変数Ｎがレンダリング処理段数を超えている場合（ステップＳ１０８のＹＥＳ）、MPEG-H  3D  Audioビットストリームの終端のアクセスユニットに対する上記処理の実行が完了したか否かが判定される（ステップＳ１０９）。この判定は、例えば、再生装置１全体を制御する不図示の制御部が実行してもよいし、再生装置１のレンダリング部１５が実行してもよい。
【０１４６】
終端のアクセスユニットに対する処理が完了している場合（ステップＳ１０９のＹＥＳ）、本動作が終了する。一方、処理が終端のアクセスユニットにまで達していない場合（ステップＳ１０９のＮＯ）、本動作がステップＳ１０３へ戻り、以降の動作が実行される。
【０１４７】
２．５．２  デコード処理（ステップＳ１０４）
図２０は、本実施形態に係るデコード処理の一例を示すフローチャートである。図２０に示すように、図１９のステップＳ１０４に示すデコード処理では、まず、デコード部１３は、音声オブジェクトをカウントするための変数Ｉに‘１’を設定、すなわち変数Ｉをリセットする（ステップＳ１２１）。
【０１４８】
次に、デコード部１３は、図１９のステップＳ１０３で取得したアクセスユニットに含まれる音声オブジェクトのうち、Ｉ番目の音声オブジェクトを音声オブジェクト復号器１３２に入力することで、Ｉ番目の音声オブジェクトを復号する（ステップＳ１２２）。
【０１４９】
また、デコード部１３は、同じく図１９のステップＳ１０３で取得したアクセスユニットに含まれるメタデータのうち、Ｉ番目のメタデータをメタデータ復号器１３３に入力することで、Ｉ番目のメタデータを復号する（ステップＳ１２３）。
【０１５０】
つづいて、デコード部１３は、復号されたＩ番目のメタデータに基づいて、Ｉ番目の音声オブジェクトのレンダリング次数を決定する（ステップＳ１２４）。このステップＳ１２４におけるレンダリング次数決定処理の詳細については、後述において図２６を用いて説明する。
【０１５１】
次に、デコード部１３は、上述の復号処理及び決定処理により得られた結果、すなわち、復号されたＩ番目の音声オブジェクト及びメタデータと、決定された連弾リング次数とを、中間データ記憶部１４に記録する（ステップＳ１２５）。
【０１５２】
次に、デコード部１３は、変数Ｉを１つインクリメントし（ステップＳ１２６）、インクリメント後の変数Ｉが図１９のステップＳ１０１においてMPEG-H  3D  Audioビットストリームのヘッダを解析することで特定されたオブジェクト数を超えているか否かを判定する（ステップＳ１２７）。
【０１５３】
インクリメント後の変数Ｉがオブジェクト数以下の場合（ステップＳ１２７のＮＯ）、デコード部１３は、ステップＳ１２２へ戻り、次の番目の音声オブジェクト及びメタデータに対する処理を実行する。
【０１５４】
一方、インクリメント後の変数Ｉがオブジェクト数を超えている場合（ステップＳ１２７のＹＥＳ）、デコード部１３は、図１９の動作へリターンし、ステップＳ１０５以降の動作を実行する。
【０１５５】
２．５．３  Ｎ次レンダリング処理（ステップＳ１０６）
図２１は、本実施形態に係るＮ次レンダリング処理の一例を示すフローチャートである。図２１に示すように、図１９のステップＳ１０６に示すＮ次レンダリング処理では、まず、レンダリング部１５は、中間データ記憶部１４に記憶されているアクセスユニットのうち、表示時刻がＮ番目に遅いアクセスユニットの中間データを読み出す（ステップＳ１４１）。
【０１５６】
次に、レンダリング部１５は、音声オブジェクトをカウントするための変数Ｉに‘１’を設定、すなわち変数Ｉをリセットする（ステップＳ１４２）。
【０１５７】
次に、レンダリング部１５は、ステップＳ１４１で読み出した中間データのうち、Ｉ番目の音声オブジェクトのレンダリング次数がＮであるか否かを判定する（ステップＳ１４３）。Ｉ番目の音声オブジェクトのレンダリング次数がＮでない場合（ステップＳ１４３のＮＯ）、レンダリング部１５は、ステップＳ１４６へ進む。
【０１５８】
一方、Ｉ番目の音声オブジェクトのレンダリング次数がＮである場合（ステップＳ１４３のＹＥＳ）、レンダリング部１５は、Ｉ番目の音声オブジェクトのレンダリングを実行する（ステップＳ１４４）。このステップＳ１４４におけるＩ番目の音声オブジェクトのレンダリング処理の詳細については、後述において図２２を用いて説明する。
【０１５９】
そして、レンダリング部１５は、レンダリングを実行したＩ番目の音声オブジェクトのレンダリング次数Ｎを‘−１’に書き換えて（ステップＳ１４５）、ステップＳ１４６へ進む。
【０１６０】
ステップＳ１４６では、レンダリング部１５は、変数Ｉを１つインクリメントする。そして、レンダリング部１５は、インクリメント後の変数Ｉが図１９のステップＳ１０１においてMPEG-H  3D  Audioビットストリームのヘッダを解析することで特定されたオブジェクト数を超えているか否かを判定する（ステップＳ１４７）。
【０１６１】
インクリメント後の変数Ｉがオブジェクト数以下の場合（ステップＳ１７７のＮＯ）、レンダリング部１５は、ステップＳ１４３へ戻り、次の番目の音声オブジェクトに対する処理を実行する。
【０１６２】
一方、インクリメント後の変数Ｉがオブジェクト数を超えている場合（ステップＳ１４７のＹＥＳ）、レンダリング部１５は、図１９の動作へリターンし、ステップＳ１０７以降の動作を実行する。
【０１６３】
２．５．４  Ｉ番目の音声オブジェクトのレンダリング処理（ステップＳ１４４）
図２２は、本実施形態に係るＩ番目の音声オブジェクトのレンダリング処理の一例を示すフローチャートである。図２２に示すように、図２１のステップＳ１４４に示すＩ番目の音声オブジェクトのレンダリング処理では、まず、レンダリング部１５は、ユーザ視線情報とスピーカレイアウト情報とを取得する（ステップＳ１６１）。なお、再生環境が頻繁に変更されない場合には、スピーカレイアウト情報は、図２２に示す動作を実行する度に逐一入力される必要はなく、一度入力されたスピーカレイアウト情報を保持しておき、その保持されているスピーカレイアウト情報が用いられてもよい。
【０１６４】
次に、レンダリング部１５は、図２１のステップＳ１４１で中間データ記憶部１４から読み出した中間データのうち、Ｉ番目の音声オブジェクト及びそのメタデータを取得する（ステップＳ１６２）。
【０１６５】
次に、レンダリング部１５は、ステップＳ１６２で取得したメタデータをメタデータ加工器１５１に入力することで、上述したように、メタデータを加工する（ステップＳ１６３）。
【０１６６】
次に、レンダリング部１５は、ステップＳ１６３で加工されたメタデータを出力ゲイン計算器１５２に入力することで、上述したように、加工されたメタデータに基づいて、再生環境におけるスピーカＳＰごとの出力ゲインを計算する（ステップＳ１６４）。
【０１６７】
次に、レンダリング部１５は、ステップＳ１６４で算出された音声オブジェクトごとの各スピーカＳＰに対する出力ゲイン（リニアゲイン）と、音声オブジェクトデータとを音声データ生成器１５３に入力することで、それぞれのスピーカＳＰに出力する音声データを生成する（ステップＳ１６５）。その際、音声データ生成器１５３は、上述したように、１つの音声オブジェクトからスピーカＳＰの個数分の音声データを生成する。
【０１６８】
次に、レンダリング部１５は、ステップＳ１６５で生成された音声データと、この音声データのデータ長を示す音声データ長とを出力合成器１５４へ入力することで、同じ表示時刻の音声データをスピーカＳＰごとに加算する出力合成処理を実行する（ステップＳ１６６）。このステップＳ１６６における出力合成処理の詳細については、後述において図２３を用いて説明する。
【０１６９】
その後、レンダリング部１５は、中間データ記憶部１４の圧縮処理を実行（ステップＳ１６７）した後、図２１の動作にリターンして、ステップＳ１４５以降の動作を実行する。
【０１７０】
２．５．４．１  出力合成処理（ステップＳ１６６）
ここで、図２２のステップＳ１６６に示す出力合成処理について説明する。図２３は、本実施形態に係る出力合成処理の一例を示すフローチャートである。図２３に示すように、図２２のステップＳ１６６に示す出力合成処理では、まず、出力合成器１５４は、出力データ記憶部１６に格納されている出力データを読み出す（ステップＳ１８１）。
【０１７１】
次に、出力合成器１５４は、出力先であるスピーカＳＰを指定するための変数Ｊに‘１’を設定、すなわち、変数Ｊをリセットする（ステップＳ１８２）。
【０１７２】
つづいて、出力合成器１５４は、Ｊ番目の出力先（スピーカＳＰ）の出力データに、Ｉ番目の音声オブジェクトに対するレンダリング結果におけるＪ番目の出力データを加算する（ステップＳ１８３）。これにより、Ｊ番目の出力先（スピーカＳＰ）に関して１つ以上の音声オブジェクトの出力データが合成される。
【０１７３】
次に、出力合成器１５４は、変数Ｊを１つインクリメントし（ステップＳ１８４）、インクリメント後の変数Ｊがスピーカレイアウト情報より特定される出力先数（スピーカＳＰの数）を超えているか否かを判定する（ステップＳ１８５）。
【０１７４】
インクリメント後の変数Ｊが出力先数以下の場合（ステップＳ１８５のＮＯ）、出力合成器１５４は、ステップＳ１８３へ戻り、次の次数のレンダリング処理を実行する。
【０１７５】
一方、インクリメント後の変数Ｊが出力先数を超えている場合（ステップＳ１８５のＹＥＳ）、レンダリング部１５は、図２２の動作へリターンし、ステップＳ１６７以降の動作を実行する。
【０１７６】
２．５．４．２  中間データ記憶部の圧縮処理（ステップＳ１６７）
つづいて、図２２のステップＳ１６７に示す中間データ記憶部１４の圧縮処理について説明する。
【０１７７】
本実施形態において、中間データ記憶部１４内に格納された中間データは、アクセスユニットごとにレンダリング処理されるとは限られない。そのため、中間データ記憶部１４内には、レンダリング処理が未だ実行されていない中間データ（以下、未処理データという）とレンダリング処理を実行済みの中間データ（以下、処理済みデータという）とが混在し、未処理データが中間データ記憶部１４内でフラグメント化してしまう場合がある。
【０１７８】
そこで本実施形態では、中間データ記憶部１４の再利用性を高めるために、中間データ記憶部１４内の処理済みデータを随時破棄して未処理データを詰める圧縮処理を実行する。
【０１７９】
以下に、中間データ記憶部１４の圧縮処理を、具体例を用いて説明する。図２４は、本実施形態に係る中間データ記憶部の圧縮処理を説明するための具体例を示す図である。以下に説明する具体例では、図２４の（ａ）に示すように、中間データ記憶部１４内に、オブジェクト番号＝１〜６であるオブジェクト数＝６の中間データ（音声オブジェクト及びそのメタデータ）が格納されているものとする。
【０１８０】
図２４の（ａ）に示す状態から、オブジェクト番号＝１，３，５の中間データ（音声オブジェクト及びそのメタデータ）に対するレンダリング処理が実行されると、その後、これらの中間データがレンダリング部１５によって参照されることは無い。そのため、これらの中間データは、中間データ記憶部１４から削除することが可能である。
【０１８１】
そこで、本実施形態では、図２４の（ｂ）に示すように、レンダリング部１５は、レンダリング処理が実行済みであるオブジェクト番号＝１，３，５の中間データ（音声オブジェクト及びそのメタデータ）のオブジェクト番号を‘−１’に書き換える。
【０１８２】
そして、レンダリング部１５は、図２４の（ｃ）に示すように、中間データ記憶部１４において、オブジェクト番号に‘−１’が記録されている中間データ（音声オブジェクト及びそのメタデータ）を削除する。
【０１８３】
これにより、中間データ記憶部１４内から不要な中間データを削除して有効な中間データ（未処理データ）のみを残すことが可能となるため、中間データ記憶部１４の再利用性を高めることが可能となる。
【０１８４】
２．５．５  レンダリング処理段数決定処理（ステップＳ１０２）
つづいて、本実施形態に係るレンダリング処理決定処理について説明する。本実施形態において、レンダリング処理段数は、レンダリング次数の最大値である。これは、中間データ記憶部１４に同時に存在できる表示時刻違いの中間データの総数に相当し得る。
【０１８５】
なお、本実施形態において、レンダリング次数の最小値は‘１’である。その場合、デコード処理とレンダリング処理とを連続して実施することで、中間データを生成して記録することを省略することができる。
【０１８６】
図２５は、本実施形態に係るレンダリング処理段数決定処理の一例を示すフローチャートである。図２５に示すように、図１９のステップＳ１０２に示すレンダリング処理段数決定処理では、まず、取得部１１は、ユーザ設定において中間データ記憶部１４を設けることが設定されているか否かを確認する（ステップＳ２０１）。
【０１８７】
ユーザ設定において中間データ記憶部１４を設けないと設定されている場合（ステップＳ２０１のＮＯ）、取得部１１は、レンダリング処理段数を例えば‘１’に設定し（ステップＳ２０４）、図１９に示す動作へリターンして、ステップＳ１０３以降の動作を実行する。
【０１８８】
一方、ユーザ設定において中間データ記憶部１４を設けることが設定されている場合（ステップＳ２０１のＹＥＳ）、取得部１１は、同じくユーザ設定においてユーザの視線方向をトラッキングすることが設定されているか否かを確認する（ステップＳ２０２）。
【０１８９】
ユーザ設定においてユーザの視線方向をトラッキングしないと設定されている場合（ステップＳ２０２のＮＯ）、取得部１１は、レンダリング処理段数を例えば‘５’に設定し（ステップＳ２０６）、図１９に示す動作へリターンして、ステップＳ１０３以降の動作を実行する。
【０１９０】
一方、ユーザ設定においてユーザの視線方向をトラッキングすると設定されている場合（ステップＳ２０２のＹＥＳ）、取得部１１は、出力先数、すなわち再生環境を構成するスピーカＳＰの数が所定数（例えば‘２’）以下であるか否かを判定する（ステップＳ２０３）。
【０１９１】
出力先数が所定数（例えば‘２’）未満である場合（ステップＳ２０３のＮＯ）、取得部１１は、例えばステップＳ２０６へ進み、レンダリング処理段数を例えば‘５’に設定し（ステップＳ２０６）、図１９に示す動作へリターンして、ステップＳ１０３以降の動作を実行する。
【０１９２】
一方、出力先数が所定数（例えば‘２’）以上である場合（ステップＳ２０３のＹＥＳ）、取得部１１は、レンダリング処理段数を例えば‘２’に設定し（ステップＳ２０５）、図１９に示す動作へリターンして、ステップＳ１０３以降の動作を実行する。
【０１９３】
２．５．６  レンダリング次数決定処理（ステップＳ１２４）
つづいて、本実施形態に係るレンダリング次数決定処理について説明する。本実施形態では、上述したように、メタデータに基づいてレンダリング次数が決定される。
【０１９４】
具体的には、本実施形態では、例えば、以下に例示する５つのカテゴリーすべてについて、メタデータに基づいて、音声オブジェクトが分類される。５つのカテゴリーとは、例えば、距離分類、動き分類、視野角上下分類、視野角左右分類、及び、局所性分類であってよい。ただし、これらに限定されず、４つ以下若しくは６つ以上の種々のカテゴリーについて、メタデータに基づいた音声オブジェクトの分類が実行されてよい。
【０１９５】
・距離分類
距離分類では、例えば、視聴位置から音源（音声オブジェクト）までの距離が近い場合は、視聴者の画音の位置ずれに対する感度は高くなり、視聴位置から音源までの距離が遠い場合は、視聴者の画音の位置ずれに対する感度も低くなる、と判断される。
【０１９６】
この距離分類は、例えば、メタデータにおけるradiusやgainなどの値に基づいて実行することができる。例えば、radiusやgainなどの値が他の音声オブジェクトのそれらの値（平均値であってもよい）の例えば６０％以下である場合は、その音声オブジェクトの視聴位置からの距離は遠いと見なすことができる。その場合、距離分類の結果を示すスコアには、‘０’が設定される。一方、radiusやgainなどの値が他の音声オブジェクトのそれらの値（平均値であってもよい）の例えば６０％未満である場合は、その音声オブジェクトの視聴位置からの距離は近いと見なすことができる。その場合、距離分類の結果を示すスコアには、‘１’が設定される。なお、上記における‘６０％’は単なる例であって、種々変形されてよい。
【０１９７】
・動き分類
動き分類では、例えば、音源の動きがほとんどない場合は、視聴者の画音の位置ずれに対する感度は高くなり、音源の動きが激しい場合は、視聴者の画音の位置ずれに対する感度も低くなる、と判断される。
【０１９８】
この動き分類は、例えば、メタデータにおけるazimuthやelevationなどの差分に基づいて実行することができる。例えば、アクセスユニット間でのazimuthやelevationなどのいずれか１つの差分が１度以上のときには、動きが大きいと見なすことができる。その場合、動き分類の結果を示すスコアには、‘０’が設定される。一方、azimuthやelevationなどのいずれか１つの差分が１度未満のときには、動きが小さいと見なすことができる。その場合、動き分類の結果を示すスコアには、‘１’が設定される。なお、上記における‘１度’は単なる例であって、種々変形されてよい。
【０１９９】
・視野角上下分類
・視野角左右分類
視野角上下分類及び視野角左右分類では、例えば、視聴者の視野角を想定して、視野角内に存在する音源は視聴者の画音の位置ずれに対する感度は高くなり、視野角外に存在する音源は視聴者の画音の位置ずれに対する感度が低くなる、と判断される。
【０２００】
視野角上下分類は、例えば、メタデータにおけるelevationなどの値に基づいて実行することができる。例えば、上方向又は下方向からくる音、すなわち、視聴者に対する音源の迎角が上下３０度に収まらないときには、視聴者に対する音源の位置が視野角外と見なすことができる。その場合、視野角上下分類の結果を示すスコアには、‘０’が設定される。一方、視聴者に対する音源の迎角が上下３０度に収まるときには、視聴者に対する音源の位置が視野角内と見なすことができる。その場合、視野角上下分類の結果を示すスコアには、‘１’が設定される。
【０２０１】
視野角左右分類は、例えば、メタデータにおけるazimuthなどの値に基づいて実行することができる。例えば、正面より外れたところの音、すなわち、視聴者に対する音源の位置の方位角が左右４５度に収まらないときには、視聴者に対する音源の位置が視野角外と見なすことができる。その場合、視野角左右分類の結果を示すスコアには、‘０’が設定される。一方、視聴者に対する音源の位置の方位角が左右４５度に収まるときには、視聴者に対する音源の位置が視野角内と見なすことができる。その場合、視野角左右分類の結果を示すスコアには、‘１’が設定される。
【０２０２】
・局所性分類
局所性分類では、例えば、音源の分布が空間的に均等である（包まれ感が強）場合は視聴者の画音の位置ずれに対する感度は低くなり、音源の分布が局所的である（包まれ感が弱）場合は視聴者の画音の位置ずれに対する感度は高くなる、と判断される。
【０２０３】
この局所性分類は、例えば、メタデータにおけるspreadなどの値に基づいて実行することができる。例えば、spreadなどの値が９０度以上であれば、局所性が低いと見なすことができる。その場合、局所性分類の結果を示すスコアには、‘０’が設定される。一方、spreadなどの値が９０度未満であれば、局所性が高いと見なすことができる。その場合、局所性分類の結果を示すスコアには、‘１’が設定される。
【０２０４】
本実施形態では、それぞれの分類を行うごとに、「視聴者の画音の位置ずれに対する感度は高い」と分類された場合には、各分類結果のスコアに基づいて、レンダリング次数が１つずつインクリメントされる。レンダリング次数が大きいということは、より音声出力に近い機会でレンダリングを実行する必要があり、リアルタイムの視線追随が要求される、ということを意味している。
【０２０５】
図２６は、本実施形態に係るレンダリング次数決定処理の一例を示すフローチャートである。図２６に示すように、図２０のステップＳ１２４に示すレンダリング次数決定処理では、まず、デコード部１３は、レンダリング次数を示すスコア（SCORE）に初期値である‘１’を設定するとともに、レンダリング処理段数に、図１９のステップＳ１０２（詳細は図２５参照）で決定されたレンダリング処理段数Ｋを設定する（ステップＳ２２１）。
【０２０６】
次に、デコード部１３は、ユーザ設定においてユーザの視線方向をトラッキングすることが設定されているか否かを確認する（ステップＳ２２２）。
【０２０７】
ユーザ設定においてユーザの視線方向をトラッキングしないと設定されている場合（ステップＳ２２２のＮＯ）、デコード部１３は、ステップＳ２３５へ進み、現在のSCOREの値をレンダリング次数に決定する。したがって、ユーザの視線方向をトラッキングしないと設定されている場合のレンダリング次数は、初期値（＝１）となる。
【０２０８】
一方、ユーザ設定においてユーザの視線方向をトラッキングすると設定されている場合（ステップＳ２２２のＹＥＳ）、デコード部１３は、まず、ユーザの視線方向のトラッキングが発生したか否かを判定する（ステップＳ２２３）。ユーザの視線方向のトラッキングが発生したか否かは、例えば、ユーザ視線情報が外部から入力されたか否かに基づいて判定することができる。
【０２０９】
ユーザの視線方向のトラッキングが発生していない場合（ステップＳ２２３のＮＯ）、デコード部１３は、ユーザ設定においてユーザの視線方向をトラッキングしないと設定されていた場合（ステップＳ２２２のＮＯ）と同様に、ステップＳ２３５へ進み、現在のSCOREの値をレンダリング次数に決定する。
【０２１０】
一方、ユーザの視線方向のトラッキングが発生した場合（ステップＳ２２３のＹＥＳ）、デコード部１３は、まず、動き分類を実行する（ステップＳ２２４）。動き分類の結果、視聴者に対する音源の動きが小さいと判定された場合（ステップＳ２２４のSCORE＝‘０’）、デコード部１３は、ユーザの視線方向のトラッキングが発生していない場合（ステップＳ２２３のＮＯ）と同様に、ステップＳ２３５へ進み、現在のSCOREの値をレンダリング次数に決定する。
【０２１１】
一方、視聴者に対する音源の動きが大きいと判定された場合（ステップＳ２２４のSCORE=‘１’）、デコード部１３は、現在のSCOREに‘１’を加算し（ステップＳ２２５）、ステップＳ２２６へ進む。
【０２１２】
ステップＳ２２６では、デコード部１３は、例えば、距離分類を実行する。距離分類の結果、視聴者から音源までの距離が近いと判定された場合（ステップＳ２２６のSCORE＝‘１’）、デコード部１３は、現在のSCOREに‘１’を加算し（ステップＳ２２７）、ステップＳ２２８へ進む。一方、視聴者から音源までの距離が遠いと判定された場合（ステップＳ２２６のSCORE＝‘０’）、デコード部１３は、そのままステップＳ２２８へ進む。
【０２１３】
ステップＳ２２８では、デコード部１３は、例えば、視野角上下分類を実行する。視野角上下分類の結果、視聴者に対する音源の仰角が所定の範囲（例えば、上下３０度）内に収まると判定された場合（ステップＳ２２８のSCORE＝‘１’）、デコード部１３は、現在のSCOREに‘１’を加算し（ステップＳ２２９）、ステップＳ２３０へ進む。一方、視聴者に対する音源の仰角が所定の範囲内に収まらないと判定された場合（ステップＳ２２８のSCORE＝‘０’）、デコード部１３は、そのままステップＳ２３０へ進む。
【０２１４】
ステップＳ２３０では、デコード部１３は、例えば、視野角左右分類を実行する。視野角左右分類の結果、視聴者に対する音源の位置の方位角が所定の範囲（例えば、左右４５度）内に収まると判定された場合（ステップＳ２３０のSCORE＝‘１’）、デコード部１３は、現在のSCOREに‘１’を加算し（ステップＳ２３１）、ステップＳ２３２へ進む。一方、視聴者に対する音源の位置の方位角が所定の範囲内に収まらないと判定された場合（ステップＳ２３０のSCORE＝‘０’）、デコード部１３は、そのままステップＳ２３２へ進む。
【０２１５】
ステップＳ２３２では、デコード部１３は、例えば、局所性分類を実行する。局所性分類の結果、音源の分布が空間的に均等である（包まれ感が強）と判定された場合（ステップＳ２３２のSCORE＝‘１’）、デコード部１３は、現在のSCOREに‘１’を加算し（ステップＳ２３３）、ステップＳ２３４へ進む。一方、音源の分布が局所的である（包まれ感が弱）と判定された場合（ステップＳ２３２のSCORE＝‘０’）、デコード部１３は、そのままステップＳ２３４へ進む。
【０２１６】
ステップＳ２３４では、デコード部１３は、現在のSCOREの値がレンダリング処理段数Ｋ以下であるか否かを判定し、レンダリング処理段数以下である場合（ステップＳ２３４のＹＥＳ）、現在のSCOREの値をレンダリング次数に決定し（ステップＳ２３５）、レンダリング処理段数より大きい場合（ステップＳ２３４のＮＯ）、レンダリング次数をレンダリング処理段数Ｋと同じ値に決定し（ステップＳ２３６）、その後、ステップＳ２３７へ進む。
【０２１７】
ステップＳ２３７ではデコード部１３は、ステップＳ２３５又はＳ２３６で決定したレンダリング次数を、中間データのレンダリング次数フィールドに格納し、その後、図２０に示す動作へリターンして、ステップＳ１２５以降の動作を実行する。
【０２１８】
２．６  コンテンツ生成側でのレンダリング次数の決定
なお、各音声オブジェクトのレンダリング次数は、MPEG-H  3D  Audioビットストリームを生成する側（サーバ側）で決定されてもよい。その場合、各音声オブジェクトのレンダリング次数は、メタデータの一部として、MPEG-H  3D  Audioビットストリーム内に埋め込まれて配信されてもよい。
【０２１９】
コンテンツ生成側で決定されたレンダリング次数は、例えば、図２７に例示するように、MPEG-H  3D  Audioビットストリームのメタデータフィールドに用意されたレンダリング次数用のフィールドに格納されてもよい。
【０２２０】
レンダリング次数は、例えば、MPEG-H  3D  Audioビットストリームのオーサリング時に静的に設定することができる。また、任意のレンダリング次数決定のアルゴリズムを用いて事前に生成しておくことも可能である。
【０２２１】
このように、コンテンツ生成装置において決定したレンダリング次数をMPEG-H  3D  Audioビットストリーム内に埋め込んで配信した場合、再生装置１は、事前に決定されたレンダリング次数をMPEG-H  3D  Audioビットストリームから取得することが可能となるため、レンダリング次数の精度をより高めることが可能となる。
【０２２２】
３．第２の実施形態
次に、本開示の第２の実施形態に係る情報処理装置及び情報処理方法について、図面を参照して詳細に説明する。
【０２２３】
上述した第１の実施形態では、MPEG-H  3D  Audio（音声）を再生する場合について説明したが、本開示に係る技術は、音声再生に限定されず、例えば、自由視点映像コンテンツの再生など、映像再生にも適用することが可能である。そこで、第２の実施形態では、自由視点映像コンテンツを再生する場合について、例を挙げて説明する。なお、自由視点映像などの映像コンテンツには、音声コンテンツが含まれてもよい。その場合、音声コンテンツの再生については、例えば、第１の実施形態において説明した再生装置１が用いられてよい。
【０２２４】
３．１  システム構成
図２８は、本実施形態に係る再生装置の概略構成例を示すブロック図である。図２８に示すように、再生装置２は、第１の実施形態において図１２を用いて説明した再生装置１と同様の構成において、デコード部１３がデコード部２３に、レンダリング部１５がレンダリング部２５にそれぞれ置き換えられている。また、本実施形態では、出力データの出力先である再生環境がディスプレイ（ＨＭＤを含む）などの表示装置から構成されている。
【０２２５】
なお、本実施形態では、第１の実施形態における音声オブジェクトが映像オブジェクト（３Ｄモデルデータ）に置き換えられ、メタデータがシーンデータに置き換えられる。また、本実施形態では、スピーカレイアウト情報の代わりに、ディスプレイの解像度などの情報を含むディスプレイ情報が用いられる。
【０２２６】
本実施形態のように、映像コンテンツをビットストリーム配信する場合、映像コンテンツにおける映像オブジェクト自体は３Ｄモデルデータとして符号化され、映像オブジェクトの空間配置情報はシーンデータとして別途符号化される。したがって、再生装置２には、３Ｄモデルデータとシーンデータとからなるビットストリームがアクセスユニット単位で入力される。
【０２２７】
再生装置２では、シーンデータとユーザ視線情報とに基づいて、複数の３Ｄモデルデータが３Ｄモデルデータごとにレンダリングされ、このレンダリング結果を重ね合わせる（合成）することで、ディスプレイに表示する２次元の表示データ（出力データに相当）が生成される。そのとき、３Ｄモデルデータごとに適応的にレンダリング処理の機会を決定し、決定された機会で３Ｄモデルデータごとにレンダリング処理を実行することで、ユーザの視線と映像表現とのずれを解消しつつレンダリングの負荷分散を図ることが可能となる。
【０２２８】
（デコード部２３）
図２９は、本実施形態に係るデコード部の概略構成例を示すブロック図である。図２９に示すように、デコード部２３は、解析器２３１と、３Ｄモデルデータ復号器２３２と、シーンデータ復号器２３３と、レンダリング次数決定器２３４とを備える。
【０２２９】
・解析器２３１
解析器２３１は、デコード部１３における解析器１３１に相当する構成であり、入力データ記憶部１２から自由視点映像コンテンツのアクセスユニットを読み出し、読み出したアクセスユニットを解析する。具体的には、アクセスユニットを３Ｄモデルデータとシーンデータとに分別し、３Ｄモデルデータを３Ｄモデルデータ復号器２３２へ、シーンデータをシーンデータ復号器２３３へ、それぞれ入力する。
【０２３０】
なお、１つのアクセスユニットには、複数の３Ｄモデルデータとシーンデータとを格納することが可能であるため、その場合、３Ｄモデルデータ復号器２３２には、アクセスユニットごとの複数の３Ｄモデルデータが入力される。
【０２３１】
・３Ｄモデルデータ復号器２３２
３Ｄモデルデータ復号器２３２は、デコード部１３における音声オブジェクト復号器１３２に相当する構成であり、自由視点映像コンテンツのアクセスユニット中の符号化された３Ｄモデルデータを復号する。そして、３Ｄモデルデータ復号器２３２は、復号後の３Ｄモデルデータのデータ長を示す３Ｄモデルデータ長と、復号後の３Ｄモデルデータとをレンダリング次数決定器２３４に入力する。
【０２３２】
なお、解析器２３１から複数の音声オブジェクトデータが入力される場合には、複数の３Ｄモデルデータと同数の３Ｄモデルデータ復号器２３２を並列に動作させてもよいし、１つの３Ｄモデルデータ復号器２３２により複数の３Ｄモデルデータを時分割で順番に復号してもよい。
【０２３３】
・シーンデータ復号器２３３
シーンデータ復号器２３３は、デコード部１３におけるメタデータ復号器１３３に相当する構成であり、自由視点映像コンテンツのアクセスユニット中のシーンデータを復号する。そして、シーンデータ復号器２３３は、復号後のシーンデータのデータ長を示すシーンデータ長と、復号後のシーンデータとをレンダリング次数決定器２３４に入力する。
【０２３４】
なお、解析器２３１から複数のシーンデータが入力される場合には、複数のシーンデータと同数のシーンデータ復号器２３３を並列に動作させてもよいし、１つのシーンデータ復号器２３３により複数のシーンデータを時分割で順番に復号してもよい。
【０２３５】
・レンダリング次数決定器２３４
レンダリング次数決定器２３４は、デコード部１３におけるレンダリング次数決定器１３４に相当する構成であり、３Ｄモデルデータ復号器２３２から入力された３Ｄモデルデータごとに、シーンデータ復号器２３３から入力されたシーンデータのうちの３Ｄモデルデータに対応するシーンデータに含まれる位置情報から、当該３Ｄモデルデータのレンダリング次数を決定する。
【０２３６】
以上のようにしてレンダリング次数を決定すると、デコード部２３は、デコード部１３と同様に、復号後の３Ｄモデルデータ長、復号後の３Ｄモデルデータ、復号後のシーンデータ長、復号後のシーンデータ、オブジェクト番号、および、決定されたレンダリング次数を、中間データ記憶部１４に中間データの形式で記録する。
【０２３７】
（３Ｄモデルデータについて）
ここで、３Ｄモデルデータについて、具体例を挙げて説明する。例えば、MPEG-I  Video  based  Point  Cloud  Compressionでは、テクスチャ画像、デプス画像、オキュパンシ画像、及び、各画像からポイントクラウドを構成するための情報を含むメタデータが規定されている。説明の簡略化のため詳細については省略するが、テクスチャ画像、デプス画像、オキュパンシ画像、及び、メタデータから構成されたポイントクラウドデータに対して、ある視点からの透視投影変換を実行することで、ある映像オブジェクトの２次元の映像表現を生成することが可能である。
【０２３８】
すなわち、MPEG-I  Video  based  Point  Cloud  Compressionで規定された３Ｄモデルデータとシーンデータとを入力する構成では、３Ｄモデルデータとして入力されたテクスチャ画像、デプス画像、オキュパンシ画像、及び、メタデータから、ある時刻のポイントクラウドデータを復元することができる。復元されたポイントクラウドデータは、レンダリング次数決定器２３４によって中間データ記憶部１４に記録される。シーンデータも同様に、レンダリング次数決定器２３４によって中間データ記憶部１４に記録される。
【０２３９】
レンダリング次数決定器２３４は、復号後のシーンデータの内容を解析することで、レンダリング次数を決定することができる（視聴位置から離れた位置に定位される映像オブジェクトはレンダリング次数を１（一次レンダリング）とする等）。例えば、サッカーの試合を自由視点映像として再生するときには、スタジアムや観客などの背景となる映像オブジェクトを一次レンダリングで実行し、ユーザ視点から遠い選手から順に、二次レンダリング、三次レンダリング、・・・で実行するように構成することもできる。
【０２４０】
（中間データのデータ形式について）
図３０は、本実施形態に係る中間データのデータ形式の一例を示す図である。図３０に示すように、本実施形態に係る中間データのデータ形式では、３Ｄモデルデータを格納するフィールド（Ｎ２バイト）が分割されて、３Ｄモデルデータ長（３２ビット）と、３Ｄモデルポイントクラウドデータ（Ｎａバイト）とが格納される。
【０２４１】
なお、映像オブジェクトが複数入力されてきた場合には、それぞれの３Ｄモデルデータ長が異なることがあり得るため、３Ｄモデルデータ長を格納するフィールドには、３Ｄモデルデータ長の最大値を記録し、各映像オブジェクトを記録する際には、各３Ｄモデルデータを格納して余った領域を、３Ｄモデルデータ長の最大値までパディングすることで、３Ｄモデルデータフィールドのフィールド長を一定に保つようにしてもよい。また、シーンデータ長も同様にシーンデータ長の最大値を記録し、余った領域をパディングで埋めることで、シーンデータフィールドのフィールド長を一定に保つようにしてもよい。
【０２４２】
（レンダリング部２５）
また、本実施形態に係るレンダリング部２５は、第１の実施形態に係るレンダリング部１５と同様の構成を備えてもよい。ただし、本実施形態では、スピーカレイアウト情報に代えて、ディスプレイ情報が入力される。ディスプレイ情報は、映像オブジェクトの再生環境に関する情報であり、例えば、再生環境を構成するディスプレイの解像度（画素数）などの情報を含む。
【０２４３】
レンダリング部２５は、ユーザの視線情報、シーンデータ及びディスプレイ情報に基づいて、個々の３Ｄモデルデータをレンダリング処理し、個々の３Ｄモデルデータのレンダリング結果を重ね合わせる（合成）することで、最終的な出力データを生成する。
【０２４４】
図３１は、本実施形態に係るレンダリング部の概略構成例を示すブロック図である。図３１に示すように、レンダリング部２５は、シーンデータ加工器２５１と、出力スケール計算器２５２と、映像データ生成器２５３と、出力合成器２５４とを備える。
【０２４５】
シーンデータ加工器２５１は、レンダリング部１５におけるメタデータ加工器１５１に相当する構成であり、入力されたユーザ視線情報を基に、シーンデータに含まれる３Ｄモデルデータの空間配置情報を補正する。
【０２４６】
出力スケール計算器２５２は、レンダリング部１５における出力ゲイン計算器１５２に相当する構成であり、入力されたディスプレイ情報のディスプレイ解像度（画素数）を基に、３Ｄモデルデータから２次元画像を生成する際のスケーリングファクター（倍率）を計算する。
【０２４７】
映像データ生成器２５３は、レンダリング部１５における音声データ生成器１５３に相当する構成であり、中間データとして記録された映像オブジェクトごとの３Ｄモデルデータと、先に生成した空間配置情報と、スケーリングファクターとから、２次元画像を生成する。
【０２４８】
出力合成器２５４は、レンダリング部１５における出力合成器１５４に相当する構成であり、個々の映像オブジェクトの２次元画像を重ね合わせることで、最終的な出力データ（ディスプレイ出力）を生成する。
【０２４９】
なお、本実施形態では、自由視点映像コンテンツのオーサリング時にレンダリング次数を静的に設定することもできる。その場合、先のMPEG-I  Video  based  Point  Cloud  Compressionのメタデータ中にレンダリング次数のフィールドが追加され、当該フィールドにレンダリング次数が格納されてもよい。
【０２５０】
また、本実施形態に係る再生装置２は、メモリ消費量などのリソースの状態に従って、静的に設定されたレンダリング次数をそのまま使ってもよいし、任意にレンダリング次数を設定できるようにしてもよい。
【０２５１】
その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【０２５２】
４．ハードウェア構成
次に、図３２を参照して、再生装置１、２を具現する情報処理装置９００のハードウェア構成例について説明する。
【０２５３】
図３２は、情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置（ＨＤＤ）９１０と、ドライブ９１１と、通信装置９１２と、を備える。
【０２５４】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。当該ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３の協働により、再生装置１、２の各部の機能が実現される。
【０２５５】
ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０２５６】
入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。ユーザは、当該入力装置９０８を操作することにより、各装置に対して各種情報を入力したり処理動作を指示したりすることができる。当該入力装置９０８により、ユーザ設定やユーザ視線情報やスピーカレイアウト情報などの種々の情報が再生装置１、２に入力される。
【０２５７】
出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置９０９は、スピーカおよびヘッドホンなどの音声出力装置を含む。表示装置は各種データをテキストまたはイメージで表示し、音声出力装置は各種データを音声に変換して出力する。当該出力装置９０９により、再生装置１、２による映像及び／又は音声の再生機能が実現される。
【０２５８】
ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。当該ストレージ装置９１０により再生装置１、２の入力データ記憶部１２、中間データ記憶部１４及び出力データ記憶部１６の各機能が実現される。
【０２５９】
ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１３に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１３に情報を書き込むこともできる。
【０２６０】
通信装置９１２は、例えば、通信網９１４に接続するための通信デバイス等で構成された通信インタフェースである。当該通信装置９１２により再生装置１、２の取得部１１の各機能が実現される。
【０２６１】
５．まとめ
以上のように、上述した各実施形態によれば、複数のオブジェクトから構成される映像音声信号の再生であって、ユーザ視線情報を反映した定位の変更処理（レンダリング）を行うときに、画音同期ずれを抑制することが可能な再生系が実現される。
【０２６２】
また、上述した実施形態によれば、複数のオブジェクトから構成される映像音声を例えば全天周型ＶＲ再生するときに、処理のリアルタイム性要求を上げることなく、ユーザの視線方向への追随性を高めることも可能となる。
【０２６３】
さらに、複数のオブジェクトから構成される映像音声信号の再生であって、ユーザ視線情報を反映した定位の変更処理（レンダリング）を行うときには、定位の変更処理の処理負荷を分散することも可能となる。
【０２６４】
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【０２６５】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【０２６６】
なお、本技術は以下のような構成も取ることができる。
（１）
複数のオブジェクトを含むコンテンツデータを取得する取得部と、
前記オブジェクトそれぞれに対するレンダリングの実行タイミングを決定する実行タイミング決定部と、
前記オブジェクトそれぞれの前記実行タイミングの直前に入力されたユーザの視線情報に基づいて前記オブジェクトそれぞれのレンダリングを実行するレンダリング部と、
前記レンダリングにより生成された前記オブジェクトごとの出力データを合成する出力合成部と、
を備える情報処理装置。
（２）
前記コンテンツデータは、前記オブジェクトそれぞれに対応付けられた複数のメタデータを含み、
前記実行タイミング決定部は、前記メタデータに基づいて前記オブジェクトそれぞれの前記実行タイミングを決定する
前記（１）に記載の情報処理装置。
（３）
前記メタデータは、前記コンテンツデータが再現する３次元空間内でのユーザの視聴位置を基準とした各オブジェクトの位置情報を含む
前記（２）に記載の情報処理装置。
（４）
前記実行タイミング決定部は、前記３次元空間内での前記ユーザの視聴位置から前記オブジェクトそれぞれまでの距離に基づいて、前記オブジェクトそれぞれの前記実行タイミングを決定する
前記（３）に記載の情報処理装置。
（５）
前記オブジェクトそれぞれには、それぞれ再生環境において表示する表示時刻が設定されており、
前記実行タイミング決定部は、前記表示時刻が同じオブジェクトに関して、前記３次元空間内における前記ユーザの視聴位置までの距離が短いオブジェクトに対するレンダリングが、前記３次元空間内における前記ユーザの視聴位置までの距離が長いオブジェクトに対するレンダリングよりも遅いタイミングで実行されるように、前記実行タイミングを決定する
前記（４）に記載の情報処理装置。
（６）
前記出力合成部は、前記オブジェクトそれぞれの前記表示時刻に基づいて前記オブジェクトごとの前記出力データを合成する
前記（５）に記載の情報処理装置。
（７）
前記レンダリング部は、前記メタデータにさらに基づいて、前記オブジェクトそれぞれのレンダリングを実行する
前記（２）〜（６）の何れか１項に記載の情報処理装置。
（８）
前記レンダリング部は、前記ユーザの視線情報に基づいて前記メタデータを加工し、加工後の前記メタデータに基づいて前記オブジェクトそれぞれのレンダリングを実行する
前記（７）に記載の情報処理装置。
（９）
前記レンダリング部は、前記オブジェクトの再生環境に関する情報にさらに基づいて、前記オブジェクトそれぞれのレンダリングを実行する
前記（２）〜（８）の何れか１項に記載の情報処理装置。
（１０）
前記複数のオブジェクトは、音声オブジェクトを含む前記（１）〜（９）の何れか１項に記載の情報処理装置。
（１１）
前記音声オブジェクトは、MPEG-H  3D  Audio符号化方式にて符号化されている前記（１０）に記載の情報処理装置。
（１２）
前記複数のオブジェクトは、映像オブジェクトを含む前記（１）〜（１１）の何れか１項に記載の情報処理装置。
（１３）
前記コンテンツデータは、音声コンテンツを含む映像コンテンツである前記（１）〜（１２）の何れか１項に記載の情報処理装置。
（１４）
複数のオブジェクトを含むコンテンツデータを取得し、
前記オブジェクトそれぞれに対するレンダリングの実行タイミングを決定し、
前記オブジェクトそれぞれの前記実行タイミングの直前に入力されたユーザの視線情報に基づいて前記オブジェクトそれぞれのレンダリングを実行し、
前記レンダリングにより生成された前記オブジェクトごとの出力データを合成する
ことを備える情報処理方法。
【符号の説明】
【０２６７】
１、２  再生装置
１１  取得部
１２  入力データ記憶部
１３、２３  デコード部
１４  中間データ記憶部
１５、２５  レンダリング部
１６  出力データ記憶部
１３１、２３１  解析器
１３２  音声オブジェクト復号器
１３３  メタデータ復号器
１３４、２３４  レンダリング次数決定器
１５１  メタデータ加工器
１５２  出力ゲイン計算器
１５３  音声データ生成器
１５４、２５４  出力合成器
２３２  ３Ｄモデルデータ復号器
２３３  シーンデータ復号器
２５１  シーンデータ加工器
２５２  出力スケール計算器
２５３  映像データ生成器
１０１  音声復号処理＋エフェクト処理
１０２  出力バッファ
１０３Ａ、１０３Ｂ  パンニング処理
１０４−１  一次レンダリング
１０４−２  二次レンダリング
１０４−３  三次レンダリング
１０５−１  音声オブジェクトＡ
１０５−２  音声オブジェクトＢ
１０５−３  音声オブジェクトＣ
１０６−１〜１０６−３  マッピング
ＳＰ、ＳＰ１〜ＳＰ５  スピーカ
【図１】
2020153092.tif 000003
【図２】
2020153092.tif 000004
【図３】
2020153092.tif 000005
【図４】
2020153092.tif 000006
【図５】
2020153092.tif 000007
【図６】
2020153092.tif 000008
【図７】
2020153092.tif 000009
【図８】
2020153092.tif 000010
【図９】
2020153092.tif 000011
【図１０】
2020153092.tif 000012
【図１１】
2020153092.tif 000013
【図１２】
2020153092.tif 000014
【図１３】
2020153092.tif 000015
【図１４】
2020153092.tif 000016
【図１５】
2020153092.tif 000017
【図１６】
2020153092.tif 000018
【図１７】
2020153092.tif 000019
【図１８】
2020153092.tif 000020
【図１９】
2020153092.tif 000021
【図２０】
2020153092.tif 000022
【図２１】
2020153092.tif 000023
【図２２】
2020153092.tif 000024
【図２３】
2020153092.tif 000025
【図２４】
2020153092.tif 000026
【図２５】
2020153092.tif 000027
【図２６】
2020153092.tif 000028
【図２７】
2020153092.tif 000029
【図２８】
2020153092.tif 000030
【図２９】
2020153092.tif 000031
【図３０】
2020153092.tif 000032
【図３１】
2020153092.tif 000033
【図３２】
2020153092.tif 000034
【手続補正書】
【提出日】令和2年4月27日(2020.4.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のオブジェクトと、前記オブジェクトそれぞれに対応付けられた複数のメタデータとを含むコンテンツデータを取得する取得部と、
前記オブジェクトそれぞれに対するレンダリングの実行タイミングを決定する実行タイミング決定部と、
前記オブジェクトそれぞれの前記実行タイミングの直前に入力されたユーザの視線情報に基づいて前記オブジェクトそれぞれのレンダリングを実行するレンダリング処理部と、
前記レンダリングにより生成された前記オブジェクトごとの出力データを合成する出力合成部と、
を備え、
前記メタデータは、前記コンテンツデータが再現する３次元空間内でのユーザの視聴位置を基準とした各オブジェクトの位置情報を含み、
前記実行タイミング決定部は、前記３次元空間内での前記ユーザの視聴位置から前記オブジェクトそれぞれまでの距離に基づいて、前記オブジェクトそれぞれの前記実行タイミングを決定する
情報処理装置。
【請求項２】
（削除）
【請求項３】
（削除）
【請求項４】
（削除）
【請求項５】
前記オブジェクトそれぞれには、それぞれ再生環境において表示する表示時刻が設定されており、
前記実行タイミング決定部は、前記表示時刻が同じオブジェクトに関して、前記３次元空間内における前記ユーザの視聴位置までの距離が短いオブジェクトに対するレンダリングが、前記３次元空間内における前記ユーザの視聴位置までの距離が長いオブジェクトに対するレンダリングよりも遅いタイミングで実行されるように、前記実行タイミングを決定する
請求項１に記載の情報処理装置。
【請求項６】
前記出力合成部は、前記オブジェクトそれぞれの前記表示時刻に基づいて前記オブジェクトごとの前記出力データを合成する
請求項５に記載の情報処理装置。
【請求項７】
前記レンダリング処理部は、前記メタデータにさらに基づいて、前記オブジェクトそれぞれのレンダリングを実行する
請求項１に記載の情報処理装置。
【請求項８】
前記レンダリング処理部は、前記ユーザの視線情報に基づいて前記メタデータを加工し、加工後の前記メタデータに基づいて前記オブジェクトそれぞれのレンダリングを実行する
請求項７に記載の情報処理装置。
【請求項９】
前記レンダリング処理部は、前記オブジェクトの再生環境に関する情報にさらに基づいて、前記オブジェクトそれぞれのレンダリングを実行する
請求項１に記載の情報処理装置。
【請求項１０】
前記複数のオブジェクトは、音声オブジェクトを含む請求項１に記載の情報処理装置。
【請求項１１】
前記音声オブジェクトは、ＭＰＥＧ−Ｈ  ３Ｄ  Ａｕｄｉｏ符号化方式にて符号化されている請求項１０に記載の情報処理装置。
【請求項１２】
前記複数のオブジェクトは、映像オブジェクトを含む請求項１に記載の情報処理装置。
【請求項１３】
前記コンテンツデータは、音声コンテンツを含む映像コンテンツである請求項１に記載の情報処理装置。
【請求項１４】
複数のオブジェクトと、前記オブジェクトそれぞれに対応付けられた複数のメタデータとを含むコンテンツデータを取得し、
前記オブジェクトそれぞれに対するレンダリングの実行タイミングを決定し、
前記オブジェクトそれぞれの前記実行タイミングの直前に入力されたユーザの視線情報に基づいて前記オブジェクトそれぞれのレンダリングを実行し、
前記レンダリングにより生成された前記オブジェクトごとの出力データを合成する
ことを備え、
前記メタデータは、前記コンテンツデータが再現する３次元空間内でのユーザの視聴位置を基準とした各オブジェクトの位置情報を含み、
前記オブジェクトそれぞれの前記実行タイミングは、前記３次元空間内での前記ユーザの視聴位置から前記オブジェクトそれぞれまでの距離に基づいて決定される
情報処理方法。
【国際調査報告】
2020153092.tif 000035
2020153092.tif 000036
2020153092.tif 000037
2020153092.tif 000038
2020153092.tif 000039
2020153092.tif 000040