(57)【要約】  本開示は、２次元画像データから３次元データを生成する際に用いられる情報を効率的に取得することができるようにする情報処理装置および情報処理方法に関する。グルーピング部は、２次元画像データを取得する複数の仮想カメラを複数のグループに分類する。グローバルテーブル生成部は、複数のグループのそれぞれに関するグループ情報を登録したグローバルテーブルを生成する。グループテーブル生成部は、グループごとに、グループに分類された仮想カメラにより取得される２次元画像データから３次元データを生成する際に用いられるカメラ情報を登録したグループテーブルを生成する。本開示は、例えば、符号化装置等に適用することができる。
2017154606.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像データを取得する複数のカメラを複数のグループに分類するグルーピング部と、
前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部と、
前記グループごとに、前記グループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報を生成するカメラ情報生成部と
を備える情報処理装置。
【請求項２】
前記グルーピング部は、前記２次元画像データを再生する情報処理装置の処理能力ごとに、前記複数のカメラのうちの少なくとも一部を前記複数のグループに分類する
ように構成された
請求項１に記載の情報処理装置。
【請求項３】
前記グルーピング部は、前記複数のカメラの位置に基づいて、前記複数のカメラを前記複数のグループに分類する
ように構成された
請求項１に記載の情報処理装置。
【請求項４】
前記グループ情報は、前記グループに分類された前記カメラを含む領域の重心位置を表す情報である
ように構成された
請求項３に記載の情報処理装置。
【請求項５】
前記グルーピング部は、前記２次元画像データを用いて生成される３次元データに対応する３次元物体ごとに、前記２次元画像データに対応するカメラを前記グループに分類する
ように構成された
請求項１に記載の情報処理装置。
【請求項６】
前記グループ情報は、前記グループに対応する前記３次元物体を表す情報である
ように構成された
請求項５に記載の情報処理装置。
【請求項７】
前記グルーピング部は、前記２次元画像データを用いて生成される３次元データに対応する３次元空間ごとに、前記２次元画像データに対応するカメラを前記グループに分類する
ように構成された
請求項１に記載の情報処理装置。
【請求項８】
前記グループ情報は、前記グループに対応する前記３次元空間を表す情報である
ように構成された
請求項７に記載の情報処理装置。
【請求項９】
情報処理装置が、
２次元画像データを取得する複数のカメラを複数のグループに分類するグルーピングステップと、
前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成ステップと、
前記グループごとに、前記グループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報を生成するカメラ情報生成ステップと
を含む情報処理方法。
【請求項１０】
２次元画像データを取得する複数のカメラが複数のグループに分類された際の前記グループに関するグループ情報に基づいて、前記複数のグループから所定のグループを選択するグループ選択部と、
前記グループ選択部により選択された前記所定のグループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報を取得するカメラ情報取得部と
を備える情報処理装置。
【請求項１１】
前記カメラ情報取得部により取得された前記カメラ情報を用いて、前記所定のグループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する３次元データ生成部
をさらに備える
請求項１０に記載の情報処理装置。
【請求項１２】
前記グループ選択部は、前記情報処理装置の処理能力ごとに前記複数のカメラのうちの少なくとも一部が分類された前記複数のグループのうちの、自分の情報処理装置の処理能力に対応する前記複数のグループから前記所定のグループを選択する
ように構成された
請求項１０に記載の情報処理装置。
【請求項１３】
前記複数のカメラは、前記複数のカメラの位置に基づいて前記複数のグループに分類される
ように構成された
請求項１０に記載の情報処理装置。
【請求項１４】
前記グループ情報は、前記グループに分類された前記カメラを含む領域の重心位置を表す情報であり、
前記グループ選択部は、仮想視点の位置と前記グループ情報とに基づいて、前記所定のグループを選択する
ように構成された
請求項１３に記載の情報処理装置。
【請求項１５】
前記２次元画像データを用いて生成される３次元データに対応する３次元物体ごとに、前記２次元画像データに対応するカメラが前記グループに分類される
ように構成された
請求項１０に記載の情報処理装置。
【請求項１６】
前記グループ情報は、前記グループに対応する前記３次元物体を表す情報であり、
前記グループ選択部は、仮想視点の画像において被写体となる前記３次元物体を表す前記グループ情報に対応するグループを、前記所定のグループとして選択する
ように構成された
請求項１５に記載の情報処理装置。
【請求項１７】
前記２次元画像データを用いて生成される３次元データに対応する３次元空間ごとに、前記２次元画像データに対応するカメラが前記グループに分類される
ように構成された
請求項１０に記載の情報処理装置。
【請求項１８】
前記グループ情報は、前記グループに対応する前記３次元空間を表す情報であり、
前記グループ選択部は、仮想視点を含む前記３次元空間を表す前記グループ情報に対応するグループを、前記所定のグループとして選択する
ように構成された
請求項１７に記載の情報処理装置。
【請求項１９】
情報処理装置が、
２次元画像データを取得する複数のカメラが複数のグループに分類された際の前記グループに関するグループ情報に基づいて、前記複数のグループから所定のグループを選択するグループ選択ステップと、
前記グループ選択ステップの処理により選択された前記所定のグループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報を取得するカメラ情報取得ステップと
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法に関し、特に、２次元画像データから３次元データを生成する際に用いられる情報を効率的に取得することができるようにした情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
複数のカメラにより撮影された２次元画像データとデプス画像データなどから３次元データを生成し(例えば、非特許文献１、２参照)、生成された３次元データから１つの任意の仮想視点である自由視点の２次元画像データ(以下、自由視点画像データという)を生成する再生装置がある。【０００３】
このような再生装置では、視聴者は、全てのカメラにより撮影された２次元画像データとデプス画像データなどから生成可能な３次元データに対応する仮想空間である視聴空間を自由に歩き回って視聴するウォークスルーを行うことができる。【０００４】
なお、デプス画像データとは、各画素の被写体の奥行き方向（撮像面に垂直な方向）の位置を示すデプスからなる画像データである。また、３次元データとは、３次元の被写体の３次元位置情報と２次元画像データとからなるデータである。【０００５】
上述した再生装置は、自由視点画像データを生成する際、３次元データを生成するために、全てのカメラにより撮影された２次元画像データとデプス画像データなどをサーバから取得する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Saied Moezzi, Li-Cheng Tai, Philippe Gerard, “Virtual View Generation for 3D Digital Video”, University of California, San Diego
【非特許文献２】Takeo Kanade and Peter Rander,P.J. Narayanan, "Virtualized Reality: Constructing Virtual Worlds from Real Scenes"
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、自由視点が大規模な視聴空間の一部を視聴する視点である場合、全視聴空間に対する、自由視点画像データの生成に用いられる３次元データに対応する仮想空間の割合は小さい。従って、この場合、再生装置が、全視聴空間の３次元データの生成に用いられる全てのカメラの２次元画像データとデプス画像データなどを取得することは無駄である。【０００８】
本開示は、このような状況に鑑みてなされたものであり、２次元画像データから３次元データを生成する際に用いられる情報を効率的に取得することができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の第１の側面の情報処理装置は、２次元画像データを取得する複数のカメラを複数のグループに分類するグルーピング部と、前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部と、前記グループごとに、前記グループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報を生成するカメラ情報生成部とを備える情報処理装置である。【００１０】
本開示の第１の側面の情報処理方法は、本開示の第１の側面の情報処理装置に対応する。【００１１】
本開示の第１の側面においては、２次元画像データを取得する複数のカメラが複数のグループに分類され、前記複数のグループのそれぞれに関するグループ情報が生成され、前記グループごとに、前記グループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報が生成される。【００１２】
本開示の第２の側面の情報処理装置は、２次元画像データを取得する複数のカメラが複数のグループに分類された際の前記グループに関するグループ情報に基づいて、前記複数のグループから所定のグループを選択するグループ選択部と、前記グループ選択部により選択された前記所定のグループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報を取得するカメラ情報取得部とを備える情報処理装置である。【００１３】
本開示の第２の側面の情報処理方法は、本開示の第２の側面の情報処理装置に対応する。【００１４】
本開示の第２の側面においては、２次元画像データを取得する複数のカメラが複数のグループに分類された際の前記グループに関するグループ情報に基づいて、前記複数のグループから所定のグループが選択され、前記所定のグループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報が取得される。【００１５】
なお、第１および第２の側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。【００１６】
また、第１および第２の側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１７】
本開示の第１の側面によれば、情報を生成することができる。本開示の第１の側面によれば、２次元画像データから３次元データを生成する際に用いられる情報を効率的に取得することができるように情報を生成することができる。【００１８】
また、本開示の第２の側面によれば、情報を取得することができる。本開示の第２の側面によれば、２次元画像データから３次元データを生成する際に用いられる情報を効率的に取得することができる。【００１９】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】本開示を適用した情報処理システムの第１実施の形態の構成例を示すブロック図である。
【図２】生成部の構成例を示すブロック図である。
【図３】仮想カメラの第１の分類方法の第１の例を説明する図である。
【図４】仮想カメラの第１の分類方法の第２の例を説明する図である。
【図５】第１の分類方法におけるグローバルテーブルの構成例を示す図である。
【図６】仮想カメラの第２の分類方法を説明する図である。
【図７】第２の分類方法におけるグローバルテーブルの構成例を示す図である。
【図８】仮想カメラの第３の分類方法を説明する図である。
【図９】第３の分類方法におけるグローバルテーブルの構成例を示す図である。
【図１０】グループテーブルの例を示す図である。
【図１１】符号化装置の符号化処理を説明するフローチャートである。
【図１２】選択部の構成例を示すブロック図である。
【図１３】第１の分類方法の第１の例で分類されたグループの選択方法を説明する図である。
【図１４】第１の分類方法の第２の例で分類されたグループの選択方法を説明する図である。
【図１５】第２の分類方法で分類されたグループの選択方法を説明する図である。
【図１６】第３の分類方法で分類されたグループの選択方法を説明する図である。
【図１７】取得データリストの第１の例を示す図である。
【図１８】取得データリストの第２の例を示す図である。
【図１９】復号装置の復号処理を説明するフローチャートである。
【図２０】クライアントプロパティテーブルの例を示す図である。
【図２１】クライアントプロパティ「PC」に対応するグローバルテーブルの生成時に行われる仮想カメラの分類を説明する図である。
【図２２】クライアントプロパティ「Portable terminal」に対応するグローバルテーブルの生成時に行われる仮想カメラの分類を説明する図である。
【図２３】クライアントプロパティ「Thin client」に対応するグローバルテーブルの生成時に行われる仮想カメラの分類を説明する図である。
【図２４】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：情報処理システム（図１乃至図１９）
２．第２実施の形態：情報処理システム（図２０乃至図２３）
３．第３実施の形態：コンピュータ（図２４）
【００２２】
＜第１実施の形態＞
（情報処理システムの第１実施の形態の構成例）
図１は、本開示を適用した情報処理システムの第１実施の形態の構成例を示すブロック図である。
【００２３】
図１の情報処理システム１０は、撮像装置１１、符号化装置１２（情報処理装置）、復号装置１３（情報処理装置）、および表示装置１４により構成される。情報処理システム１０は、撮像装置１１により取得された２次元画像データ等を用いて、自由視点画像データを生成し、表示する。
【００２４】
具体的には、情報処理システム１０の撮像装置１１は、例えば、マルチカメラ、測距測定器、および画像処理部により構成される。撮像装置１１のマルチカメラは、複数のカメラにより構成され、各カメラで少なくとも一部が共通する被写体の動画像の２次元画像データを撮像する。測距測定器は、例えば、各カメラに設けられ、そのカメラと同一の視点のデプス画像データを生成する。
【００２５】
撮像装置１１の画像処理部は、各カメラの視点の２次元画像データおよびデプス画像データ、並びに、各カメラの内部パラメータおよび外部パラメータを用いて、Visual Hull等によるモデリングを行い、メッシュを作成する。画像処理部は、作成されたメッシュを構成する各点（Vertex）の３次元位置と各点のつながり（Polygon）を示す幾何情報（Geometry）と、そのメッシュの２次元画像データとを被写体の３次元データとして生成する。
【００２６】
画像処理部における３次元データの生成方法としては、例えば、非特許文献１、２等に記載されている方法を採用することができる。画像処理部は、３次元データを符号化装置１２に供給する。
【００２７】
符号化装置１２は、変換部２１、符号化部２２、生成部２３、記憶部２４、および通信部２５により構成される。
【００２８】
符号化装置１２の変換部２１は、複数の仮想カメラのそれぞれに、仮想カメラに固有のカメラＩＤを付与する。変換部２１は、各仮想カメラの内部パラメータ、外部パラメータ、および全天周パノラマ撮影を行うかどうか示すパノラマフラグを設定する。変換部２１は、各仮想カメラのカメラＩＤに対応付けて、その仮想カメラの内部パラメータ、外部パラメータ、およびパノラマフラグを生成部２３に供給する。なお、全天周パノラマ撮影とは、水平方向の周囲360度および垂直方向の周囲180度の画像の撮影である。
【００２９】
変換部２１は、各仮想カメラの内部パラメータと外部パラメータに基づいて、撮像装置１１から供給される３次元データから、各仮想カメラにより撮影される同一時刻の２次元画像データとデプス画像データとを生成する。なお、ここでいう「同一時刻」とは、３次元データの生成において同一の撮影時刻とみなすことができる所定の範囲内の時刻であり、完全に同一の時刻である必要はない。
【００３０】
変換部２１における２次元画像データとデプス画像データの生成方法としては、例えば、谷本正幸、「究極の映像通信を目指して」電子情報通信学会技術研究報告. CS, 通信方式 110(323), 73-78, 2010-11-25等に記載されている方法を採用することができる。変換部２１は、各仮想カメラの２次元画像データとデプス画像データを符号化部２２に供給する。
【００３１】
本明細書では、２次元画像データとデプス画像データの視点は同一であるものとするが、異なっていてもよい。また、仮想カメラは、撮像装置１１のカメラと同一であっても、異なっていてもよい。
【００３２】
符号化部２２は、変換部２１から供給される仮想カメラの２次元画像データとデプス画像データを符号化する。符号化方式としては、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式等を採用することができる。符号化部２２は、符号化の結果得られる符号化ストリームを記憶部２４に供給する。
【００３３】
生成部２３は、変換部２１から供給される各仮想カメラの内部パラメータと外部パラメータの少なくとも一方に基づいて、複数の仮想カメラを複数のグループに分類する。生成部２３は、複数のグループのそれぞれに関するグループ情報が登録されるグローバルテーブルを生成する。
【００３４】
また、生成部２３は、グループごとに、そのグループに分類された仮想カメラにより撮影される２次元画像データから３次元画像データを生成する際に用いられるカメラ情報を登録したグループテーブルを生成する。カメラ情報には、内部パラメータ、外部パラメータ、パノラマフラグなどがある。生成部２３は、グローバルテーブルとグループテーブルを記憶部２４に供給する。
【００３５】
記憶部２４は、サーバとして機能し、生成部２３から供給されるグローバルテーブルおよびグループテーブルと、符号化部２２から供給される符号化ストリームとを記憶する。
【００３６】
通信部２５は、記憶部２４に記憶されているグローバルテーブルを読み出し、復号装置１３に伝送する。また、通信部２５は、復号装置１３の要求に応じて、所定のグループのグループテーブルや符号化ストリームを記憶部２４から読み出し、復号装置１３に伝送する。
【００３７】
復号装置１３は、通信部３０、選択部３１、復号部３２、３次元データ生成部３３、および再構成部３４により構成される。復号装置１３には、表示装置１４を視聴するユーザから自由視点を特定する自由視点情報が入力され、選択部３１と再構成部３４に供給される。
【００３８】
復号装置１３の通信部３０は、符号化装置１２の通信部２５から伝送されてくるグローバルテーブルを受信し、選択部３１に供給する。通信部３０は、選択部３１から供給される所定のグループのグループテーブルの取得に用いられるグループテーブル取得情報に基づいて、所定のグループのグループテーブルを通信部２５に要求する。通信部３０は、その要求に応じて通信部２５から伝送されてくるグループテーブルを取得し、選択部３１に供給する。
【００３９】
また、通信部３０は、選択部３１から供給される符号化ストリームの取得に用いられるストリーム取得情報を登録したリストである取得データリストに基づいて、符号化ストリームを通信部２５に要求する。通信部３０は、その要求に応じて通信部２５から伝送されてくる符号化ストリームを取得し、復号部３２に供給する。
【００４０】
選択部３１は、自由視点情報と通信部３０から供給されるグローバルテーブルとに基づいて、自由視点画像データの生成に必要なカメラ情報に対応する仮想カメラが分類されたグループを選択する。選択部３１は、グローバルテーブルにグループ情報として登録されている、選択されたグループのグループテーブル取得情報を通信部３０に供給する。
【００４１】
また、選択部３１は、通信部３０から供給されるグループテーブルに登録されているカメラ情報から、３次元データ生成部３３による３次元データの生成に用いられるカメラ情報を選択する。選択部３１は、選択されたカメラ情報に含まれる仮想カメラの内部パラメータと外部パラメータを３次元データ生成部３３に供給する。また、選択部３１は、選択されたカメラ情報に含まれるストリーム取得情報の取得データリストを通信部３０に供給する。
【００４２】
復号部３２、３次元データ生成部３３、および再構成部３４は、通信部３０から供給される符号化ストリームから自由視点画像データ等を再生する。
【００４３】
具体的には、復号部３２は、通信部３０から供給される符号化ストリームを、符号化部２２における符号化方式に対応する方式で復号する。復号部３２は、その結果得られる各仮想カメラの２次元画像データおよびデプス画像データを３次元データ生成部３３に供給する。
【００４４】
３次元データ生成部３３は、選択部３１から供給される内部パラメータおよび外部パラメータに基づいて、復号部３２から供給される各仮想カメラの２次元画像データとデプス画像データから３次元データを生成し、再構成部３４に供給する。
【００４５】
再構成部３４は、自由視点情報に基づいて、自由視点の仮想カメラの内部パラメータおよび外部パラメータを生成する。再構成部３４は、自由視点の仮想カメラの内部パラメータおよび外部パラメータに基づいて、３次元データ生成部３３から供給される３次元データから自由視点画像データ、または、自由視点画像データおよび自由視点のデプス画像データを生成し、表示装置１４に供給する。
【００４６】
表示装置１４は、２次元ヘッドマウントディスプレイや２次元モニタ、３次元ヘッドマウントディスプレイや３次元モニタなどにより構成される。表示装置１４は、３次元データ生成部３３から供給される自由視点画像データに基づいて自由視点画像を２次元表示するか、または、自由視点画像データと自由視点のデプス画像データに基づいて自由視点画像を３次元表示する。
【００４７】
（生成部の構成例）
図２は、図１の生成部２３の構成例を示すブロック図である。
【００４８】
図２の生成部２３は、グルーピング部５１、グローバルテーブル生成部５２、およびグループテーブル生成部５３により構成される。
【００４９】
生成部２３のグルーピング部５１は、図１の変換部２１から供給される各仮想カメラの内部パラメータと外部パラメータの少なくとも一方に基づいて、複数の仮想カメラを複数のグループに分類する。グルーピング部５１は、各グループのグループ情報を生成し、グローバルテーブル生成部５２に供給する。
【００５０】
また、グルーピング部５１は、グループごとに、そのグループに分類された仮想カメラのカメラＩＤ、内部パラメータ、外部パラメータ、およびパノラマフラグを、グループテーブル生成部５３に供給する。
【００５１】
グローバルテーブル生成部５２（グループ情報生成部）は、グルーピング部５１から供給される各グループのグループ情報に基づいて、グローバルテーブルを生成する。グローバルテーブル生成部５２は、グローバルテーブルを図１の記憶部２４に供給して記憶させる。
【００５２】
グループテーブル生成部５３（カメラ情報生成部）は、グルーピング部５１から供給される各グループに分類された仮想カメラのカメラＩＤ、内部パラメータ、外部パラメータ、およびパノラマフラグに基づいて、グループごとにグループテーブルを生成する。グループテーブル生成部５３は、グループテーブルを図１の記憶部２４に供給して記憶させる。
【００５３】
（仮想カメラの第１の分類方法の説明）
図３および図４は、図２のグルーピング部５１による仮想カメラの第１の分類方法を説明する図である。
【００５４】
図３および図４の例では、１３個の仮想カメラ７１−０乃至７１−１２により、３つの３次元物体７２−０乃至７２−２が主要な被写体として撮影されている。このことは、後述する図６においても同様である。なお、以下では、仮想カメラ７１−０乃至７１−１２を特に区別する必要がない場合、それらをまとめて仮想カメラ７１という。
【００５５】
この場合、第１の分類方法では、グルーピング部５１は、例えば、図３に示すように、仮想カメラ７１の外部パラメータが示す位置に基づいて、ｋ平均法（k-means法）などにより、仮想カメラ７１をグループに分類する。これにより、仮想カメラ７１は、いずれか１つのグループに分類される。図３の例では、グルーピング部５１は、４つの仮想カメラ７１−０乃至７１−３を第１のグループに分類し、５つの仮想カメラ７１−４乃至７１−８を第２のグループに分類し、４つの仮想カメラ７１−９乃至７１−１２を第３のグループに分類している。
【００５６】
このとき、グルーピング部５１は、グループごとに、そのグループに分類される全ての仮想カメラ７１の位置を含む領域７３−０乃至７３−２を決定し、領域７３−０乃至７３−２の重心７４−０乃至７４−２を求める。領域７３−０乃至７３−２のうちの隣り合う領域どうしは、接してもよいし、接しなくてもよい。
【００５７】
図３の第１の分類方法では、仮想カメラ７１がいずれか１つのグループに分類されたが、図４に示すように、少なくとも１つの仮想カメラ７１が２以上のグループに分類されるようにしてもよい。この場合、グルーピング部５１は、全ての仮想カメラ７１の外部パラメータが示す位置を含む領域に対して、その領域の一部を構成する部分領域を、少なくとも１つの部分領域が他の部分領域と重なるように設定する。そして、グルーピング部５１は、部分領域ごとに、その部分領域内に位置する仮想カメラ７１を１つのグループに分類する。
【００５８】
図４の例では、全ての仮想カメラ７１の位置を含む領域に対して、３つの円形の部分領域８１−０乃至８１−２が設定されている。そして、部分領域８１−０内に位置する４つの仮想カメラ７１−０乃至７１−３が第１のグループに分類され、部分領域８１−１内に位置する５つの仮想カメラ７１−４乃至７１−８が第２のグループに分類されている。また、部分領域８１−２内に位置する６つの仮想カメラ７１−７乃至７１−１２が第３のグループに分類されている。従って、仮想カメラ７１−７および仮想カメラ７１−８は、第２のグループと第３のグループの両方に分類されている。
【００５９】
このとき、グルーピング部５１は、部分領域８１−０乃至８１−２の重心(中心)８２−０乃至８２−２を求める。
【００６０】
なお、図３および図４の例では、仮想カメラ７１により撮影される主な被写体が３次元物体であるようにしたが、３次元空間であってもよい。
【００６１】
（第１の分類方法におけるグローバルテーブルの構成例）
図５は、第１の分類方法におけるグローバルテーブルの構成例を示す図である。
【００６２】
なお、図５の例では、グループの数が３であり、各グループに０から順にグループＩＤが付与されている。
【００６３】
図５のグローバルテーブルでは、各グループのグループＩＤに対応付けて、そのグループの重心位置、領域情報、およびグループテーブル取得情報からなるグループ情報が登録される。
【００６４】
重心位置は、グループに分類される全ての仮想カメラの位置を含む領域の重心（図３の例では重心７４−０乃至７４−２、図４の例では重心８２−０乃至８２−２）の位置を示す３次元座標である。図５では、グループＩＤがｉ（ｉ=0,1,2）であるグループの重心位置を、３次元座標（xi,yi,zi）と記載している。
【００６５】
また、領域情報は、グループに分類される全ての仮想カメラの位置を含む領域（図３の例では領域７３−０乃至７３−２、図４の例では部分領域８１−０乃至８１−２）を示す情報である。領域７３−０乃至７３−２のように、領域の形状が円形ではない場合、領域情報は、例えば、領域の各頂点の３次元座標である。一方、部分領域８１−０乃至８１−２のように、領域の形状が円形である場合、領域情報は、例えば、領域の半径を示す情報である。図５の例では、グループＩＤがｉであるグループの領域情報を、Region iと記載している。
【００６６】
グループテーブル取得情報は、例えば、記憶部２４内のグローバルテーブルの位置を特定するURL（Uniform Resource Locator）などの情報である。図５では、グループＩＤがｉであるグループのグループテーブル取得情報を、URL iと記載している。
【００６７】
（仮想カメラの第２の分類方法の説明）
図６は、図２のグルーピング部５１による仮想カメラの第２の分類方法を説明する図である。
【００６８】
第２の分類方法では、変換部２１は、撮像装置１１を構成する各カメラの内部パラメータおよび外部パラメータを、各仮想カメラの内部パラメータおよび外部パラメータとして設定する。即ち、撮像装置１１を構成する各カメラと各仮想カメラの内部パラメータおよび外部パラメータは同一である。
【００６９】
また、グルーピング部５１は、図６に示すように、３次元物体７２−０乃至７２−２のそれぞれについて、その３次元物体７２−０乃至７２−２を被写体とする２次元画像データに対応する仮想カメラをグループに分類する。具体的には、グルーピング部５１は、仮想カメラごとに、内部パラメータと外部パラメータに基づいて、２次元画像データ等を用いて３次元データ生成部３３により生成される３次元データに対応する３次元物体を認識する。そして、グルーピング部５１は、３次元物体ごとに、その３次元物体に対応する仮想カメラをグループに分類する。
【００７０】
図６の例では、グルーピング部５１は、３次元物体７２−０に対応するグループに、６つの仮想カメラ７１−０乃至７１−３、仮想カメラ７１−１０、および仮想カメラ７１−１１を分類している。このとき、グルーピング部５１は、３次元物体７２−０に対応するグループに分類された全ての仮想カメラ７１の位置を含む領域１０１を決定し、領域１０１の重心１０２を求める。
【００７１】
また、グルーピング部５１は、３次元物体７２−０に対応するグループと同様に、３次元物体７２−１および７２−２に対応するグループに仮想カメラ７１を分類する。そして、グルーピング部５１は、グループごとに、そのグループに分類された全ての仮想カメラ７１の位置を含む領域を決定し、その領域の重心を求める。
【００７２】
（第２の分類方法におけるグローバルテーブルの構成例）
図７は、第２の分類方法におけるグローバルテーブルの構成例を示す図である。
【００７３】
図７のグローバルテーブルの構成は、グループ情報に３次元物体位置がさらに含まれる点が、図５の構成と異なっている。
【００７４】
即ち、図７のグローバルテーブルでは、各グループのグループＩＤに対応付けて、そのグループに対応する３次元物体（図６の例では３次元物体７２−０乃至７２−２）を表す情報としての３次元物体の中心の３次元座標が、３次元物体位置として登録される。つまり、３次元物体位置は、各グループに分類された仮想カメラに対応する撮像装置１１のカメラにより撮影された２次元画像データ等がどの３次元物体の３次元データの生成に用いられたかを示す情報である。図７では、グループＩＤがｉ（ｉ=0,1,2）であるグループの３次元物体位置は、３次元座標（xsi,ysi,zsi）と記載している。
【００７５】
（仮想カメラの第３の分類方法の説明）
図８は、図２のグルーピング部５１による仮想カメラの第３の分類方法を説明する図である。
【００７６】
第３の分類方法では、仮想カメラの主要な被写体が３次元空間である。また、変換部２１は、第２の分類方法と同様に、撮像装置１１を構成する各カメラの内部パラメータおよび外部パラメータを、各仮想カメラの内部パラメータおよび外部パラメータとして設定する。図８の例では、撮像装置１１を構成するカメラの数が１３個であり、変換部２１は、１３個の仮想カメラ７１−０乃至７１−１２の内部パラメータおよび外部パラメータを設定している。
【００７７】
さらに、グルーピング部５１は、図８に示すように、３次元空間をグリッドやボロノイなどにより３次元空間分割領域に分割する。図８の例では、１３個の仮想カメラ７１は、３つの３次元空間分割領域１２１−０乃至１２１−２を主要な被写体として撮影している。なお、仮想カメラ７１により撮影される３次元空間分割領域１２１−０乃至１２１−２には、３次元物体が含まれていてもよい。
【００７８】
また、グルーピング部５１は、図８に示すように、３次元空間分割領域１２１−０乃至１２１−２のそれぞれについて、その３次元空間分割領域１２１−０乃至１２１−２を被写体とする２次元画像データに対応する仮想カメラをグループに分類する。具体的には、グルーピング部５１は、仮想カメラごとに、内部パラメータと外部パラメータに基づいて、２次元画像データ等を用いて３次元データ生成部３３により生成される３次元データに対応する３次元空間分割領域を認識する。そして、グルーピング部５１は、３次元空間分割領域ごとに、その３次元空間分割領域に対応する仮想カメラをグループに分類する。
【００７９】
図８の例では、グルーピング部５１は、３次元空間分割領域１２１−０に対応するグループに、６つの仮想カメラ７１−０乃至７１−３、仮想カメラ７１−１０、および仮想カメラ７１−１１を分類している。このとき、グルーピング部５１は、３次元空間分割領域１２１−０に対応するグループに分類された全ての仮想カメラ７１の位置を含む領域１０１を決定し、領域１０１の重心１０２を求める。
【００８０】
また、グルーピング部５１は、３次元空間分割領域１２１−０に対応するグループと同様に、３次元空間分割領域１２１−１および１２１−２に対応するグループに仮想カメラ７１を分類する。そして、グルーピング部５１は、グループごとに、そのグループに分類された全ての仮想カメラ７１の位置を含む領域を決定し、その領域の重心を求める。
【００８１】
（第３の分類方法におけるグローバルテーブルの構成例）
図９は、第３の分類方法におけるグローバルテーブルの構成例を示す図である。
【００８２】
図９のグローバルテーブルの構成は、グループ情報に３次元空間分割領域位置がさらに含まれる点が、図５の構成と異なっている。
【００８３】
即ち、図９のグローバルテーブルでは、各グループのグループＩＤに対応付けて、そのグループに対応する３次元空間分割領域（図８の例では３次元空間分割領域１２１−０乃至１２１−２）を表す情報としの３次元空間分割領域の中心の３次元座標が、３次元空間分割領域位置として登録される。つまり、３次元空間分割領域位置は、各グループに分類された仮想カメラに対応する撮像装置１１のカメラにより撮影された２次元画像データ等がどの３次元空間分割領域の３次元データの生成に用いられたかを示す情報である。図９では、グループＩＤがｉ（ｉ=0,1,2）であるグループの３次元空間分割領域位置は、３次元座標（xci,yci,zci）と記載している。
【００８４】
（グループテーブルの例）
図１０は、図２のグループテーブル生成部５３により生成されるグループテーブルの例を示す図である。
【００８５】
図１０に示すように、グループテーブルは、そのグループテーブルに対応するグループに分類される各仮想カメラのカメラＩＤに対応付けて、その仮想カメラの内部パラメータ、外部パラメータ、ストリーム取得情報、パノラマフラグ、ステレオカメラ情報、および優先度が、カメラ情報として登録される。
【００８６】
図１０の例では、グループテーブルに対応するグループに分類される仮想カメラの数が４つであり、その仮想カメラのカメラＩＤが０乃至３である。また、図１０では、カメラＩＤがｊ(j=0,1,2,3)である仮想カメラの内部パラメータを、Ｋｊと記載し、外部パラメータはＲｊ｜Ｔｊと記載している。
【００８７】
ストリーム取得情報は、２次元画像データ取得情報とデプス画像データ取得情報からなる。２次元画像データ取得情報は、仮想カメラにより撮影される２次元画像データの符号化ストリームの取得に用いられる情報であり、例えば、記憶部２４内の２次元画像データの位置を特定するURLなどの情報である。図１０では、カメラＩＤがｊである仮想カメラの２次元画像データ取得情報を、Video URL jと記載している。
【００８８】
デプス画像データ取得情報は、仮想カメラにより撮影されるデプス画像データの符号化ストリームの取得に用いられる情報であり、例えば、記憶部２４内のデプス画像データの位置を特定するURLなどの情報である。図１０では、カメラＩＤがｊである仮想カメラのデプス画像データ取得情報は、Depth URL jと記載している。
【００８９】
また、パノラマフラグは、全天周パノラマ撮影を行うことを示す場合「True」であり、パノラマ撮影を行わないことを示す場合「False」である。図１０の例では、カメラＩＤが０，２、および３である仮想カメラのパノラマフラグは「False」であり、カメラＩＤが１である仮想カメラのパノラマフラグは「True」である。
【００９０】
ステレオカメラ情報は、自分の仮想カメラの２次元画像データを、３次元画像データを構成する左目用の２次元画像データと右目用の２次元画像データのうちの一方としたときの他方の２次元画像データを撮影する仮想カメラ（以下、ペアカメラという）が存在する場合に登録される。ステレオカメラ情報は、ペアカメラのカメラＩＤである。
【００９１】
優先度は、３次元データの生成についての仮想カメラのカメラ情報の優先度である。図１０の例では、優先度が高いほど、優先度は小さくなっている。
【００９２】
復号装置１３の選択部３１は、以上のようにしてグループテーブルに登録される各仮想カメラのカメラ情報に基づいて、登録されている全ての仮想カメラのカメラ情報から、３次元データ生成部３３による３次元データの生成に用いられるカメラ情報を選択する。
【００９３】
（符号化装置の処理の説明）
図１１は、図１の符号化装置１２の符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮像装置１１から３次元データが供給されたとき、開始される。
【００９４】
図１１のステップＳ１１において、符号化装置１２の変換部２１は、各仮想カメラの内部パラメータ、外部パラメータ、およびパノラマフラグを設定する。変換部２１は、各仮想カメラに付与されたカメラＩＤに対応付けて、その仮想カメラの内部パラメータ、外部パラメータ、およびパノラマフラグを生成部２３に供給する。
【００９５】
ステップＳ１２において、変換部２１は、各仮想カメラの内部パラメータと外部パラメータに基づいて、撮像装置１１から供給される３次元データから、各仮想カメラにより撮影される同一時刻の２次元画像データとデプス画像データとを生成する。変換部２１は、各仮想カメラの２次元画像データとデプス画像データを符号化部２２に供給する。
【００９６】
ステップＳ１３において、符号化部２２は、変換部２１から供給される仮想カメラの２次元画像データとデプス画像データを符号化する。符号化部２２は、符号化の結果得られる符号化ストリームを記憶部２４に供給する。
【００９７】
ステップＳ１４において、生成部２３のグルーピング部５１（図２）は、変換部２１から供給される各仮想カメラの内部パラメータと外部パラメータの少なくとも一方に基づいて、複数の仮想カメラを複数のグループに分類する。グルーピング部５１は、各グループのグループ情報を生成し、グローバルテーブル生成部５２に供給する。
【００９８】
また、グルーピング部５１は、グループごとに、そのグループに分類された仮想カメラのカメラＩＤ、内部パラメータ、外部パラメータ、およびパノラマフラグを、グループテーブル生成部５３に供給する。
【００９９】
ステップＳ１５において、グローバルテーブル生成部５２は、グルーピング部５１から供給される各グループのグループ情報に基づいて、グローバルテーブルを生成する。グローバルテーブル生成部５２は、グローバルテーブルを記憶部２４に供給する。
【０１００】
ステップＳ１６において、グループテーブル生成部５３は、グルーピング部５１から供給される各グループに分類された仮想カメラのカメラＩＤ、外部パラメータ、内部パラメータ、およびパノラマフラグに基づいて、グループごとにグループテーブルを生成する。グループテーブル生成部５３は、グループテーブルを図１の記憶部２４に供給する。
【０１０１】
ステップＳ１７において、記憶部２４は、グローバルテーブル、グループテーブル、および符号化ストリームを記憶する。
【０１０２】
ステップＳ１８において、通信部２５は、記憶部２４に記憶されているグローバルテーブルを読み出し、復号装置１３に伝送して、処理を終了する。
【０１０３】
この符号化処理後、通信部２５は、復号装置１３の要求に応じて、所定のグループのグループテーブルや符号化ストリームを記憶部２４から読み出し、復号装置１３に伝送する。
【０１０４】
なお、図１１の例では、３次元データごとに、各仮想カメラの内部パラメータ、外部パラメータ、およびパノラマフラグが設定されたが、所定の期間（例えば、同一シーン期間）の３次元データごとに設定されるようにしてもよい。この場合、所定の期間の３次元データごとに、グローバルテーブルとグループテーブルが生成される。
【０１０５】
（選択部の構成例）
図１２は、図１の選択部３１の構成例を示すブロック図である。
【０１０６】
図１２の選択部３１は、グローバルテーブル取得部１４１、グループ選択部１４２、グループテーブル取得部１４３、およびカメラ選択部１４４により構成される。
【０１０７】
選択部３１のグローバルテーブル取得部１４１は、通信部３０から供給されるグローバルテーブルを取得し、グループ選択部１４２に供給する。
【０１０８】
グループ選択部１４２は、自由視点情報と、グローバルテーブル取得部１４１から供給されるグローバルテーブルに登録されるグループ情報とに基づいて、全てのグループから、自由視点画像データの生成に必要なカメラ情報に対応する仮想カメラが分類されたグループを選択する。選択部３１は、グローバルテーブルに登録されている、選択されたグループのグループテーブル取得情報をグループテーブル取得部１４３に供給する。
【０１０９】
グループテーブル取得部１４３は、グループ選択部１４２から供給されるグループテーブル取得情報を通信部３０に供給する。また、グループテーブル取得部１４３（カメラ情報取得部）は、グループテーブル取得情報に基づいて符号化装置１２から送信されてきたグループテーブルを通信部３０から取得し、カメラ選択部１４４に供給する。
【０１１０】
カメラ選択部１４４は、グループテーブル取得部１４３から供給されるグループテーブルに登録されているカメラ情報から、３次元データ生成部３３による３次元データの生成に用いられるカメラ情報を選択する。カメラ選択部１４４は、選択されたカメラ情報に含まれる仮想カメラの内部パラメータと外部パラメータを３次元データ生成部３３に供給する。
【０１１１】
また、カメラ選択部１４４は、選択されたカメラ情報に含まれるカメラＩＤ、２次元画像データ取得情報、およびデプス画像データ取得情報を登録した取得データリストを生成し、通信部３０に供給する。
【０１１２】
（グループの第１の選択方法の説明）
図１３は、図３で説明した第１の分類方法により仮想カメラがグループに分類されている場合の、グループ選択部１４２によるグループの選択方法を説明する図である。
【０１１３】
なお、図１３において、図３と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【０１１４】
図１３の場合、グループ選択部１４２は、例えば、図５のグローバルテーブルに登録される重心位置が位置を示す重心７４−０乃至７４−２のうちの、自由視点情報が特定する自由視点の位置１６０から最も近い重心に対応するグループを選択する。図１３の例では、自由視点の位置１６０に最も近い重心は、重心７４−０である。従って、グループ選択部１４２は、重心７４−０の重心位置に対応付けてグローバルテーブルに登録されているグループＩＤのグループを選択する。
【０１１５】
なお、グループ選択部１４２は、自由視点の位置を含む領域を示す領域情報に対応するグループを選択するようにしてもよい。
【０１１６】
以上のように、グループ選択部１４２は、自由視点の位置１６０近傍に存在する仮想カメラ７１のグループを選択する。従って、通信部３０は、このグループのグループテーブルのみを取得することにより、自由視点画像データの生成に必要なカメラ情報を効率的に取得することができる。
【０１１７】
即ち、自由視点の位置１６０から遠い位置に存在する仮想カメラ７１の被写体は、自由視点の被写体と異なり、その仮想カメラ７１のカメラ情報は、自由視点画像データの生成に用いられない可能性が高い。従って、通信部３０は、自由視点の位置１６０近傍に存在する仮想カメラのグループのグループテーブルのみを取得することにより、自由視点画像データの生成に必要なカメラ情報を効率的に取得することができる。
【０１１８】
（グループの第２の選択方法の説明）
図１４は、図４で説明した第１の分類方法により仮想カメラがグループに分類されている場合の、グループ選択部１４２によるグループの選択方法を説明する図である。
【０１１９】
なお、図１４において、図４と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【０１２０】
図１４の場合、グループ選択部１４２は、例えば、図５のグローバルテーブルに登録される領域情報が示す部分領域８１−１−０乃至８１−２のうちの、自由視点情報が特定する自由視点の位置１８０から最も近い部分領域に対応するグループを選択する。図１４の例では、自由視点の位置１８０が、部分領域８１−０と部分領域８１−２を含む。従って、グループ選択部１４２は、部分領域８１−０と部分領域８１−２の領域情報に対応付けてグローバルテーブルに登録されているグループＩＤのグループを選択する。
【０１２１】
図１４の場合も、図１３の場合と同様に、グループ選択部１４２が、自由視点の位置１８０近傍に存在する仮想カメラ７１のグループを選択する。従って、通信部３０は、自由視点画像データの生成に必要なカメラ情報を効率的に取得することができる。
【０１２２】
（グループの第３の選択方法の説明）
図１５は、図６で説明した第２の分類方法により仮想カメラがグループに分類されている場合の、グループ選択部１４２によるグループの選択方法を説明する図である。
【０１２３】
なお、図１５において、図６と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【０１２４】
図１５の場合、グループ選択部１４２は、例えば、自由視点情報が特定する自由視点の位置２００と方向２０１に基づいて、図７のグローバルテーブルに登録される３次元物体位置が表す３次元物体７２−０乃至７２−２から、自由視点の画像において被写体となる（自由視点の画角内に存在する）３次元物体を選択する。そして、グループ選択部１４２は、選択された３次元物体に対応するグループを選択する。図１５の例では、自由視点の位置２００が、３次元物体７２−０の左上にあり、方向２０１が右下方向である。従って、グループ選択部１４２は、３次元物体７２−０の３次元物体位置に対応付けてグローバルテーブルに登録されているグループＩＤのグループを選択する。
【０１２５】
以上のように、グループ選択部１４２は、自由視点の画像において被写体となる３次元物体７２−０の３次元データを撮像装置１１で生成する際に用いられた２次元画像データに対応する仮想カメラ７１のグループを選択する。従って、通信部３０は、このグループのグループテーブルのみを取得することにより、自由視点画像データの生成に用いられる３次元データの生成に必要なカメラ情報を効率的に取得することができる。
【０１２６】
（グループの第４の選択方法の説明）
図１６は、図８で説明した第３の分類方法により仮想カメラがグループに分類されている場合の、グループ選択部１４２によるグループの選択方法を説明する図である。
【０１２７】
なお、図１６において、図８と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【０１２８】
図１６の場合、グループ選択部１４２は、例えば、図９のグローバルテーブルに登録される３次元空間分割領域位置が表す３次元空間分割領域１２１−０乃至１２１−２から、自由視点情報が特定する自由視点の位置２２０を含む３次元空間分割領域に対応するグループを選択する。図１６の例では、自由視点の位置２２０が、３次元空間分割領域１２１−０内に存在する。従って、グループ選択部１４２は、３次元空間分割領域１２１−０の３次元空間分割領域位置に対応付けてグローバルテーブルに登録されているグループＩＤのグループを選択する。
【０１２９】
以上のように、グループ選択部１４２は、自由視点の位置２２０を含む３次元空間分割領域１２１−０の３次元データを撮像装置１１で生成する際に用いられた２次元画像データに対応する仮想カメラ７１のグループを選択する。従って、通信部３０は、このグループのグループテーブルのみを取得することにより、自由視点画像データの生成に用いられる３次元データの生成に必要なカメラ情報を効率的に取得することができる。
【０１３０】
（取得データリストの例）
図１７および図１８は、図１２のカメラ選択部１４４により生成される取得データリストの例を示す図である。
【０１３１】
カメラ選択部１４４は、例えば復号装置１３の処理能力が比較的高い場合や処理の高速性が重視されない場合、図１０のグループテーブルがグループテーブル取得部１４３から供給されると、グループテーブルに登録されている全てのカメラ情報を、３次元データ生成部３３による３次元データの生成に用いられるカメラ情報として選択する。
【０１３２】
そして、カメラ選択部１４４は、図１０のグループテーブルに登録されている全てのカメラＩＤと、そのカメラＩＤに対応する２次元画像データ取得情報およびデプス画像データ取得情報とを登録した図１７の取得データリストを生成する。
【０１３３】
一方、例えば復号装置１３の処理能力が比較的低い場合や処理の高速性が重視される場合、カメラ選択部１４４は、図１０のグループテーブルに登録されている全てのカメラ情報のうちの、優先度が高いカメラ情報のみを、３次元データ生成部３３による３次元データの生成に用いられるカメラ情報として選択する。例えば、カメラ選択部１４４は、優先度が１であるカメラＩＤが「０」，「２」、および「３」である仮想カメラのカメラ情報のみを選択する。
【０１３４】
そして、カメラ選択部１４４は、カメラＩＤ「０」，「２」、および「３」と、そのカメラＩＤに対応する２次元画像データ取得情報およびデプス画像データ取得情報とを登録した図１８の取得データリストを生成する。
【０１３５】
（復号装置の処理の説明）
図１９は、図１の復号装置１３の復号処理を説明するフローチャートである。この復号処理は、処理対象の符号化ストリームに対応するグローバルテーブルが通信部３０により取得され、グローバルテーブル取得部１４１（図１２）を介してグループ選択部１４２に供給された後、開始される。
【０１３６】
図１９のステップＳ１３１において、復号装置１３のグループ選択部１４２は、自由視点情報と、グローバルテーブルに登録されるグループ情報とに基づいて、自由視点画像データの生成に必要なカメラ情報に対応する仮想カメラが分類されたグループを選択する。グループ選択部１４２は、グローバルテーブルに登録されている、選択されたグループのグループテーブル取得情報を、グループテーブル取得部１４３を介して通信部３０に供給する。
【０１３７】
ステップＳ１３２において、通信部３０は、グループテーブル取得情報に基づいてグループテーブルを通信部２５に要求する。ステップＳ１３３において、通信部３０は、その要求に応じて通信部２５から伝送されてくるグループテーブルを取得したかどうかを判定する。
【０１３８】
ステップＳ１３３で、まだグループテーブルを取得していないと判定された場合、グループテーブルが取得されるまで、待機する。一方、ステップＳ１３３で、グループテーブルを取得したと判定された場合、通信部３０は、取得されたグループテーブルを、グループテーブル取得部１４３を介してカメラ選択部１４４に供給する。そして、処理はステップＳ１３４に進む。
【０１３９】
ステップＳ１３４において、カメラ選択部１４４は、グループテーブル取得部１４３から供給されるグループテーブルに登録されているカメラ情報から、３次元データ生成部３３による３次元データの生成に用いられるカメラ情報を選択する。カメラ選択部１４４は、選択されたカメラ情報に含まれる仮想カメラの内部パラメータと外部パラメータを３次元データ生成部３３に供給する。
【０１４０】
ステップＳ１３５において、カメラ選択部１４４は、ステップＳ１３４で選択されたカメラ情報に含まれるカメラＩＤ、２次元画像データ取得情報、およびデプス画像データ取得情報を登録した取得データリストを生成し、通信部３０に供給する。
【０１４１】
ステップＳ１３６において、通信部３０は、カウント値ｉを１に設定する。ステップＳ１３７において、通信部３０は、取得データリストに登録されている先頭からｉ番目のカメラＩＤに対応する２次元画像データ取得情報およびデプス画像データ取得情報に基づいて、ｉ番目のカメラＩＤの仮想カメラの符号化ストリームを通信部２５に要求する。
【０１４２】
ステップＳ１３８において、通信部３０は、その要求に応じて通信部２５から伝送されてくるｉ番目のカメラＩＤの仮想カメラの２次元画像データおよびデプス画像データの符号化ストリームを取得したかどうかを判定する。ステップＳ１３８で、まだｉ番目のカメラＩＤの仮想カメラの符号化ストリームを取得していないと判定された場合、取得されるまで待機する。
【０１４３】
一方、ステップＳ１３８で、ｉ番目のカメラＩＤの仮想カメラの符号化ストリームを取得したと判定された場合、通信部３０は、取得された符号化ストリームを復号部３２に供給する。
【０１４４】
そして、ステップＳ１３９において、復号部３２は、通信部３０から供給される符号化ストリームを復号する。復号部３２は、その結果得られる仮想カメラの２次元画像データおよびデプス画像データを３次元データ生成部３３に供給する。
【０１４５】
ステップＳ１４０において、通信部３０は、カウント値ｉが、取得データリストに登録されているカメラＩＤの数Ｎ以上であるかどうかを判定する。ステップＳ１４０でカウント値ｉが数Ｎより小さいと判定された場合、処理はステップＳ１４１に進む。
【０１４６】
ステップＳ１４１において、通信部３０は、カウント値ｉを１だけインクリメントし、処理をステップＳ１３７に戻す。そして、カウント値ｉが数Ｎ以上になるまで、ステップＳ１３７乃至Ｓ１４１の処理が繰り返される。
【０１４７】
一方、ステップＳ１４０でカウント値ｉが数Ｎ以上であると判定された場合、処理はステップＳ１４２に進む。ステップＳ１４２において、３次元データ生成部３３は、選択部３１から供給される内部パラメータおよび外部パラメータに基づいて、復号部３２から供給される仮想カメラの２次元画像データとデプス画像データから、３次元データを生成し、再構成部３４に供給する。
【０１４８】
ステップＳ１４３において、再構成部３４は、自由視点の仮想カメラの内部パラメータおよび外部パラメータに基づいて、３次元データ生成部３３から供給される３次元データから自由視点画像データを生成する。このとき、再構成部３４は、必要に応じて、自由視点画像データだけでなく、自由視点のデプス画像データも生成する。
【０１４９】
ステップＳ１４４において、再構成部３４は、ステップＳ１４３で生成された自由視点画像データを表示装置１４に供給することにより、表示装置１４に自由視点画像を２次元表示させる。または、再構成部３４は、ステップＳ１４４で生成された自由視点画像データと自由視点のデプス画像データを表示装置１４に供給することにより、表示装置１４に自由視点画像を３次元表示させる。そして、処理は終了する。
【０１５０】
以上のように、情報処理システム１０では、符号化装置１２が、グローバルテーブルと各グループのグループテーブルを生成する。従って、復号装置１３は、グローバルテーブルに基づいて所定のグループを選択し、選択されたグループのグループテーブルのみを取得することができる。
【０１５１】
これにより、自由視点が大規模な視聴空間の一部を視聴する視点である場合に、復号装置１３は、自由視点画像データの生成に不要な仮想カメラのカメラ情報を無駄に取得せずに済む。従って、復号装置１３は、カメラ情報を効率的に取得することができる。
【０１５２】
また、復号装置１３は、取得したグループテーブルに登録されているカメラ情報に基づいて、符号化装置１２に符号化ストリームを要求することにより、自由視点画像データの生成に不要な仮想カメラの符号化ストリームを取得せずに済む。従って、復号装置１３は、符号化ストリームを効率的に取得することができる。
【０１５３】
＜第２実施の形態＞
（クライアントプロパティテーブルの例）
本開示を適用した情報処理システムの第２実施の形態の構成は、復号装置１３のスペック（処理能力）に応じて異なるグローバルテーブルを生成する点、および、各グローバルテーブルと復号装置１３の処理能力とを対応付けたクライアントプロパティテーブルを生成する点が、図１の情報処理システム１０の構成と異なる。従って、以下では、グローバルテーブルとクライアントプロパティテーブルについてのみ説明する。
【０１５４】
図２０は、クライアントプロパティテーブルの例を示す図である。
【０１５５】
図２０のクライアントプロパティテーブルでは、クライアントプロパティに対応付けて、グローバルテーブルの取得情報であるグローバルテーブル取得情報が登録される。クライアントプロパティとは、復号装置１３の処理能力を示す情報である。図２０の例では、クライアントプロパティテーブルには、クライアントプロパティとして、「PC」、「Portable terminal」、および「Thin client」の３つの情報が登録されている。
【０１５６】
クライアントプロパティ「PC」は、パーソナルコンピュータなどが有する比較的高い処理能力を示す情報である。クライアントプロパティ「Portable terminal」は、携帯型端末などが有する比較的低い処理能力を示す情報である。クライアントプロパティ「Thin client」は、特定の被写体の自由視点画像データのみを生成する、即ち特定の被写体の視点切り替えのみを行うことが可能な処理能力を示す情報である。
【０１５７】
第２実施の形態では、生成部２３が、クライアントプロパティテーブルを生成して記憶部２４に記憶させ、通信部２５が、クライアントプロパティテーブルを復号装置１３に送信する。また、第２実施の形態では、復号装置１３の処理能力に応じて異なるグローバルテーブルが用意されるため、通信部２５は、復号装置１３から要求されるまで、グローバルテーブルは送信しない。
【０１５８】
グローバルテーブル取得部１４１は、符号化装置１２から通信部３０を介して取得したクライアントプロパティテーブルに基づいて、復号装置１３の処理能力を示すクライアントプロパティに対応するグローバルテーブル取得情報を認識する。グローバルテーブル取得部１４１は、認識されたグローバルテーブル取得情報に基づいて、通信部３０を介して、復号装置１３の処理能力に対応するグローバルテーブルを符号化装置１２に要求することにより、そのグローバルテーブルを取得する。
【０１５９】
（クライアントプロパティごとの仮想カメラの分類の説明）
図２１乃至図２３は、それぞれ、クライアントプロパティ「PC」、「Portable terminal」、「Thin client」に対応するグローバルテーブルの生成時に、グルーピング部５１により行われる仮想カメラの分類を説明する図である。
【０１６０】
図２１乃至図２３の例では、１３個の仮想カメラ２４１−１乃至２４１−１３により、６つの３次元物体２４２−０乃至２４２−５が主要な被写体として撮影されている。なお、以下では、仮想カメラ２４１−１乃至２４１−１３を特に区別する必要がない場合、それらをまとめて仮想カメラ２４１という。同様に、３次元物体２４２−０乃至２４２−５をまとめて３次元物体２４２という。
【０１６１】
クライアントプロパティ「PC」に対応するグローバルテーブルの生成時、グルーピング部５１は、例えば、図２１に示すように、第１の分類方法で、仮想カメラ２４１を比較的少数のグループに分類する。
【０１６２】
図２１の例では、グルーピング部５１は、４つの仮想カメラ２４１−１乃至２４１−４を第１のグループに分類し、４つの仮想カメラ２４１−５乃至２４１−８を第２のグループに分類し、５つの仮想カメラ２４１−９乃至２４１−１３を第３のグループに分類している。
【０１６３】
このとき、グローバルテーブル生成部５２は、各グループに属する全ての仮想カメラ２４１の位置を含む領域２４３−０乃至２４３−２を決定し、領域２４３−０乃至２４３−２の重心２４４−０乃至２４４−２を求める。クライアントプロパティ「PC」に対応するグローバルテーブルの生成時のグループ数は比較的少ないため、図２１の例では、領域２４３−０乃至２４３−２のそれぞれに２つの３次元物体２４２が含まれている。
【０１６４】
以上のように、クライアントプロパティ「PC」に対応するグローバルテーブルの生成時、グループ数は比較的少数である。従って、１つのグループに分類される仮想カメラ２４１の数は比較的多い。よって、復号装置１３は、所定のグループに分類される比較的多数の仮想カメラ２４１の符号化ストリームを用いて、高精度の自由視点画像データを生成することができる。
【０１６５】
即ち、復号装置１３が、クライアントプロパティ「PC」に対応するグローバルテーブルを取得する場合、復号装置１３の処理能力は比較的高い。従って、比較的多数の仮想カメラ２４１の符号化ストリームを処理することができる。よって、クライアントプロパティ「PC」に対応するグローバルテーブルでは、１つのグループに分類される仮想カメラ２４１の数が多くされ、これにより、高精度の自由視点画像データを生成することができるようにする。
【０１６６】
これに対して、クライアントプロパティ「Portable terminal」に対応するグローバルテーブルの生成時には、グルーピング部５１は、例えば、図２２に示すように、第１の分類方法で、仮想カメラ２４１を比較的多数のグループに分類する。
【０１６７】
図２２の例では、グルーピング部５１は、２つの仮想カメラ２４１−１および２４１−２を第１のグループに分類し、２つの仮想カメラ２４１−３および２４１−４を第２のグループに分類している。また、グルーピング部５１は、２つの仮想カメラ２４１−５および２４１−６を第３のグループに分類し、２つの仮想カメラ２４１−７および２４１−８を第４のグループに分類している。さらに、グルーピング部５１は、３つの仮想カメラ２４１−９乃至２４１−１１を第５のグループに分類し、２つの仮想カメラ２４１−１２および２４１−１３を第６のグループに分類している。
【０１６８】
このとき、グローバルテーブル生成部５２は、各グループに属する全ての仮想カメラ２４１の位置を含む領域２６０−０乃至２６０−５を決定し、領域２６０−０乃至２６０−５の重心２６１−０乃至２６１−５を求める。クライアントプロパティ「Portable terminal」に対応するグローバルテーブルの生成時のグループ数は比較的多いため、図２２の例では、領域２４３−０乃至２４３−５のそれぞれに３次元物体２４２が１つだけ含まれている。
【０１６９】
以上のように、クライアントプロパティ「Portable terminal」に対応するグローバルテーブルの生成時、グループ数は比較的多数である。従って、１つのグループに分類される仮想カメラ２４１の数は比較的少ない。よって、復号装置１３は、所定のグループに分類される比較的少数の仮想カメラ２４１の符号化ストリームを用いて、自由視点画像データを容易に生成することができる。
【０１７０】
即ち、復号装置１３が、クライアントプロパティ「Portable terminal」に対応するグローバルテーブルを取得する場合、復号装置１３の処理能力は比較的低い。従って、比較的多数の仮想カメラ２４１の符号化ストリームを処理することは困難である。よって、クライアントプロパティ「Portable terminal」に対応するグローバルテーブルでは、１つのグループに分類される仮想カメラ２４１の数が少なくされ、これにより、自由視点画像データを生成する処理の負荷を軽減することができるようにする。
【０１７１】
なお、クライアントプロパティ「PC」およびクライアントプロパティ「Portable terminal」に対応するグローバルテーブルの構成は、上述した図５の構成と同様であるので、説明は省略する。
【０１７２】
また、クライアントプロパティ「PC」およびクライアントプロパティ「Portable terminal」に対応するグローバルテーブルの生成時の分類方法は、第１の分類方法だけでなく、第２や第３の分類方法であってもよい。
【０１７３】
また、クライアントプロパティ「Thin client」に対応するグローバルテーブルの生成時には、グルーピング部５１は、例えば、図２３に示すように、仮想カメラ２４１の画角に基づいて、３次元物体２４２ごとに、３次元物体２４２の画角内の割合が閾値以上である仮想カメラ２４１をグループに分類する。
【０１７４】
図２３の例では、グルーピング部５１は、３次元物体２４２−０の画角内の割合が閾値以上である２つの仮想カメラ２４１−１および２４１−２を第１のグループに分類し、３次元物体２４２−１の画角内の割合が閾値以上である２つの仮想カメラ２４１−３および２４１−４を第２のグループに分類している。
【０１７５】
また、グルーピング部５１は、３次元物体２４２−２の画角内の割合が閾値以上である２つの仮想カメラ２４１−５および２４１−６を第３のグループに分類し、３次元物体２４２−３の画角内の割合が閾値以上である２つの仮想カメラ２４１−７および２４１−８を第４のグループに分類している。
【０１７６】
さらに、グルーピング部５１は、３次元物体２４２−４の画角内の割合が閾値以上である２つの仮想カメラ２４１−１０乃至２４１−１１を第５のグループに分類し、３次元物体２４２−５の画角内の割合が閾値以上である１つの仮想カメラ２４１−１２を第６のグループに分類している。従って、仮想カメラ２４１−９および仮想カメラ２４１−１３は、第１乃至第６のグループのいずれにも分類されない。
【０１７７】
このとき、グローバルテーブル生成部５２は、各グループに属する全ての仮想カメラ２４１の位置を含む領域２８０−０乃至２８０−５を決定し、領域２８０−０乃至２８０−５の重心２８１−０乃至２８１−５を求める。
【０１７８】
以上のように、クライアントプロパティ「Thin client」に対応するグローバルテーブルの生成時、仮想カメラ２４１は、被写体である３次元物体２４２ごとに、３次元物体２４２の画角内の割合が閾値以上である仮想カメラ２４１を分類する。よって、復号装置１３は、所定の被写体の画角内の割合が閾値以上である仮想カメラ２４１の符号化ストリームのみを取得することができる。
【０１７９】
即ち、復号装置１３が、クライアントプロパティ「Thin client」に対応するグローバルテーブルを取得する場合、復号装置１３は、特定の被写体の自由視点画像データのみを生成する。従って、画角内の特定の被写体の割合が閾値より小さい仮想カメラ２４１の符号化ストリームは不要である。よって、クライアントプロパティ「Thin client」に対応するグローバルテーブルでは、被写体である３次元物体２４２ごとに、３次元物体２４２の画角内の割合が閾値以上である仮想カメラ２４１が分類される。これにより、復号装置１３は、特定の被写体の自由視点画像データの生成に必要な、画角内の特定の被写体の割合が閾値以下である仮想カメラ２４１の符号化ストリームのみを取得することができる。
【０１８０】
なお、クライアントプロパティ「Thin client」に対応するグローバルテーブルの構成は、上述した図７の構成と同様であるので、説明は省略する。
【０１８１】
また、図２１乃至図２３の例では、仮想カメラ２４１により撮影される３次元の被写体が３次元物体であるようにしたが、３次元空間であってもよい。さらに、領域２４３−０乃至２４３−３（領域２６０−０乃至２６０−５、領域２８０−０乃至２８０−５）のうちの隣り合う領域どうしは、接してもよいし、接しなくてもよい。
【０１８２】
第２実施の形態では、復号装置１３の処理能力ごとにグローバルテーブルが生成したが、符号化ストリームの解像度やビットレートごとに、グローバルテーブルが生成されるようにしてもよい。この場合、解像度やビットレートごとに、その解像度やビットレートの符号化ストリームに対応する仮想カメラのみが複数のグループに分類され、その複数のグループのグローバルテーブルが生成される。
【０１８３】
＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８４】
図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１８５】
コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１８６】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
【０１８７】
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
【０１８８】
以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８９】
コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１９０】
コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１９１】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９２】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１９３】
さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１９４】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９５】
例えば、グループテーブルに登録される内部パラメータと外部パラメータは、データそのものではなく、データの取得に用いられる情報であってもよい。
【０１９６】
また、グローバルテーブル、グループテーブル、およびクライアントプロパティテーブルは、１つのテーブルを構成するようにしてもよい。
【０１９７】
さらに、本開示は、MPEG-DASHによるストリーミングを行う情報処理システムにも適用することができる。
【０１９８】
なお、本開示は、以下のような構成もとることができる。
【０１９９】
（１）
２次元画像データを取得する複数のカメラを複数のグループに分類するグルーピング部と、
前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部と、
前記グループごとに、前記グループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報を生成するカメラ情報生成部と
を備える情報処理装置。
（２）
前記グルーピング部は、前記２次元画像データを再生する情報処理装置の処理能力ごとに、前記複数のカメラのうちの少なくとも一部を前記複数のグループに分類する
ように構成された
前記（１）に記載の情報処理装置。
（３）
前記グルーピング部は、前記複数のカメラの位置に基づいて、前記複数のカメラを前記複数のグループに分類する
ように構成された
前記（１）または（２）に記載の情報処理装置。
（４）
前記グループ情報は、前記グループに分類された前記カメラを含む領域の重心位置を表す情報である
ように構成された
前記（３）に記載の情報処理装置。
（５）
前記グルーピング部は、前記２次元画像データを用いて生成される３次元データに対応する３次元物体ごとに、前記２次元画像データに対応するカメラを前記グループに分類する
ように構成された
前記（１）または（２）に記載の情報処理装置。
（６）
前記グループ情報は、前記グループに対応する前記３次元物体を表す情報である
ように構成された
前記（５）に記載の情報処理装置。
（７）
前記グルーピング部は、前記２次元画像データを用いて生成される３次元データに対応する３次元空間ごとに、前記２次元画像データに対応するカメラを前記グループに分類する
ように構成された
前記（１）または（２）に記載の情報処理装置。
（８）
前記グループ情報は、前記グループに対応する前記３次元空間を表す情報である
ように構成された
前記（７）に記載の情報処理装置。
（９）
情報処理装置が、
２次元画像データを取得する複数のカメラを複数のグループに分類するグルーピングステップと、
前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成ステップと、
前記グループごとに、前記グループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報を生成するカメラ情報生成ステップと
を含む情報処理方法。
（１０）
２次元画像データを取得する複数のカメラが複数のグループに分類された際の前記グループに関するグループ情報に基づいて、前記複数のグループから所定のグループを選択するグループ選択部と、
前記グループ選択部により選択された前記所定のグループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報を取得するカメラ情報取得部と
を備える情報処理装置。
（１１）
前記カメラ情報取得部により取得された前記カメラ情報を用いて、前記所定のグループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する３次元データ生成部
をさらに備える
前記（１０）に記載の情報処理装置。
（１２）
前記グループ選択部は、前記情報処理装置の処理能力ごとに前記複数のカメラのうちの少なくとも一部が分類された前記複数のグループのうちの、自分の情報処理装置の処理能力に対応する前記複数のグループから前記所定のグループを選択する
ように構成された
前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記複数のカメラは、前記複数のカメラの位置に基づいて前記複数のグループに分類される
ように構成された
前記（１０）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記グループ情報は、前記グループに分類された前記カメラを含む領域の重心位置を表す情報であり、
前記グループ選択部は、仮想視点の位置と前記グループ情報とに基づいて、前記所定のグループを選択する
ように構成された
前記（１３）に記載の情報処理装置。
（１５）
前記２次元画像データを用いて生成される３次元データに対応する３次元物体ごとに、前記２次元画像データに対応するカメラが前記グループに分類される
ように構成された
前記（１０）乃至（１２）のいずれかに記載の情報処理装置。
（１６）
前記グループ情報は、前記グループに対応する前記３次元物体を表す情報であり、
前記グループ選択部は、仮想視点の画像において被写体となる前記３次元物体を表す前記グループ情報に対応するグループを、前記所定のグループとして選択する
ように構成された
前記（１５）に記載の情報処理装置。
（１７）
前記２次元画像データを用いて生成される３次元データに対応する３次元空間ごとに、前記２次元画像データに対応するカメラが前記グループに分類される
ように構成された
前記（１０）乃至（１２）のいずれかに記載の情報処理装置。
（１８）
前記グループ情報は、前記グループに対応する前記３次元空間を表す情報であり、
前記グループ選択部は、仮想視点を含む前記３次元空間を表す前記グループ情報に対応するグループを、前記所定のグループとして選択する
ように構成された
前記（１７）に記載の情報処理装置。
（１９）
情報処理装置が、
２次元画像データを取得する複数のカメラが複数のグループに分類された際の前記グループに関するグループ情報に基づいて、前記複数のグループから所定のグループを選択するグループ選択ステップと、
前記グループ選択ステップの処理により選択された前記所定のグループに分類された前記カメラにより取得される前記２次元画像データから３次元データを生成する際に用いられるカメラ情報を取得するカメラ情報取得ステップと
を含む情報処理方法。
【符号の説明】
【０２００】
１２  符号化装置,  １３  復号装置,  ３３  ３次元データ生成部,  ５１  グルーピング部,  ５２  グローバルテーブル生成部,  ５３  グループテーブル生成部,  ７１  仮想カメラ，  ７２−０乃至７２−２  ３次元物体，  ７３−０乃至７３−２  領域,  ８１−０乃至８１−２  部分領域,  １２１−０乃至１２１−２  ３次元空間分割領域,  １４２  グループ選択部,  １４３  グループテーブル取得部,  １６０，２００，２２０  位置
【図１】
2017154606.tif 000003
【図２】
2017154606.tif 000004
【図３】
2017154606.tif 000005
【図４】
2017154606.tif 000006
【図５】
2017154606.tif 000007
【図６】
2017154606.tif 000008
【図７】
2017154606.tif 000009
【図８】
2017154606.tif 000010
【図９】
2017154606.tif 000011
【図１０】
2017154606.tif 000012
【図１１】
2017154606.tif 000013
【図１２】
2017154606.tif 000014
【図１３】
2017154606.tif 000015
【図１４】
2017154606.tif 000016
【図１５】
2017154606.tif 000017
【図１６】
2017154606.tif 000018
【図１７】
2017154606.tif 000019
【図１８】
2017154606.tif 000020
【図１９】
2017154606.tif 000021
【図２０】
2017154606.tif 000022
【図２１】
2017154606.tif 000023
【図２２】
2017154606.tif 000024
【図２３】
2017154606.tif 000025
【図２４】
2017154606.tif 000026
【国際調査報告】
2017154606.tif 000027
2017154606.tif 000028
2017154606.tif 000029
2017154606.tif 000030