(57)【要約】  種別が異なるデプスを含むデプスデータによる３Ｄモデル及び画像を生成し、再生することを目的とする。画像処理装置（２）は、撮影対象の３次元形状を示す入力デプスであって、種別の異なる複数の入力デプスを含むデプスデータを取得する取得部（７）と、上記取得部が取得したデプスデータに含まれる上記種別の異なる複数の入力デプスのうち少なくとも何れかを参照して、３Ｄモデルを生成する３Ｄモデル生成部（９）とを備える。
2020032113.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象の３次元形状を示す入力デプスであって、種別の異なる複数の入力デプスを含むデプスデータを取得する取得部と、
上記取得部が取得したデプスデータに含まれる上記種別の異なる複数の入力デプスのうち少なくとも何れかを参照して、３Ｄモデルを生成する３Ｄモデル生成部と
を備えていることを特徴とする画像処理装置。
【請求項２】
上記取得部が取得するデプスデータには、上記種別の異なる複数の入力デプスが、デプス画像上の複数の領域の各々に対応付けて含まれている
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記取得部が取得するデプスデータには、上記種別の異なる複数の入力デプスが、所定の時間区間において、当該入力デプスの種別と、上記デプス画像上の領域との対応が変化しないように含まれている
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記３Ｄモデル生成部は、
上記入力デプスの種別と、上記デプス画像上の領域との対応付けを示す対応情報を導出する
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
上記３Ｄモデル生成部は、
上記デプスデータに含まれる各入力デプスの種別を導出することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
上記３Ｄモデル生成部は、
上記デプスデータに含まれる各入力デプスを３Ｄ点群に変換するプロジェクション部と、
上記入力デプスの種別を参照して、上記３Ｄ点群から各時刻の３Ｄモデルを生成するデプス統合部と
を備えていることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
上記３Ｄモデル生成部は、
ユーザ要求をさらに参照して、３Ｄモデルを生成することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
３Ｄデータを生成する装置であって、
撮像機器から複数のデプス画像を取得する画像取得部と、
入力されるユーザ要求を参照した上で、上記画像取得部が取得した上記複数のデプス画像のうち少なくとも１つを用いて、種別の異なる複数のデプスを含むデプスデータを構成するデプスデータ構成部と
を備える３Ｄデータ生成装置。
【請求項９】
請求項１に記載の画像処理装置としてコンピュータを機能させるための制御プログラムであって、上記３Ｄモデル生成部としてコンピュータを機能させるための制御プログラム。
【請求項１０】
請求項９に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、異なる種別のデプスを含むデプスデータによる３Ｄモデルを生成する画像処理装置、表示装置、画像処理方法、制御プログラム及び記録媒体に関する。
【背景技術】
【０００２】
ＣＧの分野では、入力デプスを統合することで３Ｄモデル（３次元モデル）構築するＤｙｎａｍｉｃＦｕｓｉｏｎという手法が検討されている。ＤｙｎａｍｉｃＦｕｓｉｏｎの目的は、主に、撮影した入力デプスからリアルタイムでノイズ除去した３Ｄモデルを構築することである。ＤｙｎａｍｉｃＦｕｓｉｏｎでは、センサから取得される入力デプスを３次元形状の変形を補償した上で共通の参照３Ｄモデルに統合する。これにより、低解像度及び高ノイズのデプスから精密な３Ｄモデルの生成が可能となる。【０００３】
また、特許文献１には、多視点カラー画像と、画素レベルで対応する多視点デプス画像とを入力することで任意視点の画像を出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国公開特許公報「特開２０１３−３０８９８号公報」
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のような従来技術は、デプスデータを受信して３Ｄモデルを構築するシステムにおいて、利用されるデプスデータの種別が限定されており、撮影対象及びユーザの要求に合致した種別のデプスを用いてデプスデータが構築できないという問題がある。【０００６】
また、デプスデータが複数のデプスを含む場合であっても、デプス種別が再生装置側で容易に判別できず、３Ｄモデルの品質向上及びユーザの要求への適用に利用することが困難である。【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、種別が異なるデプスを含むデプスデータによる３Ｄモデル及び画像の生成と再生を目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、撮影対象の３次元形状を示す入力デプスであって、種別の異なる複数の入力デプスを含むデプスデータを取得する取得部と、上記取得部が取得したデプスデータに含まれる上記種別の異なる複数の入力デプスの少なくとも何れかを参照して、３Ｄモデルを生成する３Ｄモデル生成部とを備えている。【０００９】
上記の課題を解決するために、本発明の一態様に係る３Ｄデータ生成装置は、３Ｄデータを生成する装置であって、撮像機器から複数のデプス画像を取得する画像取得部と、入力されるユーザ要求を参照した上で、上記画像取得部が取得した上記複数のデプス画像のうち少なくとも１つを用いてデプスデータを構成するデプスデータ構成部とを備えている。
【発明の効果】
【００１０】
本発明の一態様によれば、種別が異なるデプスを含むデプスデータによる３Ｄモデル及び画像を生成し、再生する。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１の概要を説明するための概略図である。
【図２】本発明の実施形態１に係る表示装置の構成を示すブロック図である。
【図３】本発明の実施形態１の概要を説明するための概略図である。
【図４】本発明の実施形態１のデプス情報を説明するための図である。
【図５】本発明の実施形態１に係る画像処理装置が処理する、デプスデータの構成例の図である。
【図６】本発明の実施形態１に係る画像処理装置が処理する、デプスデータの構成例の図である。
【図７】本発明の実施形態１に係る画像処理装置が処理する、デプスデータの構成例の図である。
【図８】本発明の実施形態１に係る３Ｄモデル生成部の構成を示すブロック図である。
【図９】本発明の実施形態１に係る３Ｄモデル生成部による、デプスに対応する３Ｄ点群の導出及びデプスの統合を説明するための図である。
【図１０】本発明の実施形態１に係る３Ｄモデル生成部が参照する、デプスデータの構成例の図である。
【図１１】本発明の実施形態１の変形例に係る３Ｄモデル生成部の構成を示すブロック図である。
【図１２】本発明の実施形態１の変形例に係る３Ｄモデル生成部が参照する、デプスデータの構成例の図である。
【図１３】本発明の実施形態１の変形例に係る３Ｄモデル生成部が参照する、デプスデータの構成例の図である。
【図１４】本発明の実施形態１の変形例に係る３Ｄモデル生成部が参照する、デプスデータの構成例の図である。
【図１５】本発明の実施形態１の変形例に係る３Ｄモデル生成部が参照する、デプスを説明するための図である。
【図１６】本発明の実施形態２に係る画像処理装置が備える再生部の構成を示すブロック図である。
【図１７】本発明の実施形態３に係る３Ｄデータ生成装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、詳細に説明する。
【００１３】
＜実施形態１＞
まず、本発明の実施形態１の概要について図１を参照して説明する。図１は、本発明の実施形態１の概要を説明するための概略図である。実施形態１において画像処理装置が行う主な工程としては、以下の（１）〜（３）が実行される。
【００１４】
（１）画像処理装置は、種別が異なるデプスから構成されるデプスデータを取得する。
【００１５】
（２）画像処理装置は、取得したデプスデータを参照し、特定種別のデプスの抽出をするためのデータを生成する。
【００１６】
（３）画像処理装置は、（２）で構成したデータからデプス種別を抽出し、利用することにより、３Ｄモデルを生成する。
【００１７】
〔画像処理装置〕
本実施形態に係る画像処理装置２について、図２を参照して詳細に説明する。図２は、本実施形態に係る表示装置１の構成を示すブロック図である。図２に示すように、表示装置１は、画像処理装置２及び表示部３を備えている。画像処理装置２は、画像処理部４及び記憶部５を備えており、画像処理部４は、受付部６、取得部７、再生部１０、視点デプス合成部１２、及び再生視点画像合成部１３を備えている。
【００１８】
受付部６は、画像処理装置２の外部から再生視点（再生視点に関する情報）を受け付ける。
【００１９】
取得部７は、３次元形状を示す、デプスデータを含む３Ｄデータを取得する。デプスデータは、種別の異なる複数の入力デプス、および、カメラパラメータに代表される入力デプスの関連情報を含む。３Ｄデータは、撮影対象の画像データを追加で含んでいてもよい。なお、本願明細書における用語「画像データ」とは、特定の視点から対象を撮影した画像を示す。また、本願明細書における画像は、静止画像及び動画像を含む。入力デプスの種別については、後述する。
【００２０】
再生部１０は、デプス抽出部８及び３Ｄモデル生成部９を備える。
【００２１】
デプス抽出部８は、取得部７から３Ｄデータを受け取り、３Ｄデータから時刻毎の複数の入力デプスと、カメラパラメータとをそれぞれ抽出する。抽出した、時刻毎のデプスと、カメラパラメータとは、３Ｄモデル生成部９に出力される。
【００２２】
３Ｄモデル生成部９は、デプス抽出部８から受け取った種別の異なる複数の入力デプスのうち少なくとも何れかと、カメラパラメータとを参照して３Ｄモデルを生成する。ここで、３Ｄモデルとは、対象の３Ｄ形状を表すモデルであり、一形態としてメッシュ表現のモデルである。特に、色情報を含まない３Ｄモデルを無色モデルとも呼称する。
【００２３】
視点デプス合成部１２は、受付部６が受け付けた再生視点と、３Ｄモデル生成部９が生成した３Ｄモデルとを参照して、再生視点から撮影対象の各部分までのデプスである再生視点デプスを合成する。
【００２４】
再生視点画像合成部１３は、受付部６が受け付けた再生視点と、取得部７が取得した画像データと、視点デプス合成部１２が合成した再生視点デプスとを参照して、再生視点からの撮影対象を示す再生視点画像を合成する。
【００２５】
表示部３は、再生視点画像合成部１３が合成した再生視点画像を表示する。
【００２６】
記憶部５は、３Ｄモデル生成部９が生成した３Ｄモデルを記憶する。
【００２７】
（画像処理方法）
本実施形態に係る画像処理装置２による画像処理方法について、図３を参照して説明する。図３は、フレーム毎の撮影イメージ、デプスデータ、デプス及びデプスカメラ情報を示す。
【００２８】
撮影イメージの☆マークは撮影対象であり、Ｃ１〜Ｃ４の三角形マークは撮影対象を撮影するための撮像機器（カメラ）と撮影範囲を示している。フレームｔ＝３において、デプスデータのＤ１から構成される画像、Ｄ２〜Ｄ４から構成される画像は、それぞれ、撮影イメージにおけるカメラＣ１〜Ｃ４が取得したデプス画像である。デプスデータには、以下の情報が含まれる。
・デプス画像：各画素にデプス値が割り当てられた画像、各時刻０〜Ｎｄ枚
・デプス情報：時刻毎のデプス画像の構成及び付加情報
また、デプス情報には、以下の情報が含まれる。
・デプス画像枚数
・デプス部分画像情報
デプス部分画像情報には、以下の情報が含まれる。
・デプス部分画像領域：デプス画像内の位置
・カメラの位置及び姿勢：デプス部分画像に対応するカメラの空間位置及び姿勢
・デプス種別情報
カメラの姿勢とは、カメラの向いている方向を表し、例えば、特定の座標系におけるカメラ方向を表すベクトルや、基準方向に対するカメラ方向の角度により表現される。
デプス種別情報には以下の情報が含まれる。
・主画面フラグ
・視点グループ識別情報
・レンダリング方法
・プロジェクション種別
・サンプリング時刻
デプス種別情報には、主画面フラグ、視点グループ識別情報、レンダリング方法、プロジェクション種別及びサンプリング時刻のうち少なくとも１つが含まれていればよい。
【００２９】
デプス情報は、フレーム単位で時刻毎に限らず、シーケンス単位又は所定の時間区間の単位に納められ、画像を符号化するエンコーダから画像を復号するデコーダへ送信される構成でもよい。また、シーケンス及び所定の時間区間単位で受信したデプス情報を、フレーム毎に指定する構成でもよい。
【００３０】
デプスのＤ１〜Ｄ４は、それぞれデプスデータのデプス画像から抽出したデプスである。
【００３１】
また、図３のデプスカメラ情報Ｃ１〜Ｃ４は、デプスデータから抽出した、カメラの空間位置及び姿勢の情報であり、Ｃ１〜Ｃ４それぞれが、デプスのＤ１〜Ｄ４と対応する。
【００３２】
デプスデータは、後述する３Ｄデータ生成装置４１が備えるデプスデータ構成部４４によって構成され、３Ｄデータ生成装置４１によって、デプスデータを含む３Ｄデータとして送信される。送信された３Ｄデータは、画像処理装置１の取得部７が取得する。以下に、デプスデータの構成例について記載する。
【００３３】
（デプスデータ構成例：フレーム単位）
取得部７が取得するデプスデータは、フレーム単位毎に異なっていてもよい。図４（ａ）は、デプスデータの構成例、図４（ｂ）は、フレームｔ＝３におけるデプス情報、図４（ｃ）は、フレームｔ＝５におけるデプス情報を示す。
【００３４】
本例のデプスデータ構成について、図４（ａ）に示すｔ＝３のときのデプスデータと、図４（ｂ）のデプス情報とを参照して説明する。
‐ＮｕｍＤｅｐｔｈＩｍａｇｅ：２
は、デプスデータに含まれるデプス画像の枚数を示す。ここでは、デプスＤ１を含むデプス画像１枚と、デプスＤ２１、Ｄ２２、Ｄ２３及びＤ２４を含むデプス画像１枚の計２枚を指す。
‐ＤｅｐｔｈＩｍａｇｅＩｎｆｏ［０］：
は、デプスＤ１を含むデプス画像を指し、
‐ＮｕｍＤｅｐｔｈＰｏｒｔｉｏｎｓ：１
は、ＤｅｐｔｈＩｍａｇｅＩｎｆｏ［０］が割り当てられデプス画像に含まれるデプスの数を示す。デプス画像に含まれるのは、デプスＤ１のみであるため、「１」である。
‐ＤｅｐｔｈＰｏｒｔｉｏｎＩｎｆｏ［０］：
は、デプス画像に含まれるデプス（ここではデプスＤ１）のデプス情報を表し、
‐ｓｉｚｅ：｛ｘ：０，ｙ：０，ｗ：６４０，ｈ：４８０｝
は、デプスＤ１に相当するデプス画像中の領域が座標（ｘ，ｙ）を左上とするｗ×ｈ画素の領域であることを示す。
‐ｐｏｓｅ：Ｐｏｓｅ（Ｒ１，ｔ１）
は、カメラ位置、姿勢を示し、基準位置から変位ｔ１、基準姿勢からの回転Ｒ１で表される。
‐ｐｒｏｊｅｃｔｉｏｎ：ＰｉｎＨｏｌｅ（５２０，５２０，３２０，２４０）
は、プロジェクション種別がピンホールカメラモデルによる投影であることを示し、数字は、カメラ内部パラメータを示す。ここで、カメラ内部パラメータは、ｆｘ＝ｆｙ＝５２０、ｃｘ＝３２０、ｃｙ＝２４０である。
-ｐｒｉｍａｒｙ＿ｄｅｐｔｈ：Ｔｒｕｅ
は、主画面フラグであり、主画面フラグがＴｒｕｅである場合は、デプスが主画面に映り、Ｆａｌｓｅである場合は、デプス画像が主画面に映らないことを示す。ここで、主画面とは、アプリケーションにおいて優先的に使用される画面であり、例えば、ユーザからの明示的な再生視点の指示がない場合に表示装置１の表示部３が表示する画面に対応する。
【００３５】
また、同様に、
‐ＤｅｐｔｈＩｍａｇｅＩｎｆｏ［１］：
は、デプスＤ２１、Ｄ２２、Ｄ２３及びＤ２４を含むデプス画像を指し、
‐ＮｕｍＤｅｐｔｈＰｏｒｔｉｏｎｓ：４
は、ＤｅｐｔｈＩｍａｇｅＩｎｆｏ［１］が割り当てられたデプス画像に、Ｄ２１、Ｄ２２、Ｄ２３及びＤ２４の４つのデプスが含まれるため「４」である。以降のデプス情報は、Ｄ１を含むデプス画像の情報と同様であるため説明を省略する。
【００３６】
（デプスデータ構成例：空間アラインメント）
取得部７が取得するデプスデータには、種別の異なる複数の入力デプスがデプス画像上の複数の領域の各々に対応付けて含まれている。例えば、入力デプスの種別は、デプス画像上の４つの矩形領域によって区別されており、同一種別のデプスが、デプス画像上の矩形領域に収まるようにデプスデータが構成される。入力デプスの種別は、例えば、カメラの視点、カメラが向く方向、ベースモデル生成用であるか、詳細モデル生成用であるかによって種別がわけられる。
【００３７】
このように種別の異なる複数の入力デプスがデプス画像上の複数の領域の各々に対応づけられた構成のデプスデータを使用することにより、目的に応じて特定種別のデプスを領域毎に容易に抽出して処理することができるため、全てのデプス部分画像を抽出する処理が不要となり、処理量が軽減するという効果を奏する。
【００３８】
複数の領域の大きさ及び数等の設定については、特に限定されないが、符号化されたデータからデプスを抽出できる単位毎に設定されることが好ましい。例えば、複数の領域を矩形領域とし、それぞれの領域をタイルとして設定されることが好ましい。このように矩形領域を映像符号化（例えばHEVC: High Efficient Video Coding）におけるタイルと一致させることで、当該タイルのみを復号することで、デプス部分画像群を抽出することができるため、画像全体を復号する場合に比べて処理データ量及び処理時間が軽減する。また、例えば、複数の領域を映像符号化におけるスライスとしてもよい。
【００３９】
３Ｄモデル生成部９は、デプスデータに含まれる各入力デプスの種別を導出してもよい。
【００４０】
各入力デプスの種別とは、上述したように、例えば、カメラの視点、カメラが向く方向、ベースモデル生成用であるか、詳細モデル生成用であるかによってわけられた種別であり、３Ｄモデル生成部９は、デプスデータに、どの種別のデプスが含まれるかを導出する。
【００４１】
このような構成により、デプスデータに含まれる入力デプスの種別を判定することができ、特定種別の入力デプスを３Ｄモデル生成に利用することができる。
【００４２】
また、３Ｄモデル生成部９は、入力デプスの種別と、デプス画像上の領域との対応付けを示す対応情報を導出してもよい。例えば、入力された同一種別のデプスが、デプス画像上の矩形領域に収まるようにデプスデータが構成される場合、対応情報は、どの種別のデプスが、どの矩形領域に収まっているかを示す。
【００４３】
このような構成により、入力デプスの種別が、どのデプス画像上の領域に対応するか判断することができる。
【００４４】
デプス種別とデプスデータ構成例について以下に説明する。図５は、空間によってデプスデータが構成される例を示す。図５の★マークは撮影対象であり、三角形で示される図形は撮影対象を撮影するカメラである。図５（ａ）は、空間を４等分した上で、カメラの視点が近いデプスを同一のグループとして扱う場合のデプスデータの構成例である。例えば、カメラＣ２ａ及びＣ２ｂは、空間位置が近く、カメラの視点が近いため、カメラＣ２ａ及びＣ２ｂそれぞれに対応するデプスＤ２ａ及びＤ２ｂは、同一のデプスのグループとして構成されている。３Ｄモデル生成部９は、本例の入力デプスの種別が、カメラの視点が近いデプスのグループであることを導出し、カメラ視点が近いカメラＣ２ａ及びＣ２ｂが、デプスデータの領域中のデプスＤ２ａ及びＤ２ｂの領域に対応することを導出する。
【００４５】
図５（ｂ）は、カメラの向いている方向が近いデプスを同一のグループとして扱う場合のデプスデータの構成例である。例えば、カメラＣ１ａ及びＣ１ｂは、撮影対象は異なるが、同じ方向を向いているため、カメラＣ１ａ及びＣ１ｂそれぞれに対応するデプスＤ１ａ及びＤ１ｂは、同一のデプスのグループとして構成されている。
【００４６】
図５（ｃ）は、デプスにベースモデル生成用デプス及び詳細モデル生成用デプスの２種類のデプスが含まれ、詳細モデル生成用のデプスを同一のグループとして扱う場合のデプスデータの構成例である。例えば、カメラＣ４ａ、Ｃ４ｂ、及び、Ｃ４ｃは、全て詳細モデル生成用のデプスであるため、Ｃ４ａ、Ｃ４ｂ、及び、Ｃ４ｃに対応するデプスＤ４ａ、Ｄ４ｂ、及び、Ｄ４ｃは、同一のデプスのグループとして扱う。ベースモデル生成用デプスは、撮影対象の概形モデルを生成するためのデプスであり、詳細モデル生成用デプスは、撮影対象の細部を３Ｄモデルとして生成するためのデプスであり、ベースモデル生成用デプスのみでは不足する形状情報を補う。
【００４７】
（デプスデータ構成例：時間アラインメント）
取得部７が取得するデプスデータは、種別の異なる複数の入力デプスが、所定の時間区間において、当該入力デプスの種別と、デプス画像上の領域との対応が変化しないように構成されている。例えば、所定の時間区間で、入力デプスの種別の空間構成が変化しないようにデプスデータが構成されている。
【００４８】
このような構成のデプスデータを使用することにより、時間区間単位でデプスデータを処理するモジュールを利用する場合に、特定のデプス種別のみに対応するデプスデータを選択して入力することができるため、当該モジュールにおける処理量が低減する。モジュールとは、例えば、符号化データを復号するデコーダである。
【００４９】
例えば、ランダムアクセスが一定間隔に設定された符号化データを復号するデコーダを用いてデプス画像を復号する場合、デプス種別の空間構成が変化しないのであれば、デプス種別に対応するランダムアクセス区間のデプスデータを選択して復号することができる。
【００５０】
３Ｄモデル生成部９は、上述した（デプスデータ構成例：空間アラインメント）と同様に、デプスデータに含まれる各入力デプスの種別を導出してもよい。
【００５１】
各入力デプスの種別とは、上述したように、例えば、カメラの視点、カメラが向く方向、ベースモデル生成用であるか、詳細モデル生成用であるかによってわけられた種別であり、３Ｄモデル生成部９は、デプスデータに、どの種別のデプスが含まれるかを導出する。
【００５２】
このような構成により、デプスデータに含まれる入力デプスの種別を判定することができ、特定種別の入力デプスを３Ｄモデル生成に利用することができる。
【００５３】
また、３Ｄモデル生成部９は、入力デプスの種別と、デプス画像上の領域との対応付けを示す対応情報を導出してもよい。ここで、対応情報は、入力されたデプスの種別が、所定の時間区画単位におけるデプス画像上のどの領域に対応するかを示す。
【００５４】
このような構成により、入力デプスの種別が、どのデプス画像上の領域に対応するか判断することができる。
【００５５】
図６は、時間区間によってデプスデータが構成される例を示す。図６（ａ）は、デプス種別の空間構成を示し、図６（ｂ）は、ランダムアクセスＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）区間における、デプスデータの構成を示す。通常、画像を符号化する場合、一定の時間区画でランダムアクセス可能なＩピクチャと、ランダムアクセスできないＰピクチャとが周期的に並ぶ。本例では、ランダムアクセス可能なＩピクチャから、次のＩピクチャまでの区間までは、デプス種別の空間構成は変化させない。図６（ｂ）の１つ目のＩピクチャから、２つ目のＩピクチャの１つ前のピクチャまでは、デプスデータは、図６（ａ）のカメラＣ１に対応するデプスＤ１からなるデプス画像と、カメラＣ２ａ及びＣ２ｂに対応するデプスＤ２ａ及びＤ２ｂからなるデプス画像とから構成される。２つ目のＩピクチャからは、デプスデータは、デプスＤ１からなるデプス画像と、デプスＤ４からなるデプス画像とから構成され、デプスデータが更新される。また、３Ｄモデル生成部９は、本例の入力デプスの種別が、カメラの視点が近いデプスのグループであることを導出し、１つ目のＩピクチャから、２つ目のＩピクチャの１つ前のピクチャまでは、カメラ視点が近いカメラＣ２ａ及びＣ２ｂが、デプスデータの領域中のデプスＤ２ａ及びＤ２ｂの領域に対応することを導出する。
【００５６】
（デプスデータ構成例：種別に応じたデプス情報の配置）
取得部７が取得するデプスデータは、デプスの種別に応じてシーケンス単位、ＧＯＰ単位及びフレーム単位等の異なる場所にデプス情報が配置される。すなわち、デプスの種別に応じて送信される単位が異なる。配置の方法としては、一例として、基本的な種別のデプスのデプス情報は長い時間区間（例えば、シーケンス単位）に、それ以外の種別のデプスのデプス情報は短い時間区間（例えば、フレーム単位）に配置される。図７は、デプスの種別に応じてデプス情報が配置される例を示す。
【００５７】
図７に示す上部の３Ｄデータは、３Ｄデータ生成装置４１から取得したデプスデータであり、該デプスデータには、デプス情報、ベースデプスデータ、及び詳細デプスデータが種別毎に異なる場所に格納されている。
【００５８】
図７に示すように、基本的な種別のデプスであるベースモデル生成用デプス数及びカメラ姿勢は、シーケンス単位の情報として固定して配置される。また、詳細モデル生成用デプスの数とカメラ姿勢はフレーム毎に変更して配置されてもよい。すなわち、図７に示すように、フレームｔ＝０におけるデプス情報、ベースデプスデータ及び詳細デプスデータは、フレームｔ＝１におけるデプス情報、ベースデプスデータ及び詳細デプスデータとは異なる情報が格納されてもよい。
【００５９】
また、図７に示す下部の３Ｄデータ（ベース再生用）は、ベースモデルを生成するためのデプスデータであり、上部の３Ｄデータからシーケンス単位のデプス情報及びデプス情報を抽出したデプスデータである。
【００６０】
このように、デプスの種別に応じてシーケンス単位、ＧＯＰ単位及びフレーム単位等の異なる場所にデプス情報が配置されることにより、シーケンス単位のデプス情報に基づいて、ベースモデル用デプスが合成され、３Ｄモデル生成部９が少ない処理量で３Ｄモデルの概形を生成することができる。従って、処理性能が低い再生端末でも３Ｄモデルを再生することができ、高速に３Ｄモデルを再生することができる。
【００６１】
また、長区間に適用するデプス情報を、例えばＭＰＥＧ−ＤＡＳＨに対応するコンテンツＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）のようなシステム層に含め、短区間に適用するデプス情報を、例えばＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）のような符号化層の情報に含める構成にしてもよい。このようにデプスデータが構成されることによって、システムレベルでベースモデル再生に必要な情報を抽出することができる。
【００６２】
〔３Ｄモデル生成部〕
図８は、３Ｄモデル生成部９のブロック図を示す。３Ｄモデル生成部９は、図８に示すように、プロジェクション部２０と、デプス統合部２１とを備える。プロジェクション部２０には、デプスと、デプス種別情報とが入力される。プロジェクション部２０は、入力される各デプスを、デプス種別情報を参照して３Ｄ点群に変換し、３Ｄ点群と、デプス種別情報とを、デプス統合部２１に出力する。デプス統合部２１は、プロジェクション部２０より入力された複数の３Ｄ点群を、デプス種別情報を参照して統合することで、各時刻の３Ｄモデルを生成して出力する。ここで、３Ｄモデルとは、少なくとも対象の形状情報を含むモデルであり、一形態として色情報を持たないメッシュ表現のモデル（無色モデル）である。プロジェクション部２０と、デプス統合部２１とが行う具体的な処理については以下に記載する。
【００６３】
（３Ｄ点群の導出手順及びデプス統合手順（その１））
図９は、デプスに対応する３Ｄ点群の導出及びデプスの統合を説明するための図である。まず、プロジェクション部２０では、デプスに対応デプスを構成する画素毎に以下を実行する。
・対象画素の画素位置（ｕ、ｖ）と、画素に記録されたデプス値を、３次元空間座標（ｘ、ｙ、ｚ）に変換し、３Ｄ空間位置を導出する。
・デプス画像に対応するカメラ姿勢方向を用いてカメラ座標系における３Ｄ空間位置をグローバル座標系における３Ｄ空間位置に変換する。
【００６４】
また、デプス統合部２１では、以下に示す手順で、３Ｄ点群を、デプス種別情報を利用して統合する。
【００６５】
（Ｓ１）空間を立方体であるボクセル単位に区切り、ボクセル単位のＴＳＤＦ／ｗｅｉｇｈｔ＿ｓｕｍをゼロクリアする。ＴＳＤＦ：Ｔｒｕｎｃａｔｅｄ  Ｓｉｇｎｅｓ  Ｄｉｓｔａｎｃｅ  Ｆｕｎｃｔｉｏｎは、物体の表面からの距離を示す。
【００６６】
（Ｓ２）複数のデプスのうち、各デプスに対応する３点群毎に（Ｓ３）を実行する。
【００６７】
（Ｓ３）対象３Ｄ点群に含まれる点（ｘ、ｙ、ｚ）毎に（Ｓ４）を実行する。
【００６８】
（Ｓ４）対象３Ｄ点群を含むボクセルのＴＳＤＦ、及び、ウェイトを更新する。
‐ｗｅｉｇｈｔ  ＝  １．０  ＊  α  ＊  β
‐α：カメラ光軸と法線の角度差
０  ＜＝  α  ＜＝  １、角度差が大きいほど小さな値
‐β：３Ｄ点と、ボクセル中心の法線とに垂直な面上の距離
０  ＜＝  β  ＜＝  １、距離が近いほど大きい値
‐ＴＳＤＦ  ＝ＴＳＤＦ  ＋  ｔｒｕｎｃ（ｎ・（ｐｄ−ｐｖ））＊ｗｅｉｇｈｔ
‐ｎ：対象３Ｄ点の法線
‐ｐｄ：対象３Ｄ点の空間位置
‐ｐｖ：ボクセル中心の位置
‐ｔｒｕｎｃ（）：規定の距離によるクリップ
‐つまり、法線に沿った対象３Ｄ点から、ボクセル中心の距離に相当する値をＴＳＤＦに加算する。
‐ｗｅｉｇｈｔ＿ｓｕｍ  ＝  ｗｅｉｇｈｔ＿ｓｕｍ  ＋  ｗｅｉｇｈｔ
（Ｓ５）各ボクセルのＴＳＤＦをｗｅｉｇｈｔ＿ｓｕｍで除算する。
【００６９】
（３Ｄ点群の導出手順及びデプス統合手順（その２））
デプス統合部２１が行うデプス統合手順の別の例を挙げる。例えば、以下の手順でデプス統合を行う。
【００７０】
（Ｓ１）ボクセル単位のＴＳＤＦ／ｗｅｉｇｈｔをゼロクリアする。
【００７１】
（Ｓ２）複数のデプスのうち、各デプスに対応する３点群毎に（Ｓ３）を実行する。
【００７２】
（Ｓ３）対象３Ｄ点群に含まれる点（ｘ、ｙ、ｚ）毎に（Ｓ４）を実行する。
【００７３】
（Ｓ４）対象３Ｄ点を含むボクセルのＴＳＤＦ、及び、ウェイトを更新する。
‐ｗｅｉｇｈｔ  ＝  １．０  ＊  α  ＊  β
‐ＴＳＤＦ  ＝  （ＴＳＤＦ  ＊  ｗｅｉｇｈｔ＿ｓｕｍ  ＋  ｔｒｕｎｃ（ｎ・（ｐｄ−ｐｖ））＊ｗｅｉｇｈｔ）  ／  （ｗｅｉｇｈｔ＿ｓｕｍ  ＋  ｗｅｉｇｈｔ）
‐ｗｅｉｇｈｔ＿ｓｕｍ  ＝  ｗｅｉｇｈｔ＿ｓｕｍ  ＋  ｗｅｉｇｈｔ
（デプス種別：主視点／副視点デプス）
デプスデータに含まれるデプス種別について説明する。本例のデプスデータは、３Ｄモデル再生時に重要な視点位置（主視点）に対応したデプスである主視点デプスと、それ以外の副視点デプスとを含む。重要な視点位置とは、例えば、３Ｄモデル再生時の規定視点位置、又は初期視点位置とする。また、本例において、デプス統合部２１は、３Ｄモデル生成時に、主視点デプスを副視点デプスより優先して処理する。
【００７４】
このように、デプス統合部２１が、３Ｄモデル生成時に、主視点デプスを副視点デプスより優先して処理することで、主視点近傍から見た場合の品質が高い３Ｄモデルを低遅延で生成することができる。
【００７５】
（処理手順の一例（その１））
本例の処理手順は以下の通りである。
・デプス統合部２１は、主視点デプスのみを用いて３Ｄモデルを生成して提示する。
・次に、デプス統合部２１は、主視点デプス及び副視点デプスを用いて３Ｄモデルを生成し、提示した３Ｄモデルと置き換える。
【００７６】
主視点が初期視点である場合に、視点が移動できる範囲は限定されているため、該主視点から見た３Ｄモデルと関係が深い主視点デプスのみで３Ｄモデルを生成しても品質の劣化は小さい。
【００７７】
（処理手順の一例（その２））
・デプス統合部２１は、主視点デプスを副視点デプスより優先して３Ｄモデルを生成する。
‐例えば、（３Ｄ点群の導出手順、及び、デプス統合手順（その１））及び（３Ｄ点群の導出手順、及び、デプス統合手順（その２））で記載した統合処理におけるｗｅｉｇｈｔに、主視点デプスか、副視点デプスかによる重みを追加し、主視点デプスの場合により大きな重みとする。
【００７８】
このように、主視点デプスを優先することにより、主視点から見た場合に品質の高い３Ｄモデルを生成することができる。
【００７９】
主視点／副視点デプスの識別情報を明示的に送らず、復号順で１枚目のデプスの左上画素を含む領域のデプスを主視点デプスとみなし、それ以外のデプスを副視点デプスとみなしてもよい。
【００８０】
このように、主視点デプス及び副視点デプスの領域を予め決めておくことで、付加情報の読み出しが不要であり、かつ、復号順が早いデプスを使うことで、より小さい遅延で３Ｄモデルを生成することができる。
【００８１】
（デプス種別：ベース／詳細デプス）
本例のデプスデータは、ベースモデル生成用デプスと、詳細モデル生成用デプスとを含む。以下、ベースモデル生成用デプスをベースデプス、詳細モデル生成用デプスを詳細デプスとも称する。ベースデプスデータは、固定、又は連続的に変化する視点位置から撮影されたデプス画像に相当する。詳細デプスデータは、各時刻で異なる視点及びプロジェクションパラメータを取り得る。
【００８２】
このようにデプスデータに、ベースデプスと、詳細デプスとが含まれることにより、ベースデプスをグレースケールのビデオとして再生し、３Ｄモデル統合を行うことなく撮影対象を確認できる。ベースデプスデータをカラー画像のセグメンテーション等の別の用途に容易に利用することができる。また、詳細デプスにより、ベースデプスのみでは、不足する形状情報を補い、３Ｄモデルの品質を向上することができる。
【００８３】
図１０は、デプスデータが、ベースデプスと、詳細デプスとを含む場合の、フレーム毎の撮影イメージと、デプスデータとを示す。図１０の撮影イメージに示すように、カメラＣ１は、フレームが変わっても固定位置にあり、カメラＣ１に対応するベースデプスＤ１も固定されている。それに対して、カメラＣ１以外のカメラは、フレーム毎に数及び位置が変わり、カメラＣ１以外のカメラＣ２〜Ｃ６に対応する詳細デプスＤ２〜Ｄ６は、フレームと共に変化する。
【００８４】
〔変形例〕
３Ｄモデル生成部９の変形例について説明する。図１１は、本変形例に係る３Ｄモデル生成部９の構成を示すブロック図である。図１１に示すように、３Ｄモデル生成部９は、詳細デプスプロジェクション部３０、詳細デプス統合部３１、ベースデプスプロジェクション部３２及びベースデプス統合部３３を備える。
【００８５】
ベースデプスプロジェクション部３２は、入力されるベースデプスを、デプス種別情報を参照して３Ｄ点群に変換し、ベースデプス統合部３３に出力する。
【００８６】
ベースデプス統合部３３は、入力された複数の３Ｄ点群と、デプス種別情報とを統合することで、ベースモデルを生成し、詳細デプス統合部３１に出力する。
【００８７】
詳細デプスプロジェクション部３０は、入力される詳細デプスを、デプス種別情報を参照して３Ｄ点群に変換し、詳細デプス統合部３１に出力する。
【００８８】
詳細デプス統合部３１は、詳細デプスプロジェクション部３０から入力される３Ｄ点群と、デプス種別情報と、ベースデプス統合部から入力される３Ｄ点群とを統合することで、３Ｄモデルを生成して出力する。
【００８９】
（デプス種別：デプスレンジ）
本例では、デプスデータが、異なるデプスレンジを有するデプスを含む例について説明する。
【００９０】
図１２は、解像度、すなわち、デプスレンジが異なる２台のカメラによって撮影した場合のデプスデータを説明するための図である。図１２に示すように、Ｄ１は、サンプリング間隔が１ｍｍのデプスであり、Ｄ２は、サンプリング間隔が４ｍｍのデプスである。Ｄ１及びＤ２に対応する２つのカメラの画角が重複する領域は、Ｄ２に対応するカメラのみでは取得できない、撮影対象の詳細な形状のデプスを取得することができる。
【００９１】
このように、デプスデータが、異なるデプスレンジを有するデプスを含むことで、３Ｄモデル生成部９は、撮影対象の広域の形状情報を広いレンジのデプス値を有するデプス画像として作成し、狭域の形状情報を狭いレンジのデプス画像として作成することができる。これにより、形状概形、及び、特定領域の形状詳細を再現する３Ｄモデルを生成することができる。
【００９２】
また、図１１を参照して説明したベースデプスと詳細デプスを用いる方法と、異なるデプスレンジを用いる方法を組み合わせて使用することもできる。具体的には、ベースデプスにおいて、固定の広いデプス値のレンジを使用し、詳細デプスにおいて可変の狭いデプス値のレンジを使用することで、ベースデプスで対象の形状概形の情報を取得し、詳細デプスで対象の形状詳細の情報を取得することができる。すなわち、ベースデプスのみでも３Ｄモデル全体が表現でき、詳細デプスを追加することで形状詳細を再現するスケーラビリティが実現できる。
【００９３】
（デプス種別：サンプリング時刻（その１））
本例では、デプスデータが、異なるサンプリング時刻のデプスを含む例について説明する。本例のデプスデータは、フレームと同一の時刻が付与されたデプスと、フレームと異なる参照時刻が付与されたデプスとを含む。フレームと同一の時刻が付与されたデプスは、変形補償用デプスとして３Ｄモデルの変形に利用される。また、フレームと異なる参照時刻が付与されたデプスは、参照モデル構築用デプスとして３Ｄモデル生成に利用される。
【００９４】
このように、３Ｄモデル生成用には、高精度に３Ｄモデルが生成可能な時刻のデプスを選択し、変形補償用デプスを用いて変形することで、オクルージョンに起因するホールが少ない３Ｄモデルが生成できる。
【００９５】
図１３は、本例における、フレームと同一の時刻が付与されたデプスと、フレームと異なる参照時刻が付与されたデプスとが含まれるデプスデータを説明するための図である。図１３に示すように、フレームｔ＝３におけるデプスＤ１は、フレームと同一の時刻（ｔ＝３）が付与されている。それに対して、デプスＤ２〜５は、フレームと異なる参照時刻（ｔ＝１）が付与されている。ここで、デプスＤ１は、３Ｄモデルの変形に利用され、デプスＤ２〜５は、３Ｄモデル生成に利用される。
【００９６】
（デプス種別：サンプリング時刻（その２））
本例では、デプスデータが、異なるサンプリング時刻のデプスを含む例について説明する。上述の（デプス種別：サンプリング時刻（その１））とは、デプスデータは、フレームと同一の時刻が付与されたデプスと、フレームと異なる参照時刻が付与されたデプスとを含む点では、同じである。異なるのは、本例では、フレームと同一の時刻が付与されたデプスを主視点詳細用デプスとして利用し、フレームと異なる参照時刻が付与されたデプスをベース用デプスとして利用する点である。ベース用デプスは、付与された時刻と一致する時刻のフレームにおいてベースモデル構築に利用される。
【００９７】
このような構成により、帯域が制限されている場合であっても、モデル構築に必要な情報を分散して伝送することができる。また、情報を分散して伝送する場合であっても、主要な視点から見た３Ｄモデルの形状は高品質に維持することができる。
【００９８】
図１４は、本例における、フレームと同一の時刻が付与されたデプスと、フレームと異なる参照時刻が付与されたデプスとが含まれるデプスデータを説明するための図である。図１４に示すように、フレームｔ＝３におけるデプスＤ１は、フレームと同一の時刻（ｔ＝３）が付与されており、デプスＤ２及びＤ３にも、フレームと同一の時刻（ｔ＝３）が付与されている。それに対し、フレームｔ＝４におけるデプスＤ１は、フレームと同一の時刻（ｔ＝４）が付与され、デプスＤ４及びＤ５には、フレームと異なる参照時刻（ｔ＝５）が付与されている。
【００９９】
（デプス種別：プロジェクション）
本例では、デプスデータが、異なるプロジェクションより作成されたデプスを含む例について説明する。プロジェクションにより、空間の点とカメラの画素位置との対応関係が決まる。逆に言えば、プロジェクションが異なる場合、カメラ位置と画素位置が同じであっても、画素に対応する空間の点は異なる。プロジェクションは、複数のカメラパラメータの組み合わせにより決まり、例えば、カメラの画角、解像度、投影方式（例えばピンホールモデル、円筒投影等）、投影パラメータ（焦点距離、画像上のカメラ光軸中心対応点の位置）等である。
【０１００】
プロジェクションを適切に選択することで、同一の解像度であっても画像で撮影可能な対象の範囲を制御できる。したがってデプスデータが、異なるプロジェクションにより作成されたデプスを含むことにより、撮影の対象の配置に応じて、少ない枚数のデプスによって必要な形状データの情報を表現できるため、デプスデータのデータ量が削減できる。
【０１０１】
図１５は、本例における、複数の異なるプロジェクションで作成されたデプスを示す。図１５に示すように、☆マークは、撮影対象を示し、撮影対象は２つ存在する。図１５のデプスデータには、２つの撮影対象全体を映す広角カメラによる撮影画像（広角プロジェクションによる撮影画像）に対応するデプスＤ３、それぞれの撮影対象を映す狭角カメラによる撮影画像（狭角プロジェクションによる撮影画像）に対応するデプスＤ１及びＤ２を含む。
【０１０２】
複数の撮影対象が、デプスデータ内に存在する場合、複数の撮影対象全体を映す広角プロジェクションのデプスと、個々の撮影対象を映す狭角プロジェクションのデプスをデプスデータに含むことで、撮影対象同士の位置関係と、個々の撮影対象の詳細な形状とを同時に再生することができる。
【０１０３】
＜実施形態２＞
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【０１０４】
図１６は、本実施形態に係る再生部１０の構成を示すブロック図である。図１６に示すように、本実施形態に係る再生部１０は、実施形態１と同じく、デプス抽出部８及び３Ｄモデル生成部９を備えるが、デプス抽出部８には３Ｄデータに加え、ユーザ要求も入力され、３Ｄモデル生成部９は、ユーザ要求をさらに参照して３Ｄモデルを生成する。ユーザ要求とは、例えば以下に挙げるものである。
・視点位置、視点方向、移動方向
・再生品質（空間解像度、ホールの量、モデル精度、ノイズ量）
・受信データ最大ビットレート、最小ビットレート、平均ビットレート
・視聴者属性（性別、年齢、身長、視力等）
・処理性能（デプス画像枚数、デプス画素数、モデルメッシュ数等）
・端末属性（パソコン／モバイル、ＯＳ、ＣＰＵ種別、ＧＰＵ種別等）
このように、３Ｄデータに加えて、ユーザ要求を利用してデプスデータからデプスを抽出することで、ユーザ要求に合わせた３Ｄモデルを生成することができる。
【０１０５】
以下に、デプス種別と、ユーザ要求との併用の具体的な例について説明する。
【０１０６】
（デプス種別とユーザ要求との併用：視点位置）
本例において、再生部１０は、ユーザ要求（視点位置）に応じてベースデプスのみを利用した３Ｄモデル構築（ベースモデル構築）と、ベースデプスと詳細デプスとを併用した３Ｄモデル構築（詳細モデル構築）とを切り替える。一例として、視点位置が撮影対象から遠い場合にベースモデル構築、視点位置が撮影対象から近い場合に詳細モデル構築を適用してもよい。
【０１０７】
このように、デプス抽出部８が、ユーザの視点位置によって、ベースモデル構築と、詳細モデル構築とを切り替えて適用することで、視点位置が対象から遠い場合には、再生処理用を低減することができる。また、詳細モデルに比べて、ベースモデルの品質は低いが、ユーザの視点位置が遠い場合には、視点画像を合成した場合の品質低下は低いため有効である。逆に視点位置が近い場合は、詳細モデル構築を適用することで、高品質のモデルを再生することができる。
【０１０８】
本例の具体的な手順は以下の通りである。
・ユーザ要求の指定する視点位置と、撮影対象の位置との距離を導出
‐撮影対象の位置の例：
‐主要デプスのデプス値が対応する３Ｄ空間中の点の位置の中央値又は平均値
‐別途受信するモデル代表位置
・視点位置と、撮影対象の位置との距離と、距離の所定閾値とを比較し、閾値未満の場合は詳細モデル構築、閾値以上の場合はベースモデル構築
‐閾値の例：
‐視点画像の解像度と、ベースデプスの解像度とから算出
‐別途受信又は規定の閾値を利用
（ユーザ要求の視点位置）
ユーザ要求の視点位置は、ユーザが再生において要求する視点位置であって、必ずしも各時刻におけるユーザ視点位置である必要はない。例えば、ユーザは、所定の時間間隔で視点位置を設定し、各時刻で生成する視点としては別の視点位置を設定することもできる。
・６０ｆｐｓのデプスデータで１秒毎にユーザ要求によりベースモデル構築及び詳細モデル構築を選択する例
ｔ＝６０ｋ（ｋは整数）：ｔ＝６０ｋの視点位置でベースモデル構築又は詳細モデル構築を選択し、３Ｄモデルを合成して視点画像を生成
ｔ＝６０ｋ＋１〜６０ｋ＋５９：ｔ＝６０ｋで選択されたモードで３Ｄモデルを生成し、視点画像を生成
ベースデプスの代わりにレンジが広いデプスを用い、詳細デプスの代わりにレンジが狭いデプスを用いてもよい。
【０１０９】
（デプス種別とユーザ要求との併用：デバイス性能）
本例において、ユーザ要求は、視点位置とデバイス性能要求とであり、再生部１０は、ユーザ要求に応じてベースデプスと詳細デプスとを選択して３Ｄモデルを合成する。一例として、再生部１０は、デバイス性能要求が満たす枚数のデプスを使用することを最優先とし、次にベースデプス、視点に近いデプスの順でデプスを選択し使用する。
【０１１０】
このような構成により、デバイス性能が満たす範囲内で、ユーザ視点から見て品質の高い３Ｄモデルを構築することができる。
【０１１１】
本例において再生部１０が行う具体的な手順を以下に示す。
・デプス抽出部８が、デバイス性能要求に基づいて、処理可能なデプス枚数又はデプス画素数を決定
・デプス選択
‐ベースデプスを視点に近い順に選択し、デプス枚数又はデプス画素数を越えた時点で選択を終了
‐詳細デプスを視点に近い順に選択、デプス枚数又はデプス画素数を超えた時点で選択を終了
・３Ｄモデル生成部９が、３Ｄモデル構築
‐選択されたデプスを統合して３Ｄモデルを構築
ここで、デプスと視点の近さとは、デプス画素に対応する３Ｄ空間の点の代表位置（平均、中央値、中央画素の対応点位置等）と視点との距離である。
【０１１２】
ベースデプス及び詳細デプスの選択の優先度として、各デプスに対応するカメラの光軸方向を利用して、優先度を決定してもよい。具体的には、ユーザ視点からデプス代表点へのベクトルと、カメラ光軸ベクトル（カメラ位置からのベクトル）の角度が小さいものを優先的に選択すればよい。
【０１１３】
＜実施形態３＞
〔３Ｄデータ生成装置〕
本実施形態に係る３Ｄデータ生成装置について説明する。図１７は、本実施形態に係る３Ｄデータ生成装置の構成を示すブロック図である。図１７に示すように、３Ｄデータ生成装置４１は、画像取得部４２、デプス画像群記録部４３、デプスデータ構成部４４、ユーザ要求処理部４５及び３Ｄデータ統合部４６を備える。
【０１１４】
画像取得部４２は、撮影対象を撮影するカメラ等、撮像機器から入力される複数のデプス画像を取得する。画像取得部４２は、入力されたデプス画像をデプス画像群記録部４３に出力する。
【０１１５】
デプス画像群記録部４３は、画像取得部４２から入力されたデプス画像を記録する。記録されたデプス画像は、ユーザ要求処理部４５からの信号に従い、適宜デプスデータ構成部４４へ出力される。
【０１１６】
ユーザ要求処理部４５は、ユーザの要求に従い処理を開始する。例えば、再生時刻毎に以下の処理をデプスデータ構成部４４及び３Ｄデータ統合部４６に実行させる。
・デプスデータ構成部４４は、ユーザ要求を参照した上で、デプス画像群記録部４３に記録されているデプス画像のうち少なくとも１つを用いて、種別の異なる複数のデプスを含むデプスデータを構成
・３Ｄデータ統合部４６は、デプスデータを統合して３Ｄデータとして出力
なお、画像取得部４２は必ずしもユーザ要求毎にデプス画像を取得する必要はなく、事前に必要なデプス画像を取得しデプス画像群記録部４３に記録しておく構成でもよい。
【０１１７】
（ユーザ要求に応じたデプスデータ生成：ユーザ視点）
本例において、デプスデータ構成部４４は、ユーザの視点位置に応じて生成する３Ｄデータに含まれるデプスを選択し、デプスデータを構成する。具体的には、デプスデータ構成部４４は、撮影対象と、ユーザとの距離が離れている場合、撮影対象のデプスの内、ユーザの方向を向いたデプスを多く含み、それ以外の方向のデプスが相対的に少ないデプスデータを構成する。
【０１１８】
このように、デプスデータ構成部４４が、ユーザ視点位置に応じて、どの方向のデプスを、デプス画像を構成するデプスとして用いるか選択することで、データ量の増加を抑制しつつ、ユーザの視点位置周辺から観察される部分の品質が高い３Ｄモデルを生成することができる。
【０１１９】
デプスデータ構成部４４がデプスデータを構成する具体例について説明する。
・デプス画像群記録部４３には、撮影対象を中心に、水平１２方向（θ＝３０度×ｋ）、各方向について撮影対象との距離において３段階（ｄ＝１、３、５）で多視点デプス画像が記録されている。
・デプスデータ構成部４４は、ユーザ視点と、撮影対象との距離に応じて、以下のａ〜ｃ方法でデプスを選択する。ここで、主視点デプスは、３Ｄモデル再生時に重要な視点位置（主視点）に対応したデプスであり、副視点デプスは、主視点以外に対応するデプスである。
ａ）ユーザ視点と、撮影対象との距離が１未満      
主視点デプス：距離１、最近傍方向のデプス
副視点デプス：距離１で近傍方向のデプス４枚
ｂ）ユーザ視点と、撮影対象との距離が３未満
主視点デプス：距離３、最近傍方向のデプス
副視点デプス：距離１で最近傍方向のデプス＋距離３で近傍方向のデプス３枚
ｃ）ユーザ視点と、撮影対象との距離が３以上
主視点デプス：距離５、最近傍方向のデプス
副視点デプス：距離１、３で最近傍方向のデプス＋距離３で近傍方向のデプス２枚
（伝送する領域の制御）
本例では、ユーザはコンテンツ提供者であり、デプスデータ構成部４４は、コンテンツ提供者の要求に応じて３Ｄデータに含めるデプスを選択してデプスデータを構成する。
【０１２０】
このように、デプスデータ構成部４４が、コンテンツ提供者の要求に応じて３Ｄデータを含むデプスを選択することで、復元する３Ｄモデル中の特定の領域が含まれるデプスを３Ｄデータから除外することで、該領域が再現されない３Ｄモデルを構築できる。
【０１２１】
デプスデータ構成部４４は、再生される３Ｄモデルを視聴する視聴者が注目すべき撮影対象のデプスを増やし、それ以外の撮影対象のデプスを減らすことで、データ量を維持したまま、注目したい撮影対象の３Ｄモデルを高精度に復元することができる。
【０１２２】
特定領域の例としては、限定されないが、例えば、コンテンツ作成側が視聴者に見られたくない領域、機密情報等の特定ユーザのみ閲覧が許されている領域、セクシャル、バイオレンス等のユーザが閲覧すべきでないと判断される領域が挙げられる。
【０１２３】
〔ソフトウェアによる実現例〕
画像処理装置２の制御ブロック（３Ｄモデル生成部９）及び３Ｄデータ生成装置４１の制御ブロック（特に、デプスデータ構成部４４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【０１２４】
後者の場合、画像処理装置２及び３Ｄデータ生成装置４１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１２５】
〔まとめ〕
本発明の態様１に係る画像処理装置は、撮影対象の３次元形状を示す入力デプスであって、種別の異なる複数の入力デプスを含むデプスデータを取得する取得部と、上記取得部が取得したデプスデータに含まれる上記種別の異なる複数の入力デプスのうち少なくとも何れかを参照して、３Ｄモデルを生成する３Ｄモデル生成部とを備えている。
【０１２６】
本発明の態様２に係る画像処理装置は、上記態様１において、上記取得部が取得するデプスデータには、上記種別の異なる複数の入力デプスが、デプス画像上の複数の領域の各々に対応付けて含まれていてもよい。
【０１２７】
本発明の態様３に係る画像処理装置は、上記態様２において、上記取得部が取得するデプスデータには、上記種別の異なる複数の入力デプスが、所定の時間区間において、当該入力デプスの種別と、上記デプス画像上の領域との対応が変化しないように含まれていてもよい。
【０１２８】
本発明の態様４に係る画像処理装置は、上記態様２又は３において、３Ｄモデル生成部が、上記入力デプスの種別と、上記デプス画像上の領域との対応付けを示す対応情報を導出してもよい。
【０１２９】
本発明の態様５に係る画像処理装置は、上記態様１〜４の何れかにおいて、３Ｄモデル生成部が、上記デプスデータに含まれる各入力デプスの種別を導出してもよい。
【０１３０】
本発明の態様６に係る画像処理装置は、上記態様１〜５の何れかにおいて、上記３Ｄモデル生成部が、記デプスデータに含まれる各入力デプスを３Ｄ点群に変換するプロジェクション部と、上記入力デプスの種別を参照して、上記３Ｄ点群から各時刻３Ｄモデルを生成するデプス統合部とを備えていてもよい。
【０１３１】
本発明の態様７に係る画像処理装置は、上記態様１〜６の何れかにおいて、上記３Ｄモデル生成部が、ユーザ要求をさらに参照して、３Ｄモデルを生成してもよい。
【０１３２】
本発明の態様８に係る３Ｄデータ生成装置は、３Ｄデータを生成する装置であって、撮像機器から複数のデプス画像を取得する画像取得部と、入力されるユーザ要求を参照した上で、上記画像取得部が取得した上記複数のデプス画像のうち少なくとも１つを用いて、種別の異なる複数のデプスを含むデプスデータを構成するデプスデータ構成部とを備える。
【０１３３】
本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１３４】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
（関連出願の相互参照）
本出願は、２０１８年８月１０日に出願された日本国特許出願：特願２０１８−１５１８４７に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
【符号の説明】
【０１３５】
２    画像処理装置
７    取得部
９    ３Ｄモデル生成部
２０  プロジェクション部
２１  デプス統合部
４１  ３Ｄデータ生成装置
４２  画像取得部
４４  デプスデータ構成部
【図１】
2020032113.tif 000003
【図２】
2020032113.tif 000004
【図３】
2020032113.tif 000005
【図４】
2020032113.tif 000006
【図５】
2020032113.tif 000007
【図６】
2020032113.tif 000008
【図７】
2020032113.tif 000009
【図８】
2020032113.tif 000010
【図９】
2020032113.tif 000011
【図１０】
2020032113.tif 000012
【図１１】
2020032113.tif 000013
【図１２】
2020032113.tif 000014
【図１３】
2020032113.tif 000015
【図１４】
2020032113.tif 000016
【図１５】
2020032113.tif 000017
【図１６】
2020032113.tif 000018
【図１７】
2020032113.tif 000019
【国際調査報告】
2020032113.tif 000020
2020032113.tif 000021
2020032113.tif 000022
2020032113.tif 000023