(57)【要約】  デプスに基づいて高精細な３Ｄモデルを生成するためにはデプスに一定の解像度が必要であるが、既存コーデックを用いてデプス画像を符号化する場合、撮影対象の大きさや動きによってはデプスのダイナミックレンジが広く解像度が不足する場合がある。１または複数の撮影対象の３次元形状を示すデプス画像を入力し３Ｄデータを生成する３Ｄデータ生成装置であって、上記デプス画像を矩形領域から構成される複数の部分デプス画像に分割するデプス分割部と、上記複数の部分デプス画像をパッキングし統合デプス画像を生成するデプス統合部と、上記統合デプス画像を符号化するデプス画像符号化部と、上記矩形領域を特定する分割情報及び上記パッキングを示す情報を含む付加情報を符号化する付加情報符号化部と、を備える。
2020067441.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象の３次元形状を示すデプス画像を入力し３Ｄデータを生成する３Ｄデータ生成装置であって、
上記デプス画像を構成する矩形領域である部分デプス画像であって、少なくとも２つの部分デプス画像をパッキングした統合デプス画像を生成する統合デプス画像生成部と、
上記統合デプス画像を符号化するデプス画像符号化部と、
上記デプス画像上の上記部分デプス画像の左上座標を特定する分割情報と、上記統合デプス画像上の上記部分デプス画像に対応する領域の左上座標を特定するパッキング情報とを符号化する付加情報符号化部と、
を備えていることを特徴とする３Ｄデータ生成装置。
【請求項２】
上記付加情報符号化部は、上記部分デプス画像におけるデプス値を特定するダイナミックレンジ情報を符号化することを特徴とする請求項１に記載の３Ｄデータ生成装置。
【請求項３】
上記統合デプス画像生成部は、上記統合デプス画像の各画素が特定の撮影対象に属するか否かを示す形状情報を導出することを特徴とする請求項１に記載の３Ｄデータ生成装置。
【請求項４】
上記統合デプス画像生成部は、撮影対象が同一である部分デプス画像を同一の符号化単位にパッキングすることを特徴とする請求項１に記載の３Ｄデータ生成装置。
【請求項５】
上記統合デプス画像生成部は、撮影方向が同一である部分デプス画像を同一の符号化単位にパッキングすることを特徴とする請求項１に記載の３Ｄデータ生成装置。
【請求項６】
３Ｄデータを入力し撮影対象の３次元形状を再生する３Ｄデータ再生装置であって、
デプス画像を構成する矩形領域である部分デプス画像であって、少なくとも２つの該部分デプス画像をパッキングした統合デプス画像を再構成する統合デプス画像生成部と、
上記３Ｄデータに含まれる統合デプス画像を復号するデプス画像復号部と、
上記デプス画像上の上記部分デプス画像の左上座標を特定する分割情報と、上記統合デプス画像上の上記部分デプス画像に対応する領域の左上座標を特定するパッキング情報とを復号する付加情報復号部と、
を備えていることを特徴とする３Ｄデータ再生装置。
【請求項７】
請求項１に記載の３Ｄデータ生成装置としてコンピュータを機能させるための制御プログラムであって、上記統合デプス画像生成部としてコンピュータを機能させるための制御プログラム。
【請求項８】
請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、撮影対象の３次元形状を示すデプス画像を入力し３Ｄデータを生成する３Ｄデータ生成装置、３Ｄデータ生成方法、制御プログラム及び記録媒体に関する。
【背景技術】
【０００２】
ＣＧの分野では、入力デプスを統合することで３Ｄモデル（３次元モデル）構築するＤｙｎａｍｉｃＦｕｓｉｏｎという手法が検討されている。ＤｙｎａｍｉｃＦｕｓｉｏｎの目的は、主に、撮影した入力デプスからリアルタイムでノイズ除去した３Ｄモデルを構築することである。ＤｙｎａｍｉｃＦｕｓｉｏｎでは、センサから取得される入力デプスを３次元形状の変形を補償した上で共通の参照３Ｄモデルに統合する。これにより、低解像度及び高ノイズのデプスから精密な３Ｄモデルの生成が可能となる。【０００３】
また、特許文献１には、多視点カラー画像と、画素レベルで対応する多視点デプス画像とを入力することで任意視点の画像を出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国公開特許公報「特開２０１３−３０８９８号公報」
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デプスに基づいて高精細な３Ｄモデルを生成するためにはデプスに一定の解像度が必要であるが、既存コーデックを用いてデプス画像を符号化する場合、撮影対象の大きさや動きによってはデプスのダイナミックレンジが広く解像度が不足する場合がある。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る３Ｄデータ生成装置は、１または複数の撮影対象の３次元形状を示すデプス画像を入力し３Ｄデータを生成する３Ｄデータ生成装置であって、上記デプス画像を矩形領域から構成される複数の部分デプス画像に分割するデプス分割部と、上記複数の部分デプス画像をパッキングし統合デプス画像を生成するデプス統合部と、上記統合デプス画像を符号化するデプス画像符号化部と、上記矩形領域を特定する分割情報及び上記パッキングを示す情報を含む付加情報を符号化する付加情報符号化部と、を備えている。【０００７】
上記の課題を解決するために、本発明の一態様に係る３Ｄデータ再生装置は、３Ｄデータを入力し１または複数の撮影対象の３次元形状を再生する３Ｄデータ再生装置であって、上記３Ｄデータに含まれる統合デプス画像を復号するデプス画像復号部と、上記統合デプス画像に含まれる矩形領域から構成される複数の部分デプス画像のパッキングを示す情報及び上記矩形領域を特定する分割情報を含む付加情報を復号する付加情報復号部と、上記復号した統合デプス画像から上記パッキングを示す情報に基づき部分デプス画像を抽出するデプス抽出部と、上記分割情報に基づき上記複数の部分デプス画像を結合し、デプス画像を再構成するデプス結合部と、を備えている。
【発明の効果】
【０００８】
本発明の一態様によれば、撮影対象のデプスのダイナミックレンジが広い場合であっても、既存コーデックを用いて量子化誤差の少ない３Ｄデータを生成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態１に係る３Ｄデータ生成装置の構成を示す機能ブロック図である。
【図２】本発明の実施形態１に係る統合デプス画像生成部、及び統合カラー画像生成部の内部構成を示す機能ブロック図である。
【図３】本発明の実施形態１に係るデプス画像、及びカラー画像の取得例を示した図である。
【図４】本発明の実施形態１に係るデプス画像取得部の出力するデプス画像、及びカラー画像取得部の出力するカラー画像の一例を示した図である。
【図５】本発明の実施形態１に係るデプス画像の分割例を示した図である。
【図６】本発明の実施形態１に係るデプス画像、及びカラー画像のパッキングの例を示した図である。
【図７】本発明の実施形態１に係るカラー画像の分割例を示した図である。
【図８】本発明の実施形態１に係る３Ｄデータ再生装置の構成を示す機能ブロック図である。
【図９】本発明の実施形態１に係るデプス画像再構成部、及びカラー画像再構成部の内部構成を示す機能ブロック図である。
【図１０】本発明の実施形態２に係る３Ｄデータ生成装置の構成を示す機能ブロック図である。
【図１１】本発明の実施形態２に係る統合デプス画像生成部の内部構成を示す機能ブロック図である。
【図１２】本発明の実施形態２に係る３Ｄデータ再生装置の構成を示す機能ブロック図である。
【図１３】本発明の実施形態２に係るデプス画像再構成部の内部構成を示す機能ブロック図である。
【図１４】本発明の実施形態３に係る３Ｄデータ生成装置の構成を示す機能ブロック図である。
【図１５】本発明の実施形態３に係る統合デプス画像生成部、及び統合カラー画像生成部の内部構成を示す機能ブロック図である。
【図１６】本発明の実施形態３に係るデプス画像、及びカラー画像の取得例を示した図である。
【図１７】本発明の実施形態３に係るデプス画像、及びカラー画像のパッキングの例を示した図である。
【図１８】本発明の実施形態３に係るデプス画像、及びカラー画像のパッキングの例を示した図である。
【図１９】本発明の実施形態３に係る３Ｄデータ再生装置の構成を示す機能ブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、詳細に説明する。
【００１１】
＜実施形態１＞
〔３Ｄデータ生成装置〕
まず、本発明の実施形態１に係る３Ｄデータ生成装置について、図面を参照しながら説明する。
【００１２】
図１は、本発明の実施形態１に係る３Ｄデータ生成装置の構成を示す機能ブロック図である。３Ｄデータ生成装置１は、デプス画像取得部１７、統合デプス画像生成部１１、デプス画像符号化部１２、カラー画像取得部１８、統合カラー画像生成部１４、カラー画像符号化部１５、付加情報符号化部１３、及び多重化部１６から構成される。
【００１３】
デプス画像取得部１７は、複数のデプスカメラからデプスデータを取得し、デプス画像を統合デプス画像生成部１１に出力する。
【００１４】
統合デプス画像生成部１１は、デプス画像取得部１７から出力された複数のデプス画像を分割、統合（パッキング）することによって、単一の統合デプス画像を生成する。
【００１５】
デプス画像符号化部１２は、統合デプス画像生成部１１から入力された統合デプス画像を圧縮符号化し、デプス符号化データを出力する。圧縮符号化には、例えば、ＩＳＯ／ＩＥＣ  ２３００８−２で規定されているＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）を用いることができる。
【００１６】
カラー画像取得部１８は、複数のカラーカメラからカラーデータを取得し、カラー画像を統合カラー画像生成部１４に出力する。
【００１７】
統合カラー画像生成部１４は、カラー画像取得部１８から出力された複数のカラー画像を分割、統合（パッキング）することによって、単一の統合カラー画像を生成する。
【００１８】
カラー画像符号化部１５は、統合カラー画像生成部１４から入力された統合カラー画像を圧縮符号化し、カラー符号化データを出力する。圧縮符号化には、例えば、ＨＥＶＣを用いることができる。
【００１９】
付加情報符号化部１３は、統合デプス画像生成部１１において生成した統合デプス画像から、もとのデプス画像を再構成するために必要な付加情報、及び統合カラー画像生成部１４において生成した統合カラー画像から、もとのカラー画像を再構成するために必要な付加情報を符号化し、付加情報符号化データを出力する。付加情報の詳細については後述する。
【００２０】
多重化部１６は、デプス画像符号化部１２、カラー画像符号化部１５、及び付加情報符号化部１３から出力された各符号化データを多重化し、３Ｄデータとして出力する。多重化には、例えば、ＩＳＯ／ＩＥＣ  １４４９６−１２で規定されているＩＳＯＢＭＦＦ（ＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａ Ｆｉｌｅ  Ｆｏｒｍａｔ）を用いることができる。多重化された３Ｄデータは、ハードディスク、光ディスク、不揮発性メモリ等の各種記録媒体に記録したり、ネットワークへストリーミング配信したりすることができる。ストリーミング配信には、例えば、ＩＳＯ／ＩＥＣ  ２３００９−１で規定されているＭＰＥＧ−ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）を用いることができる。
【００２１】
図２（ａ）は、本発明の実施形態１に係る統合デプス画像生成部１１の内部構成を示す機能ブロック図である。統合デプス画像生成部１１は、デプス分割部１１１、及びデプス統合部１１３から構成される。
【００２２】
デプス分割部１１１は、デプス画像取得部１７から出力されたデプス画像を、矩形領域からなる複数の部分デプス画像に分割する。具体的には、デプス画像に含まれる撮影対象毎に矩形領域を設定し、矩形領域に含まれるデプス画像を部分デプス画像として出力するとともに、以下の分割情報を出力する。
〔分割情報の例１〕
・各矩形領域の左上の座標（デプス画像の左上を原点）
・各矩形領域の右下の座標（デプス画像の左上を原点）
・各矩形領域に含まれる撮影対象の識別子
〔分割情報の例２〕
・各矩形領域の左上の座標（デプス画像の左上を原点）
・各矩形領域の幅、及び高さ
・各矩形領域に含まれる撮影対象の識別子
デプス統合部１１３は、デプス分割部１１１から出力された複数の部分デプス画像を単一の画像に統合（パッキング）することによって統合デプス画像を生成する。具体的には、すべての部分デプス画像を統合した統合デプス画像を出力するとともに、以下のパッキング情報を出力する。
〔パッキング情報の例１〕
・各部分デプス画像の左上に対応する統合デプス画像上の座標（統合デプス画像の左上を原点）
・各部分デプス画像の右下に対応する統合デプス画像上の座標（統合デプス画像の左上を原点）
・各部分デプス画像に含まれる撮影対象の識別子
〔パッキング情報の例２〕
・各部分デプス画像の左上に対応する統合デプス画像上の座標（統合デプス画像の左上を原点）
・統合デプス画像における各部分デプス画像の幅、及び高さ
・各部分デプス画像に含まれる撮影対象の識別子
統合カラー画像生成部１４では、統合デプス画像生成部１１で出力される分割情報、及びパッキング情報にしたがって、統合デプス画像生成部１１と同様に、カラー画像取得部１８から出力されたカラー画像を分割、統合（パッキング）することによって、単一の統合カラー画像を生成する。
【００２３】
図３は、本発明の実施形態１に係るデプス画像、及びカラー画像の取得例を示した図である。撮影対象ａ、及び撮影対象ｂに対して、３台のカメラＣ１、Ｃ２、及びＣ３が配置され、各カメラがデプス画像、及びカラー画像を撮影する様子を示している。
【００２４】
図４は、本発明の実施形態１に係るデプス画像取得部１７の出力するデプス画像、及びカラー画像取得部１８の出力するカラー画像の一例を示した図である。図４（ａ）のＧ１、Ｇ２、Ｇ３は、それぞれカメラＣ１、Ｃ２、Ｃ３で取得したデプス画像である。図４（ｂ）のＴ１、Ｔ２、Ｔ３は、それぞれカメラＣ１、Ｃ２、Ｃ３で取得したカラー画像である。
【００２５】
ここで、カメラＣ１、Ｃ２、Ｃ３は、0ｍｍ〜25000ｍｍの範囲のデプス値を取得可能であり、デプス画像Ｇ１、Ｇ２、Ｇ３の各画素値には、取得したデプス値を１６ビットで量子化した値が格納（例えば、ＹＵＶ４：２：０  １６ビットフォーマットのＹ成分にデプス値が格納）されている。一方、カラー画像Ｔ１、Ｔ２、Ｔ３には８ビットで量子化された輝度（Ｙ）、及び色差（Ｕ、Ｖ）が格納（例えば、ＹＵＶ４：２：０  ８ビットフォーマットに格納）されている。
【００２６】
図５は、本発明の実施形態１に係るデプス画像の分割例を示した図である。デプス分割部１１１は、デプス画像Ｇ１を、撮影対象ａを含む矩形領域の部分デプス画像Ｇ１ａと、撮影対象ｂを含む矩形領域の部分デプス画像Ｇ１ｂに分割する。同様に、デプス画像Ｇ２を部分デプス画像Ｇ２ａとＧ２ｂに、デプス画像Ｇ３を部分デプス画像Ｇ３ａとＧ３ｂに分割する。デプス分割部１１１は、以下の分割情報を出力する。
〔Ｇ１ａの分割情報〕
・矩形領域の左上の座標：(X1a, Y1a)
・矩形領域の右下の座標：(X1a+W1a, Y1a+H1a)
・矩形領域に含まれる撮影対象の識別子：a
〔Ｇ２ａの分割情報〕
・矩形領域の左上の座標：(X2a, Y2a)
・矩形領域の右下の座標：(X2a+W2a, Y2a+H2a)
・矩形領域に含まれる撮影対象の識別子：a
〔Ｇ３ａの分割情報〕
・矩形領域の左上の座標：(X3a, Y3a)
・矩形領域の右下の座標：(X3a+W3a, Y3a+H3a)
・矩形領域に含まれる撮影対象の識別子：a
〔Ｇ１ｂの分割情報〕
・矩形領域の左上の座標：(X1b, Y1b)
・矩形領域の右下の座標：(X1b+W1b, Y1b+H1b)
・矩形領域に含まれる撮影対象の識別子：b
〔Ｇ２ｂの分割情報〕
・矩形領域の左上の座標：(X2b, Y2b)
・矩形領域の右下の座標：(X2b+W2b, Y2b+H2b)
・矩形領域に含まれる撮影対象の識別子：b
〔Ｇ３ｂの分割情報〕
・矩形領域の左上の座標：(X3b, Y3b)
・矩形領域の右下の座標：(X3b+W3b, Y3b+H3b)
・矩形領域に含まれる撮影対象の識別子：b
図６（ａ）は、本発明の実施形態１に係る部分デプス画像のパッキングの例を示した図である。デプス統合部１１３は、部分デプス画像Ｇ１ａ、Ｇ２ａ、Ｇ３ａ、Ｇ１ｂ、Ｇ２ｂ、Ｇ３ｂを、単一の画像に統合（パッキング）し、統合デプス画像を生成する。デプス結合部１１３は、以下のパッキング情報を出力する。
〔Ｇ１ａのパッキング情報〕
・部分デプス画像の左上に対応する統合デプス画像上の座標：(x1, y1)
・部分デプス画像の右下に対応する統合デプス画像上の座標：(x1', y1')
・部分デプス画像に含まれる撮影対象の識別子：a
〔Ｇ２ａのパッキング情報〕
・部分デプス画像の左上に対応する統合デプス画像上の座標：(x2, y2)
・部分デプス画像の右下に対応する統合デプス画像上の座標：(x2', y2')
・部分デプス画像に含まれる撮影対象の識別子：a
〔Ｇ３ａのパッキング情報〕
・部分デプス画像の左上に対応する統合デプス画像上の座標：(x3, y3)
・部分デプス画像の右下に対応する統合デプス画像上の座標：(x3', y3')
・部分デプス画像に含まれる撮影対象の識別子：a
〔Ｇ１ｂのパッキング情報〕
・部分デプス画像の左上に対応する統合デプス画像上の座標：(x4, y4)
・部分デプス画像の右下に対応する統合デプス画像上の座標：(x4', y4')
・部分デプス画像に含まれる撮影対象の識別子：b
〔Ｇ２ｂのパッキング情報〕
・部分デプス画像の左上に対応する統合デプス画像上の座標：(x5, y5)
・部分デプス画像の右下に対応する統合デプス画像上の座標：(x5', y5')
・部分デプス画像に含まれる撮影対象の識別子：b
〔Ｇ３ｂのパッキング情報〕
・部分デプス画像の左上に対応する統合デプス画像上の座標：(x6, y6)
・部分デプス画像の右下に対応する統合デプス画像上の座標：(x6', y6')
・部分デプス画像に含まれる撮影対象の識別子：b
統合デプス画像における各部分デプス画像の背景領域については、形状情報に基づき符号化制御を行う。形状情報とは、統合デプス画像の各画素がオブジェクト（撮影対象）に属するか否かを示した情報であり、例えば、オブジェクトに属する画素の場合“１”、オブジェクトに属さない画素の場合“０”を割り当てる。符号化処理では、例えば、ＣＴＵ（符号化ツリーユニット）内の全ての画素がオブジェクトに属さない場合や、ＣＴＵ内の一部の画素がオブジェクトに属さない場合は、オブジェクトに属さない領域をオブジェクトのエッジの画素値や所定の画素値で水平方向または垂直方向にパディングしてから符号化する、などの処理を行う。デプス結合部１１３は、上記形状情報をパッキング情報として出力する。
【００２７】
図２（ｂ）は、本発明の実施形態１に係る統合カラー画像生成部１４の内部構成を示す機能ブロック図である。統合カラー画像生成部１４は、カラー分割部１４１、及びカラー統合部１４３から構成される。
【００２８】
図７は、本発明の実施形態１に係るカラー画像の分割例を示した図である。カラー分割部１４１は、統合デプス画像生成部１１より入力される分割情報にしたがって、カラー画像Ｔ１を部分カラー画像Ｔ１ａとＴ１ｂに分割する。同様に、カラー画像Ｔ２を部分カラー画像Ｔ２ａとＴ２ｂに、カラー画像Ｔ３を部分カラー画像Ｔ３ａとＴ３ｂに分割する。
【００２９】
図６（ｂ）は、本発明の実施形態１に係る部分カラー画像のパッキングの例を示した図である。カラー統合部１４３は、統合デプス画像生成部１１より入力されるパッキング情報にしたがって、部分カラー画像Ｔ１ａ、Ｔ２ａ、Ｔ３ａ、Ｔ１ｂ、Ｔ２ｂ、Ｔ３ｂを、単一の画像に統合（パッキング）し、統合カラー画像を生成する。
【００３０】
統合カラー画像における各部分カラー画像の背景領域については、統合デプス画像生成部１１より入力されるパッキング情報（形状情報）に基づき符号化制御を行う。例えば、ＣＴＵ内の全ての画素がオブジェクトに属さない場合や、ＣＴＵ内の一部の画素がオブジェクトに属さない場合は、オブジェクトに属さない領域をオブジェクトのエッジの画素値や所定の画素値で水平方向または垂直方向にパディングしてから符号化する、などの処理を行う。
【００３１】
デプス画像符号化部１２は、上記統合デプス画像をＨＥＶＣ  Ｍａｉｎ１２プロファイルを用いて圧縮符号化し、デプス符号化データを多重化部１６に出力する。
【００３２】
カラー画像符号化部１５は、上記統合カラー画像をＨＥＶＣ  Ｍａｉｎプロファイルを用いて圧縮符号化し、カラー符号化データを多重化部１６に出力する。
【００３３】
付加情報符号化部１３は、統合デプス画像生成部１１より出力される分割情報、パッキング情報、及び各カメラポーズ（３次元空間上の位置、方向等）に関する情報を可逆符号化し、多重化部１６に出力する。
【００３４】
上述の構成とすることで、部分デプス画像を構成する各ＣＴＵにおけるデプス値のダイナミックレンジを小さくすることができ、量子化の際の解像度を向上させることができる。その結果、撮影対象の大きさや動きによってデプスのダイナミックレンジが広い場合であっても解像度不足を解消することができる。
【００３５】
さらに、デプス画像（図５（ａ）のＧ１、Ｇ２、Ｇ３）をそのまま結合して符号化する場合と比べて、背景領域の削減や画像サイズの縮小により発生符号量を削減することができる。
【００３６】
また、カメラの数に関わらず、常に、統合デプス画像（図６（ａ））の符号化データ、統合カラー画像（図６（ｂ））の符号化データ、及び付加情報の符号化データの３つのストリームを伝送すればよいため、伝送するストリームの数をカメラの数に依存しないようにすることができるといった効果を奏する。
【００３７】
また、符号化データ（デプス＋カラー＋付加情報）のビットレート、デプス画像の符号化歪、カラー画像の符号化歪などを評価し最適化することで矩形領域の大きさや分割数を決定することにより、より高品質な３Ｄデータを生成することができる。
【００３８】
〔３Ｄデータ再生装置〕
次に、本発明の実施形態１に係る３Ｄデータ再生装置について、図面を参照しながら説明する。
【００３９】
図８は、本発明の実施形態１に係る３Ｄデータ再生装置の構成を示す機能ブロック図である。３Ｄデータ再生装置２は、分離部２６、デプス画像復号部２２、デプス画像再構成部２１、付加情報復号部２３、カラー画像復号部２５、カラー画像再構成部２４、３Ｄモデル生成部２７、再生画像合成部２８、再生視点入力部２９１、及び再生対象選択部２９２から構成される。
【００４０】
分離部２６は、入力された３Ｄデータに含まれるデプス画像符号化データ、カラー画像符号化データ、付加情報符号化データを分離し、それぞれ、デプス画像復号部２２、カラー画像復号部２５、付加情報復号部２３に出力する。
【００４１】
デプス画像復号部２２は、分離部２６から入力されたＨＥＶＣ符号化されたデプス画像符号化データを復号する。例えば、図６（ａ）で示した統合デプス画像が復号される。
【００４２】
デプス画像再構成部２１は、デプス画像復号部２２で復号した統合デプス画像に含まれる複数の部分デプス画像から、付加情報復号部２３より入力される付加情報（分割情報、パッキング情報）に基づき、所望の部分デプス画像を抽出（デパッキング）、結合することによって、デプス画像を再構成する。
【００４３】
カラー画像復号部２５は、分離部２６から入力されたＨＥＶＣ符号化されたカラー画像符号化データを復号する。例えば、図６（ｂ）で示した統合カラー画像が復号される。
【００４４】
カラー画像再構成部２４は、カラー画像復号部２５で復号した統合カラー画像に含まれる複数のカラー画像から、付加情報復号部２３より入力される付加情報（分割情報、パッキング情報）に基づき、所望の部分カラー画像を抽出することによって、カラー画像を再構成する。
【００４５】
付加情報復号部２３は、分離部２６から入力された付加情報符号化データから、デプス画像、及びカラー画像を再構成するために必要な付加情報（分割情報、パッキング情報）を復号する。
【００４６】
３Ｄモデル生成部２７は、デプス画像再構成部２１より入力された複数のデプス画像に基づき３Ｄモデルを生成する。３Ｄモデルとは、撮影対象の３次元形状を表すモデルであり、一形態としてメッシュ表現のモデルが挙げられる。
【００４７】
再生画像合成部２８は、３Ｄモデル生成部２７で生成した３Ｄモデル、カラー画像再構成部で再構成したカラー画像、及びユーザにより入力された再生視点情報（３次元空間上の位置、方向等）に基づき、再生視点における再生画像を合成する。
【００４８】
再生視点入力部２９１は、ユーザにより３次元空間上の再生視点（位置及び方向）を入力する入力部である。
【００４９】
再生対象選択部２９２は、ユーザにより複数の再生対象から所望の再生対象を選択する選択部である。
【００５０】
図９（ａ）は、本発明の実施形態１に係るデプス画像再構成部２１の内部構成を示す機能ブロック図である。デプス画像再構成部２１は、デプス抽出部２１１、及びデプス結合部２１３から構成される。
【００５１】
デプス抽出部２１１は、付加情報復号部２３から入力されるパッキング情報に基づき、統合デプス画像に含まれる複数の部分デプス画像から、所望の部分デプス画像を抽出（デパッキング）する。例えば、再生対象選択部２９２より再生対象として撮影対象ａ、及び撮影対象ｂが選択された場合、図５に示した部分デプス画像Ｇ１ａ、Ｇ２ａ、Ｇ３ａ、Ｇ１ｂ、Ｇ２ｂ、Ｇ３ｂが抽出され、デプス結合部２１３に出力される。あるいは、撮影対象ｂのみが選択された場合、部分デプス画像Ｇ１ｂ、Ｇ２ｂ、Ｇ３ｂが抽出され、デプス結合部に出力される。
【００５２】
デプス結合部２１３は、付加情報復号部２３から入力される分割情報に基づき、複数の部分デプス画像から、同一の視点の部分デプス画像を結合することによってデプス画像を再構成し、３Ｄモデル生成部２７に出力する。例えば、図４（ａ）に示したデプス画像Ｇ１、Ｇ２、Ｇ３が３Ｄモデル生成部２７に出力される。
【００５３】
図９（ｂ）は、本発明の実施形態１に係るカラー画像再構成部２４の内部構成を示す機能ブロック図である。カラー画像再構成部２４は、カラー抽出部２４１、及びカラー結合部２４３から構成される。
【００５４】
カラー抽出部２４１は、付加情報復号部２３から入力されるパッキング情報に基づき、統合カラー画像に含まれる複数の部分カラー画像から、所望の部分カラー画像を抽出（出パッキング）する。例えば、再生対象選択部２９２より再生対象として撮影対象ａ、及び撮影対象ｂが選択された場合、図７に示した部分カラー画像Ｔ１ａ、Ｔ２ａ、Ｔ３ａ、Ｔ１ｂ、Ｔ２ｂ、Ｔ３ｂが抽出され、カラー結合部４１３に出力される。あるいは、撮影対象ｂのみが選択された場合、部分カラー画像Ｔ１ｂ、Ｔ２ｂ、Ｔ３ｂが抽出され、カラー結合部に出力される。
【００５５】
カラー結合部２４３は、付加情報復号部２３から入力される分割情報に基づき、複数の部分カラー画像から、同一の視点の部分カラー画像を結合することによってカラー画像を再構成し、再生画像合成部２８に出力する。例えば、図４（ｂ）に示したカラー画像Ｔ１、Ｔ２、Ｔ３が再生画像合成部２８に出力される。
【００５６】
＜実施形態２＞
〔３Ｄデータ生成装置〕
まず、本発明の実施形態２に係る３Ｄデータ生成装置について、図面を参照しながら説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【００５７】
図１０は、本発明の実施形態２に係る３Ｄデータ生成装置の構成を示す機能ブロック図である。３Ｄデータ生成装置３は、デプス画像取得部１７、統合デプス画像生成部３１、デプス画像符号化部１２、カラー画像取得部１８、統合カラー画像生成部１４、付加情報符号化部３３、及び多重化部１６から構成される。
【００５８】
統合デプス画像生成部３１は、デプス画像取得部１７から出力された複数のデプス画像を分割、量子化、統合（パッキング）することによって、単一の統合デプス画像を生成する。
【００５９】
付加情報符号化部３３は、統合デプス画像生成部３１において生成した統合デプス画像から、もとのデプス画像を再構成するために必要な付加情報、及び統合カラー画像生成部１４において生成した統合カラー画像から、もとのカラー画像を再構成するために必要な付加情報を符号化し、付加情報符号化データを出力する。付加情報の詳細については後述する。
【００６０】
図１１は、本発明の実施形態２に係る統合デプス画像生成部３１の内部構成を示す機能ブロック図である。統合デプス画像生成部３１は、デプス分割部１１１、デプス量子化部３１２、及びデプス統合部１１３から構成される。
【００６１】
デプス量子化部３１２は、分割された部分デプス画像のダイナミックレンジが所定の閾値（例えば600mm）より大きい場合など、量子化の際の解像度が不十分な場合、ダイナミ
ックレンジに応じて、一部の部分デプス画像を所定のビット深度（例えば、１２ビット）で再度量子化して出力する。図５に示した部分デプス画像Ｇ１ａ、Ｇ２ａ、Ｇ３ａのデプスの値域は1000ｍｍ〜2000ｍｍであり、当該範囲を再度１２ビットで線形量子化する。また、部分デプス画像Ｇ１ｂ、Ｇ２ｂ、Ｇ３ｂのデプスの値域は2000ｍｍ〜2500ｍｍであり、入力された部分デプス画像をそのまま出力する。デプス量子化部３１２は、量子化した部分デプス画像のデプスの値域の最小値、及び最大値をダイナミックレンジ情報として出力する。例えば、部分デプス画像Ｇ１ａ、Ｇ２ａ、Ｇ３ａのダイナミックレンジ情報として、以下を出力する。
〔Ｇ１ａのダイナミックレンジ情報〕
・デプスの最小値：1000ｍｍ
・デプスの最大値：2000ｍｍ
〔Ｇ２ａのダイナミックレンジ情報〕
・デプスの最小値：1000ｍｍ
・デプスの最大値：2000ｍｍ
〔Ｇ３ａのダイナミックレンジ情報〕
・デプスの最小値：1000ｍｍ
・デプスの最大値：2000ｍｍ
上述の構成とすることで、分割のみでは解像度が不十分であった部分デプス画像に対して、量子化の際の解像度を向上させることができる。その結果、撮影対象の大きさや動きによってデプスのダイナミックレンジが広い場合であっても解像度不足を解消することができる。例えば、0ｍｍ〜25000ｍｍの範囲を１２ビットで量子化する場合、解像度は約6.1ｍｍ(=25000/2^12)であるのに対して、1000ｍｍ〜2000ｍｍの範囲を１２ビットで量子化する場合、解像度は約0.24ｍｍ(=(2000-1000)/2^12)となる。その結果、再生側では、より高精細な３Ｄモデルを生成することができる。
【００６２】
〔３Ｄデータ再生装置〕
次に、本発明の実施形態２に係る３Ｄデータ再生装置について、図面を参照しながら説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【００６３】
図１２は、本発明の実施形態２に係る３Ｄデータ再生装置の構成を示す機能ブロック図である。３Ｄデータ再生装置２は、分離部２６、デプス画像復号部２２、デプス画像再構成部４１、付加情報復号部４３、カラー画像復号部２５、カラー画像再構成部２４、３Ｄモデル生成部２７、再生画像合成部２８、再生視点入力部２９１、及び再生対象選択部２９２から構成される。
【００６４】
デプス画像再構成部４１は、デプス画像復号部２２で復号した統合デプス画像に含まれる複数の部分デプス画像から、所望の部分デプス画像を抽出（デパッキング）、逆量子化、結合することによって、デプス画像を再構成する。
【００６５】
付加情報復号部４３は、分離部２６から入力された付加情報符号化データから、デプス画像、及びカラー画像を再構成するために必要な付加情報（分割情報、パッキング情報、ダイナミックレンジ情報）を復号する。
【００６６】
図１３は、本発明の実施形態２に係るデプス画像再構成部４１の内部構成を示す機能ブロック図である。デプス画像再構成部４１は、デプス抽出部２１１、デプス逆量子化部４１２、及びデプス結合部２１３から構成される。
【００６７】
デプス逆量子化部４１２は、抽出した部分デプス画像に対応するダイナミックレンジ情報が存在する場合、該ダイナミックレンジ情報に基づき、部分デプス画像を逆量子化して出力する。そうでない場合、入力された部分デプス画像をそのまま出力する。
【００６８】
上述の構成とすることで、分割のみでは解像度が不十分であった部分デプス画像に対して、量子化の際の解像度を向上させることができる。その結果、デプス画像の符号化における量子化誤差を低減することができ、より高精細な３Ｄモデルを生成することができる。
【００６９】
＜実施形態３＞
〔３Ｄデータ生成装置〕
まず、本発明の実施形態３に係る３Ｄデータ生成装置について、図面を参照しながら説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【００７０】
図１４は、本発明の実施形態３に係る３Ｄデータ生成装置の構成を示す機能ブロック図である。３Ｄデータ生成装置５は、デプス画像取得部１７、統合デプス画像生成部５１、デプス画像符号化部１２、カラー画像取得部１８、統合カラー画像生成部５４、カラー画像符号化部１５、付加情報符号化部１３、多重化部１６、デプス画像フィルタ部５２、カラー画像フィルタ部５３、及び再生対象受付部５５から構成される。
【００７１】
統合デプス画像生成部５１は、デプス画像取得部１７から出力された複数のデプス画像を分割し、特定の撮影対象の部分デプス画像、または特定の撮影方向の部分デプス画像が所定の符号化単位（例えば、ＨＥＶＣのタイル）に収まるように統合（パッキング）することによって、単一の統合デプス画像を生成する。
【００７２】
統合カラー画像生成部５４では、統合デプス画像生成部５１で出力される分割情報、及びパッキング情報にしたがって、統合デプス画像生成部５１と同様に、カラー画像取得部１８から出力された複数のカラー画像を分割し、特定の撮影対象の部分カラー画像、または特定の撮影方向の部分カラー画像が所定の符号化単位（例えば、ＨＥＶＣのタイル）に収まるように統合（パッキング）することによって、単一の統合カラー画像を生成する。
【００７３】
デプス画像フィルタ部５２は、デプス画像符号化部１２より出力される符号化データのうち、再生対象受付部５５で指定される再生対象（撮影対象、撮影方向等）を含むタイルを出力する。再生対象が指定されない場合、すべてのタイルを出力する。
【００７４】
カラー画像フィルタ部５３は、カラー画像符号化部１５より出力される符号化データのうち、再生対象受付部５５で指定される再生対象（撮影対象、撮影方向等）を含むタイルを出力する。再生対象が指定されない場合、すべてのタイルを出力する。
【００７５】
再生対象受付部５５は、ユーザによる再生対象の要求（例えば、撮影対象＝ａ、撮影対象＝ｂ、撮影方向＝前方、撮影方向＝後方、等）を受け付ける。
【００７６】
図１５（ａ）は、本発明の実施形態３に係る統合デプス画像生成部５１の内部構成を示す機能ブロック図である。統合デプス画像生成部５１は、デプス分割部１１１、及びデプス統合部５１３から構成される。
【００７７】
デプス統合部５１３は、特定の撮影対象の部分デプス画像、または特定の撮影方向の部分デプス画像が同一のタイルに収まるように統合（パッキング）することによって、単一の統合デプス画像を生成する。また、デプス統合部５１３は、実施形態１におけるパッキング情報に加えて、各タイルに含まれる部分デプス画像の撮影対象または撮影方向の識別子をパッキング情報として出力する。
【００７８】
図１５（ｂ）は、本発明の実施形態３に係る統合カラー画像生成部５４の内部構成を示す機能ブロック図である。統合カラー画像生成部５４は、カラー分割部１４１、及びカラー統合部５４３から構成される。
【００７９】
カラー統合部５４３は、統合デプス画像生成部５１より入力されるパッキング情報にしたがって、特定の撮影対象の部分カラー画像、または特定の撮影方向の部分カラー画像が同一のタイルに収まるように統合（パッキング）することによって、単一の統合カラー画像を生成する。
【００８０】
図１６は、本発明の実施形態３に係るデプス画像、及びカラー画像の取得例を示した図である。撮影対象ａ、及び撮影対象ｂに対して、５台のカメラＣ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５が配置され、各カメラがデプス画像、及びカラー画像を撮影する様子を示している。
【００８１】
図１７（ａ）は、本発明の実施形態３に係るデプス画像のパッキングの例を示した図である。本例では、統合デプス画像は、撮影対象に応じて２つのタイルに分けて符号化される。タイル１にはカメラＣ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５で撮影された撮影対象ａの部分デプス画像Ｇ１ａ、Ｇ２ａ、Ｇ３ａ、Ｇ４ａ、及びＧ５ａがパッキングされ、タイル２にはカメラＣ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５で撮影された撮影対象ｂの部分デプス画像Ｇ１ｂ、Ｇ２ｂ、Ｇ３ｂ、Ｇ４ｂ、及びＧ５ｂがパッキングされ、単一の統合デプス画像が出力される。また、デプス統合部５１３は、以下のパッキング情報を出力する。
〔パッキング情報〕
・タイル１に含まれる部分デプス画像：撮影対象＝ａ
・タイル２に含まれる部分デプス画像：撮影対象＝ｂ
統合デプス画像における各部分デプス画像の背景領域については、形状情報に基づき符号化制御を行う。形状情報とは、統合デプス画像の各画素がオブジェクト（撮影対象）に属するか否かを示した情報であり、例えば、オブジェクトに属する画素の場合“１”、オブジェクトに属さない画素の場合“０”を割り当てる。符号化処理では、例えば、ＣＴＵ（符号化ツリーユニット）内の全ての画素がオブジェクトに属さない場合や、ＣＴＵ内の一部の画素がオブジェクトに属さない場合は、オブジェクトに属さない領域をオブジェクトのエッジの画素値や所定の画素値で水平方向または垂直方向にパディングしてから符号化する、などの処理を行う。デプス結合部５１３は、上記形状情報をパッキング情報として出力する。
【００８２】
図１７（ｂ）は、本発明の実施形態３に係るカラー画像のパッキングの例を示した図である。統合デプス画像と同様に、タイル１には撮影対象ａの部分カラー画像Ｔ１ａ、Ｔ２ａ、Ｔ３ａ、Ｔ４ａ、及びＴ５ａがパッキングされ、タイル２には撮影対象ｂの部分カラー画像Ｔ１ｂ、Ｔ２ｂ、Ｔ３ｂ、Ｔ４ｂ、及びＴ５ｂがパッキングされ、単一の統合カラー画像が出力される。
【００８３】
統合カラー画像における各部分カラー画像の背景領域については、統合デプス画像生成部１１より入力されるパッキング情報（形状情報）に基づき符号化制御を行う。例えば、ＣＴＵ内の全ての画素がオブジェクトに属さない場合や、ＣＴＵ内の一部の画素がオブジェクトに属さない場合は、オブジェクトに属さない領域をオブジェクトのエッジの画素値や所定の画素値で水平方向または垂直方向にパディングしてから符号化する、などの処理を行う。
【００８４】
図１８（ａ）は、本発明の実施形態３に係るデプス画像の他のパッキングの例を示した図である。本例では、統合デプス画像は、撮影方向に応じて２つのタイルに分けて符号化される。タイル１にはカメラＣ１、Ｃ２、及びＣ３によって前方から撮影された部分デプス画像Ｇ１ａ、Ｇ２ａ、Ｇ３ａ、Ｇ１ｂ、Ｇ２ｂ、及びＧ３ｂがパッキングされ、タイル２にはカメラＣ４、及びＣ５によって後方から撮影された部分デプス画像Ｇ４ａ、Ｇ５ａ、Ｇ４ｂ、及びＧ５ｂがパッキングされ、単一の統合デプス画像が出力される。また、デプス統合部５１３は、以下のパッキング情報を出力する。
〔パッキング情報〕
・タイル１に含まれる部分デプス画像：撮影方向＝前方
・タイル２に含まれる部分デプス画像：撮影方向＝後方
図１８（ｂ）は、本発明の実施形態３に係るカラー画像の他のパッキングの例を示した図である。統合デプス画像と同様に、タイル１には前方から撮影された部分カラー画像Ｔ１ａ、Ｔ２ａ、Ｔ３ａ、Ｔ１ｂ、Ｔ２ｂ、及びＴ３ｂがパッキングされ、タイル２には後方から撮影された部分カラー画像Ｔ４ａ、Ｔ５ａ、Ｔ４ｂ、及びＴ５ｂがパッキングされ、単一の統合カラー画像が出力される。
【００８５】
上述の構成とすることで、部分デプス画像を構成する各ＣＴＵにおけるデプス値のダイナミックレンジを小さくすることができ、量子化の際の解像度を向上させることができる。その結果、撮影対象の大きさや動きによってデプスのダイナミックレンジが広い場合であっても解像度不足を解消することができる。さらに、ユーザが特定の撮影対象または撮影方向のみを再生したい場合、対応する撮影対象または撮影方向の部分デプス画像を含むタイルのみを伝送することで、モバイル環境などの限られたネットワーク帯域においても、再生に必要な３Ｄデータを効率的に伝送することができる。再生側では、一部のタイルのみを復号すればよいので、復号に要する処理量を軽減することができる。さらに、３Ｄモデルの生成に用いるデプス画像が限定されるため、３Ｄモデルの生成に要する処理量を軽減することができる。
【００８６】
なお、上記では符号化単位をＨＥＶＣタイルとしたが、ＨＥＶＣスライスなどの他の符号化単位であっても同様の効果を奏する。
【００８７】
〔３Ｄデータ再生装置〕
次に、本発明の実施形態３に係る３Ｄデータ再生装置について、図面を参照しながら説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【００８８】
図１９は、本発明の実施形態３に係る３Ｄデータ再生装置の構成を示す機能ブロック図である。３Ｄデータ再生装置６は、分離部２６、デプス画像復号部２２、デプス画像再構成部２１、付加情報復号部２３、カラー画像復号部２５、カラー画像再構成部２４、３Ｄモデル生成部２７、再生画像合成部２８、再生視点入力部２９１、再生対象選択部２９２、デプス画像フィルタ部６２、及びカラー画像フィルタ部６３から構成される。
【００８９】
デプス画像フィルタ部６２は、分離部２６より出力される符号化データのうち、再生対象選択部２９２で指定される再生対象（撮影対象または撮影方向）に対応する部分デプス画像を含むタイルを出力する。例えば、撮影対象としてａが指定された場合、図１７（ａ）のタイル１を出力する。あるいは、撮影方向として後方が指定された場合、図１８（ａ）のタイル２が出力される。再生対象が指定されない場合、すべてのタイルが出力される。
【００９０】
ここで、統合デプス画像におけるタイル１とタイル２が同一のスライスに格納されている場合の一部のタイルの復号方法について説明する。
ステップ１：再生対象選択部は、パッキング情報を参照し、指定された再生対象のタイル番号Ｋ(Ｋ＝１またはＫ＝２)を取得する。
ステップ２：デプス画像フィルタ部は、スライスヘッダのentry_point_offset_minus1シンタックス要素を復号し、タイル１の符号化データのバイト長Ｎを取得する。
ステップ３：Ｋ＝１の場合、デプス画像フィルタ部はスライスヘッダとスライスデータのＮバイトまでのデータを出力する。Ｋ＝２の場合、デプス画像フィルタ部は、スライスヘッダとスライスデータのＮ＋１バイト以降のデータを出力する。
ステップ４：デプス画像復号部は、タイルＫのスライスデータを復号する。
【００９１】
カラー画像フィルタ部６３は、分離部２６より出力される符号化データのうち、再生対象選択部２９２で指定される再生対象（撮影対象または撮影方向）に対応する部分カラー画像を含むタイルを出力する。例えば、撮影対象としてａが指定された場合、図１７（ｂ）のタイル１を出力する。あるいは、撮影方向として後方が指定された場合、図１８（ｂ）のタイル２が出力される。再生対象が指定されない場合、すべてのタイルが出力される。
【００９２】
同様に、統合カラー画像におけるタイル１とタイル２が同一のスライスに格納されている場合の一部のタイルの復号方法について説明する。
ステップ１：再生対象選択部は、パッキング情報を参照し、指定された再生対象のタイル番号Ｋ(Ｋ＝１またはＫ＝２)を取得する。
ステップ２：カラー画像フィルタ部は、スライスヘッダのentry_point_offset_minus1シンタックス要素を復号し、タイル１の符号化データのバイト長Ｎを取得する。
ステップ３：Ｋ＝１の場合、カラー画像フィルタ部はスライスヘッダとスライスデータのＮバイトまでのデータを出力する。Ｋ＝２の場合、カラー画像フィルタ部は、スライスヘッダとスライスデータのＮ＋１バイト以降のデータを出力する。
ステップ４：カラー画像復号部は、タイルＫのスライスデータを復号する。
【００９３】
上述の構成とすることで、処理能力の高い再生端末では、すべてのタイルを復号し全体の３Ｄモデルを生成することで全ての撮影対象または撮影方向を再生可能にし、処理能力の低い再生端末では、一部のタイルのみを復号し一部の３Ｄモデルを生成することで特定の撮影対象または撮影方向のみを再生可能にするなどの、端末の処理能力に応じた再生対象の制御を容易に行うことができる。
【００９４】
〔ソフトウェアによる実現例〕
３Ｄデータ生成装置１の制御ブロック（例えば、統合デプス画像生成部１１、統合カラー画像生成部１４）及び３Ｄデータ再生装置２の制御ブロック（例えば、デプス画像再構成部２１、カラー画像再構成部２４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００９５】
後者の場合、３Ｄデータ生成装置１及び３Ｄデータ再生装置２は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００９６】
〔まとめ〕
本発明の態様１に係る３Ｄデータ生成装置は、１または複数の撮影対象の３次元形状を示すデプス画像を入力し３Ｄデータを生成する３Ｄデータ生成装置であって、上記デプス画像を矩形領域から構成される複数の部分デプス画像に分割するデプス分割部と、上記複数の部分デプス画像をパッキングし統合デプス画像を生成するデプス統合部と、上記統合デプス画像を符号化するデプス画像符号化部と、上記矩形領域を特定する分割情報及び上記パッキングを示す情報を含む付加情報を符号化する付加情報符号化部と、を備えている。
本発明の態様２に係る３Ｄデータ生成装置は、上記付加情報は、上記部分デプス画像におけるデプス値のダイナミックレンジを示す情報をさらに含み、上記複数の部分デプス画像を上記ダイナミックレンジに基づき量子化するデプス量子化部をさらに備える。
【００９７】
本発明の態様３に係る３Ｄデータ生成装置は、上記デプス統合部は、撮影対象が同一である部分デプス画像を同一の符号化単位にパッキングする。
【００９８】
本発明の態様４に係る３Ｄデータ生成装置は、上記デプス統合部は、撮影方向が同一である部分デプス画像を同一の符号化単位にパッキングする。
【００９９】
本発明の態様５に係る３Ｄデータ再生装置は、３Ｄデータを入力し１または複数の撮影対象の３次元形状を再生する３Ｄデータ再生装置であって、上記３Ｄデータに含まれる統合デプス画像を復号するデプス画像復号部と、上記統合デプス画像に含まれる矩形領域から構成される複数の部分デプス画像のパッキングを示す情報及び上記矩形領域を特定する分割情報を含む付加情報を復号する付加情報復号部と、上記復号した統合デプス画像から上記パッキングを示す情報に基づき部分デプス画像を抽出するデプス抽出部と、上記分割情報に基づき上記複数の部分デプス画像を結合し、デプス画像を再構成するデプス結合部と、を備えている。
【０１００】
本発明の態様６に係る３Ｄデータ再生装置は、上記付加情報は、上記部分デプス画像におけるデプス値のダイナミックレンジを示す情報をさらに含み、上記複数の部分デプス画像を上記ダイナミックレンジに基づき逆量子化するデプス逆量子化部をさらに備える。
【０１０１】
本発明の態様７に係る３Ｄデータ再生装置は、撮影対象が同一である上記部分デプス画像は、上記３Ｄデータにおける同一の符号化単位に符号化されている。
【０１０２】
本発明の態様８に係る３Ｄデータ再生装置は、撮影方向が同一である上記部分デプス画像は、上記３Ｄデータにおける同一の符号化単位に符号化されている。
【０１０３】
本発明の各態様に係る３Ｄデータ生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記３Ｄデータ生成装置が備える各部（ソフトウェア要素）として動作させることにより上記３Ｄデータ生成装置をコンピュータにて実現させる３Ｄデータ生成装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１０４】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
（関連出願の相互参照）
本出願は、２０１８年９月２８日に出願された日本国特許出願：特願２０１８−１８３９０３に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
【符号の説明】
【０１０５】
１  ３Ｄデータ生成装置
１１  統合デプス画像生成部
１１１  デプス分割部
１１３  デプス統合部
１２  デプス画像符号化部
１３  付加情報符号化部
１４  統合カラー画像生成部
１５  カラー画像符号化部
１６  多重化部
１７  デプス画像取得部
１８  カラー画像取得部
２  ３Ｄデータ再生装置
２１  デプス画像再構成部
２１１  デプス抽出部
２１３  デプス結合部
２２  デプス画像復号部
２３  付加情報復号部
２４  カラー画像再構成部
２５  カラー画像復号部
２６  分離部
２７  ３Ｄモデル生成部
２８  再生画像合成部
２９１  再生視点入力部
２９２  再生対象選択部
３  ３Ｄデータ生成装置
３１  統合デプス画像生成部
３３  付加情報符号化部
３１２  デプス量子化部
４  ３Ｄデータ再生装置
４１  デプス画像再構成部
４３  付加情報復号部
４１３  デプス逆量子化部
５  ３Ｄデータ生成装置
５１  統合デプス画像生成部
５１３  デプス統合部
５４  統合カラー画像生成部
５４３  カラー統合部
５２  デプス画像フィルタ部
５３  カラー画像フィルタ部
６  ３Ｄデータ再生装置
６２  デプス画像フィルタ部
６３  カラー画像フィルタ部
【図１】
2020067441.tif 000003
【図２】
2020067441.tif 000004
【図３】
2020067441.tif 000005
【図４】
2020067441.tif 000006
【図５】
2020067441.tif 000007
【図６】
2020067441.tif 000008
【図７】
2020067441.tif 000009
【図８】
2020067441.tif 000010
【図９】
2020067441.tif 000011
【図１０】
2020067441.tif 000012
【図１１】
2020067441.tif 000013
【図１２】
2020067441.tif 000014
【図１３】
2020067441.tif 000015
【図１４】
2020067441.tif 000016
【図１５】
2020067441.tif 000017
【図１６】
2020067441.tif 000018
【図１７】
2020067441.tif 000019
【図１８】
2020067441.tif 000020
【図１９】
2020067441.tif 000021
【国際調査報告】
2020067441.tif 000022
2020067441.tif 000023