(57)【要約】  ３Ｄモデルの形状と実際の撮影対象の形状との乖離を抑制する技術を提供することにある。画像処理装置（２）は、撮影対象の３次元形状を示す入力デプスを取得する取得部（７）と、上記取得部が取得した上記入力デプスの一部に基づいた基礎モデルを生成する基礎モデル生成部（９）と、上記入力デプス及び上記基礎モデルを参照して、上記撮影対象の詳細モデルを生成する詳細モデル生成部（１０）と、を備えている。
2019167760.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象の３次元形状を示す入力デプスを取得する取得部と、
上記取得部が取得した上記入力デプスの一部に基づいた基礎モデルを生成する基礎モデル生成部と、
上記入力デプス及び上記基礎モデルを参照して、上記撮影対象の詳細モデルを生成する詳細モデル生成部と、を備えていることを特徴とする、画像処理装置。
【請求項２】
上記取得部が取得した上記入力デプスのうちから選択デプスを選択するデプス選択部をさらに備え、
上記基礎モデル生成部は、上記選択デプスを参照して、上記基礎モデルを生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
上記デプス選択部は、
上記入力デプスをセグメント化するセグメンテーション部と、
上記セグメンテーション部がセグメント化した上記入力デプスから、上記撮影対象に対応する入力デプスを上記選択デプスとして抽出する選択デプス抽出部と、を備えていることを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
上記デプス選択部は、
上記入力デプスの局所特徴量を算出する局所特徴量算出部と、
上記局所特徴量を参照して、上記入力デプスのうちから上記選択デプスを抽出する選択デプス抽出部と、を備えていることを特徴とする、請求項２に記載の画像処理装置。
【請求項５】
上記基礎モデル生成部は、
上記選択デプスと生成済みの基礎モデルとの変形パラメータを推定する変形パラメータ推定部と、
上記変形パラメータを用いて生成済みの基礎モデルを変形することにより、上記基礎モデルを更新する基礎モデル変形部と、を備えていることを特徴とする、請求項２〜４の何れか１項に記載の画像処理装置。
【請求項６】
上記基礎モデル生成部は、
上記選択デプスと生成済みの基礎モデルとの変形パラメータを推定する変形パラメータ推定部と、
上記選択デプスを、上記変形パラメータを用いて変形し、当該選択デプスを参照して、参照基礎モデルを生成する参照基礎モデル生成部と、
上記変形パラメータを用いて上記参照基礎モデルを変形することにより、上記基礎モデルを更新する参照基礎モデル変形部と、を備えていることを特徴とする、請求項２〜４の何れか１項に記載の画像処理装置。
【請求項７】
上記詳細モデル生成部は、
上記基礎モデルと生成済みの詳細モデルとの基礎変形パラメータを推定する基礎変形パラメータ推定部と、
上記基礎変形パラメータを初期値とした、上記入力デプスに対応する詳細モデルと生成済みの詳細モデルとの詳細モデル変形パラメータを推定する詳細モデル変形パラメータ推定部と、
上記詳細モデル変形パラメータを用いて生成済みの詳細モデルを変形することにより、上記詳細モデルを更新する詳細モデル変形部と、を備えていることを特徴とする、請求項２〜６の何れか１項に記載の画像処理装置。
【請求項８】
上記取得部が取得した上記入力デプスから構成されるフレームのうちから、選択フレームを選択するフレーム選択部をさらに備え、
上記基礎モデル生成部は、上記選択フレームが含む選択デプスを参照して、上記基礎モデルを生成することを特徴とする、請求項１に記載の画像処理装置。
【請求項９】
上記フレーム選択部は、
上記入力デプスのフレーム特徴量を算出するフレーム特徴量算出部と、
上記フレーム特徴量を参照して、上記入力デプスから構成されるフレームのうちから、上記選択フレームを抽出するフレーム抽出部と、を備えていることを特徴とする、請求項８に記載の画像処理装置。
【請求項１０】
上記フレーム選択部は、
上記入力デプスを参照して、上記撮影対象を撮影したカメラのカメラポーズを推定するカメラポーズ推定部と、
上記カメラポーズを参照して、上記入力デプスから構成されるフレームのうちから、上記選択フレームを抽出するフレーム抽出部と、を備えていることを特徴とする、請求項８に記載の画像処理装置。
【請求項１１】
上記基礎モデルのうちから参照部分を選択する部分選択部と、
上記参照部分を参照して、参照基礎モデルを生成する参照基礎モデル生成部と、をさらに備え、
上記基礎モデル生成部は、上記参照基礎モデルを参照して、上記基礎モデルを更新することを特徴とする、請求項１に記載の画像処理装置。
【請求項１２】
請求項１〜１１の何れか１項に記載の画像処理装置と、
上記詳細モデルを参照して、再生視点からの上記撮影対象を示す再生視点画像を合成する合成部と、
上記再生視点画像を表示する表示部と、を備えていることを特徴とする、表示装置。
【請求項１３】
撮影対象の３次元形状を示す入力デプスを取得する取得工程と、
上記取得工程で取得した上記入力デプスの一部に基づいた基礎モデルを生成する基礎モデル生成工程と、
上記入力デプス及び上記基礎モデルを参照して、上記撮影対象の詳細モデルを生成する詳細モデル生成工程と、を含むことを特徴とする、画像処理方法。
【請求項１４】
請求項１に記載の画像処理装置としてコンピュータを機能させるための制御プログラムであって、上記取得部、上記基礎モデル生成部及び上記詳細モデル生成部としてコンピュータを機能させるための制御プログラム。
【請求項１５】
請求項１４に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、撮影対象の３次元形状を示すデプスを参照して３次元モデルを生成する画像処理装置に関する。
【背景技術】
【０００２】
ＣＧの分野では、入力デプスを統合することで３Ｄモデル（３次元モデル）を構築するDynamicFusionという手法が検討されている。DynamicFusionの目的は、主に、撮影した入力デプスからリアルタイムでノイズ除去した３Ｄモデルを構築することである。DynamicFusionでは、センサから取得される入力デプスを、３次元形状の変形を補償した上で共通の参照３Ｄモデルに統合する。これにより、低解像度及び高ノイズのデプスから精密な３Ｄモデルの生成が可能となる。【０００３】
より詳細には、DynamicFusionでは、以下の（１）〜（３）の工程を行う。
（１）入力デプス（current depth）と参照３Ｄモデル（canonical model）とに基づいてカメラポーズ（カメラ位置等）と変形パラメータ（動きフロー等）とを推定する。
（２）参照３Ｄモデルを変形パラメータで変形して、ライブ３Ｄモデルを生成する。
（３）カメラポーズ及び変形パラメータを参照して入力デプスを参照３Ｄモデルの適切な位置に統合して参照３Ｄモデルを更新する。【０００４】
以上のようなDynamicFusionの手法が記載された文献の例として、非特許文献１が挙げられる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Richard A. Newcombe et al.「DynamicFusion: Reconstruction and tracking of non-rigid scenes in real-time」IEEE Conference on Computer Vision and Pattern Recognition (CVPR)、2015年6月7日
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のDynamicFusionでは、各時刻の入力デプスと、過去の参照３Ｄモデルとに基づき、参照３Ｄモデルを構築する。しかし、そのような構成において、変形パラメータの推定誤り、入力デプスのノイズ、又は参照３Ｄモデルの補修処理等により、一度、参照３Ｄモデルの形状が実際の撮影対象の形状と乖離した場合、後続の参照３Ｄモデルの品質が低下してしまい、その結果、出力３Ｄモデルの品質が低下してしまうという問題がある。【０００７】
本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、３Ｄモデルの形状と実際の撮影対象の形状との乖離を抑制する技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、撮影対象の３次元形状を示す入力デプスを取得する取得部と、上記取得部が取得した上記入力デプスの一部に基づいた基礎モデルを生成する基礎モデル生成部と、上記入力デプス及び上記基礎モデルを参照して、上記撮影対象の詳細モデルを生成する詳細モデル生成部と、を備えている。【０００９】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、撮影対象の３次元形状を示す入力デプスを取得する取得工程と、上記取得工程で取得した上記入力デプスの一部に基づいた基礎モデルを生成する基礎モデル生成工程と、上記入力デプス及び上記基礎モデルを参照して、上記撮影対象の詳細モデルを生成する詳細モデル生成工程と、を含む。
【発明の効果】
【００１０】
本発明の一態様によれば、３Ｄモデルの形状と実際の撮影対象の形状との乖離を抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１の概要を説明するための概略図である。
【図２】本発明の実施形態１に係る表示装置の構成を示すブロック図である。
【図３】本発明の実施形態１に係る画像処理装置による画像処理方法の一例を説明するフローチャート図である。
【図４】本発明の実施形態１の具体例に係るデプス領域選択部の構成を示すブロック図である。
【図５】本発明の実施形態１の具体例に係るデプス領域選択部による、選択デプスを選択する方法を説明するフローチャート図である。
【図６】本発明の実施形態１の変形例に係るデプス領域選択部の構成を示すブロック図である。
【図７】本発明の実施形態１の変形例に係るデプス領域選択部による、選択デプスを選択する方法を説明するフローチャート図である。
【図８】本発明の実施形態１の具体例に係る基礎モデル生成部の構成を示すブロック図である。
【図９】本発明の実施形態１の具体例に係る基礎モデル生成部による、基礎モデルを生成する方法を説明するフローチャート図である。
【図１０】本発明の実施形態１の変形例に係る基礎モデル生成部の構成を示すブロック図である。
【図１１】本発明の実施形態１の具体例に係る基礎モデルによる、基礎モデルを生成する方法を説明するフローチャート図である。
【図１２】本発明の実施形態１の具体例又は変形例に係る基礎モデル変形推定部が変形パラメータを推定する方法の概要を説明するための概略図である。
【図１３】本発明の実施形態１の具体例又は変形例に係る基礎モデル変形推定部が変形パラメータを推定する方法を説明するフローチャート図である。
【図１４】本発明の実施形態１の具体例に係る詳細モデル生成部の構成を示すブロック図である。
【図１５】本発明の実施形態１の具体例に係る詳細モデル生成部による、詳細モデルを生成する方法を説明するフローチャート図である。
【図１６】本発明の実施形態１の具体例に係る基礎変形推定部が基礎変形パラメータを推定する方法と、詳細モデル変形推定部が変形パラメータを推定する方法との概要を説明するための概略図である。
【図１７】本発明の実施形態２の概要を説明するための概略図である。
【図１８】本発明の実施形態２に係る表示装置の構成を示すブロック図である。
【図１９】本発明の実施形態２に係る画像処理装置による画像処理方法の一例を説明するフローチャート図である。
【図２０】本発明の実施形態２の具体例に係るデプスフレーム選択部の構成を示すブロック図である。
【図２１】本発明の実施形態２の具体例に係るデプスフレーム選択部による、選択フレームを選択する方法を説明するフローチャート図である。
【図２２】サブレイヤＩＤの例を示す概略図である。
【図２３】本発明の変形例に係るデプスフレーム選択部の構成を示すブロック図である。
【図２４】本発明の変形例に係るデプスフレーム選択部による、選択フレームを選択する方法を説明するフローチャート図である。
【図２５】本発明の実施形態３の概要を説明するための概略図である。
【図２６】本発明の実施形態３に係る表示装置の構成を示すブロック図である。
【図２７】本発明の実施形態３に係る画像処理装置による画像処理方法の一例を説明するフローチャート図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。なお、以下の実施形態１〜３では、本発明の一態様に係る詳細モデル（上述の参照３Ｄモデルに相当）を用いて再生視点画像を生成する構成について説明するが、本発明の一態様に係る詳細モデルを用いた画像処理方法は、当該構成に限定されない。例えば、３次元映像の技術分野において、本発明の一態様に係る詳細モデルは、適宜使用されてもよい。
【００１３】
〔実施形態１〕
まず、本発明の実施形態１の概要について図１を参照して説明する。図１は、本発明の実施形態１の概要を説明するための概略図である。本発明の実施形態１の特徴として、以下の２点が挙げられる。
特徴１: 各時刻の入力デプスから信頼度の高い基礎モデルの生成に有効な領域を抽出する（代表例: 人の骨格相当の基礎モデルを利用し、人に対応するデプス領域を抽出）。
特徴２: 基礎モデルは、過去の詳細モデルに依存せず、入力デプスと基礎モデルとに基づき生成する。
【００１４】
実施形態１の主な工程としては、以下の（１）〜（３）が実行される。
（１）入力デプスから人（人以外でもよい）に相当する部分である確度が高い領域を抽出し選択デプスとする。
（２）基礎モデル（人の骨格相当）を選択デプスに基づいて生成する。
（３）基礎モデル及び入力デプスから詳細モデルを生成する。
【００１５】
（画像処理装置２）
本実施形態に係る画像処理装置２について、図２を参照して詳細に説明する。図２は、本実施形態に係る表示装置１の構成を示すブロック図である。図２が示すように、表示装置１は、画像処理装置２及び表示部３を備えている。画像処理装置２は、画像処理部４及び記憶部５を備えており、画像処理部４は、受付部６、取得部７、デプス領域選択部８、基礎モデル生成部９、詳細モデル生成部１０、ライブモデル生成部１１、視点デプス合成部１２、及び再生視点画像合成部１３を備えている。
【００１６】
受付部６は、画像処理装置２の外部から再生視点（再生視点に関する情報）を受け付ける。
【００１７】
取得部７は、撮影対象の画像データと、当該撮影対象の３次元形状を示す入力デプス（各時刻の入力デプス）とを取得する。なお、本願明細書における用語「画像データ」とは、特定の視点からの撮影対象を示す画像（各画素の色情報等）を示す。また、本願明細書における画像は、静止画像及び動画像を含む。
【００１８】
デプス領域選択部８は、取得部７が取得した入力デプスのうちから選択デプスを選択する。
【００１９】
基礎モデル生成部９は、デプス領域選択部８が選択した選択デプスを参照して基礎モデルを生成（更新）する。つまり、基礎モデル生成部９は、取得部７が取得した入力デプスの一部に基づいて基礎モデルを生成する。
【００２０】
詳細モデル生成部１０は、取得部７が取得した入力デプスと、基礎モデル生成部９が生成した基礎モデルとを参照して、詳細モデルを生成（更新）する。
【００２１】
ライブモデル生成部１１は、詳細モデル生成部１０が生成した詳細モデル及び変形パラメータを参照して、ライブモデルを生成する。
【００２２】
視点デプス合成部１２は、受付部６が受け付けた再生視点と、ライブモデル生成部１１が生成したライブモデルとを参照して、再生視点から撮影対象の各部分までのデプスである再生視点デプスを合成する。
【００２３】
再生視点画像合成部１３は、受付部６が受け付けた再生視点と、取得部７が取得した画像データと、視点デプス合成部１２が合成した再生視点デプスとを参照して、再生視点からの撮影対象を示す再生視点画像を合成する（ステップＳ９）。
【００２４】
表示部３は、再生視点画像合成部１３が合成した再生視点画像を表示する。
【００２５】
記憶部５は、基礎モデル生成部９が生成した基礎モデルと、詳細モデル生成部１０が生成した詳細モデルとを記憶する。
【００２６】
（画像処理方法）
本実施形態に係る画像処理装置２による画像処理方法について、図３を参照して説明する。図３は、本実施形態に係る画像処理装置２による画像処理方法の一例を説明するフローチャート図である。
【００２７】
まず、受付部６は、画像処理装置２の外部から再生視点（再生視点に関する情報）を受け付ける（ステップＳ０）。受付部６は、受け付けた再生視点を、取得部７、視点デプス合成部１２及び再生視点画像合成部１３に送信する。
【００２８】
次に、取得部７は、撮影対象の画像データと、当該撮影対象の３次元形状を示す入力デプス（各時刻の入力デプス）とを取得する（ステップＳ１）。
【００２９】
次に、取得部７は、取得した画像データのうちで復号する画像データを、受付部６が受け付けた再生視点に応じて選択する（ステップＳ２）。
【００３０】
次に、取得部７は、選択した画像データと、取得した入力デプスとを復号する（ステップＳ３）。そして、取得部７は、復号した画像データを再生視点画像合成部１３に送信し、復号した入力デプスをデプス領域選択部８及び詳細モデル生成部１０に送信する。
【００３１】
次に、デプス領域選択部８は、取得部７から受信した入力デプスのうちから選択デプスを選択する（ステップＳ４）。より詳細には、デプス領域選択部８は、入力デプスから所定の選択基準により、部分デプス領域を選択デプスとして抽出する。そして、デプス領域選択部８は、選択した選択デプスを基礎モデル生成部９に送信する。
【００３２】
次に、基礎モデル生成部９は、デプス領域選択部８から受信した選択デプスを参照して基礎モデルを生成（更新）する（ステップＳ５）。より詳細には、基礎モデル生成部９は、選択デプスと、過去に生成した基礎モデルとを参照して、基礎モデルを更新する。そして、基礎モデル生成部９は、生成した基礎モデルを詳細モデル生成部１０に送信する。以上のように、基礎モデル生成部９が生成する基礎モデルは、選択デプス及び過去の基礎モデルのみから生成されるため、過去の詳細モデルに依存しないという特性を有する。また、基礎モデル生成部９は、過去に基礎モデルを生成していない場合、選択デプスのみを参照して基礎モデルを生成してもよい。
【００３３】
次に、詳細モデル生成部１０は、取得部７から受信した入力デプスと、基礎モデル生成部９から受信した基礎モデルとを参照して、詳細モデルを生成（更新）する（ステップＳ６）。より詳細には、詳細モデル生成部１０は、基礎モデルと、過去に生成した詳細モデルと、入力デプスとを参照して、詳細モデルを更新する。そして、詳細モデル生成部１０は、生成した詳細モデルと、後述する変形パラメータとをライブモデル生成部１１に送信する。なお、詳細モデル生成部１０は、過去に詳細モデルを生成していない場合、基礎モデル及び入力デプスのみを参照して、詳細モデルを生成してもよい。
【００３４】
次に、ライブモデル生成部１１は、詳細モデル生成部１０から受信した詳細モデル及び変形パラメータを参照して、ライブモデルを生成する（ステップＳ７）。そして、ライブモデル生成部１１は、生成したライブモデルを視点デプス合成部１２に送信する。
【００３５】
次に、視点デプス合成部１２は、受付部６から受信した再生視点と、ライブモデル生成部１１が生成したライブモデルとを参照して、再生視点から撮影対象の各部分までのデプスである再生視点デプスを合成する（ステップＳ８）。そして、視点デプス合成部１２は、合成した再生視点デプスを再生視点画像合成部１３に送信する。
【００３６】
次に、再生視点画像合成部１３は、受付部６から受信した再生視点と、取得部７から受信した画像データと、視点デプス合成部１２から受信した再生視点デプスとを参照して、再生視点からの撮影対象を示す再生視点画像を合成する（ステップＳ９）。そして、再生視点画像合成部１３は、合成した再生視点画像を表示部３に送信する。表示部３は、再生視点画像合成部１３から受信した再生視点画像を表示する。
【００３７】
（デプス領域選択部の具体例）
以下で、上述のステップＳ４においてデプス領域選択部８が選択デプスを選択する方法の具体例について、図４及び図５を参照して説明する。図４は、本具体例に係るデプス領域選択部８の構成を示すブロック図である。図４が示すように、本具体例に係るデプス領域選択部８は、セグメンテーション部２０、セグメント判定部２１、及びデプス抽出部２２を備えている。図５は、本具体例に係るデプス領域選択部８による、選択デプスを選択する方法を説明するフローチャート図である。
【００３８】
まず、セグメンテーション部２０は、取得部７から受信した入力デプスにセグメンテーションを適用し（入力デプスをセグメント化し）、結果として得られるセグメント群の位置及び形状を示す情報（セグメント情報）をセグメント判定部２１に出力する（ステップＳ１０）。ここで、入力デプスのセグメントとは、特定の性質を共有するデプスの集合であり、入力デプスの画像面上での部分領域として表現できる。
【００３９】
次に、セグメント判定部２１は、セグメンテーション部２０から受信したセグメント情報を参照して、対象セグメントが人を表すセグメントであるか否かを判定し、人であると判定したセグメント群を示す情報（セグメント選択情報）をデプス抽出部２２に出力する。言い換えると、セグメント判定部２１は、対象セグメントが信頼できる性質を有するか否かを判定し、有すると判定したセグメント群を示すセグメント選択情報をデプス抽出部２２に出力する。
（ステップＳ１１）
次に、デプス抽出部２２は、取得部７から受信した入力デプスのうちから、上記のセグメント選択情報が示すセグメントに対応するデプスを選択デプスとして抽出し、当該選択デプスを基礎モデル生成部９に出力する（ステップＳ１２）。
【００４０】
以上のように、本具体例に係るデプス領域選択部８（デプス選択部）は、入力デプスをセグメント化するセグメンテーション部２０と、セグメンテーション部２０がセグメント化した入力デプスから、撮影対象に対応する入力デプスを選択デプスとして抽出するデプス抽出部２２（選択デプス抽出部）と、を備えている。
【００４１】
上記の構成によれば、入力デプスセグメントの信頼度を所定の基準により判定して信頼度の高いセグメントを抽出することで、信頼度の高い入力デプスを選択デプスとして選択できる。従って、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができ、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【００４２】
（デプス領域選択部の具体例のバリエーション）
以下で、上述のデプス領域選択部８の具体例のより詳細な例を説明する。まず、デプス領域選択部８が上述のステップＳ１０〜Ｓ１２においてセグメント判定を用いて選択デプスとして選択する対象の例について説明する。例えば、デプス領域選択部８は、人に限らず撮影対象に応じて、入力デプスのうちから、別の対象に相当する領域を選択するように構成されてもよい。これにより、人以外を対象とする場合にも、本実施形態に係る画像処理方法を適用できる。
【００４３】
また、撮影対象シーンに複数の異なる種類の対象が存在する場合に、対象の種類毎に信頼度の高いセグメントを抽出してもよい。より詳細には、デプス領域選択部８に撮影対象設定部を追加で設け、撮影対象設定部は、対象の種類（例えば、人又は背景等）を判定対象として設定し、セグメント判定部２１は、上述のステップＳ１１において、対象セグメントが、撮影対象設定部が設定した判定対象を表すセグメントであるか否かを判定してもよい。これにより、より多様な対象を撮影する場合にも、本実施形態に係る画像処理方法を適用できる。
【００４４】
次に、デプス領域選択部８がノイズ状況によりフィルタリングを実行する例について説明する。例えば、デプス領域選択部８は、入力デプスに対して、ノイズ状況によるフィルタリングを実行するように構成されてもよい。より詳細には、セグメント判定部２１は、上述のステップＳ１１において、セグメントのノイズ状況を判定し、ノイズが比較的少ないセグメントのセグメント選択情報のみをデプス抽出部２２に出力することにより、ノイズが多いセグメントを選択しないように構成されてもよい。当該構成において、例えば、セグメント判定部２１は、同一セグメント内のデプスにおいて、近傍サンプル間のばらつきが大きい場合、ノイズが多いと判定してもよい。これにより、これ以降の工程において、ノイズが少ないデプスを用いて基礎モデルを更新できるため、基礎モデルの品質を向上することができる。
【００４５】
次に、デプス領域選択部８が基礎モデルを利用してセグメントを選択する例について説明する。例えば、デプス領域選択部８は、基礎モデル生成部９が過去に生成した基礎モデルを参照して、セグメントの選択を行うように構成されてもよい。より詳細には、セグメント判定部２１は、直前時刻の基礎モデルの３次元特徴点の位置（例えば、関節位置）を参照し、対象セグメントが３次元特徴点に十分近いか否かを判定し、対称セグメントが３次元特徴点位置に十分近いと判定した場合に、当該対象セグメントを示す情報をデプス抽出部２２に出力してもよい。ここで、３次元特徴点、及び、３次元特徴点に対して十分に近いと判定する判定基準は、基礎モデル全体を必要最小限にカバーするように設定されることが好ましい。例えば、人の基礎モデルに対しては関節位置を３次元特徴点に設定し、体表の各点と近傍関節との距離に相当する判定基準を用いることが好ましい。これにより、想定する対象の形状から外れた位置に相当するデプスセグメントを除去できるため、複数の物体が存在する場合においても誤ったセグメントの選択率を低減することができる。
【００４６】
また、基礎モデルの変形を制御するためのノード（変形ノード）の位置を三次元特徴点として設定してもよい。変形ノードは、基礎モデルの変形を表現するのに好適な位置に配置されることが多いため、変形ノードの近傍に相当するデプスは重要である。３次元特徴点を変形ノードの位置に設定することで、重要なデプスを含むセグメントを優先的に選択して信頼度の高い基礎モデルの変形推定が可能となる。
【００４７】
次に、デプス領域選択部８が選択する選択デプスの形式の例について説明する。例えば、デプス領域選択部８は、ステップＳ１１を行ったあとに、所定の対象の種類（例えば、人）であると判定されなかったセグメントの領域以外の領域に既定の無効値を設定するように構成されてもよい。また、デプス領域選択部８は、上述のステップＳ１２を行わずに、選択デプスの代わりに入力デプス及び選択セグメント情報を基礎モデル生成部９に出力するように構成されてもよい。これにより、後続でデプスを抽出する処理が必要になるが、デプスのメモリ増加を避けることができる。また、デプス領域選択部８は、上述のステップＳ１２の後に、選択デプスを３次元点群に変換して出力するように構成されてもよい。これにより、後続ブロック（ステップＳ５等）で当該３次元点群と３Ｄモデルとを直接比較することができるため処理量が削減できる。
次に、デプス領域選択部８がデプスの中心部分を優先して選択する例について説明する。例えば、デプス領域選択部８は、サンプル又はセグメントがデプス中心（デプス画像の中心）に近い場合に、当該サンプル又はセグメントを選択デプスとして選択するよう構成されてもよい。当該構成を採用する理由は、画像周辺部のデプスを用いた場合、撮影対象又はデプスカメラの移動によるフレームイン/フレームアウトの影響により変形推定の信頼度が低下する要因となるためである。
【００４８】
デプス領域選択部８がサンプリングを実行する例について説明する。デプス領域選択部８は、空間サンプリングにより間引いたデプスのうちから選択デプスを選択するように構成されてもよい。当該構成を採用する理由は、過剰な数のデプスを用いると変形推定の精度低下の要因となり、且つ、変形推定の実行時間の増加につながるためである。また、デプス領域選択部８は、基礎モデルの特性に合わせた密度でデプスの一部を空間サンプリングするように構成されてもよい。より詳細には、例えば、デプス領域選択部８は、基礎モデルにおいてノード（変形ノード）が多数配置されている場所では密に、少ない場所では疎にサンプリングしてもよい。上記の構成を採用することにより、ノードの数が多い場所では変形の自由度も高いため多数のサンプルを用い、逆にノードが疎な場所では少数のサンプルを用いることで変形推定の精度を向上することができ、信頼度の高い基礎モデルを構築できる。
【００４９】
（デプス領域選択部の変形例）
以下で、上述のステップＳ４においてデプス領域選択部８が選択デプスを選択する方法の変形例について、図６及び図７を参照して説明する。図６は、本変形例に係るデプス領域選択部３０の構成を示すブロック図である。図６が示すように、本変形例に係るデプス領域選択部３０は、局所特徴量算出部３１、局所特徴量比較部３２、及びデプス抽出部３３を備えている。図７は、本変形例に係るデプス領域選択部３０による、選択デプスを選択する方法を説明するフローチャート図である。
【００５０】
まず、局所特徴量算出部３１は、取得部７から受信した入力デプスを参照して、サンプル毎に局所特徴量を算出する（ステップＳ２０）。より詳細には、局所特徴量算出部３１は、対象サンプルの近傍に位置するサンプルの３次元特徴量（法線、曲率、エッジ強度又は分散等）を算出し、局所特徴量比較部３２に出力する。
【００５１】
次に、局所特徴量比較部３２は、局所特徴量算出部３１から受信した局所特徴量が、適用対象の基礎モデルにおける局所特徴の要件を満たすか否かを判定し、判定結果（セグメント選択情報）をデプス抽出部３３に出力する（ステップＳ２１）。より詳細には、例えば、局所特徴量比較部３２は、適用対象の基礎モデルにおける局所特徴の要件が滑らかな表面を有することである場合、法線変化が小さく、曲率、エッジ強度及び分散が既定の値以下であるか否かを判定する。
【００５２】
次に、デプス抽出部３３は、取得部７から受信した入力デプスのうちから、上記のセグメント選択情報が示すセグメントに対応するデプスを選択デプスとして抽出し、当該選択デプスを基礎モデル生成部９に出力する（ステップＳ２２）。
【００５３】
（基礎モデルを利用した局所特徴量の算出）
上記局所特徴量算出部３１の説明では、入力デプスを参照して局所特徴量を算出するとしたが、入力デプスと基礎モデルを併用して導出したサンプル毎の局所特徴量を算出する構成も可能である。
【００５４】
以下では、デプスサンプルと対応する基礎モデル頂点とから構成されるペアのことを、デプスモデルペアと呼称する。デプスモデルペアは、基礎モデルの変形パラメータ推定において手がかりとして与えられることを想定しており、例えばデプスサンプルの最近傍の基礎モデル頂点がペアとして選択される。デプス画像へ射影した場合に同一画素位置に射影される基礎モデル頂点をペアとして選択する方法もある。
【００５５】
局所特徴量算出部３１は、デプスサンプルペアを参照して局所特徴量を算出する構成としてもよい。具体的には、デプスサンプルペアを構成する２点間の距離を局所特徴量として算出する。この場合、局所特徴量比較部３２で２点間の距離が十分に小さいデプスサンプルを選択することで、基礎モデル変形パラメータの推定時に誤差の大きいデプスサンプルペアが入力され誤った変形パラメータが導出されることを抑制できる。
【００５６】
別の具体例では、デプスサンプルペアを構成する頂点と、変形ノードとの距離を局所特徴量とする。一般に変形ノードから距離が離れるほど変形の信頼性が低下するため、局所特徴量比較部３２で当該距離が十分に小さいデプスサンプルを選択することで、基礎モデル生成部の変形パラメータ推定の精度が向上する。
【００５７】
別の具体例では、デプスサンプルペアを構成する頂点と、当該頂点の近傍変形ノードの個数を局所特徴量とする。一般に頂点の近傍変形ノードの数が少ない場合、多い場合に比べて頂点における変形の信頼性が低下する。この場合、局所特徴量比較部３２で近傍変形ノード個数が所定の値よりも多いデプスサンプルを選択することで、基礎モデル生成部の変形パラメータ推定の精度が向上する。
【００５８】
また、デプスサンプルの近傍に存在する基礎モデル頂点の個数を局所特徴量とする構成の可能である。当該個数が一定以上のデプスサンプルを選択するよう局所特徴量比較部３２を構成することで、基礎モデルの端や誤生成された面がデプスサンプルペアとして利用される可能性を低減でき、基礎モデルの変形パラメータの推定精度が向上する。なお、近傍の基礎モデル頂点の個数の代わりに、デプスサンプルと既定の距離以内の距離モデル頂点との平均距離を用いてもよい。
【００５９】
以上のように、本変形例に係るデプス領域選択部３０（デプス選択部）は、入力デプスの局所特徴量を算出する局所特徴量算出部３１と、局所特徴量を参照して、入力デプスのうちから選択デプスを抽出するデプス抽出部２２（選択デプス抽出部）と、を備えている。
【００６０】
上記の構成によれば、局所特徴量に基づいて、信頼度の高い入力デプスを選択デプスとして選択できる。従って、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができ、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【００６１】
（基礎モデル生成部の具体例）
以下で、上述のステップＳ５において基礎モデル生成部９が基礎モデルを生成する方法の具体例について、図８及び図９を参照して説明する。図８は、本具体例に係る基礎モデル生成部９の構成を示すブロック図である。図８が示すように、本具体例に係る基礎モデル生成部９は、基礎モデル変形推定部４０及び基礎モデル変形部４１を備えており、記憶部５は、基礎モデル蓄積部４２を備えている。図９は、本具体例に係る基礎モデル生成部９による、基礎モデルを生成する方法を説明するフローチャート図である。
【００６２】
まず、基礎モデル変形推定部４０は、デプス領域選択部８から受信した選択デプスと導出済みの基礎モデルとに基づき、基礎モデルの各変形ノード（関節に相当）の変形パラメータを推定し、当該変形パラメータを基礎モデル変形部４１に送信する。（ステップＳ３０）。ここで、基礎モデル変形推定部４０が入力デプスではなく選択デプスを利用することにより、変形パラメータの推定の誤り率を減少することができる。
【００６３】
次に、基礎モデル変形部４１は、基礎モデル変形推定部４０から受信した変形パラメータを用いて過去の基礎モデルを変形することにより、新たな基礎モデルを生成し、詳細モデル生成部１０及び基礎モデル蓄積部４２に送信する（ステップＳ３１）。
【００６４】
次に、基礎モデル蓄積部４２は、基礎モデル変形部４１から受信した基礎モデルを後続の処理のために記録する（ステップＳ３２）。ここで、基礎モデル蓄積部４２が記憶した基礎モデルは、基礎モデル変形推定部４０が後続の基礎モデルの変形パラメータを推定する際に参照される。
【００６５】
要約すると、上記の構成では、基礎モデルは、選択デプス、及び過去に生成された基礎モデルのみに依存し、過去に生成された詳細モデルには依存しない。従って、詳細モデルの形状と実際の撮影対象の形状とが乖離し始めても（詳細モデルの劣化）、当該劣化は、基礎モデルに伝搬しない。
【００６６】
以上のように、本具体例に係る基礎モデル生成部９は、選択デプスと生成済みの基礎モデルとの変形パラメータを推定する基礎モデル変形推定部４０（変形パラメータ推定部）と、変形パラメータを用いて生成済みの基礎モデルを変形することにより、基礎モデルを更新する基礎モデル変形部４１と、を備えている。
【００６７】
上記の構成によれば、選択デプスと、生成済みの基礎モデルとの変形パラメータに基づいて基礎モデルを更新する。ここで、信頼度の高い選択デプスを用いることにより、信頼度の高い基礎モデルを生成することができる。従って、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【００６８】
（基礎モデル生成部９の変形例）
以下で、上述のステップＳ５において基礎モデル生成部９が基礎モデルを生成する方法の変形例について、図１０及び図１１を参照して説明する。図１０は、本変形例に係る基礎モデル生成部５０の構成を示すブロック図である。図１０が示すように、本変形例に係る基礎モデル生成部５０は、上述の基礎モデル生成部９及び記憶部５の構成に加えて、デプス統合部５１をさらに備えている。図１１は、本変形例に係る基礎モデル生成部５０による、基礎モデルを生成する方法を説明するフローチャート図である。
【００６９】
まず、基礎モデル変形推定部４０は、デプス領域選択部８から受信した選択デプスと導出済みの参照基礎モデルとに基づき、参照基礎モデルの各変形ノード（関節に相当）の変形パラメータを推定し、当該変形パラメータをデプス統合部５１及び基礎モデル変形部４１に送信する。（ステップＳ４０）。
【００７０】
次に、デプス統合部５１は、デプス領域選択部８から受信した選択デプスを、基礎モデル変形推定部４０から受信した変形パラメータで変形し、当該変形パラメータを導出済みの参照基礎モデルに統合し、当該参照基礎モデルを基礎モデル蓄積部４２に送信する（ステップＳ４１）。
【００７１】
次に、基礎モデル蓄積部４２は、デプス統合部５１から受信した参照基礎モデルを後続の処理のために記録する（ステップＳ４２）。
【００７２】
次に、基礎モデル変形部４１は、基礎モデル変形推定部４０から受信した変形パラメータを用いて、基礎モデル蓄積部４２が記録した参照基礎モデルを変形することにより、基礎モデルを生成し、詳細モデル生成部１０に送信する（ステップＳ４３）。
【００７３】
以上のように、本変形例に係る基礎モデル生成部９は、選択デプスと生成済みの基礎モデルとの変形パラメータを推定する基礎モデル変形推定部４０（変形パラメータ推定部）と、選択デプスを、変形パラメータを用いて変形し、当該選択デプスを参照して、参照基礎モデルを生成するデプス統合部５１（参照基礎モデル生成部）と、上記変形パラメータを用いて上記参照基礎モデルを変形することにより、上記基礎モデルを生成する基礎モデル変形部４１（参照基礎モデル変形部）と、を備えている。
【００７４】
上記の構成によれば、選択デプスと、生成済みの基礎モデルとの変形パラメータに基づいた参照基礎モデルを用いて基礎モデルを生成することができる。これにより、信頼度の高い基礎モデルを生成することができ、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【００７５】
（基礎モデル変形推定部の具体例）
以下で、上述のステップＳ３０及びＳ４０において基礎モデル変形推定部４０が変形パラメータを推定する方法の具体例について、図１２及び図１３を参照して説明する。図１２は、本具体例に係る基礎モデル変形推定部４０が変形パラメータを推定する方法の概要を説明するための概略図である。図１３は、本具体例に係る基礎モデル変形推定部４０が変形パラメータを推定する方法を説明するフローチャート図である。
【００７６】
まず、基礎モデル変形推定部４０は、基礎モデル蓄積部４２から、過去の基礎モデル（又は過去の参照基礎モデル）を読み出す（ステップＳ５０）（図１２の（１））。ここで、過去の基礎モデルは、過去に生成されて蓄積モデル蓄積部４２に記録された基礎モデルであって、必ずしも過去の時刻の対象に相当する基礎モデルである必要はない。
【００７７】
次に、基礎モデル変形推定部４０は、読み出した過去の基礎モデル（又は過去の参照基礎モデル）の変形ノード位置に基づき参照表面（図１２の（２）の点線）を構成する（ステップＳ５１）。なお、ここにおける参照表面とは、人の場合、関節位置に対する体表面に相当し、参照表面は、データベース化された関節位置と体表面との関係から生成可能である。
【００７８】
次に、基礎モデル変形推定部４０は、デプス領域選択部８から受信した選択デプスのうちから、ノードの近傍に存在するデプスサンプル（近傍サンプル）（図１２の（２）における複数の点）を選択する（ステップＳ５２）。
【００７９】
次に、基礎モデル変形推定部４０は、近傍サンプルの位置と参照表面の位置との誤差を最小化する変形ノードの変形パラメータを算出する（ステップＳ５３）（図１２の（３））。より詳細には、例えば、基礎モデル変形推定部４０は、当該誤差の二乗をコスト関数とする最小二乗最適化を解くことで変形ノードの変形パラメータを導出できる。
【００８０】
以上のように、本具体例に係る基礎モデル変形推定部４０は、基礎モデルの表面の位置を近傍の選択デプスの位置に合わせることで各部分の変形を推定する。従来技術では、デプスに撮影対象（人）以外の対象（背景等）に相当するデータ、又はノイズが含まれており、変形推定の信頼度が低いという問題がある。しかし、上述の構成では、信頼度の高い選択デプスを用いるため、変形推定の信頼度を向上することができる。
【００８１】
（詳細モデル生成部の具体例）
以下で、上述のステップＳ６において詳細モデル生成部１０が詳細モデルを生成する方法の具体例について、図１４及び図１５を参照して説明する。図１４は、本具体例に係る詳細モデル生成部１０の構成を示すブロック図である。図１４が示すように、本具体例に係る詳細モデル生成部１０は、基礎変形推定部６０、詳細モデル変形推定部６１、及び詳細モデル変形部６２を備えており、記憶部５は、詳細モデル蓄積部６３を備えている。図１５は、本具体例に係る詳細モデル生成部１０による、詳細モデルを生成する方法を説明するフローチャート図である。
【００８２】
まず、基礎変形推定部６０は、基礎モデル生成部９から受信した基礎モデルと過去に生成した詳細モデルとに基づき基礎変形パラメータを導出し、詳細モデル変形推定部６１に送信する（ステップＳ６０）。つまり、基礎変形推定部６０は、信頼度の高い基礎モデルを参照して詳細モデルの一次推定を実行する。
【００８３】
次に、詳細モデル変形推定部６１は、基礎変形推定部６０から受信した基礎変形パラメータを初期値とした、入力デプス（取得部７から受信）と生成済みの詳細モデルとの変形パラメータを導出し、詳細モデル変形部６２に送信する（ステップＳ６１）。
【００８４】
次に、詳細モデル変形部６２は、詳細モデル変形推定部６１から受信した変形パラメータに基づいて過去の詳細モデルを変形して詳細モデルを生成し、当該詳細モデルをライブモデル生成部１１及び詳細モデル蓄積部６３に送信する（ステップＳ６２）。つまり、詳細モデル変形部６２は、信頼度の高い基礎モデルに基づく推定値（基礎変形パラメータ）を初期値とした変形パラメータを用いて、過去の詳細モデルを変形する。これにより、詳細モデルの形状と実際の撮影対象の形状とが乖離し始めた場合（詳細モデルの劣化）であっても、当該劣化が後続の詳細モデルに伝搬することを抑制することができ、詳細モデルの品質を向上することができる。
【００８５】
ステップＳ６２の次の工程として、詳細モデル蓄積部６３は、詳細モデル変形部６２から受信した詳細モデルを記録する（ステップＳ６３）。
【００８６】
以上のように、本具体例に係る詳細モデル生成部１０は、基礎モデルと生成済みの詳細モデルとの基礎変形パラメータを推定する基礎変形推定部６０（基礎変形パラメータ推定部）と、基礎変形パラメータを初期値とした、入力デプスと生成済みの詳細モデルとの詳細モデル変形パラメータを推定する詳細モデル変形推定部６１（詳細モデル変形パラメータ推定部）と、詳細モデル変形パラメータを用いて生成済みの詳細モデルを変形することにより、詳細モデルを更新する詳細モデル変形部６２と、を備えている。
【００８７】
上記の構成によれば、基礎モデルから推定された基礎変形パラメータに基づいて、詳細モデル変形パラメータを推定する。これにより、基礎モデルに基づいた信頼度の高い詳細モデル変形パラメータを用いて詳細モデルを更新することができるため、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【００８８】
（基礎変形推定部及び詳細モデル変形推定部の具体例）
以下で、上述のステップＳ６０において基礎変形推定部６０が基礎変形パラメータを推定する方法と、上述のステップＳ６１において詳細モデル変形推定部６１が変形パラメータを推定する方法との具体例について、図１６を参照して説明する。図１６は、本具体例に係る基礎変形推定部６０が上述のステップＳ６０において基礎変形パラメータを推定する方法と、上述のステップＳ６１において詳細モデル変形推定部６１が変形パラメータを推定する方法との概要を説明するための概略図である。
【００８９】
上述のステップＳ６０において、基礎変形推定部６０は、過去の詳細モデル（図１６の（１））が基礎モデル（図１６の（２））に近づく基礎変形パラメータを導出する。より詳細には、例えば、基礎変形推定部６０は、過去の詳細モデルの各頂点に対応する基礎モデル上の点を設定し、両者の各点が近くなる基礎変形パラメータを導出する。
【００９０】
また、上述のステップＳ６１において、詳細モデル変形推定部６１は、基礎変形推定部６０が推定した基礎変形パラメータを初期値として、過去の詳細モデルが入力デプス（図１６の（３））に近づく変形パラメータを導出する。より詳細には、例えば、詳細モデル変形推定部６１は、過去の詳細モデルの各頂点に対応する入力デプスの点を設定し、両者の各点が近くなる変形パラメータを、基礎変形パラメータを中心に探索する（基礎変形パラメータ近傍の値を探索）。また、別の例では、詳細モデル変形推定部６１は、過去の詳細モデルを基礎変形パラメータで変形した中間詳細モデル（図１６の（４））を生成し、中間詳細モデルと入力デプスとを近づける差分変形パラメータを推定し、基礎変形パラメータによる変形と差分変形パラメータによる変形との合成を表す変形パラメータを導出する。
【００９１】
以上の構成を採用することにより、中間詳細モデルは、基礎モデルに基づいた基礎変形パラメータを参照して生成されるため、中間詳細モデルの生成では、基礎モデルの対象（上記の例では人の部分）を、信頼度の高い情報を用いて正確に変形できる。一方で、人以外の対象、又は急な変形など（図１６の（４）の点線で囲まれた部分）は、基礎モデルに反映されない場合がある。そこで、最終的な変形パラメータの導出では、入力デプスをさらに参照して最終的な変形を決定することで、そのような場合にも対応した詳細モデル（図１６の（５））を構築できる。
【００９２】
（実施形態１に係る基礎モデル生成部の詳細）
＜定義＞
以下で、本実施形態に係る基礎モデル生成部９が用いるデータの定義を列挙する。
選択デプス D : 画像上の位置u,vでインデックスされたデプス値。選択されていないデプスには無効値を設定
基礎モデル M : 基礎ノードの集合{Ni | i = 1..n}  nは基礎ノード数
基礎ノード Ni : 参照時刻における位置 {xi, yi, zi} に存在するノード（関節に相当）参照表面 S : 基礎モデルから基礎ノードの位置に基づき生成される頂点群（例: 人の関節位置と体表面との統計的な関係を利用)
変形パラメータ W : 基礎ノード変形の集合  W = {Wi | i = 1..n}
基礎ノード変形 Wi : 参照時刻から対象時刻への変形  Wi = {rx, ry, rz, tx, ty, tz}
tx, ty, tzは各軸の並進、rx, ry, rzは各軸回りの回転
＜基礎モデル変形推定＞
次に、本実施形態に係る基礎モデル生成部９による基礎モデル変形推定の詳細を以下に示す。なお、以下の詳細では、対象時刻=t, 参照時刻=t-1とする。
Dt, Mt-1 からWt を導出（上述のステップＳ３０に相当）
各基礎ノードNit-1に対して以下の処理を実行しWitを導出
１） Niの近傍のデプスを選択デプスDtから選択し、選択されたデプスに相当する点の集合Pitを導出（上述のステップＳ５２に相当）
Pit = {pi | L2(p, Ni) < th} 
ただしpiはデプスDtを逆投影して得られる空間中の点、thは近傍判定の閾値(例えば平均の基礎ノード間距離を利用)
L2(a,b)はaとbの距離
２） Pitの各点と変形後の参照表面Stの平均距離が最小となる基礎変形パラメータWitを決定（上述のステップＳ５３に相当）
基礎ノードNit-1近傍の参照表面St-1を変形Wtiに基づき変形することで参照表面Stを導出
st = Rit(st-1- Nit-1) + Nit-1 + Tit
argmin(Wit) Σi (L2(pi, g(St, pi))  ただし、g(St, pi)はpiの近傍点をStから選択する関数
ただし、Rtは{rx, ry, rz}で表現される回転、Ttは{tx, ty, tz}で表現される並進に相当する。
【００９３】
＜基礎モデル変形＞
次に、本実施形態に係る基礎モデル生成部９による基礎モデル変形の詳細を以下に示す。
Mt-1をWtで変形してMtを導出（上述のステップＳ３１に相当）
各基礎ノードNit-1を変形Witで変形してNitを決定
Nit = RtNit-1+ Tt
（実施形態１に係る詳細モデル生成部の詳細）
＜定義＞
以下で、本実施形態に係る詳細モデル生成部１０が用いるデータの定義を列挙する。なお、上述した、本実施形態に係る基礎モデル生成部９が用いるデータは、詳細モデル生成部１０によっても用いられるが、以下では省略する。
詳細モデル Md: 頂点の集合{pdi | i = 1..n}  nは頂点数
基礎変形パラメータ Wb: 変形ノード変形パラメータの集合  Wb = {Wbi | i = 1..n}  nは変形ノード数
詳細変形パラメータ Wd: 変形ノード変形パラメータの集合  Wd = {Wdi | i = 1..n}  nは変形ノード数
＜基礎変形推定＞
以下で、本実施形態に係る詳細モデル生成部１０による基礎モデル変形推定の詳細を以下に示す。
Mt, Mdt-1, からWbt を導出（上述のステップＳ６０に相当）
１） Mdt-1の頂点に基づき変形ノードの位置を設定
- 頂点を一定間隔となるようサブサンプルした点の位置を変形ノードの位置に設定
２） 各変形ノードwi毎に以下の手順で基礎変形パラメータWbiを導出
- 基礎モデル生成部９の基礎モデル変形推定処理と同様の手順でWbiを決定する。ただし、以下の読み替えを行う。参照表面⇒詳細モデル、基礎ノード⇒変形ノード、デプス⇒基礎モデルの参照表面。
なお、基礎モデル生成部９における推定処理では、参照表面をデプスに近づける基礎変形ノードの変形パラメータを導出し、一方、詳細モデル生成部１０における推定処理では詳細モデルを基礎モデル参照表面に近づける変形ノードの変形パラメータを導出するという違いがある。
【００９４】
＜詳細変形推定＞（上述のステップＳ６１に相当）
詳細モデルMdt-1を入力デプスDtに近づける変形ノードの詳細変形パラメータWdtを導出方法は基礎変形推定部と同様、ただし変形パラメータの初期値として基礎変形パラメータを用いる。
＜詳細モデル変形＞（上述のステップＳ６２に相当）
詳細モデルMdt-1を詳細変形パラメータWdtで変形して詳細モデルMtを導出
当該工程は、基礎モデル変形と同様である。
【００９５】
（実施形態１のまとめ）
以上のように、本実施形態に係る画像処理装置２は、撮影対象の３次元形状を示す入力デプスを取得する取得部７と、取得部７が取得した入力デプスの一部に基づいた基礎モデルを生成する基礎モデル生成部９と、入力デプス及び基礎モデルを参照して、撮影対象の詳細モデルを生成する詳細モデル生成部１０と、を備えている。
【００９６】
上記の構成によれば、入力デプスから直接、詳細モデルを生成する場合と異なり、まず、基礎モデルを生成し、当該基礎モデルをさらに参照して詳細モデルを生成する。これにより、適宜、信頼度の高いデータに基づいて基礎モデルを生成することで、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる（詳細モデルの品質の低下を抑制することができる）。また、詳細モデルの形状と撮影対象の形状とが乖離し始めた場合であっても、当該乖離の、基礎モデルへの波及を抑制することができ、基礎モデルの信頼度を維持できる。従って、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【００９７】
より詳細には、本実施形態に係る画像処理装置２は、取得部７が取得した入力デプスのうちから選択デプスを選択するデプス領域選択部８（デプス選択部）をさらに備え、基礎モデル生成部９は、選択デプスを参照して、基礎モデルを生成する。
【００９８】
上記の構成によれば、適宜、信頼度の高い選択デプスを選択することにより、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができる。従って、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【００９９】
〔実施形態２〕
本発明の実施形態２について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態１にて説明した画像処理装置２が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１００】
まず、本発明の実施形態２の概要について図１７を参照して説明する。図１７は、本発明の実施形態２の概要を説明するための概略図である。本発明の実施形態２の特徴として、以下の２点が挙げられる。
【０１０１】
特徴1: 信頼度の高い基礎モデルの生成に有効なフレームを、入力デプスから抽出する（代表例: 入力デプスから品質の高いフレーム（ノイズが少ない等）を抽出して利用）。
【０１０２】
特徴2: 基礎モデルは過去の詳細モデルに依存せず、入力デプスと過去の基礎モデルとに基づき生成する。
【０１０３】
実施形態２の主な工程としては、以下の（１）〜（３）が実行される。
（１）入力デプスから品質の高いフレームを抽出し、選択デプスとする。
（２）基礎モデルを選択デプスに基づいて生成する。
（３）基礎モデル及び入力デプスから詳細モデルを生成する。
【０１０４】
（画像処理装置７１）
本実施形態に係る画像処理装置７１について、図１８を参照して説明する。図１８は、本実施形態に係る表示装置７０の構成を示すブロック図である。図１８が示すように、表示装置７０は、画像処理装置７１の画像処理部７２がデプス領域選択部８の代わりにデプスフレーム選択部７３を備えていること以外は、実施形態１に係る表示装置１と同様の構成を有している。
【０１０５】
デプスフレーム選択部７３は、取得部７が取得した入力デプスから構成されるフレームのうちから、選択フレームを選択する。
【０１０６】
（画像処理方法）
本実施形態に係る画像処理装置７１による画像処理方法について、図１９を参照して、詳細に説明する。図１９は、本実施形態に係る画像処理装置７１による画像処理方法の一例を説明するフローチャート図である。なお、実施形態１に係る画像処理方法と同様の工程については、詳細な説明は省略する。
【０１０７】
まず、受付部６は、画像処理装置２の外部から再生視点（再生視点に関する情報）を受け付ける（ステップＳ７０）。受付部６は、受け付けた再生視点を、取得部７、視点デプス合成部１２及び再生視点画像合成部１３に送信する。
【０１０８】
次に、取得部７は、撮影対象の画像データと、当該撮影対象の３次元形状を示す入力デプス（各時刻の入力デプス）とを取得する（ステップＳ７１）。
【０１０９】
次に、取得部７は、取得した画像データのうちで復号する画像データを、受付部６が受け付けた再生視点に応じて選択する（ステップＳ７２）。
【０１１０】
次に、取得部７は、選択した画像データと、取得した入力デプスとを復号する（ステップＳ７３）。そして、取得部７は、復号した画像データを再生視点画像合成部１３に送信し、復号した入力デプスをデプスフレーム選択部７３及び詳細モデル生成部１０に送信する。
【０１１１】
次に、デプスフレーム選択部７３は、取得部７が取得した入力デプスから構成されるフレームのうちから、選択フレームを選択する（ステップＳ７４）。そして、デプスフレーム選択部７３は、選択した選択フレームを基礎モデル生成部９に送信する。
【０１１２】
次に、基礎モデル生成部９は、デプスフレーム選択部７３から受信した選択フレームが含む選択デプスを参照して基礎モデルを生成（更新）する（ステップＳ７５）。そして、基礎モデル生成部９は、生成した基礎モデルを詳細モデル生成部１０に送信する。なお、基礎モデル生成部９は、上述のステップＳ７４においてデプスフレーム選択部７３が選択フレームを選択しなかったことに起因して、選択されなかったフレームの時刻に選択デプスを受信しなかった場合、当該時刻に対応する処理として基礎モデルを更新せずに、過去に生成した基礎モデルを詳細モデル生成部１０に出力してもよい。また、基礎モデル生成部９は、当該時刻の基礎モデルが更新されたか否かを示す情報を詳細モデル生成部１０に出力してもよい。
【０１１３】
次に、詳細モデル生成部１０は、取得部７から受信した入力デプスと、基礎モデル生成部９から受信した基礎モデルとを参照して、詳細モデルを生成（更新）する（ステップＳ７６）。そして、詳細モデル生成部１０は、生成した詳細モデルと、後述する変形パラメータとをライブモデル生成部１１に送信する。
【０１１４】
次に、ライブモデル生成部１１は、詳細モデル生成部１０から受信した詳細モデル及び変形パラメータを参照して、ライブモデルを生成する（ステップＳ７７）。そして、ライブモデル生成部１１は、生成したライブモデルを視点デプス合成部１２に送信する。
【０１１５】
次に、視点デプス合成部１２は、受付部６から受信した再生視点と、ライブモデル生成部１１が生成したライブモデルとを参照して、再生視点から撮影対象の各部分までのデプスである再生視点デプスを合成する（ステップＳ７８）。そして、視点デプス合成部１２は、合成した再生視点デプスを再生視点画像合成部１３に送信する。
【０１１６】
次に、再生視点画像合成部１３は、受付部６から受信した再生視点と、取得部７から受信した画像データと、視点デプス合成部１２から受信した再生視点デプスとを参照して、再生視点からの撮影対象を示す再生視点画像を合成する（ステップＳ７９）。そして、再生視点画像合成部１３は、合成した再生視点画像を表示部３に送信する。表示部３は、再生視点画像合成部１３から受信した再生視点画像を表示する。
【０１１７】
（デプスフレーム選択部の具体例）
以下で、上述のステップＳ７４においてデプスフレーム選択部７３が選択フレームを選択する方法の具体例について、図２０及び図２１を参照して説明する。図２０は、本具体例に係るデプスフレーム選択部７３の構成を示すブロック図である。図２０が示すように、本具体例に係るデプスフレーム選択部７３は、フレーム特徴量算出部８０、フレーム特徴量判定部８１、及びデプス抽出部８２を備えている。図２１は、本具体例に係るデプスフレーム選択部７３による、選択フレームを選択する方法を説明するフローチャート図である。
【０１１８】
まず、フレーム特徴量算出部８０は、取得部７から受信した入力デプスの性質に基づいてフレーム特徴量を算出し、フレーム特徴量判定部８１に送信する（ステップＳ８０）。
【０１１９】
次に、フレーム特徴量判定部８１は、フレーム特徴量算出部８０から受信したフレーム特徴量が、適用対象の基礎モデルにおける特定の要件を満たすか否かを判定し、判定結果をデプス抽出部８２に出力する（ステップＳ８１）。より詳細には、例えば、フレーム特徴量判定部８１は、フレーム特徴量算出部８０から受信したフレーム特徴量であるノイズが、所定の値以下であるか否かを判定する。
【０１２０】
デプス抽出部８２は、取得部７から受信した入力デプスから構成されるフレームのうちから、フレーム特徴量判定部８１から受信した判定結果に基づいて選択フレームを抽出し、基礎モデル生成部９に出力する（ステップＳ８２）。
【０１２１】
以上のように、本具体例に係るデプスフレーム選択部７３（フレーム選択部）は、入力デプスのフレーム特徴量を算出するフレーム特徴量算出部８０と、フレーム特徴量を参照して、入力デプスから構成されるフレームのうちから、選択フレームを抽出するデプス抽出部８２（フレーム抽出部）と、を備えている。
【０１２２】
上記の構成によれば、フレーム特徴量に基づいて、信頼度の高いフレームを選択デプスとして選択できる。従って、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができ、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１２３】
（デプスフレーム選択方法の具体例）
以下で、上述のデプスフレーム選択部７３によるデプスフレーム選択方法の具体例を説明する。まず、デプスフレーム選択部７３が上述のステップＳ８０〜Ｓ８２においてフレーム特徴量判定を用いて選択フレームとして選択する対象の例について説明する。
【０１２４】
例えば、デプスフレーム選択部７３は、Iピクチャとして符号化されたフレームを選択するように構成されてもよい（Bピクチャを除外）。言い換えると、デプスフレーム選択部７３は、予測方式として画面内予測のみを用いて復号されたデプス画像を選択するよう構成されていてもよい。
【０１２５】
また、別の例では、デプスフレーム選択部７３は、ランダムアクセスピクチャとして符号化されたフレームを選択するように構成されてもよい（非ランダムアクセスピクチャを除外）。言い換えると、デプスフレーム選択部７３は、ランダムアクセス可能であることを意味する識別子が付与された符号化データから復号されたデプス画像を選択するよう構成されていてもよい。
【０１２６】
また、別の例では、デプスフレーム選択部７３は、サブレイヤＩＤが規定値以下のフレームを選択するように構成されてもよい（規定値より大きいサブレイヤＩＤを除外）。図２２は、サブレイヤＩＤの例を示す概略図である。図２２において、矢印が発している基のフレームは、動き補償予測における参照元のフレームであり、矢印が差している先のフレームは、当該参照元に対する参照先のフレームである。図２２において、サブレイヤＩＤが小さい値のフレームであるほど、品質の高いフレームである可能性が高い。
【０１２７】
また、別の例では、デプスフレーム選択部７３は、フレームの代表量子化パラメータ（QP）が所定値以下のフレームを選択するように構成されてもよい。
【０１２８】
以上の各構成を採用することにより、選択フレームが除外フレームに比べてデプス品質が良い可能性が高いため（ノイズが少ない等）、基礎モデルの品質を向上することが期待できる。
【０１２９】
次に、デプスフレーム選択部７３が上述のステップＳ８０〜Ｓ８２においてオクルージョン領域を含むか否かに応じて選択フレームを選択する例について説明する。例えば、デプスフレーム選択部７３は、取得部７が取得した入力デプスから構成されているフレームのうちから、過度なオクルージョンが存在しないフレームを選択するように構成されてもよい。より詳細には、フレーム特徴量判定部８１は、上述のステップＳ８１において、対象フレームのオクルージョン領域（例えば、奥行（デプス）が既定値より小さい領域（手前の領域））の割合が一定値以上の場合、当該対象フレームには過度なオクルージョンが存在していると判定してもよい。以上の構成を採用することにより、意図しない対象が入力デプスに一時的に含まれるような場合でも、基礎モデルの品質を維持できる。
【０１３０】
次に、デプスフレーム選択部７３が上述のステップＳ８０〜Ｓ８２においてノイズが存在するか否かに応じて選択フレームを選択する例について説明する。例えば、デプスフレーム選択部７３は、取得部７が取得した入力デプスから構成されているフレームのうちから、過度なノイズが存在しないフレームを選択するように構成されてもよい。より詳細には、フレーム特徴量判定部８１は、上述のステップＳ８１において、対象フレームにおけるノイズが強いと推定される領域（例えば分散が所定値以上の領域）の割合が一定値以下の場合、当該対象フレームには過度なノイズが存在しないと判定してもよい。以上の構成を採用することにより、照明の影響等、入力デプスに一時的にノイズが含まれるような場合でも、基礎モデルの品質を維持できる。
【０１３１】
次に、デプスフレーム選択部７３が上述のステップＳ８０〜Ｓ８２において基礎モデルの対象（例えば、人）の有無に応じて選択フレームを選択する例について説明する。例えば、デプスフレーム選択部７３は、取得部７が取得した入力デプスから構成されているフレームのうちから、基礎モデルの対象が含まれるフレームを選択するように構成されてもよい。より詳細には、フレーム特徴量判定部８１は、上述のステップＳ８１において、対象フレームに対して基礎モデルの対象の検出処理を適用し、当該検出の確度が一定以上の場合、基礎モデルの対象を含んでいると判定してもよい。そして、デプス抽出部８２は、上述のステップＳ８２において、当該対象フレームを選択フレームとして抽出してもよい。以上の構成を採用することにより、基礎モデルの対象に対応する入力デプスが一時的に受信できない場合（当該対象が一時的に撮影範囲外に移動し、その後、撮影範囲内に戻ってくる場合）でも基礎モデルが劣化しない。
【０１３２】
（デプスフレーム選択部の変形例）
以下で、上述のステップＳ７４においてデプスフレーム選択部７３が選択フレームを選択する方法の変形例について、図２３及び図２４を参照して説明する。図２３は、本変形例に係るデプスフレーム選択部９０の構成を示すブロック図である。図２３が示すように、本変形例に係るデプスフレーム選択部９０は、カメラポーズ推定部９１、カメラポーズ信頼度判定部９２、及びデプス抽出部９３を備えている。図２４は、本変形例に係るデプスフレーム選択部９０による、選択フレームを選択する方法を説明するフローチャート図である。
【０１３３】
まず、カメラポーズ推定部９１は、取得部７から受信した入力デプスに基づきカメラポーズ（所定の時刻からのカメラ位置の変化又はカメラ方向の変化）を推定する（ステップＳ９０）。より詳細には、例えば、カメラポーズ推定部９１は、入力デプスの特徴点を抽出し、当該特徴点と過去フレームの特徴点とを比較することでカメラポーズ変化を推定し得る。
【０１３４】
次に、カメラポーズ信頼度判定部９２は、入力カメラポーズと過去のカメラポーズとを比較することにより対象フレームの信頼度を判定する（ステップＳ９１）。より詳細には、例えば、カメラポーズ信頼度判定部９２は、カメラポーズの時間変化（２時刻の間の変化、又は、複数時刻にわたる変動の度合い）が小さい場合、当該カメラポーズに対応するフレームは信頼度が高いと判定する。
【０１３５】
次に、デプス抽出部９３は、カメラポーズ信頼度判定部９２が、信頼度が高いと判定したフレームを、選択フレームとして基礎モデル生成部９に出力する（ステップＳ９２）。
【０１３６】
以上のように、本変形例に係るデプスフレーム選択部９０（フレーム選択部）は、入力デプスを参照して、撮影対象を撮影したカメラのカメラポーズを推定するカメラポーズ推定部９１と、カメラポーズを参照して、入力デプスから構成されるフレームのうちから選択フレームを抽出するデプス抽出部９３（フレーム抽出部）と、を備えている。
【０１３７】
上記の構成によれば、カメラポーズに基づいて、信頼度の高いフレームを選択フレームとして選択でき、誤ったカメラポーズを用いて基礎モデルを構築することで基礎モデルの大きな劣化が発生する頻度を減らすことができる。従って、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができ、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１３８】
（実施形態２のまとめ）
以上のように、本実施形態に係る画像処理装置７１は、取得部７が取得した入力デプスから構成されるフレームのうちから、選択フレームを選択するデプスフレーム選択部７３（フレーム選択部）をさらに備え、基礎モデル生成部９は、選択フレームが含む選択デプスを参照して、基礎モデルを生成する。
【０１３９】
上記の構成によれば、入力デプスの品質に時間変動がある場合、適宜、信頼度の高いフレームを選択デプスとして選択することにより、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができる。従って、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１４０】
〔実施形態３〕
本発明の実施形態３について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態１にて説明した画像処理装置２が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１４１】
まず、本発明の実施形態３の概要について図２５を参照して説明する。図２５は、本発明の実施形態３の概要を説明するための概略図である。本発明の実施形態３の特徴として、以下の２点が挙げられる。
【０１４２】
特徴１: 過去の基礎モデルから信頼度の高い部分を選択して構築した参照基礎モデルを用いて基礎モデルを生成する。
【０１４３】
特徴２: 基礎モデルは過去の詳細モデルに依存せず、入力デプスと過去の基礎モデルに基づき生成する。
【０１４４】
実施形態３の主な工程としては、以下の（１）及び（２）が実行される。
（１）参照基礎モデルを利用して基礎モデルを生成する。
（２）基礎モデルのうち、信頼度の高い部分を使って参照基礎モデルを構築する。
【０１４５】
（画像処理装置１０１）
本実施形態に係る画像処理装置１０１について、図２６を参照して説明する。図２６は、本実施形態に係る表示装置１００の構成を示すブロック図である。図２６が示すように、表示装置１００は、画像処理装置１０１の画像処理部１０２がデプス領域選択部８の代わりに、基礎モデル更新部１０３を備えていること以外は、実施形態１に係る表示装置１００と同様の構成を有している。
【０１４６】
基礎モデル更新部１０３（部分選択部及び参照基礎モデル生成部を兼ねる）は、基礎モデル生成部９から受信した基礎モデルのうちから参照部分を選択し、当該参照モデルを参照して、参照基礎モデルを生成する。
【０１４７】
（画像処理方法）
本実施形態に係る画像処理装置１０１による画像処理方法について、図２７を参照して、詳細に説明する。図２７は、本実施形態に係る画像処理装置１０１による画像処理方法の一例を説明するフローチャート図である。なお、実施形態１に係る画像処理方法と同様の工程については、詳細な説明は省略する。
【０１４８】
まず、受付部６は、画像処理装置２の外部から再生視点（再生視点に関する情報）を受け付ける（ステップＳ１００）。受付部６は、受け付けた再生視点を、取得部７、視点デプス合成部１２及び再生視点画像合成部１３に送信する。
【０１４９】
次に、取得部７は、撮影対象の画像データと、当該撮影対象の３次元形状を示す入力デプス（各時刻の入力デプス）とを取得する（ステップＳ１０１）。
【０１５０】
次に、取得部７は、取得した画像データのうちで復号する画像データを、受付部６が受け付けた再生視点に応じて選択する（ステップＳ１０２）。
【０１５１】
次に、取得部７は、選択した画像データと、取得した入力デプスとを復号する（ステップＳ１０３）。そして、取得部７は、復号した画像データを再生視点画像合成部１３に送信し、復号した入力デプスを基礎モデル生成部９及び詳細モデル生成部１０に送信する。
【０１５２】
次に、基礎モデル更新部１０３は、基礎モデル生成部９が過去に生成した基礎モデルのうちから参照部分を選択し、当該参照モデルを参照して、参照基礎モデルを生成（更新）する（ステップＳ１０４）。そして、基礎モデル更新部１０３は、当該参照基礎モデルを基礎モデル生成部９に送信する。
【０１５３】
次に、基礎モデル生成部９は、取得部７から受信した入力デプスと、基礎モデル更新部１０３から受信した参照基礎モデルとを参照して基礎モデルを生成（更新）する（ステップＳ１０５）。そして、基礎モデル生成部９は、生成した基礎モデルを詳細モデル生成部１０に送信する。なお、過去に基礎モデルが生成されていないため、基礎モデル更新部１０３が参照基礎モデルを生成していない場合、基礎モデル生成部９は、取得部７から受信した入力デプスのみから、基礎モデルを生成してもよい。
【０１５４】
次に、詳細モデル生成部１０は、取得部７から受信した入力デプスと、基礎モデル生成部９から受信した基礎モデルとを参照して、詳細モデルを生成（更新）する（ステップＳ１０６）。そして、詳細モデル生成部１０は、生成した詳細モデルと、後述する変形パラメータとをライブモデル生成部１１に送信する。
【０１５５】
次に、ライブモデル生成部１１は、詳細モデル生成部１０から受信した詳細モデル及び変形パラメータを参照して、ライブモデルを生成する（ステップＳ１０７）。そして、ライブモデル生成部１１は、生成したライブモデルを視点デプス合成部１２に送信する。
【０１５６】
次に、視点デプス合成部１２は、受付部６から受信した再生視点と、ライブモデル生成部１１が生成したライブモデルとを参照して、再生視点から撮影対象の各部分までのデプスである再生視点デプスを合成する（ステップＳ１０８）。そして、視点デプス合成部１２は、合成した再生視点デプスを再生視点画像合成部１３に送信する。
【０１５７】
次に、再生視点画像合成部１３は、受付部６から受信した再生視点と、取得部７から受信した画像データと、視点デプス合成部１２から受信した再生視点デプスとを参照して、再生視点からの撮影対象を示す再生視点画像を合成する（ステップＳ１０９）。そして、再生視点画像合成部１３は、合成した再生視点画像を表示部３に送信する。表示部３は、再生視点画像合成部１３から受信した再生視点画像を表示する。
【０１５８】
（実施形態３の詳細（基礎モデル更新部１０３））
＜定義＞
以下で、本実施形態に係る基礎モデル更新部１０３又は基礎モデル生成部９が用いるデータの定義を列挙する。
基礎モデル M: 基礎ノードの集合{Ni | i = 1..n}  nは基礎ノード数
参照基礎モデル M’:基礎ノードの集合 {Ni’ | i = 1..n}  nは基礎ノード数
＜基礎モデル更新＞
基礎モデルMt, 基礎モデルMt-1から参照基礎モデルM’tを導出（上述のステップＳ１０４に相当）
１）基礎モデルMtの基礎ノードの変形パラメータが信頼できるかを判定し、信頼できない場合は基礎モデルMt-1の変形パラメータを利用する
以下の条件のいずれかを満たす変形パラメータは信頼できないと判定される
- 変形の変化が既定の閾値値より大きい (並進の幅が大きい、回転が大きい）
- 変形後の基礎ノード位置が所定の基準を満たさない 
- 例) 基礎ノードと関節の対応がある場合に、人体構造上不可能な位置に変形ノードが移動または回転
- 近傍の変形ノードの変形と不整合がある
- 例) 近傍変形ノードとの変形パラメータの差分が所定の値より大きい
２） 基礎モデルMtおよび基礎モデルMt-1の変形パラメータが信頼できるかを判定し、信頼できない場合は近傍の基礎ノードの変形パラメータから補完する
以下の条件を満たす場合に信頼できないと判定される
- 特定の基礎ノードNiの変形パラメータが一定期間更新されない場合
- 一定期間の間に特定基礎ノードNiの変形パラメータの変動が大きい場合
（実施形態３のまとめ）
以上のように、本実施形態に係る画像処理装置１０１は、上記基礎モデルのうちから参照部分を選択し、参照部分を参照して、参照基礎モデルを生成する基礎モデル更新部（部分選択部及び参照基礎モデル生成部を兼ねる）をさらに備え、基礎モデル生成部９は、参照基礎モデルを参照して、基礎モデルを更新する。
【０１５９】
上記の構成によれば、適宜、信頼度の高い参照部分を選択し、当該参照部分に基づいた信頼度の高い参照基礎モデルを生成することができ、当該参照基礎モデルに基づいて信頼度の高い基礎モデルを生成することができる。これにより、基礎モデルの品質が劣化し始めた場合でも、後続の基礎モデルへの影響を抑制することができる。また、同様に、詳細モデルの品質が劣化し始めた場合でも、後続の詳細モデルへの影響を抑制することができる。従って、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１６０】
〔実施形態４〕
本発明の実施形態４について説明すれば、以下のとおりである。上述の実施形態１〜３では、本発明の一態様に係る詳細モデル（基礎モデルに基づく詳細モデル）を用いて再生視点画像を生成する構成について説明したが、本発明の一態様に係る詳細モデルを用いた画像処理方法は、当該構成に限定されない。例えば、本発明の一実施形態として、基礎モデルに基づく詳細モデル（３次元モデル）を生成する３次元モデル生成装置の構成を採用してもよい。
【０１６１】
より詳細には、本実施形態の一態様に係る３次元モデル生成装置は、実施形態１で説明したデプス領域選択部８、基礎モデル生成部９及び詳細モデル生成部１０を備えている。当該構成において、デプス領域選択部８は、受信した入力デプスのうちから選択デプスを選択する。次に、基礎モデル生成部９は、デプス領域選択部８が選択した選択デプスを参照して基礎モデルを生成（更新）する。次に、詳細モデル生成部１０は、受信した入力デプスと、基礎モデル生成部９が生成した基礎モデルとを参照して、詳細モデルを生成（更新）する。
【０１６２】
また、本実施形態の別の態様に係る３次元モデル生成装置は、実施形態２で説明したデプスフレーム選択部７３、基礎モデル生成部９及び詳細モデル生成部１０を備えている。当該構成において、デプスフレーム選択部７３は、受信した入力デプスから構成されるフレームのうちから、選択フレームを選択する。次に、基礎モデル生成部９は、デプスフレーム選択部９が選択した選択フレームが含む選択デプスを参照して基礎モデルを生成（更新）する。次に、詳細モデル生成部１０は、受信した入力デプスと、基礎モデル生成部９が生成した基礎モデルとを参照して、詳細モデルを生成（更新）する。
【０１６３】
また、本実施形態のさらに別の態様に係る３次元モデル生成装置は、実施形態３で説明した基礎モデル更新部１０３、基礎モデル生成部９及び詳細モデル生成部１０を備えている。当該構成において、基礎モデル更新部１０３は、基礎モデル生成部９が過去に生成した基礎モデルのうちから参照部分を選択し、当該参照モデルを参照して、参照基礎モデルを生成（更新）する。次に、基礎モデル生成部９は、受信した入力デプスと、基礎モデル更新部１０３が生成した参照基礎モデルとを参照して基礎モデルを生成（更新）する。詳細モデル生成部１０は、受信した入力デプスと、基礎モデル生成部９が生成した基礎モデルとを参照して、詳細モデルを生成（更新）する。
【０１６４】
以上の構成を採用することにより、上記の各態様において、基礎モデルに基づいた信頼度の高い詳細モデル（撮影対象の形状との乖離が抑制された詳細モデル）を生成することができる。これにより、３次元映像の技術分野において、当該信頼度の高い詳細モデルを、適宜使用することができる。
【０１６５】
〔付記事項〕
以下で、上述の実施形態１〜４の付記事項について説明する。
【０１６６】
（３以上のモデル階層）
上述の実施形態１〜４の画像処理方法は、基礎モデル生成部９が基礎モデルを生成し、詳細モデル生成部１０が当該基礎モデルを参照して詳細モデルを生成する２階層の構成を有していた。しかし、当該構成に限定されず、基礎モデル及び詳細モデル以外にさらなる３次元モデルを生成する３階層以上の構成を採用してもよい。
【０１６７】
より詳細には、さらに第２の基礎モデルを生成する第２基礎モデル生成部をさらに設け、当該第２基礎モデル生成部は、第２の基礎モデルを生成してもよい。その場合、基礎モデル生成部９は、当該第２の基礎モデルを参照して第１の基礎モデルを生成し、詳細モデル生成部１０は、当該第１の基礎モデルを参照して詳細モデルを生成する。以上のような構成を採用することにより、処理は複雑化するが、より正確な３次元モデルを生成することができる。なお、当該構成では、上の階層のモデル（上記の例では、第２の基礎モデル）には、より厳選された入力デプスを用いることが好ましい。
【０１６８】
（実施形態１及び実施形態２の組み合わせ）
上述の実施形態１（空間選択）と実施形態２（時間選択）とを組み合わせた構成を採用してもよい。これにより、併用することで処理は複雑化するが、より信頼度の高い基礎モデルを構築できる。
【０１６９】
（基礎モデル及び詳細モデルのフォーマット）
上述の基礎モデル生成部９が生成する基礎モデルのフォーマットは、メッシュ表現に限らず別の表現でもよい。より詳細には、例えば、基礎モデル生成部９は、ボリューム表現（TSDF表現）の基礎モデルを生成してもよい。詳細モデルについても同様に、フォーマットとして別の表現を用いてもよい。
【０１７０】
また、実施形態１〜４の説明において、基礎モデル及び詳細モデルは、必ずしも一貫して同じ表現である必要はない。異なる形式でモデルが表現されている場合、必要に応じて、基礎モデル又は詳細モデルをメッシュ表現等の形式に変換して用いるよう実施形態の構成を変更することができる。
【０１７１】
（デプス以外の情報の併用）
実施形態１に係るデプス領域選択部８は、入力デプス以外の情報を利用して領域選択してもよい。また、実施形態２に係るデプスフレーム選択部７３は、入力デプス以外の情報を利用してフレーム選択してもよい。より詳細には、例えば、デプス領域選択部８は、取得部７からRGB画像（画像データ）をさらに取得し、RGB画像のうちで人と認識された領域を選択デプスとして選択してもよい（デプスフレーム選択部７３の場合、当該領域を含むフレームを選択フレームとして選択する）。また、別の例では、デプス領域選択部８は、RGB画像と入力デプスの輪郭とが一致する領域を選択デプスとして選択してもよい（デプスフレーム選択部７３の場合、当該領域を含むフレームを選択フレームとして選択する）。また、別の例では、デプス領域選択部８は、マーカーが検出された領域を選択デプスとして選択してもよい（デプスフレーム選択部７３の場合、当該領域を含むフレームを選択フレームとして選択する）。以上の各構成を採用することにより、必要データが増加するが、より信頼度の高い基礎モデルを構築できる。
【０１７２】
（断続的に基礎モデルを参照する）
詳細モデル生成部１０は、基礎モデルを参照せずに、入力モデルのみを参照して詳細モデルを生成してもよい。その場合、詳細モデル生成部１０は、所定の期間、基礎モデルを参照せずに詳細モデルを生成し、断続的に、基礎モデルを参照して詳細モデルを生成する。以上の構成を採用することにより、詳細モデルの劣化が一定期間波及するが、詳細モデル生成の処理量を軽減することができる。
【０１７３】
〔ソフトウェアによる実現例〕
画像処理装置１０１の制御ブロック（特にデプス領域選択部８、基礎モデル生成部９、及びデプスフレーム選択部７３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【０１７４】
後者の場合、画像処理装置１０１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１７５】
〔まとめ〕
本発明の態様１に係る画像処理装置（１、７０、１００）は、撮影対象の３次元形状を示す入力デプスを取得する取得部（７）と、上記取得部が取得した上記入力デプスの一部に基づいた基礎モデルを生成する基礎モデル生成部（９、５０）と、上記入力デプス及び上記基礎モデルを参照して、上記撮影対象の詳細モデルを生成する詳細モデル生成部（１０）と、を備えている。
【０１７６】
上記の構成によれば、入力デプスから直接、詳細モデルを生成する場合と異なり、まず、基礎モデルを生成し、当該基礎モデルをさらに参照して詳細モデルを生成する。これにより、適宜、信頼度の高いデータに基づいて基礎モデルを生成することで、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる（詳細モデルの品質の低下を抑制することができる）。また、詳細モデルの形状と撮影対象の形状とが乖離し始めた場合であっても、当該乖離の、基礎モデルへの波及を抑制することができ、基礎モデルの信頼度を維持できる。従って、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１７７】
本発明の態様２に係る画像処理装置（１）は、上記態様１において、上記取得部が取得した上記入力デプスのうちから選択デプスを選択するデプス選択部（デプス領域選択部８、３０）をさらに備え、上記基礎モデル生成部は、上記選択デプスを参照して、上記基礎モデルを生成してもよい。
【０１７８】
上記の構成によれば、適宜、信頼度の高い選択デプスを選択することにより、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができる。従って、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１７９】
本発明の態様３に係る画像処理装置（１）は、上記態様２において、上記デプス選択部（デプス領域選択部８）は、上記入力デプスをセグメント化するセグメンテーション部（２０）と、上記セグメンテーション部がセグメント化した上記入力デプスから、上記撮影対象に対応する入力デプスを上記選択デプスとして抽出する選択デプス抽出部（デプス抽出部２２）と、を備えていてもよい。
【０１８０】
上記の構成によれば、入力デプスセグメントの信頼度を所定の基準により判定して信頼度の高いセグメントを抽出することで、信頼度の高い入力デプスを選択デプスとして選択できる。従って、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができ、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１８１】
本発明の態様４に係る画像処理装置（１）は、上記態様２において、上記デプス選択部（デプス領域選択部３０）は、上記入力デプスの局所特徴量を算出する局所特徴量算出部（３１）と、上記局所特徴量を参照して、上記入力デプスのうちから上記選択デプスを抽出する選択デプス抽出部（デプス抽出部３３）と、を備えていてもよい。
【０１８２】
上記の構成によれば、局所特徴量に基づいて、信頼度の高い入力デプスを選択デプスとして選択できる。従って、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができ、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１８３】
本発明の態様５に係る画像処理装置（１）は、上記態様２〜４において、上記基礎モデル生成部は、上記選択デプスと生成済みの基礎モデルとの変形パラメータを推定する変形パラメータ推定部（基礎モデル変形推定部４０）と、上記変形パラメータを用いて生成済みの基礎モデルを変形することにより、上記基礎モデルを更新する基礎モデル変形部（基礎モデル変形部４１）と、を備えていてもよい。
【０１８４】
上記の構成によれば、選択デプスと、生成済みの基礎モデルとの変形パラメータに基づいて基礎モデルを更新することができる。これにより、信頼度の高い基礎モデルを生成することができ、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１８５】
本発明の態様６に係る画像処理装置（１）は、上記態様２〜４において、上記基礎モデル生成部は、上記選択デプスと生成済みの基礎モデルとの変形パラメータを推定する変形パラメータ推定部（基礎モデル変形推定部４０）と、上記選択デプスを、上記変形パラメータを用いて変形し、当該選択デプスを参照して、参照基礎モデルを生成する参照基礎モデル生成部（デプス統合部５１）と、上記変形パラメータを用いて上記参照基礎モデルを変形することにより、上記基礎モデルを更新する参照基礎モデル変形部（基礎モデル変形部４１）と、を備えていてもよい。
【０１８６】
上記の構成によれば、選択デプスと、生成済みの基礎モデルとの変形パラメータに基づいた参照基礎モデルを用いて基礎モデルを更新することができる。これにより、信頼度の高い基礎モデルを生成することができ、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１８７】
本発明の態様７に係る画像処理装置（１）は、上記態様２〜６において、上記詳細モデル生成部は、上記基礎モデルと生成済みの詳細モデルとの基礎変形パラメータを推定する基礎変形パラメータ推定部（基礎変形推定部６０）と、上記基礎変形パラメータを初期値とした、上記入力デプスに対応する詳細モデルと生成済みの詳細モデルとの詳細モデル変形パラメータを推定する詳細モデル変形パラメータ推定部（詳細モデル変形推定部６１）と、上記詳細モデル変形パラメータを用いて生成済みの詳細モデルを変形することにより、上記詳細モデルを更新する詳細モデル変形部（６２）と、を備えていてもよい。
【０１８８】
上記の構成によれば、基礎モデルから推定された基礎変形パラメータに基づいて、詳細モデル変形パラメータを推定できる。これにより、信頼度の高い詳細モデル変形パラメータを用いて詳細モデルを更新することができるため、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１８９】
本発明の態様８に係る画像処理装置（７１）は、上記態様１において、上記取得部が取得した上記入力デプスから構成されるフレームのうちから、選択フレームを選択するフレーム選択部（デプスフレーム選択部７３）をさらに備え、上記基礎モデル生成部は、上記選択フレームが含む選択デプスを参照して、上記基礎モデルを生成してもよい。
【０１９０】
上記の構成によれば、入力デプスの品質に時間変動がある場合、適宜、信頼度の高いフレームを選択デプスとして選択することにより、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができる。従って、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１９１】
本発明の態様９に係る画像処理装置（７１）は、上記態様８において、上記フレーム選択部は、上記入力デプスのフレーム特徴量を算出するフレーム特徴量算出部（８０）と、上記フレーム特徴量を参照して、上記入力デプスから構成されるフレームのうちから、上記選択フレームを抽出するフレーム抽出部（デプス抽出部８２）と、を備えていてもよい。
【０１９２】
上記の構成によれば、フレーム特徴量に基づいて、信頼度の高いフレームを選択フレームとして選択できる。従って、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができ、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１９３】
本発明の態様１０に係る画像処理装置（７１）は、上記態様８において、上記フレーム選択部は、上記入力デプスを参照して、上記撮影対象を撮影したカメラのカメラポーズを推定するカメラポーズ推定部（９１）と、上記カメラポーズを参照して、上記入力デプスから構成されるフレームのうちから、上記選択フレームを抽出するフレーム抽出部（デプス抽出部９３）と、を備えていてもよい。
【０１９４】
上記の構成によれば、カメラポーズに基づいて、信頼度の高いフレームを選択フレームとして選択でき、誤ったカメラポーズを用いて基礎モデルを構築することで基礎モデルの大きな劣化が発生する頻度を減らすことができる。従って、当該選択デプスに基づいた信頼度の高い基礎モデルを生成することができ、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１９５】
本発明の態様１１に係る画像処理装置（１０１）は、上記態様１において、上記基礎モデルのうちから参照部分を選択する部分選択部（基礎モデル更新部１０３）と、上記参照部分を参照して、参照基礎モデルを生成する参照基礎モデル生成部（基礎モデル更新部１０３）と、をさらに備え、上記基礎モデル生成部は、上記参照基礎モデルを参照して、上記基礎モデルを更新してもよい。
【０１９６】
上記の構成によれば、適宜、信頼度の高い参照部分を選択し、当該参照部分に基づいた信頼度の高い参照基礎モデルを生成することができ、当該参照基礎モデルに基づいて信頼度の高い基礎モデルを生成することができる。これにより、基礎モデルの品質が劣化し始めた場合でも、後続の基礎モデルへの影響を抑制することができる。また、同様に、詳細モデルの品質が劣化し始めた場合でも、後続の詳細モデルへの影響を抑制することができる。従って、詳細モデルの形状と撮影対象の形状との乖離を抑制することができる。
【０１９７】
本発明の態様１２に係る表示装置（１、７０、１００）は、上記態様１〜１１の何れか１つの画像処理装置と、上記詳細モデルを参照して、再生視点からの上記撮影対象を示す再生視点画像を合成する合成部（再生視点画像合成部１３）と、上記再生視点画像を表示する表示部（３）と、を備えている。
【０１９８】
上記の構成によれば、撮影対象の形状との乖離が抑制された詳細モデルに基づいて、高品質な再生視点画像を合成及び表示することができる。
【０１９９】
本発明の態様１３に係る画像処理方法は、撮影対象の３次元形状を示す入力デプスを取得する取得工程と、上記取得工程で取得した上記入力デプスの一部に基づいた基礎モデルを生成する基礎モデル生成工程と、上記入力デプス及び上記基礎モデルを参照して、上記撮影対象の詳細モデルを生成する詳細モデル生成工程と、を含む。
【０２００】
上記の構成によれば、上記態様１が奏する効果と同様の効果を奏する。
【０２０１】
本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０２０２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【０２０３】
１、７０、１００  表示装置
２、７１、１０１  画像処理装置
３  表示部
４、７２、１０２  画像処理部
５  記憶部
６  受付部
７  取得部
８、３０  デプス領域選択部
９、５０  基礎モデル生成部
１０  詳細モデル生成部
１１  ライブモデル生成部
１２  視点デプス合成部
１３  再生視点画像合成部
２０  セグメンテーション部
２１  セグメント判定部
２２、３３、８２、９３  デプス抽出部
３１  局所特徴量算出部
３２  局所特徴量比較部
４０  基礎モデル変形推定部
４１  基礎モデル変形部
４２  基礎モデル蓄積部
５１  デプス統合部
６０  基礎変形推定部
６１  詳細モデル変形推定部
６２  詳細モデル変形部
６３  詳細モデル蓄積部
７３、９０  デプスフレーム選択部
８０  フレーム特徴量算出部
８１  フレーム特徴量判定部
９１  カメラポーズ推定部
９２  カメラポーズ信頼度判定部
１０３  基礎モデル更新部
【図１】
2019167760.tif 000003
【図２】
2019167760.tif 000004
【図３】
2019167760.tif 000005
【図４】
2019167760.tif 000006
【図５】
2019167760.tif 000007
【図６】
2019167760.tif 000008
【図７】
2019167760.tif 000009
【図８】
2019167760.tif 000010
【図９】
2019167760.tif 000011
【図１０】
2019167760.tif 000012
【図１１】
2019167760.tif 000013
【図１２】
2019167760.tif 000014
【図１３】
2019167760.tif 000015
【図１４】
2019167760.tif 000016
【図１５】
2019167760.tif 000017
【図１６】
2019167760.tif 000018
【図１７】
2019167760.tif 000019
【図１８】
2019167760.tif 000020
【図１９】
2019167760.tif 000021
【図２０】
2019167760.tif 000022
【図２１】
2019167760.tif 000023
【図２２】
2019167760.tif 000024
【図２３】
2019167760.tif 000025
【図２４】
2019167760.tif 000026
【図２５】
2019167760.tif 000027
【図２６】
2019167760.tif 000028
【図２７】
2019167760.tif 000029
【国際調査報告】
2019167760.tif 000030
2019167760.tif 000031
2019167760.tif 000032