(57)【要約】  画像処理装置（２、１１、２１、３１）は、取得部（４）は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得し、生成部（６）は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
2019031386.tif 000002
【特許請求の範囲】
【請求項１】
表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部と、
上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、
上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、
上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理装置。
【請求項２】
上記部分３Ｄモデルデータは、上記表示対象の３次元形状を部分的に示すデプス、ポイントクラウド及びメッシュの少なくとも１つ以上のデータであることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
上記取得部は、上記複数の部分３Ｄモデルデータのうちで、初期視点に相対する上記表示対象の部分を示す部分３Ｄモデルデータ、及び推奨視点に相対する上記表示対象の部分を示す部分３Ｄモデルデータ、の少なくとも１つ以上のデータを優先して取得することを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項４】
上記取得部は、上記再生視点に依存せずに、上記複数の部分３Ｄモデルデータを取得することを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項５】
上記取得部は、初期参照モデル構築用の複数の部分３Ｄモデルデータを取得し、
上記生成部は、当該初期参照モデル構築用の複数の部分３Ｄモデルデータを参照して、初期参照モデルを生成することを特徴とする、請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
上記複数の部分３Ｄモデルデータは、上記表示対象の３次元形状を部分的に示す複数のデプスであり、
上記生成部は、上記デプスに関連付けられた上記順番で、当該デプス及び上記参照モデルを参照して、当該参照モデルと、当該デプスに対応する参照モデルとの位置関係を示すワープフィールドを推定し、当該ワープフィールドを参照して上記参照モデルを更新することを特徴とする、請求項４に記載の画像処理装置。
【請求項７】
上記取得部は、上記デプスと共に、当該デプスの視点に関する視点情報を取得することを特徴とする、請求項６に記載の画像処理装置。
【請求項８】
上記取得部は、上記複数のデプスに関連付けられた順番は、上記視点情報が示す上記デプスの視点に応じた順序における順番であって、
上記順序は、先行する順番のデプスの視点から離れた視点のデプスを次の順番のデプスとして優先する順序であることを特徴とする、請求項７に記載の画像処理装置。
【請求項９】
上記取得部は、上記表示対象の画像データをさらに取得し、
上記生成部は、上記画像データをさらに参照して上記参照モデルを更新することを特徴とする、請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部と、
上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、
上記画像データ及び上記複数の部分３Ｄモデルデータを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、
上記参照モデルを参照して、上記再生視点画像に対して画像補完又はフィルタ処理を行う補正部と、を備え、
上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理装置。
【請求項１１】
表示対象の画像データを取得する取得部と、
上記画像データを参照して、上記表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを推定する推定部と、
上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、
上記画像データ及び上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、
上記生成部は、上記推定部が上記部分３Ｄモデルデータを推定する毎に、当該部分３Ｄモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理装置。
【請求項１２】
請求項１〜１０の何れか１項に記載の画像処理装置と、
上記再生視点画像を表示する表示部と、を備えていることを特徴とする、表示装置。
【請求項１３】
表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを送信する送信部を備えていることを特徴とする、画像送信装置。
【請求項１４】
表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得工程と、
上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成工程と、
上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成工程と、を含み、
上記生成工程では、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新することを特徴とする、画像処理方法。
【請求項１５】
請求項１に記載の画像処理装置としてコンピュータを機能させるための制御プログラムであって、上記取得部、上記生成部及び上記合成部としてコンピュータを機能させるための制御プログラム。
【請求項１６】
請求項１５に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、主に、再生視点からの表示対象を示す画像を合成する画像処理装置に関する。
【背景技術】
【０００２】
一般的に、再生視点（映像の再生時における視点）の選択が可能な映像サービスを実現するためのシステムの例として、画像及びデプスを利用したシステムが挙げられる。例えば、当該システムの具体例として、Depth Image-based Rendering（ＤＩＢＲ）が挙げられる。【０００３】
ＤＩＢＲについて以下で説明する。まず、特定の視点からの表示対象を示した画像データと、当該視点から当該表示対象までのデプスとを受信する。次に、受信したデプスの視点を再生視点に応じて変換して再生視点デプスを合成する。次に、再生視点と、合成した再生視点デプスと、受信した画像データとに基づいて、再生視点画像を合成する。【０００４】
上記のような構成を有するＤＩＢＲの例を示す文献として、特許文献１が挙げられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国公開特許公報「特開２０１５−８７８５１号公報（２０１５年５月７日公開）」
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のＤＩＢＲでは、指定された再生視点の再生画像を、受信データ（映像＋デプス）に基づいて合成して提示する。しかし、帯域の制限により、各時刻で受信可能な表示対象のデプス等の３Ｄモデルデータ（表示対象の３次元形状を示す情報）がサンプル数の点又はノイズ若しくはホール等の精度の点で限定されるため、合成される画像の品質が低いという問題がある。【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像データと３Ｄモデルデータとに基づいて再生視点画像を合成する画像処理装置において、３Ｄモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。【０００９】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記複数の部分３Ｄモデルデータを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、上記参照モデルを参照して、上記再生視点画像に対して画像補完又はフィルタ処理を行う補正部と、を備え、上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。【００１０】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、表示対象の画像データを取得する取得部と、上記画像データを参照して、上記表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを推定する推定部と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、上記生成部は、上記推定部が上記部分３Ｄモデルデータを推定する毎に、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。【００１１】
上記の課題を解決するために、本発明の一態様に係る画像送信装置は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを送信する送信部を備えている。【００１２】
上記の課題を解決するために、本発明の一態様に係る画像処理方法は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得工程と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成工程と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成工程と、を含み、上記生成工程では、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
【発明の効果】
【００１３】
本発明の一態様によれば、画像データと３Ｄモデルデータとに基づいて再生視点画像を合成する画像処理装置において、３Ｄモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の各実施形態で用いられる部分３Ｄモデルデータの一例を示す図である。
【図２】本発明の実施形態１に係る画像処理装置を備えている表示装置の構成を示すブロック図である。
【図３】本発明の実施形態１に係る画像処理装置による画像処理方法の一例を説明するフローチャート図である。
【図４】本発明の実施形態２に係る画像処理装置を備えている表示装置の構成を示すブロック図である。
【図５】本発明の実施形態２に係る画像処理装置による画像処理方法の一例を説明するフローチャート図である。
【図６】本発明の各実施形態で用いられるワープフィールドを説明するための図である。
【図７】本発明の各実施形態で用いられる視点情報の一例を説明するための図である。
【図８】（ａ）〜（ｄ）は、それぞれ、本発明の各実施形態で用いられるデプス及び視点情報のデータ構成の例を示す図である。
【図９】本発明の実施形態２に係る画像処理装置が複数のデプスのうちで特定のデプスを優先して取得する構成の第１の例を説明するための図である。
【図１０】本発明の実施形態２に係る画像処理装置が複数のデプスのうちで特定のデプスを優先して取得する構成の第２の例を説明するための図である。
【図１１】本発明の実施形態２に係る画像処理装置が複数のデプスのうちで特定のデプスを優先して取得する構成の第３の例を説明するための図である。
【図１２】本発明の実施形態３に係る画像処理装置による画像処理方法の概要を説明するフローチャート図である。
【図１３】本発明の実施形態３に係る画像処理装置が実行するモデル初期化を具体的に説明するフローチャート図である。
【図１４】本発明の実施形態４に係る画像処理装置を備えている表示装置の構成を示すブロック図である。
【図１５】本発明の実施形態５に係る画像処理装置を備えている表示装置の構成を示すブロック図である。
【図１６】本発明の各実施形態に係る表示装置と画像送信装置とを含む画像送受信システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
【００１６】
まず、以下で、本発明の各実施形態で用いられる用語の定義を説明する。本願明細書における用語「画像データ」とは、特定の視点からの表示対象を示す画像（各画素の色情報等）を示す。なお、本願明細書における画像は、静止画像及び動画像を含む。
【００１７】
また、本願明細書における用語「部分３Ｄモデルデータ」とは、表示対象の３次元形状を部分的に示すデータを意味する。「部分３Ｄモデルデータ」の例として、特定の視点からのデプス、ポイントクラウド（点群の部分集合）、及びメッシュ（頂点、接続及び表面等を示すメッシュデータの部分集合）等が挙げられる。加えて、デプスデータ、ポイントクラウド、又はメッシュに変換可能なデータも部分３Ｄモデルデータに含まれる。例えば、異なる位置から同一対象を撮影した画像データの集合からはステレオマッチングによりデプスデータが抽出できるため、当該画像データの集合も部分３Ｄモデルデータに含まれる。また、例えば、同一の位置から異なる焦点距離で対象を撮影した画像データの集合からもデプスデータが抽出できるため、当該画像データの集合も部分３Ｄモデルデータに含まれる。
【００１８】
図１は、部分３Ｄモデルデータの例を示す図である。図１が示す３Ｄモデルデータ（メッシュ）は、太枠Ｂで囲われた表示対象の部分が部分３Ｄモデルデータの一例であり、太枠Ａで囲われた図が、当該部分３Ｄモデルデータの拡大図である。
【００１９】
また、本願明細書における用語「参照モデル」とは、部分３Ｄモデルデータを統合して作成される表示対象の部分又は全体を表現する３Ｄモデルを示す。
【００２０】
また、本願明細書における用語「再生デプス」とは、再生視点から表示対象の各部分までのデプス（奥行き）を示す。
【００２１】
〔実施形態１〕
（画像処理装置２）
本実施形態に係る画像処理装置２について、図２を参照して詳細に説明する。図２は、本実施形態に係る表示装置１の構成を示すブロック図である。図２が示すように、表示装置１は、画像処理装置２及び表示部３を備えている。画像処理装置２は、取得部４、受付部５、更新部６（請求項における生成部に相当）、視点デプス合成部７、及び再生視点画像合成部８を備えている。
【００２２】
取得部４は、表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを取得する。複数の部分３Ｄモデルデータの取得に関して、より詳細には、取得部４は、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する。当該構成について、例えば、取得部４は、それぞれ異なる時刻に関連付けられた複数の部分３Ｄモデルデータを、当該時刻に対応する順番で取得する。なお、ここにおける「時刻」については後述する。
【００２３】
受付部５は、画像処理装置２の外部から再生視点（再生視点に関する情報）を受け付ける。
【００２４】
更新部６は、取得部４が取得した部分３Ｄモデルデータを参照して、参照モデルを更新する。より詳細には、更新部６は、取得部４が取得した部分３Ｄモデルデータに関連付けられた上述の順番で、当該部分３Ｄモデルデータを参照して参照モデルを更新する。
【００２５】
視点デプス合成部７は、受付部５が受け付けた再生視点と、更新部６が更新した参照モデルとを参照して、再生視点から表示対象の各部分までのデプスである再生デプスを合成する。
【００２６】
再生視点画像合成部８は、受付部５が受け付けた再生視点と、取得部４が取得した画像データと、視点デプス合成部７が合成した再生デプスとを参照して、再生視点からの表示対象を示す再生視点画像を合成する。
【００２７】
表示部３は、再生視点画像合成部８が合成した再生視点画像を表示する。表示部３の例として、ヘッドマウントディスプレイ等が挙げられる。
【００２８】
（画像処理方法）
本実施形態に係る画像処理装置２による画像処理方法について、図３を参照して説明する。図３は、本実施形態に係る画像処理装置２による画像処理方法の一例を説明するフローチャート図である。
【００２９】
まず、図３が示すように、受付部５は、画像処理装置２の外部から再生視点（再生視点に関する情報）を受け付ける（ステップＳ０）。受付部５は、受け付けた再生視点を、取得部４、視点デプス合成部７及び再生視点画像合成部８に送信する。なお、受付部５が受け付ける再生視点は、表示装置１の使用者が設定した再生視点であってもよく、表示装置１が指定した再生視点であってもよい。
【００３０】
次に、取得部４は、表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す部分３Ｄモデルデータを取得する（ステップＳ１）。取得部４が取得する複数の部分３Ｄモデルデータ（単一又は少数の部分３Ｄモデルデータ）にはそれぞれ時刻が関連付けられている。なお、ここにおける複数の部分３Ｄモデルデータは、それぞれ、表示対象の異なる部分を示すデータであることが好ましい。また、部分３Ｄモデルデータに関連付けられた時刻は、例えば、デプスデータが示す画像を表示するべき表示時刻である。また、必ずしも時刻に限らず、所定順序（例えば表示順）における順番が関連付けられていてもよい。
【００３１】
次に、取得部４は、取得した画像データのうちで復号する画像データを、受付部５が受け付けた再生視点に応じて選択する（ステップＳ２）。なお、ステップＳ２の代わりに、ステップＳ１において、取得部４は、受付部５が受け付けた再生視点に応じた画像データを選択して取得してもよい。
【００３２】
次に、取得部４は、選択した画像データと、取得した部分３Ｄモデルデータとを復号する（ステップＳ３）。そして、取得部４は、復号した画像データを再生視点画像合成部８に送信し、復号した部分３Ｄモデルデータを更新部６に送信する。
【００３３】
次に、更新部６は、取得部４から受信した部分３Ｄモデルデータに関連付けられた時刻（所定順序における順番）に応じて、当該部分３Ｄモデルデータを参照して、参照モデルを更新する（ステップＳ４）。また、好ましくは、ステップＳ４において、更新部６は、取得部４から部分３Ｄモデルデータを受信する毎に（つまり、取得部４が部分３Ｄモデルデータを取得する毎に）、当該部分３Ｄモデルデータを参照して、参照モデルを更新する。そして、更新部６は、更新した参照モデルを視点デプス合成部７に送信する。なお、ステップＳ４の工程を行う際に参照モデルがまだ生成されていない場合、更新部６は、取得部４から受信した部分３Ｄモデルデータを参照モデルとして視点デプス合成部７に送信してもよい。
【００３４】
次に、視点デプス合成部７は、受付部５から受信した再生視点と、更新部６が更新した参照モデルとを参照して、再生視点から表示対象の各部分までのデプスである再生デプスを合成する（ステップＳ５）。そして、視点デプス合成部７は、合成した再生デプスを再生視点画像合成部８に送信する。
【００３５】
次に、再生視点画像合成部８は、受付部５から受信した再生視点と、取得部４から受信した画像データと、視点デプス合成部７から受信した再生デプスとを参照して、再生視点からの表示対象を示す再生視点画像を合成する（ステップＳ６）。そして、再生視点画像合成部８は、合成した再生視点画像を表示部３に送信する。表示部３は、再生視点画像合成部から受信した再生視点画像を表示する。
【００３６】
なお、上記のステップＳ０からステップＳ６までの工程によって、再生視点画像の各フレームが合成される。そして、ステップＳ０からステップＳ６までの工程は、表示装置１による映像の再生が終了するまで繰り返し実行される。
【００３７】
（優先して取得する部分３Ｄモデルデータ）
以下で、ステップＳ１において取得部４が複数の部分３Ｄモデルデータのうちで優先して取得するデータについて説明する。
【００３８】
例えば、取得部４が任意の順番で部分３Ｄモデルデータを取得した場合、適用される再生視点によっては、再生視点映像の合成に必要な情報（及び参照モデルの合成に必要な情報）が揃わない状況が発生するという問題がある。そこで、取得部４は、以下で例示する順序又はこれらの組み合わせで、部分３Ｄモデルデータを取得することが好ましい。なお、当該項目で説明する構成は、取得部４が後述する画像送信装置４１に必要な部分３Ｄモデルデータを要求することによって実現してもよいし、画像送信装置４１によって必要な部分３Ｄモデルデータを順次送信することによって実現してもよい。
【００３９】
（１）再生視点に関連する部分を優先する
例１：取得部４は、ステップＳ１において、ステップＳ０で受付部５が受け付けた再生視点に相対する表示対象の部分を示す部分３Ｄモデルデータを優先して取得する。
【００４０】
例２：取得部４は、ステップＳ１において、ステップＳ０で受付部５が受け付けた再生視点の初期視点（再生視点画像の再生開始時の視点）に相対する表示対象の部分を示す部分３Ｄモデルデータを優先して取得する。
【００４１】
例３：取得部４は、ステップＳ１において、ステップＳ０で所定の視点に相対する上記表示対象の部分を示す部分３Ｄモデルデータを優先して取得する。なお、ここにおける所定の視点（いわゆる、既定の標準視点又はおすすめ視点（推奨視点））は、表示装置１の使用者が設定したものであってもよく、表示装置１が設定したものであってもよい。
【００４２】
なお、上記例において、特定視点に相対する部分３Ｄモデルデータとは、特定視点から観察可能な３Ｄモデルの部分を含む部分３Ｄモデルデータを示す。また、特定視点に相対する部分３Ｄモデルデータを優先して取得することは、例えば、特定視点に相対する部分３Ｄモデルデータを、特定視点に相対しない部分３Ｄモデルデータよりも先に取得することを意味する。または、特定視点に相対する部分３Ｄモデルデータを優先して取得することは、例えば、所定の時間区間において、特定視点に相対する部分３Ｄモデルデータを、特定視点に相対しない部分３Ｄモデルデータよりも多数受信することを意味する。
【００４３】
当該例１〜３の構成のうち、少なくとも１つ以上の構成を採用することにより、再生視点映像の合成に必要な部分３Ｄモデルデータを、適宜、準備することができる。
【００４４】
（２）粗い部分３Ｄモデルデータを優先する
例１：取得部４は、表示対象のより広い部分に対応し且つ規定の間隔で間引かれた頂点情報を含む部分３Ｄモデルデータを優先して取得する。
【００４５】
当該例１の構成を採用することによって、帯域の制限により取得可能な部分３Ｄモデルデータの情報量が限定されている状況において、再生視点の移動が頻繁に生じた場合でも、再生視点画像合成に必要な表示対象の部分に対応する部分３Ｄモデルデータが存在せずに再生視点画像の画質が著しく劣化することを抑制できる。
【００４６】
（参照モデル更新処理の具体例）
以下で、ステップＳ４において更新部６が参照モデルを更新する方法の具体例について説明する。まず、ステップＳ４において更新部６が参照モデルを更新する際に参照する部分３Ｄモデルデータの具体例について説明する。
【００４７】
例えば、部分３Ｄモデルデータは、参照モデルと部分３Ｄモデルデータとの位置関係（相対位置）を示す情報を含む。当該情報は、下記の式（１）で表される。
【００４８】
O1 = {xo1, yo1, zo1}, O2 = {xo2, yo2, zo2}  …式（１）
Ｏ１及びＯ２は、それぞれ、参照モデルを含む空間における２点を示し、当該２点で定まる直方体の範囲が、参照モデルに対する部分３Ｄモデルデータの配置を示す。
【００４９】
また、例えば、部分３Ｄモデルデータは、参照モデルを更新する方法に関する情報を含む。当該情報は、更新方法の種別を示し、当該種別の例として、参照モデルに部分３Ｄモデルデータを追加することによる更新方法、又は参照モデルの一部を部分３Ｄモデルデータで置換することによる更新方法等が挙げられる。
【００５０】
また、例えば、部分３Ｄモデルデータは、下記の式（２）〜（４）で示される部分３Ｄモデルの３次元形状を示す情報を含む。
【００５１】
Vs = {Vs1, Vs2, …}  …式（２）
Es = {Es1, Es2, …}  …式（３）
Esn= {In1, In2, In3}  …式（４）
Ｖｓは、部分３Ｄモデルの頂点情報（頂点の集合）を示す。Ｅｓは、部分３Ｄモデルの隣接する各頂点を接続する頂点接続情報（三角形の集合）を示す。Ｅｓｎは、これらの三角形の各頂点を指定するインデックスを示す。
【００５２】
次に、ステップＳ４において更新部６が更新する参照モデルの具体例について説明する。例えば、参照モデルは、参照モデルの３次元形状を示す情報を含む。当該情報の例として、頂点情報Ｖｒ及び頂点接続情報Ｅｒ等が挙げられる。
【００５３】
次に、上記の部分３Ｄモデルデータ及び参照モデルを用いたステップＳ４の具体例を説明する。例えば、ステップＳ４では、更新部６が下記の（１）〜（４）を順次実行する。（１）更新部６は、上述の参照モデルと部分３Ｄモデルデータとの相対位置を示す情報Ｏ１及びＯ２が示す範囲に対応する参照モデルの範囲を、処理対象範囲に設定する。
（２）更新部６は、上述の更新方法の種別を示す情報が「置換」の場合、（１）で設定した処理対象範囲の頂点情報及び頂点接続情報を消去する。
（３）更新部６は、部分３Ｄモデルデータが含む頂点情報Ｖｓ及び頂点接続情報Ｅｓを、参照モデルに追加する。これにより、参照モデルの頂点情報Ｖｒ及び頂点接続情報Ｅｒは、下記の式（５）及び（６）の和集合で示される。
【００５４】
Vr = Vr U Vs'  …式（５）
Er = Er U Es'  …式（６）
なお、上記の式（５）におけるＶｓ’は、Ｖｓの各頂点に変異Ｏ１を加算した点の集合である。上記の式（６）におけるＥｓ’の頂点インデックスは、Ｅｓの頂点インデックスを、更新されたＶｒにおける頂点インデックスに更新したものである。
（４）更新部６は、（３）の処理後の参照モデルにおいて、処理対象範囲の境界付近の頂点を走査し、互いに隣接し且つ未接続の頂点を接続して、当該接続情報をＥｒに追加する。
【００５５】
なお、上記の参照モデルの更新方法は一例であり、部分３Ｄモデルデータに基づいて、参照モデルデータの内容を修正する別の方法を用いても構わない。
【００５６】
（実施形態１のまとめ）
以上のように、本実施形態に係る画像処理装置２は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得し、部分３Ｄモデルデータに関連付けられた順番で、当該部分３Ｄモデルデータを参照して参照モデルを更新する。そして、画像処理装置２は、画像データと更新した参照モデルとを参照して、再生視点からの表示対象を示す再生視点画像を合成する。
【００５７】
上述の背景技術で説明したＤＩＢＲで利用されるデプスは、特定視点からの表示対象を示す３Ｄ情報しか含んでおらず、表示対象を回り込んで見るようなサービスの実現には不向きであった。しかし、本実施形態に係る画像処理装置２では、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータによって生成された参照モデルを参照して再生視点画像を合成するため、種々の視点からの再生視点画像を好適に合成することができる。
【００５８】
また、本実施形態に係る画像処理装置２は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを取得する。そのため、表示対象の３次元形状の全体を示す３Ｄモデルデータを各時点で受信する場合に比べて、取得する３Ｄモデルデータのデータ量を削減できる。
【００５９】
また、本実施形態に係る画像処理装置２は、部分３Ｄモデルデータに関連付けられた順番で、当該部分３Ｄモデルデータを参照して参照モデルを更新する。当該構成により、従来技術のように単一の３Ｄモデルデータを用いて再生視点画像を合成する構成において生じた、３Ｄモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる。
【００６０】
〔実施形態２〕
実施形態１で説明したように、再生視点に応じて、特定の部分３Ｄモデルデータを優先して取得する構成を採用した場合、更新された参照モデルの状態が過去の再生視点の選択結果に依存する。そのため、過去の再生視点の履歴が異なる場合、同時刻及び同視点における映像の再生結果の振れ幅が大きくなり、再生結果の保証が困難になるという問題がある。そこで、本実施形態に係る画像処理装置１１は、再生視点に依存せずに、複数の部分３Ｄモデルデータを取得する。
【００６１】
上記のような本発明の実施形態２について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態１にて説明した画像処理装置２が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００６２】
（画像処理装置１１）
本実施形態に係る画像処理装置１１について、図４を参照して説明する。図４は、本実施形態に係る表示装置１０の構成を示すブロック図である。図４が示すように、表示装置１０は、画像処理装置１１が推定部９（請求項における生成部に相当）をさらに備えていること以外は、実施形態１に係る表示装置１と同様の構成を有している。なお、本実施形態において、図４に示されたデータＡ及びデータＢは、表示対象の３次元形状を部分的に示すデプス（デプスデータ）、及び当該デプスの視点に関する視点情報である。
【００６３】
推定部９は、取得部４が取得したデプス及び視点情報と、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する。なお、ここにおけるワープフィールドについては後述する。
【００６４】
（画像処理方法）
本実施形態に係る画像処理装置１１による画像処理方法について、図５を参照して、詳細に説明する。図５は、本実施形態に係る画像処理装置１１による画像処理方法の一例を説明するフローチャート図である。なお、実施形態１に係る画像処理方法と同様の工程については、詳細な説明は省略する。
【００６５】
まず、図５が示すように、受付部５は、画像処理装置１１の外部から再生視点（再生視点に関する情報）を受け付ける（ステップＳ１０）。受付部５は、受け付けた再生視点を、取得部４、視点デプス合成部７及び再生視点画像合成部８に送信する。
【００６６】
次に、取得部４は、表示対象の画像データ、当該表示対象の３次元形状を部分的に示すデプス（所定順序における順番に関連付けられたデプス）、及び当該デプスの視点に関する情報（視点情報）を取得する（ステップＳ１１）。デプス及び視点情報の取得に関して、より詳細には、取得部４は、ステップＳ１０で受付部５が受け付けた再生視点に依存せずに、デプス（部分３Ｄモデルデータ）及び視点情報を取得する。
【００６７】
次に、取得部４は、取得した画像データのうちで復号する画像データを、受付部５が受け付けた再生視点に応じて選択する（ステップＳ１２）。
【００６８】
次に、取得部４は、選択した画像データ、並びに、取得したデプス及び視点情報を復号する（ステップＳ１３）。そして、取得部４は、復号した画像データを再生視点画像合成部８に送信し、復号したデプス及び視点情報を推定部９に送信する。
【００６９】
次に、推定部９は、取得部４から受信したデプスに関連付けられた順番で、当該デプス及び視点情報と、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する（ステップＳ１４）。なお、ここにおけるワープフィールドについては後述する。
【００７０】
次に、更新部６は、推定部９が推定したワープフィールドを参照して、参照モデルを更新する（ステップＳ１５）。より詳細には、更新部６は、デプスをワープフィールドに基づいて変換することにより参照モデルを更新する。参照モデルは、変換されたデプスが参照モデルの表面の一部となるように更新される。
【００７１】
次に、視点デプス合成部７は、受付部５から受信した再生視点と、更新部６が生成したライブモデルとを参照して、再生視点から表示対象の各部分までのデプスである再生視点デプスを合成する（ステップＳ１６）。そして、視点デプス合成部７は、合成した再生視点デプスを再生視点画像合成部８に送信する。
【００７２】
次に、再生視点画像合成部８は、受付部５から受信した再生視点と、取得部４から受信した画像データと、視点デプス合成部７から受信した再生視点デプスとを参照して、再生視点からの表示対象を示す再生視点画像を合成する（ステップＳ１７）。そして、再生視点画像合成部８は、合成した再生視点画像を表示部３に送信する。表示部３は、再生視点画像合成部から受信した再生視点画像を表示する。
【００７３】
（ワープフィールド）
以下で、上述のステップＳ１４及びステップＳ１５で用いられるワープフィールドについて、詳細に説明する。ＣＧの分野では、デプスを統合することで３Ｄモデルを構築するDynamicFusionという手法が検討されている。DynamicFusionの目的は、主に、撮影デプスからリアルタイムでノイズ除去した３Ｄモデルを構築することである。DynamicFusionでは、センサから取得されるデプスを３Ｄ形状の変形を補償した上で共通の参照モデルに統合する。これにより、低解像度及び高ノイズのデプスから精密な３Ｄモデルの生成が可能となる。
【００７４】
より詳細には、DynamicFusionでは、以下の（１）〜（３）の工程を行う。
（１）入力デプス（current depth）と基準３Ｄモデル（canonical model）とに基づいてカメラ位置及び動きフローを推定し、３Ｄモデル（current model）を構築する。
（２）３Ｄモデルを視点に合わせてレンダリングして、更新されたデプスを再生デプスとして出力する。
（３）（１）で構築した３Ｄモデルを、３Ｄモデルのカメラ位置及び３Ｄモデルの変形を補償した上で基準３Ｄモデルに統合する。
【００７５】
上記の（１）について、本実施形態に係る画像処理方法では、ステップＳ１４において、推定部９は、取得部４から受信したデプス（入力デプス）及び視点情報と、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する。ここにおけるワープフィールドは、空間の各点で規定される変換（例えば、回転及び並進）の集合であり得る。
【００７６】
ステップＳ１４について、より詳細には、推定部９は、参照モデル上の各点において、変換後の点が入力デプスと近づくような変換（ワープフィールド）を導出する。当該導出処理は、例えば、参照モデルにおける変換後の点と対応するデプスとの距離を評価値とする二乗誤差の最小化を解くことで実現できる。
【００７７】
そして、ステップＳ１５において、更新部６は、ステップＳ１４で推定部９が導出したワープフィールドで参照モデルを変換することにより、ライブモデル（現時刻における３Ｄモデル）を生成する。また、更新部６は、デプス及びワープフィールドを参照して参照モデルを更新する。例えば、ここにおける参照モデルは、空間中の各ボクセルにおけるモデル表面の存在確立として表現される（TSDF: Truncated Signed Distance Functionによる表現）。
【００７８】
図６は、ステップＳ１５を図式化したものである。ステップＳ１５について、より詳細には、更新部６は、ボクセルをワープフィールドにより変換し、変換後のボクセルに入力デプスで表現される点が存在するか否かを判定し、当該判定結果に応じて、ボクセルにおける表面の存在確率を更新する。
【００７９】
（デプス及び視点情報の具体例）
以下で、上述のステップＳ１１で取得部４が取得するデプス及び視点情報の具体例について詳細に説明する。
【００８０】
ステップＳ１１で取得部４が取得するデプス（デプスデータ）は、視点情報と関連付けられた視点位置からのシーン（表示対象）のデプスを記録した画像である。視点情報は、当該デプスの視点（デプス視点）の位置及び方向を特定する情報である。本実施形態に係る画像処理装置１１がこの視点情報を用いることにより、デプス視点の推定処理を省略できるため、再生時の負荷が低減することができる。
【００８１】
視点情報について、より詳細に説明する。一態様において、視点情報は、デプス視点の座標又は変位によって表現される。例えば、視点情報は、各時刻のデプス視点の位置をデータに含む。又は、視点情報は、各時刻のデプス視点の所定視点位置からの変位をデータに含む。所定視点位置としては、例えば、直前の時刻の視点位置、又は既定の視点位置を用いることができる。
【００８２】
また、別の態様において、視点情報は、パラメータ又は関数によって表現される。例えば、視点情報は、時刻とデプス視点の位置との関係を表す変換式を特定する情報をデータに含む。当該情報の例として、各時刻における、表示対象の中心位置とデプス視点の周回軌道とを特定する情報が挙げられる。図７は、当該情報の例を図式化したものである。図７において、表示対象の中心位置（球の中心位置）が位置Ｃで示され、位置Ｃを中心とした半径ｒの球上の位置に、各時刻（ｔ）におけるデプス視点が示されている。
【００８３】
また、時刻とデプス視点の位置との関係を表す変換式を特定する情報の別の例として、デプス視点の軌道及び速度を指定する情報が挙げられる。例えば、当該情報は、カメラ位置の軌道の式、対象視点の軌道の式、カメラ移動速度又は視点移動速度等であり得る。
【００８４】
また、時刻とデプス視点の位置との関係を表す変換式を特定する情報は、各時刻における既定の位置パターンを選択する情報であってもよい。
【００８５】
次に、図８を参照して、ステップＳ１１で取得部４が取得するデプス及び視点情報のデータ構成について説明する。図８の（ａ）〜（ｄ）は、それぞれ、ステップＳ１１で取得部４が取得するデプス及び視点情報のデータ構成の例を示す図である。
【００８６】
例えば、図８の（ａ）が示すように、各時刻（ｔ）における視点情報Ｐｔは、各時刻におけるデプスデータＤｔとインタリーブ（交互配置）されている。また、別の例では、図８の（ｂ）が示すように、時刻０から時刻ｔまでの視点情報Ｐは、ヘッダに格納されている。
【００８７】
図８の（ａ）及び（ｂ）における視点情報Ｐｔは、時刻ｔにおけるカメラの外部パラメータを含む。例えば、当該外部パラメータは、空間内の視点位置を示す情報であり得る（例：xyz空間内の点の位置 p={px, py, pz}）。また、例えば、当該外部パラメータは、視線方向を示す情報であり得る（例：xyz空間のベクトル v={vx, vy, vz}）。また、図８の（ａ）及び（ｂ）における視点情報Ｐｔは、時刻ｔにおけるカメラの外部パラメータを表す別の表現のデータであってもよい。例えば、当該データの例として、既定カメラ位置に対する回転又は並進を示すデータであってもよい。また、視点情報Ｐｔは、カメラの外部パラメータとは別に、カメラの内部パラメータ（例えば、カメラの焦点距離）をさらに含んでもよい。
【００８８】
また、別の例では、図８の（ｃ）が示すように、時刻ｔ＝０における視点情報Ｐ０と、当該視点情報Ｐ０からの各変位ｄＰｔ，ｔ−１とが、各時刻におけるデプスデータＤｔとインタリーブされている。また、別の例では、図８の（ｄ）が示すように、視点情報Ｐ０からの各変位ｄＰｔ，ｔ−１は、ヘッダに格納されている。
【００８９】
図８の（ｃ）及び（ｄ）における視点情報は、特定の時刻の視点位置と時刻間の視点の変位（視点変位ｄＰｔ，ｕ）とを含む。視点変位ｄＰｔ，ｕは、時刻ｕから時刻ｔのカメラ位置及び方向の変化（視点位置変位及び視線方向変位）を示す。ここにおける視点位置変位とは、空間内の視点位置の変化を示す情報を示す（例：xyz空間のベクトル dp={dpx, dpy, dpz}）。また、ここにおける視線方向変位とは、視線方向の変化を示す情報を示す（例：xyz空間の回転行列 R）。
【００９０】
上記の視点変位ｄＰｔ，ｕと、時刻ｔ＝０における視点情報Ｐ０とを用いて、各時刻における視線位置Ｐｔは、下記の式（７）によって求められる。
【００９１】
pt = p0 + Σ{ dpk,k-1 }  …式（７）
また、時刻間の回転を示す回転行列Ｒｔ，ｔ−１を用いて、各時刻における視線方向Ｖｔは、下記の式（８）によって求められる。
【００９２】
vt = Rt,t-1vt-1  …式（８）
本実施形態に係る画像処理装置１１は、視点情報として、上記のような視点位置変位及び視線方向変位を用いる。これにより、表示対象が変わる場合などの、座標系が変わる場合において、初期の視点位置のみを変更すればよく、視点位置変位としては、座標系が変わる前の視点位置変位と同一のものが利用できるため、視点情報の変更が少なくて済むという効果を奏する。
【００９３】
（優先して取得するデプス）
以下で、ステップＳ１１において、取得部４が複数のデプスのうちで優先して取得するデプスについて説明する。
【００９４】
例えば、取得部４は、複数のデプスのうちで取得するデプスの順序として、視点情報が示すデプスの視点に応じた順序でデプスを取得する。より詳細には、取得部４は、ある線分上に配置された視点位置（視点情報が示す視点位置）のうちで、初めに初期位置の視点のデプスを取得し、続いて、初期位置の視点から離れた視点位置のデプスを優先して取得する。図９は、当該構成を図式化したものである。図９において、対象Ｏと、線分上に配置され且つ当該対象Ｏに相対した各時刻（ｔ＝１〜５）の視点位置と、が示されている。
【００９５】
例えば、取得部４は、初期位置の視点からのデプスとして、ｔ＝１の視点のデプスを取得した場合、初期位置から遠い位置の視点のデプス（ｔ＝２又は３の視点のデプス）を取得する。次に、取得部４は、中間位置の視点のデプス（ｔ＝４又は５の視点のデプス）を取得する。
【００９６】
上記のように、取得部４が、複数のデプスのうちで取得するデプスの順序として、視点情報が示すデプスの視点に応じた順序でデプスを取得することにより、表示対象のモデル形状の概要を短い時間で構築できるという効果を奏する。
【００９７】
また、例えば、図９が示すような構成において、取得部４は、ｔ＝１〜５の各視点のデプスを、上述の順序で繰り返し取得してもよい。その場合、取得部４は、ｔ＝１のデプスの取得からｔ＝５のデプス（又はｔ＝４のデプス）の取得までの周期Ｔｐをさらに取得し、当該周期で、ｔ＝１〜５の各視点のデプスを繰り返し取得する。この手順によれば、途中からデプスを受信する際にもモデル形状の概要を短い時間で構築できるという効果を奏する。
【００９８】
また、例えば、図９が示すような構成において、取得部４は、ｔ＝４又は５の視点のデプスを取得した後に、次に取得したデプスの視点と、取得済みのｔ＝１〜５のデプスの何れかの視点との間隔が所定の間隔（最小視点間隔）以下である場合、ｔ＝１〜５の各視点のデプスを繰り返し取得してもよい。その場合、取得部４は、上記の最小視点間隔をデータとしてさらに取得してもよい。
【００９９】
なお、図９が示すような構成において、取得部４が取得する、線分上に配置された視点位置のデプスは、部分曲線上に配置された視点位置のデプス、部分平面上に配置された視点位置のデプス、部分曲面上に配置された視点位置のデプス、又は部分空間上に配置された視点位置のデプスであってもよい。その場合、取得部４は、部分曲線上、部分平面上、部分曲面上又は部分空間上に配置された視点位置（視点情報が示す視点位置）のうちで、初期位置の視点から離れた視点位置のデプスを優先して取得する。また、取得部４は、取得済みのデプスの視点群から離れた視点のデプスを優先して取得してもよい。また、取得部４は、指定個数のデプスの視点群、又は取得済みのデプスの各視点からの距離が所定以下の視点位置のデプスを取得した場合、初期位置の視点のデプスから、再度、取得済みのデプスを繰り返し取得してもよい。
【０１００】
また、別の態様では、ステップＳ１１で取得部４が取得するデプスの視点は、視線として共通の対象点（表示対象の位置を示す点）の方向を向いている。その場合、取得部４は、当該対象点の情報を取得し、当該情報を参照して、取得するデプスの順序を決定する。なお、ここにおける取得部４がデプスを取得する順序は、当該対象点に対して種々の視線方向のデプスを取得できるような順序であることが好ましい。図１０は、当該構成を図式化したものである。図１０において、視点Ｐｔ１〜Ｐｔ８は、それぞれ視線として対象点Ｐｃの方向を向いている。
【０１０１】
図１０が示すような構成において、まず、取得部４は、対象点の位置Ｐｃを取得する。次に、取得部４は、Ｐｔ１の視点位置（時刻ｔ＝１における視点位置）のデプスを取得する。次に、取得部４は、取得済みのデプス（Ｐｔ１のデプス）の視線方向の向きとは最も異なる向きの視線方向を向いたＰｔ２のデプスを取得する。そして、取得部４は、取得済みのデプスの視線方向の向きとは最も異なる向きの視線方向を向いた視点のデプスを取得する工程を繰り返し実行する。取得部４は、取得したデプスの視線と、所定数のデプスの視線又は取得済みのデプスの視線との差分が所定の値以下になるまで、当該工程を繰り返し実行してもよい。
【０１０２】
また、取得部４は、ステップＳ１１において、デプス視点設定可能範囲の情報をさらに取得し、当該情報が示す範囲内となるような制約の元で、デプス及び視点情報を取得してもよい。
【０１０３】
また、取得部４は、ステップＳ１１において、対象点の情報（対象点の位置等）と共に、表示対象の形状を示す情報を取得してもよい。当該情報の例として、対象点を中心とする球又は矩形の形状を示す情報、対象点を基準位置とする３Ｄモデルを示す情報等が挙げられる。取得部４が表示対象の形状を示す情報を取得する場合、表示対象の表面がより少ない視点数でカバーされるような順で、各視点のデプスを取得してもよい。
【０１０４】
また、取得部４は、ステップＳ１１において、表示対象からより離れた距離の視点のデプスを優先して取得してもよい。その場合、取得部４は、ステップＳ１１において、前回取得したデプスの視点よりも、表示対象に近い視点のデプスを取得する。図１１は、当該構成を図式化したものである。図１１において、時刻ｔ＝１〜６における各視点は、視線方向として、表示対象Ｏの方向を向いている。ステップＳ１１において、まず、取得部４は、表示対象から最も遠い位置の視点のデプス（ｔ＝１〜３の視点のデプス）を優先して取得する。次に、取得部４は、取得済のデプスの視点よりも、表示対象に近い視点のデプス（ｔ＝４〜６の視点のデプス）を取得する。以上のような構成を採用することにより、表示対象から離れている方が広い空間範囲のデプスを含んでいるため、それを先に取得することで、より少ないデプスの数で参照モデルの概略形状を構築できる。また、その後に空間解像度の高いデプス（表示対象により近いデプス）を取得することで、参照モデルの形状をより精密に更新できる。
【０１０５】
（変形例）
以下で本実施形態に係る変形例について説明する。本変形例においても、図４に示す画像処理装置１１を用いるが、図４におけるデータＡ及びデータＢは、デプスのみであり、当該デプスの視点に関する情報（視点情報）を含まない。そして、当該構成において、上述のステップＳ１４において、推定部９は、ワープフィールドを推定することに加えて、取得部４から受信したデプスを参照して、当該デプスの視点情報もさらに推定する。これにより、ステップＳ１４以降の各ステップも、上述の通りの方法で実行可能である。
【０１０６】
上記のような構成を採用することにより、ワープフィールド推定の処理量は増えるが、視点情報を取得する必要がないため、データ量の削減が可能である。
【０１０７】
（実施形態２のまとめ）
以上のように、本実施形態に係る画像処理装置１１は、再生視点に依存せずに、上記複数の部分３Ｄモデルデータを取得する。これにより、過去の再生視点の履歴が異なっていても、再生視点に依存しない部分３Ｄモデルデータによって参照モデルを合成するため、同一の部分３Ｄモデルデータを取得した場合、同時刻及び同視点における映像の再生結果は、同一になるという効果を奏する。
【０１０８】
また、本実施形態に係る画像処理装置１１は、デプスに関連付けられた順番で、当該デプス及び参照モデルを参照して、当該参照モデルと、当該デプスに対応する参照モデルとの位置関係を示すワープフィールドを推定し、当該ワープフィールドを参照して参照モデルを更新する。これにより、部分３Ｄモデルデータとしてデプスを用いる構成において、デプスからリアルタイムでノイズが除去された参照モデルを構築することができるため、高品質な再生視点画像を合成できる。
【０１０９】
また、本実施形態に係る画像処理装置１１は、デプスと共に、当該デプスの視点に関する視点情報を取得する。これにより、視点情報が示すデプスの視点に応じて、デプスを選択して取得することができるため、再生視点に応じた参照モデルの構築に必要なデプスを優先して取得することができる。従って、高品質な再生視点画像を合成できる。
【０１１０】
〔実施形態３〕
上述の実施形態１又は実施形態２において、取得部４が複数の部分３Ｄモデルデータ（デプス等）をそれぞれ異なる時点で取得するため、部分３Ｄモデルデータの受信開始後、一定の時間が経つまでは、必要な部分３Ｄモデルデータが揃っていないため、合成された参照モデルが不完全であり、最終的に合成される再生視点画像の画質が低下するという問題がある。そのため、本実施形態では、処理開始時に初期参照モデル構築用の複数の部分３Ｄモデルデータを取得し、当該初期参照モデル構築用の複数の部分３Ｄモデルデータを参照して、初期参照モデルを生成する。例えば、再生視点画像を表示する前に、複数の部分３Ｄモデルデータの一部を初期参照モデル構築要のデータとして取得し、当該複数の部分３Ｄモデルデータを参照して、初期参照モデルを生成する。
【０１１１】
本発明の実施形態３について、図面に基づいて説明すれば、以下のとおりである。なお、本実施形態においても、上述の実施形態１に係る画像処理装置２又は実施形態２に係る画像処理装置１１を用いることができる。そのため、以下の説明では、図４が示す画像処理装置１１を備えている表示装置１０を用いて説明し、表示装置１０が備えている各部材についての説明は省略する。
【０１１２】
以下で、本実施形態に係る画像処理装置１１による画像処理方法について、図１２及び図１３を参照して説明する。図１２は、本実施形態に係る画像処理装置１１による画像処理方法の概要を説明するフローチャート図である。図１２におけるステップＳ２１のフレーム合成は、上述のステップＳ１０〜ステップＳ１７の工程と同様である。図１２が示すように、ステップＳ２１のフレーム合成は、繰り返し実行される。また、図１３は、図１２が示すステップＳ２０のモデル初期化をより具体的に説明するフローチャート図である。つまり、本実施形態では、上述のステップＳ１０〜Ｓ１７の工程を実行する前に、以下で説明するステップＳ３０〜Ｓ３５の工程を実行する。
【０１１３】
まず、受付部５は、画像処理装置１１の外部から再生視点（再生視点に関する情報）を受け付ける（ステップＳ３０）。なお、この再生視点は再生開始時の視点であるため、以下では開始再生視点とも呼ぶ。受付部５は、受け付けた再生視点を、取得部４、視点デプス合成部７及び再生視点画像合成部８に送信する。
【０１１４】
次に、取得部４は、表示対象の３次元形状を部分的に示すデプス（所定順序における順番に関連付けられた部分３Ｄモデルデータ）、及び当該デプスの視点に関する情報（視点情報）を取得する（ステップＳ３１）。より詳細には、取得部４は、受付部５が受け付けた再生視点に応じて、初期参照モデル構築用のデプス及び視点情報を選択して取得する。なお、ステップＳ３１では、上述のステップＳ１又はステップＳ１１と異なり、取得部４は、表示対象の３次元形状の部分を示す複数の部分３Ｄモデルデータを一度に取得してもよい。また、ステップＳ３１において、取得部４は、デプス及び視点情報に加えて、表示対象の画像データをさらに取得してもよい。
【０１１５】
次に、取得部４は、取得したデプス及び当該デプスに対応する視点情報を復号する（ステップＳ３２）。そして、取得部４は、復号したデプス及び視点情報を推定部９に送信する。
【０１１６】
次に、推定部９は、取得部４から受信したデプスに関連付けられた上記順番で、当該デプス及び視点情報と、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する（ステップＳ３３）。なお、ステップＳ３３を一度も実行しておらず、直前に更新された参照モデルがまだ存在しない場合、ステップＳ３３及び下記のステップＳ３４を省略して、取得部４が取得したデプス自体を参照モデルとして、ステップＳ３５以降の工程を行ってもよい。
【０１１７】
次に、更新部６は、推定部９が推定したワープフィールドを参照して、参照モデルを更新する（ステップＳ３４）。
【０１１８】
次に、更新部６は、ステップＳ３４で更新した参照モデルによって、参照モデルの初期化が完了したか否かを判定し（ステップＳ３５）、初期化が完了したと判定した場合（ステップＳ３５のＹＥＳ）、上述のステップＳ１０の工程に進み、初期化が完了していないと判定した場合（ステップＳ３５のＮＯ）、ステップＳ３０の工程に戻る。ステップＳ３０〜ステップＳ３５の工程は、更新部６が初期化が完了したと判定するまで繰り返し実行される。そして、更新部６は、初期化が完了した時点の参照モデルを初期参照モデルに設定する。
【０１１９】
（優先して取得するデプス）
以下で、上述のステップＳ３１において取得部４が開始再生視点に応じて取得する、初期参照モデル生成に用いるデプス及び視点情報の具体例について説明する。
【０１２０】
例えば、ステップＳ３１において、取得部４は、送信元のサーバで利用可能な画像群{Vsm}及びデプス群{Vsn}の中から、開始再生視点pcの位置に最も近い視点の画像データ及びデプスを選択して取得する。
【０１２１】
別の例では、ステップＳ３１において、取得部４は、参照モデルの構築に有利なデプスを優先的に選択して取得する。より詳細には、取得部４は、受付部５から受信した開始再生視点の近傍にある視点のデプスのうち、直近で選択していない視点位置のデプスを優先して選択する。これにより、それぞれ異なる視点位置のデプスを取得し統合することで初期参照モデルの正確さを向上することができる。
【０１２２】
また、別の例では、ステップＳ３１において、取得部４は、２つ以上のデプスを選択して取得する場合に、１つは開始再生視点近傍の視点位置のデプス、もう１つは取得頻度が少ない視点位置のデプスを優先的に選択して取得する。
【０１２３】
（実施形態３の具体例）
以下で、実施形態３の具体例を詳細に説明する。例えば、上述のステップＳ３０において受付部５が受け付けた再生視点の開始位置（開始再生視点位置）に基づいて、上述のステップＳ３１〜Ｓ３４を、所定の時間、繰り返し実行する。当該構成において、取得部４は、所定のフレーム分のデプスを取得し、更新部６は、当該デプスに基づいて参照モデルを更新することにより、参照モデルの初期化を完了する。これにより、初期参照モデルが表示対象に対して正確になり、画質が向上するという効果を奏する。
【０１２４】
また、ステップＳ３１において、取得部４は、開始再生視点位置近傍の視点位置のデプス（中間視点位置のデプス）を選択して取得してもよい。ここにおける開始再生視点位置近傍の視点位置の例として、開始再生視点位置から所定の距離内の視点位置、開始再生視点位置から近い順にＮ個の視点位置、又は開始再生視点位置を中心として上下左右に存在する視点位置のうちから各１個の視点位置等を挙げられる。また、上記の構成において、取得部４は、開始再生視点位置を中心とした規定の軌道上に存在する視点のデプスを順に取得してもよい。以上の構成を採用することにより、再生開始後に再生視点が移動する可能性が高い領域に存在する視点のデプスに基づいて参照モデルを構築できるため、再生開始後の画質が安定するという効果を奏する。
【０１２５】
また、ステップＳ３１において、取得部４は、視点情報として、開始再生視点位置（受付部５がステップＳ３０で受け付けた再生視点位置）に応じたデプスデータのリストを、送信元のサーバから取得してもよい。これにより、サーバ側で事前に参照モデル構築に有効な視点位置のデプスを選択できるため、参照モデル構築に必要なデプスデータ数を削減でき、参照モデルの初期化に要する時間を短縮できるという効果を奏する。
【０１２６】
また、ステップＳ３１において、取得部４は、受付部５がステップＳ３０で受け付けた再生視点の時刻である再生開始時刻とは別の時刻のデプスを取得してもよい。これにより、特定時刻での表示対象のオクルージョン部分もモデル化できるという効果を奏する。
【０１２７】
（実施形態３のまとめ）
以上のように、本実施形態に係る画像処理装置１１を備えている表示装置１０は、処理開始時に初期参照モデル構築用の複数の部分３Ｄモデルデータを取得し、当該初期参照モデル構築用の複数の部分３Ｄモデルデータを参照して再生開始（表示開始）時点の参照モデルである初期参照モデルを生成する。これにより、再生開始時点で、高品質な参照モデルが構築できるため、再生視点画像の再生開始時の画質が保証される。また、急激な再生視点の変化によって、新しい再生視点に応じたデプスを受信できない場合であっても、構築済みの参照モデルへのフォールバックにより、再生視点画像の品質の極端な低下を回避できる。
【０１２８】
〔実施形態４〕
本発明の実施形態４について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態１〜３にて説明した画像処理装置２又は画像処理装置１１が備えている部材と同じ機能を有する部材については、同じ記号を付記し、その説明を省略する。
【０１２９】
（画像処理装置２１）
本実施形態に係る画像処理装置２１について、図１４を参照して説明する。図１４は、本実施形態に係る表示装置２０の構成を示すブロック図である。図１４が示すように、表示装置２０は、図４が示す表示装置１０と比較して、画像処理装置２１が視点デプス合成部７を備えていない。そのため、他の部材については、表示装置２０は、図４が示す表示装置１０が備えている部材と同様の部材を備えている。従って、これらの部材については、同じ記号を付記し、その説明を省略する。
【０１３０】
以下で、本実施形態に係る画像処理装置２１による画像処理方法について説明する。本実施形態における画像処理方法は、ステップＳ１４〜ステップＳ１７以外の工程は、実施形態２で説明した画像処理方法と同様である。そのため、ステップＳ１４〜ステップＳ１７以外の工程については説明を省略する。
【０１３１】
まず、本実施形態の画像処理方法では、ステップＳ１４の代わりに、推定部９は、取得部４から受信したデプス（視点情報を含んでもよい）に関連付けられた順番で、当該デプス及び画像データと、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプス及び当該画像データに対応する時点における３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する。
【０１３２】
次に、ステップＳ１５と同様に、更新部６は、更新部６は、推定部９が推定したワープフィールドを参照して、参照モデルを更新する。より詳細には、更新部６は、デプスをワープフィールドに基づいて変換することにより参照モデルを更新する。そして、当該工程で生成されたライブモデルと更新された参照モデルとは、画像データが示す各画素の色情報を含んでいる。
【０１３３】
次に、ステップＳ１６の工程を行わずに、ステップＳ１７に相当する工程に進む。当該工程において、再生視点画像合成部８は、受付部５から受信した再生視点と、更新部６から受信したライブモデルとを参照して、再生視点からの表示対象を示す再生視点画像を合成する。
【０１３４】
（実施形態４のまとめ）
以上のように、本実施形態に係る画像処理装置２１は、画像データをさらに参照して参照モデルを更新する。これにより、画像データの情報を含んだ参照モデルを構築することができる。従って、画像データの切り替えに時間がかかる場合でも、画像データの情報を含む参照モデルを参照することができるため、破綻のない再生視点画像を合成することができる。
【０１３５】
〔実施形態５〕
本発明の実施形態５について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態１〜４にて説明した画像処理装置２、画像処理装置１１又は画像処理装置２１が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１３６】
（画像処理装置３１）
本実施形態に係る画像処理装置３１について、図１５を参照して説明する。図１５は、本実施形態に係る表示装置３０の構成を示すブロック図である。図１５が示すように、表示装置３０は、図４が示す表示装置１０と比較して、画像処理装置３１が視点デプス合成部７の代わりに補正部３２を備えている。そのため、他の部材については、表示装置３０は、図４が示す表示装置１０が備えている部材と同様の部材を備えている。従って、これらの部材については、同じ記号を付記し、その説明を省略する。
【０１３７】
本実施形態に係る画像処理装置３１が備えている補正部３２は、受付部５が受け付けた再生視点と、更新部６が生成したライブモデルとを参照して、再生視点画像合成部８が合成した再生視点画像に対して画像補完又はフィルタ処理を行う。
【０１３８】
（画像処理方法）
以下で、本実施形態に係る画像処理装置３１による画像処理方法について説明する。本実施形態における画像処理方法は、ステップＳ１６及びステップＳ１７以外の工程は、実施形態２で説明した画像処理方法と同様である。そのため、ステップＳ１６〜ステップＳ１７以外の工程については説明を省略する。
【０１３９】
まず、本実施形態の画像処理方法では、ステップＳ１６の代わりに、再生視点画像合成部８は、取得部４から受信した画像データ及びデプス（視点情報を含んでもよい）を参照して、再生視点からの表示対象を示す再生視点画像を合成する。
【０１４０】
次に、ステップＳ１７の代わりに、補正部３２は、受付部５が受け付けた再生視点と、更新部６が生成したライブモデルとを参照して、再生視点画像合成部８が合成した再生視点画像に対して画像補完又はフィルタ処理を行う。より詳細には、補正部３２は、再生視点に応じて、ライブモデルを変換し、変換後のライブモデルを参照して、再生視点画像のホール領域を埋める補間処理を行う。また、補正部３２は、ライブモデルを再生視点に投影して得られる画像と再生視点画像とを比較し、特性が異なる再生視点画像上の領域に対して平滑化フィルタを適用する。
【０１４１】
（実施形態５のまとめ）
以上のように、本実施形態に係る画像処理装置３１は、画像データ及び複数の部分３Ｄモデルデータを参照して、再生視点からの表示対象を示す再生視点画像を合成し、参照モデルを参照して、再生視点画像に対して画像補完又はフィルタ処理を行う。これにより、画像データ及び複数の部分３Ｄモデルデータを参照して再生視点画像を合成する構成は、既存のＤＩＢＲベースの再生画像合成システムと同様であるため、既存のＤＩＢＲベースの再生画像合成システムを少ない変更で拡張することができる。そして、拡張したシステムにおいて、参照モデルを参照して、再生視点画像に対して画像補完又はフィルタ処理を行うことにより、高品質な再生視点画像を合成できる。
【０１４２】
〔実施形態６〕
本発明の実施形態６について、図面に基づいて説明すれば、以下のとおりである。なお、本実施形態においても、上述の実施形態２に係る画像処理装置１１を用いることができる。そのため、以下の説明では、図４が示す画像処理装置１１を備えている表示装置１０を用いて説明し、表示装置１０が備えている各部材についての説明は省略する。なお、図４におけるデータＡについて、本実施形態では、取得部４は、デプス等のデータＡを取得しない。また、図４におけるデータＢについて、推定部９が取得部４から受信するデータは、画像データのみである。
【０１４３】
以下で、本実施形態における画像処理方法について説明する。本実施形態における画像処理方法は、ステップＳ１１〜ステップＳ１４以外の工程は、実施形態２で説明した画像処理方法と同様である。そのため、ステップＳ１１〜ステップＳ１４以外の工程については説明を省略する。
【０１４４】
まず、ステップＳ１１の代わりに、取得部４は、表示対象の画像データを取得する。
【０１４５】
次に、ステップＳ１２と同様に、取得部４は、取得した画像データのうちで復号する画像データを、受付部５が受け付けた再生視点に応じて選択する。
【０１４６】
次に、ステップＳ１３の代わりに、取得部４は、選択した画像データを復号する。
【０１４７】
次に、ステップＳ１４を行う前に、推定部９は、取得部から受信した画像データを参照して、当該画像データが示す表示対象のデプス（視点情報を含んでもよい）を推定する。より詳細には、推定部９は、画像データと再生視点とのペアを内部に記録し、直近の画像データと過去の画像データとを参照して、再生視点のデプスを導出する。当該導出は、例えばステレオマッチング等の技術を適用することにより行われ得る。
【０１４８】
次に、推定部９は、推定したデプス（視点情報を含んでもよい）と、更新部６が直前に更新した参照モデルとを参照して、当該参照モデルと、当該デプスに対応する時点における３Ｄモデル（ライブモデル）との位置関係を示すワープフィールドを推定する。
【０１４９】
（実施形態６のまとめ）
以上のように、本実施形態に係る画像処理装置１１は、画像データを参照して、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを推定する。これにより、送信側でデプスの準備が不要になるという効果を奏する。
【０１５０】
〔付記事項〕
以下で、実施形態１〜６で説明した各構成に共通の付記事項について説明する。上述の各構成において、更新部６は、映像の再生が終了するまで参照モデルを更新し続けるが、必要に応じて、参照モデルをリセットして、再度、参照モデルを一から構築し直してもよい。当該構成の例として、例えば、ランダムアクセスが可能な時刻が指定されており、取得部４がランダムアクセスにより部分３Ｄモデルデータを取得し始めた時刻において、更新部６は、直前まで更新した参照モデルをリセットする。
【０１５１】
また、更新部６が更新する参照モデルは、必ずしもシーン内の物体を直接表現するモデルでなくてもよい。例えば、シーン内の前景又は背景に相当するような平面又は曲面の位置及び形状も参照モデルに含まれる。
【０１５２】
〔画像送信装置〕
以下で、実施形態１〜６で説明した各構成において取得部４が取得する部分３Ｄモデルデータを送信する画像送信装置について、図１６を参照して説明する。図１６は、上述の表示装置１、１０、２０又は３０と、画像送信装置４１（請求項における送信部を兼ねる）とを含む画像送受信システム４０の構成を示すブロック図である。
【０１５３】
図１６が示す画像送受信システム４０において、画像送信装置４１は、表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを送信する。より詳細には、画像送信装置４１は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを送信する。
【０１５４】
なお、上述の実施形態１〜３において、取得部４が特定の部分３Ｄモデルデータを優先して取得する構成について説明した。これらの構成と同様の構成を、画像送信装置４１にも適用できる。より詳細には、画像送信装置４１は、複数の部分３Ｄモデルデータのうちで、再生視点に相対する表示対象の部分を示す部分３Ｄモデルデータ、再生視点の初期視点に相対する表示対象の部分を示す部分３Ｄモデルデータ、及び所定の視点（例えば、推奨視点）に相対する表示対象の部分を示す部分３Ｄモデルデータ、の少なくとも１つ以上のデータを優先して送信してもよい。
【０１５５】
また、例えば、画像送信装置４１は、表示対象の３次元形状を部分的に示すデプスと共に、当該デプスの視点に関する視点情報を送信する。当該構成において、画像送信装置４１は、複数のデプスのうちで送信するデプスの順序として、視点情報が示すデプスの視点に応じた順序でデプスを送信してもよい。
【０１５６】
〔ソフトウェアによる実現例〕
画像処理装置２、１１、２１及び３１の制御ブロック（特に取得部４及び更新部６）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【０１５７】
後者の場合、画像処理装置２、１１、２１及び３１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１５８】
〔まとめ〕
本発明の態様１に係る画像処理装置（２、１１、２１、３１）は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部（４）と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部（更新部６）と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部（再生視点画像合成部８）と、を備え、上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
【０１５９】
上記の構成によれば、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを取得するため、表示対象の３次元形状の全体を示す３Ｄモデルデータを各時点で受信する場合に比べて、取得する３Ｄモデルデータのデータ量を削減できる。また、上記の構成によれば、部分３Ｄモデルデータに関連付けられた順番で、当該部分３Ｄモデルデータを参照して参照モデルを更新するため、３Ｄモデルデータのサンプル数又は精度に起因する再生視点画像の品質低下を防ぎ、高品質な再生視点画像を合成できる。
【０１６０】
本発明の態様２に係る画像処理装置（２、１１、２１、３１）は、上記態様１において、上記部分３Ｄモデルデータは、上記表示対象の３次元形状を部分的に示すデプス、ポイントクラウド及びメッシュの少なくとも１つ以上のデータであってもよい。
【０１６１】
上記の構成によれば、参照モデルを好適に構築することができ、高品質な再生視点画像を合成できる。
【０１６２】
本発明の態様３に係る画像処理装置（２、１１、２１、３１）は、上記態様１又は２において、上記取得部は、上記複数の部分３Ｄモデルデータのうちで、初期視点に相対する上記表示対象の部分を示す部分３Ｄモデルデータ、及び推奨視点に相対する上記表示対象の部分を示す部分３Ｄモデルデータ、の少なくとも１つ以上のデータを優先して取得してもよい。
【０１６３】
上記の構成によれば、再生視点映像の合成に必要な部分３Ｄモデルデータを、適宜、準備することができる。
【０１６４】
本発明の態様４に係る画像処理装置（２、１１、２１、３１）は、上記態様１又は２において、上記再生視点に依存せずに、上記複数の部分３Ｄモデルデータを取得してもよい。
【０１６５】
上記の構成によれば、過去の再生視点の履歴が異なっていても、再生視点に依存しない部分３Ｄモデルデータによって参照モデルを合成するため、同一の部分３Ｄモデルデータを取得した場合、同時刻及び同視点における映像の再生結果は、同一になるという効果を奏する。
【０１６６】
本発明の態様５に係る画像処理装置（２、１１、２１、３１）は、上記態様１〜４において、上記取得部は、初期参照モデル構築用の複数の部分３Ｄモデルデータを取得し、上記生成部は、当該初期参照モデル構築用の複数の部分３Ｄモデルデータを参照して、初期参照モデルを生成してもよい。
【０１６７】
上記の構成によれば、再生視点画像の再生開始前に、初期参照モデルを構築するため、再生視点画像の再生開始時の画質が保証される。また、急激な再生視点の変化によって、新しい再生視点に応じたデプスを受信できない場合であっても、構築済みの初期参照モデルへのフォールバックにより、再生視点画像の品質の極端な低下を回避できる。
【０１６８】
本発明の態様６に係る画像処理装置（１１、２１、３１）は、上記態様４において、上記複数の部分３Ｄモデルデータは、上記表示対象の３次元形状を部分的に示す複数のデプスであり、上記生成部（推定部９）は、上記デプスに関連付けられた上記順番で、当該デプス及び上記参照モデルを参照して、当該参照モデルと、当該デプスに対応する参照モデルとの位置関係を示すワープフィールドを推定し、当該ワープフィールドを参照して上記参照モデルを更新する。
【０１６９】
上記の構成によれば、デプスからリアルタイムでノイズが除去された参照モデルを構築することができるため、高品質な再生視点画像を合成できる。
【０１７０】
本発明の態様７に係る画像処理装置（１１、２１、３１）は、上記態様６において、上記デプスと共に、当該デプスの視点に関する視点情報を取得してもよい。
【０１７１】
上記の構成によれば、視点情報が示すデプスの視点に応じて、デプスを選択して取得することができるため、再生視点に応じた参照モデルの構築に必要なデプスを優先して取得することができる。従って、高品質な再生視点画像を合成できる。
【０１７２】
本発明の態様８に係る画像処理装置（１１、２１、３１）は、上記態様７において、上記取得部は、上記複数のデプスに関連付けられた順番は、上記視点情報が示す上記デプスの視点に応じた順序における順番であって、上記順序は、先行する順番のデプスの視点から離れた視点のデプスを次の順番のデプスとして優先する順序であってもよい。
【０１７３】
上記の構成によれば、表示対象のモデル形状の概要を短い時間で構築できる。
【０１７４】
本発明の態様９に係る画像処理装置（２、１１、２１及び３１）は、上記態様１〜８において、上記取得部は、上記表示対象の画像データをさらに取得し、上記生成部は、上記画像データをさらに参照して上記参照モデルを更新してもよい。
【０１７５】
上記の構成によれば、画像データの情報を含んだ参照モデルを構築することができる。従って、画像データの切り替えに時間がかかる場合でも、画像データの情報を含む参照モデルを参照することができるため、破綻のない再生視点画像を合成することができる。
【０１７６】
本発明の態様１０に係る画像処理装置（３１）は、表示対象の画像データ、及び当該表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得部と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記複数の部分３Ｄモデルデータを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、上記参照モデルを参照して、上記再生視点画像に対して画像補完又はフィルタ処理を行う補正部と、を備え、上記生成部は、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
【０１７７】
上記の構成によれば、画像データ及び複数の部分３Ｄモデルデータを参照して再生視点画像を合成する構成は、既存のＤＩＢＲベースの再生画像合成システムと同様であるため、既存のＤＩＢＲベースの再生画像合成システムを少ない変更で拡張することができる。そして、拡張したシステムにおいて、参照モデルを参照して、再生視点画像に対して画像補完又はフィルタ処理を行うことにより、高品質な再生視点画像を合成できる。
【０１７８】
本発明の態様１１に係る画像処理装置（１１）は、表示対象の画像データを取得する取得部と、上記画像データを参照して、上記表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータを推定する推定部と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成部と、上記画像データ及び上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成部と、を備え、上記生成部は、上記推定部が上記部分３Ｄモデルデータを推定する毎に、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
【０１７９】
上記の構成によれば、画像データが示す各画素の色情報を含んだ参照モデルを構築することができる。従って、画像データの切り替えに時間がかかる場合でも、画像データの情報を含む参照モデルを参照することができるため、破綻のない再生視点画像を合成することができる。
【０１８０】
本発明の態様１２に係る表示装置（１、１０、２０、３０）は、上記態様１〜１０の何れか１つの画像処理装置と、上記再生視点画像を表示する表示部（３）と、を備えている。
【０１８１】
上記の構成によれば、上記態様１〜１０の何れか１つの画像処理装置によって合成された高品質な再生視点画像を表示することができる。
【０１８２】
本発明の態様１３に係る画像送信装置（４１）は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを送信する送信部を備えている。
【０１８３】
上記の構成によれば、表示対象の３次元形状の全体を示す３Ｄモデルデータを一度に送信する場合に比べて、各時点で送信する３Ｄモデルデータのデータ量を削減できる。
【０１８４】
本発明の態様１４に係る画像処理方法は、表示対象の３次元形状を部分的に示す複数の部分３Ｄモデルデータであって、所定順序における順番に関連付けられた複数の部分３Ｄモデルデータを取得する取得工程と、上記複数の部分３Ｄモデルデータを参照して、参照モデルを生成する生成工程と、上記参照モデルを参照して、再生視点からの上記表示対象を示す再生視点画像を合成する合成工程と、を含み、上記生成工程では、上記部分３Ｄモデルデータに関連付けられた上記順番で、当該部分３Ｄモデルデータを参照して上記参照モデルを更新する。
【０１８５】
上記の構成によれば、上記態様１と同様の効果を奏する。
【０１８６】
本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１８７】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【０１８８】
（関連出願の相互参照）
本出願は、２０１７年８月９日に出願された日本国特許出願２０１７−１５４５５１に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
【符号の説明】
【０１８９】
１、１０、２０、３０  表示装置
２、１１、２１、３１  画像処理装置
３  表示部
４  取得部
５  受付部
６  更新部
７  視点デプス合成部
８  再生視点画像合成部
９  推定部
３２  補正部
４０  画像送受信システム
４１  画像送信装置
【図１】
2019031386.tif 000003
【図２】
2019031386.tif 000004
【図３】
2019031386.tif 000005
【図４】
2019031386.tif 000006
【図５】
2019031386.tif 000007
【図６】
2019031386.tif 000008
【図７】
2019031386.tif 000009
【図８】
2019031386.tif 000010
【図９】
2019031386.tif 000011
【図１０】
2019031386.tif 000012
【図１１】
2019031386.tif 000013
【図１２】
2019031386.tif 000014
【図１３】
2019031386.tif 000015
【図１４】
2019031386.tif 000016
【図１５】
2019031386.tif 000017
【図１６】
2019031386.tif 000018
【国際調査報告】
2019031386.tif 000019
2019031386.tif 000020
2019031386.tif 000021