(57)【要約】【課題】２次元画像からテクスチャが得られないオクルージョン領域に、より自然なテクスチャを設定した３次元モデルを生成する装置、方法を提供する。【解決手段】２次元画像に基づく３次元モデルを生成する３次元形状復元部と、３次元モデルにテクスチャを付与するテクスチャ処理部を有する。テクスチャ処理部は、２次元画像からの取得テクスチャに類似する既存テクスチャをＤＢから取得し、既存テクスチャの色を取得テクスチャの色に近づける変換関数を算出し、２次元画像からテクスチャが得られない領域に既存テクスチャに変換関数を適用して算出したテクスチャを設定する。例えば２次元画像からテクスチャが得られないオクルージョン領域に、変換関数を適用して算出したテクスチャを設定する。【選択図】図１
2020149174.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像を入力し、入力画像対応の３次元モデルを生成する３次元形状復元部と、
前記３次元形状復元部が生成した３次元モデルにテクスチャを付与するテクスチャ処理部を有し、
前記テクスチャ処理部は、
前記２次元画像から取得した取得テクスチャに類似する既存テクスチャをテクスチャデータベースから取得する処理と、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数算出処理と、
前記３次元モデル中、前記２次元画像からテクスチャが得られないテクスチャ未設定領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する処理を実行する画像処理装置。
【請求項２】
前記テクスチャ処理部は、
前記３次元モデル中、前記２次元画像からテクスチャが得られないオクルージョン領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する請求項１に記載の画像処理装置。
【請求項３】
前記テクスチャ処理部は、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数として、色変換行列を算出する請求項１に記載の画像処理装置。
【請求項４】
前記テクスチャデータベースは、
３次元モデル対応のテクスチャデータであるＵＶテクスチャマップを格納したデータベースであり、
前記テクスチャ処理部は、
前記テクスチャデータベースに格納された複数のＵＶテクスチャマップから、前記２次元画像から取得した取得テクスチャの取得領域と同一の領域のテクスチャを取得して、取得テクスチャに最も類似するテクスチャを有するＵＶテクスチャマップを選択取得する請求項１に記載の画像処理装置。
【請求項５】
前記テクスチャ処理部は、
前記ＵＶテクスチャマップに前記変換関数を適用して算出したテクスチャを、前記３次元モデルに設定する請求項４に記載の画像処理装置。
【請求項６】
前記テクスチャ処理部は、
前記２次元画像から取得した取得テクスチャの解析を実行するテクスチャ解析部と、
前記テクスチャ解析部の解析結果に基づいて、前記テクスチャデータベースから、前記取得テクスチャに類似する既存テクスチャを選択するテクスチャデータベース検索部を有する請求項１に記載の画像処理装置。
【請求項７】
前記テクスチャ解析部は、ユーザ指定に従ったテクスチャ解析処理を実行する請求項６に記載の画像処理装置。
【請求項８】
前記テクスチャデータベースは、
３次元モデル対応のテクスチャデータであるＵＶテクスチャマップと、ＵＶテクスチャマップ各々の属性情報を対応付けて記録した構成であり、
前記テクスチャデータベース検索部は、
前記属性情報を利用したテクスチャ検索処理を実行する請求項６に記載の画像処理装置。
【請求項９】
前記画像処理装置は、さらに、
前記入力画像に基づくオブジォクト識別を実行するオブジェクト認識部を有し、
前記オブジェクト認識部は、３次元モデル生成対象のオブジェクト種類を判別し、
前記３次元形状復元部は、
判別されたオブジェクト種類に一致する種類の既存３次元モデルをデータベースから取得して、取得した既存３次元モデルを変形して入力画像対応の３次元モデルを生成する請求項１に記載の画像処理装置。
【請求項１０】
前記３次元形状復元部は、
前記入力画像に含まれるデプス画像を利用して、３次元座標上の点群データからなるポイントクラウドを生成し、
生成したポイントクラウドと、前記既存３次元モデルとの対応点を検出して、対応点間の誤差を小さくするように、前記既存３次元モデルの変形処理を実行して入力画像対応の３次元モデルを生成する請求項９に記載の画像処理装置。
【請求項１１】
前記テクスチャ処理部は、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数算出処理と、
前記３次元モデル中、前記２次元画像からテクスチャが得られないテクスチャ未設定領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する処理を実行する色変換部と、
前記色変換部の生成したテクスチャと、
前記入力画像から得られるテクスチャとの差分を低減するための信号処理を実行する信号処理部を有する請求項１に記載の画像処理装置。
【請求項１２】
前記信号処理部は、
前記色変換部の生成したテクスチャに対する解像度変換処理、ぼかし処理、シャープネス処理の少なくともいずれかの処理を実行する請求項１１に記載の画像処理装置。
【請求項１３】
画像処理装置において実行する画像処理方法であり、
３次元形状復元部が、２次元画像を入力し、入力画像対応の３次元モデルを生成する３次元形状復元処理実行ステップと、
テクスチャ処理部が、前記３次元形状復元部が生成した３次元モデルにテクスチャを付与するテクスチャ付与処理実行ステップを有し、
前記テクスチャ付与処理実行ステップにおいては、
前記２次元画像から取得した取得テクスチャに類似する既存テクスチャをテクスチャデータベースから取得する処理と、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数算出処理と、
前記３次元モデル中、前記２次元画像からテクスチャが得られないテクスチャ未設定領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する処理を実行する画像処理方法。
【請求項１４】
画像処理装置において画像処理を実行させるプログラムであり、
３次元形状復元部に、２次元画像を入力し、入力画像対応の３次元モデルを生成させる３次元形状復元処理実行ステップと、
テクスチャ処理部に、前記３次元形状復元部が生成した３次元モデルにテクスチャを付与させるテクスチャ付与処理実行ステップを実行させ、
前記テクスチャ付与処理実行ステップにおいては、
前記２次元画像から取得した取得テクスチャに類似する既存テクスチャをテクスチャデータベースから取得する処理と、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数算出処理と、
前記３次元モデル中、前記２次元画像からテクスチャが得られないテクスチャ未設定領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、３次元（３Ｄ）モデルの生成処理や、３次元画像のレンダリング処理を実行する画像処理装置、画像処理システム、並びにプログラムに関する。
【背景技術】
【０００２】
近年、コンピュータ・グラフィクス（ＣＧ：Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）技術を用いた３次元画像生成技術が、映画やゲームなど様々な分野で利用されている。
例えば、特許文献１（特開２０１７−１３８９１３号公報）には、ＣＧキャラクタを、プレーヤであるユーザの顔を持つ画像に置き換える処理について開示している。
この文献は、ユーザの顔画像を撮影して、撮影した顔画像の肌色領域をＲＧＢ値からＨＳＶ（色相、彩度、明度）値に変換して解析し、この解析結果として得られるユーザの肌色情報を置き換え対象となるＣＧキャラクタの顔、腕、足等の肌色に反映させる技術を開示している。
【０００３】
しかし、この文献に開示された装置は、肌の肌理や置き換え元の画像の解像度感や、ノイズ感等を考慮して、変換対象となる肌の調整は行なっていない。そのため、合成後の画像に違和感が残る。
【０００４】
また、例えば顔のＲＧＢ画像１枚から顔全体の３次元形状とテクスチャを復元する処理を行う既存ソフトウェアもある。しかし、多くの既存ソフトウェアは、例えば顔の皮膚（スキン）と想定される領域の平均色を算出し、予め用意してある１枚の高解像度ＵＶテクスチャデータを算出平均色に近づける色補正を行って合成を行う構成となっている。
この手法は、上記特許文献１に記載の構成と同様、肌の肌理や被写体の属性等を考慮した肌色調整を行うものではなく、依然として合成後の画像に違和感が残るという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−１３８９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示は、例えば上述の問題点に鑑みてなされたものであり、より自然なリアリティのある３次元（３Ｄ）モデルの生成処理、すなわち３次元画像のレンダリング処理を実行する画像処理装置、および画像処理方法、並びにプログラムを提供するものである。
【０００７】
本開示の一実施例の構成は、例えば２次元画像に基づいて３次元モデル（３次元画像）を生成する構成において、２次元画像に含まれない隠れた領域（オクルージョン領域）についても、より自然なリアリティのある色や質感を有する３次元画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供するものである。
【課題を解決するための手段】
【０００８】
本開示の第１の側面は、
２次元画像を入力し、入力画像対応の３次元モデルを生成する３次元形状復元部と、
前記３次元形状復元部が生成した３次元モデルにテクスチャを付与するテクスチャ処理部を有し、
前記テクスチャ処理部は、
前記２次元画像から取得した取得テクスチャに類似する既存テクスチャをテクスチャデータベースから取得する処理と、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数算出処理と、
前記３次元モデル中、前記２次元画像からテクスチャが得られないテクスチャ未設定領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する処理を実行する画像処理装置にある。
【０００９】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
３次元形状復元部が、２次元画像を入力し、入力画像対応の３次元モデルを生成する３次元形状復元処理実行ステップと、
テクスチャ処理部が、前記３次元形状復元部が生成した３次元モデルにテクスチャを付与するテクスチャ付与処理実行ステップを有し、
前記テクスチャ付与処理実行ステップにおいては、
前記２次元画像から取得した取得テクスチャに類似する既存テクスチャをテクスチャデータベースから取得する処理と、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数算出処理と、
前記３次元モデル中、前記２次元画像からテクスチャが得られないテクスチャ未設定領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する処理を実行する画像処理方法にある。
【００１０】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
３次元形状復元部に、２次元画像を入力し、入力画像対応の３次元モデルを生成させる３次元形状復元処理実行ステップと、
テクスチャ処理部に、前記３次元形状復元部が生成した３次元モデルにテクスチャを付与させるテクスチャ付与処理実行ステップを実行させ、
前記テクスチャ付与処理実行ステップにおいては、
前記２次元画像から取得した取得テクスチャに類似する既存テクスチャをテクスチャデータベースから取得する処理と、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数算出処理と、
前記３次元モデル中、前記２次元画像からテクスチャが得られないテクスチャ未設定領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する処理を実行させるプログラムにある。
【００１１】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００１２】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００１３】
本開示の一実施例の構成によれば、２次元画像からテクスチャが得られないオクルージョン領域に、より自然なテクスチャを設定した３次元モデルを生成する装置、方法が実現される。
具体的には、例えば、２次元画像に基づく３次元モデルを生成する３次元形状復元部と、３次元モデルにテクスチャを付与するテクスチャ処理部を有する。テクスチャ処理部は、２次元画像からの取得テクスチャに類似する既存テクスチャをＤＢから取得し、既存テクスチャの色を取得テクスチャの色に近づける変換関数を算出し、２次元画像からテクスチャが得られない領域に既存テクスチャに変換関数を適用して算出したテクスチャを設定する。例えば２次元画像からテクスチャが得られないオクルージョン領域に、変換関数を適用して算出したテクスチャを設定する。
本構成により、２次元画像からテクスチャが得られないオクルージョン領域に、より自然なテクスチャを設定した３次元モデルを生成する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示の画像処理装置の構成例について説明する図である。
【図２】３次元形状復元部の実行する処理について説明する図である。
【図３】３次元形状復元部の実行する処理について説明する図である。
【図４】ＵＶテクスチャマップの一例について説明する図である。
【図５】テクスチャ取得部の実行する処理について説明する図である。
【図６】テクスチャデータベースに格納されたデータの具体例について説明する図である。
【図７】テクスチャＤＢ検索部の実行する処理について説明する図である。
【図８】色変換部の実行する処理について説明する図である。
【図９】色変換部、信号処理部、色合成部の実行する処理について説明する図である。
【図１０】色変換部、信号処理部、色合成部の実行する処理について説明する図である。
【図１１】本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図１２】画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．本開示の画像処理装置の実行する処理の概要について
２．本開示の画像処理装置の構成と実行する処理の詳細について
３．本開示の画像処理装置の実行する処理のシーケンスについて
４．画像処理装置のハードウェア構成例について
５．本開示の構成のまとめ
【００１６】
［１．本開示の画像処理装置の実行する処理の概要について］
本開示の画像処理装置は、より自然なリアリティのある３次元（３Ｄ）モデルの生成処理、すなわち３次元画像を生成する。
例えば、例えば１枚の２次元画像に基づいて３次元モデル（３次元画像）を生成する場合、２次元画像に含まれない隠れた領域（オクルージョン領域）に対する処理が必要となる。
【００１７】
２次元画像に含まれない隠れた領域（オクルージョン領域）は、形状、色、模様等を直接観察することができないので、これらを何らかの手法で推測することが必要となる。
すなわち、オクルージョン領域についての「３次元形状」や、３次元モデルの分割領域である「メッシュ」に対する貼り付け画像である「テクスチャ」、これらについて予測して３次元モデルを生成する処理が必要となる。
【００１８】
例えば顔の左半分が撮影された２次元画像から３次元モデルを生成する場合、顔の左半分の「３次元形状」や「テクスチャ」は、元となる２次元画像から直接、取得することができる。しかし、２次元画像に含まれない右半分の顔領域については、情報が得られないため、顔の右半分の「３次元形状」や「テクスチャ」については、何らかの手法で予測して復元する必要がある。
【００１９】
本開示の画像処理装置では、このような２次元画像に含まれない隠れた領域（オクルージョン領域）の３次元形状復元処理として、例えば、既存３次元モデル（Ｐｒｉｏｒモデル）を利用する。
例えば人の顔の２次元画像から顔の３次元モデルを生成する場合、予めデータベースに格納された様々な顔の３次元モデル（既存モデル（Ｐｒｉｏｒモデル））から、２次元画像に類似する特徴を持つ既存３次元モデルを選択し、選択した既存３次元モデルを変形して、２次元画像に含まれないオクルージョン領域の３次元形状を復元する。
【００２０】
また、オクルージョン領域の３次元形状を復元処理として、Ｆｉｌｌ  Ｈｏｌｅ技術を利用してもよい。
Ｆｉｌｌ  Ｈｏｌｅ技術は、情報が欠落したメッシュの周囲メッシュ情報に基づいて情報欠落メッシュの３次元形状を埋める技術である。
【００２１】
また、オクルージョン領域のテクスチャ復元処理は、上記の３次元形状復元処理と同様、予めデータベースに格納された様々なテクスチャデータ（既存テクスチャデータ）から、２次元画像に類似する特徴を持つ既存テクスチャデータを選択し、選択した既存テクスチャデータを利用する。
なお、この既存テクスチャデータの利用時には、元の２次元画像の特徴（色、質感等）等を解析し、既存テクスチャデータを、この２次元画像の特徴（色、質感等）に近づける補正処理を行う。
また、画像埋め込みによる画像修復技術であるＩｎｐａｉｎｔｉｎｇ技術を利用する方法を適用してもよい、
【００２２】
なお、上述した３次元形状復元処理に利用する３次元モデル（既存モデル（Ｐｒｉｏｒモデル））を様々なテクスチャデータを含む３次元モデル（既存モデル（Ｐｒｉｏｒモデル））として、この３次元モデル（既存モデル（Ｐｒｉｏｒモデル））を利用して３次元形状とテクスチャ情報の両者を復元する処理を行う構成としてもよい。
【００２３】
本開示の画像処理装置は、２次元画像から３次元モデルを生成する処理を行う場合、２次元画像に含まれない隠れた領域（オクルージョン領域）のテクスチャを復元する処理として、例えば以下の処理を行う。
（ａ）入力した２次元画像、または２次元画像に基づいて生成したテクスチャマップから一部のテクスチャを切り出し、テクスチャデータベースから類似する既存テクスチャを有する３次元モデル対応のテクスチャマップ（ＵＶテクスチャマップ）を選択する。
（ｂ）次に、選択した３次元モデル対応のテクスチャマップ（ＵＶテクスチャマップ）に対して、色変換や、ノイズ付加処理や解像度変換処理などの信号処理を施して、２次元画像に含まれない隠れた領域（オクルージョン領域）のテクスチャとして設定する。
以下、これらの処理を実行する本開示の画像処理装置の構成と処理の詳細について説明する。
【００２４】
［２．本開示の画像処理装置の構成と実行する処理の詳細について］
以下、図面を参照して、本開示の画像処理装置の構成と実行する処理の詳細について説明する。
【００２５】
図１は本開示の画像処理装置１００の構成を示すブロック図である。
以下、図１に示すブロック図を用いて本開示の画像処理装置１００の構成と処理について説明する。本開示の画像処理装置１００は、前述したように、予めデータベースに格納された様々な３次元モデル（既存３次元モデル（Ｐｒｉｏｒモデル））を利用して、３次元モデルを生成し、３次元画像をレンダリングして表示部に表示する処理を行う。
【００２６】
データベースには、例えば人の顔、人の体、動物、植物、工作物、建築物等、様々な既存３次元モデルが格納されている。本開示の画像処理装置１００は、データベースに格納されたこれらの既存３次元モデルを参照することで、様々な物体の新たな３次元モデルを生成することが可能である。
以下では、説明を分かりやすくするため、一例として人の顔の３次元モデルの生成処理を行う場合の例について説明する。
【００２７】
図１に示す撮像部２０は、被写体１０の顔の画像（２次元画像）や距離画像（デプス画像）を撮影する。被写体１０は３次元モデルの生成対象となる被写体である。ここでは被写体１０は、人の顔とする。
撮像部２０は、少なくとも１枚以上のカラー画像、例えばＲＧＢ画像や距離画像（デプス画像）を撮影して画像処理装置１００に入力する。
【００２８】
画像処理装置１００の入力データ解析、変換部１１１は、撮像部２０から入力した画像データを解析して変換する。例えばＲＧＢカラー画像を入力した場合、ビットマップデータなどの形式に変換する。また、距離画像（デプス画像）を入力した場合、１６ｂｉｔのＴｉｆｆ形式のデータに変換する処理などを行う。
なお、データ変換の態様は、後続の各処理部が処理可能なデータ形式であればよく、後続処理部の構成に応じて異なる。
【００２９】
入力データ解析、変換部１１１の生成した変換データ（例えばＲＧＢ画像と、デプス画像）は、オブジェクト認識部１１２に入力される。
オブジェクト認識部１１２は、ＲＧＢ画像やデプス画像を解析し、被写体（オブジェクト）のオブジェクト種類を判別し、判別したオブジェクト種類に対応する既存の３次元モデル（既存３次元モデル（Ｐｒｉｏｒモデル）が、３次元モデルデータベース１３０に存在するかどうかを判別する。
【００３０】
３次元モデルデータベース１３０は、画像処理装置１００内部のデータベースとしてもよいし、例えばインターネット等を介してアクセス可能なデータベースを利用してもよい。
【００３１】
なお、被写体の種類が予め分かっている場合には、オブジェクト認識部１１２におけるオブジェクト種類の判別処理は省略可能である。
オブジェクト認識部１１２において実行するオブジェクト認識方法としては、パターンマッチング等、様々な既存の手法が適用可能である。
オブジェクト認識部１１２において実行されたオブジェクト認識結果としてのオブジェクト種類の判別結果、例えば、
認識オブジェクト種類＝人の顔
この結果は、変換部１１１の生成した変換データ（例えばＲＧＢ画像と、デプス画像）とともに、３次元形状復元部１１３に入力される。
【００３２】
３次元形状復元部１１３は、オブジェクト認識部１１２におけるオブジェクト認識結果に基づいて、３次元モデルデータベース１３０から認識されたオブジェクト種類に一致する既存３次元モデル（Ｐｒｉｏｒモデル）を選択取得する。
例えば、本例では、
認識オブジェクト種類＝人の顔
であるので、
３次元形状復元部１１３は、３次元モデルデータベース１３０から人の顔の既存３次元モデル（Ｐｒｉｏｒモデル）を選択取得する。
【００３３】
３次元形状復元部１１３は、３次元モデルデータベース１３０から取得した人の顔の既存３次元モデル（Ｐｒｉｏｒモデル）を利用して、この既存３次元モデルを変形させて、入力データ（ＲＧＢ画像とデプス画像）に近づける３次元形状の補正処理を行い、撮像部２０の撮影した被写体１０に対応する新規の３次元モデルを生成する。
【００３４】
例えば、１枚のＲＧＢ画像とデプス画像を入力データとする場合、３次元形状復元部１１３は、まず、デプス画像から取得されるデータを、３次元座標上の点群データとして表現したポイントクラウド（Ｐｏｉｎｔ  Ｃｏｕｌｄ）を生成する。
【００３５】
さらに、生成したポイントクラウド（Ｐｏｉｎｔ  Ｃｏｕｌｄ）と、３次元モデルデータベース１３０から取得した人の顔の既存３次元モデル（Ｐｒｉｏｒモデル）との間で、位置合わせを行って、頂点間の対応を取る。例えば、距離が近いものを対応点のペアとする処理等を行う。
その後、全ての対応点間の誤差を小さくしていくように、既存３次元モデル（Ｐｒｉｏｒモデル）を変形させる。
【００３６】
この処理によって、撮像部２０の撮影した２次元画像には含まれない隠れた領域（オクルージョン領域）を含む３次元形状を復元した新たな被写体１０対応の３次元モデルを生成することができる。
【００３７】
この３次元形状復元部１１３の実行する処理の具体例について、図２、図３を参照して説明する。
３次元形状復元部１１３は、図２に示すように、被写体１０の撮影画像として、１枚のＲＧＢ画像２０１とデプス画像２０２を入力する。
なお、ＲＧＢ画像２０１は、カラー画像である。
【００３８】
３次元形状復元部１１３は、まず、ステップＳ０１において、デプス画像２０２から取得されるデータを、３次元座標上の点群データとして表現したポイントクラウド（Ｐｏｉｎｔ  Ｃｏｕｌｄ）２０３を生成する。
【００３９】
次に、３次元形状復元部１１３は、ステップＳ０２において、３次元モデルデータベース１３０から、オブジェクト認識部１１２において識別されたオブジェクト種類に一致する既存３次元モデル（Ｐｒｉｏｒモデル）を選択取得する。図２に示す人の顔の既存３次元モデル（Ｐｒｉｏｒモデル）２１１が選択される。
【００４０】
次に、３次元形状復元部１１３は、ステップＳ０３において、ステップＳ０１で生成したポイントクラウド（Ｐｏｉｎｔ  Ｃｏｕｌｄ）２０３と、３次元モデルデータベース１３０から取得した人の顔の既存３次元モデル（Ｐｒｉｏｒモデル）２１１との間で、位置合わせを行って、頂点間の対応を取る。例えば、距離が近いものを対応点のペアとする処理等を行う。
【００４１】
その後、図３に示すように、ステップＳ０４において、全ての対応点間の誤差を小さくしていくように、既存３次元モデル（Ｐｒｉｏｒモデル）２１１を変形させて、復元３次元モデル２２０を生成する。
復元３次元モデル２２０は、被写体１０の顔画像を反映した、被写体１０により近い３次元モデルとなる。
【００４２】
復元３次元モデル２２０は、撮像部２０の撮影した２次元画像には含まれない隠れた領域（オクルージョン領域）を含む３次元形状を復元した新たな被写体１０対応の３次元モデルである。
【００４３】
図１に戻り、画像処理装置１００の構成と処理の説明を続ける。
図１の画像処理装置１００の３次元形状復元部１１３は、図２、図３を参照して説明した処理を実行し、被写体１０の顔画像を反映した、被写体１０により近い復元３次元モデル２２０を生成する。
【００４４】
３次元形状復元部１１３の生成した復元３次元モデル２２０は、テクスチャ投影部１１４に入力される。テクスチャ投影部１１４には、変換部１１１の生成した変換データ（例えばＲＧＢ画像）も併せて入力される。
【００４５】
なお、テクスチャ投影部１１４〜色合成部１２０は、３次元形状復元部１１３の生成した復元３次元モデル２２０に対するテクスチャ付与処理を実行するテクスチャ処理部に相当する。
テクスチャ投影部１１４〜色合成部１２０によって構成されるテクスチャ処理部の実行する処理によって、入力画像である２次元画像には含まれないオクルージョン領域に対しても、自然なリアリティのあるテクスチャを付与した３次元モデルが完成する。
【００４６】
テクスチャ投影部１１４は、３次元形状復元部１１３で復元されたモデル、すなわち、図３に示す復元３次元モデル２２０に対して、変換部１１１の生成した変換データ（例えばＲＧＢ画像）に基づくテクスチャ投影処理を行う。
すなわち、被写体１０を撮影した２次元画像の各領域の画像を、復元３次元モデル２２０の対応領域に貼り付けるテクスチャ投影処理を行う。
【００４７】
ただし、被写体１０を撮影した２次元画像は、復元３次元モデル２２０の一部の領域のテクスチャ情報しか有していない。すなわち、２次元画像に含まれない隠れた領域（オクルージョン領域）については、マスク処理を行い、テクスチャ投影は行わない。
なお、マスク領域の設定等、マスク方法については、ユーザが指定することが可能である。例えば顔画像を投影する場合、髪の毛の領域については２次元画像中にテクスチャ情報があってもテクスチャ投影を行わない設定とするなど、様々な設定が可能である。
【００４８】
テクスチャ投影部１１４におけるテクスチャ投影処理は、３次元モデルに直接、テクスチャを投影した３次元モデルを生成する手法も適用可能であるが、多くの場合、処理の効率化のため、３次元モデルを２次元展開したデータ、いわゆるＵＶ展開データを用いて実行される。ＵＶ展開データ上にテクスチャ情報を貼り付けたデータはＵＶテクスチャマップと呼ばれる。
【００４９】
ＵＶテクスチャマップの一例を図４に示す。
図４（１）は、３次元モデルの全領域に対するテクスチャ情報を設定したＵＶテクスチャマップの例である。ＵＶテクスチャマップの１つの点は３次元モデルの１点に対応する。
【００５０】
図４（２）は、入力画像（２次元画像）対応未完成ＵＶテクスチャマップであり、顔のほぼ正面領域のみにテクスチャ情報を設定したＵＶテクスチャマップの例である。本例において、被写体１０を正面から撮影したＲＧＢ画像２０１を用いて生成可能なＵＶテクスチャマップの一例に相当する。
黒い部分は、オクルージョン領域等に相当し、２次元画像からテクスチャ情報が取得できない領域である。
なお、髪の毛の領域はユーザ設定によるマスク処理によってテクスチャ情報を投影していない領域である。
【００５１】
テクスチャ投影部１１４において、テクスチャ投影処理がなされたＵＶテクスチャマップ、すなわち、図４（２）に示す入力画像（２次元画像）対応未完成ＵＶテクスチャマップ（一部領域のみテクスチャ情報を有するＵＶテクスチャマップ）は、テクスチャ取得部１１５に入力される。
【００５２】
テクスチャ取得部１１５に入力されるＵＶテクスチャマップは、一部のみにテクスチャ情報（色、模様等の画像情報）を有する３次元モデルである。すなわち、２次元画像に含まれない隠れた領域（オクルージョン領域）や、ユーザがテクスチャ投影対象としなかったマスク領域等には、テクスチャ情報が設定されていない。
【００５３】
テクスチャ取得部１１５は、テクスチャ投影部１１４が、被写体１０の撮影画像（２次元画像）を利用して生成した入力画像対応未完成ＵＶテクスチャマップ２４０から、テクスチャ情報を取得する処理部である。
【００５４】
例えば、図５に示すように、入力画像対応未完成ＵＶテクスチャマップ２４０からテクスチャが設定された一部の領域をテクスチャ取得領域として選択し、このテクスチャ取得領域のテクスチャ（画像）を取得する。
例えば、図５に示す取得テクスチャ（画像）２４１を取得する。
なお、テクスチャ取得領域については、例えばオブジェクト毎に予め決められた領域とする方法、あるいはユーザが指定した領域とする方法等、様々な方法で決定することが可能である。なお、オブジェクト毎に予め決められた領域とする方法を適用した場合、その領域にテクスチャが設定されていない場合や、テクスチャの解析が不可能である可能性もある。このような場合は、解析可能なテクスチャが設定された別の領域をテクスチャ取得代替領域として、この代替領域からテクスチャを取得する。
【００５５】
テクスチャ取得部１１５が、入力画像対応未完成ＵＶテクスチャマップ２４０から取得した取得テクスチャ（画像）２４１は、テクスチャ解析部１１６に入力される。
【００５６】
テクスチャ解析部１１６は、テクスチャ取得部１１５が取得した取得テクスチャ（画像）２４１の解析処理を実行する。
具体的には、色、模様、輝度、質感等の画像解析を行う。さらに、オブジェクト種類に応じた解析処理も併せて実行することが好ましい。
例えば、人の顔である場合、肌の肌理の解析などを実行する。
【００５７】
テクスチャ解析部１１６では、ユーザが指定した手段を用いてテクスチャを解析することが可能である。例えば顔の３次元モデルを生成する処理を行う場合、肌の肌理の解析などを解析処理として実行することが有効である。
【００５８】
テクスチャ解析部１１６が生成したテクスチャ解析データ（補助情報）は、テクスチャ取得部１１５が取得した取得テクスチャ（画像）２４１とともに、テクスチャＤＢ検索部１１７に入力される。
【００５９】
テクスチャＤＢ検索部１１７は、テクスチャ取得部１１５が取得した取得テクスチャ２４１と、テクスチャ解析部１１６が生成したテクスチャ解析データ（補助情報）に基づいて、テクスチャデータベース１４０から、取得テクスチャ２４１に最も類似する既存テクスチャを取得する。
【００６０】
テクスチャデータベース１４０には、様々な特徴を持つテクスチャデータが格納されている。
図６を参照して、テクスチャデータベース１４０に格納されたデータの具体例について説明する。
テクスチャデータベース１４０には、図６に示すように、様々な異なるＵＶテクスチャマップが格納されている。
なお、これらのＵＶテクスチャマップはカラーデータである。
【００６１】
先に説明したようにＵＶテクスチャマップは、テクスチャ付きの３次元モデルを２次元展開したデータであり、ＵＶテクスチャマップの１つの点は３次元モデルの１点に対応する。
すなわち、ＵＶテクスチャマップは、３次元モデルの全ての点のテクスチャ情報（画素値（ＲＧＢ値等の色情報等））を有するマップである。
【００６２】
なお、テクスチャデータベース１４０は、画像処理装置１００内部のデータベースとしてもよいし、例えばインターネット等を介してアクセス可能なデータベースを利用してもよい。
なお、図１では、３次元モデルデータベース１３０と、テクスチャデータベース１４０を個別のデータベースとして示しているが、これらのデータベースは１つのデータベースとして構成することも可能である。すなわちテクスチャ情報を持つ３次元モデルが格納された１つのデータベースを３次元モデルデータベース１３０と、テクスチャデータベース１４０として利用することも可能である。
【００６３】
前述したように、テクスチャＤＢ検索部１１７は、テクスチャ取得部１１５が、入力画像対応未完成ＵＶテクスチャマップ２４０から取得した取得テクスチャ２４１と、テクスチャ解析部１１６が生成したテクスチャ解析データ（補助情報）に基づいて、テクスチャデータベース１４０から、取得テクスチャ２４１に最も類似する既存類似テクスチャデータを取得する。
類似する既存テクスチャの検索処理例について、図７を参照して説明する。
【００６４】
図７に示すように、テクスチャＤＢ検索部１１７は、テクスチャ取得部１１５が取得した取得テクスチャ２４１の取得位置に対応する画像位置のテクスチャを、テクスチャデータベース１４０に格納されたＵＶテクスチャマップの各々から取得して、それぞれを比較する。
この比較処理を実行して、取得テクスチャ２４１に最も類似するテクスチャを持つＵＶテクスチャマップを選択する。補助情報（肌の肌理などの解析結果）と照らし合わせて最も近い成分を持つテクスチャを持つＵＶテクスチャマップを選択する。
【００６５】
例えば、図７に示す例において、テクスチャデータベース１４０に格納されたＵＶテクスチャマップ００５が、取得テクスチャ２４１に最も類似するテクスチャを持つＵＶテクスチャマップとして選択される。
【００６６】
なお、テクスチャデータベース１４０を、ＵＶテクスチャマップのみならず、ＵＶテクスチャマップ各々の属性情報（色の特性、明るさ、質感、肌の肌理などの情報）を記録した構成として、テクスチャＤＢ検索部１１７は、これらの属性情報に基づいて類似するテクスチャを選択する構成としてもよい。
【００６７】
テクスチャデータベース１４０から選択された類似テクスチャを含む既存ＵＶテクスチャマップは、色変換部１１８に入力される。
図８を参照して色変換部１１８の実行する処理について説明する。
色変換部１１８は、まず、テクスチャデータベース１４０から選択した既存類似ＵＶテクスチャマップ２５０の既存類似テクスチャ２５１を取得テクスチャ（画像）２４１の色に変換する色変換関数を算出する。
【００６８】
既存類似テクスチャ２５１は、テクスチャＤＢ検索部１１７における類似テクスチャ検索処理において取得したテクスチャである。すなわち、テクスチャ取得部１１５が取得した取得テクスチャ２４１の取得位置（頬の領域）とほぼ同じ位置の既存類似ＵＶテクスチャマップ２５０のテクスチャ（頬領域のテクスチャ）である。
【００６９】
色変換部１１８は、この既存類似テクスチャ２４２を、入力画像対応未完成ＵＶテクスチャマップ２４０から取得した取得テクスチャ２４１の色に変換する色変換関数を算出する。
色変換関数は、例えば図８に示すような色変換行列である。
色変換行列は、例えばＲＧＢ色空間、ＨＳＶ色空間、Ｌａｂ色空間において定義される各値を変換する行列が適用可能である。
【００７０】
色変換部１１８は、図８に示す既存類似テクスチャ２４２の各画素の色値、例えば各画素のＬａｂ各値に図に示す３×３の色変換行列を乗算して取得テクスチャ２４１の色値を出力可能な色変換関数（例えば色変換行列）を算出する。
【００７１】
次に、色変換部１１８は、求めた色変換関数（例えば色変換行列）を適用して、入力画像対応未完成ＵＶテクスチャマップ２４０中のテクスチャの設定されていない領域に対するテクスチャ設定処理を実行する。
【００７２】
図９を参照して、色変換部１１８、信号処理部１１９、色合成部１２０の実行する処理の具体例について説明する。
図９に示す入力画像対応未完成ＵＶテクスチャマップ２４０は、入力画像（２次元画像）に基づいて生成されたテクスチャマップであり、一部のみにテクスチャが付与され、撮影画像である２次元画像に含まれない隠れた領域であるオクルージョン領域等にはテクスチャが設定されていない未完成テクスチャマップである。
【００７３】
この入力画像対応未完成ＵＶテクスチャマップ２４０と、図９に示すＦｉｌｔｅｒ以下の演算式によって生成されるテクスチャマップを加算することで、最終的に全ての領域にテクスチャの設定された入力画像対応完成ＵＶテクスチャマップ２８０を生成する。
【００７４】
図９に示すＦｉｌｔｅｒ以下の演算式、すなわち、
Ｆｉｌｔｅｒ（（既存類似ＵＶテクスチャマップ２５０）×（色変換行列））×（マスク）
この演算式に相当する処理を実行するのが、色変換部１１８と信号処理部１１９である。
入力画像対応未完成ＵＶテクスチャマップ２４０と、Ｆｉｌｔｅｒ以下の演算式によって生成されるテクスチャマップを加算する加算処理を実行するのが色合成部１２０である。
【００７５】
まず、Ｆｉｌｔｅｒ以下の演算式、すなわち、
Ｆｉｌｔｅｒ（（既存類似ＵＶテクスチャマップ２５０）×（色変換行列））×（マスク）
この演算式に相当する処理を実行する色変換部１１８と信号処理部１１９の処理について説明する。
【００７６】
色変換部１１８と信号処理部１１９は、テクスチャデータベース１４０から選択した既存類似ＵＶテクスチャマップ２５０の各画素の画素値に、先に図８を参照して説明した色変換行列を乗算し、乗算結果に対するフィルタリング処理を実行して、さらに、マスク２７１を乗算する。
マスク２７１は、入力画像対応未完成ＵＶテクスチャマップ２４０のテクスチャ設定領域＝０、テクスチャ未設定領域＝１としたマスクである。
【００７７】
この演算式、すなわち、
Ｆｉｌｔｅｒ（（既存類似ＵＶテクスチャマップ２５０）×（色変換行列））×（マスク）
この演算式により、入力画像対応完成ＵＶテクスチャマップ２８０のテクスチャ未設定領域のみに、テクスチャが設定されたテクスチャマップが生成される。
設定されるテクスチャは、既存類似ＵＶテクスチャマップ２５０のテクスチャの色を色変換行列で変換した色を有するテクスチャである。
すなわち、入力画像対応完成ＵＶテクスチャマップ２８０のテクスチャの持つ色に近づけた色変換処理が施されたテクスチャとなる。
【００７８】
このように、色変換部１１８と信号処理部１１９は、求めた色変換関数（例えば色変換行列）を適用して、入力画像対応未完成ＵＶテクスチャマップ２４０中のテクスチャの設定されていない領域に対するテクスチャ設定処理を実行する。
【００７９】
図９に示す演算式の［Ｆｉｌｔｅｒ］に相当する処理を実行する信号処理部１１９の処理について説明する。
［Ｆｉｌｔｅｒ］は、フィルタリング処理を意味する。
信号処理部１１９は、
（ａ）入力画像対応未完成ＵＶテクスチャマップ２４０に元々あるテクスチャ領域、
（ｂ）既存類似ＵＶテクスチャマップ２５０の色変換処理によって新たに追加したテクスチャ領域、
これら２つのテクスチャ領域の差異を低減する信号処理を実行する。
【００８０】
具体的には、例えば、上記（ｂ）のテクスチャ領域、すなわち、
（ｂ）既存類似ＵＶテクスチャマップ２５０の色変換処理によって新たに追加したテクスチャ領域に対する解像度変換処理やぼかし処理、さらにシャープネス処理などの信号処理を実行して、上記（ｂ）のテクスチャ領域と、上記（ａ）の領域、すなわち、
（ａ）入力画像対応未完成ＵＶテクスチャマップ２４０に元々あったテクスチャ領域、
この領域との差異を低減させる。
【００８１】
このように信号処理部１１９は、既存類似ＵＶテクスチャマップ２５０の色変換処理によって新たに追加したテクスチャ領域と、入力画像対応未完成ＵＶテクスチャマップ２４０に元々あったテクスチャ領域との解像度やノイズレベルが一致していない場合等に、これらを一致させるように、既存類似ＵＶテクスチャマップ２５０の色変換処理によって新たに追加したテクスチャ領域の画素値補正処理（フィルタリング処理）を実行する。
【００８２】
次に、図９に示す演算式中の加算処理を実行する色合成部１２０の実行する処理について説明する。
色合成部１２０は、
（ａ）入力画像対応未完成ＵＶテクスチャマップ２４０と、
（ｂ）既存類似ＵＶテクスチャマップ２５０の色変換処理と信号処理によって新たに生成したＵＶテクスチャマップ、
これらの２つのテクスチャマップを合成（加算）する処理を実行する、
この加算処理によって、最終的に全ての領域にテクスチャの設定された入力画像対応完成ＵＶテクスチャマップ２８０が生成される。
【００８３】
なお、色合成部１２０は、合成時の２つのテクスチャ領域境界部分について違和感を低減するため境界付近の画素値の補正処理として、αブレンド（２つの近接画素の画素値を、係数（α値）を適用して合成する処理）を行うことが好ましい。
【００８４】
このように、色変換部１１８、信号処理部１１９、色合成部１２０は、図９に示す演算式に従った処理を行い、最終的に全ての領域にテクスチャの設定された入力画像対応完成ＵＶテクスチャマップ２８０を生成する。
すなわち、
（入力画像対応未完成ＵＶテクスチャマップ２４０）＋
Ｆｉｌｔｅｒ（（既存類似ＵＶテクスチャマップ２５０）×（色変換行列））×（マスク）＝入力画像対応完成ＵＶテクスチャマップ２８０・・・（式１）
【００８５】
色変換部１１８、信号処理部１１９、色合成部１２０は、上記演算式（式１）に従った処理を実行して、全ての領域にテクスチャの設定された入力画像対応完成ＵＶテクスチャマップ２８０を生成する。
【００８６】
全ての領域にテクスチャの設定された入力画像対応完成ＵＶテクスチャマップ２８０は、３次元モデル出力部１２１において３次元モデル（３次元画像）に変換され、表示部３０に表示される。
なお、ここで生成される３次元モデルは、先に図２、図３を参照して説明した３次元形状復元部１１３が生成した既存３次元モデルの変形処理によって生成した復元３次元モデル２２０の３次元形状を有するモデルであり、この３次元モデルに、図９を参照して説明した入力画像対応完成ＵＶテクスチャマップ２８０対応のテクスチャを設定した３次元モデル（３次元画像）である。
【００８７】
なお、図１に示す画像処理装置１００の構成を適用して生成したテクスチャを有する３次元モデルやそのＵＶテクスチャマップは、図１０に示すように、３次元モデルデータベース１３０や、テクスチャデータベース１４０に新規登録データとして格納してもよい。
【００８８】
［３．本開示の画像処理装置の実行する処理のシーケンスについて］
次に、本開示の画像処理装置の実行する処理のシーケンスについて説明する。
【００８９】
図１１に示すフローチャートは、本開示の画像処理装置１００の実行する処理のシーケンスについて説明するフローチャートである。
なお、図１１に示すフローチャートに従った処理は、例えば、画像処理装置１００の記憶部に格納されたプログラムに従って、プログラム実行機能を持つＣＰＵ等を備えたコントローラからなるデータ処理部の制御の下に実行される。
図１１に示すフローの各ステップの処理について、順次、説明する。
【００９０】
（ステップＳ１０１）
まず、画像処理装置１００は、ステップＳ１０１において、３次元モデル生成元となるデータである画像データを入力し、後続処理部で処理可能なデータに変換する処理を実行する。例えば、２次元画像、デプス画像等の画像データを入力してデータ変換を行う。
【００９１】
この処理は、図１に示す画像処理装置１００の入力データ解析、変換部１１１が実行する処理である。入力データ解析、変換部１１１は、撮像部２０から入力した画像データを解析して変換する。例えばＲＧＢカラー画像を入力した場合、ビットマップデータなどの形式に変換する。また、距離画像（デプス画像）を入力した場合、１６ｂｉｔのＴｉｆｆ形式のデータに変換する処理などを行う。
なお、データ変換の態様は、後続の各処理部が処理可能なデータ形式であればよく、後続処理部の構成に応じて異なる。
【００９２】
（ステップＳ１０２）
次に、画像処理装置１００は、ステップＳ１０２において、入力画像に基づくオブジェクト識別処理を実行する。すなわちオブジェクトの種類判別を行う。
この処理は、図１に示す画像処理装置１００のオブジェクト認識部１１２が実行する処理である。
【００９３】
オブジェクト認識部１１２は、ＲＧＢ画像やデプス画像を解析し、被写体（オブジェクト）のオブジェクト種類を判別する。
【００９４】
（ステップＳ１０３）
次に、画像処理装置１００は、ステップＳ１０３において、識別されたオブジェクト種類対応の３次元モデルが、３次元モデルデータベース１３０に格納されているか否かを判定する。
【００９５】
この処理も、図１に示す画像処理装置１００のオブジェクト認識部１１２が実行する処理である。
オブジェクト認識部１１２は、ステップＳ１０２で判別したオブジェクト種類に対応する既存の３次元モデル（既存３次元モデル（Ｐｒｉｏｒモデル）が、３次元モデルデータベース１３０に存在するかどうかを判定する。
データベースに格納されている場合はステップＳ１０４に進む。
一方、データベースに格納されていない場合は、本開示の処理はできないので処理を終了する。
【００９６】
（ステップＳ１０４）
ステップＳ１０４以降の処理は、ステップＳ１０２で判別したオブジェクト種類に対応する既存の３次元モデル（既存３次元モデル（Ｐｒｉｏｒモデル）が、３次元モデルデータベース１３０に存在すると判定した場合に実行される。
【００９７】
この場合、画像処理装置１００は、ステップＳ１０４において、３次元モデルデータベース１３０から既存３次元モデルを取得し、入力画像に基づいて生成したポイントクラウドと既存３次元モデルの位置合わせ、変形処理を行い、入力画像の３次元形状を反映した復元３次元モデルを生成する。
【００９８】
この処理は、図１に示す画像処理装置１００の３次元形状復元部１１３が実行する処理である。
３次元形状復元部１１３は、先に図２、図３を参照して説明した処理を実行する。
すなわち、まず、デプス画像に基づいて、３次元座標上の点群データとして表現したポイントクラウド（Ｐｏｉｎｔ  Ｃｏｕｌｄ）を生成する。
【００９９】
次に、３次元モデルデータベース１３０から、オブジェクト認識部１１２において識別されたオブジェクト種類に一致する既存３次元モデル（Ｐｒｉｏｒモデル）を選択する。
次に、生成したポイントクラウド（Ｐｏｉｎｔ  Ｃｏｕｌｄ）と、３次元モデルデータベース１３０から取得した人の顔の既存３次元モデル（Ｐｒｉｏｒモデル）との間で、位置合わせと対応点ペア設定を行う。
その後、図３に示すように、全ての対応点間の誤差を小さくしていくように、既存３次元モデル（Ｐｒｉｏｒモデル）を変形させて、復元３次元モデル２２０を生成する。
復元３次元モデル２２０は、被写体１０の顔画像を反映した、被写体１０により近い３次元モデルとなる。
【０１００】
（ステップＳ１０５）
次に、画像処理装置１００は、ステップＳ１０５において、入力画像データから取得したテクスチャを、復元３次元モデル対応のＵＶ展開データに投影して、入力画像対応未完成ＵＶテクスチャマップを生成する。
【０１０１】
この処理は、図１に示す画像処理装置１００のテクスチャ投影部１１４が実行する処理である。
テクスチャ投影部１１４は、３次元形状復元部１１３で復元されたモデル、すなわち、図３に示す復元３次元モデル２２０に対して、変換部１１１の生成した変換データ（例えばＲＧＢ画像）に基づくテクスチャ投影処理を行う。
すなわち、被写体１０を撮影した２次元画像の各領域の画像を、復元３次元モデル２２０の対応領域に貼り付けるテクスチャ投影処理を行う。
【０１０２】
ただし、被写体１０を撮影した２次元画像は、復元３次元モデル２２０の一部の領域のテクスチャ情報しか有していない。すなわち、２次元画像に含まれない隠れた領域（オクルージョン領域）については、マスク処理を行い、テクスチャ投影は行わない。
なお、マスク領域の設定等、マスク方法については、ユーザが指定することが可能である。例えば顔画像を投影する場合、髪の毛の領域については２次元画像中にテクスチャ情報があってもテクスチャ投影を行わない設定とするなど、様々な設定が可能である。
【０１０３】
テクスチャ投影部１１４におけるテクスチャ投影処理は、３次元モデルに直接、テクスチャを投影した３次元モデルを生成する手法も適用可能であるが、多くの場合、処理の効率化のため、３次元モデルを２次元展開したデータ、いわゆるＵＶ展開データを用いて実行される。ＵＶ展開データ上にテクスチャ情報を貼り付けたデータはＵＶテクスチャマップと呼ばれる。
例えば、図４（２）に示す入力画像対応未完成ＵＶテクスチャマップが生成される。
【０１０４】
（ステップＳ１０６）
次に、画像処理装置１００は、ステップＳ１０６において、入力画像対応未完成ＵＶテクスチャマップから選択したテクスチャ取得領域からテクスチャを取得する。
【０１０５】
この処理は、図１に示す画像処理装置１００のテクスチャ取得部１１５が実行する処理である。
テクスチャ取得部１１５は、テクスチャ投影部１１４が、被写体１０の撮影画像（２次元画像）を利用して生成した入力画像対応未完成ＵＶテクスチャマップ２４０から、テクスチャ情報を取得する。
【０１０６】
例えば、図５に示すように、入力画像対応未完成ＵＶテクスチャマップ２４０からテクスチャが設定された一部の領域から、取得テクスチャ（画像）２４１を取得する。
【０１０７】
（ステップＳ１０７）
次に、画像処理装置１００は、ステップＳ１０７において、取得テクスチャと、テクスチャＤＢ１４０に格納された複数のＵＶテクスチャマップの既存テクスチャとを照合し、最も類似度の高いテクスチャを持つ既存類似ＵＶテクスチャマップを選択する。
【０１０８】
この処理は、図１に示す画像処理装置１００のテクスチャＤＢ検索部１１７が実行する処理である。
テクスチャＤＢ検索部１１７は、テクスチャ取得部１１５が取得した取得テクスチャ２４１と、テクスチャ解析部１１６が生成したテクスチャ解析データ（補助情報）に基づいて、テクスチャデータベース１４０から、取得テクスチャ２４１に最も類似する既存テクスチャを取得する。
【０１０９】
先に図７を参照して説明したように、テクスチャＤＢ検索部１１７は、テクスチャ取得部１１５が取得した取得テクスチャ２４１の取得位置に対応する画像位置のテクスチャを、テクスチャデータベース１４０に格納されたＵＶテクスチャマップの各々から取得して、それぞれを比較する。
この比較処理を実行して、取得テクスチャ２４１に最も類似するテクスチャを持つＵＶテクスチャマップを選択する。補助情報（肌の肌理などの解析結果）と照らし合わせて最も近い成分を持つテクスチャを持つＵＶテクスチャマップを選択する。
【０１１０】
（ステップＳ１０８）
次に、画像処理装置１００は、ステップＳ１０８において、選択した既存類似ＵＶテクスチャマップのテクスチャを、取得テクスチャに変換する色変換行列を算出する。
【０１１１】
この処理は、図１に示す画像処理装置１００の色変換部１１８が実行する処理である。
色変換部１１８は、この既存類似テクスチャ２４２を、入力画像対応未完成ＵＶテクスチャマップ２４０から取得した取得テクスチャ２４１の色に変換する色変換関数を算出する。
色変換関数は、例えば図８に示すような色変換行列である。
色変換行列は、例えばＲＧＢ色空間、ＨＳＶ色空間、Ｌａｂ色空間において定義される各値を変換する行列が適用可能である。
【０１１２】
（ステップＳ１０９）
次に、画像処理装置１００は、ステップＳ１０９において、色変換行列を既存類似ＵＶテクスチャマップに適用して、入力画像対応未完成ＵＶテクスチャマップのテクスチャ未設定領域のテクスチャを算出する。
【０１１３】
この処理も、図１に示す画像処理装置１００の色変換部１１８が実行する処理である。
色変換部１１８は、ステップＳ１０８で求めた色変換関数（例えば色変換行列）を適用して、図８に示す入力画像対応未完成ＵＶテクスチャマップ２４０中のテクスチャの設定されていない領域に対するテクスチャ設定処理を実行する。
【０１１４】
この処理は、先に図９を参照して説明した処理、すなわち、図９に示す演算式中の、Ｆｉｌｔｅｒ以下の演算式、すなわち、
Ｆｉｌｔｅｒ（（既存類似ＵＶテクスチャマップ２５０）×（色変換行列））×（マスク）
この演算式に相当する処理である。
【０１１５】
色変換部１１８は、テクスチャデータベース１４０から選択した既存類似ＵＶテクスチャマップ２５０の各画素の画素値に、先に図８を参照して説明した色変換行列を乗算し、さらに、そのフィルタリング結果に対してマスク２７１を乗算する。
マスク２７１は、入力画像対応未完成ＵＶテクスチャマップ２４０のテクスチャ設定領域＝０、テクスチャ未設定領域＝１としたマスクである。
【０１１６】
この演算式、すなわち、
Ｆｉｌｔｅｒ（（既存類似ＵＶテクスチャマップ２５０）×（色変換行列））×（マスク）
この演算式により、入力画像対応完成ＵＶテクスチャマップ２８０のテクスチャ未設定領域のみに、テクスチャが設定されたテクスチャマップが生成される。
設定されるテクスチャは、既存類似ＵＶテクスチャマップ２５０のテクスチャの色を色変換行列で変換した色を有するテクスチャである。
すなわち、入力画像対応完成ＵＶテクスチャマップ２８０のテクスチャの持つ色に近づけた色変換処理が施されたテクスチャとなる。
【０１１７】
（ステップＳ１１０）
次に、画像処理装置１００は、ステップＳ１１０において、色変換行列の適用によって算出したテクスチャ領域に対する信号処理を実行し、信号処理後のテクスチャマップと、入力画像対応未完成ＵＶテクスチャマップを合成して、入力画像対応完成ＵＶテクスチャマップを生成する。
【０１１８】
この処理は、図１に示す画像処理装置１００の信号処理部１１９と色合成部１２０の実行する処理である。
先に図９を参照して説明したように、信号処理部１１９は、図９に示す演算式の［Ｆｉｌｔｅｒ］に相当する処理を実行する。
また、色合成部１２０は、図９に示す演算式中の加算処理を実行する。
【０１１９】
まず、信号処理部１１９は、
（ａ）入力画像対応未完成ＵＶテクスチャマップ２４０に元々あるテクスチャ領域、
（ｂ）既存類似ＵＶテクスチャマップ２５０の色変換処理によって新たに追加したテクスチャ領域、
これら２つのテクスチャ領域の差異を低減する信号処理を実行する。
【０１２０】
具体的には、例えば、上記（ｂ）のテクスチャ領域、すなわち、
（ｂ）既存類似ＵＶテクスチャマップ２５０の色変換処理によって新たに追加したテクスチャ領域に対する解像度変換処理や、ぼかし処理、さらにシャープネス処理などの信号処理を実行して、上記（ｂ）のテクスチャ領域と、上記（ａ）の領域、すなわち、
（ａ）入力画像対応未完成ＵＶテクスチャマップ２４０に元々あったテクスチャ領域、
この領域との差異を低減させるための信号処理を実行する。
【０１２１】
次に、色合成部１２０は、
（ａ）入力画像対応未完成ＵＶテクスチャマップ２４０と、
（ｂ）既存類似ＵＶテクスチャマップ２５０の色変換処理と信号処理によって新たに生成したＵＶテクスチャマップ、
これらの２つのテクスチャマップを合成（加算）する処理を実行する、
この加算処理によって、最終的に全ての領域にテクスチャの設定された入力画像対応完成ＵＶテクスチャマップ２８０が生成される。
【０１２２】
その後、全ての領域にテクスチャの設定された入力画像対応完成ＵＶテクスチャマップ２８０は、３次元モデル出力部１２１において３次元モデル（３次元画像）に変換され、表示部３０に表示される。
なお、ここで生成される３次元モデルは、先に図２、図３を参照して説明した３次元形状復元部１１３が生成した既存３次元モデルの変形処理によって生成した復元３次元モデル２２０の３次元形状を有するモデルであり、この３次元モデルに、図９を参照して説明した入力画像対応完成ＵＶテクスチャマップ２８０対応のテクスチャを設定した３次元モデル（３次元画像）である。
【０１２３】
なお、上述した実施例においては、人の顔の３次元モデルを生成する実施例として説明したが、本開示の処理は、人の顔に限らず、既存の３次元モデルや既存のテクスチャデータがあれば、あらゆる物体を処理対象とすることが可能である。例えば、人の顔、人の体、動物、植物、工作物、建築物等、様々な物の３次元モデルのを生成処理に利用可能である。
【０１２４】
［４．画像処理装置のハードウェア構成例について］
次に、図１２を参照して本開示の画像処理装置のハードウェア構成例について説明する。
本開示の画像処理装置は、例えば、具体的には、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の情報処理装置によって構成することが可能である。
【０１２５】
図１２に示すように画像処理装置３００は、コントローラ３０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０３、入出力インタフェース３０５、および、これらを互いに接続するバス３０４を備える。
【０１２６】
コントローラ３０１は、必要に応じてＲＡＭ３０３等に適宜アクセスし、各種演算処理を行いながら画像処理装置３００の各ブロック全体を統括的に制御する。コントローラ３０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等であってもよい。ＲＯＭ３０２は、コントローラ３０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ３０３は、コントローラ３０１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【０１２７】
入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、および、リムーバブルメディア３１１を装着可能なドライブ３１０等が接続される。
なお、入出力インタフェース１０５は、これらの各要素の他、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）端子やＩＥＥＥ端子等を介して外部周辺機器と接続可能に構成されてもよい。
【０１２８】
入力部３０６は、例えば、図１に示す撮像部２０の撮影画像を入力し、さらにユーザの操作情報等を入力可能な入力部である。入力部３０６が撮像部を有する構成としてもよい。
入力部３０６には、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置も含まれる。
出力部３０７は、図１に示す表示部３０に対するデータ出力を行う。出力部３０７が表示部を有する構成としてもよい。
【０１２９】
記憶部３０８は、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）や、フラッシュメモリ（ＳＳＤ；Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、その他の固体メモリ等の不揮発性メモリである。記憶部３０８には、ＯＳや各種アプリケーション、各種データが記憶される。記憶部３０８は、また、入力画像や、画像情報、生成した出力画像群等の記憶領域としても利用される。
【０１３０】
通信部３０９は、例えばＥｔｈｅｒｎｅｔ（登録商標）用のＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）であり、ネットワークを介した通信処理を担う。
【０１３１】
ドライブ３１０は、リムーバブルメディア３１１を利用したデータ記録、再生処理に利用される。
リムーバブルメディア３１１は、例えばＢＤ、ＤＶＤ、ＣＤ、ＨＤＤ、フラッシュメモリ等によって構成される。
【０１３２】
［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１３３】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  ２次元画像を入力し、入力画像対応の３次元モデルを生成する３次元形状復元部と、
前記３次元形状復元部が生成した３次元モデルにテクスチャを付与するテクスチャ処理部を有し、
前記テクスチャ処理部は、
前記２次元画像から取得した取得テクスチャに類似する既存テクスチャをテクスチャデータベースから取得する処理と、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数算出処理と、
前記３次元モデル中、前記２次元画像からテクスチャが得られないテクスチャ未設定領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する処理を実行する画像処理装置。
【０１３４】
（２）  前記テクスチャ処理部は、
前記３次元モデル中、前記２次元画像からテクスチャが得られないオクルージョン領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する（１）に記載の画像処理装置。
【０１３５】
（３）  前記テクスチャ処理部は、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数として、色変換行列を算出する（１）または（２）に記載の画像処理装置。
【０１３６】
（４）  前記テクスチャデータベースは、
３次元モデル対応のテクスチャデータであるＵＶテクスチャマップを格納したデータベースであり、
前記テクスチャ処理部は、
前記テクスチャデータベースに格納された複数のＵＶテクスチャマップから、前記２次元画像から取得した取得テクスチャの取得領域と同一の領域のテクスチャを取得して、取得テクスチャに最も類似するテクスチャを有するＵＶテクスチャマップを選択取得する（１）〜（３）いずれかに記載の画像処理装置。
【０１３７】
（５）  前記テクスチャ処理部は、
前記ＵＶテクスチャマップに前記変換関数を適用して算出したテクスチャを、前記３次元モデルに設定する（４）に記載の画像処理装置。
【０１３８】
（６）  前記テクスチャ処理部は、
前記２次元画像から取得した取得テクスチャの解析を実行するテクスチャ解析部と、
前記テクスチャ解析部の解析結果に基づいて、前記テクスチャデータベースから、前記取得テクスチャに類似する既存テクスチャを選択するテクスチャデータベース検索部を有する（１）〜（５）いずれかに記載の画像処理装置。
【０１３９】
（７）  前記テクスチャ解析部は、ユーザ指定に従ったテクスチャ解析処理を実行する（６）に記載の画像処理装置。
【０１４０】
（８）  前記テクスチャデータベースは、
３次元モデル対応のテクスチャデータであるＵＶテクスチャマップと、ＵＶテクスチャマップ各々の属性情報を対応付けて記録した構成であり、
前記テクスチャデータベース検索部は、
前記属性情報を利用したテクスチャ検索処理を実行する（６）または（７）に記載の画像処理装置。
【０１４１】
（９）  前記画像処理装置は、さらに、
前記入力画像に基づくオブジォクト識別を実行するオブジェクト認識部を有し、
前記オブジェクト認識部は、３次元モデル生成対象のオブジェクト種類を判別し、
前記３次元形状復元部は、
判別されたオブジェクト種類に一致する種類の既存３次元モデルをデータベースから取得して、取得した既存３次元モデルを変形して入力画像対応の３次元モデルを生成する（１）〜（８）いずれかに記載の画像処理装置。
【０１４２】
（１０）  前記３次元形状復元部は、
前記入力画像に含まれるデプス画像を利用して、３次元座標上の点群データからなるポイントクラウドを生成し、
生成したポイントクラウドと、前記既存３次元モデルとの対応点を検出して、対応点間の誤差を小さくするように、前記既存３次元モデルの変形処理を実行して入力画像対応の３次元モデルを生成する（９）に記載の画像処理装置。
【０１４３】
（１１）  前記テクスチャ処理部は、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数算出処理と、
前記３次元モデル中、前記２次元画像からテクスチャが得られないテクスチャ未設定領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する処理を実行する色変換部と、
前記色変換部の生成したテクスチャと、
前記入力画像から得られるテクスチャとの差分を低減するための信号処理を実行する信号処理部を有する（１）〜（１０）いずれかに記載の画像処理装置。
【０１４４】
（１２）  前記信号処理部は、
前記色変換部の生成したテクスチャに対する解像度変換処理、ぼかし処理、シャープネス処理の少なくともいずれかの処理を実行する（１１）に記載の画像処理装置。
【０１４５】
（１３）  画像処理装置において実行する画像処理方法であり、
３次元形状復元部が、２次元画像を入力し、入力画像対応の３次元モデルを生成する３次元形状復元処理実行ステップと、
テクスチャ処理部が、前記３次元形状復元部が生成した３次元モデルにテクスチャを付与するテクスチャ付与処理実行ステップを有し、
前記テクスチャ付与処理実行ステップにおいては、
前記２次元画像から取得した取得テクスチャに類似する既存テクスチャをテクスチャデータベースから取得する処理と、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数算出処理と、
前記３次元モデル中、前記２次元画像からテクスチャが得られないテクスチャ未設定領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する処理を実行する画像処理方法。
【０１４６】
（１４）  画像処理装置において画像処理を実行させるプログラムであり、
３次元形状復元部に、２次元画像を入力し、入力画像対応の３次元モデルを生成させる３次元形状復元処理実行ステップと、
テクスチャ処理部に、前記３次元形状復元部が生成した３次元モデルにテクスチャを付与させるテクスチャ付与処理実行ステップを実行させ、
前記テクスチャ付与処理実行ステップにおいては、
前記２次元画像から取得した取得テクスチャに類似する既存テクスチャをテクスチャデータベースから取得する処理と、
前記既存テクスチャの色を、前記取得テクスチャの色に近づける変換関数算出処理と、
前記３次元モデル中、前記２次元画像からテクスチャが得られないテクスチャ未設定領域に、前記既存テクスチャに前記変換関数を適用して算出したテクスチャを設定する処理を実行させるプログラム。
【０１４７】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４８】
また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１４９】
以上、説明したように、本開示の一実施例の構成によれば、２次元画像からテクスチャが得られないオクルージョン領域に、より自然なテクスチャを設定した３次元モデルを生成する装置、方法が実現される。
具体的には、例えば、２次元画像に基づく３次元モデルを生成する３次元形状復元部と、３次元モデルにテクスチャを付与するテクスチャ処理部を有する。テクスチャ処理部は、２次元画像からの取得テクスチャに類似する既存テクスチャをＤＢから取得し、既存テクスチャの色を取得テクスチャの色に近づける変換関数を算出し、２次元画像からテクスチャが得られない領域に既存テクスチャに変換関数を適用して算出したテクスチャを設定する。例えば２次元画像からテクスチャが得られないオクルージョン領域に、変換関数を適用して算出したテクスチャを設定する。
本構成により、２次元画像からテクスチャが得られないオクルージョン領域に、より自然なテクスチャを設定した３次元モデルを生成する装置、方法が実現される。
【符号の説明】
【０１５０】
１０  被写体
２０  撮像部
３０  表示部
１００  画像処理装置
１１１  入力データ解析、変換部
１１２  オブジェクト認識部
１１３  ３次元形状復元部
１１４  テクスチャ投影部
１１５  テクスチャ取得部
１１６  テクスチャ解析部
１１７  テクスチャＤＢ検索部
１１８  色変換部
１１９  信号処理部
１２０  色合成部
１２１  ３次元モデル出力部
１３０  ３次元モデルデータベース
１４０  テクスチャデータベース
２０１  ＲＧＢ画像
２０２  デプス画像
２０３  ポイントクラウド
２１１  既存３次元モデル
２２０  復元３次元モデル
２４０  入力画像対応未完成ＵＶテクスチャマップ
２４１  取得テクスチャ
２５０  既存類似ＵＶテクスチャマップ
２５１  既存類似テクスチャ
２８０  入力画像対応完成ＵＶテクスチャマップ
３００  画像処理装置
３０１  コントローラ
３０２  ＲＯＭ
３０３  ＲＡＭ
３０４  バス
３０５  入出力インタフェース
３０６  入力部
３０７  出力部
３０８  記憶部
３０９  通信部
３１０  ドライブ
３１１  リムーバブルメディア
【図１】
2020149174.tif 000003
【図２】
2020149174.tif 000004
【図３】
2020149174.tif 000005
【図４】
2020149174.tif 000006
【図５】
2020149174.tif 000007
【図６】
2020149174.tif 000008
【図７】
2020149174.tif 000009
【図８】
2020149174.tif 000010
【図９】
2020149174.tif 000011
【図１０】
2020149174.tif 000012
【図１１】
2020149174.tif 000013
【図１２】
2020149174.tif 000014