(57)【要約】【課題】撮影画像を用いて対象部分に光演出を施した仮想画像を簡便に作成する。【解決手段】実画像取得部１１は、実画像を取得する。３次元情報取部１２は、実画像と同時に奥行き情報を含む３次元情報を取得する。輪郭抽出部１３ａは、実画像と３次元情報とから輪郭画像をそれぞれ抽出する。補正部１３ｂは、３Ｄ輪郭画像の輪郭を２Ｄ輪郭画像の輪郭に整合させる。３次元モデル推定部１４では、３Ｄ輪郭画像を用いてオクルージョン部の形状推定を行い、シェーディング処理を施すための座標系に変換し、３Ｄ輪郭画像に含まれる物体の反射率を設定する。光源推定部２１は、強調指定部２０により実画像上で指定される対象部分を明るく演出するための光源情報を推定する。シェーディング処理部１５は、推定された光源情報に基づいて仮想光源を３Ｄ輪郭画像の仮想空間に定義して、物体の反射率情報に基づいて陰影画像を生成し、２次元の陰影画像で出力する。ブレンディング部１６は、陰影画像と実画像とを合成して２次元の仮想画像を作成する。【選択図】図１
2013235537.tif 000002
【特許請求の範囲】
【請求項１】
実画像を取得する実画像取得手段と、
前記実画像に対応して奥行き情報を含む３次元情報を取得する３次元情報取得手段と、
前記実画像と前記３次元情報とに基づいて３次元画像を生成する３次元画像生成手段と、
前記実画像に対して光による演出を施す対象部分を指定する指定手段と、
前記指定手段で指定された対象部分に基づいて前記演出を施すための仮想光源に関する情報を推定する推定手段と、
前記推定手段で推定した前記情報に基づいて前記仮想光源を前記３次元画像の仮想空間に定義して陰影情報を生成するシェーディング手段と、
前記陰影情報を前記実画像に合成するブレンディング手段と、
を備えることを特徴とする画像作成装置。
【請求項２】
請求項１に記載の画像作成装置において、
前記仮想光源に関する情報を変更する光源情報変更手段を備えていることを特徴とする画像作成装置。
【請求項３】
請求項１又は２に記載の画像作成装置において、
前記指定手段は、強調させる範囲を指定する手段であり、
前記指定手段で指定した範囲に対応する前記３次元画像での範囲をメッシュ分割する手段と、
前記分割された各メッシュの面法線ベクトルを算出する手段と、
前記複数の面法線ベクトルの和をとることで合成ベクトルを算出する手段と、
前記合成ベクトルが示す方向線上に定義するための前記仮想光源を推定する手段と、
を含むことを特徴とする画像作成装置。
【請求項４】
請求項１又は２に記載の画像作成装置において、
前記指定手段は、強調する被写体、又は被写体の境界を指定する手段であり、
前記推定手段は、
前記指定手段で指定した前記被写体を含む領域、又は前記境界を含む領域に対応する前記３次元画像での領域に対してクラスタリング処理を施して前記領域を抽出する手段と、
前記抽出された領域の背後に定義するための前記仮想光源を推定する手段と、
を含むことを特徴とする画像作成装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像作成装置において、
前記３次元画像生成手段は、
前記実画像と前記３次元情報とから輪郭画像をそれぞれ抽出する輪郭抽出手段と、
前記３次元情報の輪郭を前記実画像の輪郭に整合させるように前記３次元情報を補正して３次元画像を生成する補正手段と、
を含むことを特徴とする画像作成装置。
【請求項６】
請求項５に記載の画像作成装置において、
前記実画像に含まれる物体の反射率を特定し特定した反射率を、前記補正手段により補正をした後の前記３次元画像に含まれる物体毎に設定する反射率設定手段と、
を備えることを特徴とする画像作成装置。
【請求項７】
実画像を取得する実画像取得ステップと、
前記実画像に対応して奥行き情報を含む３次元情報を取得する３次元情報取ステップと、
前記実画像と前記３次元情報とに基づいて３次元画像を生成する３次元画像生成ステップと、
前記実画像に対して光による演出を施す対象部分を指定する指定ステップと、
前記指定された対象部分に基づいて前記演出を施すための仮想光源に関する情報を推定する推定ステップと、
前記推定された情報に基づいて前記仮想光源を前記３次元画像の仮想空間に定義することで陰影情報を生成するシェーディングステップと、
前記陰影情報を前記実画像に合成するブレンディングステップと、
をコンピュータに実行させるための画像作成プログラム。
【請求項８】
請求項７に記載の画像作成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
深度マップと実画像とを使用して仮想画像を作成する画像作成装置、画像作成プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
印象のある写真を撮る技術として、外部ストロボやレフ板を設置し被写体に対してライティングを施し、奥行き感の演出や被写体の強調を行う技術がある。このような技術は任意光源下での撮影を可能にするものの、高価な機材やユーザーのスキルを必要とし一般ユーザーが気軽に実現するのは難しい。またこのようなライティング条件は撮影時において決定されるため、撮影後の画像の補正は困難である。
【０００３】
一方、コンピューターグラフィック内に実モデルを自然な見た目で配置する技術として、Image-Based Rendering(ＩＢＲ)という技術が知られている（特許文献１）。ＩＢＲにおいては、複数の光源状態で撮影された複数の実モデルの画像を線形結合することで、任意光源下での画像イメージの作成を行う。すなわち、光源の照射方向を変えた複数の撮影画像を用いることで、任意光源下での画像イメージを作成することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−５２２０８号公報（段落［０００２］）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的なＩＢＲの技術を用いると任意光源下での実モデルの画像イメージの作成が可能になるものの、通常の撮影時に異なる光源での複数の画像を撮影するのは極めて非現実的である。
【０００６】
本発明は、上記問題に鑑み、一回の撮影から得られる画像を用いて、所望する陰影や演出を実現した仮想画像を作成する画像作成装置、画像作成プログラム、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する画像作成装置の一態様は、実画像を取得する実画像取得手段と、前記実画像に対応して奥行き情報を含む３次元情報を取得する３次元情報取得手段と、前記実画像と前記３次元情報とに基づいて３次元画像を生成する３次元画像生成手段と、前記実画像に対して光による演出を施す対象部分を指定する指定手段と、前記指定された対象部分に基づいて前記演出を施すための仮想光源に関する情報を推定する推定手段と、前記推定された前記情報に基づいて前記仮想光源を前記３次元画像の仮想空間に定義することで陰影情報を生成するシェーディング手段と、前記陰影情報を前記実画像に合成するブレンディング手段と、を備えたものである。なお、本発明としては、画像作成プログラムとしてもよい。また、画像作成プログラムを記録したコンピュータ読み取り可能な記録媒体としてもよい。
【発明の効果】
【０００８】
本発明によれば、所望する対象部分に対して光演出を施した仮想画像を簡便に作成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の画像作成装置の概略を示すブロック図である。
【図２】画像作成装置の動作手順を示すフローチャートである。
【図３】実画像取得部が取得した実画像の一例を示す画像である。
【図４】深度マップ取得部が取得した深度マップの一例を示す画像である。
【図５】実画像から抽出した輪郭画像の一例を示す画像である。
【図６】深度マップから抽出した輪郭画像の一例を示す画像である。
【図７】実画像から抽出した輪郭画像をラスタスキャンして輪郭の各点をサンプリングする処理を説明する説明図である。
【図８】実画像の輪郭からサンプリングした各点に対して、深度マップの輪郭画像の点を対応付けする処理を示す説明図である。
【図９】実画像の輪郭に基づいて深度マップの輪郭を補正する処理を示す説明図である。
【図１０】光源推定部の動作手順を示すフローチャートである。
【図１１】実画像に対して対象部分を指定する様子を示す説明図である。
【図１２】対象部分に対応する３次元の輪郭画像の範囲をメッシュ分割した状態を示す説明図である。
【図１３】各メッシュから算出される面法線ベクトルを示す説明図である。
【図１４】面法線ベクトルの和から求めた合成ベクトルの方向線上に定義される仮想光源を示す説明図である。
【図１５】シェーディング部が生成した陰影情報を示す説明図である。
【図１６】陰影情報と実画像とを合成した陰影画像を示す説明図である。
【図１７】対象部分として被写体を指定して光演出を施す第２実施形態の動作手順を示すフローチャートである。
【図１８】被写体をクラスタリング処理して距離に応じて被写体の輪郭像を抽出するクラスタリング処理を施した輪郭画像を仮想的に示す説明図である。
【図１９】実画像に対して光演出を施す被写体を選択する画面を示す説明図である。
【図２０】指定した被写体の輪郭像の後ろに仮想光源を定義して陰影情報を生成する状態を仮想的に示す説明図である。
【図２１】陰影画像と実画像とを合成して生成した仮想画像を示す説明図である。
【発明を実施するための形態】
【００１０】
［第１実施形態］
画像作成装置１０は、図１に示すように、実画像取得部１１、深度マップ取得部１２、３次元モデル推定部１４、シェーディング処理部１５、ブレンディング部１６、物体推定部１７、物体・反射率対応部１８、反射率設定部１９、強調指定部２０、光源推定部２１、光源情報変更操作部２２、及び、ブレンド画像出力部２３を備える。実画像取得部１１は、実画像情報（以下、「実画像」と称す）を取得するための公知の撮像装置であり、取得した実画像を格納するメモリ１１ａを備える。
【００１１】
深度マップ取得部１２は、奥行き情報である深度マップ、又はそれを含む３次元情報（以下、「深度マップ」と称す）を、実画像と同時に、同じ撮像範囲となるように取得するものであり、取得した深度マップを格納するメモリ１２ａを備える。なお、深度マップ取得部１２は、周知の「ステレオカメラによる深度マップの生成手法」、「赤外光を利用したＴＯＦ（Time of Flight）手法」、「赤外光の反射パターンを利用した手法」、又は「動きベクトルからの深度マップの生成手法」等の何れかの技術を利用して取得するものであり、ここでは詳しい説明を省略する。深度マップは、例えばある基準位置を基に深さが深いピクセルの場合にはそのピクセルの輝度を高くする等、各ピクセルにおける深度に応じた輝度を求めたグレースケールの画像である。
【００１２】
深度マップ補正部１３は、輪郭抽出部１３ａと補正部１３ｂとを備える。輪郭抽出部１３ａは、深度マップと実画像とを入力として、ハイパスフィルタ処理等実行して深度マップと実画像とで輪郭を各々強調して輪郭を抽出する。補正部１３ｂは、実画像の輪郭（２D輪郭）に合わせて深度マップの輪郭（３D輪郭）を補正する。３D輪郭画像と２D輪郭画像とでは、特に輪郭部で不整合が存在し、シェーディング時の陰影が実画像の輪郭からずれる。これを防止するために、実画像で抽出した輪郭（２D輪郭）に基づいて深度マップから抽出した輪郭（３D輪郭）の補正を行うことで、シェーディング処理部１５での不整合を減少させる。
【００１３】
３次元モデル推定部１４では、輪郭補正がなされた３D輪郭画像が入力され、座標変換、及び形状推定を行う。３次元モデル推定部１４は、３D輪郭画像のうち物体に隠れて深度情報が得られていない領域、すなわちオクル―ジョン部の形状推定を行うオクルージョン処理部１４ａ、シェーディング処理部１５へ入力するための座標系に変換する座標変換部１４ｂ、及び反射率設定部１９から入力される反射率の情報を基に３次元モデルに対する反射率の設定を行う反射率設定処理部１４ｃを有する。
【００１４】
深度マップでは、手前の物体に遮られて奥の物体が見えなくなっている領域の３次元情報を取得するのは難しく、これは一般的にオクルージョンと呼ばれている。そのため、オクルージョン処理部１４ａに入力される３D輪郭画像は、３次元情報の一部（オクルージョン部）に欠損が生じている。オクルージョン処理部１４ａでは、深度マップを用いてオクルージョン部の形状推定を行い、シェーディング処理をするための３次元情報を補完する。また、座標変換部１４ｂでは、深度マップ取得部１２で取得した深度マップの座標系からシェーディング処理を施すための座標系に変換する。反射率設定処理部１４ｃは、３D輪郭画像に含まれる物体の反射率を設定する。
【００１５】
シェーディング処理部１５では、補間した３D輪郭画像と物体の反射率情報と、光源推定部２１から入力される仮想光源に関する情報とを入力として、３D輪郭画像の仮想空間に仮想光源を定義して３次元の陰影画像を生成し、実画像のカメラ位置に基づいて３次元の陰影画像から２次元の陰影画像を出力する。なお、シェーディング処理部１５としては、レイトレーシング法、又はラディオシティ法等の周知の技術を用い、例えばグレースケールで表現される陰影画像を生成するのが好適である。
【００１６】
ブレンディング部１６は、２次元の陰影画像と実画像とを入力として、これら２つの画像をブレンドする。なお、ブレンド処理としては、周知のαブレンディングの技術を使用してもよい。ブレンド画像出力部２３は、ブレンディング部１６で生成された２次元の仮想画像を、該装置１０に外部接続される、例えば表示部、又はプリンタ等に出力する。
【００１７】
物体推定部１７では、実画像、及び深度マップから得られる色、及び形状に基づいて、実画像に含まれる物体の推定を行う。物体推定には、物体推定には、人の顔認識のような幾何学形状を用いた手法や、テンプレートとの相違を用いるテンプレートマッチング法を用いてもよい。このような物体推定の手法は、認識・学習アルゴリズムの分野で広く知られているものである。
【００１８】
物体・反射率対応部１８では、物体と反射率とを予め対応づけたＤＢ（データベース）１８ａを用いて、物体推定部１７で推定された物体に対する反射率を求める。
反射率設定部１９は、推定された物体に対応する反射率を３次元モデル推定部１４に出力する。なお、ユーザーが選択した物体の反射率を任意に設定することがきる設定操作部を設け、設定操作部から入力される反射率を３次元モデル推定部１４に出力するように構成してもよい。
【００１９】
強調指定部２０は、明るくする演出を施す対象部分を指定する。例えば、図示していないが、タッチパネル付きの表示部を設け、その表示部に実画像を表示し、タップ操作やタッチ操作に応答してその操作位置を含む範囲に、選択ツールである枠やなげなわを実画像上に重ねて表示して、ドラッグ操作やピンチ操作により前記枠やなげなわを広げたり縮めたりすることで範囲指定を行って、画面に表示される決定ボタンの操作に応答してその時点で設定されている前記枠やなげなわの座標を入力する構成が好ましい。ここで、強調指定部２０は、指定手段の一例である。
【００２０】
光源推定部２１は、強調指定部２０で指定した対象部分に対して明るくなる演出を施すための仮想光源に関する情報（以下、「光源情報」と称す）を推定する。ここで、光源情報としては、位置、向き（照射方向）、光源分布、及び光源波長を含む。本実施形態では、これらの情報のうち位置情報を推定し、他の情報は予め決めた値を用いる。なお、全ての情報を推定してもよいし、複数の情報を推定し、残りの情報は予め決めた値を使用してもよい。
【００２１】
光源情報変更操作部２２は、推定した光源情報を所望する情報に変更するための操作部である。シェーディング処理部１５は、光源情報変更操作部２２からの操作により変更された情報に基づいて、仮想光源を定義し直して陰影画像を生成する。なお、光源情報変更操作部２２を操作する時には、変更される光源情報が直ぐに反映されるように、陰影画像を表示部に表示するように構成するのが、変更操作が簡便に行えるので望ましい。なお、光源情報変更操作部２２は、光源情報変更手段の一例である。なお、光源情報変更操作部２２を省略してもよい。
【００２２】
次に、本実施形態の作用を、図２を参照しながら説明する。まず、実画像取得部１１は、例えば図３に示す実画像を取得する（Ｓ−１）。取得した実画像は、メモリ１１ａに記憶される。実画像は、その後、メモリ１１ａから読み出されて深度マップ補正部１３に送られる。深度マップ補正部１３では、実画像に対してハイパスフィルタ処理を施して輪郭抽出を行う（Ｓ−２）。抽出された２D輪郭画像は、図４に示すように、輪郭がハイライトで強調された画像となる。
【００２３】
次に、深度マップ取得部１２は、実画像に対応する深度マップを取得する（Ｓ−３）。深度マップは、例えば図５に示すように、ある基準位置からの深度が浅いピクセル程、ハイライトの輝度で得られるのに対し、輪郭がぼやけた画像となる。取得した深度マップは、メモリ１２ａに格納される。なお、深度マップは、撮像範囲、及び被写体画像が略同じであれば実画像と同時に取得しなくてもよい。
【００２４】
次に、得られた深度マップは、メモリ１２ａから読み出されて深度マップ補正部１３に送られる。深度マップ補正部１３は、深度マップに対してハイパスフィルタ処理を施して輪郭抽出を行う（Ｓ−４）。深度マップから輪郭を抽出した３次元画像（以下、「３Ｄ輪郭画像」と称す）は、図６に示すように、輪郭がハイライトで強調された画像となるが、図４で説明した２D輪郭画像と比較して輪郭が階段状にギザギザした画像となっている。その後、深度マップ補正部１３は、２D輪郭画像と３Ｄ輪郭画像とで位置合わせを行い、３Ｄ輪郭画像の輪郭を２D輪郭画像の輪郭に整合するように補正する（Ｓ−５）。
【００２５】
３Ｄ輪郭画像の輪郭補正を詳しく説明する。図７に示すように、実画像から抽出した２D輪郭画像３０の左上からラスタスキャンを行い、２D輪郭画像の輪郭の点をサンプリングする。２D輪郭画像は、通常グレースケール画像になり、ラスタスキャン時に閾値を超える点を輪郭の点としてサンプリングする。このようにすることで、２D輪郭画像の輪郭の点を、ラスタスキャンのサンプリングレートにより取得することができる。なお、２D輪郭画像３０としては、前述した閾値処理の代わりに、ラベリング処理による領域抽出やエッジ検出処理により抽出してもよい。その後、同様な処理により、図８に示すように、深度マップから３Ｄ輪郭画像３１を抽出する。
【００２６】
２D輪郭画像の輪郭の各点に対して、３Ｄ輪郭画像の輪郭と対応づけを行う。これは、２D輪郭画像の輪郭の各点に対して、３Ｄ輪郭画像中で最近傍にある輪郭の点を、同様の輪郭の点として対応つける。例えば、２D輪郭画像に含まれる物体のうちのサイコロの輪郭に対しては、２D輪郭画像の位置（ｘ，ｙ）にある輪郭の点Ａ（図７参照）が、３Ｄ輪郭画像の輪郭のうちの前記位置（ｘ，ｙ）の近傍である位置（ｘ１，ｙ１）にある点Ａ‘（図８参照）として対応付けされる。
【００２７】
上記の方法で、３Ｄ輪郭画像の輪郭の各点と２D輪郭画像の輪郭の各点との対応付けを行い、図９（Ａ）に示す３Ｄ輪郭画像の輪郭３２の各点を、対応する２D輪郭画像の輪郭点の位置に移動して、同図（Ｂ）に示すように、３Ｄ輪郭画像の輪郭を補正する。この補正には、周知のレンズのゆがみ補正やキャリブレーションで用いられる座標変換等の技術を使用することができる。
【００２８】
補正された３Ｄ輪郭画像は、３次元モデル推定部１４に送られる。３次元モデル推定部１４のオクルージョン処理部１４ａは、３Ｄ輪郭画像に含まれるオクルージョン部の形状推定を行って３Ｄ輪郭画像を補間する（Ｓ−６）。補間された３Ｄ輪郭画像は、座標変換部１４ｂにより３Ｄ輪郭画像の座標系からシェーディング処理をするためのワールド座標系に変換される（Ｓ−７）。座標変換された３Ｄ輪郭画像は、反射率設定処理部１４ｃに送られる。
【００２９】
反射率設定処理部１４ｃには、３Ｄ輪郭画像に含まれる物体（被写体）毎の反射率情報が反射率設定部１９から入力されている（Ｓ−８）。反射率設定部１９には、物体推定部１７が実画像に基づいて推定した物体の情報が入力されている（Ｓ−９）。反射率設定部１９は、特定した物体に基づいてＤＢ１８ａを参照して反射率を特定する。反射率設定処理部１４ｃは、物体毎の反射率の情報に基づいて３Ｄ輪郭画像に含まれる物体の表面に反射率を設定する（Ｓ−１０）。この物体毎の表面に設定される反射率の情報は、シェーディング処理部１５に送られる。
【００３０】
明るくする演出を施すための対象部分は、強調指定部２０を使用して実画像に対して予め指定されている（Ｓ−１１）。なお、強調部を指定する順は、前述した順に限らず、例えば図２で説明する手順の一番先でもよい。この場合には、指定された対象部分の座標をいったんメモリに記憶しておけばよい。光源推定部２１は、強調指定部２０で指定される対象部分に基づいて、その対象部分に対応する３Ｄ輪郭画像の指定範囲に対して、明るくなる演出を施すための光源情報を推定する（Ｓ−１１）。
【００３１】
光源情報を推定する手順の一例を、図１０を参照しながら説明する。実画像３３を、例えば表示部に表示する。強調指定部２０を操作して、図１１に示すように、表示される実画像３３に対して光演出を施す範囲３６’を指定する。光源推定部２１は、図１２に示すように、実画像３３に指定した範囲３６’に対応する３Ｄ輪郭画像３５での指定範囲３６を、複数の三角形状のメッシュ３７に分割する（Ｓ−１３）。その後、図１３に示すように、分割された各メッシュ３７の面法線ベクトル３８をそれぞれ算出し（Ｓ−１４）、複数の面法線ベクトル３８の和をとることで合成ベクトル３９を算出する（Ｓ−１５）。そして、光源推定部２１は、図１４に示すように、合成ベクトル３９が示す方向線上に定義されるように仮想光源４０を推定する（Ｓ−１６）。
【００３２】
光源推定部２１で推定された光源情報は、シェーディング処理部１５に送られる。シェーディング処理部１５は、推定した光源情報に基づいて３D輪郭画像の仮想空間に仮想光源４０を定義し、さらに、物体毎の表面に設定される反射率の情報に基づいて、図１５に示すように、物体に対して仮想光源４０とは逆側に陰影４１を付けた陰影画像を生成する（Ｓ−１７）。生成した陰影画像は、実画像のカメラ位置と同じ方向から見た２次元の陰影画像に変換して出力される。
【００３３】
ブレンディング部１６は、陰影画像と実画像とを入力として、これら２つの画像をブレンドして、実画像に対して仮想的な陰影を付加した仮想画像を生成する（Ｓ−１８）。そして、ブレンド画像出力部２３により表示部又はプリンタに出力される（Ｓ−１９）。これにより、図１６に示すように、実画像のうちの所望する対象範囲に対して明るい演出を施した仮想画像４３を得ることができる。
【００３４】
［第２実施形態］
第２実施形態では、強調指定部２０を使用して、実画像に対して光演出を施したい被写体を対象部分として指定することで、光源推定部２１が指定した被写体の境界を後ろから照らす仮想光源、例えばバックライト（Back Light）の推定を行う。
【００３５】
具体的には、光源推定部２１は、図１７に示すように、実画像と深度マップとに基づいて被写体毎にクラスタリング処理を行う（Ｓ−１７）。クラスタリング処理は、例えば、図１８に示すように、実画像から抽出される特徴（色や輝度の情報）情報と、深度マップから抽出される距離情報とに基づいて、距離が同じクラスタの集合として複数の被写体Ａ〜Ｄの輪郭像を抽出した３D輪郭画像４５を生成する。その後、深度マップ補正部１３で３D輪郭画像４５の補正を行ってもよいが、省略してもよい。
【００３６】
その後、図１９に示すように、例えば表示部に表示される実画像４８に対して強調指定部２０を用いて所望する被写体Ｄ‘を指定する（Ｓ−１８）。この指定としては、被写体Ｄ’をタッチ操作してもよいし、被写体Ｄ‘の輪郭４９をなぞるように指定してもよい。その後、指定された被写体Ｄ’を含む範囲に基づいて、クラスタリングされた被写体の輪郭像のうち、対応する被写体の輪郭像を３Ｄ輪郭画像４５から選択する（Ｓ−１９）。
【００３７】
その後、図２０に示すように、選択された被写体Ｄの境界部分が明るく強調されるように、前記被写体Ｄの背後に定義される仮想光源４６を推定する（Ｓ−２０）。その後、シェーディング処理部１５は、推定した光源情報に基づいて、クラスタリングされた被写体Ｄの背後に仮想光源４６を定義し、かつ物体毎に表面に設定される反射率の情報に基づいて被写体の表面上の輝度を計算することによって被写体にレンダリングを施して３次元の陰影画像を生成する。そして、シェーディング処理部１５は、３次元の陰影画像から２次元の陰影画像を出力する。ブレンディング部１６は、２次元の陰影画像を実画像に合成して仮想画像を生成する。これにより、図２１に示すように、所望する被写体Ｄの境界４９に対して背後から自然な明るさで照らす光演出を施した仮想画像５０を得ることができる。
【００３８】
ところで、従来、２次元の画像処理アプリケーションソフトでの輪郭強調処理では、例えば指定した被写体の輪郭を全体的に強調するため、不自然さが残っていた。上記実施形態では、ソリッドのように境界がはっきりしている被写体だけでなく、髪の毛や着物、布等のはっきりしない境界に対しても、２次元での画像処理では得られない自然な陰影による立体感を作り出すことができる。また、本発明では、対象部分又は被写体の境界に対して距離感を考慮した自然な陰影、すなわち、その被写体だけでなく周りの被写体にも陰影を施す等の演出を付与することができる。さらに、同じ色の服を着ている被写体同士では境界を区別できないのに対し、本発明では深度マップ（距離情報）を用いるため区別することができる。
【００３９】
上記実施形態では、光源推定部２１が仮想光源に関する情報のうち、位置情報の推定を行っているが、本発明では位置情報だけに限らず、分布、波長、及び向き等の情報を推定してもよい。また、分布、波長、及び向き等の情報の変更を簡便に行えるように、例えば点光源や面光源等のライトの種類を変更するライト変更手段を光源情報変更操作部２２に設けてもよい。
【００４０】
上記各実施形態の光源推定部２１では、対象部分に対して明るくなる演出を施すように仮想光源の情報を推定しているが、本発明ではこれに限らず、例えば影を付ける演出を施すように仮想光源の情報を推定してもよい。また、本発明では、深度マップ補正部１３での輪郭補正を省略してもよい。
【００４１】
以上、本発明を好適な実施の形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種種変更可能であることは言うまでもない。
【００４２】
上記各実施形態では、画像作成装置として説明しているが、本発明としては、画像作成方法としてもよい。さらに本発明は、画像作成方法をコンピュータに実行させるためのプログラム、並びにそのプログラムを記録したコンピュータ読み取り可能な記録媒体の発明としてもよい。
【符号の説明】
【００４３】
１０  画像作成装置
１４  ３次元モデル推定部
１５  シェーディング処理部
２０  強調指定部
２１  光源推定部
【図１】
2013235537.tif 000003
【図２】
2013235537.tif 000004
【図７】
2013235537.tif 000005
【図８】
2013235537.tif 000006
【図９】
2013235537.tif 000007
【図１０】
2013235537.tif 000008
【図１２】
2013235537.tif 000009
【図１３】
2013235537.tif 000010
【図１４】
2013235537.tif 000011
【図１７】
2013235537.tif 000012
【図１８】
2013235537.tif 000013
【図１９】
2013235537.tif 000014
【図２０】
2013235537.tif 000015
【図２１】
2013235537.tif 000016
【図３】
2013235537.tif 000017
【図４】
2013235537.tif 000018
【図５】
2013235537.tif 000019
【図６】
2013235537.tif 000020
【図１１】
2013235537.tif 000021
【図１５】
2013235537.tif 000022
【図１６】
2013235537.tif 000023