(57)【要約】【課題】一回の撮影から得られる画像から、任意の照明条件の仮想画像を作成する。【解決手段】実画像取得部１１は、実画像を取得する。３次元情報取部１２は、実画像と同時に奥行き情報を含む３次元情報を取得する。深度マップ補正部１３は、輪郭抽出部と補正部とを有する。輪郭抽出部は、実画像と３次元情報とから輪郭画像をそれぞれ抽出する。補正部は、３次元情報の輪郭を実画像の輪郭に整合させるように３次元情報を補正する。３次元モデル推定部１４では、深度マップを用いてオクルージョン部の形状推定を行い、シェーディング処理を施すための座標系に変換し、深度マップに含まれる物体の反射率を設定する。シェーディング処理部１５では、推定された深度マップと任意に設定される光源情報とを入力として陰影情報を生成する。ブレンディング部１６は、陰影情報と実画像とを合成して任意光源画像を作成する。【選択図】図１
2013125292.tif 000002
【特許請求の範囲】
【請求項１】
実画像を取得する実画像取得手段と、
前記実画像と同時に奥行き情報を含む３次元情報を取得する３次元情報取得手段と、
前記実画像と前記３次元情報とから輪郭画像をそれぞれ抽出する輪郭抽出手段と、
前記３次元情報の輪郭を前記実画像の輪郭に整合させるように前記３次元情報を補正する補正手段と、
を備えることを特徴とする画像作成装置。
【請求項２】
請求項１に記載の画像作成装置において、
前記実画像に含まれる物体の反射率を特定し特定した反射率を、前記補正手段により補正をした後の前記３次元情報に設定する反射率設定手段と、
任意の光源情報を入力する光源情報入力手段と、
前記光源情報に基づいて陰影情報を作成するシェーディング手段と、
前記実画像と前記陰影情報とを合成するブレンディング手段と、
を備えることを特徴とする画像作成装置。
【請求項３】
請求項１又は2に記載の画像作成装置において、
前記補正手段の代わりに、
前記実画像と前記３次元情報との輪郭画像に対してクラスタリング処理をそれぞれ施して領域を分割するクラスタリング手段と、
前記双方の分割領域を対応付けする領域対応付け手段と、
対応付けされた領域毎に３次元情報の輪郭を実画像の輪郭に整合させるように３次元情報を補正する補正手段と、
を備えたことを特徴とする画像作成装置。
【請求項４】
実画像を取得する実画像取得工程と、
前記実画像と同時に奥行き情報を含む３次元情報を取得する３次元情報取得工程と、
前記実画像と前記３次元情報とから輪郭画像をそれぞれ抽出する輪郭抽出工程と、
前記３次元情報の輪郭を前記実画像の輪郭に整合させるように前記３次元情報を補正する補正工程と、
をコンピュータに実行させるための画像作成プログラム。
【請求項５】
請求項4に記載の画像作成プログラムにおいて、
前記実画像に含まれる物体の反射率を特定し特定した物体の反射率を、前記補正工程により補正をした後の前記３次元情報に設定する反射率設定工程と、
任意の光源情報を入力する光源情報入力工程と、
前記光源情報に基づいて陰影情報を作成するシェーディング工程と、
前記実画像と前記陰影情報とを合成するブレンディング工程と、
をコンピュータに実行させるための画像作成プログラム。
【請求項６】
請求項4又は5に記載の画像作成プログラムにおいて、
前記補正工程の代わりに、
前記実画像と前記３次元情報との輪郭画像に対してクラスタリング処理をそれぞれ施して領域を分割するクラスタリング工程と、
前記双方の分割領域を対応付けする領域対応付け工程と、
対応付けされた領域毎に３次元情報の輪郭を実画像の輪郭に整合させるように３次元情報を補正する補正工程と、
を含むことを特徴とする、コンピュータに実行させるための画像作成プログラム。
【請求項７】
請求項４から６のいずれか１項に記載の画像作成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
深度マップを利用して実画像を元に任意照明条件で撮像された仮想画像を作成する画像作成装置、画像作成プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
印象のある写真を撮る技術として、外部ストロボやレフ板を設置し被写体に対してライティングを施し、奥行き感の演出や被写体の強調を行う技術がある。このような技術は任意光源下での撮影を可能にするものの、高価な機材やユーザーのスキルを必要とし一般ユーザーが気軽に実現するのは難しい。またこのようなライティング条件は撮影時において決定されるため、撮影後の画像の補正は困難である。
【０００３】
一方、コンピューターグラフィック内に実モデルを自然な見た目で配置する技術として、Image-Based Rendering(ＩＢＲ)という技術が知られている（特許文献１）。ＩＢＲにおいては、複数の光源状態で撮影された複数の実モデルの画像を線形結合することで、任意光源下での画像イメージの作成を行う。すなわち、光源の照射方向を変えた複数の撮影画像を用いることで、任意光源下での画像イメージを作成することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−５２２０８号公報（段落［０００２］）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的なＩＢＲの技術を用いると任意光源下での実モデルの画像イメージの作成が可能になるものの、通常の撮影時に異なる光源での複数の画像を撮影するのは極めて非現実的である。
【０００６】
本発明は、上記問題に鑑み、一回の撮影から得られる画像から、任意の照明条件の仮想画像を作成する画像作成装置、画像作成プログラム、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する画像作成装置の一態様は、実画像を取得する実画像取得手段と、前記実画像と同時に奥行き情報を含む３次元情報を取得する３次元情報取手段と、前記実画像と前記３次元情報とから輪郭画像をそれぞれ抽出する輪郭抽出手段と、前記３次元情報の輪郭を前記実画像の輪郭に整合させるように前記３次元情報を補正する補正手段と、を備えたものである。
【０００８】
具体的な１つの例として、上記画像処理装置および方法において、深度マップと実画像のそれぞれにハイパスフィルタを適用し、実画像から得られた輪郭画像を基に、深度マップから得られた輪郭画像の補正を行う。
【０００９】
また、他の例として、深度マップと実画像から対象物体のクラスタリングを行い、実画像と深度マップの領域の対応付けを行って、各領域に深度マップの補正を行う。
【発明の効果】
【００１０】
本発明によれば、実画像に対応して取得した深度マップから得られる３次元情報を用い、任意光源をユーザーが配置することで、実画像に対するシェーディングが可能になる。この時、実画像に合わせて、深度マップを適切に補正することで、陰影情報と実画像の自然な対応づけがなされ、より効果的な画像を生成することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の画像作成装置の概略を示すブロック図である。
【図２】画像作成装置の動作手順を示すフローチャートである。
【図３】実画像取得部が取得した実画像の一例を示す。
【図４】深度マップ取得部が取得した深度マップの一例を示す画像である。
【図５】実画像から抽出した輪郭画像の一例を示す。
【図６】深度マップから抽出した輪郭画像の一例を示す。
【図７】実画像から抽出した輪郭画像をラスタスキャンして輪郭の各点をサンプリングする処理を説明する説明図である。
【図８】実画像の輪郭からサンプリングした各点に対して、深度マップの輪郭画像の点を対応付けする処理を示す説明図である。
【図９】実画像の輪郭に基づいて深度マップの輪郭を補正する処理を示す説明図である。
【図１０】任意に設定した光源情報と深度マップとに基づき作成した陰影情報を示す説明図である。
【図１１】陰影情報と実画像とを合成して実画像を元に作成される、任意照明条件で撮像される仮想画像の一例を示す。
【図１２】実画像をクラスタリング処理して分割した領域に基づいて深度マップをクラスタリング処理して得られた領域の輪郭を補正するようにした別の実施形態を示すフローチャート図である。
【図１３】深度マップの分割領域の輪郭点を法線ベクトルに沿った実画像の分割領域の輪郭点に合わせる処理を説明する説明図である。
【発明を実施するための形態】
【００１２】
［実施例１］
画像作成装置１０は、図１に示すように、実画像取得部１１、深度マップ取得部１２、深度マップ補正部１３、３次元モデル推定部１４、シェーディング処理部１５、ブレンディング部１６、物体推定部１７、物体・反射率対応部１８、反射率設定部１９、及び仮想光源設定部２０を備える。
【００１３】
実画像取得部１１は、実画像情報（以下、「実画像」と称す）を取得するための公知の撮像装置であり、取得した実画像を格納するメモリ１１ａを備える。深度マップ取得部１２は、奥行き情報である深度マップ、又はそれを含む３次元情報（以下、「深度マップ」と称す）を、実画像と同時に、同じ撮像範囲となるように取得するものであり、取得した深度マップを格納するメモリ１２ａを備える。なお、深度マップ取得部１２は、周知の「ステレオカメラによる深度マップの生成手法」、「赤外光を利用したＴＯＦ（Time of Flight）手法」、「赤外光の反射パターンを利用した手法」、又は「動きベクトルからの深度マップの生成手法」等の何れかの技術を利用して取得するものであり、ここでは詳しい説明を省略する。深度マップは、例えばある基準位置を基に深さが深いピクセルの場合にはそのピクセルの輝度を高くする等、各ピクセルにおける深度に応じた輝度を求めたグレースケールの画像である。
【００１４】
深度マップ補正部１３は、輪郭抽出部１３ａと補正部１３ｂとを備える。輪郭抽出部１３ａは、深度マップと実画像とを入力として、ハイパスフィルタ処理等実行して深度マップと実画像とで輪郭を各々強調して輪郭を抽出する。補正部１３ｂは、実画像の輪郭に合わせて深度マップの輪郭を補正する。深度マップと実画像とでは、特に輪郭部で不整合が存在し、シェーディング時の陰影が実画像の輪郭からずれる。これを防止するために、実画像で抽出した輪郭に基づいて深度マップから抽出した輪郭の補正を行うことで、シェーディング時の輪郭部での不整合を減少させる。
【００１５】
３次元モデル推定部１４では、輪郭補正がなされた深度マップが入力され、座標変換、及び形状推定を行う。３次元モデル推定部１４は、深度マップのうち物体に隠れて深度情報が得られていない領域、すなわちオクル―ジョン部の形状推定を行うオクルージョン処理部１４ａ、シェーディング処理部１５へ入力するための座標系に変換する座標変換部１４ｂ、及び反射率設定部１９から入力される反射率の情報を基に３次元モデルに対する反射率の設定を行う反射率設定処理部１４ｃを有する。
【００１６】
深度マップでは、手前の物体に遮られて奥の物体が見えなくなっている領域の３次元情報を取得するのは難しい。この状態は、一般的にオクルージョンと呼ばれている。このため、オクルージョン処理部１４ａに入力される深度マップは、３次元情報の一部（オクルージョン部）に欠損が生じている。オクルージョン処理部１４ａでは、深度マップを用いてオクルージョン部の形状推定を行い、３次元情報を補完する。また、座標変換部１４ｂでは、深度マップ取得部１２で取得した深度マップの座標系からシェーディング処理を施すための座標系に変換する。反射率設定処理部１４ｃは、深度マップに含まれる物体の反射率を設定する。
【００１７】
シェーディング処理部１５では、補間した深度マップと、仮想光源設定部２０から入力される仮想的に設定された光源情報とを入力として、陰影情報を生成する。このシェーディング処理部１５においては、レイトレーシング法、又はラディオシティ法等の周知の技術を用い、グレースケールで表現される陰影情報を生成する。ブレンディング部１６は、上記陰影情報と、実画像取得部１１で取得した実画像とを入力として、これら２つの画像をブレンドする。なお、ブレンド処理としては、周知のαブレンディングの技術を使用してもよい。
【００１８】
物体推定部１７では、実画像、及び深度マップから得られる色、及び形状に基づいて、実画像に含まれる物体の推定を行う。物体推定には、領域分割して領域毎に特徴量を抽出する手法や、領域の画像とテンプレートとを比較するテンプレートマッチング法を用いて特定してもよい。このような物体推定の手法は、制約のない実世界シーンの画像に対して計算機がその中に含まれる物体を一般的な名称で認識する一般物体認識の技術として周知の技術を使用することができる。物体・反射率対応部１８では、物体と反射率とを予め対応づけたＤＢ（データベース）１８ａを有しており、物体推定部１７で推定された物体に対する反射率を求める。
【００１９】
反射率設定部１９は、推定された物体に対応する反射率を３次元モデル推定部１４に出力する。なお、ユーザーが選択した物体の反射率を任意に設定することがきる設定操作部を設け、設定操作部から入力される反射率を３次元モデル推定部１４に出力するように構成してもよい。仮想光源設定部２０では、ユーザーが設定した任意の光源情報（光源の位置、照射方向等）をシェーディング処理部１５へ出力する。
【００２０】
次に、本実施形態の作用を、図２を参照しながら説明する。まず、実画像取得部１１は、例えば図３に示す実画像を取得する（Ｓ−１）。取得した実画像は、メモリ１１ａに記憶される。実画像は、その後、メモリ１１ａから読み出されて深度マップ補正部１３に送られる。深度マップ補正部１３では、実画像に対してハイパスフィルタ処理を施して輪郭抽出を行う（Ｓ−２）。抽出した輪郭画像は、図４に示すように、輪郭がハイライトで強調された画像となる。
【００２１】
次に、深度マップ取得部１２は、実画像に対応する深度マップを取得する（Ｓ−３）。深度マップは、例えば図５に示すように、ある基準位置からの深度が浅いピクセル程、ハイライトの輝度で得られるのに対し、輪郭がぼやけた画像となる。取得した深度マップは、メモリ１２ａに格納される。なお、深度マップは、撮像範囲、及び被写体画像が略同じであれば実画像と同時に取得しなくてもよい。次に、得られた深度マップは、メモリ１２ａから読み出されて深度マップ補正部１３に送られる。深度マップ補正部１３は、深度マップに対してハイパスフィルタ処理を施して輪郭抽出を行う（Ｓ−４）。輪郭を抽出した画像は、図６に示すように、輪郭がハイライトで強調された画像となるが、図４で説明した実画像の輪郭と比較して輪郭が階段状にギザギザした画像となっている。その後、深度マップ補正部１３は、実画像と深度マップとの位置合わせを行い、深度マップの輪郭を実画像に整合するように補正する（Ｓ−５）。
【００２２】
この深度マップの輪郭補正を詳しく説明する。図７に示すように、実画像から抽出した輪郭画像３０の左上からラスタスキャンを行い、実画像の輪郭の点をサンプリングする。輪郭画像は、通常グレースケール画像になり、ラスタスキャン時に閾値を超える点を輪郭の点としてサンプリングする。このようにすることで、実画像の輪郭の点を、ラスタスキャンのサンプリングレートにより取得することができる。なお、輪郭画像３０としては、前述した閾値処理の代わりに、ラベリング処理による領域抽出やエッジ検出処理により抽出してもよい。その後、同様な処理により、図８に示すように、深度マップから輪郭画像３１を抽出する。
【００２３】
実画像で取得された輪郭の各点に対して、深度マップの輪郭と対応づけを行う。これは、実画像の輪郭の各点に対して、深度マップ中で最近傍にある輪郭の点を、同様の輪郭の点として対応つける。例えば、画像に含まれる物体のうちのサイコロの輪郭に対しては、実画像の位置（ｘ，ｙ）にある輪郭の点Ａが、深度マップの輪郭のうちの前記位置（ｘ、ｙ）の近傍である位置（ｘ１，ｙ１）にある点Ａ‘として対応付けされる。
【００２４】
上記の方法で、実画像の輪郭の各点と深度マップの輪郭の各点との対応つけを行い、図９（Ａ）に示す深度マップの輪郭３２の各点を、対応する実画像の輪郭点の位置に移動して、同図（Ｂ）に示すように、深度マップの輪郭を補正する。この補正には、周知のレンズのゆがみ補正やキャリブレーションで用いられる座標変換等の技術を使用することができる。
【００２５】
補正された深度マップは、３次元モデル推定部１４に送られる。３次元モデル推定部１４のオクルージョン処理部１４ａは、深度マップに含まれるオクルージョン部の形状推定を行って深度マップを補間する（Ｓ−６）。補間された深度マップは、座標変換部１４ｂにより深度マップの座標系からシェーディング処理をするためのワールド座標系に変換される（Ｓ−７）。座標変換された深度マップは、反射率設定処理部１４ｃに送られる。
【００２６】
反射率設定処理部１４ｃには、深度マップに含まれる物体毎の反射率情報が反射率設定部１９から入力されている（Ｓ−８）。反射率設定部１９には、物体推定部１７で推定した物体の情報が入力されている（Ｓ−９）。反射率設定部１９は、特定した物体に基づいてＤＢ１８ａを参照して反射率を特定する。反射率設定処理部１４ｃは、物体毎の反射率の情報に基づいて深度マップに含まれる物体の表面に反射率を設定する（Ｓ−１０）。反射率を設定した深度マップは、シェーディング処理部１５に送られる。
【００２７】
シェーディング処理部１５には、仮想光源設定部２０から仮想的に設定された光源情報が入力されている（Ｓ−１１）。シェーディング処理部１５は、反射率が設定された深度マップに対して、入力された光源情報を設定し（Ｓ−１２）、光源情報に基づいてシェーディング処理を施して（Ｓ−１３）、図１０に示すように、物体に対して光源３３とは逆側に陰影３４が付される陰影情報３５を生成する。
【００２８】
ブレンディング部１６は、上記陰影情報と、実画像取得部１１で取得した実画像とを入力として、これら２つの画像をブレンドして、図１１に示すように、実画像を元にした任意光源環境下における物体の陰影画像を生成する（Ｓ−１４）。これにより、実画像（２Ｄ画像）に基づいて、光源の変化に伴う物体の見えの変動を簡便に表現することができる。
【００２９】
［実施例２］
次に、深度マップ補正部の別の実施形態について説明する。この実施形態では、深度マップと実画像とのそれぞれに対してクラスタリング処理を行って領域分割を行い、分割した領域毎に深度マップと実画像との関連付けを行う。そして、実画像から得られる領域の輪郭に基づいて深度マップから得られる領域の輪郭を補正する。この実施形態では、単に輪郭のみに注目するのでなく、予めクラスタリング処理を施して分割した面（閉じた領域）間での輪郭を対応させることで、実画像の輪郭に則した自然な深度マップの輪郭補正が行える。
【００３０】
詳しくは、図１２に示すように、まず、深度マップの深度値に基づいて深度マップのクラスタリング処理を行い、深度値が近い点のクラスタリングを行う（Ｓ−１５）。これにより、深度マップ上に、領域（同一面）毎の分割を行うことができる。
【００３１】
次に、実画像からハイパスフィルタにより輪郭情報を抽出し（Ｓ−１６）、抽出した輪郭情報に基づいてクラスタリング処理を行い、領域（同一面）毎の分割を行う（Ｓ−１７）。輪郭から形成される面を分類することで、深度マップ上での同一面の分類に似たような面を得られることができる。
【００３２】
深度マップと実画像とのそれぞれで得られた分類された面間の対応付けを行う（Ｓ−１８）。これは、例えば領域輪郭から特徴点を探索し、同一面の特徴点同士を照合することにより領域の対応付けを行えばよい。対応付け後には、深度マップの分割された面の輪郭を、対応する実画像の輪郭に等しくなるように引き伸ばし・押し縮め等の処理を行い、深度マップの輪郭補正を行う（Ｓ−１９）。
【００３３】
この深度マップの領域の輪郭補正としては、実画像の法線ベクトルを用いて、図１３に示すように、深度マップ４０の輪郭４１を法線ベクトル４２の方向に移動させ、実画像４３の輪郭４４に合うように補正すればよい。
【００３４】
以上、本発明を好適な実施の形態に基づき具体的に説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種種変更可能であることは言うまでもない。
【００３５】
また、本発明としては、画像作成方法としてもよい。さらに本発明は、画像作成方法をコンピュータに実行させるためのプログラム、並びにそのプログラムを記録したコンピュータ読み取り可能な記録媒体の発明としてもよい。
【符号の説明】
【００３６】
１０  画像作成装置
１３  深度マップ補正部
１４  ３次元モデル推定部
【図１】
2013125292.tif 000003
【図２】
2013125292.tif 000004
【図７】
2013125292.tif 000005
【図８】
2013125292.tif 000006
【図９】
2013125292.tif 000007
【図１０】
2013125292.tif 000008
【図１２】
2013125292.tif 000009
【図１３】
2013125292.tif 000010
【図３】
2013125292.tif 000011
【図４】
2013125292.tif 000012
【図５】
2013125292.tif 000013
【図６】
2013125292.tif 000014
【図１１】
2013125292.tif 000015