(57)【要約】  低品位な被写体画像における幾何パラメータから、高品質であって、かつ、擬似的な光源下での被写体画像を生成する画像生成装置を提供する。光源及び視点の位置情報と被写体の法線情報とを取得する光源・視点・法線情報取得部１０１と、それらの情報から被写体の形状に関する第一幾何パラメータを算出する幾何パラメータ算出部１０２と、被写体表面の一部に対応するメソストラクチャを表す、上記法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部１０３と、表現子を空間的に拡張する表現子拡張部１０４と、拡張された表現子を用いて第一幾何パラメータを補正する幾何パラメータ補正部１０５と、補正後の幾何パラメータを反射モデルに適用することで画像を生成する画像生成部１０６とを備える。
2011522333.tif 000002
【特許請求の範囲】
【請求項１】
被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置であって、
生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、
前記画像生成装置は、
前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得部と、
生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出部と、
前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得部で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部と、
前記高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張部と、
前記幾何パラメータ算出部で算出された第一幾何パラメータに対して、前記表現子拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、
前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部と
を備える画像生成装置。
【請求項２】
前記幾何パラメータとは、（i）前記光源の方向を示す単位ベクトルと前記視点の方向を示す単位ベクトルとの加算によって得られるハーフベクトルと、（ii）当該幾何パラメータに対応する点における法線ベクトルとがなす角度に対応する値である
請求項１記載の画像生成装置。
【請求項３】
前記光源・視点・法線情報取得部は、前記被写体を撮像するステレオカメラ又はレンジファインダあるいはその他の形状取得装置から取得した情報から法線情報を算出することにより、前記法線情報を取得する
請求項１記載の画像生成装置。
【請求項４】
前記反射モデルは、ある点における法線情報と視点の位置情報と幾何パラメータとから、当該点における画素値を算出する式であり、
前記画像生成部は、前記補正後幾何パラメータに加えて、光源・視点・法線情報取得部で取得された法線情報と視点の位置情報を前記反射モデルに適用することで、前記各点の画素値を算出する
請求項１記載の画像生成装置。
【請求項５】
さらに、
前記被写体を撮像することで第一画像を取得する第一画像撮像部と、
前記第一画像のうち、高品位化させたい部分であるハイライト部分に対応する前記被写体の一部を、前記第一画像撮像部よりも高解像度で撮像することで、第二画像を取得する第二画像撮像部と、
前記第二画像撮像部で取得された第二画像の画素値を目的関数として、前記被写体の表面形状に関する幾何パラメータである第二幾何パラメータを推定する第二幾何パラメータ推定部と、
前記第二幾何パラメータ推定部で推定された第二幾何パラメータ自身を前記表現子として、前記高解像度データベースに格納する表現子生成部とを備える
請求項１記載の画像生成装置。
【請求項６】
前記第二画像撮像部は、前記第一画像撮像による撮像よりもズームして前記被写体の一部を撮像することで、前記第二画像を取得する
請求項５記載の画像生成装置。
【請求項７】
前記光源・視点・法線情報取得部は、前記光源の位置情報として、複数の位置情報を取得し、
前記幾何パラメータ算出部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記第一幾何パラメータを算出し、
前記幾何パラメータ補正部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記補正後幾何パラメータを算出し、
前記画像生成部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記画像を生成する
請求項１記載の画像生成装置。
【請求項８】
さらに、
前記被写体を撮像することで第一画像を取得する第一画像撮像部と、
前記第一画像撮像部で取得された第一画像を鏡面反射成分と拡散反射成分とに分離する分離部とを備え、
前記幾何パラメータ算出部、前記表現子拡張部、前記幾何パラメータ補正部及び前記画像生成部は、前記分離部で分離された鏡面反射成分について、それぞれの処理を実行することによって高品位な鏡面反射成分を生成し、
前記画像生成部はさらに、（i）生成した前記鏡面反射成分に対応する画像と、（ii）前記分離部で分離された拡散反射成分に対応する画像とを合成する
請求項１記載の画像生成装置。
【請求項９】
さらに、前記被写体の表面形状を表すコンピュータ・グラフィックス・データを取得し、取得したコンピュータ・グラフィックス・データから前記表現子を生成し、生成した表現子を前記高解像度データベースに格納する表現子生成部を備える
請求項１記載の画像生成装置。
【請求項１０】
被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成方法であって、
生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、
前記画像生成方法は、
前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得ステップと、
生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出ステップと、
前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得ステップで取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張ステップと、
前記幾何パラメータ算出ステップで算出された第一幾何パラメータに対して、前記表現子拡張ステップで拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正ステップと、
前記幾何パラメータ補正ステップで算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成ステップと
を含む画像生成方法。
【請求項１１】
被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置のためのプログラムであって、
請求項１０記載の画像生成方法に含まれるステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置に関し、特に、低品質な被写体画像等から得られる被写体表面の凹凸等の表面形状に関する幾何パラメータから、被写体表面の凹凸等の表面形状をより鮮明に反映した高品質な被写体画像を生成したり、被写体表面の凹凸等の表面形状を鮮明に反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成したりする装置に関する。
【背景技術】
【０００２】
フルーツ、木材、人物の肌など、表面に凹凸を持つ被写体を撮像する際に、低品位な撮像システムを用いたり、被写体が画像サイズと比較して小さい場合など、解像度不足により表面の凹凸情報を画像として再現できない問題がしばしば起こる。このような問題に対して、特許文献１では、デジタルカメラなどのカメラを用いて撮像を行った第一画像に加えて、ズーム等を行い第一画像の一部分を第一画像の対応部分よりも高品位に撮像した第二画像を用いて、両画像の関係から品位向上関数を学習し、その品位向上関数を画像全体に対して適用することによって、画像全体の質や解像度を向上させる方法が開示されている。これによって、低品位な撮像システムであっても、より高品位な画像を生成することができ、解像度不足により撮像できなかった表面の凹凸情報を第二画像から得た情報により画像として復元することが可能である。
【０００３】
しかしながら、特許文献１に開示されている方法では、被写体表面の凹凸を反映した画像を生成することはできるものの、撮像時の光源とは異なる擬似的な光源下での被写体画像を生成することはできない。擬似的な光源下での被写体画像を生成するためには、物体表面の形状に関する情報、具体的には、物体表面の法線、視点位置に関する幾何パラメータが必要である。特に、前記方法は画像に限定した方法では無いものの、品位向上関数は同一種のデータから生成されることを前提とした方法であるため、画像から、画像とは異なる情報である前記幾何パラメータを推定する方法は開示されていない。
【０００４】
また、レンジファインダ等を用いて、被写体の形状に関する幾何パラメータを復元する方法もあり、被写体の大まかな形状に関する幾何パラメータを取得することは可能である。しかしながら、解像度や精度が課題であり、フルーツ、木材、人物の肌などの被写体の微細な凹凸を取得するためには、非常に大掛かりなシステムを必要とするため、特にコンシューマ用途には、サイズ、コストの観点から現実的ではないといった問題がある。
【０００５】
一方で、特許文献２に、表面の凹凸情報を反映した画像を生成することが可能でかつ、画像から、画像とは異なる情報である物体表面の法線に関わる前記幾何パラメータを推定する方法が開示されている。ここでは、視点位置、光源位置、物体表面の法線に関わる幾何パラメータと画素値との物理的な関係を示すＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルを用いて、被写体画像に対して前記Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルをフィッティングし、フィッティングした結果と実測値との差分をガウス分布でモデル化している。ここで、ガウス分布でモデル化された成分は、高解像度成分と考えることも可能である。これにより、表面の凹凸情報が失われた画像に対して、前記ガウスモデルでモデル化した成分を付加することによって、表面の凹凸情報を反映した画像を生成可能であり、さらには、前述のように、視点位置、光源位置、物体表面の法線に関わる幾何パラメータを保持しているため、疑似的な光源下の画像生成を行うことも可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２００６／０００３３２８号明細書
【特許文献２】特開２００６−３１５９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献２の技術では、特にフルーツや木材、人物の肌などに見られる、中程度の凹凸情報であるメソストラクチャを反映した画像を生成することはできない。メソストラクチャについては、非特許文献１などで用いられているように、空間的に中程度の構造を持った凹凸が空間的にばらつきをもって分布しているものと捉えることができる。一方、特許文献２におけるガウスモデルは、画素値と前記幾何パラメータとの関係において、画素ごとの画素値のばらつきをモデル化したものである。そのため、表面の一様なざらつき等を表現することは可能であるものの、空間的に中程度の構造を持った凹凸を表現することができない。その結果、前述のフルーツや木材、人物の肌などに適用した場合には、一様なざらつき感として表現され、メソストラクチャとは異なる凹凸の画像が再現されることになる。
【０００８】
そこで、本発明は、低品位な被写体画像等から得られる被写体表面のメソストラクチャに関する幾何パラメータから、被写体表面のメソストラクチャをより鮮明に反映した高品質な被写体画像であって、かつ、任意の位置から照射される擬似的な光源下での被写体画像を生成することができる画像生成装置及びその方法を提供することを目的とする。
【非特許文献１】Ｔｏｎｇｂｏ  Ｃｈｅｎ，Ｍｉｃｈａｅｌ  Ｇｏｅｓｅｌｅ ａｎｄ  Ｈａｓ−Ｐｅｔｅｒ  Ｓｅｉｄｅｌ，“Ｍｅｓｏ−ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｓｐｅｃｕｌａｒｉｔｙ”，Ｐｒｏｃ．ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，２００６
【課題を解決するための手段】
【０００９】
この課題を解決するために本発明は、被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置であって、生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、前記画像生成装置は、前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得部と、生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出部と、前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得部で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部と、前記高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張部と、前記幾何パラメータ算出部で算出された第一幾何パラメータに対して、前記表現子拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部とを備える。
【００１０】
これにより、被写体の表面を表す幾何パラメータが、より高解像度の成分をもつ幾何パラメータで補正され、補正後の幾何パラメータから画像が生成されるので、より高品位な画像が生成される。さらに、それらの幾何パラメータは、光源の位置情報を反映したパラメータであり、このような幾何パラメータが反射モデルに適用されて画像が生成されるので、光源の位置を所望の位置に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
【００１１】
なお、本発明は、上記画像生成方法として実現できるだけでなく、上記各ステップを構成要素とする画像生成装置、上記各ステップをコンピュータに実行させるプログラム、そのプログラムを格納したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等として実現することもできる。
【発明の効果】
【００１２】
本発明により、低品質な被写体画像等から得られる被写体表面の凹凸に関する幾何パラメータに基づいて、被写体表面の凹凸、特にはメソストラクチャをより鮮明に反映した高品質な被写体画像であって、かつ任意の位置から照射される擬似的な光源下での被写体画像を生成したりすることができる。
【００１３】
よって、デジタルカメラ等で得られた画像を高解像度化したり、所望の位置に光源が置かれたときの擬似的な画像を生成したりすることができ、デジタルカメラや監視カメラが普及してきた今日における実用的価値は極めて高い。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態１における画像生成装置の基本構成を示す図である。
【図２】図２は、本発明の実施の形態１における画像生成装置の基本動作を示すフローチャートである。
【図３】図３は、本発明の実施の形態１における画像生成装置が生成する情報及び画像の概念を示す図である。
【図４】図４は、本発明の実施の形態１における幾何パラメータの一例を示す図である。
【図５Ａ】図５Ａは、本発明の実施の形態１における表現子の一例を示す概念図である。
【図５Ｂ】図５Ｂは、従来技術における表現子の一例を示す概念図である。
【図６】図６は、本発明の実施の形態１における拡張された表現子の例を示す概念図である。
【図７】図７は、本発明の実施の形態２における画像生成装置の基本構成を示す図である。
【図８】図８は、本発明の実施の形態２における画像生成装置の基本動作を示すフローチャートである。
【図９】図９は、本発明の実施の形態２における画像生成装置が生成する情報及び画像の概念を示す図である。
【図１０】図１０（ａ）及び（ｂ）は、それぞれ、本発明の実施の形態２における第一及び第二撮像画像の一例を示す図である。
【図１１】図１１は、本発明の実施の形態３における画像生成装置のうち実施の形態１の変形例における画像生成装置の基本構成を示す図である。
【図１２】図１２は、本発明の実施の形態３における画像生成装置のうち実施の形態２の変形例における画像生成装置の基本構成を示す図である。
【図１３Ａ】図１３Ａは、本発明の実施の形態３における画像生成装置のうち実施の形態１の変形例における画像生成装置の基本動作を示すフローチャートである。
【図１３Ｂ】図１３Ｂは、本発明の実施の形態３における画像生成装置のうち実施の形態２の変形例における画像生成装置の基本動作を示すフローチャートである。
【図１４】図１４は、本発明の実施の形態３における擬似光源下画像生成における幾何パラメータの一例を示す図である。
【図１５】図１５は、本発明の実施の形態３における擬似光源下での画像生成の一例（動画）を示す図である。
【図１６】図１６は、本発明の実施の形態１から３の別の変形例における画像生成装置の基本構成を示す図である。
【図１７】図１７は、同変形例における画像生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
本発明の一実施形態は、被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置であって、生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、前記画像生成装置は、前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得部と、生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源及び前記視点の位置情報と前記法線情報とを用いた予め定められた演算を行うことで、前記被写体の形状に関する幾何パラメータである第一幾何パラメータを算出する幾何パラメータ算出部と、前記被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、前記光源・視点・法線情報取得部で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持している高解像度データベース部と、前記高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張部と、前記幾何パラメータ算出部で算出された第一幾何パラメータに対して、前記表現子拡張部で拡張された表現子を用いて補正することで、補正後幾何パラメータを算出する幾何パラメータ補正部と、前記幾何パラメータ補正部で算出された補正後幾何パラメータを、幾何パラメータから画素値を決定する反射モデルに適用することで、前記各点の画素値を算出し、画像を生成する画像生成部とを備える画像生成装置である。このような特徴により、メソストラクチャを再現可能な高解像度成分を表現子としてデータベースに保持し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。また、被写体表面の各点における法線情報と光源及び視点の位置情報とから算出される幾何パラメータを反射モデルに適用して画像を生成しているので、光源の位置を所望の値に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
【００１６】
なお、幾何パラメータの具体例として、前記幾何パラメータとは、前記光源の方向を示す単位ベクトルと前記視点の方向を示す単位ベクトルとの加算によって得られるハーフベクトルと、当該幾何パラメータに対応する点における法線ベクトルとがなす角度に対応する値である。
【００１７】
本発明のより好ましい形態は、前記光源・視点・法線情報取得部は、前記被写体を撮像するステレオカメラ又はレンジファインダあるいはその他の形状取得装置から取得した情報から法線情報を算出することにより、前記法線情報を取得する。このような特徴により、幾何パラメータをステレオカメラ、もしくはレンジファインダ、もしくは他の形状取得手段から取得することによって、被写体全体の大まかな形状に関する幾何学的情報を得ることができ、別途取得した高解像度成分に相当する表現子を被写体全体に拡張することによって、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
【００１８】
本発明のより好ましい形態は、前記反射モデルは、ある点における法線情報と視点の位置情報と幾何パラメータとから、当該点における画素値を算出する式であり、前記画像生成部は、前記補正後幾何パラメータに加えて、光源・視点・法線情報取得部で取得された法線情報と視点の位置情報を前記反射モデルに適用することで、前記各点の画素値を算出する。このような特徴により、光源位置に関する反射モデルのパラメータを変化させることによって、被写体表面の凹凸を鮮明に反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
【００１９】
本発明のより好ましい形態は、さらに、前記被写体を撮像することで第一画像を取得する第一画像撮像部と、前記第一画像のうち、高品位化させたい部分であるハイライト部分に対応する前記被写体の一部を、前記第一画像撮像部よりも高解像度で撮像することで、第二画像を取得する第二画像撮像部と、前記第二画像撮像部で取得された第二画像の画素値を目的関数として、前記被写体の表面形状に関する幾何パラメータである第二幾何パラメータを推定する第二幾何パラメータ推定部と、前記第二幾何パラメータ推定部で推定された第二幾何パラメータ自身を前記表現子として、前記高解像度データベースに格納する表現子生成部とを備える。このような特徴により、ハイライト部分を高品位に撮像し、その画像からメソストラクチャを表現可能な幾何パラメータを推定することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。
【００２０】
本発明のより好ましい形態は、前記第二画像撮像部は、前記第一画像撮像による撮像よりもズームして前記被写体の一部を撮像することで、前記第二画像を取得する。このような特徴により、ズーム機能を備えたカメラを用いることによって、カメラを2台用意するよりも小さな構成で被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
【００２１】
本発明のより好ましい形態は、前記光源・視点・法線情報取得部は、前記光源の位置情報として、複数の位置情報を取得し、前記幾何パラメータ算出部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記第一幾何パラメータを算出し、前記幾何パラメータ補正部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記補正後幾何パラメータを算出し、前記画像生成部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記画像を生成する。このような特徴により、変動する複数の光源位置のそれぞれについて、前記第一幾何パラメータを算出し、前記補正後幾何パラメータを算出し、前記画像を生成するので、被写体表面の凹凸を鮮明に反映しながら、任意の位置から照射される擬似的な光源下での複数の被写体画像を連続的に生成することが可能である。
【００２２】
本発明のより好ましい形態は、さらに、前記被写体を撮像することで第一画像を取得する第一画像撮像部と、前記第一画像撮像部で取得された第一画像を鏡面反射成分と拡散反射成分とに分離する分離部とを備え、前記幾何パラメータ算出部、前記表現子拡張部、前記幾何パラメータ補正部及び前記画像生成部は、前記分離部で分離された鏡面反射成分について、それぞれの処理を実行することによって高品位な鏡面反射成分を生成し、前記画像生成部はさらに、生成した前記鏡面反射成分に対応する画像と、前記分離部で分離された拡散反射成分に対応する画像とを合成する。このような特徴により、入力画像を拡散反射成分と鏡面反射成分とに分離し、鏡面反射成分に対して反射モデルを適用して画像を高品位化することにより、反射モデルを適用すべき本来の画像成分（鏡面反射成分）だけに対して反射モデルを適用することなり、これにより、被写体表面の凹凸をより正確かつ鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
【００２３】
本発明のより好ましい形態は、さらに、前記被写体の表面形状を表すコンピュータ・グラフィックス・データを取得し、取得したコンピュータ・グラフィックス・データから前記表現子を生成し、生成した表現子を前記高解像度データベースに格納する表現子生成部を備える。このような特徴により、人工データに対しても低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２５】
（実施の形態１）
まず、本発明の実施の形態１における画像生成装置及び画像生成方法について説明する。図１は、実施の形態１における画像生成装置の構成を示す図である。図１の画像生成装置は、メソストラクチャを再現可能な高解像度成分を表現子としてデータベースに保持し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸等の表面形状をより鮮明に反映した高品質な被写体画像を生成する画像生成装置であり、光源・視点・法線情報取得部１０１、幾何パラメータ算出部１０２、高解像度データベース部１０３、表現子拡張部１０４、幾何パラメータ補正部１０５、画像生成部１０６を備える。なお、この画像生成装置が生成する被写体画像は、ある光源から光を照射された被写体をある視点から見たときの画像である。
【００２６】
光源・視点・法線情報取得部１０１は、本画像生成装置における光源位置とカメラの位置もしくは視点位置とを取得し、レンジファインダやステレオカメラ等により取得した情報から、被写体表面の法線情報を算出する。
【００２７】
幾何パラメータ算出部１０２は、光源・視点・法線情報取得部１０１で取得した光源位置、視点位置、法線の情報から、被写体のおおまかな(マクロ)形状に関する幾何パラメータ（つまり、低品質な被写体画像等から得られる幾何パラメータ（第一幾何パラメータ））を算出する処理部である。ここでは、メソストラクチャを再現できるほどの高い精度の幾何パラメータは取得されないことを仮定してよい。
【００２８】
高解像度データベース部１０３は、被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、光源・視点・法線情報取得部１０１で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を保持しているデータベースであり、本実施の形態では、画像のメソストラクチャ成分を含む高解像度成分に対応する幾何パラメータを２次元のブロックで表現子として保持している。ここで、表現子は正方形、長方形に限定されるものではない。
【００２９】
表現子拡張部１０４は、高解像度データベース部１０３から表現子を読み出し、読み出した表現子が示す空間的な領域が被写体表面を覆うように表現子を空間的に拡張する処理部であり、本実施の形態では、高解像度データベース部１０３で保持している表現子のサイズを出力画像のサイズ、もしくは対象となる被写体の領域サイズまで空間的に拡張する。これにより、表現子のサイズが実際の画像サイズよりも小さい場合においても、画像全体に対してメソストラクチャを再現可能になる。
【００３０】
幾何パラメータ補正部１０５は、幾何パラメータ算出部１０２で算出した幾何パラメータに対して、表現子拡張部１０４で空間的に拡張したメソストラクチャ成分を含む高解像度成分を追加することによって、幾何パラメータ算出部１０２で算出した幾何パラメータを補正する。すなわち、レンジファインダ等の精度の問題で、幾何パラメータ算出部１０２で算出したメソストラクチャを含まない幾何パラメータに対しても、メソストラクチャ成分を付加することができる。
【００３１】
画像生成部１０６は、補正した幾何パラメータ（補正後幾何パラメータ）を、幾何パラメータから画素値を決定する関係式である反射モデルの幾何パラメータとして用いることによって、出力画像の各点の画素値を算出し、これによってメソストラクチャ成分を含む高品位化された画像を生成する。
【００３２】
以上のような構成により、メソストラクチャ成分を含まない低品位な画像入力に対しても、メソストラクチャ成分を含む高品位化された画像を生成することが可能である。
【００３３】
なお、この画像生成装置を構成する各構成要素（幾何パラメータ算出部１０２、高解像度データベース部１０３、表現子拡張部１０４、幾何パラメータ補正部１０５、画像生成部１０６は、ＣＰＵ、ＲＡＭ、ＲＯＭ、通信インターフェース、Ｉ／Ｏポート、ハードディスク、ディスプレイ等を備えるコンピュータ上で実行されるプログラム等のソフトウェアで実現されても良いし、電子回路等のハードウェアで実現されても良い。以下、他の実施の形態における画像生成装置についても同様である。
【００３４】
以下に、以上のように構成された本実施の形態における画像生成装置の動作（つまり、本発明の画像生成方法）について、図２のフローチャート及び図３に示される情報及び画像の概念図を用いて低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成する方法について説明する。
【００３５】
まず、ステップＳ２０１にて、光源・視点・法線情報取得部１０１は、設置されている光源の位置から照明単位ベクトルLを、設置されているカメラの位置から視点単位ベクトルVを得る。ここでは、視点単位ベクトル、照明単位ベクトル、被写体表面の形状に関する法線情報が得られれば、CG等により人工的に作成したものでも構わない。なお、この場合はステップＳ２０１とＳ２０２は不要である。
【００３６】
次に、ステップＳ２０２にて、光源・視点・法線情報取得部１０１は、ステレオカメラもしくはレンジファインダで取得した情報から被写体表面の法線情報（図３の法線情報１０参照）を算出する。
【００３７】
具体的には、ステレオカメラを用いる場合は、非特許文献２に記載の方法を用いれば、2枚の画像から被写体表面のそれぞれの点における3次元位置を得ることができる。次に、被写体表面の点iにおける法線ベクトルNiは、少なくとも3点の3次元位置Ａ、Ｂ、Ｃから、以下の式１のように計算できる。
【００３８】
【数１】
2011522333.tif 000003
【００３９】
ここで、は外積である。もちろん、被写体表面の形状を表す法線ベクトルが求まりさえすれば良いため、法線情報の算出方法としては、上述の方法に限定されるものではない。
【非特許文献２】松山隆司、久野義徳、井宮淳、"コンピュータビジョン 技術評論と将来展望", pp.123-133, 新技術コミュニケーションズ, 1998
【００４０】
これとは別に、レンジファインダを用いた場合には、非特許文献３に記載の方法を用いて、被写体表面の法線ベクトルNiを求めることができる。
【非特許文献３】Ｙｏｉｃｈｉ  Ｓａｔｏ，Ｍａｒｋ  Ｄ．Ｗｈｅｅｌｅｒ  ａｎｄ  Ｋａｔｓｕｓｈｉ  Ｉｋｅｕｃｈｉ，“Ｏｂｊｅｃｔ  Ｓｈａｐｅ  ａｎｄ  Ｒｅｆｌｅｃｔａｎｃｅ  Ｍｏｄｅｌｉｎｇ  ｆｒｏｍ  Ｏｂｓｅｒｖａｔｉｏｎ，Ｐｒｏｃ．  ｏｆ  ＡＣＭ  ＳＩＧＧＲＡＰＨ９７，ｐｐ．３７９−３８７，１９９７
【００４１】
次に、ステップＳ２０３にて、幾何パラメータ算出部１０２は、光源・視点・法線情報取得部１０１にて取得された光源位置、視点位置、法線の情報から、被写体の形状に関する幾何パラメータを算出する。この幾何パラメータは、画像の輝度値に直接的に影響を与えるパラメータであり、メソストラクチャ等の被写体表面の形状に起因して画素値を変化させるために重要である。図４に示すように、光源位置と視点位置が既知であると仮定すると、ステップS２０１で取得した視点単位ベクトルＶと照明単位ベクトルＬから、被写体の形状に関する幾何パラメータαiLRを以下の式２のように算出することができる。
【００４２】
【数２】
2011522333.tif 000004
【００４３】
ここで、Ｈは次の式３のように算出する。ここでLとVは被写体から十分離れていることを仮定してiに依存しないと考える。
【００４４】
【数３】
2011522333.tif 000005
【００４５】
上記式２及び式３から分かるように、本実施の形態における「幾何パラメータ」とは、光源の方向を示す単位ベクトルと視点の方向を示す単位ベクトルとの加算によって得られるハーフベクトルと、当該幾何パラメータに対応する点における法線ベクトルとがなす角度に対応する値（arccos）である。
【００４６】
このようにして、幾何パラメータ算出部１０２は、被写体の形状に関する幾何パラメータαiLRを出力画像上の点iについて求める。ただし、ここではレンジファインダやステレオカメラから得られる形状情報は、解像度や精度が低いため、幾何パラメータαiLRはメソストラクチャを含んでいない。また、ノイズ除去を目的として、算出したαiLRに対して空間的にローパスフィルタを掛けても良い。
【００４７】
次に、ステップＳ２０４では、高解像度データベース部１０３にあらかじめ表現子（図３の高解像度画像１１、表現子１２参照）を保持してあるので、表現子拡張部１０４は、高解像度データベース部１０３から表現子を読み出し、読み出した表現子を空間的に拡張する（図３の拡張後の表現子１３参照）。ここで、表現子とは、被写体表面の一部に対応するメソストラクチャを表す幾何パラメータであって、光源・視点・法線情報取得部１０１で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータであり、本実施の形態では、図５（ａ）に示すように、Ｎ×Ｍのサイズで、画素値ではなくメソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiである。なお、表現子のサイズは入力画像サイズよりも小さくて構わない。図５（ａ）では、濃いほどΔαiの値が大きいことを示している。特許文献２の手法では、ガウスモデルを用いて点の分布によって凹凸情報を表現しているため、図５（ｂ）に示すように、点の有無でしか表現できないためメソストラクチャに見られる空間的な被写体の撮像サイズを反映する構造（連続性）を表現することはできない。しかしながら本実施の形態では、表現子は、Ｎ×Ｍの2次元マップとして表現することにより、メソストラクチャを表現することが可能である。なお、表現子は、実施の形態２で説明する方法によりあらかじめ取得した後、高解像度データベースに保持しておいても良いし、ＣＧで人工的に作成しておいても良い。ＣＧモデルを用いて人工的にメソストラクチャを作成する方法については、非特許文献４に記載の方法を用いることができる。
【非特許文献４】東海彰吾, 宮城真, 安田孝美, 横井茂樹, 鳥脇純一、“CGによる柑橘果実の質感表現の一手法”, 電子情報通信学会論文誌, Ｊ７６−Ｄ−ＩＩ，８，ｐｐ．１７４６−１７５４，１９９３
【００４８】
次に、表現子が画像サイズ、もしくは被写体のサイズより小さい場合には、図５（ａ）の表現子を空間的に出力する画像のサイズまで拡張する。なお、被写体の領域が分かっている場合は、領域サイズになるように拡張しても良い。例えば、光源・視点・法線情報取得部１０１に加えて、画像を入力する処理部を加えることも可能であり、この場合、被写体の色が分かっている場合には、色特徴量を用いて画像をセグメンテーションして、被写体の領域を特定することも可能であるし、画像を入力する処理部を設けなくともしとも、被写体の法線情報の連続性を検出し当該被写体領域を推定し、その全域に拡張することもできる。以上は被写体全域が均一なメソストラクチャで覆われている場合に相当するが、当該被写体が異なる２種以上の材質から生成されている場合などには、材質の違いを反映する物理量（例えば、以下に説明する式８におけるｍ等）を利用することにより、当該材質領域の内部だけに拡張することも可能である。表現子を空間的に拡張する時には、表現子が持つメソストラクチャの成分を被写体全体もしくは画像全体に拡張するために、表現子が持つメソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiの空間的な統計的性質を保ちながら行う必要がある。ここで、空間的な統計的性質とは、中間的な凹凸情報であるメソストラクチャの空間的な配置におけるばらつき具合である。メソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiの空間的な統計的性質を保ちながら拡張する方法として、以下に示す非特許文献５の手法を用いることができる。
【非特許文献５】Ａｌｅｘｅｉ  Ａ  Ｅｆｒｏｓ  ａｎｄ  Ｔｈｏｍａｓ  Ｋ  Ｌｅｕｎｇ，  “Ｔｅｘｔｕｒｅ  Ｓｙｎｔｈｅｓｉｓ  ｂｙ  Ｎｏｎｐａｒａｍｅｔｒｉｃ  Ｓａｍｐｌｉｎｇ”，  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  １９９９
【００４９】
非特許文献５の手法を用いると、図６に示すように表現子と同様の性質を保持したまま空間的な拡張が可能になる。ただし、非特許文献５では、画素値の小領域の空間的分布にもとづいて画像を拡張しているが、本特許では、メソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiの小領域の空間的分布にもとづいてΔαiを空間的に拡張する。画素値にもとづいた画像の拡張では、撮像時の光源位置の影響を直接的に受けるため、擬似光源下での画像を生成することができない。一方、メソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiを用いれば、光源の位置に応じて画像の輝度値を変化させることができるため、撮像時の光源の影響を排除しつつ、擬似光源下での画像生成が可能になる。
【００５０】
次に、ステップＳ２０５では、幾何パラメータ補正部１０５は、ステップＳ２０３で算出された幾何パラメータαiLRに対して、メソストラクチャ成分を含む空間的に拡張された幾何パラメータΔαiを追加することで、幾何パラメータαiLRを、次の式４のように補正する。
【００５１】
【数４】
2011522333.tif 000006
【００５２】
もちろん、Δαiに対して重み付けを行っても良いし、Δαiにスムージング等のノイズ除去を行っても良い。これによって、メソストラクチャ成分を含まない幾何パラメータから、メソストラクチャ成分を含んだ幾何パラメータを得ることができる。
【００５３】
次に、ステップＳ２０６では、画像生成部１０６は、上記式４で補正された幾何パラメータαiLRを反射モデルに適用することによって画像（図３の出力画像１４参照）を生成する。具体的には、反射モデルの一例として、画像を生成する際の画素値は以下の式５のように表現される。
【００５４】
【数５】
2011522333.tif 000007
【００５５】
ここで、ｋは定数。Ｆはフレネル反射係数、Ｄは被写体表面の粗さに関する係数、Ｇは幾何減衰係数である。また、Ｎ、Ｖは、それぞれ、図４に示された法線ベクトル、視点単位ベクトルである。なお、Ｄについては、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを用いることができる。Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルの場合は以下の式６のように表すことができる。
【００５６】
【数６】
2011522333.tif 000008
【００５７】
Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルの場合は、以下の式７のように表される。
【００５８】
【数７】
2011522333.tif 000009
【００５９】
なお、上記反射モデルについては、非特許文献６のｐ７３１−７３９に詳しく記載されている。ここでは、上記式５から式７において、設計者が必要なパラメータを設定して画像を生成しても良いし、以下の式８のように計算の単純化のために、Ｆを定数、Ｄには式６に示したＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルを用い、Ｇ＝１として画像を生成しても良い。
【００６０】
【数８】
2011522333.tif 000010
【００６１】
ここで、ｍはＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルにおける粗さ係数である。ｍは被写体の種類に依存するものであるため、あらかじめ被写体に応じたｍの値を保持しておいても良いし、ｍ=0.1等の一定値として処理を行っても良い。また、画像からパラメータｍの推定を行っても良い。
【非特許文献６】Ａｎｄｒｅｗ  Ｓ．Ｇｌａｓｓｎｅｒ  ”Ｐｒｉｎｃｉｐｌｅｓ  ｏｆ  Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｓｙｎｔｈｅｓｉｓ“，  Ｖｏｌ．２，  Ｍｏｒｇａｎ  ＫａｕｆＭａｎｎ，１９９５
【００６２】
以上のようにして、メソストラクチャを再現可能な高解像度成分を表現子としてデータベースに保持し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す幾何パラメータから、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成することができる。さらに、その幾何パラメータは、光源の位置情報を反映したパラメータであり、このような幾何パラメータが反射モデルに適用されて画像が生成されるので、光源の位置を所望の位置に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
【００６３】
（実施の形態２）
次に、本発明の実施の形態２における画像生成装置及び画像生成方法について説明する。図７は、実施の形態２における画像生成装置の構成を示す図である。図７の画像生成装置は、カメラのズーム機能等を用いて、ハイライト部分をより高品質に撮像し、メソストラクチャを含む高解像度成分の幾何パラメータを表現子として推定し、それを空間的に拡張することによって、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成する画像生成装置であり、光源・視点・法線情報取得部１０１、幾何パラメータ算出部１０２、第一画像撮像部６０１、第二画像撮像部６０２、第二幾何パラメータ推定部６０３、表現子生成部６０４、高解像度データベース部１０３、表現子拡張部１０４、幾何パラメータ補正部１０５、画像生成部１０６を備える。この画像生成装置は、実施の形態１における画像生成装置に、第一画像撮像部６０１、第二画像撮像部６０２、第二幾何パラメータ推定部６０３、表現子生成部６０４を追加した構成を備える。なお、実施の形態１における構成要素と同一の構成要素については、同一の符号を付し、その説明を省略する。
【００６４】
第一画像撮像部６０１は、デジタルカメラ等で少なくとも1枚以上の被写体画像を撮像する。この時、メソストラクチャを含む高解像度成分が撮像されていなくとも構わない。
【００６５】
第二画像撮像部６０２は、メソストラクチャを含む画像を撮像するために、第一画像撮像部６０１で撮像した画像の一部をより高品位に（つまり、高解像度で）撮像する。
【００６６】
第二幾何パラメータ推定部６０３は、第二画像撮像部６０２で取得された第二画像の画素値を目的関数として被写体の表面形状に関する幾何パラメータである第二幾何パラメータを推定する処理部であり、本実施の形態では、第二画像撮像部６０２で撮像した画像から反射モデルを用いて被写体の形状に関する幾何パラメータを推定する。この幾何パラメータは、メソストラクチャ成分を含む。
【００６７】
表現子生成部６０４は、前記第二幾何パラメータ推定部６０３にて推定したメソストラクチャ成分を含む幾何パラメータから、メソストラクチャ成分を含む高解像度成分を算出して、２次元のブロックからなる表現子として生成し、生成した表現子を高解像度データベース部１０３に格納する。ここで、表現子は正方形、長方形に限定されるものではない。
【００６８】
表現子拡張部１０４は、高解像度データベース部１０３から表現子を読み出し、読み出した表現子のサイズを第一画像撮像部６０１で撮像した被写体の領域サイズまで空間的に拡張する処理部である。実施の形態１で説明したように、画像を用いて領域分割を行い、被写体の領域サイズになるように拡張しても良い。これにより、表現子のサイズが実際の画像サイズもしくは被写体のサイズよりも小さい場合においても、画像全体に対してメソストラクチャを再現可能になる。
【００６９】
以下に、以上のように構成された本実施の形態における画像生成装置の動作（つまり、本発明の画像生成方法）について、図８のフローチャート及び図９に示される情報及び画像の概念図を用いて低品質な被写体画像と被写体の一部を高品位に撮像した画像から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成する方法について説明する。
【００７０】
ステップＳ７０１からステップＳ７０３までは、実施の形態１におけるステップＳ２０１からステップＳ２０３と同じであるため、説明を省略する。
【００７１】
次に、ステップＳ７０４では、第一画像撮像部６０１は、デジタルカメラ等で第一の画像（図９の第一画像２０参照）を撮像する。
【００７２】
次に、ステップS７０５では、第二画像撮像部６０２は、第一画像のハイライト部分を第一画像よりも高品位に撮像することで、第二画像（図９の第二画像１１参照）を取得する。ハイライト部分を撮像することによって、前述した反射モデルの適用が可能になる。また、ズーム機能を持つ一つのカメラでハイライト部分を撮像しても良いし、他のカメラを用いて別途撮像しても良い。ここでは、ハイライト部分は、第一画像撮像部６０１で撮像した画像の中で輝度値が最も高い部分を中心に撮像しても良いし、第一画像撮像部６０１で撮像した画像を一定の大きさのブロックに区切り、ブロックごとに平均輝度値を算出し、その平均輝度値が最も高い部分を撮像しても良いし、さらには、ブロック内の輝度値の分散が一番大きい部分を撮像しても良い。具体的には、図１０(a)に示すように第一画像撮像部６０１で撮像した画像（第一画像）の一部を、図１０(b)に示す画像（第二画像）のように第二画像撮像部６０２により高品位に撮像する。図１０において、図１０(a)の薄い斑点は、解像度が足りずにメソストラクチャが適切に撮像されていないことを示している。一方、一部を高品位に撮像することによって、図１０(b)のように、メソストラクチャを適切に撮像することができる。
【００７３】
次に、ステップＳ７０６では、第二幾何パラメータ推定部６０３は、ステップＳ７０５にてハイライト部分を高品位に撮像した画像から、反射モデルを用いて高解像度成分を含む幾何パラメータαiE_HRを表現子として推定する。具体的には、以下のように行うことができる。
【００７４】
上記式８を以下の式９のように書き換える。
【００７５】
【数９】
2011522333.tif 000011
【００７６】
ここで、Ｃは定数である。ｍは、実施の形態１と同様にあらかじめ被写体に応じたｍの値を保持しておいても良いし、ｍ=0.1等の一定値として処理を行っても良い。さらには、ｍを画像から推定しても良い。
【００７７】
ただし、
【数１０】
2011522333.tif 000012
である。
【００７８】
ここで、Ｃは以下の式１１のように求めることができる。
【００７９】
【数１１】
2011522333.tif 000013
【００８０】
ここで、maxは最大値をとることを意味する。ここでは、幾何パラメータαiE_HRが０である時に輝度値が最大になることを仮定している。
【００８１】
次に、上記式９と式１１により、以下の式１２のように、メソストラクチャを含む高解像度成分で構成された幾何パラメータαiE_HRを求めることができる。
【００８２】
【数１２】
2011522333.tif 000014
【００８３】
次に、Ｓ７０７にて、表現子生成部６０４は次の式１３のように表現子（図９の表現子１２参照）を生成し、生成した表現子を高解像度データベース部１０３に格納する。
【００８４】
【数１３】
2011522333.tif 000015
【００８５】
すなわちαiE_HRを直接、表現子Δαiとしている。ここで、実施の形態１で説明したように、表現子とは図５（ａ）に示すようなＮ×Ｍのサイズで、画素値ではなくメソストラクチャを含む高解像度成分で構成された幾何パラメータΔαiである。もちろん、表現子は必ずしも正方形や長方形である必要はない。さらに、表現子のサイズは入力画像サイズよりも小さくて構わない。図５（ａ）では、濃いほどΔαiの値が大きいことを示している。特許文献２の手法では、ガウスモデルを用いて点の分布で表現しているため、図５（ｂ）に示すように、メソストラクチャに見られる空間的な連続性を表現することはできない。しかしながら、表現子は、Ｎ×Ｍの2次元マップとして表現することにより、メソストラクチャを表現することが可能である。
【００８６】
次に、ステップS７０８については、表現子拡張部１０４は、ステップS７０７にて生成されて高解像度データベース部１０３に格納された表現子を用いて、ステップS２０４と同じ手法にて空間的に拡張する（図９の拡張後の表現子１３参照）。
【００８７】
次に、ステップＳ７０９およびＳ７１０については、実施の形態１におけるステップＳ２０５、Ｓ２０６とそれぞれ同じである（つまり、同様の処理によって画像（図９の出力画像１４参照）が生成される）ため、説明を省略する。
【００８８】
以上のようにして、ハイライト部分を高品位に撮像し、その画像からメソストラクチャを表現可能な幾何パラメータを推定し、高解像度成分を用いて反射モデルによって画像生成を行うことで、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成可能である。さらに、その幾何パラメータは、光源の位置情報を反映したパラメータであり、このような幾何パラメータが反射モデルに適用されて画像が生成されるので、光源の位置を所望の位置に設定することが可能であり、これにより、任意の位置から照射される擬似的な光源下での被写体画像が生成される。
【００８９】
（実施の形態３）
次に、実施の形態１および２で説明したメソストラクチャを反映した高品質な被写体画像を生成する画像生成方法に加え、メソストラクチャを反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成する例（実施の形態３）について説明する。本画像生成装置は、図１１および図１２に示すように、実施の形態１および２で説明した画像生成装置において、光源・視点・法線情報取得部１０１の代わりに、擬似的に光源位置情報を与える（つまり、光源位置として、所望の複数の位置情報を与える）ことで実現できる。そのため、ここでは、実施の形態１及び２と大きく異なる光源・視点・法線情報取得部１０１ａについて中心的に説明するが、全体の処理としては、具体的には、以下のように、照明単位ベクトルＬを変化させながら、それに応じたメソストラクチャを含む幾何パラメータαiHRを変更することで画像生成を行う。
【００９０】
つまり、本実施の形態は、実施の形態１及び２における光源・視点・法線情報取得部１０１を、その機能に加えて複数の光源位置を取得する機能を有する光源・視点・法線情報取得部１０１ａに置き換えた変形例（それぞれ、図１１及び図１２）に相当する。光源・視点・法線情報取得部１０１ａは、実施の形態１及び２における光源・視点・法線情報取得部１０１の機能に加えて、光源の位置情報として複数の位置情報を生成する機能（光源位置変更部１０１０）を有する。光源位置変更部１０１０は、光源・視点・法線情報取得部１０１ａが取得した１つの光源の位置情報をユーザが指示した軌道に従って変化させたり、ユーザから複数の光源位置の指定を受け取ったりすることで、変動する複数の光源位置を生成する。
【００９１】
次に、本実施の形態における画像生成装置のうち、実施の形態１の変形に対応する画像生成装置（図１１に示される画像生成装置）の処理について、図１３（ａ）に示されるフローチャートを用いて説明する。
【００９２】
まず、幾何パラメータ算出部１０２は、光源・視点・法線情報取得部１０１ａにて取得した、被写体表面の法線ベクトルと視点単位ベクトルＶ、それに加えて、擬似的に変動させたい光源位置に対応する照明単位ベクトルLjを用いて（Ｓ３０）、以下の式１４のように、光源位置の変動に対応した幾何パラメータαijLRを算出する（Ｓ３１内のステップＳ２０１〜Ｓ２０３）。
【００９３】
【数１４】
2011522333.tif 000016
【００９４】
ここで、は次の式１５のように算出する。ここでも視点ベクトルＶは照明ｊにも被写体上の点ｉにも独立である。
【００９５】
【数１５】
2011522333.tif 000017
【００９６】
図１４に照明単位ベクトルＬを変化させた場合の幾何パラメータαijLRの変化について示す。照明単位ベクトルＬjを図の破線から実線のように変化させると、上記式１５に示したように、ベクトルHjも破線から実線のように変化する。それに伴い、上記１４に示すように幾何パラメータαijLRが変化する。これによって、光源位置の変動に応じた幾何パラメータαijLRを得ることができる。
【００９７】
次に、実施の形態１のステップＳ２０５で説明したように、光源位置の変動に応じた幾何パラメータαijLRに対して、ステップＳ２０４で得たメソストラクチャ成分を含む空間的に拡張された幾何パラメータΔαiを追加することで、幾何パラメータαijLRを次の式１６のように補正する（Ｓ３１内のステップＳ２０４、Ｓ２０５）。
【００９８】
【数１６】
2011522333.tif 000018
【００９９】
これによって、光源位置の変動ｊに対応しながら、擬似光源下での画像を生成するための幾何パラメータαijHRを得ることができる。各擬似光源下における画像の生成については、の代わりにαijHRを用いて、実施の形態１で説明したステップＳ２０６と同じ方法で行えばよい（Ｓ３１内のＳ２０６、Ｓ３２）。
【０１００】
なお、照明単位ベクトルLjを微小かつ連続的に変化させて、それぞれの照明単位ベクトルLjに対する擬似光源下の画像を生成し（Ｓ３０〜Ｓ３２）、図１５に示される動画３０〜３１ように、その画像を並べて動画とすることも可能である。
【０１０１】
また、本実施の形態における画像生成装置のうち、実施の形態２の変形に対応する画像生成装置（図１２に示される画像生成装置）の処理についても、同様である（図１３（ｂ）のフローチャート参照）。つまり、光源の位置Ｌｉを変化させながら（Ｓ４０〜Ｓ４２）、個々の光源位置について実施の形態２における画像処理を行うことで（Ｓ４１）、様々な光源位置に対応する複数の画像を連続的に生成することができる。
【０１０２】
以上のようにして、実施の形態１および実施の形態２の機能に加えて、光源の位置情報として複数の位置情報を生成する光源位置変更部１０１０による制御の下で算出された擬似的な光源下の幾何パラメータを用いることで、被写体表面のメソストラクチャを反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することが可能である。
【０１０３】
（実施の形態１から３の変形）
次に、実施の形態１から３で説明した方法をより高精度に行う方法について説明する。ここでは、実施の形態１の変形として説明するが、実施の形態２および３の変形としても利用可能である。図１６は、実施の形態１の変形における画像生成装置の構成を示す図である。図１２に示される実施の形態１の変形例における画像生成装置は、入力画像を拡散反射画像と鏡面反射画像に分離し、分離した鏡面反射画像に対して反射モデルを適用することで、より高精度に幾何パラメータを推定可能になるため、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した被写体画像をより高品質に生成する画像生成装置であり、光源・視点・法線情報取得部１０１、第一画像撮像部６０１、ＤＳ分離部１２０１、幾何パラメータ算出部１０２、高解像度データベース部１０３、表現子拡張部１０４、幾何パラメータ補正部１０５、拡散反射画像処理部１２０２、画像生成部１０６ａを備える。この画像生成装置は、実施の形態１における画像生成装置に比べ、第一画像撮像部６０１、ＤＳ分離部１２０１及び拡散反射画像処理部１２０２という追加的な構成を備えるとともに、実施の形態１における画像生成部１０６に代えて改良された画像生成部１０６ａを備える。
【０１０４】
第一画像撮像部６０１は、実施の形態２と同じであるため説明を省略するが、ここでは、カラー画像を生成することを仮定する。
【０１０５】
ＤＳ分離部１２０１は、第一画像撮像部６０１で撮像された画像を、拡散反射成分と鏡面反射成分の２つに分離する。以降、分離した画像を拡散反射画像、鏡面反射画像と呼ぶ。
【０１０６】
本実施の形態では、幾何パラメータ算出部１０２及び幾何パラメータ補正部１０５は、ＤＳ分離部１２０１で分離した鏡面反射画像だけに対して処理を施す点で、実施の形態１と異なる。
【０１０７】
拡散反射画像処理部１２０２では、ＤＳ分離部１２０１で入力画像から分離した拡散反射画像に対して画像処理を施す。この内容は高解像度化処理を行っても良いし、拡散反射画像をそのまま用いてもよい。
【０１０８】
画像生成部１０６ａでは、補正した幾何パラメータを反射モデルの幾何パラメータとして用いることによって、メソストラクチャ成分を含む高品位化された鏡面反射画像を生成する。そして、高品位化された鏡面反射画像に対して、ＤＳ分離部１２０１で分離した拡散反射画像もしくは、拡散反射画像処理部１２０２で処理した拡散反射画像を加えることで画像を合成する。
【０１０９】
以下に、ＤＳ分離部１２０１と拡散反射画像処理部１２０２、画像生成部１０６ａについて、図１７のフローチャートを用いて、詳しく説明する。
【０１１０】
第一画像撮像部６０１が入力画像Ｉを取得した後に（Ｓ５０）、ＤＳ分離部１２０１では、その入力画像Ｉを次の式１７のように考え、拡散反射画像Ｉdと鏡面反射画像ＩSとを分離するＳ５１）。
【０１１１】
【数１７】
2011522333.tif 000019
【０１１２】
ここで、カラー画像を用いた拡散反射画像Ｉdと鏡面反射画像ＩSの分離方法については、非特許文献７の分離方法を用いることができる。
【非特許文献７】Ｓｈｒｅｅ  Ｋ．Ｎａｙｅｒ，Ｘｉ−Ｓｈｅｎｇ  Ｗａｎｇ  ａｎｄ  Ｔｅｒｒａｎｃｅ  Ｂｏｕｌｔ，“Ｓｅｐａｒａｔｉｏｎ  ｏｆ  Ｒｅｆｌｅｃｔｉｏｎ  Ｃｏｍｐｏｎｅｎｔｓ  Ｕｓｉｎｇ  Ｃｏｌｏｒ  ａｎｄ  Ｐｏｌａｒｉｚａｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｎｏ．２１，Ｖｏｌ．３，ｐｐ．１６３−１８６，１９９７
【０１１３】
次に、幾何パラメータ算出部１０２、表現子拡張部１０４及び幾何パラメータ補正部１０５は、実施の形態１と同様の処理を行う（Ｓ５２）。つまり、高品位の鏡面反射画像を生成し、生成した鏡面反射画像で、ＤＳ分離部１２０１において分離された鏡面反射画像を置き換える。なお、高解像度データベース部１０３では、事前にデータベースとして作成する際に上記の手法により画像から鏡面反射成分を抽出して、抽出した鏡面反射成分からメソストラクチャを含む幾何パラメータを保持しておくことが望ましい。具体的には、実施の形態２の式１０を以下の式１８のように書き換えて上記式８から式１２の処理を行えばよい。もちろん、実施の形態２における第二幾何パラメータ推定部６０３においても同様に鏡面反射成分について処理を行うことが望ましい。
【０１１４】
【数１８】
2011522333.tif 000020
【０１１５】
画像生成部１０６ａでは、実施の形態１の上記５から式８で説明した方法により、メソストラクチャ成分を含む高解像度化された鏡面反射画像ＩiS_HRを生成することができる。そして、画像生成部１０６ａは、以下の式１９のように鏡面反射画像と拡散反射画像とを合成することにより、低品質な被写体画像から、被写体表面の凹凸をより鮮明に反映したより高品質な被写体画像ＩHRを生成可能である（Ｓ５３）。
【０１１６】
【数１９】
2011522333.tif 000021
【０１１７】
さらに、実施の形態３で説明したように、メソストラクチャを反映しながら、擬似的な光源下での被写体画像を生成する場合には、上記式１４から式１６で説明した処理を行い、擬似光源下での画像を生成するための幾何パラメータαLiHRを算出することによって、実施の形態１の上記式５から式８で説明した方法により、擬似光源下におけるメソストラクチャ成分を含む高品質化された鏡面反射画像ＩLiS_HRを生成することができる。そして、以下の式２０のように拡散反射画像と合成することにより、擬似光源下画像生成部で擬似的な光源下の幾何パラメータを用いることで、被写体表面のメソストラクチャを反映しながら、より高品質に擬似的な光源下での被写体画像を生成することが可能である。
【０１１８】
【数２０】
2011522333.tif 000022
【０１１９】
さらに、拡散反射画像処理部１２０２は、ＤＳ分離部１２０１で分離した拡散反射画像をそのまま用いても良いが、さらに特許文献３に示す方法により、光源位置に影響を受けないアルベドを生成することも可能である。そして、そのアルベドから擬似的な光源下での拡散反射画像を生成し、それとメソストラクチャ成分を含む高解像度化された鏡面反射画像ＩLiS_HRと合成することにより、より高品質な画像を生成することも可能である。さらに、同様に特許文献３の手法により、アルベドを用いて高解像度化を行い、高解像度化されたアルベドから生成される拡散反射画像と高品質化された鏡面反射画像とを合成することも有効である。
【特許文献３】特許第４０８２７１４号公報
【０１２０】
以上のように、本実施の形態における画像生成装置及びその方法によれば、入力画像を拡散反射成分と鏡面反射成分とに分離し、鏡面反射成分に対して反射モデルを適用して画像を高品位化することにより、反射モデルを適用すべき本来の画像成分（鏡面反射成分）だけに対して反射モデルを適用することなり、これにより、被写体表面の凹凸をより正確かつ鮮明に反映した高品質な被写体画像を生成可能であり、さらには、被写体表面の凹凸を反映しながら、任意の位置から照射される擬似的な光源下での被写体画像を生成することも可能となる。
【０１２１】
以上、本発明に係る画像生成方法及び画像生成装置について、実施の形態及びその変形例に基づいて説明したが、本発明は、これらの実施の形態及び変形例に限定されるものではない。当業者が思いつく各種変形を、本発明の趣旨を逸脱しない範囲で各実施の形態に施して実現される形態も本発明に含まれる。
【０１２２】
また、各実施の形態における特徴的な構成要素を任意に組み合わせて実現される形態も本発明に含まれる。
【産業上の利用可能性】
【０１２３】
本発明は、被写体表面の凹凸に関する幾何パラメータに基づいて、低品質な被写体画像等から得られる被写体の表面形状を表す情報から、被写体表面の凹凸をより鮮明に反映した高品質な被写体画像を生成し、さらには、被写体表面の凹凸を反映しながら、擬似的な光源下での被写体画像を生成する装置であり、例えば、デジタルカメラやモニタ等の画像表示機器に内蔵させる画像生成装置等として利用することが可能である。
【符号の説明】
【０１２４】
１０１、1０１a  光源・視点・法線情報取得部
１０２  幾何パラメータ算出部
１０３  高解像度データベース部
１０４  表現子拡張部
１０５  幾何パラメータ補正部
１０６、画像生成部
６０１  第一画像撮像部
６０２  第二画像撮像部
６０３  第二幾何パラメータ推定部
６０４  表現子生成部
１０１０  光源位置変更部
１２０１  ＤＳ分離部
１２０２  拡散反射画像処理部
【図１】
2011522333.tif 000023
【図２】
2011522333.tif 000024
【図３】
2011522333.tif 000025
【図４】
2011522333.tif 000026
【図７】
2011522333.tif 000027
【図８】
2011522333.tif 000028
【図９】
2011522333.tif 000029
【図１０】
2011522333.tif 000030
【図１１】
2011522333.tif 000031
【図１２】
2011522333.tif 000032
【図１３Ａ】
2011522333.tif 000033
【図１３Ｂ】
2011522333.tif 000034
【図１４】
2011522333.tif 000035
【図１５】
2011522333.tif 000036
【図１６】
2011522333.tif 000037
【図１７】
2011522333.tif 000038
【図５Ａ】
2011522333.tif 000039
【図５Ｂ】
2011522333.tif 000040
【図６】
2011522333.tif 000041
【手続補正書】
【提出日】平成22年1月11日(2010.1.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体の低品位な画像から得られる当該被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置であって、
生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、
前記画像生成装置は、
前記光源及び前記視点の位置情報と、前記低品位な画像における前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得部と、
生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源の方向を示す単位ベクトルと前記視点の方向を示す単位ベクトルとの加算によって得られるハーフベクトルと、法線ベクトルとがなす角度に対応する幾何パラメータを算出する幾何パラメータ算出部と、
前記被写体表面の一部に対応するメソストラクチャを表す前記幾何パラメータであって、前記光源・視点・法線情報取得部で取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ前記幾何パラメータである表現子を保持している高解像度データベース部と、
前記高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張部と、
前記幾何パラメータ算出部で算出された前記幾何パラメータに対して、前記表現子拡張部で拡張された表現子を加算して補正することで、メソストラクチャを反映した補正後幾何パラメータを算出する幾何パラメータ補正部と、
(i)前記補正後幾何パラメータを、前記幾何パラメータと、前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報ととともに反射モデルに適用し、（ii）前記各点の画素値を算出し、（iii）前記法線にメソストラクチャ構造を反映させた画像を生成する画像生成部と
を備える画像生成装置。
【請求項２】
前記光源・視点・法線情報取得部は、前記被写体を撮像するステレオカメラ又はレンジファインダあるいはその他の形状取得装置から取得した情報から法線情報を算出することにより、前記法線情報を取得する
請求項１記載の画像生成装置。
【請求項３】
前記反射モデルは、ある点における法線情報と視点の位置情報と幾何パラメータとから、当該点における画素値を算出する式であり、
前記画像生成部は、前記補正後幾何パラメータに加えて、光源・視点・法線情報取得部で取得された法線情報と視点の位置情報を前記反射モデルに適用することで、前記各点の画素値を算出する
請求項１記載の画像生成装置。
【請求項４】
さらに、
前記被写体を撮像することで第一画像を取得する第一画像撮像部と、
前記第一画像のうち、高品位化させたい部分であるハイライト部分に対応する前記被写体の一部を、前記第一画像撮像部よりも高解像度で撮像することで、第二画像を取得する第二画像撮像部と、
前記第二画像撮像部で取得された第二画像の画素値を目的関数として、前記被写体の表面形状に関する前記幾何パラメータを推定する幾何パラメータ推定部と、
前記幾何パラメータ推定部で推定された前記幾何パラメータ自身を前記表現子として、前記高解像度データベースに格納する表現子生成部とを備える
請求項１記載の画像生成装置。
【請求項５】
前記第二画像撮像部は、前記第一画像撮像による撮像よりもズームして前記被写体の一部を撮像することで、前記第二画像を取得する
請求項４記載の画像生成装置。
【請求項６】
前記光源・視点・法線情報取得部は、前記光源の位置情報として、複数の位置情報を取得し、
前記幾何パラメータ算出部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記第一幾何パラメータを算出し、
前記幾何パラメータ補正部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記補正後幾何パラメータを算出し、
前記画像生成部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記画像を生成する
請求項１記載の画像生成装置。
【請求項７】
さらに、
前記被写体を撮像することで第一画像を取得する第一画像撮像部と、
前記第一画像撮像部で取得された第一画像を鏡面反射成分と拡散反射成分とに分離する分離部とを備え、
前記幾何パラメータ算出部、前記表現子拡張部、前記幾何パラメータ補正部及び前記画像生成部は、前記分離部で分離された鏡面反射成分について、それぞれの処理を実行することによって高品位な鏡面反射成分を生成し、
前記画像生成部はさらに、（i）生成した前記鏡面反射成分に対応する画像と、（ii）前記分離部で分離された拡散反射成分に対応する画像とを合成する
請求項１記載の画像生成装置。
【請求項８】
さらに、前記被写体の表面形状を表すコンピュータ・グラフィックス・データを取得し、取得したコンピュータ・グラフィックス・データから前記表現子を生成し、生成した表現子を前記高解像度データベースに格納する表現子生成部を備える
請求項１記載の画像生成装置。
【請求項９】
被写体の低品位な画像から得られる当該被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成方法であって、
生成する画像は、光源から光を照射した被写体を視点から見たときの画像であり、
前記画像生成方法は、
前記光源及び前記視点の位置情報と、前記低品位な画像における前記被写体の表面形状を表す法線情報とを取得する光源・視点・法線情報取得ステップと、
生成する画像を構成する各画素に対応する前記被写体表面の各点について、前記光源の方向を示す単位ベクトルと前記視点の方向を示す単位ベクトルとの加算によって得られるハーフベクトルと、法線ベクトルとがなす角度に対応する幾何パラメータを算出する幾何パラメータ算出ステップと、
前記被写体表面の一部に対応するメソストラクチャを表す前記幾何パラメータであって、前記光源・視点・法線情報取得ステップで取得された法線情報の空間的な解像度よりも高い解像度の成分をもつ前記幾何パラメータである表現子を保持している高解像度データベース部から前記表現子を読み出し、読み出した表現子が示す空間的な領域が前記被写体表面を覆うように、前記表現子を空間的に拡張する表現子拡張ステップと、
前記幾何パラメータ算出ステップで算出された前記幾何パラメータに対して、前記表現子拡張ステップで拡張された表現子を加算して補正することで、メソストラクチャを反映した補正後幾何パラメータを算出する幾何パラメータ補正ステップと、
（i）前記補正後幾何パラメータを、前記幾何パラメータと、前記光源及び前記視点の位置情報と、前記被写体の表面形状を表す法線情報ととともに反射モデルに適用し、（ii）前記各点の画素値を算出し、（iii）前記法線にメソストラクチャ構造を反映させた画像を生成する画像生成ステップと
を含む画像生成方法。
【請求項１０】
被写体の表面形状を表す情報から、より鮮明に被写体の表面形状を反映した高品位な画像を生成する画像生成装置のためのプログラムであって、
請求項９記載の画像生成方法に含まれるステップをコンピュータに実行させるプログラム。
【手続補正書】
【提出日】平成22年12月6日(2010.12.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項６
【補正方法】変更
【補正の内容】
【請求項６】
前記光源・視点・法線情報取得部は、前記光源の位置情報として、複数の位置情報を取得し、
前記幾何パラメータ算出部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記幾何パラメータを算出し、
前記幾何パラメータ補正部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記補正後幾何パラメータを算出し、
前記画像生成部は、前記光源・視点・法線情報取得部で取得された複数の前記光源の位置情報のそれぞれに対応させて、前記画像を生成する
請求項１記載の画像生成装置。
【国際調査報告】
2011522333.tif 000042
2011522333.tif 000043
2011522333.tif 000044