(57)【要約】【課題】３次元画像を用いることなく比較的簡便な処理によって陰影の除去を行うこと。【解決手段】立体的な被写体についての陰影のない画像を生成する方法であって、照明光源の位置を異ならせて被写体を複数回撮影して被写体についての複数の撮影画像を取得する第１のステップ（＃１１）と、複数の撮影画像に対し輝度についてのキャリブレーションを行って複数のキャリブレーション済みの画像を取得する第２のステップ（＃１２，１３）と、複数のキャリブレーション済みの画像に基づいて陰影のない１つの画像を生成する第３のステップ（＃１４，１５）とを有する。【選択図】図１０
2006285763.tif 000002
【特許請求の範囲】
【請求項１】
立体的な被写体についての陰影のない画像を生成する方法であって、
照明光源の位置を異ならせて前記被写体を複数回撮影して前記被写体についての複数の撮影画像を取得する第１のステップと、
複数の前記撮影画像に対し輝度についてのキャリブレーションを行って複数のキャリブレーション済みの画像を取得する第２のステップと、
複数の前記キャリブレーション済みの画像に基づいて陰影のない１つの画像を生成する第３のステップと、
を有することを特徴とする被写体についての陰影のない画像を生成する方法。
【請求項２】
前記第１のステップにおいて、曲面を有した立体白色板を前記被写体とともに撮影して前記立体白色板の画像を含んだ前記撮影画像を取得し、
前記第２のステップにおいて、それぞれの前記撮影画像中の前記立体白色板の画像からそれぞれの撮影画像中における最大輝度情報を取得し、前記最大輝度情報を用いて前記キャリブレーションを行う、
請求項１記載の被写体についての陰影のない画像を生成する方法。
【請求項３】
前記第１のステップにおいて、さらに、曲面を有した立体白色板を前記被写体の撮影と同じ照明光源によって撮影して前記立体白色板の撮影画像を取得し、
前記第２のステップにおいて、それぞれの前記立体白色板の撮影画像から最大輝度情報を取得し、前記最大輝度情報を用いて前記キャリブレーションを行う、
請求項１記載の被写体についての陰影のない画像を生成する方法。
【請求項４】
前記第１のステップにおける複数回の撮影の間に被写体のずれがあった場合に、前記第２のステップにおいて被写体のずれをマッチングによって補正する、
請求項１記載の被写体についての陰影のない画像を生成する方法。
【請求項５】
前記第３のステップにおいて、複数の前記キャリブレーション済みの画像の微小領域ごとの輝度情報および前記照明光源による照射方向に基づいて画像行列を生成し、前記被写体における微小領域ごとの面の向きを抽出し、抽出した面の向きに基づいて、前記微小領域ごとの面の反射率を複数の前記キャリブレーション済みの画像に反映させて前記陰影のない１つの画像を生成する、
請求項１ないし４のいずれかに記載の被写体についての陰影のない画像を生成する方法。
【請求項６】
前記第３のステップにおいて、前記照射方向を、第１のステップでの被写体の撮影に用いた撮像装置の自動焦点調節機構から得られる距離情報を用いて求める、
請求項５記載の被写体についての陰影のない画像を生成する方法。
【請求項７】
前記第３のステップにおいて、複数の前記キャリブレーション済みの画像に対し、照度差ステレオ法の手法を適用して前記陰影のない１つの画像を生成する、
請求項１ないし４のいずれかに記載の被写体についての陰影のない画像を生成する方法。
【請求項８】
立体的な被写体についての陰影のない画像を生成する装置であって、
照明光源の位置を異ならせて前記被写体を複数回撮影して前記被写体についての複数の撮影画像を取得する撮像装置と、
複数の前記撮影画像に対し輝度についてのキャリブレーションを行って複数のキャリブレーション済みの画像を取得するキャリブレーション手段と、
複数の前記キャリブレーション済みの画像に基づいて陰影のない１つの画像を生成する画像合成手段と、
を有することを特徴とする被写体についての陰影のない画像を生成する装置。
【請求項９】
前記撮像装置は、
カメラと、
前記カメラのレンズを中心とする同心円上に当該カメラと一体的に設けられた複数のフラッシュと、を有し、
前記カメラによる撮影を行うごとに複数の前記フラッシュが順に発光するように制御されてなる、
請求項８記載の被写体についての陰影のない画像を生成する装置。
【請求項１０】
輝度についてのキャリブレーションを行う際の基準となる最大輝度情報を得るための、曲面を有した立体白色板を有する、
請求項８または９記載の被写体についての陰影のない画像を生成する装置。
【請求項１１】
照明光源によって照明光を被写体に照射して撮像装置で撮影した前記被写体の画像に対してキャリブレーションを行うために用いる白色板であって、
その表面に複数の異なる方向の法線を持つ曲面を有することを特徴とする白色板。
【請求項１２】
前記曲面は球面の一部である、
請求項１１記載の白色板。
【請求項１３】
前記表面は実質的に完全拡散面である、
請求項１１または１２記載の白色板。
【請求項１４】
照明光源の位置を異ならせて被写体を複数回撮影して取得される複数の画像のキャリブレーション方法であって、
請求項１１ないし１３のいずれかに記載の白色板を被写体とともにまたは被写体と同じ照明条件の下で被写体とは別に複数回撮影し、
白色板についてのそれぞれの画像から最大輝度情報を取得し、前記最大輝度情報を用いて、被写体を撮影した複数の前記画像のキャリブレーションを行う、
ことを特徴とする複数の画像のキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照明光源の位置などに起因して生じる被写体画像上の陰影を低減し、被写体についての陰影のない画像を生成する方法および装置、それに用いる白色板、並びに複数の画像のキャリブレーション方法に関する。
【背景技術】
【０００２】
従来より、医療分野における患者の診断のために、カメラによって例えば患者の顔を撮影し、得られた顔の画像を解析したり観察することが行われている。また、バイオメトリック個人認証の１つとして、カメラによって人物の顔を撮影し、撮像した顔の画像と予め登録された顔画像とのマッチングを行って人物を特定することが行われている（特許文献１）。
【０００３】
このように、三次元的（立体的）な被写体を撮影した場合には、撮影の際の照明光源の位置や環境光などの影響によって、被写体の画像に陰影が生じることがしばしばある。例えば、人物の顔を撮影する際に、照明光源がカメラの上方にある場合には、人物の鼻の下などに影ができる。室内の照明光源が人物の側方にあった場合には、その反対側の顔面に影ができて暗くなる。このような影ができた場合には、画像解析やマッチングの精度が低下することがある。
【０００４】
従来において、このような画像における陰影の除去方法が提案されている。すなわち特許文献１に開示された方法では、被写体である顔について、予め３次元測定を行って顔面距離画像を登録しておく。カメラで撮影した顔の撮影画像が入力されると、登録された顔面距離画像について、照明方向パラメータおよび３次元形状パラメータを少しずつ変化させて合成画像を生成する。合成画像と入力画像との類似度を測り、最も類似度が高いときの最適照明方向パラメータおよび最適３次元形状パラメータを求める。求めた最適照明方向パラメータと最適３次元形状パラメータで合成される顔画像の各画素の輝度値で、入力画像の対応する画素の輝度値を割ることにより、入力画像を陰のない画像に補正する。
【０００５】
また、これに関連して、被写体に対する照明光源の照射方向を変えて撮像を行うことにより、同じ被写体について複数の原画像を取得し、取得された複数の原画像から被写体の３次元データを求める照度差ステレオ法が、特許文献２に開示されている。
【特許文献１】特開２００２−１５３１１
【特許文献２】特開２００１−７４４１７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上に述べた特許文献１の方法によると、顔面距離画像について照明方向パラメータおよび３次元形状パラメータを種々変化させて入力画像との類似度を測るための処理は、３次元データを対象とするものであるから処理量が多く、処理の負担となって処理時間を要するいう問題がある。また、被写体についての距離画像（３次元画像）を予め登録しておく必要があるので、患者の診断のための陰影の除去方法として適当ではない。
【０００７】
本発明は、上述の問題に鑑みてなされたもので、３次元画像を用いることなく比較的簡便な処理によって陰影の除去を行うことを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る方法は、立体的な被写体についての陰影のない画像を生成する方法であって、照明光源の位置を異ならせて前記被写体を複数回撮影して前記被写体についての複数の撮影画像を取得する第１のステップと、複数の前記撮影画像に対し輝度についてのキャリブレーションを行って複数のキャリブレーション済みの画像を取得する第２のステップと、複数の前記キャリブレーション済みの画像に基づいて陰影のない１つの画像を生成する第３のステップとを有する。
【０００９】
好ましくは、前記第１のステップにおいて、曲面を有した立体白色板を前記被写体とともに撮影して前記立体白色板の画像を含んだ前記撮影画像を取得し、前記第２のステップにおいて、それぞれの前記撮影画像中の前記立体白色板の画像からそれぞれの撮影画像中における最大輝度情報を取得し、前記最大輝度情報を用いて前記キャリブレーションを行う。
【００１０】
また、前記第１のステップにおいて、さらに、曲面を有した立体白色板を前記被写体の撮影と同じ照明光源によって撮影して前記立体白色板の撮影画像を取得し、前記第２のステップにおいて、それぞれの前記立体白色板の撮影画像から最大輝度情報を取得し、前記最大輝度情報を用いて前記キャリブレーションを行う。
【００１１】
その場合に、前記第１のステップにおける複数回の撮影の間に被写体のずれがあった場合に、前記第２のステップにおいて被写体のずれをマッチングによって補正する。
【００１２】
また、前記第３のステップにおいて、複数の前記キャリブレーション済みの画像の微小領域ごとの輝度情報および前記照明光源による照射方向に基づいて画像行列を生成し、前記被写体における微小領域ごとの面の向きを抽出し、抽出した面の向きに基づいて、前記微小領域ごとの面の反射率を複数の前記キャリブレーション済みの画像に反映させて前記陰影のない１つの画像を生成する。
【００１３】
前記第３のステップにおいて、前記照射方向を、第１のステップでの被写体の撮影に用いた撮像装置の自動焦点調節機構から得られる距離情報を用いて求めてもよい。
【００１４】
また、前記第３のステップにおいて、複数の前記キャリブレーション済みの画像に対し、照度差ステレオ法の手法を適用して前記陰影のない１つの画像を生成する。
【００１５】
本発明に係る装置は、照明光源の位置を異ならせて前記被写体を複数回撮影して前記被写体についての複数の撮影画像を取得する撮像装置と、複数の前記撮影画像に対し輝度についてのキャリブレーションを行って複数のキャリブレーション済みの画像を取得するキャリブレーション手段と、複数の前記キャリブレーション済みの画像に基づいて陰影のない１つの画像を生成する画像合成手段とを有する。
【００１６】
ここにおいて、前記撮像装置は、カメラと、前記カメラのレンズを中心とする同心円上に当該カメラと一体的に設けられた複数のフラッシュとを有し、前記カメラによる撮影を行うごとに複数の前記フラッシュが順に発光するように制御してもよい。
【００１７】
本発明に係る白色板は、照明光源によって照明光を被写体に照射して撮像装置で撮影した前記被写体の画像に対してキャリブレーションを行うために用いる白色板であって、その表面に複数の異なる方向の法線を持つ曲面を有する。好ましくは、前記曲面を球面の一部とし、前記表面を実質的に完全拡散面とする。
【発明の効果】
【００１８】
本発明によると、３次元画像を用いることなく比較的簡便な処理によって陰影の除去を行うことができる。
【発明を実施するための最良の形態】
【００１９】
図１は本発明の実施形態に係る画像生成装置１の構成を示すブロック図、図２は撮像装置ＳＳの正面図、図３は撮像装置ＳＳにおけるフラッシュの配置の例を示す図、図４は立体白色板ＲＣの斜視図、図５は被写体の表面の反射率ρを求める方法を説明する図、図６は画像処理装置１４の機能的な構成を示す図、図７は４回の撮影で得られた４つの画像ＦＧａ〜ｄの例を示す図、図８は図７に示す４つの画像ＦＧａ〜ｄから生成された反射率画像ＦＨの例を示す図、図９は図８に示す反射率画像ＦＨから生成されたカラー画像ＦＪの例を示す図である。
【００２０】
図１において、画像生成装置１は、カメラ１１、フラッシュ１２ａ〜ｄ、フラッシュコントローラ１３、画像処理装置１４、ＣＰＵ１５、入力装置１６、およびディスプレイ１７などから構成される。
【００２１】
カメラ１１は、シャッターを押すごとに被写体Ｑについて１回の撮影を行い、被写体Ｑについての２次元の１枚の画像（撮影画像）ＦＧを得るものである。カメラ１１には、自動焦点調節機構が設けられており、撮影の際に自動的に被写体Ｑに合焦され、被写体Ｑまでの距離情報ＤＫは画像処理装置１４に出力される。なお、撮影に際して、被写体Ｑの近傍に白色板ＲＣが配置されており、被写体Ｑとともに白色板ＲＣも一緒に撮影される。撮影された画像ＦＧは、デジタルの画像データとして、画像処理装置１４に入力される。
【００２２】
フラッシュ１２ａ〜ｄは、撮影に際して被写体Ｑを照明するための照明光源である。それぞれ、発光量（輝度）を調整することが可能である。被写体Ｑを照射すると同時に白色板ＲＣをも照射する。図２に示すように、４つのフラッシュ（フラッシュヘッド）１２ａ〜ｄは、カメラ１１のレンズＬＺを中心とする同心円上の上下左右の各位置に、アームＡＭａ〜ｄによってカメラ１１と一体的に取り付けられている。レンズＬＺに対する４つのフラッシュ１２ａ〜ｄのそれぞれの相対的な位置および距離は決められている。つまり、レンズＬＺの主点を原点としたフラッシュ１２ａ〜ｄの各座標位置Ｐｆ（ｘ，ｙ，ｚ）はそれぞれ既知であり、そのデータは画像処理装置１４に予め入力され記憶されている。これらフラッシュ１２ａ〜ｄは、カメラ１１による撮影を行うごとに、この順に１つずつ発光するようにフラッシュコントローラ１３によって制御される。
【００２３】
つまり、カメラ１１からは、シャッターを押すごとに、フラッシュコントローラ１３に対してタイミング信号Ｓ１が出力される。フラッシュコントローラ１３は、そのタイミング信号Ｓ１に基づいて、１回の撮影ごとに１つのフラッシュ１２ａ〜ｄのみが発光するよう、かつ１回の撮影ごとに、フラッシュ１２ａ、１２ｂ、１２ｃ、１２ｄのように順に発光するよう、制御する。フラッシュコントローラ１３は、また、カメラ１１から出力される種々のパラメータに基づいて、それぞれのフラッシュ１２ａ〜ｄの発光量を決定して制御する。
【００２４】
図７に示すように、フラッシュ１２ａ〜ｄのそれぞれの発光に対応して、４つの画像ＦＧａ〜ｄが得られる。画像ＦＧａ〜ｄにおいては、被写体Ｑである人物の顔の鼻ＨＮおよびその影ＫＧのみが描かれている。４つの画像ＦＧａ〜ｄにおいて、それぞれ影ＫＧができ、かつその影ＫＧの位置および大きさが互いに異なっている。このように、フラッシュ１２ａ〜ｄを用いて撮影した場合に、被写体Ｑの３次元形状とフラッシュの照射方向に応じて影（陰影）ＫＧが発生する。フラッシュ１２ａ〜ｄの座標位置が互いに異なることから、照射方向が可変され、影ＫＧの位置が変化する。また、部屋の照明器具からの光、太陽光線など、環境光の影響によっても影ＫＧが発生する。
【００２５】
なお、以降において、フラッシュ１２ａ〜ｄの１つまたは全体を「フラッシュ１２」と記載することがある。アームＡＭａ〜ｄについても、その１つまたは全体を「アームＡＭ」と記載することがある。
【００２６】
図７においては、画像ＦＧａでは鼻ＨＮの下側に、画像ＦＧｂでは鼻ＨＮの右側に、画像ＦＧｃでは鼻ＨＮの上側に、画像ＦＧｄでは鼻ＨＮの左側に、それぞれ影ＫＧができている。
【００２７】
なお、図２に示す実施形態では、４つのフラッシュ１２ａ〜ｄをカメラ１１の上下左右に配置したが、フラッシュの個数および配置位置をこれ以外のものとしてもよい。例えば、図３（Ａ）に示すように２つのフラッシュ１２ａ〜ｂをカメラ１１の左右に対称に配置し、図３（Ｂ）に示すように３つのフラッシュ１２ａ〜ｃを三角形の頂点に配置し、図３（Ｃ）に示すように４つのフラッシュ１２ａ〜ｄをカメラ１１の斜め上下左右に配置し、または、図３（Ｄ）に示すように５つのフラッシュ１２ａ〜ｅを五角形の頂点に配置してもよい。
【００２８】
なお、これらの図では、フラッシュ１２がカメラ１１から離れた位置にあるように描かれているが、レンズ１１の近傍に配置してもよい。また、フラッシュ１２は、アームＡＭの長さを調節したり、そのヘッドの向きを変えたりすることが可能である。その場合においても、フラッシュ１２の座標位置のデータは画像処理装置１４に入力される。
【００２９】
画像処理装置１４は、カメラ１１から得られた画像ＦＧａ〜ｄを処理し、影ＫＧが除去された画像ＦＪを出力する。図６に示すように、画像処理装置１４は、入力画像記憶部３１、最大輝度情報取得部３２、輝度調節部３３、反射画像生成部３４、およびカラー画像生成部３５などを有する。最大輝度情報取得部３２および輝度調節部３３は、本発明におけるキャリブレーション手段に相当する。反射画像生成部３４およびカラー画像生成部３５は、本発明における画像合成手段に相当する。
【００３０】
入力画像記憶部３１は、入力された画像ＦＧａ〜ｄを記憶する。最大輝度情報取得部３２は、それぞれの画像ＦＧａ〜ｄ中の白色板ＲＣの画像ＲＣａ〜ｄから、それぞれの画像ＦＧａ〜ｄ中における最大輝度情報ＫＭａ〜ｄを取得する。
【００３１】
輝度調節部３３は、最大輝度情報ＫＭａ〜ｄを用いて、画像ＦＧａ〜ｄに対して輝度についてのキャリブレーションを行う。また、輝度調節部３３は、画像ＦＧａ〜ｄにおいて、これらの間に被写体Ｑについて画像のずれがあった場合に、そのずれをマッチングによって補正する。その結果、輝度調節部３３からは、画像のずれのないキャリブレーション済みの画像ＦＧ１ａ〜ｄが出力される。
【００３２】
反射画像生成部３４は、キャリブレーション済みの画像ＦＧ１ａ〜ｄに対して、照度差ステレオ（Photometoric Stereo ）法の手法を適用し、影ＫＧのない１つの画像である反射率画像ＦＨを生成する。反射画像生成部３４は、例えば、複数のキャリブレーション済みの画像ＦＧ１ａ〜ｄの微小領域ごとの輝度情報νおよび照明光源による照射方向ｌに基づいて、画像行列を生成し、被写体Ｑにおける微小領域ごとの面の向きを抽出し、抽出した面の向きｎに基づいて、微小領域ごとの面の反射率ρをキャリブレーション済みの画像ＦＧ１ａ〜ｄに反映させ、これによって影ＫＧのない反射率画像ＦＨを生成する。
【００３３】
図８には反射率画像ＦＨの例が示されている。反射率画像ＦＨは、被写体Ｑの表面の微小領域ごとの反射率ρを画像として表したものであるので、実際には図８に示すような画像ではないが、ここでは、元の画像ＦＧａ〜ｄに対応した被写体Ｑが写っており、しかも影ＫＧがなくなっていることを模式的に示した。なお、微小領域は、１つの画素を微小領域としてもよく、また複数の画素の集合を微小領域としてもよい。
【００３４】
カラー画像生成部３５は、反射率画像ＦＨから、元の画像ＦＧ１ａ〜ｄに対応した通常のカラー画像ＦＪを生成する。図９にはカラー画像ＦＪの例が示されている。生成されたカラー画像ＦＪでは、元の画像ＦＧａ〜ｄに含まれていた影ＫＧが除去されている。なお、影ＫＧが除去されるといっても、完全に除去される必要はなく、残っていてもよい。つまり影ＫＧは目的に応じた程度に低減されていればよい。なお、これらの詳細については後述する。
【００３５】
ＣＰＵ１５は、画像処理装置１４によって得られたカラー画像ＦＪを解析し、またはカラー画像ＦＪを用いて種々の処理を行う。ＣＰＵ１５は、また、フラッシュコントローラ１３および画像処理装置１４を制御することも可能である。また、画像処理装置１４の機能を、ＣＰＵ１５によって実現することも可能である。その場合には、画像処理装置１４がＣＰＵ１５の機能に含まれることとなる。ＣＰＵ１５として、例えばパーソナルコンピュータやワークステーションなどを用いることが可能である。そして、適当な記録媒体からまたはネットワークを通じてインストールされたプログラムをＣＰＵが実行することによって、画像処理装置１４の機能を実現することが可能である。
【００３６】
入力装置１６によって、種々のデータや指令を入力することが可能である。例えば、上に述べたフラッシュ１２の座標位置に関するデータ、カメラ１１の各種パラメータ、指令値などを入力することが可能である。ディスプレイ１７には、画像ＦＧａ〜ｄ、ＦＧ１ａ〜ｄ、反射率画像ＦＨ、カラー画像ＦＪ、その他の画像やメッセージなどを表示することが可能である。なお、図示は省略したが、プリンタ、ハードディスク、種々の媒体ドライブなどをＣＰＵ１５に接続することが可能であり、またネットワークに接続することも可能である。
【００３７】
次に、白色板ＲＣについて説明する。白色板（白色チャート）ＲＣは、各画像ＦＧａ〜ｄから最大輝度情報を抽出するためのものである。白色板ＲＣは、表面が白色であって実質的に完全拡散面である。つまり、表面の状態が均一であって反射率がほぼ「１」である。
【００３８】
図４に示すように、白色板ＲＣは、球の曲面を有した半球状の立体白色板である。表面が球面であるから、複数の異なる方向の法線を持つこととなる。したがって、白色板ＲＣは、複数の異なる照射方向に対して正対となる領域を有する。いずれのフラッシュ１２ａ〜ｄからの照明光に対しても、白色板ＲＣで反射してカメラ１１に入射する最大輝度がそれぞれ存在する。
【００３９】
白色板ＲＣは、例えば紙を加工して作製される。表面を白色の光沢なしスプレーで塗装してもよい。石膏や合成樹脂を用いて作製してもよい。ピンポン球の表面に白色の光沢のない塗料を塗布してもよい。その他、光沢のない球状の反射面を形成できればよい。また、曲面の形状を、双曲面、放物面などとしてもよい。また、多面体とすることも可能である。
【００４０】
図７に示すように、４つの画像ＦＧａ〜ｄにおいて、それぞれ白色板ＲＣの画像ＲＣａ〜ｄが写っている。これら白色板ＲＣの画像ＲＣａ〜ｄは、フラッシュ１２からの照射方向が互いに異なっているので、フラッシュ１２に正対する領域ＥＲａ〜ｄが互いに異なる。つまり、各画像ＲＣａ〜ｄにおいて、領域ＥＲａ〜ｄが、それぞれ最大輝度となる。また、通常、領域ＥＲａ〜ｄは、それぞれの画像ＦＧａ〜ｄ内においても最大輝度となる。したがって、各画像ＦＧａ〜ｄについて、各領域ＥＲａ〜ｄの輝度から、最大輝度情報ＫＭａ〜ｄが得られる。
【００４１】
また、白色板ＲＣについて、分光測色計によって分光反射率が予め測定され、そのＲＧＢ値が求められている。測定されたＲＧＢ値は、本実施形態においては１２ビット値（４０９６階調）に規格化され、これが後で述べる輝度補正係数ＫＲとして用いられる。
【００４２】
次に、画像処理装置１４の機能についてさらに詳しく説明する。
【００４３】
まず、上に述べたように、フラッシュ１２ａ〜ｄを順次発光させてカメラ１１で撮影することにより、図７に示すような４つの画像ＦＧａ〜ｄを取得する。これらの画像ＦＧａ〜ｄの中の白色板ＲＣの画像ＲＣａ〜ｄから、それぞれの最大輝度情報ＫＭａ〜ｄを取得する。そして、キャリブレーションでは、各画像ＲＣａ〜ｄの輝度を、最大輝度情報ＫＭａ〜ｄに基づいて規格化して揃える。
【００４４】
具体的には、例えば、各画像ＦＧａ〜ｄにおける各画素の輝度値（濃度値）ＫＡａ〜ｄに対して、キャリブレーション後の輝度値（濃度値）ＫＢａ〜ｄを、次の（１）式で求める。
【００４５】
ＫＢａ＝ＫＡａ×（ＫＲ／ＫＭａ）
ＫＢｂ＝ＫＡｂ×（ＫＲ／ＫＭｂ）
ＫＢｃ＝ＫＡｃ×（ＫＲ／ＫＭｃ）
ＫＢｄ＝ＫＡｄ×（ＫＲ／ＫＭｄ）      ……（１）
これらの各画素の輝度値ＫＡａ〜ｄで構成される画像がキャリブレーション済みの画像ＦＧ１ａ〜ｄである。
【００４６】
なお、白色板ＲＣと被写体Ｑとを同時に撮影するのではなく、別々に撮影する場合には、被写体Ｑを４回撮影して画像ＦＧａ〜ｄを取得し、その撮影条件と同じ撮影条件で白色板ＲＣを４回撮影して画像ＲＣａ〜ｄを取得し、白色板ＲＣの画像ＲＣａ〜ｄから最大輝度情報ＫＭａ〜ｄを得て、それぞれ対応する画像ＦＧａ〜ｄのキャリブレーションを行ってキャリブレーション済みの画像ＦＧ１ａ〜ｄを得ればよい。
【００４７】
次に、キャリブレーション済みの画像ＦＧ１ａ〜ｄに基づいて、１つの反射率画像ＦＨを生成する。ここでは、照度差ステレオ法の手法を適用する。照度差ステレオ法とは、複数の照明光源を切り替えて撮影した複数枚の画像から面の方向を求める手法である。反射面の状態はLambertian面であることが分かっている被写体を、照明光源によって既知の方向から照射することで、ある画素の明るさは、その画素の傾きに対して拘束条件を与えることができる。また、別の照明光源から被写体を照明し、もう一つの拘束条件を求めることで、これらの拘束条件の交点として画素の方向を求めることができる。照度差ステレオ法は、通常のステレオ画像法のような視差が存在せず、対応付けの問題が生じない。また、複数枚の画像上の同一位置にある画素のみから面の方向が決定されるため、計算量が少なく、応用が容易であるいう利点がある。
【００４８】
照度差ステレオ法を用いるに当たり、ここでは、被写体はLambertian面（均等拡散面）であり、照明光源は無限遠にある点光源であると仮定する。ここで、図５に示すように、光源方向のベクトルｌを、
ｌ＝（ｌｘ，ｌｙ，ｌｚ）
とし、その長さ｜ｌ｜は放射輝度の大きさであるとする。また、ベクトルｎについて、
ｎ＝（ｎｘ，ｎｙ，ｎｚ）
を表面に対する単位法線ベクトルとし、ρを面の絶対的な反射率とする。このとき、被写体の表面が均等拡散面であるという仮定に基づき、観測される強度νは、次の（２）式のように表すことができる。
【００４９】
ν＝ρｎt ｌ  ……（２）
また、本手法では異なるタイミングで点灯する４つの照明光源（フラッシュ１２ａ〜ｄ）に対して、（２）式と同様に次に示す４つの（３）式が得られる。
【００５０】
ν1 ＝ρｎt ｌ1  
ν2 ＝ρｎt ｌ2  
ν3 ＝ρｎt ｌ3  
ν4 ＝ρｎt ｌ4   ……（３）
これら（３）式はベクトルとマトリクス演算を用いて、次の（４）式のように書き改めることができる。
【００５１】
ν＝Ｌｘ    ……（４）
ここで、
ν＝（ν1 ，ν2 ，ν3 ，ν4 ）
は、観測される強度ベクトルであり、
Ｌ＝｜ｌ1 t ，ｌ2 t ，ｌ3 t ，ｌ4 t ｜
は、予め計測によってキャリブレーションされた既知の光源マトリクスであり、ｘ（＝ρｎ）は推定されるべき未知のベクトルである。
【００５２】
光源マトリクスＬが正則な場合には、ベクトルｘは光源マトリクスの Moore-Penrose  一般化逆行列を用いて次の（５）式のように推定できる。
【００５３】
ｘ＝（Ｌt Ｌ）-1Ｌt ν    ……（５）
ここで、ｎは単位法線ベクトルであるため、絶対的な反射率ρは、得られたベクトルｘの長さとして得られる。それぞれの波長に対して反射率を計算することにより、絶対的な分光反射率を得ることができる。
【００５４】
つまり、上の（４）式を用いて逆算を行うことにより、絶対的な反射率ρを求めることが可能である。このようにして求められた各画素の反射率ρによって、反射率画像ＦＨが生成される。反射率画像ＦＨは、被写体Ｑの表面の各微小領域ごと（画素ごと）の反射率ρを表したものであるから、照明光源による影ＫＧや照明光源の変動による影響が除去されたものである。
【００５５】
なお、照度差ステレオ法自体は公知であり、詳しくは種々の公知の文献を参照することができる。上に示した照度差ステレオ法の説明は、次の文献を主として引用しまたは参照したものである。
「２００２年度  卒業論文  千葉大学工学部情報画像工学科  三宅・津村研究室”時空間照明変調法による肌モニタリングシステム”横山  直広」
また、上の計算において、カメラ１１および照明光源と被写体Ｑとの位置関係の値は、カメラ１１の自動焦点調節機構によって得られる距離情報ＤＫを用いて計算することができる。例えば、照明光源による照射方向は、照明光源であるフラッシュ１２ａ〜ｄの各座標位置Ｐｆ（ｘ，ｙ，ｚ）および距離情報ＤＫから算出することができる。
【００５６】
反射率画像ＦＨは、反射率ρ（０≦ρ≦１）を用いた画像であるので、描画の際にはこれを実際の輝度スケール（濃度スケール）に合わせる必要がある。そのため、反射率画像ＦＨの各画素の反射率ρに、輝度補正係数ＫＲを乗じた値ＦＪを、各画素の輝度値とする。つまり、次の（６）式、
ＦＪ＝ρ×ＫＲ    ……（６）
で求められた各画素の輝度値ＦＪで描かれたカラー画像ＦＪが、最終的に合成された画像である。カラー画像ＦＪは、影ＫＧが除去されており、したがってカラー画像ＦＪに基づいて精密な解析を行うことができる。例えば、診断で用いる顔の画像に影があった場合には、血管の状態などを正確に観察することが容易ではないが、影が除去された場合にはそのような問題がなくなり、正確な診断を行うことができる。また、影ＫＧが除去されることによって、被写体Ｑの色が正確に再現されるようになり、色再現性も向上する。
【００５７】
このように、影ＫＧのないカラー画像ＦＪは、影ＫＧのある４つの画像ＦＧａ〜ｄに基づいて、３次元画像を用いることなく比較的簡便な処理によって生成することができる。したがって、画像処理装置１４において大きな負担になることなく、処理を高速で行うことが可能である。
【００５８】
次に、画像生成装置１によるカラー画像ＦＪの生成処理について、フローチャートを参照して説明する。
【００５９】
図１０は画像生成装置１によるカラー画像の生成処理を示すフローチャートである。
【００６０】
図１０において、照明光源を順次発光させてカメラで撮影することにより、複数の画像を取得する（＃１１）。これらの画像の中の白色板ＲＣの画像から、または別途撮影した白色板ＲＣの画像から、それぞれの最大輝度情報ＫＭａ〜ｄを取得する（＃１２）。
【００６１】
そして、各画像の輝度を最大輝度情報ＫＭａ〜ｄに基づいてキャリブレーションを行う（＃１３）。照度差ステレオ法などを用いて、キャリブレーション済みの画像ＦＧ１ａ〜ｄに基づいて影ＫＧのない反射率画像ＦＨを生成する（＃１４）。反射率画像ＦＨからカラー画像ＦＪを生成する（＃１５）。
【００６２】
上の実施形態においては、カメラ１１による撮影をカラーで行い、最終的にカラー画像ＦＪを生成した。しかし、カメラ１１でモノクロ撮影を行い、モノクロの画像ＦＪを生成してもよい。
【００６３】
その他、カメラ１１、フラッシュ１２、画像処理装置１４、および画像生成装置１の全体または各部の構成、構造、形状、寸法、個数、材質、タイミング、ビット数、画像の内容などは、本発明の趣旨に沿って適宜変更することができる。                        
【産業上の利用可能性】
【００６４】
本発明は、医療分野における患者の診断、バイオメトリック個人認証などのために利用可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施形態に係る画像生成装置の構成を示すブロック図である。
【図２】撮像装置の正面図である。
【図３】撮像装置におけるフラッシュの配置の例を示す図である。
【図４】立体白色板の斜視図である。
【図５】被写体の表面の反射率ρを求める方法を説明する図である。
【図６】画像処理装置の機能的な構成を示す図である。
【図７】４回の撮影で得られた４つの画像の例を示す図である。
【図８】図７に示す４つの画像から生成された反射率画像の例を示す図である。
【図９】図８に示す反射率画像から生成されたカラー画像の例を示す図である。
【図１０】画像生成装置１によるカラー画像の生成処理を示すフローチャートである。
【符号の説明】
【００６６】
１  画像生成装置
１１  カメラ（撮像装置）
１２  フラッシュ（照明光源）
１４  画像処理装置
３１  入力画像記憶部
３２  最大輝度情報取得部（キャリブレーション手段）
３３  輝度調節部（キャリブレーション手段）
３４  反射画像生成部（画像合成手段）
３５  カラー画像生成部（画像合成手段）
Ｑ  被写体
ＦＧａ〜ｄ  画像（撮影画像）
ＦＧ１ａ〜ｄ  画像（キャリブレーション済みの画像）
ＦＨ  反射率画像
ＦＪ  カラー画像
ＫＭａ〜ｄ  最大輝度情報
ＫＧ  影（陰影）
ＲＣ  白色板（立体白色板）
【図１】
2006285763.tif 000003
【図２】
2006285763.tif 000004
【図３】
2006285763.tif 000005
【図４】
2006285763.tif 000006
【図５】
2006285763.tif 000007
【図６】
2006285763.tif 000008
【図７】
2006285763.tif 000009
【図８】
2006285763.tif 000010
【図９】
2006285763.tif 000011
【図１０】
2006285763.tif 000012