(57)【要約】【課題】  予め設定した複数のプリセット制御値から撮影中に適したもの決定するオートホワイトバランス処理において、プリセット光源数を抑えてもばらつきが少なく安定した制御を実現する。【解決手段】  まず、予め複数の異なる分光分布特性を持つ仮定光源を仮定し、各仮定光源に適したホワイトバランス制御値を記憶しておく。次に、サブサンプリングして得られた未知の撮影光源下のカラー撮像信号から撮影光源に対する各仮定光源の類似度を評価すると同時に評価の信頼度を判定する。そして、仮定光源のホワイトバランス制御値の中から評価結果に基づく１つ以上の取捨選択と重み付けによって撮像光源に適したホワイトバランス制御値を算出し、信頼度の状況に応じて更新する。この決定された制御値によって決定時以後のカラー撮像信号に対してホワイトバランス処理を施す。【選択図】        図１
2006173659.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影した際に撮像手段から得られるカラー撮像信号を適正な色再現となる画像データに加工するための画像処理を施す画像処理装置において、
予め複数の異なる分光分布特性を持つ仮定光源を仮定しておき、各仮定光源に適したカラーバランス制御値を記憶しておく制御値記憶手段と、
未知の撮影光源下で前記撮像手段により撮影されたカラー撮像信号から撮影光源に対する各仮定光源の類似度を評価する仮定光源評価手段と、
前記制御値記憶手段に記憶してある仮定光源のカラーバランス制御値の中から前記仮定光源評価手段による評価結果に基づく１つ以上の取捨選択と重み付けによって撮像光源に適したカラーバランス制御値を決定する制御値決定手段と、
前記制御値決定手段により決定された制御値によって決定時以後のカラー撮像信号に対してカラーバランス処理を施すカラーバランス制御手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記仮定光源評価手段は、予め各仮定光源下の撮影で想定されるカラー撮像信号を光源に依存しない評価用色空間へ投影する各仮定光源毎のパラメータを記憶しておく投影パラメータ記憶手段と、前記評価用色空間であらかじめ存在が想定される座標の分布を２次元のリファレンスマップとして記憶しておくリファレンスマップ記憶手段と、撮影されたカラー撮像信号をサンプリングして各仮定光源毎のパラメータにより前記評価用色空間へ投影して仮定光源毎の２次元のイメージマップを生成するイメージマップ生成手段と、１つのリファレンスマップと仮定光源毎の複数のイメージマップとの相関関係を類似度の指標として算出する指標算出手段と
を備えたことを特徴とする画像処理装置。
【請求項３】
請求項２記載の画像処理装置において、
前記イメージマップ生成手段は、２回以上の複数の露光で得られるカラー画像信号の投影変換情報を連続して重ねて蓄積することにより記録ながらイメージマップを生成することを特徴とする画像処理装置。
【請求項４】
請求項２記載の画像処理装置において、
前記イメージマップ生成手段は、前記撮像手段上の２画素以上の撮像信号を用いて空間的フィルタリングにより補間及び平均化を施した結果をサンプリングすることを特徴とする画像処理装置。
【請求項５】
請求項２記載の画像処理装置において、
前記イメージマップ生成手段は、カラー画像信号の画素位置及び信号レベルによってサンプリング対象を制限することを特徴とする画像処理装置。
【請求項６】
請求項１記載の画像処理装置において、
前記仮定光源評価手段による評価結果の信頼性を示す信頼度指標を算出する信頼度算出手段を備えたことを特徴とする画像処理装置。
【請求項７】
請求項６記載の画像処理装置において、
前記制御値決定手段は前記信頼度算出手段により算出された前記信頼度指標により制御値を更新するかどうかを判断することを特徴とする画像処理装置。
【請求項８】
請求項６記載の画像処理装置において、
撮影光源を推定する撮影光源推定手段を前記仮定光源評価手段とは別に１つ以上備え、前記制御値決定手段は少なくとも前記信頼度指標を使って各推定結果間の優劣関係を判断し、どの推定結果を用いるかを選択することを特徴とする画像処理装置。
【請求項９】
請求項１記載の画像処理装置において、
前記仮定光源は、分光分布の特徴から分類可能な２つ以上の異なるタイプを含み、撮影光源が属するタイプを識別する光源タイプ識別手段を備え、前記光源タイプ識別手段の識別結果にも基づいて前記制御値決定手段が、前記制御値記憶手段に記憶してある仮定光源のカラーバランス制御値の中から前記仮定光源評価手段による評価結果に基づく１つ以上の取捨選択と重み付け平均によって撮像光源に適したカラーバランス制御値を決定することを特徴とする画像処理装置。
【請求項１０】
請求項１記載の画像処理装置において、
前記カラーバランス制御手段は、カラー撮像信号の各チャンネル毎に独立したゲイン係数で線形変換を行って撮影光源に適したホワイトバランスが得られるように制御することを特徴とする画像処理装置。
【請求項１１】
請求項１記載の画像処理装置において、
前記カラーバランス制御手段は、マトリクス係数によるカラー撮像信号のチャンネル間での線形変換を含む処理によって撮影光源に適した色再現が得られるように制御することを特徴とする画像処理装置。
【請求項１２】
被写体を撮影した際に撮像手段から得られるカラー撮像信号を適正な色再現となる画像データに加工するための画像処理を施す画像処理方法において、
予め複数の異なる分光分布特性を持つ仮定光源を仮定しておき、各仮定光源に適したカラーバランス制御値を記憶しておく制御値記憶ステップと、
未知の撮影光源下で前記撮像手段により撮影されたカラー撮像信号から撮影光源に対する各仮定光源の類似度を評価する仮定光源評価ステップと、
前記制御値記憶ステップで記憶してある仮定光源のカラーバランス制御値の中から前記仮定光源評価ステップによる評価結果に基づく１つ以上の取捨選択と重み付けによって撮像光源に適したカラーバランス制御値を決定する制御値決定ステップと、
前記制御値決定ステップにより決定された制御値によって決定時以後のカラー撮像信号に対してカラーバランス処理を施すカラーバランス制御ステップと
を備えたことを特徴とする画像処理方法。
【請求項１３】
請求項１２記載の画像処理方法において、
前記仮定光源評価ステップは、予め各仮定光源下の撮影で想定されるカラー撮像信号を光源に依存しない評価用色空間へ投影する各仮定光源毎のパラメータを記憶しておく投影パラメータ記憶ステップと、前記評価用色空間であらかじめ存在が想定される座標の分布を２次元のリファレンスマップとして記憶しておくリファレンスマップ記憶ステップと、撮影されたカラー撮像信号をサンプリングして各仮定光源毎のパラメータにより前記評価用色空間へ投影して仮定光源毎の２次元のイメージマップを生成するイメージマップ生成ステップと、１つのリファレンスマップと仮定光源毎の複数のイメージマップとの相関関係を類似度の指標として算出する指標算出ステップと
を備えたことを特徴とする画像処理方法。
【請求項１４】
請求項１３記載の画像処理方法において、
前記イメージマップ生成ステップは、２回以上の複数の露光で得られるカラー画像信号の投影変換情報を連続して重ねて蓄積することにより記録ながらイメージマップを生成することを特徴とする画像処理方法。
【請求項１５】
請求項１３記載の画像処理方法において、
前記イメージマップ生成ステップは、前記撮像手段上の２画素以上の撮像信号を用いて空間的フィルタリングにより補間及び平均化を施した結果をサンプリングすることを特徴とする画像処理方法。
【請求項１６】
請求項１３記載の画像処理方法において、
前記イメージマップ生成ステップは、カラー画像信号の画素位置による明暗の飽和及び信号レベルの飽和によってサンプリング対象を制限することを特徴とする画像処理方法。
【請求項１７】
請求項１２記載の画像処理方法において、
前記仮定光源評価ステップによる評価結果の信頼性を示す信頼度指標を算出する信頼度算出ステップを備えたことを特徴とする画像処理方法。
【請求項１８】
請求項１７記載の画像処理方法において、
前記制御値決定ステップは前記信頼度算出ステップにより算出された前記信頼度指標により制御値を更新するかどうかを判断することを特徴とする画像処理方法。
【請求項１９】
請求項１７記載の画像処理方法において、
撮影光源を推定する撮影光源推定ステップによる撮影光源が属するタイプの推定を前記仮定光源評価ステップとは別に１つ以上のタイプ別に行い、前記制御値決定ステップは少なくとも前記信頼度指標を使って各推定結果間の優劣関係を判断し、どの推定結果を用いるかを選択することを特徴とする画像処理方法。
【請求項２０】
請求項１２記載の画像処理方法において、
前記仮定光源は、分光分布の特徴から分類可能な２つ以上の異なるタイプを含み、撮影光源が属するタイプを識別する光源タイプ識別ステップを備え、前記光源タイプ識別ステップの識別結果にも基づいて前記制御値決定ステップにより、前記制御値記憶ステップで記憶してある仮定光源のカラーバランス制御値の中から前記仮定光源評価ステップによる評価結果に基づく１つ以上の取捨選択と重み付け平均によって撮像光源に適したカラーバランス制御値を決定することを特徴とする画像処理方法。
【請求項２１】
請求項１２記載の画像処理方法において、
前記カラーバランス制御ステップは、カラー撮像信号の各チャンネル毎に独立したゲイン係数で線形変換を行って撮影光源に適したホワイトバランスが得られるように制御することを特徴とする画像処理方法。
【請求項２２】
請求項１２記載の画像処理方法において、
前記カラーバランス制御ステップは、マトリクス係数によるカラー撮像信号のチャンネル間での線形変換を含む処理によって撮影光源に適した色再現が得られるように制御することを特徴とする画像処理方法。
【請求項２３】
被写体を撮影した際に得られるカラー撮像信号を適正な色再現となる画像データに加工するための画像処理を施す撮像装置において、
複数の異なる分光感度特性を持つ撮像手段と、
予め複数の異なる分光分布特性を持つ仮定光源を仮定しておき、各仮定光源に適したカラーバランス制御値を記憶しておく制御値記憶手段と、
未知の撮影光源下で前記撮像手段により撮影されたカラー撮像信号から撮影光源に対する各仮定光源の類似度を評価する仮定光源評価手段と、
前記制御値記憶手段に記憶してある仮定光源のカラーバランス制御値の中から前記仮定光源評価手段による評価結果に基づく１つ以上の取捨選択と重み付けによって撮像光源に適したカラーバランス制御値を決定する制御値決定手段と、
前記制御値決定手段により決定された制御値によって決定時以後の前記撮像手段により撮影されたカラー撮像信号に対してカラーバランス処理を施すカラーバランス制御手段と
を備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、カラー撮像信号のホワイトバランス調整を行う画像処理装置、画像処理方法及び撮像装置に関する。
【背景技術】
【０００２】
従来から、静止画像や動画像を撮影するデジタルカメラの多くは、撮影光源に対して適当なホワイトバランス制御値を自動的に決定するオートホワイトバランス機能を持っている。このために特に専用の外部センサなどを設けない場合は、撮像結果のみを用いて高輝度部や中輝度部のサンプリング平均などから制御値を決定する処理が一般的に用いられている。
【０００３】
このような手法では全く未知の光源であっても適当な制御値を決定することができるが、撮影シーンに在る被写体の分光反射率が平均的にはフラットに近いとか明るい被写体は白色に近いといった仮定に基づいているため、実際に撮影される被写体次第ではこの仮定が成り立たず、適当な制御結果が得られないことが多かった。これを補う一つの方法として、あらかじめ存在しそうな光源を幾つか仮定しておくことで、誤判断をある程度抑えることが可能になる。例えば、予め仮定した複数の光源に対して、それぞれに適した制御値をプリセットとして持たせておき、各光源の正当性を比較してプリセット値を選択する手法がある。
【０００４】
また仮定した光源の正当性を評価する一つの手段としては、撮像シーンの色分布をメモリ上のマップとして形成して基準状態とのマッチングにより比較を行うことで可能である（例えば、特許文献１参照）。
【特許文献１】特開2004-165932号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述した予め仮定した複数の光源に対して、それぞれに適した制御値をプリセットとして持たせておき、各光源の正当性を比較してプリセット値を選択する手法では、設定する光源の数が少ないと、選択結果が最適値から離れがちになり、一方で光源の数を増やすと、より多くの記憶容量を確保するためのメモリを要することと、さらに比較する演算量が増えてしまうという課題があった。
【０００６】
また評価手段としては、特許文献１に示すような仮定した光源の正当性を色分布の比較により評価する手法を用いた場合でも、被写体が無彩色や特定の色だけに集約されているような状況では、色分布が評価できるほど十分に形成されず、仮定した光源間での相関値に差異が出ないような不得意なシーンがあったりして、そのままで常に安定した推定結果が得られるわけではなかった。
【０００７】
そこで、本発明は、上記のような光源推定手法をオートホワイトバランス処理に導入するに際して、プリセット光源数を適度に抑えてもばらつきが少ない制御値を得ることができ、また色分布による光源の評価を安定させることができる画像処理装置、画像処理方法及び撮像装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
上記課題を解決し、本発明の目的を達成するため、本発明の画像処理装置は、予め複数の異なる分光分布特性を持つ仮定光源を仮定しておき、各仮定光源に適したカラーバランス制御値を記憶しておく制御値記憶手段と、未知の撮影光源下で撮像手段により撮影されたカラー撮像信号から撮影光源に対する各仮定光源の類似度を評価する仮定光源評価手段と、制御値記憶手段に記憶してある仮定光源のカラーバランス制御値の中から仮定光源評価手段による評価結果に基づく取捨選択と重み付けによって１つ以上の撮像光源に適したカラーバランス制御値を決定する制御値決定手段と、制御値決定手段により決定された制御値によって決定時以後のカラー撮像信号に対してカラーバランス処理を施すカラーバランス制御手段とを備えたものである。
【０００９】
これにより、制御値記憶手段で予め仮定した複数の光源のプリセット制御値を備え、撮影時には仮定光源評価手段により仮定した光源間の正当性を比較評価し、制御値決定手段により評価結果に応じたプリセット制御値の取捨選択と重み付けにより撮影シーンに最も適した制御値を推定する。また、プリセット光源数を適度に減らしてメモリ消費と演算負荷を抑えても、撮影光源の変化に対して滑らかに追従する制御値を得る。さらに、評価結果に対する信頼度を逐次検出してここでの推定結果による制御値の更新判断を加えることにより、安定したホワイトバランス制御を実現することができる。
【００１０】
また、オートホワイトバランス機能を持つ撮像装置において、本発明の画像処理装置を適用することにより、撮像装置において、撮影光源に適したホワイトバランス制御値を精度良く決定することができる。
【００１１】
また、本発明の画像処理方法は、予め複数の異なる分光分布特性を持つ仮定光源を仮定しておき、各仮定光源に適したカラーバランス制御値を記憶しておく制御値記憶ステップと、未知の撮影光源下で撮像手段により撮影されたカラー撮像信号から撮影光源に対する各仮定光源の類似度を評価する仮定光源評価ステップと、制御値記憶ステップで記憶してある仮定光源のカラーバランス制御値の中から仮定光源評価ステップによる評価結果に基づく１つ以上の取捨選択と重み付けによって撮像光源に適したカラーバランス制御値を決定する制御値決定ステップと、制御値決定ステップにより決定された制御値によって決定時以後のカラー撮像信号に対してカラーバランス処理を施すカラーバランス制御ステップとを備えたものである。
【００１２】
これにより、仮定光源評価ステップによる評価結果の重み付けにより制御値記憶ステップで記憶してあるプリセット制御値を制御値決定ステップにより補間することで、プリセット光源数を適度に抑えても、撮影光源の変化に対して滑らかに追従してばらつきが少ない制御値を得ることができる。
【００１３】
また、仮定光源評価ステップにより撮像シーンの色分布のマップを一定期間蓄積して評価の信頼性自体を向上させたり、信頼度を逐次検出して推定結果の更新判断を加えることにより、光源の推定性能を安定させることができる。
さらに、信頼度の指標に応じて他の推定手法と併用して、推定手法間での優劣比較によって制御値を最終決定する結果で精度を向上させることができる。
【発明の効果】
【００１４】
本発明によれば、撮像装置としてのデジタルカメラのオートホワイトバランス処理において、あらかじめ仮定した複数の光源の制御値を用いる場合に、次のような制御技術の導入により比較的低コストで精度向上を図ることができる。
【００１５】
まず、評価結果の重み付けによりプリセット制御値を補間することで、プリセット光源数を適度に抑えても、撮影光源の変化に対して滑らかに追従してばらつきが少ない制御値を得ることができる。
また、仮定した光源の正当性を評価するために用いる撮像シーンの色分布のマップを一定期間蓄積して評価の信頼性自体を向上させたり、信頼度を逐次検出して推定結果の更新判断を加えることにより、同光源推定手法による単独の推定性能を安定させることができる。
【００１６】
さらに、信頼度の指標に応じて他の光源推定手法と併用して、光源推定手法間での優劣比較によって制御値を最終決定する結果で統合的に推定精度を向上させる。
これらによりデジタルカメラの内部処理での光源推定性能が向上するため、自動的にホワイトバランスを制御する場合に、より品質のよい結果をもたらすことが可能になる。またホワイトバランスだけでなく、撮影光源によって自動的に色再現を制御する場合には、色再現品質の向上も可能である。
【発明を実施するための最良の形態】
【００１７】
以下に、本発明の実施の形態について、適宜、図面を参照しながら説明する。
図１は、本発明の画像処理装置の構成を示すブロック図である。
図１は、実施の形態例として、デジタルカメラ内部の画像処理の構成を示すものである。
図１において、センサ応答読出し部１は、CCD(charge coupled device)などのイメージセンサによってR（赤）,G（緑）,B（青）の３チャンネルで色分離された画素毎の応答値を読み出す。センサ応答読出し部１から読み出された画素毎の応答値は黒レベル補正部２に送られる。この黒レベル補正部２において、遮光状態でのセンサ応答レベルを各チャンネルの応答値から差し引くことにより黒レベル補正がなされる。この黒レベル補正がなされた画素毎の応答値はRGBゲイン変換部５に供給されるとともに、サブサンプリング部３に送られる。サブサンプリング部３では、全画素もしくは特定の領域や間隔に位置する画素のRGB値がサンプリングされ、このサンプリングされたRGB値がゲイン決定部４に送られる。そして、ゲイン決定部４において、RGBゲイン値が決定される。ここで決定されたゲイン値を用いてRGBゲイン変換部５が黒レベル補正後のRGB値にチャンネル毎に独立にゲイン変換を施す。
【００１８】
RGBゲイン変換部５でゲイン変換されたRGB値は、階調変換部６に送られ、この階調変換部６において、露光された光量に比例した状態のRGB値に非線形変換が施される。これにより、図示しない液晶モニタなどの表示装置で表示した場合に視覚的に適当な階調再現が得られるように階調レベルが変換される。階調変換されたRGB値は、色空間変換部７に送られ、ここで図示しない表示装置において視覚的に適当な色再現で表示できるような色変換が行われる。この色変換は、輝度色度分離色空間の値Y,Cb,Crへ行列による線形変換を行うことによって実現される。最後に、符号化部８においてY,Cb,Cr値が表示や記録に適したフォーマットで符号化されて出力され、このデータがデジタルカメラの表示装置における表示や記録媒体への記録の対象として用いられる。
【００１９】
ここで、ゲイン決定部４では、分光分布特性が異なるｎ個の光源（後述する図３に示すテスト光源ｉ）が仮定して配置され、がテスト光源ｉには1〜nのID（識別符号）を付与される。これらは分光分布の特徴から分類した３つのタイプを含んでおり、各テスト光源ｉは少なくとも１つ以上のタイプに属している。ここでは、Ｄ，Ｂ，Ｆの３つのタイプ名で呼ぶこととし、次のような特徴で分類している。
【００２０】
例えば、タイプＤは屋外で想定される全色温度範囲の自然光とする。タイプＢは屋内で想定される中〜低色温度範囲の自然光及び白熱灯系の人工光とする。タイプＦは屋内で想定される蛍光灯とする。
予め、各タイプに属する光源ID（i=1〜n）と、各テスト光源に適したホワイトバランスを得るゲイン値をプリセットとして記憶しておく。
【００２１】
図２は、ゲイン決定部の処理を示すフローチャートである。
図２は、図１に示したゲイン決定部４におけるゲイン決定の処理を示すものである。図２において、テスト光源評価部では、仮定した各テスト光源に対して評価を行って、Ａで示す正当性指標と信頼性指標とを算出する（ステップＳ１、詳しくは後述する図４に示す）。続いて、ステップＳ１で算出されたＡで示す正当性指標と信頼性指標から３つのタイプのうちの１つのタイプに属する光源ID（i=1〜n）の正当性指標と信頼性指標を選択、つまりタイプ別スコアの選択を行う（ステップＳ２）。
【００２２】
ステップＳ２でタイプ別スコアの選択が終了すると、次に選択された正当性指標を比較してソートするスコアソートがなされ、正当性指標の値が高い順に対応する３つの光源ID（i=1〜n）が選択される（ステップＳ３）。そして、ステップＳ３でソートされた上位３光源の正当性評価指標を用いて、上位２光源のうち正当性評価指標の値が高い方に比重が高くなるようなタイプ内ゲインの補間係数が算出され、上位２光源のID（i=1〜n）に対応するプリセットゲイン値が補間される（ステップＳ４）。続いて、この重み付けにより補間された正当性評価指標に対応する信頼度を示す信頼性指標が算出される（ステップＳ５）。
【００２３】
このステップＳ２のタイプ別スコア選択からステップＳ５の信頼度算出までの処理は、全３タイプの光源に対する処理が終了するまで繰り返し実行され（ステップＳ６）、タイプ別のゲイン値と信頼度判断が得られる。
【００２４】
次に、現在の光源が３タイプのうちどれに属するのかが判断され、明確に判断可能であれば１タイプを、不明確であれば２タイプ以上を識別する（ステップＳ７）。ここでの判断基準は例えば次のようなものである。第１に、ユーザインターフェイスに関連する指定値があればそれに従う。第２に、露出設定状態からシーンが明るいと判断できればタイプＤ、暗いと判断できればタイプＢとタイプＦを選択する。第３に、蛍光灯を判別する専用の判別処理があればその判別時にタイプＦを選択する。
【００２５】
次に、ステップＳ４で補間されて得られた正当性評価結果に対して、ステップＳ５で算出されたタイプ別の信頼度を示す信頼性指標が十分であって信頼に値する評価が実施された結果であるのかどうかが判断される（ステップＳ８）。このステップＳ８の判断は、例えば次のような判断基準を複合して用いる。第１に、最上位１光源の信頼性指標が事前に設けた閾値を超えていること、第２に、正当性評価指標の最大値と最小値との差が事前に設けた閾値を超えていること、などである。
【００２６】
判断ステップＳ８において、タイプ識別結果の信頼度を示す信頼性指標が十分であると判断されたときは、ステップＳ９へ進み、タイプ識別結果の信頼度を示す信頼性指標が十分でないと判断されたときは、ステップＳ１５へ進む。
【００２７】
次に、タイプ間推定ゲインの決定が行われる（ステップＳ９）。このタイプ間ゲインの決定は、ステップＳ７で識別されたタイプが１つであれば、そのタイプのゲイン値をそのまま出力し、ステップＳ７で識別されたタイプが２つ以上であればそれらのタイプのゲイン値の平均値を出力することによって行われる。タイプ間ゲインの決定が行われた後は、ステップＳ７で識別されたタイプの信頼度判断結果が選択される（信頼度判断１：ステップＳ１０）。以上でテスト光源の評価により決定されたゲイン値とその信頼度判断が得られることになる。
【００２８】
一方、ステップＳ１のテスト光源の評価からステップＳ１０の信頼度判断１までの処理と並行して、以下に示すステップＳ１３のサンプル画素積分からステップＳ１５の信頼度判断２までの処理が実行される。
【００２９】
まず、１回以上の露光で得られる全サンプリング対象画素のRGB値をチャンネル毎に積分するサンプル画素積分が行われる（ステップＳ１３）。これにより、画面全体の積分値が得られる。続いて、この積分結果のチャンネル間の比としてR/GとB/Gのレシオが算出される（ステップＳ１４）。最後に、あらかじめタイプ別に想定したレシオの範囲を参照して、既に識別されたタイプのレシオの範囲に現在のレシオが入っているかどうか、入っていれば信頼度を十分（OK）と判断し、入っていなければ信頼度は不十分 (NG)と判断する信頼度判断が行われる（信頼度判断２：ステップＳ１５）。
【００３０】
判断ステップＳ８でタイプ識別結果の信頼度を示す信頼性指標が十分でないと判断されたときは、ステップＳ１５で全サンプリング対象画素に対する信頼度判断２が実行されることになる。
ステップＳ１０の信頼度判断１及びステップ１５の信頼度判断２が終了すると、続いてゲイン選択が行われる（ステップＳ１１）。このゲイン選択では、ステップＳ１０の信頼度判断１が十分（OK）と判断した場合はステップＳ９タイプ間推定ゲイン決定部が決定したゲイン値が選択され（ステップＳ１１）、ステップＳ１０の信頼度判断部１が不十分(NG)と判断した場合は、ステップＳ１５の信頼度判断部２が十分（OK）と判断した場合はステップＳ１４で算出された積分レシオの逆数がゲイン値として算出される。
【００３１】
次に、ステップＳ１１で選択したゲイン値があれば、図１に示すRGBゲイン変換部５を制御する制御用のゲインをその値に更新する（ステップＳ１２）。ステップＳ１０の信頼度判断１とステップＳ１５の信頼度判断２のいずれも不十分(NG)と判断した場合には、制御用のゲインは更新せず、過去に決定したゲインをそのまま用いることになる。なお、ここで、ステップＳ１０の信頼度判断１又はステップＳ１５の信頼度判断２において十分（OK）と判断した場合に、ステップＳ１１でゲイン選択した値に制御用ゲイン値を完全に置換するのではなく、過去に決定した制御用ゲイン値との重み付け平均で置き換えるなどして、時間的な変動を抑えてもよい。
【００３２】
図３は、テスト光源の正当性を評価する方式の概念図である。図３は、図２に示したステップＳ１のテスト光源評価部の評価方式を示すものである。
図２に示したステップＳ１のテスト光源評価部では、図３に示すように特許文献１に記載の光源推定の技術をオートホワイトバランス処理に具現化した方式で評価を行う。イメージマップ３６やリファレンスマップ３８を構成する評価用色空間として、撮影光源３１に依存せず被写体３２の属性としての色を表現するものを用いる。
【００３３】
各テスト光源ｉ（ｉ＝１〜ｎ）下で被写体３２が撮影された場合に得られる撮像手段３３からのセンサ応答であるRGB値を評価用色空間へ投影する行列を、全テスト光源ｉについて記憶媒体３５に予め記憶しておく。投影変換部３４がこれらの行列を用いて評価用色空間への投影を行った結果でイメージマップ３６を形成する。
【００３４】
また、評価用色空間内で２次元の座標平面を規定し、この平面上で被写体３２が投影される確率の高い座標に重みを配した数値テーブルをリファレンスマップ３８として随時取り出し可能な記憶部に記憶しておく。リファレンスマップ３８は、例えばROM（read only memory）上で１６ビット×１６ビットの２次元のアドレス空間を各４ビットで構成するテーブルとすることができる。
【００３５】
このように、撮像手段３３による被写体３２の撮影時には、撮像手段３３からのセンサ応答が、投影変換部３４によって、記憶媒体３５に行列として記憶されているテスト光源ｉ毎のマトリクス係数に基づいて評価用色空間へ投影される。そして、評価用色空間内で規定した２次元の座標平面上に投影座標がプロットされ、イメージマップ３６として随時取り出し可能な記憶部に一定期間記録される。
【００３６】
イメージマップ３６としては、例えばRAM（random access memory）上で１６ビット×１６ビットの２次元のアドレス空間を各１ビットで構成するテーブルが用いられ、このテーブルがテスト光源ｉ毎に備えられている。そして、評価部３７を通して、イメージマップ３６からの統計量及びイメージマップ３６とリファレンスマップ３８との相関関係を示す量がテスト光源ｉ毎のスコア３９として出力される。
【００３７】
図４は、テスト光源評価の処理を示すフローチャートである。図４は、図３に示したテスト光源の正当性を評価する方式を用いてテスト光源別の正当性指標の算出方法及びテスト光源別の信頼性指標の算出方法を示すものである。
ここでは、撮影時の処理過程をフローチャートで示している。図４において、まず、イメージマップのリセットを行う（ステップＳ２１）。これは、１回の評価開始時に図３に示したイメージマップ３６の全ての投影座標のビットを０にする操作である。
【００３８】
次に、撮像手段３３から入力される１画素分のRGB値を投影対象として選択するサンプル画素の読み出しが行われる（ステップＳ２２）。続いて、予め記憶媒体３５に行列として記憶してあるマトリクス係数の中から１つのテスト光源ID（i=1〜n）に対応するマトリクス係数Miを選択するテスト光源別の投影行列の選択がなされる（ステップＳ２３）。
【００３９】
そして、数１に示すような投影行列の変換が行われる（ステップＳ２４）。この変換は、ステップＳ２３で選択されたマトリクス係数Miを用いて、RGB値を評価用色空間の値c1,c2,c3に変換する操作である。ここでc1は明度成分を、c2, c3は色成分を表している。
【００４０】
【数１】
2006173659.tif 000003
【００４１】
次に、数２で示されるように、色成分を明度成分で正規化した色度座標iX,iYを取得するイメージマップ記録がなされる（ステップＳ２５）。ここでiX,iYは、あらかじめ設定した各軸の最小値minx,minyと最大値maxx,maxyの範囲内を０〜１５の１６段階で算出している。なお、数２のfloorは小数点以下を切り捨てる演算記号である。
【００４２】
【数２】
2006173659.tif 000004
【００４３】
そして、iX,iYがともにイメージマップ３６に記録可能な０〜１５の範囲内にあれば、このマップ上の該当アドレスのビットを１にする。ステップＳ２３のテスト光源別の投影行列の選択からステップＳ２５のイメージマップ記録までの処理は、全てのテスト光源iについて繰り返される（ステップＳ２６）。また、ステップＳ２２のサンプル画素の読出しからステップＳ２６の全てのテスト光源iについて繰り返すまでの処理は、１回の露光でサンプリングされる全ての画素について繰り返される（ステップＳ２７）。
【００４４】
ここで、ステップＳ２７で複数のサンプル画素のRGB値を一時的に保持するメモリがあれば、ステップＳ２３のテスト光源別の投影行列の選択とステップＳ２２のサンプル画素の読出しとの処理順序を逆にして、ステップＳ２７のメモリ上の全サンプル画素をイメージマップ３６上に連続して投影する処理をテスト光源i別に繰り返してもよい。
【００４５】
ステップＳ２１のイメージマップリセット後からステップＳ２７の全サンプル画素をイメージマップ３６上に連続して投影する処理までの処理は、撮像手段３３であるイメージセンサによる任意の指定露光回数だけ繰り返される（ステップＳ２８）。
【００４６】
次に、各イメージマップ３６とリファレンスマップ３８との相関関係を示す指標Iciが算出される（ステップＳ２９）。この指標Iciはテスト光源別の正当性を示す指標であり、数３に示されている。この数３に示すTrxyはリファレンスマップ上の座標iX,iYに相当する値、Thixyは光源IDがiであるイメージマップ３６上の座標iX,iY相当する値である。
【００４７】
【数３】
2006173659.tif 000005
【００４８】
続いて、数４に示すように各イメージマップ３６の面積が指標Iaiとして算出される（ステップＳ３０）。この指標Iaiは、テスト光源別の信頼性を示す指標であり、イメージマップ３６の形成状況に対して、テスト光源i間での信頼性の比較を行うためのものである。すなわち、テスト光源の信頼性を示す指標Iaiを算出することにより、テスト光源i間での差異が十分に出るのかを判断するためのものであり、上記の面積のほか、分散などの統計量を用いることもできる。
【００４９】
【数４】
2006173659.tif 000006
【００５０】
ここで、図２のステップＳ５に示した信頼度算出と図４のステップＳ３０の信頼性指標算出との関係について説明する。
既に述べたように、図２のステップＳ５の信頼度の算出では、正当性評価結果に対して信頼に値する評価が実施された結果であるのかどうかを十分（OK）/不十分(NG)で判断するのであるが、この判断においては、例えば第１に最上位１光源の信頼性指標が事前に設けた閾値を超えていること、第２に正当性評価指標の最大値と最小値との差が事前に設けた閾値を超えていること、のような判断基準を複合して用いている。
【００５１】
つまり、ステップＳ１でテスト光源の評価がなされ、その結果、出力される“信頼性指標”と“正当性評価指標”とを基にして、ステップＳ５において信頼度が算出される。そして、この算出された“信頼度”に対して、ステップＳ８の“タイプ識別結果の信頼度はＯＫか？”の判断において、その信頼性指標が十分であるか否かについて十分（OK）/不十分(NG)として答を出力するのである。
【００５２】
図２のステップＳ５の信頼度算出に用いられる“信頼性指標”は、図４に示したステップＳ３０のテスト光源別の信頼性指標算出によって生成されるものである。その具体的な内容については、図４のステップＳ３０のテスト光源別の信頼性指標算出について説明したとおりである。すなわち、各イメージマップ３６の面積を指標Iaiとして算出し、この指標Iaiを信頼性指標として、イメージマップ３６の形成状況に対して、テスト光源i間でその比較が十分に実行可能であるか否かを判断するために用いるようにしている。
【００５３】
本発明は、上述した実施の形態に限らず、その特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、適宜、構成を変更しうることはいうまでもない。
【図面の簡単な説明】
【００５４】
【図１】本発明の画像処理装置の構成を示すブロック図である。
【図２】ゲイン決定部の処理を示すフローチャートである。
【図３】テスト光源の正当性を評価する方式の概念図である。
【図４】テスト光源評価の処理を示すフローチャートである。
【符号の説明】
【００５５】
１…センサ応答読出し部、２…黒レベル補正部、３…サブサンプリング部、４…ゲイン決定部、５…RGBゲイン変換部、６…階調変換部、７…色空間変換部、８…符号化部、ｉ…テスト光源、３１…撮影光源、３２…被写体、３３…撮像手段、３４…投影変換部、３５…記憶媒体、３６…イメージマップ、３７…評価部、３８…リファレンスマップ、３９…スコア
【図１】
2006173659.tif 000007
【図２】
2006173659.tif 000008
【図３】
2006173659.tif 000009
【図４】
2006173659.tif 000010