(57)【要約】【課題】ミックス光源下であっても、光源の明るさに応じた領域の各々に適した白データの検出を行い、光源の明るさに応じた各領域の各画像に対応した適切なホワイトバランスゲインを入力画像毎に算出でき、適切なホワイトバランスの調整を行うことができる撮像装置を提供する。【解決手段】本発明に係る撮像装置１０００は、画像信号のコントラスト値に基づいて、画像信号を光源の明るさに応じた複数の異光源領域に分離する異光源分離部７と、異光源領域毎に白データを検出する異光源領域白データ検出部と、異光源領域毎の白データに基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、ホワイトバランスゲインに基づいてホワイトバランス調整を行うホワイトバランス調整部５とを備えている。異光源領域白データ検出部とホワイトバランスゲイン算出部は領域別白検出部１００内に設けられる。【選択図】図１
2008219838.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像に対してホワイトバランスの調整を行う撮像装置であって、
画像信号のコントラスト値に基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離する異光源分離部と、
前記異光源分離部により分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出する白データ検出部と、
前記白データ検出部により検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
前記ホワイトバランスゲイン算出部により算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うホワイトバランス調整部とを備えたことを特徴とする撮像装置。
【請求項２】
前記ホワイトバランスゲイン算出部は、
前記異光源領域毎の白データを、前記異光源領域の面積比に応じて合成することにより、前記ホワイトバランスゲインを算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記異光源分離部は、
前記画像を分割した複数のブロック毎の輝度に基づいて、各ブロックと隣接するブロックとの間のコントラスト値を算出するコントラスト算出部と、
前記コントラスト算出部で算出されたコントラスト値と、所定のコントラスト閾値とを比較することにより、前記異光源領域の境界部を検出する境界部検出部と、
前記境界部検出部により検出される前記異光源領域の境界部の情報に基づいて、前記画像信号を前記異光源領域に分離する画像信号分離部とを備えたことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記コントラスト算出部は、前記各ブロックの輝度と、前記各ブロックに隣接するブロックの輝度との差分値の最大値に基づいて、前記コントラスト値を算出することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記画像信号分離部は、前記異光源領域の境界部におけるブロックの平均輝度値の代表値に基づいて、前記画像信号を前記異光源領域に分離することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記画像信号分離部は、前記異光源領域の境界部におけるブロックの平均輝度値の最小値に基づいて、前記画像信号を前記異光源領域に分離することを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記境界部検出部は、前記所定のコントラスト閾値を、同一フレーム内のコントラスト値の大きさに基づいて変化させることを特徴とする請求項３に記載の撮像装置。
【請求項８】
前記境界部検出部が、前記所定のコントラスト閾値を、同一フレーム内のコントラスト値の大きさに基づいて設定する際に、前記所定のコントラスト閾値には下限値が設けられていることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記境界部検出部は、前記画像の明るさに基づいて、前記コントラスト閾値の下限値を設定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記異光源分離部が前記画像信号を複数の異光源領域に分離できない場合、前記白データ検出部は、前記画像全体中の白エリア部分を検出することを特徴とする請求項１に記載の撮像装置。
【請求項１１】
画像に対してホワイトバランスの調整を行うホワイトバランス調整装置であって、
画像信号のコントラストに基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離する異光源分離部と、
前記異光源分離部により分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出する白データ検出部と、
前記白データ検出部により検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、
前記ホワイトバランスゲイン算出部により算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うホワイトバランス調整部とを備えたことを特徴とするホワイトバランス調整装置。
【請求項１２】
画像に対してホワイトバランスの調整を行うホワイトバランス調整方法であって、
画像信号のコントラストに基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離するステップと、
前記複数の異光源領域に分離するステップにより分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出するステップと、
前記白データを検出するステップにより検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するステップと、
前記ホワイトバランスゲインを算出するステップにより算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うステップとを含むことを特徴とするホワイトバランス調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対してホワイトバランスの調整を行う撮像装置、ホワイトバランス調整装置およびホワイトバランス調整方法に関する。撮像装置は、主にデジタルスチルカメラやデジタルビデオカメラ等に代表される。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置は、自動ホワイトバランス調整機能（ＡＷＢ：Auto White Balance）を有しており、撮影時にホワイトバランスを自動的に調整して撮影することができる。この自動ホワイトバランス調整機能は、撮影時の光源による色味の違いを自動的に補正する機能をいう。具体的には、自動ホワイトバランス調整機能は、撮像している被写体の画像信号から、撮影時の光源下における無彩色の映像信号（白エリア部分）を白データとして検出し、無彩色の被写体が画像上で無彩色になるように、３原色画像信号ＲＧＢの各データの大きさを等しく揃える制御を行う機能をいう。このように、この自動ホワイトバランス調整機能を用いることにより、いろいろな光源の色温度や明るさに応じてホワイトバランスの調整を行える。
【０００３】
ここで、画像から白データを検出する一般的な技術として、無彩色被写体が集まる領域を白判定エリアとして色空間上に定義し、画面毎に白判定エリア内に入った画像信号を白データとして検出する技術が、知られている。ところが、この一般的な技術のように、画面に対して１つの白判定エリアを一律に設定して白データの検出を行う場合、異なる色温度の光源によって照らされた映像領域が画面中に存在する撮像条件（この撮像条件をミックス光源という）の下では、ホワイトバランスの調整が正確に行われない場合があった。
【０００４】
この問題を解決するために、例えば特許文献１に記載のホワイトバランス調整技術が提案されている。ホワイトバランスの調整は、撮像素子から得られた映像信号にホワイトバランスゲインを乗算することによって行われる。このホワイトバランスゲインの算出が、特許文献１に記載のホワイトバランス調整技術では、次のように行われている。すなわち、このホワイトバランス調整技術では、色座標上に設定された色温度別の複数の白判定エリアに基づいて、画像から得られる色信号が複数の白判定エリアのいずれに含まれるか判定され、白判定エリア毎に白データが加算されることにより、色信号毎のホワイトバランス制御値が算出される。また、色信号毎のホワイトバランス制御値の算出と同時に、白判定エリアに入った色信号数が白判定エリア毎にカウントされる。
【０００５】
そして、複数の白判定エリア毎の白判定のカウント値に基づいて、色温度毎のホワイトバランス制御値の混合比がそれぞれ決定され、混合比に応じて色温度毎のホワイトバランス制御値が混合加算されて、ホワイトバランスゲインが算出される。これにより、ミックス光源などの撮像画像においても、画面中に色温度が異なる光源の占める割合を判別し、色温度別の混合比に基づいたホワイトバランスゲインを求めることができる。
【特許文献１】特開２００２−１３５８０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載のホワイトバランス調整技術では、色温度別の混合比に基づいてホワイトバランスゲインを求めることができるものの、例えば日向および日陰が混在するミックス光源下において、撮影者が日陰側を主として撮影している場合に、日向側で白が多く検出されると、主な被写体である日陰側でホワイトバランスが合わないという問題があった。また、逆に、撮影者が日向側を主として撮影している場合に、日陰側で白が多く検出されると、主な被写体である日向側でホワイトバランスが合わないという問題があった。
【０００７】
また、特許文献１に記載のホワイトバランス調整技術では、いずれかの白判定エリアで白色の誤検出が発生した場合に、意図しない色温度方向にホワイトバランスが収束することがあるという問題があった。例えば、高色温度の光源下における肌色は、低色温度の光源下における白色と誤検出しやすく、このことがホワイトバランスゲインに影響を与えてしまっていた。また、例えば、夕刻の空などの淡い青色は、高色温度の光源下における白と誤検出されやすい。
【０００８】
本発明は、上記従来の問題を解決するためになされたもので、ミックス光源下であっても、光源の明るさに応じた異光源領域の各々に適した白データの検出を行い、各異光源領域中の画像に対応した適切なホワイトバランスゲインを入力画像毎に算出でき、適切なホワイトバランスの調整を行うことができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、撮像された画像に対してホワイトバランスの調整を行う撮像装置であって、画像信号のコントラスト値に基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離する異光源分離部と、前記異光源分離部により分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出する白データ検出部と、前記白データ検出部により検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、前記ホワイトバランスゲイン算出部により算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うホワイトバランス調整部とを備えた構成を有している。
【００１０】
この構成により、光源の明るさに応じた複数の異光源領域に画像信号を分離した上で、異光源領域毎に白データを検出するので、日向および日陰が混在するミックス光源下であっても、光源の明るさに応じた異光源領域の各々に適した白データの検出を行い、各異光源領域中の画像に対応した適切なホワイトバランスゲインを入力画像毎に算出でき、適切なホワイトバランスの調整を行うことができる。すなわち、ミックス光源下において、光源の異なる領域を異光源領域として分離することで、異光源領域毎に被写体中の白エリア部分を白データとして検出するので、撮像シーンと被写体に応じて、白データを検出するための白判定エリアを絞り込むことが可能となり、白の誤検出と誤検出によるホワイトバランスのずれを低減することができる。
【００１１】
また、本発明に係る撮像装置において、前記ホワイトバランスゲイン算出部が、前記異光源領域毎の白データを、前記異光源領域の各面積比に応じて合成することにより、前記ホワイトバランスゲインを算出する構成を有している。
【００１２】
この構成により、光源の明るさに応じた各領域の白データを、光源の明るさに応じた領域の面積に対応して合成することができ、より適切なホワイトバランスゲインを算出できる。すなわち、光源の明るさに応じた各領域の画面占有率に応じて、主要被写体に重点を置いてホワイトバランスの調整を行うことができる。例えば、主要被写体がどの異光源領域にあるかによって、データの重み付けを行え、ミックス光源下で異なる異光源領域がどのような比率で存在したとしても、主要被写体に対して重点的にホワイトバランスを合わせることができる。
【００１３】
また、本発明に係る撮像装置において、前記異光源分離部が、前記画像を分割した複数のブロック毎の輝度に基づいて、各ブロックと隣接するブロックとの間のコントラスト値を算出するコントラスト算出部と、前記コントラスト算出部で算出されたコントラスト値と、所定のコントラスト閾値とを比較することにより、前記異光源領域の境界部を検出する境界部検出部と、前記境界部検出部により検出される前記異光源領域の境界部の情報に基づいて、前記画像信号を前記異光源領域に分離する画像信号分離部とを備えた構成を有している。
【００１４】
この構成により、日向と日陰のミックス光源下においても、各ブロック間のコントラスト値から異光源領域の境界部を容易に検出することができ、当該異光源領域の境界部の情報に基づき、画像信号を異光源領域に分離できる。また、境界部検出部により検出された異光源領域の境界部の情報に基づいて、画像信号を異光源領域に分離する判断基準を定めることができるので、画像信号を異光源領域に分離するための画面分轄パターンを複数用意することなく、画像信号を複数の異光源領域に容易に分離できる。
【００１５】
また、本発明に係る撮像装置は、コントラスト算出部が、前記ブロック分割測光部により測光された各ブロックの輝度と、前記各ブロックに隣接する全てのブロックの輝度との差分値を算出し、算出された前記差分値の最大差分値に基づいて、互いに隣接するブロックとの間のコントラスト値を算出する構成を有する。
【００１６】
この構成により、輝度変化の大きいブロックが隣接するブロックに存在するかを適切に判断でき、異光源領域の境界部を検出するためのコントラスト値を適切に算出できる。
【００１７】
また、本発明に係る撮像装置において、前記画像信号分離部は、前記異光源領域の境界部におけるブロックの平均輝度値の代表値に基づいて、前記画像信号を前記異光源領域に分離する構成を有する。
【００１８】
この構成により、異光源領域の境界部におけるブロックの平均輝度値の代表値に基づいて、画像信号を複数の異光源領域に分離する判断基準が明確に定められる。一義的に決定された閾値で判別する方式と異なり、代表値という実際の値を用いることで、輝度の変化量（コントラスト値）にのみ基づいた判定が可能となり、境界部を正確に判別できる。
【００１９】
また、本発明に係る撮像装置において、前記画像信号分離部は、前記異光源領域の境界部におけるブロックの平均輝度値の最小値に基づいて、前記画像信号を前記異光源領域に分離する構成を有する。
【００２０】
この構成により、異光源領域の境界部におけるブロックの平均輝度値の最小値に基づいて、画像信号を複数の異光源領域に分離する判断基準がより明確に定められるので、画像信号を複数の異光源領域に正確に分離できる。
【００２１】
本発明に係る撮像装置において、前記境界部検出部が、前記所定のコントラスト閾値を、同一フレーム内のコントラスト値の大きさに基づいて変化させる構成を有している。
【００２２】
この構成により、露光状態に関係なく、撮像シーンが変わった時などにも、自動的に、かつ、柔軟に、異光源領域の境界部を安定して検出することができる。
【００２３】
また、本発明に係る撮像装置において、前記境界部検出部が、前記所定のコントラスト閾値を、同一フレーム内のコントラスト値の大きさに基づいて設定する際に、前記所定のコントラスト閾値には下限値が設けられている。
【００２４】
この構成により、変化幅の小さい輝度変化を除外して、異なる光源により発生したコントラスト値に基づいて、異光源領域の境界部を検出することができる。
【００２５】
また、本発明に係る撮像装置において、前記境界部検出部が、前記画像の明るさに基づいて、前記コントラスト閾値の下限値を設定する構成を有している。
【００２６】
この構成により、被写体画像の明るさに基づいて、異光源領域の境界部の検出の敏感度を制御できる。例えば、照度の低い屋内撮影条件下では、ミックス光源が存在する可能性が少ないので、コントラスト閾値の下限値を上げることで、画像信号を異光源領域に分離しないようにすることもできる。
【００２７】
また、本発明に係る撮像装置において、前記異光源分離部が複数の異光源領域に分離できない場合、前記白データ検出部が、前記画像全体中の白エリア部分を白データとして検出する構成を有している。
【００２８】
この構成により、例えば単一光源下のように、異光源分離部が複数の異光源領域に分離できない場合にであっても、白エリア部分を白データとして検出することができる。
【００２９】
本発明に係るホワイトバランス調整装置は、画像に対してホワイトバランスの調整を行うホワイトバランス調整装置であって、画像信号のコントラストに基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離する異光源分離部と、前記異光源分離部により分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出する白データ検出部と、前記白データ検出部により検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、前記ホワイトバランスゲイン算出部により算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うホワイトバランス調整部とを備えた構成を有している。
【００３０】
この構成は、撮像装置のホワイトバランス調整技術に限定されない。すなわち、ホワイトバランス調整装置は、撮像装置に設けられても、設けられなくてもよい。そして、本発明のホワイトバランス調整処理が、撮像装置で撮像された画像だけでなく、一般的な画像に対しても施されてもよい。この構成によっても。上述した本発明の利点が得られる。
【００３１】
本発明に係るホワイトバランス調整方法は、画像に対してホワイトバランスの調整を行うホワイトバランス調整方法であって、画像信号のコントラストに基づいて、前記画像信号を光源の明るさに応じた複数の異光源領域に分離するステップと、前記複数の異光源領域に分離するステップにより分離された前記異光源領域毎に、前記画像中の白エリア部分を白データとして検出するステップと、前記白データを検出するステップにより検出された異光源領域毎の白データに基づいて、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出するステップと、前記ホワイトバランスゲインを算出するステップにより算出される前記ホワイトバランスゲインに基づいて、前記画像に対してホワイトバランスの調整を行うステップとを含んでいる。
【００３２】
このホワイトバランス調整方法の適用対象も、撮像装置に限定されない。このホワイトバランス調整方法によっても、上述した本発明の利点が得られる。
【発明の効果】
【００３３】
本発明は、光源の明るさに応じた複数の異光源領域に画像信号を分離した上で、異光源領域毎に白データを検出するので、ミックス光源下であっても、光源の明るさに応じた領域の各々に適した白データの検出を行い、光源の明るさに応じた各領域の各画像に対応した適切なホワイトバランスゲインを入力画像毎に算出でき、適切なホワイトバランスの調整を行うことができるという効果を有する撮像装置を提供することができるものである。
【発明を実施するための最良の形態】
【００３４】
（第１の実施の形態）
以下、本発明の第１の実施の形態に係る撮像装置について、図面を用いて説明する。本発明の実施の形態における撮像装置を図１に示す。図１に示されるように、本発明の第１の実施の形態に係る撮像装置１０００は、レンズ１と、撮像素子２と、ＡＧＣ（Auto Gain Control）部３と、Ａ／Ｄ変換部４と、ホワイトバランス調整部５と、画面分割測色部６と、異光源領域分離部７と、測光部8と、制御部９と、画像処理部１０と、領域別白検出部１００とを備えている。また、画面分割測色部６、異光源領域分離部７、測光部8、制御部９、画像処理部１０および領域別白検出部１００により、ホワイトバランスゲイン生成部２００が構成されている。
【００３５】
レンズ１は、被写体からの光を撮像素子２に結像するものである。撮像素子２は、レンズ１により結像した像を光電変換することにより、撮像された画像から画像信号を生成する。また、撮像素子２は電子シャッター（不図示）を備えており、この電子シャッターは制御部９の制御により画像全体の明るさを電子的に制御する。ＡＧＣ部３は、撮像素子２に入射する光量の制御情報や画像全体の明るさに応じて、Ａ／Ｄ変換部４への出力を一定に利得制御する。Ａ／Ｄ変換部４は、撮像素子３から得られるアナログ信号をデジタル信号に変換する。
【００３６】
ホワイトバランス調整部５は、ホワイトバランスゲイン生成部２００により生成されるホワイトバランスゲインに基づいて、画像に対してホワイトバランスの調整を行う。画面分割測色部６は、撮像した画像信号を複数のブロックに分割して、各ブロックの３原色画像信号であるＲ信号、Ｇ信号、Ｂ信号それぞれの平均値を順次算出して、これをＲＧＢブロック平均値Ｓ１として、領域別白検出部１００へ出力する。
【００３７】
異光源領域分離部７は、画像信号のコントラスト値に基づいて、画像信号を光源の明るさに応じた異光源領域に分離する。具体的には、異光源領域分離部７は、まず、撮影した画像信号を複数のブロックに分割して、分割後のブロック毎の画像信号を複数の異光源領域に分離する。ここでは、異光源領域が、明るい光源によって照らされている領域（明光源領域）と、暗い光源によって照らされている領域（暗光源領域）であるとする。このとき、異光源領域分離部７は、分割後の各ブロックの画像信号を、明光源領域および暗光源領域に分離する。異光源領域分離部７は、画像信号を複数の異光源領域に分離した後、分割後の各ブロックの画像信号がどの異光源領域に属するかの判定結果と各ブロックの座標とが関連付けられた信号である異光源領域判別信号Ｓ２を、領域別白検出部１００へ出力する。なお、図２に示されるように、異光源分離部７は、ブロック分割部７ａと、ブロック輝度測定部７ｂと、コントラスト算出部７ｃと、境界部検出部７ｄと、画像信号分離部７ｅとを備えている。これらの機能および動作についての詳細な説明については、後述の動作説明と共に説明する。
【００３８】
測光部８は、撮像された画像全体の明るさを測定する。この画像全体の明るさは、例えばＡＧＣ部３が利得制御を行うのに用いられる。また、制御部９は、測光部８で得られた画像全体の輝度に基づいて、撮像素子２、ＡＧＣ部３、異光源分離部７、領域別白検出部１００の制御を行う。画像処理部１０は、ホワイトバランス調整部５によりホワイトバランスの調整が行われた画像信号に基づいて、輝度信号および色信号を生成する。
【００３９】
次に、領域別白検出部１００の構成について、図に基づいて説明する。本発明の第１の実施の形態における領域別白検出部１００を図３に示す。図３に示されるように、領域別白検出部１００は、異光源領域選択部１１と、異光源領域白データ検出部１２と、ホワイトバランスゲイン算出部１４とを備えている。また、異光源領域白データ検出部１２は、明光源領域用白データ検出部１３Ａと、暗光源領域用白データ検出部１３Ｂとを備えている。
【００４０】
異光源領域選択部１１は、異光源領域分離部７から入力される異光源領域判別信号Ｓ２に基づいて、画面分割測色部６から入力されるＲＧＢブロック平均値Ｓ１が明光源領域または暗光源領域のどちらの光源領域のデータであるのかを、ブロック毎に順次判定する。異光源領域選択部１１は、ＲＧＢブロック平均値Ｓ１が明光源領域のデータである場合には、ＲＧＢブロック平均値Ｓ１を明光源領域用白データ検出部１３Ａへ出力し、ＲＧＢブロック平均値Ｓ１が暗光源領域のデータである場合には、ＲＧＢブロック平均値Ｓ１を暗光源領域用白データ検出部１３Ｂへ出力する。
【００４１】
白データ検出部としての異光源領域白データ検出部１２は、異光源分離部７により分離された異光源領域毎に被写体中の白エリア部分を白判定データ（白データ）として検出して、異光源領域毎に検出された白データを積算する。ここで、被写体中の白エリアを検出するために、異光源領域毎に白判定エリアが色空間上に設定される。制御部９から入力される白判定エリア制御信号Ｓ４は、異光源領域毎に白判定エリアを色空間上に設定するための信号である。明光源領域用白データ検出部１３Ａは、異光源領域選択部１１により選択された明光源領域のブロックの白データの検出および積算を行う。暗光源領域用白データ検出部１３Ｂは、異光源領域選択部１１により選択された暗光源領域のブロックの白データの検出および積算を行う。
【００４２】
ホワイトバランスゲイン算出部１４は、異光源領域選択部１１により選択された明光源領域および暗光源領域のブロック個数の比、すなわち、明光源領域および暗光源領域の面積比に応じて、明光源領域用白データ検出部１３Ａおよび暗光源領域用白データ検出部１３Ｂにより積算された白データを合成して、ホワイトバランスゲインを算出する。このホワイトバランスゲインは、ホワイトバランス調整部５によるホワイトバランスの調整に用いられる。
【００４３】
次に、本発明の第１の実施の形態における撮像装置１０００の動作について、図に基づいて説明する。本発明の第１の実施の形態における撮像装置のホワイトバランスゲイン生成処理のフローを図４に示す。図２および図４に示されるように、まず、異光源分離部７のブロック分割部７ａが、Ａ／Ｄ変換部４によりデジタル信号に変換された画像信号データを、１画面中で複数のブロックに分割する。そして、異光源分離部７のブロック輝度測定部７ｂが、複数のブロック毎の輝度平均値を輝度ブロック平均値として算出する（ステップ（ＳＴＥＰ：以下、Ｓと称する）４０１）。
【００４４】
次に、異光源分離部７のコントラスト算出部７ｃが、輝度ブロック平均値に基づいて、各ブロックと隣接するブロックとの間のコントラスト値をブロック毎に算出する（Ｓ４０２）。ここで、Ｓ４０２のコントラスト値の算出方法について、図５に基づいて、詳しく説明する。異光源分離部７で分割されたブロックの例を図５に示す。図５（ａ）〜図５（ｆ）の各ブロック内に示された数値はブロックの番号である。図５（ａ）は異光源分離部７で分割されたブロックの例を示す図、図５（ｂ）はブロック１を注目ブロックとしたときの隣接ブロックを示す図、図５（ｃ）はブロック２を注目ブロックとしたときの隣接ブロックを示す図、図５（ｄ）はブロック８を注目ブロックとしたときの隣接ブロックを示す図、図５（ｅ）はブロック９を注目ブロックとしたときの隣接ブロックを示す図、図５（ｆ）はブロック１０を注目ブロックとしたときの隣接ブロックを示す図である。
【００４５】
Ｓ４０２では、図５（ａ）に示されるように、分割されたブロック１〜４８に対して、順次、コントラスト値を算出する。まず、はじめにブロック１のコントラスト値を求める。図５（ｂ）に示されるように、コントラスト値を求めたいブロック（以下、注目ブロックとする）がブロック１の場合、斜め方向も含めて注目ブロックに隣接するブロック（以下、隣接ブロックとする）は、ブロック２、ブロック９、ブロック１０となる。
【００４６】
また、図５（ｃ）に示すように注目ブロックがブロック２の場合、隣接するブロックはブロック１、ブロック３、ブロック９、ブロック１０、ブロック１１となる。図５（ｄ）〜図５（ｆ）も同様に注目ブロックと隣接ブロックとの関係を示している。このように隣接ブロックは注目ブロックを取り囲む全てのブロックを指していて、注目ブロックがブロック１からブロック４８に至るまで同様の法則で隣接ブロックが決定される。
【００４７】
この時コントラスト値は注目ブロック毎に算出するもので、注目ブロックのブロック輝度平均値から隣接ブロック各々のブロック輝度平均値を減算し、全減算結果の最大値をコントラスト値とする。ブロック１のコントラスト値を求め終わると、ブロック２、ブロック３、・・・、ブロック４８のように、注目ブロック毎にコントラスト値を順次求める。
【００４８】
このように注目ブロック毎にコントラスト値を求めることにより、例えばコントラスト値が負の値の場合、隣接ブロックの中に注目ブロックよりも輝度の高いブロックが存在するという情報が得られ、逆にコントラスト値が正の値場合、隣接ブロックの中に注目ブロックよりも輝度の低いブロックが存在するという情報が得られる。また、このように注目ブロック毎にコントラスト値を求めることにより、隣接するブロックとの間で輝度変化の大きいブロックを効率よく抽出でき、光源の異なる２つの異光源領域の境界部である可能性の高いブロックを効率よく抽出することができる。従って、輝度変化の大きいブロックが隣接するブロックに存在するかを適切に判断でき、異光源領域の境界部を検出するためのコントラスト値を適切に算出できる。
【００４９】
次に、異光源分離部７の境界部検出部７ｄが、Ｓ４０２の処理により算出されたコントラスト値と、所定のコントラスト閾値とを比較することにより、光源の明るさに応じた異光源領域の境界部を検出する。具体的には、異光源分離部７の境界部検出部７ｄが、Ｓ４０２の処理により算出されたコントラスト値と、光源の異なる二つの異光源領域の境界部であるかどうかを判定するためのコントラスト判定閾値（ＴＨ＿ｃｏｎｔ）とを比較し、Ｓ４０２の処理のより算出されたコントラスト値がコントラスト判定閾値（ＴＨ＿ｃｏｎｔ）よりも大きいブロックを抽出する（Ｓ４０３）。ここで、抽出されたブロックが存在する場合（Ｓ４０４）、抽出された各ブロックを異光源領域の境界部として検出して、次のＳ４０５へ移行する。
【００５０】
Ｓ４０５では、異光源領域分離部７によって分割された各ブロックが、明光源領域であるか、暗光源領域であるかを判定するための異光源領域分離閾値（ＴＨ＿ｂｏｒｄｅｒ）を求める（Ｓ４０５）。ＴＨ＿ｂｏｒｄｅｒは、異光源領域の境界部として抽出されたブロックの平均輝度の情報に基づいて設定される。これにより、画像信号を異光源領域に分離する判断基準が明確に定められるので、画像信号を異光源領域に分離するための画面分割パターンを複数用意することなく、画像信号を異光源領域に容易に分離できる。ここでは、異光源領域の境界部として抽出されたブロックで構成される抽出エリアの中で最小のエリア輝度平均値を、ＴＨ＿ｂｏｒｄｅｒに設定している。これにより、画像信号を複数の異光源領域に分離する判断基準がより明確に定められるので、画像信号を複数の異光源領域に正確に分離できる。但し、ＴＨ＿ｂｏｒｄｅｒに、上記抽出エリアの中で最小のエリア輝度平均値以外の値を設定してもよい。
【００５１】
次に、異光源分離部７の画像信号分離部７ｅが、異光源領域分離閾値（ＴＨ＿ｂｏｒｄｅｒ）を基準に、画像信号を各異光源領域に分離する。具体的には、異光源分離部７の画像信号分離部７ｅは、輝度ブロック平均値がＴＨ＿ｂｏｒｄｅｒ以上のブロックを明光源領域と判定し、輝度ブロック平均値がＴＨ＿ｂｏｒｄｅｒ未満のブロックを暗光源領域と判定する（Ｓ４０６）。このようにして、異光源分離部７の画像信号分離部７ｅが、境界部検出部７ｄにより検出された異光源領域の境界部の情報に基づいて、画像信号を異光源領域に分離する。
【００５２】
ここで、Ｓ４０１〜Ｓ４０６異光源分離部７の処理について、図６（ａ）に示すような異光源領域が存在するシーンを例に、図に基づいて、より詳細に説明する。図６（ａ）は撮像画像の例を示す図、図６（ｂ）は画像をブロック毎に分割した状態を示す図、図６（ｃ）は異光源領域の境界部として検出されたブロックを示す図、図６（ｄ）は分離後の明光源領域および暗光源領域を示す図である。
【００５３】
図６（ａ）では、異光源分離部７に入力される画像の例として、非常に明るい太陽光および青空を光源とする日向部と、建物に太陽光を遮られて青空のみを光源する日陰部からなる典型的なミックス光源と呼ばれるシーンを示している。図６（ａ）〜図６（ｄ）では、日陰部に斜線のハッチングを施している。図６（ｂ）では、図６（ａ）で示された画像を複数のブロックに分割した状態を示している。この図６（ｂ）に示されるブロック毎の画像に対して、Ｓ４０１〜Ｓ４０４の処理を行うことによって、各ブロックと隣接するブロックとの間のコントラスト値がコントラスト判定閾値（ＴＨ＿ｃｏｎｔ）より大きいブロックが、異光源領域の境界部として検出される。
【００５４】
図６（ｃ）では、Ｓ４０１〜Ｓ４０４の処理後に、異光源領域の境界部として検出されたブロックが太枠で示されている。図６（ｃ）に示されるように、日向と日陰の境界部では、各ブロックと隣接するブロックとの間のコントラスト値が非常に大きくなるため、異光源領域の境界部として検出された各ブロックは、日向と日陰の境界部周辺に集中して存在している。
【００５５】
図６（ｄ）では、Ｓ４０５、Ｓ４０６の処理後に、ブロック毎に分割された各画像を、明光源領域と暗光源領域に分離した状態が示されている。Ｓ４０１〜Ｓ４０４の処理を経て抽出され、異光源領域の境界部として検出されたブロック（図６（ｃ）にて太枠で示したブロック）の中で、最小の輝度ブロック平均値が異光源領域分離閾値（ＴＨ＿ｂｏｒｄｅｒ）と設定されると、図６（ｃ）の太枠で示されるブロックの全てがＴＨ＿ｂｏｒｄｅｒ未満の輝度ブロック平均値を持つブロックとなり、明るい側のブロックを明光源領域として、暗い側のブロックを暗光源領域として、正確に分離することが可能となる。図６（ｄ）にて、網目のハッチングを施された領域が暗光源領域に該当する。このようにして、図６（ｄ）に示されるように、画像を光源の明るさに応じた異光源領域に分離することができる。
【００５６】
次に、制御部９が、露光情報に従って、異光源領域が存在する場合における明光源領域用および暗光源領域用の白判定ブロックを、後述の異光源領域白データ検出部１２で用いる色空間上に、それぞれ設定する（Ｓ４０７）。なお、露光情報は、測光部８により測定される画像全体の明るさに基づいた情報である。
【００５７】
なお、Ｓ４０４の処理で、異光源領域の境界部が抽出されなかった場合、すなわち異光源領域が存在しない場合は全ブロックを明光源領域と判定し（Ｓ４０８）、制御部９が上述の露光情報に基づいて、異光源領域が存在しない場合における明光源用の白判定ブロックを、異光源領域白データ検出部１２で用いる色空間上に設定する（Ｓ４０９）。これにより、例えば単一光源下のように、異光源分離部７が複数の異光源領域に分離できない場合にであっても、白エリア部分を白データとして検出することができる。
【００５８】
次に、被写体中の白エリア部分を白データとして検出するために、異光源領域白データ検出部１２で用いる白判定エリアについて、図に基づいて説明する。異光源領域白データ検出部１２で用いる白判定エリアを色空間上に示した例を図７に示す。図７（ａ）は領域別白判定エリアの一例を示す図、図７（ｂ）は高照度時かつ異光源領域が存在する場合の領域別白判定エリアを示す図、図７（ｃ）は中照度時かつ異光源領域が存在する場合の領域別白判定エリアを示す図、図７（ｄ）は低照度時かつ異光源領域が存在する場合の領域別白判定エリアを示す図、図７（ｅ）は高照度時かつ異光源領域が存在しない場合の単一白判定エリアを示す図、図７（ｆ）は中照度時かつ異光源領域が存在しない場合の単一白判定エリアを示す図、図７（ｇ）は低照度時かつ異光源領域が存在しない場合の単一白判定エリアを示す図である。
【００５９】
図７（ａ）では、本発明における撮像装置の白データ検出で用いる色空間の例として、Ｂ（ブルー）、Ｇ（グリーン）、Ｒ（レッド）の各色信号から算出されるＢ／ＧおよびＲ／Ｇの値をプロットした座標空間が示されている。撮影時の光源下における無彩色の映像信号である白データは色温度変化に応じて、図７（ａ）中の白データ軌跡に沿って変化し、白データ軌跡上には色温度３０００Ｋ、５０００Ｋ、７０００Ｋの３点を例としてプロットしている。白データ軌跡は、黒体輻射の色度に近似した曲線であって、白判定エリア設定の基準となる。
【００６０】
図７（ａ）に示されるように、明光源領域用の白判定エリアと暗光源領域用の白判定エリアが、白データ軌跡付近に設けられている。図７（ａ）に例示されるように、明光源領域用の白判定エリアは３０００Ｋから５０００Ｋまでの白データ軌跡上にあるＲＧＢデータのみを白データとして判定する事が可能な白判定エリアであり、暗光源領域用の白判定エリアは５０００Ｋから７０００Ｋまでの白データ軌跡上のＲＧＢデータを白データとして判定可能な白判定エリアである。
【００６１】
図７（ｂ）〜図７（ｄ）では、特にミックス光源が存在すると判定された場合に、ステップＳ４０７で設定される異光源領域別の白判定エリアの例が示されている。図７（ｂ）では、露光情報に応じて、制御部９が晴天時屋外の可能性が高いと判断した場合の例が示されている。なお、露光情報は、上述の通り、測光部８により測定される画像全体の明るさに基づいた情報である。晴天時屋外におけるミックス光源は、青空と昼間の太陽光の両方が光源となる日向と、青空のみが光源となる日陰によるミッスク光源である可能性が高い。このとき、明光源領域は晴天時の日向で取りうる色温度範囲４８００Ｋから６０００Ｋを囲むような白判定エリア、暗光源領域は日陰で取りうる色温度範囲６０００Ｋから８０００Ｋを囲むような白判定エリアとなる。
【００６２】
制御部９は、このような各異光源領域の白判定エリアを色空間上に設定する指示を、上記露光情報に基づいて、白判定エリア制御信号Ｓ４として、異光源領域白データ検出部１２へ出力する。そして、異光源領域白データ検出部１２は、白判定エリア制御信号Ｓ４に基づいて、異光源領域毎の白判定エリアを設定する。
【００６３】
図７（ｃ）では、露光情報から制御部９が夕刻時である可能性が高いと判断した場合の例が示されている。夕刻時のミックス光源は、青空と色温度が下がった夕方の太陽光の両方が光源となる日向と、青空のみが光源となる日陰によるミッスク光源である可能性が高い。このとき、明光源領域は夕刻の日向で取りうる色温度範囲４０００Ｋから５０００Ｋを囲むような白判定エリア、暗光源領域は日陰で取りうる色温度範囲６０００Ｋから８０００Ｋを囲むような白判定エリアとなる。この場合においても、制御部９は、白判定エリア制御信号Ｓ４を、上記露光情報に基づいて異光源領域白データ検出部１２へ出力し、異光源領域白データ検出部１２は、白判定エリア制御信号Ｓ４に基づいて、異光源領域毎の白判定エリアを設定する。
【００６４】
図７（ｄ）では、露光情報から制御部９が屋内である可能性が高いと判断した場合の例が示されている。屋内時のミックス光源は、屋内に差し込む屋外光と、ハロゲン光や蛍光灯からなる屋内人工光源によるミッスク光源である可能性が高い。このとき、明光源領域は屋外で昼間から夕刻までに取りうる色温度範囲４０００Ｋから５０００Ｋを囲むような白判定エリア、暗光源領域は屋内人工光源が主に取りうる色温度範囲３０００Ｋから４０００Ｋを囲むような白判定エリアとなる。この場合においても、制御部９は、白判定エリア制御信号Ｓ４を、上記露光情報に基づいて異光源領域白データ検出部１２へ出力し、異光源領域白データ検出部１２は、白判定エリア制御信号Ｓ４に基づいて、異光源領域毎の白判定エリアを設定する。
【００６５】
一方、図７（ｅ）、図７（ｆ）、図７（ｇ）には、ミックス光源が存在しないと判定された場合の白判定エリアの例が示されている。図７（ｅ）は晴天時屋外、図７（ｆ）は夕刻時屋外、図７（ｇ）は屋内の場合であり、それぞれ単一光源時に取りうる色温度範囲を囲む白判定エリアが設定される。
【００６６】
図４に戻り、次に、画面分割測色部６が、Ｓ４０１で異光源分離部７のブロック分割部７ａが行ったように、Ａ／Ｄ変換器４によりデジタル信号に変換された画像信号データを、１画面中で複数のブロックに分割する。そして、画面分割測色部６が、分割された各ブロックの３原色画像信号であるＲ信号、Ｇ信号、Ｂ信号それぞれの平均値であるＲＧＢブロック平均値を算出する（Ｓ４１０）。このとき、画面分割測色部６は、Ｓ４０１で異光源分離部７のブロック分割部７ａが分割した各ブロックの画像信号データを利用して、ＲＧＢブロック平均値を算出してもよい。そして、画面分割測色部６がＲＧＢブロック平均値Ｓ１を領域別白検出部１００へ出力する。
【００６７】
次に、異光源領域選択部１１が、異光源領域分離部７から入力される異光源領域判別信号Ｓ２に基づいて、画面分割測色部６から入力されるＲＧＢブロック平均値Ｓ１が明光源領域または暗光源領域のどちらの光源領域のデータであるのかを、ブロック毎に順次判定する（Ｓ４１１）。異光源領域選択部１１は、ＲＧＢブロック平均値Ｓ１が明光源領域のデータである場合には、ＲＧＢブロック平均値Ｓ１を明光源領域白データ検出部１３Ａへ出力し、ＲＧＢブロック平均値Ｓ１が暗光源領域のデータである場合には、ＲＧＢブロック平均値Ｓ１を暗光源領域白データ検出部１３Ｂへ出力する。
【００６８】
次に、異光源領域白データ検出部１２が、ＲＧＢブロック平均値Ｓ１を図７（ａ）〜図７（ｇ）に示されるような色空間にプロットし、Ｓ４０７またはＳ４０９で設定された明光源領域用および暗光源領域の白判定エリアを用いて、異光源領域毎に被写体中の白エリア部分を白データとして検出し、検出された各白データを異光源領域毎に積算する（Ｓ４１２）。このとき、明光源領域用白データ検出部１３Ａが、異光源領域選択部１１により選択された明光源領域のブロックの白データの検出および積算を行い、暗光源領域用白データ検出部１３Ｂが、異光源領域選択部１１により選択された暗光源領域のブロックの白データの検出および積算を行う。ここで、白データ検出により白データと判定されたＲＧＢブロック平均値のみを明光源領域および暗光源領域のそれぞれで積算し、白データと判定されなかったＲＧＢブロック平均値の積算は行わない。
【００６９】
次に、ホワイトバランスゲイン算出部１４が、暗光源領域および暗光源領域のブロック個数比に応じて、Ｓ４１２で白データとして積算されたＲ信号、Ｇ信号およびＢ信号の各白データを合成する（Ｓ４１３）。合成後のＲ信号、Ｇ信号およびＲ信号の各白データをＲｄａｔａ、ＧｄａｔａおよびＢｄａｔａとすると、これらは下記に示す式（１）、式（２）および式（３）によって表される。式（１）、式（２）および式（３）において、明光源領域用白データ検出部１３Ａにおいて積算されたＲ信号、Ｇ信号およびＢ信号の各白データをＲａ、Ｇａ、Ｂａ、暗領域用白データ検出部１３Ｂにおいて積算されたＲ信号、Ｇ信号およびＢ信号の各白データをＲｂ、Ｇｂ、Ｂｂ、明光源領域のブロック数をＮａ、暗光源領域のブロック数をＮｂ、明光源領域および暗光源領域のブロックの全てを合わせた全ブロック数をＮｔとしている。
【００７０】
Ｒｄａｔａ=（Ｒａ×Ｎａ＋Ｒｂ×Ｎｂ）／Ｎｔ・・・（１）
Ｇｄａｔａ=（Ｇａ×Ｎａ＋Ｇｂ×Ｎｂ）／Ｎｔ・・・（２）
Ｂｄａｔａ=（Ｂａ×Ｎａ＋Ｂｂ×Ｎｂ）／Ｎｔ・・・（３）
【００７１】
このように、各異光源領域のブロック数Ｎａ、Ｎｂに応じて、各光源領域用の白データ検出部１３Ａ、１３Ｂによって積算された白データを合成することにより、合成後のＲ信号、Ｇ信号およびＲ信号の各白データＲｄａｔａ、ＧｄａｔａおよびＢｄａｔａが算出される。このとき、各ブロックは互いに等しい面積を有するので、各異光源領域のブロック数Ｎａ、Ｎｂに応じて、各異光源領域の面積が変化する。このようにして、ホワイトバランスゲイン算出部１４が、各異光源領域の面積比に応じて、各光源領域用の白データ検出部１３Ａ、１３Ｂにより積算された白データを合成する。
【００７２】
最後に、ホワイトバランスゲイン算出部１４が、ホワイトバランスの調整を行うためのホワイトバランスゲインを算出する（Ｓ４１４）。ホワイトバランスゲインは、次に示す式（４）および式（５）に従って、Ｒ信号およびＢ信号をＧ信号のレベルに正規化する形で算出される。式（４）および式（５）において、Ｒ信号をＧ信号のレベルに正規化したホワイトバランスゲインをＲｇａｉｎ、Ｂ信号をＧ信号のレベルに正規化したホワイトバランスゲインをＢｇａｉｎとしている。
Ｒｇａｉｎ=Ｇｄａｔａ／Ｒｄａｔａ・・・（４）
Ｂｇａｉｎ=Ｇｄａｔａ／Ｂｄａｔａ・・・（５）
【００７３】
このように、ホワイトバランスの調整を行うためのホワイトバランスゲインがホワイトバランス生成部２００により入力画像毎に生成される。このホワイトバランスゲインを用いて、ホワイトバランス調整部５がホワイトバランスの調整を入力画像毎に行う。そして、画像処理部１０が、ホワイトバランス調整部５によりホワイトバランスの調整が行われた画像信号に基づいて、輝度信号および色信号を生成する。
【００７４】
以上の通り、本発明に係る撮像装置では、光源の明るさに応じた複数の異光源領域に画像信号を分離した上で、異光源領域毎に白データを検出するので、日向および日陰が混在するミックス光源下であっても、光源の明るさに応じた異光源領域の各々に適した白データの検出を行い、各異光源領域中の画像に対応した適切なホワイトバランスゲインを入力画像毎に算出でき、適切なホワイトバランスの調整を行うことができる。例えば、撮影者が明光源領域を主に撮影している場合は、明光源領域のブロック数が多くなるために明光源領域の結果が重んじられ、逆に暗光源領域を主に撮影している場合は、暗光源領域のブロック数が多くなるために暗光源領域の結果が重んじられる。従って、撮影者の意図にあったホワイトバランスを実現する事ができる。
【００７５】
本実施の形態では、ミックス光源下において、光源の異なる領域を異光源領域として分離することで、異光源領域毎に被写体中の白エリア部分を白データとして検出するので、撮像シーンと被写体に応じて、白データを検出するための白判定エリアを絞り込むことが可能となり、白の誤検出と誤検出によるホワイトバランスのずれを低減することができる。
【００７６】
また、本発明に係る撮像装置において、異光源領域毎の白データを異光源領域の各面積比に応じて合成することにより、ホワイトバランスゲインを算出するので、光源の明るさに応じた各領域の白データを、光源の明るさに応じた各領域の面積に対応して合成することができ、より適切なホワイトバランスゲインを算出できる。すなわち、光源の明るさに応じた各領域の画面占有率に応じて、主要被写体に重点を置いてホワイトバランスの調整を行うことができる。例えば、主要被写体がどの異光源領域にあるかによって、データの重み付けを行え、ミックス光源下で異なる異光源領域がどのような比率で存在したとしても、主要被写体に対して重点的にホワイトバランスを合わせることができる。
【００７７】
また、本発明に係る撮像装置において、画像を分割した複数のブロック毎の輝度に基づいて、各ブロックと隣接するブロックとの間のコントラスト値を算出し、算出されたコントラスト値と、所定のコントラスト閾値とを比較することにより、異光源領域の境界部を検出し、検出された異光源領域の境界部の情報に基づいて、画像信号を異光源領域に分離するので、日向と日陰のミックス光源下においても、各ブロック間のコントラスト値から異光源領域の境界部を容易に検出することができ、当該異光源領域の境界部の情報に基づき、画像信号を異光源領域に容易に分離できる。また、検出された異光源領域の境界部の情報に基づいて、画像信号を異光源領域に分離する判断基準を定めることができるので、画像信号を異光源領域に分離するための画面分割パターンを複数用意することなく、画像信号を異光源領域に容易に分離できる。
【００７８】
また、本発明に係る撮像装置において、各ブロックの輝度と、各ブロックに隣接する全てのブロックの輝度との差分値を算出し、算出された差分値の最大差分値に基づいて、互いに隣接するブロックとの間のコントラスト値を算出するので、輝度変化の大きいブロックが隣接するブロックに存在するかを適切に判断でき、異光源領域の境界部を検出するためのコントラスト値を適切に算出できる。
【００７９】
また、本発明に係る撮像装置において、異光源領域の境界部におけるブロックの平均輝度値の代表値に基づいて、画像信号を異光源領域に分離するので、異光源領域の境界部におけるブロックの平均輝度値に基づいて、画像信号を異光源領域に分離する判断基準が明確に定められる。一義的に決定された閾値で判別する方式と異なり、代表値という実際の値を用いることで、輝度の変化量（コントラスト値）にのみ基づいた判定が可能となり、境界部を正確に判別できる。
【００８０】
また、本発明に係る撮像装置において、異光源領域の境界部におけるブロックの平均輝度値の最小値に基づいて、画像信号を異光源領域に分離するので、異光源領域の境界部におけるブロックの平均輝度値の最小値に基づいて、画像信号を複数の異光源領域に分離する判断基準がより明確に定められるので、画像信号を異光源領域に正確に分離できる。
【００８１】
（第２の実施の形態）
以下、本発明の第２の実施の形態に係る撮像装置について、図面を用いて説明する。本発明の第２の実施の形態に係る撮像装置の概略的な構成は、第１の実施の形態に係る撮像装置と同じである。ただし、次に説明するように、ホワイトバランスゲイン生成処理が第１の実施の形態とは異なる。本発明の第２の実施の形態における撮像装置のホワイトバランスゲイン生成処理のフローを図８に示す。図８では、図４と比較して、Ｓ８０１〜Ｓ８０４の処理が追加されている点で相違する。すなわち、図８に示されるように、本発明の第２の実施の形態では、Ｓ４０３で用いるコントラスト判定閾値（ＴＨ＿ｃｏｎｔ）を予め設定せずに、Ｓ８０１〜Ｓ８０４の処理に従ってコントラスト判定閾値（ＴＨ＿ｃｏｎｔ）を設定する点で、第１の実施の形態と相違する。
【００８２】
本発明の第２の実施の形態における撮像装置のホワイトバランスゲイン生成処理について、図８に基づいて説明する。本発明の第２の実施の形態における撮像装置では、第１の実施の形態と同様に、異光源分離部７のコントラスト算出部７ｃが、輝度ブロック平均値に基づいて、各ブロックと隣接するブロックとの間のコントラスト値をブロック毎に算出する（Ｓ４０２）。その次に、第１の実施の形態と異なり、同一フレーム内の画面中の全ブロックのコントラスト値の中から最大のコントラスト値(ｃｏｎｔ＿ｍａｘ)を求め、次式（６）に示す通り、ｃｏｎｔ＿ｍａｘに係数Ｋを乗算した値をＴＨ＿ｃｏｎｔとする（Ｓ８０１）。
ＴＨ＿ｃｏｎｔ=ｃｏｎｔ＿ｍａｘ×Ｋ、（但し、０≦Ｋ≦１）・・・（６）
【００８３】
ここで、Ｋはｃｏｎｔ＿ｍａｘからＴＨ＿ｃｏｎｔを求めるための係数であり、取りうる値は０≦Ｋ≦１である。例えば、Ｋを１に近づければＴＨ＿ｃｏｎｔが大きくなり、Ｓ４０３でのコントラスト判定で抽出されるブロックは少なくなる。逆に０に近づけていくとＴＨ＿ｃｏｎｔが小さくなり、Ｓ４０３でのコントラスト判定で抽出されるブロックは多くなる。
【００８４】
被写体が適正な明るさで撮影されている状態に対して、露光状態が全体的に暗いシーン（以下露出アンダー）や露光が過剰な状態（以下露出オーバー）等の条件により、コントラスト値自体も大きく変動する。このため、Ｓ４０３でのコントラスト判定を予め固定値として設定されたＴＨ＿ｃｏｎｔを用いて行う第１の実施の形態と比べて、第２の実施の形態では、ｃｏｎｔ＿ｍａｘに対する係数Ｋを決定するだけでＴＨ＿ｃｏｎｔを様々な撮影状態に合わせて適切に制御できるので、露出アンダーや露出オーバーのような露光状態に関係なく安定して異光源領域の境界部を抽出することができる。
【００８５】
このように、コントラスト閾値を同一フレーム内のコントラスト値の大きさに基づいて可変設定されるので、露光状態に関係なく、撮像シーンが変わった時などにも、自動的に、かつ、柔軟に、異光源領域の境界部を安定して検出することができる。
【００８６】
次に、異光源分離部７のコントラスト算出部７ｃが、上述した露光情報に基づいて、コントラスト判定閾値（ＴＨ＿ｃｏｎｔ）の下限値を、コントラスト判定下限閾値（ＴＨ＿ｃｏｎｔ＿ｍｉｎ）として設定する（Ｓ８０２）。なお、露光情報は、上述した通り、測光部８により測定される画像全体の明るさに基づいた情報である。
【００８７】
次に、異光源分離部７のコントラスト算出部７ｃが、ＴＨ＿ｃｏｎｔ＿ｍｉｎとＴＨ＿ｃｏｎｔとを比較する（Ｓ８０３）。ここで、ＴＨ＿ｃｏｎｔがＴＨ＿ｃｏｎｔ＿ｍｉｎを下回った場合は、ＴＨ＿ｃｏｎｔをＴＨ＿ｃｏｎｔ＿ｍｉｎに置き換える（Ｓ８０４）。これにより、コントラスト判定閾値（ＴＨ＿ｃｏｎｔ）が過剰に下がる事を防止する事ができる。
【００８８】
逆に、ＴＨ＿ｃｏｎｔがＴＨ＿ｃｏｎｔ＿ｍｉｎを上回った場合は、Ｓ８０１で求めたＴＨ＿ｃｏｎｔをそのままＳ４０３の処理で使用する。ミックス光源時のコントラスト値と比較すると、単一光源時や屋内撮影時などの暗いシーンでのコントラスト値は小さいため、ＴＨ＿ｃｏｎｔが過度に下がり、ミックス光源が存在しない場合のコントラスト誤判定をこの構成により防ぐ事ができる。そして、異光源分離部７の境界部検出部７ｄが、第１の実施の形態と同様に、Ｓ４０３以降の処理を行う。このようにして、露出アンダー状態および露出オーバー状態など撮影条件によらず、安定してミックス光源における異光源領域の境界部の検出を行う事ができる。
【００８９】
以上のように、本実施の形態では、所定のコントラスト閾値を同一フレーム内のコントラスト値の大きさに基づいて変化させているので、露光状態に関係なく、撮像シーンが変わった時などにも、自動的に、かつ、柔軟に、異光源領域の境界部を安定して検出することができる。
【００９０】
また、本実施の形態では、コントラスト閾値（ＴＨ＿ｃｏｎｔ）を、同一フレーム内のコントラスト値の大きさに基づいて設定する際に、コントラスト値（ＴＨ＿ｃｏｎｔ）にコントラスト閾値の下限値を設けることにより、変化幅の小さい輝度変化を除外して、異なる光源により発生したコントラスト値に基づいて、異光源領域の境界部を検出することができる。
【００９１】
また、本実施の形態では、画像の明るさに基づいて、コントラスト閾値（ＴＨ＿ｃｏｎｔ）の下限値が設定されるので、被写体画像の明るさに基づいて、異光源領域境界部の検出の敏感度を制御できる。例えば、照度の低い屋内撮影条件下では、ミックス光源が存在する可能性の少ないので、コントラスト閾値の下限値を上げることで、画像信号を異光源領域に分離しないようにすることもできる。
【００９２】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００９３】
上記実施態様では、画面分割測色部６における画面分割数と異光源領域分割部７における画面分割数を同じ例で説明したが、画面分割測色部６における画面分割数は、異光源領域分割部７における画面分割数に対して少なくならなければ、例えば図９のように分割数を増やす事も可能である。この構成により、ＲＧＢブロック平均値を求める際の空間分解能を向上させる事が可能となり、Ｓ４１２で行う白データの検出の精度も向上させる事ができる。
【００９４】
また、上記実施態様において、例えば図１０（ａ）に示されるように、明光源領域用の白判定エリアと暗光源領域用の判定エリアが互いに重なる設定や、白データ軌跡に沿った形に設定する事も可能である。この構成により、より細かなミックス光源に対してのホワイトバランス調整が可能となる。また、図１０（ｂ）に示されるように、光源による白データ軌跡の差が発生した場合にも、ホワイトバランス調整が可能となる。
【００９５】
また、上記実施態様において、異光源分離部７は、コントラスト値を求める際、光源によって発生した輝度変化を求め得る構成であれば、画面の分割方法を如何様にも変える事も可能である。この構成により、例えば分割数を増やす等ブロックの分解能を上げて、より精度の高いコントラスト判定を行う事も可能となる。
【００９６】
また、上記実施態様においては、白データが画面中に存在する場合について説明したが、白データが存在しない場合は、全画面で求めたＲｄａｔａ、ＧｄａｔａおよびＢｄａｔａを用いてホワイトバランスゲインを求めても良い。この構成により、白データが画面中に存在しない場合にも画面全体の色情報からホワイトバランスゲインを求めることが可能となる。
【００９７】
なお、上記実施態様では、ＲＧＢの原色カラーフィルタを用いた撮像装置を例に説明したが、補色フィルタの撮像装置にも本発明を適用することができる。
【産業上の利用可能性】
【００９８】
以上のように、本発明は、ミックス光源下であっても、光源の明るさに応じた異光源領域の各々に適した白データの検出を行い、各異光源領域中の画像に対応した適切なホワイトバランスゲインを入力画像毎に算出でき、適切なホワイトバランスの調整を行うことができるという効果を有し、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いるホワイトバランス調整装置等に有用である。
【図面の簡単な説明】
【００９９】
【図１】本発明の第１の実施の形態における撮像装置を示すブロック図
【図２】本発明の第１の実施の形態における異光源分離部のブロック図
【図３】本発明の第１の実施の形態における領域別白データ検出部のブロック図
【図４】本発明の第１の実施の形態における撮像装置のホワイトバランスゲイン生成処理のフロー図
【図５】（ａ）異光源分離部で分割されたブロックの例を示す図  （ｂ）ブロック１を注目ブロックとしたときの隣接ブロックを示す図  （ｃ）ブロック２を注目ブロックとしたときの隣接ブロックを示す図  （ｄ）ブロック８を注目ブロックとしたときの隣接ブロックを示す図  （ｅ）ブロック９を注目ブロックとしたときの隣接ブロックを示す図  （ｆ）ブロック１０を注目ブロックとしたときの隣接ブロックを示す図
【図６】（ａ）撮像画像の例を示す図  （ｂ）画像をブロック毎に分割した状態を示す図  （ｃ）異光源領域の境界部として検出されたブロックを示す図  （ｄ）分離後の明光源領域および暗光源領域を示す図
【図７】（ａ）領域別白判定エリアの一例を示す図  （ｂ）高照度時かつ異光源領域が存在する場合の領域別白判定エリアを示す図  （ｃ）中照度時かつ異光源領域が存在する場合の領域別白判定エリアを示す図  （ｄ）低照度時かつ異光源領域が存在する場合の領域別白判定エリアを示す図  （ｅ）高照度時かつ異光源領域が存在しない場合の単一白判定エリアを示す図  （ｆ）中照度時かつ異光源領域が存在しない場合の単一白判定エリアを示す図  （ｇ）低照度時かつ異光源領域が存在しない場合の単一白判定エリアを示す図
【図８】本発明の第２の実施の形態における撮像装置のホワイトバランスゲイン生成処理のフロー図
【図９】画面分割測色部で設定可能なブロックの分割の一例を示す図
【図１０】（ａ）  設定可能な異光源領域毎の白判定エリアの一例を示す図  （ｂ）  設定可能な異光源領域毎の白判定エリアの一例を示す図
【符号の説明】
【０１００】
１  レンズ
２  撮像素子
３  ＡＧＣ部
４  Ａ／Ｄ変換部
５  ホワイトバランス調整部
６  画面分割測色部
７  異光源領域分離部
８  測光部
９  制御部
１０  画像処理部
１１  異光源領域選択部
１２  異光源領域白データ検出部
１３Ａ  明光源領域用白データ検出部
１３Ｂ  暗光源領域用白データ検出部
１４  ホワイトバランスゲイン算出部
１００  領域別白検出部
２００  ホワイトバランスゲイン生成部
１０００  撮像装置
【図１】
2008219838.tif 000003
【図２】
2008219838.tif 000004
【図３】
2008219838.tif 000005
【図４】
2008219838.tif 000006
【図５】
2008219838.tif 000007
【図６】
2008219838.tif 000008
【図７】
2008219838.tif 000009
【図８】
2008219838.tif 000010
【図９】
2008219838.tif 000011
【図１０】
2008219838.tif 000012