(57)【要約】  【課題】  カラーフェリア現象を防止するとともに撮影シーンに応じた最適なホワイトバランス補正を行うこと。  【解決手段】  各色別の画像信号に基づいて画面の各部分の色情報を検出する色情報検出部１２ａと、画面全体及び各部分の明るさを検出する明るさ情報検出部１２ｂと、所定の光源色に近似している物体色らしい色情報を各部分の明るさに基づいて除去する物体色らしさ演算部１２ｄと、スポット光らしい色情報を除去するスポット光らしさ演算部１２ｅと、光源判別の基準となる色情報の目標値を画面全体又は所定の部分の明るさに応じてグレーから変動させる目標値変動部１２ｆと、所定の光源色に近似している物体色らしいもの、及び、スポット光らしいものが除去された複数の色情報と、グレーから変動する目標値とに基づいてホワイトバランスの補正値を算出するホワイトバランス補正値算出部１２ｐを備えた。【選択図】  図７
2006148464.tif 000002
【特許請求の範囲】
【請求項１】
各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正装置であって、
画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出する手段と、
前記画面の各部分の明るさ情報を検出する手段と、
前記画面内の複数の色情報のうちで所定の光源色に近似している物体色らしい色情報を前記画面の各部分の明るさ情報に基づいて除去する手段と、
前記所定の光源色に近似している物体色らしいものが除去された複数の色情報に基づいて前記ホワイトバランスの補正値を算出する手段と、
を備えたことを特徴とするホワイトバランス補正装置。
【請求項２】
各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正装置であって、
画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出する手段と、
前記画面の各部分の色情報のスポット光らしさを求めて、前記画面内の複数の色情報からスポット光らしい色情報を除去する手段と、
前記スポット光らしいものが除去された複数の色情報に基づいて前記ホワイトバランスの補正値を算出する手段と、
を備えたことを特徴とするホワイトバランス補正装置。
【請求項３】
各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正装置であって、
画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出する手段と、
前記画面の全体又は所定の部分の明るさ情報に応じて光源判別の基準となる色情報の目標値をグレーから変動させる手段と、
前記目標値と前記画面の各部分の色情報とに基づいて光源の部分を判別し、前記光源と判別された部分の色情報とそれ以外の部分の色情報との差に基づいて前記ホワイトバランスの補正値を算出する手段と、
を備えたことを特徴とするホワイトバランス補正装置。
【請求項４】
各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正方法であって、
画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出するステップと、
前記画面の各部分の明るさ情報を検出するステップと、
前記画面内の複数の色情報のうちで所定の光源色に近似している物体色らしい色情報を前記画面の各部分の明るさ情報に基づいて除去するステップと、
前記所定の光源色に近似している物体色らしいものが除去された複数の色情報に基づいて前記ホワイトバランスの補正値を算出するステップと、
を含むことを特徴とするホワイトバランス補正方法。
【請求項５】
各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正方法であって、
画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出するステップと、
前記画面の各部分の色情報のスポット光らしさを求めるステップと、
前記画面内の複数の色情報からスポット光らしい色情報を除去するステップと、
前記スポット光らしいものが除去された複数の色情報に基づいて前記ホワイトバランスの補正値を算出するステップと、
を含むことを特徴とするホワイトバランス補正方法。
【請求項６】
各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正方法であって、
画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出するステップと、
前記画面の全体又は所定の部分の明るさ情報に応じて光源判別の基準となる色情報の目標値をグレーから変動させるステップと、
前記目標値と前記画面の各部分の色情報とに基づいて光源の部分を判別するステップと、
前記光源と判別された部分の色情報とそれ以外の部分の色情報との差に基づいて前記ホワイトバランスの補正値を算出するステップと、
を含むことを特徴とするホワイトバランス補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はホワイトバランス補正装置及び方法に係り、特にカラーの画像信号に対して適正なホワイトバランス補正を施すことができるホワイトバランス補正装置及び方法に関する。
【背景技術】
【０００２】
カラー撮像素子によって得られた画像信号にホワイトバランス補正を施す際、光源色は低彩度である確率が高いことに着目し、撮影画面内で低彩度の部分を検出し、この低彩度の部分の色温度に依存した補正値を用いてホワイトバランス補正を行うようにしたものが知られている（例えば特許文献１を参照）。
【０００３】
ところで、ホワイトバランス補正を行う際には、物体色が光源色と誤判別されることにより過補正されてしまうという、いわゆるカラーフェリア現象を考慮する必要がある。具体的には、画面中に光源色によく似た色合いの物体色が入ってくると、そのような物体色が光源色と誤判別されて過補正されてしまう。
【０００４】
そこで、従来は、例えば、カラーフェリア現象を軽減するためにホワイトバランスを完全には補正しないで、補正量を本来の例えば５０〜６０％にとどめるといったような、適正なホワイトバランス補正をある程度犠牲にしてしまうような対策が取られていた。
【０００５】
なお、本発明者は、画面の各部分の色情報（積算値）について特定の表色座標上における分布を検出し、その表色座標上でグレーに最も近い部分を最も光源らしいと判断し、この最も光源らしい部分からの表色座標上での距離に基づいてホワイトバランスを補正する方法を既に提案している（特許文献２を参照）。
【特許文献１】特開平６−９８３３５号公報
【特許文献２】特開２００４−２７４３４４号公報（特に明細書の第００７４〜００８５欄）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
オレンジ、イエロー系の物体色が存在するシーンでは、このような物体色をタングステン光源色と誤判別してしまい、例えばオレンジ、イエローがグレーに補正され、本来グレーであったものは青っぽく過補正されてしまうことになる。
【０００７】
また、スポット光は部分光であって広範囲に光を照らしているわけではないので、そのようなスポット光を基準にホワイトバランス補正値を算出すると、不適切なホワイトバランス補正が施されてしまうことになる。
【０００８】
また、特に室内シーンにおいて、画面中で最も低彩度の部分（すなわちグレーに最も近い部分）が光源ではないというシーンが存在している。例えば、イエロー系光源下における青色物体色は、光源色と物体色とが互いに対称色相の関係であるがために減色し、実際には暗いグレーに近づいてしまう。したがって、画面中で最もグレーに近い部分を最も光源らしいと仮定したとすると、物体色を基準にホワイトバランスを補正することになるので、最適なホワイトバランス補正が行われないという場合も生じてしまう。なお、光源と物体色との組み合わせが、昼光と黄色、水銀灯光源と赤色系、赤色系光源と緑シアン、といった場合にも、減法混色または加法混色されて、物体色であるか光源色であるかの判断が困難になる。
【０００９】
本発明はこのような事情に鑑みてなされたもので、カラーフェリア現象を防止するとともにシーンに応じた最適なホワイトバランス補正を施すことができ、もって画質を改善することができるホワイトバランス補正装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために、請求項１に記載の発明は、各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正装置であって、画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出する手段と、前記画面の各部分の明るさ情報を検出する手段と、前記画面内の複数の色情報のうちで所定の光源色に近似している物体色らしい色情報を前記画面の各部分の明るさ情報に基づいて除去する手段と、前記所定の光源色に近似している物体色らしいものが除去された複数の色情報に基づいて前記ホワイトバランスの補正値を算出する手段を備えた構成になっている。
【００１１】
この構成によれば、例えばオレンジ、イエロー系の物体色をタングステン光源色と誤判別しやすいシーンであっても、そのような所定の光源色に近似している物体色らしい色情報が明るさ情報に基づいて除去された後にホワイトバランス補正値が算出されるので、カラーフェリア現象が防止されるとともにシーンに応じた最適なホワイトバランス補正が施されることになる。
【００１２】
請求項２に記載の発明は、各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正装置であって、画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出する手段と、前記画面の各部分の色情報のスポット光らしさを求めて、前記画面内の複数の色情報からスポット光らしい色情報を除去する手段と、前記スポット光らしいものが除去された複数の色情報に基づいて前記ホワイトバランスの補正値を算出する手段を備えた構成になっている。
【００１３】
この構成によれば、スポット光源のような画面中での影響力の少ない光源が存在するシーンであっても、そのようなスポット光らしい色情報が除去された後にホワイトバランス補正値が算出されるので、カラーフェリア現象が防止されるとともにシーンに応じた最適なホワイトバランス補正が施されることになる。
【００１４】
請求項３に記載の発明は、各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正装置であって、画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出する手段と、前記画面の全体又は所定の部分の明るさ情報に応じて光源判別の基準となる色情報の目標値をグレーから変動させる手段と、前記目標値と前記画面の各部分の色情報とに基づいて光源の部分を判別し、前記光源と判別された部分の色情報とそれ以外の部分の色情報との差に基づいて前記ホワイトバランスの補正値を算出する手段を備えた構成になっている。
【００１５】
この構成によれば、室内シーン、室外シーンごとに目標値が設定されて、その目標値を基準に彩度が評価されてホワイトバランス補正値が算出されることになるので、カラーフェリア現象が防止されるとともにシーンに応じた最適なホワイトバランス補正が施されることになる。
【００１６】
請求項４に記載の発明は、各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正方法であって、画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出するステップと、前記画面の各部分の明るさ情報を検出するステップと、前記画面内の複数の色情報のうちで所定の光源色に近似している物体色らしい色情報を前記画面の各部分の明るさ情報に基づいて除去するステップと、前記所定の光源色に近似している物体色らしいものが除去された複数の色情報に基づいて前記ホワイトバランスの補正値を算出するステップを含む構成になっている。
【００１７】
請求項５に記載の発明は、各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正方法であって、画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出するステップと、前記画面の各部分の色情報のスポット光らしさを求めるステップと、前記画面内の複数の色情報からスポット光らしい色情報を除去するステップと、前記スポット光らしいものが除去された複数の色情報に基づいて前記ホワイトバランスの補正値を算出するステップを含む構成になっている。
【００１８】
請求項６に記載の発明は、各色別の画像信号に基づいてホワイトバランスの補正値を算出し、該ホワイトバランスの補正値に基づいて前記画像信号のホワイトバランスを補正するホワイトバランス補正方法であって、画面を分割してなる各部分の色情報を前記画面の各部分内の画像信号に基づいて検出するステップと、前記画面の全体又は所定の部分の明るさ情報に応じて光源判別の基準となる色情報の目標値をグレーから変動させるステップと、前記目標値と前記画面の各部分の色情報とに基づいて光源の部分を判別するステップと、前記光源と判別された部分の色情報とそれ以外の部分の色情報との差に基づいて前記ホワイトバランスの補正値を算出するステップを含む構成になっている。
【発明の効果】
【００１９】
本発明によれば、カラーフェリア現象を防止するとともにシーンに応じた最適なホワイトバランス補正を施すことができ、画質を改善することができる。
【発明を実施するための最良の形態】
【００２０】
以下、添付図面に従って、本発明を実施するための最良の形態について詳細に説明する。
【００２１】
図１は、本発明に係るホワイトバランス補正装置の一実施形態としてのカメラ１０の概略構成を示すブロック図である。
【００２２】
このカメラ１０は、静止画や動画の撮影機能を備えたデジタルカメラである。
【００２３】
カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。ＣＰＵ１２は、所定のプログラムに従って本カメラ１０を制御する制御手段として機能する。例えば、自動露出（ＡＥ）制御処理、自動焦点調節（ＡＦ）制御処理、オートホワイトバランス（ＡＷＢ）制御処理を行う。
【００２４】
バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラムやプログラムの動作に必要な各種の固定データなどが格納されている。メモリ（ＳＤＲＡＭ）１８は、ＣＰＵ１２が行う各種制御処理用の領域として利用されるとともに、画像データの一時記憶領域として利用される。ＶＲＡＭ２０は、画像表示用の画像データを一時記憶するものであり、Ａ領域２０ＡとＢ領域２０Ｂを有する。
【００２５】
カメラ１０には、モード選択スイッチ２２および撮影ボタン２４が設けられている。また、メニューキー、ＯＫキー、十字キー、キャンセルキーなどからなる画面操作キー２６が設けられている。これら各種の操作手段（２２、２４、２６）からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は、入力信号に基づいてカメラ１０の各部を制御し、レンズ駆動制御、撮像制御、画像信号処理制御、画像記録制御、画像再生制御などの制御を行うようになっている。
【００２６】
モード選択スイッチ２２は、被写体を撮影して画像データを所定の記録メディア３２に記録するための撮影モードと、記録メディア３２に記録された画像データを再生するための再生モードとを切り替えるための操作手段である。可動切片２２Ａが接点ａに接続されると静止画撮影モードが設定され、可動切片２２Ａが接点ｂに接続されると動画撮影モードが設定され、可動切片２２Ａが接点ｃに接続されると再生モードが設定されるようになっている。撮影ボタン２４は、撮影準備指示や撮影開始指示を入力するための操作手段であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。メニューキーは、画像表示装置２８の画面上にメニューを表示させる指示を入力するための操作手段である。ＯＫキーは、選択された内容の確定および実行などの指示を入力するための操作手段である。十字キーは、メニュー内の項目の選択などのために上下左右４方向の指示を入力する操作手段である。キャンセルキーは、選択内容や指示内容などの取消の指示を入力する操作手段である。
【００２７】
画像表示装置２８は、カラー表示可能な液晶ディスプレイ（ＬＣＤ）で構成されている。画像表示装置２８は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置２８は、ユーザインタフェース用表示画面としても利用され、必要に応じてメニューや選択項目、設定内容などの情報が表示される。
【００２８】
メディアコントローラ３４は、メディアソケット３０に装着される記録メディア３２に適した入出力信号の受け渡しを行うために所定の信号変換を行う。
【００２９】
ＵＳＢインタフェース部３６は、パソコンその他の外部機器をカメラ１０に接続するための手段である。図示せぬＵＳＢケーブルを用いてカメラ１０と外部機器を接続することにより、外部機器との間でデータの受け渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、IEE1394や無線その他の通信方式を適用してもよい。
【００３０】
次にカメラ１０の撮影機能について説明する。
【００３１】
モード選択スイッチ２２によって撮影モードが選択されると、ＣＣＤ３８を含む撮影に関する部分（撮影部）に電源が供給され、撮影可能な状態になる。なお、撮影モードには、前述のように静止画撮影モードと動画撮影モードがあるが、以下では本発明の理解を容易にするために、主として撮影モードとして静止画撮影モードが設定された場合について説明する。
【００３２】
レンズユニット４０は、フォーカスレンズを含む撮影レンズ４２とアイリスによる絞り兼用メカシャッタ４４とを含む光学ユニットである。レンズユニット４０は、ＣＰＵ１２によって制御されるレンズ駆動部４６、絞り駆動部４８によって電動駆動されることにより、ズーム制御、フォーカス制御およびアイリス制御が行われる。レンズユニット４０を通過した光は、ＣＣＤ３８の受光面に結像される。ＣＣＤ３８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤ、Ｇストライプなど）で配置されている。また、ＣＣＤ３８は、電荷蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。ＣＰＵ１２は、タイミングジェネレータ５０を介してＣＣＤ３８での電荷蓄積時間を制御する。ＣＣＤ３８の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指示に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（Ｒ，Ｇ，Ｂ各色別の画像信号）として順次読み出される。
【００３３】
ＣＣＤ３８から取り出されたＲ，Ｇ，Ｂ各色別の画像信号は、アナログ処理部（ＣＤＳ／ＡＭＰ回路）５２に送られ、ここで画素ごとにサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５４に与えられ、アナログからデジタルに変換される。Ａ／Ｄ変換器５４から出力された画像信号は、画像入力コントローラ５６を介してメモリ１８に一時記憶される。画像信号処理回路５８は、メモリ１８に記憶されたＲ，Ｇ，Ｂ各色別の画像信号をＣＰＵ１２の指示に従って処理する。具体的には、画像信号処理回路５８は、同時化回路（ＣＣＤ３８のカラーフィルタ配列などに伴なうＲ，Ｇ，Ｂ信号の空間的なズレを補正して画像信号を同時式に変換する回路）、ホワイトバランス補正回路、ガンマ補正回路、ＹＣ信号生成回路などを含む画像信号処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ１８を用いながら所定の画像信号処理を行う。画像信号処理回５８の処理により得られた画像データはＶＲＡＭ２０に格納される。
【００３４】
画像表示装置２８への画像の出力については、ＶＲＡＭ２０から画像データが読み出され、バス１４を介してビデオエンコーダ６０に送られる。ビデオエンコーダ６０は、入力された画像データを表示用の所定方式（例えばＮＴＳＣ方式）の信号に変換して画像表示装置２８に出力する。具体的には、ＣＣＤ３８から出力された画像信号は、１コマごとの画像データとしてＶＲＡＭ２０のＡ領域２０ＡとＢ領域２０Ｂとに交互に書き換えられる。これらのＡ領域２０ＡおよびＢ領域２０Ｂのうち、画像データが書き換えられている方の領域以外の領域から、画像データが読み出される。そして、ＶＲＡＭ２０内の画像データが定期的に書き換えられることにより、撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。
【００３５】
撮影画角を確認した撮影者により撮影ボタン２４が半押しされ、Ｓ１がオンすると、ＣＰＵ１２は、撮影準備処理として、ＡＥおよびＡＦ処理を開始する。ＣＣＤ３８から出力されたＲ，Ｇ，Ｂ各色別の画像信号は、ＣＤＳ／ＡＭＰ回路５２、Ａ／Ｄ変換器５４および画像入力コントローラ５６を介して、メモリ１８に一時記憶されるとともに、ＡＦ検出回路６２およびＡＥ／ＡＷＢ検出回路６４に入力される。
【００３６】
ＡＥ／ＡＷＢ検出回路６４は、画面を複数のエリア（例えば、１６×１６、８×８など）に分割し、分割エリアごとにＲ，Ｇ，Ｂ各色別の画像信号を積算する回路を含み、その積算値をＣＰＵ１２に提供する。ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から取得した積算値に基づいて被写体輝度を検出し、被写体輝度に対応するＥＶ値を算出する。このＥＶ値は、画面全体のＥＶ値、および、画面上の分割エリアごとのＥＶ値など、後述のホワイトバランス補正処理で参照可能に整理されて、メモリ１８に記憶される。ＣＰＵ１２は、所定のプログラム線図に従い、絞り値とシャッタスピードを決定し、これらに従いＣＣＤ３８の電子シャッタおよびレンズユニット４０のアイリス４４を制御して適正な露光量を得る。
【００３７】
本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば画面中央部）に予め設定されているフォーカス対像エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。ＡＦ検出回路６２で求めた積算値のデータはＣＰＵ１２に通知される。ＣＰＵ１２は、レンズ駆動部４６を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにレンズ駆動部４６を制御する。尚、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。
【００３８】
撮影ボタン２４の半押し（Ｓ１オン）によってＡＥ処理およびＡＦ処理等の撮影準備処理が行われた後、撮影ボタン２４が全押し（Ｓ２オン）されると、画像を記録するための撮影動作がスタートする。
【００３９】
ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から、分割エリアごとのＲ，Ｇ，Ｂ信号別の積算値を取得する。なお、ＡＥ／ＡＷＢ検出回路６４からＣＰＵ１２に通知される分割エリアごとの積算値は、Ｒ，Ｇ，Ｂ信号別に単純に積算した値とした態様や、平均値とした態様がある。そして、ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から取得した分割エリアごとのＲ，Ｇ，Ｂ信号別の積算値に基づいて、ホワイトバランス補正値を算出し、画像信号処理回路５８によってＲ，Ｇ，Ｂ信号にホワイトバランス処理を施す。このホワイトバランス補正処理は後に詳細に説明する。
【００４０】
画像処理回路５８によってホワイトバランス補正が施されたＲ，Ｇ，Ｂ各色別の画像信号は、さらに画像処理回路５８によってガンマ補正などの画像処理を施され、ＹＣ信号（輝度信号Ｙおよび色差信号Ｃ）に変換され、圧縮伸長回路６６によって所定のフォーマットで圧縮された後、メディアコントローラ３４およびメディアソケット３０を介して記録メディア３２に画像データとして記録される。
【００４１】
モード選択スイッチ２２により再生モードが選択されると、記録メディア３２に記録されている圧縮された画像データがメディアコントローラ３４を介して読み出される。読み出された画像データは、圧縮伸長回路６６によって伸長され、ＶＲＡＭ２０、ビデオコントローラ６０を介して画像表示装置２８に表示される。利用者は、適切なホワイトバランス補正が施された画像を再生して楽しむことができる。
【００４２】
次に、図２を用いて、基本的なホワイトバランス補正機能の概要を説明する。図２は、カメラ１０のホワイトバランス補正機能に関連する要部を示すブロック図である。図２中、図１と同一の部分には同一の符号を付し、その説明は省略する。
【００４３】
図２のデジタル信号処理回路１００は、図１の画像信号処理回路５８の一部であり、同時化回路１０２、ホワイトバランス補正回路１０４、ガンマ補正回路１０６、ＹＣ信号生成回路１０８を含む。なお、図２では、信号の流れを理解し易くするためにデジタル信号処理回路１００内にメモリ１１０を設けているが、このメモリ１１０は、実際には図中のもうひとつのメモリ１８に含まれる。
【００４４】
ＣＣＤ３８から出力されたＲ，Ｇ，Ｂ信号（画像信号）は、ＣＤＳ／ＡＭＰ回路５２、Ａ／Ｄ変換器５４および画像入力コントローラ５６を介して、一旦メモリ１８に格納される。同時化処理回路１０２は、メモリ１８から読み出された点順次のＲ，Ｇ，Ｂ信号を同時式に変換して、Ｒ，Ｇ，Ｂ信号を同時にホワイトバランス補正回路１０４に出力する。ホワイトバランス補正回路１０４は、Ｒ，Ｇ，Ｂ信号のデジタル値をそれぞれ増減するための乗算器１０４Ｒ，１０４Ｇ、１０４Ｂから構成されており、Ｒ，Ｇ，Ｂ信号は、それぞれ乗算器１０４Ｒ，１０４Ｇ、１０４Ｂに加えられる。
【００４５】
乗算器１０４Ｒ、１０４Ｇ、１０４Ｂには、Ｒ，Ｇ，Ｂ信号がそれぞれ入力されるほか、ＣＰＵ１２からゲイン値Ｒｇ，Ｇｇ，Ｂｇ（ホワイトバランス補正値）が入力されるようになっており、乗算器１０４Ｒ，１０４Ｇ、１０４Ｂは、Ｒ，Ｇ，Ｂ信号にそれぞれゲイン値Ｒｇ，Ｇｇ，Ｂｇを乗算し、この乗算によってホワイトバランス補正されたＲ，Ｇ，Ｂ信号（Ｒ’，Ｇ’，Ｂ’）をガンマ補正回路１０６に出力する。ゲイン値Ｒｇ，Ｇｇ，Ｂｇの算出は、ＣＰＵ１２によって行われる。
【００４６】
ＣＣＤ３８で生成されたＲ，Ｇ，Ｂ信号（画像信号）は、ＣＤＳ／ＡＭＰ５２、Ａ／Ｄ変換器５４、画像入力コントローラ５６を介して積算回路１１２に入力され、積算回路１１２によって、分割エリアごとにＲ，Ｇ，Ｂ信号別で積算される。この積算回路１１２は図１のＡＥ／ＡＷＢ検出回路６４に含まれている。積算回路１１２とＣＰＵ１２との間には乗算器１１２Ｒ、１１２Ｇ、１１２Ｂが設けられており、乗算器１１２Ｒ、１１２Ｇ、１１２Ｂには、機器のばらつきを調整するため調整ゲインが加えられるようになっている。ＣＰＵ１２は、積算回路１１２から分割エリアごとの積算値を取得し、取得した積算値に基づいてホワイトバランス補正値を算出する。
【００４７】
ホワイトバランス補正前の画像信号をＲ，Ｇ，Ｂ、ゲイン値をＲｇ，Ｇｇ，Ｂｇとすると、ホワイトバランス補正後の画像信号Ｒ’，Ｇ’，Ｂ’は、（数式１）によって表わされる。
【００４８】
（数式１）
Ｒ’＝Ｒｇ×Ｒ
Ｇ’＝Ｇｇ×Ｇ
Ｂ’＝Ｂｇ×Ｂ
ガンマ補正回路１０６は、ホワイトバランス補正されたＲ，Ｇ，Ｂ信号（数式１のＲ’，Ｇ’，Ｂ’からなる画像信号）が所望のガンマ特性となるように入出力特性を変更し、ＹＣ信号生成回路１０８に出力する。ＹＣ信号生成回路１０８は、ガンマ補正されたＲ，Ｇ，Ｂ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。これらの輝度信号Ｙと色差信号Ｃｒ，Ｃｂは、メモリ１１０に格納される。メモリ１１０内のＹＣ信号を読み出して、図１のＶＲＡＭ２０およびビデオエンコーダ６０を介して画像表示装置２８に出力することにより、画像を表示させることができる。
【００４９】
以下では、オートホワイトバランス（ＡＷＢ）制御処理の流れについて、詳細に説明する。このオートホワイトバランス制御処理の各ステップは、図１のＲＯＭ１６に予め記憶されたプログラムにしたがって、ＣＰＵ１２によって実行される。
【００５０】
図３は、オートホワイトバランス制御処理のうち、色情報検出処理、明るさ情報検出処理、カタマリ演算処理、及び、物体色らしさ演算処理の流れを示している。
【００５１】
図３において、撮影ボタン２４の全押し（Ｓ２オン）に応動して、ＣＰＵ１２によるオートホワイトバランス（ＡＷＢ）制御が開始される（ステップＳ１００）。
【００５２】
なお、ＣＣＤ３８により生成されたＲ（赤），Ｇ（緑），Ｂ（青）の各色別の画像信号（Ｒ，Ｇ，Ｂ信号）は、撮影画面ごとにデジタルデータとしてメモリ１８に一時記憶される。ひとつの撮影画面は複数のエリア（例えば８×８、１６×１６など）に分割されており、このような分割されたエリア（分割エリア）ごとに図２の積算回路１１２によってＲ，Ｇ，Ｂ信号の各色別の積算値（「ＲＧＢ積算値」と称する）が算出されるので、これらの各分割エリアのＲＧＢ積算値を積算回路１１２から取得し（ステップＳ１０２）、分割エリアごとに、Ｒ信号の積算値とＧ信号の積算値との比Ｒ／Ｇ、および、Ｂ信号の積算値とＧ信号の積算値との比Ｂ／Ｇを算出する（ステップＳ１０４）。言い換えると、分割エリアごとに、ＲＧＢ積算値を（Ｒ，Ｇ，Ｂ）座標から（Ｒ／Ｇ，Ｂ／Ｇ）座標に変換する。このような（Ｒ／Ｇ，Ｂ／Ｇ）座標に変換されたＲＧＢ積算値を「Ｒ／Ｇ，Ｂ／Ｇ値」と呼ぶことにする。また、Ｒ／Ｇ，Ｂ／Ｇ値のように撮影画面の各部分ごとの色を示す情報を、その各部分の「色情報」ともいう。
【００５３】
さらに、各色別の画像信号（Ｒ，Ｇ，Ｂ信号）に基づいて、各分割エリアごとの明るさ情報を算出する（ステップＳ１０６）。ここで、明るさ情報として、本実施形態では、輝度を示す「ＥＶ値」を算出する。
【００５４】
次に、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で相互に近似する色情報（Ｒ／Ｇ，Ｂ／Ｇ値）同士をグループ化するとともに、各グループを代表する色情報（座標）を算出する。このような特定の表色座標上で相互に近似する色情報同士を集めたグループを「カタマリ」と呼び、各グループ（カタマリ）を代表する色情報（座標）を「カタマリ座標」と呼ぶことにする。言い換えると、「カタマリ」を検出して「カタマリ座標」を算出する（ステップＳ１０８）。
【００５５】
ここで、色情報のグループ化（言い換えると色情報に基づく分割エリアのグループ化である）の態様には、各種ある。
【００５６】
第１に、図８に示すように、（Ｒ／Ｇ，Ｂ／Ｇ）座標３００上に複数の検出枠を予め設けておき、各分割エリアの色情報（Ｒ／Ｇ，Ｂ／Ｇ値）が入る検出枠を判定して、同じ検出枠に入った色情報（Ｒ／Ｇ，Ｂ／Ｇ値）同士をひとつのカタマリとして検出する態様がある。すなわち表色座標上で色が近似する分割エリア同士を色情報に基づいてひとつのカタマリとして検出する態様がある。そして、各検出枠に入った分割エリアの色情報（Ｒ／Ｇ，Ｂ／Ｇ値）を平均してなるカタマリ座標を求める。
【００５７】
第２に、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で各分割エリアの色情報（Ｒ／Ｇ，Ｂ／Ｇ値）に順次着目して、図９（ａ）又は（ｂ）に示すように、注目した色情報を中心として所定の半径の円内に入った色情報同士をひとつのカタマリとして検出する態様がある。そして、例えば各カタマリごとの円の中心の座標をカタマリ座標とする。この第２のグループ化態様では、前述の第１のグループ化態様のような検出枠を設けなくてもカタマリを検出することができる。
【００５８】
なお、第２のグループ化態様のより好ましいものについて、本発明者は特許出願（特願２００３−３７８０９２号）を既に行っているので、その詳細については、必要に応じて、その特許出願に係わる明細書、図面等を参照されたい。ここでは、そのより好ましい態様の構成について、その概要を説明しておくと、各分割エリアの色情報に順次注目し、注目した分割エリアの色情報と該色情報に相互に近似する他の分割エリアの色情報とからなるグループを順次形成して、形成された各グループをそれぞれ代表する代表色情報を求める第１ステップを実行し、各グループの代表色情報に順次注目し、注目したグループの代表色情報と該代表色情報に相互に近似する他のグループの代表色情報とからなる新たなグループを順次形成して、新たに形成された各グループをそれぞれ代表する代表色情報を求める第２ステップを実行し、さらに該第２ステップを代表色情報の値が収束するまで繰り返す。
【００５９】
第１のグループ化態様と第２のグループ化態様の効果の比較を簡単に示しておく。図９（ａ）は、Ｒ／Ｇ座標軸とＢ／Ｇ座標軸とからなる表色座標において、主としてひとつのカタマリに色情報が集中した場合を示しており、図９（ｂ）は、Ｒ／Ｇ座標軸とＢ／Ｇ座標軸とからなる表色座標において、複数のカタマリに色情報が散らばった場合を示している。いずれの場合においても、従来の複数の検出枠を跨るようにしてカタマリが存在しており、このような図９（ａ）又は図９（ｂ）に示すような従来の検出枠を跨るような分布状態である場合には、第２のグループ化態様によれば、図８を用いて説明した第１のグループ化態様と比較して、色情報の分布状態を的確に把握することができ、適正なホワイトバランス補正を施すことができるというメリットがある。一方で、図８を用いて説明した第１のグループ化態様は、検出枠の数が少なくてすむようなシステムにおいては、色情報の分布状態の検出処理が簡易になるというメリットがある。
【００６０】
グループ化（ステップＳ１０８）を行った後、各カタマリごとに、ＥＶ値の平均値（カタマリＥＶ値）を算出する（ステップＳ１１０）。ここで、カタマリＥＶ値は、各カタマリの明るさ情報とも言える。
【００６１】
次に、複数のカタマリ座標からなる母集合から、低色温度光源であるタングステン光源色に近似しているオレンジ、イエロー系（ＲＹ系）の色相の物体色を、カタマリＥＶ値に基づいて除外する。
【００６２】
例えばグレーを目標にしてホワイトバランスを補正する場合を例に説明すると、もしもオレンジ、イエロー系の色相の物体色をタングステン光源色と誤判別してしまった場合には、オレンジ、イエローがグレーに近づくように補正されるとともに、本来グレーであったものが青っぽく補正されてしまうことになる。本発明者は、光源であるならば、色温度が低くなればなるほど一般に低照度になることに着目した。本実施形態では、オレンジ、イエロー系であっても、明るさ（輝度）が色相ごとに定まる所定値以上である場合には、物体色の可能性が極めて高いとして、そのような色情報をホワイトバランス補正値算出用の母集合から除外する。
【００６３】
具体的には、まず、各カタマリごとのＢ／Ｇ値とカタマリＥＶ値（各カタマリの明るさ情報である）とに基づいて、光源色らしさのメンバシップ関数を用い、各カタマリ座標（各カタマリの色情報である）の光源色らしさを検出する(ステップＳ１１２)。
【００６４】
図１０は光源色らしさのメンバシップ関数の一例を示す説明図であり、横軸をカタマリＥＶ値とし、縦軸を各カタマリのＢ／Ｇ値としてあり、斜線を引いた部分は、物体色らしいことを示す。
【００６５】
第ｉ番目のカタマリのカタマリ座標を（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）とし、そのカタマリＥＶ値をＥＶｉとし、カタマリＥＶ値に対する下限の閾値をＸ１、そのＢ／Ｇ値をＹ１とし、上限の閾値をＸ２、そのＢ／Ｇ値をＹ１とする。
【００６６】
そうすると、ＥＶｉ＜Ｘ１のとき、Ｂｉ／Ｇｉ≦Ｙ１ならば、光源色らしさの評価値としてメンバシップ関数は「０」を出力する。
【００６７】
ＥＶｉ＞Ｘ２のとき、Ｂｉ／Ｇｉ≦Ｙ２ならば、光源色らしさの評価値としてメンバシップ関数は「０」を出力する。
【００６８】
Ｘ１≦ＥＶｉ≦Ｘ２のとき、Ｂｉ／Ｇｉ≦（Ｙ２―Ｙ１）／（Ｘ２―Ｘ１）×ＥＶｉ―（Ｘ１×Ｙ２−Ｘ２×Ｙ１）／（Ｘ２−Ｘ１）ならば、光源色らしさの評価値としてメンバシップ関数は「０」を出力する。
【００６９】
そして、光源色らしさが「０」であると評価したカタマリ座標、すなわちタングステン系の光源色に色が近似している物体色のカタマリ座標は、ホワイトバランスの補正値の算出には組み込まないように、カタマリ座標の母集合から除去する（ステップＳ１１４、Ｓ１１６）。そして、ほかにカタマリがあるか否かを判定して（ステップＳ１１８）、全てのカタマリについてステップＳ１１２乃至Ｓ１１６を繰り返す。
【００７０】
ここで、オレンジ、イエロー系の物体色らしいカタマリ座標は、光源の判別やホワイトバランス補正値の算出に用いるカタマリ座標（カタマリの色情報である）の母集合から除外されるので、後述するホワイトバランス補正において、より光源色らしいものを基準としてホワイトバランス補正が施されることになる。
【００７１】
なお、単に明るさ情報のみを用いて光源色らしさ及び物体色らしさの判定を行うと、タングステン光源色に近似する色情報以外の本来ホワイトバランス補正に組み込むべき色情報も除去されてしまうおそれがある。そこで、Ｒ／Ｇ，Ｂ／Ｇ座標系においては、Ｂ／Ｇ値に着目すればタングステン光源系に近似する程度の判定が容易かつ的確であることに着目し、本実施形態では、メンバシップ関数としては、Ｂ／Ｇ値及びＥＶ値の両パラメータに基づいて光源色らしさ及び物体色らしさの評価値を出力するものを用いている。
【００７２】
図４は、オートホワイトバランス制御処理のうち、スポット光らしさ演算処理の流れを示している。この処理では、スポット光らしい色情報をホワイトバランス補正値算出用の母集合から除外する処理を行う。
【００７３】
もしもスポット光を基準にホワイトバランス補正をすると適切な色の画像にならないことが発生する。それは、スポット光は、いわゆる部分光であり、広範囲の領域に光を照射しているわけではないので、そのスポット光を基準にスポット光が照射されていない広範囲の領域においてホワイトバランスを補正してしまうことに因り発生する。スポット光を基準にホワイトバランスを補正すると、スポット光が画面中で支配的でなければ色味残りという作用を引き起こす。色味残りは、タングステンのようなＹＲ系の強い光源などでは高級感のある雰囲気と肯定的にもとれるが、蛍光灯のような光源下では一般に致命的な副作用とみられてしまう。そこで、本実施形態では、スポット光による特に白色系光源下での副作用を防ぐように、面積占有率による光源選別を導入する。
【００７４】
図４において、まず、各カタマリのカタマリ座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）及びカタマリＥＶ値（ＥＶｉ）をメモリ１８から読み込む（ステップＳ１２０）。
【００７５】
次に、撮影画面全体のＥＶ値の平均値（平均ＥＶ値）を算出する（ステップＳ１２２）。
【００７６】
次に、撮影画面上での各カタマリの面積（カタマリ面積）を算出する（ステップＳ１２４）。ここで、本実施形態では、カタマリ面積として、各カタマリに属する分割エリアの個数（すなわち各カタマリに属するＲ／Ｇ，Ｂ／Ｇ値の個数である）を検出する。
【００７７】
次に、複数のカタマリ面積のうちの最大値（最大のカタマリ面積）を検出する（ステップＳ１２６）。ここで、本実施形態では、最大のカタマリ面積として、所属する分割エリアの個数が最大であるカタマリのその分割エリアの個数（すなわち最大のカタマリに属するＲ／Ｇ，Ｂ／Ｇ値の個数である）を検出する。
【００７８】
そして、各カタマリごとにスポット光らしいか否かの判定を行って、スポット光らしいものはホワイトバランス補正値算出用の母集合から除去する処理を行う（ステップＳ１２８乃至Ｓ１３８）。
【００７９】
具体的には、まず、（数式２）に示されるように、各カタマリの明るさを示すカタマリＥＶ値（Ｅｖｉ）と、画面全体の明るさを示す平均ＥＶ値（ＥＶａｖ０）との差を算出し（ステップＳ１２８）、その差が所定の閾値（ＳＰＴ＿ＥＶＴＨ）よりも大きいか否かを判定する（ステップＳ１３０）。
【００８０】
（数式２）
ＥＶｉ―ＥＶａｖ０＞ＳＰＴ＿ＥＶＴＨ
すなわち、画面全体の明るさと比較して所定の閾値以上の差をもって明るいカタマリであるか否かを判定する。
【００８１】
また、（数式３）に示されるように、最大カタマリの面積を示す最大カタマリの分割エリアの個数（ｍ１）と、各カタマリの面積を示す各カタマリごとの分割エリアの個数（ｍｉ）との差を算出し（ステップＳ１３２）、その差が所定の閾値（ＳＰＴ＿ＭＴＨ）よりも大きいか否かを判定する（ステップＳ１３４）。
【００８２】
（数式３）
ｍ１―ｍｉ＞ＳＰＴ＿ＭＴＨ
すなわち、撮影画面内で最大のカタマリと比較して所定の閾値以上の差をもって小さい面積のカタマリであるか否かを判定する。
【００８３】
また、（数式４）に示されるように、各カタマリの明るさを示すカタマリＥＶ値（ＥＶｉ）が、所定の閾値（ＥＶＴＨ２）よりも大きいか否かを判定する（ステップＳ１３６）。
【００８４】
（数式４）
ＥＶｉ＞ＳＰＴ＿ＥＶＴＨ２
すなわち、スポット光特有のある程度の明るさを持ったカタマリであるか否かを判定する。
【００８５】
上記(数式２)、(数式３)及び（数式４）を全て満たすカタマリは、スポット光らしいと判別して、ホワイトバランスの補正値の算出には組み込まないように、そのカタマリの色情報としてのカタマリ座標をホワイトバランス補正値算出用の母集合から除去する（ステップＳ１３８）。
【００８６】
そして、ほかにカタマリがあるか否かを判定して（ステップＳ１４０）、全てのカタマリについてスポット光らしい色情報を除外する処理（ステップＳ１２８乃至Ｓ１３８）を繰り返す。
【００８７】
すなわち、画面全体の明るさの平均よりも十分に明るく、画面全体に占める面積が他の色の部分と比較して十分に小さく、しかも、スポット光源特有のある程度の明るさを持ったカタマリの色情報（カタマリ座標）は、スポット光らしいとして、母集合から除外する。
【００８８】
なお、このようなスポット光源の排除は、特に画質に影響を与えやすいある特定の色温度領域に限定したい。そこで、スポット光らしいものが表色座標上で蛍光灯や晴れの検出枠に入ったときだけ除去されるように、特定の光源検出枠（蛍光灯光源枠など）をスポット光の除去枠として予め指定しておき、そのような除去枠に入ったときだけスポット光らしいものを除去するように構成すると、より好ましい。
【００８９】
また、閾値ＳＰＴ＿ＥＶＴＨ、ＳＰＴ＿ＭＴＨ、ＳＰＴ＿ＥＶＴＨ２は、適当な値をＲＯＭ１６に予め設定しておく。
【００９０】
図３のフローチャートを用いて説明した明るさ依存の物体色らしさ演算処理では、タングステン光源や白色蛍光灯などの所定の光源色と誤判別し易い物体色らしい色情報をホワイトバランス補正値算出用の母集合から除去し、図４のフローチャートを用いて説明したスポット光らしさ演算処理では、画面中で支配的でないスポット光源らしい色情報をホワイトバランス補正値算出用の母集合から除去した。図５のフローチャートを用いて以下に説明する彩度基準定義処理では、従来、表色座標上でグレーに最も近いものを基準光源として彩度基準を定義していたものを、明るさによって屋内屋外ごとに表色座標上の目標値を変動させて、その目標値からの表色座標上での距離によって彩度基準を定義する制御を行う。
【００９１】
ここで、本発明の理解を容易にするために、ホワイトバランス補正値（ゲイン値）の算出の概要について説明しておく。
【００９２】
ホワイトバランス補正値を算出するためには、ホワイトバランス補正値の算出に用いる重み付け係数である色評価値ＨＣＬｉを算出する必要がある。この色評価値ＨＣＬｉは、彩度評価値ＨＳｉ及び明るさの要素から算出される。すなわち、ホワイトバランス補正値は、（数式５）で表される。
【００９３】
（数式５）
Ｆ（色評価値ＨＣＬｉ）＝Ｆ（彩度評価値ＨＳｉ）×Ｆ（明るさの要素）
ここで、明るさの要素は、撮影露出値及び被写体の明るさに基づいて算出されるＥＶ値によって決定される。また、彩度評価値ＨＳｉは、原則として、表色座標空間上で低彩度光源の座標からの距離（基準光源からの彩度距離）に基づいて算出される。
【００９４】
（数式５）にしたがって、彩度評価値ＨＳｉを算出し、彩度評価値ＨＳｉと明るさの要素に基づいて色評価値ＨＣＬｉを算出し、その色評価値ＨＣＬｉに基づいてホワイトバランス補正値（ゲイン値）を算出する処理について、その詳細を以下説明する。
【００９５】
まず、図３を用いて説明したカタマリ演算処理によって求められた、各カタマリの色情報としてのカタマリ座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）を、メモリ１８から読み込む（ステップＳ１４２）。
【００９６】
次に、撮影シーンにおける撮影画面の全体の明るさ（輝度）を示すＥＶ値（平均ＥＶ値）を算出する（ステップＳ１４４）。Ｓ１スイッチオン時の輝度を示すＥＶ値を読み込んでもよい。
【００９７】
次に、彩度距離の目標座標設定がオンであるか否かを判定する（ステップＳ１４６）。すなわち、表色座標上の基準点として、グレーの座標（１，１）を用いるか、それとも、明るさに応じてグレーの座標（１，１）から変動する座標を用いるかを判定する。
【００９８】
ここでの目標座標設定のオン／オフの判定の結果、オフである場合には、グレーの座標（１，１）を目標座標に設定する（ステップＳ１４８）。すなわち、目標座標設定をオフとすることにより、従来と同様にグレーの座標（１，１）を目標座標に固定することも可能である。
【００９９】
その一方で、目標座標設定がオンである場合には、明るさに応じてグレーの座標から変動する座標を目標座標に設定する処理を実行する（ステップＳ１５０乃至Ｓ１５６）。
【０１００】
具体的には、まず、ＥＶ閾値（下限値E_CBT_EV1及び上限値E_CBT_EV2）と、低輝度時の目標座標（E_CBT_R，E_CBT_B）とを、これらが予め設定されたＲＯＭ１６から読み込む（ステップＳ１５２）。ここでＥＶ閾値は、目標座標をグレーの座標から変動し得る明るさ（平均ＥＶ値）の範囲を示す。また、低輝度時の目標座標（E_CBT_R，E_CBT_B）は、明るさ（平均ＥＶ値）がＥＶ閾値の下限値E_CBT_EV1よりも小さいときに設定する目標座標である。
【０１０１】
次に、明るさに応じて変動する目標座標（CBT_R，CBT_B）を出力するメンバシップ関数を用いて、その目標座標を求める（ステップＳ１５２）。メンバシップ関数の例を図１１に示す。ここで、平均ＥＶ値（明るさ情報）がＥＶ閾値（下限値E_CBT_EV1及び上限値E_CBT_EV2）によって示される範囲内であれば、平均ＥＶ値（明るさ情報）に応じて、図１１に示すように変動する目標座標（CBT_R，CBT_B）が出力される。なお、平均ＥＶ値（明るさ情報）が下限のＥＶ閾値E_CBT_EV1より小さいときには、低輝度時の目標設定座標（E_CBT_R，E_CBT_B）が出力され、平均ＥＶ値（明るさ情報）が上限のＥＶ閾値E_CBT_EV2より大きいときには、グレー座標（１，１）が出力される。
【０１０２】
ただし、表色座標（Ｒ／Ｇ，Ｂ／Ｇ）上で目標座標変更を許容する指定検出枠内に目標座標があるか否かを判定して（ステップＳ１５４）、その検出枠外であれば、メンバシップ関数の出力を無効にして、目標座標にグレーの座標（１，１）を設定する（ステップＳ１４８）。
【０１０３】
目標座標設定がオンであって、目標座標が指定検出枠内である場合には、明るさに応じてグレーの座標から変動する座標（CBT_R，CBT_B）を、彩度距離の目標座標に設定する（ステップＳ１５６）。
【０１０４】
次に、表色座標（Ｒ／Ｇ，Ｂ／Ｇ）上で目標座標から各カタマリ座標までの彩度距離ΔＳを算出する（ステップＳ１６６）。
【０１０５】
なお、グレーの座標（１，１）を目標座標に設定した場合、各カタマリ座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）の彩度距離ΔＳは（数式６）によって求められる。
【０１０６】
（数式６）
ΔＳｉ＝｛（１−Ｒｉ／Ｇｉ）2 ＋（１−Ｂｉ／Ｇｉ）2 ｝1/2
明るさに応じてグレーから変動する座標（CBT_R，CBT_B）を目標座標に設定した場合、各カタマリ座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）の彩度距離ΔＳは（数式７）によって求められる。
【０１０７】
（数式７）
ΔＳｉ＝｛（CBT_R−Ｒｉ／Ｇｉ）2 ＋（CBT_B−Ｂｉ／Ｇｉ）2 ｝1/2
次のカタマリがあるか否かを判定して（ステップＳ１６４）、全てのカタマリについて彩度距離ΔＳを算出し（ステップＳ１６２）、彩度距離ΔＳが最小のカタマリを検出し（ステップＳ１６６）、彩度距離ΔＳｉが最小のカタマリを基準光源と定義する（ステップＳ１６８）。すなわち、表色座標（Ｒ／Ｇ，Ｂ／Ｇ座標）上で目標座標に最も近いカタマリ座標（カタマリを代表する色情報）を基準光源の座標と定義する。
【０１０８】
図６は、彩度基準定義処理で定めた基準光源を基準にホワイトバランス補正値を算出する処理（ホワイトバランス補正値算出処理）の流れを示すフローチャートである。
【０１０９】
まず、表色座標上において、基準光源からそれ以外の各カタマリまでの彩度距離ΔＤｉを求める（ステップＳ１７０）。
【０１１０】
基準光源と定義したカタマリの代表座標（基準光源座標）を（Ｘｎ、Ｙｎ）とし、他のカタマリ座標を（Ｘｉ、Ｙｉ）とすると、基準光源からの彩度距離ΔＤｉは（数式８）によって求められる。
【０１１１】
（数式８）
ΔＤｉ＝｛（Ｘｎ−Ｘｉ）2 ＋（Ｙｎ−Ｙｉ）2 ｝1/2 
次に、図１２に示すような彩度評価値用のメンバシップ関数を用いて彩度評価値ＨＳｉを求める（ステップＳ１７２）。
【０１１２】
図１２に示す彩度評価値用のメンバシップ関数は、基準光源から近い撮影画面上の部分は光源色が支配的であるとして彩度評価値を大きくし、基準光源から遠くなるにしたがってその撮影画面上の部分は物体色が支配的であるとして彩度評価値を小さくするものである。
【０１１３】
つまり、Ｒ／Ｇ軸，Ｂ／Ｇ軸上でみると、図１３のようになる。図１３において、第一近隣円４００の内側にある場合には、光源色が支配的であるとして彩度評価値を大きく、第二近隣円４０２の外側にある場合には、この円から離れれば離れるほど物体色が支配的であるとして彩度評価値を低くする。
【０１１４】
以上のようにして彩度評価値ＨＳｉを求めたのち、明るさ評価値を算出し（ステップＳ１７４）、前述の（数式５）にように、彩度評価値ＨＳｉと明るさ評価値（明るさの要素）とに基づいて、ホワイトバランス補正値の重み付け係数である色評価値ＨＣＬｉを算出する（ステップＳ１７６）。
【０１１５】
次に、算出された色評価値ＨＣＬｉに基づいてホワイトバランス補正値（ゲイン値）を算出する（ステップＳ１７８）。
【０１１６】
具体的には、（数式９）に示されような、それぞれのカタマリ座標を目標値にもっていくようなＲ／Ｇ，Ｂ／ＧゲインＧｒ'、Ｇｂ'が算出される。
【０１１７】
（数式９）
Ｇｒ'＝Σ（Ｇｒｉ×ＨＣＬｉ）／ΣＨＣＬｉ
Ｇｂ'＝Σ（Ｇｂｉ×ＨＣＬｉ）／ΣＨＣＬｉ
以上のようにして求めたＲ／Ｇ，Ｂ／Ｇゲイン値Ｇｒ'、Ｇｂ'を、Ｒ，Ｇ，Ｂごとのゲイン値Ｒｇ，Ｇｇ，Ｂｇに変換した後、図２に示すホワイトバランス補正用のＲ，Ｇ，Ｂ別の乗算器１４０Ｒ、１４０Ｇ、１４０Ｂに設定する（ステップＳ１８０）。
【０１１８】
このようにしてホワイトバランス補正値としてのゲイン値が設定されると、Ｒ，Ｇ，Ｂ各色別の画像信号のホワイトバランスが補正される。
【０１１９】
特に室内は、色温度が低くなればなるほど黄色に黄赤が足されていき、グレーのものでも黄赤ぎみになる。人の視認では、本来グレーのものはグレーであると認識しようとする順応が働くが、不完全順応なので、本来グレーのものもある程度、黄赤気味の色として色味が残ることになる。このような点に着目し、本実施形態でも、彩度の基準となる目標値をシーンに応じて黄赤気味に設定する。光源は低色温度になるにつれて低照度になる性質をもっているので、輝度が低ければ低いほど彩度基準となる目標値を黄赤気味にもっていくように設定できる。
【０１２０】
これによって、黄赤気味の光源下に補色色相となるような物体が存在していたとしても、目標値があらかじめ黄赤に設定されるので、カラーフェリア現象を防止できるとともに最適なホワイトバランス補正が施されるようにすることができる。
【０１２１】
また、逆に、高色温度領域においても、明るさに応じて目標値を変動させることにより、カラーフェリア現象が防止されるとともに最適なホワイトバランス補正が施される。
【０１２２】
以上説明したようなオートホワイトバランス制御処理を行うホワイトバランス補正装置の機能的なブロック図を図７に示す。
【０１２３】
図７において、ホワイトバランス補正装置１０は、主として、画像信号取得部５６ａと、色情報検出部１２ａと、明るさ情報検出部１２ｂと、カタマリ演算部１２ｃと、物体色らしさ演算部１２ｄと、スポット光らしさ演算部１２ｅと、目標値変動部１２ｆ、及び、目標値からの彩度距離演算部１２ｇからなる彩度基準定義部１２ｈと、光源判別部１２ｉ、光源からの彩度距離演算部１２ｊ、彩度評価値算出部１２ｋ、明るさ評価値算出部１２ｍ、及び、重み付け演算部１２ｎからなるホワイトバランス補正値算出部１２ｐと、ホワイトバランス補正部１００ａと、画像信号出力部１００ｂと、メモリ１８を含んで構成される。
【０１２４】
画像信号取得部５６ａは、各色別の画像信号を取得するものである。
【０１２５】
色情報検出部１２ａは、撮影画面の各分割エリアごとの色情報を各分割エリア内の画像信号に基づいて検出するものである。
【０１２６】
明るさ情報算出部１２ｂは、撮影画面の全体の明るさ情報、及び、撮影画面の各分割エリアごとの明るさ情報を画像信号に基づいて検出するものである。
【０１２７】
カタマリ演算部１２ｃは、表色座標上において色情報のカタマリを検出するとともに、各カタマリを代表する色情報（カタマリ座標）と、各カタマリを代表する明るさ情報（カタマリＥＶ値）と、各カタマリの撮影画面上における面積（カタマリ面積）を検出するものである。
【０１２８】
なお、カタマリは、互いに色が近似する分割エリアの集合であって、したがって撮影画面の部分であり、カタマリ座標は、各部分の色情報であり、カタマリＥＶ値は、各部分の明るさ情報であり、カタマリ面積は、各部分の面積である。
【０１２９】
ここで、カタマリは、表色座標上で座標（色）が近似して塊となっている分割エリアの集合であり、必ずしも撮影画面上での位置が近似して塊となっている分割エリアを集合させたものとはならず、撮影画面上での位置が散らばっている複数の分割エリアがひとつのカタマリを形成する場合もある。
【０１３０】
物体色らしさ演算部１２ｄは、撮影画面の各部分の色情情報及び明るさ情報に基づいて撮影画面の各部分の色情報の物体色らしさ及び光源色らしさを検出し、撮影画面内の複数の色情報から、所定の光源色（例えば、タングステン光源色）に近似している物体色らしい色情報（すなわち明るさ情報に基づいて光源色らしくないと判定される色情報）を除去するものである。
【０１３１】
スポット光らしさ演算部１２ｅは、撮影画面の各部分内の画像信号及び色情報に基づいて撮影画面の各部分の色情報のスポット光らしさを検出し、撮影画面内の複数の色情報からスポット光らしい色情報を除去するものである。具体的には、カタマリＥＶ値及びカタマリ面積に基づいて、画面中での面積占有率、他のカタマリとの明るさの差（明るさの相対値）及び明るさの絶対値を判定して、スポット光らしいカタマリ座標を検出し除去する。
【０１３２】
目標値変動部１２ｆは、撮影画面の全体又は所定の部分の明るさ情報に応じて、光源判別の基準となる色情報の目標値（目標座標）をグレーから変動させるものである。
【０１３３】
目標値からの彩度距離演算部１２ｇは、表色座標上における目標値（目標座標）からの距離（彩度距離）を算出するものである。
【０１３４】
彩度基準定義部１２ｈは、目標値（目標座標）からの彩度距離に基づいて基準光源を定めるものである。
【０１３５】
光源判別部１２ｉは、目標値（目標座標）と撮影画面の各部分の色情報とに基づいて光源の部分を判別するものである。
【０１３６】
基準光源からの彩度距離演算部１２ｊは、表色座標上における基準光源の座標からの距離（彩度距離）を算出するものである。
【０１３７】
彩度評価値算出部１２ｋは、基準光源の座標からの距離（彩度距離）に基づいて彩度評価値を算出するものである。
【０１３８】
明るさ評価値算出部１２ｍは、明るさ評価値を算出するものである。
【０１３９】
重み付け演算部１２ｎは、ホワイトバランス補正値の重み付け係数である色評価値を彩度評価値及び明るさ評価値に基づいて算出するものである。
【０１４０】
ホワイトバランス補正値算出部１２ｐは、画像信号のホワイトバランスを補正するように、画像信号に対してゲインとして与えるホワイトバランス補正値を算出するものである。具体的には、彩度評価値と明るさ評価値とに基づいて算出された色評価値で重み付けを行ってホワイトバランス補正値を算出する。
【０１４１】
ホワイトバランス補正部１００ａは、画像信号に対してホワイトバランス補正値よる演算を行って、ホワイトバランスを補正するものである。
【０１４２】
画像信号出力部１００ｂは、ホワイトバランスが補正された画像信号を出力するものである。
【０１４３】
なお、図７に示した機能的構成のホワイトバランス補正装置１０の構成要素と、図２に示した具体的構成のホワイトバランス補正装置１０の要部の構成要素との関係について簡略に説明すると、画像信号取得部５６ａは、図２の画像入力コントローラ５７によって構成され、色情報算出部１２ａ、明るさ情報算出部１２ｂ、カタマリ演算部１２ｃ、物体色らしさ演算部１２ｄ、スポット光らしさ演算部１２ｅ、彩度基準定義部１２ｈ、及び、ホワイトバランス補正値算出部１２ｐは、図２のＣＰＵ１２によって構成され、ホワイトバランス補正部１００ａ、及び、画像信号出力部１００ｂは、図２のデジタル信号処理回路１００によって構成されている。
【０１４４】
なお、図８を用いて説明した検出枠により撮影画面の部分集合であるカタマリを検出する態様と、図９を用いて説明した検出枠を用いないで撮影画面の部分集合であるカタマリを検出する態様とは、それぞれ別個の態様として実施してもよく、また、２つの態様を併合させて実施してもよい。
【０１４５】
また、本発明は、カタマリ検出を行う場合に限定されるものではなく、各カタマリごとの色情報及び明るさ情報を算出することなく、各分割エリアごとの色情報及び明るさ情報を用いてホワイトバランス補正を行う場合にも適用可能である。
【０１４６】
また、カラーの画像信号が、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色の画像信号である場合を例に説明したが、それ以外のカラーの画像信号（例えば、Ｙ（イエロー），Ｍ（マゼンタ），Ｃ（シアン）の各色の画像信号）に対してホワイトバランス補正を施す場合に本発明を適用してもよいことは言うまでもない。
【０１４７】
また、色情報を表す座標（表色座標）が、（Ｒ／Ｇ，Ｂ／Ｇ）座標である場合を例に説明したが、本発明は、表色座標がこのような（Ｒ／Ｇ，Ｂ／Ｇ）座標である場合に特に限定されるものではなく、彩度及び明るさを求めることが可能なその他の表色座標を用いるようにしてもよい。その場合、表色座標として、取得した画像信号の表色座標と同じ表色座標を用いてもよい。例えば、（Ｒ，Ｇ，Ｂ）座標をそのまま用いるようにしてもよい。
【０１４８】
また、ホワイトバランス補正装置がデジタルカメラである場合を例に説明したが、本発明は特にデジタルカメラに限定されるものではなく、画像表示装置、ビデオカメラ、カメラ付き携帯電話など、カラーの画像信号に対してホワイトバランス補正を施すあらゆるホワイトバランス補正装置に適用してもよいことは言うまでもない。
【０１４９】
その他、本発明は、実施形態において説明した例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってもよいのはもちろんである。
【図面の簡単な説明】
【０１５０】
【図１】本発明に係るホワイトバランス補正装置の一実施形態としてのデジタルカメラの例を示すブロック図
【図２】ホワイトバランス補正装置の要部を示すブロック図
【図３】本発明に係るホワイトバランス補正方法の一実施形態の流れを示す第１のフローチャート
【図４】本発明に係るホワイトバランス補正方法の一実施形態の流れを示す第２のフローチャート
【図５】本発明に係るホワイトバランス補正方法の一実施形態の流れを示す第３のフローチャート
【図６】本発明に係るホワイトバランス補正方法の一実施形態の流れを示す第４のフローチャート
【図７】本発明に係るホワイトバランス補正装置の一実施形態の機能的な構成を示すブロック図
【図８】表色座標上に設けられた検出枠の例を示す説明図
【図９】表色座標上のカタマリ分布の例を示す説明図
【図１０】明るさ情報をパラメータとして物体色らしさの評価値を出力する関数の例を示す説明図
【図１１】明るさ情報をパラメータとして変動する目標値を出力する関数の例を示す説明図
【図１２】彩度評価値を出力する関数の例を示す説明図
【図１３】表色座標上で基準光源からの距離に基づいて光源判別を行う処理の説明に用いる説明図
【符号の説明】
【０１５１】
１０…ホワイトバランス補正装置（カメラ）、１２…ＣＰＵ、１２ａ…色情報検出部、１２ｂ…明るさ情報検出部、１２ｃ…カタマリ演算部、１２ｄ…物体色らしさ演算部、１２ｅ…スポット光らしさ演算部、１２ｆ…目標値変動部、１２ｇ…目標値からの彩度距離演算部、１２ｈ…彩度基準定義部、１２ｉ…光源判別部、１２ｊ…光源からの彩度距離演算部、１２ｋ…彩度評価値算出部、１２ｍ…明るさ評価値算出部、１２ｎ…重み付け演算部、１２ｐ…ホワイトバランス補正値算出部、１８…メモリ、３８…ＣＣＤ（固体撮像素子）、５６…画像入力コントローラ、１００…デジタル信号処理回路、１１２…積算回路
【図１】
2006148464.tif 000003
【図２】
2006148464.tif 000004
【図３】
2006148464.tif 000005
【図４】
2006148464.tif 000006
【図５】
2006148464.tif 000007
【図６】
2006148464.tif 000008
【図７】
2006148464.tif 000009
【図８】
2006148464.tif 000010
【図９】
2006148464.tif 000011
【図１０】
2006148464.tif 000012
【図１１】
2006148464.tif 000013
【図１２】
2006148464.tif 000014
【図１３】
2006148464.tif 000015