(57)【特許請求の範囲】
【請求項１】
カラー撮像素子から得られる各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整するホワイトバランス調整方法において、
１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求める第１ステップと、
各分割エリアの色情報に順次注目し、注目した分割エリアの色情報と該色情報に相互に近似する他の分割エリアの色情報とからなるグループを順次形成して、形成された各グループをそれぞれ代表する代表色情報を求める第２ステップと、
各グループの代表色情報に順次注目し、注目したグループの代表色情報と該代表色情報に相互に近似する他のグループの代表色情報とからなる新たなグループを順次形成して、新たに形成された各グループをそれぞれ代表する代表色情報を求める第３ステップと、
該第３ステップを代表色情報の値が収束するまで繰り返し、最後に形成されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出する第４ステップと、
を含むことを特徴とするホワイトバランス調整方法。
【請求項２】
各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整する画像処理装置であって、
１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求める手段と、
各分割エリアの色情報に順次注目し、注目した分割エリアの色情報と該色情報に相互に近似する他の分割エリアの色情報とからなるグループを順次形成して、形成された各グループをそれぞれ代表する代表色情報を求める手段と、
各グループの代表色情報に順次注目し、注目したグループの代表色情報と該代表色情報に相互に近似する他のグループの代表色情報とからなる新たなグループを順次形成して、新たに形成された各グループをそれぞれ代表する代表色情報を求め、この新たなグループの形成を代表色情報が収束するまで繰り返す手段と、
最後に形成されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出する手段と、
を備えたことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はホワイトバランス調整方法および画像処理装置に係り、特にカラー撮像素子によって得られた画像信号に適正なホワイトバランス調整を施すことができるホワイトバランス調整方法および画像処理装置に関する。
【背景技術】
【０００２】
カラー撮像素子によって得られた画像信号にホワイトバランス調整を施す際、光源色は低彩度である確率が高いことに着目し、撮影画面内で低彩度の部分を検出し、この低彩度の部分の色温度に依存したホワイトバランス補正値を用いてホワイトバランス調整を行うものが知られている（例えば特許文献１を参照）。
【０００３】
また、複数種類の撮影シーンにそれぞれ適合したホワイトバランス調整を行えるように、撮影画面内の分割エリアごとに色情報を求め、各分割エリアの色情報が所定の色座標上で用意された複数の光源検出枠の何れに入るか否かを判定することによって光源種を検出し、検出された光源種に適したホワイトバランス調整を行うようにしたものが知られている（例えば特許文献２を参照）。このような光源検出枠を用いたホワイトバランス調整方法によれば、日中光源色などの低彩度の光源色のみに依存したホワイトバランス調整しかできない場合と比較して、複数種類の撮影シーンにそれぞれ適合した適正なホワイトバランス調整を行うことができる。
【特許文献１】特開平６−９８３３５号公報
【特許文献２】特開２０００−２２４６０８号公報
【特許文献３】特開平８−２８９３１４号公報
【特許文献４】特開平１１−１０２４３０号公報
【特許文献５】特開２０００−１５２０１８号公報
【特許文献６】特開２０００−３５０２３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述の光源検出枠を用いたホワイトバランス調整方法では、一般に、色座標上での検出枠の範囲を規定する座標値などのパラメータを、検出枠ごとに予め用意する必要がある。様々な撮影シーンへの更にきめ細かで更に広範囲な追従性を追求し、検出可能な光源種を更に増やしていこうとすると、検出枠数の増加や色座標上での検出枠同士の干渉などに起因して、予め用意しなければならないパラメータ数が増加するとともに、パラメータの精度も要求されていくことになる。特に、色座標上で検出枠同士の境界や狭間に色情報群が分布した場合の扱いが難しい。検出枠を用いる方法では、撮影時の画角の違いやカメラの機種の違いなどに起因する誤検出を防ぐ対策も必要である。
【０００５】
また、様々な撮影シーンへの追従性を追及していくと、色情報が物体色を示すか光源色を示すかの判別の困難性に関する課題も顕在化してくる。例えば、色座標上において赤黄系の物体色はタングステン光源と酷似しており、物体色であるか光源色であるかの判別が難しい。したがって、物体色に対する確実なホワイトバランス調整を優先してタングステン光源に対する適正なホワイトバランス調整をある程度犠牲にするとか、光源に対する適正なホワイトバランス調整を優先して物体色のカラーフェリア現象（物体色を光源色と誤判断して物体色が白く補正されてしまう現象）にある程度目をつぶるといったような、いわゆるトレードオフの調整が必要である。検出枠の数が限られているうちは、このようなトレードオフへの対処は比較的容易であるが、前述したように光源検出枠数を増やして、様々な撮影シーンへの追従性を追求しようとすればするほど、このようなトレードオフに関する課題が顕在化する。具体的には、色座標上での検出枠の範囲を規定する座標値などのパラメータ値を入念に検討する必要が生じる。このような検出枠に関するパラメータ値は調整する際に相当の注意を要する。
【０００６】
本発明はこのような事情に鑑みてなされたもので、光源検出枠を用いなくても様々な撮影シーンにそれぞれ適合した適正なホワイトバランス調整を画像信号に施すことができるホワイトバランス調整方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、請求項１に記載の発明は、カラー撮像素子から得られる各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整するホワイトバランス調整方法において、１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求める第１ステップと、各分割エリアの色情報に順次注目し、注目した分割エリアの色情報と該色情報に相互に近似する他の分割エリアの色情報とからなるグループを順次形成して、形成された各グループをそれぞれ代表する代表色情報を求める第２ステップと、各グループの代表色情報に順次注目し、注目したグループの代表色情報と該代表色情報に相互に近似する他のグループの代表色情報とからなる新たなグループを順次形成して、新たに形成された各グループをそれぞれ代表する代表色情報を求める第３ステップと、該第３ステップを代表色情報の値が収束するまで繰り返し、最後に形成されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出する第４ステップとを含むことを特徴としている。
【０００８】
この構成によって、光源検出枠を用いなくても、各分割エリアの色情報をグループ化することができ、特に、グループの再形成を繰り返すことによって色情報の分布状態の検出精度が上昇していき、色座標上での色情報の分布に適合した適正なホワイトバランス補正値が得られることになる。また、従来設けられていた光源検出枠同士の境界や狭間の位置に色情報が集中した場合であっても、色座標上の色情報の分布に適合した適正なホワイトバランス補正値が得られることになる。
【００２８】
また、請求項２に記載の発明は、各色別の画像信号に基づいてホワイトバランス補正値を算出し、前記算出したホワイトバランス補正値に基づいて前記画像信号のホワイトバランスを調整する画像処理装置であって、１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内の各色別の画像信号に基づいて求める手段と、各分割エリアの色情報に順次注目し、注目した分割エリアの色情報と該色情報に相互に近似する他の分割エリアの色情報とからなるグループを順次形成して、形成された各グループをそれぞれ代表する代表色情報を決定する手段と、各グループの代表色情報に順次注目し、注目したグループの代表色情報と該代表色情報に相互に近似する他のグループの代表色情報とからなる新たなグループを順次形成して、新たに形成された各グループをそれぞれ代表する代表色情報を決定し、この新たなグループの順次形成と代表色情報の決定とを代表色情報が収束するまで繰り返す手段と、最後に形成されたグループの代表色情報に基づいて前記ホワイトバランス補正値を算出する手段とを備えたことを特徴としている。
【００３０】
請求項２の画像処理装置は、デジタルカメラに限らず、携帯電話、パーソナルコンピュータ等、画像信号にホワイトバランス調整を施すあらゆるデジタル機器に適用可能である。
【００３１】
また、「画像信号」とは、所定の記録媒体に一旦記録された画像データや、インターネットなどにより伝送される画像データを含み、本発明はホワイトバランス調整を行う様々な態様に適用可能である。
【発明の効果】
【００３２】
本発明によれば、光源検出枠を用いなくても、様々な撮影シーンにそれぞれ適合した適正なホワイトバランス調整を画像信号に施すことができる。
【発明を実施するための最良の形態】
【００３３】
以下添付図面に従って本発明を実施するための最良の形態について、以下、詳細に説明する。
【００３４】
図１は、本発明に係るホワイトバランス調整方法を適用したカメラ（画像処理装置）の概略構成を示すブロック図である。
【００３５】
このカメラ１０は、静止画や動画の撮影機能を備えたデジタルカメラである。
【００３６】
カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。ＣＰＵ１２は、所定のプログラムに従って本カメラ１０を制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）演算など、各種演算を実施する演算手段として機能する。
【００３７】
バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラムやプログラムの動作に必要な各種の固定データなどが格納され、ＥＥＰＲＯＭ１７には、カメラ１０の動作に関する各種の設定データなどが格納されている。メモリ（ＳＤＲＡＭ）１８は、ＣＰＵ１２が行う各種演算用の領域として利用されるとともに、画像データの一時記憶領域として利用される。ＶＲＡＭ２０は、画像表示用の画像データを一時記憶するものであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。
【００３８】
カメラ１０には、モード選択スイッチ２２および撮影ボタン２４が設けられている。また、メニューキー、ＯＫキー、十字キー、キャンセルキーなどからなる画面操作キー２６が設けられている。これら各種の操作手段（２２、２４、２６）からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は、入力信号に基づいてカメラ１０の各部を制御し、レンズ駆動制御、撮像制御、画像信号処理制御、画像記録制御、画像再生制御などの制御を行うようになっている。
【００３９】
モード選択スイッチ２２は、被写体を撮影して画像データを所定の記録メディア３２に記録するための撮影モードと、記録メディア３２に記録された画像データを再生するための再生モードとを切り替えるための操作手段である。可動切片２２Ａが接点ａに接続されると撮影モードが設定され、可動切片２２Ａが接点ｂに接続されると再生モードが設定されるようになっている。撮影ボタン２４は、撮影準備指示や撮影開始指示を入力するための操作手段であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。メニューキーは、画像表示装置２８の画面上にメニューを表示させる指示を入力するための操作手段である。ＯＫキーは、選択された内容の確定および実行などの指示を入力するための操作手段である。十字キーは、メニュー内の項目の選択などのために上下左右４方向の指示を入力する操作手段である。キャンセルキーは、選択内容や指示内容などの取消の指示を入力する操作手段である。
【００４０】
画像表示装置２８は、カラー表示可能な液晶ディスプレイ（ＬＣＤ）で構成されている。画像表示装置２８は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置２８は、ユーザインタフェース用表示画面としても利用され、必要に応じてメニューや選択項目、設定内容などの情報が表示される。
【００４１】
メディアコントローラ３４は、メディアソケット３０に装着される記録メディア３２に適した入出力信号の受け渡しを行うために所定の信号変換を行う。
【００４２】
ＵＳＢインタフェース部３６は、パソコンその他の外部機器をカメラ１０に接続するための手段である。図示せぬＵＳＢケーブルを用いてカメラ１０と外部機器を接続することにより、外部機器との間でデータの受け渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、IEE1394や無線その他の通信方式を適用してもよい。
【００４３】
次にカメラ１０の撮影機能について説明する。
【００４４】
モード選択スイッチ２２によって撮影モードが選択されると、ＣＣＤ３８を含む撮影に関する部分（撮影部）に電源が供給され、撮影可能な状態になる。
【００４５】
レンズユニット４０は、フォーカスレンズを含む撮影レンズ４２と絞り兼用メカシャッタ４４とを含む光学ユニットである。レンズユニット４０は、ＣＰＵ１２によって制御されるレンズ駆動部４６、絞り駆動部４８によって電動駆動されることにより、ズーム制御、フォーカス制御およびアイリス制御が行われる。レンズユニット４０を通過した光は、ＣＣＤ３８の受光面に結像される。ＣＣＤ３８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤ、Ｇストライプなど）で配置されている。また、ＣＣＤ３８は、電荷蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。ＣＰＵ１２は、タイミングジェネレータ５０を介してＣＣＤ３８での電荷蓄積時間を制御する。ＣＣＤ３８の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指示に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（Ｒ，Ｇ，Ｂ各色別の画像信号）として順次読み出される。
【００４６】
ＣＣＤ３８から取り出されたＲ，Ｇ，Ｂ各色別の画像信号は、アナログ処理部（ＣＤＳ／ＡＭＰ回路）５２に送られ、ここで画素ごとにサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５４に与えられ、アナログからデジタルに変換される。Ａ／Ｄ変換器５４から出力された画像信号は、画像入力コントローラ５６を介してメモリ１８に一時記憶される。画像信号処理回路５８は、メモリ１８に記憶されたＲ，Ｇ，Ｂ各色別の画像信号をＣＰＵ１２の指示に従って処理する。具体的には、画像信号処理回路５８は、同時化回路（ＣＣＤ３８のカラーフィルタ配列などに伴なうＲ，Ｇ，Ｂ信号の空間的なズレを補正して画像信号を同時式に変換する回路）、ホワイトバランス調整回路、ガンマ補正回路、Ｙ／Ｃ信号生成回路などを含む画像信号処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ１８を用いながら所定の画像信号処理を行う。画像信号処理回５８の処理により得られた画像データはＶＲＡＭ２０に格納される。
【００４７】
画像表示装置２８への画像の出力については、ＶＲＡＭ２０から画像データが読み出され、バス１４を介してビデオエンコーダ６０に送られる。ビデオエンコーダ６０は、入力された画像データを表示用の所定方式（例えばＮＴＳＣ方式）の信号に変換して画像表示装置２８に出力する。具体的には、ＣＣＤ３８から出力された画像信号は、１コマごとの画像データとしてＶＲＡＭ２０のＡ領域２０ＡとＢ領域２０Ｂとに交互に書き換えられる。これらのＡ領域２０ＡおよびＢ領域２０Ｂのうち、画像データが書き換えられている方の領域以外の領域から、画像データが読み出される。そして、ＶＲＡＭ２０内の画像データが定期的に書き換えられることにより、撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。
【００４８】
撮影画角を確認した撮影者により撮影ボタン２４が半押しされ、Ｓ１がオンすると、ＣＰＵ１２は、撮影準備処理として、ＡＥおよびＡＦ処理を開始する。ＣＣＤ３８から出力されたＲ，Ｇ，Ｂ各色別の画像信号は、ＣＤＳ／ＡＭＰ回路５２、Ａ／Ｄ変換器５４および画像入力コントローラ５６を介して、メモリ１８に一時記憶されるとともに、ＡＦ検出回路６２およびＡＥ／ＡＷＢ検出回路６４に入力される。
【００４９】
ＡＥ／ＡＷＢ検出回路６４は、１画面を複数のエリア（例えば、８×８、１６×１６）に分割し、分割エリアごとにＲ，Ｇ，Ｂ各色別の画像信号を積算する回路を含み、その積算値をＣＰＵ１２に提供する。ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から取得した積算値に基づいて被写体輝度を検出し、被写体輝度に対応するＥＶ値を算出する。このＥＶ値は、画面全体のＥＶ値、および、画面上の分割エリアごとのＥＶ値など、後述のホワイトバランス調整処理で参照可能に整理されて、メモリ１８に記憶される。ＣＰＵ１２は、所定のプログラム線図に従い、絞り値とシャッタスピードを決定し、これらに従いＣＣＤ３８の電子シャッタおよびレンズユニット４０のアイリス４４を制御して適正な露光量を得る。
【００５０】
本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば画面中央部）に予め設定されているフォーカス対像エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。ＡＦ検出回路６２で求めた積算値のデータはＣＰＵ１２に通知される。ＣＰＵ１２は、レンズ駆動部４６を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにレンズ駆動部４６を制御する。尚、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。
【００５１】
撮影ボタン２４の半押し（Ｓ１オン）によってＡＥ処理およびＡＦ処理等の撮影準備処理が行われた後、撮影ボタン２４が全押し（Ｓ２オン）されると、画像を記録するための撮影動作がスタートする。
【００５２】
ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から、分割エリアごとのＲ，Ｇ，Ｂ信号別の積算値を取得する。なお、ＡＥ／ＡＷＢ検出回路６４からＣＰＵ１２に通知される分割エリアごとの積算値は、Ｒ，Ｇ，Ｂ信号別に単純に積算した値とした態様や、平均値とした態様がある。そして、ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から取得した分割エリアごとのＲ，Ｇ，Ｂ信号別の積算値に基づいて、ホワイトバランス補正値を算出し、画像信号処理回路５８によってＲ，Ｇ，Ｂ信号にホワイトバランス処理を施す。このホワイトバランス調整処理の詳細は後に詳細に説明する。
【００５３】
画像信号回路５８によってホワイトバランス調整が施されたＲ，Ｇ，Ｂ各色別の画像信号は、画像信号回路５８によって、ガンマ補正などの画像処理を施され、Ｙ／Ｃ信号（輝度信号Ｙおよび色差信号Ｃ）に変換され、圧縮伸張回路６６によって所定のフォーマットで圧縮された後、メディアコントローラ３４およびメディアソケット３０を介して記録メディア３２に画像データとして記録される。
【００５４】
モード選択スイッチ２２により再生モードが選択されると、記録メディア３２に記録されている圧縮された画像データがメディアコントローラ３４を介して読み出される。読み出された画像データは、圧縮伸張回路６６によって伸長され、ＶＲＡＭ２０、ビデオエンコーダ６０を介して画像表示装置２８に表示される。利用者は、適切なホワイトバランス調整が施された画像を再生して楽しむことができる。
【００５５】
次に、図２を用いて、基本的なホワイトバランス調整機能の概要を説明する。図２は、カメラ１０のホワイトバランス調整機能に関連する部分を示すブロック図である。図２中、図１と同一の部分には同一の符号を付し、その説明は省略する。
【００５６】
図２のデジタル信号処理回路１００は、図１の画像信号処理回路５８の一部であり、同時化回路１０２、ホワイトバランス調整回路１０４、ガンマ補正回路１０６、Ｙ／Ｃ信号生成回路１０８を含む。なお、図２では、信号の流れを理解し易くするためにデジタル信号処理回路１００内にメモリ１１０を設けているが、メモリ１１０は、実際には図中のもうひとつのメモリ１８に含まれる。
【００５７】
ＣＣＤ３８から出力されたＲ，Ｇ，Ｂ信号（画像信号）は、ＣＤＳ／ＡＭＰ回路５２、Ａ／Ｄ変換器５４および画像入力コントローラ５６を介して、一旦メモリ１８に格納される。同時化処理回路１０２は、メモリ１８から読み出された点順次のＲ，Ｇ，Ｂ信号を同時式に変換して、Ｒ，Ｇ，Ｂ信号を同時にホワイトバランス調整回路１０４に出力する。ホワイトバランス調整回路１０４は、Ｒ，Ｇ，Ｂ信号のデジタル値をそれぞれ増減するための乗算器１０４Ｒ，１０４Ｇ、１０４Ｂから構成されており、Ｒ，Ｇ，Ｂ信号は、それぞれ乗算器１０４Ｒ，１０４Ｇ、１０４Ｂに加えられる。
【００５８】
乗算器１０４Ｒ、１０４Ｇ、１０４Ｂには、Ｒ，Ｇ，Ｂ信号がそれぞれ入力されるほか、ＣＰＵ１２からゲイン値Ｒｇ，Ｇｇ，Ｂｇ（ホワイトバランス補正値）が入力されるようになっており、乗算器１０４Ｒ，１０４Ｇ、１０４Ｂは、Ｒ，Ｇ，Ｂ信号にそれぞれゲイン値Ｒｇ，Ｇｇ，Ｂｇを乗算し、この乗算によってホワイトバランス調整されたＲ，Ｇ，Ｂ信号（Ｒ’，Ｇ’，Ｂ’）をガンマ補正回路１０６に出力する。ゲイン値Ｒｇ，Ｇｇ，Ｂｇの算出は、ＣＰＵ１２によって行われる。
【００５９】
ＣＣＤ３８で生成されたＲ，Ｇ，Ｂ信号（画像信号）は、ＣＤＳ／ＡＭＰ５２、Ａ／Ｄ変換器５４、画像入力コントローラ５６を介して積算回路１１２に入力され、積算回路１１２によって、分割エリアごとにＲ，Ｇ，Ｂ信号別で積算される。この積算回路１１２は図１のＡＥ／ＡＷＢ検出回路６４に含まれている。積算回路１１２とＣＰＵ１２との間には乗算器１１２Ｒ、１１２Ｇ、１１２Ｂが設けられており、乗算器１１２Ｒ、１１２Ｇ、１１２Ｂには、機器のばらつきを調整するため調整ゲインが加えられるようになっている。ＣＰＵ１２は、積算回路１１２から分割エリアごとの積算値を取得し、取得した積算値に基づいてホワイトバランス補正値を算出する。
【００６０】
ホワイトバランス調整前の画像信号をＲ，Ｇ，Ｂ、ゲイン値をＲｇ，Ｇｇ，Ｂｇとすると、ホワイトバランス調整後の画像信号Ｒ’，Ｇ’，Ｂ’は、数式１によって表わされる。
［数式１］
Ｒ’＝Ｒｇ×Ｒ
Ｇ’＝Ｇｇ×Ｇ
Ｂ’＝Ｂｇ×Ｂ
ガンマ補正回路１０６は、ホワイトバランス調整されたＲ，Ｇ，Ｂ信号（数式１のＲ’，Ｇ’，Ｂ’からなる画像信号）が所望のガンマ特性となるように入出力特性を変更し、Ｙ／Ｃ信号生成回路１０８に出力する。Ｙ／Ｃ信号生成回路１０８は、ガンマ補正されたＲ，Ｇ，Ｂ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。これらの輝度信号Ｙと色差信号Ｃｒ，Ｃｂは、メモリ１１０に格納される。メモリ１１０内のＹ／Ｃ信号を読み出して、図１のＶＲＡＭ２０およびビデオエンコーダ６０を介して画像表示装置２８に出力することにより、画像を表示させることができる。
【実施例１】
【００６１】
本発明に係るホワイトバランス調整方法の実施例１について、その処理の流れを図３のフローチャートを用いて説明する。図３に示す各ステップは、所定のプログラムに従ったＣＰＵ１２の統括制御により実行される。
【００６２】
撮影ボタン２４の全押し（Ｓ２オン）に応動して、ＣＰＵ１２によるオートホワイトバランス（ＡＷＢ）制御が開始され、ＣＣＤ３８で生成されたＲ，Ｇ，Ｂ信号は、メモリ１８に一時記憶される。撮像画面を複数のエリア（例えば８×８）に分割し、図２の積算回路１１２によって分割エリアごとに算出したＲ，Ｇ，Ｂ信号別の積算値が取得される（Ｓ１０２）。
【００６３】
得られた分割エリアごとのＲ，Ｇ，Ｂ信号別の積算値に基づいて、Ｒ信号の積算値とＧ信号の積算値との比Ｒ／Ｇ、および、Ｂ信号の積算値とＧ信号の積算値との比Ｂ／Ｇが、各分割エリアの色情報として、算出される（Ｓ１０４）。言い換えると、分割エリアごとの画像信号の積算値が（Ｒ，Ｇ，Ｂ）座標系から（Ｒ／Ｇ，Ｂ／Ｇ）座標系に変換される。
【００６４】
（Ｒ／Ｇ，Ｂ／Ｇ）座標上に分布した色情報の例を、図４（ａ）および（ｂ）に示す。ここで、点は各分割エリアの色情報を示し、四辺形の枠は従来のホワイトバランス調整方法で用いた光源種を検出するための検出枠を示す。従来、撮影環境と検出枠を決めるパラメータとの関係によっては、図４（ａ）または（ｂ）のように、点（色情報）が検出枠同士の境界上に集団となって分布する場合があり、このような場合、点の集団が複数の検出枠に分割されてしまい、各検出枠内での数が少なくなり、適正なホワイトバランス値が算出されないこともあり得た。
【００６５】
本実施形態では、まず、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で、各分割エリアの色情報に順次着目し、各注目した色情報（注目色情報）を中心とした所定の半径Ｎ以内の色情報からなる色情報群（以下「カタマリ」と称する）を順次形成し、各カタマリに属する色情報の個数（分割エリアの個数に相当する）および平均座標が算出される（Ｓ１１２）。このステップＳ１１２は、具体的には以下のようにして行う。
【００６６】
各注目色情報の（Ｒ／Ｇ，Ｂ／Ｇ）座標を（Ｒ1ｊ，Ｂ1ｊ）とする。ここで、インデックスｊは、注目色情報を指し示し、撮影画面が８×８に分割されている場合には「１」から「６４」までの整数である。（Ｒ／Ｇ，Ｂ／Ｇ）座標上で、注目色情報（Ｒ1ｊ，Ｂ1ｊ）から任意の色情報（Ｒ1ａ，Ｂ1ａ）までの距離Ｄ1ｊａは、数式２に従って計算される。
［数式２］
Ｄ1ｊａ＝｛｛（Ｒ1ｊ−Ｒ1ａ）2 ＋（Ｂ1ｊ−Ｂ1ａ）2 ｝1/2
ここで、インデックスａは、注目色情報との距離を算出する対象の色情報を指し示し、撮影画面が８×８に分割されている場合には「１」から「６４」までの整数である。したがって、インデックスｊが指し示す６４通りの注目色情報ごとに、インデックスａが指し示す６４通りの色情報までの距離Ｄ1ｊａがそれぞれ求められる。合計では６４×６４通りの距離Ｄ1ｊａが求められる。そして、各注目色情報（Ｒ1ｊ，Ｂ1ｊ）を含み各注目色情報（Ｒ1ｊ，Ｂ1ｊ）から所定の半径Ｎの範囲内に存在する色情報を、ひとつのカタマリとし、カタマリごとに、各カタマリ内の色情報の個数Ｃ2ｊと、各カタマリ内の色情報の平均座標（Ｒ2ｊ，Ｂ2ｊ）を求める。この平均座標（Ｒ2ｊ，Ｂ2ｊ）は、数式３に従って計算される。
［数式３］
Ｒ2ｊ＝Σ（Ｋ1ｊａ×Ｒ1ａ）／ΣＫ1ｊａ
Ｂ2ｊ＝Σ（Ｋ1ｊａ×Ｂ1ａ）／ΣＫ1ｊａ
ここでＫ1ｊａは、距離Ｄ1ｊａが所定の半径Ｎ以内の場合には値が「１」、距離Ｄ1ｊａが半径Ｎを超える場合には値が「０」となる係数である。すなわち、インデックスａで指し示される色情報（Ｒ1ａ，Ｂ1ａ）が注目色情報（Ｒ1ｊ，Ｂ1ｊ）から半径Ｎの範囲内にある（「１」）、ない（「０」）の何れかを表わす。Σ記号は、インデックスａを「１」から分割エリア個数（「６４」）まで順次切り替えて行う積算を示す。
【００６７】
なお、平均座標（Ｒ2ｊ，Ｂ2ｊ）が同じ値になったカタマリ同士は同一のカタマリとみなされる。また、半径Ｎ以内に注目色情報以外ない場合、すなわち注目情報が（Ｒ／Ｇ，Ｂ／Ｇ）座標上で孤立していてカタマリが構成されない場合には、そのような注目色情報は排除される。
【００６８】
このようにして注目色情報を順次切り替えながら得られた各カタマリの平均座標（Ｒ2ｊ，Ｂ2ｊ）は、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で、元の色情報（Ｒ1ｊ，Ｂ1ｊ）からひとつまたは複数の中心に向かって収束していくことになる。そして、各カタマリの平均座標（Ｒ2ｊ，Ｂ2ｊ）を各カタマリの代表色情報とする（Ｓ１１４）。
【００６９】
次に、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で、各カタマリの代表色情報（Ｒiｊ，Ｂiｊ）に順次着目し、各注目した代表色情報（注目色情報）を中心とした所定の半径Ｎ以内の代表色情報からなる新たなカタマリを順次形成し、各カタマリに属する元の色情報の総個数（分割エリアの個数に相当する）、および、各カタマリ内の代表色情報の平均座標が算出される（Ｓ１１６）。具体的には、以下のようにして行う。
【００７０】
各注目色情報の（Ｒ／Ｇ，Ｂ／Ｇ）座標を（Ｒiｊ，Ｂiｊ）とすると、注目色情報（Ｒiｊ，Ｂiｊ）から任意の代表色情報（Ｒiａ，Ｂiａ）までの距離Ｄiｊａを、数式４に従って求める。
［数式４］
Ｄiｊａ＝｛｛（Ｒiｊ−Ｒiａ）2 ＋（Ｂiｊ−Ｂiａ）2 ｝1/2
ここで、インデックスａは、注目色情報との距離を算出する対象の代表色情報を指し示す正整数である。各注目色情報（Ｒiｊ，Ｂiｊ）と、各注目色情報（Ｒiｊ，Ｂiｊ）から所定の半径Ｎの範囲内に存在する代表色情報とを、ひとつのカタマリとし、カタマリごとに、各カタマリ内に属する元の色情報の個数Ｃi+1ｊと、各カタマリ内の色情報の平均座標（Ｒi+1ｊ，Ｂi+1ｊ）を求める。この平均座標（Ｒi+1ｊ，Ｂi+1ｊ）は、数式５に従って計算される。
［数式５］
Ｒi+1ｊ＝Σ（Ｋiｊａ×Ｒiａ）／ΣＫiｊａ
Ｂi+1ｊ＝Σ（Ｋiｊａ×Ｂiａ）／ΣＫiｊａ
ここで、Ｋiｊａは、インデックスａで指し示される代表色情報（Ｒiａ，Ｂiａ）が注目色情報（Ｒiｊ，Ｂiｊ）から半径Ｎの範囲内にある（「１」）、ない（「０」）の何れかを表わす。Σ記号は、インデックスａを「１」からカタマリ個数まで順次切り替えて行う積算を示す。
【００７１】
このようにして注目色情報を順次切り替えながら得られた各カタマリの平均座標（Ｒi+1ｊ，Ｂi+1ｊ）は、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で、元の代表色情報（Ｒiｊ，Ｂiｊ）からひとつまたは複数の中心に向かって収束していく。新たな平均座標（Ｒi+1ｊ，Ｂi+1ｊ）を、新たなカタマリの代表色情報とする（Ｓ１１８）。
【００７２】
前述のステップＳ１１６およびＳ１１８は、数式５で示される新たな代表色情報（Ｒi+1ｊ，Ｂi+1ｊ）が元の代表色情報（Ｒiｊ，Ｂiｊ）と同じ値になるまで、すなわち十分に収束したと判定されるまで繰り返される。すなわち、収束したか否かが判定され（Ｓ１２０）、収束していないと判定した場合には、インデックスｉをインクリメントして（Ｓ１２２）、ステップＳ１１６およびステップＳ１１８を繰り返し、収束したか否かを再び判定し（Ｓ１２０）、収束したと判定した場合には、ループを抜ける。
【００７３】
カタマリの中心（すなわち代表色情報）が収束していく様子を図５（ａ）および（ｂ）に示す。図５中の点は（Ｒ／Ｇ，Ｂ／Ｇ）座標上の代表色情報を示す。図５（ａ）では、（Ｒ／Ｇ，Ｂ／Ｇ）座標上に９個の点が分布しており、これらの各点が順次注目され、各注目点を中心とした半径Ｎの円内の点がそれぞれ検索される。第１の点を中心とした第１の円内に入る全ての点の平均座標を算出、第２の点を中心とした第２の円内に入る全ての点の平均座標を算出、第３の点を中心とした第３の円内に入る全て点の平均座標を算出、というようにして、各点に順次注目しながら、各注目点ごとに円（カタマリに相当する）を形成し、各円内に入る全て点の平均座標（代表色情報である）を求めていく。図５（ａ）に示す各円内の点の平均座標をそれぞれ（Ｒ／Ｇ，Ｂ／Ｇ）座標上に配置すると、図５（ｂ）に示すようになる。図５（ｂ）では、（Ｒ／Ｇ，Ｂ／Ｇ）座標上に５個の点が分布しており、再び、これらの各点が順次注目され、半径Ｎの円内に入る点が検索される。図５（ｂ）では、何れの円内にも５点全てが入っているので、平均座標は全て同一となり、収束する。すなわち、（Ｒ／Ｇ，Ｂ／Ｇ）座標上でひとつの円が形成される。なお、図５では、収束して最後にひとつのカタマリが形成される様子を示したが、実際には、複数個のカタマリが形成されることがある。このように複数個のカタマリが形成される場合には、算出される平均座標は複数の点にそれぞれ収束していくことになる。最終的には（Ｒi+1ｊ，Ｂi+1ｊ）＝（Ｒiｊ，Ｂiｊ）となる。
【００７４】
図６（ａ）および（ｂ）は、８×８に分割した撮影画面上の分割エリアとカタマリとの対応関係の例を示す。図６（ａ）は屋外で人物を撮影した場合の撮影画面である。図６（ｂ）は、図６（ａ）の人物が撮影された撮影画面について、同じカタマリに入った分割エリアには同じ符号（１番から６番まで）を付して示している。なお、図６では６個のカタマリに分割エリアがまとめられた状態が示されている。
【００７５】
全ての代表色情報が収束したとき、各カタマリに属する色情報の個数（画面上の分割エリアの個数に相当する）が所定の閾値ｅ以上のカタマリについて、色情報の個数が多い順に、最大許容数ｍ個までを対象に、収束時の平均座標（Ｒiｊ，Ｂiｊ）と色情報の個数とに基づいてゲイン値（ホワイトバランス補正値）が計算される（Ｓ１３０）。ここで、閾値ｅや最大許容数ｍは図１のＥＥＰＲＯＭ１７に予め設定された値である。
【００７６】
具体的には、数式６に従って、（Ｒ／Ｇ，Ｂ／Ｇ）座標上のゲイン値Ｒ／Ｇｇ、Ｂ／Ｇｇを計算する。
［数式６］
Ｒ／Ｇｇ＝（ΣＨＣｋ×（１／Ｒｋ））／ΣＨＣｋ
Ｂ／Ｇｇ＝（ΣＨＣｋ×（１／Ｂｋ））／ΣＨＣｋ
ここで、インデックスｋは、各カタマリを指し示す「１」からｍまでの正整数である。（１／Ｒｋ，１／Ｂｋ）は、各カタマリの代表色情報（Ｒｋ，Ｂｋ）を、ニュートラル・グレーを示す原点（１，１）にするためのゲイン（「逆算ゲイン」と称する）である。評価値ＨＣｋは、個数Ｃｋに応じた逆算ゲイン（１／Ｒｋ，１／Ｂｋ）に対する重みである。個数Ｃｋは、各カタマリに属する色情報の個数（分割エリアの個数に相当する）である。Σ記号は、インデックスｋを「１」からｍまで順次切り替えて行う積算を表わす。
【００７７】
このようにして算出されたゲイン値Ｒ／Ｇｇ、Ｂ／Ｇｇは、必要に応じて色味を残すための調整が施され、Ｒ，Ｇ，Ｂ信号にそれぞれ乗算する実際のゲイン値Ｒｇ，Ｇｇ、Ｂｇに変換される。そして、ＣＰＵ１２から図２のホワイトバランス調整回路１０４にゲイン値Ｒｇ，Ｇｇ、Ｂｇが出力されることにより、ホワイトバランス調整回路１０４においてＲ，Ｇ，Ｂ信号のホワイトバランスが調整される（Ｓ１４０）。
【実施例２】
【００７８】
次に、本発明に係るホワイトバランス調整方法の実施例２について、その処理の流れを図７のフローチャートを用いて説明する。図７に示す各ステップは所定のプログラムに従ったＣＰＵ１２の統括制御により実行される。
【００７９】
撮影ボタン２４の全押し（Ｓ２オン）に応動して、ＣＰＵ１２によるオートホワイトバランス（ＡＷＢ）制御が開始され、ＣＣＤ３８で生成されたＲ，Ｇ，Ｂ信号は、メモリ１８に一時記憶される。撮像画面を複数のエリア（例えば８×８）に分割し、図２の積算回路１１２によって分割エリアごとに算出したＲ，Ｇ，Ｂ信号別の積算値が取得される（Ｓ１０２）。
【００８０】
得られた分割エリアごとのＲ，Ｇ，Ｂ信号別の積算値に基づいて、Ｒ信号の積算値とＧ信号の積算値との比Ｒ／Ｇ、および、Ｂ信号の積算値とＧ信号の積算値との比Ｂ／Ｇが、各分割エリアの色情報として、算出される（Ｓ１０４）。
【００８１】
そして、算出された各分割エリアの色情報に基づいて、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で互いに近似した複数の色情報からなるカタマリが検出され、各カタマリの中心（すなわち代表色情報）が算出される（Ｓ１１０）。このステップＳ１１０は、図３のフローチャートのステップＳ１１０と同じ処理であり、図３のステップＳ１１２、Ｓ１１４、Ｓ１１６、Ｓ１１８、Ｓ１２０およびＳ１２２を含む。これらの図３に示したステップは実施例１で既に詳細に説明したので、ここでは詳細な説明を省略する。
【００８２】
なお、ステップＳ１１０では、複数のカタマリが検出されたものとして以下説明する。撮影時に互いに色温度の異なる複数の光源が混在していて、複数のカタマリが検出されたものとする。
【００８３】
実施例２では、ステップＳ１１０で求められた各カタマリが物体色を示すか光源色を示すかを判定する。そして、物体色を示すカタマリの代表色情報はホワイトバランス補正値計算の要因から排除する。具体的には、以下のようにして行う。
【００８４】
複数のカタマリの中で第１の光源色を示すものとして、低彩度かつ明るいカタマリが選別される（Ｓ２１２）。具体的には、（Ｒ／Ｇ，Ｂ／Ｇ）座標上でニュートラル・グレーを指す原点（１，１）の近傍に位置するカタマリ（以下「近傍ＣＯＲＮ」と称する）であって、画面全体の明るさを基準にして明るいものが、第１の光源色を示すカタマリとして選別される。
【００８５】
まず、数式７に示すように、（Ｒ／Ｇ，Ｂ／Ｇ）座標上で原点（１，１）から各カタマリの中心（Ｒｋ，Ｂｋ）までの距離Ｄｋを求める。
［数式７］
Ｄｋ＝｛｛（１−Ｒｋ）2 ＋（１−Ｂｋ）2 ｝1/2
ここで、インデックスｋは、カタマリを指し示すものであり、「１」からカタマリ個数までの正整数である。
【００８６】
次に、距離Ｄｋが最も小さなカタマリを求める。求められたカタマリは、ニュートラル・グレーを指す原点（１，１）の最近傍ＣＯＲＮ、すなわち、複数のカタマリの中で彩度が最も低いものである。原則としては、この最近傍ＣＯＲＮが第１の光源色を示すものとして選別される。
【００８７】
ただし、タングステン光源下の青色系物体色のように最低彩度であっても光源色を示さないカタマリを選別してしまわないように、実際には、距離Ｄｋだけでなく、カタマリに関する各種属性が参照され、光源色を示す近傍ＣＯＲＮが選別される。例えば、距離Ｄｋが小さい順（すなわち彩度が低い順）に、画面全体の明るさを基準に各カタマリの明るさを評価して暗いカタマリは光源色を示さないと判定して、選別の対象から排除する。一方で、画面全体の明るさを基準に各カタマリの明るさを評価して明るいカタマリは光源色であると判定して、選別の対象とする。
【００８８】
例えば、図８に示すメンバシップ関数ｆ０を用いて光源色らしさを求める。図８において、横軸は、画面全体の明るさを示すＥＶ値と近傍ＣＯＲＮの明るさを示すＥＶ値との差（ＥＶ差）であり、縦軸は、近傍ＣＯＲＮの光源色らしさを表わす評価値Ｈ０＝ｆ０（ＥＶ差）である。近傍ＣＯＲＮのＥＶ値は、各近傍ＣＯＲＮに属する分割エリアのＥＶ値を平均して求める。画面全体のＥＶ値は、全てまたは要部の分割エリアのＥＶ値を平均して求める。
【００８９】
図８において、画面全体と近傍ＣＯＲＮのＥＶ差が所定値（例えば「１」）より大きい場合には、近傍ＣＯＲＮが画面全体の明るさと比較してとても暗く、極めて物体色らしいと判断する。画面全体と近傍ＣＯＲＮのＥＶ差が所定値（例えば「１」）より小さな場合には、光源色らしさを示す関数値Ｈ０は、近傍ＣＯＲＮが明るくＥＶ差が小さいほど、大きくなる。近傍ＣＯＲＮのＥＶ値が画面全体のＥＶ値より大きな場合には、光源らしさを示す評価値Ｈ０は最高値の「１．０」になる。この光源色らしさを示す評価値Ｈ０が所定の閾値以下の場合には、その近傍ＣＯＲＮが選別の対象から排除される。例えば、グレー系物体色は、選別の対象から排除される。
【００９０】
光源色および物体色の検出精度を上げるため、近傍ＣＯＲＮに所属する色情報の個数（分割エリアの個数である）、近傍ＣＯＲＮに属する分割エリア同士の画面上での位置関係など、明るさ以外の属性に基づいて、物体色および光源色の何れを示すかを判定するとよい。例えば、所属する色情報の個数が所定の閾値以下である近傍ＣＯＲＮや、その近傍ＣＯＲＮに属する分割エリア同士の画面上での連結数が所定の閾値を超えるものは、物体色らしいとして、選別の対象から排除するようにする。
【００９１】
ステップＳ２１２で低彩度かつ明るい近傍ＣＯＲＮを第１の光源色を示すものとして選別した後、この選別した近傍ＣＯＲＮを基準として、それ以外の各ＣＯＲＮ（カタマリ）の物体色らしさが評価される。本実施例では、選別した近傍ＣＯＲＮとの明度差および彩度差、注目したＣＯＲＮに属する分割エリア同士の画面上での位置関係（以下「画面情報」と称する）が検出される（Ｓ２１４）。これら検出された明度差、彩度差および画面情報をそれぞれ変数とした物体色らしさを表わすメンバシップ関数が用いられ、近傍ＣＯＲＮ以外の各ＣＯＲＮについて物体色および光源色の何れを示すかが判別される（Ｓ２１６）。
【００９２】
図９に示すメンバシップ関数ｆ１は、選別された近傍ＣＯＲＮと近傍ＣＯＲＮ以外の注目ＣＯＲＮとの彩度差を変数として、注目ＣＯＲＮの物体色らしさを示す関数値Ｈ１（以下「彩度評価値」と称する）を求めるものである。図９において、横軸は、選別された近傍ＣＯＲＮの中心から注目ＣＯＲＮの中心までの距離であり、縦軸は、彩度評価値Ｈ１である。距離（Ｄｋ０）は、（Ｒ／Ｇ，Ｂ／Ｇ）座標上での距離であって彩度差を示し、数式８に従って求められる。
［数式８］
Ｄｋ０＝｛｛（Ｒｋ−Ｒ０）2 ＋（Ｂｋ−Ｂ０）2 ｝1/2
ここで、インデックスｋは、注目ＣＯＲＮを指し示す正整数である。なお、近傍ＣＯＲＮの中心（Ｒ０，Ｂ０）は、選別された近傍ＣＯＲＮの代表色情報を示す（Ｒ／Ｇ，Ｂ／Ｇ）座標である。注目ＣＯＲＮの中心（Ｒｋ，Ｂｋ）は、注目ＣＯＲＮの代表色情報を示す（Ｒ／Ｇ，Ｂ／Ｇ）座標である。
【００９３】
数式８の距離Ｄｋを（Ｒ／Ｇ，Ｂ／Ｇ）座標上でみると、図１０のようになる。図１０において、各カタマリの中心を白抜きの丸で示している。第１近隣円４００の内側にあるものは、近傍ＣＯＲＮの中心に近く、例えば、近傍ＣＯＲＮの中心に近いほど光源色らしいと判断し、近傍ＣＯＲＮの中心から離れるほど物体色らしいと判断する。第２近隣円４０２の外側にあるものは、極めて物体色らしいと判断する。
【００９４】
ただし、上記の彩度評価値Ｈ１のみに基づいて注目ＣＯＲＮを排除してしまうと、屋外光源色と屋内光源色とが混在したような場合には、屋外光源色を示す近傍ＣＯＲＮは選別されても、屋内光源色を示すＣＯＲＮ（カタマリ）は排除されてしまうことになる。そこで、第１の光源色（屋外光源色である）を示す近傍ＣＯＲＮとの彩度差が所定値を超えるＣＯＲＮであっても光源色の選別対象から排除してしまわないようにする。図１０を用いて説明すると、たとえ第２近隣円４０２の外側に中心があったとしてもその注目ＣＯＲＮを光源色の選別対象から排除してしまうのではなく、適当な評価値Ｈ１を与える。そして、以下に説明するように、明度、画面情報等、彩度以外の属性に関する評価値をも用いて、カタマリの選別を行う。
【００９５】
図１１に示すメンバシップ関数ｆ２は、選別された近傍ＣＯＲＮと注目ＣＯＲＮとの明度差を変数として、注目ＣＯＲＮの物体色らしさを示す関数値Ｈ２（以下「明度評価値」と称する）を求めるものである。図１１において、横軸は、選別された近傍ＣＯＲＮと注目ＣＯＲＮとのＥＶ値の差（ＥＶ差）であり、縦軸は、明度評価値Ｈ２である。近傍ＣＯＲＮおよび注目ＣＯＲＮのＥＶ値は、各ＣＯＲＮに属する分割エリアのＥＶ値を平均して求める。
【００９６】
図１１において、選別された近傍ＣＯＲＮとのＥＶ差が所定値（例えば１．５）より小さい場合には、物体色らしさを示す明度評価値Ｈ２は最高値の「１．０」である。例えばタングステン光源色に近い物体色が存在する場合であっても、共通の光源の下では物体色の明るさと光源色の明るさとの差が小さいので、そのような物体色を示すカタマリを排除するように評価値Ｈ２を高くする。
【００９７】
また、図１１において、選別された近傍ＣＯＲＮとのＥＶ差が所定値（例えば１．５）以上の場合には、ＥＶ差が大きいほど、物体色らしさを示す明度評価値Ｈ２は小さくなる。例えば、屋内光と屋外光とが混在するような場合であっても、屋内光源色は屋外光源色に対して明度差が出やすく、そのような屋内光源色を示すカタマリが選別されやすくなるように明度評価値Ｈ２が低くなる。
【００９８】
また、光源色および物体色の検出精度を上げるため、予め複数種類のメンバシップ関数を用意し、近傍ＣＯＲＮの明るさに基づいてメンバシップ関数を切り替えてもよい。例えば、屋外光源色らしいカタマリが近傍ＣＯＲＮとして選別されているか否かを、その近傍ＣＯＲＮのＥＶ値が所定値（例えば１０ＥＶ）以上であるか否かにより判断する。ここで、注目ＣＯＲＮが屋内光源を示しているときには、近傍ＣＯＲＮと注目ＣＯＲＮとで明度差が大きくなる。このようなときには光源色らしさが検出され易いような性質を持ったメンバシップ関数を用いる。あるいは、近傍ＣＯＲＮが屋外光源色を示すと判断されたときのみ図１１に示すようなメンバシップ関数ｆ２を用い、近傍ＣＯＲＮが屋外光源色以外を示すと判断されたときには、メンバシップ関数ｆ２を用いないようにしてもよい。
【００９９】
さらに、注目ＣＯＲＮに属する分割エリア同士の画面上での位置関係（画面情報）を評価する。
【０１００】
ステップＳ１１０で検出されたカタマリは、相互に近似した所定個数以上の色情報で構成されている。このようなカタマリに属する分割エリア同士の画面上での位置関係をみた場合、一般に、物体色であれば画面上で互いに連結した状態になっており、光源色であれば画面上で散らばった状態になっている。例えば、図１２に示す画面上において、画面上で６つの分割エリア５０１、５０２、５０３、５０４、５０５および５０６の各色情報が同一の注目ＣＯＲＮに所属していたとする。そうすると、この注目ＣＯＲＮ、すなわち、画面上で分割エリア同士が互いに連結した状態のものは、物体色である可能性が高い。一方で、画面上で分割エリアが散らばった状態のものは、光源色である可能性が高い。そこで、注目ＣＯＲＮごとに、その注目ＣＯＲＮに属する分割エリア同士の画面上での連結数を検出し、検出された連結数に基づいて注目ＣＯＲＮが物体色および光源色の何れを示すかを判定する。例えば、図１２において、第１の分割エリア５０１に注目すると、この第１の分割エリア５０１が周囲の５つの分割エリア５０２、５０３、５０４、５０５、５０６と連結している。このような分割エリア同士の連結数を検出し、連結数が所定の閾値を超える場合（例えば連結数が２より大きい場合）、物体色らしいと判定する。一方で、連結数が閾値以下の場合（例えば連結数が２以下の場合）、光源色らしいと判定する。このような画面情報に基づいて求めたメンバシップ関数値Ｈ３を以下「画面評価値」と称する。
【０１０１】
以上説明した彩度評価値Ｈ１、明度評価値Ｈ２、画面評価値Ｈ３に基づいて総合的に判断した物体らしさの評価値ＨＭは、数式９によって表わされる。
［数式９］
物体色らしさの評価値ＨＭ＝彩度評価値Ｈ１×明度評価値Ｈ２×画面評価値Ｈ３
この物体らしさの評価値ＨＭに基づいて各注目ＣＯＲＮが物体色を示すものか否かが判定され（Ｓ２１８）、物体らしさの評価値ＨＭが所定の閾値を超える場合には、その注目ＣＯＲＮがホワイトバランス補正値の計算要因から排除される（Ｓ２２０）。
【０１０２】
また、各注目ＣＯＲＮの光源色らしさの評価値ＨＬは、数式１０によって表わされる。
［数式１０］
光源色らしさの評価値ＨＬ＝１−物体色らしさの評価値ＨＭ
この光源色らしさの評価値ＨＬに基づいて、光源色らしいカタマリのみがゲイン値（ホワイトバランス補正値）の計算要因とされる（Ｓ２２２）。
【０１０３】
以上説明したように、物体色を示すカタマリがホワイトバランス補正値の計算要因から排除された後、数式１１に従って、（Ｒ／Ｇ，Ｂ／Ｇ）座標上のゲイン値Ｒ／Ｇｇ、Ｂ／Ｇｇを計算する（Ｓ２３０）。
［数式１１］
Ｒ／Ｇｇ＝（ΣＨＬＣｋ×（１／Ｒｋ））／ΣＨＬＣｋ
Ｂ／Ｇｇ＝（ΣＨＬＣｋ×（１／Ｂｋ））／ΣＨＬＣｋ
ここで、インデックスｋは、各光源色を示すカタマリを指し示す「１」からｍまでの正整数である。（１／Ｒｋ，１／Ｂｋ）は、各カタマリの代表色情報（Ｒｋ，Ｂｋ）を、ニュートラル・グレーを示す原点（１，１）にするための逆算ゲインである。評価値ＨＬＣｋは、各カタマリの光源色らしさの評価値ＨＬおよび個数Ｃｋに応じた逆算ゲイン（１／Ｒｋ，１／Ｂｋ）に対する重みである。個数Ｃｋは、各カタマリに属する色情報の個数（分割エリアの個数に相当する）である。Σ記号は、インデックスｋを「１」からｍまで順次切り替えて行う積算を表わす。
【０１０４】
このようにして算出されたゲイン値Ｒ／Ｇｇ、Ｂ／Ｇｇは、必要に応じて色味を残すための調整が施され、Ｒ，Ｇ，Ｂ信号にそれぞれ乗算する実際のゲイン値Ｒｇ，Ｇｇ、Ｂｇに変換される。そして、ＣＰＵ１２から図２のホワイトバランス調整回路１０４にゲイン値Ｒｇ，Ｇｇ、Ｂｇが出力されることにより、ホワイトバランス調整回路１０４においてＲ，Ｇ，Ｂ信号のホワイトバランスが調整される（Ｓ２４０）。
【０１０５】
以上説明したように、実施例１および実施例２のホワイトバランス調整方法によれば、光源検出枠を用いなくても、色座標上での色情報の分布に適合した適正なホワイトバランス補正値が得られることになる。また、従来設けていた光源検出枠同士の境界や狭間の位置に色情報が集中した場合であっても、色座標上の色情報の分布に適合した適正なホワイトバランス補正値が得られることになる。
【０１０６】
なお、本発明は、色座標上での検出枠の使用を禁止するものではなく、最低限必要な、あるいは、有用な検出枠を設定し用いるようにしてもよい。
【０１０７】
予め色座標上に追従範囲を設定し、この追従範囲外に分布した色情報については無視するようにしてもよい。
【０１０８】
また、従来の検出枠による光源色の判定と、本発明を適用したカタマリ検出による光源色の判定とを、併用してもよいし、撮影環境に応じて検出枠を用いるか否かを切り替えるようにしてもよい。
【０１０９】
特定の枠内に色情報が集中した場合や、特定の枠外に色情報の大多数が出てしまった場合など、特定の条件に適合した場合には、カタマリ検出は行わず、デフォルトのホワイトバランス補正値を用いるようにしてもよい。
【図面の簡単な説明】
【０１１０】
【図１】本発明に係るホワイトバランス調整方法を適用したカメラの概略構成を示すブロック図
【図２】本発明に係るホワイトバランス調整方法を適用したカメラのホワイトバランス調整機能に関連する部分を示すブロック図
【図３】実施例１のホワイトバランス調整処理の流れを示すフローチャート
【図４】各分割エリアの色情報の分布、および、カタマリの例の説明に供する説明図
【図５】カタマリの中心検出の説明に供する説明図
【図６】撮影画面上の分割エリアとカタマリとの対応関係の例を示す図
【図７】実施例２のホワイトバランス調整処理の流れを示すフローチャート
【図８】第１の光源色を示すカタマリを検出するために用いる光源色らしさを表わすメンバシップ関数の例を示す図
【図９】彩度に関する変数により物体色らしさを表わすメンバシップ関数の例を示す図
【図１０】彩度に関する変数として（Ｒ／Ｇ，Ｂ／Ｇ）座標上の距離を用いる場合の説明に供する説明図
【図１１】明度に関する変数により物体色らしさを表わすメンバシップ関数の例を示す図
【図１２】画面上の分割エリアの位置関係に関する変数により物体色らしさを表わすメンバシップ関数の例を示す図
【符号の説明】
【０１１１】
１０…カメラ、１２…ＣＰＵ、１８、１１０…メモリ、２４…撮影ボタン、３８…ＣＣＤ（カラー撮像素子）、５８…画像信号処理回路、６４…ＡＥ／ＡＷＢ検出回路、１０４…ホワイトバランス調整回路、１１２…積算回路
【図１】
0004718113.tif 000002
【図２】
0004718113.tif 000003
【図３】
0004718113.tif 000004
【図４】
0004718113.tif 000005
【図５】
0004718113.tif 000006
【図６】
0004718113.tif 000007
【図７】
0004718113.tif 000008
【図８】
0004718113.tif 000009
【図９】
0004718113.tif 000010
【図１０】
0004718113.tif 000011
【図１１】
0004718113.tif 000012
【図１２】
0004718113.tif 000013