(57)【要約】【課題】簡単なアルゴリズムによりホワイトバランス補正値を算出するまでの演算時間の短縮化を可能にする。【解決手段】１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリアごとに求め、これらの色情報の色空間上のカタマリの中心座標を求め、このカタマリ中心座標の色情報を代表色情報としてホワイトバランス調整に使用する。いま、６つの色情報ａ〜ｆのカタマリの検出、及びその中心座標を求める場合、ある目標の色情報ａを中心に近似範囲を規定する所定の半径の円１内の色情報ａ〜ｃを求め、これらの色情報ａ〜ｃの平均値（代表色情報）ａ1 を算出する。続いて、円１の範囲外の色情報ｄ〜ｆの中から注目する色情報ｄを決め、同様にして代表色情報ｂ1 を求める。次に、代表色情報ａ1 、ｂ1 から次の代表色情報ａ2 を求め、代表色情報を収束させる。【選択図】      図４
2006074623.tif 000002
【特許請求の範囲】
【請求項１】
カラー撮像素子から得られるＲ，Ｇ，Ｂ信号に基づいてホワイトバランス補正値を算出するステップと、前記算出したホワイトバランス補正値に基づいて前記Ｒ，Ｇ，Ｂ信号のホワイトバランス調整を行うステップとを含むオートホワイトバランス調整方法において、
前記ホワイトバランス補正値を算出するステップは、
(a) １画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内のＲ，Ｇ，Ｂ信号に基づいて求めるステップと、
(b) 前記複数の分割エリアの色情報の中から注目する色情報を順次変更しながら各注目する色情報ごとに該色情報と相互に近似する色情報を求めるステップであって、前記注目する色情報及び注目する色情報と近似する色情報は第１の代表色情報の算出に使用されていない色情報の中から求めるステップと、
(c) 前記ステップ(b) において注目する色情報を順次変更しながら各注目する色情報ごとに求めた色情報を代表する前記第１の代表色情報を算出するステップと、
(d) 前記ステップ(c) で算出された第１の代表色情報の中から注目する第１の代表色情報を順次変更しながら各注目する第１の代表色情報ごとに該第１の代表色情報と相互に近似する第１の代表色情報を求めるステップであって、前記注目する第１の代表色情報及び注目する第１の代表色情報と近似する第１の代表色情報は第２の代表色情報の算出に使用されていない第１の代表色情報の中から求めるステップと、
(e) 前記ステップ(d) において注目する第１の代表色情報を順次変更しながら各注目する第１の代表色情報ごとに求めた第１の代表色情報を代表する前記第２の代表色情報を算出するステップと、
(f) 前記ステップ(d) 及びステップ(e) の処理と同様にして算出された代表色情報に基づいて次の代表色情報を算出し、代表色情報が収束するまで繰り返すステップと、
(g) 前記収束した代表色情報に基づいて前記ホワイトバランス補正値を算出するステップと、
を含むことを特徴とするオートホワイトバランス調整方法。
【請求項２】
前記ステップ(a) は、
前記分割エリア内のＲ，Ｇ，Ｂ信号を色別に積算して各色ごとの積算値を求めるステップと、
前記各色ごとの積算値の比Ｒ／Ｇ及びＢ／Ｇを求め、これらの比Ｒ／Ｇ及びＢ／Ｇを該分割エリアの色情報とするステップと、
を含むことを特徴とする請求項１に記載のオートホワイトバランス調整方法。
【請求項３】
前記ステップ(b) は、前記Ｒ／ＧとＢ／Ｇとで表される色空間上での注目する色情報と他の色情報との距離を求めるステップを含み、前記求めた距離が所定の閾値以下のときに前記他の色情報を前記注目する色情報と近似する色情報とすることを特徴とする請求項２に記載のオートホワイトバランス調整方法。
【請求項４】
前記ステップ(c) は、前記ステップ(b) で求めた色情報の平均値を算出し、この算出した平均値を第１の代表色情報とすることを特徴とする請求項１に記載のオートホワイトバランス調整方法。
【請求項５】
前記ステップ(d) は、前記Ｒ／ＧとＢ／Ｇとで表される色空間上での注目する第１の代表色情報と他の第１の代表色情報との距離を求めるステップを含み、前記求めた距離が所定の閾値以下のときに前記他の第１の代表色情報を前記注目する第１の代表色情報と近似する第１の代表色情報とすることを特徴とする請求項２に記載のオートホワイトバランス調整方法。
【請求項６】
前記ステップ(e) は、前記ステップ(d) で求めた第１の代表色情報の平均値を算出し、この算出した平均値を第２の代表色情報とすることを特徴とする請求項１に記載のオートホワイトバランス調整方法。
【請求項７】
前記収束した代表色情報が複数個ある場合には、各代表色情報の算出に使用された前記色情報の個数が、所定の個数以上の代表色情報、又は代表色情報の算出に使用された色情報の個数が多い上位のｍ個の代表色情報を前記ホワイトバランス補正値の算出に使用することを特徴とする請求項１に記載のオートホワイトバランス調整方法。
【請求項８】
前記収束した代表色情報が複数個ある場合には、各代表色情報を目標の色情報にするためのホワイトバランス補正値をそれぞれ算出し、該算出した代表色情報ごとのホワイトバランス補正値をそれぞれ代表色情報の算出に使用された第１の色情報の個数によって重み付け加算して前記ホワイトバランス補正値を算出することを特徴とする請求項１に記載のオートホワイトバランス調整方法。
【請求項９】
前記収束した代表色情報が複数個ある場合には、各代表色情報の算出に使用された前記色情報の個数が最大の代表色情報を前記ホワイトバランス補正値の算出に使用することを特徴とする請求項１に記載のオートホワイトバランス調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオートホワイトバランス調整方法に係り、特にカラー撮像素子から得られるＲ，Ｇ，Ｂ信号に基づいて自動的に適正なホワイトバランス調整を行うオートホワイトバランス調整方法に関する。
【背景技術】
【０００２】
従来のこの種のオートホワイトバランス調整方法として、特許文献１に記載の方法がある。
【０００３】
このオートホワイトバランス調整方法は、被写体の輝度レベルと、１画面を複数のエリアに分割した各分割エリアごとの色情報（分割エリア内のＲ，Ｇ，Ｂ信号を色別に積算した積算値の比Ｒ／Ｇ及びＢ／Ｇ）とを求める。
【０００４】
一方、Ｒ／Ｇ、Ｂ／Ｇの色空間上に、日陰、青空、蛍光灯、タングステン電球等の光源種に対応する色分布の範囲を示す検出枠を設定し、前記求めた各分割エリアごとの色情報に基づいて各検出枠に色情報が入る分割エリアの個数を求める。そして、前記検出した被写体の輝度レベル及び検出枠に入る分割エリアの個数に基づいて光源種を判別し、その判別した光源種に適したホワイトバランス補正値に基づいてホワイトバランス調整を行うようにしている。
【特許文献１】特開２０００−２２４６０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載のオートホワイトバランス調整方法は、極端なシーンを除いて適切なオートホワイトバランス調整を行なうことができ、広範囲の色温度領域まで追従可能であるが、このオートホワイトバランス調整方法には、下記の問題点が存在する。
【０００６】
(1) オートホワイトバランス調整のアルゴリズムが複雑であること
光源種に対応する色分布の範囲を示す検出枠を多数用意するために、それぞれの検出枠ごとのパラメータが必要であり、枠領域の座標、その他枠ごとの設定座標など、多くのパラメータを用意しなければならない。
【０００７】
(2) 各分割エリアごとの色情報（積算値）の検出性能が低い
画角違いや機種違いなどで、少しＲ／Ｇ、Ｂ／Ｇの積算値がずれた場合、入る検出枠、位置などもずれが生じ、ホワイトバランス補正値が異なってくる。
【０００８】
本出願人は、以上の問題点を改善するアルゴリズムを提案した（特願２００３−３７８０９２）。
【０００９】
このアルゴリズムは、検出枠を用いなくてもよい点で複雑でなく、また、色情報の検出性能が低くても近似している色情報の集合（以下、「カタマリ」という）の中心を精度よく検出できるので、画角ずれの色の不連続性も改善できるという利点があるが、演算時間が遅く、カメラの撮影時間などに大きく影響するという問題がある。
【００１０】
演算時間が遅くなる原因は、分布している色情報のカタマリ中心を算出する際の演算回数が多いことによる。即ち、色情報のカタマリ中心を算出する際のアルゴリズムは、ある注目する色情報を中心とする所定の半径内の色情報の平均値を求め、この平均値を代表色情報として、注目する色情報を順次変更しながら代表色情報を求める。このようにして求めた代表色情報を元にして再度ある注目する代表色情報を中心とする所定の半径内の代表色情報の平均値を求め、この平均値を次の代表色情報として、注目する代表色情報を順次変更しながら代表色情報を求める。このようにして求められる代表色情報が収束するまで演算を繰り返す。
【００１１】
したがって、１画面を１６×１６に分割した各分割エリアの色情報（２５６個の色情報）の代表色情報が収束するまでの代表色情報の演算回数は、２５６のｔ乗回（ｔ：注目する色情報や代表色情報を順次変更しながら次の代表色情報を求めるための一連の処理の回数であって、代表色情報が収束するまでの回数）となり、この多数の演算回数の演算に要する時間が問題となっていた。
【００１２】
本発明はこのような事情に鑑みてなされたもので、光源種を検出するための検出枠を設けることなく、簡単なアルゴリズムにより良好なホワイトバランス補正値を算出して自動的にホワイトバランス調整を行うことができ、特にホワイトバランス補正値を算出するまでの演算時間の短縮化を可能にしたオートホワイトバランス調整方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記目的を達成するために請求項１に係る発明は、カラー撮像素子から得られるＲ，Ｇ，Ｂ信号に基づいてホワイトバランス補正値を算出するステップと、前記算出したホワイトバランス補正値に基づいて前記Ｒ，Ｇ，Ｂ信号のホワイトバランス調整を行うステップとを含むオートホワイトバランス調整方法において、前記ホワイトバランス補正値を算出するステップは、(a) １画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内のＲ，Ｇ，Ｂ信号に基づいて求めるステップと、(b) 前記複数の分割エリアの色情報の中から注目する色情報を順次変更しながら各注目する色情報ごとに該色情報と相互に近似する色情報を求めるステップであって、前記注目する色情報及び注目する色情報と近似する色情報は第１の代表色情報の算出に使用されていない色情報の中から求めるステップと、(c) 前記ステップ(b) において注目する色情報を順次変更しながら各注目する色情報ごとに求めた色情報を代表する前記第１の代表色情報を算出するステップと、(d) 前記ステップ(c) で算出された第１の代表色情報の中から注目する第１の代表色情報を順次変更しながら各注目する第１の代表色情報ごとに該第１の代表色情報と相互に近似する第１の代表色情報を求めるステップであって、前記注目する第１の代表色情報及び注目する第１の代表色情報と近似する第１の代表色情報は第２の代表色情報の算出に使用されていない第１の代表色情報の中から求めるステップと、(e) 前記ステップ(d) において注目する第１の代表色情報を順次変更しながら各注目する第１の代表色情報ごとに求めた第１の代表色情報を代表する前記第２の代表色情報を算出するステップと、(f) 前記ステップ(d) 及びステップ(e) の処理と同様にして算出された代表色情報に基づいて次の代表色情報を算出し、代表色情報が収束するまで繰り返すステップと、(g) 前記収束した代表色情報に基づいて前記ホワイトバランス補正値を算出するステップと、を含むことを特徴としている。
【００１４】
即ち、前記ステップ(a) により１画面の分割エリアの個数と同数の色情報を取得し、前記ステップ(b) 〜(f) により前記取得した色情報のうちの相互に近似する色情報（色情報のカタマリ）の収束した代表色情報を求めるようにしている。
【００１５】
前記ステップ(b) では、ステップ(a) で取得した色情報のうちの任意の色情報（既に、注目する色情報と相互に近似する色情報として求められた色情報を除く色情報のうちの任意に色情報) を注目する色情報とし、その注目する色情報を順次変更しながら各注目する色情報と相互に近似する色情報を求める。ある注目する色情報と相互に近似する色情報も、既に他の注目する色情報と相互に近似する色情報として求められた色情報を除く色情報の中から求める。そして、前記ステップ(c) では、前記ステップ(b) で求めた色情報を代表する前記第１の代表色情報を算出する。即ち、上記ステップ(b) 、(c) では、一度、代表色情報の算出に使用した色情報は、別の代表色情報の算出には使用しないようにしている。
【００１６】
前記ステップ(d) では、前記ステップ(c) で算出された第１の代表色情報の中から前記ステップ(b) と同様にして注目する第１の代表色情報を順次変更しながら各注目する第１の代表色情報ごとに該第１の代表色情報と相互に近似する第１の代表色情報を求める。即ち、ステップ(b) では、ステップ(a) で取得した色情報の中から注目する色情報と相互に近似する色情報を求めているのに対し、ステップ(d) では、ステップ(c) で算出された第１の代表色情報の中から注目する第１の代表色情報と相互に近似する第１の代表色情報を求めている点で相違する。そして、ステップ(e) では、前記ステップ(d) で求めた第１の代表色情報を代表する前記第２の代表色情報を算出する。
【００１７】
その後、前記ステップ(d) 及びステップ(e) の処理と同様にして算出された第２の代表色情報に基づいて第３の代表色情報を算出し、第３の代表色情報に基づいて第４の代表色情報を算出し、…、代表色情報が収束するまで繰り返す。これにより、ステップ(a) で取得した色情報のうちの相互に近似する色情報のカタマリの中心となる代表色情報（収束した代表色情報）を求めることができる。このようにして求めた収束した代表色情報に基づいてホワイトバランス補正値を算出するようにしている。
【００１８】
請求項２に示すように請求項１に記載のオートホワイトバランス調整方法において、前記ステップ(a) は、前記分割エリア内のＲ，Ｇ，Ｂ信号を色別に積算して各色ごとの積算値を求めるステップと、前記各色ごとの積算値の比Ｒ／Ｇ及びＢ／Ｇを求め、これらの比Ｒ／Ｇ及びＢ／Ｇを該分割エリアの色情報とするステップと、を含むことを特徴としている。
【００１９】
請求項３に示すように請求項２に記載のオートホワイトバランス調整方法において、前記ステップ(b) は、前記Ｒ／ＧとＢ／Ｇとで表される色空間上での注目する色情報と他の色情報との距離を求めるステップを含み、前記求めた距離が所定の閾値以下のときに前記他の色情報を前記注目する色情報と近似する色情報とすることを特徴としている。
【００２０】
請求項４に示すように請求項１に記載のオートホワイトバランス調整方法において、前記ステップ(c) は、前記ステップ(b) で求めた色情報の平均値を算出し、この算出した平均値を第１の代表色情報とすることを特徴としている。
【００２１】
請求項５に示すように請求項２に記載のオートホワイトバランス調整方法において、前記ステップ(d) は、前記Ｒ／ＧとＢ／Ｇとで表される色空間上での注目する第１の代表色情報と他の第１の代表色情報との距離を求めるステップを含み、前記求めた距離が所定の閾値以下のときに前記他の第１の代表色情報を前記注目する第１の代表色情報と近似する第１の代表色情報とすることを特徴としている。
【００２２】
請求項６に示すように請求項１に記載のオートホワイトバランス調整方法において、前記ステップ(e) は、前記ステップ(d) で求めた第１の代表色情報の平均値を算出し、この算出した平均値を第２の代表色情報とすることを特徴としている。
【００２３】
請求項７に示すように請求項１に記載のオートホワイトバランス調整方法において、前記収束した代表色情報が複数個ある場合には、各代表色情報の算出に使用された前記色情報の個数が、所定の個数以上の代表色情報、又は代表色情報の算出に使用された色情報の個数が多い上位のｍ個の代表色情報を前記ホワイトバランス補正値の算出に使用することを特徴としている。
【００２４】
請求項８に示すように請求項１に記載のオートホワイトバランス調整方法において、前記収束した代表色情報が複数個ある場合には、各代表色情報を目標の色情報にするためのホワイトバランス補正値をそれぞれ算出し、該算出した代表色情報ごとのホワイトバランス補正値をそれぞれ代表色情報の算出に使用された第１の色情報の個数によって重み付け加算して前記ホワイトバランス補正値を算出することを特徴としている。
【００２５】
請求項９に示すように請求項１に記載のオートホワイトバランス調整方法において、前記収束した代表色情報が複数個ある場合には、各代表色情報の算出に使用された前記色情報の個数が最大の代表色情報を前記ホワイトバランス補正値の算出に使用することを特徴としている。
【発明の効果】
【００２６】
本発明によれば、１画面を複数のエリアに分割してなる複数の分割エリアの色情報のうち、相互に近似する色情報のカタマリを、光源種に起因するカタマリと見なし、そのカタマリ内の色情報に基づいてホワイトバランス調整を行うためのホワイトバランス補正値を算出するようにしたため、特許文献１に記載のように光源種を検出するための検出枠を設ける必要がなく、簡単なアルゴリズムで良好なホワイトバランス補正値を求めることができ、特にカタマリ内の色情報から代表色情報を算出する際、及び算出された代表色情報から次に代表色情報を算出する際に、一度、算出に使用された色情報、又は代表色情報は、別の代表色情報の算出には使用しないようにしたため、代表色情報が収束するまでの演算回数を大幅に低減することができ、ホワイトバランス補正値を算出するまでの演算時間の短縮化を図ることができる。
【発明を実施するための最良の形態】
【００２７】
以下添付図面に従って本発明に係るオートホワイトバランス調整方法の好ましい実施の形態について詳説する。
【００２８】
図１は本発明に係るオートホワイトバランス調整方法が適用されたデジタルカメラの実施の形態を示すブロック図である。
【００２９】
このカメラ１０は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。 ＣＰＵ１２は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能する。
【００３０】
バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ１７には、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。
【００３１】
また、メモリ（ＳＤＲＡＭ）１８は、プログラムの展開領域及びＣＰＵ１２の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ２０は画像データ専用の一時記憶メモリであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。メモリ１８とＶＲＡＭ２０は共用することが可能である。
【００３２】
カメラ１０にはモード選択スイッチ２２、撮影ボタン２４、その他、メニュー／ＯＫキー、十字キー、キャンセルキーなどの操作手段２６が設けられている。これら各種の操作部（２２〜２６）からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、画像表示装置２８の表示制御などを行う。
【００３３】
モード選択スイッチ２２は、撮影モードと再生モードとを切り換えるための操作手段である。モード選択スイッチ２２を操作して可動接片２２Ａを接点ａに接続させると、その信号がＣＰＵ１２に入力され、カメラ１０は撮影モードに設定され、可動接片２２Ａを接点ｂに接続させると、カメラ１０は記録済みの画像を再生する再生モードに設定される。
【００３４】
撮影ボタン２４は、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。
【００３５】
メニュー／ＯＫキーは、画像表示装置２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。キャンセルキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００３６】
画像表示装置２８は、カラー表示可能な液晶ディスプレイで構成されている。画像表示装置２８は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置２８は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００３７】
カメラ１０は、メディアソケット（メディア装着部）３０を有し、メディアソケット３０には記録メディア３２を装着することができる。記録メディアの形態は特に限定されず、xD-PictureCard（商標）、スマートメディア（商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。
【００３８】
メディアコントローラ３４は、メディアソケット３０に装着される記録メディア３２に適した入出力信号の受渡しを行うために所要の信号変換を行う。
【００３９】
また、カメラ１０はパソコンその他の外部機器と接続するための通信手段としてＵＳＢインターフェース部３６を備えている。図示せぬＵＳＢケーブルを用いてカメラ１０と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、IEEE1394やBluetooth その他の通信方式を適用してもよい。
【００４０】
次に、カメラ１０の撮影機能について説明する。
【００４１】
モード選択スイッチ２２によって撮影モードが選択されると、カラーＣＣＤ固体撮像素子（以下ＣＣＤと記載）３８を含む撮像部に電源が供給され、撮影可能な状態になる。
【００４２】
レンズユニット４０は、フォーカスレンズを含む撮影レンズ４２と絞り兼用メカシャッター４４とを含む光学ユニットである。レンズユニット４０は、ＣＰＵ１２によって制御されるレンズ駆動部４６、絞り駆動部４８によって電動駆動され、ズーム制御、フォーカス制御及びアイリス制御が行われる。
【００４３】
レンズユニット４０を通過した光は、ＣＣＤ３８の受光面に結像される。ＣＣＤ３８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。また、ＣＣＤ３８は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１２は、タイミングジェネレータ５０を介してＣＣＤ３８での電荷蓄積時間を制御する。尚、ＣＣＤ３８に代えてＭＯＳ型など他の方式の撮像素子を用いてもよい。
【００４４】
ＣＣＤ３８の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００４５】
ＣＣＤ３８から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）５２に送られ、ここで画素ごとのＲ，Ｇ，Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５４に加えられる。Ａ／Ｄ変換器５４によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、画像入力コントローラ５６を介してメモリ１８に記憶される。
【００４６】
画像信号処理回路５８は、メモリ１８に記憶されたＲ，Ｇ，Ｂ信号をＣＰＵ１２の指令に従って処理する。即ち、画像信号処理回路５８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ１８を活用しながら所定の信号処理を行う。
【００４７】
画像信号処理回路５８に入力されたＲＧＢの画像データは、画像信号処理回路５８において輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路５８で処理された画像データはＶＲＡＭ２０に格納される。
【００４８】
撮影画像を画像表示装置２８にモニタ出力する場合、ＶＲＡＭ２０から画像データが読み出され、バス１４を介してビデオエンコーダ６０に送られる。ビデオエンコーダ６０は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置２８に出力する。
【００４９】
ＣＣＤ３８から出力される画像信号によって、１コマ分の画像を表す画像データがＡ領域２０ＡとＢ領域２２Ｂとで交互に書き換えられる。ＶＲＡＭ２０のＡ領域２０Ａ及びＢ領域２０Ｂのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ２０内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が画像表示装置２８に供給されることにより、撮像中の映像がリアルタイムに画像表示装置２８に表示される。撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。
【００５０】
撮影ボタン２４が半押しされ、Ｓ１がオンすると、カメラ１０はＡＥ及びＡＦ処理を開始する。即ち、ＣＣＤ３８から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５６を介してＡＦ検出回路６２並びにＡＥ／ＡＷＢ検出回路６４に入力される。
【００５１】
ＡＥ／ＡＷＢ検出回路６４は、１画面を複数のエリア（例えば、１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１２に提供する。ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ１２はＣＣＤ３８の電子シャッター及びアイリスを制御して適正な露光量を得る。
【００５２】
また、ＡＥ／ＡＷＢ検出回路６４は、自動ホワイトバランス調整時には、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１２に提供する。ＣＰＵ１２は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、各分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って、例えば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ，Ｇ，Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。前述した各比の値を１以外の値になるようにホワイトバランス調整回路のゲイン値を調整すると、ある色味が残った画像を生成することができる。尚、ホワイトバランス調整の詳細は後述する。
【００５３】
本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。
【００５４】
ＡＦ検出回路６２で求めた積算値のデータはＣＰＵ１２に通知される。ＣＰＵ１２は、レンズ駆動部４６を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにレンズ駆動部４６を制御する。尚、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。
【００５５】
撮影ボタン２４が半押しされ、Ｓ１オンによってＡＥ／ＡＦ処理が行われ、撮影ボタン２４が全押しされ、Ｓ２オンによって記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データは画像信号処理回路５８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ１８に格納される。
【００５６】
メモリ１８に格納されたＹ／Ｃ信号は、圧縮伸張回路６６によって所定のフォーマットに従って圧縮された後、メディアコントローラ３４を介して記録メディア３２に記録される。例えば、静止画についてはJPEG（Joint Photographic Experts Group）形式で記録される。
【００５７】
モード選択スイッチ２２により再生モードが選択されると、記録メディア３２に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路６６を介して非圧縮のＹＣ信号に伸張され、画像信号処理回路５８及びビデオエンコーダ６０を介して表示用の信号に変換された後、画像表示装置２８に出力される。これにより、当該ファイルの画像内容が画像表示装置２８の画面上に表示される。
【００５８】
静止画の一コマ再生中（動画の先頭フレーム再生中も含む）に、十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディア３２から読み出され、上記と同様にして静止画像や動画が画像表示装置２８に再生表示される。
【００５９】
次に、本発明に係るオートホワイトバランス調整方法について説明する。
【００６０】
図２は本発明に係るホワイトバランス調整方法を説明するために用いたフローチャートである。
【００６１】
まず、撮影ボタン２４が押されると、被写体の撮影が行われる。この撮影時にＣＣＤ３８から得られたＲ，Ｇ，Ｂ信号は一旦メモリ１８に格納される。メモリ１８に格納されているＲ，Ｇ，Ｂ信号を用いて、１画面が１６×１６に分割された２５６個の分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、各分割エリアごとにＲ，Ｇ，Ｂの平均積算値の比（即ち、Ｒ／Ｇ及びＢ／Ｇの比）を算出する（ステップＳ１０）。
【００６２】
このようにして算出された２５６個の分割エリアごとの色情報は、前記Ｒ／Ｇ、Ｂ／Ｇの値に基づいて図３に示すＲ／Ｇ、Ｂ／Ｇの色空間上で分布する２５６個の点として表すことができる。
【００６３】
そして、以下のアルゴリズムにより、Ｒ／Ｇ、Ｂ／Ｇの色空間上で分布する２５６個の色情報のカタマリ中心座標点をコーンCORNとして算出する。
【００６４】
このアルゴリズムの概要について、図４を参照しながら説明する。
【００６５】
図４（Ａ）に示すように色空間上に６つの色情報ａ〜ｆが分布しているとする。この６つの色情報ａ〜ｆから色情報のカタマリを求めるとともに、そのカタマリ中心座標点を以下のようにして求める。
【００６６】
まず、６つの色情報ａ〜ｆのうちの任意の１つの色情報ａを注目する色情報とし、この色情報ａと他の色情報ｂ〜ｆとの距離を算出する。そして、算出された距離が所定の距離以内の他の色情報を求める。即ち、色情報ａを中心とする円１の中の色情報を求める。この例では、色情報ａから所定の距離以内の他の色情報は、色情報ｂ、ｃであり、これらの色情報ｂ、ｃは、色情報ａと近似した色情報である。
【００６７】
注目する色情報ａと、これに近似した色情報ｂ、ｃの加重平均を求め、この平均値を色情報ａ、ｂ、ｃの代表色情報（第１の代表色情報）ａ1 とする。
【００６８】
次に、注目する色情報を変更する。この場合、第１の代表色情報ａ1 の算出に使用されなかった色情報（この例では、色情報ｄ、ｅ、ｆ）の中から注目する色情報を選択する。この例では、色情報ｄを次に注目する色情報とする。そして、上記と同様にして注目する色情報ｄと他の色情報ｅ、ｆ（第１の代表色情報の算出に使用されなかった色情報）との距離を算出し、色情報ｄを中心とする円２の中の色情報を求める。この例では、色情報ｄから所定の距離以内の、第１の代表色情報の算出に使用されていない他の色情報は、色情報ｅである。
【００６９】
注目する色情報ｄと、これに近似した色情報ｅの加重平均を求め、この平均値を色情報ｄ、ｅの代表色情報（第１の代表色情報）ｂ1 とする。
【００７０】
次に、注目する色情報を変更する。この場合、第１の代表色情報ａ1 、ｂ1 の算出に使用されなかった色情報（この例では、色情報ｆ）を注目する色情報とする。そして、この注目する色情報ｆと他の色情報（第１の代表色情報の算出に使用されなかった色情報）との距離を算出するが、この場合、他の色情報がないため、距離の算出は行なわれない。即ち、色情報ｆは、色情報のカタマリに属していない孤立した色情報である。
【００７１】
上記第１の代表色情報の算出が終了し、注目する色情報がなくなると、次に、図４（Ｂ）に示すように前記算出された第１の代表色情報（この例では、第１の代表色情報ａ1 、ｂ1 ）のうちの任意の１つの第１の代表色情報ａ1 を注目する第１の代表色情報とし、この第１の代表色情報ａ1 と他の第１の代表色情報ｂ1 との距離を算出する。そして、算出された距離が所定の距離以内の他の第１の代表色情報を求める。即ち、第１の代表色情報ａ1 を中心とする円３の中の第１の代表色情報を求める。この例では、第１の代表色情報ａ1 から所定の距離以内の他の第１の代表色情報は、第１の代表色情報ｂ1 である。
【００７２】
注目する第１の代表色情報ａ1 と、これに近似した第１の代表色情報ｂ1 の加重平均を求め、この平均値を第１の代表色情報ａ1 、ｂ2 の代表色情報（第２の代表色情報）ａ2 とする。
【００７３】
このようにして代表色情報が収束するまで、第１の代表色情報、第２の代表色情報、…を求める。そして、収束した代表色情報（この例では、第２の代表色情報ａ2 ）を、色情報ａ〜ｅのカタマリの中心座標点とする。
【００７４】
図２に戻って、ｔ＝１を設定する（ステップＳ１２）。ここで、ｔは、前述した第１の代表色情報、第２の代表色情報、…、第ｎの代表色情報の算出する場合に応じて１、２、…、ｎと変化するパラメータである。
【００７５】
Ｒ／Ｇ、Ｂ／Ｇの色空間上で分布する、注目する色情報（又は代表色情報）の（Ｒ／Ｇ，Ｂ／Ｇ）の座標を（Ｒｊt,Ｂｊt ）とする（ステップＳ１４）。ここで、ｊは１〜分布数ｋt を表しており、ｔ＝１の場合の分布数ｋ1 は２５６である。
【００７６】
続いて、（Ｒｊt,Ｂｊt ）と、Ｒ／Ｇ、Ｂ／Ｇの色空間上で分布している他の色情報（又は代表色情報）の座標（Ｒｊtａ,Ｂｊtａ）との距離Ｄｊtａを、次式により求める（ステップＳ１６）。
【００７７】
［数１］
Ｄｊtａ＝√｛(Ｒｊt −Ｒｊtａ ) 2＋(Ｂｊt −Ｂｊtａ ) 2｝
ここで、ａはｊ〜分布数ｋt であり、ｔ＝１の場合には、２５６個すべての色情報の座標（Ｒｊt,Ｂｊt ）と他の色情報との距離を求める。
【００７８】
次に、［数１］で求めた距離Ｄｊtａと所定の閾値Ｎとを比較し、Ｄｊtａ＜Ｎ、かつフラグＦＬＧａ≠１の条件を満たす色情報を選択する（ステップＳ１８）。尚、Ｎは、図４に示した円の半径に対応し、予めＥＥＰＲＯＭに設定された値である。また、フラグＦＬＧａ＝１は、後述のステップＳ２２にて既に平均値の演算に使用された色情報を示す。  
上記のようにして選択された色情報には、フラグＦＬＧａ＝１を設定し（ステップＳ２０）、続いて、Ｋｊtａと、（Ｒｊtａ,Ｂｊtａ）との加重平均からステップＳ１８で選択された色情報の代表色情報（Ｒｊt+1,Ｂｊt+1）を算出する。［数２］は、代表色情報（Ｒｊt+1,Ｂｊt+1）を算出する式を示している。
【００７９】
【数２】
2006074623.tif 000003
【００８０】
但し、［数２］において、Ｄｊtａ＜Ｎ、かつＦＬＧａ≠１のとき、Ｋｊtａ＝１、それ以外のとき、Ｋｊtａ＝０である。
【００８１】
次に、ｊを１だけインクリメントし（ステップＳ２４）、ｊ≦ｋt か否かを判別する（ステップＳ２６）。ｊ≦ｋt の場合には、ステップＳ２４で設定されたｊに対応する色情報（又は代表色情報）のフラグＦＬＧｔがＦＬＧｔ＝１か否かを判別する（ステップＳ２８）。ＦＬＧｔ＝１の場合には、一度、ステップＳ２２での計算に使用されている情報であるため、ステップＳ２４に進み、ＦＬＧｔ≠１の場合には、ステップＳ１４に進み、ステップＳ２４で設定されたｊに対応する色情報（又は代表色情報）を注目する色情報（又は代表色情報）とする。
【００８２】
一方、対象となる分布数ｋt だけ処理が行なわれ、ステップＳ２６において、ｊ＞ｋt となると、ｔ回の代表色情報の座標値（Ｒｊtａ,Ｂｊtａ）と、ステップＳ２２で算出されたｔ＋１回の代表色情報の座標値（Ｒｊt+1,Ｂｊt+1）とが一致するか否かを判別する（ステップＳ３０）。
【００８３】
座標値が一致しない場合には、ｔを１だけインクリメントし（ステップＳ３２）、ステップＳ１４に進む。そして、ステップＳ１４において、ステップＳ２２で算出された各代表色情報の中から注目する代表色情報を選定して上記と同様の処理を繰り返す。
【００８４】
これにより、２５６（＝ｋ1 ）個の色情報、ｋ2 個の第１の代表色情報、ｋ3 個の第２の代表色情報、…と、代表色情報の個数が徐々に減少する。
【００８５】
ステップＳ３０において、（Ｒｊtａ,Ｂｊtａ）＝（Ｒｊt+1,Ｂｊt+1）に収束したと判別されると、続いて、その座標（カタマリ中心座標）に収束した色情報の個数が、閾値ｅ以上のカタマリを検出し（ステップＳ３４）、更に個数の多い上位ｍ個以内のカタマリを検出する（ステップＳ３６）。尚、ｅ、ｍはそれぞれＥＥＰＲＯＭに設定された設定値である。
【００８６】
そして、ステップＳ３６で検出されたカタマリを、ＡＷＢ調整に使用するためのコーンCORN１、…、CORNｍとする（ステップＳ３８、図３参照）。
【００８７】
その後、上記のようにして求めたコーンCORNｉ（ｉ＝1,2,…) ごとの代表色情報を、ニュートラル・グレー（Ｎグレー）にするためのＲ／ＧゲインＧri、Ｂ／ＧゲインＧbiを求め、これらのＲ／ＧゲインＧri、Ｂ／ＧゲインＧbiについて、各コーンCORNｉ内の個数Ｎで重み付けしたＲ／ＧゲインＧr 、Ｂ／ＧゲインＧb を、次式により求める。
【００８８】
［数３］
Ｇr ＝ΣＧri×Ｎｉ／ΣＮｉ
Ｇｂ＝ΣＧbi×Ｎｉ／ΣＮｉ
以上のようにして求めたＲ／ＧゲインＧr 、Ｂ／ＧゲインＧb から、図１のメモリ１８に保存したＲ，Ｇ，Ｂ信号に対するＲ，Ｇ，Ｂゲイン値（ＷＢ補正値）を求める。尚、Ｇ信号に付与する所要のゲイン値を、前記Ｒ／ＧゲインＧr 、Ｂ／ＧゲインＧb に乗算することによりＲ、Ｂ信号に付与するＲ、Ｂゲイン値を求めることができる。また、Ｇ信号に付与する所要のゲイン値を１とした場合には、前記Ｒ／ＧゲインＧr 、Ｂ／ＧゲインＧb がそのままＲ、Ｂ信号に付与するＲ、Ｂゲイン値となる。
【００８９】
そして、上記Ｒ，Ｇ，Ｂゲイン値（ＷＢ補正値）によりメモリ１８に保存したＲ，Ｇ，Ｂ信号を補正する。これによりホワイトバランス調整が行われる。
【００９０】
尚、この実施の形態では、色情報が収束するまでの回数ｔにかかわらず、色情報の近似する範囲を規定する閾値Ｎの値を固定値としたが、これに限らず、ｔの回数に応じて閾値Ｎの値を最適な値に変動させるようにしてもよい。
【図面の簡単な説明】
【００９１】
【図１】図１は本発明に係るオートホワイトバランス調整方法が適用されたデジタルカメラの実施の形態を示すブロック図である。
【図２】図２は本発明に係るオートホワイトバランス調整方法を説明するために用いたフローチャートである。
【図３】図３は複数の分割エリアの色情報のＲ／Ｇ、Ｂ／Ｇの色空間上での分布の一例を示すグラフである。
【図４】図４は本発明に係る代表色情報の算出のアルゴリズムの概要を説明するために用いた図である。
【符号の説明】
【００９２】
１０…カメラ、１２…ＣＰＵ、１６…ＲＯＭ、１７…ＥＥＰＲＯＭ、１８…メモリ、２６…操作手段、３２…記録メディア、３８…カラーＣＣＤ固体撮像素子（ＣＣＤ）、４０…レンズユニット、４２…撮影レンズ、５８…画像信号処理回路
【図１】
2006074623.tif 000004
【図２】
2006074623.tif 000005
【図３】
2006074623.tif 000006
【図４】
2006074623.tif 000007