(57)【特許請求の範囲】
【請求項１】
入力されたカラー画像データに対してホワイトバランスの調整を行うホワイトバランス調整装置であって、
白色画素を検出するための領域であって、輝度の範囲の下限値を含むパラメータにより規定される白検出領域を設定する白検出領域設定手段と、
前記白検出領域設定手段で設定された白検出領域に含まれる白色画素を検出する白色画素検出手段と、
前記白色画素検出手段で検出された白色画素の数をカウントする白色画素カウント手段と、
前記白色画素カウント手段で検出された白色画素の数が所定の画素数よりも大きいか否かを判定する画素数判定手段と、
前記画素数判定手段で前記白色画素の数が所定の画素数よりも大きくないと判定されたときは、前記白検出領域の輝度の範囲の下限値を所定量小さくする白検出領域変更手段と、
白検出領域変更手段で新たに設定された白検出領域に基づいて、前記白色画素検出手段で検出される白色画素の数が所定の画素数よりも大きくなるまで、前記白色画素検出手段、白色画素カウント手段、及び白検出領域変更手段を繰り返し作動させる繰り返し実行手段と、
現在の白検出領域の輝度の範囲の下限値が所定輝度以下か否かを判定する輝度判定手段と、
入力されたカラー画像データに対してホワイトバランスの調整を行う際のゲインを算出するゲイン算出手段と、
前記白色画素検出手段で検出された白色画素に基づいて、入力されるカラー画像データに対して前記ゲイン算出手段で算出されたゲインを用いてホワイトバランスの調整を行うホワイトバランス調整手段と、
前記ゲイン算出手段で算出されたゲインが所定範囲内にあるか否かを判定する判定手段とを備え、
前記ホワイトバランス調整手段は、前記輝度判定手段で前記白検出領域の輝度の範囲の下限値が所定輝度以下であると判定されたときは、前記ゲイン算出手段で算出されたゲインが所定範囲内にあるときに限り、ホワイトバランスの調整を行うことを特徴とするホワイトバランス調整装置。
【請求項２】
前記ホワイトバランス調整手段が動画像に対してホワイトバランス調整を行うものである場合において、
前記ホワイトバランス調整手段は、前記輝度判定手段で前記白検出領域の輝度の範囲の下限値が所定輝度以下であると判定された場合において、前記ゲイン算出手段で算出されたゲインが所定範囲内にあるときは、フレーム間での画像の色合いの変化が抑制されるように、前フレームにおいて用いられたゲインと今フレームにおいて前記ゲイン算出手段で算出されたゲインとに基づいて第２のゲインを算出し、この第２のゲインを用いてホワイトバランスの調整を行うことを特徴とする請求項１に記載のホワイトバランス調整装置。
【請求項３】
前記白色画素検出手段で検出された白色画素の数が、前記所定の画素数よりも大きい第２の所定の画素数よりも大きいか否かを判定する第２画素数判定手段と、
前記白検出領域の輝度の範囲の下限値が前記所定輝度よりも大きい第２の所定輝度よりも小さいか否かを判定する第２輝度判定手段と、
前記第２画素数判定手段で前記白色画素の数が第２の所定の画素数よりも大きいと判定された場合において、前記第２輝度判定手段で前記白検出領域の輝度の範囲の下限値が前記第２の所定輝度よりも小さいと判定されたときは、前記白検出領域の輝度の範囲の下限値を所定量大きくする白検出領域縮小手段と、を備えることを特徴とする請求項１または請求項２に記載のホワイトバランス調整装置。
【請求項４】
前記白色画素検出手段で検出された所定画素のＲ，Ｇ，Ｂデータの積算値を算出する積算手段を備え、
前記ゲイン算出手段は、前記積算手段での積算値に基づいてゲインを算出する
ことを特徴とする請求項１から請求項３のいずれか１項に記載のホワイトバランス調整装置。
【請求項５】
前記請求項１から請求項４のいずれか１項に記載のホワイトバランス調整装置を備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対してホワイトバランスの調整を行うホワイトバランス調整装置及びそれを備えた撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラやウェブカメラ等の撮像装置には、撮像した画像の色合いが人間の目にとって不自然なものとならないように画像データを自動的に調整するホワイトバランス調整装置が設けられている。このホワイトバランス調整装置は、白い被写体を撮像した場合の撮像画像における被写体の色が人間が目視したときに白と感じられるように、出力信号のＲ、Ｇ、Ｂの比を１：１：１になるように画像データを調整する。
【０００３】
具体的には、このようなホワイトバランス調整装置は、例えば、画像データを構成する全画素の中から、所定の条件で設定された白検出領域に含まれる白色画素を検出し、この検出された白色画素に基づいて、入力されるカラー画像データ全体に対してホワイトバランスの調整を行う。
【０００４】
しかし、このように白色画素を検出してホワイトバランス調整を行う場合、撮像された画像が例えば比較的輝度の低い画像である場合、ホワイトバランス調整の際十分な数の白色画素を検出することができず、その結果、ホワイトバランス調整の失敗（カラーフェリア）を生じることがあった。
【０００５】
このような問題に対処可能なホワイトバランス調整装置として、特許文献１に記載のものがある。特許文献１に記載のホワイトバランス調整装置は、さらに、輝度パラメータと色差データパラメータに基づいて、白色画素を検出するための白検出領域を設定する白検出領域設定手段と、白検出領域設定手段で設定された白検出領域に含まれる白色画素を検出する白色画素検出手段と、前記白色画素検出手段で検出された白色画素の数をカウントする白色画素カウント手段と、前記白色画素カウント手段で検出された白色画素の数が所定の画素数よりも大きいか否かを判定する画素数判定手段と、前記画素数判定手段で前記白色画素の数が所定の画素数よりも大きくないと判定されたときは、前記輝度の所定範囲の下限値を所定量小さくする白検出領域変更手段と、を備えている。このような構成によれば、ホワイトバランスの調整の際できるだけ多くの白色画素を利用することができ、ホワイトバランスの調整精度が向上する。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、白検出領域の下限値を小さくすると（白検出領域を低輝度方向に拡張すると）、例えば中輝度領域に多く存在する有彩色の被写体の影響を受けやすくなり、カラーフェリアが発生しやすくなる。
【０００７】
また、デジタルカメラと比較して低価格帯の撮像装置では、コストアップを避けるために使用可能なメモリ量も限られる。そのため、このような製品では、少ないメモリ量でカラーフェリアを軽減させることが重要である。
【０００８】
本発明は、簡易なハードウェア構成で、カラーフェリアを軽減可能なホワイトバランス調整装置及びそれを備えた撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様として、カラー画像データに対してホワイトバランスの調整を行うホワイトバランス調整装置が提供される。このホワイトバランス調整装置は、輝度パラメータと色差データパラメータに基づいて、白色画素を検出するための白検出領域を設定する白検出領域設定手段と、前記白検出領域設定手段で設定された白検出領域に含まれる白色画素を検出する白色画素検出手段と、前記白色画素検出手段で検出された白色画素の数をカウントする白色画素カウント手段と、前記白色画素カウント手段で検出された白色画素の数が所定の画素数よりも大きいか否かを判定する画素数判定手段と、前記画素数判定手段で前記白色画素の数が所定の画素数よりも大きくないと判定されたときは、前記輝度の所定範囲の下限値を所定量小さくする白検出領域変更手段と、白検出領域変更手段で新たに設定された白検出領域に基づいて、前記白色画素検出手段で検出される白色画素の数が所定の画素数よりも大きくなるまで、前記白色画素検出手段、白色画素カウント手段、及び白検出領域変更手段を繰り返し作動させる繰り返し実行手段と、現在の白検出領域の輝度の範囲の下限値が所定輝度以下か否かを判定する輝度判定手段と、入力されたカラー画像データに対してホワイトバランスの調整を行う際のゲインを算出するゲイン算出手段と、前記白色画素検出手段で検出された白色画素に基づいて、入力されるカラー画像データに対して前記ゲイン算出手段で算出されたゲインを用いてホワイトバランスの調整を行うホワイトバランス調整手段とを備え、前記ゲイン算出手段で算出されたゲインが所定範囲内にあるか否かを判定する判定手段と、前記ホワイトバランス調整手段は、前記輝度判定手段で前記白検出領域の輝度の範囲の下限値が所定輝度以下であると判定されたときは、前記ゲイン算出手段で算出されたゲインが所定範囲内にあるときに限り、ホワイトバランスの調整を行う。
【００１０】
本発明の第２の態様として、第１の態様のホワイトバランス装置を備えた撮像装置が提供される。
【発明の効果】
【００１１】
本発明によれば、ホワイトバランスの調整の際、白色画素検出手段で検出される白色画素の数が所定の画素数よりも小さい場合は、大きくなるまで白検出領域が拡大される。これにより、ホワイトバランスの調整を、該調整を安定して行うのに必要な数の白色画素を確保した状態で行うことができる。よって、検出された白色画素の数が少ない状態でホワイトバランスの調整を行ったときに生じやすいカラーフェリアを抑制しやすくなる。なお、所定の画素数は、例えば全画素数の20%程度とすればよい。
【００１２】
ここで、例えば室内においては中輝度領域に多くの有彩色の被写体が存在している。そのため、白検出領域を高輝度側から低輝度方向に拡張していくと、有彩色の被写体の影響を受けやすくなる。例えば撮像画像において赤色の被写体が大きな範囲を占めているような場合、検出された白色画素にも赤成分を含む画素が多く含まれることとなる。この場合、この赤成分を打ち消すためのゲインが大きくなる。そして、この大きなゲインを適用してホワイトバランス調整を行った場合、逆に赤色のものが赤色でなくなるような大きな色ずれを伴うカラーフェリアを生じることとなる。
【００１３】
このような問題を解決するため、本発明では、白検出領域を低輝度方向に拡張したことにより白検出領域の輝度の範囲の下限値が所定輝度以下となっている場合には、ゲイン算出手段で算出されたゲインが所定範囲内にあるときに限り、ホワイトバランスの調整を行う。算出されたゲインが所定範囲内にあるということは、画像データにおける色の偏りが少ないということであり、またゲインも小さいので、大きな色ずれが発生する虞も少ない。つまり、カラーフェリアの発生が生じにくくなる。
【００１４】
また、本発明においては、白検出領域の範囲を変更する際、白検出領域の輝度の範囲の下限値を変更するだけでよいので、領域の大きさが異なる多数の白検出領域を規定するテーブル等が不要である。これにより、限られたメモリで、つまり簡易な構成でカラーフェリアを低減することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態の撮像装置の構成を示すブロック図である。
【図２】白検出回路の白色の検出領域を説明するための図である。
【図３】YUV空間上における白色の検出範囲についての説明図である。
【図４】白検出パラメータの輝度条件の下限値変更処理を説明するための図である。
【図５】本実施形態のホワイトバランス調整装置によるホワイトバランス調整を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について説明する。
【００１７】
１．構成
図１は本実施の形態にかかる撮像装置及びホワイトバランス調整装置の構成を示すブロック図である。
【００１８】
図１に示す撮像装置は、画像取得装置1、ホワイトバランス調整装置２、画像出力装置３を備えている。この撮像装置は、所定フレーム数／秒で動画撮影を行うことが可能である。画像取得装置1、ホワイトバランス調整装置２、画像出力装置３は、各フレーム毎に後述する処理を行う。
【００１９】
画像取得装置1は、レンズ、絞り、シャッター、撮像素子、Ａ／Ｄコンバータ等を有する。レンズは、駆動されることにより焦点位置の調節を行って撮像素子の撮像面上に被写体像を結像させる。絞り及びシャッターは、撮像素子の露光量の調整を行う。撮像素子は、例えばＣＣＤセンサやＣＭＯＳセンサにより構成され、撮像面上に結像した被写体像に対応するアナログ信号を出力する。Ａ／Ｄコンバータは、撮像素子から入力されたアナログ信号をデジタルデータ（Ｒ、Ｇ、Ｂデータ）に変換してホワイトバランス調整装置２に出力する。
【００２０】
ホワイトバランス調整装置２は、画像取得装置1から入力されたデジタルデータに対して色差演算処理、ホワイトバランス調整等の処理を行った後、これらの処理を行った画像データを画像出力装置３に出力する。
【００２１】
画像出力装置３は、ホワイトバランス調整装置２から入力されたホワイトバランス調整済の画像データを表示し、及び／または、記憶媒体への書き込み等を行う。
【００２２】
次に、ホワイトバランス調整装置２の構成について詳しく説明する。ホワイトバランス調整装置２は、色差演算回路４、白検出回路５、およびコントローラ６を有する。
【００２３】
色差演算回路４は、画像取得装置1から入力されたＲ、Ｇ、Ｂデータを輝度データＹと色差データU、Vに変換して白検出回路５に出力する。Ｒ、Ｇ、Ｂデータの輝度データYおよび色差データU、Vへの変換は下式（１）、(２)、（３）に基づいて行われる。
Y=G/2+R/4+B/4・・・（１）
U=B/2-G/2+128・・・（２）
V=R/2-G/2+128・・・（３）
【００２４】
コントローラ６は、白検出パラメータを設定して、白検出回路５に出力する。白検出パラメータは、Y min（Ｙの下限値）、Y max（Ｙの上限値）、U min（Uの下限値）、U max（Uの上限値）、V min（Vの下限値）、V max（Vの上限値）、U+V min（U+Vの下限値）、U+V max（Vの上限値）、V-U min（V-Uの下限値）、V-U max（V-Uの上限値）の１０種類のパラメータで構成される。
【００２５】
白検出回路５は、コントローラ６によって設定された白検出パラメータの値にしたがって、下式（４）〜（８）の５条件を全て満たす画素を画像全体から検出し、検出した全画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを算出してコントローラ６に出力する。
Y min≦Y≦Y max・・・（４）
U min≦U≦U max・・・（５）
V min≦V≦V max・・・（６）
U+V min≦(U+V)/2≦U+V max・・・（７）
V-U min≦(V-U)/2≦V-U max・・・（８）
【００２６】
図２は、白検出回路５における白色の検出領域を説明するための図である。図２は、色差データU、VのUV平面により示されている。白色の検出領域は、白検出パラメータのうちのY min（Ｙの下限値）、Y max（Ｙの上限値）を除く、U min（Uの下限値）、U max（Uの上限値）、V min（Vの下限値）、V max（Vの上限値）、U+V min（U+Vの下限値）、U+V max（Vの上限値）、V-U min（V-Uの下限値）、V-U max（V-Uの上限値）を示すラインで囲まれた領域（点描で示す領域）である。
【００２７】
図３は、図２同様、白検出回路５における白色の検出領域を説明するための図である。図３は、図２で説明した色差データU、VのUV平面に輝度Yの軸が追加されたYUV空間により示されている。白色の検出領域（点描で示す領域）は、輝度YがY min（Ｙの下限値）とY max（Ｙの上限値）との間の領域に設定されている。白検出回路５は、全画素のうち上記白色検出領域に含まれる画素のＲ，Ｇ，Ｂデータの積算値ΣＲ，ΣＧ，ΣＢを演算し、コントローラ６に出力する。
【００２８】
コントローラ６は、制御プログラムが格納されたＲＯＭと、ＲＯＭに格納された制御プログラムを実行するマイクロプロセッサとを有する。コントローラ６は、白検出回路５で演算された色積算値ΣＲ，ΣＧ，ΣＢに基づいて、（１）ホワイトバランス調整用のＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂ、及び（２）白検出回路５での白検出処理に用いられる白検出パラメータの値を算出する。また、コントローラ６は、画像取得装置1から出力されたデジタルデータに対して、上記ホワイトバランス調整用のＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを乗算することでホワイトバランスの調整を行う。
【００２９】
つぎに、コントローラ６による（１）ホワイトバランス調整用のＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂ、および（２）白検出パラメータの算出及び設定方法について詳しく説明する。
【００３０】
まず、（１）ホワイトバランス調整用のＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂの算出方法について説明する。コントローラ６は、ホワイトバランス調整用のＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを、白検出回路５から入力される色積算値データΣＲ，ΣＧ，ΣＢに基づいて、下式（９）、（１０）、（１１）に従って算出する。 
Ｇｒ＝（ΣＲ+ΣＧ+ΣＢ）/ΣＲ/3・・・（９）
Ｇｇ＝（ΣＲ+ΣＧ+ΣＢ）/ΣＧ/3・・・（１０）
Ｇｂ＝（ΣＲ+ΣＧ+ΣＢ）/ΣＢ/3・・・（１１）
【００３１】
コントローラ６は、ＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを画像取得装置1から出力されたデジタルデータに乗算することで、ΣＲ＝ΣＧ＝ΣＢ、すなわち白検出回路５で検出された領域の画像データを白とするホワイトバランス調整を行う。
【００３２】
次に、（２）白検出パラメータの決定方法について説明する。まず、カメラを起動する際の白検出パラメータの設定方法を説明する。白検出領域は、図２を参照して前述したように、白検出パラメータU min（Uの下限値）、U max（Uの上限値）、V min（Vの下限値）、V max（Vの上限値）、U+V min（U+Vの下限値）、U+V max（Vの上限値）、V-U min（V-Uの下限値）、V-U max（V-Uの上限値）により規定される。白検出領域は、ホワイトバランス制御を行う色温度の範囲において、黒体輻射により白色の被写体の色温度が変化する曲線の軌跡を全て含むことを条件として可能な限り狭い領域に設定される。
【００３３】
図３に示すように、輝度に関する白検出パラメータY min（Ｙの下限値）、Y max（Ｙの上限値）は、白検出領域が、白に相当する白相当領域（低輝度の灰色から黒の無彩色領域を含まない）において可能な限り狭い領域となるように設定される。
【００３４】
次に、白検出パラメータの輝度条件を変更する場合について説明する。
【００３５】
図４は、白検出領域の輝度範囲の下限値変更を説明するための図である。図４（ａ）は、通常の白検出領域を示す。通常の白検出領域は、中輝度よりも高輝度側に設定されている。図４（ｂ）は、白検出領域が低輝度側に拡張された状態を示す。
【００３６】
コントローラ６は、例えば図４（ａ）に示す通常状態の白検出回路５により白色と検出された画素の数がホワイトバランス制御を行うために必要な最低画素数N1を超えていない場合は、超えるまで、白検出パラメータのY min（Ｙの下限値）を低輝度方向に所定の微少量ずつシフトさせる（Y min（Ｙの下限値）を所定の微少量ずつ小さくする）。すなわち白検出領域を例えば図４（ｂ）に示すように低輝度領域側に拡張する。そして、露光を繰り返す。この間、コントローラ６は、ホワイトバランス制御を行わない。
【００３７】
コントローラ６は、白検出回路５により白色と検出された画素の数がホワイトバランス制御を行うために充分な画素数N２(N1<N2)を超え、かつ白検出パラメータのY min（Ｙの下限値）が初期値よりも小さい場合には、当該Y min（Ｙの下限値）を高輝度方向に所定の微少量ずつシフトさせる（Y min（Ｙの下限値）を所定の微少量ずつ大きくする）。
【００３８】
コントローラ６は、白検出回路５により白色と検出された画素の数がホワイトバランス制御を行うために必要な最低画素数N1を超えている場合、ホワイトバランス制御を行う。
【００３９】
コントローラ６は、上記のようにY min（Ｙの下限値）を低輝度方向にシフトさせた結果、Y min（Ｙの下限値）が閾値Y min Thを下回っている場合は、白検出が不安定であると判断する。この場合、コントローラ６は、ΣＲ，ΣＧ，ΣＢに基づいて算出されたＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂが、第１所定範囲（上限（R max limit1、G max limit1、B max limit1）および下限（R min limit1、G min limit1、B min limit1）で規定される範囲）よりも狭い第２所定範囲(上限（R max limit2、G max limit2、B max limit2）および下限（R min limit2、G min limit2、B min limit2）で規定される範囲）にあるか否かを判定する。
【００４０】
コントローラ６は、ΣＲ，ΣＧ，ΣＢに基づいて算出したＲゲインＧｒ、ＧゲインＧｇ、ＢゲインＧｂが第２所定範囲にある場合、フレーム間での画像の色合いの変化が抑制されるように、ホワイトバランスの調整を行う。具体的には、コントローラ６は、上述のように算出されたＲゲインＧｒ、ＧゲインＧｇ、ＢゲインＧｂが今フレームを含めた以後のフレームにおいて徐々に適用されるように、前記ＲゲインＧｒ、ＧゲインＧｇ、ＢゲインＧｂと、前フレームでホワイトバランス調整に用いたＲゲインＧｒｐ，ＧゲインＧｇｐ，ＢゲインＧｂｐと、所定数ｎとを下式に代入することにより、今フレームにおいてホワイトバランス調整に用いるＲゲインＧｒｓ、ＧゲインＧｇｓ、ＢゲインＧｂｓを算出する。ここで、所定数ｎは、例えば２〜８の間の整数値であり、前記ＲゲインＧｒ、ＧゲインＧｇ、ＢゲインＧｂを今フレーム及び以後のフレームにおいてどの程度の比重で反映させるかを決めるための数である。コントローラ６は、これらの算出したＲゲインＧｒｓ、ＧゲインＧｇｓ、ＢゲインＧｂｓを、ＲゲインＧｒ、ＧゲインＧｇ、ＢゲインＧｂに代えて、画像取得装置1から出力されたデジタルデータに対して乗算することにより、ホワイトバランスの調整を行う。
Ｇｒｓ＝（Ｇｒ−Ｇｒｐ）／ｎ＋Ｇｒｐ
Ｇｇｓ＝（Ｇｇ−Ｇｇｐ）／ｎ＋Ｇｇｐ
Ｇｂｓ＝（Ｇｂ−Ｇｂｐ）／ｎ＋Ｇｂｐ
【００４１】
この処理の一例を具体的に説明すると、例えば、今フレームにおいて算出されたＧｒが１０５、前フレームのＧｒｐが１００、所定数ｎが５で、その後のフレームの撮像データに変化がない場合、今フレームのＧｒｓは１０１、次フレームのＧｒｓは１０１．８、その次のフレームのＧｒｓは１０２．６４というように、Ｇｒｓは今フレームにおいて算出された１０５に向けて徐々に増加することとなる。つまり、色積算値ΣＲ，ΣＧ，ΣＢに基づいて算出されたゲインＧｒの画像への反映が、Y min（Ｙの下限値）が閾値Y min Thを下回っていない場合よりも長い時間をかけて徐々に行われることとなる。
【００４２】
また、この処理の他の例について説明すると、例えば、映像（画像データ）に大きな変化があり、今フレームにおいて算出されたＧｒが１０５、次のフレームのＧｒが１１０、その次のフレームのＧｒが１３０、前フレームのＧｒｐが１００、所定数ｎが５であった場合、今フレームのＧｒｓは１０１、次フレームのＧｒｓは１０２．８、その次のフレームのＧｒｓは１０８．２４となる。特に、本例では、今フレームにおいて算出されたＧｒが１０５、次のフレームのＧｒが１１０、その次のフレームのＧｒが１３０というように大きく変化しているが、実際に今回のホワイトバランス調整において適用するゲインＧｒｓは１０１、次フレームにおいて適用するＧｒｓは１０２．８、その次のフレームにおいて適用するＧｒｓは１０８．２４というように、徐々に変化することとなる。すなわち、画像の色合いがフレーム間で急激かつ頻繁に変化するのが抑制される。これにより、カラーフェリアによるちらつきが防止される。
【００４３】
２．ホワイトバランス調整動作
つぎに、本実施形態のホワイトバランス調整装置２によるホワイトバランス調整について、図５のフローチャートに従って説明する。
【００４４】
カメラが電源ＯＮされて起動されると、コントローラ６はＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを基準値に初期化する（ステップＳ１）。この基準値は、例えば、室内環境に対して適した値である。
【００４５】
ついで、コントローラ６は、白検出回路５の白検出パラメータY min（Ｙの下限値）、Y max（Ｙの上限値）を除いたU min（Uの下限値）、U max（Uの上限値）、V min（Vの下限値）、V max（Vの上限値）、U+V min（U+Vの下限値）、U+V max（Vの上限値）、V-U min（V-Uの下限値）、V-U max（V-Uの上限値）を初期化する（ステップＳ２）。初期化時、白検出領域は、図４（ａ）に示す通常状態の領域に設定される。通常状態の白検出領域は、前述のように中輝度よりも高輝度側に設定されている。
【００４６】
この後、画像取得装置1による露光制御が行われると、ホワイトバランス調整装置２の色差演算回路４は、画像取得装置1から入力されたＲ、Ｇ、Ｂデータを輝度データＹと色差データU、Vに変換し、白検出回路５は色差演算回路４からの色差データU、Vに対して白検出処理を行って色積算値ΣＲ，ΣＧ，ΣＢを算出し、コントローラ６に出力する（ステップＳ３）。このステップＳ３〜ステップＳ１４の処理は所定周期で繰り返し実行される。
【００４７】
コントローラ６は、白検出回路５から入力される白色と検出された画素の数をカウントし、カウントした数がホワイトバランス制御に最低限必要な画素数N1以上であるか否かを判定する（ステップＳ４）。白色と検出された画素の数がホワイトバランス制御に最低限必要な画素数N1以上である場合には、ステップＳ５に移行する。一方、白色と検出された画素の数がホワイトバランス制御に最低限必要な画素数N1以上でない場合は、ステップＳ１１に移行する。
【００４８】
ステップＳ１１では、コントローラ６は、低輝度方向に所定の微少な幅シフトさせた新たなY min（Ｙの下限値）を算出及び設定し、その後、ステップＳ３に戻る。なお、設定されたY min（Ｙの下限値）は、本フローチャートの次周期以後におけるステップＳ１１またはステップＳ１３で新たに設定されるまで、保持される。ステップＳ３では、前述のように、次の露光処理が行われ、各色についての積分値演算が行われる。以後のステップにおいて、ステップＳ３に戻ったときも同様である。
【００４９】
ステップＳ５では、コントローラ６は、白検出回路５から入力される白色と検出された画素の数がホワイトバランス制御に充分差し支えない画素数N2（N2＞N1）以下であるか否かを判定する。白色と検出された画素の数がホワイトバランス制御に充分差し支えない画素数N2以下である場合にはステップＳ６に移行する。一方、白色と検出された画素の数がホワイトバランス制御に充分差し支えない画素数N2以下でない場合には、ステップＳ1２に移行する。
【００５０】
ステップＳ1２では、コントローラ６は、白検出パラメータのY min（Ｙの下限値）が初期値以下であるか否かを判定し、初期値を下回る場合は、ステップＳ１３に移行する。初期値を下回らない場合は、ステップＳ６に移行する。
【００５１】
ステップＳ１３では、高輝度方向に所定の微少な幅シフトさせた新たなY min（Ｙの下限値）を算出及び設定し、ステップＳ６に移行する(ステップＳ１３)。
【００５２】
ステップＳ６では、コントローラ６は、白検出回路５から出力されたΣＲ，ΣＧ，ΣＢに基づいてＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを算出する。
【００５３】
ステップＳ７では、算出した各ゲインが第１所定範囲（上限値(R max limit1、G max limit1、B max limit1)および下限値(R min limit1、G min limit1、B min limit1)で規定される）に収まっているか否かを判定する。各ゲインが第１所定範囲に収まっている場合はステップＳ８に移行する。一方、各ゲインが第１所定範囲に収まっていない場合はステップＳ３に戻る。
【００５４】
ステップＳ８では、コントローラ６は、設定した白検出パラメータY minが、白検出が不安定であることを示す閾値Y min Th以下か否かを判定し、白検出パラメータY minが前記閾値Y min Th以下である場合、ステップＳ９に移行する。一方、白検出パラメータY minが前記閾値Y min Th以下でない場合は、白検出は安定していると判定し、ステップＳ１４に移行する。
【００５５】
ステップＳ１４では、コントローラ６は画像取得装置1から出力されたデジタルデータに対して、ＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂの設定値を乗算することにより、ホワイトバランス調整を行う。その後、このＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを、ＲゲインＧｒｐ，ＧゲインＧｇｐ，ＢゲインＧｂｐとして設定する。そして、ステップＳ３に戻る。
【００５６】
一方、ステップＳ９では、コントローラ６は、ステップＳ６で算出されたＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂが、ステップＳ７で説明した第１所定範囲よりも狭い範囲である第２所定範囲（上限値(R max limit2、G max limit2、B max limit2)および下限値(R min limit2、G min limit2、B min limit2)で規定される）に収まっているか否かを判定する。第２所定範囲に収まっていれば、ステップＳ１０に移行する。第２所定範囲に収まっていない場合は、ステップＳ３に戻る。
【００５７】
ステップＳ１０では、コントローラ６は、画像取得装置1から入力されたデジタルデータに対して、ステップＳ６で算出されたＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを、今フレームを含めた以後のフレームにおいて徐々に適用する。具体的には、ステップＳ６で算出されたＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂと、前フレームにおいて（このフローチャートの前周期において）ホワイトバランス調整に用いたＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂとを用いて、前述のＲゲインＧｒｓ、ＧゲインＧｇｓ、ＢゲインＧｂｓを算出し、この算出したＲゲインＧｒｓ、ＧゲインＧｇｓ、ＢゲインＧｂｓを、画像取得装置1から出力されたデジタルデータに対して乗算する。その後、このＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂを、ＲゲインＧｒｐ，ＧゲインＧｇｐ，ＢゲインＧｂｐとして設定し、ステップＳ３に戻る。このステップＳ１０の処理によれば、色積算値ΣＲ，ΣＧ，ΣＢに基づいて算出されたＲゲインＧｒ，ＧゲインＧｇ，ＢゲインＧｂの画像への反映が、今フレーム以後のフレームにおいて徐々に行われることにより、画像の色合いがフレーム間で急激かつ頻繁に変化するのが抑制される。これにより、カラーフェリアによるちらつきが防止される。
【００５８】
３．まとめ
本実施形態によれば、ホワイトバランスの調整の際、白検出回路５で検出される白色画素の数が所定の画素数N1よりも小さい場合は、大きくなるまで白検出領域が拡大される。これにより、ホワイトバランスの調整を、該調整を安定して行うのに必要な数の白色画素を確保した状態で行うことができる。よって、検出された白色画素の数が少ない状態でホワイトバランスの調整を行ったときに生じやすいカラーフェリアを抑制することができる。なお、所定の画素数は、例えば全画素数の20%程度とすればよい。
【００５９】
ここで、例えば室内においては中輝度領域に多くの有彩色の被写体が存在している。そのため、白検出領域を高輝度側から低輝度方向に拡張していくと、有彩色の被写体の影響を受けやすくなる。例えば撮像画像において赤色の被写体が大きな範囲を占めているような場合、検出された白色画素にも赤成分を含む画素が多く含まれることとなる。この場合、この赤成分を打ち消すためのゲインが大きくなる。そして、この大きなゲインを適用してホワイトバランス調整を行った場合、逆に赤色のものが赤色でなくなるような大きな色ずれを伴うカラーフェリアを生じることとなる。
【００６０】
このような問題を解決するため、本実施形態では、白検出領域を低輝度方向に拡張したことにより白検出領域の輝度の範囲の下限値Y minが所定輝度Y min Th以下となっている場合には、コントローラ６（ゲイン算出手段）で算出されたゲインが所定範囲Ｌｍｉｎ２内にあるときに限り、ホワイトバランスの調整を行う。算出されたゲインが所定範囲内にあるということは、画像データにおける色の偏りが少ないということであり、またゲインも小さいので、大きな色ずれが発生する虞も少ない。つまり、カラーフェリアの発生が生じにくくなる。
【００６１】
また、本実施形態においては、白検出領域の範囲を変更する際、白検出領域の輝度の範囲の下限値Y minを変更するだけでよいので、領域の大きさが異なる多数の白検出領域を規定するテーブル等が不要である。これにより、限られたメモリで、つまり簡易な構成でカラーフェリアを低減することができる。
【００６２】
なお、本実施の形態にかかる撮像装置及びホワイトバランス調整装置は、動画像を撮像するものであるが、請求項１に記載の発明は、静止画撮影にも適用できる。
【符号の説明】
【００６３】
１      画像取得装置
２      ホワイトバランス調整装置
３      画像出力装置
４      色差演算回路
５      白検出回路
６      コントローラ
【先行技術文献】
【特許文献】
【００６４】
【特許文献１】特開２０００−１７５２１６号公報
【図１】
0005699499.tif 000002
【図２】
0005699499.tif 000003
【図３】
0005699499.tif 000004
【図４】
0005699499.tif 000005
【図５】
0005699499.tif 000006