(57)【特許請求の範囲】
【請求項１】
複数色の画素を有する撮像装置によって撮像された画像の画像データに基づいて、当該撮像装置によって取得される画像データのホワイトバランスを制御する画像処理方法であって、
前記撮像装置によって、第１の露光値として画像を撮像して、
前記第１の露光値での画像データに基づいて、前記第１の露光値に対する輝度を、前記撮像装置によって撮像された画像の画像データを複数に分割した分割領域のそれぞれに対して算出し、
前記撮像装置によって、前記第１の露光値よりも小さい第２の露光値として画像を撮像し、
前記第２の露光値での画像データに基づいて、前記第２の露光値に対する輝度を、前記分割領域のそれぞれに対して算出し、
前記第１の露光値に対する輝度と、前記第２の露光値に対する輝度とに基づいて、前記分割領域のうち、輝度が飽和している輝度飽和領域を判定し、
前記分割領域のうち、前記輝度飽和領域以外の輝度不飽和領域における第１の露光値での画像データに基づいてホワイトバランスを制御する画像処理方法。
【請求項２】
複数色の画素を有する撮像装置によって撮像された画像の画像データに基づいて、当該撮像装置によって取得される画像データのホワイトバランスを制御する画像処理方法であって、
前記撮像装置によって、第１の露光値として画像を撮像して、
前記第１の露光値での画像データに基づいて、前記第１の露光値に対する輝度を、前記撮像装置によって撮像された画像の画像データを複数に分割した分割領域のそれぞれに対して算出し、
前記撮像装置によって、前記第１の露光値と異なる第２の露光値として画像を撮像し、
前記第２の露光値での画像データに基づいて、前記第２の露光値に対する輝度を、前記分割領域のそれぞれに対して算出し、
前記複数の分割領域のそれぞれに対して、前記第１の露光値に対する輝度と、前記第２の露光値に対する輝度との輝度比を求め、
前記輝度比と、前記第１の露光値と第２の露光値との比と、に基づいて、前記分割領域のうち、輝度が飽和している輝度飽和領域を判定し、
前記分割領域のうち、前記輝度飽和領域以外の輝度不飽和領域における画像データに基づいてホワイトバランスを制御する画像処理方法。
【請求項３】
所定の時間間隔で前記第２の露光値として画像を撮像し、
前記ホワイトバランスを制御するための設定を所定の周期で更新する請求項１、又は２に記載の画像処理方法。
【請求項４】
複数色の画素を有する撮像装置によって撮像された画像の画像データに基づいて、前記撮像装置によって取得された画像データのホワイトバランスを制御する画像処理装置であって、
前記撮像装置によって撮像された画像の画像データを記憶する画像データ記憶部と、
前記画像データに基づいて、前記画像を複数に分割した分割領域のそれぞれに対して、各色毎の積算値をそれぞれ算出する積算値算出部と、
前記積算値算出部で積算された積算値に基づいて、前記分割領域のそれぞれに対して、輝度を算出する輝度算出部と、
第１の露光値として撮像した場合において、前記輝度算出部によって算出された前記第１の露光値に対する輝度と、前記第１の露光値よりも小さい第２の露光値として撮像した場合において、前記輝度算出部によって算出された前記第２の露光値に対する輝度とに基づいて、前記分割領域のうち、輝度が飽和している輝度飽和領域を判定する輝度飽和領域判定部と、
前記分割領域のうち、前記輝度飽和領域以外の輝度不飽和領域における前記第１の露光値での画像データに基づいてホワイトバランスを制御するホワイトバランス制御部とを備える画像処理装置。
【請求項５】
複数色の画素を有する撮像装置によって撮像された画像の画像データに基づいて、前記撮像装置によって取得された画像データのホワイトバランスを制御する画像処理装置であって、
前記撮像装置によって撮像された画像の画像データを記憶する画像データ記憶部と、
前記画像データに基づいて、前記画像を複数に分割した分割領域のそれぞれに対して、各色毎の積算値をそれぞれ算出する積算値算出部と、
前記積算値算出部で積算された積算値に基づいて、前記分割領域のそれぞれに対して、輝度を算出する輝度算出部と、
第１の露光値として撮像した場合において、前記輝度算出部によって算出された前記第１の露光値に対する輝度と、前記第１の露光値と異なる第２の露光値として撮像した場合において、前記輝度算出部によって算出された前記第２の露光値に対する輝度とに基づいて、前記分割領域のうち、輝度が飽和している輝度飽和領域を判定する輝度飽和領域判定部と、
前記分割領域のうち、前記輝度飽和領域以外の輝度不飽和領域における第１の露光値に対する画像データに基づいてホワイトバランスを制御するホワイトバランス制御部とを備え、
前記輝度飽和領域判定部では、
前記複数の分割領域のそれぞれに対して、前記第１の露光値に対する輝度と、前記第２の露光値に対する輝度との輝度比を求め、
前記輝度比と、前記第１の露光値と第２の露光値との比と、に基づいて、前記分割領域のうち、前記輝度飽和領域を判定する画像処理装置。
【請求項６】
所定の時間間隔で前記第２の露光値として画像を撮像し、
前記ホワイトバランスを制御するための設定を所定の周期で更新する請求項４、又は５に記載の画像処理装置。
【請求項７】
前記複数色のそれぞれに対して設定されたゲインを有するゲイン設定部をさらに備え、
前記ホワイトバランス制御部が前記ゲイン設定部のゲインを変化させて、ホワイトバランスを制御する請求項４乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
複数色の画素を有する撮像装置であって、
請求項４乃至７いずれかに記載の画像処理装置を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及びそれを用いた撮像装置に関し、特に詳しくは撮像装置によって取得した画像データに基づいてホワイトバランスを調整する画像処理方法、画像処理装置及びそれを用いた撮像装置に関する。
【背景技術】
【０００２】
ＣＣＤカメラなどのデジタルカメラ装置では、通常、光源の色温度に応じてホワイトバランスを調整している。これにより、光源種が変化した場合でも、撮像された画像が適切な色で表示される。具体的には、撮像装置に設けられた画像処理装置は、光源（例えば、晴天、曇天、蛍光灯、電球、タングステンなど）に応じて、Ｒ，Ｇ，Ｂにそれぞれ異なるゲインを設定する。これにより、どのような光の下でも、適切な白色を表現することができる。
【０００３】
このようなホワイトバランスの調整では、例えば、分割領域各々にＲ，Ｇ，Ｂの積算値をそれぞれ求め、Ｒ／Ｇ、Ｂ／Ｇに基づいてホワイトバランス制御を行っている（特許文献１、特許文献２）。
【０００４】
【特許文献１】特開２００４−１７３０１０号公報
【特許文献２】特開２００２−２９０９８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以下に特許文献１に記載された画像処理について説明する。特許文献１の画像処理装置は、まず、入力画像をｍ×ｎの領域に分割する。そして、ｍ×ｎに分割した分割領域の各々に対して、Ｒ、Ｇ、Ｂをそれぞれ積算し、Ｒ／Ｇ及びＢ／Ｇを算出する。そして、ｍ×ｎ個の分割領域毎に算出されたＲ／Ｇ及びＢ／Ｇが図５に示すような光源推定マップ上のどの光源種枠内に入るかを判別する。
【０００６】
次に、撮影した時の露光値（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ：以下、ＥＶ値）を読み出す。さらに、読み出したＥＶ値を変数として、傾向値を規定したメンバシップ関数に基づいて判定値を算出する。ここで、判定値は、光源種毎に算出される。そして、判定値が所定値以上である場合は、最大の判定値の光源を光源種として、ホワイトバランスを調整する。しかしながら、特許文献１の画像処理では、分割領域の一部に輝度が飽和した被写体がある場合、光源判定時に誤判定を起こすおそれがある。すなわち、最大階調値よりも大きな輝度を持つ領域では、Ｒ／Ｇ及びＢ／Ｇを正確に算出することができない。よって、正確に光源を判定することができない場合がある。
【０００７】
これに対し、特許文献２の画像処理装置では、輝度の飽和検出のため、専用回路を設けている。従って、より安定したホワイトバランス制御を行うことができる。しかしながら、特許文献２の画像処理装置では、専用回路が必要となるため、回路規模が大きくなってしまうという問題点があった。特に携帯機器向けのＬＳＩでは、回路規模が小さい方が、消費電力を低減することができるため、極力不必要な回路が実装されるのを防ぐことが好ましい。このように、従来の画像処理装置では、回路規模を増大することなく、適切にホワイトバランスを調整することが困難であるという問題点があった。
【課題を解決するための手段】
【０００８】
本発明の第１の態様にかかる画像処理方法は、複数色の画素を有する撮像装置によって撮像された画像の画像データに基づいて、前記撮像装置によって取得された画像データのホワイトバランスを制御する画像処理方法であって、第１の露光値として画像を撮像して、前記第１の露光値での画像データに基づいて、前記第１の露光値に対する輝度を、前記撮像装置によって撮像された画像の画像データを複数に分割した分割領域のそれぞれに対して算出し、前記第１の露光値と異なる第２の露光値として画像を撮像し、前記第２の露光値での画像データに基づいて、前記第２の露光値に対する輝度を、前記分割領域のそれぞれに対して算出し、前記第１の露光値に対する輝度と、前記第２の露光値に対する輝度とに基づいて、前記分割領域のうち、輝度が飽和している輝度飽和領域を判定し、前記分割領域のうち、前記輝度飽和領域以外の輝度不飽和領域における画像データに基づいてホワイトバランスを制御するものである。これにより、輝度飽和領域及び輝度不飽和領域を簡便な方法で判定することができる。よって、輝度不飽和領域の画像データに基づいてホワイトバランスの設定を変えることができる。従って、適正なホワイトバランスで撮影画像を表示することができる。
【０００９】
本発明の第２の態様にかかる画像処理装置は、複数色の画素を有する撮像装置によって撮像された画像の画像データに基づいて、前記撮像装置によって取得された画像データのホワイトバランスを制御する画像処理装置であって、前記撮像装置によって撮像された画像の画像データを記憶する画像データ記憶部と、前記画像データに基づいて、前記撮像装置によって撮像された画像の画像データを複数に分割した分割領域のそれぞれに対して、各色毎の積算値をそれぞれ算出する積算値算出部と、前記積算値算出部で積算された積算値に基づいて、前記分割領域のそれぞれに対して、輝度を算出する輝度算出部と、第１の露光値として撮像した場合において、前記輝度算出部によって算出された前記第１の露光値に対する輝度と、前記第１の露光値と異なる第２の露光値として撮像した場合において、前記輝度算出部によって算出された前記第２の露光値に対する輝度とに基づいて、前記分割領域のうち、輝度が飽和している輝度飽和領域を判定する輝度飽和領域判定部と、前記分割領域のうち、前記輝度飽和領域以外の輝度不飽和領域における画像データに基づいてホワイトバランスを制御するホワイトバランス制御部とを備えるものである。これにより、簡易な構成で、輝度飽和領域及び輝度不飽和領域を判定することができる。よって、輝度不飽和領域の画像データに基づいてホワイトバランスの設定を変えることができる。従って、適正なホワイトバランスで撮影画像を表示することができる。
【発明の効果】
【００１０】
本発明によれば、ホワイトバランスの適切な調整を簡便に行うことができる画像処理方法、画像処理装置及び撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明を適用可能な実施の形態が説明される。以下の説明は、本発明の実施形態を説明するものであり、本発明は以下の実施形態に限定されるものではない。説明の明確化のため、以下の記載は、適宜、省略及び簡略化がなされている。又、当業者であれば、以下の実施形態の各要素を、本発明の範囲において容易に変更、追加、変換することが可能であろう。尚、各図において同一の符号を付されたものは同様の要素を示しており、適宜、説明が省略される。
発明の実施の形態１．
【００１２】
本発明にかかる撮像装置について図１を用いて説明する。図１は、本発明にかかる撮像装置１００の構成を示すブロック図である。撮像装置１００は例えば、ＣＣＤカメラ、ＣＭＯＳカメラなどのデジタルカメラ装置である。撮像装置１００は、画像処理装置１０と、カメラ部２０と、表示部３０とを備えている。カメラ部２０で撮像された画像は、画像処理装置１０により所定の処理がされる。そして、画像処理装置１０によって処理された画像データに基づいて表示部３０が画像を表示する。ここでは、撮像装置１００によって静止画を撮像するものとして説明する。さらに、本実施の形態では、静止画を撮像する際に、ホワイトバランスを制御するための構成について説明する。
【００１３】
カメラ部２０において、２１は固体撮像素子、２２はＡ／Ｄ変換器、２３はタイミング発生器（以下ＴＧ：Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ）である。固体撮像素子２１にはフォトダイオードなどの受光素子がアレイ状に配列されている。さらに、固体撮像素子２１の各受光素子には、Ｒ（赤色）、Ｇ（緑色）又はＢ（青色）のカラーフィルタが設けられている。Ｒ、Ｇ又はＢのカラーフィルタは所定の波長域の光を透過する。従って、Ｒ、Ｇ及びＢのカラーフィルタを受光面に配列することにより、フルカラー画像を撮像することができる。固体撮像素子２１が例えば、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）の場合、受光素子により生成される電荷を電化結合素子によって順次転送する。これにより、各画素の受光量に対応する検出信号がＡ／Ｄ変換器２２に出力される。Ａ／Ｄ変換器２２は増幅器及びＡ／Ｄコンバータを備えている。Ａ／Ｄ変換器２２は、固体撮像素子２１からの検出信号を増幅して、デジタル信号に変換する。これにより、各画素での受光量に基づく検出信号がデジタルデータに変換される。デジタル信号に変換された検出信号は、画像処理装置１０に出力される。また、ＴＧ２３は、固体撮像素子２１及びＡ／Ｄ変換器２２にタイミング信号を出力する。これにより、固体撮像素子２１での撮像タイミング及び露光時間並びに、Ａ／Ｄ変換器２２による信号処理が制御される。
【００１４】
画像処理装置１０は、例えばＬＳＩであり、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＧＢ積算値算出部１２と、ＲＧＢゲイン設定部１３と、カメラ信号処理部１４と、輝度算出部１５と、画像データ記憶部１７とを備えている。また、ＣＰＵ１１には、輝度飽和領域判定部１６が設けられている。ＣＰＵ１１は、カメラ部２０のＡ／Ｄ変換器２２及びＴＧ２３の制御を行うための制御信号を出力する。これにより、Ａ／Ｄ変換器２２は、所定の増幅率で、検出信号を増幅して、各画素毎の検出信号を画像処理装置１０に出力する。また、ＣＰＵ１１の制御信号に基づいてＴＧ２３は同期信号等のタイミング信号を出力する。また、ＣＰＵ１１は、ＲＧＢ積算値算出部１２、ＲＧＢゲイン設定部１３、カメラ信号処理部１４、輝度算出部１５、輝度飽和領域判定部１６及び画像データ記憶部１７の処理を制御する。例えば、ＣＰＵ１１は輝度飽和領域判定部１６での判定結果及びＲＧＢ積算値算出部１２での算出結果に基づいて、ホワイトバランスを調整するため、ＲＧＢゲイン設定部１３でのゲインを算出する。そして、このゲインをＲＧＢゲイン設定部１３に設定する。
【００１５】
ＲＧＢ積算値算出部１２は、Ａ／Ｄ変換器２２からの検出信号に基づいて分割領域毎にＲ、Ｇ、Ｂの積算値をそれぞれ算出する。例えば、撮像した画像をｍ×ｎ個（ｍ及びｎは自然数）に分割して分割領域を定義する。そして、分割領域のそれぞれについて、Ｒの積算値、Ｇの積算値及びＢの積算値を算出する。具体的には、分割領域の全画素のうち、Ｒの画素のデジタルデータを全て加算することによってＲの積算値が算出される。また、Ｇの画素及びＢの画素のそれぞれについてもデジタルデータを全て加算することによってＧの積算値及びＢの積算値が算出される。そして、全分割領域について、同様の処理を行う。これにより、Ｒの積算値、Ｇの積算値及びＢの積算値を分割領域毎に算出することができる。この分割領域毎に算出されたＲの積算値、Ｇの積算値及びＢの積算値は、ＲＧＢ積算値算出部１２に記憶される。
【００１６】
ＲＧＢゲイン設定部１３には、ＲＧＢ積算値算出部１２又はＡ／Ｄ変換器２２からＲの画素、Ｇの画素及びＢの画素からのデータがそれぞれ入力される。ここで、ＲＧＢゲイン設定部１３に入力されるデータは、積算される前のデータ、すなわち画素毎のデータである。さらに、ＲＧＢゲイン設定部１３は、Ｒ，Ｇ、Ｂのゲインがそれぞれ設定されている。すなわち、ＲＧＢゲイン設定部１３は、Ｒのデータに対するゲインと、Ｇのデータに対するゲインと、Ｂのデータに対するゲインとを保持している。ＲＧＢゲイン設定部１３は設定されたゲインに基づいて、Ｒ、Ｇ、Ｂのそれぞれのデータを処理する。例えば、Ｒのゲインが１．２の場合、Ｒの全画素のデータが１．２倍される。もちろん、Ｒ，Ｇ，Ｂのゲインはそれぞれ異なる値でもよく、同じ値でもよい。このゲインを調整することによってホワイトバランスが制御される。具体的には、ＣＰＵ１１がこのゲインを変化させることによって、ホワイトバランスを制御する。ＣＰＵ１１は、撮影ボタンを押す毎に、ホワイトバランスの設定を更新する。この制御方法については後述する。ゲイン設定部１３は処理したＲ，Ｇ、Ｂのデータをカメラ信号処理部１４に出力する。
【００１７】
カメラ信号処理部１４はＲＧＢゲイン設定部１３で処理された、Ｒ、Ｇ、Ｂのデータに基づいて表示や保存用の画像を生成する。すなわち、色補間処理、ガンマ補正、シャープネス補正等の処理を行い、表示や保存用のデータを作成する。なお、カメラ信号処理部１４にはＲＧＢゲイン設定部１３によってホワイトバランスが調整されたデータが入力されているため、適正な画像を表示することができる。また、ＲＧＢゲイン設定部１３あるいは、カメラ信号処理部１４によって処理されたデータは、画像データ記憶部１７に記憶される。画像データ記憶部１７は、例えば、不揮発性メモリや揮発性メモリなどの記憶装置を備えている。従って、カメラ部２０によって撮影した画像を記憶することができる。また、画像データ記憶部１７に記憶される画像は、ホワイトバランスが調整されている。従って、適切な画像を記憶することができる。表示部３０は、カメラ信号処理部１４によって処理されたデータに基づいて表示を行なう。
【００１８】
輝度算出部１５は、Ａ／Ｄ変換器２２からの検出信号に基づいて、輝度を分割領域毎に算出する。例えば、視感度の高いＧの画素のデータに基づいて輝度を算出することができる。この場合、各分割領域におけるＧの画素データの平均を輝度とすることができる。例えば、ＲＧＢ積算値算出部１２で算出したＧの積算値を分割領域に含まれるＧの画素数で除すことにより、分割領域毎の平均輝度を算出することができる。ここで、輝度算出部１５は適正な露光値として撮像した第１の画像と、適正な露光値の１／ｐの露光値で撮像した第２の画像とに対して、それぞれ輝度を算出する。すなわち、第１の画像の画像データに基づいて第１の露光値に対する輝度を算出するとともに、第２の画像の画像データにもとづいて第２の露光値に対する輝度を算出する。露光値の調整は、露光時間の調整又はカメラ部２０の絞りの調整で行なうことができる。あるいは、Ａ／Ｄ変換器２２に設けられた増幅器の増幅率の調整で行なうことも可能である。もちろん、これらのうちの２つ以上を組み合わせて露光値を調整してもよい。このようにして露光値を変えることによって露光量を変えて撮影することができる。なお、第１の露光値で撮影した画像を適正露光画像とし、第２の露光値で撮影した画像を輝度飽和領域判定用露光画像とする。
【００１９】
ＣＰＵ１１に設けられた輝度飽和領域判定部１６は、第１の露光値に対する輝度及び第２の露光値に対する輝度に基づいて各分割領域が飽和領域であるか否かを判定する。すなわち、第２の露光値に対する輝度が第１の露光値に対する輝度の１／ｐよりも大きくなっている分割領域は、輝度が飽和している飽和領域と判別される。第１の露光値で撮影した場合、撮影した画像の一部の領域で飽和が生じるため、最大階調値に対応する光量よりも大きな光量を受光する画素が存在する。この画素では、第２の露光値で撮影した場合の画像データが第１の露光値に対する画像データの１／ｐとならない。これにより、輝度が飽和しているか否かを判別することができる。輝度飽和領域判定用露光値としては、例えば、適正露光値の１／２〜１／１６とすることができる。輝度飽和領域判定用露光値を適正露光値の１／１６以上とすることで、固体撮像素子２１等でのノイズの影響を低減することができる。また、輝度飽和領域判定用露光値を適正露光値の１／２以下とすることで、正確に輝度不飽和領域を判定することができる。さらに、輝度飽和領域判定用露光値を適正露光値の１／４〜１／８とすることがより好ましい。このように本発明では、ＣＰＵ１１での演算処理によって飽和領域判定を行なうことができるため、回路構成を簡易なものとすることができる。
【００２０】
この輝度の飽和を判定する処理について図２及ぶ図３を用いて説明する。図２（ａ）は、適正な露光値で撮影した画像を示す図である。図２（ｂ）は図２（ａ）の露光値の１／ｐの露光値で撮影した画像を示す図である。すなわち、図２（ａ）は、適正露光画像を示し、図２（ｂ）は輝度飽和領域判定用露光画像を示している。図３は、図２の画像の平均輝度値を示す図である。ここで、図２（ａ）及び図２（ｂ）は同じ風景を異なる露光値で撮影しているものとして説明する。また、図２において、画像データは８×８の分割領域に分割されている。すなわち、撮影した画像は、６４個の分割領域に分割されている。図２に示すように、それぞれの分割領域は縦方向をＡ〜Ｈとして、横方向を１〜８として、識別される。例えば、左上の端の分割領域は、分割領域Ａ１とし、右下の端は分割領域Ｈ８として表示することにより、各々の分割領域を識別することができる。ここでは、分割領域Ａ１〜分割領域Ｈ８が同じ大きさに分割されている。すなわち、各分割領域には同じ数の画素が含まれている。
【００２１】
図２は屋外の風景を撮影したときの画像を示している。また、図２（ａ）及び図２（ｂ）の画像は、露光値が異なるのみであり、その他の撮影領域、撮影条件は同一である。通常の露光値の撮影では、図２（ａ）に示すように分割領域Ｂ７付近に光源（太陽）が撮影されている。そのため、分割領域Ｂ７及びその近傍では、輝度が飽和している。具体的には、分割領域Ａ７、Ｂ７、Ｂ８、Ｃ７及びＣ８には輝度が飽和した画素が存在する。また、分割領域Ｃ２付近に、雲が撮影されている。そのため、分割領域Ｃ２及びその近傍では、輝度が高くなっている。具体的には、分割領域Ｂ２、Ｂ３、Ｃ１、Ｃ２、Ｃ３、Ｄ２及びＤ３には最大階調値に近い画素が存在する。これらの領域では、光源ほど光量が多くないため、輝度の飽和には至っていない。
【００２２】
露光値を１／ｐとして時の撮影では、全ての分割領域において、輝度が飽和していない。すなわち、露光値が低くなっているため、飽和が生じるほどの光量が画素に受光されない。但し、図２（ｂ）に示すように、太陽に対応する画素、及び雲に対応する画素では、輝度が他の箇所よりも高くなっている。すなわち、分割領域Ａ７、Ｂ７、Ｂ８、Ｃ７及びＣ８には、輝度の高い画素が存在する。また、分割領域Ｂ２、Ｂ３、Ｃ１、Ｃ２、Ｃ３、Ｄ２及びＤ３にも、輝度が若干高い画素が存在する。
【００２３】
輝度飽和領域判定用露光画像の輝度は図３に示すように、適正露光画像の輝度よりも小さくなる。なお、図３は、上から２列目（Ｂ列）の分割領域の輝度を示す図である。輝度飽和領域判定用露光画像の輝度は、飽和している分割領域を除いて適正露光画像の輝度の１／ｐとなる。すなわち、輝度飽和領域判定用露光画像の輝度は、飽和している分割領域では、適正露光画像の輝度の１／ｐよりも大きくなる。例えば、分割領域Ｂ２、Ｂ３では輝度が飽和している画素を含まないため、適正露光画像の輝度が高いが、輝度飽和領域判定用露光画像の輝度は、１／ｐとなる。一方、輝度が飽和している画素を含む分割領域Ｂ７では、輝度飽和領域判定用露光画像の輝度が１／ｐよりも大きくなる。
【００２４】
例えば、輝度飽和領域判定用露光画像を適正露光画像の露光値の１／４とすると、適正露光画像において輝度が１００の画素では、輝度飽和領域判定用露光画像では、輝度が２５となる。従って、輝度が飽和している画素を含まない分割領域では、適正露光画像での平均輝度が１００の場合、輝度飽和領域判定用露光画像の平均輝度は２５となる。一方、輝度が飽和している画素では、露光値を１／４にしても受光量が１／４とならない。すなわち、輝度が飽和している画素では、適正露光画像での輝度が２５５となっているが、輝度飽和領域判定用露光画像の輝度は６３．７５（＝２５５÷４）よりも大きくなる。従って、飽和している画素を含む分割領域では、平均輝度が１／４とならない。よって、異なる露光値で２つの画像を撮影し、２つの輝度を比較することによって、容易に飽和している領域が否かを判定することができる。すなわち、異なる露光値で２つの画像を取得し、分割領域毎に、２つの画像の平均輝度を比較することによって、その分割領域が輝度が飽和している画素を含んでいるか否かを判定することができる。輝度飽和領域判定部１６は、このようにして、全ての分割領域について輝度が飽和しているか否かを判定している。
【００２５】
ＣＰＵ１１は、輝度飽和領域判定部１６の判定結果に基づいて、輝度が飽和していない分割領域（輝度不飽和領域）のＲ、Ｇ、Ｂ積算値に基づいてホワイトバランスを調整する。例えば、図２に示す例では、輝度が飽和している分割領域Ａ７、Ｂ７、Ｂ８、Ｃ７及びＣ８を考慮せず、ホワイトバランスの設定を行なう。すなわち、輝度飽和領域の画像データを排除して、ホワイトバランスを調整する。これにより、適切なホワイトバランスで撮影画像を表示することができる。ＣＰＵ１１は輝度不飽和領域におけるＲ、Ｇ、Ｂ積算値に基づいてホワイトバランスを調整するホワイトバランス調整部である。このホワイトバランスを調整するための処理の一例について図４を用いて説明する。
【００２６】
ＣＰＵ１１は、ＲＧＢ積算値算出部１２で算出されたＲの積算値、Ｇの積算値及びＢの積算値に基づいて、輝度不飽和領域毎のＲ／Ｇ及びＢ／Ｇを算出する。ここで、Ｒ／Ｇは分割領域における（Ｒの積算値）／（Ｇの積算値）であり、Ｂ／Ｇは分割領域における（Ｂの積算値）／（Ｇの積算値）である。そして、Ｒ／Ｇ及びＢ／Ｇの値を図４に示す光源推定マップにプロットする。光源推定マップには、各光源に対応するＲ／Ｇ及びＢ／Ｇの範囲（光源種枠）が設定されている。例えば、Ｒ／Ｇ＝０．６かつＢ／Ｇ＝１．６の場合、プロットした点が青空の光源種枠に含まれるため、撮影光源が青空であると推定される。そして、輝度が飽和している分割領域（飽和領域）を除く全ての分割領域（輝度不飽和領域）の値をプロットする。プロットした点の数に基づいて、光源種毎に判定値Ｆが算出される。ここで、判定値Ｆは、図４に示す光源種枠に含まれる点の数である。例えば、６４個の分割領域のうち、１０個のＲ／Ｇ及びＢ／Ｇの値が、青空の光源種枠に含まれる場合、青空の判定値Ｆは１０となる。もちろん、判定値Ｆを、特開２００４−１７３０１０号公報に示されているように、メンバシップ関数を用いて算出することも可能である。さらには、上記以外の処理によって、判定値Ｆを算出してもよい。
【００２７】
ＣＰＵ１１は、算出された判定値Ｆに基づいてホワイトバランスを制御する。具体的には、ＲＧＢゲイン設定部１３のＲのゲイン、Ｇのゲイン及びＢのゲインをそれぞれ好適な値に設定する。例えば、判定値Ｆが最も多い光源種が、撮影光源として判定される。また、画像処理装置１０には、光源種毎にＲのゲイン，Ｇのゲイン及びＢのゲインが予め記憶されている。従って、光源種枠内に含まれる点が最も多い光源に対応するゲインがＲＧＢゲイン設定部１３に設定される。ゲイン設定部１３はこのゲインに基づいて画像データを処理する。これにより、簡易な構成でホワイトバランスを制御することができる。従って、回路規模の増大を防ぐことができ、消費電力を低減することができる。このように本実施の形態では、異なる露光値で２つの画像を撮影して、２つの画像の輝度を比較している。この比較結果に基づいて分割領域のうち輝度が飽和している飽和領域を判定する。そして、飽和領域以外の輝度不飽和領域におけるＲ、Ｇ、Ｂの積算値に基づいてホワイトバランスを調整する。これにより、正確にホワイトバランスを調整することができる。
【００２８】
次に、図５及び図６を用いてホワイトバランスを制御するための画像処理方法について説明する。図５及び図６は、ホワイトバランスを制御するための画像処理方法を示すフローチャートである。なお、図６は図５で示したフローチャートの続きを示している。
【００２９】
本実施の形態では、撮影者が撮影ボタンを押すと、撮影用ホワイトバランスの制御を開始する。具体的には、撮影者が撮影ボタンを押すと、そのタイミングに取得された画像を適正露光画像として、適正露光画像の分割領域各々のＲＧＢ積算値を取得する（ステップＳ１０１）。ここでは、分割領域毎に、Ｒ、Ｇ、Ｂのデータをそれぞれ足し合わせる。そして、取得したＲＧＢ積算値を記憶する（ステップＳ１０２）。このＲＧＢ積算値の取得及び記憶は、ＲＧＢ積算値算出部１２によって実行される。次に、現輝度を取得する（ステップＳ１０３）。ここで、現輝度は撮影ボタンを押す前に取得した画像データに基づいて算出することができる。
【００３０】
そして、ステップＳ１０３で取得した現輝度に基づいて、実際に撮影するための撮影用露光値を計算する（ステップＳ１０４）。すなわち、適正露光値で撮影した画像の輝度が高い場合、撮影用露光値を低くする。一方、適正露光値で撮影した画像の輝度が低い場合、撮影用露光値を高くする。これにより、ホワイトバランスの調整後に撮像するための露光値が算出される。従って、撮影用露光値で撮影した画像は、適正なホワイトバランスに調整されている。もちろん、適正露光画像の露光値と撮影用露光値とが同じである場合は、撮影用露光値を計算しなくてもよい。次に、輝度飽和領域判定用露光値を計算する（ステップＳ１０５）。ここでは、ＣＰＵ１１が適正露光画像での露光値の１／ｐを輝度飽和領域判定用露光値として算出する。
【００３１】
次に、輝度飽和判定用露光値をＴＧ２３及びＡ／Ｄ変換器２２に設定する（ステップＳ１０６）。これにより、輝度飽和判定用露光値での撮影を行なうことができる。具体的には、ＴＧ２３により設定される露光時間や、Ａ／Ｄ変換器２２の増幅器での増幅率が制御される。すなわち、ＣＰＵ１１は輝度飽和判定用露光値で撮影を行なうため、露光時間や増幅率を調整する。例えば、露光時間を１／ｐにしたり、増幅率を１／ｐにすることよって、適正露光値から輝度飽和判定用露光値に変化させることができる。もちろん、カメラ部２０の絞りを変えて露光値を変化させてもよく、これらを組み合わせて露光値を変化させてもよい。
【００３２】
さらに、撮影用露光値をＴＧ２３及びＡ／Ｄ変換器２２に設定する（ステップＳ１０７）。撮影用露光値の設定は、輝度飽和判定用露光値の設定と同様にして行なわれる。次に、輝度飽和領域判定用露光値で撮影し、輝度飽和領域判定用露光画像の分割領域各々のＲＧＢ積算値を取得する（ステップＳ１０８）。これにより、輝度飽和領域判定用露光値での、Ｒの積算値、Ｇの積算値及びＢの積算値を取得することができる。
【００３３】
そして、適正露光画像の分割領域各々の平均輝度を算出する（ステップＳ１０９）。また、輝度飽和領域判定用露光画像の分割領域各々の平均輝度を算出する（ステップＳ１１０）。ここでは、輝度算出部１５が適正露光画像と輝度飽和領域判定用露光画像との平均輝度をそれぞれ算出する。また平均輝度は、それぞれの分割領域に対して算出される。例えば、ｍ×ｎの分割領域が存在するとき、適正露光画像及び輝度飽和領域判定用露光画像のそれぞれに対してｍ×ｎ個の平均輝度が算出される。このようにして、分割領域の平均輝度が適正露光画像及び輝度飽和領域判定用露光画像のそれぞれに対して算出される。
【００３４】
次に、各分割領域で、輝度が飽和しているか否かを判定する（ステップＳ１１１〜ステップＳ１１６）。具低的には、ｉ＝１として（ステップＳ１１１）、１番目の分割領域における平均輝度の比較を行なう。すなわち、１番目の分割領域において、（適正露光画像の平均輝度）／ｐと輝度飽和領域判定用露光画像の平均輝度とを比較する。（適正露光画像の平均輝度）／ｐが輝度飽和領域判定用露光画像の平均輝度よりも小さい場合、１番目の分割領域を輝度飽和領域と判定する（ステップＳ１１３）。一方、（適正露光画像の平均輝度）／ｐ≧（輝度飽和領域判定用露光画像の平均輝度）の場合、１番目の分割領域を輝度不飽和領域と判定する（ステップＳ１１４）。次に、ｉを増加させる（ステップＳ１１５）。そして、ｉがｍ×ｎ以下であるか否かを判定する（ステップＳ１１６）。ｉ≦ｍ×ｎの場合、ステップＳ１１２からの工程を繰り返す。これにより、２番目の分割領域の判定が行なわれる。そして、ｉ＞ｍ×ｎとなるまでステップＳ１１２〜ステップＳ１１５の工程を繰り返す。
【００３５】
ｉ＞ｍ×ｎとなったら、適正露光画像の輝度不飽和領域に対して、Ｒ／Ｇ及びＢ／Ｇの値を計算する（ステップＳ１１７）。そして、適正露光画像の輝度不飽和領域に対して撮影光源を判定する（ステップＳ１１８）。例えば、図４に示した光源推定マップに基づいて、撮影光源を判定することができる。全ての輝度不飽和領域に対して、撮影光源の判定が終了したら、判定値Ｆを算出する（ステップＳ１１９）。判定値Ｆは、例えば、図４に示す光源推定マップの光源種枠に含まれる分割領域の数に基づいて算出される。さらに、メンバシップ関数を用いて重み付けを行ってもよい。
【００３６】
次に、光源種毎に算出した判定値Ｆのうち、最大値となる判定値Ｆが所定値以上であるか否かを判定する（ステップＳ１２０）。例えば、図２に示す画像は青空の下で撮影されているため、最大値となる判定値Ｆは青空の光源種の判定値Ｆとなる。すなわち、図４の光源推定マップにおいて青空の光源種枠に含まれる点が他の光源種の枠よりも多くなる。もちろん、青空、日陰、昼光色、デーライト（太陽光）、緑、蛍光灯、電球、タングステンの中から判定値Ｆが最大となる光源種が選ばれる。そして、光源種が青空の場合の判定値Ｆがしきい値以上であるか否かを判定する。判定値Ｆが所定値以上の場合、この判定値Ｆに対応する光源種の適用率データを読み込む（ステップＳ１２１）。例えば、判定値Ｆが最大となる光源種が電球の場合、電球に対応する適用率データがメモリ等から読み出される。適用率データには、例えば、ＲＧＢゲイン設定部１３で設定されるゲインが含まれている。そして、判定値Ｆが最大値の光源に対してホワイトバランスを補正する（ステップＳ１２２）。すなわち、最大となる判定値Ｆが所定値よりも大きい場合、ステップＳ１２１で読み込んだ適用率データに基づいてＲＧＢゲイン設定部１３のＲ，Ｇ及びＢのゲインが設定される。
【００３７】
また、ステップＳ１２０において、判定値Ｆの最大値が所定値以下の場合、光源種がデーライト（太陽光）であるとして設定される（ステップＳ１２３）。すなわち、この場合、光源種が太陽光であるときと同じ処理が行われる。このようにステップＳ１２２及びＳ１２３では、ＲＧＢのゲインを設定してホワイトバランスを補正する。そして、最適化処理を行い（ステップＳ１２４）を行い、撮影用ホワイトバランスの調整が終了する。最適化処理では、ガンマ補正やシャープネス処理の設定が行われる。このようにしてホワイトバランスを調整した後、撮影用の露光値で撮影を行ない、画像データ記憶部１７に画像データを記憶する。画像データ記憶部１７に記憶される画像データは適正にホワイトバランスが調整されている。このような画像処理によって、ホワイトバランスの適切な調整を簡便に行うことができる。
【００３８】
このように、撮影用画像を取得するタイミングでゲインの設定を変えているため、適切にホワイトバランスを調整することができる。なお、上記の説明では、適正露光画像を取得した後、輝度飽和領域判定用露光画像を取得したが、画像を取得する順番は、この順番に限定されるものではない。例えば、輝度飽和領域判定用露光画像を取得した後、適正露光画像を取得してもよい。
【００３９】
次に、上記の画像処理に行なう好適なタイミングについて図７を用いて説明する。図７は、画像を撮影するときにホワイトバランスを制御するための処理を示すタイミングチャートである。ここでは、ライブビューモードから、撮影ボタンを押して撮影を行うときの動作について説明する。すなわち、撮影ボタンを押す前は、ライブビューモードとなっており、表示部３０に表示される画像が一定周期で更新される。そして、撮影ボタンを押すと、そのタイミングの画像に基づいてホワイトバランスの設定を変える。その後、その設定で画像を撮影し、画像データを画像データ記憶部１７に記憶する。
【００４０】
ＴＧ２３からの同期信号ＶＤは、固体撮像素子２１に一定の周期で入力されている。固体撮像素子２１は同期信号ＶＤに基づいて、電荷の転送等を行う。これにより、ライブビューモードでの固体撮像素子２１の画像が表示部３０で表示される。また、同期信号ＶＤは一定の周期で入力されているため、表示部３０で表示される画像が随時更新される。ここでは、ライブビューモードの画像では、前回の撮影時の設定でホワイトバランスが調整されている。すなわち、ＲＧＢゲイン設定部１３の設定は、前回の撮影時のままである。なお、各同期信号ＶＤでの撮影の露光時間は、設定された露光値によって変化している。
【００４１】
ここで、撮影ボタンを押して撮影を行う。すると、撮影ボタンを押す前の画像データがホワイトバランス評価データとして扱われる。すなわち、撮影ボタンを押したタイミングでは、その前の画像データが画像処理装置１０に保持されている。従って、撮影ボタンを押したタイミングの前の同期信号ＶＤで取得した画像データに対しての処理が行われる。すなわち、撮影ボタンを押したタイミングの前の画像データに基づいて、ステップＳ１０３で示した現輝度を取得する。このときの画像、すなわち、（１）のタイミングでは適正露光値で撮影が行なわれている。そして、現輝度に基づいて、撮影用露光値及び輝度飽和領域判定用露光値が算出される。従って、図７中の（１）に示すように撮影ボタンを押したタイミングの同期信号ＶＤによる露光時間の間に、撮影用露光値及び輝度飽和領域判定用露光値が算出され、Ａ／Ｄ変換器２２及びＴＧ２３に設定される。
【００４２】
撮影ボタンを押したタイミングの次の同期信号、すなわち、図７中の（２）のタイミングでは、（１）で設定された輝度飽和領域判定用露光値で撮影が行なわれる。すなわち、（２）での露光時間は、輝度飽和領域判定用露光画像を撮影するための露光時間に調整されている。従って、（２）では、輝度飽和領域判定用露光画像が取得される。さらに、（２）の露光時間の間に、適正露光画像の積算値及び平均輝度を算出する。
【００４３】
次のタイミング、すなわち、（３）のタイミングでは、Ａ／Ｄ変換器２２及びＴＧ２３の設定が切換えられ、撮影用露光値で撮影が行なわれる。すなわち、（３）での露光時間は、撮影用露光画像を撮影するための露光時間に調整されている。また、（３）のタイミングでは、輝度飽和領域判定用露光画像に対して、ＲＧＢ積算値及び平均輝度の算出が行なわれる。さらに、（３）のタイミングでは、輝度飽和領域判定用露光画像の平均輝度と適正露光画像の平均輝度とが比較され、撮影環境の光源種が推定される。従って、このタイミングで、ＲＧＢゲインの設定が変更される。これにより、（３）のタイミングで撮影された撮影用露光画像を、次のタイミングにおいて、適正なホワイトバランスで表示できる。このようにして、撮影ボタンを押した際に、ＲＧＢゲインの設定を更新する。これによって、ホワイトバランスを適切に調整した状態で、撮影ボタンを押したときに取得される撮影画像を表示することができる。
発明の実施の形態２．
【００４４】
本実施の形態では、所定の周期でホワイトバランス調整のためのゲイン設定を更新している。具体的には、所定の時間間隔で、撮像装置１００を輝度飽和領域判定用露光値として、輝度飽和領域判定用露光画像を取得する。そして、輝度不輝度飽和領域判定用露光画像に基づいて、ゲインの設定を随時更新する。これにより、例えば、デジタルカメラのライブビューモードでの画像に対するホワイトバランスの調整や動画取得に対するホワイトバランスの調整を行うことができる。すなわち、ホワイトバランスの設定を随時更新することができるため、ライブビュー画像や動画のそれぞれのフレームに対してホワイトバランスの適正な調整を行うことができる。ここでは、ライブビューモードでの画像に対してホワイトバランスの調整を行うための処理について説明する。なお、本実施の形態にかかる撮像装置の基本的構成は、実施の形態の撮像装置と同様であるため、説明を省略する。すなわち、本実施の形態にかかる画像処理装置は、図１に示した画像処理装置１０と同様の構成を有している。
【００４５】
ライブビューモードでは、カメラ部２０で撮像された画像が表示部３０に表示されている。さらに、カメラ部２０は一定時間間隔で撮像し、検出信号を画像処理装置１０に出力する。画像処理装置１０は検出信号に対して所定の画像処理を行い表示部３０に表示信号を出力する。したがって、表示部３０に表示される画像は一定周期で更新される。本実施の形態では、ライブビューモードにおいて、ホワイトバランス調整の設定を更新している。すなわち、ホワイトバランスの設定を一定の周期で更新して、ライブビューモードでのライブビュー画像の表示を行なう。本実施の形態にかかる画像処理方法について図８及び図９を用いて説明する。図８及び図９は本実施の形態にかかる画像処理方法を示すフローチャートである。なお、図９は図８で示したフローチャートの続きを示している。なお、各ステップでの処理は、実施の形態１で示したステップで説明した処理と同様であるため、詳細な説明を省略する。
【００４６】
図８に示すようにホワイトバランス調整の処理では、まず、現輝度を取得する（ステップＳ２０１）。ここでは、適正露光画像に基づいた輝度が算出される。この工程は、実施の形態１のステップＳ１０３と同様の処理が行われる。そして、現輝度に基づいてライブビュー用露光値の計算を行なう（ステップＳ２０２）。ここでは。実施の形態１のステップＳ１０４と同様の処理が行われる。次に、ライブビュー用露光値をＴＧ２３及びＡ／Ｄ変換器２２に設定する（ステップＳ２０３）。ここでは、実施の形態１のステップＳ１０７と同様の処理が行われる。従って、次のライブビュー用の画像では、このライブビュー用露光値で画像が取得される。さらに、ホワイトバランスの設定では、前回取得したライブビュー用露光画像が、適正露光画像として扱われる。
【００４７】
その後、現輝度に基づいて輝度和領域判定用露光値の計算が行なわれる（ステップＳ２０４）。すなわち、適正露光値の１／ｐの露光値が輝度不輝度飽和領域判定用露光値となる。なお、この適正露光値で次のライブビュー用画像が取得される。ここでは、実施の形態１のステップＳ１０５と同様の処理が行われる。そして、輝度飽和領域判定用露光値をＴＧ２３及びＡ／Ｄ変換器２２に設定する（ステップＳ２０５）。ここでは、実施の形態１のステップＳ１０６と同様の処理が行われる。
【００４８】
適正露光画像の分割領域各々のＲＧＢ積算値を取得し（ステップＳ２０６）、記憶する（ステップＳ２０７）。ここでは。実施の形態１のステップＳ１０１及びステップＳ１０２と同様の処理が行われる。次に、輝度飽和領域判定用露光画像の分割領域各々のＲＧＢ積算値を取得する（ステップＳ２０８）。ここでは、実施の形態１のステップＳ１０８と同様の処理が行われる。
【００４９】
ステップＳ２０６で算出したＲＧＢ積算値に基づいて適正露光画像の分割領域各々の平均輝度を計算する（ステップＳ２０９）。ここでは、実施の形態１のステップＳ１０９と同様の処理が行われる。次に、ステップＳ２０８で算出したＲＧＢ積算値に基づいて輝度飽和領域判定用露光画像の分割領域各々の平均輝度を計算する（ステップＳ２１０）。ここでは、実施の形態１のステップＳ１０９と同様の処理が行われるステップＳ１１０と同様の処理が行われれる。
【００５０】
そして、実施の形態１のステップＳ１１１〜ステップＳ１２４と同様の処理を行い、ホワイトバランスを調整する。具体的には、１〜ｍ×ｎ番目の分割領域について、適正露光画像の平均輝度と輝度飽和領域判定用露光画像の平均輝度とを比較し、輝度飽和領域及び輝度不飽和領域の判定を行なう（ステップＳ２１１〜ステップＳ２１６）。そして、適正露光画像の輝度不飽和領域に対して、Ｒ／Ｇ及びＢ／Ｇを計算し（ステップＳ２１７）、撮影光源を判定する（ステップＳ２１８）。
【００５１】
輝度不飽和領域のそれぞれに対して推定された光源種に基づいて、判定値Ｆを算出し（ステップＳ２１９）。この判定値Ｆに基づいて、ホワイトバランスの設定を行なう（ステップＳ２２０〜ステップＳ２２４）。これらの処理については、実施の形態１と同様の処理が行われるため、詳細な説明について省略する。このようにして、ホワイトバランスを調整する。さらに、ホワイトバランス調整のためのゲインの設定を所定の時間間隔で更新する。そして、最新のゲイン設定により表示部３０で表示を行なう。これにより、適正なホワイトバランスでライブビュー画像を表示させることができる。
【００５２】
次に上記の画像処理に行なう好適なタイミングについて図１０を用いて説明する。図１０は、ライブビュー用画像を撮影する前に、輝度飽和領域判定用露光画像を撮影して、ホワイトバランスを調整するための処理を示すフローチャートである。図１０では、ライブビュー用画像のフレーム毎に、ホワイトバランス設定を変えている。具体的には、ライブビュー用露光値でのライブビュー露光と、輝度飽和領域判定用露光値での輝度飽和領域判定用露光とを交互に行なっている。具体的には、同期信号ＶＤに同期して、ライブビュー露光を行なった後、次の同期信号ＶＤに同期して、輝度飽和領域判定用露光を行なう。これを繰り返して行なうことによって、ライブビュー用露光画像（適正露光画像）と輝度飽和領域判定用露光画像とを交互に取得することができる。ライブビュー用露光画像（適正露光画像）と輝度飽和領域判定用露光画像とは、同期信号ＶＤに同期して取得される。
【００５３】
そして、ライブビュー用露光画像と輝度飽和領域判定用露光画像との画像データに基づいて、図８及び図９に示した画像処理を行う。ここで、図１０の（１）に示す期間では、輝度飽和領域判定用露光画像を撮影するとともに、ライブビュー用露光画像のデータに対する処理が行われる。また、図１０に示す（２）の期間では、ライブビュー用露光画像を撮影するとともに、（１）で撮影した輝度飽和領域判定用露光画像のデータ処理を行っている。
【００５４】
なお、上記の説明では、ライブビュー用露光画像と輝度飽和領域判定用露光画像とを交互に撮影してホワイトバランス設定を更新したが、ホワイトバランスの設定の更新は、これに限定されるものではない。例えば、ライブビュー用露光画像の複数フレーム毎に、ホワイトバランスの設定を更新してよい。この場合、ライブビュー用露光画像を複数回取得した後、飽和輝度領域判定用露光画像を取得する。従って、飽和輝度領域判定用露光画像を取得するまでの複数フレームのライブビュー用露光画像が同じホワイトバランス設定となる。これにより、ライブビュー用露光画像のホワイトバランスを調整した場合でも、フレーム周波数の低下を低減することができる。従って、ライブビュー用画像を応答よく表示させることができる。
【００５５】
さらに、本実施の形態にかかる画像処理方法に、実施の形態１の画像処理方法を組み合わせることもできる。すなわち、静止画を撮影する場合、実施の形態２のようにホワイトバランスを調整してライブビュー用露光画像を表示している状態で、撮影ボタンを押す。これにより、例えば、図１０の（２）に示すタイミングから図７の（１）に示すタイミングとなる。従って、適正なホワイトバランスで撮影されたライブビュー画像を見ながら、画像を撮影、記憶することができる。
【００５６】
なお、上記の説明では、固体撮像素子２１にＲ、Ｇ、Ｂの画素が設けられている構成について説明したが、本発明はこれに限るものではない。本発明にかかる画像処理方法は、複数色の画素が設けられている固体撮像素子２１からのデータに対して適用することができる。例えば、Ｃ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）などの補色系フィルターを有する固体撮像素子２１に対しても適用することができる。さらには、ＲのＣＣＤ、ＧのＣＣＤ及びＢのＣＣＤがそれぞれ設けられている３ＣＣＤ方式やＣＭＯＳセンサーに対しても適用することができる。
【図面の簡単な説明】
【００５７】
【図１】本発明にかかる撮像装置の構成を示すブロック図である。
【図２】本発明にかかる撮像装置において、撮像された画像を模式的に示す図である。
【図３】図２で示された画像における平均輝度を示すグラフ図である。
【図４】本発明にかかる画像処理方法に用いられる光源推定マップの一例を示す図である。
【図５】本発明の実施の形態１にかかる画像処理方法を示すフローチャートの一部である。
【図６】本発明の実施の形態１にかかる画像処理方法を示すフローチャートの一部である。
【図７】本発明の実施の形態１にかかる画像処理方法を示すタイミングチャートである。
【図８】本発明の実施の形態２にかかる画像処理方法を示すフローチャートの一部である。
【図９】本発明の実施の形態２にかかる画像処理方法を示すフローチャートの一部である。
【図１０】本発明の実施の形態２にかかる画像処理方法を示すタイミングチャートである。
【符号の説明】
【００５８】
１０  画像処理装置、１１  ＣＰＵ、１２  ＲＧＢ積算値算出部、
１３  ＲＧＢゲイン設定部、１４  カメラ信号処理部、１５  輝度算出部、
１６  飽和領域判定部、１７  画像データ記憶部、
２０  カメラ部、２１  固体撮像素子、２２  Ａ／Ｄ変換器、２３  ＴＧ、
３０  表示部、１００  撮像装置
【図１】
0004680753.tif 000002
【図２】
0004680753.tif 000003
【図３】
0004680753.tif 000004
【図４】
0004680753.tif 000005
【図５】
0004680753.tif 000006
【図６】
0004680753.tif 000007
【図７】
0004680753.tif 000008
【図８】
0004680753.tif 000009
【図９】
0004680753.tif 000010
【図１０】
0004680753.tif 000011