(57)【特許請求の範囲】
【請求項１】
ライブビュー画像に対する第１のホワイトバランス制御値を算出し、撮影により取得された撮影画像に対する第２のホワイトバランス制御値を算出する制御値算出手段と、
光源のフリッカ検知を行う検知手段と、
前記検知手段によるフリッカ検知情報から色に関連するパラメータを決定し、前記パラメータに基づいて、前記第１のホワイトバランス制御値と第２のホワイトバランス制御値とを合成するための合成比率を決定する決定手段と、
前記決定手段により決定された合成比率により、前記第１のホワイトバランス制御値と前記第２のホワイトバランス制御値を合成し、前記合成されたホワイトバランス制御値を用いて前記撮影画像に対するホワイトバランス処理を行う処理手段と
を有することを特徴とする画像処理装置。
【請求項２】
ライブビュー画像の表示がなされている状態で撮影が行われるときに、前記決定手段は前記合成比率を決定し、前記処理手段は前記合成比率により前記第１のホワイトバランス制御値と前記第２のホワイトバランス制御値を合成して前記撮影画像に対するホワイトバランス処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検知手段は、前記フリッカ検知の際にフリッカの周期を検知し、
前記決定手段は、前記フリッカの周期と、前記撮影画像の撮影がなされた際の露光時間との比に基づいて、前記色に関連するパラメータを決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記検知手段は、前記フリッカ検知の際にフリッカの振幅を検知し、
前記決定手段は、前記フリッカの振幅に基づいて、前記色に関連するパラメータを決定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記制御値算出手段は、前記ライブビュー画像の特定の色の検出範囲の色情報から前記第１のホワイトバランス制御値を算出し、前記撮影画像のなかで前記特定の色の検出範囲と同じ検出範囲の色情報から前記第２のホワイトバランス制御値を算出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記ライブビュー画像と前記撮影画像から特定の被写体部分の画像を検出する検出手段を更に有し、
前記制御値算出手段は、
前記ライブビュー画像の前記特定の被写体部分の色情報から算出したホワイトバランス制御値と、前記検出手段にて検出された前記特定の被写体部分の画像の色情報から算出したホワイトバランス制御値とに対して、所定の重み平均の演算を行ったホワイトバランス制御値を、前記第１のホワイトバランス制御値とし、
前記撮影画像のなかで前記検出手段により検出された前記特定の被写体部分の画像の色情報から算出したホワイトバランス制御値を、前記第２のホワイトバランス制御値とすることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項７】
前記決定手段は、前記パラメータが所定の条件を満たす場合、前記第１のホワイトバランス制御値のみまたは前記第２のホワイトバランス制御値のみを用いるよう決定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
画像にホワイトバランス処理を行う画像処理装置の画像処理方法であって、
ライブビュー画像に対する第１のホワイトバランス制御値を算出し、撮影により取得された撮影画像に対する第２のホワイトバランス制御値を算出する制御値算出ステップと、
光源のフリッカ検知を行う検知ステップと、
前記検知ステップからのフリッカ検知情報から色に関連するパラメータを決定し、前記パラメータに基づいて、前記第１のホワイトバランス制御値と第２のホワイトバランス制御値とを合成するための合成比率を決定する決定ステップと、
前記決定ステップにより決定された合成比率により、前記第１のホワイトバランス制御値と前記第２のホワイトバランス制御値を合成し、前記合成されたホワイトバランス制御値を用いて前記撮影画像に対するホワイトバランス処理を行う処理ステップと
を含むことを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるための、コンピュータが実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラ等の撮像装置は、撮影した画像に適したホワイトバランスを自動設定するオートホワイトバランスモードを備えている。オートホワイトバランスモードでは、撮影画像の中から無彩色と判断できる画像領域のデータを抽出（以下、白検出とする。）し、その画像領域が無彩色となるように色成分のＲ成分及びＢ成分のゲイン（利得）を調整するような演算が行われる。
【０００３】
また、近年のデジタルスチルカメラは、静止画像の撮影だけでなく、撮像素子からフレーム周期で出力されている画像をリアルタイムに画面上に表示するライブビュー表示が可能となれている。特許文献１には、ライブビュー表示用の撮像駆動と静止画用の撮像駆動とに対応した撮像素子の分光感度特性に基づいて、ライブビュー表示時と静止画撮影時でホワイトバランス補正及び色変換を行う技術が開示されている。さらに、特許文献２には、ライブビュー表示を行いながら静止画撮影をする動作において、静止画撮影時のストロボ発光情報に基づいて、静止画のホワイトバランス係数を適切に算出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２２８１５５号公報
【特許文献２】特開２０００−１６５８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ライブビュー表示を行いながら静止画撮影を行うような場合、上述の特許文献に記載の技術は、例えば蛍光灯のように周期的に明滅を繰り返すフリッカ光源の照明環境下ではライブビュー表示画像と静止画像の色味を合わせることが難しい。すなわち、フリッカ光源下では、ライブビュー表示画像のホワイトバランスと静止画像のホワイトバランスが合わせ難いために色味が異なってしまうことが多い。
【０００６】
本発明はこのような問題点に鑑みてなされたものであり、ライブビュー表示画像と撮影画像のホワイトバランスを合わせることを可能とする画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、ライブビュー画像に対する第１のホワイトバランス制御値を算出し、撮影により取得された撮影画像に対する第２のホワイトバランス制御値を算出する制御値算出手段と、光源のフリッカ検知を行う検知手段と、前記検知手段によるフリッカ検知情報から色に関連するパラメータを決定し、前記パラメータに基づいて、前記第１のホワイトバランス制御値と第２のホワイトバランス制御値とを合成するための合成比率を決定する決定手段と、前記決定手段により決定された合成比率により、前記第１のホワイトバランス制御値と前記第２のホワイトバランス制御値を合成し、前記合成されたホワイトバランス制御値を用いて前記撮影画像に対するホワイトバランス処理を行う処理手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ライブビュー表示画像と撮影画像のホワイトバランスを合わせることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の撮像装置の全体構成を示す図である。
【図２】フリッカ光源での異なる撮影タイミングの一例を示す図である。
【図３】フリッカレス撮影の異なるシャッター速度の一例を示す図である。
【図４】ＲＧＢのピークが異なるフリッカ光源の一例を示す図である。
【図５】本実施形態の撮像装置の動作の流れを示すフローチャートである。
【図６】顔検出の処理の流れを示すフローチャートである。
【図７】ＡＷＢ演算の処理の流れを示すフローチャートである。
【図８】合成比率算出処理のフローチャートである。
【図９】合成比率の算出に用いるパラメータを決定するテーブル図である。
【図１０】パラメータを修正するテーブル図である。
【図１１】合成比率を決定するテーブル図である。
【図１２】或る条件下での合成比率決定の説明に用いる図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を図面に基づいて詳細に説明する。図１は、画像処理装置の一例である本実施形態の撮像装置１１８の全体構成を示す図である。本実施形態の撮像装置１１８は、例えば一眼レフタイプのデジタルスチルカメラとなされている。図１において、レンズ１００、絞り１０１、シャッター１０２を介して撮像素子１０３のセンサ面上に形成された光学像は、撮像素子１０３により電気信号に変換される。図１では図示を省略しているが、本実施形態の撮像装置１１８は、光学ファインダーや、レンズ１００を介した入射光を光学ファインダーへ導くための反射ミラー、反射ミラーをミラーアップ／ミラーダウンさせるためのミラー駆動部等も備えている。反射ミラーがミラーダウン状態のとき、レンズ１００を介した入射光は、光学ファインダーへ導かれると同時に、後述する測光センサ１１３へも入射する。一方、静止画像が撮影される場合やライブビュー画像が表示されている場合には、反射ミラーがミラーアップ状態となされ、レンズ１００を介した入射光は、撮像素子１０３のセンサ面上へ入射する。
【００１１】
Ａ／Ｄ変換器１０４は、撮像素子１０３から出力されたアナログ撮像出力をデジタル撮像データへ変換する。タイミング発生部１０５は、撮像素子１０３とＡ／Ｄ変換器１０４にクロック信号や制御信号を供給して、それらの動作タイミングを制御している。このタイミング発生部１０５は、メモリ制御部１０６により制御され、また、メモリ制御部１０６を介してシステム制御部１１６によっても制御されている。
【００１２】
画像処理部１０８は、制御値算出手段と比率算出手段と処理手段の一例であり、Ａ／Ｄ変換器１０４から直接供給された撮像画像データ、或いはメモリ制御部１０６を介して供給された撮像画像データに対して、各種画像処理を施す。画像処理部１０８における画像処理は、例えば、ホワイトバランス処理、ＲＧＢベイヤー配列の信号をＲＧＢの三つのプレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正、色相補正などである。この画像処理部１０８は、ホワイトバランス処理として、ホワイトバランス制御値を演算し、そのホワイトバランス制御値に基づいてホワイトバランスを自動調整するオートホワイトバランス演算を行う。また、画像処理部１０８は、撮像画像から特定の被写体部分の画像として顔画像の検出処理も行う。画像処理部１０８におけるホワイトバランス制御値の演算の詳細、顔画像の検出処理の詳細については後述する。以下の説明では、ホワイトバランスを「ＷＢ」と表記し、オートホワイトバランスを「ＡＷＢ」と表記する。
【００１３】
メモリ制御部１０６は、Ａ／Ｄ変換器１０４、タイミング発生部１０５、画像処理部１０８、メモリ１０７を制御する。メモリ１０７は、画像処理部１０８により画像処理が施された画像データを一時的に記憶する。なお、Ａ／Ｄ変換器１０４から出力された撮像画像データは、メモリ制御部１０６を介して直接メモリ１０７に書き込まれてもよい。
【００１４】
メモリ１０７は、ライブビュー表示に使用される撮像画像データや、静止画撮影により撮像された静止画像データを格納するためのメモリである。なお、以下の説明では、撮像素子１０３からフレーム周期で出力されている撮像画像をリアルタイムに画面上に表示するライブビューを「ＬＶ」と表記する。メモリ１０７は、所定時間分のＬＶ画像のデータや所定枚数分の静止画像のデータを格納するのに十分な記憶容量を備えている。また、このメモリ１０７は、システム制御部１１６や画像処理部１０８の作業領域としても使用され、システム制御部１１６や画像処理部１０８が実行するプログラムも展開される。システム制御部１１６や画像処理部１０８は、メモリ１０７に展開されたプログラムを実行することにより、後述する各フローチャート等の処理を行う。
【００１５】
表示部１１７は、ＬＶ画像や静止画像等を表示するためのディスプレイである。表示部１１７は、例えばメモリ１０７等に記憶された画像データから形成される画像を表示する。外部記憶部１０９は、各種形式のメモリカードなどのような着脱可能な外付けの記録媒体が装填され、その記録媒体への画像データ等の書き込みや読み出しを行う。静止画像の撮影がなされた場合、メモリ１０７に一時的に記憶された静止画像データは、最終的にこの外部記憶部１０９の記録媒体へ記録される。また、外部記憶部１０９に装填された記録媒体は、システム制御部１１６や画像処理部１０８が実行するプログラムを記録していてもよく、この場合、その記録媒体から読み出されたプログラムがメモリ１０７に展開される。
【００１６】
システム制御部１１６は、この撮像装置１１８全体の動作を制御する。ここで、ＬＶ表示がなされる場合、システム制御部１１６は、ＬＶ画像の平均輝度を算出し、その平均輝度値に応じて適切な露光量を算出する。また、ＬＶ表示がなされている状態で静止画撮影が行われる場合、システム制御部１１６は、ＬＶ画像の平均輝度値に応じて、静止画撮影用の露光量を算出することも可能となされている。一方、ＬＶ表示を行っていない状態で静止画撮影が行われる場合、システム制御部１１６は、測光センサ１１３からの測光信号を用いて平均輝度を算出し、その平均輝度値に応じて適切な露光量を算出する。露光制御部１１０は、システム制御部１１６が算出した露光量に応じて、絞り１０１の絞り値とシャッター１０２のシャッター速度（露光時間）を制御する。
【００１７】
測光センサ１１３は、例えば水平方向が９個、垂直方向が７個の合計６３個にセンサ面が分割されており、それら分割された各測光領域において毎秒１０回の測光を行い、それら各測光領域から測光信号を出力する。なお本実施形態の撮像装置１１８の場合、測光センサ１１３が測光する光は、レンズ１００を介した入射光が、ミラーダウン状態の反射ミラーによって反射された光となっている。測光センサ１１３の測光信号は、システム制御部１１６に送られる。システム制御部１１６は、前述のように測光センサ１１３からの測光信号を用いて、平均輝度を算出して露光量を算出する。また、システム制御部１１６は、後述するように、測光信号を用いて、フリッカの有無の検出やフリッカの波形の取得、フリッカ波形のピークに合わせて撮影を行うフリッカレス撮影用の撮影タイミングの算出も行う。このシステム制御部１１６で検知されたフリッカ検知情報は画像処理部１０８へ送られる。なお、測光センサ１１３の分割数や信号取得周期については、前述の数値に限るものではない。
【００１８】
測距センサ１１２は、本実施形態の撮像装置１１８から被写体までの距離に応じた測距信号をシステム制御部１１６へ出力する。システム制御部１１６は、測距センサ１１２からの測距信号に基づいて、撮像装置１１８から被写体までの距離を算出する。そして、システム制御部１１６が算出した距離に応じて、測距制御部１１１は、レンズ１００のフォーカス光学系を駆動制御する。
【００１９】
レリーズ釦１１４は、本実施形態の撮像装置１１８の使用者により押下操作されると、押下信号をシステム制御部１１６へ出力する。押下信号には、レリーズ釦１１４の半押しによる半押し信号ＳＷ１と、全押しによる全押し信号ＳＷ２がある。システム制御部１１６は、レリーズ釦１１４からの半押し信号ＳＷ１により測光や測距等の制御を開始し、全押し信号ＳＷ２により静止画の撮影実行の制御を行う。後述のフリッカレス撮影がなされる場合、システム制御部１１６は、レリーズ釦１１４の全押しがなされると、その全押しのタイミングに対応した信号をメモリ制御部１０６へ送る。このときのメモリ制御部１０６は、フリッカ波形のピークと露光時間の中央とが合うタイミングで静止画撮像が行われるようにタイミング発生部１０５を制御する。なお、露光時間の中央とは、露光開始から終了までの期間の中央（中心）のことである。詳細は後述するが、フリッカレス撮影が行われる場合、撮像素子１０３における露光は、フリッカ波形の最初のピークとなる時間と露光時間の中央とが合うタイミングで開始される。操作部１１５は、本実施形態の撮像装置１１８の使用者からの操作指示が入力される各種釦やスイッチからなり、例えばＬＶ表示の開始指示や終了指示の入力、各種撮影モード選択のための入力などのような様々な操作指示の入力の際に使用される。
【００２０】
ここで、図１に示した撮像装置１１８でＬＶ表示や静止画像の撮影がなされる際の詳細な動作を説明する前に、フリッカとフリッカレス撮影、及び、フリッカ光源下でのＬＶ表示画像と静止画撮影による静止画像の色味の変化について以下に説明する。図２には、例えば蛍光灯のように周期的に明滅を繰り返すフリッカ光源の明滅周期（以下、フリッカ周期と表記する。）の一周期内において、その光源の光に含まれるＲＧＢの各色成分のレベル変化と時間との関係の一例を示す。図２の光源例の場合、フリッカ周期の一周期内において、Ｇ成分２０１のレベル変化が最も大きく、一方Ｒ成分２０３のレベル変化は最も少なく、Ｂ成分２０２のレベル変化はＧ成分２０１とＲ成分２０３のレベル変化の中間程度となっている。なお、図２は一例であり、光源が異なれば、ＲＧＢの各色成分のレベルと時間ごとのレベル変化の仕方も異なる。
【００２１】
この図２の例のようなフリッカ光源の下で、フリッカ周期よりも短い露光時間（高速なシャッター速度）で静止画撮影がなされる場合、例えば露光時間が同じであったとしても、その撮影がなされるタイミングが異なると撮影画像の色味は異なるものとなる。すなわち、図２に示すフリッカ周期の一周期内において、例えば露光時間２０４で静止画撮影がなされた場合の撮影画像と、露光時間２０５で静止画撮影がなされた場合の撮影画像は、ＲＧＢの色成分の比率が異なる画像となる。このように、静止画撮影の際の撮影タイミングがフリッカ周期の一周期内で異なると、それら撮影画像は色味が違った画像になってしまう。
【００２２】
このようなフリッカ光源下で撮影がなされる場合の撮像装置の制御法として、フリッカ光源のフリッカ波形を検出し、そのフリッカ波形の最も信号レベルが高くなるピークに合わせて撮影を実行させるような制御法が知られている。図２の例を用いて説明すると、撮像装置は、フリッカ波形の最も信号レベルが高くなるピークに合わせた露光時間２０４のタイミングで撮影を行う。この制御法によれば、フリッカ波形の最も信号レベルが高くなるピークに合った撮影が常に行われることになるため、例えば何度撮影が繰り返されたとしても同じ色味の撮影画像を得ることができ、フリッカ光源での撮影画像の色味の変化を抑えることができる。なお、このような制御法による撮影手法は、フリッカレス撮影と呼ばれている。
【００２３】
ところが、前述のようなフリッカレス撮影は、露光時間が同じであれば撮影ごとに得られる各撮影画像は同じ色味の画像になるが、例えば露光時間が異なっている場合には、撮影画像の色味が異なってしまうことになる。図３には、フリッカ光源下において、それぞれ異なる露光時間（シャッター速度）でフリッカレス撮影が行われた場合の一例を示している。図３の例は、前述の図２の例と同様、フリッカ周期の一周期内において、その光源の光に含まれるＲ成分３０３、Ｇ成分３０１、Ｂ成分３０２のそれぞれのレベル変化と時間との関係の一例を示している。また図３の例の場合、露光時間３０４と露光時間３０５は、それら露光時間の中央が何れもフリッカ波形の最も信号レベルが高くなるピークに合っているが、露光時間３０４の方が露光時間３０５よりもシャッター速度が高速（露光時間が短く）になされている。この図３の例からわかるように、露光時間３０４と露光時間３０５とでは、それら露光時間内におけるＲＧＢの各色成分のレベルが時間ごとに異なっている。すなわち、図３の例では、露光時間３０４と露光時間３０５の何れも、フリッカ波形のピークに合ったタイミングで撮影されることになるが、それぞれシャッター速度が異なる（露光時間が異なる）ために、得られる撮影画像の色味は異なってしまう。
【００２４】
また、図４には、図３の例とは別のフリッカ光源のフリッカ周期の一周期内において、その光源の光に含まれるＲ成分４０３、Ｇ成分４０１、Ｂ成分４０２のそれぞれのレベル変化と時間との関係の一例を示している。この図４の例の場合、Ｇ成分４０１とＢ成分４０２とＲ成分４０３は、それぞれ波形のピークとなる時間が異なっている。また、図４の例において、露光時間４０４と露光時間４０５は、それら露光時間の中央が同じ時間になっているが、露光時間３０４の方が露光時間３０５よりもシャッター速度が高速（露光時間が短く）になされている。この図４の例のような場合、フリッカレス撮影は、例えばＧ成分４０１の波形のピークとなる時間に露光時間の中央を合わせるような撮影となされる。この図４の例の場合、Ｇ成分４０１の波形のピークに合ったタイミングで撮影されることになるが、それぞれシャッター速度が異なる（露光時間が異なる）ことで、それら露光時間内におけるＢ成分４０２とＲ成分４０３が異なる。したがって、この図４の例の場合も、得られる撮影画像の色味は異なってしまう。
【００２５】
ここで、ＬＶ表示の場合、ノイズ量の少ない画像が表示されるように、出来るだけ低ＩＳＯ感度で撮影を行い、ＬＶ画像の各フレームの露光時間を長くすることが望ましい。一方で、静止画像の撮影の際には、様々なシャッター速度による撮影が行われることになる。このため、例えばＬＶ表示がなされているときに静止画像の撮影が行われるような場合には、露光時間の長い各フレームのＬＶ表示の途中で、例えば高速なシャッター速度（短い露光時間）による静止画像撮影が行われることがある。すなわち、ＬＶ表示がなされている状態で静止画像の撮影が行われる場合には、ＬＶ表示の際の露光時間と静止画像の撮影の際の露光時間とが異なることが多い。そして、前述したように、フリッカ光源のような照明環境下である場合には、ＬＶ表示画像と静止画像との色味が異なる可能性が高い。したがって、ＬＶ表示がなされている状態で静止画像の撮影が行われる場合には、ＬＶ表示画像の色味をそのまま維持するような静止画像の撮影が行われることが望ましい。このようにＬＶ表示画像の色味を維持した静止画像を得るためには、ＬＶ画像表示の際に使用されていたホワイトバランス制御値を、静止画像のホワイトバランス制御値として引き継ぐことが望ましい。但し、静止画像の撮影タイミングで光源や被写体が変化するようなシーンチェンジがある場合、ＬＶ画像表示の際に使用されたホワイトバランス制御値は、静止画像のホワイトバランス制御値として適さないことになる。このような場合には、静止画像用として別途ホワイトバランス制御値の演算が必要となる。また、フリッカ光源の照明環境下で撮影がなされるような場合には、前述したようにフリッカ周期の一周期内でＲＧＢの色成分が時間により異なるようになる。このため、フリッカ光源の照明環境下では、ＬＶ画像表示の際のホワイトバランス制御値をそのまま静止画像用として引き継いでしまうことは好ましくない。
【００２６】
本実施形態の撮像装置１１８は、フリッカ光源のようにＲＧＢの色成分が時間により変化する照明環境下で、ＬＶ画像表示が行われている状態で静止画像が撮像される場合でも、ＬＶ表示画像と同じ色味になるように適切な補正を施した静止画撮影を可能とする。
【００２７】
以下、本実施形態の撮像装置１１８において、フリッカ光源のような照明環境下でＬＶ画像表示がなされている状態で静止画撮像が行われる場合に、静止画像の色味がＬＶ表示画像と同じ色味になるようなＷＢ制御値の補正処理について説明する。図５は、撮像装置１１８においてＬＶ画像表示が行われている状態で静止画撮像が行われる場合のシステム制御部１１６による撮影制御動作、及び、画像処理部１０８におけるＡＷＢ演算とＷＢ制御値の補正処理のフローチャートである。図５のフローチャートにおいて、システム制御部１１６は、ステップＳ５０１として、操作部１１５を介して使用者からＬＶ表示モードの開始指示入力がなされたかを監視している。システム制御部１１６は、ＬＶ表示モードの開始指示が入力されると、処理をステップＳ５０２へ進める。
【００２８】
ステップＳ５０２では、システム制御部１１６は、ＬＶ画像データを用いてフリッカの検知を行う。この場合、システム制御部１１６は、先ず、露光制御部１１０を通じてＬＶ画像のフレームの周期をフリッカ周期に対してずらした値（例えば半周期ずらした値）に設定する。このときのフリッカ周期は、例えば撮影者により操作部１１５を介して複数の撮影モードの中から蛍光灯環境用の撮影モードが選択された場合、その蛍光灯環境用の撮影モードにおいて予め用意されているフリッカ周期を用いることができる。商用周波数が５０Ｈｚの地域の場合、ＬＶ画像のフレームレートは、一例として６７ｆｐｓ（１／１５ｍｓ）、４０ｆｐｓ（１／２５ｍｓ）、２８ｆｐｓ（１／３５ｍｓ）、２２ｆｐｓ（１／４５ｍｓ）の何れかを用いる。このように、ＬＶ画像のフレームの周期がフリッカ周期に対してずらした値に設定されると、ＬＶ画像の連続する各フレーム内でフリッカが発生する時間がずれることになる。システム制御部１１６は、この連続して撮像された２フレームのＬＶ画像の微分画像を各々生成することにより時間軸方向（画像の垂直方向）の写像を取り、その比を算出することでフリッカ成分の周波数（フリッカの周期）と振幅を検出する。このステップＳ５０２の後、システム制御部１１６は、ステップＳ５０３へ処理を進める。
【００２９】
ステップＳ５０３では、システム制御部１１６は、フリッカの周期と、撮像素子１０３の撮像画像から測定した被写体の明るさとに基づいて、ＬＶ画像のための露光時間と絞り値と感度（ＩＳＯ感度）の露光条件を設定する。具体的には、システム制御部１１６は、フリッカによる光量変動の影響を無くすことができる露光時間を設定した上で、被写体の明るさが適正になるように絞り値と撮像素子１０３の感度（ＩＳＯ感度）を決定する。システム制御部１１６は、露光時間についてはフリッカの周期の整数倍の長さの時間に設定する。これにより、露光のタイミングによらず同じ光量（露光のタイミングが異なったとしても露光時間内の光量の総和が略々同じになる）で撮像がなされることになるため、フリッカによる光量変動の影響を無くすことができる。ステップＳ５０３の後はステップＳ５０４の処理へ進むが、このステップＳ５０４の処理は画像処理部１０８にて行われる。
【００３０】
ステップＳ５０４に進むと、画像処理部１０８は、ＬＶ画像を用いて顔画像の検出処理を行う。このステップＳ５０４において、画像処理部１０８が行う顔画像の検出処理のフローチャートを図６に示す。先ずステップＳ６０１において、画像処理部１０８は、顔画像の検出のための前処理として、顔画像の検出に適するような輝度情報をＬＶ画像から抽出する。ステップＳ６０１の後、画像処理部１０８は、ステップＳ６０２へ処理を進める。
【００３１】
ステップＳ６０２では、画像処理部１０８は、ステップＳ６０１で抽出した輝度情報から顔画像の特徴量を抽出する。ステップＳ６０２の後、画像処理部１０８は、ステップＳ６０３へ処理を進める。ステップＳ６０３では、画像処理部１０８は、ステップＳ６０２で抽出した顔画像の特徴量から、一つ又は複数の顔画像と判断できる領域（顔領域）を検出する。そして、画像処理部１０８は、それら顔領域ごとに、画像内の位置や大きさ、顔のパーツ（目や鼻など）位置、顔としての信頼度などの顔検出情報を、検出結果として取得する。本実施形態においては、顔画像検出の方法や顔画像検出情報の構成については特に限定せず公知の技術を用いることができる。このステップＳ６０３の後、画像処理部１０８は、図５のステップＳ５０５へ処理を進める。
【００３２】
ステップＳ５０５では、画像処理部１０８は、ＬＶ画像を用いてＡＷＢ演算を行う。図７には、ＡＷＢ演算処理のフローチャートを示している。図７のフローチャートにおいて、画像処理部１０８は、ステップＳ７０１の処理として、ＬＶ画像を、水平方向がｎ個、垂直方向がｍ個の領域に分割する。ｎ，ｍはそれぞれ任意の整数であり、本実施形態ではｎ，ｍともに１６とし、したがってＬＶ画像は全部で２５６個の領域に分割される。以下この分割領域をブロック領域と表記する。ステップＳ７０１の後、画像処理部１０８は、処理をステップＳ７０２へ進める。ステップＳ７０２では、画像処理部１０８は、以下の式（１）により、各ブロック領域内のＲＧＢの各色信号についてそれぞれ平均値を算出する。
【００３３】
Rave＝Rall／Rcount
Gave＝Gall／Gcount        ・・・式（１）
Bave＝Ball／Bcount
【００３４】
なお、式（１）のＲａｖｅはＲ信号の平均値、ＧａｖｅはＧ信号の平均値、ＢａｖｅはＢ信号の平均値である。また、式（１）のＲａｌｌはブロック領域内のＲ信号の積分値、Ｇａｌｌはブロック領域内のＧ信号の積分値、Ｂａｌｌはブロック領域内のＢ信号の積分値である。また、Ｒｃｏｕｎｔはブロック領域内のＲ信号の個数、Ｇｃｏｕｎｔはブロック領域内のＧ信号の個数、Ｂｃｏｕｎｔはブロック領域内のＢ信号の個数である。ステップＳ７０２の後、画像処理部１０８は、処理をステップＳ７０３へ進める。ステップＳ７０３では、画像処理部１０８は、各ブロック領域内におけるＣＩＥ（国際照明委員会）表色系の色評価値（Ｃｘ，Ｃｙ）を式（２）により算出する。
【００３５】
Ｃｘ＝（Rave−Bave）／Yave×1024
Ｃｙ＝（Rave＋Bave−2Gave）／Yave×1024        ・・・式（２）
但し、Yave＝Rave＋2Gave＋Bave
【００３６】
ステップＳ７０３の後、画像処理部１０８は、処理をステップＳ７０４へ進める。ステップＳ７０４では、画像処理部１０８は、白検出処理を行う。ここでは、画像処理部１０８は、先ず各ブロック領域の色評価値（Ｃｘ，Ｃｙ）が予め設定した白検出範囲に含まれるかどうかを判断する。白検出範囲とは、白色物体を色温度など特性の異なる光源下で予め撮影し、その白色物体を撮影した画像から算出した色評価値のＣｘ−Ｃｙ座標系における範囲である。本実施形態では、この色検出範囲が、ＷＢ制御値を求める際の特定領域となる。そして、画像処理部１０８は、式（２）で算出した色評価値（Ｃｘ，Ｃｙ）が白検出範囲に含まれるブロック領域の色平均値Ｒａｖｅ、Ｇａｖｅ、Ｂａｖｅを積算する。ここでは、Ｒ信号について平均値Ｒａｖｅの積算により得られた値を積分値ＳｕｍＲｗとし、Ｇ信号について平均値Ｇａｖｅの積算により得られた値を積分値ＳｕｍＧｗとし、Ｂ信号について平均値Ｂａｖｅの積算により得られた値を積分値ＳｕｍＢｗとする。画像処理部１０８は、これら各積分値ＳｕｍＲｗ，ＳｕｍＧｗ，ＳｕｍＢｗをメモリ１０７へ記憶させる。このステップＳ７０４の後、画像処理部１０８は、処理をステップＳ７０５へ進める。
【００３７】
ステップＳ７０５では、画像処理部１０８は、白検出範囲のブロック領域からＷＢ制御値を算出する。ここでは、Ｒ信号に対応したＷＢ制御値をＷＢ＿Ｒｗとし、Ｇ信号に対応したＷＢ制御値をＷＢ＿Ｇｗ、Ｂ信号に対応したＷＢ制御値をＷＢ＿Ｂｗとする。具体的には、画像処理部１０８は、下記の式（３）により、ＷＢ制御値（ＷＢ＿Ｒｗ，ＷＢ＿Ｇｗ，ＷＢ＿Ｂｗ）を算出する。画像処理部１０８は、このようにして白検出範囲のブロック領域からＷＢ制御値（ＷＢ＿Ｒｗ，ＷＢ＿Ｇｗ，ＷＢ＿Ｂｗ）を算出した後、処理をステップＳ７０６へ進める。
【００３８】
WB_Rw＝SumYw×1024／SumRw
WB_Gw＝SumYw×1024／SumGw             ・・・式（３）
WB_Bw＝SumYw×1024／SumBw
但し、SumYw＝（SumRw＋2SumGw＋SumBw）／4
【００３９】
ステップＳ７０６では、画像処理部１０８は、ステップＳ５０４で検出した顔情報を用いてＷＢ制御値を算出する。先ず、画像処理部１０８は、前述のように顔画像が検出された枠内のブロック領域内の色平均の積算値を算出する。ここでは、Ｒ信号について平均値を積算した値を積分値ＳｕｍＲｆし、Ｇ信号について平均値を積算した値を積分値ＳｕｍＧｆとし、Ｂ信号について平均値を積算した値を積分値ＳｕｍＢｆとする。また、画像処理部１０８は、それら算出した積算値（ＳｕｍＲｆ，ＳｕｍＧｆ，ＳｕｍＢｆ）を、メモリ１０７に記憶させる。そして、画像処理部１０８は、下記の式（４）を用いて、ＷＢ制御値（ＷＢ＿Ｒｗ，ＷＢ＿Ｇｗ，ＷＢ＿Ｂｗ）を算出する。なお、式（４）のＳｋｉｎＲ，ＳｋｉｎＧ，ＳｋｉｎＢは、目標とする肌色のカラーバランス制御値である。画像処理部１０８は、このようにして顔画像検出された枠内のブロック領域からＷＢ制御値（ＷＢ＿Ｒｗ，ＷＢ＿7Ｇｗ，ＷＢ＿Ｂｗ）を算出した後、処理をステップＳ７０７へ進める。
【００４０】
WB_Rf＝SumYf×SkinR×1024／SumRf
WB_Gf＝SumYf×SkinG×1024／SumGf      ・・・式（４）
WB_Bf＝SumYf×SkinB×1024／SumBf
但し、SumYf＝（SumRf＋2SumGf＋SumBf）／4
【００４１】
ステップＳ７０７では、画像処理部１０８は、最終的なＷＢ制御値を決定する。ここでは、Ｒ信号に対応した最終的なＷＢ制御値をＳｕｍＲｆとし、Ｇ信号に対応した最終的なＷＢ制御値をＳｕｍＧｆとし、Ｂ信号に対応した最終的なＷＢ制御値をＳｕｍＢｆとする。先ず、画像処理部１０８は、下記の式（５）を用いて、前述のように白検出範囲から算出されたＷＢ制御値（ＷＢ＿Ｒｗ，ＷＢ＿Ｇｗ，ＷＢ＿Ｂｗ）と顔画像検出枠内から算出されたＷＢ制御値（ＷＢ＿Ｒｗ，ＷＢ＿Ｇｗ，ＷＢ＿Ｂｗ）の重み平均を求める。なお、式（５）のαは、顔画像検出枠内のブロック領域のＷＢ制御値を使用する重み係数である。本実施形態において、重みαは、例えばステップＳ５０４の顔画像検出によって得られた顔画像の信頼度、大きさ、位置に関する評価値算出のテーブルを用意しておき、それら各評価値の積をとることで算出することができる。そして、画像処理部１０８は、その重み平均演算後の値を、最終的なＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）とする。本実施形態において、画像処理部１０８は、このようにして最終的に求められたＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）をメモリ１０７に記憶させる。
【００４２】
WB_Rlv＝WB_Rf×α＋WB_Rw×(1-α)
WB_Glv＝WB_Gf×α＋WB_Gw×(1-α)      ・・・式（５）
WB_Blv＝WB_Bf×α＋WB_Bw×(1-α)
【００４３】
図５のフローチャートに戻って、ステップＳ５０５の後はステップＳ５０６へ進むが、このステップＳ５０６の処理はシステム制御部１１６にて行われる。ステップＳ５０６では、システム制御部１１６は、使用者によりレリーズ釦１１４の全押しがなされて静止画撮影が行われたかどうかの判定を行い、静止画撮影が行われた場合には処理をステップＳ５０７へ進める。静止画撮影が行われていない場合、システム制御部１１６は、処理をステップ５０３へ戻す。
【００４４】
ステップＳ５０７では、システム制御部１１６は、ステップＳ５０２においてフリッカが検知されたかどうかの判定を行う。システム制御部１１６は、フリッカが検知されていれば処理をステップＳ５０８へ進め、フリッカが検知されていなければステップＳ５０９へ処理を進める。
【００４５】
ステップＳ５０８では、システム制御部１１６は、静止画撮影のためのフリッカ検知を行う。ここでは、システム制御部１１６は、ミラー駆動部を制御して、反射ミラーを、一旦ミラーダウンさせ、測光センサ１１３から出力される測光信号を用いて、入射光の波形すなわちフリッカ光源のフリッカ波形を測定する。そして、システム制御部１１６は、測光センサ１１３の測光信号から測定したフリッカ波形のピークを検出する。また、システム制御部１１６は、フリッカ波形のピークとボトムにおける測光値の差分により、フリッカの振幅を算出する。そして、システム制御部１１６は、フリッカ波形のピークに合わせて静止画撮影を行うフリッカレス撮影用の撮影タイミングを算出する。ステップＳ５０８の後、システム制御部１１６は、ステップＳ５０９へ処理を進める。
【００４６】
ステップＳ５０９の処理は、画像処理部１０８にて行われる。ステップＳ５０９では、画像処理部１０８は、静止画撮影により得られた静止画像データを用いてＡＷＢ演算を行う。この演算は、前述したステップＳ５０５のＬＶ画像に対するＡＷＢ演算と同様に行われる。ここでは、静止画像データから算出したＷＢ制御値を（ＷＢ＿Ｒｓｔ，ＷＢ＿Ｇｓｔ，ＷＢ＿Ｂｓｔ）とする。なお、ＷＢ＿ＲｓｔはＲ信号に対応したＷＢ制御値であり、ＷＢ＿ＧｓｔはＧ信号に対応したＷＢ制御値であり、ＷＢ＿ＢｓｔはＢ信号に対応したＷＢ制御値である。本実施形態では、このＷＢ制御値（ＷＢ＿Ｒｓｔ，ＷＢ＿Ｇｓｔ，ＷＢ＿Ｂｓｔ）が、静止画像データから算出された第２のＷＢ制御値となされている。なお、第１のＷＢ制御値については後述する。ステップＳ５０９の後、画像処理部１０８は、処理をステップＳ５１０へ進める。
【００４７】
ステップＳ５１０では、画像処理部１０８は、ＬＶ画像データから算出したＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）を、静止画像用に修正する処理を行う。
【００４８】
ここで、本実施形態において、ＬＶ画像データから算出したＷＢ制御値を静止画像用に修正するのは、以下のような理由による。本実施形態のように、ＬＶ表示がなされている状態で静止画像撮影が行われる場合、ＬＶ画像から算出したＷＢ制御値を静止画像用のＷＢ制御値として引き継げば、ＬＶ画像の色バランスと静止画像の色バランスを略々同じにできる。但し、前述したように、ＬＶ画像の露光時間はフリッカ周期の整数倍となされている一方で、静止画像撮影の露光時間はより短い時間になされることがあり、この場合、ＬＶ画像と静止画像の色味がずれる可能性がある。したがって、この場合は、ＬＶ画像から算出したＷＢ制御値を静止画像用に修正してから引き継ぐことが必要である。また、ＬＶ表示されている状態で静止画像撮影を行う際に、例えばシーンチェンジが発生してＬＶ表示画像と静止画像とで被写体等が変わってしまう場合、ＬＶ画像から算出したＷＢ制御値を静止画像用に引き継いでしまうと、適正なＷＢ処理が行えない。したがって、シーンチェンジが発生した場合には、ＬＶ画像から算出したＷＢ制御値を静止画像用に引き継がず、静止画像から算出したＷＢ制御値を用いたＷＢ処理を行う必要がある。一方、ＬＶ表示がなされている状態で静止画像撮影が行われる際に、フリッカレス撮影が行われると、前述したように、そのフリッカレス撮影の条件によっては、ＬＶ画像と静止画像との色味が大きく異なることになる。このような場合、シーンチェンジが生じたと誤って判断されると、ＬＶ画像から算出されたＷＢ制御値が、静止画像用に引き継がれなくなる可能性がある。したがって、この場合には、ＬＶ画像から算出したＷＢ制御値を修正した上で、静止画像用に引き継ぐことが望ましい。本実施形態においては、上述したような理由から、フリッカレス撮影の条件を考慮し、ＬＶ画像から取得したＷＢ制御値を修正して、フリッカレス撮影による静止画像に適用するＷＢ制御値として引き継ぐ。
【００４９】
このようなことから、画像処理部１０８は、前述したように、白検出範囲から算出した積分値（ＳｕｍＲｗ，ＳｕｍＧｗ，ＳｕｍＢｗ）とＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）とをメモリ１０７へ記憶させている。画像処理部１０８は、静止画撮影時に、これらの情報を用いて、ＬＶ画像のＷＢ後の色バランスと、静止画像のＷＢ後の色バランスとを同じにするように、静止画像用のＷＢ制御値を算出する。すなわち画像処理部１０８は、ＬＶ画像の白検出範囲のブロック領域の積分値（ＳｕｍＲｗ，ＳｕｍＧｗ，ＳｕｍＢｗ）のＷＢ後の色バランスと、静止画像の同ブロック領域の積分値のＷＢ後の色バランスとが同じになるような静止画像用のＷＢ制御値を算出する。ここでは、静止画像における同ブロック領域の、Ｒ信号に対応した積分値をＳｕｍＲｗ２とし、Ｇ信号に対応した積分値をＳｕｍＧｗ２とし、Ｂ信号に対応した積分値をＳｕｍＢｗ２とする。画像処理部１０８は、式（６）を用いることにより、静止画像用のＷＢ制御値（ＷＢ＿Ｒｌｖ２，ＷＢ＿Ｇｌｖ２，ＷＢ＿Ｂｌｖ２）を算出する。なお、ＷＢ＿Ｒｌｖ２はＲ信号に対応したＷＢ制御値であり、ＷＢ＿Ｇｌｖ２はＧ信号に対応したＷＢ制御値、ＷＢ＿Ｂｌｖ２はＢ信号に対応したＷＢ制御値である。本実施形態では、このＷＢ制御値（ＷＢ＿Ｒｌｖ２，ＷＢ＿Ｇｌｖ２，ＷＢ＿Ｂｌｖ２）が、ＬＶ画像データから算出された第１のＷＢ制御値となされる。
【００５０】
WB_Rlv2＝SumRw×WB_Rlv／SumRw2
WB_Glv2＝SumGw×WB_Glv／SumGw2                ・・・式（６）
WB_Blv2＝SumBw×WB_Blv／SumBw2
【００５１】
また、本実施形態では、ＬＶ画像と静止画像とで特に人物の肌の色味を重視してＷＢ後の色バランスを合わせるような静止画像用のＷＢ制御値を算出することも可能となされている。このため、画像処理部１０８は、前述したように、積分値（ＳｕｍＲｆ，ＳｕｍＧｆ，ＳｕｍＢｆ）とＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）をメモリ１０７へ記憶させている。なお、積分値（ＳｕｍＲｆ，ＳｕｍＧｆ，ＳｕｍＢｆ）は、前述のステップＳ７０６で算出した、顔画像検出の枠内のブロック領域内のＲ，Ｇ，Ｂ信号の積分値である。また、ＷＢ制御値（ＷＢ＿Ｒｌｖ，ＷＢ＿Ｇｌｖ，ＷＢ＿Ｂｌｖ）は、前述のようにＬＶ画像データから算出されたＷＢ制御値である。そして、画像処理部１０８は、ＬＶ表示がなされている状態で静止画撮影がなされる場合、これらの情報を用いて、静止画像用のＷＢ制御値を算出する。すなわち、画像処理部１０８は、ＬＶ画像において顔画像検出した枠内のブロック領域内のＲＧＢ信号の積分値のＷＢ後の色バランスと、静止画像の同ブロック領域の積分値のＷＢ後の色バランスが同じになるように、静止画像用のＷＢ制御値を算出する。本実施形態において、特に人物の肌の色味を重視したＷＢ処理を行う場合には、ここで算出した静止画像用のＷＢ制御値を第１のＷＢ制御値としてもよい。
【００５２】
本実施形態では、前述のようにＬＶ画像データから算出した第１のＷＢ制御値（ＷＢ＿Ｒｌｖ２，ＷＢ＿Ｇｌｖ２，ＷＢ＿Ｂｌｖ２）と、静止画像データから算出された（ＷＢ＿Ｒｓｔ，ＷＢ＿Ｇｓｔ，ＷＢ＿Ｂｓｔ）とを合成する。以下、ＬＶ画像データから算出した第１のＷＢ制御値（ＷＢ＿Ｒｌｖ２，ＷＢ＿Ｇｌｖ２，ＷＢ＿Ｂｌｖ２）と、静止画像データから算出した第２のＷＢ制御値（ＷＢ＿Ｒｓｔ，ＷＢ＿Ｇｓｔ，ＷＢ＿Ｂｓｔ）の合成比率を算出する手法について説明する。
【００５３】
画像処理部１０８は、図５のフローチャートのステップＳ５１１の処理として、合成比率を算出する。ステップＳ５１１では、画像処理部１０８は、ＬＶ画像データから算出した第１のＷＢ制御値と、静止画像データから算出した第２のＷＢ制御値との合成比率を算出する。このステップＳ５１１の処理の詳細なフローチャートを図８に示す。
【００５４】
図８のフローチャートにおいて、画像処理部１０８は、先ずステップＳ８０１の処理として、システム制御部１１６にて前述のように求められたフリッカ検知情報に基づいて、色に関連するパラメータＴｈ１，Ｔｈ２を決定する。ここで本実施形態の場合、画像処理部１０８は、予め用意された図９に示すようなパラメータＴｈ１，Ｔｈ２のテーブルを参照して、静止画像の露光時間、フリッカの周期、フリッカの振幅に応じたパラメータＴｈ１，Ｔｈ２を決定する。なお、図９の横軸はフリッカの周期と静止画像の露光時間の比である。図９の縦軸はパラメータ値であり、具体的にはＣｘ−Ｃｙ座標系の色空間内の距離に対応している。パラメータとしてＴｈ１，Ｔｈ２の二つを用意しているのは、後述する図１１で説明するように、ＬＶ画像データと静止画像データからそれぞれ算出されたＷＢ制御値を合成する際に、ＬＶ画像のＷＢ制御値の合成率を徐々に変化させるためである。また、図９に示すように、テーブルは、フリッカの周期と静止画像の露光時間の比が大きくなるほど、パラメータＴｈ１，Ｔｈ２の値が大きくなるように設定されている。このテーブルは、フリッカの振幅の大きさに応じて複数パターン用意されており、フリッカの振幅が大きいほど各パラメータＴｈ１，Ｔｈ２の値が大きくなるように設定されている。これは、フリッカの周期に対して、露光時間が短いほど、また、フリッカの振幅が大きいほど、ＬＶ画像と静止画像とで光源の色比がずれやすいため、色比がある程度ずれていても同一シーンと判定して、ＷＢ制御値を引き継ぎやすくするためである。図９では、フリッカ振幅に応じたパターンとして、パラメータＴｈ１にはパラメータＴｈ１ｓ、Ｔｈ１ｍ、Ｔｈ１ｌが用意され、パラメータＴｈ２にはパラメータＴｈ２ｓ、Ｔｈ２ｍ、Ｔｈ２ｌが用意されているが、さらに多くのパターンが用意されていてもよい。このようなパラメータＴｈ１，Ｔｈ２を決定する際のフリッカの振幅及び周期は、ステップＳ５０２においてＬＶ画像からフリッカ検知した値を用いればよい。また、フリッカ検知がされていない場合、及び、フリッカ周期より静止画像の露光時間が長い場合、パラメータＴｈ１，Ｔｈ２の値は、予め設定しておいた固定値にしておく。これらパラメータＴｈ１，Ｔｈ２における固定値は、図９のフリッカの周期と露光時間の比が「１」の場合と同じ値、すなわち、パラメータＴｈ１の場合は固定値Ｔｈ１ｆｖ、パラメータＴｈ２の場合は固定値Ｔｈ２ｆｖとなされてもよい。ステップＳ８０１の後、画像処理部１０８は、処理をステップＳ８０２へ進める。
【００５５】
ステップＳ８０２では、画像処理部１０８は、ＬＶ画像データから算出した白検出結果（前述の積分値（ＳｕｍＲｗ，ＳｕｍＧｗ，ＳｕｍＢｗ））に応じて、ステップＳ８０１で算出したパラメータＴｈ１，Ｔｈ２を修正する。ここでは、画像処理部１０８は、先ずＬＶ画像データから算出した積分値（ＳｕｍＲｗ，ＳｕｍＧｗ，ＳｕｍＢｗ）をＣｘ−Ｃｙ座標に変換する。そして、画像処理部１０８は、予め用意してある図１０に示すようなＣｘ（色温度）に対する補正係数γのテーブルを参照して、パラメータＴｈ１、Ｔｈ２に補正係数γを積算することで、パラメータＴｈ１、Ｔｈ２を補正する。補正係数γによって補正を行うのは、Ｃｘ−Ｃｙ座標系では、同じ色温度の差（本実施形態の場合はＬＶ画像の色温度と静止画像の色温度の差）でも色温度のＣｘが大きい領域ほどＣｘの差が大きくなるために、この影響を少なくするためである。ステップＳ８０２の後、画像処理部１０８は、処理をステップＳ８０３へ進める。
【００５６】
ステップＳ８０３では、画像処理部１０８は、ＬＶ画像データと静止画像データから前述のようにしてそれぞれ算出した第１のＷＢ制御値と第２のＷＢ制御値を合成する際の合成比率βを決定する。具体的には、画像処理部１０８は、予め用意してある図１１に示すようなテーブルを参照することにより、合成比率βを求める。ここで、画像処理部１０８は、先ず前述の静止画像データから算出された白検出結果（積分値（ＳｕｍＲｗ２，ＳｕｍＧｗ２，ＳｕｍＢｗ２））を、Ｃｘ−Ｃｙ座標に変換する。以下、静止画像データから求められたＣｘ−Ｃｙ座標の白検出結果を（Ｃｘ２，Ｃｙ２）と表記し、前述のステップＳ８０２においてＬＶ画像データから求められたＣｘ−Ｃｙ座標の白検出結果を（Ｃｘ１，Ｃｙ１）と表記する。図１１の横軸は、Ｃｘ−Ｃｙ座標系の色空間内の距離を表している。画像処理部１０８は、前述したようにＬＶ画像データから求めたＣｘ−Ｃｙ座標系の白検出結果（Ｃｘ１，Ｃｙ１）と、静止画像データから求めた白検出結果（Ｃｘ２，Ｃｙ２）との間の、色空間内での距離を、下記の式（７）を用いて算出する。
【００５７】
｛（Ｃｘ１−Ｃｘ２）2＋（Ｃｙ１−Ｃｙ２）2｝1/2      ・・・式（７）
【００５８】
また、図１１の縦軸は、ＬＶ画像データから算出した第１のＷＢ制御値と静止画像データから算出した第２のＷＢ制御値の合成比率β、より具体的にはＬＶ画像データから算出した第１のＷＢ制御値を静止画像用に引き継ぐ際の引継ぎの度合いを表している。そして、画像処理部１０８は、図１１のテーブルを参照して、補正係数γで補正されたパラメータＴｈ１，Ｔｈ２と、ＬＶ画像の白検出結果（Ｃｘ１，Ｃｙ１）と静止画像の白検出結果（Ｃｘ２，Ｃｙ２）との間の距離とを比較して、合成比率βを決定する。図１１の例の場合、それらＬＶ画像と静止画像の白検出結果（Ｃｘ１，Ｃｙ１）と（Ｃｘ２，Ｃｙ２）の間の距離が、パラメータＴｈ１×γより下回っている場合、画像処理部１０８は、ＬＶ画像の第１のＷＢ制御値の合成比率βを１００％とする。一方、ＬＶ画像と静止画像の白検出結果（Ｃｘ１，Ｃｙ１）と（Ｃｘ２，Ｃｙ２）の間の距離が、パラメータＴｈ１×γからパラメータＴｈ２×γまでの間である場合、画像処理部１０８は、その距離に応じた合成比率βとする。さらに、ＬＶ画像と静止画像の白検出結果（Ｃｘ１，Ｃｙ１）と（Ｃｘ２，Ｃｙ２）の間の距離が、パラメータＴｈ２×γを越える場合、画像処理部１０８は、ＬＶ画像から算出された第１のＷＢ制御値の合成比率βを０％とする。これは、ＬＶ画像と静止画像の色味が閾値以上（パラメータＴｈ２×γ以上）異なる場合には、フリッカ光源による色味の差を鑑みても異なるシーンである可能性が高く、ＬＶ画像のＷＢ制御値ではなく、静止画像のＷＢ制御値を使用した方がよいためである。また、ＬＶ画像と静止画像の白検出結果（Ｃｘ１，Ｃｙ１）と（Ｃｘ２，Ｃｙ２）の間の距離がパラメータＴｈ１×γからパラメータＴｈ２×γの間である場合に、合成比率βを徐々に変化させるのは、ＷＢ変化により色味の急激な変化を抑えるためである。
【００５９】
より具体的な例として、図１２を用い、或るフリッカ光源による照明環境条件下において、ＬＶ画像から算出した第１のＷＢ制御値と静止画像から算出した第２のＷＢ制御値の合成比率βを決定する際の一例を説明する。図１２は、横軸がＣｘ−Ｃｙ座標系のＣｘ、縦軸がＣｙであり、Ｃｘ−Ｃｙ座標系における白検出枠１２０１と、黒体輻射軌跡１２０２と、フリッカ光源で露光時間ごとに白検出した色情報１２０３の変化を示した図である。図１２の例の場合、色情報１２０３の左端がフリッカ周期以上で露光した場合の色であり、露光時間が短くなるほどＣｘが大きくなる方向に色味がずれることを示している。また、図１２には、色情報１２０３の左端を中心として、半径がパラメータＴｈ１×γの大きさの円１２０４と、半径がパラメータＴｈ２×γの大きさの円１２０５も示している。画像処理部１０８は、静止画像データから算出した白検出結果と、それら円１２０４，１２０５との位置関係により、ＬＶ画像から算出した第１のＷＢ制御値と静止画像から算出した第２のＷＢ制御値の合成比率βを決定する。具体的には、画像処理部１０８は、静止画像から算出した白検出結果の色情報１２０３が円１２０５より外側である場合には、ＬＶ画像による第１のＷＢ制御値の合成比率βを０％とし、静止画像による第２のＷＢ制御値を用いるようにする。画像処理部１０８は、静止画像から算出した白検出結果の色情報１２０３が円１２０４より内側である場合には、ＬＶ画像による第１のＷＢ制御値の合成比率βを１００％として、ＬＶ画像による第１のＷＢ制御値を用いるようにする。画像処理部１０８は、静止画像から算出した白検出結果の色情報１２０３が円１２０４と円１２０５の間である場合には、それら色情報１２０３から円１２０４と円１２０５までの距離に応じた比率となる合成比率βを決定する。
【００６０】
図５のフローチャートに戻り、ステップＳ５１１の後、画像処理部１０８は、処理をステップＳ５１２へ進める。ステップＳ５１２では、画像処理部１０８は、ステップＳ５１１で算出した合成比率βと式（８）を用いてＬＶ画像データから算出した第１のＷＢ制御値と静止画像データから算出した第２のＷＢ制御値を合成する。そして、画像処理部１０８は、その合成後のＷＢ制御値を静止画像に適用する。すなわち、画像処理部１０８は、その合成後のＷＢ制御値を用いて、静止画像データのホワイトバランス処理を行う。
【００６１】
WB_R＝WB_Rlv2×β＋WB_Rst×(1−β)
WB_G＝WB_Glv2×β＋WB_Gst×(1−β)            ・・・式（８）
WB_B＝WB_Blv2×β＋WB_Bst×(1−β)
【００６２】
なお、図１２の例の場合、ＬＶ画像データから算出した第１のＷＢ制御値と静止画像データから算出した第２のＷＢ制御値の合成は、下記の式（９）のようになされる。式（９）中のＷＢｓｐは静止画像データから算出された第１のＷＢ制御値であり、ＷＢｌｖはＬＶ画像データから算出された第１のＷＢ制御値である。また、式（９）中のＤａは色情報１２０３の円１２０４からの距離、Ｄｂは色情報１２０３の円１２０５からの距離、ＲＤは円１２０４と円１２０５の半径の差である。
【００６３】
（ＷＢｓｐ×Ｄａ＋ＷＢｌｖ×Ｄｂ）／ＲＤ          ・・・式（９）
【００６４】
なお、本実施形態では、ＷＢ制御値の合成比率βを算出するに当たって、Ｃｘ−Ｃｙ座標系におけるＬＶ画像と静止画像の色味の違いを算出するようにしたが、他の例として、ＲＧＢ空間でそのまま比較したり、他の座標系に変換して色味の違いを算出してもよい。
【００６５】
以上説明したように、本実施形態によれば、フリッカ光源下のように光源の色比が撮像のタイミングで変化する環境においても、ＬＶ表示と同じ色味になるように適切な補正が施された静止画像を提供することができる。
【００６６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００６７】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６８】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６９】
１００  レンズ、１０１  絞り、１０２  シャッター、１０３  撮像素子、１０４  Ａ／Ｄ変換器、１０５  タイミング発生部、１０６  メモリ制御部、１０７  メモリ、１０８  画像処理部、１０９  外部記憶部、１１０  露光制御部、１１１  測距制御部、１１２  測距センサ、１１３  測光センサ、１１４  レリーズ釦、１１５  操作部、１１６  システム制御部、１１７  表示部、１１８  撮像装置
【図１】
0006429655.tif 000002
【図２】
0006429655.tif 000003
【図３】
0006429655.tif 000004
【図４】
0006429655.tif 000005
【図５】
0006429655.tif 000006
【図６】
0006429655.tif 000007
【図７】
0006429655.tif 000008
【図８】
0006429655.tif 000009
【図９】
0006429655.tif 000010
【図１０】
0006429655.tif 000011
【図１１】
0006429655.tif 000012
【図１２】
0006429655.tif 000013