(57)【要約】【課題】顔と背景との比較関係がどのような画像においても、適切なホワイトバランスゲインを算出できるホワイトバランスゲイン算出装置を提供する。【解決手段】顔重視でかつ顔が主体の画像である場合、顔重視ホワイトバランスゲインを設定する。顔重視の画像でない場合、通常ホワイトバランスゲインを設定する。顔重視でかつ顔と背景とのバランス重視の画像である場合、顔重視ホワイトバランスゲインと通常ホワイトバランスゲインまたはストロボホワイトバランスゲインとを、画像からの顔と背景との比較に応じた比率で統合した統合ホワイトバランスゲインを算出する。比率は、顔の光源と背景の光源の種類、顔と背景との輝度差、画像に占める顔の割合、レリーズスイッチの半押しから全押しまでの時間に応じて求める。【選択図】図１
2011188186.tif 000002
【特許請求の範囲】
【請求項１】
撮像される画像から通常ホワイトバランスゲインを算出する通常ホワイトバランスゲイン算出手段と、
前記画像から得られる顔情報に基づいて顔重視ホワイトバランスゲインを算出する顔重視ホワイトバランスゲイン算出手段と、
前記画像の顔と背景との比較に応じて顔重視ホワイトバランスゲイン重み係数を算出する顔重視ホワイトバランスゲイン重み係数算出手段と、
前記顔重視ホワイトバランスゲインと前記通常ホワイトバランスゲインとを、前記顔重視ホワイトバランスゲイン重み係数に応じた比率で統合した統合ホワイトバランスゲインを算出する統合ホワイトバランスゲイン算出手段と
を具備していることを特徴とするホワイトバランスゲイン算出装置。
【請求項２】
前記画像から得られる顔情報に基づいて顔重視の画像であるか判定するとともに顔重視の画像であれば顔を主体とする画像であるか顔と背景とのバランスを重視する画像であるか判定するシーン判定手段と、
前記顔重視でかつ顔が主体の画像であると判定された場合に前記顔重視ホワイトバランスゲインを設定し、前記顔重視でかつ顔と背景とのバランス重視の画像であると判定された場合に前記統合ホワイトバランスゲインを設定し、前記顔重視の画像でないと判定された場合に前記通常ホワイトバランスゲインを設定するホワイトバランスゲイン設定手段とを具備している
ことを特徴とする請求項１記載のホワイトバランスゲイン算出装置。
【請求項３】
ストロボを使用して撮像される画像からストロボホワイトバランスゲインを算出するストロボホワイトバランスゲイン算出手段と、
前記画像から得られる顔情報に基づいて顔重視ホワイトバランスゲインを算出する顔重視ホワイトバランスゲイン算出手段と、
前記画像の顔と背景との比較に応じて顔重視ホワイトバランスゲイン重み係数を算出する顔重視ホワイトバランスゲイン重み係数算出手段と、
前記顔重視ホワイトバランスゲインと前記ストロボホワイトバランスゲインとを、前記顔重視ホワイトバランスゲイン重み係数に応じた比率で統合した統合ホワイトバランスゲインを算出する統合ホワイトバランスゲイン算出手段と
を具備していることを特徴とするホワイトバランスゲイン算出装置。
【請求項４】
前記画像から得られる顔情報に基づいて顔重視の画像であるか判定するとともに顔重視の画像であれば顔を主体とする画像であるか顔と背景とのバランスを重視する画像であるか判定するシーン判定手段と、
前記顔重視でかつ顔が主体の画像であると判定された場合に前記顔重視ホワイトバランスゲインを設定し、前記顔重視でかつ顔と背景とのバランス重視の画像であると判定された場合でかつ前記ストロボを使用する場合に前記統合ホワイトバランスゲインを設定し、前記顔重視の画像でないと判定された場合でかつ前記ストロボを使用する場合に前記ストロボホワイトバランスゲインを設定するホワイトバランスゲイン設定手段とを具備している
ことを特徴とする請求項３記載のホワイトバランスゲイン算出装置。
【請求項５】
前記顔重視ホワイトバランスゲイン重み係数算出手段は、前記画像の顔に照射される光源と背景に照射される光源との比較に応じて光源補正係数を算出する光源補正係数算出手段、前記画像の顔の輝度と背景の輝度との比較に応じて輝度補正係数を算出する輝度補正係数算出手段、前記画像に占める顔の割合に応じて顔補正係数を算出する顔補正係数算出手段、およびレリーズスイッチの半押しから全押しまでの時間に応じて時間補正係数を算出する時間補正係数算出手段のうちの少なくともいずれか１つを有し、この補正係数を用いて顔重視ホワイトバランスゲイン重み係数を算出する
ことを特徴とする請求項１ないし４いずれか一記載のホワイトバランスゲイン算出装置。
【請求項６】
前記顔重視ホワイトバランスゲイン算出手段は、前記画像の顔領域を複数の領域に分割し、これら各領域の色および明るさから肌色領域と検出される領域のみを対象として顔重視ホワイトバランスゲインを算出する
ことを特徴とする請求項１ないし５いずれか一記載のホワイトバランスゲイン算出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホワイトバランスゲインを算出するホワイトバランスゲイン算出装置に関する。
【背景技術】
【０００２】
従来、例えばデジタルスチルカメラやデジタルビデオカメラなどの固体撮像素子を用いた撮影装置では、白いものが白く写るように撮像される画像の色調を自動的に調整するオートホワイトバランス調整機能を備えている。
【０００３】
また、撮像される画像から顔領域を検出する顔検出機能を有し、顔が適正露出になるように露出制御したり、顔に合焦するように焦点制御するようにした撮影装置がある。
【０００４】
そして、顔検出機能を備えた撮影装置において、撮像される画像から顔を検出した場合に、顔重視の露出や焦点を制御するのに加えて、顔の肌色にあった顔重視ホワイトバランスゲインを算出して制御するようにしている（例えば、特許文献１、２参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２３６１０１号公報（第１０頁、図３）
【特許文献２】特開２００９−２１２８５３号公報（第９−１１頁、図６）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、撮像される画像から顔検出がなされた場合に、単に顔重視ホワイトバランスゲインを算出して制御してしまうと、顔が主体の画像の場合には適切となるが、例えば顔と背景とのバランスを重視した構図の画像であったり、顔よりも背景が重視の構図の画像であるなど、顔が主体でない画像の場合には背景の色調が不自然となる問題がある。
【０００７】
本発明は、このような点に鑑みなされたもので、顔と背景との比較関係がどのような画像においても、適切なホワイトバランスゲインを算出できるホワイトバランスゲイン算出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１記載のホワイトバランスゲイン算出装置は、撮像される画像から通常ホワイトバランスゲインを算出する通常ホワイトバランスゲイン算出手段と、前記画像から得られる顔情報に基づいて顔重視ホワイトバランスゲインを算出する顔重視ホワイトバランスゲイン算出手段と、前記画像の顔と背景との比較に応じて顔重視ホワイトバランスゲイン重み係数を算出する顔重視ホワイトバランスゲイン重み係数算出手段と、前記顔重視ホワイトバランスゲインと前記通常ホワイトバランスゲインとを、前記顔重視ホワイトバランスゲイン重み係数に応じた比率で統合した統合ホワイトバランスゲインを算出する統合ホワイトバランスゲイン算出手段とを具備しているものである。
【０００９】
請求項２記載のホワイトバランスゲイン算出装置は、請求項１記載のホワイトバランスゲイン算出装置において、前記画像から得られる顔情報に基づいて顔重視の画像であるか判定するとともに顔重視の画像であれば顔を主体とする画像であるか顔と背景とのバランスを重視する画像であるか判定するシーン判定手段と、前記顔重視でかつ顔が主体の画像であると判定された場合に前記顔重視ホワイトバランスゲインを設定し、前記顔重視でかつ顔と背景とのバランス重視の画像であると判定された場合に前記統合ホワイトバランスゲインを設定し、前記顔重視の画像でないと判定された場合に前記通常ホワイトバランスゲインを設定するホワイトバランスゲイン設定手段とを具備しているものである。
【００１０】
請求項３記載のホワイトバランスゲイン算出装置は、ストロボを使用して撮像される画像からストロボホワイトバランスゲインを算出するストロボホワイトバランスゲイン算出手段と、前記画像から得られる顔情報に基づいて顔重視ホワイトバランスゲインを算出する顔重視ホワイトバランスゲイン算出手段と、前記画像の顔と背景との比較に応じて顔重視ホワイトバランスゲイン重み係数を算出する顔重視ホワイトバランスゲイン重み係数算出手段と、前記顔重視ホワイトバランスゲインと前記ストロボホワイトバランスゲインとを、前記顔重視ホワイトバランスゲイン重み係数に応じた比率で統合した統合ホワイトバランスゲインを算出する統合ホワイトバランスゲイン算出手段とを具備しているものである。
【００１１】
請求項４記載のホワイトバランスゲイン算出装置は、請求項３記載のホワイトバランスゲイン算出装置において、前記画像から得られる顔情報に基づいて顔重視の画像であるか判定するとともに顔重視の画像であれば顔を主体とする画像であるか顔と背景とのバランスを重視する画像であるか判定するシーン判定手段と、前記顔重視でかつ顔が主体の画像であると判定された場合に前記顔重視ホワイトバランスゲインを設定し、前記顔重視でかつ顔と背景とのバランス重視の画像であると判定された場合でかつ前記ストロボを使用する場合に前記統合ホワイトバランスゲインを設定し、前記顔重視の画像でないと判定された場合でかつ前記ストロボを使用する場合に前記ストロボホワイトバランスゲインを設定するホワイトバランスゲイン設定手段とを具備しているものである。
【００１２】
請求項５記載のホワイトバランスゲイン算出装置は、請求項１ないし４いずれか一記載のホワイトバランスゲイン算出装置において、前記顔重視ホワイトバランスゲイン重み係数算出手段は、前記画像の顔に照射される光源と背景に照射される光源との比較に応じて光源補正係数を算出する光源補正係数算出手段、前記画像の顔の輝度と背景の輝度との比較に応じて輝度補正係数を算出する輝度補正係数算出手段、前記画像に占める顔の割合に応じて顔補正係数を算出する顔補正係数算出手段、およびレリーズスイッチの半押しから全押しまでの時間に応じて時間補正係数を算出する時間補正係数算出手段のうちの少なくともいずれか１つを有しし、この補正係数を用いて顔重視ホワイトバランスゲイン重み係数を算出するものである。
【００１３】
請求項６記載のホワイトバランスゲイン算出装置は、請求項１ないし５いずれか一記載のホワイトバランスゲイン算出装置において、前記顔重視ホワイトバランスゲイン算出手段は、前記画像の顔領域を複数の領域に分割し、これら各領域の色および明るさから肌色領域と検出される領域のみを対象として顔重視ホワイトバランスゲインを算出するものである。
【発明の効果】
【００１４】
請求項１記載のホワイトバランスゲイン算出装置によれば、画像の顔と背景との比較に応じて顔重視ホワイトバランスゲイン重み係数を算出し、顔重視ホワイトバランスゲインと通常ホワイトバランスゲインとを、顔重視ホワイトバランスゲイン重み係数に応じた比率で統合した統合ホワイトバランスゲインを算出するため、顔と背景との比較関係がどのような画像においても、適切なホワイトバランスゲインを算出できる。
【００１５】
請求項２記載のホワイトバランスゲイン算出装置によれば、請求項１記載のホワイトバランスゲイン算出装置の効果に加えて、顔重視でかつ顔が主体の画像である場合には顔重視ホワイトバランスゲインを設定し、顔重視でかつ顔と背景とのバランス重視の画像である場合には統合ホワイトバランスゲインを設定し、顔重視の画像でない場合には通常ホワイトバランスゲインを設定するため、それぞれの画面に適切なホワイトバランスゲインを設定できる。
【００１６】
請求項３記載のホワイトバランスゲイン算出装置によれば、画像の顔と背景との比較に応じて顔重視ホワイトバランスゲイン重み係数を算出し、顔重視ホワイトバランスゲインとストロボホワイトバランスゲインとを、顔重視ホワイトバランスゲイン重み係数に応じた比率で統合した統合ホワイトバランスゲインを算出するため、顔と背景との比較関係がどのような画像においても、適切なホワイトバランスゲインを算出できる。
【００１７】
請求項４記載のホワイトバランスゲイン算出装置によれば、請求項３記載のホワイトバランスゲイン算出装置の効果に加えて、顔重視でかつ顔が主体の画像である場合には顔重視ホワイトバランスゲインを設定し、顔重視でかつ顔と背景とのバランス重視の画像である場合でかつストロボを使用する場合には統合ホワイトバランスゲインを設定し、顔重視の画像でない場合でかつストロボを使用する場合にはストロボホワイトバランスゲインを設定するため、それぞれの画面に適切なホワイトバランスゲインを設定できる。
【００１８】
請求項５記載のホワイトバランスゲイン算出装置によれば、請求項１ないし４いずれか一記載のホワイトバランスゲイン算出装置の効果に加えて、画像の顔に照射される光源と背景に照射される光源との比較に応じた光源補正係数、画像の顔の輝度と背景の輝度との比較に応じた輝度補正係数、画像に占める顔の割合に応じた顔補正係数、およびレリーズスイッチの半押しから全押しまでの時間に応じた時間補正係数のうちの少なくともいずれか１つを用いて顔重視ホワイトバランスゲイン重み係数を算出するため、適切な比率で統合した統合ホワイトバランスゲインを算出できる。
【００１９】
請求項６記載のホワイトバランスゲイン算出装置によれば、請求項１ないし５いずれか一記載のホワイトバランスゲイン算出装置の効果に加えて、画像の顔領域を複数の領域に分割し、これら各領域の色および明るさから肌色領域と検出される領域のみを対象として顔重視ホワイトバランスゲインを算出するため、ホワイトバランスゲインの精度を向上できる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図２】同上ホワイトバランスゲイン算出装置を備えた撮影装置のブロック図である。
【図３】同上ホワイトバランスゲイン算出装置でホワイトバランスゲインを設定する制御を示すフローチャートである。
【図４】同上ホワイトバランスゲイン算出装置でシーン判定に応じてホワイトバランスゲインを設定する制御の詳細を示すフローチャートである。
【図５】同上ホワイトバランスゲイン算出装置で利用するｘｙ色度図上における光源色の範囲を示すグラフである。
【図６】同上ホワイトバランスゲイン算出装置で算出する光源と光源補正係数との関係を示す表である。
【図７】同上ホワイトバランスゲイン算出装置で算出する輝度差と輝度補正係数との関係を示すグラフである。
【図８】同上ホワイトバランスゲイン算出装置で算出する顔の大きさと顔補正係数との関係を示すグラフである。
【図９】同上ホワイトバランスゲイン算出装置で算出するレリーズスイッチの半押しから全押しまでの経過時間と時間補正係数との関係を示すグラフである。
【図１０】本発明の第２の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図１１】本発明の第３の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図１２】本発明の第４の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図１３】本発明の第５の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図１４】本発明の第６の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図１５】本発明の第７の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図１６】本発明の第８の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図１７】本発明の第９の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図１８】本発明の第１０の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図１９】本発明の第１１の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図２０】本発明の第１２の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図２１】本発明の第１３の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図２２】本発明の第１４の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【図２３】本発明の第１５の実施の形態を示すホワイトバランスゲイン算出装置のブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態を、図面を参照して説明する。
【００２２】
まず、図１ないし図９に第１の実施の形態を示す。
【００２３】
図２に示すように、撮影装置としてカメラ11は、デジタルスチルカメラであり、撮影した画像データを、デジタルデータとしてメモリカードなどの記録媒体12に記録するものである。
【００２４】
カメラ11は、レンズ15、ストロボ16、ＣＣＤなどの撮像装置17、二重相関サンプリング回路（ＣＤＳ）18、アナログデジタル変換器（Ａ／Ｄ）19、第１の画像メモリ20、画像データ処理部21、第２の画像メモリ22、圧縮伸長回路23、液晶パネル（ＬＣＤ）などの表示装置24、レリーズスイッチやその他の各スイッチを含む操作部25、タイミングジェネレータ（ＴＧ）26、メモリコントローラ27、ハイパスフィルタ（ＨＰＦ）28、ＲＧＢデータブロック検出部29、顔情報検出部30、ホワイトバランスゲイン算出装置の機能を有するＣＰＵで構成される制御部31、および図示しない電源回路などを備えている。
【００２５】
画像データ処理部21は、ＲＧＢ分離部（ＣＦＡ補間）34、ホワイトバランス（ＷＢ）処理部35、エッジ強調、色補正およびγ補正を行う補正部36、および変換部37などを備えている。そして、第１の画像メモリ20に記録された画像データを、ＲＧＢ分離部34がＲ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの多数の輝度データに分離し、この分離された画像データに対して、ホワイトバランス処理部35が制御部31から出力されるホワイトバランスゲイン、すなわちＲゲイン、ＧゲインおよびＢゲインを、対応する色成分データに乗算することによりホワイトバランス処理を行う。ホワイトバランス処理部35によりホワイトバランス処理をしたＲＧＢの各画像データを、補正部36により、撮像装置17の特性などに応じてエッジ強調、色補正およびγ補正をする。さらに、補正部36により補正されたＲＧＢの画像データを、変換部37がＹＨ（輝度）、ＣＲ（赤色差）、ＣＢ（青色差）のデータに変換し、第２の画像メモリ22および表示装置24に出力する。
【００２６】
ハイパスフィルタ28は、第１の画像メモリ20に記録された画像データから、自動焦点（ＡＦ）情報を制御部31に出力する。
【００２７】
ＲＧＢデータブロック検出部29は、第１の画像メモリ20に記録された画像データを複数のブロックに分割し、ブロック毎にＲＧＢの輝度データおよび色データの平均値などを算出し、これらを自動露出（ＡＥ）情報およびオートホワイトバランス（ＡＷＢ）情報として制御部31に出力する。
【００２８】
顔情報検出部30は、画像に対する顔検出処理を行い、顔情報を制御部31に出力する。この顔検出処理には、目、鼻、口などの形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法や、肌の色や目の形といった画像特徴量を検出する統計的解析を用いる手法など、公知の顔検出技術を利用できる。
【００２９】
制御部31には、作業用のＲＡＭや、予め設定された値あるいはプログラムなどを記録したＲＯＭなどのメモリが接続されている。
【００３０】
制御部31は、ハイパスフィルタ28からの自動焦点情報に基づいてレンズ15を制御する自動焦点（ＡＦ）判定部40、ＲＧＢデータブロック検出部29からの自動露出（ＡＥ）情報に基づいてストロボ16およびタイミングジェネレータ26をそれぞれ制御する自動露出（ＡＥ）判定部41、およびＲＧＢデータブロック検出部29からのオートホワイトバランス情報と自動焦点判定部40からの距離情報と自動露出判定部41からの明るさ情報とを入力してオートホワイトバランスゲインを判定してホワイトバランス処理部35を制御するオートホワイトバランス（ＡＷＢ）判定部42の機能を有している。
【００３１】
制御部31は、メモリコントローラ27を介して第１の画像メモリ20、および第２の画像メモリ22を制御し、また、圧縮伸長回路23を制御する機能を有している。
【００３２】
そして、カメラ11は、レンズ15を通じて取り込まれた被写界光が撮像装置17で電気信号に変換される。この電気信号の変換のタイミングは、制御部31によりタイミングジェネレータ26を通じて制御される。撮像装置17から出力された電気信号は、二重相関サンプリング回路18で信号処理された後、アナログデジタル変換器19でデジタルデータに変換される。このデジタルデータは、画像データとして第１の画像メモリ20に一時記録される。第１の画像メモリ20に一時記録された画像データは、画像データ処理部21で所定の画像処理が施される。この画像処理が施された画像データが、表示装置24で表示されるとともに、第２の画像メモリ22に記録される。
【００３３】
ここで、制御部31は、第１の画像メモリ20に記録された画像データを利用し、自動露出制御および自動焦点制御を行う。すなわち、制御部31は、第１の画像メモリ20に記録された画像データから判定される撮影状況（シーン）および被写体の位置（距離）などに基づいて算出された適正な露光量、レンズ駆動量、ストロボのオンオフ、ストロボ光照射のタイミングおよび照射量などにより、被写体に応じた適切な自動露出制御および自動焦点制御を行う。そして、制御部31は、得られた露光量などに基づいてタイミングジェネレータ26のタイミング制御を制御し、得られたレンズ駆動量に応じてレンズ15の駆動を制御し、得られたストロボ16のオンオフ、ストロボ光照射のタイミングや照射量に基づいてストロボ16を制御する。
【００３４】
そして、使用者が操作部25のシャッタボタンであるレリーズスイッチを半押し操作することにより、撮影準備の状態となり、露出および焦点を確定し、さらに、使用者がレリーズスイッチを全押し操作することにより、本撮影の状態となり、必要に応じてストロボ16が制御部31により設定されたタイミングおよび照射量でストロボ光を被写体に向けて照射して被写界の光量不足を補い、撮像装置17は制御部31に制御された所定の露光時間だけ露光を行い、蓄積した電荷による電気信号を出力し、第１の画像メモリ20を介し、画像データ処理部21で処理された画像データを第２の画像メモリ22を介して記録媒体12に記録する。
【００３５】
次に、図１にホワイトバランスゲイン算出装置のブロック図を示す。
【００３６】
このホワイトバランスゲイン算出装置45は、制御部31のオートホワイトバランス判定部42の詳細機能を示すもので、次のような機能を有している。
【００３７】
撮像装置17で撮像される画像データから通常ホワイトバランスゲインを算出する通常ホワイトバランスゲイン算出手段46の機能。
【００３８】
ストロボ16を使用して撮像装置17で撮像される画像データからストロボホワイトバランスゲインを算出するストロボホワイトバランスゲイン算出手段47の機能。
【００３９】
撮像装置17で撮像される画像データから得られる顔情報（顔情報検出部30からの顔情報）に基づいて顔重視の画像であるか判定するとともに顔重視の画像であれば顔を主体とする画像であるか顔と背景とのバランスを重視する画像であるかといったシーン（撮影状況）を判定するシーン判定手段48の機能。
【００４０】
撮像装置17で撮像される画像データから得られる顔情報に基づいて顔重視ホワイトバランスゲインを算出する顔重視ホワイトバランスゲイン算出手段49の機能。この顔重視ホワイトバランスゲイン算出手段49では、撮像装置17で撮像される画像データの顔領域を複数の領域に分割し、これら各領域の色および明るさから肌色領域と検出される領域のみを対象として顔重視ホワイトバランスゲインを算出することにより、顔重視ホワイトバランスゲインの精度を向上できる。
【００４１】
撮像装置17で撮像される画像データから顔と背景との比較に応じて顔重視ホワイトバランスの重み係数を算出する顔重視ホワイトバランスゲイン重み係数算出手段50の機能。この顔重視ホワイトバランスゲイン重み係数算出手段50には、撮像装置17で撮像される画像データから顔に照射される光源と背景に照射される光源との比較に応じて光源補正係数を算出する光源補正係数算出手段51の機能、撮像装置17で撮像される画像データから顔の輝度と背景の輝度とを比較して輝度補正係数を算出する輝度補正係数算出手段52の機能、撮像装置17で撮像される画像データに占める顔の割合に応じて顔補正係数を算出する顔補正係数算出手段53の機能、レリーズスイッチの半押しから全押しまでの時間に応じて時間補正係数を算出する時間補正係数算出手段54の機能などが含まれている。したがって、顔重視ホワイトバランスの重み係数は、これら光源補正係数、輝度補正係数、顔補正係数および時間補正係数を用いて算出される。
【００４２】
シーンに応じたホワイトバランスゲインを算出するホワイトバランスゲイン補正手段55の機能。このホワイトバランスゲイン補正手段55には、統合ホワイトバランスゲイン算出手段の機能、およびホワイトバランスゲイン設定手段の機能が含まれている。
【００４３】
統合ホワイトバランスゲイン算出手段では、顔重視ホワイトバランスゲインと通常ホワイトバランスゲインまたはストロボホワイトバランスゲインとを、撮像装置17で撮像される画像データから顔と背景との比較に応じた比率、つまり顔重視ホワイトバランスゲイン重み係数算出手段50で算出される顔重視ホワイトバランスゲイン重み係数である各補正係数に応じた比率で統合した統合ホワイトバランスゲインを算出する。
【００４４】
ホワイトバランスゲイン設定手段では、顔重視でかつ顔が主体の画像であると判定された場合に顔重視ホワイトバランスゲインを設定し、顔重視でかつ顔と背景とのバランス重視の画像であると判定された場合（さらにストロボ16を使用する場合）に統合ホワイトバランスゲインを設定し、顔重視の画像でないと判定された場合に通常ホワイトバランスゲインまたはストロボ使用時にストロボホワイトバランスゲインを設定する。
【００４５】
次に、ホワイトバランスゲイン算出装置45によるホワイトバランスゲイン算出処理を説明する。
【００４６】
まず、図３のフローチャートを参照して、ホワイトバランスゲイン算出処理の全体について説明する。
【００４７】
カメラ11による撮影時に、撮像装置17によって撮像されて第１の画像メモリ20に記憶される画像データから、通常ホワイトバランスゲインおよびストロボホワイトバランスゲインを算出する（ステップ１）。なお、図３ではホワイトバランスをＷＢと示す。
【００４８】
続いて、画像データからシーンを判定し（ステップ２）、顔重視ホワイトバランスを実施するか判断する（ステップ３）。シーンの判定基準は、例えば、シーンＬＶ、顔のサイズ、顔の位置、顔の数、顔の輝度と背景の輝度との差、顔の色、顔色の分散などが含まれる。
【００４９】
シーンＬＶについては、明るさが予め決められた一定値よりも明るい場合には顔重視ホワイトバランスを実施するとし、明るさが予め決められた一定値よりも暗い場合には顔認識の精度が低下するとともに暗部のノイズの影響により正確な顔の色情報を取得できないために顔重視ホワイトバランスを実施しないとする。
【００５０】
顔のサイズについては、顔が予め決められた一定サイズよりも大きい場合には顔重視ホワイトバランスを実施するとし、顔が予め決められた一定サイズよりも小さい場合には正確な顔の色情報を取得できないために顔重視ホワイトバランスを実施しないとする。
【００５１】
顔の位置については、顔が画像の中央域にある場合には顔重視ホワイトバランスを実施するとし、顔が画像の中央域から大きくずれている場合には顔重視ホワイトバランスを実施しないとする。
【００５２】
顔の数については、顔の数が予め決められた一定数よりも少ない場合には顔重視ホワイトバランスを実施するとし、顔の数が予め決められた一定数よりも多い場合には顔の光源判断精度が低下するために顔重視ホワイトバランスを実施しないとする。
【００５３】
顔の輝度と背景の輝度との差については、顔の輝度が背景の輝度に近い場合には顔重視ホワイトバランスを実施するとし、顔の輝度が背景の輝度よりも極端に低い場合には不自然な画像になる可能性が高いために顔重視ホワイトバランスを実施しないとする。
【００５４】
顔の色については、顔の色から光源が推定できる場合には顔重視ホワイトバランスを実施するとし、顔の色から光源が推定できない場合には顔の光源判定精度が低下するために顔重視ホワイトバランスを実施しないとする。
【００５５】
顔色の分散については、顔色の分散が少ない場合には顔重視ホワイトバランスを実施するとし、顔色の分散が大きい場合には顔の誤検出の可能性があるために顔重視ホワイトバランスを実施しないとする。
【００５６】
そして、顔重視ホワイトバランスを実施すると判定した場合には、ベースとなる顔重視ホワイトバランスゲインを算出し（ステップ４）、この顔重視ホワイトバランスを用いたホワイトバランス設定処理を実施する（ステップ５）。このホワイトバランス設定処理では、主に、顔と背景とのバランスに応じたシーンを判定し（ステップ５−１）、顔が主体のシーンであると判定された場合に顔重視ホワイトバランスゲインを設定し（ステップ５−２）、顔と背景とのバランス重視のシーンであると判定された場合に顔重視ホワイトバランスゲインと通常ホワイトバランスゲインとを統合した統合ホワイトバランスゲインを設定し（ステップ５−３）、顔と背景とのバランス重視のシーンであると判定された場合でかつストロボ発光シーンである場合に顔重視ホワイトバランスゲインとストロボホワイトバランスゲインとを統合した統合ホワイトバランスゲインを設定する（ステップ５−４）。
【００５７】
また、顔重視ホワイトバランスを実施しないと判定した場合には、ストロボ発光シーンか判定し（ステップ６）、ストロボ発光シーンでなければ通常ホワイトバランスゲインを設定し（ステップ７）、ストロボ発光シーンであればストロボホワイトバランスゲインを設定する（ステップ８）。
【００５８】
次に、図４のフローチャートを参照して、図３のステップ５に示したホワイトバランス設定処理の詳細について説明する。なお、図４でもホワイトバランスをＷＢと示す。
【００５９】
顔と背景とのバランスに応じたシーンを判定する。すなわち、画像の顔が占める割合が１つまたは複数の顔で例えば１／２以上であれば顔が主体のシーンと判定し、または、顔と背景との輝度差が一定以上で（顔に対して背景が暗い場合を想定する）かつ画像の顔が占める割合が１つまたは複数の顔で一定以上（例えば１／４〜１／５以上）であれば顔が主体のシーンと判定し、それ以外は顔と背景とのバランス重視のシーンであると判定する（ステップ11）。
【００６０】
顔が主体のシーンであると判定した場合には、顔重視ホワイトバランスゲインを設定する（ステップ12）。なお、後述する統合ホワイトバランスゲイン計算式によって顔重視ホワイトバランスゲインを設定することもでき、この場合には、顔重視ホワイトバランスゲイン重み係数を１とし、統合ホワイトバランスゲイン計算式に顔重視ホワイトバランスゲイン重み係数１を代入することにより、顔重視ホワイトバランスゲインの値を算出し、設定できる。
【００６１】
また、顔と背景とのバランス重視のシーンであると判定した場合には、各補正係数を算出して顔重視ホワイトバランスゲイン重み係数を算出する。
【００６２】
まずは、顔に照射されている光源と背景に照射されている光源とを比較して光源補正係数を算出する（ステップ13）。図５はｘｙ色度図上における光源色の範囲を示すものであって、６０００Ｋ〜７０００Ｋ程度の昼光、３５００Ｋ〜５０００Ｋ程度の蛍光灯、３０００Ｋ程度のタングステン光（白熱電球光）の光源色の各範囲を示している。蛍光灯には、５０００Ｋ程度の昼光色、４０００Ｋ程度の昼白色、３５００Ｋ程度の電球色の各範囲が含まれている。そして、これらの色温度から、顔に照射される光源および背景に照射される光源を判定できる。
【００６３】
顔と背景との光源が同一の場合は、光源による影響は少ないため、光源補正係数を１とする。
【００６４】
顔が昼光、背景が蛍光灯の場合は、背景に黄色や緑色が残りやすく、不自然となりやすいため、背景（通常ホワイトバランスゲイン）の比率を高くするように、すなわち顔重視ホワイトバランスゲインの比率を低くするように、光源補正係数を０．９とする。
【００６５】
顔が昼光、背景がタングステン光の場合は、背景が不自然とはならないため、顔重視ホワイトバランスゲインの比率を高めるように、光源補正係数を１．２とする。
【００６６】
顔が蛍光灯、背景が昼光の場合は、光源による影響は少ないため、光源補正係数を１とする。
【００６７】
顔が蛍光灯、背景がタングステン光の場合は、背景が不自然とはならないため、顔重視ホワイトバランスゲインの比率を高めるように、光源補正係数を１．２とする。
【００６８】
顔がタングステン光、背景が昼光の場合は、光源による影響は少ないため、光源補正係数を１とする。
【００６９】
顔がタングステン光、背景が蛍光灯の場合は、光源による影響は少ないため、光源補正係数を１とする。
【００７０】
これらに当てはまらない場合は、光源補正係数を１とする。
【００７１】
図６には、顔に照射される光源と背景に照射される光源とに応じた光源補正係数の関係をまとめた表を示す。この表から分かるように、顔に照射される光源と背景に照射される光源とが異なる場合に、その影響を考慮して１以外の補正係数の値を設定している。
【００７２】
続いて、再度、判定条件を緩和して、顔と背景とのバランスに応じたシーンを判定する。すなわち、顔と背景との輝度差が一定以上で（顔に対して背景が暗い場合を想定する）かつ画像の顔が占める割合が１つまたは複数の顔で一定以上（例えばステップ11の例の１／４〜１／５以上よりも緩和した値）であるか判定する（ステップ14）。
【００７３】
一定以上であると判定した場合には、図７に示すように、輝度差に応じて０．８〜１．２の範囲で輝度補正係数を算出する（ステップ15）。この場合、輝度差が大きいほど、顔重視ホワイトバランスゲインの比率を高めるように、輝度補正係数を大きくする。
【００７４】
一定以下であると判定した場合には、逆光でストロボ16が発光するシーンか判定し（ステップ16）、ストロボ発光シーンの場合には、顔重視ホワイトバランスゲインの比率を高めるように、輝度補正係数を１．１とし（ステップ17）、また、ストロボ発光シーンでない場合には、輝度補正係数を標準の１とする（ステップ18）。
【００７５】
続いて、図８に示すように、画像に占める顔の割合に応じて０．７〜１．３の範囲で顔補正係数を算出する（ステップ19）。この場合、顔の割合が大きいほど、顔重視ホワイトバランスゲインの比率を高めるように、顔補正係数を大きくする。
【００７６】
続いて、図９に示すように、レリーズスイッチの半押しから全押しまでの時間に応じて０〜１．０までの範囲で時間補正係数を算出する（ステップ20）。この場合、時間が長いほど、シーンが変化してしまう可能性が高いために、顔重視ホワイトバランスゲインの比率を低くするように、時間補正係数を小さくし、最終的には時間補正係数を０にする。
【００７７】
そして、このように算出された各補正係数を用いて、次の顔重視ホワイトバランスゲイン重み係数計算式で、顔重視ホワイトバランスゲイン重み係数を算出する（ステップ21）。
【００７８】
顔重視ホワイトバランスゲイン重み係数＝基本係数×光源補正係数×輝度補正係数×顔補正係数×時間補正係数
【００７９】
基本係数は０．５である。
【００８０】
すなわち、顔重視ホワイトバランスゲイン重み係数は、顔重視となるほど値が大きくなり、逆に、背景重視となるほど値が小さくなり、０になる場合もある。ただし、顔重視ホワイトバランスゲイン重み係数は１を上限とする。
【００８１】
続いて、ストロボ16を発光するか判断する（ステップ22）。
【００８２】
ストロボ16を発光しないシーンの場合には、次の通常ホワイトバランスゲイン重み係数計算式で、通常ホワイトバランスゲイン重み係数を算出する（ステップ23）。
【００８３】
通常ホワイトバランスゲイン重み係数＝１−顔重視ホワイトバランスゲイン重み係数
【００８４】
すなわち、通常ホワイトバランスゲイン重み係数は、例えば、顔重視ホワイトバランスゲイン重み係数が０．８であれば０．２、０．４であれば０．６となる。
【００８５】
そして、次の統合ホワイトバランスゲイン計算式で、統合ホワイトバランスゲインを算出し、設定する（ステップ24）。
【００８６】
統合ホワイトバランスゲイン＝通常ホワイトバランスゲイン×通常ホワイトバランスゲイン重み係数＋顔重視ホワイトバランスゲイン×顔重視ホワイトバランスゲイン重み係数
【００８７】
すなわち、顔重視ホワイトバランスゲイン重み係数が０．８、通常ホワイトバランスゲイン重み係数が０．２であった場合には、統合ホワイトバランスゲイン＝通常ホワイトバランスゲイン×０．２＋顔重視ホワイトバランスゲイン×０．８となり、顔重視ホワイトバランスゲイン重み係数の比率が多い統合ホワイトバランスゲインとなる。
【００８８】
顔重視ホワイトバランスゲイン重み係数が０．４、通常ホワイトバランスゲイン重み係数が０．６であった場合には、統合ホワイトバランスゲイン＝通常ホワイトバランスゲイン×０．６＋顔重視ホワイトバランスゲイン×０．４となり、顔重視ホワイトバランスゲイン重み係数の比率が少ない統合ホワイトバランスゲインとなる。
【００８９】
また、ストロボ16を発光するシーンの場合には、次のストロボホワイトバランスゲイン重み係数計算式で、ストロボホワイトバランスゲイン重み係数を算出する（ステップ25）。
【００９０】
ストロボホワイトバランスゲイン重み係数＝１−顔重視ホワイトバランスゲイン重み係数
【００９１】
すなわち、ストロボホワイトバランスゲイン重み係数は、例えば、顔重視ホワイトバランスゲイン重み係数が０．８であれば０．２、０．４であれば０．６となる。
【００９２】
そして、次の統合ホワイトバランスゲイン計算式で、統合ホワイトバランスゲインを算出し、設定する（ステップ26）。
【００９３】
統合ホワイトバランスゲイン＝ストロボホワイトバランスゲイン×ストロボホワイトバランスゲイン重み係数＋顔重視ホワイトバランスゲイン×顔重視ホワイトバランスゲイン重み係数
【００９４】
すなわち、顔重視ホワイトバランスゲイン重み係数が０．８、ストロボホワイトバランスゲイン重み係数が０．２であった場合には、統合ホワイトバランスゲイン＝ストロボホワイトバランスゲイン×０．２＋顔重視ホワイトバランスゲイン×０．８となり、顔重視ホワイトバランスゲイン重み係数の比率が多い統合ホワイトバランスゲインとなる。
【００９５】
顔重視ホワイトバランスゲイン重み係数が０．４、ストロボホワイトバランスゲイン重み係数が０．６であった場合には、統合ホワイトバランスゲイン＝ストロボホワイトバランスゲイン×０．６＋顔重視ホワイトバランスゲイン×０．４となり、顔重視ホワイトバランスゲイン重み係数の比率が少ない統合ホワイトバランスゲインとなる。
【００９６】
なお、統合ホワイトバランスゲイン計算式を用いるのは、ステップ11で顔と背景とのバランス重視のシーンであると判定されている場合であるが、顔が主体のシーンであると判定されている場合でも、顔重視ホワイトバランスゲイン重み係数を１に設定して計算すれば、顔重視ホワイトバランスゲインを算出し、設定することになる。
【００９７】
このように、ホワイトバランスゲイン算出装置45によれば、画像の顔と背景との比較に応じて顔重視ホワイトバランスゲイン重み係数を算出し、顔重視ホワイトバランスゲインと通常ホワイトバランスゲインまたはストロボホワイトバランスゲインとを、顔重視ホワイトバランスゲイン重み係数に応じた比率で統合した統合ホワイトバランスゲインを算出するため、顔と背景との比較関係がどのような画像においても、適切なホワイトバランスゲインを算出できる。
【００９８】
さらに、顔重視でかつ顔が主体の画像である場合には顔重視ホワイトバランスゲインを設定し、顔重視でかつ顔と背景とのバランス重視の画像である場合には統合ホワイトバランスゲインを設定し、顔重視の画像でない場合には通常ホワイトバランスゲインまたはストロボホワイトバランスゲインを設定するため、それぞれの画面に適切なホワイトバランスゲインを設定できる。
【００９９】
また、画像の顔に照射される光源と背景に照射される光源との比較に応じた光源補正係数、画像の顔の輝度と背景の輝度との比較に応じた輝度補正係数、画像に占める顔の割合に応じた顔補正係数、およびレリーズスイッチの半押しから全押しまでの時間に応じた時間補正係数を全て用いて、顔重視ホワイトバランスゲイン重み係数を算出するため、適切な比率で統合した統合ホワイトバランスゲインを算出できる。
【０１００】
また、画像の顔領域を複数の領域に分割し、これら各領域の色および明るさから肌色領域と検出される領域のみを対象として顔重視ホワイトバランスゲインを算出するため、ホワイトバランスゲインの精度を向上できる。
【０１０１】
なお、顔重視ホワイトバランスゲイン重み係数算出手段50は、図１０ないし図１３の第２ないし第５の実施の形態に示すように、光源補正係数算出手段51、輝度補正係数算出手段52、顔補正係数算出手段53、時間補正係数算出手段54のいずれか１つのみを備えていれば、顔重視ホワイトバランスゲイン重み係数を算出できる。
【０１０２】
また、顔重視ホワイトバランスゲイン重み係数算出手段50は、図１４ないし図１９の第６ないし第１１の実施の形態に示すように、光源補正係数算出手段51、輝度補正係数算出手段52、顔補正係数算出手段53、時間補正係数算出手段54のいずれか２つを備えていれば、顔重視ホワイトバランスゲイン重み係数を算出できるとともに、１つの場合よりも精度を高くできる。
【０１０３】
また、顔重視ホワイトバランスゲイン重み係数算出手段50は、図２０ないし図２３の第１２ないし第１５の実施の形態に示すように、光源補正係数算出手段51、輝度補正係数算出手段52、顔補正係数算出手段53、時間補正係数算出手段54のいずれか３つを備えていれば、顔重視ホワイトバランスゲイン重み係数を算出できるとともに、１つや２つの場合よりも精度を高くできる。
【０１０４】
また、顔重視ホワイトバランスゲイン重み係数算出手段50は、光源補正係数算出手段51、輝度補正係数算出手段52、顔補正係数算出手段53、時間補正係数算出手段54以外にも、補正係数を算出する補正係数算出手段を備えてもよく、
また、顔重視ホワイトバランスゲイン重み係数算出手段50は、光源補正係数、輝度補正係数、顔補正係数、時間補正係数に限らず、その他の補正係数を付加して算出するようにしてもよい。
【符号の説明】
【０１０５】
16    ストロボ
45    ホワイトバランスゲイン算出装置
46    通常ホワイトバランスゲイン算出手段
47    ストロボホワイトバランスゲイン算出手段
48    シーン判定手段
49    顔重視ホワイトバランスゲイン算出手段
50    顔重視ホワイトバランスゲイン重み係数算出手段
51    光源補正係数算出手段
52    輝度補正係数算出手段
53    顔補正係数算出手段
54    時間補正係数算出手段
55    統合ホワイトバランスゲイン算出手段およびホワイトバランスゲイン設定手段としてのホワイトバランスゲイン補正手段
【図１】
2011188186.tif 000003
【図２】
2011188186.tif 000004
【図３】
2011188186.tif 000005
【図４】
2011188186.tif 000006
【図５】
2011188186.tif 000007
【図６】
2011188186.tif 000008
【図７】
2011188186.tif 000009
【図８】
2011188186.tif 000010
【図９】
2011188186.tif 000011
【図１０】
2011188186.tif 000012
【図１１】
2011188186.tif 000013
【図１２】
2011188186.tif 000014
【図１３】
2011188186.tif 000015
【図１４】
2011188186.tif 000016
【図１５】
2011188186.tif 000017
【図１６】
2011188186.tif 000018
【図１７】
2011188186.tif 000019
【図１８】
2011188186.tif 000020
【図１９】
2011188186.tif 000021
【図２０】
2011188186.tif 000022
【図２１】
2011188186.tif 000023
【図２２】
2011188186.tif 000024
【図２３】
2011188186.tif 000025