(57)【特許請求の範囲】
【請求項１】
光学像を電気的な画像信号に変換する撮像手段と、
前記撮像手段により撮像された画像が分割された複数の領域ごとに、ホワイトバランス用の評価値を取得する評価値取得手段と、
予め設定される白検出範囲に入る前記評価値を検出する白検出手段と、
前記画像の色温度を判定する判定手段と、
判定された前記色温度に基づき設定される肌色検出範囲に入る、前記白検出手段により検出された評価値を検出する肌色検出手段と、
前記白検出手段により検出された評価値から前記肌色検出手段により検出された評価値を除いた評価値を検出する白のみ検出手段と、
前記白検出手段により検出された評価値の数に対する前記肌色検出手段により検出された評価値の数の割合に基づき、前記肌色検出手段により検出された評価値の重み付けを行う重み付け手段と、
重み付けされた評価値を前記白のみ検出手段により検出された評価値に加算した評価値を用いてホワイトバランス用の補正係数を算出する算出手段と、
前記補正係数を用いてホワイトバランスの制御を行う制御手段と
を備える撮像装置。
【請求項２】
モニタリング時に、判定された前記色温度が変わるとき、前記肌色検出範囲を滑らかに遷移させるよう設定する肌色範囲設定手段をさらに備える請求項１記載の撮像装置。
【請求項３】
前記判定手段は、
前記ホワイトバランス用の評価値と、予め設定される複数の色温度検出範囲とに基づき、前記色温度を判定する請求項１又は２記載の撮像装置。
【請求項４】
前記重み付け手段は、
前記割合が大きい場合、重みを大きくし、前記割合が小さい場合、重みを小さくする請求項１乃至３いずれか一項に記載の撮像装置。
【請求項５】
前記算出手段は、
前記白のみ検出手段による積算値、及び前記肌色検出手段により検出された評価値に高輝度加重処理を行って求められる積算値に基づいて前記補正係数を算出する請求項１乃至４いずれか一項に記載の撮像装置。
【請求項６】
撮像装置におけるホワイトバランス制御方法であって、
光学像を電気的な画像信号に変換する撮像ステップと、
前記撮像ステップにより撮像された画像が分割された複数の領域ごとに、ホワイトバランス用の評価値を取得する評価値取得ステップと、
予め設定される白検出範囲に入る前記評価値を検出する白検出ステップと、
前記画像の色温度を判定する判定ステップと、
判定された前記色温度に基づき設定される肌色検出範囲に入る、前記白検出ステップにより検出された評価値を検出する肌色検出ステップと、
前記白検出ステップにより検出された評価値から前記肌色検出ステップにより検出された評価値を除いた評価値を検出する白のみ検出ステップと、
前記白検出ステップにより検出された評価値の数に対する前記肌色検出ステップにより検出された評価値の数の割合に基づき、前記肌色検出ステップにより検出された評価値の重み付けを行う重み付けステップと、
重み付けされた評価値を前記白のみ検出ステップにより検出された評価値に加算した評価値を用いてホワイトバランス用の補正係数を算出する算出ステップと、
前記補正係数を用いてホワイトバランスの制御を行う制御ステップと
を有するホワイトバランス制御方法。
【請求項７】
モニタリング時に、判定された前記色温度が変わるとき、前記肌色検出範囲を滑らかに遷移させるよう設定する肌色範囲設定ステップをさらに有する請求項６記載のホワイトバランス制御方法。
【請求項８】
前記判定ステップは、
前記ホワイトバランス用の評価値と、予め設定される複数の色温度検出範囲とに基づき、前記色温度を判定する請求項６又は７記載のホワイトバランス制御方法。
【請求項９】
前記重み付けステップは、
前記割合が大きい場合、重みを大きくし、前記割合が小さい場合、重みを小さくする請求項６乃至８いずれか一項に記載のホワイトバランス制御方法。
【請求項１０】
前記算出ステップは、
前記白のみ検出ステップによる積算値、及び前記肌色検出ステップにより検出された評価値に高輝度加重処理を行って求められる積算値に基づいて前記補正係数を算出する請求項６乃至９いずれか一項に記載のホワイトバランス制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びホワイトバランス制御方法に関する。
【背景技術】
【０００２】
従来のデジタルカメラにおいて、白い被写体が白く映るようにするためのオートホワイトバランス（ＡＷＢ）制御が考えられ既に知られている。
【０００３】
しかし、従来のオートホワイトバランス制御は、以下のような欠点があった。高色温度下の肌色の色評価値は、黒体放射軌跡上に分布し、低色温度下の光源色の色評価値の分布と重なってしまう。そのため、高色温度下において、人物の顔などを撮影すると、肌色を低色温度下の光源色と誤判定してしまい、人の肌色を白く補正してしまう（肌色を引き込んでしまう）問題があった。
【０００４】
この問題に対し、特許文献１（特開２００１−１３６５４６号公報）には、カメラ内部に設置された色センサから、焦点が合った領域の出力Ｒ／ＧおよびＢ／Ｇから閾値判定によって、肌色と思われる画素の平均から相関色温度を算出し、ホワイトバランス調整ゲインを設定する構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来技術のように、焦点領域から肌色と思われる領域を抜き出し、閾値処理によって色温度を求める方法では、各色温度に適切に対応できない。また、被写体を少し変えるだけで連続撮影バラつきが発生するという問題点があった。
【０００６】
そこで、本発明は上記問題点に鑑みてなされたものであり、肌色が被写体に含まれる状況においても、肌色が白色に、より引き込まれにくいホワイトバランス制御を行うことができる撮像装置及びホワイトバランス制御を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一観点における撮像装置は、光学像を電気的な画像信号に変換する撮像手段と、前記撮像手段により撮像された画像が分割された複数の領域ごとに、ホワイトバランス用の評価値を取得する評価値取得手段と、予め設定される白検出範囲に入る前記評価値を検出する白検出手段と、前記画像の色温度を判定する判定手段と、判定された前記色温度に基づき設定される肌色検出範囲に入る、前記白検出手段により検出された評価値を検出する肌色検出手段と、前記白検出手段により検出された評価値から前記肌色検出手段により検出された評価値を除いた評価値を検出する白のみ評価値検出手段と、前記白検出手段により検出された評価値の数に対する前記肌色検出手段により検出された評価値の数の割合に基づき、前記肌色検出手段により検出された評価値の重み付けを行う重み付け手段と、重み付けされた評価値を前記白のみ評価値検出手段により検出された評価値に加算した評価値を用いてホワイトバランス用の補正係数を算出する算出手段と、前記補正係数を用いてホワイトバランスの制御を行う制御手段とを備える。
【０００８】
また、本発明の他の観点におけるホワイトバランス制御方法は、撮像装置におけるホワイトバランス制御方法であって、光学像を電気的な画像信号に変換する撮像ステップと、前記撮像ステップにより撮像された画像が分割された複数の領域ごとに、ホワイトバランス用の評価値を取得する評価値取得ステップと、予め設定される白検出範囲に入る前記評価値を検出する白検出ステップと、前記画像の色温度を判定する判定ステップと、判定された前記色温度に基づき設定される肌色検出範囲に入る、前記白検出ステップにより検出された評価値を検出する肌色検出ステップと、前記白検出ステップにより検出された評価値から前記肌色検出ステップにより検出された評価値を除いた評価値を検出する白のみ検出ステップと、前記白検出ステップにより検出された評価値の数に対する前記肌色検出ステップにより検出された評価値の数の割合に基づき、前記肌色検出ステップにより検出された評価値の重み付けを行う重み付けステップと、重み付けされた評価値を前記白のみ検出ステップにより検出された評価値に加算した評価値を用いてホワイトバランス用の補正係数を算出する算出ステップと、前記補正係数を用いてホワイトバランスの制御を行う制御ステップとを有する。
【発明の効果】
【０００９】
本発明によれば、肌色が被写体に含まれる状況においても、肌色が白色に、より引き込まれにくいホワイトバランス制御を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本実施例におけるデジタルカメラの外観の一例を示す概略図。
【図２】デジタルカメラの構成の一例を示すブロック図。
【図３】制御部の機能の一例を示すブロック図。
【図４】白検出枠の一例を示す図。
【図５】色温度判定領域の一例を示した図。
【図６】肌色検出枠の一例を示す図。
【図７】肌色評価値の重みの一例を示す図。
【図８】割合に対する引き込み度合いの一例を示す図。
【図９】検出枠と超低色温度肌色検出枠と低色温度肌色検出枠との関係を示す図。
【図１０】モニタリング時の肌色検出枠の遷移方法の一例を示す図。
【図１１】ホワイトバランス制御処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照し、本発明の実施例について説明する。本実施例は、撮像装置をデジタルカメラのシステムとして説明するが、これに限るものではなく、電子ズーム処理ができる撮像装置などでも適用可能である。
【００１２】
＜外観＞
図１は、本実施例におけるデジタルカメラ１の外観の一例を示す概略図である。図１（Ａ）は、デジタルカメラ１の上面図を示す。図１（Ａ）に示すように、本実施例におけるデジタルカメラ１の上面側には、レリーズボタン（シャッタボタン）１０１、電源ボタン１０２、撮影・再生切替ダイアル１０３が設けられている。
【００１３】
図１（Ｂ）は、デジタルカメラ１の正面図を示す。図１（Ｂ）に示すように、デジタルカメラ１の正面（前面）側には、撮影レンズ系を有する鏡胴ユニット１１１、ストロボ発光部１１２、光学ファインダ１１３が設けられている。
【００１４】
図１（Ｃ）は、デジタルカメラ１の背面図を示す。図１（Ｃ）に示すように、デジタルカメラの背面側には、液晶モニタ（ＬＣＤ）１２１、光学ファインダの接眼レンズ部１２２、広角側ズーム（Ｗ）スイッチ１２３、望遠側ズーム（Ｔ）スイッチ１２４、メニュー（ＭＥＮＵ）ボタン１２５、確定ボタン（ＥＮＴＥＲボタン）１２６等が設けられている。また、デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカードを収納するメモリカード収納部が設けられている。なお、図１に示すボタンの配置などは一例に過ぎない。
【００１５】
＜構成＞
図２は、デジタルカメラ１の構成の一例を示すブロック図である。図２に示すように、このデジタルカメラ１は、鏡胴ユニット１１１に設置した撮影レンズ系２０９を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ２０１、ＣＣＤ２０１から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（ＡＦＥ部）２０２を備える。また、このデジタルカメラ１は、ＡＦＥ部２０２から出力されるデジタル信号を処理する信号処理部２０３、データを一時的に格納するＳＤＲＡＭ２０４、制御プログラム等が記憶されたＲＯＭ２０５、モータドライバ２０６を備える。また、このデジタルカメラ１は、各ボタンの押下により操作指示を行う操作部２０７、画像などを表示するＬＣＤ（液晶モニタ）２０８を備える。
【００１６】
鏡胴ユニット１１１は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系２０９、絞りユニット、メカシャッタユニット２１０を備えており、撮影レンズ系２０９、絞りユニット、メカシャッタユニット２１０の各駆動ユニット（不図示）は、モータドライバ２０６によって駆動される。モータドライバ２０６は、信号処理部２０３の制御部（ＣＰＵ）２３１からの駆動信号により駆動制御される。
【００１７】
ＣＣＤ２０１は、ＣＣＤ２０１を構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
【００１８】
ＡＦＥ部２０２は、ＣＣＤ２０１を駆動するＴＧ（タイミング信号発生部）２２１、ＣＣＤ２０１から出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）２２２、ＣＤＳ２２２にてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）２２３、ＡＧＣ２２３でゲイン調整された画像信号をデジタル信号（ＲＡＷ−ＲＧＢデータ）に変換するＡ／Ｄ２２４を備えている。
【００１９】
信号処理部２０３は、ＡＦＥ部２０２のＴＧ２２１へ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行う。信号処理部２０３は、これらの同期信号に合わせて、ＡＦＥ部２０２のＡ／Ｄ２２４から出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（ＣＣＤＩ／Ｆ）２３２と、ＳＤＲＡＭ２０４を制御するメモリコントローラ２３３とを備える。
【００２０】
また、信号処理部２０３は、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部２３４と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部２３５と、画像データの表示出力を制御する表示出力制御部２３６とを備える。
【００２１】
また、信号処理部２０３は、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部２３７と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース（メディアＩ／Ｆ）２３８とを備える。
【００２２】
また、信号処理部２０３は、操作部２０７からの操作入力情報に基づき、ＲＯＭ２０５に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部（ＣＰＵ）２３１と、撮影画像の色温度を計測する色温度センサ２３９とを備えている。
【００２３】
操作部２０７は、デジタルカメラ１（図１参照）の外観表面に設けられているレリーズボタン１０１、電源ボタン１０２、撮影・再生切替ダイアル１０３、広角側ズームスイッチ１２３、望遠側ズームスイッチ１２４、メニューボタン１２５、確定ボタン１２６等であり、撮影者の操作によって所定の動作指示信号が制御部２３１に入力される。
【００２４】
ＳＤＲＡＭ２０４には、ＣＣＤＩ／Ｆ２３２に取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部２３４で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存される。またＳＤＲＡＭ２０４には、データ圧縮部２３７で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。
【００２５】
なお、ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。
【００２６】
（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、デジタルカメラ１のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ１は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
【００２７】
先ず、撮影者が電源ボタン１０２をＯＮし、撮影・再生切替ダイアル１０３を撮影モード（静止画撮影モード）に設定することで、デジタルカメラ１が記録モードで起動する。電源ボタン１０２がＯＮされて、撮影・再生切替ダイアル１０３が撮影モードに設定されたことを制御部２３１が検知する。次に、制御部２３１は、モータドライバ２０６に制御信号を出力して、鏡胴ユニット１１１を撮影可能位置に移動させ、かつ、ＣＣＤ２０１、ＡＦＥ部２０２、信号処理部２０３、ＳＤＲＡＭ２０４、ＲＯＭ２０５、ＬＣＤ２０８等を起動させる。
【００２８】
そして、鏡胴ユニット１１１の撮影レンズ系２０９を被写体に向けることにより、撮影レンズ系２０９を通して入射される被写体画像がＣＣＤ２０１の各画素の受光面上に結像する。そして、ＣＣＤ２０１から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ２２２、ＡＧＣ２２３を介してＡ／Ｄ２２４に入力され、Ａ／Ｄ２２４により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換する。
【００２９】
このＲＡＷ−ＲＧＢデータは、信号処理部２０３のＣＣＤＩ／Ｆ２３２に取り込まれてメモリコントローラ２３３を介してＳＤＲＡＭ２０４に保存される。そして、ＳＤＲＡＭ２０４から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部２３４に入力されて表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラ２３３を介してＳＤＲＡＭ２０４にＹＵＶデータが保存される。
【００３０】
そして、ＳＤＲＡＭ２０４からメモリコントローラ２３３を介して読み出したＹＵＶデータは、表示出力制御部２３６を介してＬＣＤ２０８へ送られ、撮影画像（動画）が表示される。ＬＣＤ２０８に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ２３２による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
【００３１】
なお、このモニタリング動作時は、電子ファインダとして機能するＬＣＤ２０８に撮影画像（動画）が表示されているだけで、まだレリーズボタン１０１が押圧（半押も含む）操作されていない状態である。
【００３２】
この撮影画像のＬＣＤ２０８への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部２３６からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
【００３３】
そして、信号処理部２０３は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
【００３４】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積算値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
【００３５】
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積算値から算出される。例えば、ＣＣＤ２０１の全画素の受光面に対応した画面を２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）し、それぞれのエリア（ブロック）のＲＧＢ積算を算出する。
【００３６】
そして、制御部２３１は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤの電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。
【００３７】
また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部２３４でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。
【００３８】
そして、前記したモニタリング動作時に、レリーズボタン１０１が押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
【００３９】
即ち、レリーズボタン１０１が押圧（半押しから全押し）操作されると、制御部２３１からモータドライバ２０６への駆動指令により撮影レンズ系２０９のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。
【００４０】
ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系２０９のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ２３２で算出されている各フォーカス位置における前記ＡＦ評価値を制御部２３１が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
【００４１】
そして、前記したＡＥ処理が行われ、露光完了時点で、制御部２３１からモータドライバ２０６への駆動指令によりメカシャッタユニット２１０が閉じられ、ＣＣＤ２０１から静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部２０２のＡ／Ｄ２２４によりＲＡＷ−ＲＧＢデータに変換される。
【００４２】
そして、このＲＡＷ−ＲＧＢデータは、信号処理部２０３のＣＣＤＩ／Ｆ２３２に取り込まれ、ＹＵＶ変換部２３４でＹＵＶデータに変換されて、メモリコントローラ２３３を介してＳＤＲＡＭ２０４に保存される。そして、このＹＵＶデータはＳＤＲＡＭ２０４から読み出されて、リサイズ処理部２３５で記録画素数に対応するサイズに変換され、データ圧縮部２３７でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２０４に書き戻された後にメモリコントローラ２３３を介してＳＤＲＡＭ２０４から読み出され、メディアＩ／Ｆ２３８を介してメモリカード２１１に保存される。
【００４３】
（ＡＷＢ制御）
次に、ＡＷＢ制御について説明する。近年の撮像装置では、カラー撮影時に安定した色再現を得るため、被写体において、人間が白く見える部分を記録画像でも白く再現するためにオートホワイトバランス（ＡＷＢ）制御が行われている。
【００４４】
一般的にＡＷＢを実現する制御方法として、被写体から白色（無彩色）部分を抽出し、抽出された領域の色情報からＷＢ補正値を計算する方法がある。例えば、１画面が１６×１６に分割された２５６個の領域毎に、Ｒ，Ｇ，Ｂ信号それぞれの積算値を算出し、その分割された領域毎にＧ信号の積算値に対するＲ，Ｂ信号の積算値の比（Ｇ／Ｒ、Ｇ／Ｂ）を求める。
【００４５】
次に、求められた２５６個の積算値の比を、Ｇ／Ｒ、Ｇ／Ｂを軸とした色空間（ホワイトバランス空間）にプロットし、それらの分布から白検出を行う。白検出を行うためには予め色空間に光源（白熱灯、夕日など）の色温度を変化させた場合における黒体放射の軌跡をリファレンスゲインとして用意しておく。プロットされた２５６個の制御値とマッチングをとることで、各種光源下における白検出が実現できる。
【００４６】
この白検出により被写体における光源の種類を判別し、判別された光源に対して、Ｒ，Ｇ，Ｂの積算比が例えばＲ：Ｇ：Ｂ＝１：１：１となるようなホワイトバランスゲイン（ＷＢ補正値）をそれぞれの画素に乗算する。これにより、ホワイトバランスの補正が実現できる。
【００４７】
この処理は、人間の色順応メカニズムに基づいており、人間は異なる照明下においても白いものが白く見えるように色順応が働くという仮説に基づいている。
【００４８】
しかし、高色温度下の肌色の色評価値（Ｇ／Ｒ、Ｇ／Ｂ）は、黒体放射軌跡上に分布してしまい、低色温度下の光源色の色評価値と重なってしまう。そのため、高色温度下において、人物の顔などを撮影すると、肌色を低色温度下の光源色と誤判定してしまい、人の肌色を白く補正してしまう（肌色を引き込んでしまう）。そこで、肌色が白色に引き込まれにくいホワイトバランス制御について以下、説明する。
【００４９】
＜制御部の機能＞
ＡＷＢ制御に関する制御部２３１の機能について説明する。図３は、制御部２３１の機能の一例を示すブロック図である。図３に示す制御部２３１は、評価値取得手段３０１、白検出手段３０２、色温度判定手段３０３、肌色範囲設定手段３０４、肌色検出手段３０５、重み付け手段３０６、係数算出手段３０７、ホワイトバランス制御手段３０８、白のみ検出手段３０９を含む。
【００５０】
評価値取得手段３０１は、ＲＡＷ−ＲＧＢデータ（撮影画像に対応した画像データ）を、水平１６×垂直１６のブロック単位で等分割を行い、分割されたブロックのそれぞれに対してＲＧＢ値を積算することでＲＧＢ積算値（ホワイトバランス評価値）を取得する。
【００５１】
本実施例において、ブロックの分割数は、１６×１６＝２５６に限定されるものではない。ただし、ｎ個の分割ブロックとしたとき、ｎ≧４を満たす。また、本実施例においては、等分割であることは必ずしも必要ではないが、全ての分割ブロックが等面積かつ同形状に等分割されてなることが好ましい。
【００５２】
ここで、ＲＧＢ積算値について詳細に説明する。このＲＧＢ積算値の算出は、上述した分割ブロックのそれぞれに対して行うものである。本実施例において、分割ブロックは、上述したように、撮影画像が２５６に等分割されたものなので、例えば撮影画像が約１０００万画素を有していると、各分割ブロックは約３．９万画素を有する。
【００５３】
この各分割ブロックが有する画素それぞれは、対応する被写体部分のＲ，Ｇ，またはＢ成分の情報である。本実施例では、各成分は８ｂｉｔの情報（０乃至２５５）として記録・利用されている。即ち、２５６個ある分割ブロックのそれぞれにおいて、各ブロックが有する画素の数（約１０００万画素÷２５６＝約３．９万画素）だけ８ｂｉｔのＲ，Ｇ，Ｂ成分の情報がある。
【００５４】
ＲＧＢ積算値は、この分割ブロックのそれぞれについて、各分割ブロックが有する画素全てのＲ成分、Ｇ成分、Ｂ成分それぞれについて加算平均して算出するものである。本実施例では、２５６個に分割した分割ブロックのそれぞれにおいて、Ｒ，Ｇ，Ｂ成分毎に８ｂｉｔの情報として出力される。
【００５５】
なお、本実施例の場合、Ｒ，Ｇ，Ｂ各画素の比率は、例えばＲ：Ｇ：Ｂ＝１：２：１となっていて、分割ブロックのそれぞれはＲ画素＝約０．９７５万画素、Ｇ画素＝約１．９５万画素、Ｂ画素＝０．９７５万画素から構成されている。
【００５６】
ブロック単位で取得したＲＧＢ積算値をＧ／Ｒ、Ｇ／Ｂに変換し、このＧ／Ｂ、Ｇ／Ｂを、ＡＷＢ評価値として扱う。評価値取得手段３０１は、算出されたＡＷＢ評価値を取得する。
【００５７】
白検出手段３０２は、取得された分割ブロックのＡＷＢ評価値が、予め設定してある白検出枠（白検出範囲）内であれば、白評価値（白ブロック）として検出する。図４は、白検出枠の一例を示す図である。図４に示す白検出枠は、白熱灯、夕日などの楕円形内部を示す。
【００５８】
白検出手段３０２は、取得した分割ブロックのＡＷＢ評価値をプロットし、プロット位置が図４に示す白検出枠内であるかを判定する。白検出手段３０２は、プロット位置が白検出枠内であれば、その分割ブロックのＡＷＢ評価値を白評価値として検出し、メモリに記録しておく。
【００５９】
図３に戻り、色温度判定手段３０３は、分割ブロック全てのＡＷＢ評価値の分布から撮影画像の色温度推定を行う。図５は、色温度判定領域の一例を示した図である。図５に示すように、色温度判定領域は、超低色温度判定領域、低色温度判定領域、高色温度判定領域、超高色温度判定領域の４つが設定されている。
【００６０】
色温度判定手段３０３は、各分割ブロックのＡＷＢ評価値のプロット位置がどの判定領域に入るかを、判定領域毎に１画像データ分カウントする。色温度判定手段３０３は、カウント数が一番多い判定領域を、その画像の色温度判定結果とする。例えば、色温度判定手段３０３は、ＡＷＢ評価値の分布が高色温度判定領域に偏っていれば、撮影画像は高色温度であると判定する。色温度判定手段３０３は、ＡＷＢ評価値の分布に偏りがなく、ＡＷＢ評価値が均一に分布している場合は、中色温度と判定する。
【００６１】
色温度判定結果は、例えば、超低色温度、低色温度、中色温度、高色温度、超高色温度の５つのうちのいずれかを示す。これにより、特別なハードウェアを用いなくても、色温度判定を行うことができる。また、色温度判定手段３０３は、色温度センサ２３９により測定された色温度を取得してもよい。色温度判定手段３０３は、各領域のカウント値が所定値に満たない場合は、色温度判定失敗と判定する。色温度判定が失敗した場合、デジタルカメラ１は、既知のホワイトバランス制御を行えばよい。
【００６２】
図３に戻り、肌色範囲設定手段３０４は、色温度判定手段３０３により判定された色温度に対応して、肌色検出枠（肌色検出範囲）を設定する。図６は、肌色検出枠の一例を示す図である。図６に示す肌色検出枠は、各色温度のときに、肌色のＡＷＢ評価値をプロットする実験を行い、設定したものである。
【００６３】
図６に示すように、肌色範囲設定手段３０４は、色温度の判定結果に応じて、１つの肌色検出枠を選び、図６に示す分布に設定する。
【００６４】
図３に戻り、肌色検出手段３０５は、肌色範囲設定手段３０４が設定した肌色検出枠と白検出枠との論理積の範囲内に入るＡＷＢ評価値を、肌色評価値として検出し、メモリに記録する。なお、肌色評価値として検出されたＡＷＢ評価値は、白評価値でもある。
【００６５】
白のみ検出手段３０９は、白検出手段３０２により検出された白評価値から、肌色検出手段３０５により検出された肌色評価値を除いた評価値を白のみ評価値として検出する。検出された白のみ評価値はメモリに記憶される。
【００６６】
重み付け手段３０６は、全ての分割ブロックで前述した検出が終わると、白評価値として検出されたＡＷＢ評価値を持つ分割ブロック（白ブロック）に対する肌色評価値として検出されたＡＷＢ評価値を持つ分割ブロック（肌色ブロック）の割合に基づいて、肌色評価値に重みを付ける。
【００６７】
重み付け手段３０６は、この割合が大きい場合、色温度推定を誤っている危険性を考慮し、肌色評価値の重みを大きくして、肌色評価値に重みをかけたものを白のみ評価値に加算する。また、重み付け手段３０６は、この割合が小さい場合、肌色評価値の重みを小さくし、肌色評価値に重みをかけたものを白のみ評価値に加算する。
【００６８】
図７は、肌色評価値の重みの一例を示す図である。白ブロックに対する肌色ブロックの割合が０．２（２０％）から０．５（５０％）までの間で重みを大きくしていく。この割合が０．２までは重みは０であり、割合が０．５のとき、重みは１００％（重み係数が１）となる。このように、割合が大きくなると、色温度推定の誤判定を考慮して、肌色を白色として扱う。
【００６９】
図８は、割合に対する引き込み度合いの一例を示す図である。図８に示す直線は、肌色の検出を行わない場合の、肌色が白色に引き込まれる度合いを示す。図８に示す一点鎖線は、肌色評価値を全て除去する場合の、肌色が白色に引き込まれる度合いを示す。図８に示す点線は、本実施例の肌色評価値に重み付けを行う場合の、肌色が白色に引き込まれる度合いを示す。
【００７０】
図８に示すように、肌色評価値の除去を行わないと、肌色ブロックの割合に比例して、肌色の引き込みの度合いも増える。また、全ての肌色評価値を除去すると、肌色ブロックの割合が増えたところで、色温度推定を低色温度側に誤推定してしまうポイントが出てきて肌色検出枠が切り替わる。すると、それまで除いていた肌色評価値が一気に白評価値として反映されることになり、ＷＢのバラつきが発生する原因となる。
【００７１】
本実施例のように、肌色評価値の重み付けを行うことで、従来のＷＢよりも肌色の引き込みが改善でき、バラつきを抑えた制御を実現することができる。なお、図７、８における白ブロック数には肌色ブロック数も含まれるものとする（白ブロック数=白のみのブロック数＋肌色ブロック数）。
【００７２】
図３に戻り、係数算出手段３０７は、肌色評価値が重み付けされて白評価値に加算された評価値を用いて、ホワイトバランス補正係数を算出する。以下、ホワイトバランス補正係数の算出処理の一例を詳細に説明する。以下に示す処理は、係数算出手段３０７が重み付け手段３０６を兼ねる。
【００７３】
係数算出手段３０７は、白のみのブロックのＡＷＢ評価値に高輝度加重処理を行い、この値を積算する。なお、白のみのブロックとは、肌色ブロックではない白ブロックをいう。高輝度加重処理は、ＡＷＢ評価値（Ｇ／Ｒ、Ｇ／Ｂ）に対して、そのブロックの平均輝度による重み付けをいう。なお、高輝度加重処理は必ずしも必要な処理ではない。
【００７４】
係数算出手段３０７は、肌色ブロックにも白ブロックと同様の処理を行い、肌色ブロックの積算値を算出する。また、肌色ブロックの評価値には図７に示す重み付けが行われる。係数算出手段３０７は、高輝度加重処理が行われた白評価値と、重み付けされ、高輝度加重処理が行われた肌色評価値とを用いてホワイトバランス補正係数を算出する。
【００７５】
係数算出手段３０７は、以下の式１〜１１を用いてホワイトバランス補正係数を算出する。
【００７６】
【数１】
0005644260.tif 000002
RW：白のみのブロックのAWB評価値（G/R）
BW：白のみのブロックのAWB評価値（G/B）
YW：白のみのブロックの平均輝度
SRWhiteSumRgain：白のみのブロックのRゲイン積算値
SBWhiteSumBgain：白のみのブロックのBゲイン積算値
SYWhiteSum：白のみのブロックの平均輝度の積算値
nWhite：白のみのブロック数
【００７７】
【数２】
0005644260.tif 000003
RS：肌色ブロックのAWB評価値（G/R）
BS：肌色ブロックのAWB評価値（G/B）
YS：肌色ブロックの平均輝度
SRSkinSumRgain：肌色ブロックのRゲイン積算値
SBSkinSumBgain：肌色ブロックのBゲイン積算値
SYSkinSum：肌色ブロックの平均輝度の積算値
nSkin：肌色ブロック数
【００７８】
【数３】
0005644260.tif 000004
WSkinWeight：図７から得られる肌色評価値の重み
SRSumRgain：白抽出ブロックのRゲイン積算値
SBSumBgain：白抽出ブロックのBゲイン積算値
SYSum：白抽出ブロックの平均輝度の積算値
【００７９】
【数４】
0005644260.tif 000005
Rgain：ホワイトバランス補正係数（Rゲイン）
Bgain：ホワイトバランス補正係数（Bゲイン）
ホワイトバランス制御手段３０８は、係数算出手段３０７により算出されたホワイトバランス補正係数（Ｒゲイン、Ｂゲイン）を、画面全体のＲ，Ｂデータそれぞれに乗算してホワイトバランス制御を行う。
【００８０】
（モニタリング時のＡＷＢ制御）
次に、モニタリング時のＡＷＢ制御について説明する。ここで、被写体が変わると色温度推定結果も変わる可能性が考えられ、色温度推定結果が変わると採用される肌色検出枠にも切り換えが生じる。例えば、色温度推定結果が超低色温度から低色温度に変わると、採用される肌色検出枠も超低色温度肌色検出枠から低色温度肌色検出枠に切り換わる。
【００８１】
肌色検出枠が切り換わると、肌色評価値として扱う評価値が変わり、ＷＢの補正結果にも違いが生じる。モニタリング中において、ＷＢの補正結果の変化を即時反映してしまうと、色味が頻繁に変わってしまい、ユーザにとって不快感を与えてしまう原因となる。
【００８２】
そこで、図９と図１０に肌色検出枠の切り換えによるＷＢ補正結果の変化をゆっくりと反映するための、モニタリング時の肌色検出枠の遷移方法を示す。
【００８３】
図９は、白検出枠と超低色温度肌色検出枠と低色温度肌色検出枠との関係を示す図である。図９に示すように、色温度推定結果が、超低色温度から低色温度に変化したとき場合を例にする。
【００８４】
図１０は、モニタリング時の肌色検出枠の遷移方法の一例を示す図である。図１０に示すように、超低色温度肌色検出枠と低色温度肌色検出枠との間を補間する複数ステップを設ける。肌色範囲設定手段３０４は、超低色温度から低色温度に切り換わったときに、モニタリングのＡＷＢ処理の更新とともに、１ステップずつ低色温度側に遷移させる。この処理により、色温度推定結果が変わった時のＷＢ補正結果の変化を滑らかに適用することができる。
【００８５】
＜動作＞
次に、実施例におけるデジタルカメラ１の動作について説明する。図１１は、ホワイトバランス制御処理の一例を示すフローチャートである。
【００８６】
ステップＳ１０１で、評価値取得手段３０１は、分割ブロックのＲＧＢデータに基づくＡＷＢ評価値を全分割ブロック分取得する。
【００８７】
ステップＳ１０２で、色温度判定手段３０３は、全体のＡＷＢ評価値分布から色温度を推定する。ここでは、図５に示す判定領域を用いて色温度を判定してもよいし、色温度センサ２３９により色温度を取得してもよい。
【００８８】
ステップＳ１０３で、白検出手段３０２は、ＡＷＢ評価値の分布が白検出枠内にあれば、このＡＷＢ評価値を白評価値として検出する。また、この白評価値を有する分割ブロックを白ブロックとする。
【００８９】
ステップＳ１０４で、肌色範囲設定手段３０４は、判定された色温度に応じて肌色検出枠を設定する。次に、肌色検出手段３０５は、白評価値が肌色検出枠にあれば、その評価値を肌色評価値として検出する。また、この肌色評価値を有する分割ブロックは、肌色ブロックとする。
【００９０】
ステップＳ１０５で、重み付け手段３０６は、白評価値数（白ブロック数）に対する肌色評価値数（肌色ブロック数）の割合から、肌色評価値の重みを設定する（図７参照）。
【００９１】
ステップＳ１０６で、係数算出手段３０７は、白のみ評価値と重み付けされた肌色評価値とを加算した評価値からホワイトバランス補正係数を算出する。係数算出手段３０７は、加算された評価値を既知の技術の白評価値とすればホワイトバランス補正係数を算出可能である。なお、高輝度加重処理を行う場合、係数算出手段３０７、重み付け手段３０６は、式１〜１１を用いてホワイトバランス補正係数を算出する。
【００９２】
ステップＳ１０７で、ホワイトバランス制御手段３０８は、算出されたホワイトバランス補正係数を基に、ホワイトバランスを補正する。
【００９３】
以上、実施例によれば、肌色が被写体に含まれる状況においても、肌色が白色に、より引き込まれにくいホワイトバランス制御を行うことができる。
【００９４】
本実施例のデジタルカメラ１で実行されるホワイトバランス制御を行うプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００９５】
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、実施例以外にも種々の変形・変更が可能である。
【符号の説明】
【００９６】
１  デジタルカメラ
２０１  ＣＣＤ
２０２  ＡＦＥ部
２０３  信号処理部
２０４  ＳＤＲＡＭ
２０５  ＲＯＭ
２３１  信号処理部
３０１  評価値取得手段
３０２  白検出手段
３０３  色温度判定手段
３０４  肌色範囲設定手段
３０５  肌色検出手段
３０６  重み付け手段
３０７  係数算出手段
３０８  ホワイトバランス制御手段
３０９  白のみ検出手段
【先行技術文献】
【特許文献】
【００９７】
【特許文献１】特開２００１−１３６５４６号公報
【図１】
0005644260.tif 000006
【図２】
0005644260.tif 000007
【図３】
0005644260.tif 000008
【図４】
0005644260.tif 000009
【図５】
0005644260.tif 000010
【図６】
0005644260.tif 000011
【図７】
0005644260.tif 000012
【図８】
0005644260.tif 000013
【図９】
0005644260.tif 000014
【図１０】
0005644260.tif 000015
【図１１】
0005644260.tif 000016