(57)【要約】【課題】最適なホワイトバランス制御を行うことができる。【解決手段】高輝度領域検出部は、目領域情報取得部により取得された目領域全体のRGB情報から、眼球に写り込んでいる光源部分の画素情報のみを抽出するために、所定の輝度より高い高輝度領域を検出する。検出された高輝度領域の画素情報は、光源部分の画素情報として、光源色推定部に供給される。光源色推定部は、入力となる画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求め、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。本開示は、例えば、撮像した画像のホワイトバランスを調整する撮像装置に適用することができる。【選択図】図２
2014053855.tif 000002
【特許請求の範囲】
【請求項１】
画像から被写体の目領域を検出する目領域検出部と、
前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、
前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、
前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、
前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部と
を備える画像処理装置。
【請求項２】
前記画像処理部は、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記少なくとも一部の領域としての前記画像における被写体の顔領域に対して、ホワイトバランスの調整を行う
請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、前記画像全体の色情報に基づいて、前記画像における被写体の顔領域以外に対して、ホワイトバランスの調整を行う
請求項２に記載の画像処理装置。
【請求項４】
前記画像処理部は、設定されている撮像モードに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行う
請求項２に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記画像の明るさレベルに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行う
請求項２に記載の画像処理装置。
【請求項６】
前記ホワイトバランス調整量計算部は、前記目領域検出部により被写体の目領域が検出されなかった場合、または、前記高輝度画素検出部により高輝度画素が検出されなかった場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算する
請求項１に記載の画像処理装置。
【請求項７】
前記ホワイトバランス調整量計算部は、前記画像における被写体の顔領域が所定の大きさより小さい場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算する
請求項１に記載の画像処理装置。
【請求項８】
画像処理装置が、
画像から被写体の目領域を検出し、
検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出し、
検出された高輝度画素から、光源の色情報を推定し、
推定された光源の色情報に基づいて、ホワイトバランス調整量を計算し、
計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う
画像処理方法。
【請求項９】
画像処理装置を、
画像から被写体の目領域を検出する目領域検出部と、
前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、
前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、
前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、
前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法、並びにプログラムに関し、特に、最適なホワイトバランス制御を行うことができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、人物の白目部分からホワイトバランスの調整量を求める技術は存在していた。例えば、特許文献１には、撮像画像内において、人物の白目部分の色情報を検出し、検出された色情報からホワイトバランスの調整値を演算し、撮影画像のホワイトバランスの調整を行うことが記載されている。
【０００３】
また、例えば、特許文献２には、撮影画像内において、人物の白目部分が複数検出された場合に、複数の白目領域の色情報に基づき、画像のホワイトバランス補正係数を決定する方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１８２３６９号公報
【特許文献２】特開２０１１−１０９４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１および特許文献２は、白目領域の色情報からホワイトバランス補正量を算出するものである。しかしながら、白目の色情報は、個人差や充血などによる変動が大きく、ホワイトバランス補正量を算出するには、正確さを欠くことが多かった。
【０００６】
本開示は、このような状況に鑑みてなされたものであり、最適なホワイトバランス制御を行うことができるものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の画像処理装置は、画像から被写体の目領域を検出する目領域検出部と、前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部とを備える。
【０００８】
前記画像処理部は、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記少なくとも一部の領域としての前記画像における被写体の顔領域に対して、ホワイトバランスの調整を行うことができる。
【０００９】
前記画像処理部は、前記画像全体の色情報に基づいて、前記画像における被写体の顔領域以外に対して、ホワイトバランスの調整を行うことができる。
【００１０】
前記画像処理部は、設定されている撮像モードに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行うことができる。
【００１１】
前記画像処理部は、前記画像の明るさレベルに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行うことができる。
【００１２】
前記ホワイトバランス調整量計算部は、前記目領域検出部により被写体の目領域が検出されなかった場合、または、前記高輝度画素検出部により高輝度画素が検出されなかった場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算することができる。
【００１３】
前記ホワイトバランス調整量計算部は、前記画像における被写体の顔領域が所定の大きさより小さい場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算することができる。
【００１４】
本開示の一側面の画像処理方法は、画像処理装置が、画像から被写体の目領域を検出し、検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出し、検出された高輝度画素から、光源の色情報を推定し、推定された光源の色情報に基づいて、ホワイトバランス調整量を計算し、計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う。
【００１５】
本開示の一側面のプログラムは、画像処理装置を、画像から被写体の目領域を検出する目領域検出部と、前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部として機能させる。
【００１６】
本開示の一側面においては、画像から被写体の目領域が検出され、検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素が検出され、検出された高輝度画素から、光源の色情報が推定される。そして、推定された光源の色情報に基づいて、ホワイトバランス調整量が計算され、計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整が行われる。
【発明の効果】
【００１７】
本開示によれば、最適なホワイトバランス制御を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用した画像処理装置としての撮像装置の構成例を示す図である。
【図２】画像解析部およびホワイトバランス調整量決定部の構成を示すブロック図である。
【図３】撮像画像における顔領域および目領域を説明する図である。
【図４】目領域における光源の写り込み領域を説明する図である。
【図５】判別分析法を説明する図である。
【図６】判別分析法を用いた光源の写り込み領域の抽出を説明する図である。
【図７】画像記録処理を説明するフローチャートである。
【図８】ホワイトバランス処理の例を説明するフローチャートである。
【図９】顔局所ホワイトバランス処理の例を説明するフローチャートである。
【図１０】顔局所ホワイトバランス処理の他の例を説明するフローチャートである。
【図１１】通常ホワイトバランス処理の例を説明するフローチャートである。
【図１２】ホワイトバランス処理の他の例を説明するフローチャートである。
【図１３】ホワイトバランス処理のさらに他の例を説明するフローチャートである。
【図１４】ホワイトバランス処理の他の例を説明するフローチャートである。
【図１５】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
【００２０】
[本技術の撮像装置の構成]
図１は、本技術を適用した画像処理装置としての撮像装置の構成例を示す図である。
【００２１】
図１の例において、撮像装置１０１は、画像撮像部１１１、操作入力部１１２、制御部１１３、画像処理部１１４、記録制御部１１５、記憶部１１６、表示制御部１１７、および表示部１１８を含むように構成されている。
【００２２】
画像撮像部１１１は、撮像した画像のRGBデータを、制御部１１３および画像処理部１１４に出力する。画像撮像部１１１は、入射光を集光するレンズ群、光量調整を行う絞り、露光時間を調整するシャッタ、入射した光の光電変換を行うイメージセンサ、読み出し回路、増幅回路、およびA/D変換器などにより構成されている。
【００２３】
操作入力部１１２は、ダイヤル、およびボタンなどにより構成され、ユーザによる設定、選択、または操作などに対応する信号を制御部１１３に入力する。例えば、操作入力部１１２は、撮影時に、ユーザにより選択された撮像モードや設定されたホワイトバランス処理方法（ホワイトバランスモード）を示す信号を制御部１１３に入力する。なお、ホワイトバランスモードがＭＷＢ（マニュアルホワイトバランス）モードを示している場合、操作入力部１１２は、ユーザの操作に対応してホワイトバランスの調整量も制御部１１３に入力する。
【００２４】
制御部１１３は、画像撮像部１１１から入力される画像のRGBデータを解析して、ホワイトバランスの調整量を求める。その際、制御部１１３は、操作入力部１１２を介して入力されるユーザにより選択された撮像モードやホワイトバランスモードを示す信号に応じた処理方法で、ホワイトバランスの調整量を求める。あるいは、制御部１１３は、画像撮像部１１１から入力される画像の明るさレベルに応じた処理方法で、ホワイトバランスの調整量を求める。
【００２５】
なお、制御部１１３における色の解析処理は、RGB信号のまま行ってもよいが、例えば、YCrCb信号など、解析の都合に合わせて変換して行ってもよい。
【００２６】
制御部１１３は、撮像モードやホワイトバランスモードを示す信号やホワイトバランスの調整量を画像処理部１１４に供給する。
【００２７】
画像処理部１１４は、画像撮像部１１１から入力される撮像画像に対して、ホワイトバランスやトーンカーブなど被写体に適応した画像信号処理を行い、画像処理が施された画像を、記録制御部１１５および表示制御部１１７に出力する。
【００２８】
ここで、制御部１１３からのホワイトバランスモードを示す信号がＡＷＢ（オートホワイトバランス）モードを示している場合、制御部１１３により求められたホワイトバランスの調整量が入力される。したがって、画像処理部１１４は、制御部１１３からの撮像モードやホワイトバランスの調整量に基づいて、画像撮像部１１１から入力される撮像画像の少なくとも一部の領域に対してホワイトバランスの調整を行う。
【００２９】
また、制御部１１３からのホワイトバランスモードを示す信号がＭＷＢ（マニュアルホワイトバランス）モードを示している場合、ユーザの操作に対応してホワイトバランスの調整量も制御部１１３から入力される。したがって、画像処理部１１４は、ユーザの操作に対応したホワイトバランスの調整量に基づいて、画像撮像部１１１から入力される撮像画像に対してホワイトバランスの調整を行う。
【００３０】
記録制御部１１５は、画像処理部１１４により画像処理が施された画像を、例えば、JPEG画像ファイルに変換して、記憶部１１６に記録する。記憶部１１６は、例えば、メモリカードなどで構成され、JPEG画像ファイルなどを記憶する。
【００３１】
表示制御部１１７は、画像処理部１１４により画像処理が施された画像を、表示部１１８に表示させる。表示部１１８は、LCD(Liquid Crystal Display)などで構成され、表示制御部１１７からの画像を表示する。
【００３２】
さらに、制御部１１３は、ＷＢ（ホワイトバランス）制御部１２１、画像解析部１２２、およびホワイトバランス調整量決定部１２３を含むように構成されている。画像撮像部１１１から入力される画像は、画像解析部１２２に入力され、また、必要に応じて、ＷＢ制御部１２１にも供給される。
【００３３】
ＷＢ制御部１２１は、操作入力部１１２を介して入力されるユーザにより選択された撮像モードやホワイトバランスモードを示す信号に応じて、画像解析部１２２の動作を制御する。あるいは、ＷＢ制御部１２１は、画像撮像部１１１から入力される画像の明るさレベルに応じて、画像解析部１２２の動作を制御する。また、ＷＢ制御部１２１は、撮像モードやホワイトバランスモードを示す信号を、画像処理部１１４に供給する。
【００３４】
画像解析部１２２は、ＷＢ制御部１２１からの制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域および目領域を検出し、目領域に写り込んだ光源に該当する領域を、画素データを用いた判別方法により検出する。また、画像解析部１２２は、ＷＢ制御部１２１からの制御のもと、撮像画像情報全体から無彩色領域を検出する。画像解析部１２２は、光源に該当する領域のRGBデータ、および無彩色領域のRGBデータの少なくとも一方を、ホワイトバランス調整量決定部１２３に供給する。
【００３５】
また、画像解析部１２２は、検出した顔領域の情報を、画像処理部１１４に供給する。
【００３６】
ホワイトバランス調整量決定部１２３は、入力されたR,G,Bそれぞれのデジタルデータから、撮影時の光源色を推定して、ホワイトバランスゲイン（調整量）を求める。ホワイトバランス調整量決定部１２３は、求めたホワイトバランス調整量を、画像処理部１１４に供給する。
【００３７】
[画像解析部およびホワイトバランス調整量決定部の構成]
図２は、画像解析部とホワイトバランス調整量決定部の構成例を示すブロック図である。なお、図２の構成例の説明には、適宜、図３および図４が参照される。
【００３８】
画像解析部１２２は、顔領域検出部１３１、目領域情報取得部１３２、高輝度領域検出部１３３、および無彩色領域検出部１３４を含むように構成される。
【００３９】
ホワイトバランス調整量決定部１２３は、光源色推定部１４１、およびホワイトバランス調整量計算部１４２を含むように構成される。
【００４０】
顔領域検出部１３１は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域を検出し、検出した顔領域の情報を、目領域情報取得部１３２および画像処理部１１４に供給する。すなわち、顔領域検出部１３１においては、図３に示される撮像画像２０３から、人物の顔領域２０１が検出される。
【００４１】
目領域情報取得部１３２は、顔領域検出部１３１により検出された顔領域の領域内における目領域を検出し、検出した目領域の画素情報を取得し、取得した目領域における画素情報（画素毎のRGB情報）を、高輝度領域検出部１３３に供給する。すなわち、目領域情報取得部１３２においては、図３に示される顔領域２０１から、目領域２０２が検出される。
【００４２】
ここで、複数の目領域が検出された場合、各領域のRGBデータを積分して、光源色の推定に用いてもよいし、顔や目の大きさ情報などから主要被写体を選出し、それに対して光源推定を行ってもよい。あるいは、各目領域において光源の推定を行い、個別にホワイトバランス処理を行ってもよい。
【００４３】
高輝度領域検出部１３３は、目領域情報取得部１３２により取得された目領域全体のRGB情報から、眼球に写り込んでいる光源部分の画素情報のみを抽出するために、所定の輝度より高い高輝度領域を検出する。
【００４４】
すなわち、高輝度領域検出部１３３においては、RGB情報やYCbCr情報を基にして、目領域全体から、図４に示される白目部分２１１、黒目部分２１２、および肌色部分２１３の画素情報を除外していく。これにより、図４に示される光源部分２１４の画素情報が抽出される。
【００４５】
例えば、画素の輝度情報Ｙをパラメータとして分散を基にしたに２値化処理を繰り返すことにより、肌色部分、黒目部分、白目部分の除外を行うことができる。なお、この分散を用いた２値化処理については、図５および図６を参照して詳しく後述される。
【００４６】
検出された高輝度領域の画素情報は、光源部分２１４の画素情報として、光源色推定部１４１に供給される。
【００４７】
顔領域検出部１３１において顔領域が検出されなかった場合、または、目領域情報取得部１３２において目領域が検出されなかった場合、顔領域検出部１３１または目領域情報取得部１３２は、無彩色領域検出部１３４に無彩色領域の検出を行わせる。さらに、高輝度領域検出部１３３において高輝度領域が検出されなかった場合、高輝度領域検出部１３３は、無彩色領域検出部１３４に無彩色領域の検出を行わせる。すなわち、画像解析部１２２においては、通常のホワイトバランス処理が行われる。
【００４８】
無彩色領域検出部１３４は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、無彩色領域を検出し、検出した無彩色領域の画素情報を、光源色推定部１４１に供給する。
【００４９】
光源色推定部１４１には、高輝度領域検出部１３３からの高輝度領域の画素情報と無彩色領域検出部１３４からの無彩色領域の画素情報との少なくともどちらか一方が入力される。光源色推定部１４１は、入力となる画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求め、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。なお、光源推定方法は、これに限定されない。光源色推定部１４１は、推定した光源色の情報を、ホワイトバランス調整量計算部１４２に供給する。
【００５０】
ホワイトバランス調整量計算部１４２は、光源色推定部１４１により推定された光源色に対して、R=G=Bとなるようなゲイン（調整量）を計算し、計算したホワイトバランス調整量を、画像処理部１１４に供給する。
【００５１】
画像処理部１１４においては、画像の対象となる部分に対して、このホワイトバランス調整量をかけることで、ホワイトバランス制御を行う。
【００５２】
例えば、通常のホワイトバランス処理を行う場合、画像全体における無彩色領域の画素情報から、光源色が推定されて調整量が求められ、画像処理部１１４においては、無彩色領域から求められた調整量が撮像画像全体に対してかけられる。
【００５３】
一方、例えば、本技術のホワイトバランス処理を行う場合、目領域から検出された高輝度領域の画素情報から、光源色が推定されて調整量が求められ、画像処理部１１４においては、高輝度領域から求められた調整量が撮像画像における顔領域に対してかけられる。
【００５４】
なお、以下、この本技術のホワイトバランス処理を、顔局所ホワイトバランス処理とも称する。
【００５５】
これにより、顔を照らす光源に対して適切なホワイトバランス制御を行うことが可能となる。この結果、撮像シーンにおいて、光源推定不可能な無彩色被写体が存在していたとしても、顔領域のホワイトバランスの色ずれを抑制することができる。
【００５６】
なお、顔領域にホワイトバランスの調整量をかける際、無彩色領域の画素情報から光源色推定も行っておき、画像処理部１１４において、無彩色領域から求められた調整量を撮像画像における顔領域以外の領域に対してかけるようにしてもよい。
【００５７】
これにより、撮像画像において、顔領域とそれ以外の領域とで異なる照明があたっていたとしても、最適なホワイトバランス制御を行うことができる。
【００５８】
以上のように、本技術によれば、目領域に写り込んだ光源の色情報を用いて、最適なホワイトバランス調整を行うことができる。
【００５９】
なお、白目の画素情報に光源の写り込みが検出されない場合、白目領域の画素の積算値から光源推定を行うようにすることができる。このようにすることで、日陰などにおける撮影で光源の白目への写り込みがない場合においても、ホワイトバランス調整量を算出することができる。ただし、この場合、個人差や充血の影響がある。
【００６０】
[高輝度領域検出方法]
次に、図５を参照して、高輝度領域検出部１３３における高輝度領域検出方法の１つとして行われる分散を用いた２値化処理について説明する。
【００６１】
分散を用いた２値化処理とは、判別分析法(discriminnant analysis method)のことであり、分離度(separation metrics)という値が最大になる閾値を求め、自動的に２値化を行う手法である。判別分析法は、また、大津の２値化とも呼ばれている。
【００６２】
例えば、図５に示されるように、目領域情報取得部１３２により取得された目領域の画素単位の輝度Ｙを基にプロットを行い、閾値ｔで２値化したとき、閾値ｔよりも輝度値が小さい側（暗クラス）の画素数をω１、平均をｍ１、分散をσ１とする。また、輝度値が大きい側（明クラス）の画素数をω２、平均をｍ２、分散をσ２とし、画像全体の画素数をωｔ、平均をｍｔ、分散をσｔとする。このとき、クラス内分散σｗ２は、次の式（１）で表わされる。
【００６３】
【数１】
2014053855.tif 000003
【００６４】
クラス間分散σｂ２は、次の式（２）で表わされる。
【数２】
2014053855.tif 000004
【００６５】
ここで、全分散σｔは、次の式（３）で表わすことができることから、求めるクラス間分散とクラス内分散との比である分離度は、次の式（４）となり、この分離度が最大となる閾値ｔを求めればよい。
【数３】
2014053855.tif 000005
【数４】
2014053855.tif 000006
【００６６】
なお、実際には、全分散σｔは閾値に関係なく一定なので、クラス間分散σｂ２は分離度が最大となる閾値を求めればよい。さらに、クラス間分散の式（２）の分母も閾値に関係なく一定なので、クラス間分散の分子ω１ω２（ｍ１−ｍ２）２が最大となる閾値を求めればよい。
【００６７】
以上のような判別分析法を繰り返し行うことで、光源の写り込みを特定することができる。例えば、判別分析法１回目においては、図６のＡに示されるように、目領域の画素情報から、閾値ｔを求めて、暗い領域と明るい領域に分けることができる。これにより、白目領域や光源の写り込み領域を抽出することができる。
【００６８】
さらに、判別分析法２回目を行うことで、図６のＢに示されるように、１回目で判別された明るい領域の画素情報から、閾値ｔ´を求めて、白目領域と光源の写り込み領域とに分けることができる。これにより、光源推定処理に必要な光源の写り込み領域を抽出することができる。
【００６９】
[画像記録処理]
次に、図７のフローチャートを参照して、撮像装置１０１の画像記録処理について説明する。
【００７０】
ステップＳ１１１において、画像撮像部１１１は、画像を撮像する。すなわち、画像撮像部１１１において、イメージセンサによって受光されて光電変換された画像信号は、所定の信号処理が施されて、制御部１１３および画像処理部１１４に出力される。
【００７１】
ステップＳ１１２において、制御部１１３および画像処理部１１４は、ホワイトバランス処理を行う。このホワイトバランス処理については、図８を参照して後述される。ステップＳ１１２の処理により、画像撮像部１１１からの画像に対して、ホワイトバランス処理が行われ、処理が行われた撮像画像が記録制御部１１５に出力される。
【００７２】
ステップＳ１１３において、記録制御部１１５は、画像処理部１１４からの撮像画像を、JPEG画像ファイルに変換して、記憶部１１６に記録する。
【００７３】
[ホワイトバランス処理の例]
次に、図８のフローチャートを参照して、図７のステップＳ１１２のホワイトバランス処理について説明する。
【００７４】
なお、図８の例においては、既存の撮像モードに応じたホワイトバランス処理について説明する。すなわち、本技術の顔局所ホワイトバランス処理を行う場合、撮像シーン内に人物が存在する必要がある。そこで、図８の例においては、本技術の顔局所ホワイトバランス処理を行う方法として、ユーザが人物ありの撮像モードを意図的に選択したか否かによって、ホワイトバランス処理を行い分ける場合について説明する。
【００７５】
ＷＢ制御部１２１は、ステップＳ１３１において、撮像時のホワイトバランスモードがＡＷＢ（オートホワイトバランス）モードであるか否かを判定する。ステップＳ１３１において、ＡＷＢモードであると判定された場合、すなわち、画像から光源の色温度を推定し、自動的にホワイトバランス処理を行う場合、処理は、ステップＳ１３２に進む。
【００７６】
ステップＳ１３２において、ＷＢ制御部１２１は、撮像モードが、該当シーンモードであるか否かを判定する。ユーザが意図的にシーンモード選択で、ポートレートモードや夜景＋人物モードなどを選択している場合は、本技術のホワイトバランス処理に見合うシーンであると判定され、処理は、ステップＳ１３３に進む。なお、該当シーンモードとしてのポートレートモードや夜景＋人物モードとしたのでは、人物への光源と背景への光源が異なる場合が多いからである。また、ポートレートモードや夜景＋人物モードは一例であり、人物ありの撮像モードであれば、他の撮像モードであってもよい。なお、このホワイトバランス処理においては、このステップＳ１３２自体を設けないようにしてもよい。
【００７７】
ステップＳ１３３において、顔領域検出部１３１は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域を検出する。なお、このとき、顔の有無だけでなく、検出された顔領域が、画像全領域に対してどのくらいの大きさ（画素総数）を持っているかの情報も取得される。顔領域検出部１３１は、検出した顔領域の情報を、目領域情報取得部１３２および画像処理部１１４に供給する。
【００７８】
ステップＳ１３４において、顔領域検出部１３１は、取得した顔領域の有無や、顔領域の大きさを示す情報を基に、撮像画像に顔領域があるか否かを判定する。ステップＳ１３４において、顔領域があると判定された場合、処理は、ステップＳ１３５に進む。
【００７９】
ステップＳ１３５において、目領域情報取得部１３２は、顔領域の領域内における目領域を検出し、目領域があるか否かを判定する。ステップＳ１３５において、目領域があると判定された場合、処理は、ステップＳ１３６に進む。ステップＳ１３６において、目領域情報取得部１３２は、検出した目領域の画素情報（目領域情報）を取得し、取得した目領域における画素情報を、高輝度領域検出部１３３に供給する。
【００８０】
ステップＳ１３７において、高輝度領域検出部１３３は、所定の輝度より高い高輝度領域を検出し、高輝度領域があるか否かを判定する。ステップＳ１３７において、高輝度領域があると判定された場合、高輝度領域検出部１３３は、検出した高輝度領域の情報を、光源部分の画素情報として、光源色推定部１４１に供給し、処理は、ステップＳ１３８に進む。
【００８１】
ステップＳ１３８において、ホワイトバランス調整量決定部１２３および画像処理部１１４は、顔局所ＷＢ処理を行う。この顔局所ＷＢ処理については、図９を参照して後述される。これにより、顔領域に局所的にホワイトバランス調整が行われる。
【００８２】
また、ステップＳ１３２において、該当シーンではないと判定された場合、すなわち、ユーザが意図的に、人物なしの撮像モードとして、例えば、風景／夜景モードや料理モード、花火モードなどを選択している場合、処理は、ステップＳ１３９に進む。
【００８３】
ステップＳ１３４において、顔領域がないと判定された場合、処理は、ステップＳ１３９に進む。例えば、撮像シーン内に顔領域が存在しない場合、あるいは、存在したとしても、画像全領域に対する顔領域の大きさを示す情報が、所定の閾値より小さい場合などは、顔局所ホワイトバランス処理を行う場合に必要な目領域の画像情報が有効に得られないことから、顔領域がないと判定される。
【００８４】
また、ステップＳ１３５において、目領域がない場合、処理は、ステップＳ１３９に進む。なお、ステップＳ１３５においては、目領域があったとしても、目領域がある閾値に対して十分に大きくない場合や目つぶりが発見された場合、有効な画素情報が得られないことから、目領域がないと判定される。
【００８５】
ステップＳ１３７において、高輝度領域がないと判定された場合、すなわち、予め設定された閾値を超える高輝度画素が存在しない場合、光源の写りこみがないものとして、処理は、ステップＳ１３９に進む。
【００８６】
ステップＳ１３９において、無彩色領域検出部１３４およびホワイトバランス調整量決定部１２３は、通常のホワイトバランス処理を行う。この通常のホワイトバランス処理については、図１１を参照して後述する。これにより、撮像画像全体にホワイトバランス補正が行われる。
【００８７】
一方、ステップＳ１３１において、ＡＷＢモードではないと判定された場合、処理は、ステップＳ１４０に進む。例えば、ユーザが意志を持って、光源毎に事前設定されているホワイトバランス処理を選択したり、あるいは、光源の色温度を自身で入力するホワイトバランス処理を行う。このような場合、ステップＳ１３１において、ＡＷＢモードではないと判定され、処理は、ステップＳ１４０に進む。
【００８８】
ステップＳ１４０において、制御部１１３および画像処理部１１４は、マニュアルＷＢ処理を行う。すなわち、制御部１１３は、操作入力部１１２を介して入力されるユーザの操作／選択により決定されたホワイトバランス調整量を、画像処理部１１４に供給する。画像処理部１１４は、制御部１１３からのユーザの操作／選択により決定されたホワイトバランス調整量を用いて、画像全体にホワイトバランス調整を行う。
【００８９】
[顔局所ホワイトバランス処理の例]
次に、図９のフローチャートを参照して、図８のステップＳ１３８における顔局所ホワイトバランス処理を説明する。
【００９０】
図８のステップＳ１３７により、高輝度領域の情報が、光源部分の画素情報として、光源色推定部１４１に供給される。
【００９１】
これに対応して、ステップＳ１６１において、光源色推定部１４１は、入力となる高輝度領域の画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求める。そして、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。光源色推定部１４１は、推定した光源色の情報を、ホワイトバランス調整量計算部１４２に供給する。
【００９２】
ステップＳ１６２において、ホワイトバランス調整量計算部１４２は、光源色推定部１４１により推定された光源色に対して、顔領域内のホワイトバランスゲインを算出し、算出したホワイトバランス調整量を、画像処理部１１４に供給する。
【００９３】
また、ステップＳ１６３において、無彩色領域検出部１３４は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、無彩色領域を検出し、検出した無彩色領域の画素情報を、光源色推定部１４１に供給する。
【００９４】
ステップＳ１６４において、光源色推定部１４１は、入力となる無彩色領域の画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求め、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。光源色推定部１４１は、推定した光源色の情報を、ホワイトバランス調整量計算部１４２に供給する。
【００９５】
ステップＳ１６５において、ホワイトバランス調整量計算部１４２は、光源色推定部１４１により推定された光源色に対して、顔領域外のホワイトバランスゲインを算出し、算出したホワイトバランス調整量を、画像処理部１１４に供給する。
【００９６】
画像処理部１１４は、ステップＳ１６６において、顔領域検出部１３１からの顔領域の情報に基づき、顔領域内および顔領域外のホワイトバランス調整量を用いて、撮像画像の顔領域内外のホワイトバランス調整を行う。
【００９７】
すなわち、画像処理部１１４は、顔領域内については、ステップＳ１６２により算出された顔領域内のホワイトバランスゲインが用いられて、ホワイトバランスが調整される。一方、顔領域外については、ステップＳ１６５により算出された顔領域以外のホワイトバランスゲインが用いられて、ホワイトバランスが調整される。
【００９８】
以上により、撮像画像において、顔領域とそれ以外の領域とで異なる照明があたっていたとしても、最適なホワイトバランス制御を行うことができる。
【００９９】
なお、次に説明するように、顔領域のみにホワイトバランス調整を行うようにしてもよい。
【０１００】
[顔局所ホワイトバランス処理の例]
次に、図１０のフローチャートを参照して、図８のステップＳ１３８における顔局所ホワイトバランス処理の他の例を説明する。
【０１０１】
図８のステップＳ１３７により、高輝度領域の情報が、光源部分の画素情報として、光源色推定部１４１に供給される。
【０１０２】
これに対応して、ステップＳ１８１において、光源色推定部１４１は、入力となる高輝度領域の画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求める。そして、入力となる画素毎のRGB信号が、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。光源色推定部１４１は、推定した光源色の情報を、ホワイトバランス調整量計算部１４２に供給する。
【０１０３】
ステップＳ１８２において、ホワイトバランス調整量計算部１４２は、光源色推定部１４１により推定された光源色に対して、顔領域内のホワイトバランスゲインを算出し、算出したホワイトバランス調整量を、画像処理部１１４に供給する。
【０１０４】
画像処理部１１４は、ステップＳ１８３において、顔領域検出部１３１からの顔領域の情報に基づき、顔領域内のホワイトバランス調整量を用いて、撮像画像の顔領域内のホワイトバランス調整を行う。
【０１０５】
以上により、顔を照らす光源に対して適切なホワイトバランス制御を行うことが可能となる。この結果、撮像シーンにおいて、光源推定不可能な無彩色被写体が存在していたとしても、顔領域のホワイトバランスの色ずれを抑制することができる。
【０１０６】
[通常ホワイトバランス処理の例]
次に、図１１のフローチャートを参照して、図８のステップＳ１３９における通常ホワイトバランス処理の他の例を説明する。
【０１０７】
ステップＳ１９１において、無彩色領域検出部１３４は、ＷＢ制御部１２１の制御のもと、あるいは、顔領域検出部１３１、目領域情報取得部１３２、または高輝度領域検出部１３３からの各検出結果に応じて、撮像画像のRGBデータから、無彩色領域を検出する。無彩色領域検出部１３４は、検出した無彩色領域の画素情報を、光源色推定部１４１に供給する。
【０１０８】
ステップＳ１９２において、光源色推定部１４１は、入力となる無彩色領域の画素毎のRGB信号を、R/GとB/Gとを２軸にとる平面上にプロットし、加重平均を求め、予め平面上に定められている光源枠のどの位置に存在するかによって、光源色を推定する。光源色推定部１４１は、推定した光源色の情報を、ホワイトバランス調整量計算部１４２に供給する。
【０１０９】
ステップＳ１９３において、ホワイトバランス調整量計算部１４２は、光源色推定部１４１により推定された光源色に対して、ホワイトバランスゲインを算出し、算出したホワイトバランス調整量を、画像処理部１１４に供給する。
【０１１０】
画像処理部１１４は、ステップＳ１９４において、ホワイトバランス調整量を用いて、撮像画像のホワイトバランス調整を行う。
【０１１１】
以上のように、顔局所ホワイトバランス処理が必要ではない撮像モードの場合や、顔領域、目領域、または、高輝度領域が検出されない場合には、通常のホワイトバランス調整処理が行われる。
【０１１２】
[ホワイトバランス処理の他の例]
次に、図１２のフローチャートを参照して、図７のステップＳ１１２のホワイトバランス処理について説明する。
【０１１３】
なお、図１２の例においては、発光撮影か否かに応じたホワイトバランス処理について説明する。すなわち、人物を前にした発光撮影の場合、ストロボが照射された人物に対する適切なホワイトバランス調整量と、ストロボが届かないような背景に対する適切なホワイトバランス調整量とは異なる。これを同一のホワイトバランス調整量でフレーム全体のホワイトバランス処理を行うことにより、人物に対する色被りが発生する場合がある。そこで、図１２の例においては、本技術の顔局所ホワイトバランス処理を行う方法として、ストロボ発光したか否かによって、ホワイトバランス処理を行い分ける場合について説明する。
【０１１４】
ＷＢ制御部１２１は、ステップＳ２１１において、撮像時のホワイトバランスモードがＡＷＢ（オートホワイトバランス）モードであるか否かを判定する。ステップＳ２１１において、ＡＷＢモードであると判定された場合、すなわち、画像から光源の色温度を推定し、自動的にホワイトバランス処理を行う場合、処理は、ステップＳ２１２に進む。
【０１１５】
ステップＳ２１２において、ＷＢ制御部１２１は、発光撮影を行ったか否かを判定する。ユーザが強制的に発光を選択したか、あるいは、ストロボが自動発光して撮像が行われた場合、ステップＳ２１２において、発光撮影が行われたと判定され、処理は、ステップＳ２１３に進む。
【０１１６】
ステップＳ２１３において、顔領域検出部１３１は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域を検出する。なお、このとき、顔の有無だけでなく、検出された顔領域が、画像全領域に対してどのくらいの大きさ（画素総数）を持っているかの情報も取得される。顔領域検出部１３１は、検出した顔領域の情報を、目領域情報取得部１３２および画像処理部１１４に供給する。
【０１１７】
ステップＳ２１４において、顔領域検出部１３１は、取得した顔領域の有無や、顔領域の大きさを示す情報を基に、撮像画像に顔領域があるか否かを判定する。ステップＳ２１４において、顔領域があると判定された場合、処理は、ステップＳ２１５に進む。
【０１１８】
ステップＳ２１５において、目領域情報取得部１３２は、顔領域の領域内における目領域を検出し、目領域があるか否かを判定する。ステップＳ２１５において、目領域があると判定された場合、処理は、ステップＳ２１６に進む。ステップＳ２１６において、目領域情報取得部１３２は、検出した目領域の画素情報（目領域情報）を取得し、取得した目領域における画素情報を、高輝度領域検出部１３３に供給する。
【０１１９】
ステップＳ２１７において、高輝度領域検出部１３３は、発光（ストロボ）光源の写り込みがあるか否かを判定する。すなわち、ステップＳ２１７においては、目領域の画素情報の中に、予め設定されたストロボ光源の色情報に該当する高輝度領域があるか否かが判定される。ステップＳ２１７において、発光光源の写り込みがある、すなわち、高輝度領域があると判定された場合、高輝度領域検出部１３３は、検出した高輝度領域の情報を、光源部分の画素情報として、光源色推定部１４１に供給し、処理は、ステップＳ２１８に進む。
【０１２０】
ステップＳ２１８において、ホワイトバランス調整量決定部１２３および画像処理部１１４は、顔局所ＷＢ処理を行う。この顔局所ＷＢ処理については、図９を参照して上述した処理と基本的に同様な処理であるため、繰り返しになるので、その説明は省略されるが、この場合、ストロボ光源に対する調整量が求められて、顔領域に局所的にホワイトバランス調整が行われる。なお、ストロボ発光の写り込みが存在する場合は、ストロボ光源用のホワイトバランス調整量を予め設定しておき、予め設定されたストロボ光源用のホワイトバランス調整量を利用することも可能である。
【０１２１】
また、ユーザが非発光を選択、または、ストロボが自動発光しなかった場合、ステップＳ２１２において、発光撮影ではないと判定され、処理は、ステップＳ２１９に進む。
【０１２２】
ステップＳ２１４において、顔領域がないと判定された場合、処理は、ステップＳ２１９に進む。例えば、撮像シーン内に顔領域が存在しない場合、あるいは、存在したとしても、画像全領域に対する顔領域の大きさを示す情報が、所定の閾値より小さい場合などは、顔局所ホワイトバランス処理を行う場合に必要な目領域の画像情報が有効に得られないことから、顔領域がないと判定される。
【０１２３】
また、ステップＳ２１５において、目領域がない場合、処理は、ステップＳ２１９に進む。なお、ステップＳ２１５においては、目領域があったとしても、目領域がある閾値に対して十分に大きくない場合や目つぶりが発見された場合、有効な画素情報が得られないことから、目領域がないと判定される。
【０１２４】
ステップＳ２１７において、高輝度領域がないと判定された場合、すなわち、予め設定された閾値を超える高輝度画素が存在しない場合、光源の写りこみがないものとして、ステップＳ２１９に進む。
【０１２５】
ステップＳ２１９において、無彩色領域検出部１３４およびホワイトバランス調整量決定部１２３は、通常のホワイトバランス処理を行う。この通常のホワイトバランス処理については、図１１を参照して上述した処理と基本的に同様であるため、繰り返しになるので、その説明は省略される。これにより、撮像画像全体にホワイトバランス補正が行われる。
【０１２６】
一方、ステップＳ２１１において、ＡＷＢモードではないと判定された場合、処理は、ステップＳ２２０に進む。例えば、ユーザが意志を持って、光源毎に事前設定されているホワイトバランス処理を選択したり、あるいは、光源の色温度を自身で入力するホワイトバランス処理を行う。この場合、ステップＳ２１１において、ＡＷＢモードではないと判定され、処理は、ステップＳ２２０に進む。
【０１２７】
ステップＳ２２０において、制御部１１３および画像処理部１１４は、マニュアルＷＢ処理を行う。すなわち、制御部１１３は、操作入力部１１２を介して入力されるユーザの操作／選択により決定されたホワイトバランス調整量を、画像処理部１１４に供給する。画像処理部１１４は、制御部１１３からのユーザの操作／選択により決定されたホワイトバランス調整量を用いて、画像全体にホワイトバランス調整を行う。
【０１２８】
[ホワイトバランス処理の例]
次に、図１３のフローチャートを参照して、図７のステップＳ１１２のホワイトバランス処理の他の例について説明する。
【０１２９】
なお、図１３の例においては、新たに準備された顔局所ホワイトバランスモードの選択に応じたホワイトバランス処理について説明する。すなわち、本技術の顔局所ホワイトバランス処理を行う顔局所ホワイトバランスモードを、数あるホワイトバランスモードの１つの選択肢として予めユーザが選択可能な状態として準備する。図１３の例においては、本技術の顔局所ホワイトバランス処理を行う方法として、顔局所ホワイトバランスモードがユーザによって選択されているか否かによって、ホワイトバランス処理を行い分ける場合について説明する。
【０１３０】
ＷＢ制御部１２１は、ステップＳ２４１において、撮像時のホワイトバランスモードが顔局所ＷＢモードであるか否かを判定する。ステップＳ２４１において、顔局所ＷＢモードであると判定された場合、処理は、ステップＳ２４２に進む。
【０１３１】
ステップＳ２４２において、顔領域検出部１３１は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域を検出する。なお、このとき、顔の有無だけでなく、検出された顔領域が、画像全領域に対してどのくらいの大きさ（画素総数）を持っているかの情報も取得される。顔領域検出部１３１は、検出した顔領域の情報を、目領域情報取得部１３２および画像処理部１１４に供給する。
【０１３２】
ステップＳ２４３において、顔領域検出部１３１は、取得した顔領域の有無や、顔領域の大きさを示す情報を基に、撮像画像に顔領域があるか否かを判定する。ステップＳ２４３において、顔領域があると判定された場合、処理は、ステップＳ２４４に進む。
【０１３３】
ステップＳ２４４において、目領域情報取得部１３２は、顔領域の領域内における目領域を検出し、目領域があるか否かを判定する。ステップＳ２４４において、目領域があると判定された場合、処理は、ステップＳ２４５に進む。ステップＳ２４５において、目領域情報取得部１３２は、検出した目領域の画素情報（目領域情報）を取得し、取得した目領域における画素情報を、高輝度領域検出部１３３に供給する。
【０１３４】
ステップＳ２４６において、高輝度領域検出部１３３は、所定の輝度より高い高輝度領域を検出し、高輝度領域があるか否かを判定する。ステップＳ２４６において、高輝度領域があると判定された場合、高輝度領域検出部１３３は、検出した高輝度領域の情報を、光源部分の画素情報として、光源色推定部１４１に供給し、処理は、ステップＳ２４７に進む。
【０１３５】
ステップＳ２４７において、ホワイトバランス調整量決定部１２３および画像処理部１１４は、顔局所ＷＢ処理を行う。この顔局所ＷＢ処理については、図９を参照して上述した処理と基本的に同様の処理を行うのでその説明は繰り返しになるので省略される。これにより、顔領域に局所的にホワイトバランス調整が行われる。
【０１３６】
一方、ステップＳ２４１において、顔局所ＷＢモードではないと判定された場合、処理は、ステップＳ２４８に進む。ステップＳ２４８において、撮像時のホワイトバランスモードがＡＷＢ（オートホワイトバランス）モードであるか否かを判定する。ステップＳ２４８において、ＡＷＢモードであると判定された場合、処理は、ステップＳ２４９に進む。
【０１３７】
ステップＳ２４３において、顔領域がないと判定された場合、処理は、ステップＳ２４９に進む。例えば、撮像シーン内に顔領域が存在しない場合、あるいは、存在したとしても、画像全領域に対する顔領域の大きさを示す情報が、所定の閾値より小さい場合などは、顔局所ホワイトバランス処理を行う場合に必要な目領域の画像情報が有効に得られないことから、顔領域がないと判定される。
【０１３８】
また、ステップＳ２４４において、目領域がない場合、処理は、ステップＳ２４９に進む。なお、ステップＳ２４４においては、目領域があったとしても、目領域がある閾値に対して十分に大きくない場合や目つぶりが発見された場合、有効な画素情報が得られないことから、目領域がないと判定される。
【０１３９】
ステップＳ２４６において、高輝度領域がないと判定された場合、すなわち、予め設定された閾値を超える高輝度画素が存在しない場合、光源の写りこみがないものとして、ステップＳ２４９に進む。
【０１４０】
ステップＳ２４９において、無彩色領域検出部１３４およびホワイトバランス調整量決定部１２３は、通常のホワイトバランス処理を行う。この通常のホワイトバランス処理については、図１１を参照して上述した処理と基本的に同様の処理を行うのでその説明は省略される。これにより、撮像画像全体にホワイトバランス補正が行われる。
【０１４１】
また、ステップＳ２４８において、ＡＷＢモードではないと判定された場合、処理は、ステップＳ２５０に進む。例えば、ユーザが意志を持って、光源毎に事前設定されているホワイトバランス処理を選択したり、あるいは、光源の色温度を自身で入力するホワイトバランス処理を行う場合、ステップＳ２４８において、ＡＷＢモードではないと判定され、処理は、ステップＳ２５０に進む。
【０１４２】
ステップＳ２５０において、制御部１１３および画像処理部１１４は、マニュアルＷＢ処理を行う。すなわち、制御部１１３は、操作入力部１１２を介して入力されるユーザの操作／選択により決定されたホワイトバランス調整量を、画像処理部１１４に供給する。画像処理部１１４は、制御部１１３からのユーザの操作／選択により決定されたホワイトバランス調整量を用いて、画像全体にホワイトバランス調整を行う。
【０１４３】
[ホワイトバランス処理の他の例]
次に、図１４のフローチャートを参照して、図７のステップＳ１１２のホワイトバランス処理について説明する。
【０１４４】
なお、図１４の例においては、撮影シーンの明るさレベルに応じたホワイトバランス処理について説明する。すなわち、発光させずに夜景と人物とを撮像する場合や、広い屋内で人物を撮像する場合、前景の人物に対する適切なホワイトバランス調整量と、背景に対する適切なホワイトバランス調整量とは異なる。特に、夜景は、様々な光源が混在し、また、光源を有効に推定する画素領域が不足することも少なくないが、これを、同一のホワイトバランス調整量でフレーム全体のホワイトバランス処理を行うことで、人物に対する色被りが発生する恐れがある。
【０１４５】
そこで、図１４の例においては、本技術の顔局所ホワイトバランス処理を行う方法として、撮影シーンが屋内や夜景時である場合の明るさレベルか否かによって、ホワイトバランス処理を行い分ける場合について説明する。
【０１４６】
ＷＢ制御部１２１は、ステップＳ２６１において、撮像時のホワイトバランスモードがＡＷＢ（オートホワイトバランス）モードであるか否かを判定する。ステップＳ２６１において、ＡＷＢモードであると判定された場合、すなわち、画像から光源の色温度を推定し、自動的にホワイトバランス処理を行う場合、処理は、ステップＳ２６２に進む。
【０１４７】
ステップＳ２６２において、ＷＢ制御部１２１は、画像撮像部１１１からの画像の明るさレベルに基づいて、撮影シーンが屋内／夜屋外か否かを判定する。画像の明るさレベル値を予め設定された閾値と比較した結果、ステップＳ２６２において、シーンが屋内環境または夜の屋外であると判定された場合、処理は、ステップＳ２６３に進む。
【０１４８】
ステップＳ２６３において、顔領域検出部１３１は、ＷＢ制御部１２１の制御のもと、撮像画像のRGBデータから、撮像画像内人物の顔領域を検出する。なお、このとき、顔の有無だけでなく、検出された顔領域が、画像全領域に対してどのくらいの大きさ（画素総数）を持っているかの情報も取得される。顔領域検出部１３１は、検出した顔領域の情報を、目領域情報取得部１３２および画像処理部１１４に供給する。
【０１４９】
ステップＳ２６４において、顔領域検出部１３１は、取得した顔領域の有無や、顔領域の大きさを示す情報を基に、撮像画像に顔領域があるか否かを判定する。ステップＳ２６４において、顔領域があると判定された場合、処理は、ステップＳ２６５に進む。
【０１５０】
ステップＳ２６５において、目領域情報取得部１３２は、顔領域の領域内における目領域を検出し、目領域があるか否かを判定する。ステップＳ２６５において、目領域があると判定された場合、処理は、ステップＳ２６６に進み、目領域情報取得部１３２は、検出した目領域の画素情報（目領域情報）を取得し、取得した目領域における画素情報を、高輝度領域検出部１３３に供給する。
【０１５１】
ステップＳ２６７において、高輝度領域検出部１３３は、所定の輝度より高い高輝度領域を検出し、高輝度領域があるか否かを判定する。ステップＳ２６７において、高輝度領域があると判定された場合、高輝度領域検出部１３３は、検出した高輝度領域の情報を、光源部分の画素情報として、光源色推定部１４１に供給し、処理は、ステップＳ２６８に進む。
【０１５２】
ステップＳ２６８において、ホワイトバランス調整量決定部１２３および画像処理部１１４は、顔局所ＷＢ処理を行う。この顔局所ＷＢ処理については、図９を参照して後述される。これにより、顔領域に局所的にホワイトバランス調整が行われる。
【０１５３】
また、ステップＳ２６２において、日中屋外での撮影ように、明るさレベルが十分に高い場合、屋内／夜屋外ではないと判定され、処理は、ステップＳ２６９に進む。
【０１５４】
ステップＳ２６４において、顔領域がないと判定された場合、処理は、ステップＳ２６９に進む。例えば、撮像シーン内に顔領域が存在しない場合、あるいは、存在したとしても、画像全領域に対する顔領域の大きさを示す情報が、所定の閾値より小さい場合などは、顔局所ホワイトバランス処理を行う場合に必要な目領域の画像情報が有効に得られないことから、顔領域がないと判定される。
【０１５５】
また、ステップＳ２６５において、目領域がない場合、処理は、ステップＳ２６９に進む。なお、ステップＳ２６５においては、目領域があったとしても、目領域がある閾値に対して十分に大きくない場合や目つぶりが発見された場合、有効な画素情報が得られないことから、目領域がないと判定される。
【０１５６】
ステップＳ２６７において、高輝度領域がないと判定された場合、すなわち、予め設定された閾値を超える高輝度画素が存在しない場合、光源の写りこみがないものとして、ステップＳ２６９に進む。
【０１５７】
ステップＳ２６９において、無彩色領域検出部１３４およびホワイトバランス調整量決定部１２３は、通常のホワイトバランス処理を行う。この通常のホワイトバランス処理については、図１１を参照して上述した処理と基本的に同様であるため、繰り返しになるので、その説明は省略される。これにより、撮像画像全体にホワイトバランス補正が行われる。
【０１５８】
一方、ステップＳ２６１において、ＡＷＢモードではないと判定された場合、処理は、ステップＳ２７０に進む。例えば、ユーザが意志を持って、光源毎に事前設定されているホワイトバランス処理を選択したり、あるいは、光源の色温度を自身で入力するホワイトバランス処理を行う場合、ステップＳ２６１において、ＡＷＢモードではないと判定され、処理は、ステップＳ２７０に進む。
【０１５９】
ステップＳ２７０において、制御部１１３および画像処理部１１４は、マニュアルＷＢ処理を行う。すなわち、制御部１１３は、操作入力部１１２を介して入力されるユーザの操作／選択により決定されたホワイトバランス調整量を、画像処理部１１４に供給する。画像処理部１１４は、制御部１１３からのユーザの操作／選択により決定されたホワイトバランス調整量を用いて、画像全体にホワイトバランス調整を行う。
【０１６０】
以上のように、本技術においては、眼球への光源の写り込み（高輝度領域）を利用することで、肌色や目の色味などの個人差に影響を受けないホワイトバランス調整量を求めることが可能となる。
【０１６１】
また、光源の写り込み情報を利用してホワイトバランス調整量（ゲイン）の計算を行うことにより、複雑な光源色推定手法を用いずとも、より高精度な光源色推定とホワイトバランスの処理を行うことができる。
【０１６２】
さらに、ホワイトバランス制御を、顔領域とそれ以外の領域に分けて局所的に行うことにより、顔と背景で異なる照明が当っている場合にも、それぞれに最適なホワイトバランス制御が可能となる。
【０１６３】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１６４】
[コンピュータの構成例]
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示している。
【０１６５】
コンピュータ４００において、CPU（Central Processing Unit）４０１、ROM（Read Only Memory）４０２、RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
【０１６６】
バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、入力部４０６、出力部４０７、記憶部４０８、通信部４０９、及びドライブ４１０が接続されている。
【０１６７】
入力部４０６は、キーボード、マウス、マイクロホンなどよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記憶部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインタフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体４１１を駆動する。
【０１６８】
以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４０８に記憶されているプログラムを、入出力インタフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６９】
コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１７０】
コンピュータでは、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インタフェース４０５を介して、記憶部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記憶部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０８に、あらかじめインストールしておくことができる。
【０１７１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７２】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７３】
また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７４】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１７５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７７】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７９】
なお、本技術は以下のような構成も取ることができる。
（１）  画像から被写体の目領域を検出する目領域検出部と、
前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、
前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、
前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、
前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部と
を備える画像処理装置。
（２）  前記画像処理部は、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記少なくとも一部の領域としての前記画像における被写体の顔領域に対して、ホワイトバランスの調整を行う
前記（１）に記載の画像処理装置。
（３）  前記画像処理部は、前記画像全体の色情報に基づいて、前記画像における被写体の顔領域以外に対して、ホワイトバランスの調整を行う
前記（１）または（２）に記載の画像処理装置。
（４）  前記画像処理部は、設定されている撮像モードに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行う
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  前記画像処理部は、前記画像の明るさレベルに応じて、前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像における被写体の顔領域のみに対して、ホワイトバランスの調整を行う
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（６）  前記ホワイトバランス調整量計算部は、前記目領域検出部により被写体の目領域が検出されなかった場合、または、前記高輝度画素検出部により高輝度画素が検出されなかった場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算する
前記（１）に記載の画像処理装置。
（７）  前記ホワイトバランス調整量計算部は、前記画像における被写体の顔領域が所定の大きさより小さい場合、前記画像全体の色情報に基づいて、ホワイトバランス調整量を計算する
前記（１）または（６）に記載の画像処理装置。
（８）  画像処理装置が、
画像から被写体の目領域を検出し、
検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出し、
検出された高輝度画素から、光源の色情報を推定し、
推定された光源の色情報に基づいて、ホワイトバランス調整量を計算し、
計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う
画像処理方法。
（９）  画像処理装置を、
画像から被写体の目領域を検出する目領域検出部と、
前記目領域検出部により検出された目領域の画素に基づいて、所定の輝度より高い高輝度画素を検出する高輝度画素検出部と、
前記高輝度画素検出部により検出された高輝度画素から、光源の色情報を推定する光源色推定部と、
前記光源色推定部により推定された光源の色情報に基づいて、ホワイトバランス調整量を計算するホワイトバランス調整量計算部と、
前記ホワイトバランス調整量計算部により計算されたホワイトバランス調整量を用い、前記画像の少なくとも一部の領域に対して、ホワイトバランスの調整を行う画像処理部と
して機能させるプログラム。
【符号の説明】
【０１８０】
１０１  撮像装置，  １１１  画像撮像部，  １１２  操作入力部，  １１３  制御部，  １１４  画像処理部，  １１５  記録制御部，  １１６  記憶部，  １１７  表示制御部，  １１８  表示部，  １２１  ＷＢ制御部，  １２２  画像解析部，  １２３  ホワイトバランス調整量決定部，  １３１  顔領域検出部，  １３２  目領域情報取得部，  １３３  高輝度領域検出部，  １３４  無彩色領域検出部，  １４１  光源色推定部，  １４２  ホワイトバランス調整量計算部
【図１】
2014053855.tif 000007
【図２】
2014053855.tif 000008
【図３】
2014053855.tif 000009
【図４】
2014053855.tif 000010
【図５】
2014053855.tif 000011
【図６】
2014053855.tif 000012
【図７】
2014053855.tif 000013
【図８】
2014053855.tif 000014
【図９】
2014053855.tif 000015
【図１０】
2014053855.tif 000016
【図１１】
2014053855.tif 000017
【図１２】
2014053855.tif 000018
【図１３】
2014053855.tif 000019
【図１４】
2014053855.tif 000020
【図１５】
2014053855.tif 000021