(57)【特許請求の範囲】
【請求項１】
与えられる画像データを，白バランス調整ゲインにしたがって白バランス調整する白バランス調整手段，
異なるタイミングで撮像されて得られた画像データによって表される被写体像の差分を取ることにより，上記被写体像中の動き画像部分を検出する動き検出手段，
上記動き検出手段によって上記動き画像部分が検出された場合に，検出された上記動き画像部分を除く上記被写体像中の静止画像部分を表す画像データを用いて，上記白バランス調整手段における白バランス調整に用いられる白バランス調整ゲインを算出する白バランス安定調整ゲイン算出手段，および
上記白バランス安定調整ゲイン算出手段によって算出された白バランス調整ゲインと，現在適用されている白バランス調整ゲインとを比較する第１の比較手段を備え，
上記第１の比較手段によって，新たに算出された白バランス調整ゲインと現在適用されている白バランス調整ゲインとの差が所定の閾値を超えていると判断された場合に，上記白バランス調整手段は新たに算出された白バランス調整ゲインにしたがって白バランス調整する，
白バランス安定調整装置。
【請求項２】
上記被写体像中の静止画像部分の大きさと所定閾値とを比較する第２の比較手段，および
上記静止画像部分の大きさが所定閾値よりも小さい場合に，上記白バランス安定調整ゲイン算出手段による白バランス調整ゲインの算出を回避する回避手段をさらに備える，
請求項１に記載の白バランス安定調整装置。
【請求項３】
上記動き画像部分に特定被写体像が含まれるかどうかを判断する特定被写体像検出手段をさらに備え，
上記白バランス安定調整ゲイン算出手段は，
上記特定被写体像検出手段によって上記動き画像部分に特定被写体像が含まれることが検出された場合に，上記静止画像部分を表す画像データに代えて，上記特定被写体像を表す画像データを用いて上記白バランス調整ゲインを算出する，
請求項１に記載の白バランス安定調整装置。
【請求項４】
上記特定被写体像を特定するための特徴値を記憶した特定被写体像特徴記憶手段を備え，
上記特定被写体像検出手段は，
上記動き画像部分から得られる特徴値が，上記特定被写体像特徴記憶手段に記憶されている特徴値に近似するかどうかに応じて，上記動き画像部分に特定被写体像が含まれるかどうかを判断する，
請求項３に記載の白バランス安定調整装置。
【請求項５】
被写体を撮像し，撮像によって得られる被写体像を表す画像データを出力する撮像手段，および
上記請求項１から４のいずれか一項に記載の白バランス安定調整装置を備え，
上記撮像手段から出力された画像データが，上記白バランス調整手段および動き検出手段に与えられる，
撮像装置。
【請求項６】
白バランス調整手段が，与えられる画像データを白バランス調整ゲインにしたがって白バランス調整し，
動き検出手段が，異なるタイミングで撮像されて得られた画像データによって表される被写体像の差分を取ることにより，上記被写体像中の動き画像部分を検出し，
白バランス安定調整ゲイン算出手段が，上記動き検出手段によって上記動き画像部分が検出された場合に，検出された上記動き画像部分を除く上記被写体像中の静止画像部分を表す画像データを用いて，上記白バランス調整手段における白バランス調整に用いられる白バランス調整ゲインを算出し，
比較手段が，算出された白バランス調整ゲインと，現在適用されている白バランス調整ゲインとを比較し，
新たに算出された白バランス調整ゲインと現在適用されている白バランス調整ゲインとの差が所定の閾値を超えていると判断された場合に，新たに算出された白バランス調整ゲインにしたがって白バランス調整するように，上記白バランス調整手段を制御する，
白バランス安定調整装置の制御方法。
【請求項７】
コンピュータを，
与えられる画像データを白バランス調整ゲインにしたがって白バランス調整する白バランス調整手段，
異なるタイミングで撮像されて得られた画像データによって表される被写体像の差分を取ることにより，上記被写体像中の動き画像部分を検出する動き検出手段，
上記動き検出手段によって上記動き画像部分が検出された場合に，検出された上記動き画像部分を除く上記被写体像中の静止画像部分を表す画像データを用いて，上記白バランス調整手段における白バランス調整に用いられる白バランス調整ゲインを算出する白バランス安定調整ゲイン算出手段，および
上記白バランス安定調整ゲイン算出手段によって算出された白バランス調整ゲインと，現在適用されている白バランス調整ゲインとを比較する比較手段として機能させ，
上記比較手段によって，新たに算出された白バランス調整ゲインと現在適用されている白バランス調整ゲインとの差が所定の閾値を超えていると判断された場合に，上記白バランス調整手段に新たに算出された白バランス調整ゲインにしたがって白バランス調整させる，
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，安定した白バランス調整を実現する白バランス安定調整装置およびその制御方法，ならびに白バランス安定調整のためのプログラムに関する。
【背景技術】
【０００２】
特許文献１には，画像中に動体が存在する場合に自動白バランス（ＡＷＢ）追従速度を遅くし，動体が無い場合にＡＷＢ追従速度を速くするものが記載されている。常に動体が存在する撮影シーンにおいてＡＷＢ追従速度は変化せず，遅いままである。
【０００３】
特許文献２には主要被写体が動いたことを検知し，動体に対して色補正するものが記載されている。動体が絶えず変化する撮影シーンではＡＷＢ調整が頻繁に行われ，見づらい画像になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１５２２５３号公報
【特許文献２】特開２０１０−１０９３８号公報
【発明の開示】
【０００５】
この発明は，絶えず被写体が変化する撮影シーンが撮像されても安定した白バランス調整を行うことができるようにすることを目的とする。
【０００６】
この発明による白バランス安定調整装置は，与えられる画像データを白バランス調整ゲインにしたがって白バランス調整する白バランス調整手段，上記画像データによって表される被写体像中の動きを検出する動き検出手段，および上記動き検出手段によって検出される上記被写体像中の動き画像部分を除く静止画像部分を表す画像データを用いて，上記白バランス調整手段における白バランス調整に用いられる白バランス調整ゲインを算出する白バランス安定調整ゲイン算出手段を備える。
【０００７】
この発明は上記白バランス安定調整装置の制御に適する方法も提供する。この方法は，白バランス調整手段が，与えられる画像データを白バランス調整ゲインにしたがって白バランス調整し，動き検出手段が，上記画像データによって表される被写体像中の動きを検出し，白バランス安定調整ゲイン算出手段が，上記動き検出手段によって検出される上記被写体像中の動き画像部分を除く静止画像部分を表す画像データを用いて，上記白バランス調整手段における白バランス調整に用いられる白バランス調整ゲインを算出するように，白バランス調整安定化装置を制御する。
【０００８】
この発明は，コンピュータを，上記白バランス安定調整装置として機能させるためのプログラムも提供する。
【０００９】
この発明によると，被写体像中の動き画像部分が検出され，検出された動き画像部分以外の画像部分である静止画像部分を表す画像データが用いられて，白バランス調整に用いられる白バランス調整ゲインが算出される。絶えず被写体が変化する撮影シーンが撮像されても，変化する被写体像部分（動き画像部分）ではなく，安定している静止画像部分が用いられて白バランス調整ゲインが算出されるので，絶えず変化する被写体によって頻繁に白バランス調整ゲインが変更されて頻繁に白バランス調整が行われることがなく，安定した白バランス調整が実現される。画角調整または撮影範囲調整によって静止画像部分の色に変更があった場合には一般に静止画像部分の色が変わるので，画角調整または撮影範囲調整された場合にはそれに追従して白バランス調整を行うことができる。
【００１０】
好ましくは，上記白バランス安定調整ゲイン算出手段によって算出された白バランス調整ゲインと，現在適用されている白バランス調整ゲインとを比較する比較手段を備え，上記比較手段によって新たに算出された白バランス調整ゲインと現在適用されている白バランス調整ゲインとの差が所定の閾値を超えていると判断された場合に，白バランス調整手段は新たに算出された白バランス調整ゲインにしたがって白バランス調整する。現在適用されている白バランス調整ゲインと，新たに算出された白バランス調整ゲインがさほど違いがない（所定の閾値以下）である場合には現在適用されている白バランス調整ゲインをそのまま継続して用いられ，違いがある（所定の閾値を超える）場合に新たに算出された白バランス調整ゲインが適用される。白バランス調整の安定性をさらに高めることができる。
【００１１】
一実施態様では，上記被写体像中の静止画像部分の大きさと所定閾値とを比較する比較手段，および上記静止画像部分の大きさが所定閾値よりも小さい場合に，上記白バランス安定調整ゲイン算出手段による白バランス調整ゲインの算出を回避する回避手段をさらに備える。被写体像の大きな範囲を動き画像部分が占めているとすると，相対的に静止画像部分は小さくなる。このような状況で静止画像部分を表すデータから算出される白バランス調整ゲインは，その精度が必ずしも良好であるとは言えない。上記静止画像部分の大きさが所定閾値よりも小さい場合には，静止画像部分を表すデータから算出される白バランス調整ゲインの算出を回避して，静止画像部分を表すデータから算出される白バランス調整ゲインを用いた白バランス調整を行わないようにすることによって，白バランスの誤調整を回避することができる。なお，この場合には，たとえば被写体像全体の画像データを用いて算出される白バランス調整ゲイン，あらかじめ設定される白バランス調整ゲインを用いて，白バランス調整手段における白バランス調整を行えばよい。
【００１２】
他の実施態様では，白バランス安定調整装置は，上記動き画像部分に特定被写体像が含まれるかどうかを判断する特定被写体像検出手段をさらに備え，上記白バランス安定調整ゲイン算出手段は，上記特定被写体像検出手段によって上記動き画像部分に特定被写体像が含まれることが検出された場合に，上記静止画像部分を表す画像データに代えて，上記特定被写体像を表す画像データを用いて上記白バランス調整ゲインを算出する。特定被写体像，たとえば人物の顔画像が動き画像部分に含まれている場合には，その人物の顔画像を表す画像データが用いられて算出された白バランス調整ゲインが，白バランス調整に用いられる。特定被写体像（たとえば，人物の顔画像）に適した白バランス調整を行うことができる。
【００１３】
好ましくは，白バランス安定調整装置は上記特定被写体像を特定するための特徴値を記憶した特定被写体像特徴記憶手段を備えている。上記特定被写体像検出手段は，上記動き画像部分から得られる特徴値が，上記特定被写体像特徴記憶手段に記憶されている特徴値に近似するかどうかに応じて，上記動き画像部分に特定被写体像が含まれるかどうかを判断する。
【００１４】
この発明は，被写体を撮像し，撮像によって得られる被写体像を表す画像データを出力する撮像手段，および上述の白バランス調整安定装置を備える撮像装置も提供する。上記撮像手段から出力された画像データが，白バランス調整安定化装置の上記白バランス調整手段および動き検出手段に与えられる。
【図面の簡単な説明】
【００１５】
【図１】第１実施例のディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２】第１実施例の白バランス調整処理の手順を示すフローチャートである。
【図３】（Ａ）および（Ｂ）は被写体像を示す。
【図４】差分画像を示す。
【図５】第２実施例のディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図６】第２実施例の白バランス調整処理の手順を示すフローチャートである。
【図７】第３実施例のディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図８】第３実施例の白バランス調整処理の手順を示すフローチャートである。
【図９】（Ａ）および（Ｂ）は被写体像を示す。
【実施例】
【００１６】
図１は第１実施例のディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００１７】
ディジタル・スチル・カメラの全体の動作はＣＰＵ１によって統括される。
【００１８】
ＣＰＵ１が実行する制御プログラム，制御に必要な各種データ，カメラ設定値等がＲＯＭ32に記録されている。ＲＡＭ30はＣＰＵ１の作業用領域として利用され，かつ画像データの一時記憶領域として利用される。フラッシュメモリ31はホワイトバランス調整用のゲイン値等を一時的に記憶するために用いられる。
【００１９】
ディジタル・スチル・カメラは，レンズ駆動装置９によってレンズ位置が制御されるフォーカスレンズおよびズームレンズ２，絞り駆動装置10によって開口が制御される絞り３，およびシャッタ制御装置11によって開閉制御されるメカニカルシャッター４を含む。
【００２０】
操作器13によって撮像モードが設定されると，被写体像を表す光線束は，フォーカスレンズおよびズームレンズ２，絞り３およびメカニカルシャッター４を介してＣＣＤ５の受光面に入射する。ＣＣＤ制御装置12によって制御されるＣＣＤ５から一定周期で被写体像を表す映像信号が出力される。
【００２１】
ＣＣＤ５から出力した映像信号はアナログ信号処理装置６に入力する。アナログ信号処理装置６においてガンマ補正などの所定のアナログ信号処理が行われる。アナログ信号処理装置６から出力された画像データは，画像入力コントローラ８を介してディジタル信号処理装置26に入力してＡＷＢ（自動白バランス）調整等の所定の画像処理が行われた後，ＶＲＡＭ29に記憶される。ＡＷＢ調整において上述したフラッシュメモリ31に記憶されているＡＷＢ調整用ゲイン値（Ｒゲイン，Ｇゲイン，Ｂゲイン）が用いられる。ＶＲＡＭ29から読み出された画像データは表示制御装置21に入力する。表示制御装置21によって液晶モニタ22が制御されることにより，撮像によって得られた被写体像（いわゆるスルー画像）が液晶モニタ22の表示画面に表示される。
【００２２】
画像入力コントローラ８から出力された画像データは，ＡＦ（自動合焦）検出装置27およびＡＥ（自動露出）検出装置28にも入力する。ＡＦ検出装置27において，入力した画像データのコントラスト等にもとづいてフォーカスレンズ２のレンズ位置が算出される。算出されたレンズ位置となるようにレンズ駆動装置９によってフォーカスレンズ２が制御される。ＡＦ検出装置27において算出されたレンズ位置にもとづいて被写体までの距離も算出される。もっとも被写体までの距離を測定する測距装置を別途設けてもよい。ＡＥ検出装置28では入力した画像データにもとづいて被写体輝度が算出される。算出された輝度にもとづいて，絞り３の絞り値およびメカニカルシャッター４のシャッタ速度が算出される。算出された絞り値となるように絞り駆動装置10によって絞り３が制御され，算出されたシャッタ速度となるようにシャッタ制御装置11によってメカニカルシャッター４が制御される。
【００２３】
操作器13において撮像モードが設定されているときに，操作器13に含まれるレリーズ・ボタンが押されると，上述のように，被写体が撮像されて被写体像を表す画像信号がアナログ信号処理装置６から出力される。画像信号はアナログ／ディジタル変換器７によってディジタル画像データに変換され，画像入力コントローラ８を介してディジタル信号処理装置26においてＡＷＢ（自動白バランス）調整等の所定の画像処理が行われる。ディジタル信号処理装置26から出力された画像データはＲＡＭ30に一時的に記憶される。ＲＡＭ30から読み出された画像データは圧縮／伸長処理装置25に入力し，画像データが圧縮される。圧縮された画像データが記録制御装置23によってメモリ・カードなどの記録メディア24に記録される。
【００２４】
操作器13において再生モードが設定されると，記録メディア24に記録されている圧縮画像データが記録制御装置23によって読出され，圧縮／伸張処理装置25に与えられる。伸張された画像データがＶＲＡＭ29に記憶される。ＶＲＡＭ29に記憶された画像データに基づく画像が表示制御装置21によって制御される液晶モニタ22に表示される。
【００２５】
また，ディジタル・スチル・カメラには被写体像中の動体を検出する動体検出装置34，動体検出装置34によって被写体像中に動体が検出された場合に新規に算出される白バランス調整ゲイン（AWB_new）を演算（算出）するAWB_new演算装置33，およびディジタル信号処理装置26における白バランス調整処理で用いられるべき白バランス調整ゲインを選択（決定）するための白バランス調整ゲイン選択判定装置（AWB_newまたはAWB_now選択判定装置）35も備えている。
【００２６】
図２は，ディジタル・スチル・カメラ，特に上述の動体検出装置34，AWB_new演算装置 33および白バランス調整ゲイン選択判定装置35によって実行される白バランス調整処理の手順を示すフローチャートである。
【００２７】
たとえば，交通量の多い道路を撮影する定点撮影のように，絶えず被写体が変化するシーンにおいて常に被写体の色にしたがって自動白バランス（ＡＷＢ）調整を行うと，白バランスが安定せず，色バランスが頻繁に変化し，ユーザにとって見づらいスルー画像が表示されてしまう。定点撮影専用にディジタル・スチル・カメラを用いるのであれば，スルー画像における白バランス（白バランス調整ゲイン）を固定にしてしまうことも考えられるが，そうすると，ユーザが撮影中に画角または撮影対象範囲を変えたときに，変化後の被写体に応じた白バランス調整が行われないことになる。固定白バランスを採用するかまたは自動白バランス調整を採用するかをその都度ユーザに選択させてもよいが，その選択は非常に煩わしい。
【００２８】
そこで，この実施例のディジタル・カメラは，絶えず被写体が変化するシーンにおいて，ＡＷＢ調整を安定させるために，変化する被写体（動体）の無い画像部分を用いてＡＷＢ調整に用いられるゲインを演算する。
【００２９】
ディジタル・スチル・カメラの電源がオンされると，上述のように一定周期で被写体が撮像される。被写体像（スルー画像）（動画）が液晶モニタ22の表示画面に表示される。
【００３０】
初期状態（たとえば，電源オンの直後）においては，ディジタル信号処理装置26で算出されたＡＷＢゲイン（AWB_now）が初期値（AWB_ini）として用いられてＡＷＢ調整が行われる（ステップ41，ステップ42）。初期値（AWB_ini）は一般的なＡＷＢ制御において用いられるゲイン値であっても，固定のゲイン値であっても，前回のディジタル・スチル・カメラの起動時に最後に使われたゲイン値であってもよい。一般的なＡＷＢ制御において用いられるゲイン値は，たとえば，撮像によって得られる画像データによって表される画像の全体または中央部分の色等にしたがってディジタル信号処理装置26において求められる。ＡＷＢゲインはフラッシュメモリ31に一時的に記憶される。フラッシュメモリ31に記憶されているＡＷＢゲインが用いられてディジタル信号処理装置26によってＡＷＢ調整が行われる。
【００３１】
撮像が続行されている場合（ステップ43でNO），動体検出装置34によって被写体像中の動体が検出される（ステップ44）。動体検出では一定周期で撮像されて得られる２つ以上の被写体像の差が取られ，差分が得られた画像部分が動体として検出される。
【００３２】
図３（Ａ）は被写体像80の一例を示している。図３（Ｂ）は被写体像80の撮像の後に得られた被写体像81を示している。図４は，図３（Ａ）に示す被写体像80と図３（Ｂ）に示す被写体像81と間の差を取ることによって得られた差分画像82を示している。
【００３３】
差分画像82において差分が存在する（被写体像80と被写体像81との間に閾値以上のレベル差を有する画素が存在する）場合，すなわち動体が存在すると，AWB_new演算装置33によって動体が存在しないエリアの画像を表す画像データが用いられて，新たな白バランス調整ゲインAWB_newが演算される（ステップ46）。図４に示す差分画像82は，動体が存在するエリア（以下，動体エリアという）82Ｂと，動体が存在しないエリア（以下，静止エリアという）82Ａを含む。静止エリア82Ａを表す画像データがAWB_new演算装置33における新たな白バランス調整ゲインAWB_newの演算に用いられる。
【００３４】
選択判定装置35によって，現在用いられているフラッシュメモリ31に記憶されている白バランス調整ゲインAWB_nowと，AWB_new演算装置33によって新たに算出された白バランス調整ゲインAWB_newとが比較され，その差が所定の閾値以下であるかどうかが判断される（ステップ46，47）。差が所定の閾値以下であれば，現在適用されている白バランス調整ゲインAWB_nowがそのまま継続して用いられる（ステップ47でNO，ステップ48，ステップ42）。
【００３５】
差が所定の閾値を超えている場合，フラッシュメモリ31において現在適用される白バランス調整ゲインAWB_nowが，新たに算出された白バランス調整ゲインAWB_newに書換えられる（ステップ47でNO，ステップ49）。次回のＡＷＢ調整では，静止エリア82Ａを表す画像データを用いて演算された新たな白バランス調整ゲインAWB_newが用いられてＡＷＢ調整が行われることになる（ステップ42）。
【００３６】
撮像が終了すると（たとえば，ディジタル・スチル・カメラの電源がオフされると）（ステップ44でYES ），上述した処理は終了する。
【００３７】
動体のない静止エリア82Ａが用いられてＡＷＢ調整が行われるので，絶えず被写体が変化するシーンが撮像されていても，白バランス調整に用いられる白バランス調整ゲインが頻繁には変更されず，安定したＡＷＢ調整が行われる。また，ユーザが撮影中に画角または撮影範囲を変えたときにはそれに追従して白バランス調整ゲインが調整（変更）される。ユーザにとって見やすいスルー画像が提供される。
【００３８】
上述した第１実施例では，専用のハードウエア装置（動体検出装置34，AWB_new演算装置33および白バランス調整ゲイン選択判定装置35）によって白バランス調整処理が実行されているが，ＣＰＵ１またはディジタル信号処理装置26に，これらのハードウエア装置による処理と同じ処理を実行させてもよい。この場合には，ＣＰＵ１またはディジタル信号処理装置26に上述の白バランス調整処理を実行させるためのプログラムがＲＯＭ32に記憶される。このことは後述する他の実施例でも同様である。
【００３９】
図５は第２実施例のディジタル・スチル・カメラの電気的構成を示すブロック図である。図１に示す第１実施例のディジタル・スチル・カメラのブロック図とは，面積算出装置36および面積判定装置37が加えられている点が異なる。図６は第２実施例のディジタル・スチル・カメラにおける白バランス調整処理の手順動作を示すフローチャートである。図２に示す第１実施例の処理手順を示すフローチャートと同一処理には同一符号を付し，重複説明を避ける。
【００４０】
上述した第１実施例と同様に，第２実施例においても，静止エリア82Ａ（図４）の画像データにしたがって新たな白バランス調整ゲインAWB_newが算出される。しかしながら，差分画像82における静止エリア82Ａの面積が小さいとすると，静止エリア82Ａの画像データにしたがって算出される新たな白バランス調整ゲインAWB_newの信頼度は低くなる。そこで，第２実施例では，静止エリア82Ａの面積が小さい場合には現在用いられている白バランス調整ゲインAWB_nowがそのまま継続して用いられる。
【００４１】
図６を参照して，差分画像82における動体のないエリア（静止エリア82Ａ）の合計面積が面積算出装置36によって算出される（ステップ51）。算出された面積と所定の面積閾値（面積閾値は，画素数でも，画像全体に対する割合でもよい）とが比較され，静止エリア82Ａの面積が面積閾値以下である場合には現在用いられている白バランス調整ゲインAWB_nowがそのまま継続して用いられる（ステップ52でYES ，ステップ48）。静止エリア82Ａの面積が面積閾値を超えている場合には，第１実施例と同様に，静止エリア82Ａの画像データが用いられて新たな白バランス調整ゲインAWB_newが算出される（ステップ52でNO，ステップ53）。面積閾値はあらかじめＲＯＭ32に記憶される。
【００４２】
被写体像を占める動体の割合が増えてきた場合であっても，安定したＡＷＢ調整が実現される。
【００４３】
第３実施例
図７は第３実施例のディジタル・スチル・カメラの電気的構成を示すブロック図である。図１に示す第１実施例のディジタル・スチル・カメラのブロック図とは，オブジェクト認識装置38およびオブジェクト情報保持装置39が加えられている点が異なる。図８は第３実施例のディジタル・スチル・カメラにおける白バランス調整処理の手順を示すフローチャートである。図２に示す第１実施例の処理手順を示すフローチャートと同一処理には同一符号を付し，重複説明を避ける。
【００４４】
図９（Ａ）は差分画像の作成に用いられる被写体像90の一例を示している。図９（Ｂ）は差分画像の作成に用いられる，被写体像90の撮像の後に得られた被写体像91を示している。図９（Ａ）および図９（Ｂ）を参照しつつ，第３実施例のディジタル・スチル・カメラの動作手順（図８）を説明する。
【００４５】
動体検出（ステップ44）において被写体像90と被写体像91との差分が取られ，動きのある部分が差分画像において抽出されるのは第１実施例と同じである。図９（Ａ）に示す被写体像90および図９（Ｂ）に示す被写体像91には３名の人物像Ｆ１，Ｆ２，Ｆ３が含まれ，被写体像90と被写体像91とでは中央の人物像Ｆ２および右の人物像Ｆ３の顔（表情）が変わっている。差分画像には中央の人物像Ｆ２の顔画像部分ｆ２および右の人物像Ｆ３の顔画像部分ｆ３が動き（動体画像部分）として検出される。左の人物像Ｆ１には動きが無いので動体として検出されない。
【００４６】
動体検出が終わると，動体画像部分ｆ２，ｆ３について，それがあらかじめオブジェクト情報保持装置39に登録されている特徴を有するかどうか（動体に主要被写体が含まれるかどうか）が判断される（ステップ61，62）。
【００４７】
この実施例では，オブジェクト情報保持装置39には人の顔の特徴値を表すデータが記憶されているものとする。たとえば，目，鼻，口，頬などの画像部分の形状を表す特徴値，これらの色の特徴値など，人の顔であることを検出するための複数の特徴値がオブジェクト情報保持装置39にあらかじめ記憶されており，動体画像部分ｆ２，ｆ３から得られる特徴値が，オブジェクト情報保持装置39に保持されている特徴値に合致するまたは近似するかどうかが判断される。
【００４８】
動体画像部分ｆ２，ｆ３から得られる特徴値がオブジェクト情報保持装置39に記憶されている特徴値に合致するまたは近似すると判断された場合（ステップ62でYES ），上述の例の場合であれば，動体画像部分ｆ２，ｆ３が人物の顔であると判断された場合，人物の顔を考慮した新たな白バランス調整ゲインAWB_newが，AWB_new演算装置33によって演算される（ステップ63）。オブジェクト情報保持装置39に記憶されている特徴値が人物の顔に関する特徴値である場合，人物の顔をより肌色に近づけるゲイン値が新たな白バランス調整ゲインAWB_newとして演算される。演算によって得られた新たな白バランス調整ゲインAWB_newが用いられてＡＷＢ調整が行われることによって，主要被写体，ここでは人物の顔に適したＡＷＢ調整が行われる（ステップ64，ステップ42）。
【００４９】
動体画像部分ｆ２，ｆ３から得られる特徴値がオブジェクト情報保持装置39に記憶されていないと判断された場合（ステップ62でNO），上述の例の場合，動体画像部分ｆ２，ｆ３は検出されたがその動体画像部分ｆ２，ｆ３は人物の顔ではないと判断された場合には，第１実施例と同様の処理によって動体のないエリア（静止エリア）の画像データが用いられて，新たな白バランス調整ゲインAWB_newが演算される（ステップ45）。
【００５０】
動体が存在し，かつその動体があらかじめ定められた主要被写体（たとえば，人物の顔）であると判断された場合に，その主要被写体に適する新たな白バランス調整ゲインAWB_newが用いられてＡＷＢ調整が行われる。ユーザにとって好ましいＡＷＢ調整が実現される。
【符号の説明】
【００５１】
１  ＣＰＵ
５  ＣＣＤ
26  デジタル信号処理装置
30  ＲＡＭ
31  フラッシュメモリ
32  ＲＯＭ
33  AWB_new演算装置
34  動体検出装置
35  選択判定装置
36  面積算出装置
37  面積判定装置
38  オブジェクト認識装置
39  オブジェクト情報保持装置
【図１】
0005615012.tif 000002
【図２】
0005615012.tif 000003
【図３】
0005615012.tif 000004
【図４】
0005615012.tif 000005
【図５】
0005615012.tif 000006
【図６】
0005615012.tif 000007
【図７】
0005615012.tif 000008
【図８】
0005615012.tif 000009
【図９】
0005615012.tif 000010