(57)【特許請求の範囲】
【請求項１】
一連のカラー撮像画像の各フレームから、特定パターンの存在する特定領域を検出する検出手段と、
前記各フレームの前記特定領域から、その特定領域の特徴量を示す第１領域評価値を抽出する第１領域評価値抽出手段と、
前記特定領域の検出信頼度を示す第２領域評価値を、前記各フレームについて算出する第２領域評価値算出手段と、
前記各フレームの全域から、そのフレームの撮像時の照明色を示す第１フレーム評価値を抽出する第１フレーム評価値抽出手段と、
算出された前記第２領域評価値が閾値未満であった場合には、前記第２領域評価値の訂正を、それに対応する前記第１フレーム評価値のフレーム間相関度に基づき行う訂正手段と、
前記各フレームの訂正後の前記第２領域評価値及び前記第１領域評価値に応じて、そのフレーム又はその後フレームに関する処理のパラメータを設定する設定手段と
を備えたことを特徴とする画像制御装置。
【請求項２】
請求項１に記載の画像制御装置において、
前記訂正手段は、
算出された前記第２領域信頼度が閾値未満であった場合には、その第２領域評価値を訂正すると共に、それに対応する前記第１領域評価値をも訂正する
ことを特徴とする画像制御装置。
【請求項３】
請求項１又は請求項２に記載の画像制御装置において、
前記第１フレーム評価値の抽出信頼度を示す第２フレーム評価値を、前記各フレームについて算出する第２フレーム評価値算出手段を更に備え、
前記訂正手段は、
前記訂正に先立ち、前記第１フレーム評価値のフレーム間相関度を、それに対応する前記第２フレーム評価値により補正する
ことを特徴とする画像制御装置。
【請求項４】
請求項１〜請求項３の何れか一項に記載の画像制御装置において、
前記第１フレーム評価値は、
前記全域の画素群のうち所定の色範囲に属する画素群の色ヒストグラムである
ことを特徴とする画像制御装置。
【請求項５】
請求項１〜請求項４の何れか一項に記載の画像制御装置において、
前記特定領域は、
顔領域である
ことを特徴とする画像制御装置。
【請求項６】
請求項１〜請求項５の何れか一項に記載の画像制御装置において、
前記パラメータは、
画像処理パラメータである
ことを特徴とする画像制御装置。
【請求項７】
請求項１〜請求項５の何れか一項に記載の画像制御装置において、
前記パラメータは、
撮像パラメータである
ことを特徴とする画像制御装置。
【請求項８】
カラーの撮像素子と、
前記撮像素子が取得した一連のカラー撮像画像の各フレームに基づき、そのフレーム又はその後フレームに関する処理のパラメータを設定する請求項１〜請求項７の何れか一項に記載の画像制御装置と、
を備えたことを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記画像制御装置は、
前記パラメータの設定を、前記一連のカラー撮像画像の取得期間中にリアルタイムで行う
ことを特徴とする撮像装置。
【請求項１０】
一連のカラー撮像画像の各フレームから、特定パターンの存在する特定領域を検出する検出手順と、
前記各フレームの前記特定領域から、その特定領域の特徴量を示す第１領域評価値を抽出する第１領域評価値抽出手順と、
前記特定領域の検出信頼度を示す第２領域評価値を、前記各フレームについて算出する第２領域信頼度算出手順と、
前記各フレームの全域から、そのフレームの撮像時の照明色を示す第１フレーム評価値を抽出する第１フレーム評価値抽出手順と、
算出された前記第２領域評価値が閾値未満であった場合には、前記第２領域評価値の訂正を、それに対応する前記第１フレーム評価値のフレーム間相関度に基づき行う訂正手順と、
前記各フレームの訂正後の前記第２領域評価値及び前記第１領域評価値に応じて、そのフレーム又はその後フレームに関する処理のパラメータを設定する設定手順と、
をコンピュータに実行させることを特徴とする画像制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン検出の結果に基づく処理のパラメータ制御に関する。
【背景技術】
【０００２】
特許文献１に記載のホワイトバランス調整では、白検出に基づき算出された第１のホワイトバランス係数と、顔検出に基づき算出された第２のホワイトバラン係数とを重み付け合成することで最終的なホワイトバランス係数を算出しており、顔検出の信頼度が低いときほど第２のホワイトバランス係数に対する重みを抑えることで、顔の誤検出によるホワイトバランス調整の失敗を防いでいる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2009-212853号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら顔検出の信頼度は、サングラスやマスクの着脱のみならず、顔の見え方や髪の状態の変化など、顔領域の僅かな変化によっても急激に低下することがあるため、顔検出の信頼度に依存した処理は、撮像シーンの構成が安定しているにも拘わらず結果が不安定となる虞がある。その一例として、顔検出を用いたホワイトバランス調整の場合、撮像シーンの照明色が安定しているにも拘わらず画像のホワイトバランスが不安定となる虞があった。
【０００５】
そこで本発明は、パターン検出の結果に基づく処理のパラメータ制御を安定的に行うことのできる画像制御装置、撮像装置、画像制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像制御装置は、一連のカラー撮像画像の各フレームから、特定パターンの存在する特定領域を検出する検出手段と、前記各フレームの前記特定領域から、その特定領域の特徴量を示す第１領域評価値を抽出する第１領域評価値抽出手段と、前記特定領域の検出信頼度を示す第２領域評価値を、前記各フレームについて算出する第２領域評価値算出手段と、前記各フレームの全域から、そのフレームの撮像時の照明色を示す第１フレーム評価値を抽出する第１フレーム評価値抽出手段と、算出された前記第２領域評価値が閾値未満であった場合には、前記第２領域評価値の訂正を、それに対応する前記第１フレーム評価値のフレーム間相関度に基づき行う訂正手段と、前記各フレームの訂正後の前記第２領域評価値及び前記第１領域評価値に応じて、そのフレーム又はその後フレームに関する処理のパラメータを設定する設定手段とを備える。
【０００７】
本発明の撮像装置は、カラーの撮像素子と、前記撮像素子が取得した一連のカラー撮像画像の各フレームに基づき、そのフレーム又はその後フレームに関する処理のパラメータを設定する本発明の画像制御装置とを備える。
【０００８】
本発明の画像制御プログラムは、一連のカラー撮像画像の各フレームから、特定パターンの存在する特定領域を検出する検出手順と、前記各フレームの前記特定領域から、その特定領域の特徴量を示す第１領域評価値を抽出する第１領域評価値抽出手順と、前記特定領域の検出信頼度を示す第２領域評価値を、前記各フレームについて算出する第２領域信頼度算出手順と、前記各フレームの全域から、そのフレームの撮像時の照明色を示す第１フレーム評価値を抽出する第１フレーム評価値抽出手順と、算出された前記第２領域評価値が閾値未満であった場合には、前記第２領域評価値の訂正を、それに対応する前記第１フレーム評価値のフレーム間相関度に基づき行う訂正手順と、前記各フレームの訂正後の前記第２領域評価値及び前記第１領域評価値に応じて、そのフレーム又はその後フレームに関する処理のパラメータを設定する設定手順とをコンピュータに実行させる。
【発明の効果】
【０００９】
本発明によれば、パターン検出の結果に基づく処理のパラメータ制御を安定的に行うことのできる画像制御装置、撮像装置、画像制御プログラムが実現する。
【図面の簡単な説明】
【００１０】
【図１】電子カメラの構成図である。
【図２】動画撮像時におけるＣＰＵ２１の動作フローチャートである。
【図３】ゲイン算出処理のサブルーチンである。
【図４】顔領域を説明する図である。
【図５】無彩色検出範囲を説明する図である。
【図６】色ヒストグラムを説明する図である。
【図７】照明色信頼度を説明する図である。
【図８】フレーム評価値のフレーム間変化の表である。
【図９】顔信頼度及び顔色のフレーム間変化のグラフである。
【図１０】顔信頼度Ｖ（ｔ）の訂正方法の概念図である。
【図１１】顔色の赤成分Ｒ（ｔ）の訂正方法の概念図である。
【発明を実施するための形態】
【００１１】
［実施形態］
以下、本発明の実施形態として電子カメラを説明する。
【００１２】
図１は、電子カメラの構成図である。図１に示すとおり電子カメラ１には、撮像素子１１、信号処理回路１２、バッファメモリ１３、画像処理回路１４、顔検出回路１５Ａ、ホワイトバランス演算回路１５Ｂ、表示制御回路１６、内部モニタ１７、圧縮・伸張回路１８、カードインタフェース１９、ＣＰＵ２１、撮像回路２２、入力器２３、外部接続端子２４などが備えられる。このうちバッファメモリ１３、画像処理回路１４、顔検出回路１５Ａ、ホワイトバランス演算回路１５Ｂ、表示制御回路１６、圧縮・伸張回路１８、カードインタフェース１９、ＣＰＵ２１は、共通のバスに接続されている。
【００１３】
撮像素子１１は、撮像レンズ２が形成した被写界像を撮像するカラー撮像素子であって、例えばベイヤ配列のカラーフィルタを有した単板式カラー撮像素子である。
【００１４】
信号処理回路１２は、撮像素子１１が撮像で取得したアナログ画像信号に対してアナログ信号処理及びＡ／Ｄ変換処理を順次に施し、ディジタル画像信号に変換する。
【００１５】
バッファメモリ１３は、信号処理回路１２から出力されるディジタル画像信号を順次に蓄積する。撮像素子１１の１フレーム分の電荷読み出し期間に亘ってこの蓄積が行われると、バッファメモリ１３には１フレーム分のディジタル画像データが蓄積されることになる。以下、１フレーム分のディジタル画像データを単に「画像」と称す。
【００１６】
画像処理回路１４は、ＣＰＵ２１から指定された画像に対して、ホワイトバランス調整処理、色補間処理（所謂デベイヤ処理）、階調変換処理、ＫＮＥＥ処理などの一連の画像処理を施す。
【００１７】
顔検出回路１５Ａは、ＣＰＵ２１から指定された画像に対して顔検出処理を施す。顔検出処理は、予め学習した顔パターンと相関の高いパターンの存在領域（顔領域）を画像中から検出するものである。その際、顔検出回路１５Ａは、検出した顔領域のパターンと、予め学習した顔パターンとの相関度を、その検出の信頼度（以下、「顔信頼度」と称す。）として算出する。
【００１８】
ホワイトバランス演算回路１５Ｂは、ＣＰＵ２１から指定された画像に基づき、その画像の撮像時に被写界を照明していた光源の色（照明色）を推定する。その際、ホワイトバランス演算回路１５Ｂは、その画像の中から特定の色範囲に属する画素群を見出し、その画素群の色ヒストグラムを作成する（詳細は後述）。
【００１９】
表示制御回路１６は、表示用メモリを有しており、その表示用メモリに書き込まれた画像を内部モニタ１７へ送出することにより、内部モニタ１７上へ画像を表示する。なお、外部接続端子２４に外部モニタが接続されている期間には、表示制御回路１６による画像の送出先は、内部モニタ１７ではなく外部モニタとなる。但し、以下では簡単のため、外部接続端子２４に外部モニタは接続されていないものと仮定する。
【００２０】
内部モニタ１７は、電子カメラ１の背面などに設けられ、電子カメラ１で取得された画像をユーザが確認する際などに使用されるモニタである。このモニタは、例えばＬＣＤパネルなどで構成される。
【００２１】
外部接続端子２４は、表示制御回路１６を外部モニタへ接続するための端子である。外部接続端子２４は、例えば、ＵＳＢポートなどで構成される。
【００２２】
圧縮・伸張回路１８は、バッファメモリ１３に格納された画像又は画像群に対し、データ圧縮処理を施す。また、圧縮・伸張回路１８は、データ圧縮済みの画像又は画像群（画像ファイル又は動画像ファイル）に対し、データ伸張処理を施すこともできる。
【００２３】
カードインタフェース１９は、データ圧縮済みの画像（画像ファイル又は動画像ファイル）を、電子カメラ１のカードスロットに装着中のカードメモリ２０へ書き込んだり、そのカードメモリ２０に書き込まれている画像ファイル又は動画像ファイルを読み込んだりする。なお、カードメモリ２０は、可搬の記憶媒体である。
【００２４】
撮像回路２２は、撮像レンズ２に対して駆動信号を与えることにより、撮像レンズ２の焦点距離（ズーム位置）、撮像レンズ２の合焦距離、撮像レンズ２の絞り値などを調節する。また、撮像回路２２は、撮像素子１１及び信号処理回路１２に対して駆動信号を与えることにより、両者の駆動タイミングを制御する。また、撮像回路２２は、撮像素子１１の１フレーム当たりの電荷蓄積時間を制御する。なお、電子カメラ１のシャッター速度は、撮像素子１１の電荷蓄積時間と不図示のメカシャッタの開放期間との組み合わせによって設定できるが、撮像素子１１の電荷蓄積時間のみによって設定することもできる。
【００２５】
ＣＰＵ２１は、入力器２３を介して入力されるユーザの指示と、ＣＰＵ２１の内部メモリ（ＲＯＭ）に予め書き込まれたファームウエアとに従い、以上の各部を制御する。なお、ＣＰＵ２１のファームウエアは、電子カメラ１に搭載された不図示の通信回路（公知のネットワーク端子など）を介して適宜に更新される。
【００２６】
入力器２３は、電子カメラ１の上部に設けられたレリーズボタンや、電子カメラ１の背面に設けられたマルチセレクターなどの操作部材である。ユーザは、この入力器２３を介して動画撮像又は静止画撮像の開始指示を入力することができる。また、ユーザは、動画撮像中に、この入力器２３を介して動画撮像の終了指示を入力することができる。
【００２７】
図２は、動画撮像時におけるＣＰＵ２１の動作フローチャートである。なお、この動作フローチャートは、動画撮像の開始指示が入力された時点で開始される。以下、図２の各ステップを順に説明する。
【００２８】
ステップＳ１０：ＣＰＵ２１は、電子カメラ１の撮像パラメータ（絞り値、シャッター速度、合焦距離、ズーム位置など）、電子カメラ１の画像処理パラメータ（ホワイトバランス調整処理のホワイトバランスゲイン、階調変換処理の階調変換カーブ、ＫＮＥＥ処理のＫＮＥＥ特性カーブなど）を、予め決められた組み合わせに設定してから、動画撮像用のモード（ドラフトモード）で撮像素子１１の駆動を開始するよう撮像回路２２へ指示を出す。撮像回路２２は、撮像素子１１を例えば１／３０秒間に１フレームずつ駆動し、バッファメモリ１３へ１／３０秒に１フレームずつ画像を蓄積する。
【００２９】
なお、ここでは説明を簡単にするため、これらの画像処理パラメータ及び撮像パラメータのうちホワイトバランスゲインのみが動画撮像中にフィードバック制御され、その他の画像処理パラメータ及び撮像パラメータは固定されるものと仮定する。以降のステップＳ１１〜Ｓ１６の処理が、フィードバック制御の１ループに相当する。このループは、バッファメモリ１３へ最新フレームの画像が蓄積される毎に開始され、後フレームの画像が蓄積される前に完了する（ここではフィードバック制御の１ループを１フレーム周期毎に実行する場合を例に挙げるが、フィードバック制御の１ループを複数フレーム周期毎に実行してもよいことは言うまでもない。）。
【００３０】
ステップＳ１１：ＣＰＵ２１は、バッファメモリ１３に蓄積された最新フレームの画像を読み込む。
【００３１】
ステップＳ１２：ＣＰＵ２１は、最新フレームの画像に対して画像処理を施すよう画像処理回路１４へ指示を出す。画像処理回路１４は、その最新フレームの画像に対して前述した一連の画像処理（ホワイトバランス調整処理、色補間処理、階調変換処理、ＫＮＥＥ処理など）を施す。なお、初回のループのホワイトバランス調整処理で使用されるホワイトバランスゲインは、最初のステップＳ１０で設定されたホワイトバランスゲインであり、２回目以降のループで使用されるホワイトバランスゲインは、前のループで更新されたホワイトバランスゲインである。
【００３２】
ステップＳ１３：ＣＰＵ２１は、画像処理後の最新フレームの画像を表示制御回路１６の表示用メモリへ書き込むことにより、その画像を表示する。よって、ユーザは、電子カメラ１が取得する画像をリアルタイムで確認することができる。
【００３３】
ステップＳ１４：ＣＰＵ２１は、ゲイン算出処理のサブルーチンを呼び出して実行する。このサブルーチンは、最新フレームの画像に基づき、後フレームの画像に適用すべきホワイトバランスゲインを算出するためのサブルーチンである。このサブルーチンの詳細は、後述する。
【００３４】
ステップＳ１５：ＣＰＵ２１は、直前のステップＳ１４で算出したホワイトバランスゲインを画像処理回路１４に対して設定する。これにより、画像処理回路１４が使用すべきホワイトバランスゲインが更新される。更新後のホワイトバランスゲインは、後フレームの画像へ適用される。
【００３５】
ステップＳ１６：ＣＰＵ２１は、ユーザから動画撮像の終了指示が入力されたか否かを判別し、入力されていない場合はステップＳ１１へ戻り、入力された場合にはステップＳ１７へ移行する。
【００３６】
ステップＳ１７：ＣＰＵ２１は、現時点までにバッファメモリ１３へ蓄積された各フレームの画像（画像処理後の画像）に対してデータ圧縮処理を施すよう圧縮・伸張回路１８へ指示する。圧縮・伸張回路１８は、各フレームの画像をデータ圧縮することにより、ＭＰＥＧファイルなどの動画像ファイルを作成する。ＣＰＵ２１は、カードインタフェース１９を介してその動画像ファイルをカードメモリ２０へ書き込み、フローを終了する。これによって、各フレームの画像が１つの動画像ファイルとして保存される。
【００３７】
なお、図２では、ステップＳ１２〜Ｓ１３の処理と、ステップＳ１４〜Ｓ１５の処理とが並列処理として表現されているが、ループの所要時間が許容範囲内（ここではフレーム周期以下）に収まるのであれば、ステップＳ１２〜Ｓ１３の処理と、ステップＳ１４〜Ｓ１５の処理とを直列処理としても構わない。
【００３８】
図３は、ゲイン算出処理のサブルーチンである。以下、図３の各ステップを順に説明する。
【００３９】
ステップＳ１４−１：ＣＰＵ２１は、最新フレームの画像に対して顔検出処理を施すよう顔検出回路１５Ａへ指示を出す。顔検出回路１５Ａは、その画像に対して顔検出処理を施し、その顔検出処理で検出した顔領域（例えば図４に示す矩形領域）と、顔検出処理の過程で算出した顔信頼度とをＣＰＵ２１へ出力する。但し、顔信頼度が閾値未満であった場合（例えば顔信頼度が２０％以下であった場合）、顔検出回路１５Ａは、顔領域を出力する代わりに、顔領域が検出できなかった旨を示す情報（エラー情報）を出力する。
【００４０】
ステップＳ１４−２：ＣＰＵ２１は、顔検出回路１５Ａから出力された顔信頼度を最新フレームの顔信頼度とみなす。また、ＣＰＵ２１は、顔検出回路１５Ａから出力された顔領域の平均色度を最新フレームの顔色として算出する。但し、ＣＰＵ２１は、顔検出回路１５Ａからエラー情報が出力された場合には、その算出を行うことなく最新フレームの顔色を予め決められた値（エラー値）に設定する。また、ＣＰＵ２１は、本ステップで取得した顔信頼度及び顔色を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。
【００４１】
ステップＳ１４−３：ＣＰＵ２１は、最新フレームの画像の全域に対して照明色推定処理を施すようホワイトバランス演算回路１５Ｂへ指示を与える。ホワイトバランス演算回路１５Ｂは、その画像の各画素を色度座標（図５）上へ写像し、その色度座標上に予め設定された無彩色検出範囲（例えば図５に示す複数の閉曲線内）へ写像される画素群を見出すと、その画素群の色ヒストグラム（図６）を作成する。但し、その作成の際、ホワイトバランス演算回路１５Ｂは、画素の輝度が高いほど画素の個数（頻度）へ大きな重みを付与し、高輝度な輝度の画素の頻度を多めに計上する。
【００４２】
なお、無彩色検出範囲は、図５に示すとおり光源種毎に設定されており、例えば、電球の色範囲、晴天の色範囲、晴天日陰の色範囲、蛍光灯の色範囲、水銀灯の色範囲の５種類の色範囲がある。この場合、色ヒストグラムの頻度は、図６に示すとおり、それら５種類の色範囲別に計上される。
【００４３】
そして、ホワイトバランス演算回路１５Ｂは、作成した色ヒストグラム上で頻度が最大となった色範囲（図６では晴天の色範囲）を見出し、その色範囲に写像された画素群の色度座標上の輝度重心を照明色として推定すると共に、その色範囲の種別に応じて、その推定の信頼度（以下、「照明色信頼度」と称す。）を算出すると、作成した色ヒストグラムと、推定した照明色と、算出した照明色信頼度とを、ＣＰＵ２１へ出力する。
【００４４】
ここで、照明色信頼度は、図７に示すとおり、推定した照明色の属する色範囲によって一義的に決まるものであり、黒体放射軌跡に近い色範囲ほど高い値が割り当てられ、中でも特に晴天の色範囲に対しては、最高値が割り当てられている。よって、推定した照明色の属する色範囲が晴天の色範囲であった場合は、照明色信頼度は最高値（１００％）となる。
【００４５】
ステップＳ１４−４：ＣＰＵ２１は、ホワイトバランス演算回路１５Ｂから出力された照明色信頼度を、最新フレームの照明色信頼度とみなす。また、ＣＰＵ２１は、ホワイトバランス演算回路１５Ｂから出力された色ヒストグラム（図６）を、その前回値（前回のループで出力された色ヒストグラム）と比較することにより、その色ヒストグラムのフレーム間相関度を算出する。なお、このフレーム間相関度は、最新フレームの照明色の前フレームを基準とした安定度を示している。よって、以下、ＣＰＵ２１は、このフレーム間相関度を、最新フレームの照明色安定度として扱う。但し、初回のループの本ステップでは、色ヒストグラムの前回値が存在しないため、ＣＰＵ２１は、相関度の算出を行わずに、最新フレームの照明色安定度を最高値（１００％）に設定する。
【００４６】
そして、ＣＰＵ２１は、本ステップで取得した照明色信頼度及び照明色安定度を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。
【００４７】
なお、本ステップにおいて、色ヒストグラムのフレーム間相関度は、例えば、最新フレームの色ヒストグラムと前フレームの色ヒストグラムとの色範囲毎の頻度の差分の積算値などから求めることができる。或いは、ピアソンの積率相関係数、ニューロやサポートベクターマシンなどの学習マシンなどを利用して求めることもできる。
【００４８】
以上のステップＳ１４−１〜Ｓ１４−４によると、最新フレームの顔領域の評価値（領域評価値）として、最新フレームの顔信頼度と顔色とが取得され、最新フレームの全域の評価値（フレーム評価値）として、最新フレームの照明色信頼度と照明色安定度とが取得されたことになる。
【００４９】
以下、これら評価値のフレーム間変化が図８に示すとおりであったと仮定する。また、このうち、第ｔフレームが最新フレームであり、第（ｔ−１）フレームが前フレームであり、第（ｔ−２）フレームが２つ前のフレームであり、第（ｔ＋１）フレームが後フレームであると仮定する。
【００５０】
また、領域評価値（顔信頼度及び顔色）のフレーム間変化をグラフにすると、図９に示すとおりである。なお、実際の顔色は複数の色成分（赤成分、緑成分、青成分）を有するが、図９（及び後述する図１１）では、複数の色成分を代表する１成分のみ（赤成分のみ）を示した。
【００５１】
ステップＳ１４−５：ＣＰＵ２１は、最新フレーム（ここでは第ｔフレーム）の顔信頼度が閾値未満（例えば２０％以下）であるか否かを判別し、閾値未満であった場合には最新フレーム（ここでは第ｔフレーム）の領域評価値（顔信頼度及び顔色）を訂正する必要があるとみなしてステップＳ１４−６へ移行し、閾値以上であった場合には最新フレーム（ここでは第ｔフレーム）の顔信頼度及び顔色を訂正する必要は無いとみなしてステップＳ１５−７へ移行する。なお、図９に示した例では、最新フレーム（ここでは第ｔフレーム）の顔信頼度が閾値未満であるため、最新フレーム（ここでは第ｔフレーム）の領域評価値（顔信頼度及び顔色）を訂正する必要があるとみなされる。
【００５２】
ステップＳ１４−６：ＣＰＵ２１は、図１０に示すとおり、最新フレーム（ここでは第ｔフレーム）の顔信頼度Ｖ（ｔ）を、少なくとも、前フレーム（ここでは第（ｔ−１）フレーム）の顔信頼度Ｖ（ｔ−１）と、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）とに基づき訂正する。この訂正は、簡単には、最新フレーム（第ｔフレーム）の照明色安定度Ｓ（ｔ）が高い場合には、最新フレーム（ここでは第ｔフレーム）の顔信頼度Ｖ（ｔ）を、前フレーム（ここでは第（ｔ−１）フレーム）の顔信頼度Ｖ（ｔ−１）と近い値に置換するものである。
【００５３】
また、ＣＰＵ２１は、図１１に示すとおり、最新フレーム（ここでは第ｔフレーム）の顔色の赤成分Ｒ（ｔ）を、少なくとも、前フレーム（ここでは第（ｔ−１）フレーム）の顔色の赤成分Ｒ（ｔ−１）と、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）とに基づき訂正する。この訂正は、簡単には、最新フレーム（第ｔフレーム）の照明色安定度Ｓ（ｔ）が高い場合には、最新フレーム（ここでは第ｔフレーム）の顔色の赤成分Ｒ（ｔ）を、前フレーム（ここでは第（ｔ−１）フレーム）の顔色の赤成分Ｒ（ｔ−１）と近い色に置換するものである。
【００５４】
また、ＣＰＵ２１は、最新フレーム（ここでは第ｔフレーム）の顔色の緑成分Ｇ（ｔ）についても、赤成分Ｒ（ｔ）を訂正したのと同様、少なくとも、前フレーム（ここでは第（ｔ−１）フレーム）の顔色の緑成分Ｇ（ｔ−１）と、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）とに基づき訂正する。また、ＣＰＵ２１は、最新フレーム（ここでは第ｔフレーム）の顔色の青成分Ｂ（ｔ）についても、赤成分Ｒ（ｔ）を訂正したのと同様、少なくとも、前フレーム（ここでは第（ｔ−１）フレーム）の顔色の青成分Ｂ（ｔ−１）と、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）とに基づき訂正する。
【００５５】
但し、以上の訂正方法はあくまでも基本的な訂正方法である。以下、顔信頼度Ｖ（ｔ）の具体的な訂正方法と、顔色の赤成分Ｒ（ｔ）の具体的な訂正方法とを順に説明する。なお、顔色の緑成分Ｇ（ｔ）の具体的な訂正方法と、青成分Ｂ（ｔ）の具体的な訂正方法については、赤成分Ｒ（ｔ）の具体的な訂正方法と同様であるため、説明を省略する。
【００５６】
先ず、顔信頼度Ｖ（ｔ）の詳細な訂正方法は、以下の手順（ａ）〜（ｄ）を含む（但し、初回及び２回目のループでは手順（ｃ）は省略される。）。
【００５７】
（ａ）訂正の前処理として、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）を、最新フレーム（ここでは第ｔフレーム）の照明色信頼度Ｖ’（ｔ）により補正する。ここで、補正後の照明色安定度Ｓ（ｔ）は、補正前の照明色安定度Ｓ（ｔ）に対して照明色信頼度Ｖ’（ｔ）を乗算したものである。よって、照明色信頼度Ｖ’（ｔ）が１００％であった場合には、照明色安定度Ｓ（ｔ）は補正前後で不変となり、照明色信頼度Ｖ’（ｔ）が低いときほど補正後の照明色安定度Ｓ（ｔ）は低くなる。
【００５８】
（ｂ）補正後の照明色安定度Ｓ（ｔ）を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。
【００５９】
（ｃ）図１０に点線で示すとおり、前フレーム（ここでは第（ｔ−１）フレーム）の顔信頼度Ｖ（ｔ−１）と、前々フレーム（ここでは第（ｔ−２）フレーム）の顔信頼度Ｖ（ｔ−２）と、最新フレーム（ここでは第ｔフレーム）の補正後の照明色安定度Ｓ（ｔ）と、前フレーム（ここでは第（ｔ−１）フレーム）の補正後の照明色安定度Ｓ（ｔ−１）と、前々フレーム（ここでは第（ｔ−２）フレーム）の補正後の照明色安定度Ｓ（ｔ−２）とを、以下の式（１）に当てはめることにより、訂正後の顔信頼度Ｖ（ｔ）を生成する。
【００６０】
【数１】
0005598106.tif 000002
なお、式（１）の上段で算出しているＶ０は、顔信頼度Ｖ（ｔ−２）、Ｖ（ｔ−１）の重み付け平均値であって、その重み付け平均の重みとして、照明色安定度Ｓ（ｔ−２）、Ｓ（ｔ−１）が使用されている。そして、式（１）の下段では、その平均値Ｖ０（ｔ）と、顔信頼度Ｖ（ｔ−１）と、照明色安定度Ｓ（ｔ）とに基づき、顔信頼度Ｖ（ｔ）が見積もられる。
【００６１】
（ｄ）訂正後の顔信頼度Ｖ（ｔ）を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。
【００６２】
次に、顔色の赤成分Ｒ（ｔ）の詳細な訂正方法は、以下の手順（ａ’）〜（ｄ’）を含む（但し、初回及び２回目のループでは手順（ｃ’）は省略される。）。
【００６３】
（ａ’）訂正の前処理として、最新フレーム（ここでは第ｔフレーム）の照明色安定度Ｓ（ｔ）を、最新フレーム（ここでは第ｔフレーム）の照明色信頼度Ｖ’（ｔ）により補正する。なお、上述した手順（ａ）が実行済みであれば、この手順（ａ’）は省略される。
【００６４】
（ｂ’）補正後の照明色安定度Ｓ（ｔ）を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。なお、上述した手順（ｂ）が実行済みであれば、この手順（ｂ’）は省略される。
【００６５】
（ｃ’）図１０に点線で示すとおり、前フレーム（ここでは第（ｔ−１）フレーム）の赤成分Ｒ（ｔ−１）と、前々フレーム（ここでは第（ｔ−２）フレーム）の赤成分Ｒ（ｔ−２）と、最新フレーム（ここでは第ｔフレーム）の補正後の照明色安定度Ｓ（ｔ）と、前フレーム（ここでは第（ｔ−１）フレーム）の補正後の照明色安定度Ｓ（ｔ−１）と、前々フレーム（ここでは第（ｔ−２）フレーム）の補正後の照明色安定度Ｓ（ｔ−２）とを、以下の式（２）に当てはめることにより、訂正後の赤成分Ｒ（ｔ）を生成する。
【００６６】
【数２】
0005598106.tif 000003
なお、式（２）の上段で算出しているＲ０は、赤成分Ｒ（ｔ−２）、Ｒ（ｔ−１）の重み付け平均値であって、その重み付け平均の重みとして、照明色安定度Ｓ（ｔ−２）、Ｓ（ｔ−１）が使用されている。そして、式（２）の下段では、その平均値Ｒ０（ｔ）と、赤成分Ｒ（ｔ−１）と、照明色安定度Ｓ（ｔ）とに基づき、赤成分Ｒ（ｔ）が見積もられる。
【００６７】
（ｄ’）訂正後の赤成分Ｒ（ｔ）を、後のループ（及び２つ後のループ）でも使用できるよう、最新フレームのフレーム番号と共に記憶する。
【００６８】
ステップＳ１４−７：ＣＰＵ２１は、最新フレームの訂正後の顔色（Ｒ（ｔ）、Ｇ（ｔ）、Ｂ（ｔ））に基づき、その顔色（Ｒ（ｔ）、Ｇ（ｔ）、Ｂ（ｔ））を特定の肌色（照明による色付きの無い肌色）にするためのホワイトバランスゲイン（Ｇｒ、Ｇｇ、Ｇｂ）を算出し、そのホワイトバランスゲイン（Ｇｒ、Ｇｇ、Ｇｂ）を、第１の暫定ホワイトバランスゲイン（Ｇｒ１、Ｇｇ１、Ｇｂ１）とする。
【００６９】
ステップＳ１４−８：ＣＰＵ２１は、直前のステップＳ１４−１で検出された顔領域に基づき、最新フレームの画像から非顔領域を抽出すると共に、その非顔領域に対して照明色推定処理を施すようホワイトバランス演算回路１５Ｂへ指示を与える。ホワイトバランス制御回路１５Ｂは、ステップＳ１４−４において画像全域に対して施した照明色推定処理と同様の手順で、非顔領域に対して照明色推定処理を施すことにより、非顔領域に関する照明色を推定し、推定した照明色をＣＰＵ２１へ出力する。
【００７０】
但し、直前のステップＳ１４−１にて顔領域の代わりにエラー情報が出力された場合には、ＣＰＵ２１は、直前のステップＳ１４−４にて推定された照明色（すなわち画像全域に関する照明色）を、非顔領域に関する照明色の代わりに使用する。
【００７１】
ステップＳ１４−９：ＣＰＵ２１は、非顔領域に関する照明色に基づき、その非顔領域中の無彩色物体を無彩色にするためのホワイトバランスゲイン（Ｇｒ、Ｇｇ、Ｇｂ）を算出し、そのホワイトバランスゲイン（Ｇｒ、Ｇｇ、Ｇｂ）を、第２の暫定ホワイトバランスゲイン（Ｇｒ２、Ｇｇ２、Ｇｂ２）とする。
【００７２】
ステップＳ１４−１０：ＣＰＵ２１は、第１の暫定ホワイトバランスゲイン（Ｇｒ１、Ｇｇ１、Ｇｂ１）と、第２の暫定ホワイトバランスゲイン（Ｇｒ２、Ｇｇ２、Ｇｂ２）とを重み付け平均することにより確定ホワイトバランスゲイン（Ｇｒ３、Ｇｇ３、Ｇｂ３）を算出すると、その確定ホワイトバランスゲイン（Ｇｒ３、Ｇｇ３、Ｇｂ３）を後フレームの画像へ適用すべきホワイトバランスゲインとみなし、図２のフローへ復帰する。
【００７３】
但し、本ステップのＣＰＵ２１は、第１の暫定ホワイトバランスゲイン（Ｇｒ１、Ｇｇ１、Ｇｂ１）へ付与すべき重みＡ１と、第２の暫定ホワイトバランスゲイン（Ｇｒ２、Ｇｇ２、Ｇｂ２）へ付与すべき重みＡ２とを、訂正後の顔信頼度Ｖ（ｔ）に基づき、Ａ１：Ａ２＝Ｖ（ｔ）：（１００％−Ｖ（ｔ））に設定する。したがって、顔信頼度Ｖ（ｔ）が高いときほど、第１の暫定ホワイトバランスゲイン（Ｇｒ１、Ｇｇ１、Ｇｂ１）の影響度を高くすることができる。
【００７４】
以上、本実施形態の電子カメラ１は、動画撮像中に取得される最新フレームに基づき、後フレームのホワイトバランスゲインを更新する。更新後のホワイトバランスゲインは、顔領域に基づくホワイトバランスゲイン（第１の暫定ホワイトバランスゲイン）と、非顔領域に基づくホワイトバランスゲイン（第２の暫定ホワイトバランスゲイン）とを、顔信頼度で重み付け平均したもの（確定ホワイトバランスゲイン）である。
【００７５】
但し、顔信頼度は、上述したとおり、顔の見え方や髪の状態の変化など、顔領域の僅かな変化によっても急激に低下することがあるため、不安定である。
【００７６】
そこで、本実施形態の電子カメラ１は、動画撮像中に顔信頼度が閾値未満となった場合には、照明色のフレーム間の安定度（照明色安定度）に基づき顔信頼度及び顔色を訂正することで、それら顔信頼度及び顔色のフレーム間の安定度を向上させる。したがって、たとえ顔領域に何らかの変化が生じたとしても、シーンの照明色に変化が生じていない限りは、確定ホワイトバランスゲインを安定させ、画面の色のちらつきを抑えることができる。
【００７７】
また、本実施形態の電子カメラ１は、訂正を行う際に、照明色安定度を照明色信頼度により補正するので、顔信頼度の訂正を、より高精度に行うことができる。
【００７８】
また、本実施形態の電子カメラ１は、フレーム評価値として、フレーム全域の画素群のうち無彩色検出範囲に属する画素群の色ヒストグラムを使用するので、照明色推定処理の推定結果（照明色）を使用するよりも、照明色色安定を、より高精度に求めることができる。
【００７９】
［実施形態の補足］
なお、上述した実施形態のＣＰＵ２１は、１フレームから検出する顔領域の個数を１としたが、２以上の複数であってもよい。その場合、ＣＰＵ２１は、最新フレームから検出された複数の顔領域の平均色を最新フレームの顔色として算出し、最新フレームから検出された複数の顔領域の顔信頼度の平均値を最新フレームの顔信頼度として算出すればよい。
【００８０】
また、図３では、ステップＳ１４−１の処理と、ステップＳ１４−３の処理とが並列処理として表現されているが、前述したループの所用時間が許容範囲内（ここではフレーム周期以下）に収まるのであれば、ステップＳ１４−１の処理と、ステップＳ１４−３の処理とを直列処理としても構わない。
【００８１】
また、上述した実施形態のゲイン算出処理（図３）では、フレーム全域に関する照明色推定処理を（ステップＳ１４−３）実行した後に、非顔領域に関する照明色推定処理（ステップＳ１４−８）を実行したが、演算負荷を軽減するため、非顔領域に関する照明色推定処理を省略してもよい。その場合、第２の暫定ホワイトバランスゲインの算出（ステップＳ１４−９）では、非顔領域の照明色を使用する代わりに、フレーム全域の照明色（すなわちステップＳ１４−３で算出したもの）をそのまま使用すればよい。
【００８２】
また、上述した実施形態のＣＰＵ２１は、ゲイン算出処理（図３）に使用する画像を、最新フレームの画像それ自体としたが、演算負荷を軽減するため、ゲイン算出処理に使用する画像を、最新フレームの画像の代わりに、その最新フレームの画像のサイズ縮小版としてもよい。
【００８３】
また、上述した実施形態では、記録用の動画撮像を説明したが、静止画撮像前の確認用の動画撮像や、記録用の動画撮像前の確認用の動画撮像にも、本発明は同様に適用可能である。
【００８４】
また、上述した実施形態では、動画撮像中のホワイトバランスゲインの制御を説明したが、動画撮像中に顔領域に応じて行われる他の制御、例えば、動画撮像中の階調変換カーブの制御、動画撮像中のＫＮＥＥ特性カーブの制御、動画撮像中の露出制御、動画撮像中の合焦距離制御などにも本発明は同様に適用可能である。また、同時に２以上の制御を行い、それらの制御の各々に対して本発明を適用してもよい。
【００８５】
因みに、本発明を露出制御に適用する場合は、上述した電子カメラ１を例えば次のとおり変形すればよい。
【００８６】
すなわち、電子カメラ１の変形例は、動画撮像中に取得される最新フレームに基づき、後フレームの撮像時の露出（絞り値とシャッター速度との組み合わせ）を更新する。更新後の露出値は、顔領域を適正露出にするための露出値（第１の暫定露出値）と、非顔領域を適正露出にするための露出値（第２の暫定露出値）とを、顔信頼度で重み付け平均したもの（確定露出値）である。そして、この変形例は、動画撮像中に顔信頼度が閾値未満となった場合には、照明色のフレーム間安定度（照明色安定度）により顔信頼度及び顔色を訂正することで、それら顔信頼度及び顔色のフレーム間の安定度を向上させる。したがって、たとえ顔領域に何らかの変化が生じたとしても、シーンの照明色に変化が生じていない限りは、露出を安定させ、画面の明るさのちらつきを抑えることができる。
【００８７】
また、制御対象となるパラメータを、ホワイトバランスゲイン、階調変換カーブ、ＫＮＥＥ特性カーブなどの画像処理パラメータとする場合には、最新フレームに基づき後フレームのパラメータを更新するのではなく、最新フレームに基づき同フレームのパラメータを更新することとしてもよい（但し、その場合、パラメータの設定に要する時間は、バッファメモリに画像が蓄積されてから画像が表示されるまでの期間より短いものとする。）。これによって、制御の応答速度を高めることができる。
【００８８】
一方、制御対象となるパラメータを、露出、合焦距離などの撮像パラメータとする場合には、最新フレームに基づき同フレームのパラメータを更新することはできないので、制御の応答速度を高めるには、前述した撮像素子１１とは別の撮像素子を少なくとも１つ追加すると共に、撮像素子１１による最新フレームの撮像パラメータを、追加した撮像素子が出力する最新フレームに基づき更新すればよい。因みに、一眼レフレックスカメラは、メインの撮像素子の他に、分割測光素子と呼ばれるサブの撮像素子を有していることが多いので、これを利用すればよい。
【００８９】
また、制御対象となるパラメータを、ホワイトバランスゲイン、階調変換カーブ、ＫＮＥＥ特性カーブなどの画像処理パラメータとする場合には、パラメータの設定を動画撮像中のリアルタイム処理として行う代わりに、動画撮像後、動画像ファイル（又は一連のＲＡＷ画像）に対するバッチ処理として行ってもよい。
【００９０】
なお、このようなバッチ処理は、電子カメラ１とは別体で設けられた画像処理装置、例えば、電子フォトフレーム、プリンタ、コンピュータなどに実行させることも可能である。また、そのバッチ処理を汎用コンピュータに実行させる場合は、そのバッチ処理のコンピュータプログラムが通信網又は記憶媒体を介してコンピュータへインストールされることになる。
【００９１】
また、上述した実施形態では、制御の対象となる複数の画像が、動画撮像で得られた一連の画像であったが、静止画像の連写撮像で得られた一連の画像や、タイムラプス撮像で得られた一連の画像や、ユーザが断続的に撮像した一連の画像であってもよい。なお、一連の画像の撮像間隔が不均等である場合や、一連の画像の撮像間隔がユーザの任意に設定される場合には、前述した最新フレームの照明色信頼度に対して、前フレームと最新フレームとのフレーム間隔を反映させることで（例えば間隔が短いほど大きな係数を乗算することで）、照明色信頼度による照明色安定度の補正精度を、さらに向上させることができる。
【符号の説明】
【００９２】
１…電子カメラ、１１…撮像素子、１２…信号処理回路、１３…バッファメモリ、１４…画像処理回路、１５Ａ…顔検出回路、１５Ｂ…ホワイトバランス演算回路、１６…表示制御回路、１７…内部モニタ、１８…圧縮・伸張回路、１９…カードインタフェース、２１…ＣＰＵ、２２…撮像回路、２３…入力器、２４…外部接続端子。
【図１】
0005598106.tif 000004
【図２】
0005598106.tif 000005
【図３】
0005598106.tif 000006
【図４】
0005598106.tif 000007
【図５】
0005598106.tif 000008
【図６】
0005598106.tif 000009
【図７】
0005598106.tif 000010
【図８】
0005598106.tif 000011
【図９】
0005598106.tif 000012
【図１０】
0005598106.tif 000013
【図１１】
0005598106.tif 000014