(57)【特許請求の範囲】
【請求項１】
被写界像を繰り返し取り込む取り込み手段、
前記取り込み手段によって取り込まれた被写界像の白バランスを確定白バランス調整係数を参照して調整する調整手段、
前記取り込み手段によって取り込まれた被写界像のうち白色を含む色範囲の色を示す部分画像に基づいて適正白バランス調整係数を算出する算出手段、
前記算出手段によって注目された部分画像が人肌を表す画像である可能性を前記算出手段によって算出された適正白バランス調整係数に基づいて検出する検出手段、
前記算出手段によって算出された適正白バランス調整係数の値を前記検出手段によって検出された可能性の値の増大に伴って前記確定白バランス調整係数の値に近づける補正手段および
前記補正手段によって補正された値を示す適正白バランス調整係数によって前記確定白バランス調整係数を更新する更新手段を備え、
前記検出手段は、前記適正白バランス調整係数と肌色に対応する基準白バランス調整係数との相違を算出する相違算出手段、および前記相違算出手段によって算出された相違が低減するほど前記可能性の値を増大させる制御手段を含むことを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記被写界像上の複数の位置にそれぞれ対応する複数の色評価値を取得する色評価値取得手段、前記色評価値取得手段によって取得された複数の色評価値の中から前記色範囲に属する１または２以上の色評価値を抽出する色評価値抽出手段、および前記色評価値抽出手段によって抽出された１または２以上の色評価値に基づいて前記適正白バランス調整係数を算出する調整係数算出手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記検出手段によって検出された可能性が閾値以下であるとき前記基準白バランス調整係数を前記算出手段によって算出された適正白バランス調整係数に基づいて変更する変更手段をさらに備える、請求項１又は２記載の画像処理装置。
【請求項４】
前記適正白バランス調整係数は前記部分画像の色を加色法で混合することによって得られる色を白色に変換するための係数に相当し、
前記基準白バランス調整係数は前記肌色を前記白色に変換するための係数に相当する、請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記補正手段によって補正された値は適正白バランス係数の値と前記確定白バランス調整係数の値とを前記可能性の値に応じて異なる比率で重み付け加算した値に相当する、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
被写界像を繰り返し取り込む取り込み手段、および前記取り込み手段によって取り込まれた被写界像の白バランスを確定白バランス調整係数を参照して調整する調整手段を備える画像処理装置のプロセッサに、
前記取り込み手段によって取り込まれた被写界像のうち白色を含む色範囲の色を示す部分画像に基づいて適正白バランス調整係数を算出する算出ステップ、
前記算出ステップによって注目された部分画像が人肌を表す画像である可能性を前記算出ステップによって算出された適正白バランス調整係数に基づいて検出する検出ステップ、
前記算出ステップによって算出された適正白バランス調整係数の値を前記検出ステップによって検出された可能性の値の増大に伴って前記確定白バランス調整係数の値に近づける補正ステップ、および
前記補正ステップによって補正された値を示す適正白バランス調整係数によって前記確定白バランス調整係数を更新する更新ステップを実行させるための、白バランス調整プログラムであって、
前記検出ステップは、前記適正白バランス調整係数と肌色に対応する基準白バランス調整係数との相違を算出する相違算出ステップ、および前記相違算出ステップによって算出された相違が低減するほど前記可能性の値を増大させる制御ステップを含む白バランス調整プログラム。
【請求項７】
被写界像を繰り返し取り込む取り込み手段、
前記取り込み手段によって取り込まれた被写界像の白バランスを確定白バランス調整係数を参照して調整する調整手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
前記外部制御プログラムは、前記取り込み手段によって取り込まれた被写界像のうち白色を含む色範囲の色を示す部分画像に基づいて適正白バランス調整係数を算出する算出ステップ、
前記算出ステップによって注目された部分画像が人肌を表す画像である可能性を前記算出ステップによって算出された適正白バランス調整係数に基づいて検出する検出ステップ、
前記算出ステップによって算出された適正白バランス調整係数の値を前記検出ステップによって検出された可能性の値の増大に伴って前記確定白バランス調整係数の値に近づける補正ステップ、および
前記補正ステップによって補正された値を示す適正白バランス調整係数によって前記確定白バランス調整係数を更新する更新ステップを前記内部制御プログラムと協働して前記プロセッサに実行させ、
前記検出ステップは、前記適正白バランス調整係数と肌色に対応する基準白バランス調整係数との相違を算出する相違算出ステップ、および前記相違算出ステップによって算出された相違が低減するほど前記可能性の値を増大させる制御ステップを含むことを特徴とする、外部制御プログラム。
【請求項８】
被写界像を繰り返し取り込む取り込み手段、
前記取り込み手段によって取り込まれた被写界像の白バランスを確定白バランス調整係数を参照して調整する調整手段、
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
前記取り込み手段によって取り込まれた被写界像のうち白色を含む色範囲の色を示す部分画像に基づいて適正白バランス調整係数を算出する算出ステップ、
前記算出ステップによって注目された部分画像が人肌を表す画像である可能性を前記算出ステップによって算出された適正白バランス調整係数に基づいて検出する検出ステップ、
前記算出ステップによって算出された適正白バランス調整係数の値を前記検出ステップによって検出された可能性の値の増大に伴って前記確定白バランス調整係数の値に近づける補正ステップ、および
前記補正ステップによって補正された値を示す適正白バランス調整係数によって前記確定白バランス調整係数を更新する更新ステップを前記内部制御プログラムと協働して実行するプログラムに相当し、
前記検出ステップは、前記適正白バランス調整係数と肌色に対応する基準白バランス調整係数との相違を算出する相違算出ステップ、および前記相違算出ステップによって算出された相違が低減するほど前記可能性の値を増大させる制御ステップを含むことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特にビデオカメラに適用され、被写界像の白バランスを調整する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像された画像が複数のブロックに分割され、色評価値がブロック毎に取得される。白バランス補正値は取得された色評価値に基づいて算出され、環境光源は同じ色評価値に基づいて推定される。画像から顔領域が検出されると、上述の白バランス補正値が顔領域に対応するブロックに適用され、肌色評価値が取得される。取得された肌色評価値が推定された環境光源に対応する肌色領域に含まれる場合には、上述の白バランス補正値が最終的な白バランス補正値として決定される。これによって、白バランス制御の精度が向上する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−４１６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、顔領域が検出されない状態での高精度の白バランス制御を想定しておらず、白バランスの調整性能に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、白バランスの調整性能を高めることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、被写界像を繰り返し取り込む取り込み手段(16, 20, 50)、取り込み手段によって取り込まれた被写界像の白バランスを確定白バランス調整係数を参照して調整する調整手段(52)、取り込み手段によって取り込まれた被写界像のうち白色を含む色範囲の色を示す部分画像に基づいて適正白バランス調整係数を算出する算出手段(S31)、算出手段によって注目された部分画像が人肌を表す画像である可能性を算出手段によって算出された適正白バランス調整係数に基づいて検出する検出手段(S39)、算出手段によって算出された適正白バランス調整係数の値を検出手段によって検出された可能性の値の増大に伴って確定白バランス調整係数の値に近づける補正手段(S43)、および補正手段によって補正された値を示す適正白バランス調整係数によって確定白バランス調整係数を更新する更新手段(S45)を備える。
【０００７】
好ましくは、算出手段は、被写界像上の複数の位置にそれぞれ対応する複数の色評価値を取得する色評価値取得手段(S53)、色評価値取得手段によって取得された複数の色評価値の中から色範囲に属する１または２以上の色評価値を抽出する色評価値抽出手段(S55~S57, S61~S63)、および色評価値抽出手段によって抽出された１または２以上の色評価値に基づいて適正白バランス調整係数を算出する調整係数算出手段(S59, S65)を含む。
【０００８】
好ましくは、検出手段は、適正白バランス調整係数と肌色に対応する基準白バランス調整係数との相違を算出する相違算出手段(S71~S75)、および相違算出手段によって算出された相違が低減するほど可能性の値を増大させる制御手段(S77~S85)を含む。
【０００９】
或る局面では、検出手段によって検出された可能性が閾値以下であるとき基準白バランス調整係数を算出手段によって算出された適正白バランス調整係数に基づいて変更する変更手段(S41, S37)がさらに備えられる。
【００１０】
他の局面では、適正白バランス調整係数は部分画像の色を加色法で混合することによって得られる色を白色に変換するための係数に相当し、基準白バランス調整係数は肌色を白色に変換するための係数に相当する。
【００１１】
好ましくは、補正手段によって補正された値は適正白バランス係数の値と確定白バランス調整係数の値とを可能性の値に応じて異なる比率で重み付け加算した値に相当する。
【００１２】
好ましくは、取り込み手段は被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段(16)を含む。
【００１３】
この発明に従う白バランス調整プログラムは、被写界像を繰り返し取り込む取り込み手段(16, 20, 50)、および取り込み手段によって取り込まれた被写界像の白バランスを確定白バランス調整係数を参照して調整する調整手段(52)を備える画像処理装置(10)のプロセッサ(38)に、取り込み手段によって取り込まれた被写界像のうち白色を含む色範囲の色を示す部分画像に基づいて適正白バランス調整係数を算出する算出ステップ(S31)、算出ステップによって注目された部分画像が人肌を表す画像である可能性を算出ステップによって算出された適正白バランス調整係数に基づいて検出する検出ステップ(S39)、算出ステップによって算出された適正白バランス調整係数の値を検出ステップによって検出された可能性の値の増大に伴って確定白バランス調整係数の値に近づける補正ステップ(S43)、および補正ステップによって補正された値を示す適正白バランス調整係数によって確定白バランス調整係数を更新する更新ステップ(S45)を実行させるための、白バランス調整プログラムである。
【００１４】
この発明に従う白バランス調整方法は、被写界像を繰り返し取り込む取り込み手段(16, 20, 50)、および取り込み手段によって取り込まれた被写界像の白バランスを確定白バランス調整係数を参照して調整する調整手段(52)を備える画像処理装置(10)によって実行される白バランス調整方法であって、取り込み手段によって取り込まれた被写界像のうち白色を含む色範囲の色を示す部分画像に基づいて適正白バランス調整係数を算出する算出ステップ(S31)、算出ステップによって注目された部分画像が人肌を表す画像である可能性を算出ステップによって算出された適正白バランス調整係数に基づいて検出する検出ステップ(S39)、算出ステップによって算出された適正白バランス調整係数の値を検出ステップによって検出された可能性の値の増大に伴って確定白バランス調整係数の値に近づける補正ステップ(S43)、および補正ステップによって補正された値を示す適正白バランス調整係数によって確定白バランス調整係数を更新する更新ステップ(S45)を備える。
【００１５】
この発明に従う外部制御プログラムは、被写界像を繰り返し取り込む取り込み手段(16, 20, 50)、取り込み手段によって取り込まれた被写界像の白バランスを確定白バランス調整係数を参照して調整する調整手段(52)、およびメモリ(42) に保存された内部制御プログラムに従う処理を実行するプロセッサ(38)を備える画像処理装置(10)に供給される外部制御プログラムであって、取り込み手段によって取り込まれた被写界像のうち白色を含む色範囲の色を示す部分画像に基づいて適正白バランス調整係数を算出する算出ステップ(S31)、算出ステップによって注目された部分画像が人肌を表す画像である可能性を算出ステップによって算出された適正白バランス調整係数に基づいて検出する検出ステップ(S39)、算出ステップによって算出された適正白バランス調整係数の値を検出ステップによって検出された可能性の値の増大に伴って確定白バランス調整係数の値に近づける補正ステップ(S43)、および補正ステップによって補正された値を示す適正白バランス調整係数によって確定白バランス調整係数を更新する更新ステップ(S45)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１６】
この発明に従う画像処理装置(10)は、被写界像を繰り返し取り込む取り込み手段(16, 20, 50)、取り込み手段によって取り込まれた被写界像の白バランスを確定白バランス調整係数を参照して調整する調整手段(52)、外部制御プログラムを取り込む取り込み手段(44)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(42)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(38)を備える画像処理装置であって、外部制御プログラムは、取り込み手段によって取り込まれた被写界像のうち白色を含む色範囲の色を示す部分画像に基づいて適正白バランス調整係数を算出する算出ステップ(S31)、算出ステップによって注目された部分画像が人肌を表す画像である可能性を算出ステップによって算出された適正白バランス調整係数に基づいて検出する検出ステップ(S39)、算出ステップによって算出された適正白バランス調整係数の値を検出ステップによって検出された可能性の値の増大に伴って確定白バランス調整係数の値に近づける補正ステップ(S43)、および補正ステップによって補正された値を示す適正白バランス調整係数によって確定白バランス調整係数を更新する更新ステップ(S45)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１７】
この発明によれば、適正白バランス調整係数は白色を含む色範囲に属する色を示す部分画像に基づいて算出され、部分画像が人肌を表す画像である可能性は算出された適正白バランス調整係数に基づいて検出される。適正白バランス調整係数の値は、検出された可能性の値が増大するほど確定白バランス調整係数の値に近づけられる。確定白バランス調整係数はこうして補正された適正白バランス調整係数によって更新され、繰り返し取り込まれる被写界像の白バランスは更新された確定白バランス調整係数を参照して調整される。これによって、人肌の出現に起因する白バランスの変動を抑制することができ、白バランスの調整性能が向上する。
【００１８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図４】図２実施例に適用される後処理回路の構成の一例を示すブロック図である。
【図５】光源毎に異なる複数の白検出エリアの割り当て状態の一例を示す図解図である。
【図６】座標（αｓ，βｓ）から座標（αｓｋｉｎ，βｓｋｉｎ）までの距離と人肌可能性との関係の一例を示すグラフである。
【図７】人肌可能性と最適ゲインαｓおよびβｓの各々の補正値との関係の一例を示すグラフである。
【図８】（Ａ）は白バランス調整処理の一部を示す図解図であり、（Ｂ）は白バランス調整処理の他の一部を示す図解図である。
【図９】白バランス調整処理のその他の一部を示すタイミング図である。
【図１０】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１１】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１５】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２１】
図１を参照して、この実施例のビデオカメラは、基本的に次のように構成される。取り込み手段１は、被写界像を繰り返し取り込む。調整手段２は、取り込み手段１によって取り込まれた被写界像の白バランスを確定白バランス調整係数を参照して調整する。算出手段３は、取り込み手段１によって取り込まれた被写界像のうち白色を含む色範囲の色を示す部分画像に基づいて適正白バランス調整係数を算出する。検出手段４は、算出手段３によって注目された部分画像が人肌を表す画像である可能性を算出手段によって算出された適正白バランス調整係数に基づいて検出する。補正手段５は、算出手段３によって算出された適正白バランス調整係数の値を検出手段４によって検出された可能性の値の増大に伴って確定白バランス調整係数の値に近づける。更新手段６は、補正手段５によって補正された値を示す適正白バランス調整係数によって確定白バランス調整係数を更新する。
【００２２】
適正白バランス調整係数は白色を含む色範囲に属する色を示す部分画像に基づいて算出され、部分画像が人肌を表す画像である可能性は算出された適正白バランス調整係数に基づいて検出される。適正白バランス調整係数の値は、検出された可能性の値が増大するほど確定白バランス調整係数の値に近づけられる。確定白バランス調整係数はこうして補正された適正白バランス調整係数によって更新され、繰り返し取り込まれる被写界像の白バランスは更新された確定白バランス調整係数を参照して調整される。これによって、人肌の出現に起因する白バランスの変動を抑制することができ、白バランスの調整性能が向上する。
［実施例］
【００２３】
図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞り機構１４を含む。被写界の光学像は、これらの部材を通してイメージセンサ１６の撮像面に照射される。
【００２４】
撮像面には複数の受光素子（＝画素）が２次元状に配置され、撮像面は原色ベイヤ配列の色フィルタ（図示せず）によって覆われる。撮像面に配置された受光素子は色フィルタを構成するフィルタ要素と１対１で対応し、各受光素子で生成される電荷の量はＲ（Red），Ｇ（Green）またはＢ（Blue）に対応する光の強度を反映する。
【００２５】
電源が投入されるとＣＰＵ３８は、動画取り込み処理を実行するべく、撮像制御タスクの下でドライバ１８ｃを起動する。ドライバ１８ｃは、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、これによって生成された電荷をラスタ走査態様で撮像面から読み出す。この結果、被写界を表す生画像データが、６０ｆｐｓのフレームレートでイメージセンサ１６から出力される。出力される生画像データは、各画素がＲ，ＧおよびＢのいずれか１つの色情報を有する画像データに相当する。
【００２６】
前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路２４を通してＳＤＲＡＭ２６の生画像エリア２６ａに書き込まれる。
【００２７】
後処理回路２８は、生画像エリア２６ａに格納された生画像データをメモリ制御回路２４を通して１／６０秒毎に読み出し、読み出された生画像データに色分離，白バランス調整，ＹＵＶ変換などの処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路２４を通してＳＤＲＡＭ２６のＹＵＶ画像エリア２６ｂに書き込まれる。
【００２８】
ＬＣＤドライバ３０は、ＹＵＶ画像エリア２６ｂに格納された画像データをメモリ制御回路２４を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３２を駆動する。この結果、被写界を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２９】
キー入力装置４０に向けて記録開始操作が行われると、ＣＰＵ３８は、記録処理を開始するべく、対応する命令をメモリＩ／Ｆ３４に与える。メモリＩ／Ｆ３４は、ＹＵＶ画像エリア２６ｂに格納された画像データを繰り返し読み出し、読み出された画像データを記録媒体３６に保存する。キー入力装置４０に向けて記録終了操作が行われると、ＣＰＵ３８は、記録処理を終了するべく、対応する命令をメモリＩ／Ｆ３４に与える。メモリＩ／Ｆ３４は、上述の動作を終了する。
【００３０】
図３を参照して、撮像面には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、合計２５６個の分割エリアが撮像面にマトリクス状に配置される。前処理回路２０は、評価エリアＥＶＡに属する一部の生画像データを簡易的にＹデータに変換し、変換されたＹデータをＡＥ／ＡＦ評価回路２２に与える。
【００３１】
ＡＥ／ＡＦ評価回路２２は、与えられたＹデータを分割エリア毎に積分し、合計２５６個の積分値を輝度評価値として作成する。ＡＥ／ＡＦ評価回路２２はまた、与えられたＹデータの高周波成分を分割エリア毎に積分し、合計２５６個の積分値をＡＦ評価値として作成する。これらの積分処理は、垂直同期信号Ｖｓｙｎｃが発生する毎に繰り返し実行される。この結果、２５６個の輝度評価値および２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＦ評価回路２２から出力される。
【００３２】
撮像条件は、垂直同期信号Ｖｓｙｎｃが発生する毎に、以下の要領で調整される。また、以下の処理は、撮像制御タスクと並列する撮像条件調整タスクの下で、ＣＰＵ３８によって実行される。
【００３３】
まず、ＡＥ／ＡＦ評価回路２２から出力された２５６個の輝度評価値を参照したＡＥ処理が実行される。これによって、適正ＥＶ値が算出され、算出された適正ＥＶ値を定義する絞り量および露光時間がドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。次に、既定のＡＦ起動条件が満足されるか否かが、ＡＥ／ＡＦ評価回路２２から出力された２５６個のＡＦ評価値に基づいて判別される。ＡＦ処理は、否定的な判別結果に対応して中断され、肯定的な判別結果に対応して実行される。フォーカスレンズ１２はＡＦ処理によって合焦点に配置され、これによってスルー画像の鮮鋭度が向上する。
【００３４】
後処理回路２８は、図４に示すように構成される。上述のように、生画像データは、各画素がＲ，ＧおよびＢのいずれか１つの色情報を有する画像データに相当する。色分離回路５０は、このような生画像データを各画素がＲ，ＧおよびＢの全ての色情報を有する画像データに変換する。変換された画像データは、白バランス調整回路５２に与えられる。
【００３５】
レジスタ５２ｔには、白バランスを調整するための最適ゲインαｓおよびβｓが設定される。このうち、最適ゲインαｓはアンプ５２ｒに与えられ、最適ゲインβｓはアンプ５２ｂに与えられる。色分離回路５０によって変換された画像データを形成するＲの色情報つまりＲデータはアンプ５２ｒによって増幅され、同じ画像データを形成するＢの色情報つまりＢデータはアンプ５２ｂによって増幅される。こうして、白バランスが調整された画像データが得られる。
【００３６】
調整された白バランスを有する画像データの形式は、ＹＵＶ変換回路５４によってＲＧＢ形式からＹＵＶ形式に変換される。変換された画像データは、メモリ制御回路２４に向けて出力される。
【００３７】
また、色分離回路５０によって変換された画像データのうち、Ｒデータは積分器５６ｒに与えられ、Ｂデータは積分器５６ｂに与えられ、そしてＧの色情報つまりＧデータは積分器５６ｇに与えられる。積分器５６ｒ，５６ｇおよび５６ｂはそれぞれ、与えられたＲデータ，ＧデータおよびＢデータを図３に示す評価エリアＥＶＡを形成する分割エリア毎に積分する。この積分処理もまた、垂直同期信号Ｖｓｙｎｃが発生する毎に繰り返し実行される。この結果、２５６個のＲ評価値Σｒ，Σｒ，…が垂直同期信号Ｖｓｙｎｃに応答して積分器５６ｒから出力され、２５６個のＧ評価値Σｇ，Σｇ，…が垂直同期信号Ｖｓｙｎｃに応答して積分器５６ｇから出力され、そして２５６個のＢ評価値Σｂ，Σｂ，…が垂直同期信号Ｖｓｙｎｃに応答して積分器５６ｂから出力される。
【００３８】
撮像条件調整タスクの下ではまた、こうして得られたＲ評価値Σｒ，Ｇ評価値ΣｇおよびＢ評価値Σｂを参照したＡＷＢ処理が、垂直同期信号Ｖｓｙｎｃに応答して繰り返し実行される。レジスタ５２ｔに設定された最適ゲインαｓおよびβｓはＡＷＢ処理によって繰り返し更新され、この結果、スルー画像の白バランスが継続的に調整される。
【００３９】
ＡＷＢ処理は、具体的には以下の要領で実行される。まず総和ＳＵＭΣｒ，ＳＵＭΣｇおよびＳＵＭΣｂが“０”に設定される。次に、２５６個のＲ評価値Σｒ，Σｒ，…が積分器５６ｒから取り込まれ、２５６個のＧ評価値Σｇ，Σｇ，…が積分器５６ｇから取り込まれ、そして２５６個のＢ評価値Σｂ，Σｂ，…が積分器５６ｂから取り込まれる。
【００４０】
続いて、変数Ｋが“１”〜“２５６”の各々に設定され、Ｋ番目の分割エリアに対応するＲ評価値Σｒ，Ｇ評価値ΣｇおよびＢ評価値Σｂによって定義される色が図５に示す白検出範囲ＤＴ１〜ＤＴ３の少なくとも１つに属するか否かが判別される。そして、判別結果が肯定的であれば、Ｋ番目のＲ評価値Σｒが総和ＳＵＭΣｒに積算され、Ｋ番目のＧ評価値Σｇが総和ＳＵＭΣｇに積算され、そしてＫ番目のＢ評価値Σｂが総和ＳＵＭΣｂに積算される。
【００４１】
図５において、白検出範囲ＤＴ１は、太陽光が照射された白色物体を表す物体像の色の近傍の色をカバーする範囲に相当する。また、白検出範囲ＤＴ２は、蛍光灯の光が照射された白色物体を表す物体像の色の近傍の色をカバーする範囲に相当する。さらに、白検出範囲ＤＴ３は、白熱灯の光が照射された白色物体を表す物体像の色の近傍の色をカバーする範囲に相当する。
【００４２】
総和ＳＵＭΣｒは、このような白検出範囲ＤＴ１〜ＤＴ３の少なくとも１つに属するＲ評価値Σｒ，Σｒ，…の総和に相当する。同様に、総和ＳＵＭΣｇは白検出範囲ＤＴ１〜ＤＴ３に属するＧ評価値Σｇ，Σｇ，…の総和に相当し、総和ＳＵＭΣｂは白検出範囲ＤＴ１〜ＤＴ３に属するＢ評価値Σｂ，Σｂ，…の総和に相当する。
【００４３】
最適ゲインαｓおよびβｓは、こうして得られた総和ＳＵＭΣｒ，ＳＵＭΣｇおよびＳＵＭΣｂを数１に適用することによって算出される。算出された最適ゲインαｓおよびβｓは、白検出範囲ＤＴ１〜ＤＴ３の少なくとも１つに属する色を加色法で混合して得られる色を白色に変換するためのゲインに相当する。
［数１］
αｓ＝ＳＵＭΣｇ／ＳＵＭΣｒ
βｓ＝ＳＵＭΣｇ／ＳＵＭΣｂ
【００４４】
数１に従う演算処理は、垂直同期信号Ｖｓｙｎｃに応答して繰り返し実行される。１回目の演算処理が完了すると、算出された最適ゲインαｓおよびβｓに基づいて肌色ゲインαｓｋｉｎおよびβｓｋｉｎが初期設定される。肌色ゲインαｓｋｉｎは最適ゲインαｓのＫ１倍の値を示し、肌色ゲインβｓｋｉｎは最適ゲインβｓのＫ２倍の値を示す。ここで、“Ｋ１”および“Ｋ２”はいずれも定数である。また、肌色ゲインαｓｋｉｎおよびβｓｋｉｎは、肌色を白色に変換するためのゲインに相当する。
【００４５】
肌色ゲインαｓｋｉｎおよびβｓｋｉｎの初期設定が完了すると、数１に従って算出された最適ゲインαｓおよびβｓがレジスタ５２ｔに設定される。さらに、同じ最適ゲインαｓおよびβｓがバックアップゲインαｂｋおよびβｂｋとして退避される。バックアップゲインαｂｋおよびβｂｋはそれぞれ、レジスタ５２ｔに設定された最適ゲインαｓおよびβｓと常に一致する。
【００４６】
数１に従う２回目以降の演算処理の後は、白検出範囲ＤＴ１〜ＤＴ３の少なくとも１つに属する色を有する物体が人肌である可能性を“Ｌ”として算出する処理が実行される。可能性Ｌは以下の要領で算出される。
【００４７】
まず、肌色ゲインαｓｋｉｎと最適ゲインαｓとの差分の絶対値が“Δα”として算出され、肌色ゲインβｓｋｉｎと最適ゲインβｓとの差分の絶対値が“Δβ”として算出される。次に、座標（αｓｋｉｎ，βｓｋｉｎ）から座標（αｓ，βｓ）までの距離を示す“Ｄ”が、数２に従って算出される。
［数２］
Ｄ＝√（Δα２＋Δβ２）
【００４８】
算出された距離Ｄが最大値Ｄｍａｘを上回れば、可能性Ｌは“０”に設定される。また、算出された距離Ｄが最小値Ｄｍｉｎを下回れば、可能性Ｌは“Ｌｍａｘ”に設定される。さらに、算出された距離Ｄが最大値Ｄｍａｘ以下でかつ最小値Ｄｍｉｎ以上であれば、可能性Ｌは数３に従って算出される。
［数３］
Ｌ＝｛１−（Ｄ−Ｄｍｉｎ）／（Ｄｍａｘ−Ｄｍｉｎ）｝／１００
【００４９】
したがって、可能性Ｌは、距離Ｄに対して図６に示す特性を示す。図６によれば、可能性Ｌは、距離Ｄが最小値Ｄｍｉｎを下回る範囲において“１００”を示し、距離Ｄが最小値Ｄｍｉｎから増大するとともに“０”まで減少し、そして距離Ｄが最大値Ｄｍａｘを上回る範囲において“０”を維持する。
【００５０】
算出された可能性Ｌが“０”を上回るとき、最適ゲインαｓおよびβｓは数４に従って補正される。
［数４］
αｓ＝｛Ｌ＊αｂｋ＋（Ｌｍａｘ−Ｌ）＊αｓ｝／Ｌｍａｘ
βｓ＝｛Ｌ＊βｂｋ＋（Ｌｍａｘ−Ｌ）＊βｓ｝／Ｌｍａｘ
【００５１】
補正された最適ゲインαｓおよびβｓの値は、可能性Ｌに対して図７に示す特性を示す。つまり、補正された最適ゲインαｓおよびβｓの値は、可能性Ｌが増大するほどバックアップゲインαｂｋおよびβｂｋに近づく。レジスタ５２ｔに設定された最適ゲインαｓおよびβｓならびにバックアップゲインαｂｋおよびβｂｋは、こうして補正された最適ゲインαｓおよびβｓによって更新される。したがって、人肌が被写界に出現したときは、レジスタ５２ｔに設定された最適ゲインαｓおよびβｓの変動量が抑制される。
【００５２】
一方、算出された可能性Ｌが“０”であれば、数４に従う最適ゲインαｓおよびβｓの補正処理に代えて、肌色ゲインαｓｋｉｎおよびβｓｋｉｎの更新処理が実行される。上述と同様、肌色ゲインαｓｋｉｎは数１に従って算出された最適ゲインαｓのＫ１倍に設定され、肌色ゲインβｓｋｉｎは数１に従って算出された最適ゲインβｓのＫ２倍に設定される。また、レジスタ５２ｔに設定された最適ゲインαｓおよびβｓならびにバックアップゲインαｂｋおよびβｂｋは、数１に従って算出された最適ゲインαｓおよびβｓによって更新される。
【００５３】
つまり、座標（αｓｋｉｎ，βｓｋｉｎ）および（αｓ，βｓ）が図８（Ａ）に示す位置関係にあるとき（＝距離Ｄが最大値Ｄｍａｘ以下のとき）は、最適ゲインαｓおよびβｓが数４に従って補正される。加えて、補正後の最適ゲインαｓおよびβｓが、レジスタ５２ｔに設定されるとともに、バックアップゲインαｂｋおよびβｂｋとして退避される。
【００５４】
これに対して、座標（αｓｋｉｎ，βｓｋｉｎ）および（αｓ，βｓ）が図８（Ｂ）に示す位置関係にあるとき（＝距離Ｄが最大値Ｄｍａｘを上回るとき）は、数１に従って算出された最適ゲインαｓおよびβｓに基づいて肌色ゲインαｓｋｉｎおよびβｓｋｉｎが更新される。加えて、数１に従って算出された最適ゲインαｓおよびβｓが、レジスタ５２ｔに設定されるとともに、バックアップゲインαｂｋおよびβｂｋとして退避される。
【００５５】
可能性Ｌが図９に示す要領で変化したとき、肌色ゲインαｓｋｉｎおよびβｓｋｉｎ，最適ゲインαｓおよびβｓ，レジスタ５２ｔの設定，バックアップゲインαｂｋおよびβｂｋは、以下の要領で更新される。
【００５６】
算出された可能性Ｌが“０”であれば、数１に従って算出された最適ゲインαｓおよびβｓに基づいて肌色ゲインαｓｋｉｎおよびβｓｋｉｎが更新される。さらに、数１に従って算出された最適ゲインαｓおよびβｓが、レジスタ５２ｔに設定され、バックアップゲインαｂｋおよびβｂｋとして退避される。
【００５７】
算出された可能性Ｌが“５５”であれば、肌色ゲインαｓｋｉｎおよびβｓｋｉｎの更新が中断される。最適ゲインαｓおよびβｓの値がバックアップゲインαｂｋおよびβｂｋの値を参照して補正され、レジスタ５２ｔには補正された最適ゲインαｓおよびβｓが設定される。バックアップゲインαｂｋおよびβｂｋは、補正された最適ゲインαｓおよびβｓによって更新される。
【００５８】
なお、算出された可能性Ｌが“１００”を示すときは、可能性Ｌが“５５”のときと同様の処理が実行される。ただし、数４から分かるように、可能性Ｌが“１００”を示すときは、補正された最適ゲインαｓおよびβｓの値はバックアップゲインαｂｋおよびβｂｋの値と一致する。このため、補正された最適ゲインαｓおよびβｓをレジスタ５２ｔに設定したりバックアップゲインαｂｋおよびβｂｋとして退避させる処理は実質的に無意味となる。
【００５９】
このように、人肌が出現したときに最適ゲインαｓおよびβｓの値をバックアップゲインαｂｋおよびβｂｋの値に近づけることで、人肌の出現に起因する白バランスの変動が抑制される。また、可能性Ｌが“０”であるときに肌色ゲインαｓｋｉｎおよびβｓｋｉｎを更新することで、光源の変化に起因する可能性Ｌの算出精度の低下を防止することができる。
【００６０】
ＣＰＵ３８は、図１０に示す撮像制御タスクおよび図１１〜図１４に示す撮像条件調整タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４２に記憶される。
【００６１】
図１０を参照して、ステップＳ１では動画取り込み処理を実行する。これによって、スルー画像がＬＣＤモニタ３２に表示される。ステップＳ３では記録開始操作が行われたか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ５に進む。ステップＳ５では、記録処理を開始するべく、対応する命令をメモリＩ／Ｆ３４に与える。メモリＩ／Ｆ３４は、ＹＵＶ画像エリア２６ｂに格納された画像データをメモリ制御回路２４を通して繰り返し読み出し、読み出された画像データを記録媒体３６に保存する。ステップＳ７では記録終了操作が行われたか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ９に進む。ステップＳ９では、記録処理を終了するべく、対応する命令をメモリＩ／Ｆ３４に与える。メモリＩ／Ｆ３４は、上述の動作を終了する。ステップＳ９の処理が完了すると、ステップＳ３に戻る。
【００６２】
図１１を参照して、ステップＳ１１では、フォーカスレンズ１２を初期位置に配置し、絞り機構１４の開放量を初期値に調整し、撮像面の露光時間を基準値に設定する。ステップＳ１１ではさらに、ステップＳ２３のＡＷＢ処理において参照されるフラグＦＬＧｗｂを“０”に設定する。なお、フラグＦＬＧｗｂは上述した数１に従う演算処理の実行回数を識別するためのフラグであり、実行回数が０回のときに“０”を示す一方、実行回数が１回以上のときに“１”を示す。
【００６３】
ステップＳ１３では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ１５に進み、ＡＥ／ＡＦ評価回路２２から出力された２５６個の輝度評価値および２５６個のＡＦ評価値を取り込む。ステップＳ１７では、取り込まれた輝度評価値に基づくＡＥ処理を実行する。この結果、スルー画像の明るさが適度に調整される。
【００６４】
ステップＳ１９では、ＡＦ起動条件が満足されるか否かをステップＳ１５で取り込まれたＡＦ評価値に基づいて判別する。判別結果がＮＯであればそのままステップＳ２３に進み、判別結果がＹＥＳであればステップＳ２１のＡＦ処理を経てステップＳ２３に進む。ＡＦ処理はステップＳ１５で取り込まれたＡＦ評価値に基づいて実行され、この結果、スルー画像の鮮鋭度が向上する。ステップＳ２３では、図１２〜図１４に示すサブルーチンに従ってＡＷＢ処理を実行する。この結果、スルー画像の白バランスが的確に調整される。ＡＷＢ処理が完了すると、ステップＳ１３に戻る。
【００６５】
図１２を参照して、ステップＳ３１では、最適ゲインαｓおよびβｓを算出するべく、ゲイン算出処理を実行する。算出された最適ゲインαｓおよびβｓは、白検出範囲ＤＴ１〜ＤＴ３の少なくとも１つに属するＲ評価値Σｒ，Ｇ評価値ΣｇおよびＢ評価値Σｂを加色法で混合したときに得られる色を白色に変換するためのゲインに相当する。
【００６６】
ステップＳ３３では、フラグＦＬＧｗｂが“０”を示すか否かを判別する。判別結果がＹＥＳであれば、ステップＳ３５でフラグＦＬＧｗｂを“１”に更新し、ステップＳ３７でゲインαｓｋｉｎおよびβｓｋｉｎを設定ないし更新する。肌色ゲインαｓｋｉｎは最適ゲインαｓのＫ１倍の値を示し、肌色ゲインβｓｋｉｎは最適ゲインβｓのＫ２倍の値を示す。ここで“Ｋ１”および“Ｋ２”はいずれも定数であり、肌色ゲインαｓｋｉｎおよびβｓｋｉｎは肌色を白色に変換するためのゲインに相当する。
【００６７】
ステップＳ３３の判別結果がＮＯであれば、ステップＳ３９で可能性算出処理を実行する。これによって算出される可能性Ｌは、白検出範囲に属する色を有する物体が人肌である可能性に相当する。ステップＳ４１では算出された可能性Ｌが“０”であるか否かを判別し、判別結果がＹＥＳであればステップＳ３７で肌色ゲインαｓｋｉｎおよびβｓｋｉｎを更新する一方、判別結果がＮＯであればステップＳ４３に進む。
【００６８】
ステップＳ４３では、上述した数４に従って最適ゲインαｓおよびβｓを補正する。最適ゲインαｓおよびβｓは、可能性Ｌが増大するほどバックアップゲインαｂｋおよびβｂｋ（＝現時点でレジスタ５２ｔに設定されている最適ゲインαｓおよびβｓ）に近づく。
【００６９】
ステップＳ３７またはＳ４３の処理が完了すると、白バランス調整回路５２を形成するレジスタ５２ｔに設定された最適ゲインαｓおよびβｓを更新する。ステップＳ３７からステップＳ４５に移行したときは、ステップＳ３１で算出された最適ゲインαｓおよびβｓがレジスタ５２ｔに設定される。一方、ステップＳ４３からステップＳ４５に移行したときは、ステップＳ４３で補正された最適ゲインαｓおよびβｓがレジスタ５２ｔに設定される。
【００７０】
ステップＳ４７では、レジスタ５２ｔに設定された最適ゲインαｓおよびβｓによってバックアップゲインαｂｋおよびβｂｋを更新する。この結果、バックアップゲインαｂｋおよびβｂｋはそれぞれ、レジスタ５２ｔに設定された最適ゲインαｓおよびβｓと常に一致する。ステップＳ４７の処理が完了すると、上階層のルーチンに復帰する。
【００７１】
ステップＳ３１のゲイン算出処理は、図１３に示すサブルーチンに従って実行される。まずステップＳ５１で、総和ＳＵＭΣｒ，ＳＵＭΣｇおよびＳＵＭΣｂを“０”に設定する。ステップＳ５３では、２５６個のＲ評価値Σｒ，Σｒ，…を積分器５６ｒから取り込み、２５６個のＧ評価値Σｇ，Σｇ，…を積分器５６ｇから取り込み、そして２５６個のＢ評価値Σｂ，Σｂ，…を積分器５６ｂから取り込む。
【００７２】
ステップＳ５５では変数Ｋを“１”に設定し、ステップＳ５７ではＫ番目の分割エリアに対応するＲ評価値Σｒ，Ｇ評価値ΣｇおよびＢ評価値Σｂによって定義される色が白検出範囲ＤＴ１〜ＤＴ３の少なくとも１つに属するか否かを判別する。判別結果がＮＯであればそのままステップＳ６１に進み、判別結果がＹＥＳであればステップＳ５９の処理を経てステップＳ６１に進む。ステップＳ５９では、Ｋ番目のＲ評価値Σｒを総和ＳＵＭΣｒに積算し、Ｋ番目のＧ評価値Σｇを総和ＳＵＭΣｇに積算し、そしてＫ番目のＢ評価値Σｂを総和ＳＵＭΣｂに積算する。
【００７３】
ステップＳ６１では変数Ｋが“２５６”を上回るか否かを判別し、判別結果がＮＯであればステップＳ６３で変数ＫをインクリメントしてからステップＳ５７に戻る一方、判別結果がＹＥＳであればステップＳ６５で上述の数１に従って最適ゲインαｓおよびβｓを算出する。ステップＳ６５の処理が完了すると、上階層のルーチンに復帰する。
【００７４】
図１２に示すステップＳ３９の可能性算出処理は、図１４に示すサブルーチンに従って実行される。
【００７５】
ステップＳ７１では、肌色ゲインαｓｋｉｎと最適ゲインαｓとの差分の絶対値を“Δα”として算出する。ステップＳ７３では、肌色ゲインβｓｋｉｎと最適ゲインβｓとの差分の絶対値を“Δβ”として算出する。ステップＳ７５では、上述した数２に従って、座標（αｓｋｉｎ，βｓｋｉｎ）から座標（αｓ，βｓ）までの距離を“Ｄ”として算出する。ステップＳ７７では算出された距離Ｄが最大値Ｄｍａｘを上回るか否かを判別し、ステップＳ７９では算出された距離Ｄが最小値Ｄｍｉｎを下回るか否かを判別する。ステップＳ７７の判別結果がＹＥＳであればステップＳ８１に進み、可能性Ｌを“０”に設定する。ステップＳ７９の判別結果がＹＥＳであればステップＳ８３に進み、可能性Ｌを“１００”に設定する。ステップＳ７７の判別結果およびステップＳ７９の判別結果のいずれもＮＯであれば、上述の数３に従って可能性Ｌを算出する。ステップＳ８１，Ｓ８３またはＳ８５の処理が完了すると、上階層のルーチンに復帰する。
【００７６】
以上の説明から分かるように、白バランス調整回路５２は、色分離回路５０から繰り返し出力される画像データの白バランスをレジスタ５２ｔに設定された最適ゲインαｓおよびβｓを参照して調整する。ＣＰＵ３８は、白バランス調整回路５２から出力された画像データのうち白検出範囲ＤＴ１〜ＤＴ３に属する色を示す部分画像データに基づいて、最適ゲインαｓおよびβｓを算出する(S31)。ＣＰＵ３８はまた、この部分画像データが人肌を表す画像データである可能性を、算出された最適ゲインαｓおよびβｓに基づいて検出する。算出された最適ゲインαｓおよびβｓの値は、検出された可能性の値の増大に伴ってバックアップゲインαｂｋおよびβｂｋ（＝現時点でレジスタ５２ｔに設定されている最適ゲインαｓおよびβｓ）に近づけられる(S43)。こうして補正された値を示す最適ゲインαｓおよびβｓは、レジスタ５２ｔに設定するとともに、バックアップゲインαｂｋおよびβｂｋとして退避される(S45, S47)。
【００７７】
最適ゲインαｓおよびβｓは、白検出範囲ＤＴ１〜ＤＴ３に属する色を示す部分画像データに基づいて算出され、この部分画像データが人肌を表す画像データである可能性は算出された最適ゲインαｓおよびβｓに基づいて検出される。最適ゲインαｓおよびβｓの値は、検出された可能性の値が増大するほど、レジスタ５２ｔに設定済みの最適ゲインαｓおよびβｓ（つまり前回の最適ゲインαｓおよびβｓ）に近づけられる。レジスタ５２ｔに設定された最適ゲインαｓおよびβｓは、こうして補正された最適ゲインαｓおよびβｓによって更新され、繰り返し取り込まれる被写界像の白バランスは更新された最適ゲインαｓおよびβｓを参照して調整される。これによって、人肌の出現に起因する白バランスの変動を抑制することができ、白バランスの調整性能が向上する。
【００７８】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４２に予め記憶される。しかし、図１５に示すように通信Ｉ／Ｆ４４をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４２に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００７９】
また、この実施例では、ＣＰＵ３８によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００８０】
１０  …ディジタルビデオカメラ
１６  …イメージセンサ
２８  …後処理回路
３８  …ＣＰＵ
５０  …色分離回路
５２  …白バランス調整回路
５６ｒ，５６ｇ，５６ｂ  …積分器
【図１】
0005675391.tif 000002
【図２】
0005675391.tif 000003
【図３】
0005675391.tif 000004
【図４】
0005675391.tif 000005
【図５】
0005675391.tif 000006
【図６】
0005675391.tif 000007
【図７】
0005675391.tif 000008
【図８】
0005675391.tif 000009
【図９】
0005675391.tif 000010
【図１０】
0005675391.tif 000011
【図１１】
0005675391.tif 000012
【図１２】
0005675391.tif 000013
【図１３】
0005675391.tif 000014
【図１４】
0005675391.tif 000015
【図１５】
0005675391.tif 000016