(57)【要約】【課題】  複数の光源下で撮像された画像に対してホワイトバランス処理の調整量を迅速かつ確度高く取得できる技術を提供することを目的とする。【解決手段】  処理対象の対象画像の特徴量を算出し、特徴量に基づいて対象画像の被写体のシーンを認識するシーン認識部と、被写体が複数のシーンのうちのいずれかであるシーンごとの確率を示す重み情報を予め記憶する記憶部と、シーン認識部による認識結果を重み情報と案分し、対象画像に対するホワイトバランス調整値を算出し取得するホワイトバランス算出部と、ホワイトバランス調整値に基づいて、対象画像のホワイトバランス処理を行うホワイトバランス処理部と、を備える。【選択図】    図１
2013201477.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の対象画像の特徴量を算出し、前記特徴量に基づいて前記対象画像の被写体のシーンを認識するシーン認識部と、
前記被写体が複数のシーンのうちのいずれかである前記シーンごとの確率を示す重み情報を予め記憶する記憶部と、
前記シーン認識部による認識結果を前記重み情報と案分し、前記対象画像に対するホワイトバランス調整値を算出し取得するホワイトバランス算出部と、
前記ホワイトバランス調整値に基づいて、前記対象画像のホワイトバランス処理を行うホワイトバランス処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記重み情報は、前記被写体の輝度に応じて異なることを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記ホワイトバランス算出部は、前記対象画像に対して白検出し、白検出された画素の数に基づいて、前記シーン認識部による認識結果を前記重み情報と案分することを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
前記シーン認識部は、前記特徴量と教師有り学習に基づいて求められた判別基準とに基づいて、前記被写体のシーンを認識することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記判別基準は、閃光装置以外の光源により撮像され、前記被写体を照明する光源が予め特定された複数の画像を前記教師有り学習に適用して求められたものであることを特徴とする画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
前記シーンは、前記被写体を照明する光源であり、
前記シーン認識部は、前記光源を特定する
ことを特徴とする画像処理装置。
【請求項７】
被写体を撮像して対象画像を生成する撮像部と、
請求項１ないし請求項６のいずれか１項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記被写体を閃光照明する閃光装置を備え、
前記撮像部は、前記閃光装置を用いて前記対象画像を撮像する場合、閃光無しのテスト画像を撮像し、
前記ホワイトバランス算出部は、前記テスト画像と前記対象画像との輝度分布の変化量を算出し、前記変化量に基づいて前記ホワイトバランス調整値を調整する
ことを特徴とする撮像装置。
【請求項９】
処理対象の対象画像の特徴量を算出し、前記特徴量に基づいて前記対象画像の被写体のシーンを認識するシーン認識手順、
前記シーン認識手順による認識結果を、前記被写体が複数のシーンのうちのいずれかである前記シーンごとの確率を示す重み情報と案分し、前記対象画像に対するホワイトバランス調整値を算出し取得するホワイトバランス算出手順、
前記ホワイトバランス調整値に基づいて、前記対象画像のホワイトバランス処理を行うホワイトバランス処理手順、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シーンに応じてホワイトバランス調整値を取得することができる画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、撮像された画像に対するホワイトバランス処理は、例えば、ユーザにより予め指定された、または被写体に対するシーン認識により特定された１つの光源の波長特性に基づいて行われる。しかしながら、実際の被写体は様々な光源で照明されているので、正しくホワイトバランス処理されず、撮像された画像の被写体と実際の被写体との印象が異なる場合がある。
【０００３】
それを解決するために、例えば、撮像した画像を複数のブロックに分割し、各ブロックで求められる代表色と複数の光源それぞれの典型色差とに基づいて、各光源が各ブロックのシーンを照明している信頼度および画像全体に対する寄与成分を推定し、それら信頼度および寄与成分に応じて、画像全体のシーンを照明する複合照明の照明色を推定しホワイトバランス処理を行う技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０８１２１３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１等の従来技術では、各ブロックにおいて各光源に対する信頼度および寄与成分を求める必要があり、画像サイズの増大に伴い処理量が増大し、処理に時間がかかるという問題がある。
【０００６】
従来技術が有する問題に鑑み、本発明は、複数の光源下で撮像された画像に対してホワイトバランス処理の調整量を迅速かつ確度高く取得できる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明を例示する画像処理装置の一態様は、処理対象の対象画像の特徴量を算出し、特徴量に基づいて対象画像の被写体のシーンを認識するシーン認識部と、被写体が複数のシーンのうちのいずれかであるシーンごとの確率を示す重み情報を予め記憶する記憶部と、シーン認識部による認識結果を重み情報と案分し、対象画像に対するホワイトバランス調整値を算出し取得するホワイトバランス算出部と、ホワイトバランス調整値に基づいて、対象画像のホワイトバランス処理を行うホワイトバランス処理部と、を備える。
【０００８】
また、重み情報は、被写体の輝度に応じて異なってもよい。
【０００９】
また、ホワイトバランス算出部は、対象画像に対して白検出し、白検出された画素の数に基づいて、シーン認識部による認識結果を重み情報と案分してもよい。
【００１０】
また、シーン認識部は、特徴量と教師有り学習に基づいて求められた判別基準とに基づいて、被写体のシーンを認識してもよい。
【００１１】
また、判別基準は、閃光装置以外の光源により撮像され、被写体を照明する光源が予め特定された複数の画像を教師有り学習に適用して求められたものであってもよい。
【００１２】
また、シーンは、被写体を照明する光源であり、シーン認識部は、光源を特定してもよい。
【００１３】
本発明を例示する撮像装置の一態様は、被写体を撮像して対象画像を生成する撮像部と、本発明の画像処理装置と、を備える。
【００１４】
また、被写体を閃光照明する閃光装置を備え、撮像部は、閃光装置を用いて対象画像を撮像する場合、閃光無しのテスト画像を撮像し、ホワイトバランス算出部は、テスト画像と対象画像との輝度分布の変化量を算出し、変化量に基づいてホワイトバランス調整値を調整してもよい。
【００１５】
本発明を例示する画像処理プログラムの一態様は、処理対象の対象画像の特徴量を算出し、特徴量に基づいて対象画像の被写体のシーンを認識するシーン認識手順、シーン認識手順による認識結果を、被写体が複数のシーンのうちのいずれかであるシーンごとの確率を示す重み情報と案分し、対象画像に対するホワイトバランス調整値を算出し取得するホワイトバランス算出手順、ホワイトバランス調整値に基づいて、対象画像のホワイトバランス処理を行うホワイトバランス処理手順、をコンピュータに実行させる。
【発明の効果】
【００１６】
本発明によれば、複数の光源下で撮像された画像に対してホワイトバランス処理の調整量を迅速かつ確度高く取得できる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一の実施形態に係るデジタルカメラの構成を示すブロック図
【図２】被写体の輝度に応じた重み係数の一覧表の一例を示す図
【図３】被写体の輝度に応じたシーン認識結果を参照する度合いの関数の一例を示す図
【図４】閃光装置によるホワイトバランス調整値に対する影響度の関数の一例を示す図
【図５】本発明の一の実施形態に係るデジタルカメラの処理動作のフローチャート
【発明を実施するための形態】
【００１８】
図１は、本発明の一の実施形態に係るデジタルカメラの構成を示すブロック図である。
【００１９】
本実施形態のデジタルカメラは、撮像光学系１１、撮像素子１２、ＡＦＥ１３、バッファメモリ１４、画像処理部１５、モニタ１６、閃光発光制御部１７、閃光装置１８、ＣＰＵ１９、操作部材２２、記録Ｉ／Ｆ２３、記憶部２５、バスから構成される。バッファメモリ１４、画像処理部１５、モニタ１６、閃光発光制御部１７、ＣＰＵ１９、記録Ｉ／Ｆ２３、記憶部２５は、バスを介して情報伝達可能にそれぞれ接続される。また、操作部材２２はＣＰＵ１９に接続される。
【００２０】
撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。
【００２１】
撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写体を撮像するデバイスである。この撮像素子１２の出力はＡＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤ等）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳ等）であってもよい。
【００２２】
また、撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、カラーの画像を取得できる。
【００２３】
ここで、デジタルカメラの撮影モードにおいて、撮像素子１２は操作部材２２を構成するレリーズ釦の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定の時間間隔で構図確認用画像（スルー画像）を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。なお、スルー画像のデータは、モニタ１６での画像表示や、ＣＰＵ１９による各種演算処理などに使用される。
【００２４】
ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換を行う。ＡＦＥ１３の出力は、バッファメモリ１４に一時的に記録される。なお、本実施形態では、撮像素子１２とＡＦＥ１３とで撮像部を構成する。また、バッファメモリ１４は、一般的な揮発性の半導体メモリ等を適宜選択して用いることができ、画像処理部１５による画像処理の前工程や後工程での画像データを一時的に記憶する。
【００２５】
画像処理部１５は、バッファメモリ１４に記憶された１フレーム分のデジタル画像信号に対して、各種画像処理（例えば、色補間処理、階調変換処理、輪郭強調処理など）を施す。また、本実施形態の画像処理部１５は、後述するＣＰＵ１９により取得されたホワイトバランス調整値に基づいて、上記各種画像処理とともに、デジタル画像信号に対しホワイトバランス処理を行うホワイトバランス処理部として動作する。
【００２６】
モニタ１６は、液晶モニタなどの表示部であり、ＣＰＵ１９の指示に応じて各種画像を表示する。
【００２７】
閃光発光制御部１７は、ＣＰＵ１９により測光される被写体の輝度に応じて、閃光装置１８の閃光動作を制御する。閃光装置１８を閃光させて画像を撮像する場合、閃光発光制御部１７は、閃光装置１８に本画像撮像時における本発光の発光量を求めるためのプリ発光をさせる。ＣＰＵ１９は、そのプリ発光による被写体の輝度に基づいて、本発光の発光量を演算する。本撮像時、閃光発光制御部１７は、演算された発光量に基づいて、閃光装置１８に本発光させる。閃光装置１８の光源には、キセノンランプや発光ダイオード（ＬＥＤ）等を適宜選択して用いることができる。
【００２８】
ＣＰＵ１９は、デジタルカメラの各部を統括的に制御するプロセッサである。ＣＰＵ１９は、制御プログラムおよび画像処理プログラムを実行することにより、スルー画像のデータに基づいて、位相差検出方式やコントラスト検出方式による公知の自動焦点（ＡＦ）制御や、自動露出（ＡＥ）演算などを行う。また、ＣＰＵ１９は、ユーザにより操作部材２２のレリーズ釦が半押しされた場合、スルー画像を用いて被写体の輝度を測光するなど、撮像モードにおける各種の演算処理を行うとともに、撮像した画像のファイル生成処理や設定画面での表示処理などを行う。さらに、本実施形態のＣＰＵ１９は、画像処理プログラムの実行により、画像処理部１５によるホワイトバランス処理に用いるホワイトバランス調整値を取得するシーン認識部２０、ホワイトバランス（ＷＢ）算出部２１として動作する。
【００２９】
シーン認識部２０は、撮像素子１２により撮像された本画像（対象画像）の輝度や色差などの特徴量を算出し、対象画像の露出条件を含む上記特徴量と公知のシーン認識の手法とに基づいて被写体のシーンを認識し、被写体を照明する光源を特定する。ここで、本実施形態では、例えば、パターンマッチングやニューラルネットなどの教師有り学習を、閃光装置以外の光源を用いて撮像され、その光源が予め特定されている様々な被写体の複数のサンプル画像に適用し、各サンプル画像の露出条件や輝度、色差などの特徴量と各光源の波長特性との対応付けの判断基準を予め求められ、その判断基準が記憶部２５に記憶されているものとする。シーン認識部２０は、記憶部２５に記憶された判断基準に基づいて、対象画像の被写体を照明する光源を特定する。
【００３０】
ＷＢ算出部２１は、シーン認識部２０の認識結果および測光された被写体の輝度に基づいて、対象画像に対するホワイトバランス調整値を算出し取得する。なお、本実施形態のＷＢ算出部２１の動作については、後ほど詳細に説明する。
【００３１】
操作部材２２は、例えば、レリーズ釦、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材２２はデジタルカメラの各種入力をユーザから受け付ける。例えば、操作部材２２は、撮像操作、デジタルカメラの動作モードの切替操作や、設定画面での入力操作などに用いられる。
【００３２】
記録Ｉ／Ｆ２３には、記憶媒体２４を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２３は、コネクタに接続された記憶媒体２４に対してデータの書き込み／読み込みを実行する。上記記憶媒体２４は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２４の一例としてメモリカードを示す。
【００３３】
記憶部２５は、デジタルカメラによって撮像された本画像のデータ、ＣＰＵ１９によって実行される制御プログラムや画像処理プログラムなどを記憶する。また、記憶部２５は、シーン認識部２０が参照する判断基準のデータとともに、図２に示す一覧表および図３、図４に示す関数を記憶する。なお、記憶部２５には、不揮発性の半導体メモリなどを用いることができる。
【００３４】
ここで、記憶部２５に記憶される図２の一覧表、および図３、図４の関数について簡単に説明する。図２は、被写体の輝度に応じて、被写体を照明する各光源の確率を示す重み係数の一覧表である。この一覧表は、例えば、上記複数のサンプル画像を用いて、被写体の輝度（ＢＶ）ごとにサンプル画像の被写体を照射する光源の分布を求め、その分布に基づいて、各光源の確率を重み係数として一覧にしたものである。例えば、ＢＶ＝５のとき、晴天および曇天下で撮像されたサンプル画像が４０％、蛍光灯および電球の照明下で撮像されたサンプル画像が２０％で分布していた場合、図２に示す各光源の重み係数の値が設定される。そして、図２の一覧表に示すように、ＢＶ値が小さく被写体が暗くなるにつれて光源の区別が困難になり、各光源の重み係数の値は等しく設定される。一方、ＢＶ値が大きく被写体が明るくなるにつれて、光源が蛍光灯や電灯よりも晴天や日陰である確率が高くなることから、晴天や日陰の重み係数の値が他の光源より大きな値に設定される。
【００３５】
なお、本実施形態の光源として、図２に示すように、晴天、日陰、蛍光灯、電球としたが、曇天や水銀灯等の光源が含まれてもよい。また、本実施形態では、重み係数の値を０〜３２としたが、要求されるホワイトバランスの補正値の決定精度やＣＰＵ１９の処理能力に応じて、適宜設定されることが好ましい。
【００３６】
図３に示す関数は、ＷＢ算出部２１が対象画像に対するホワイトバランス調整量を取得するにあたり、シーン認識部２０による認識結果を参照する度合いを、被写体の輝度に応じて関係付けたものである。すなわち、上述したように、ＢＶ値が小さく被写体が暗い場合、被写体を照明する光源を特定することは困難であり、シーン認識部２０による認識結果の信頼性は低くなる。そこで、本実施形態では、図３に示すように、ＢＶ＝６より小さい場合、図２に示す重み情報のみに基づいて、ＷＢ算出部２１はホワイトバランス調整値を算出し取得する。一方、ＢＶ値が大きく被写体が明るい場合、被写体を照明する光源を特定することは容易になる。そこで、本実施形態のＷＢ算出部２１は、ＢＶ値が６以上で大きくなるに従いシーン認識部２０の認識結果を重要視しつつ、図２のＢＶ値に応じた重み係数（重み情報）と案分し、ホワイトバランス調整値を算出し取得する。なお、図３において、横軸は被写体の輝度（ＢＶ）、縦軸はシーン認識部２０の認識結果の参照度合αを示す。
【００３７】
図４に示す関数は、対象画像が閃光装置１８を用いて撮像された場合、閃光装置１８によるホワイトバランス調整値への影響の度合いを、閃光装置１８による寄与度に応じて関係付けたものである。すなわち、本実施形態のＷＢ算出部２１は、対象画像が閃光装置１８を用いて撮像された場合、図４に示す関数に基づいて、閃光装置１８の影響を考慮したホワイトバランス調整値に取得する。なお、閃光装置１８の寄与度とは、例えば、閃光装置１８の発光前後に撮像された画像における輝度分布の変化量に応じて定義される指標である。本実施形態では、閃光装置１８の発光前の画像としてスルー画像（テスト画像）を用い、発光後の画像として対象画像を用いる。また、図４において、横軸は閃光装置１８の寄与度、縦軸は閃光装置１８による影響度βを示す。
【００３８】
次に、図５のフローチャートを参照しつつ、本実施形態のデジタルカメラによるホワイトバランス処理について説明する。ただし、本実施形態のデジタルカメラは予め撮像モードに設定されているものとする。また、以下において、本実施形態のデジタルカメラは、被写体を単写して静止画像の本画像（対象画像）を取得する場合の動作について説明するが、連写および動画の場合についても同様に動作し詳細な説明は省略する。
【００３９】
ＣＰＵ１９は、ユーザによる操作部材２２の電源釦操作により、電源投入指示を受け付け、デジタルカメラの電源を投入する。ＣＰＵ１９は、記憶部２５より制御プログラムおよび画像処理プログラムを読み込んで実行し、デジタルカメラを初期化する。ＣＰＵ１９は、撮像素子１２に３０ｆｐｓなどのフレームレートでスルー画像を撮像させ、モニタ１６にそのスルー画像を表示させる。ＣＰＵ１９は、ステップＳ１０１からの処理を開始する。
【００４０】
ステップＳ１０１：ＣＰＵ１９は、ユーザによる操作部材２２のレリーズ釦の半押し操作を受け付けたか否かを判定する。ＣＰＵ１９は、ユーザからの半押し操作を受け付けた場合、ステップＳ１０２へ移行する。一方、ＣＰＵ１９は、半押し操作を受け付けなかった場合（ＮＯ側）、ユーザから半押し操作を受け付けるまで待機する。
【００４１】
ステップＳ１０２：ＣＰＵ１９は、ユーザからの半押し操作を受け付けた場合、撮像素子１２により撮像されたスルー画像に基づき被写体の輝度を測光する。ＣＰＵ１９は、その測光した輝度に基づいてＡＥ演算を行い露出条件を算出する。なお、ＣＰＵ１９は、被写体の測光や露光条件の算出の結果、閃光装置１８による閃光撮像を行うと判定した場合、測光に用いたスルー画像をバッファメモリ１４に一時的に記録する。
【００４２】
ステップＳ１０３：ＣＰＵ１９は、ユーザによる操作部材２２のレリーズ釦の全押し操作を受け付けたか否かを判定する。ＣＰＵ１９は、ユーザからの全押し操作を受け付けた場合、被写体の撮像指示を受け付けたとして、撮像素子１２に被写体を本撮像させる。ＣＰＵ１９は、ＡＦＥ１３のよりデジタル信号に変換され出力された対象画像をバッファメモリ１４に一時的に記録し、ステップＳ１０４（ＹＥＳ側）へ移行する。一方、ＣＰＵ１９は、全押し操作を受け付けなかった場合（ＮＯ側）、ユーザからの全押し操作による撮像指示を受け付けるまで待機する。
【００４３】
ステップＳ１０４：ＣＰＵ１９のシーン認識部２０は、バッファメモリ１４から対象画像を読み込み、対象画像の輝度、色差などの特徴量を算出する。シーン認識部２０は、対象画像の露出条件を含む上記特徴量と記憶部２５の判断基準とに基づいて被写体のシーンを認識し、被写体を照明する光源を特定する。
【００４４】
ステップＳ１０５：ＣＰＵ１９のＷＢ算出部２１は、シーン認識部２０の認識結果および測光された被写体の輝度に基づいて、対象画像に対するホワイトバランス調整値を算出し取得する。まず、ＷＢ算出部２１は、シーン認識部２０の認識結果を図２に示す一覧表の重み情報と案分するために、シーン認識部２０により特定された光源に対し重み係数を設定する。すなわち、ＷＢ算出部２１は、例えば、シーン認識部２０により「晴天」と認識された場合、認識結果の信頼性が１００％であるとして、ＢＶ値にかかわらず（晴天，曇天，蛍光灯，電灯）＝（３２，０，０，０）と重み係数を設定する。あるいは、ＷＢ算出部２１は、シーン認識部２０により「蛍光灯」と認定された場合、ＢＶ値にかかわらず（晴天，曇天，蛍光灯，電灯）＝（０，０，３２，０）と設定する。
【００４５】
次に、ＷＢ算出部２１は、対象画像に対して公知の白検出を行い、白色の画像値を有する画素を抽出する。ＷＢ算出部２１は、例えば、白検出された各画素のＧ／Ｒ、Ｇ／Ｂなどの値に基づいて、各画素の色温度に対応する光源を特定する。ＷＢ算出部２１は、光源ごとに白検出された画素数を数える。ここで、晴天、日陰、蛍光灯、電灯ごとに数えられた画素の数をｎ１、ｎ２、ｎ３、ｎ４とする。なお、以下の記載において、晴天、日陰、蛍光灯、電灯の各光源は、符号ｉ＝１、２、３、４のそれぞれに対応するものとする。
【００４６】
ＷＢ算出部２１は、図３に示す関数に基づいて、ステップＳ１０２で測光された被写体の輝度に対応する参照度合αを決定し、次式（１）に基づきシーン認識部２０の認識結果と図２に示す一覧表の重み情報とを案分する。
ＷＧｉ＝α×ＷＳｉ×ｎｉ＋（１−α）×Ｗｉ×ｎｉ  ・・・（１）
ここで、ＷＳｉ、Ｗｉ、ＷＧｉそれぞれは、光源ｉにおける、シーン認識部２０の認識結果の重み係数、測光された被写体の輝度における図２の一覧表の重み係数、案分された重み係数を示す。一例として、シーン認識部２０の認識結果が「晴天」で、測光された被写体の輝度ＢＶ＝９の場合、（ＷＳ１，ＷＳ２，ＷＳ３，ＷＳ４）＝（３２，０，０，０）、（Ｗ１，Ｗ２，Ｗ３，Ｗ４）＝（３２，１６，０，０）、α＝０．２５となる。
【００４７】
最後に、ＷＢ算出部２１は、案分された各光源ｉの重み係数ＷＧｉに基づいて、例えば、各光源の波長特性を加重平均して、対象画像に対するホワイトバランス調整値εを算出し取得する。
【００４８】
ステップＳ１０６：ＣＰＵ１９は、ステップＳ１０３の本撮像において閃光装置１８が閃光発光したか否かを、閃光発光制御部１７からのフラグ信号に基づいて判定する。ＣＰＵ１９は、本撮像において閃光装置１８が閃光発光したというフラグ信号を閃光発光制御部１７から受信した場合、ステップＳ１０７（ＹＥＳ側）へ移行し、フラグ信号を受信しなかった場合、ステップＳ１０８（ＮＯ側）へ移行する。
【００４９】
ステップＳ１０７：ＷＢ算出部２１は、ステップＳ１０５で取得したホワイトバランス調整値εを、閃光発光した閃光装置１８の被写体の照明に対する寄与度に応じて調整する。そのために、ＷＢ算出部２１は、閃光装置１８の発光前の被写体の輝度分布を、ステップＳ１０２で用いバッファメモリ１４に記録されているスルー画像を次式（２）に適用して算出する。
発光前の輝度分布ＤＢｂ＝（スルー画像中央域の平均輝度）／（スルー画像周辺域の平均輝度）  ・・・（２）
同時に、ＷＢ算出部２１は、発光後の被写体の輝度分布を、対象画像を次式（３）に適用して算出する。
発光後の輝度分布ＤＢａ＝（対象画像中央域の平均輝度）／（対象画像周辺域の平均輝度）  ・・・（３）
ＷＢ算出部２１は、閃光装置１８の閃光発光による被写体の輝度分布の変化量を、次式（４）に基づいて寄与度として算出する。
寄与度＝｜輝度分布ＤＢａ−輝度分布ＤＢｂ｜  ・・・（４）
ＷＢ演算部２１は、この寄与度を図４に示す関数に適用して、閃光装置１８によるホワイトバランス調整値εに対する影響度βの値を取得する。ＷＢ算出部２１は、次式（５）に基づいて、ホワイトバランス調整値εと閃光装置１８のホワイトバランス調整値εｆとを案分し、調整したホワイトバランス調整値ε’を取得する。なお、閃光装置１８のホワイトバランス調整値εｆは、予め記憶部２５に記憶されているものとする。
ε’＝（１−β）×ε＋β×εｆ  ・・・（５）
ステップＳ１０８：ＣＰＵ１９は、ステップＳ１０５で取得したホワイトバランス調整値εまたはステップＳ１０７で取得したホワイトバランス調整値ε’を、画像処理部１５へ出力する。画像処理部１５は、対象画像に対し、色補間処理、階調変換処理、輪郭強調処理などの各種画像処理とともに、受信したホワイトバランス調整値を用いてホワイトバランス処理を行う。
【００５０】
ステップＳ１０９：ＣＰＵ１９は、画像処理された対象画像の画像ファイルを生成する。ＣＰＵ１９は、その画像ファイルを記憶媒体２４や記憶部２５などに記録し、一連の処理を終了する。
【００５１】
なお、本実施形態のＣＰＵ１９は、画像ファイルの生成にあたり、露光条件などとともに、シーン認識部２０の判定結果や閃光装置１８の閃光動作の有無などの情報を、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠したメタデータを画像ファイルのヘッダ領域に付加することが好ましい。これにより、他のコンピュータに上記画像ファイルを読み込ませることにより、同様のホワイトバランス処理が可能となる。
【００５２】
このように、本実施形態では、撮像された対象画像のシーン認識により特定された光源を、測光された輝度における各光源の確率である重み情報と案分することにより、複数の光源下で撮像された対象画像に対しても、そのホワイトバランス調整量を確度高く取得することができる。
【００５３】
また、閃光装置１８による影響を個別に考慮することにより、対象画像に対するホワイトバランス調整量をより確度高く取得できる。
【００５４】
また、対象画像の被写体を照射する光源をシーン認識によって特定することにより、演算量の増大を招くことなく、複数の光源下で撮像された対象画像に対するホワイトバランス調整量を迅速に取得できる。
《実施形態の補足事項》
（１）上記実施形態では、シーン認識部２０、ＷＢ算出部２１の各処理を、ＣＰＵ１９がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現してもよい。
【００５５】
（２）本発明の画像処理装置は、上記実施形態のデジタルカメラの例に限定されない。例えば、画像をコンピュータに読み込ませ、コンピュータに画像処理プログラムを実行させることにより、コンピュータを本発明の画像処理装置として機能させてもよい。
【００５６】
（３）上記実施形態では、ＣＰＵ１９は被写体の輝度を撮像素子１２のスルー画像から測光したが、本発明はこれに限定されず、例えば、デジタルカメラは、撮像素子１２とともに、被写体の輝度を測光する測光センサを備えてもよい。その場合、ステップＳ１０７において、式（２）を用いて算出される発光前の輝度分布ＤＢｂを、測光センサが撮像した画像から算出されるのが好ましい。
【００５７】
（４）上記実施形態では、シーン認識部２０の認識結果の参照度合α、および閃光装置１８によるホワイトバランス調整値に対する影響度βを取得するために、図３および図４に示す関数を用いたが、本発明はこれに限定されず、対象画像の被写体や要求されるホワイトバランス処理の精度などに応じた関数を用いることが好ましい。
【００５８】
（５）上記実施形態では、図２に示す一覧表の各光源は輝度に応じて異なる重み係数を有したが、本発明はこれに限定されない。例えば、各光源は、輝度に関係なく１つの重み係数を有してもよい。
【００５９】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００６０】
１１…撮像光学系、１２…撮像素子、１３…ＡＦＥ、１４…バッファメモリ、１５…画像処理部、１６…モニタ、１７…閃光発光制御部、１８…閃光装置、１９…ＣＰＵ、２０…シーン認識部、２１…ＷＢ算出部、２２…操作部材、２３…記録Ｉ／Ｆ、２４…記憶媒体、２５…記憶部
【図１】
2013201477.tif 000003
【図２】
2013201477.tif 000004
【図３】
2013201477.tif 000005
【図４】
2013201477.tif 000006
【図５】
2013201477.tif 000007