(57)【要約】【課題】  演算量や回路規模が増大することなく、被写体のシーンを高速かつ精度よく判別することができる技術を提供することを目的とする。【解決手段】  対象画像の特徴量を用いて、予め設定された個々の参照シーンの色域と対象画像の撮影シーンとの類似度をそれぞれ求める複数の判別手段と、複数の判別手段から取得した複数の類似度の相関に応じて、撮影シーンに相応する色空間上の座標点を特定する特定手段と、を備える。【選択図】    図１
2013168723.tif 000002
【特許請求の範囲】
【請求項１】
対象画像の特徴量を用いて、予め設定された個々の参照シーンの色域と前記対象画像の撮影シーンとの類似度をそれぞれ求める複数の判別手段と、
前記複数の判別手段から取得した複数の前記類似度の相関に応じて、前記撮影シーンに相応する色空間上の座標点を特定する特定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記特定手段は、前記対象画像の特徴量および前記複数の類似度の相関に応じて、前記撮影シーンに相応する色空間上の座標点を特定することを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記特定手段は、複数の入力値の前記相関に応じた分布を前記色空間上で求め、求めた前記分布の重心位置または前記分布において最大値を与える位置に基づいて、前記座標点を特定することを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
前記特定手段は、ニューラルネットワークであることを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
前記参照シーンは、所定の光源であり、
前記撮影シーンは、前記対象画像における照明光源である
ことを特徴とする画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
特定された前記座標点に基づいて、前記対象画像に対するホワイトバランスの調整量を求める調整手段を備える
ことを特徴とする画像処理装置。
【請求項７】
被写体を撮像して対象画像を生成する撮像部と、
請求項１に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項８】
対象画像の特徴量を用いて、予め設定された個々の参照シーンの色域と前記対象画像の撮影シーンとの類似度をそれぞれ求める判別手順、
前記判別手順で取得した複数の前記類似度の相関に応じて、前記撮影シーンに相応する色空間上の座標点を特定する特定手順、
としてコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項９】
対象画像の特徴量を用いて、予め設定された個々の参照シーンの色域と前記対象画像の撮影シーンとの類似度をそれぞれ求める判別工程と、
前記判別工程で取得した複数の前記類似度の相関に応じて、前記撮影シーンに相応する色空間上の座標点を特定する特定工程と、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
従来、露光条件やホワイトバランス処理などの画像処理におけるパラメータの値を被写体のシーンに応じて設定するために、被写体のシーンを識別する様々な技術が開発されている。
【０００３】
例えば、画像データの色平均などの特徴量および絞り値などの撮影情報を、所定のシーンに属するか否かを判断するシーンごとのサポートベクタマシンに入力することにより、画像データにおける被写体のシーンを識別する技術がある（特許文献１など参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２８０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、識別したいシーンごとにサポートベクタマシンおよび判別基準のデータを用意する必要があり、演算量や回路規模が増大してしまう。
【０００６】
上記従来技術が有する問題に鑑み、本発明の目的は、演算量や回路規模が増大することなく、被写体のシーンを高速かつ精度よく判別することができる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明を例示する画像処理装置の一態様は、対象画像の特徴量を用いて、予め設定された個々の参照シーンの色域と対象画像の撮影シーンとの類似度をそれぞれ求める複数の判別手段と、複数の判別手段から取得した複数の類似度の相関に応じて、撮影シーンに相応する色空間上の座標点を特定する特定手段と、を備える。
【０００８】
また、特定手段は、対象画像の特徴量および複数の類似度の相関に応じて、撮影シーンに相応する色空間上の座標点を特定してもよい。
【０００９】
また、特定手段は、複数の入力値の相関に応じた分布を色空間上で求め、求めた分布の重心位置または分布において最大値を与える位置に基づいて、座標点を特定してもよい。
【００１０】
また、特定手段は、ニューラルネットワークであってもよい。
【００１１】
また、参照シーンは、所定の光源であり、撮影シーンは、対象画像における照明光源であってもよい。
【００１２】
また、特定された座標点に基づいて、対象画像に対するホワイトバランスの調整量を求める調整手段を備えてもよい。
【００１３】
本発明を例示する撮像装置の一態様は、被写体を撮像して対象画像を生成する撮像部と、本発明の画像処理装置と、を備える。
【００１４】
本発明を例示する画像処理プログラムの一態様は、対象画像の特徴量を用いて、予め設定された個々の参照シーンの色域と対象画像の撮影シーンとの類似度をそれぞれ求める判別手順、判別手順で取得した複数の類似度の相関に応じて、撮影シーンに相応する色空間上の座標点を特定する特定手順、としてコンピュータに実行させる。
【００１５】
本発明を例示する画像処理方法の一態様は、対象画像の特徴量を用いて、予め設定された個々の参照シーンの色域と対象画像の撮影シーンとの類似度をそれぞれ求める判別工程と、判別工程で取得した複数の類似度の相関に応じて、撮影シーンに相応する色空間上の座標点を特定する特定工程と、を備える。
【発明の効果】
【００１６】
本発明によれば、演算量や回路規模が増大することなく、被写体のシーンを高速かつ精度よく判別することができる。
【図面の簡単な説明】
【００１７】
【図１】一の実施形態のデジタルカメラの構成を示すブロック図
【図２】判別部２１の構成を示す図
【図３】各光源の照明色の分布を示す図
【図４】特定部２２の構成を示す図
【図５】一の実施形態のデジタルカメラによる画像処理の動作を示すフローチャート
【図６】他の実施形態のデジタルカメラによる画像処理の動作を示すフローチャート
【発明を実施するための形態】
【００１８】
《一の実施形態》
図１は、一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図である。
【００１９】
本実施形態のデジタルカメラ１は、撮像光学系１１、撮像素子１２、ＤＦＥ１３、ＣＰＵ１４、メモリ１５、操作部１６、モニタ１７、メディアインタフェース（Ｉ／Ｆ）１８を有する。ＤＦＥ１３、メモリ１５、操作部１６、モニタ１７、メディアＩ／Ｆ１８は、それぞれＣＰＵ１４に接続されている。
【００２０】
撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写体の像を撮像するデバイスである。この撮像素子１２の出力はＤＦＥ１３に接続されている。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤなど）であってもよく、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳなど）であってもよい。
【００２１】
撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列に従って配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応するＲＡＷ画像の画像信号を出力する。これにより、撮像素子１２は、撮像時にカラーのＲＡＷ画像を取得できる。
【００２２】
また、撮像素子１２は、デジタルカメラ１の撮影モードにおいて、操作部１６に含まれるレリーズ釦の全押し操作に応答し静止画像や動画の本画像を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定間隔で構図確認用画像（スルー画像）を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。
【００２３】
ＤＦＥ１３は、撮像素子１２から入力される画像信号のＡ／Ｄ変換や、欠陥画素補正などの信号処理を行うデジタルフロントエンド回路である。このＤＦＥ１３は、本実施形態において撮像素子１２とともに撮像部を構成し、撮像素子１２より入力される画像信号を画像のデータとしてＣＰＵ１４に出力する。
【００２４】
ＣＰＵ１４は、デジタルカメラ１の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１４は、撮像素子１２の出力に基づいて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１４は、ＤＥＦ１３からのＲＡＷ画像の画像データに対して、デジタル処理を施す。デジタル処理には、例えば、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などが含まれる。
【００２５】
さらに、本実施形態のＣＰＵ１４は、画像処理プログラムの実行により、演算部２０、判別部２１、特定部２２、調整部２３として動作する。なお、本実施形態では、演算部２０、判別部２１、特定部２２、調整部２３の処理は、上記デジタル処理が施される前のＲＡＷ画像に対して行われるものとする。ＣＰＵ１４は、その処理結果に基づいて、デジタル処理、特にホワイトバランス処理をＲＡＷ画像に対して行う。
【００２６】
演算部２０は、撮像素子１２により撮像されＤＦＥ１３から出力されるＲＡＷ画像（対象画像）から、例えば、輝度（ＢＶ）、Ｒ／Ｇ、Ｂ／Ｇの平均値や標準偏差値などの画像特徴量を算出する。なお、本実施形態では、上記画像特徴量と対象画像撮影時における撮像光学系１１の焦点距離などの撮影特徴量とを合わせて、「特徴量ベクトル」と称する。
【００２７】
判別部２１は、図２に示すように、例えば、公知のサポートベクタマシン（ＳＶＭ）２４−１〜２４−４の４つの判別手段からなる。各ＳＶＭ２４は、対象画像の被写体のシーン（撮像シーン）を判別するための教師有り学習で予め算出された参照シーンの色域のデータを有し、上記特徴量ベクトルを用いて、対象画像のシーンと参照シーンとの類似する度合い（類似度）を算出する。
【００２８】
なお、本実施形態の判別部２１は、対象画像のシーンとして、上記ホワイトバランス処理において重要となる、対象画像における照明光源を判別するものとする。そして、本実施形態の参照シーンとして、例えば、晴天、日陰、電球、蛍光灯の４つの光源とする。したがって、判別部２１の各ＳＶＭ２４は、各光源の照明色の色域のデータを有し、対象画像における照明光源と、晴天、日陰、電球、蛍光灯それぞれとの類似度を算出する。
【００２９】
特定部２２は、判別部２１による各参照シーンの類似度および特徴量ベクトルの複数の入力値の相関に応じて、対象画像における照明光源を特定する。そのために、本実施形態の特定部２２は、例えば、公知のニューラルネットワークを用いて行う。
【００３０】
ここで、図３に示す各光源の照明色の分布、および図４に示す特定部２２のニューラルネットワークにおけるデータの流れ図を用いて、本実施形態における判別部２１と特定部２２との処理の関係について説明する。
【００３１】
図３は、本実施形態において定義した、晴天、日陰、電球、蛍光灯の各光源が有する照明色の分布の一例を、色差ＣｒＣｂの座標面で示す。図３に示すように、一般的に、各光源の分布は互いに独立した関係ではなく重なって分布する。すなわち、例えば、蛍光灯には、白色光や電球色の光を発する蛍光灯、赤っぽいまたは青っぽい光を発する蛍光灯などがある。また、日陰にも、曇天や晴天時の室内など様々な状況がある。このことは、ホワイトバランス処理などに対して重大な影響を与え、画像の見栄えにも影響を与える。
【００３２】
しかしながら、従来技術では、例えば、白色光、電球色、赤っぽいまたは青っぽい光などを発する蛍光灯のいずれかを判別するために、それ専用のＳＶＭおよび色域のデータを用意する必要がある。その結果、演算量や記憶容量の増大およびコスト高を招いてしまう。一方、ニューラルネットワークを用いる場合、上記のような蛍光灯に対しても、１つのニューラルネットワークで判別できるが、ＳＶＭと比べて汎化性能に劣る。
【００３３】
そこで、本実施形態では、まず判別部２１のＳＶＭ２４−１〜２４−４が、対象画像における照明光源と晴天、日陰、電球、蛍光灯それぞれとの類似度を算出する。そして、特定部２２は、上記類似度および特徴量ベクトルをニューラルネットワークに入力し、蛍光灯でも白色光や電球色の蛍光灯なのか、あるいは日陰でも曇天か室内なのかなどと判別し、対象画像における照明光源を特定する。このように、本実施形態では、判別部２１のＳＶＭ２４−１〜２４−４と特定部２２のニューラルネットワークとを組み合わせることにより、恰も様々な光源についてのＳＶＭを用意した場合と同様の処理が可能になる。
【００３４】
ここで、図４に示すニューラルネットワークの出力層のパーセプトロンは、図３に示す色差ＣｒＣｂの座標面を所定の大きさで分割した領域それぞれに対応する。ただし、図４は、５×５の一部の領域のみ示す。中間層の各パーセプトロンは出力層のパーセプトロンの全ての領域に信号を出力することができ、図４はその出力の一部を示す。なお、領域の大きさは、要求される照明光源の特定の精度などに応じて決定することが好ましい。
【００３５】
また、図４に示すニューラルネットワークの入力層、中間層、出力層の結合状態や結合係数は、複数の既知の照明光源において撮像された複数の画像における各ＳＶＭ２４による類似度と特徴量ベクトルと用い、既知の照明光源と晴天、日陰、電球、蛍光灯それぞれとの相関関係に基づいて予め決定されるものとする。
【００３６】
特定部２２は、図４に示す色差ＣｒＣｂの座標面上におけるニューラルネットワークから出力される照明色の分布を、例えば加重平均し重心を求める。特定部２２は、その重心の座標位置から対象画像における照明光源を特定する。
【００３７】
調整部２３は、特定部２２が求めた重心の座標位置における色差ＣｒＣｂの値から、公知の手法によりＲＧＢの各色成分のゲインの値を求め、ホワイトバランス処理における補正値を算出する。
【００３８】
メモリ１５は、ＲＡＷ画像などの画像データやＳＶＭ２４−１〜２４−４の色域のデータ、ＣＰＵ１４によって実行される画像処理プログラムなどを記憶する不揮発性の半導体メモリである。
【００３９】
操作部１６は、例えば、撮像モードの切換設定の入力や、静止画像や動画の撮像指示などをユーザから受け付ける。
【００４０】
モニタ１７は、液晶モニタ等のモニタであり、ＣＰＵ１４の制御指示によって各種画像を表示する。例えば、モニタ１７は、撮像後や画像処理後、ＣＰＵ１４の制御指示に応じて画像を表示する。
【００４１】
メディアＩ／Ｆ１８には、不揮発性の記憶媒体１９を着脱可能に接続できる。そして、メディアＩ／Ｆ１８は、記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。
【００４２】
次に、図５のフローチャートを参照しつつ、本実施形態のデジタルカメラ１による処理動作について説明する。なお、以下の説明において、対象画像は静止画像のＲＡＷ画像とするが、動画やスルー画像のフレームに対しても同様に処理される。
【００４３】
ＣＰＵ１４は、ユーザから、例えば、静止画像の撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付けると、撮像素子１２に静止画像を撮像させる。ＣＰＵ１４は、撮像された静止画像に対してステップＳ１０１からの処理を開始する。
【００４４】
ステップＳ１０１：ＣＰＵ１４は、ＤＥＦ１３を介して、撮像素子１２から出力される静止画像のＲＡＷ画像を読み込む。ＣＰＵ１４は、そのＲＡＷ画像の露光条件や撮像時の撮像光学系１１の焦点距離などを撮影特徴量として取得保持する。
【００４５】
ステップＳ１０２：ＣＰＵ１４の演算部２０は、読み込んだＲＡＷ画像を対象画像とし、輝度（ＢＶ）、Ｒ／Ｇ、Ｂ／Ｇの平均値や標準偏差値などの画像特徴量を算出する。
【００４６】
ステップＳ１０３：ＣＰＵ１４の判別部２１は、特徴量ベクトルをＳＶＭ２４−１〜２４−４のそれぞれに入力し、対象画像における照明光源と晴天、日陰、電球、蛍光灯の光源それぞれとの類似度を算出する。
【００４７】
ステップＳ１０４：ＣＰＵ１４の特定部２２は、ステップＳ１０３で算出された類似度と特徴量ベクトルとをニューラルネットワークに入力し、色差ＣｒＣｂの座標面における照明色の分布を求める。特定部２２は、その分布の重心の位置を求め、対象画像の照明光源を特定する。
【００４８】
ステップＳ１０５：ＣＰＵ１４の調整部２３は、ステップＳ１０４で求められた重心の座標位置における色差ＣｒＣｂの値から、公知の手法によりＲＧＢの各色成分のゲインの値を求め、ホワイトバランス処理における補正値を算出する。
【００４９】
ステップＳ１０６：ＣＰＵ１４は、ステップＳ１０５で算出された補正量を用い、ホワイトバランス処理などのデジタル処理を対象画像に対して施す。
【００５０】
ステップＳ１０７：ＣＰＵ１４は、デジタル処理が施された静止画像を、ＲＡＷ画像とともにメモリ１５や記憶媒体１９に記録する。また、ＣＰＵ１４は、デジタル処理が施された静止画像をモニタ１７に表示する。ＣＰＵ１４は、一連の処理を終了する。
【００５１】
このように、本実施形態では、判別部２１のＳＶＭ２４−１〜２４−４と特定部２２のニューラルネットワークとを併せて用いることにより、対象画像における照明光源を精度よく特定することができる。
【００５２】
また、少ない数のＳＶＭ２４−１〜２４−４を用いることにより、少ない演算量で高速に対象画像の照明光源を特定することができる。さらに、色域のデータが少ないことから、回路規模の増大を回避できコスト削減を図ることができる。
《一の実施形態の変形例》
本発明の一の実施形態の変形例に係るデジタルカメラは、図１に示す一の実施形態に係るデジタルカメラ１と同一である。したがって、本実施形態のデジタルカメラ１の構成についての詳細な説明は省略する。
【００５３】
また、本実施形態のデジタルカメラ１による処理動作は、図５に示す一の実施形態の処理と同じであり詳細な説明は省略する。
【００５４】
本実施形態に係るデジタルカメラ１と一の実施形態に係るものとの相違点は、特定部２２が、ニューラルネットワークによる処理を複数回行う点にある。すなわち、本実施形態の特定部２２は、ニューラルネットワークの出力を自身のニューラルネットワークの入力としてフィードバックし、特徴量ベクトルと併せて再度処理を行う。特定部２２は、このフィードバック処理を複数回行うことで、対象画像における照明光源を特定する。なお、フィードバックするごとに、特定部２２のニューラルネットワークは、例えば、入力層、中間層、出力層のパーセプトロン間の結合の組み合わせや結合係数を変更したり、中間層のパーセプトロン数を増減させたり、出力層のパーセプトロンである領域の大きさを変更したりすることが好ましい。
【００５５】
このように、本実施形態では、判別部２１のＳＶＭ２４−１〜２４−４と特定部２２のニューラルネットワークとを併せて用いることにより、対象画像における照明光源を精度よく特定することができる。
【００５６】
また、ニューラルネットワークからの出力をフィードバックすることにより、より精度よく照明光源を特定することができる。
【００５７】
また、少ない数のＳＶＭ２４−１〜２４−４を用いることにより、少ない演算量で高速に対象画像の照明光源を特定することができる。さらに、色域のデータが少ないことから、回路規模の増大を回避できコスト削減を図ることができる。
《他の実施形態》
本発明の他の実施形態に係るデジタルカメラは、図１に示す一の実施形態に係るデジタルカメラ１と同一である。したがって、本実施形態のデジタルカメラ１の構成についての詳細な説明は省略する。
【００５８】
本実施形態に係るデジタルカメラ１と一の実施形態に係るものとの相違点は、本画像を撮像する前に撮像されたスルー画像における照明光源を特定し、その結果が本画像における照明光源の特定に用いられる点にある。
【００５９】
次に、図６のフローチャートを参照しつつ、本実施形態のデジタルカメラ１による処理動作について説明する。なお、以下の説明において、本画像は静止画像とするが、動画のフレームに対しても同様に処理される。
【００６０】
ＣＰＵ１４は、ユーザから、例えば、操作部１６に含まれる電源釦が押されると、デジタルカメラ１の電源を投入し初期化する。ＣＰＵ１４は、例えば、撮影モードに設定されている場合、ユーザから本画像の撮像指示を受け付けるまでの撮影待機時、撮像素子１２に所定間隔で被写体のスルー画像を撮像させる。ＣＰＵ１４は、撮像されたスルー画像に対してステップＳ２０１からの処理を開始する。
【００６１】
ステップＳ２０１：ＣＰＵ１４は、ＤＥＦ１３を介して、撮像素子１２から間引き読み出しされ出力されるスルー画像を読み込む。ＣＰＵ１４は、そのスルー画像の露光条件や撮像時の撮像光学系１１の焦点距離などを撮影特徴量として取得保持する。
【００６２】
ステップＳ２０２：演算部２０は、読み込んだスルー画像を対象画像とし、輝度（ＢＶ）、Ｒ／Ｇ、Ｂ／Ｇの平均値や標準偏差値などの画像特徴量を算出する。
【００６３】
ステップＳ２０３：判別部２１は、特徴量ベクトルをＳＶＭ２４−１〜２４−４のそれぞれに入力し、スルー画像における照明光源と晴天、日陰、電球、蛍光灯の光源それぞれとの類似度を算出する。
【００６４】
ステップＳ２０４：特定部２２は、ステップＳ２０３で算出された類似度と特徴量ベクトルとをニューラルネットワークに入力し、色差ＣｒＣｂの座標面における照明色の分布を求める。特定部２２は、その分布の重心の位置を求め、スルー画像の照明光源を特定する。
【００６５】
ステップＳ２０５：調整部２３は、ステップＳ２０４で求められたスルー画像の重心の座標位置における色差ＣｒＣｂの値から、公知の手法によりＲＧＢの各色成分のゲインの値を求め、ホワイトバランス処理における補正値を算出する。
【００６６】
ステップＳ２０６：ＣＰＵ１４は、ステップＳ２０５で算出された補正量を用い、ホワイトバランス処理などのデジタル処理をスルー画像に対して施す。
【００６７】
ステップＳ２０７：ＣＰＵ１４は、デジタル処理が施されたスルー画像をモニタ１７に表示するとともに、ステップＳ２０４で求められたスルー画像の照明光源に対する照明色の分布を、不図示の内部メモリに記録する。
【００６８】
ステップＳ２０８：ＣＰＵ１４は、例えば、ユーザの操作部１６に含まれるレリーズ釦の全押し操作などにより、本画像の撮像指示を受け付けたか否かを判定する。ＣＰＵ１４は、撮像指示を受け付けた場合、ステップＳ２０９（ＹＥＳ側）へ移行する。一方、ＣＰＵ１４は、撮像指示を受け付けていない場合、ステップＳ２０１（ＮＯ側）へ移行し、次に撮像されたスルー画像に対して、ステップＳ２０１〜ステップＳ２０７の処理を施す。
【００６９】
ステップＳ２０９：ＣＰＵ１４は、ＤＥＦ１３を介して、撮像素子１２から出力される本画像の静止画像のＲＡＷ画像を読み込む。ＣＰＵ１４は、そのＲＡＷ画像の露光条件や撮像時の撮像光学系１１の焦点距離などの撮影特徴量を取得保持する。
【００７０】
ステップＳ２１０：演算部２０は、読み込んだＲＡＷ画像を対象画像とし、輝度（ＢＶ）、Ｒ／Ｇ、Ｂ／Ｇの平均値や標準偏差値などの画像特徴量を算出する。
【００７１】
ステップＳ２１１：判別部２１は、特徴量ベクトルをＳＶＭ２４−１〜２４−４のそれぞれに入力し、ＲＡＷ画像における照明光源と晴天、日陰、電球、蛍光灯の光源それぞれとの類似度を算出する。
【００７２】
ステップＳ２１２：特定部２２は、ステップＳ２１１で算出された類似度と特徴量ベクトルとともに、ステップＳ２０４で算出された直近のスルー画像の照明光源に対する照明色の分布のデータをニューラルネットワークに入力する。特定部２２は、ＲＡＷ画像の照明光源に対する照明色の分布およびその分布の重心の位置を求め、ＲＡＷ画像の照明光源を特定する。
【００７３】
ステップＳ２１３：調整部２３は、ステップＳ２１２で求められた重心の座標位置における色差ＣｒＣｂの値から、公知の手法によりＲＧＢの各色成分のゲインの値を求め、ホワイトバランス処理における補正値を算出する。
【００７４】
ステップＳ２１４：ＣＰＵ１４は、ステップＳ２１３で算出された補正量を用い、ホワイトバランス処理などのデジタル処理をＲＡＷ画像に対して施す。
【００７５】
ステップＳ２１５：ＣＰＵ１４は、デジタル処理が施された静止画像をメモリ１５や記憶媒体１９に記録する。また、ＣＰＵ１４は、デジタル処理が施された静止画像をモニタ１７に表示する。ＣＰＵ１４は、一連の処理を終了する。
【００７６】
このように、本実施形態では、判別部２１のＳＶＭ２４−１〜２４−４と特定部２２のニューラルネットワークとを併せて用いることにより、対象画像における照明光源を精度よく特定することができる。
【００７７】
また、直近のスルー画像の照明光源に対する照明色の分布を用いることにより、本画像における照明光源をより正確に特定することができる。
【００７８】
また、少ない数のＳＶＭ２４−１〜２４−４を用いることにより、少ない演算量で高速に対象画像の照明光源を特定することができる。さらに、色域のデータが少ないことから、回路規模の増大を回避できコスト削減を図ることができる。
《他の実施形態の変形例》
本発明の他の実施形態の変形例に係るデジタルカメラは、図１に示す一の実施形態に係るデジタルカメラ１と同一である。したがって、本実施形態のデジタルカメラ１の構成についての詳細な説明は省略する。
【００７９】
また、本実施形態のデジタルカメラ１による処理動作は、図６に示す他の実施形態の処理と同じであり詳細な説明は省略する。
【００８０】
本実施形態に係るデジタルカメラ１と他の実施形態に係るものとの相違点は、一の実施形態の変形例の場合と同様に、特定部２２が、ニューラルネットワークによる処理を複数回行う点にある。ただし、フィードバック処理は、スルー画像に対しては行わない、あるいは本画像に対する回数よりも少ないのが好ましい。
【００８１】
このように、本実施形態では、判別部２１のＳＶＭ２４−１〜２４−４と特定部２２のニューラルネットワークとを併せて用いることにより、対象画像における照明光源を精度よく特定することができる。
【００８２】
また、直近のスルー画像の照明光源に対する照明色の分布を用いることにより、本画像における照明光源をより正確に特定することができる。
【００８３】
さらに、ニューラルネットワークからの出力をフィードバックすることにより、より精度よく特定することができる。
【００８４】
また、少ない数のＳＶＭ２４−１〜２４−４を用いることにより、少ない演算量で高速に対象画像の照明光源を特定することができる。さらに、色域のデータが少ないことから、回路規模の増大を回避できコスト削減を図ることができる。
《実施形態の補足事項》
（１）上記実施形態では、デジタルカメラ１の演算部２０、判別部２１、特定部２２、補正部２３の各処理を、ＣＰＵ１４がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現しても勿論かまわない。
【００８５】
（２）本発明の画像処理装置は、上記実施形態のデジタルカメラ１の例に限定されない。例えば、記憶媒体などに記憶された画像処理プログラムが予めインストールされたコンピュータに、撮像した画像を、デジタルカメラ１から直接またはインターネットなどを介して読み込ませて、シーン判別処理を実行させることで、コンピュータを本発明の画像処理装置として機能させてもよい。
【００８６】
（３）上記実施形態では、演算部２０は対象画像全体の画像特徴量を算出したが、本発明はこれに限定されず、所定の部分画像領域のみの画像特徴量を算出してもよいし、複数の画像領域ごとに画像特徴量を算出してもよい。
【００８７】
（４）上記実施形態では、判別部２１は、晴天、日陰、電球、蛍光灯のＳＶＭ２４−１〜２４−４を有したが、本発明はこれに限定されず、１つ以上の光源のＳＶＭがあればよく、要求される特定精度、処理速度、記憶容量などに応じて、ＳＶＭの数を適宜決定することが好ましい。
【００８８】
また、判別部２１の判別対象は光源に限定されず、夜景やポートレートなどのシーンであってもよい。
【００８９】
（５）上記実施形態では、特定部２２は、対象画像における照明光源を、ニューラルネットワークによる照明色の分布の重心の座標位置に基づいて特定したが、本発明はこれに限定されない。例えば、特定部２２は、上記照明色の分布のうち最大値を与える座標位置に基づいて対象画像の照明光源を特定してもよい。あるいは、特定部２２は、判別部２１のＳＶＭ２４−１〜２４−４それぞれの判別の信頼性に基づいた係数を用いて、照明色の分布を加重平均し、対象画像の照明光源を特定してもよい。なお、ＳＶＭの判別の信頼性とは、予め照明光源が特定されている複数のサンプル画像を用い、ＳＶＭの判別結果の正解率である。
【００９０】
（６）上記実施形態では、判別部２１のＳＶＭ２４−１〜２４−４および特定部２２のニューラルネットワークに基づいて、対象画像における照明光源を特定したが、本発明はこれに限定されない。例えば、判別部２１は、ＳＶＭの代わりにブースティングなどの他の教師有り学習の判別方法を用いてもよい。また、特定部２２は、ニューラルネットワークの代わりにテンプレートマッチングなどを用いてもよい。
【００９１】
（７）上記実施形態では、特定部２２には１つのニューラルネットワークが配置されたが、本発明はこれに限定されない。例えば、特定部２２は、例えば、入力層、中間層、出力層のパーセプトロン間の結合の組み合わせや結合係数、あるいは中間層のパーセプトロン数などが互いに異なる複数のニューラルネットワークが配置されてもよい。そして、特定部２２は、対象画像の特徴量ベクトル、判別部２１の類似度、スルー画像の照明光源に対する照明色の分布のデータを、それぞれのニューラルネットワークに入力して照明色の分布を算出する。特定部２２は、それらの照明色の分布に基づいて対象画像の照明光源を特定してもよい。
【００９２】
また、特定部２２は、ニューラルネットワークとともに、テンプレートマッチングなどの他の複数の手法を併用した構成でもよい。
【００９３】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００９４】
１…デジタルカメラ、１１…撮像光学系、１２…撮像素子、１３…ＤＥＦ、１４…ＣＰＵ、１５…メモリ、１６…操作部、１７…モニタ、１８…メディアＩ／Ｆ、１９…記憶媒体、２０…演算部、２１…判別部、２２…特定部、２３…補正部、２４−１〜２４−４…ＳＶＭ
【図１】
2013168723.tif 000003
【図２】
2013168723.tif 000004
【図３】
2013168723.tif 000005
【図４】
2013168723.tif 000006
【図５】
2013168723.tif 000007
【図６】
2013168723.tif 000008