(57)【要約】      （修正有）【課題】光源を正確に推定し、推定した光源に応じた画像処理を実行する。【解決手段】画像から平均の明るさよりも明るい第１画素を抽出し、前記第１画素よりも暗い第２画素を抽出し、前記第１画素の階調値と前記第２画素の階調値との差分に基づいて、前記画像の撮影時の光源が第１群の光源と第２群の光源とのいずれであるかを推定する光源推定部を有する。光源推定部によって推定された光源に応じたホワイトバランスゲインによって画像のホワイトバランス補正を行う。【選択図】図２
2013172383.tif 000002
【特許請求の範囲】
【請求項１】
画像から平均の明るさよりも明るい第１画素を抽出する第１画素値抽出部と、
前記第１画素よりも暗い第２画素を抽出する第２画素値抽出部と、
前記第１画素の階調値と前記第２画素の階調値との差分に基づいて、前記画像の撮影時の光源が第１群の光源と第２群の光源とのいずれであるかを推定する光源推定部と、
を備える光源推定装置。
【請求項２】
前記第１群の光源には太陽と白熱灯との少なくとも一方が含まれ、前記第２群の光源には水銀灯と蛍光灯との少なくとも一方が含まれ、
前記光源推定部は、
Ｇチャンネルに関する前記差分をＲチャンネルに関する前記差分で除した値に基づいて特定されるＲゲインと
Ｇチャンネルに関する前記差分をＢチャンネルに関する前記差分で除した値に基づいて特定されるＢゲインと
の少なくとも一方が閾値よりも大きい場合に前記画像の撮影時の光源が前記第２群の光源であると推定する、
請求項１に記載の光源推定装置。
【請求項３】
前記光源推定部は、
前記画像の撮影時の光源が前記第１群の光源であると推定された場合、前記画像の各画素の色が前記第１群の光源のそれぞれで撮影された前記画像の色分布として予め決められた複数の第１色分布のいずれに該当するか判断することによって前記第１群の光源の中から前記画像の撮影時の光源を推定し、
前記画像の撮影時の光源が前記第２群の光源であると推定された場合、前記画像の各画素の色が前記第２群の光源のそれぞれで撮影された前記画像の色分布として予め決められた複数の第２色分布のいずれに該当するか判断することによって前記第２群の光源の中から前記画像の撮影時の光源を推定する、
請求項１または請求項２のいずれかに記載の光源推定装置。
【請求項４】
複数の前記第１色分布は、黒体放射軌跡の周囲に予め設定された所定範囲に含まれる、
請求項３に記載の光源推定装置。
【請求項５】
前記光源推定部によって推定された光源に応じたホワイトバランスゲインによって前記画像のホワイトバランス補正を行うホワイトバランス補正部をさらに備える、
請求項１〜請求項４のいずれかに記載の光源推定装置。
【請求項６】
請求項５に記載の光源推定装置と、
レンズを通過した光を受光する受光センサーと、
前記受光センサーが受光した光量に応じて画像データを生成する画像生成部とを備え、
前記光源推定装置が備える前記ホワイトバランス補正部は、前記画像生成部が生成した前記画像データが示す前記画像に対して前記ホワイトバランス補正を行う撮影装置。
【請求項７】
画像から平均の明るさよりも明るい第１画素を抽出する第１画素値抽出機能と、
前記第１画素よりも暗い第２画素を抽出する第２画素値抽出機能と、
前記第１画素の階調値と前記第２画素の階調値との差分に基づいて、前記画像の撮影時の光源が第１群の光源と第２群の光源とのいずれであるかを推定する光源推定機能と、
をコンピューターに実現させる光源推定プログラム。
【請求項８】
画像から平均の明るさよりも明るい第１画素を抽出する第１画素値抽出工程と、
前記第１画素よりも暗い第２画素を抽出する第２画素値抽出工程と、
前記第１画素の階調値と前記第２画素の階調値との差分に基づいて、前記画像の撮影時の光源が第１群の光源と第２群の光源とのいずれであるかを推定する光源推定工程と、
を含む光源推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光源推定装置、撮影装置、および光源推定プログラムおよび光源推定方法に関する。
【背景技術】
【０００２】
従来、画像から画像の撮影時の光源を推定し、ホワイトバランス補正等を行う技術が知られている。例えば、特許文献１においては、物体からの反射光が乱反射成分と鏡面反射成分からなり、明るい画素とその近傍の画素の階調値同士で差分をとれば乱反射成分がキャンセルされ、鏡面反射成分が残ることを利用してホワイトバランス補正を行う技術が開示されている。すなわち、明るい画素とその近傍の画素の差分を色チャンネル毎に特定し、色チャンネル毎の差分の値の比は光源の色における色チャンネル毎の階調値の比と同一であると見なし、色チャンネル毎の差分の値に基づいてＲゲイン（Ｇチャンネルの差分／Ｒチャンネルの差分）やＢゲイン（Ｇチャンネルの差分／Ｂチャンネルの差分）を特定する。そして、Ｒゲインを画像の各画素のＲチャンネルの階調値に乗じ、Ｂゲインを画像の各画素のＢチャンネルの階調に乗じることでホワイトバランス補正を行う。
【０００３】
また、黒体放射軌跡を基準にして光源を推定する技術も知られている。例えば、画像の階調値からＲチャンネルの強度とＢチャンネルの強度に相当する値（一般にはＲチャンネルの階調値／Ｇチャンネルの階調値およびＢチャンネルの階調値／Ｇチャンネルの階調値）を特定し、これらの値を示す２軸で構成される直交座標系で表現されたグラフにプロットすると、太陽光下で撮影された画像の値は黒体放射軌跡の周辺にプロットされる傾向にあり、人工光源下で撮影された画像の値は黒体放射軌跡の周辺にはプロットされない傾向にあることが知られている。そこで、画像からＲチャンネルの強度とＢチャンネルの強度に相当する値を特定し、グラフにプロットした結果によって画像を撮影した際の光源を推定する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４４７５２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術においては、任意の光源に応じた適切なホワイトバランス補正を行うことができなかった。すなわち、特許文献１に開示された技術においては、物体からの反射光が乱反射成分と鏡面反射成分からなることに着目してホワイトバランスゲインを決定しているため、鏡面反射成分が少ない被写体においては適切なホワイトバランスゲインとならない。一般に、屋外で撮影される被写体からの光は鏡面反射成分が少ない。従って、特許文献１に開示された技術では、屋外において太陽光下で撮影された画像のホワイトバランス補正が正確に行われない場合がある。
【０００６】
一方、黒体放射軌跡を基準にした光源の推定においては、太陽光下で撮影された画像のＲチャンネルの強度とＢチャンネルの強度に相当する値が黒体放射軌跡の周辺にプロットされることを利用しているため、太陽光下で撮影された画像を、太陽光下で撮影された画像であると特定する場合には高精度に特定可能である。しかし、特定の人工光源（例えば、水銀灯）下で撮影された画像については太陽光下で撮影された画像と区別することが困難になり、光源が正確に推定されない場合があった。
本発明は上記課題にかんがみてなされたもので、光源を正確に推定する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明にかかる光源推定装置は、画像から平均の明るさよりも明るい第１画素と当該第１画素よりも暗い第２画素を抽出し、第１画素の階調値と第２画素の階調値との差分に基づいて、画像の撮影時の光源が第１群の光源と第２群の光源とのいずれであるかを推定する。第１画素および第２画素の階調値が物体からの画素毎の光の強度を示している画像において、各画素における像が被写体からの反射光を記録したものである場合、第１画素と第２画素との差分を取得すれば、乱反射成分を除外し、鏡面反射成分を残すことができる。そして、本願発明者は、各画素における像が被写体からの反射光を記録したものである場合、当該差分が光源に応じた値になることを見出した。
【０００８】
すなわち、画像を撮影したときの光源が第１群の光源である場合と画像を撮影したときの光源が第２群の光源である場合とでは、第１画素の階調値と第２画素の階調値との差分が異なる範囲に属すると見なすことができることを見出した。例えば、水銀灯や蛍光灯に代表される人工灯の多くは分光分布にピークが現れるため光源の色が特徴的である（無彩色ではない）。一方、太陽光は分光分布がなだらかでありこれに類する光源は人工灯と比較して分光分布がフラットであり光源の色に特徴が現れにくい。そして、光源の色が特徴的である場合、光源の色を示す画素において色チャンネル毎の階調値の比を特定すると当該比が１に近い値とはならない。光源の色は、第１画素の階調値と第２画素の階調値との差分によって特定することができるため、予め特徴的な色の光源を第２群に分類しておけば、当該差分に基づいて光源が第２群に属するか否かを特定することができ、第２群に属さない光源は第１群に属すると見なすことで光源を推定することができる。
【０００９】
ここで、第１画素抽出部は、画像から平均の明るさよりも明るい第１画素を抽出することができればよい。すなわち、被写体が光を反射する物体である場合にその光に鏡面反射成分が含まれるような明るさの画素を第１画素として画像から抽出することができればよい。従って、第１画素としては、全ての色チャンネルの階調値が上限値であるような飽和した状態を除き、できるだけ明るい画素であることが好ましい。むろん、第１画素を複数個抽出することによって統計的に第１画素の階調値を特定して上述の差分を求めるように構成してもよい。
【００１０】
第２画素抽出部は、第１画素よりも暗い第２画素を抽出することができればよい。すなわち、被写体が光を反射する物体である場合に第１画素とほぼ同様の乱反射成分が含まれるような画素を第２画素として画像から抽出することができればよい。従って、第２画素としては、画像内で第１画素の近傍に存在する画素であることが好ましい。第１画素の近傍から第２画素を抽出する手法としては、画像を複数の領域に分割し、分割領域毎に第１画素と第２画素とを抽出して差分を特定する構成を採用可能である。この場合、全分割領域における差分を平均化すれば全画像における差分を特定可能である。むろん、第２画素を複数個抽出することによって統計的に第２画素の階調値を特定して上述の差分を求めるように構成してもよいし、第１画素の階調値と第２画素の階調値との差分を統計的に特定してもよい。
【００１１】
光源推定部は、第１画素の階調値と第２画素の階調値との差分に基づいて、画像の撮影時の光源が第１群の光源と第２群の光源とのいずれであるかを推定することができればよい。すなわち、第１画素の階調値と第２画素の階調値との差分について光源の種類を特定するための判定基準が予め決められており、当該判定基準に照らして差分が第１群、第２群のいずれであるのかを判定できるように構成されていればよい。むろん、差分は光源の色を反映している状態であることが必要とされるため、色チャンネル毎に差分が特定された差分ベクトルである。また、差分から直接的に光源の種類が判定されてもよいし、差分から所定の判定指標を演算して光源の種類が判定されてもよい。
【００１２】
後者の判定指標としては、例えば、第１画素の色チャンネル毎の階調値と第２画素の色チャンネル毎の階調値との差分の比に基づいて特定されるゲインが挙げられる。すなわち、第１画素の色チャンネル毎の階調値と第２画素の色チャンネル毎の階調値との差分の比に基づいて特定されるゲインと、予め決められた閾値とを比較することによって画像の撮影時の光源が第１群の光源と第２群の光源とのいずれであるかを推定する構成であってもよい。
【００１３】
第１群の光源と第２群の光源とは予め決められていればよく、複数の光源を第１画素の階調値と第２画素の階調値との差分によって区別して予め第１群、第２群のいずれかに分類することによって第１群の光源と第２群の光源とを定義すればよい。第１群の光源、第２群の光源の分類としては、例えば、第１群の光源に太陽と白熱灯との少なくとも一方が含まれ、前記第２群の光源に水銀灯と蛍光灯との少なくとも一方が含まれるような分類が挙げられる。
【００１４】
そして、このような分類を行った場合、Ｇチャンネルに関する差分をＲチャンネルに関する差分で除した値に基づいて特定されるＲゲインと、Ｇチャンネルに関する差分をＢチャンネルに関する差分で除した値に基づいて特定されるＢゲインと、の少なくとも一方が閾値よりも大きい場合に画像の撮影時の光源が第２群の光源であると推定する構成を採用である。すなわち、第２群の光源となり得る水銀灯や蛍光灯の分光分布においてはＧ成分が他の波長と比較して相対的に大きく、第２群の光源下で撮影された画像の階調値としてはＧチャンネルの階調値が大きくなりやすい。この場合、ＲゲインやＢゲインが大きくなりやすい。そこで、ＲゲインとＢゲインとの少なくとも一方が閾値よりも大きい場合に、水銀灯あるいは蛍光灯であると判定することが可能である。
【００１５】
なお、Ｒゲインは第１画素のＲチャンネルの階調値と第２画素のＲチャンネルの階調値との差分を、第１画素のＧチャンネルの階調値と第２画素のＧチャンネルの階調値との差分で除した値自体であってもよいし、当該値に基づいてさらに演算を行ってもよい。例えば、当該値を基準値によって除して規格化してもよい。基準値としては、基準の光源下で特定されたＲゲイン等が挙げられる。むろん、Ｂゲインについても同様である。さらに、ＲゲインおよびＢゲインは比であるため、むろん、逆数であっても等価な状況は想定し得る。すなわち、Ｒゲインの逆数とＢゲインの逆数との少なくとも一方が閾値よりも小さい場合に光源が第２群の光源であると推定する構成であってもよい。
【００１６】
なお、水銀灯や蛍光灯の分光分布においては上述のようにＧ成分が他の波長と比較して相対的に大きいが、これらの光源下で撮影された画像についてＲチャンネルの強度とＢチャンネルの強度に相当する値を示す２軸で構成される直交座標系で表現されたグラフにＲチャンネルの強度とＢチャンネルの強度に相当する値をプロットする黒体放射軌跡に基づく光源推定を行おうとしても、太陽光下で撮影された画像と区別することが困難であることが判明している。しかし、このような第２群の光源についてＲゲインおよびＢゲインと閾値とを比較する上述の構成によって光源を推定すれば、誤判定を抑制することが可能である。
【００１７】
さらに、第１群の光源および第２群の光源から画像を撮影した光源を特定するための構成例として、画像の色分布を解析する構成を採用可能である。例えば、画像の撮影時の光源が第１群の光源であると推定された場合、画像の各画素の色が第１群の光源のそれぞれで撮影された画像の色分布として予め決められた複数の第１色分布のいずれに該当するか判断することによって第１群の光源の中から画像の撮影時の光源を推定する構成を採用可能である。同様に、画像の撮影時の光源が第２群の光源であると推定された場合、画像の各画素の色が第２群の光源のそれぞれで撮影された画像の色分布として予め決められた複数の第２色分布のいずれに該当するか判断することによって第２群の光源の中から画像の撮影時の光源を推定する構成を採用可能である。
【００１８】
すなわち、画像の各画素の色分布は、当該画像を撮影した際の光源の種類に依存するため、画像の各画素の色の分布を統計的に解析すれば特定の色分布の画像が特定の光源下で撮影された画像であると推定し得る。しかし、このような色分布を光源に対して一対一で規定することは従来困難であった。すなわち、複数の種類の光源における色分布が重複し得るため、重複する場合には色分布から光源を推定することは困難である。しかし、本発明にかかる光源推定装置によって画像を撮影した際の光源が第１群と第２群とのいずれに含まれるのか予め判定されている場合、色分布によって光源を特定することは容易である。
【００１９】
すなわち、第１群に含まれる光源にて撮影した色分布では色分布同士の重複がなく（あるいは重複に起因する誤認が生じてもホワイトバランス補正等に影響がない）、第２群に含まれる光源にて撮影した色分布では色分布同士の重複がない（あるいは重複に起因する誤認が生じてもホワイトバランス補正等に影響がない）状態となるように第１群と第２群とに光源を分類することが可能である。この構成においては、第１群に属すると判定された画像の色分布と、第１群に属する光源について予め規定された複数の第１色分布と光源との対応関係とを比較することで光源を推定することができる。同様に第２群に属すると判定された画像の色分布と、第２群に属する光源について予め規定された複数の第２色分布と光源との対応関係とを比較することで光源を推定することができる。
【００２０】
なお、色分布は色チャンネル毎の階調値のバランスを評価し得る指標で評価されればよく、例えば、色チャンネルが３色である場合、任意の色チャンネルの階調値を残りの色チャンネルの階調値で除した値、すなわち、Ｒ階調値／Ｇ階調値やＢ階調値／Ｇ階調値を評価指標とすればよい。この場合、色分布は、Ｒ階調値／Ｇ階調値とＢ階調値／Ｇ階調値との組み合わせを２次元的なグラフにプロットした状態として評価することができる。
【００２１】
また、第１群の光源のそれぞれで撮影された画像の色分布として予め決められた複数の第１色分布は、黒体放射軌跡の周囲に予め設定された所定範囲に含まれることが好ましい。すなわち、太陽光下で撮影した画像の色の分布範囲は黒体放射軌跡の周囲の範囲である。そこで、太陽光下で撮影した画像の色の分布範囲である黒体放射軌跡の周囲の所定範囲内において第１色分布を定義すれば、第１群の光源が太陽光あるいはそれに類する光源となるように定義することができる。なお、太陽光下での光源の種類は、太陽光下での条件と同等である。すなわち、晴天の昼や曇天の昼、晴天の夕方など、太陽光下での画像の色の影響は太陽光下での条件を色温度で分類することによって定義可能である。
【００２２】
光源が推定されると、推定された光源に応じた画像処理を画像に対して実行することにより、光源の推定が正確であることに起因した良好な画像処理の結果を得ることができる。画像処理としては、例えばホワイトバランス補正が挙げられる。そして、ホワイトバランス補正の例としては、光源推定部によって推定された光源に応じたホワイトバランスゲインによって画像のホワイトバランス補正を行う構成等を採用可能である。すなわち、光源の種類毎に各画素の色に与える影響は異なるが、概ね各色チャンネルの比率を調整すれば白となるべき画素の色を白にするホワイトバランス補正を行うことができる。そこで、光源毎に予めホワイトバランスゲインを対応付けておけば、推定された光源毎に適切なホワイトバランス補正を行うことが可能である。なお、ホワイトバランスゲインは、例えば、Ｒチャンネルの階調値に乗じるべきＲゲインとＢチャンネルの階調値に乗じるべきＢゲインとによって構成可能である。
【００２３】
なお、光源毎に予めホワイトバランスゲインを対応付ける構成として、複数の第１色分布および複数の第２色分布のそれぞれについて予めホワイトバランスゲインを対応付けておく構成を採用してもよい。すなわち、画像の色分布が複数の第１色分布のいずれかであると判定された場合に、対応する第１色分布のホワイトバランスゲインによってホワイトバランス補正を行い、画像の色分布が複数の第２色分布のいずれかであると判定された場合に、対応する第２色分布のホワイトバランスゲインによってホワイトバランス補正を行う構成とする。
【００２４】
さらに、本発明のように、平均の明るさよりも明るい第１画素と当該第１画素よりも暗い第２画素との差分に基づいて光源を推定する手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態にかかる光源推定装置を含む撮影装置のブロック図である。
【図２】（２Ａ）は反射光による撮影の説明図、（２Ｂ）は第１群の光源の色分布を説明する説明図、（２Ｃ）は第２群の光源の色分布を説明する説明図、（２Ｄ）は画像と階調値域の分割を説明する説明図である。
【図３】撮影処理を示すフローチャートである。
【図４】撮影処理を示すフローチャートである。
【発明を実施するための形態】
【００２６】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）光源推定装置の構成：
（１−１）階調値の差分に基づく光源推定：
（１−２）画像の色分布に基づく光源推定：
（２）撮影処理：
（３）他の実施形態：
【００２７】
（１）光源推定装置の構成：
図１は本発明の一実施形態にかかる光源推定装置を含む撮影装置１を示しており、当該撮影装置１には、光学系１０、受光センサー１４、記憶部１５、表示部２０、記録部３０、操作部４０、焦点調整部４３、絞り調整部４５、シャッター制御部５０、露光制御部６０、ＣＰＵ７０、画像処理部８０が備えられている。ＣＰＵ７０は、所定のプログラムに従って、焦点調整部４３、絞り調整部４５、シャッター制御部５０、露光制御部６０、記憶部１５、画像処理部８０、表示部２０、記録部３０、操作部４０の動作を制御する。
【００２８】
光学系１０は、受光センサー１４に被写体画像を結像させるレンズ１１、絞り１２、シャッター１３を備えている。本実施形態においてレンズ１１と絞り１２とは鏡筒内に備えられており、当該鏡筒は図示しない筐体に交換可能に取り付けられる。本実施形態において、レンズ１１は光軸に平行な方向に沿って並べられた複数枚のレンズを含むが、図１では簡便のために１枚のレンズのみを表現している。各レンズは外縁部で支持されるとともに、光軸方向に１部又は全部のレンズを移動可能とすることで焦点の位置を調整可能である。また、光軸方向に１部又は全部のレンズを移動可能とすることで光学的なズーム動作を行うことが可能である。レンズ１１の位置は、焦点調整部４３によって制御されるように構成されており、当該焦点調整部４３がレンズ位置の調整を指示されると、焦点調整部４３がレンズ１１を移動させて焦点の位置およびズームの程度を調整する。なお、光学系の構成は他の構成を採用しても良く、例えば、レンズを液体レンズによって構成し、レンズを変形させることで焦点位置を調整し、また、光学的なズーム動作を行う構成としてもよい。
【００２９】
また、本実施形態において、絞り１２は、レンズ１１の光軸に対して垂直な平面内で回動可能に支持された複数の遮蔽板によって構成され、複数の遮蔽板が連動して回動することによって光軸に対して垂直な平面内で遮蔽されていない部分の面積を変化させることが可能である。絞り１２の開口径は絞り調整部４５によって制御されるように構成されており、当該絞り調整部４５が絞り１２の開口径を指示されると、絞り調整部４５が絞り１２を駆動させて当該指示された開口径となるように設定する。
【００３０】
シャッター１３は機械式のフォーカルプレーン型シャッターであり、受光センサー１４の受光センサー面に対して平行な平面板状の遮光部としての開閉式（折り畳み式）の複数の遮光幕を備えている。この遮光幕はシャッター制御部５０からの制御信号に応じて光軸に対して垂直な方向に移動するように構成されており、通常は遮光幕が光軸に平行な方向の光路を遮らない状態で保持されている。また、遮光幕が光路を遮らない状態で保持されている状態において、所定のトリガが与えられると当該遮光幕が光路を遮らない状態で保持された状態が解除され、遮光幕は光軸に対して垂直な方向に駆動して複数の羽根が光路を遮る状態となる。また、図１においては、シャッター１３の移動方向を破線の矢印Ａmで示している。
【００３１】
受光センサー１４は、ベイヤー配列されたカラーフィルターと、光量に応じた電荷を光電変換によって画素ごとに蓄積する複数の受光素子（フォトダイオード）とを備えるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーである。むろん、受光センサーはＣＣＤ（Charge Coupled Device）イメージセンサー等の他のセンサーであってもよい。本実施形態にかかる受光センサー１４は、露光制御部６０がリセット指示を行うことによって受光素子の受光量に対応した蓄積電荷をリセットするリセット動作を行い、各受光素子での露光を開始することができる。また、受光センサー１４は、露光制御部６０が読出指示を行うことによって受光素子の受光量を示す情報の読出を行うことで露光を終了させることができる。さらに、受光センサー１４において、これらの露光の開始および終了はライン毎あるいは一画面毎に制御することが可能である。
【００３２】
本実施形態にかかる撮影装置１によって記録用の画像を撮影する際（通常の撮影）には、機械シャッターであるシャッター１３と受光センサー１４の電子シャッターとの組み合わせによって露光時間を制御する。すなわち、本実施形態において通常の撮影の場合には、受光センサー１４における電子シャッターで露光を開始させ、シャッター１３で露光を終了させる電子先幕−機械後幕シャッター方式によって露光時間が制御される。具体的には、通常の撮影の場合、電子シャッターによりライン順次で露光が開始され、ライン毎の露光時間が、設定されたシャッター速度となるタイミングで各ラインが遮光されるように機械シャッターによる遮光が開始される。また、撮影装置１においては表示部２０においてライブビュー表示を行うことが可能であり、当該ライブビュー表示を行うための画像を撮影する際には、電子シャッター方式によって露光時間が制御される。すなわち、先幕も後幕も電子シャッターによって制御される。
【００３３】
操作部４０はシャッターボタンと、絞り１２の開口径を設定するための操作部と、シャッター速度を設定するための操作部と、各種の設定メニューを操作するための操作部と、撮影モード（絞り優先モード等）を設定するための操作部とを備えており、利用者は当該操作部４０に対する操作によって撮影装置１に対して各種の指示を与えることができる。
【００３４】
表示部２０は、図示しないインターフェース回路、液晶パネルドライバー、液晶パネル、図示しない接眼レンズ等を備えている。本実施形態において、表示部２０は、撮影対象となる被写体を示す画像を表示して利用者に撮影前の被写体の様子および撮影条件等の情報を把握させるＥＶＦ（Electronic View Finder）であり、本実施形態にかかる撮影装置１はＥＶＦを備えたミラーレスデジタルカメラである。
【００３５】
記録部３０は、図示しない記録媒体を挿入することが可能であり、記録部３０に記録媒体が挿入された状態で、記録媒体に対して情報を記録し、また、記録媒体から情報を読み出すことができる。すなわち、撮影した画像を示す画像データを記録媒体に記録することができる。なお、記憶部１５は、受光センサー１４が出力する画像データ（受光素子毎の受光量を示す情報）を一時的に記録しておくメモリである。
【００３６】
画像処理部８０は、受光センサー１４が出力する画素毎、色毎の受光量情報（ＲＡＷデータ）に対して予め決められた手順によって各種の処理を実行する回路によって構成されている。当該画像処理部８０が実行する画像処理には、ＡＥ（Automatic Exposure）処理を行うための評価値とＡＦ（Automatic Focus）処理を行うための評価値を出力する処理が含まれる。すなわち、画像処理部８０は、受光センサー１４による撮影範囲内に設定された所定の測光エリアに含まれる画素の明るさを評価するための評価値（例えば、輝度の平均値等）を特定し、ＡＥ処理を行うための評価値として出力することが可能である。また、画像処理部８０は、撮影された画像内に設定された所定の測距エリアに含まれる被写体の合焦度合いを評価するための評価値（例えば、コントラストの大きさを示す値等）を特定し、ＡＦ処理を行うための評価値として出力することが可能である。ＣＰＵ７０は、ＡＥ処理を行うための評価値に基づいて絞り調整部４５、シャッター制御部５０、露光制御部６０に制御信号を出力し、露出を調整する。また、ＣＰＵ７０は、ＡＦ処理を行うための評価値に基づいて焦点調整部４３に制御信号を出力し、焦点の位置を調整する。
【００３７】
さらに、画像処理部８０は、ホワイトバランスの補正処理を行うことができる。このために画像処理部８０は、画像生成部８０ａ、画素抽出部８０ｂ、光源推定部８０ｃ、ホワイトバランス補正部８０ｄを備えている。受光センサー１４が出力する受光量情報が記憶部１５に記憶され、ＣＰＵ７０の処理によって画像処理部８０に受け渡されると、画像生成部８０ａは、当該受光量情報に対してγ変換等の所定の画像処理を行って画像データを生成する。
【００３８】
画素抽出部８０ｂは、当該画像データが示す画像から、平均の明るさよりも明るい第１画素と当該第１画素よりも暗い第２画素を抽出する機能を実行する。光源推定部８０ｃは、第１画素の階調値と第２画素の階調値との差分に基づいて、画像データが示す画像の撮影時の光源が第１群の光源と第２群の光源とのいずれであるのかを推定する機能を実行する。なお、ここで、第１群の光源は太陽光と白熱灯であり、第２群の光源は水銀灯と蛍光灯である。さらに、光源推定部８０ｃは、予め決められた色分布に基づいて、画像データが示す画像の撮影時の光源が第１群の光源の中のいずれであるのか（太陽光と白熱灯とのいずれであるのか）、あるいは、第２群の光源の中のいずれであるのか（水銀灯と蛍光灯とのいずれであるのか）を判定する機能を実行する。
【００３９】
（１−１）階調値の差分に基づく光源推定：
光源推定部８０ｃが実行する、第１画素の階調値と第２画素の階調値との差分に基づく光源推定は、物体の反射光の鏡面反射成分が光源の色を反映することに着目した推定方法である。図２Ａは、光源Ｓ下で撮影された被写体Ｏを撮影装置１で撮影する様子を示す模式図である。同図においては光源Ｓからの照射光を一点鎖線、反射光の鏡面反射成分を実線、乱反射成分を破線で示しており、位置Ｐ1，Ｐ2に対する照射光をＬi1，Ｌi2、位置Ｐ1，Ｐ2からの反射光に含まれる鏡面反射成分をＬM1，ＬM2とし、乱反射成分については位置Ｐ1における乱反射成分のみを示し、位置Ｐ2における乱反射成分は簡単のため省略している。
【００４０】
なお、鏡面反射成分ＬM1，ＬM2は、被写体と照射光との角度である入射角が被写体と反射光との角度である反射角と一致する角度において最も強度が強く、反射角と入射角との差分が大きくなるに連れて急激に減衰する。一方、乱反射成分の強度は反射角に対する依存性は弱く、任意の方向で強度が一様であり、同一位置から一様な被写体を見た場合に、近傍に存在する部分からの乱反射成分の強度はほぼ同一である。
【００４１】
図２Ａに示す例は、位置Ｐ1からの鏡面反射成分ＬM1が撮影装置１の受光センサー１４の受光面に対して垂直に進行する状態を想定しており、位置Ｐ2からの鏡面反射成分ＬM2は撮影装置１の受光センサー１４の受光面に対して垂直でない状態を想定している。従って、この状態において撮影装置１において被写体Ｏを撮影すると、位置Ｐ1からの反射光によって位置Ｐ1が明るく撮影され、位置Ｐ2からの反射光によって位置Ｐ2は位置Ｐ1よりも暗く撮影される。本願は、このような関係にある画素間の階調値の差分に基づいて、画像の撮影時の光源が第１群の光源と第２群の光源とのいずれであるかを推定する。
【００４２】
具体的には、位置Ｐ1等を撮影した明るい画素を第１画素とし、位置Ｐ2等を撮影した第１画素よりも暗い画素を第２画素として色チャンネル毎の階調値の差分を特定する。すなわち、第１画素の階調値が（Ｒ1，Ｇ1，Ｂ1）であり、第２画素の階調値が（Ｒ2，Ｇ2，Ｂ2）である場合、鏡面反射成分を（Ｓrx，Ｓgx，Ｓbx）、乱反射成分を（Ｄrx，Ｄgx，Ｄbx）と表現すると、
（Ｒ1，Ｇ1，Ｂ1）＝（Ｓr1，Ｓg1，Ｓb1）＋（Ｄr1，Ｄg1，Ｄb1）
（Ｒ2，Ｇ2，Ｂ2）＝（Ｓr2，Ｓg2，Ｓb2）＋（Ｄr2，Ｄg2，Ｄb2）
と表現することができる。
【００４３】
そして、図２Ａに示す位置Ｐ1等を撮影した画素を第１画素、位置Ｐ2等を撮影した画素を第２画素とした場合、鏡面反射成分は大きく異なるが、乱反射成分はほぼ等しい。従って、第１画素の階調値と第２画素の階調値とについての色チャンネル毎の差分である以下の式
（Ｒ1，Ｇ1，Ｂ1）-（Ｒ2，Ｇ2，Ｂ2）＝
（Ｓr1，Ｓg1，Ｓb1）-（Ｓr2，Ｓg2，Ｓb2）+（Ｄr1，Ｄg1，Ｄb1）-（Ｄr2，Ｄg2，Ｄb2）
において、右辺第３項と第４項は互いに打ち消し合い、
（Ｒ1，Ｇ1，Ｂ1）-（Ｒ2，Ｇ2，Ｂ2）≒（Ｓr1，Ｓg1，Ｓb1）-（Ｓr2，Ｓg2，Ｓb2）
と見なすことができる。
【００４４】
そして、鏡面反射成分における色チャンネル毎の階調値のバランスは光源Ｓの色を反映したバランスになっている。従って、位置Ｐ1，位置Ｐ2における鏡面反射成分の強度が大きく異なることに起因して（Ｓr1，Ｓg1，Ｓb1）と（Ｓr2，Ｓg2，Ｓb2）との大きさは大きく異なるものの、色チャンネル毎の階調値のバランスは両者とも等しい。従って、
（Ｓr2，Ｓg2，Ｓb2）＝定数×（Ｓr1，Ｓg1，Ｓb1）
と表現可能であり、第１画素の階調値と第２画素の階調値とについての色チャンネル毎の差分である（Ｒ1，Ｇ1，Ｂ1）-（Ｒ2，Ｇ2，Ｂ2）において、色チャンネル毎の階調値の比は光源の色を示す階調値の色チャンネル毎の比と同一である。
【００４５】
そこで、本実施形態においては、上述の差分（Ｒ1，Ｇ1，Ｂ1）-（Ｒ2，Ｇ2，Ｂ2）の色チャンネル毎の比であるＲゲインおよびＢゲイン、すなわち、（Ｇ1-Ｇ2）／（Ｒ1-Ｒ2）および（Ｇ1-Ｇ2）／（Ｂ1-Ｂ2）が光源の色を反映した判定指標であると見なす。すなわち、光源推定部８０ｃは、これらのＲゲインおよびＢゲインを算出し、ＲゲインおよびＢゲインが所定の条件を満たす（本実施形態においては、ＲゲインおよびＢゲインの少なくとも一方が所定の閾値としての、２．０よりも大きい）場合には、画像の撮影時に光源が第２群の光源であると判定する。ＲゲインおよびＢゲインが所定の条件を満たさない（本実施形態においては、ＲゲインおよびＢゲインの少なくとも一方が所定の閾値よりも大きいと判定されない）場合には、画像の撮影時に光源が第１群の光源であると判定する。
【００４６】
本実施形態において第２群の光源は、上述のように水銀灯と蛍光灯であり、これらの光源の分光分布には緑色に対応する波長付近にピークが現れる。従って、撮影装置１での撮影においてＧチャンネルの階調値が他のチャンネルの階調値よりも大きくなりやすい。この場合、ＲゲインやＢゲインが大きくなる。そして、光源が水銀灯や蛍光灯である場合の画像においてＲゲインやＢゲインは統計的に２．０よりも大きくなる。
【００４７】
そこで、本実施形態においては、ＲゲインおよびＢゲインの少なくとも一方が所定の閾値（本実施形態においては、２．０）よりも大きい場合には、画像の撮影時に光源が第２群の光源であると判定する構成とした。この構成により、光源が第１群の光源であるのか、第２群の光源であるのかをより高い確率で正確に推定することができる。なお、第１画素は鏡面反射成分が有意の量だけ含まれる明るい部分の画素であればよく、第２画素は当該第１画素の近傍であることにより鏡面反射成分が減衰しており、かつ、乱反射成分が第１画素と同等と見なせるような部分の画素であればよく、画像から各画素を抽出するための手法としては種々の手法を採用可能であり、具体例は後述する。
【００４８】
（１−２）画像の色分布に基づく光源推定：
光源推定部８０ｃが実行する、画像の色分布に基づく光源推定は、特定の光源下で撮影された画像の色の分布が統計的に特定の範囲に分布することを利用した推定方法である。図２Ｂは第１群の光源の色分布を説明する説明図、図２Ｃは第２群の光源の色分布を説明する説明図である。これらの図において、横軸は画像の画素毎のＢチャンネルとＧチャンネルとの比（Ｂ／Ｇ）であり、縦軸は画像の画素毎のＲチャンネルとＧチャンネルとの比（Ｒ／Ｇ）である。
【００４９】
また、図２Ｂおよび図２Ｃにおいては、予め想定された光源の種類（太陽光の場合には環境条件）毎にＲ／ＧとＢ／Ｇとの組み合わせが分布する範囲（第１色分布）が実線で示す円形のように特定されている。すなわち、図２Ｂにおいては、晴天下で撮影した画像の第１色分布をＧ11、曇天下で撮影した画像の第１色分布をＧ12、白熱灯下で撮影した画像の第１色分布をＧ13として示している。一方、図２Ｃにおいては、水銀灯下で撮影した画像の第２色分布をＧ21、蛍光灯下で撮影した画像の第２色分布をＧ22として示している。
【００５０】
なお、図２Ｂにおいては二点鎖線によって黒体放射軌跡Ｂoを示している。図２Ｂに示すように、第１色分布Ｇ11、Ｇ12、Ｇ13は、当該黒体放射軌跡Ｂoの周囲の所定範囲（破線で示す範囲）に分布している。なお、当該所定範囲は、太陽光下で撮影された画像の色として想定される色が分布する範囲である。また、当該第１色分布は当該所定範囲内に存在すればよく、図２Ｂに示す色分布以外にも当該所定範囲内に他の第１色分布を設定可能である。なお、図２Ｃにおいては、参考のために、曇天下で撮影した画像の第１色分布をＧ12を二点鎖線によって併記している。
【００５１】
光源が第１群の光源であると推定されている場合、光源推定部８０ｃは、画像の画素毎の階調値から上述のＲ／ＧとＢ／Ｇとを特定して図２Ｂに示すグラフにプロットすることにより、画像の色分布が複数の第１色分布のいずれであるのかを特定する。一方、光源が第２群の光源であると推定されている場合、光源推定部８０ｃは、画像の画素毎の階調値から上述のＲ／ＧとＢ／Ｇとを特定して図２Ｃに示すグラフにプロットすることにより、画像の色分布が複数の第２色分布のいずれであるのかを特定する。
【００５２】
例えば、光源が第１群の光源であると推定されている場合、光源推定部８０ｃは、画像の画素毎の階調値から上述のＲ／ＧとＢ／Ｇとを特定して図２Ｂに示すグラフにプロットし、第１色分布Ｇ11にプロットされた画素が最も多い場合には晴天下で撮影した画像であると判断し、第１色分布Ｇ12にプロットされた画素が最も多い場合には曇天下で撮影した画像であると判断し、第１色分布Ｇ13にプロットされた画素が最も多い場合には白熱灯下で撮影した画像であると判断する。
【００５３】
なお、本実施形態においては、図２Ｂあるいは図２Ｃを利用した推定を行う前に光源が第１群、第２群のいずれであるのか特定されているため、高精度に光源を推定することができる。すなわち、図２Ｃに示すように、蛍光灯下で撮影した画像の第２色分布Ｇ22と曇天下で撮影した画像の第１色分布Ｇ12とには重複する部分があるため、第１群の光源についての第１色分布と第２群の光源についての第２色分布とが混在するグラフにＲ／ＧとＢ／Ｇとをプロットしても、第２色分布Ｇ22と第１色分布Ｇ12とが重複する部分の付近にプロットされる画素が多い画像においては光源を特定することができない。しかし、本実施形態においては、光源が第１群、第２群のいずれであるのかが予め特定されているため、図２Ｂに示すグラフあるいは図２Ｃに示すグラフのいずれかにＲ／ＧとＢ／Ｇとをプロットすればよく、これらのグラフのそれぞれにおいては色分布の重複が生じていないため、高精度に光源を推定することができる。
【００５４】
光源が推定されるとホワイトバランス補正部８０ｄが、光源に応じたホワイトバランスゲインによってホワイトバランス補正を行う。すなわち、本実施形態においては、光源（第１色分布Ｇ11，Ｇ12，Ｇ13、第２色分布Ｇ22，Ｇ21のそれぞれに対応した光源）毎に予めホワイトバランスゲインが決定され、各光源に対応付けられている。そして、任意の光源下で撮影された画像においては色チャンネルのバランスに光源の色の影響が現れるため、光源の色と同等の色を白にする、あるいは白に近づけるようにホワイトバランスゲインが予め決められている。なお、本実施形態において、ホワイトバランスゲインはＲゲイン（Ｇ／Ｒ）およびＢゲイン（Ｇ／Ｂ）である。ホワイトバランス補正部８０ｄは、光源推定部８０ｃによって推定された光源に対応するホワイトバランスゲインを特定し、画像データの各画素のＲチャンネルにＲゲインを乗じ、ＢチャンネルにＢゲインを乗じる補正を行ってホワイトバランス補正後の画像データを生成する。
【００５５】
ホワイトバランス補正後の画像データが生成されると、ＣＰＵ７０は、当該画像データを記録部３０に受け渡す。画像データが記録部３０に受け渡されると、記録部３０に挿入された記録媒体に当該データが記録される。以上の構成によれば、正確な光源の推定結果に基づいてホワイトバランス補正された画像を記録することができる。
【００５６】
（２）撮影処理：
次に、本実施形態における撮影処理を詳細に説明する。図３は撮影処理のフローチャートである。ＣＰＵ７０は、通常、表示部２０におけるライブビュー表示を行うための処理を実行する（ステップＳ１００）。すなわち、ＣＰＵ７０は、露光制御部６０に制御信号を出力して先幕と後幕とを電子シャッターによって実現する状態において、画像処理部８０によって生成されたＡＥ処理を行うための評価値を取得し、当該評価値に基づいて絞り調整部４５および露光制御部６０に制御信号を出力し、被写体を撮影する際の露出が適正露出となるように絞り１２の開口径とシャッター速度とを制御する。この状態において、受光センサー１４によって撮影された画像が画像処理部８０によって画像処理され、ＣＰＵ７０が画像処理後の画像を表示部２０に受け渡して表示させることでライブビュー表示が行われることになる。なお、ライブビュー表示を行う画像に対しては、本実施形態にかかるホワイトバランス補正を行ってもよいし、省略してもよい。
【００５７】
この状態において、利用者は表示部２０におけるライブビュー表示を視認しながら撮影対象となる被写体が視野内に配置されるように撮影装置１の向きを調整し、調整後に利用者はシャッターボタンによって記録用の画像を撮影する指示を行う。そこで、ＣＰＵ７０は、ライブビュー表示中においてシャッターボタンが押されたか否かを判定し、押されたと判定されるまで待機する（ステップＳ１０５）。
【００５８】
ステップＳ１０５において、シャッターボタンが押されたと判定されると、ステップＳ１１０以降の処理で画像処理部８０による画像データの生成処理が実行される。なお、画像データの生成処理を開始する前にＣＰＵ７０はＡＦ動作を実行する。すなわち、ＣＰＵ７０は、画像処理部８０によって生成されたＡＦ処理を行うための評価値を取得し、当該評価値に基づいて焦点調整部４３に制御信号を出力し、当該評価値が所定の合焦範囲に含まれるように焦点位置を調整する。むろん、ここでは、操作部４０においてシャッターボタンの半押しと全押しとを検出可能な構成とし、シャッターボタンの半押しによってＡＦ動作を行い、全押しによって画像データの生成処理を開始する構成であってもよい。
【００５９】
ステップＳ１１０において、画像生成部８０ａは、記憶部１５に記憶された受光センサー１４の出力データ（ＲＡＷデータ）に対して所定の画像処理を行い、画像データを生成する。なお、以下で説明する光源推定をするための処理には、飽和した色チャンネルを有する画素の階調値は用いない。図３に示す例においては、第１画素の階調値と第２画素の階調値との差分に基づく光源推定を実行する前に、当該光源推定を行う必要があるか否かを判定する。すなわち、本実施形態においては、第１群の光源が太陽光および白熱灯であり、第２群の光源が水銀灯および蛍光灯であるため、図２Ｃに示すように、蛍光灯下で撮影した画像の色分布と曇天下で撮影した画像の色分布とが重複し得る。
【００６０】
そして、本実施形態においてこのような重複は、色分布が限定された領域内での分布である場合に発生し得る。そこで、本実施形態においては、このような重複が発生し得る色分布が含まれる領域であるとともに、第２群の光源下で撮影された画像の色分布が含まれる領域として所定の領域が予め決められており、色分布がこの領域内でなければ光源が第２群の光源ではないと見なす。図２Ｃにおいては、当該所定の領域を一点鎖線の領域Ｒeとして示している。
【００６１】
そこで、光源推定部８０ｃは、ステップＳ１１０によって画像データが生成された後、当該画像データの各画素の階調値からＲ／ＧとＢ／Ｇを特定し、色分布を特定する（ステップＳ１１５）。すなわち、光源推定部８０ｃは、各画素のＲ／ＧとＢ／Ｇを特定し、Ｒ／ＧとＢ／Ｇとの組み合わせ毎の度数を特定して色分布とする。
【００６２】
次に、光源推定部８０ｃは、ステップＳ１１５にて特定された色分布が所定の領域に含まれるか否かを判定する（ステップＳ１２０）。すなわち、ステップＳ１１５にてＲ／ＧとＢ／Ｇとの組み合わせ毎に度数が特定されているため、光源推定部８０ｃは、当該度数のうち、図２Ｃに示す所定の領域Ｒe内に含まれるものをカウントし、全度数に占める割合を特定する。そして、光源推定部８０ｃは、当該割合が予め決められた値以上である場合に、ステップＳ１１５にて特定された色分布が所定の領域に含まれると判定する。この結果、図２Ｃに示すグラフに各画素のＲ／ＧとＢ／Ｇとで示される座標点をプロットして、座標点が所定の領域Ｒeに含まれる割合に基づいて色分布が所定の領域Ｒeに含まれるか否かを判定したことになる。
【００６３】
ステップＳ１２０において、ステップＳ１１５にて特定された色分布が所定の領域に含まれると判定されない場合、光源は第２群に含まれないと見なし、光源推定部８０ｃは、Ｒ／ＧおよびＢ／Ｇの色分布に対応する第１色分布を特定する（ステップＳ１５５）。すなわち、ステップＳ１１５にて特定されたＲ／ＧとＢ／Ｇとの組み合わせと、図２Ｂに示す各第１色分布の範囲とを比較し、各第１色分布に含まれるＲ／ＧとＢ／Ｇとの組み合わせの度数を特定する。そして、最も度数が大きい第１色分布を特定する。第１色分布は、光源の条件（晴天、曇天、白熱灯）に対応しているため、第１色分布が特定されると実質的に画像を撮影した光源が特定されることになる。次に、ホワイトバランス補正部８０ｄは、ステップＳ１５５にて特定された第１色分布に対応付けられたホワイトバランスゲインを特定する（ステップＳ１６０）。
【００６４】
一方、ステップＳ１２０において、ステップＳ１１５にて特定された色分布が所定の領域に含まれると判定された場合、画素抽出部８０ｂは、画像データから第１画素および第２画素を抽出する（ステップＳ１３５）。本実施形態においては、画像データから統計的に第１画素および第２画素を特定する。このために、まず画素抽出部８０ｂは、画像データが示す画像を複数の領域に分割する。図２Ｄは、画像Ｉを矩形によって模式的に示しており、太い実線によって画像Ｉ、細い実線によって分割領域の境界線を示している。この例において分割領域の数は６４個である。
【００６５】
画像内の分割領域が定義されると、画素抽出部８０ｂは分割領域の一つから全画素を抽出し、各画素を複数の階調値域のいずれかに分類する。ここで、複数の階調値域は画素の全階調値域を均等に分割して得られる値域であり、図２Ｄにおいては階調値域が１６個である例を示している。当該画素の分類においては、画素の階調値に基づいて各画素を１６個の階調値域に分類することができればよく、例えば、各画素の階調値が全階調値域を均等に分割した階調値域のいずれに属するか判定することによって分類を行う構成等を採用可能である。なお、画素毎の階調値は複数の色チャンネルによって表現されるため、階調値域への画素の分類に際しては、最も明るい階調値に基づいて分類したり、特定の色チャンネルの階調値に基づいて分類したり、輝度を計算し、輝度の階調値に基づいて分類したりする構成等を採用可能である。
【００６６】
このような分類は、上述の分割領域内の画素の全てについて行われ、一つの分割領域について階調値域への分類が終了すると、画素抽出部８０ｂは、１個以上の画素が分類された階調値域を特定する。また、画素抽出部８０ｂは、特定された階調値域の中で最も階調値が大きい階調値域と２番目に階調値が大きい階調値域を特定する。例えば、図２Ｄに示す例において、全階調値域が０〜２５５であり、階調値域１が階調値２４０〜２５４、階調値域２が階調値２２４〜２３９、階調値域１６が０〜１５と定義されており、階調値域１に複数個の画素が分類され、階調値域２に０個の画素が分類され、階調値域３に複数個の画素が分類された場合、最も階調値が大きい階調値域は階調値域１、２番目に階調値が大きい階調値域は階調値域３となる。
【００６７】
次に、画素抽出部８０ｂは、最も階調値が大きい階調値域に属する画素の階調値を色チャンネル毎に平均化し、処理中の分割領域における第１画素の階調値とする。また、画素抽出部８０ｂは、２番目に階調値が大きい階調値域に属する画素の階調値を色チャンネル毎に平均化し、処理中の分割領域における第２画素の階調値とする。画素抽出部８０ｂは、このような平均化による第１画素および第２画素の階調値の特定を、全ての分割領域に対して繰り返す。この結果、各分割領域において第１画素の階調値と第２画素の階調値が特定された状態となる。
【００６８】
以上の処理によれば、画像データが示す画像を複数の分割領域に分割した状態で第１画素と第２画素の階調値が特定される。従って、第２画素は第１画素の近傍から抽出されることとなり、第１画素と第２画素とにおいて鏡面反射成分が異なり、乱反射成分がほぼ同一と見なすことが可能な状態で第１画素と第２画素を抽出することができる。また、以上の処理においては、階調値域を複数個に分割し、画素を各階調値域に分類して平均化することによって最も明るい階調値域の第１画素と次に明るい階調値域の第２画素が特定される。この結果、画像内で最も明るい画素と次に明るい画素を統計的に特定することができる。
【００６９】
次に、光源推定部８０ｃは、第１画素の階調値−第２画素の階調値を色チャンネル毎に特定する（ステップＳ１４０）。すなわち、光源推定部８０ｃは、第１画素の階調値が（Ｒ1，Ｇ1，Ｂ1）、第２画素の階調値が（Ｒ2，Ｇ2，Ｂ2）である場合に（Ｒ1，Ｇ1，Ｂ1）-（Ｒ2，Ｇ2，Ｂ2）を算出する処理を各分割領域の階調値について行い、さらに、得られた差分値を平均化して第１画素の階調値−第２画素の階調値を色チャンネル毎に特定する。すなわち、各分割領域について第１画素の階調値−第２画素の階調値を色チャンネル毎に特定することで分割領域毎に光源の色を示す階調値が色チャンネル毎に特定された状態とし、当該光源の色を示す階調値を平均化する。なお、ここでは分割領域毎に第１画素の階調値と第２画素の階調値との差分を算出して平均化したが、分割領域毎の第１画素の階調値と第２画素の階調値とを平均化した後に差分を算出してもよい。
【００７０】
次に、光源推定部８０ｃは、ＲゲインおよびＢゲインを特定する（ステップＳ１４５）。すなわち、光源推定部８０ｃは、（Ｇ1-Ｇ2）／（Ｒ1-Ｒ2）を算出してＲゲインとし、（Ｇ1-Ｇ2）／（Ｂ1-Ｂ2）を算出してＢゲインとする。次に、光源推定部８０ｃは、Ｒゲイン、Ｂゲインの少なくとも一方が閾値（本例では２．０）よりも大きいか否かを判定する（ステップＳ１５０）。ステップＳ１５０において、Ｒゲイン、Ｂゲインの少なくとも一方が閾値よりも大きいと判定されない場合、光源が第１群の光源であると見なし、ステップＳ１５５以降の処理を実行する。
【００７１】
一方、ステップＳ１５０において、Ｒゲイン、Ｂゲインの少なくとも一方が閾値よりも大きいと判定された場合、光源の色にＧチャンネルの色が多く含まれるため光源が第２群の光源であると見なし、光源が第２群の光源のいずれであるのかを判定するための処理を行う。すなわち、光源推定部８０ｃは、画像データが示すＲ／ＧおよびＢ／Ｇの色分布に対応する第２色分布を特定する（ステップＳ１６５）。ここでは、ステップＳ１１５にて特定されたＲ／ＧとＢ／Ｇとの組み合わせと、図２Ｃに示す各第２色分布の範囲とを比較し、各第２分布に含まれるＲ／ＧとＢ／Ｇとの組み合わせの度数を特定する。そして、最も度数が大きい第２色分布を特定する。第２色分布は、光源の条件（水銀灯、蛍光灯）に対応しているため、第２色分布が特定されると実質的に画像を撮影した光源が特定されることになる。次に、ホワイトバランス補正部８０ｄは、ステップＳ１６５にて特定された第２色分布に対応付けられたホワイトバランスゲインを特定する（ステップＳ１７０）。
【００７２】
ステップＳ１６０あるいはＳ１７０が実行されると、光源に対応したホワイトバランスゲインが特定された状態となるため、ホワイトバランス補正部８０ｄは、ホワイトバランス補正を行って画像データを記録する（ステップＳ１７５）。すなわち、ホワイトバランス補正部８０ｄは、画像データの各画素のＲチャンネルにステップＳ１６０あるいはＳ１７０にて特定されたＲゲインを乗じ、ＢチャンネルにＢゲインを乗じる補正を行ってホワイトバランス補正後の画像データを生成する
【００７３】
。以上の処理においては、ステップＳ１４５において特定されたホワイトバランスゲインを利用せず、ステップＳ１６０あるいはＳ１７０において特定されたホワイトバランスゲインを利用してホワイトバランス補正を行っている。ステップＳ１４５において特定されたホワイトバランスゲインは、被写体からの反射光を解析することによって特定されるゲインであるため、太陽光下など反射物体が少ない画像においては正確なホワイトバランスを実行可能なゲインとならない。しかし、本実施形態においてはステップＳ１４５で特定されたホワイトバランスゲインを光源の推定に使用し、ホワイトバランス補正には使用しない。そして、ステップＳ１６０，Ｓ１７０において、光源毎に予め決められたホワイトバランスゲインを選択することによってホワイトバランス補正を行う。従って、正確にホワイトバランス補正を行うことが可能である。
【００７４】
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、平均の明るさよりも明るい第１画素と当該第１画素よりも暗い第２画素との差分に基づいて光源を推定する限りにおいて、下記の変形例を適宜組み合わせでも良いし、その他にも種々の実施形態を採用可能である。
【００７５】
例えば、上述の実施形態において表示部２０は液晶パネルを用いたＥＶＦであったが、表示部２０はＥＶＦ以外の表示部、例えば、撮影装置１の背面に取り付けられる液晶パネルを用いた表示部であっても良いし、液晶パネル以外の方式を用いたものであっても良い。また、撮影装置１はミラーを備えた一眼レフカメラでも良く、さらにムービーカメラであっても良いし、撮影機能を備えた携帯電話等の装置であっても良い。さらに、上述の受光センサー１４において、カラーフィルターはベイヤー配列であったが、ベイヤー配列以外の配列で構成されたセンサーを利用した光源推定装置に本発明を適用しても良い。例えば、３ＣＣＤや３層式センサーを利用した光源推定装置に本発明を適用しても良い。
【００７６】
さらに、ステップＳ１４５にて特定され、閾値と比較されるホワイトバランスゲインは、基準ゲインに対する相対ゲインであってもよい。すなわち、予め基準光源（例えば、基準の太陽光（基準の色温度の光源））において任意の画像（例えば、基準チャート）を撮影してステップＳ１１０〜Ｓ１４５の処理を行うことによって基準光源下のホワイトバランスゲインを特定しておく。そして、実際の撮影処理においてステップＳ１１０〜Ｓ１４５を実行することによってホワイトバランスゲインが得られると、当該ホワイトバランスゲインを基準光源下のホワイトバランスゲインで除することによって相対ゲインを特定する。相対ゲインが特定されたら、当該相対ゲインと閾値とを比較することによって光源が第１群の光源と第２群の光源とのいずれであるのかを判定する。この構成においては、撮影装置１の機種や受光センサー１４が備えるフィルター、画像処理等に依存されずに共通の閾値によって光源が第１群の光源と第２群の光源とのいずれであるのかを判定することが可能である。
【００７７】
さらに、上述の実施形態においては、画像の全体から第１画素および第２画素（ステップＳ１３５）、Ｒ／ＧおよびＢ／Ｇ（ステップＳ１１５）を特定していたが、各種の条件を満たす画素に基づいて第１画素および第２画素やＲ／ＧおよびＢ／Ｇを特定する構成であってもよい。例えば、画像内でハイライトと見なすことができるような画素（色チャンネル毎の階調値が閾値以上の画素）を第１画素として抽出する構成や、第１画素からの階調値の乖離が所定の値以内の画素を第２画素として抽出する構成であってもよい。また、画像内でハイライトと見なすことができるような画素からＲ／ＧおよびＢ／Ｇを特定してもよい。むろん、ハイライトの画素から、いずれかの色チャンネルの階調値が最大値となっている画素を除外する他に、ＡＥ処理においていずれかの色チャンネルの階調値が最大値となる画素が発生しないように絞りやシャッター等を調整してもよい。
【００７８】
さらに、上述の例は第１群の光源と第２群の光源は例示であり、他の光源が第１群、第２群に含まれていてもよい。すなわち、ステップＳ１４５にて特定されたホワイトバランスゲインと閾値とを比較することによって光源群が推定可能であればよく、光源に応じた第１色分布および第２色分布を適宜増減させることが可能である。
【００７９】
さらに、撮影処理のフローチャートも上述の図３に限定されない。例えば、画素の階調値から特定されたＲ／ＧおよびＢ／Ｇが所定の領域に含まれるか否かを判定する構成を省略してもよい。図４はこの場合のフローチャートを示しており、図３と同等のステップは同じ符号で示してある。また、図４に示す撮影処理ではステップＳ１１５およびステップＳ１２０が省略されており、その代わりにステップＳ１５５，Ｓ１６５の前にステップＳ１１５−１，Ｓ１１５−２のそれぞれが挿入してある。
【符号の説明】
【００８０】
１０…光学系、１１…レンズ、１２…絞り、１３…シャッター、１４…受光センサー、１５…記憶部、２０…表示部、３０…記録部、４０…操作部、４３…焦点調整部、４５…絞り調整部、５０…シャッター制御部、６０…露光制御部、８０…画像処理部、８０ａ…画像生成部、８０ｂ…画素抽出部、８０ｃ…光源推定部、８０ｄ…ホワイトバランス補正部
【図１】
2013172383.tif 000003
【図２】
2013172383.tif 000004
【図３】
2013172383.tif 000005
【図４】
2013172383.tif 000006