"フラッシュ発光時の画像及びフラッシュ非発光時の画像を取得する撮像部と、前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出部と、算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類部と、前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量の補正に用いる前記パターンを選択する周辺画素選択部と、選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正部と、補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、算出された前記ホワイトバランスゲインに基づき、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御部と、を備える、撮像装置。前記フラッシュ反射量算出部は、前記フラッシュ発光時の画像の露光制御値及び前記フラッシュ非発光時の露光制御値の差分値に基づき、露光差分値を算出する露光差分値算出部と、算出した前記露光差分値と、フラッシュ発光時の画像及びフラッシュ非発光時の画像の信号値と、を利用してフラッシュ発光時の画像の画素ごとに前記フラッシュ反射量を算出する第一フラッシュ反射量算出部と、を備えることを特徴とする、請求項1に記載の撮像装置。前記周辺画素分類部は、前記注目画素のフラッシュ反射量と前記周辺画素のフラッシュ反射量との差分値を算出するフラッシュ反射量差分算出部と、前記注目画素の信号値と前記周辺画素の信号値との差分値を算出する信号値差分算出部と、算出した前記フラッシュ反射量差分値と第一の閾値との大小関係、及び、算出した信号値と第二の閾値との大小関係に応じて、前記周辺画素が該当する前記パターンを判定する周辺画素分類判定部と、を備えることを特徴とする、請求項1又は2に記載の撮像装置。前記周辺画素選択部は、前記周辺画素の分類結果に基づき、前記フラッシュ反射量の差分値と前記信号値の差分値とで表されるパターン間距離が最長となる2つのパターンの組み合わせを選択し、選択した前記2つのパターンに含まれる周辺画素を、フラッシュ反射量補正に用いる周辺画素として選択することを特徴とする、請求項1~3の何れか1項に記載の撮像装置。前記パターン間距離は、各パターンに属する周辺画素のフラッシュ反射量及び信号値それぞれの平均値により決定されることを特徴とする、請求項4に記載の撮像装置。補正後の前記フラッシュ反射量及び信号値を利用した平滑化処理を行う平滑化処理部を備えることを特徴とする、請求項1~5の何れか1項に記載の撮像装置。前記信号値として、基準となる一の色の信号値に対する他の色の信号値で表されるカラーバランスが用いられることを特徴とする、請求項1~6の何れか1項に記載の撮像装置前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出ステップと、算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類ステップと、前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量を補正するために用いる前記周辺画素を選択する周辺画素選択ステップと、選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素の画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正ステップと、補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、算出された前記ホワイトバランスゲインに基づいて、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御ステップと、を含む、ホワイトバランス調整方法。特許文献1に開示されている方法では、画素ごとにフラッシュ発光量及び色温度の調整を行うことができないため、画像の一部のみが不自然に明るく撮像されたり、不適切な色つきが発生したりすることがある。また、特許文献3に開示されている方法では、全ての空間的位置ずれの影響をなくすことができず、ホワイトバランスゲインにずれが生じることがある。さらに、エッジ等の色温度が大きく変化する境界を考慮せず、一律に平滑化処理を行うため、画素間で色の変化量が大きくなって不自然な画像となることがある。そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フラッシュ発光撮像画像とフラッシュ非発光撮像画像に空間的な位置ずれが生じている場合にも、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスを調整することが可能な、新規かつ改良された撮像装置及びホワイトバランス調整方法を提供することにある。上記課題を解決するために、本発明のある観点によれば、フラッシュ発光時の画像及びフラッシュ非発光時の画像を取得する撮像部と、前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出部と、算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類部と、前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量を補正するために用いる前記周辺画素を選択する周辺画素選択部と、選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正部と、補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出部と、算出された前記ホワイトバランスゲインに基づき、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御部と、を備える、撮像装置が提供される。かかる構成によれば、注目画素の信号値と、選択した周辺画素のフラッシュ反射量及び信号値とを利用することにより、注目画素のフラッシュ反射量が適切に補正される。その結果、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合でも、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスゲインを算出し、ホワイトバランス調整を行うことが可能になる。前記フラッシュ反射量算出部は、前記フラッシュ発光時の画像の露光制御値及び前記フラッシュ非発光時の露光制御値の差分に基づき、露光差分値を算出する露光差分値算出部と、算出した前記露光差分値と、フラッシュ発光時の画像及びフラッシュ非発光時の画像の信号値と、を利用してフラッシュ発光時の画像の画素ごとに前記フラッシュ反射量を算出する第一のフラッシュ反射量算出部と、をさらに備えていてもよい。かかる構成によれば、フラッシュ発光時の画像とフラッシュ非発光時の画像が異なる露光制御値で撮像された場合においても、フラッシュ反射量が正確に算出される。これにより、より適切なホワイトバランスゲインを算出することが可能になる。前記周辺画素分類部は、前記注目画素のフラッシュ反射量と、前記周辺画素のフラッシュ反射量と、の差分値を算出するフラッシュ反射量差分算出部と、前記注目画素の信号値と、前記周辺画素の信号値と、の差分値を算出する信号値差分算出部と、算出した前記フラッシュ反射量差分値と第一の閾値との大小関係、及び、算出した信号値と第二の閾値との大小関係に応じて、前記周辺画素を分類する周辺画素分類判定部と、をさらに備えていてもよい。かかる構成によれば、周辺画素をより適切にパターン分類し、注目画素のフラッシュ反射量の補正に用いる周辺画素のパターンが選択される。その結果、より適切にホワイトバランスゲインを算出することが可能となる。前記周辺画素選択部は、前記周辺画素の分類結果に基づき、前記フラッシュ反射量と前記信号値の差分値とで表されるパターン間距離が最長となる2つのパターンの組み合わせを選択し、選択した前記2つのパターンに含まれる周辺画素を、フラッシュ反射量補正に用いる周辺画素として選択するようにしてもよい。かかる構成によれば、注目画素のフラッシュ反射量の補正に用いる周辺画素のパターンとして、空間的な位置ずれの影響が小さいパターンが選択される。これにより、より適切なホワイトバランスゲインを算出することが可能となる。前記パターン間距離は、各パターンに属する周辺画素のフラッシュ反射量及び信号値それぞれの平均値により決定されるようにしてもよい。前記撮像装置は、補正後の前記フラッシュ反射量及び信号値を利用した、平滑化処理を行う平滑化処理部をさらに備えるようにしてもよい。これにより、ホワイトバランス調整後の画像のエッジ情報を保持しつつ、ノイズ低減処理を行うことが可能となる。ここで、前記信号値として、基準となる一の色の信号値に対する他の色の信号値で表されるカラーバランスが用いられてもよい。また、上記課題を解決するために、本発明の別の観点によれば、前記フラッシュ発光時の画像及び前記フラッシュ非発光時の画像に基づき、前記フラッシュ発光時の画像の画素ごとにフラッシュ反射量を算出するフラッシュ反射量算出ステップと、算出した前記フラッシュ反射量及びフラッシュ発光時の画像での信号値それぞれについて、当該前記フラッシュ反射量又は前記信号値を有する画素である注目画素の値と、当該注目画素の周辺に位置する周辺画素の値との差分値に基づき、前記周辺画素を複数のパターンに分類する周辺画素分類ステップと、前記周辺画素の分類結果に基づき、前記注目画素のフラッシュ反射量を補正するために用いる前記周辺画素を選択する周辺画素選択ステップと、選択した前記周辺画素の前記フラッシュ反射量及び信号値に基づき、前記注目画素の画素ごとに、前記フラッシュ発光時の画像を構成する画素の、前記フラッシュ反射量を補正するフラッシュ反射量補正ステップと、補正後の前記フラッシュ反射量を利用して、画素ごとにホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップと、算出された前記ホワイトバランスゲインに基づき、前記フラッシュ発光時の画像のホワイトバランスを制御するホワイトバランス制御ステップと、を含むホワイトバランス調整方法が提供される。以上説明したように本発明によれば、注目画素の信号値と、選択した周辺画素のフラッシュ反射量及び信号値とを使用することにより、注目画素のフラッシュ反射量を適切に補正することが可能になり、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合でも、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスゲインを算出し、ホワイトバランス調整を行うことができる。以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。なお、説明は以下の順序で行うものとする。1フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれによる影響について2第1の実施形態2-1撮像装置10の構成2-1-1撮像装置10の全体構成2-1-2マルチAWB処理部106の構成2-2ホワイトバランス調整方法の流れ<1.フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれによる影響について>本発明の好適な実施形態についての説明に先立ち、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに発生する空間的な位置ずれの現象と、この現象により生じるフラッシュ反射量への影響について、図1~9を参照しながら詳細に説明する。図1は、フラッシュ非発光撮像画像の一例を示した説明図である。図2は、フラッシュ発光撮像画像の一例を示した説明図である。図1は、ある被写体をフラッシュを発光させずに撮像した画像フラッシュ非発光撮像画像を模式的に示したものであり、図2は、図1と同一の被写体をフラッシュを発光させて撮像した画像フラッシュ発光撮像画像を模式的に示したものである。ここで、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とは、それぞれ適切な露光制御値で撮像され、それぞれメモリ等の記憶手段に保持されている。メモリ等に記憶されたフラッシュ非発光撮像画像のRGB画像信号値は、色信号値毎に、フラッシュ非発光撮像画像を構成する全ての画素について積算され、当該積算値に基づいて、フラッシュが発光されていない定常光のみの場合の推定光源色が算出され、メモリ等の記憶手段に保持される。また、フラッシュ光のみで撮像した場合の推定光源色は、ROM等の記憶手段に予め保持されているものが利用される。なお、推定光源色は、G信号値に対するR信号値の比以下R/Gとする。及びG信号値に対するB信号値の比以下B/Gとする。で表される。図3は、ベイヤ型配列を有する撮像素子を示した説明図である。上記画素ごとのRGB画像信号値に基づく計算は、図3に示したように、R,G,G,Bの四つの画素21を一組としたベイヤユニット23を1画素とみなして行われてもよく、ベイヤ色補間デモザイク処理によって、ベイヤ画像におけるR,G,G,Bの四つの画素から各色R,G,B1つずつの画素を生成することにより行われてもよい。図1のようなフラッシュ非発光撮像画像を撮像したときの露光制御値シャッタースピード、絞り値、感度と、図2のようなフラッシュ発光撮像画像を取得したときの露光制御値とが異なる場合には、各露光制御値の差分値を考慮する必要がある。このような差分値を考慮することで、被写体からのフラッシュ光の反射量フラッシュ反射量を適切に算出することができる。ここで、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で空間的な位置ずれが生じている場合に、算出されるフラッシュ反射量にどのような影響が生じるかについて、考える。なお、以下では、図1に示したフラッシュ非発光撮像画像における、図4に示したA-A線の位置での画像信号値以下、第一画像信号値とする。、及び、図2に示したフラッシュ発光撮像画像における、図5に示したB-B線の位置での画像信号値以下、第二画像信号値とする。を例に挙げて説明を行うものとする。空間的な位置ずれがない場合図6は、A-A線図4又はB-B線図5の各位置におけるフラッシュ発光撮像画像の信号値及びフラッシュ非発光撮像画像の信号値を表した説明図である。ここで、図6及び図7に示したグラフ図において、横軸は、A-A線又はB-B線に沿った空間横方向の位置換言すれば、被写体が存在している空間に固定された絶対座標系での横方向の位置を表しており、縦軸は、信号値又はフラッシュ反射量を表している。また、図6及び図7に示した信号値は、画素の輝度値又は各色信号値である。図6及び図7において、信号値の変化量が大きい部分は、被写体のエッジ部に対応する。フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で空間的な位置ずれがない場合には、図6に示すように、画像中のエッジに該当する信号値が変化する位置は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とで一致する。その結果、これらの画像信号値に基づいて算出されるフラッシュ反射量は、図6に示したように、第二画像信号値と類似した形状を有する分布を示すこととなる。空間的な位置ずれがある場合次に、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間に空間的な位置ずれがある場合について、A-A線に対応する位置でのフラッシュ非発光撮像画像の信号値、及び、B-B線に対応する位置でのフラッシュ発光撮像画像の信号値を考える。図7は、画像中の横方向の各位置における、フラッシュ発光撮像画像の信号値及びフラッシュ非発光撮像画像の信号値を表した説明図である。フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合、図7に示すように、信号値が変化する位置は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とで異なることとなる。図8及び図9は、空間的な位置ずれが生じているフラッシュ発光撮像画像及びフラッシュ非発光撮像画像の画像信号値と、これらの信号値から算出されるフラッシュ反射量との関係を示した説明図である。フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で空間的な位置ずれが生じている場合、算出されるフラッシュ反射量は、図8や図9に示したように、第一画像信号値及び第二画像信号値の変化状況に応じて、実際よりも大きな値に算出されたり、小さな値に算出されたりする。図8に示した例では、第一画像信号値に対応するフラッシュ非発光撮像画像が撮像される際に手ブレ等が起こり、第二画像信号値に対応するフラッシュ発光撮像画像に対して右方向にずれが生じたため、第二画像信号値は、被写体のエッジに該当する位置で信号値が変化しているにもかかわらず、同一位置での第一画像信号値は、変化が生じていない。その結果、図6と比較すると明らかなように、図8においてAR1で示した部分では、フラッシュ反射量は、本来算出されるべき適正な値よりも小さい値となって算出されており、図8においてAR2で示した領域では、フラッシュ反射量は、本来算出されるべき適正な値よりも大きな値となって算出されている。図8に示した例は、第一画像信号値は下に凸の外形を有しており、第二画像信号値は上に凸の外形を有している場合を示したが、図9に示した例は、第一画像信号値及び第二画像信号値が、それぞれ上に凸の外形を有している場合を示している。図9に示に示した例においても、第一画像信号値に対応するフラッシュ非発光撮像画像が撮像される際に手ブレ等が起こり、第二画像信号値に対応するフラッシュ発光撮像画像に対して右方向にずれが生じたため、第二画像信号値は、被写体のエッジに該当する位置で信号値が変化しているにもかかわらず、同一位置での第一画像信号値は、変化が生じていない。その結果、図6と比較すると明らかなように、図9においてAR3で示した部分では、フラッシュ反射量は、本来算出されるべき適正な値よりも小さい値となって算出されている。図9においてAR3で示した位置のように、第一画像信号値の値によっては、フラッシュ反射量は負の値となりうる。しかしながらフラッシュ反射量は0.0~1.0の間の値として扱われるため、算出されたフラッシュ反射量の値が負の値となった場合には、フラッシュ反射量は0として取り扱われることとなる。このように、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との間で、手ブレ等により空間的な位置ずれが生じた場合には、適正なフラッシュ反射量が算出されない場合がある。本発明者は、このような場合であっても適正にフラッシュ反射量を補正することが可能な技術について鋭意検討を行った結果、以下で説明するような技術に想到した。<2.第1の実施形態>[2-1:本実施形態に係る撮像装置10の構成]2-1-1:撮像装置10の全体構成以下の実施形態では、撮像装置の一例としてデジタルスチルカメラを例にとって、本実施形態に係る撮像装置で実施される画像処理パイプラインについて、図10を参照しながら簡単に説明する。図10は、本実施形態に係る撮像装置の画像処理パイプラインの構成を示したブロック図である。本実施形態に係る撮像装置10は、図1に示したように、撮像部101、信号処理部102、前処理部103、画像メモリ104、適正AE算出部105、マルチAWB処理部106、後処理部107、RGB-YCC変換部108、データ圧縮部109、メモリカードインタフェース110及びメモリカード111を主に備える。撮像部101は、図10に示したように、被写体からの光を集光するレンズ121と、絞り122と、シャッター123と、CCDイメージセンサやCMOSイメージセンサ等の撮像素子124と、露光制御部125と、フラッシュ126と、を主に備える。レンズ121を透過した光は、絞り122及びシャッター123の動作タイミングに合わせて撮像素子124に結像し、撮像素子124の各画素から、結像した光に関する出力信号が出力される。また、露光制御部125は、絞り122、シャッター123、撮像素子124及びフラッシュ126の動作タイミングを制御しており、フラッシュ126を発光させながら被写体を撮像したり、フラッシュ126を発光させないで被写体を撮像したりする制御を行っている。信号処理部102は、撮像部101の撮像素子124から出力された出力信号に対して信号処理を行う処理部である。この信号処理部102は、出力信号に対して色分離処理を行う色分離部131と、出力信号に対してA/D変換処理を行うA/D変換部132と、を主に備える。色分離部131とA/D変換部132とは、互いに連携しながら、出力信号に対して信号処理を実施する。これらの処理が行われることで、撮像素子124から出力された出力信号はRGB画像信号となる。前処置部103は、信号処理部102から出力されたRGB画像信号に対して、前処理を施す処理部である。この前処理部103は、図10に示したように、黒レベル補正部141、欠陥画素補正部142、シェーディング補正部143及びAE評価値算出部144を主に備える。信号処理部102から出力されたRGB画像信号は、黒レベル補正部141による黒レベル補正処理により黒レベルが一定となるように補正され、欠陥画素補正部142により、画素欠陥がRGB画像信号中に存在する場合に画素欠陥周辺の情報に基づいて情報が補間される。また、信号処理部102から出力されたRGB画像信号は、シェーディング補正部143により、画像の周辺等に発生する輝度落ち等に起因する画像の輝度差が補正される。AE評価値算出部144は、これらの補正が行われたRGB画像信号に基づいて、AE評価値を算出する。AE評価値算出部144により算出されたAE評価値は、適正AE算出部105に出力される。また、上述の補正が行われたRGB画像信号は、画像メモリ104及び後処理部107に出力される。画像メモリ104は、前処理部103による各種の前処理が施されたRGB信号を記憶部する記憶部の一例である。この画像メモリ104は、フラッシュ非発光時に撮像された撮像画像を記憶する第1撮像記憶部151と、フラッシュ発光時に撮像された撮像画像を記憶する第2撮像記憶部152と、を有している。後述するマルチAWBオートホワイトバランス処理部106及び後処理部107は、かかる画像メモリ104が記憶している各撮像画像を利用して、それぞれの処理部における処理を実施することが可能である。適正AE算出部105は、前処理部103のAE評価値算出部144から出力されたAE評価値に基づいて、撮像条件に適したAE値を算出する。適正AE算出部105は、算出したAE値を、撮像部101の露光制御部125及びマルチAWB処理部106に出力する。これにより、露光制御部125は、取得したAE値に基づいて絞り122、シャッター123、撮像素子124及びフラッシュ126の露光制御を行うことが可能となる。マルチAWB処理部106は、適正AE算出部105が算出したAE値と、画像メモリ104に記憶されているフラッシュ非発光時に撮像された撮像画像及びフラッシュ発光時に撮像された撮像画像と、を利用して、ホワイトバランス補正処理に用いられるホワイトバランスゲインを算出する処理部である。マルチAWB処理部106は、算出したホワイトバランスゲインを、後述する後処理部107のホワイトバランス制御部186に出力する。なお、マルチAWB処理部106で実施されるホワイトバランスゲインの算出処理については、以下で改めて詳細に説明する。後処理部107は、前処理部103により前処理が施されたRGB画像信号に対して、各種の後処理を実施する処理部である。この後処理部107は、RGB画像信号に対してデモザイク処理ベイヤ色補間処理を実施するデモザイク処理部181と、RGB画像信号に対してエッジ強調処理を実施するエッジ強調処理部182と、RGB画像信号に対して色補正処理を実施する色補正処理部183と、RGB画像信号に対してガンマ補正を実施するガンマ補正処理部184と、RGB画像信号のノイズリダクション処理ノイズ低減処理を実施するノイズリダクション処理部185と、RGB画像信号に対してホワイトバランス補正処理を実施するホワイトバランス制御部186と、を更に備える。ここで、ホワイトバランス制御部186には、本実施形態に係るマルチAWB処理部106により算出されたホワイトバランスゲインが入力され、ホワイトバランス制御部186は、算出されたホワイトバランスゲインを用いて、RGB画像信号に対してホワイトバランス補正処理を実施する。これらの処理部により各種の後処理を施されたRGB画像信号は、RGB-YCC変換部108に出力される。RGB-YCC変換部108は、RGB画像信号をYCC画像信号へと変換する処理部である。かかる変換処理により、撮像された画像の色空間がRGB色空間からYCCYCrCb色空間へと変換されることとなる。変換後のYCC画像信号は、データ圧縮部109へと出力される。データ圧縮部109は、YCC画像信号を、必要に応じてJPEG等の各種の圧縮形式で圧縮する処理部である。必要に応じて圧縮されたYCC画像信号は、メモリカードインタフェース110を介してメモリカード111に記録される。以上、図10を参照しながら、本実施形態に係る撮像装置10の画像処理パイプラインについて、簡単に説明した。2-1-2:マルチAWB処理部106の構成以下では、図3及び図11~21を参照しながら、本実施形態に係るマルチAWB処理部106で実施されるホワイトバランスゲインの算出処理について、詳細に説明する。本実施形態に係るマルチAWB処理部106は、以下で説明するような処理を実施することで、フラッシュ発光撮像画像とフラッシュ非発光撮像画像とに空間的な位置ずれがある場合であっても、フラッシュ発光撮像画像の画素ごとに適切なホワイトバランスゲインを算出し、適正なホワイトバランス補正を行うことができる。本実施形態に係るマルチAWB処理部106には、入力信号として、第1の撮像画像の一例であるフラッシュ非発光時に撮像された撮像画像以下、フラッシュ非発光撮像画像とも称する。と、第2の撮像画像の一例であるフラッシュ発光時に撮像された撮像画像以下、フラッシュ発光撮像画像とも称する。と、が入力される。また、マルチAWB処理部106は、入力された撮像画像の画像信号から推定光源色を算出する。この際、マルチAWB処理部106は、フラッシュ非発光撮像画像のRGB画像信号をRGB別色別に全画面分積分し、フラッシュが発光していない定常光のみの場合の推定光源色R/G、B/Gを算出する。また、マルチAWB処理部106は、定常光がなくフラッシュ光のみで撮像した場合の推定光源色を既知の値としてROM等の各種メモリに保持しており、適宜各種メモリから読みだして処理に利用することができる。本実施形態に係るマルチAWB処理部106では、画素ごとにホワイトバランスゲインが算出されることとなる。この際、マルチAWB処理部106は、フラッシュ発光撮像画像及びフラッシュ非発光撮像画像において、図3に示したように、R,G,G,Bの四つの画素21を一組としたベイヤユニット23を1画素とみなしたり、ベイヤ色補間デモザイク処理によって、ベイヤ画像におけるR,G,G,Bの四つの画素から各色R,G,B一つずつの画素を生成したりする。以下では、図11~21を参照しながら、本実施形態に係るマルチAWB処理部106で実施されるホワイトバランスゲインの算出処理について、詳細に説明する。処理の概要マルチAWB処理部106は、図11に示したように、フラッシュ反射量算出部161、周辺画素分類部162、フラッシュ反射量補正部163、平滑化処理部164、及びホワイトバランスゲイン決定部165を有している。ここで、フラッシュ反射量算出部161、周辺画素分類部162及びフラッシュ反射量補正部163により実施される処理が、主に、図8に示したように、算出されたフラッシュ反射量が、所定の値以上であった場合に対する補正処理に該当する。また、平滑化処理部164により実施される処理が、主に、図9に示したように、算出されたフラッシュ反射量が、0又は0に近い値であった場合に対する補正処理に該当する。ここで、以下で詳述するように、本実施形態に係る撮像装置及びホワイトバランス調整方法では、まず、フラッシュ発光撮像画像及びフラッシュ非発光撮像画像の空間的な位置ずれが生じている場合のうち、算出されたフラッシュ反射量が、所定の値以上であった場合に対応するための処理を行う。その後、算出されたフラッシュ反射量が、0又は0に近い値であった場合に対応するための処理を行う。この際、所定の値以上に算出されたフラッシュ反射量に対して、0又は0に近い値に算出されたフラッシュ反射量を補正するための処理を実施することによる影響、及び、0又は0に近い値に算出されたフラッシュ反射量に対して、所定の値以上に算出されたフラッシュ反射量を補正するための処理を実施することによる影響は、存在しない点に注意されたい。以下では、まず、フラッシュ反射量算出部161が備える各処理部の機能について、詳細に説明する。フラッシュ反射量算出部161は、マルチAWB処理部106に入力されたフラッシュ非発光撮像画像の輝度値及び露光制御値と、フラッシュ発光撮像画像の輝度値及び露光制御値とに基づいて、フラッシュ発光撮像画像の画素ごとに第一フラッシュ反射量を算出する。このフラッシュ反射量算出部161は、図11に示したように、露光差分値算出部166と、第一フラッシュ反射量算出部167と、を備える。マルチAWB処理部106にフラッシュ非発光撮像画像及びフラッシュ発光撮像画像が入力されると、露光差分値算出部166は、入力されたフラッシュ非発光撮像画像及びフラッシュ発光撮像画像の露光制御値に基づいて、露光差分値Lfを算出する。ここで、フラッシュ非発光撮像画像を撮像したときの露光制御値シャッタースピード、絞り値、感度と、フラッシュ発光撮像画像を取得したときの露光制御値が異なる場合には、露光差分値算出部166は、各露光制御値の差分値を考慮する。ここで、露光制御値には、下記式101で表される関係があることが知られている。下記式101において、TVはシャッタースピードTVを表し、AVは絞り値を表し、SVは感度を表し、BVは被写体輝度を表している。また、下記式101のそれぞれの値は、APEX値で表現されている。式101フラッシュ非発光撮像画像の被写体輝度値をBVl、シャッタースピードをTVl、絞り値をAVl、感度をSVlとし、フラッシュ発光撮像画像の被写体輝度値をBVs、シャッタースピードをTVs、絞り値をAVs、感度をSVsとすると、フラッシュ非発光撮像画像及びフラッシュ発光撮像画像に対応する上記式101は、それぞれ下記式102及び103のようになる。式102式103そこで、露光差分値算出部166は、上記式102及び103より算出された被写体輝度値を利用して、下記式104に基づいて、差分値BVdiffを算出する。なお、フラッシュ発光撮像画像とフラッシュ非発光撮像画像の露光制御値とが一致している場合は、下記式104で表される差分値BVdiffは0となる。式104露光差分値算出部166は、上記式104に基づいて差分値BVdiffを算出すると、続いて以下の式105を利用して、露光差分値Lfを算出する。式105露光差分値算出部166は、露光差分値Lfを算出すると、得られた算出結果を第一フラッシュ反射量算出部167に出力する。第一フラッシュ反射量算出部167は、フラッシュ非発光撮像画像の輝度値Yl、フラッシュ発光撮像画像の輝度値Ys、及び、露光差分値算出部166により算出された露光差分値Lfに基づいて、下記式106によりフラッシュ発光撮像画像の画素ごとに第一フラッシュ反射量Ratioを算出する。この第一フラッシュ反射量Ratioは、フラッシュ非発光撮像画像における定常光量を1としたときの相対値として算出されるものである。式106上記式106のように、第一フラッシュ反射量の算出において、露光差分値Lfを補正係数として用いることにより、第一フラッシュ反射量算出部167は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像が異なる露光制御値で撮像された場合においても、正確な第一フラッシュ反射量を算出することができる。また、色信号の一つであるGグリーン信号値は輝度値Yとほぼ同じ値となるため、第一フラッシュ反射量算出部167は、上記式106において輝度値Yの代わりにG信号値を利用して、第一フラッシュ反射量を算出してもよい。第一フラッシュ反射量算出部167は、第一フラッシュ反射量を算出すると、得られた算出結果を、フラッシュ反射量差分算出部168及び周辺画素平均値算出部171に出力する。以上、フラッシュ反射量算出部161が備える各処理部の機能について、詳細に説明した。以下では、周辺画素分類部162が備える各処理部の機能について、詳細に説明する。周辺画素分類部162は、フラッシュ発光撮像画像を構成する画素の一つを注目画素とし、注目画素の周辺に位置する周辺画素を複数のパターンに分類する。この周辺画素分類部162は、図11に示したように、フラッシュ反射量差分算出部168と、信号値差分算出部169と、周辺画素分類判定部170と、を備える。周辺画素分類部162が備えるフラッシュ反射量差分算出部168は、注目画素の第一フラッシュ反射量と、周辺画素の第一フラッシュ反射量との差分値であるフラッシュ反射量差分値を算出する。ここで、注目画素とは、フラッシュ発光撮像画像を構成する全画素から順次選択される一つの画素であり、各注目画素換言すれば、フラッシュ発光撮像画像を構成する全画素は、第一フラッシュ反射量及び信号値を有している。また、周辺画素とは、上記注目画素の周辺に位置する画素であり、例えば注目画素を中心とした2N1×2N1領域に存在する各画素が周辺画素に該当する。ただし、Nは自然数である。図12は、注目画素及び当該注目画素を中心とした周辺の5×5領域に存在する周辺画素について、上記第一フラッシュ反射量算出部167により算出された第一フラッシュ反射量を表したものである。ただし、図12において、注目画素は、フラッシュ発光撮像画像の位置3,3における画素としている。また、図12に示したRpqは、フラッシュ発光撮像画像の位置p,qにおける画素の第一フラッシュ反射量を表している。フラッシュ反射量差分算出部168は、注目画素の第一フラッシュ反射量及び周辺画素の第一フラッシュ反射量に基づき、図13に示すように、各周辺画素について当該周辺画素の第一フラッシュ反射量から注目画素の第一フラッシュ反射量を減算した値であるフラッシュ反射量差分値を算出する。なお、注目画素についてのフラッシュ反射量差分値は、算出しない。フラッシュ反射量差分算出部168は、フラッシュ発光撮像画像を構成する各画素について第一フラッシュ反射量差分値を算出すると、得られた算出結果を、周辺画素分類判定部170に出力する。信号値差分算出部169は、注目画素の信号値と、周辺画素の信号値との差分値である信号差分値を算出する。なお、以下では、説明の便宜上、信号値として、Gの信号値に対するBの信号値で表されるカラーバランスB/G及びGの信号値に対するRの信号値で表されるカラーバランスR/Gを用いた場合について説明するが、本実施形態に係る技術の適用範囲はこれに限定されない。図14は、注目画素及び当該注目画素を中心とした周辺の5×5領域に存在する周辺画素について、マルチAWB処理部106に入力されたフラッシュ発光撮像画像の信号値B/G及びR/Gを表したものである。ただし、図13においては、信号値としてカラーバランスB/Gを用いた場合を図示しており、注目画素は、フラッシュ発光撮像画像の位置3,3における画素としている。また、Bpqは、フラッシュ発光撮像画像の位置p,qにおける画素の信号値を表している。なお、カラーバランスR/Gを用いた場合についても、図14と同様に図示することが可能である。信号値差分算出部169は、注目画素の信号値及び周辺画素の信号値に基づき、図15に示すように、各周辺画素について当該周辺画素の信号値から注目画素の信号値を減算した値である信号差分値を算出する。なお、注目画素についての信号差分値は、算出しない。信号差分算出部169は、信号差分値をフラッシュ発光撮像画像の各画素について算出すると、得られた算出結果を、周辺画素分類判定部170に出力する。周辺画素分類判定部170は、フラッシュ反射量差分値算出部168により算出された第一フラッシュ反射量差分値と、信号値差分算出部169により算出された各信号差分値とに基づいて、周辺画素が該当するパターンを判定する。本実施形態におけるパターンとは、周辺画素における差分値の状況を類型化したものである。以下では、周辺画素分類判定部170が行う処理について、図16~図19を参照しながら、具体的に説明する。周辺画素分類判定部170は、図16及び図17に示すように、各周辺画素について、フラッシュ反射量差分値及びB/G差分値の組み合わせと、フラッシュ反射量差分値及びR/G差分値の組み合わせと、に基づき、注目画素の周囲に存在する各周辺画素がそれぞれ4つのパターンのいずれに該当するかを判定する。以下では、各周辺画素について、フラッシュ反射量差分値及びB/G差分値の組み合わせに基づいて4つのパターンのいずれに該当するかを判定する判定処理について主に説明するが、周辺画素分類判定部170は、フラッシュ反射量差分値及びR/G差分値に基づく判定処理についても、図17に基づいて同様に実施する。周辺画素分類判定部170は、予め保持しておいた第一の閾値を参照して、着目している周辺画素のフラッシュ反射量差分値と第一の閾値との大小関係を判定するとともに、予め保持しておいた第二の閾値を参照して、着目している周辺画素のB/G差分値と第二の閾値との大小関係を判定する。周辺画素分類判定部170は、図16に示すように、算出したフラッシュ反射量差分値に関する大小関係の判定結果、及び、入力されたB/G差分値に関する大小関係の判定結果に応じて、周辺画素を4つのパターンにパターン分類する。例えば、フラッシュ反射量差分値が第一の閾値より小さく、かつ、B/G差分値が第二の閾値より小さい周辺画素は、パターン1に分類されることとなる。周辺画素分類判定部170は、各周辺画素について4つのパターンいずれに該当するかを判定すると、判定結果に関する情報を、周辺画素平均値算出部171に出力する。以上、周辺画素分類162が備える各処理部の機能について、詳細に説明した。以下では、フラッシュ反射量補正部163が備える各処理部の機能について、詳細に説明する。フラッシュ反射量補正部163は、注目画素の第一フラッシュ反射量を第二フラッシュ反射量へと補正する際に利用するパターンを選択し、選択したパターンの情報に基づいて、注目画素の第二フラッシュ反射量を算出する。このフラッシュ反射量補正部163は、図11に示したように、周辺画素平均値算出部171と、周辺画素選択部172と、第二フラッシュ反射量算出部173と、を備える。フラッシュ反射量補正部163が備える周辺画素平均値算出部171は、上記パターンごとに、周辺画素分類判定部170が着目しているパターンに分類した周辺画素の第一フラッシュ反射量の平均値フラッシュ反射量平均値と、信号値の平均値B/G平均値及びR/G平均値とを算出する。すなわち、図16及び図17に示したように、4つのパターンが存在している場合には、周辺画素平均値算出部171は、フラッシュ反射量平均値並びに信号値の平均値B/G平均値及びR/G平均値の組み合わせを、4種類算出することとなる。例えば、周辺画素分類判定部170によって、図18に示した斜線部がパターン1に分類判定されたとすると、周辺画素平均値算出部171は、下記式107及び式108のように、パターン1に分類判定された周辺画素のフラッシュ反射量平均値とB/G平均値とを算出する。ただし、AverageV1,V2,...,VNという表記は、V1~VNの平均値を表している。式107式108周辺画素平均値算出部171は、各パターンについてフラッシュ反射量平均値及びB/G平均値を算出すると、得られた算出結果を、周辺画素選択部172に出力する。また、周辺画素分類判定部170により、図19に示した斜線部がパターン1に分類判定されたとすると、周辺画素平均値算出部171は、上記式107及び下記式109のように、パターン1に分類判定された周辺画素のフラッシュ反射量平均値及びR/G平均値を算出する。なお、周辺画素平均値算出部171は、各値の平均値の代わりに、各値の中央値メジアン等を算出してもよい。周辺画素選択部172は、4つの上記パターンのフラッシュ反射量平均値及びカラーバランス平均値B/G平均値又はR/G平均値に基づき、第二フラッシュ反射量算出に利用する2パターンの組み合わせを選択する。ここで、パターン1とパターン2のフラッシュ反射量平均値と、B/G平均値及びR/G平均値とをグラフで表すと、図20のように表すことができるパターン1及びパターン2は、B/G平均値又はR/G平均値がほぼ同じだが、フラッシュ反射量平均値が大きく異なっている。ここで、B/G又はR/Gが変化していないということは、色温度つまり光源が変わっていないということを示しているが色温度がほぼ同じであるにも関わらず光源の変化量を示すフラッシュ反射量が変化するということはあり得ない。これにより、パターン1又はパターン2のいずれかが、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれにより発生した不適切なパターンであることが分かる。よって、以下の処理においては、第二フラッシュ反射量算出に利用する2つのパターンとして、パターン1及びパターン2の組み合わせについては候補としない。周辺画素選択部172は、選択する2パターンの組み合わせの候補パターンa及びパターンbの組み合わせとして、パターン1及びパターン3の組み合わせと、パターン1及びパターン4の組み合わせと、パターン2及びパターン3の組み合わせと、パターン2及びパターン4の組み合わせと、を考慮する。ここで、横軸をB/G平均値又はR/G平均値とし、縦軸をフラッシュ反射量平均値としたパターングラフについて考える。周辺画素選択部172は、パターングラフにおいて、上記2パターンの組み合わせのうち、2パターン間の図21のようなパターングラフ上の距離Distを下記式110に基づいて算出し、距離が一番離れている組み合わせを選択する。なお、Ratioaはパターンaのフラッシュ反射量平均値を表しており、Ratiobはパターンbのフラッシュ反射量平均値を表している。また、B/Gaはパターンaの正規化後のB/G平均値を表しており、B/Gbはパターンbの正規化後のB/G平均値を表している。ただし、式110におけるB/GとR/Gの正規化は、正規化後の値がそれぞれ0.0~1.0の間の値となるように、式111及び112に従って行う。式112は、パターン1について正規化を行うための式であるが、他のパターンについても同様にして正規化が行われる。なお、式111において、MAXV1,V2,...,VNは、V1~VNの最大値を表している。式111式112周辺画素選択部172は、フラッシュ反射量平均値及びB/G平均値に基づいて、上記式110で表される距離が最大となる2パターンの組み合わせを選択すると、選択した2パターンそれぞれのフラッシュ反射量平均値及び正規化後のB/G平均値を、第二フラッシュ反射量算出部173に出力する。また、周辺画素選択部172は、フラッシュ反射量平均値及びB/G平均値に基づく上記の場合と同様にして、フラッシュ反射量平均値及びR/G平均値に基づいて、上記式110と同様にして距離Distを算出し、算出した距離Distが最大となる2パターンの組み合わせを選択する。その後、周辺画素選択部172は、選択した2パターンそれぞれのフラッシュ反射量平均値及び正規化後のR/G平均値を、第二フラッシュ反射量算出部173に出力する。第二フラッシュ反射量算出部173は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的な位置ずれの影響が大きい注目画素の第一フラッシュ反射量を、周辺画素の第一フラッシュ反射量及びホワイトバランス信号B/G及びR/Gを考慮することにより、空間的な位置ずれの影響が小さい第二フラッシュ反射量に補正する。以下では、第二フラッシュ反射量算出部173が行う処理を、詳細に説明する。第二フラッシュ反射量算出部173は、フラッシュ反射量平均値及びB/G平均値に基づいて周辺画素選択部172によって選択された、2パターンそれぞれのフラッシュ反射量平均値及びB/G平均値を利用して、下記式113に示すように、線形補間により注目画素の第二フラッシュ反射量RatioB/Gを算出する。また、第二フラッシュ反射量算出部173は、フラッシュ反射量平均値及びR/G平均値に基づいて周辺画素選択部172によって選択された、2パターンそれぞれのフラッシュ反射量平均値及びR/G平均値を利用して、下記式114に示すように、線形補間により注目画素の第二フラッシュ反射量RatioR/Gを算出する。式113式114さらに、第二フラッシュ反射量算出部173は、算出されたB/Gの第二フラッシュ反射量RatioB/G及びR/Gの第二フラッシュ反射量RatioR/Gを平均化し、第二フラッシュ反射量Ratioとする。式115以上では、パターン1~パターン4全てが存在する場合について説明したが、次に、いずれかのパターンが存在しない場合について説明する。パターン1とパターン2の両方、もしくはいずれかに該当する周辺画素が存在しない場合には、第一フラッシュ反射量が不適正ではないと判断できるため、第二フラッシュ反射量算出部173は、補正処理を行わずに、第一フラッシュ反射量をそのまま第二フラッシュ反射量とする。また、パターン1やパターン2に該当する周辺画素が存在し、パターン3やパターン4に該当する周辺画素が存在しない場合には、第二フラッシュ反射量算出部173は、下記式116によりパターン1のフラッシュ反射量平均値とパターン2のフラッシュ反射量平均値とを平均化し、第二フラッシュ反射量とする。式116第二フラッシュ反射量算出部173は、第二フラッシュ反射量を算出すると、得られた算出結果を、平滑化処理部164に出力する。以上、フラッシュ反射量補正部163が備える各処理部の機能について、詳細に説明した。以上の周辺画素分類部162及びフラッシュ反射量補正部163が行う処理は、フラッシュ発光撮像画像とフラッシュ非発光撮像画像との空間的位置ずれを生じている場合のうち、算出されたフラッシュ反射量が、所定の値以上であった場合に対応するための処理である。以下では、算出されたフラッシュ反射量が、0又は0に近い値であった場合に対応するために行う平滑化処理部164の処理について説明する。平滑化処理部164は、エッジを保持したまま滑らかに補正することを特徴とする下記式117のバイラテラルフィルタBilateralFilter処理を変形した下記式118を用いて第二フラッシュ反射量を補正し、第三フラッシュ反射量を算出する。式117式118なお、式118において、関数fi,jはB/G又はR/G、hi,jは第二フラッシュ反射量、gi,jは第三フラッシュ反射量を表している。また、式118におけるパラメータwは、周辺画素として着目する領域の広さを表すパラメータであり、注目画素を中心とした5×5領域を周辺画素とする場合、パラメータwの値は2となる。上記のように式117から式118に式を変形し、B/GまたはR/Gを考慮した重みづけを用いて第二フラッシュ反射量を補正することで、エッジを保持したまま滑らかに補正できる。また、領域内の画素において第二フラッシュ反射量が0になっている画素については、フィルタの対象から外すことで、注目画素の第二フラッシュ反射量が0になっていた場合でも、周辺画素の0以外の第二フラッシュ反射量を用いることで、適切な第三フラッシュ反射量を算出できる。平滑化処理部164は、上記式118により、B/Gの第三フラッシュ反射量gi,jB/G及びR/Gの第三フラッシュ反射量gi,jR/Gを算出した後、得られた算出結果を下記式119により平均化し、第三フラッシュ反射量Ratioを算出する。式119平滑化処理部164は、第三フラッシュ反射量を算出すると、得られた算出結果を推定光源色算出部174に出力する。以下では、ホワイトバランスゲイン決定部165が備える各処理部の機能について、詳細に説明する。ホワイトバランスゲイン決定部165が備える推定光源色算出部174は、第三フラッシュ反射量Ratioに基づき、マルチAWB処理部106が備えるROM等のメモリに保持しておいたフラッシュ光のみの推定光源色CBf及び定常光の推定光源色CBsを、下記式120及び式121に示すように線形補間し、注目画素の推定光源色CBを算出する。なお、CBはR,Bそれぞれについて、個別に算出される。式120式121推定光源色算出部174は、推定光源色を算出すると、得られた算出結果をホワイトバランスゲイン算出部175に出力する。ホワイトバランスゲイン算出部175は、下記式122及び式123により、ホワイトバランスゲインWBGainR及びWBGainBを算出する。式122式123ホワイトバランスゲイン算出部175は、式122及び式123を用いることにより、フラッシュ光と定常光が混在しているシーンについて、適切なホワイトバランスゲインを、フラッシュ発光撮像画像を構成する画素ごとに適切に算出することができる。ホワイトバランスゲイン算出部175は、ホワイトバランスゲインを算出すると、得られた算出結果を、前記後処理部107が備えるホワイトバランス制御部186に出力する。ホワイトバランス制御部186は、下記式124及び式125にように、各画素値に対しホワイトバランスゲインを乗算する。式124式125以上、図10~図21を参照しながら、本実施形態に係る撮像装置10の構成について、詳細に説明した。[2-2:ホワイトバランス調整方法の流れ]続いて、本実施形態に係る撮像装置10で実施されるホワイトバランス調整方法の流れについて、図22A及び図22Bを参照しながら、その一例を簡単に説明する。図22A及び図22Bは、本実施形態に係るホワイトバランス調整方法の流れの一例を示した流れ図である。まず、撮像装置10の撮像部101は、フラッシュを発光させない状態で被写体を撮像し、フラッシュ非発光撮像画像を取得するステップS101。生成されたフラッシュ非発光撮像画像は、信号処理部102による各種の信号処理及び前処理部103による各種の前処理を施された後に、そのRGB画像信号が、画像メモリ104の第1撮像記憶部151に保存されるステップS103。次に、撮像装置10の撮像部101は、フラッシュを発光させた状態で被写体を撮像し、フラッシュ発光撮像画像を取得するステップS105。生成されたフラッシュ発光撮像画像は、信号処理部102による各種の信号処理及び前処理部103による各種の前処理を施された後に、そのRGB画像信号が、画像メモリ104の第2撮像記憶部152に保存されるステップS107。次に、マルチAWB処理部106は、第1撮像記憶部151からフラッシュ非発光撮像画像を取得し、第2撮像記憶部152からフラッシュ発光撮像画像を取得する。その後、マルチAWB処理部106は、露光差分値算出部166により露光差分値を算出した後に、第一フラッシュ反射量算出部167により、第一フラッシュ反射量を算出するステップS109。また、マルチAWB処理部106は、全ての画像に対して第一フラッシュ反射量の算出処理が終了したか否かを判断しステップS111、処理が終了していない場合には、ステップS109を再実施する。次に、マルチAWB処理部106のフラッシュ反射量差分算出部168は、注目画素の第一フラッシュ反射量と周辺画素の第一フラッシュ反射量との差分値であるフラッシュ反射量差分値を算出する。また、マルチAWB処理部106の信号値差分算出部169は、注目画素の信号値と周辺画素の信号値との差分値であるB/G差分値及びR/G差分値を算出するステップ113。次に、マルチAWB処理部106の周辺画素分類判定部170は、フラッシュ反射量差分値、B/G差分値及びR/G差分値の閾値判別に基づき、周辺画素をパターン分類するステップ115。次に、マルチAWB処理部106の周辺画素平均値算出部171は、各パターンごとに、当該パターンに分類された周辺画素の第一フラッシュ反射量の平均値フラッシュ反射量差分値と、B/Gの平均値B/G平均値又はR/Gの平均値R/G平均値とを算出する。マルチAWB処理部106の周辺画素選択部171は、算出された当該各種平均値のパターン間での差分に基づく距離を算出し、算出した距離が最大となる2つのパターンを、フラッシュ反射量の補間に使用する2つのパターンとして選択するステップ117。次に、マルチAWB処理部106の第二フラッシュ反射量算出部173は、選択された2パターンのフラッシュ反射量と、B/G又はR/Gとに基づき、注目画素の第二フラッシュ反射量を線形補間により算出するステップ119。その後、マルチAWB処理部106は、全ての画像に対して第二フラッシュ反射量の算出処理が終了したか否かを判断しステップS121、処理が終了していない場合には、再びステップ113に戻って処理を継続する。次に、マルチAWB処理部106の推定光源色算出部174は、算出された第二フラッシュ反射量補正後のフラッシュ反射量に基づき、フラッシュ光のみの推定光源色及び定常光の推定光源色を線形補間することにより、フラッシュ発光撮像時における推定光源色を算出するステップ123。次に、マルチAWB処理部106のホワイトバランスゲイン算出部175は、算出された推定光源色に基づき、ホワイトバランスゲインを算出するステップ125。その後、マルチAWB処理部106は、全ての画像に対してホワイトバランスゲインの算出処理が終了したか否かを判断するステップS127。算出処理が終了している場合には、マルチAWB処理部106は、算出した全てのホワイトバランスゲインを、後処理部107のホワイトバランス制御部186に出力して、処理を終了する。他方、処理が終了していない場合には、再びステップ123に戻って処理を継続する。以上、図22A及び図22Bを参照しながら、本実施形態に係る撮像装置10で実施されるホワイトバランス調整方法の流れの一例について、簡単に説明した。なお、当該ホワイトバランス調整方法は、ステップ121とステップ123との間に、マルチAWB処理部106の平滑化処理部164が行う、算出された第二フラッシュ反射量を平滑化するステップと、マルチAWB処理部106が行う、全ての画素に対して平滑化処理が終了したか否かを判断するステップと、を有していてもよい。また、一部の処理ステップについては、処理の順番を入れ替えてもよい。以上詳細に説明したように、本発明の実施形態に係る撮像装置及びホワイトバランス調整方法によれば、フラッシュ発光画像とフラッシュ非発光画像に空間的なずれが発生していた場合でも、不適切に算出されたフラッシュ反射量を判定し適切な値に補正することが可能となる。また、B/G及びR/Gを考慮したフィルタ処理を行うことで、定常光とフラッシュ光が混在したシーンに対しても画素単位で適切なホワイトバランスゲインを算出し、ホワイトバランス調整を行うことが可能となる。その結果、不適切なホワイトバランスゲインによる被写体のエッジ周辺の色つきを低減することができるため、画素単位に行うホワイトバランス補正処理を、従来技術より好適に行うことができる撮像装置及び撮像方法を提供することができる。また、フラッシュ非発光画像とフラッシュ発光画像に空間的なずれが発生していた場合において、従来は算出するフラッシュ反射量が不適切な値になることで不適切なホワイトバランスゲインが算出され、エッジ部に色付きが発生する問題があったが、以上説明したような処理を行うことにより、不適切なホワイトバランスゲインによる被写体のエッジ周辺の色つきを低減することができる。以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。"