(57)【要約】【課題】被写体等に動きがある場合でも、ストロボ発光画像の各画像領域に対して最適なＷＢ補正が施された良好な画像を得ることを可能にすることを課題とする。【解決手段】ＷＢ制御部（３０３）は、ストロボ光に対応した第１のＷＢ補正値と環境光に対応した第２のＷＢ補正値を用いてストロボ発光画像のＷＢ補正を行う。ＣＰＵ（３１４）は、被写体距離を取得し、移動体領域を抽出し、ストロボ光と環境光の光量比率に基づいてストロボ発光画像とストロボ非発光画像の被写体領域毎の合成比率を決定する。ＣＰＵ（３１４）は、被写体距離とストロボ光の配光特性とに基づいてストロボ照射量を推定してストロボ照射量と環境光の割合を算出して移動体領域の合成比率とし、それ以外の被写体領域では決定された合成比率を用いて被写体領域毎に合成する。【選択図】図１
2017034536.tif 000002
【特許請求の範囲】
【請求項１】
ストロボ光に対応した第１のホワイトバランス補正値を用いて、環境光の下でストロボ発光時に撮影された第１の画像のホワイトバランスを補正し、環境光に対応した第２のホワイトバランス補正値を用いて、ストロボ発光が無い環境光の下で撮影された第２の画像のホワイトバランスを補正する補正手段と、
前記第１の画像の撮影がなされた際の各被写体までの距離を表す被写体距離を取得する取得手段と、
第１の画像から、前記第１の画像の撮影と前記第２の画像の撮影がなされた間に移動した移動被写体の被写体領域を抽出する抽出手段と、
前記第１の画像と第２の画像とに基づいて、前記第１の画像の被写体領域毎にストロボ光と環境光の光量比率を求め、前記被写体領域毎の前記光量比率に基づいて、前記第１の画像と第２の画像を被写体領域毎に合成するための合成比率を決定する決定手段と、
前記被写体距離とストロボ光の配光特性とに基づいて、前記第１の画像が撮影された際の、被写体領域毎のストロボ光の照射量を推定して、前記被写体領域毎のストロボ光の照射量と環境光との割合を算出する算出手段と、
前記移動被写体の被写体領域については前記算出された前記割合を前記合成比率として用い、前記移動被写体ではない被写体の被写体領域については前記決定手段にて決定された合成比率を用いて、前記ホワイトバランス補正がなされた後の前記第１の画像と前記第２の画像を被写体領域毎に合成する合成手段と
を有することを特徴とする画像処理装置。
【請求項２】
ストロボ光に対応した第１のホワイトバランス補正値を用いて、環境光の下でストロボ発光時に撮影された第１の画像のホワイトバランスを補正し、環境光に対応した第２のホワイトバランス補正値を用いて、ストロボ発光が無い環境光の下で撮影された第２の画像のホワイトバランスを補正する補正手段と、
前記第１の画像の撮影がなされた際の各被写体までの距離を表す被写体距離を取得する取得手段と、
第１の画像から、前記第１の画像の撮影と前記第２の画像の撮影がなされた間に移動した移動被写体の被写体領域を抽出する抽出手段と、
前記第１の画像と第２の画像とに基づいて、前記第１の画像の被写体領域毎にストロボ光と環境光の光量比率を求め、前記被写体領域毎の前記光量比率に基づいて、前記第１の画像と第２の画像を被写体領域毎に合成するための合成比率を決定する決定手段と、
前記被写体距離と前記光量比率との間の相関演算を行って相関係数を求める相関演算手段と、
前記移動被写体の被写体領域については前記演算された前記相関係数に基づいて補正した合成比率を用い、前記移動被写体ではない被写体の被写体領域については前記決定手段にて決定された合成比率を用いて、前記ホワイトバランス補正がなされた後の前記第１の画像と前記第２の画像を被写体領域毎に合成する合成手段と
を有することを特徴とする画像処理装置。
【請求項３】
前記取得手段は、前記移動被写体の被写体領域について前記被写体距離の信頼度を求め、
前記合成手段は、
前記被写体距離の信頼度の値が所定の閾値以上の移動被写体の被写体領域については、前記相関演算手段による前記相関係数に基づいて補正した前記合成比率を用い、
前記被写体距離の信頼度の値が所定の閾値より低い移動被写体の被写体領域については、前記被写体距離の代表値を求め、前記被写体距離の代表値と前記光量比率との間の相関演算による前記相関係数を求めて、前記被写体距離の代表値と前記光量比率との間の相関演算による前記相関係数に基づいて補正した前記合成比率を用いて、
前記ホワイトバランス補正がなされた後の前記第１の画像と前記第２の画像を被写体領域毎に合成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記抽出手段は、前記第１の画像の被写体領域毎の第１の色味情報と前記第２の画像の被写体領域毎の第２の色味情報を求め、前記第１の色味情報と第２の色味情報とに差がある被写体領域を、前記移動被写体の被写体領域として抽出することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記抽出手段は、前記第１の画像の撮影がなされた際の被写体距離と前記第２の画像の撮影がなされた際の被写体距離とに差がある被写体領域を、前記移動被写体の被写体領域として抽出することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項６】
前記決定手段は、前記合成比率に対する補間処理により画素毎の合成比率を決定し、
前記合成手段は、前記画素毎の合成比率により前記第１の画像と前記第２の画像を合成することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
補正手段が、ストロボ光に対応した第１のホワイトバランス補正値を用いて、環境光の下でストロボ発光時に撮影された第１の画像のホワイトバランスを補正し、環境光に対応した第２のホワイトバランス補正値を用いて、ストロボ発光が無い環境光の下で撮影された第２の画像のホワイトバランスを補正するステップと、
取得手段が、前記第１の画像の撮影がなされた際の各被写体までの距離を表す被写体距離を取得するステップと、
抽出手段が、第１の画像から、前記第１の画像の撮影と前記第２の画像の撮影がなされた間に移動した移動被写体の被写体領域を抽出するステップと、
決定手段が、前記第１の画像と第２の画像とに基づいて、前記第１の画像の被写体領域毎にストロボ光と環境光の光量比率を求め、前記被写体領域毎の前記光量比率に基づいて、前記第１の画像と第２の画像を被写体領域毎に合成するための合成比率を決定するステップと、
算出手段が、前記被写体距離とストロボ光の配光特性とに基づいて、前記第１の画像が撮影された際の、被写体領域毎のストロボ光の照射量を推定して、前記被写体領域毎のストロボ光の照射量と環境光との割合を算出するステップと、
合成手段が、前記移動被写体の被写体領域については前記算出された前記割合を前記合成比率として用い、前記移動被写体ではない被写体の被写体領域については前記決定手段にて決定された合成比率を用いて、前記ホワイトバランス補正がなされた後の前記第１の画像と前記第２の画像を被写体領域毎に合成するステップと
を含むことを特徴とする画像処理方法。
【請求項８】
補正手段が、ストロボ光に対応した第１のホワイトバランス補正値を用いて、環境光の下でストロボ発光時に撮影された第１の画像のホワイトバランスを補正し、環境光に対応した第２のホワイトバランス補正値を用いて、ストロボ発光が無い環境光の下で撮影された第２の画像のホワイトバランスを補正するステップと、
取得手段が、前記第１の画像の撮影がなされた際の各被写体までの距離を表す被写体距離を取得するステップと、
抽出手段が、第１の画像から、前記第１の画像の撮影と前記第２の画像の撮影がなされた間に移動した移動被写体の被写体領域を抽出するステップと、
決定手段が、前記第１の画像と第２の画像とに基づいて、前記第１の画像の被写体領域毎にストロボ光と環境光の光量比率を求め、前記被写体領域毎の前記光量比率に基づいて、前記第１の画像と第２の画像を被写体領域毎に合成するための合成比率を決定するステップと、
相関演算手段が、前記被写体距離と前記光量比率との間の相関演算を行って相関係数を求めるステップと、
合成手段が、前記移動被写体の被写体領域については前記演算された前記相関係数に基づいて補正した合成比率を用い、前記移動被写体ではない被写体の被写体領域については前記決定手段にて決定された合成比率を用いて、前記ホワイトバランス補正がなされた後の前記第１の画像と前記第２の画像を被写体領域毎に合成するステップと
を含むことを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１〜６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像の被写体領域毎にホワイトバランス補正を行う画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
一般に、デジタルカメラやデジタルビデオカメラ等の撮像装置（以下、カメラとする。）は、撮影した画像の色調を調整するホワイトバランス制御機能を備えている。ホワイトバランス制御には、大別して、マニュアルホワイトバランス制御と、オートホワイトバランス制御がある。マニュアルホワイトバランス制御は、予め白色被写体を撮像してホワイトバランス係数を求めておき、そのホワイトバランス係数を一画面分の撮影画像全体に適用してホワイトバランス補正を行う画像処理である。一方、オートホワイトバランス制御は、撮像画像から白色と思われる部分を自動検出し、その部分の色成分と撮影画像全体の各色成分の平均値とからホワイトバランス係数を算出する。そして、オートホワイトバランス制御では、そのホワイトバランス係数を撮影画像に適用してホワイトバランス補正が行われる。
【０００３】
ここで、例えばストロボ発光を伴う画像撮影が行われる場合、カメラにより写されている撮影エリア内の被写体等には、ストロボ光の他に、例えば室内灯のような照明器具からの照明光等が当たっていることが多い。このように、撮影エリア内に様々な光源の光がある場合、前述のホワイトバランス制御では、ホワイトバランス係数を撮影画像全体に適用してホワイトバランス制御が行われるため、各光源に対応した適正な色味の画像を得ることが困難である。例えば、ストロボ光のような高色温度光源にホワイトバランスを合わせた場合、白熱灯のような低色温度光源にはホワイトバランスが合わなくなってしまう。逆に、白熱灯の低色温度光源にホワイトバランスを合わせた場合には、ストロボ光の高色温度光源にはホワイトバランスが合わなくなってしまう。また、例えば両方の光源の中間にホワイトバランスを合わせてホワイトバランス制御を行った場合には、それら両方の光源の何れにもホワイトバランスが合わなくなってしまう。このように両方の光源の中間にホワイトバランスを合わせた場合、ストロボ光が照射されている領域の画像は青みを帯び、低色温度光源の光が照射されている領域の画像は赤味を帯びるような色味になってしまう。
【０００４】
これに対し、特許文献１には、前述のような複数の光源に合った色味の画像を得ることを目的とした電子スチルカメラが提案されている。特許文献１に記載の電子スチルカメラは、ストロボ発光画像とストロボ非発光画像を任意の被写体領域毎に比較してデータの比を求め、その比の値によりストロボ光の寄与度を判定する。そして、特許文献１の電子スチルカメラは、その寄与度に応じて、ストロボ発光時の撮影画像データに対して、領域毎にホワイトバランス係数を選択してホワイトバランス制御を行う。以下、このように画像の領域毎にホワイトバランス係数を選択してホワイトバランス制御を行うことを、部分ホワイトバランス（部分ＷＢ）制御と表記する。その他にも、特許文献１には、ストロボ非発光画像とストロボ発光画像の差分を取ることでストロボ照射量を推定し、そのストロボ照射量に応じたホワイトバランス制御を行うことが記載されている。
【０００５】
また、特許文献２には、部分ＷＢ制御の例として、撮影画像から被写体ブレ領域と被写体の非ブレ領域を検出し、それら被写体ブレ領域と非ブレ領域の各画像領域に対してホワイトバランス制御を行う画像処理装置が提案されている。非ブレ領域に対するホワイトバランス係数は、ストロボ発光画像と非発光画像からストロボ発光成分と外光成分を抽出して、それぞれ抽出した光成分と被写体ブレ領域に基づいて算出される。一方、被写体ブレ領域に対するホワイトバランス係数は、非ブレ領域のホワイトバランス係数に基づく補間演算により算出される。そして、特許文献２の画像処理装置は、ストロボ発光時の撮影画像に対して、それら被写体ブレ領域と非ブレ領域の画像領域に対して各々算出されたホワイトバランス係数を適用したホワイトバランス制御を行う。また、この特許文献２には、画像の高周波成分を検出し、その高周波成分に基づいて被写体ブレ領域を検出することが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３５４０４８５号公報
【特許文献２】特許第４３８９６７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述したように特許文献１に記載の技術では、ストロボ発光画像とストロボ非発光画像を任意の被写体領域毎に比較したデータの比に基づいて、ストロボ発光時の撮影画像の画像領域毎にホワイトバランス制御が行われる。しかしながら、特許文献１に記載の技術では、例えば被写体等が動いている場合には、画像領域毎のデータの比を正確に求めることができなくなり、間違ったホワイトバランス制御を行ってしまい、例えばまだら模様のような画像を生成してしまう虞がある。このように、特許文献１に記載の技術では、被写体等が動いている場合には、ストロボ発光時の撮影画像内の各画像領域に対して最適なホワイトバランス制御が施された良好な画像を得ることが難しい。
【０００８】
また、特許文献２に記載の技術では、画像の高周波成分を基に被写体ブレ領域等の各画像領域が検出され、そして、ストロボ発光時の撮影画像の各画像領域に対するホワイトバランス係数が、ストロボ発光画像と非発光画像の光成分に基づいて算出されている。しかしながら、特許文献２の技術では、例えば細かい絵柄のように領域内の画像自体が高周波成分を有している場合と、被写体等が動いたことによる被写体ブレや手ブレ等による高周波成分の画像領域とを、区別することができない。このため、例えば細かい絵柄の画像領域を、被写体ブレ領域のような動きのある画像領域として誤って検出してしまうと、各画像領域に対するホワイトバランス制御も誤ったものとなる。このように、特許文献２に記載の技術では、被写体等に動きがある場合に、ストロボ発光時の撮影画像内の各画像領域に対して最適なホワイトバランス制御が施された良好な画像を得ることができなくなることがある。
【０００９】
本発明はこのような問題点に鑑みてなされたものである。本発明は、被写体等に動きがある場合であっても、ストロボ発光時の撮影画像の各画像領域に対して最適なホワイトバランス補正が施された良好な画像を得ることを可能とする画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、ストロボ光に対応した第１のホワイトバランス補正値を用いて、環境光の下でストロボ発光時に撮影された第１の画像のホワイトバランスを補正し、環境光に対応した第２のホワイトバランス補正値を用いて、ストロボ発光が無い環境光の下で撮影された第２の画像のホワイトバランスを補正する補正手段と、前記第１の画像の撮影がなされた際の各被写体までの距離を表す被写体距離を取得する取得手段と、第１の画像から、前記第１の画像の撮影と前記第２の画像の撮影がなされた間に移動した移動被写体の被写体領域を抽出する抽出手段と、前記第１の画像と第２の画像とに基づいて、前記第１の画像の被写体領域毎にストロボ光と環境光の光量比率を求め、前記被写体領域毎の前記光量比率に基づいて、前記第１の画像と第２の画像を被写体領域毎に合成するための合成比率を決定する決定手段と、前記被写体距離とストロボ光の配光特性とに基づいて、前記第１の画像が撮影された際の、被写体領域毎のストロボ光の照射量を推定して、前記被写体領域毎のストロボ光の照射量と環境光との割合を算出する算出手段と、前記移動被写体の被写体領域については前記算出された前記割合を前記合成比率として用い、前記移動被写体ではない被写体の被写体領域については前記決定手段にて決定された合成比率を用いて、前記ホワイトバランス補正がなされた後の前記第１の画像と前記第２の画像を被写体領域毎に合成する合成手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、被写体等に動きがある場合であっても、ストロボ発光時の撮影画像の各画像領域に対して最適なホワイトバランス補正が施された良好な画像を得ることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】実施形態の撮像装置の概略構成を示す図である。
【図２】第１の実施形態の撮像装置の全体の処理フロー図である。
【図３】撮像装置における撮影制御を時系列に並べた状態を示す図である。
【図４】ＷＢ補正値算出処理のフローチャートである。
【図５】ブロック分割の説明に用いる図である。
【図６】白検出を行うための色評価値の関係の一例を示す特性図である。
【図７】色温度とＣｘＣｙ値との対応関係の説明に用いる図である。
【図８】被写体の動き判定を行う際のフローチャートである。
【図９】差分色味評価値に基づく動き判定の説明に用いる図である。
【図１０】画像合成処理のフローチャートである。
【図１１】距離マップと撮影条件から合成の割合を求める処理フロー図である。
【図１２】第２の実施形態の主要部の処理フロー図である。
【図１３】第３の実施形態の主要部の処理フロー図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の好適な実施の形態について説明する。本実施形態の画像処理装置は、例えば、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、撮像装置にて撮像された画像信号を処理するか若しくは自身が撮像機能を備えた情報処理装置等に適用可能である。それら情報処理装置としては、一例として、タブレット端末やスマートフォン、電子ゲーム機、ナビゲーション装置、パーソナルコンピュータなど様々な情報処理装置が挙げられる。また、本実施形態に係る後述する各処理は、ハードウェア構成とコンピュータプログラムによるソフトウェア構成の何れにおいても実現可能であり、ソフトウェア構成はＣＰＵ等が本実施形態に係るコンピュータプログラムを実行することにより実現可能である。これらのことは以下の第１の実施形態だけでなく、後述する他の実施形態においても同様に適用される。
【００１４】
＜第１の実施形態＞
図１には、本実施形態の画像処理装置の一適用例としての撮像装置の概略構成例を示す。図１において、鏡筒部３１５は、フォーカスレンズやズームレンズを含むレンズ光学系、絞り、メカニカルシャッターなどを備える。鏡筒制御回路３１３は、後述するＣＰＵ３１４にて計算された露出値とフォーカスレンズの駆動量等の各値に基づいて、鏡筒部３１５の絞り、メカニカルシャッター、フォーカスレンズ等を駆動制御する。鏡筒部３１５のレンズ光学系は、被写体等の光学像を撮像素子３０１の撮像面上に結像させる。
【００１５】
撮像素子３０１は、ＣＣＤイメージセンサやＣＭＯＳセンサ等の固体撮像素子であり、その撮像面上に例えばベイヤー配列となされたＲＧＢ原色カラーフィルタが配され、カラー画像の撮像が可能となされている。撮像素子３０１は、例えばＣＰＵ３１４による制御の下、画像の撮像とその撮像信号の出力を行う。本実施形態において、撮像素子３０１はＡ／Ｄ変換器等の前処理回路を含み、その前処理回路を介したデジタル画像信号はメモリ３０２に送られる。メモリ３０２は、ＣＰＵ３１４による制御の下、撮像素子３０１により撮像された画像信号等を格納し、その格納した画像信号を出力する。メモリ３０２から出力された画像信号は、周辺光量補正部３２０とＣＰＵ３１４へ送られる。
【００１６】
また、本実施形態において、撮像素子３０１は、複数の焦点検出用画素が撮像面の有効撮像領域内の略々全面に配置されている。焦点検出用画素は、相関演算用の二つの像を生成するための画素である。焦点検出用画素により生成された相関演算用の二つの像の信号は、撮像素子３０１の周辺回路として設けられている図示しない演算回路に送られる。演算回路は、相関演算により二つの像の位相差を算出する。撮像素子３０１の全ての焦点検出用画素の出力信号から演算回路にて算出された位相差の信号は、被写体への合焦制御の際のフォーカスレンズの駆動量計算や、後述するような距離マップの生成演算等に使用される。なお、焦点検出用画素の出力信号から算出された位相差信号に基づく合焦制御は既存の技術であるため、その詳細な説明については省略する。
【００１７】
周辺光量補正部３２０は、鏡筒部３１５のズームレンズのズームポジションや絞り値などに応じて生じる周辺光量の低下を補うように、撮像素子３０１の撮像面上の像高毎に対応したゲインアップ量を決定する。そして、周辺光量補正部３２０は、そのゲインアップ量に基づいて画像信号に対するゲイン調整を行うことにより、周辺光量の低下分を補正する。なお、ゲインアップ量は、ＣＰＵ３１４が算出してもよい。周辺光量補正部３２０による周辺光量補正後の画像信号は、ホワイトバランス制御部３０３に送られる。なお、以下の説明ではホワイトバランスを「ＷＢ」と表記する。
【００１８】
ＣＰＵ３１４は、撮像画像全体が所定の輝度になるような露出値で撮影するためのシャッター速度と絞り値を計算すると共に、合焦領域内にある被写体に合焦させる合焦制御のためのフォーカスレンズの駆動量を計算する。ＣＰＵ３１４にて計算された露出値（シャッター速度、絞り値）及びフォーカスレンズの駆動量が、鏡筒制御回路３１３に送られる。これにより、鏡筒制御回路３１３は、ＣＰＵ３１４から供給されたそれら各値に基づいて、前述したように、鏡筒部３１５の絞り、メカニカルシャッター、フォーカスレンズ等を駆動させる。
【００１９】
また、ＣＰＵ３１４は、ストロボ光を発光させるストロボ発光制御と、ストロボ光を発光させないストロボ非発光制御と、ストロボ光を発光させる際のストロボ発光量制御をも行う。ＣＰＵ３１４は、ストロボ発光制御を行う場合には、前述した鏡筒部３１５に対するシャッター速度と絞り値等の制御とともに、撮像画像の例えば被写体領域が所定の輝度になるようなストロボ発光量を算出する。そして、ＣＰＵ３１４は、その算出したストロボ発光量のストロボ発光がなされるようにストロボ発光部３１６を制御する。これにより、ストロボ発光部３１６は、ＣＰＵ３１４にて算出されたストロボ発光量となるストロボ光を発光させる。ストロボ発光部３１６は、内蔵ストロボ装置であってもよいし、外付け等のストロボ装置であってもよい。
【００２０】
なお、本実施形態では、後述するように、環境光下でストロボ光を発光させて撮像された画像を適宜「ストロボ発光画像」と表記する。本実施形態では、このストロボ発光画像が、最終的に撮影画像として取得される画像（撮影者が撮影画像として取得したい画像）であり、以下、この最終的に取得される撮影画像を「本露光画像」と表記する。この本露光画像（ストロボ発光画像）は、本実施形態における第１の画像である。また、本実施形態において、後述するように、ストロボ発光がなされていない環境光（外光）のみで撮像された第２の画像を適宜「ストロボ非発光画像」と表記する。ストロボ非発光画像は、本実施形態における第２の画像である。
【００２１】
ＷＢ制御部３０３は、本実施形態における第１，第２のホワイトバランス補正処理を行う第１、第２の補正手段である。ＷＢ制御部３０３は、後述するようにしてＣＰＵ３１４により算出される第１のホワイトバランス補正値（第１のＷＢ補正値）を用いて、本露光画像であるストロボ発光画像に対する後述する第１のＷＢ補正処理を行う。また、ＷＢ制御部３０３は、後述するようにしてＣＰＵ３１４により算出される第２のホワイトバランス補正値（第２のＷＢ補正値）を用いて、本露光画像であるストロボ発光画像に対する後述する第２のＷＢ補正処理を行う。なお、第１，第２のＷＢ補正値の算出処理と第１，第２のＷＢ補正処理の詳細については後述する。ＷＢ制御部３０３により、第１のＷＢ補正処理が行われた後のストロボ発光画像と、第２のＷＢ補正処理が行われた後のストロボ発光画像の信号は、色変換ＭＴＸ（マトリクス）回路３０４とＹ（輝度信号）生成回路３１１に送られる。
【００２２】
色変換ＭＴＸ回路３０４は、第１のＷＢ補正処理後のストロボ発光画像の信号に対し、画像が後に最適な色で再現されるように色ゲインを掛け、さらにＲ−Ｙ，Ｂ−Ｙの色差信号に変換して第１の色差信号を生成する。同様に、色変換ＭＴＸ回路３０４は、第２のＷＢ補正処理後のストロボ発光画像の信号に対し、後に最適な色で再現されるように色ゲインを掛け、さらにＲ−Ｙ，Ｂ−Ｙ色差信号に変換して第２の色差信号を生成する。色変換ＭＴＸ回路３０４で色変換された後の第１，第２の色差信号は、ＬＰＦ（ローパスフィルタ）回路３０５に送られる。
【００２３】
ＬＰＦ回路３０５は、第１の色差信号の帯域を制限し、その帯域制限後の第１の帯域制限色差信号をＣＳＵＰ（Ｃｈｒｏｍａ  Ｓｕｐｒｅｓｓ）回路３０６に出力する。同様に、ＬＰＦ回路３０５は、第２の色差信号の帯域を制限して、その帯域制限後の第２の帯域制限色差信号をＣＳＵＰ回路３０６に出力する。
【００２４】
ＣＳＵＰ回路３０６は、第１の帯域制限色差信号の飽和部分の偽色成分を低減し、その偽色成分低減後の第１の偽色低減色差信号をＲＧＢ変換回路３０７に出力する。同様に、ＣＳＵＰ回路３０６は、第２の帯域制限色差信号の飽和部分の偽色成分を低減し、その偽色成分低減後の第２の偽色低減色差信号をＲＧＢ変換回路３０７に出力する。
【００２５】
Ｙ（輝度信号）生成回路３１１は、ＣＰＵ３１４による制御の下、第１のＷＢ補正処理後のストロボ発光画像から輝度信号Ｙを生成し、第１の輝度信号としてエッジ強調回路３１２に出力する。同様に、Ｙ生成回路３１１は、ＣＰＵ３１４による制御の下、第２のＷＢ補正処理後のストロボ発光画像から輝度信号Ｙを生成し、第２の輝度信号としてエッジ強調回路３１２に出力する。
【００２６】
エッジ強調回路３１２は、ＣＰＵ３１４による制御の下、第１の輝度信号に対してエッジ強調処理を施し、そのエッジ強調処理後の第１のエッジ強調輝度信号をＲＧＢ変換回路３０７に出力する。同様に、エッジ強調回路３１２は、ＣＰＵ３１４による制御の下、第２の輝度信号に対してエッジ強調処理を施し、そのエッジ強調処理後の第２のエッジ強調輝度信号をＲＧＢ変換回路３０７に出力する。
【００２７】
ＲＧＢ変換回路３０７は、ＣＳＵＰ回路３０６からの第１の偽色低減色差信号とエッジ強調回路３１２からの第１のエッジ強調輝度信号とを用いて、第１のＲＧＢ画像信号を生成する。同様に、ＲＧＢ変換回路３０７は、ＣＳＵＰ回路３０６からの第２の偽色低減色差信号とエッジ強調回路３１２からの第２のエッジ強調輝度信号とを用いて、第２のＲＧＢ画像信号を生成する。第１，第２のＲＧＢ画像信号は、γ（ガンマ)補正回路３０８に送られる。
【００２８】
γ補正回路３０８は、第１のＲＧＢ画像信号に対してγカーブに基づく階調補正（γ補正）を施して第１の補正ＲＧＢ画像信号を色輝度変換回路３０９へ出力する。同様に、γ補正回路３０８は、第２のＲＧＢ画像信号に対してγ補正を施して第２の補正ＲＧＢ画像信号を色輝度変換回路３０９へ出力する。
【００２９】
色輝度変換回路３０９は、第１の補正ＲＧＢ画像信号を第１のＹＵＶ画像信号に変換する。同様に、色輝度変換回路３０９は、第２の補正ＲＧＢ画像信号を第２のＹＵＶ画像信号に変換する。これら第１，第２のＹＵＶ画像信号は、画像合成処理部３２５に送られる。
【００３０】
画像合成処理部３２５は、ＣＰＵ３１４により後述するようにして生成される画像合成比率に基づいて、第１のＹＵＶ画像信号と第２のＹＵＶ画像信号とを合成して合成画像信号を生成する。画像合成処理部３２５における画像合成処理の詳細については後述する。画像合成処理部３２５による合成ＹＵＶ画像信号は、ＪＰＥＧ圧縮回路３１０へ送られる。
【００３１】
ＪＰＥＧ圧縮回路３１０は、画像合成処理部３２５による合成ＹＵＶ画像信号を、例えばＪＰＥＧ等のフォーマットに圧縮処理する。この圧縮処理後の画像信号は、不図示の気外部記録媒体又は内部記録媒体等に記録等される。
【００３２】
なお、図１では図示を省略しているが、本実施形態の撮像装置には、各種スイッチやダイヤル、シャッターボタンなどの操作デバイスをも備えている。なお、シャッターボタンは、いわゆる半押しと全押しが可能なスイッチにより構成されている。撮影者による操作デバイスを介した操作入力信号は、ＣＰＵ３１４に送られる。撮影者は、操作デバイスを操作することで撮影パラメータの設定や撮影動作などの操作指示を入力することが可能である。また、図１では図示を省略しているが、本実施形態の撮像装置は、ライブビュー画像などを表示可能なＥＶＦ（電子ビューファインダー）や背面ディスプレイパネル等の表示デバイスも備えている。
【００３３】
以下、図２を参照しながら、本実施形態の撮像装置における全体の処理のフローを、各処理を表すブロック別に分けて説明する。また、図３には、本実施形態の撮像装置のＣＰＵ３１４による撮影制御動作制御を時系列に並べて示す。
【００３４】
図３に示すように、ＣＰＵ３１４は、例えばシャッターボタンのいわゆる半押しに相当するユーザー操作ＳＷ１がなされる前には、ライブビュー制御６０１により、定期的（フレーム毎）にライブビュー画像を撮影させる。そしてユーザー操作ＳＷ１がなされた場合、ＣＰＵ３１４は、ＡＦロック制御６０３とＡＥロック制御６０４を行う。なお、ＡＦロック制御６０３は、鏡筒部３１５のフォーカスレンズを駆動するオートフォーカスの制御において焦点距離をロックする制御である。ＡＥロック制御６０４は、自動露出制御において露出値（シャッター速度、絞り値）をロックする制御である。
【００３５】
そして、シャッターボタンの全押しに相当するユーザー操作ＳＷ２がなされた場合、ＣＰＵ３１４は、テスト発光制御６０７と本露光制御６０８を行う。テスト発光制御６０７は、本露光が行われる前にストロボ発光部３１６をテスト発光させる制御であり、そのテスト発光により得られた露光量を基に、後の本露光の際のストロボ発光で適正露出が得られるストロボ発光量を求めるために行われる。本露光制御６０８ではストロボ発光部３１６を発光させて画像の撮影がなされる。また、テスト発光制御６０７の前には、外光制御６０６により、環境光すなわち外光のみの露光による撮影が行われる。以下、環境光については、適宜「外光」と表記する。なお、この外光のみの露光による画像撮影は、本露光制御６０８の直後に行われてもよいし、ライブビュー制御６０１の際に行われてもよい。
【００３６】
本実施形態においては、図３の本露光制御６０８のように、環境光下でストロボを発光させて撮影された本露光画像がストロボ発光画像である。また、本実施形態において、本露光制御６０８による撮影の直前（又は直後）の図３の外光制御６０６のように、ストロボ発光がなされていない環境光のみで撮影された画像がストロボ非発光画像である。また、ストロボ非発光画像は、ライブビュー制御６０１の際に撮影された画像が用いられてもよい。
【００３７】
図２のストロボ発光画像１００は、例えば、撮影者により図３のユーザー操作ＳＷ２（シャッターボタンの全押し操作）がなされた後、図３の本露光制御６０８で取得された本露光画像のデータである。ストロボ発光画像１００は、図１のメモリ３０２に保存される。
【００３８】
ストロボ非発光画像１０２は、例えば撮影者によりユーザー操作ＳＷ２がなされた後の図３の外光制御６０６で取得された撮影画像、又は、ストロボ発光がなされていない図３のライブビュー制御６０１の際に取得された最新のＥＶＦ画像である。図２の説明では、ストロボ非発光画像１０２が、図３のライブビュー制御６０１で取得されたＥＶＦ画像である場合を例に挙げて説明する。ストロボ非発光画像１０２は、図１のメモリ３０２に保存される。
【００３９】
ストロボ配光レンズ周辺光量１３７は、図１のＣＰＵ３１４が扱うストロボ配光情報とレンズ周辺光量データである。ストロボ配光情報とレンズ周辺光量データの詳細についての説明は後述する。なお、ストロボ配光レンズ周辺光量１３７の情報は、図１には図示していない情報記憶用のメモリ等に記憶されている。
【００４０】
発光量情報１１０は、ストロボ発光部３１６におけるストロボ発光量であるガイドナンバーの情報である。発光量情報１１０の詳細な説明については後述する。なお、発光量情報１１０は、図１には図示していない情報記憶用のメモリ等に記憶されている。
【００４１】
第１のＷＢ補正値算出処理１１１は、例えば発光量情報１１０に基づいて、後述する第１のＷＢ補正値を算出する処理であり、図１のＣＰＵ３１４により行われる。また、第１のＷＢ補正値算出処理１１１は、ストロボ発光画像１００に基づいて第１のＷＢ補正値を算出する処理であってもよい。図２では、発光量情報１１０に基づいて第１のＷＢ補正値が算出される例を挙げている。図２の第１のＷＢ処理１０９１は、本露光画像であるストロボ発光画像１００に対して第１のＷＢ補正値を用いた第１のＷＢ補正を行う処理であり、図１のＷＢ制御部３０３により行われる。なお、第１のＷＢ補正値算出処理１１１は、図１のＷＢ制御部３０３により行われてもよい。第１のＷＢ補正値算出処理１１１と第１のＷＢ処理１０９１の詳細については後述する。
【００４２】
第２のＷＢ補正値算出処理１０７は、ストロボ非発光画像１０２から後述する第２のＷＢ補正値を算出する処理であり、図１のＣＰＵ３１４により行われる。図２の第２のＷＢ処理１０９２は、本露光画像であるストロボ発光画像１００に対して第２のＷＢ補正値を用いた第２のＷＢ補正を行う処理であり、図１のＷＢ制御部３０３にて行われる。なお、第２のＷＢ補正値算出処理１０７は、図１のＷＢ制御部３０３により行われてもよい。第２のＷＢ補正値算出処理１０７と第２のＷＢ処理１０９２の詳細については後述する。
【００４３】
以下、第１のＷＢ補正値算出処理１１１と第２のＷＢ補正値算出処理１０７の詳細について説明する。なお、ここでは、図１のＣＰＵ３１４が第１，第２のＷＢ補正値算出処理１１１，１０７を行う例を挙げて説明するが、それら第１，第２のＷＢ補正値算出処理１１１，１０７ＷＢ制御部３０３により行われてもよい。
【００４４】
第１のＷＢ補正値算出処理１１１は、前述したように、発光量情報１１０、又はストロボ発光画像１００に基づいて、第１のＷＢ補正値を算出可能となされているが、ここでは、ストロボ発光画像１００に基づいて第１のＷＢ補正値を算出する例について説明する。この場合、第１のＷＢ補正値算出処理１１１において、ＣＰＵ３１４は、図３の本露光制御６０８のように環境光下でストロボ発光時に撮影されたストロボ発光画像１００（本露光画像）から第１のＷＢ補正値を算出する。
【００４５】
図４は、ＣＰＵ３１４が、図３の本露光制御６０８において撮影されたストロボ発光画像１００から第１のＷＢ補正値を算出する処理の詳細なフローチャートである。図４のフローチャートにおいて、ＣＰＵ３１４は、ステップＳ１０１として、図５に示すように、図３の本露光制御６０８で取得されたストロボ発光画像１００を、ＲＧＢの複数の画素毎に、予め任意に決められたｍ個のブロック２０１に分割する。以下の説明では、ブロック２０１を単にブロックと表記する。ステップＳ１０１の後、ＣＰＵ３１４は、処理をステップＳ１０２へ進める。
【００４６】
ステップＳ１０２では、ＣＰＵ３１４は、前述のようにｍ個に分割したブロック毎に、ブロック内の全ての画素についてＲＧＢの色毎の加算平均を行って色平均値Ｒ[i]，Ｇ[i]，Ｂ[i]を算出する。そして、ＣＰＵ３１４は、ブロック毎に、式（１）により色評価値Ｃｘ[i]，Ｃｙ[i]を算出する。なお、Ｒ[i]，Ｇ[i]，Ｂ[i]とＣｘ[i]，Ｃｙ[i]における「ｉ」は、１番目〜ｍ番目のブロックのうちの例えばｉ番目のブロックであることを表している。
【００４７】
Ｃｘ[i]＝（Ｒ[i]−Ｂ[i]）／Ｙ[i]×１０２４
Ｃｙ[i]＝（Ｒ[i]＋Ｂ[i]−２Ｇ[i]）／Ｙ[i]×１０２４  ・・・式（１）
ただし、Ｙ[i]＝Ｒ[i]＋２Ｇ[i]＋Ｂ[i]、１０２４は階調数である。
【００４８】
ステップＳ１０２の後、ＣＰＵ３１４は、処理をステップＳ１０３へ進める。ステップＳ１０３では、ＣＰＵ３１４は、図６（ａ）に示すような座標軸を持つグラフを用いて白検出を行う。図６（ａ）におけるｘ座標の色評価値Ｃｘは、負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値を示している。また、ｙ座標の色評価値Ｃｙは、光源の緑成分の度合いを意味しており、負方向になるにつれグリーン（緑）成分が大きくなることを示している。ここで、ストロボ光は既知の光源であるため、ＣＰＵ３１４は、図３の本露光制御６０８によるストロボ発光画像に関しては、図６（ａ）に示すように限定された白検出範囲４０１を用いて白検出を行う。
【００４９】
図７（ａ）のグラフと図７（ｂ）の表は、黒体放射軸であり、色温度と色評価値Ｃｘ，Ｃｙとの関係を示したものである。これら図７（ａ）のグラフと図７（ｂ）の表は、予め黒体放射軸上の既知の色温度光源にて撮像装置で画像を撮影し、その撮影画像から色評価値Ｃｘ，Ｃｙを算出することで求められている。もちろん、色温度方向だけではなく、例えば白色蛍光灯のようなグリーン方向やマゼンタ方向の色成分を多く含む光源に対しても同様に色評価値Ｃｘ，Ｃｙとの対応関係を求めておいてもよい。また、前述したストロボの発光色温度に対応した色評価値Ｃｘ，Ｃｙを取得しておけば、ストロボ光の色温度がわかれば、そのストロボ光源に対応した第１のＷＢ補正値の算出が可能となる。
【００５０】
図４のフローチャートに説明を戻し、ＣＰＵ３１４は、ステップＳ１０３において、ステップＳ１０２で算出した例えばｉ番目のブロックの色評価値Ｃｘ[i]，Ｃｙ[i]が、図６（ａ）に示したストロボ光用の白検出範囲４０１に含まれるか否かを判断する。ＣＰＵ３１４は、ステップＳ１０３において、ｉ番目のブロックの色評価値Ｃｘ[i]，Ｃｙ[i]が白検出範囲４０１に含まれると判断した場合には、そのブロックの画像が白色であると判断して、処理をステップＳ１０４へ進める。
【００５１】
ステップＳ１０４では、ＣＰＵ３１４は、ステップＳ１０３で白検出範囲４０１に含まれると判断したｉ番目のブロックの色平均値Ｒ[i]，Ｇ[i]，Ｂ[i]を下記の式（２）のように積算する。ステップＳ１０４の後、ＣＰＵ３１４は、処理をステップＳ１０５へ進める。一方、ＣＰＵ３１４は、ステップＳ１０３において、ｉ番目のブロックの色評価値Ｃｘ[i]，Ｃｙ[i]が白検出範囲４０１に含まれないと判断した場合には、ステップＳ１０４での加算を行わずに、処理をステップＳ１０５へ進める。これらステップＳ１０３とステップＳ１０４の処理は、式（２）で表すことができる。式（２）は、ｉ番目のブロックの色平均値Ｒ[i]，Ｇ[i]，Ｂ[i]の積分値ＳｕｍＲ，ＳｕｍＧ，ＳｕｍＢを求める式である。
【００５２】
【数１】
2017034536.tif 000003
【００５３】
ここで、ＣＰＵ３１４は、色評価値Ｃｘ[i]，Ｃｙ[i]が、図６（ａ）の白検出範囲４０１に含まれる場合は式（２）のＳｗ[i]を「１」に、一方、白検出範囲４０１に含まれない場合には式（２）のＳｗ[i]を「０」とする。これにより、ＣＰＵ３１４は、ブロック毎に、ステップＳ１０３の判断結果に応じて色平均値Ｒ[i]，Ｇ[i]，Ｂ[i]の加算（積算）を行うか、又は、加算（積算）を行わないかの処理を実質的に切り替えている。
【００５４】
次に、ステップＳ１０５の処理に進むと、ＣＰＵ３１４は、全てのブロックについて前述のステップＳ１０２からステップＳ１０４の処理が終わったか否かを判定する。そして、ＣＰＵ３１４は、未処理のブロックが存在する場合には、処理をステップＳ１０２に戻して、ステップＳ１０２以降の各処理を行う。一方、ＣＰＵ３１４は、ステップＳ１０５で全てのブロックについて処理が終わったと判断した場合には、処理をステップＳ１０６へ進める。
【００５５】
ステップＳ１０６では、ＣＰＵ３１４は、前述の式（２）にて算出した積分値ＳｕｍＲ，ＳｕｍＧ，ＳｕｍＢを用い、式（３）により、第１のＷＢ補正値ＷＢＣｏ１_Ｒ１，ＷＢＣｏ１_Ｇ１，ＷＢＣｏ１_Ｂ１を算出する。なお、式（３）では、ストロボ発光画像から式（２）にて算出された積分値ＳｕｍＲ，ＳｕｍＧ，ＳｕｍＢをｓｕｍＲ１，ｓｕｍＧ１，ｓｕｍＢ１と表記している。
【００５６】
ＷＢＣｏ１_Ｒ１＝ｓｕｍＹ１×１０２４／ｓｕｍＲ１
ＷＢＣｏ１_Ｇ１＝ｓｕｍＹ１×１０２４／ｓｕｍＧ１        ・・・式（３）
ＷＢＣｏ１_Ｂ１＝ｓｕｍＹ１×１０２４／ｓｕｍＢ１
ただし、ｓｕｍＹ１＝（ｓｕｍＲ１＋２×ｓｕｍＧ１＋ｓｕｍＢ１）／４
【００５７】
ここまでの説明では、ストロボ発光画像１００に基づいて第１のＷＢ補正値が算出される例を挙げたが、ＣＰＵ３１４は、第１のＷＢ補正値算出処理１１１として、発光量情報１１０に基づいて第１のＷＢ補正値を算出することも可能である。すなわち、ストロボ光は既知の光源であるため、ＣＰＵ３１４は、図２の発光量情報１１０として、前述したストロボ発光部３１６のストロボ発光量情報を用いることで、第１のＷＢ補正値を求めることもできる。発光量情報１１０に基づく第１のＷＢ補正値の算出処理についての説明は後述する。
【００５８】
次に、図２の第２のＷＢ補正値算出処理１０７として、図１のＣＰＵ３１４がストロボ非発光画像１０２に基づいて第２のＷＢ補正値を算出する例について説明する。第２のＷＢ補正値算出処理１０７において、ＣＰＵ３１４は、図３のライブビュー制御６０１においてストロボ発光がなされていない環境光下で撮影されたストロボ非発光画像１０２（ＥＶＦ画像）から第２のＷＢ補正値を算出する。なお、第２のＷＢ補正値算出処理１０７は、図１のＷＢ制御部３０３により行われてもよい。また、第２のＷＢ補正値は図３の外光制御６０６で撮影されたストロボ非発光画像から算出されてもよい。
【００５９】
ＥＶＦ画像であるストロボ非発光画像１０２から第２のＷＢ補正値を算出する場合、ＣＰＵ３１４は、前述した第１のＷＢ補正値算出処理１１１の場合と同様にして第２のＷＢ補正値ＷＢＣｏｌ_Ｒ２，ＷＢＣｏｌ_Ｇ２，ＷＢＣｏｌ_Ｂ２を算出する。
【００６０】
第２のＷＢ補正値を算出する処理の場合、ＣＰＵ３１４は、図４のステップＳ１０１では、ストロボ非発光画像を前述同様にｍ個のブロックに分割する。
【００６１】
また、第２のＷＢ補正値の算出処理の場合、ＣＰＵ３１４は、図４のステップＳ１０４では、例えばｉ番目のブロックの色評価値Ｃｘ[i]，Ｃｙ[i]が、図６（ｂ）に示す外光用の白検出範囲４０２に含まれるか否かを判断する。図６（ｂ）に示したような広い白検出範囲４０２を用いるのは、ストロボ光が既知の光源であるのに対し、外光（環境光）は既知の光源でないためであり、前述の図６（ａ）の白検出範囲４０１のように検出範囲を限定出来ないからである。図６（ｂ）に示す外光用の白検出範囲４０２は、予め異なる光源のもとで白い物体を撮影し、その撮影画像データから求めた色評価値を黒体放射軸に沿ってプロットすることにより生成されたものである。この白検出範囲４０２は、外光（環境光）が、例えば、太陽光であるか、曇天光であるか、室内の蛍光灯や電球の光など、何れの種類の光源による光であるかにより、個別に設定可能となされている。これら各外光の種類に対応した白検出範囲４０２の何れを用いるかについては、例えば各外光の種類に応じて用意されている複数の光源撮影モードの選択に応じて行われる。図６（ｂ）の色評価値ＣｘとＣｙは前述の図６（ａ）と同様に表されており、色評価値Ｃｙが負方向になるにつれてグリーン成分が大きくなって例えば蛍光灯光源に近づくことを示している。
【００６２】
また、第２のＷＢ補正値の算出処理の場合、ＣＰＵ３１４は、図４のステップＳ１０６において第２のＷＢ補正値ＷＢＣｏ１_Ｒ２，ＷＢＣｏ１_Ｇ２，ＷＢＣｏ１_Ｂ２を算出する。なお、ストロボ非発光画像から前述の式（２）で算出された積分値をｓｕｍＲ２，ｓｕｍＧ２，ｓｕｍＢ２と表記した場合、式（３）ではｓｕｍＲ１，ｓｕｍＧ１，ｓｕｍＢ１に代えてｓｕｍＲ２，ｓｕｍＧ２，ｓｕｍＢ２が用いられる。また、式（３）では、ＷＢＣｏ１_Ｒ１，ＷＢＣｏ１_Ｇ１，ＷＢＣｏ１_Ｂ１に代えて、第２のＷＢ補正値ＷＢＣｏ１_Ｒ２，ＷＢＣｏ１_Ｇ２，ＷＢＣｏ１_Ｂ２が算出される。
【００６３】
図２の処理フローに説明を戻す。
図２の第１の現像処理１１３１は、図１の色変換ＭＴＸ回路３０４から色輝度変換回路３０９までに相当する処理であり、第１のＷＢ補正値を用いた第１のＷＢ処理１０９１の後のストロボ発光画像１００（本露光画像）に対する現像処理である。第１の現像処理１１３１によりストロボ発光画像１００（本露光画像）がＹＵＶ画像に変換された後の画像が前述の第１のＹＵＶ画像である。第１のＹＵＶ画像は、輝度の色評価値Ｙ１[i]と色差の色評価値ｕ１[i]，ｖ１[i]とにより表される。第１のＹＵＶ画像（Ｙ１[i]，ｕ１[i]，ｖ１[i]）は、後述する画像合成処理１１４に送られる。
【００６４】
同様に、第２の現像処理１１３２は、図１の色変換ＭＴＸ回路３０４から色輝度変換回路３０９までに相当する処理であり、第２のＷＢ補正値を用いた第２のＷＢ処理１０９２の後のストロボ発光画像１００（本露光画像）に対する現像処理である。この第２の現像処理１１３２によりストロボ発光画像１００（本露光画像）がＹＵＶ画像に変換された後の画像が前述の第２のＹＵＶ画像である。第２のＹＵＶ画像は、輝度の色評価値Ｙ２[i]と色差の色評価値ｕ２[i]，ｖ２[i]とにより表される。第２のＹＵＶ画像（Ｙ２[i]，ｕ２[i]，ｖ２[i]）は、後述する画像合成処理１１４に送られる。
【００６５】
リサイズ処理１０１とリサイズ処理１０６は、例えば図１のＣＰＵ３１４により行われる処理である。リサイズ処理１０１とリサイズ処理１０６は、ストロボ非発光画像１０２が例えば図２のライブビュー制御６０１で取得されたＥＶＦ用の画像のように、本露光画像１００よりも低い解像度の画像である場合に行われる処理である。具体的には、リサイズ処理１０１では、本露光画像１００（ストロボ発光画像）をＥＶＦ用の画像に相当するサイズにリサイズする処理が行われる。なお、リサイズ処理１０１では、本露光画像（ストロボ発光画像１００）をリサイズした後に、そのリサイズ後の画像を前述したようなブロックに分割する。リサイズ処理１０６は、後述する画像合成比率の情報を、ＥＶＦ画像に対応したサイズから本露光画像１００に対応したサイズにリサイズする処理である。なお、ストロボ非発光画像が、例えば図３の外光制御６０６で取得される画像のように、本露光制御６０８で取得される本露光画像と同じ解像度の画像である場合には、リサイズ処理１０１とリサイズ処理１０６は省略可能である。また、ストロボ非発光画像としてＥＶＦ画像を用いるか又は外光制御６０６による撮影画像を用いるかに応じて、リサイズ処理１０１とリサイズ処理１０６を実行するか否かが切り替えられてもよい。
【００６６】
露光量演算処理１０３は、例えば図１のＣＰＵ３１４にて行われる処理である。ＣＰＵ３１４は、露光量演算処理１０３において、ストロボ発光画像１００とストロボ非発光画像１０２がそれぞれ撮影された際の、ＩＳＯ感度と絞り値とシャッター速度とに基づいて、それら画像が撮影された際の露光量を算出する。ここで、ストロボ発光画像１００とストロボ非発光画像１０２との間では、ＩＳＯ感度や絞り値、シャッター速度の違い等により露出が異なる場合がある。また、後述するように、本実施形態では、後に行われる領域毎ストロボ発光量演算処理１０４においてストロボ光と環境光（外光）の光量比較に基づいてストロボ発光量が求められる。このため、ＣＰＵ３１４は、露光量演算処理１０３において、ストロボ発光画像１００とストロボ非発光画像１０２が撮影された際のＩＳＯ感度と絞り値とシャッター速度とに基づいて、それら画像が撮影された際に設定された露光量を求める。さらに、ＣＰＵ３１４は、露光量演算処理１０３において、それらストロボ発光画像１００の露光量とストロボ非発光画像１０２の露光量との差分を求める。
【００６７】
また、ＣＰＵ３１４は、露光量演算処理１０３において、ストロボ非発光画像１０２を前述したようにブロック分割する。本実施形態の場合、前述のようにリサイズ処理１０１されたストロボ発光画像１００のブロックと、ＥＶＦ用の画像サイズのストロボ非発光画像１０２のブロックの領域は、画角に対して同一の領域になされている。そして、ＣＰＵ３１４は、露光量演算処理１０３において、ストロボ非発光画像１０２について前述同様にしてブロック毎に積分値ｓｕｍＲ２，ｓｕｍＧ２，ｓｕｍＢ２を求める。さらに、ＣＰＵ３１４は、露光量演算処理１０３において、ストロボ非発光画像１０２のブロック毎の積分値に対して、前述の露光量の差分に応じた換算処理を行う。
【００６８】
領域毎ストロボ発光量演算処理１０４（以下、発光量演算処理１０４と表記する。）は、図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、発光量演算処理１０４において、露光量演算処理１０３で求めた露光量差分と、リサイズ処理１０１されたストロボ発光画像１００と、ストロボ非発光画像１０２とに基づいて、画像領域毎のストロボ発光量を求める。
【００６９】
ここで、本実施形態では、画像領域毎にＷＢ補正を行うようになされている。本実施形態における画像領域とは、例えば人物や建物、空、乗り物などの様々な被写体画像の領域であり、本実施形態では被写体領域と表記している。このため、ＣＰＵ３１４は、発光量演算処理１０４において、リサイズ処理１０１されたストロボ発光画像１００と、ストロボ非発光画像１０２とに基づいて、被写体領域毎のストロボ発光量を求める。被写体領域毎のストロボ発光量は、被写体領域毎にストロボ光が照射された照射量であるため、以下の説明では被写体領域毎のストロボ照射量と表記する。
【００７０】
領域毎外光・ストロボ光比率生成処理１３３（以下、光比率生成処理１３３と表記する。）は、図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、光比率生成処理１３３において、発光量演算処理１０４によるストロボ照射量とリサイズ処理１０１後のストロボ発光画像１００とストロボ非発光画像１０２とに基づいて、被写体領域毎に、ストロボ光と環境光（外光）の光量比率を求める。
【００７１】
画像合成比率決定処理１０５（以下、合成比率決定処理１０５と表記する。）は、図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、合成比率決定処理１０５において、光比率生成処理１３３で求められた光量比率に基づいて、ストロボ発光画像１００とストロボ非発光画像１０２を合成する際の、被写体領域毎の合成比率を決定する。
【００７２】
第１の色味情報取得処理１２０１は、図１のＣＰＵ３１４にて行われる処理である。ＣＰＵ３１４は、第１の色味情報取得処理１２０１において、ストロボ発光画像１００を取得して、ブロック毎の色平均値Ｒ[i]，Ｇ[i]，Ｂ[i]を算出し、さらにブロック毎の積分値ｓｕｍＲ１，ｓｕｍＧ１，ｓｕｍＢ１を算出する。なお、以下の説明では、ストロボ発光画像１００から算出されたブロック毎の色平均値Ｒ[i]，Ｇ[i]，Ｂ[i]を、Ｒ１[i]，Ｇ１[i]，Ｂ１[i]と表記する。第１の色味情報取得処理１２０１における処理の詳細については後述する。第１の色味情報取得処理１２０１によるストロボ発光画像１００のブロック毎の色平均値Ｒ１[i]，Ｇ１[i]，Ｂ１[i]と積分値ｓｕｍＲ１，ｓｕｍＧ１，ｓｕｍＢ１は、ストロボ発光画像色味補正処理１２１に送られる。
【００７３】
第２の色味情報取得処理１２０２は、図１のＣＰＵ３１４にて行われる処理である。ＣＰＵ３１４は、第２の色味情報取得処理１２０２において、ストロボ非発光画像１０２を取得して、ブロック毎の色平均値Ｒ[i]，Ｇ[i]，Ｂ[i]を算出し、さらにブロック毎の積分値ｓｕｍＲ２，ｓｕｍＧ２，ｓｕｍＢ２を算出する。なお、以下の説明では、ストロボ非発光画像１０２から算出されたブロック毎の色平均値Ｒ[i]，Ｇ[i]，Ｂ[i]を、Ｒ２[i]，Ｇ２[i]，Ｂ２[i]と表記する。第２の色味情報取得処理１２０２における処理の詳細については後述する。第２の色味情報取得処理１２０２によるストロボ非発光画像１０２のブロック毎の色平均値Ｒ２[i]，Ｇ２[i]，Ｂ２[i]と積分値ｓｕｍＲ２，ｓｕｍＧ２，ｓｕｍＢ２は、ストロボ発光画像色味補正処理１２１に送られる。
【００７４】
ストロボ発光画像色味補正処理１２１（以下、色味補正処理１２１と表記する。）は、図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、色味補正処理１２１として、第１，第２の色味情報取得処理１２０１，１２０２から得られる情報と、発光量情報１１０と、光比率生成処理１３３による光量比率とに基づいて、ストロボ発光画像１００のブロック毎の色味評価値を算出する。この色味補正処理１２１によるストロボ発光画像１００のブロック毎の色味評価値算出処理の詳細については後述する。色味補正処理１２１により算出されたストロボ発光画像１００の色味評価値は、移動体領域抽出処理１２３に送られる。
【００７５】
移動体領域抽出処理１２３は、図１のＣＰＵ３１４にて行われる処理である。ＣＰＵ３１４は、移動体領域抽出処理１２３として、ストロボ発光画像１００の撮影がなされた際に移動していた移動被写体の被写体領域（以下、移動体領域と表記する。）を検出する。具体的には、ＣＰＵ３１４は、移動体領域抽出処理１２３において、ストロボ発光画像１００の色味評価値とストロボ非発光画像１０２の色味評価値との差分値を求める。そして、ＣＰＵ３１４は、それら色味評価値の差分値に基づいて、ストロボ発光画像１００から移動体領域を抽出する。この移動体領域抽出処理１２３における移動体領域の抽出処理の詳細については後述する。移動体領域抽出処理１２３により抽出された移動体領域の情報は、移動体領域合成比率補正処理１４０に送られる。
【００７６】
ストロボ外光比率推定処理１３０（以下、比率推定処理１３０と表記する。）は、図１のＣＰＵ３１４にて行われる処理である。ＣＰＵ３１４は、比率推定処理１３０において、後述する距離マップとストロボ配光情報とレンズ周辺光量、及び、発光量情報１１０とに基づいて、被写体領域毎に、ストロボ発光部３１６のストロボ光と環境光（外光）との割合（光量比率）を算出する。比率推定処理１３０における被写体領域毎の割合算出処理の詳細については後述する。比率推定処理１３０による被写体領域毎の割合情報は、移動体領域合成比率補正処理１４０に送られる。
【００７７】
移動体領域合成比率補正処理１４０（以下、合成比率補正処理１４０と表記する。）は、図１のＣＰＵ３１４にて行われる処理である。ＣＰＵ３１４は、合成比率補正処理１４０において、移動体領域抽出処理１２３にて抽出された移動体領域について、合成比率決定処理１０５で算出された合成比率を、比率推定処理１３０による割合とする。合成比率補正処理１４０における移動体領域についての割合修正処理の詳細については後述する。合成比率補正処理１４０による補正処理後の合成比率の情報は、リサイズ処理１０６に送られる。
【００７８】
リサイズ処理１０６は、図１のリサイズ処理部３２４にて行われる処理である。合成比率補正処理１４０による補正処理後の合成比率は、ＥＶＦ画像のサイズに対応した情報となされているため、図１のリサイズ処理部３２４は、本露光画像１００に対応させるようにリサイズする。リサイズ処理１０６によるリサイズ後の合成比率の情報は、画像合成処理１１４に送られる。
【００７９】
画像合成処理１１４は、図１の画像合成処理部３２５により行われる処理である。画像合成処理部３２５は、画像合成処理１１４において、第１の現像処理１１３１後の第１のＹＵＶ画像と、第２の現像処理１１３２後の第２のＹＵＶ画像とを、リサイズ処理１０６後の画像合成比率に基づいて合成して合成ＹＵＶ画像を生成する。本実施形態の場合、移動体領域についての合成比率は、前述した比率推定処理１３０で求められた割合に修正されている。したがって、合成ＹＵＶ画像は、移動体領域では比率推定処理１３０による割合で第１，第２のＹＵＶ画像が合成され、それ以外の被写体領域では画像合成比率決定処理１０５による合成比率で第１，第２のＹＵＶ画像が合成されされた画像となる。この画像合成処理１１４による画像合成処理後の合成ＹＵＶ画像の信号は、図１の画像合成処理部３２５から図１のＪＰＥＧ圧縮回路３１０に送られる。
【００８０】
図８には、図１のＣＰＵ３１４が、ストロボ発光画像１００とストロボ非発光画像１０２から色味評価値を算出し、それら色味評価値に基づいてストロボ発光画像１００から移動体領域を抽出する際の動き領域判定処理のフローチャートを示す。この図８のフローチャートは、図２の第１，第２の色味情報取得処理１２０１，１２０２から移動体領域抽出処理１２３までの処理を示している。
【００８１】
図８のステップＳ５０１では、ＣＰＵ３１４は、図２の第２の色味情報取得処理１２０２において、ストロボ非発光画像１０２を取得する。ステップＳ５０１の後、ＣＰＵ３１４は、ステップＳ５０２に処理を進める。
【００８２】
ステップＳ５０２の処理は、図２の第２の色味情報取得処理１２０２と色味補正処理１２１に含まれる。ステップＳ５０２の第２の色味情報取得処理１２０２において、ＣＰＵ３１４は、ステップＳ５０１で取得したストロボ非発光画像１０２から、前述したようなブロック毎の色平均値Ｒ２[i]，Ｇ２[i]，Ｂ２[i]を算出する。さらに、第２の色味情報取得処理１２０２において、ＣＰＵ３１４は、ブロック毎の色平均値Ｒ２[i]，Ｇ２[i]，Ｂ２[i]を用いて、前述の式（２）と同様の演算によりブロック毎の積分値ｓｕｍＲ２，ｓｕｍＧ２，ｓｕｍＢ２を算出する。また、ステップＳ５０２の色味補正処理１２１において、ＣＰＵ３１４は、式（４）により、ストロボ非発光画像１０２におけるブロック毎の輝度値ｂ[i]を算出する。
【００８３】
ｂ[i]＝０．３＊Ｒ２[i]＋０．６＊Ｇ２[i]＋０．１＊Ｂ２[i]      ・・・式（４）
【００８４】
ステップＳ５０２の後、ＣＰＵ３１４は、ステップＳ５０３に処理を進める。ステップＳ５０３の処理は、図２の第１の色味情報取得処理１２０１に含まれる。ステップＳ５０３の第１の色味情報取得処理１２０１において、ＣＰＵ３１４は、ストロボ発光画像１００を取得する。ステップＳ５０３の後、ＣＰＵ３１４は、ステップＳ５０４に処理を進める。
【００８５】
ステップＳ５０４の処理は、図２の第１の色味情報取得処理１２０１に含まれる。ステップＳ５０４の色味情報取得処理１２０１において、ＣＰＵ３１４は、発光量情報１１０からストロボの色温度情報を取得する。なお、ストロボの色温度は、ストロボ発光部３１６が例えばキセノン管を有する場合、キセノン管の発光特性としての色温度と発光時間などの関係から決まるため、そのストロボ色温度情報も発光量情報１１０より算出できる。ステップＳ５０４の後、ＣＰＵ３１４は、ステップＳ５０５に処理を進める。
【００８６】
ステップＳ５０５の処理は、図２の第２の色味情報取得処理１２０２と色味補正処理１２１に含まれる。ステップＳ５０５の第１の色味情報取得処理１２０１において、ＣＰＵ３１４は、ステップＳ５０３で取得したストロボ発光画像１００からブロック毎の色平均値Ｒ１[i]，Ｇ１[i]，Ｂ１[i]を算出する。さらに、ＣＰＵ３１４は、ストロボ発光画像１００のブロック毎の色平均値Ｒ１[i]，Ｇ１[i]，Ｂ１[i]を用い、前述の式（２）と同様の演算によりブロック毎の積分値ｓｕｍＲ１，ｓｕｍＧ１，ｓｕｍＢ１を算出する。また、ステップＳ５０５の色味補正処理１２１において、ＣＰＵ３１４は、式（５）により、ストロボ発光画像１００におけるブロック毎の輝度値ａ[i]を算出する。
【００８７】
ａ[i]＝０．３＊Ｒ１[i]＋０．６＊Ｇ１[i]＋０．１＊Ｂ１[i]      ・・・式（５）
【００８８】
ステップＳ５０５の後、ＣＰＵ３１４は、ステップＳ５０６に処理を進める。ステップＳ５０６の処理は、図２の色味補正処理１２１に含まれる。ステップＳ５０６の色味補正処理１２１において、ＣＰＵ３１４は、ブロック毎のストロボ光の照射量を推定する。具体的には、ＣＰＵ３１４は、式（６）により、ステップＳ５０２で取得したストロボ非発光画像１０２のブロック毎の輝度値ｂ[i]と、ステップＳ５０５で算出したストロボ発光画像１００のブロック毎の輝度値ａ[i]との差分ｃ[i]を求める。これら輝度値ｂ[i]と輝度値ａ[i]の差分ｃ[i]が、推定されたストロボ光の照射量となる。
【００８９】
ｃ[i]＝ａ[i]−ｂ[i]          ・・・式（６）
【００９０】
なお、ストロボ発光画像１００とストロボ非発光画像１０２との間で、シャッタースピードや絞り値、ＩＳＯ感度設定などの露光量や感度設定が異なる場合は、ストロボ非発光画像１０２の輝度成分ｂ[i]に対してその露光差分を補正する。これにより、ストロボ成分の露光量の算出が可能となる。ステップＳ５０６の後、ＣＰＵ３１４は、ステップＳ５０７に処理を進める。
【００９１】
ステップＳ５０７の処理は、図２の色味補正処理１２１に含まれる。ステップＳ５０７の色味補正処理１２１において、ＣＰＵ３１４は、ステップＳ５０２，Ｓ５０５のブロック毎の積分値とステップＳ５０６のストロボ照射量とステップＳ５０４のストロボ色温度情報とに基づいて、ストロボ発光画像１００の色評価値を算出する。
【００９２】
ステップＳ５０７の図２の色味補正処理１２１において、ＣＰＵ３１４は、ストロボ非発光画像１０２の色評価値を求める。具体的には、ＣＰＵ３１４は、ステップＳ５０２によるブロック毎の積分値ｓｕｍＲ２，ｓｕｍＧ２，ｓｕｍＢ２を用い、前述の式（３）と同様の演算でＷＢ係数ＷＢ_Ｒ_evf[i]，ＷＢ_Ｇ_evf[i]，ＷＢ_Ｂ_evf[i]を算出する。なお、ＷＢ_Ｒ_evf[i]はＲ（赤）のＷＢ係数であり、ＷＢ_Ｇ_evf[i]はＧ（緑）のＷＢ係数、ＷＢ_Ｂ_evf[i]はＢ（青）のＷＢ係数である。そして、色味補正処理１２１において、ＣＰＵ３１４は、下記の式（７）と式（８）により、ストロボ非発光画像１０２におけるブロック毎の色味評価値ＷＣｘ_evf[i]，ＷＣｙ_evf[i]を算出する。
【００９３】
Ｒ２'[i]＝ＷＢ_Ｒ_evf[i]×Ｒ２[i]
Ｇ２'[i]＝ＷＢ_Ｇ_evf[i]×Ｇ２[i]          ・・・式（７）
Ｂ２'[i]＝ＷＢ_Ｂ_evf[i]×Ｂ２[i]
【００９４】
ＷＣｘ_evf[i]＝（Ｒ２'[i]−Ｂ２'[i]）／Ｙ２'[i]×１０２４
ＷＣｙ_evf[i]＝（Ｒ２'[i]＋Ｂ２'[i]−２Ｇ２'[i]）／Ｙ２'[i]×１０２４
ただし、Ｙ２'[i]＝（Ｒ２'[i]＋２Ｇ２'[i]＋Ｂ２'[i]）／４    ・・・式（８）
【００９５】
また、ステップＳ５０７の色味補正処理１２１において、ＣＰＵ３１４は、ストロボ発光画像１００の色評価値を求める。ＣＰＵ３１４は、ステップＳ５０５によるブロック毎の積分値ｓｕｍＲ１，ｓｕｍＧ１，ｓｕｍＢ１を用いて、前述の式（３）と同様の演算でＷＢ係数ＷＢ_Ｒ_flash[i]，ＷＢ_Ｇ_flash[i]，ＷＢ_Ｂ_flash[i]を算出する。なお、ＷＢ_Ｒ_flash[i]はＲ（赤）のＷＢ係数であり、ＷＢ_Ｇ_flash[i]はＧ（緑）のＷＢ係数、ＷＢ_Ｂ_flash[i]はＢ（青）のＷＢ係数である。ただし、ストロボ発光画像１００の場合、前述の式（４）ではＲ２[i]，Ｇ２[i]，Ｂ２[i]に代えてＲ１[i]，Ｇ１[i]，Ｂ１[i]が用いられる。また、式（４）では、ＷＢ_Ｒ_evf[i]，ＷＢ_Ｇ_evf[i]，ＷＢ_Ｂ_evf[i]に代えてＷＢ_Ｒ_flash[i]，ＷＢ_Ｇ_flash[i]，ＷＢ_Ｂ_flash[i]が用いられる。また、式（４）では、Ｒ２'[i]，Ｇ２'[i]，Ｂ２'[i]に代えてＲ１'[i]，Ｇ１'[i]，Ｂ１'[i]が用いられる。
【００９６】
また、ストロボ発光画像１００の色評価値を求める場合、ステップＳ５０７の色味補正処理１２１において、ＣＰＵ３１４は、ＷＢ係数ＷＢ_Ｒ_flash[i]，ＷＢ_Ｇ_flash[i]，ＷＢ_Ｂ_flash[i]を補正する。具体的には、ＣＰＵ３１４は、ストロボ非発光画像１０２から算出されたＷＢ係数ＷＢ_Ｒ_evf[i]，ＷＢ_Ｇ_evf[i]，ＷＢ_Ｂ_evf[i]と、被写体領域毎のストロボ照射量と、ストロボ色温度情報とに応じた補正処理を行う。ここで、ＷＢ係数ＷＢ_Ｒ_flash[i]，ＷＢ_Ｇ_flash[i]，ＷＢ_Ｂ_flash[i]を補正する際の補正値は、環境光（外光）とストロボ光の比率に応じた可変の値として求められる。具体的には、ＣＰＵ３１４は、式（９）により求められる輝度成分合成比率α[i]を、ＷＢ係数の補正値とする。
【００９７】
α[i]＝ｃ[i]／（ａ[i]＋ｃ[i]）      ・・・式（９）
【００９８】
また、ＣＰＵ３１４は、ステップＳ５０２，Ｓ５０５による各ＷＢ係数と輝度成分合成比率α[i]を用いて環境光とストロボ光の比率に応じたＷＢ係数ＷＢ_Ｒ_cap[i]，ＷＢ_Ｇ_cap[i]，ＷＢ_Ｂ_cap[i]を算出する。このＷＢ係数ＷＢ_Ｒ_cap[i]，ＷＢ_Ｇ_cap[i]，ＷＢ_Ｂ_cap[i]の計算式は式（１０）により表される。このＷＢ係数ＷＢ_Ｒ_cap[i]，ＷＢ_Ｇ_cap[i]，ＷＢ_Ｂ_cap[i]が、ストロボ発光画像１００における補正後のＷＢ係数である。
【００９９】
ＷＢ_Ｒ_cap[i]＝ＷＢ_Ｒ_evf[i]×（１−α[i]）＋ＷＢ_Ｒ_flash[i]×α[i]
ＷＢ_Ｇ_cap[i]＝ＷＢ_Ｇ_evf[i]×（１−α[i]）＋ＷＢ_Ｇ_flash[i]×α[i]
ＷＢ_Ｂ_cap[i]＝ＷＢ_Ｂ_evf[i]×（１−α[i]）＋ＷＢ_Ｂ_flash[i]×α[i]
・・・式（１０）
【０１００】
また、ＣＰＵ３１４は、ＷＢ係数ＷＢ_Ｒ_cap[i]，ＷＢ_Ｇ_cap[i]，ＷＢ_Ｂ_cap[i]をストロボ発光画像１００の色平均値Ｒ１[i]，Ｇ１[i]，Ｂ１[i]に乗算し、Ｒ１"[i]，Ｇ１"[i]，Ｂ１"[i]を求める。これらＲ１"[i]，Ｇ１"[i]，Ｂ１"[i]の計算式は、式（１１）により表される。
【０１０１】
Ｒ１"[i]＝ＷＢ_Ｒ_cap[i]×Ｒ１[i]
Ｇ１"[i]＝ＷＢ_Ｇ_cap[i]×Ｇ１[i]            ・・・式（１１）
Ｂ１"[i]＝ＷＢ_Ｂ_cap[i]×Ｂ１[i]
【０１０２】
そして、ＣＰＵ３１４は、式（１２）の演算により、ストロボ発光画像１００における色味評価値ＷＣｘ_cap[i]，ＷＣｙ_cap[i]を求める。
【０１０３】
ＷＣｘ_cap[i]＝（Ｒ１"[i]−Ｂ１"[i]）／Ｙ１"[i]×１０２４
ＷＣｙ_cap[i]＝（Ｒ１"[i]＋Ｂ１"[i]−２Ｇ１"[i]）／Ｙ１"[i]×１０２４
ただし、Ｙ１"[i]＝（Ｒ１"[i]＋２Ｇ１"[i]＋Ｂ１"[i]）／４  ・・・式（１２）
【０１０４】
ステップＳ５０７の後、ＣＰＵ３１４は、ステップＳ５０８に処理を進める。ステップＳ５０８の処理は、図２の移動体領域抽出処理１２３に含まれる。具体的には、ＣＰＵ３１４は、ストロボ発光画像１００の色味評価値ＷＣｘ_cap[i]，ＷＣｙ_cap[i]とストロボ非発光画像１０２の色味評価値ＷＣｘ_evf[i]，ＷＣｙ_evf[i]の差分絶対値ΔＷＣｘ，ΔＷＣｙを求める。さらに、ＣＰＵ３１４は、それらブロック毎の差分絶対値の合計値を差分色味評価値ΔＷＣｘＷＣｙとして求める。ステップＳ５０７におけるブロック毎の差分絶対値ΔＷＣｘ，ΔＷＣｙと差分色味評価値ΔＷＣｘＣｙの演算は式（１３）により表すことができる。
【０１０５】
ΔＷＣｘ＝｜ＷＣｘ_cap[i]−ＷＣｘ_evf[i]｜
ΔＷＣｙ＝｜ＷＣｙ_cap[i]−ＷＣｙ_evf[i]｜          ・・・式（１３）
ΔＷＣｘＣｙ＝ΔＷＣｘ＋ΔＷＣｙ
【０１０６】
ステップＳ５０８の後、ＣＰＵ３１４は、ステップＳ５０９に処理を進める。ステップＳ５０９の処理は、図２の移動体領域抽出処理１２３に含まれる。ステップＳ５０８の移動体領域抽出処理１２３において、ＣＰＵ３１４は、図２の移動体領域抽出処理１２３の中の動き判定処理として、ステップＳ５０８でブロック毎に算出された差分色味評価値ΔＷＣｘＣｙから動き判定を行う。
【０１０７】
図９には、ブロック毎の差分色味評価値ΔＷＣｘＣｙから動き判定が行われる例を示す。図９の各四角はそれぞれブロックに相当し、それら各四角の中の数字はそれぞれ各ブロックの差分色味評価値ΔＷＣｘＣｙの具体的な数値を表している。この図９に示すように、ＣＰＵ３１４は、差分色味評価値ΔＷＣｘＣｙの値に対して閾値を用いた動き判定を行う。図９は、閾値として「５０」の値が設定されている場合に、差分色味評価値ΔＷＣｘＣｙの値が「５０」以上となっている太枠の各ブロックが、移動被写体の被写体領域の各ブロックと判定される例を挙げている。
【０１０８】
前述したようにストロボの照射量算出は、ストロボ発光画像１００とストロボ非発光画像１０２の差分輝度値から算出されており、例えば被写体が動いていない画像領域においてはストロボ照射量が適正に算出される。したがって、被写体に動きがなくストロボの照射量の算出が成功していれば、ＷＢ係数も適正な値が算出されることになり、色味評価値についても正しい値が算出可能となる。一方で、被写体が動いたた場合などは、誤ったストロボ照射量を算出する可能性があり、また、ＷＢ係数も正しく算出できなくなって、結果として色味評価値も誤った値が算出されることになる。したがって、本実施形態では、色味評価値の差分絶対値を用いることで、被写体の移動の有無の判定が可能になっている。
【０１０９】
なお、本実施形態では、差分色味評価値ΔＷＣｘＣｙに対する閾値を一定値としているが、ストロボ非発光画像１０２の色味評価値ＷＣｘ_evf[i]，ＷＣｙ_evf[i]に応じて閾値を可変にしてもよい。つまり、差分色味評価値ΔＷＣｘＣｙは、被写体の色味やストロボ非発光時の撮影環境である色温度によって色毎に敏感度が異なるためであり、色毎に敏感度を変化させることで、動き領域の判定の精度を向上させることができる。
【０１１０】
また、被写体領域の動き領域判定に用いた差分色味評価値ΔＷＣｘＣｙは、前述したようにストロボ光の色温度に応じたＷＢ係数が掛けられているが、色味成分の補正までは行われていない。この場合、例えば色味がグレーの画像領域に対しては、正確に色味成分を算出可能であるものの、有彩色に対しては若干の誤差を有する可能性がある。例えば、低色温度光源であれば、赤みのある被写体や、高色温度光源下の青みのある被写体などは、それらの色味が強く発色する傾向がある。これら色温度毎の発色性の差分の誤差を減らすために、ストロボ非発光画像１０２における環境光の色温度やＷＢ係数に応じた色味補正、被写体の色味毎の補正を行うことで、精度を向上させることが可能である。例えば、ストロボ非発光画像１０２とストロボ発光画像１００の両方の色評価値に対して、色温度や適用されたＷＢ係数毎に、色評価値ＷＣｘ，ＷＣｙの補正ゲインを予め算出等しておくことで実現可能である。式（１４）には、色評価値ＷＣｘ，ＷＣｙをＷＢ係数や色温度に応じて補正した色評価値ＷＣｘ'，ＷＣｙ'を求める演算式を示す。ただし、式（１４）のａ，ｂ，ｃ，ｄは、色温度毎に算出される補正係数である。
【０１１１】
【数２】
2017034536.tif 000004
【０１１２】
補正係数ａ，ｂ，ｃ，ｄの値は、例えば色チャートを色温度毎に撮影して色毎に色評価値ＷＣｘ，ＷＣｙを算出し、例えば色温度が５０００Ｋのときの色評価値ＷＣｘ，ＷＣｙを基準とし、各色温度で色評価値概略同じ値になるような係数として予め求めておく。もちろん、算出した係数は、色温度毎に線形補間等を行うことで、取得された色温度以外の中間色温度についても求めることが可能であることはいうまでもない。このような色味変換処理は、色温度毎の色味の差分を吸収させる色再現マトリックスと同様の効果を有し、これらの処理により色温度毎の色味の差分を吸収させることにより動き被写体の検出を精度よく行うことが可能になる。
【０１１３】
図１０には、図１の画像合成処理部３２５にて行われる図２の画像合成処理１１４の詳細なフローチャートを示す。図１０のステップＳ２０１では、画像合成処理部３２５は、第１のＷＢ補正値を用いてＷＢ補正処理がなされた後のストロボ発光画像１００が図２の第１の現像処理１１３１にて現像された第１のＹＵＶ画像を取得する。ここで取得される第１のＹＵＶ画像は、前述した色評価値Ｙ１[i]，ｕ１[i]，ｖ１[i]で表される。ステップＳ２０１の後、画像合成処理部３２５は、ステップＳ２０２に処理を進める。
【０１１４】
ステップＳ２０２では、画像合成処理部３２５は、第２のＷＢ補正値を用いてＷＢ補正処理がなされた後のストロボ発光画像１００が図２の第２の現像処理１１３２にて現像された第２のＹＵＶ画像を取得する。ここで取得される第２のＹＵＶ画像は、前述した色評価値Ｙ２[i]，ｕ２[i]，ｖ２[i]で表される。ステップＳ２０２の後、画像合成処理部３２５は、ステップＳ２０３に処理を進める。
【０１１５】
ステップＳ２０３では、画像合成処理部３２５は、第１のＹＵＶ画像と第２のＹＵＶ画像をそれぞれ前述同様にブロック分割する。ステップＳ２０３の後、画像合成処理部３２５は、ステップＳ２０４に処理を進める。ステップＳ２０４では、画像合成処理部３２５は、前述の式（９）により算出される輝度成分合成比率α[i]を、画像合成比率α[i]として取得する。ステップＳ２０４の後、画像合成処理部３２５は、ステップＳ２０５に処理を進める。
【０１１６】
ステップＳ２０５では、画像合成処理部３２５は、ステップＳ２０４で取得した画像合成比率α[i]を用いた式（１５）の演算により、ステップＳ２０１で取得した第１のＹＵＶ画像と、ステップＳ２０２で取得した第２のＹＵＶ画像とを、ブロック毎に合成する。第１のＹＵＶ画像と第２のＹＵＶ画像を合成した合成ＹＵＶ画像は、色評価値Ｙ３[i]，ｕ３[i]，ｖ３[i]で表される。
【０１１７】
Ｙ３[i]＝Ｙ１[i]＊α[i]＋Ｙ２[i]＊（１−α[i]）
ｕ３[i]＝ｕ１[i]＊α[i]＋ｕ２[i]＊（１−α[i]）        ・・・式（１５）
ｖ３[i]＝ｖ１[i]＊α[i]＋ｖ２[i]＊（１−α[i]）
【０１１８】
また、ブロックの境界部分の色味ずれを緩和するため、ステップＳ２０５において、画像合成処理部３２５は、画素補間処理を行うことにより、ブロック毎の画像合成比率α[i]から画素毎の画像合成比率率α'[j]を算出してもよい。なお、α'[j]の［ｊ］はｊ番目の画素であることを表している。画素補間処理としては例えばバイリニア補間処理を用いることができ、画像合成処理部３２５は、バイリニア補間処理によりブロック毎の画像合成比率α[i]から画素毎の画像合成比率α'[j]を算出する。この例の場合、ステップＳ２０５において、画像合成処理部３２５は、式（１６）の演算により、画素毎の画像合成比率α'[j]を用いて、第１のＹＵＶ画像と第２のＹＵＶ画像を合成して合成ＹＵＶ画像を生成する。なお、画素毎に画像合成がなされる場合の第１のＹＵＶ画像は、画素毎の色評価値Ｙ１[j]，ｕ１[j]，ｖ１[j]で表され、第２のＹＵＶ画像は、画素毎の色評価値Ｙ２[j]，ｕ２[j]，ｖ２[j]で表される。また、合成ＹＵＶ画像は、画素毎の色評価値Ｙ３[j]，ｕ３[j]，ｖ３[j]で表される。
【０１１９】
Ｙ３[j]＝Ｙ１[j]＊α'[j]＋Ｙ２[j]＊（１−α'[j]）
ｕ３[j]＝ｕ１[j]＊α'[j]＋ｕ２[j]＊（１−α'[j]）        ・・・式（１６）
ｖ３[j]＝ｖ１[j]＊α'[j]＋ｖ２[j]＊（１−α'[j]）
【０１２０】
図１１は、図２の比率推定処理１３０における距離マップとストロボ配光情報とレンズ周辺光量と発光量情報１１０とに基づいて、ストロボ発光部３１６のストロボ量と環境光（外光）との割合を算出する処理フローを示す。本実施形態の場合、ＣＰＵ３１４による比率推定処理１３０が割合の算出手段に相当する。この図１１は、図２の光比率推定処理１３０に含まれる各処理を詳細に示した図である。図１１のストロボ発光画像１００と移動体領域合成比率補正処理１４０の説明は省略する。
【０１２１】
図１１及び図２のストロボ配光レンズ周辺光量１３７は、ストロボ配光情報とレンズ周辺光量データを含む。ストロボ配光情報は、ストロボ発光時の配光量を予め測定をしておくことで算出されたストロボ配光特性を表す情報である。具体的には、予め暗中において反射率１８％のグレーカード面に対して適正距離から正対させてストロボ発光を行い、鏡筒部３１５のズームレンズを広角端として撮影した撮影画像についてレンズ周辺光量落ち量を補正することで算出される配光量情報である。
【０１２２】
なお、ストロボ配光情報の算出の際には、撮影距離を可変にして撮影距離毎に配光情報を取得しておくことにより、ストロボとレンズの光軸のずれ量を吸収させることも可能である。また、別の方法としては、ストロボの取り付け位置とストロボの反射板やフレネルレンズ形状から周辺への照射光強度分布を算出しておき、レンズの焦点距離からストロボの配光分布を算出することも可能である。そして、レンズの焦点距離に応じた配光情報を求めることで、焦点距離が変化した時のストロボ配光を算出可能である。例えば、ズームレンズの焦点距離が広角端から２倍の焦点距離であれば、予め測定された広角端のストロボ配光分布における水平・垂直で中央から５０％の範囲の領域を配光領域としてもよい。レンズ周辺光量落ち量についても、ズームポジションや絞り値毎に周辺光量落ち量の測定をしておいてもよいし、レンズの設計情報及び撮像素子３０１の周辺入射光量特性から光学設計値に基づいて算出されてもよい。
【０１２３】
図１１の距離マップ生成処理１３１は、例えば図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、距離マップ生成処理１３１において、撮像素子３０１の焦点検出用画素の出力信号の相関演算により生成された位相差に対して、その位相差を焦点ずれ量に変換する変換係数を掛けることにより焦点ずれ量を演算する。そして、ＣＰＵ３１４は、撮像素子３０１の全ての焦点検出用画素に各々対応した各焦点ズレ量から、撮像素子３０１の撮像面における焦点ズレ量マップを作成する。
【０１２４】
ここで、焦点ズレ量マップとは、撮像素子３０１の撮像面上において各焦点検出用画素の位置と各焦点ズレ量とを対応させた分布データである。そして、ＣＰＵ３１４は、距離マップ生成処理１３１において、鏡筒部３１５のレンズ光学系におけるレンズ情報を考慮し、焦点ズレ量マップの各焦点ズレ量を、被写体までの距離情報（以下、被写体距離とする。）に変換する。これにより、撮像素子３０１の撮影画面上の各焦点検出用画素の位置と被写体距離とを対応させた分布データを得ることが可能となる。また、ＣＰＵ３１４は、距離マップ生成処理１３１において、被写体距離の分布データに基づき、被写体領域を抽出する。例えば、被写体距離の分布の中で、略々同じ被写体距離となっている領域を繋ぎ合わせてグルーピングし、撮影画面中に含まれる被写体の輪郭を抽出する。これにより、各被写体領域と被写体距離を対応させた被写体距離マップが得られることになる。この被写体距離マップが、距離マップ生成処理１３１により生成される距離マップである。
【０１２５】
なお、距離マップを生成する際の焦点検出用画素の機能は、撮像素子３０１の有効撮像領域内の全ての画素が有していてもよいし、数画素毎の画素が有していてもよい。数画素毎の画素が焦点検出用画素となされていている場合、各焦点検出用画素は、撮像素子３０１の撮像面上に一様に分布するように配される。距離マップ生成処理１３１により生成された距離マップの情報は、ストロボ成分推定処理１３２に送られる。
【０１２６】
図１１のストロボ成分推定処理１３２は、例えば図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、ストロボ成分推定処理１３２において、前述したストロボ配光レンズ周辺光量１３７と発光量情報１１０と距離マップとに基づいて、ストロボ成分を算出する。
【０１２７】
発光量情報１１０は、ストロボ発光部３１６におけるストロボ発光量であるガイドナンバーの情報である。具体的には、ストロボ発光時間やストロボ用コンデンサ端子の電圧値又は実際に発光時に消費された電流値などとガイドナンバーとの対応関係が予め測定されており、その対応関係を示す情報として発光量情報１１０が用意されている。ＣＰＵ３１４は、この発光量情報１１０における対応関係を基に、ストロボ発光時のガイドナンバーを求めることができる。また別の手法として、ストロボ発光部３１６に光量センサーを配しておき、ＣＰＵ３１４は、ストロボ発光時に光量センサーが検出した光量値に応じてガイドナンバーを決定してもよい。
【０１２８】
ここで、一般的に、ガイドナンバーは下記のように定義される。例えばＩＳＯ１００の感度の場合、ガイドナンバーは式（１７）のように定義される。
【０１２９】
ガイドナンバー＝被写体距離×絞り値        ・・・式（１７）
なお、絞り値はＦ値である。
【０１３０】
また、被写体距離の２乗値とストロボ光量は反比例し、ＩＳＯ感度とストロボ光量は比例する。例えば、被写体距離が２倍になると被写体上のストロボ光量は１／４倍になり、ＩＳＯ感度が２倍になると撮像面上でのストロボ光量は２倍相当になる。本実施形態では、例えば基準ＩＳＯ感度と基準被写体距離において、暗中で反射率１８％のグレーカード面にストロボ光を照射した際の撮像面の光量が予め算出されて、図示しないＲＯＭ等に保持されている。これにより、ＣＰＵ３１４は、被写体距離、ガイドナンバー、絞り値、ＩＳＯ感度等の情報を基に、被写体領域毎にストロボ光量成分を算出可能となる。また、ガイドナンバーは、画面中央部分における適正な光量を表す値として定義される。このため、ＣＰＵ３１４は、画面の周辺部分については、撮像面上における周辺光量落ち量に応じて、ストロボ照射量の周辺部の光量補正を行うことが可能である。
【０１３１】
ＣＰＵ３１４は、ストロボ成分推定処理１３２において、これらストロボ配光レンズ周辺光量１３７のストロボ配光量とレンズ周辺光量とストロボ発光量（ガイドナンバー）と被写体距離とに応じて、撮像面への入射光量であるストロボ成分を推定する。式（１８）には、撮像素子３０１の撮像面の座標（ｘ，ｙ）におけるストロボ成分の推定量の演算式を示す。
【０１３２】
f(x,y)＝G.N.×St(x,y)×LensSHD(x,y)/(Dist(x,y)×FNo)×(R(x,y)/0.18)×AETarget
・・・式（１８）
f(x,y)：ストロボ照射がなされたときの撮像素子３０１への入射光量
G.N.：ガイドナンバー
St(x,y)：配光情報であり、画像中心部の配光量を「１」とした時の周辺の配光分布
LensSHD(x,y)：画像中心部の配光量を「１」とした時のレンズの周辺光量比率
Dist(x,y)：被写体領域毎の被写体距離
R(x,y)：被写体反射率
AETarget：適正露光撮影時に得られるの撮像素子３０１の出力レベル
【０１３３】
ここで、例えば反射率１８％のグレーカードを撮影した場合、撮影画像の中央部では、式（１８）は式（１９）のように簡略化できる。さらにストロボ光が適正露光となるガイドナンバー（G.N.）で撮影されている場合、式（１７）から撮像素子３０１の出力値は適正露光での撮影がなされた際に得られるの出力レベルの値が得られることがわかる。
【０１３４】
f(x,y)＝G.N.×/(Dist(x,y)×FNo）×AETarget        ・・・式（１９）
【０１３５】
また、ストロボ非発光画像１０２とストロボ発光画像１００に含まれる外光成分（環境光成分）のうち、光源による光量成分と被写体反射率の切り分けはできないため、被写体の反射率は測定できない。このため、被写体の反射率は、簡易的に一律に１８％の反射率として計算してもよいし、ストロボ発光画像１００の色味や輝度値に応じて反射率の想定を変えてもよい。例えば、黄色の被写体の場合、反射率を７０％に設定するなど、色味やストロボ発光画像１００の輝度値に応じて反射率の推定を行うことで精度を向上させることも可能である。また、ストロボ光のガイドナンバーを変えた２回の撮影を行い、それら２回の撮影による両撮影画像の差分を求めることで、外光成分を除去することができ、それらの画像差分量がストロボ光変動分となる。また前述したように、被写体距離とガイドナンバーの差分から被写体へのストロボ光の照射量の推定が可能になるため、そのストロボ照射量と実際の画像信号値の比率を計算することで、被写体の反射率を測定することが可能である。
【０１３６】
図１１に説明を戻す。
領域毎外光・ストロボ光比率生成処理１３８（以下、光比率生成処理１３８と表記する。）は、ストロボ発光画像１００の画像信号の値から、ストロボ成分推定処理１３２で算出したストロボ成分の値を減算することにより、外光成分量を算出する。そして、光比率生成処理１３８は、前述の光比率生成処理１３３と同様の処理により、被写体領域毎にストロボ光と外光の割合（光量比率）を求める。この光比率生成処理１３８により算出された割合の情報は、合成比率補正処理１４０に送られる。
【０１３７】
合成比率補正処理１４０は、前述したように、移動体領域抽出処理１２３にて抽出された移動体領域について、合成比率決定処理１０５で算出された合成比率を、ストロボ外光比率推定処理１３０による被写体領域毎の割合に応じて修正する。
【０１３８】
以上説明したように、本実施形態においては、前述したように第１のＹＵＶ画像と第２のＹＵＶ画像を、画像合成比率α[i]に応じて画像合成処理１１４にて合成している。ここで、一般的に、複数の光源からの光が混合された際の色味は、それぞれ光の加法性が成り立つ。つまり、ストロボ光量と外光成分の光量比率が判れば、それぞれの光源の光に対応したＷＢ補正処理後の画像を、ストロボ光量と外光量の光量比率に応じて合成すれば、両方の光源に適したＷＢ制御がなされた画像が得られる。そして、本実施形態においては、本露光画像であるストロボ発光画像１００について、被写体等が移動していない被写体領域については、第１のＷＢ補正値にてＷＢ補正された画像と第２のＷＢ補正値にてＷＢ補正された画像の合成が行われている。このように被写体等が移動していない被写体領域においては、外光光量とストロボ光量が正確に算出可能であるため光量比率を正確に算出ができる。
【０１３９】
一方で、被写体等が移動している移動被写体である場合、その移動体領域については、ストロボ非発光画像１０２とストロボ発光画像１００との比較では正確な光量比率の算出ができない。このため、本実施形態では、本露光画像であるストロボ発光画像１００から算出した距離マップとその時の撮影情報とに基づいて、ストロボ光と外光との割合を推定している。そして、本実施形態では、移動体領域については、その割合を画像合成比率として用い、画像合成を行うようにしている。
【０１４０】
本実施形態によれば、ストロボ発光画像１００とストロボ非発光画像１０２を用いて移動体領域を判定し、また被写体の距離情報を取得し、移動体動領域に対しては距離情報に基づく合成比率を決定している。このため、本実施形態によれば、ストロボ光を発光したシーンにおいて、被写体に動きがあったとしても、被写体領域毎に最適なホワイトバランス制御が可能となり、主被写体と背景を共に適正な色味とする画像を取得することができる。
【０１４１】
なお、本実施形態では、各焦点検出用画素における位相差を検出することで距離マップを求める例を挙げている。ただし、位相差検出方式による距離の測定は、近距離の領域であれば被写界深度が距離に対して十分に浅いため正確に算出可能であるものの、遠距離である場合には距離に対して深度が深いため、正確に距離の算出はできない。しかしながら、近距離の領域では被写体距離によってストロボ光の照射量の差分が大きいため、ストロボ光の照射量の差分による色ムラが大きくなる。このため、色ムラを生じさせないためにも正確にＷＢ補正の制御が必要になるが、遠距離に対してはストロボ照射量の距離による変動が少なくなるため、距離を正確に算出する必要はない。
【０１４２】
＜第２の実施形態＞
以下、第２の実施形態の撮像装置について説明する。第２の実施形態は、距離マップの情報を用いて移動体領域を抽出する場合の例である。図１２は、第２の実施形態の撮像装置において、前述の第１の実施形態における図２の処理フローとは異なる部分を抜き出して示す図である。第２の実施形態の場合、前述の図２の処理フローの第１，第２の色味情報取得処理１２０１，１２０２とストロボ発光画像色味補正処理１２１に代えて、図１２に示す後述する各処理１３１１，１３１２，１３４１，１３４２，１３５，１３６が用いられる。なお、第２の実施形態において、距離マップの情報に基づいて移動体領域を抽出すること以外の他の各処理は、前述の図２の処理フローと同様であるため、それらの説明は省略する。
【０１４３】
図１２に示すように、第２の実施形態の場合、ストロボ発光画像１００は、第１の距離マップ生成処理１３１１に送られる。第１の距離マップ生成処理１３１１は、例えば図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、第１の距離マップ生成処理１３１１として、前述した図１１の距離マップ生成処理１３１で説明したのと同様にして、ストロボ発光画像１００から距離マップを生成する。以下、第１の距離マップ生成処理１３１１により生成された距離マップを「第１の距離マップ」と表記する。第１の距離マップの情報は、第１の距離マップ信頼度生成処理１３４１と距離マップ差分抽出処理１３６に送られる。
【０１４４】
ストロボ非発光画像１０２は、第２の距離マップ生成処理１３１２に送られる。第２の距離マップ生成処理１３２２は、例えば図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、第２の距離マップ生成処理１３１１として、前述同様に、ストロボ非発光画像１０２から距離マップを生成する。以下、第２の距離マップ生成処理１３１２により生成された距離マップを「第２の距離マップ」と表記する。第２の距離マップの情報は、第２の距離マップ信頼度生成処理１３４２と距離マップ高信頼度領域抽出処理１３５に送られる。
【０１４５】
第１の距離マップ信頼度生成処理１３４１（以下、第１の信頼度生成処理１３４１と表記する。）は、例えば図１のＣＰＵ３１４により行われる処理である。前述したように、距離マップは、全ての焦点検出用画素の出力信号の相関演算により求められた位相差に基づいて生成されている。ＣＰＵ３１４は、第１の信頼度生成処理１３４１として、第１の距離マップについて相関演算の結果である位相差の信頼性を判定する。この場合の信頼性とは、焦点検出用画素による二つの像の信号の一致度に相当し、二つの像の信号の一致度が高い場合は焦点検出結果の信頼性が高いと言える。ＣＰＵ３１４は、第１の信頼度生成処理１３４１において、焦点検出用画素による二つの像の信号の一致度が或る閾値を超えているか否かにより、相関演算の位相差検出結果の信頼性の判定を行う。このように、ＣＰＵ３１４は、第１の信頼度生成処理１３４１において、第１の距離マップが生成された際の各位相差についての信頼度を判定する。第１の信頼度生成処理１３４１による第１の距離マップの信頼度の判定結果の情報は、距離マップ高信頼度領域抽出処理１３５に送られる。
【０１４６】
第２の距離マップ信頼度生成処理１３４２（以下、第２の信頼度生成処理１３４２と表記する。）は、例えば図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、第２の信頼度生成処理１３４２として、第１の信頼度生成処理１３４１と同様にして、第２の距離マップについて各位相差の信頼度を判定する。第２の信頼度生成処理１３４２による第２の距離マップの信頼度の判定結果の情報は、距離マップ高信頼度領域抽出処理１３５に送られる。
【０１４７】
距離マップ高信頼度領域抽出処理１３５（以下、信頼度領域抽出処理１３５と表記する。）は、例えば図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、信頼度領域抽出処理１３５として、第１の距離マップの各位相差の信頼度と第２の距離マップの各位相差の信頼度とを比較し、両者の差が少ない信頼度を選択する。そして、ＣＰＵ３１４は、信頼度領域抽出処理１３５において、選択された各位相差の信頼度が所定の値より高くなっている信頼度が集まった領域を、第１，第２の両距離マップにおいて信頼度の高い領域として抽出する。以下、第１，第２の両距離マップにおいて信頼度が高いとして抽出された領域を「高信頼度領域」と表記する。信頼度領域抽出処理１３５により抽出された高信頼度領域の情報は、移動体領域抽出処理１２３に送られる。
【０１４８】
距離マップ差分抽出処理１３６（以下、差分抽出処理１３６と表記する。）は、例えば図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、差分抽出処理１３６として、第１の距離マップと第２の距離マップの各距離情報の差分を求め、差分が大きい距離情報が集まった領域を抽出する。以下、それら差分が大きい距離情報が集まった領域を「大差分距離領域」と表記する。差分抽出処理１３６により抽出された大差分距離領域の情報は、移動体領域抽出処理１２３に送られる。
【０１４９】
第２の実施形態の場合、ＣＰＵ３１４は、移動体領域抽出処理１２３として、大差分距離領域で且つ高信頼度領域である領域を、ストロボ発光画像１００の移動体領域として抽出する。第２の移動体領域抽出処理１２３により抽出された移動体領域の情報は、合成比率補正処理１４０に送られる。合成比率補正処理１４０は前述の第１の実施形態と同様であるため、この説明は省略する。
【０１５０】
以上説明したように、第２の実施形態によれば、移動体領域を距離マップに基づいて抽出しており、距離マップを用いることで画素毎に距離情報の抽出が可能になり、このため、高い解像度で移動体領域の抽出が可能になるという長所を有する。また、第２の実施形態によれば、第１の実施形態の場合のように画像領域毎に色味の評価を行う必要がなくなるため、演算量の低減が可能となる。
【０１５１】
ただし、第２の実施形態の場合、例えば暗い被写体やコントラストの少ない被写体等の場合には、前述した位相差に基づく距離の測定ができなくなることがあり、距離マップによる移動体領域の抽出が難しくなる虞がある。このような場合には、第１の実施形態の色味評価による移動体領域の抽出を行うように切り替え、また、距離を計測可能な領域の面積が一定の面積以上になった場合には距離マップを使用した移動体領域抽出を行うようにするなどの使い分けを行ってもよい。また、それら距離マップによる移動体領域抽出と色味評価による移動体領域抽出の使い分けを行う場合、それらの何れを用いるかは、例えば線形補間などの手法で決めてもよい。
【０１５２】
＜第３の実施形態＞
以下、第３の実施形態の撮像装置について説明する。第３の実施形態は、移動体領域の画像合成比率を、ストロボ光と外光の光量比と、被写体距離との相関演算結果に基づいて決定する場合の例である。図１３は、第３の実施形態の撮像装置において、前述の第１の実施形態における図２の処理フローとは異なる部分を抜き出して示す図である。第３の実施形態の場合、前述の図２の処理フローに加えて、後述する各処理１３９，１３４，１５０，１６０，１６１が設けられている。なお、第３の実施形態において、これら追加された各処理以外の他の各処理は、前述の図２の処理フローと同様であるため、それらの説明は省略する。ただし、第３の実施形態の場合、図２のストロボ外光比率推定処理１３０は行われず、ストロボ光と外光の光量比と、被写体距離との相関演算結果に基づいて、移動体領域の画像合成比率が求められる。
【０１５３】
図１３に示すように、第３の実施形態の場合、ストロボ発光画像１００は、距離マップ生成処理１３９と被写体領域判別処理１６０に送られる。距離マップ生成処理１３９は、前述した図１１の距離マップ生成処理１３１や図１２の第１の距離マップ生成処理１３１１と同じ処理であるため、詳細な説明は省略する。距離マップ生成処理１３９により生成された距離マップの情報は、距離マップ信頼度生成処理１３４と被写体領域毎距離情報取得処理１６１と距離・光量比相関演算処理１５０とに送られる。
【０１５４】
距離マップ信頼度生成処理１３４は、前述の図１２で説明した第１の信頼度生成処理１３４１と同じ処理であるため、詳細な説明は省略する。距離マップ信頼度生成処理１３４により生成された距離マップの信頼度の情報は、合成比率補正処理１４０に送られる。
【０１５５】
被写体領域判別処理１６０は、例えば図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、被写体領域判別処理１６０として、本露光画像であるストロボ発光画像１００に含まれる被写体領域を判別する。ＣＰＵ３１４は、被写体領域判別処理１６０として、顔画像領域検出処理や、彩度や色相や輝度値等により似た色の画像領域を検出する処理、オートフォーカス情報や距離マップによる距離情報に基づいて画像領域を検出する処理などにより被写体領域を判別する。なお、これら顔画像検出処理や、似た色による画像領域検出処理、距離情報に基づく画像領域検出処理は、一般的に知られた技術であるため、ここではそれらの詳細な説明は省略する。なお、被写体領域判別処理１６０は、これらの各処理が組み合わされた処理であってもよい。被写体領域判別処理１６０により判別された被写体領域の情報は、被写体領域毎距離情報取得処理１６１に送られる。
【０１５６】
被写体領域毎距離情報取得処理１６１（以下、距離情報取得処理１６１と表記する。）は、例えば図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、距離情報取得処理１６１として、被写体領域毎に距離情報の分布を算出し、被写体領域毎に距離の代表値を算出する。被写体領域毎の距離の代表値としては、例えば平均値や中央値など統計的な手法を用いて得られる値を用いる。距離情報取得処理１６１による被写体領域毎の距離情報の代表値は、合成比率補正処理１４０に送られる。
【０１５７】
距離・光量比相関演算処理１５０（以下、相関演算処理１５０と表記する。）は、例えば図１のＣＰＵ３１４により行われる処理である。ＣＰＵ３１４は、相関演算処理１５０として、距離マップ生成処理１３９からの距離マップと、前述した光比率生成処理１３３からの光量比率とに基づいて、被写体領域毎の被写体距離と光量比率との間の相関演算を行う。なお、このときの相関演算手法は、最小二乗法などの一般的な手法などが用いられる。相関演算処理１５０による相関演算で求められた相関係数は、合成比率補正処理１４０に送られる。
【０１５８】
第３の実施形態の場合の合成比率補正処理１４０では、相関演算処理１５０からの相関係数と、距離マップ信頼度生成処理１３４からの信頼度と、距離情報取得処理１６１からの距離情報の代表値とに基づいて、移動体領域毎に合成比率の補正が行われる。具体的には、ＣＰＵ３１４は、第３の実施形態における合成比率補正処理１４０として、距離マップの信頼度が閾値以上の高い移動体領域については、相関演算処理１５０による相関係数に基づいて合成比率を決定する。一方、距離マップの信頼度が閾値より低い移動体領域については、合成比率補正処理１４０では、移動体領域の距離の代表値と光量比率との相関演算による相関係数を求め、その相関係数に基づいて合成比率を算出する。そして、合成比率補正処理１４０による補正処理後の合成比率の情報は、前述した図２のリサイズ処理１０６に送られる。
【０１５９】
なお、第３の実施形態において、ストロボ光の照射量の相関係数を算出する際には、ストロボ光の照射分布を用い、ストロボ光の比率をストロボ照射量に依存させるように補正することで、被写体距離と光量比率との相関演算の精度を向上させることが可能となる。すなわち、ストロボ光量と外光量の光量比率は、ストロボ照射量に依存するため、相関係数を算出する際に、ストロボ照射分布に応じてストロボ光の比率を補正する。より具体的には、相関係数を算出する際のストロボ光量に対して、図１のストロボ配光レンズ周辺光量１３７と撮影時の焦点距離とからストロボ配光情報を算出し、配光分布の画像中心部の照射量との比率をストロボ光量に乗算する。このようにすることでストロボ照射ムラがないデータに対してストロボ光量と距離との相関を得ることができ、より精度の高い距離と外光とストロボの光量の相関係数を得られる。一方、前述のように算出された相関係数から被写体距離に応じたストロボ光量を算出する際、ストロボ光量に対して、撮像面内のストロボ照射量分布に応じた照射光量比を乗算することで、ストロボ光と外光量の光量比率をより高精度に算出可能になる。
【０１６０】
以上説明したように、第３の実施形態では、距離マップと光量比率との相関関係をストロボ発光画像１００から算出し、ストロボ発光画像１００の距離マップを用いて補正を行っている。このように、同一のストロボ発光画像１００の距離マップとストロボ発光量との相関係数を算出しているため、被写体の移動による誤差が生ずることがなく、したがって、移動体領域について精度良くＷＢ補正を行えるようになる。また、第３の実施形態においては、ストロボ発光画像１００の被写体領域判別と距離マップ生成を行うことで、ストロボ発光画像１００から距離と被写体領域との関係を得ることができる。例えば、ストロボ発光画像１００内の被写体領域では、被写体距離が均一であることも多く、したがって、本実施形態では、距離マップが正確に求められていない場合においても、光量比率の算出の精度を向上させることができる。
【０１６１】
＜その他の実施形態＞
本発明は、上述した各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１６２】
上述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１６３】
１００  ストロボ発光画像（本露光画像）、１０１  リサイズ処理、１０２  ストロボ非発光画像（ＥＶＦ画像）、１０３  露光量演算処理、１０４  領域毎ストロボ発光量演算処理、１０５  画像合成比率決定処理、１０６  リサイズ処理、１０７  第２のＷＢ補正値算出処理、１０９１  第１のＷＢ処理、１０９２  第２のＷＢ処理、１１０  発光量情報、１１１  第１のＷＢ補正値算出処理、１１３１  第１の現像処理、１１３２  第２の現像処理、１１４  画像合成処理、１２０１  第１の色味情報取得処理、１２０２  第２の色味情報取得処理、１２１  ストロボ発光画像色味補正処理、１２３  移動体領域抽出処理、１３０  ストロボ外光比率推定処理、１３１  距離マップ生成処理、１３２  ストロボ成分推定処理、１３８  領域毎外光・ストロボ光比率生成処理、１３１１  第１の距離マップ生成処理、１３１２  第２の距離マップ生成処理、１３４１  第１の距離マップ信頼度生成処理、１３４２  第２の距離マップ信頼度生成処理、１３６  距離マップ差分抽出処理、１３５  距離マップ高信頼度領域抽出処理、１３７  ストロボ配光レンズ周辺光量情報、１４０  移動体領域合成比率補正処理、１５０  距離光量比相関演算処理、３０１  撮像素子、３０２  メモリ、３０３  ＷＢ制御部、３０４  色変換ＭＴＲ回路、３０５  ＬＰＦ回路、３０６  ＣＳＵＰ回路、３０７  ＲＧＢ変換回路、３０８  ガンマ補正回路、３０９  色輝度変換回路、３１０  ＪＰＥＧ圧縮回路、３１１  Ｙ生成回路、３１２  エッジ強調回路、３１３  鏡筒制御回路、３１４  ＣＰＵ、３１５  鏡筒部、３１６  ストロボ発光部、３２０  周辺光量補正部、３２５  画像合成処理部
【図１】
2017034536.tif 000005
【図２】
2017034536.tif 000006
【図３】
2017034536.tif 000007
【図４】
2017034536.tif 000008
【図５】
2017034536.tif 000009
【図６】
2017034536.tif 000010
【図７】
2017034536.tif 000011
【図８】
2017034536.tif 000012
【図９】
2017034536.tif 000013
【図１０】
2017034536.tif 000014
【図１１】
2017034536.tif 000015
【図１２】
2017034536.tif 000016
【図１３】
2017034536.tif 000017