(57)【要約】【課題】複数の画像からぶれ及びノイズの少ない補正画像を生成する。【解決手段】露光時間の短い短露光画像及び露光時間の長い適正露光画像に基づく画像（第３中間生成画像）を合成することで目標補正画像を生成する。エッジ強度値算出部５５は、エッジ評価画像（例えば短露光画像）の各画素位置におけるエッジ強度をエッジ強度値として算出する。領域エッジ量算出部７１は、エッジ評価画像の全画像領域を複数の部分画像領域に分割し、部分画像領域ごとに部分画像領域内のエッジ強度値を積算することで領域エッジ量を算出する。第２合成部５６ｂは、画素位置ごとに目標補正画像に対する短露光画像の合成比率を設定する。注目画素位置における該合成比率は、注目画素位置に対するエッジ強度値が大きいほど大きくされると共に注目画素位置の属する部分画像領域についての領域エッジ量が大きいほど大きくされる。【選択図】図１７
2011044846.tif 000002
【特許請求の範囲】
【請求項１】
撮影によって得られた第１画像を第１合成対象画像とし、
前記第１画像の露光時間よりも長い露光時間の撮影によって得られた第２画像、又は、前記第１画像のノイズを低減することによって得られた第３画像と前記第２画像との合成画像である第４画像を第２合成対象画像とし、前記第１及び第２合成対象画像を合成することで出力画像を生成する画像処理装置であって、
前記第１合成対象画像又は前記第３画像の全体画像領域を複数の部分画像領域に分割し、前記部分画像領域ごとに当該部分画像領域の画像データに基づいて当該部分画像領域の画像特徴量を抽出する特徴量抽出部を備え、
前記第１及び第２合成対象画像を合成する際の合成比率を、前記部分画像領域ごとに当該部分画像領域の画像特徴量に基づいて調整する
ことを特徴とする画像処理装置。
【請求項２】
前記特徴量抽出部は、前記部分画像領域ごとに当該部分画像領域におけるエッジ強度の大きさを前記画像特徴量として抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像特徴量としてのエッジ強度の大きさが比較的大きい部分画像領域に対しては、前記出力画像に対する前記第１合成対象画像の寄与度が比較的大きくなるように、且つ、前記画像特徴量としてのエッジ強度の大きさが比較的小さい部分画像領域に対しては、前記出力画像に対する前記第１合成対象画像の寄与度が比較的小さくなるように、前記合成比率を調整する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
撮影によって得られた第１画像を第１合成対象画像とし、
前記第１画像の露光時間よりも長い露光時間の撮影によって得られた第２画像、又は、前記第１画像のノイズを低減することによって得られた第３画像と前記第２画像との合成画像である第４画像を第２合成対象画像とし、前記第１及び第２合成対象画像を合成することで出力画像を生成する画像処理装置であって、
前記第１〜第４画像の何れか又は前記第１画像の撮影前若しくは後の撮影によって得られた画像である検出対象画像の画像データに基づいて、前記検出対象画像の中から特定物体の画像データが存在する画像領域の位置及び大きさを検出する特定物体検出部を備え、
前記第１及び第２合成対象画像の各全体画像領域を、検出された位置及び大きさに応じた特定領域とそれ以外の非特定領域とに分類し、前記第１及び第２合成対象画像を合成する際の合成比率を前記特定領域及び前記非特定領域間で異ならせる
ことを特徴とする画像処理装置。
【請求項５】
前記特定物体の画像データが存在する画像領域とは、人物の顔の画像データが存在する顔領域であり、
前記顔領域に対応する前記特定領域に対しては、前記出力画像に対する前記第１合成対象画像の寄与度が比較的小さくなるように、且つ、前記非特定領域に対しては、前記出力画像に対する前記第１合成対象画像の寄与度が比較的大きくなるように、前記合成比率を調整する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
撮影によって画像を取得する撮像部と、
請求項１〜請求項５の何れかに記載の画像処理装置と、を備え、
前記第１及び第２画像は前記撮像部によって取得される
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対して画像処理を施す画像処理装置、及び、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に関する。
【背景技術】
【０００２】
近年、手ぶれや被写体ぶれに由来して生じる画像ぶれを抑制する技術が盛んに開発されている。この種の技術の中で光学的にぶれ補正を行うものも存在するが、光学的にぶれ補正を行うためには、ぶれを検出するセンサ及びぶれを光学的に補正する機構が必要となる。これらのセンサ及び機構の搭載はコスト及び装置小型化の面において不利となる。そこで、撮影後の画像処理によってぶれを補正する技術も様々に提案されている。
【０００３】
例えば、或る従来方法では、露光時間の短い露光によって解像度（解像力）は高いがノイズの多い第１画像を撮影すると共に露光時間の長い露光によって解像度（解像力）は低いがノイズの少ない第２画像を撮影する。そして、第１及び第２画像の画像データに基づいて両画像間の位置ずれを検出し、その位置ずれを打ち消すための位置合わせを行った後、第１及び第２画像を合成することにより補正画像を生成する（例えば、下記特許文献１及び２参照）。
【０００４】
この際、特許文献１の方法では、第１及び第２画像間の画素信号の差分値を画素ごとに算出する。そして、ぶれ及びノイズの少ない補正画像を生成するべく、差分値が閾値よりも大きい画素に対しては当該画素をエッジと判断して第１画像の合成比率を比較的大きくし、逆に、差分値が閾値以下の画素に対しては当該画素を非エッジと判断して第２画像の合成比率を比較的大きくする。第１画像の合成比率を大きくすれば、ぶれが抑制されて鮮鋭度が増し、逆に第２画像の合成比率を大きくすれば、ノイズが抑制される。
【０００５】
特許文献２の方法では、第１及び第２画像間の画素信号の差分からエッジ部分を抽出し、画素ごとにエッジ部分からの距離を検出する。そして、画素ごとに検出距離に応じて第１及び第２画像の合成比率を設定している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３２４７７０号公報
【特許文献２】特開２００８−２３６７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の従来方法では、画素ごとにエッジ／非エッジの分類判定又は画素ごとにエッジ部分からの距離判定が行われて、その判定結果に基づき画素ごとに合成比率の設定がなされている。つまり、注目画素を内包する画像領域の全体的な画像特徴に関係なく、注目画素に対する判定結果のみに基づいて注目画素ごとに合成比率の設定がなされている。
【０００８】
しかしながら、例えば、注目画素が大きな平坦部を表す画像領域内に位置している場合には、当該画像領域内のノイズ低減を優先した方が全体的な画質向上に寄与すると思われるし、注目画素が平坦部及びエッジ部が混在した画像領域内に位置している場合には、当該画像領域内の鮮鋭度を優先した方が全体的な画質向上に寄与すると思われる（同様の内容が、図面を参照しつつ後述の実施形態において詳説される）。また、撮影画像上には様々な種類の物体の画像データが存在しうるが、第１及び第２画像上に現れている物体（被写体）の種類等に関係なく、合成比率を設定することが最適であるとは言えない（例えば、物体の種類によっては、鮮鋭度を優先した方が良い場合もあるし、そうでない場合もある）。
【０００９】
上述したような、注目画素に対する判定結果のみに基づいて注目画素ごとに合成比率の設定を行う従来方法では、これらの課題に対応することができない。
【００１０】
そこで本発明は、複数の画像を合成して得られる画像中のぶれ及びノイズの抑制最適化に寄与する画像処理装置及び撮像装置を提供することを目的とする。
を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る第１の画像処理装置は、撮影によって得られた第１画像を第１合成対象画像とし、前記第１画像の露光時間よりも長い露光時間の撮影によって得られた第２画像、又は、前記第１画像のノイズを低減することによって得られた第３画像と前記第２画像との合成画像である第４画像を第２合成対象画像とし、前記第１及び第２合成対象画像を合成することで出力画像を生成する画像処理装置であって、前記第１合成対象画像又は前記第３画像の全体画像領域を複数の部分画像領域に分割し、前記部分画像領域ごとに当該部分画像領域の画像データに基づいて当該部分画像領域の画像特徴量を抽出する特徴量抽出部を備え、前記第１及び第２合成対象画像を合成する際の合成比率を、前記部分画像領域ごとに当該部分画像領域の画像特徴量に基づいて調整することを特徴とする。
【００１２】
これにより、部分画像領域の全体的な画像特徴を考慮した上で当該部分画像領域に対する合成比率が設定される。結果、ぶれの抑制（鮮鋭度向上）を優先した方が良いと思われる部分画像領域に対しては第１合成対象画像の合成比率を高める、ノイズの抑制を優先した方が良いと思われる部分画像領域に対しては第２合成対象画像の合成比率を高める、といったことが可能となる。
【００１３】
具体的には例えば、第１の画像処理装置において、前記特徴量抽出部は、前記部分画像領域ごとに当該部分画像領域におけるエッジ強度の大きさを前記画像特徴量として抽出する。
【００１４】
また例えば、第１の画像処理装置において、前記画像特徴量としてのエッジ強度の大きさが比較的大きい部分画像領域に対しては、前記出力画像に対する前記第１合成対象画像の寄与度が比較的大きくなるように、且つ、前記画像特徴量としてのエッジ強度の大きさが比較的小さい部分画像領域に対しては、前記出力画像に対する前記第１合成対象画像の寄与度が比較的小さくなるように、前記合成比率を調整するようにしてもよい。
【００１５】
これにより、注目した部分画像領域の画像にエッジ部と平坦部が混在する場合には、当該部分画像領域におけるエッジ強度が大きくなるので、出力画像に対する第１合成対象画像の寄与度が高められる。結果、注目した部分画像領域におけるエッジ部の鮮鋭度低下が回避される。また、注目した部分画像領域の画像が連続する大きな平坦部の画像である場合には、当該部分画像領域におけるエッジ強度が小さくなるので、出力画像に対する第１合成対象画像の寄与度が低められる。つまり、ノイズが目立ちやすい平坦部のノイズ低減が優先される。
【００１６】
また具体的には例えば、第１の画像処理装置は、前記第１合成対象画像又は前記第３画像の各画素位置におけるエッジ強度を導出するエッジ強度導出部を更に備え、前記合成比率を画素位置ごとに設定し、注目画素位置に対する前記合成比率を、前記注目画素位置におけるエッジ強度と前記注目画素位置の属する部分画像領域の画像特徴量に基づいて設定する。
【００１７】
また例えば、第１の画像処理装置において、前記画像特徴量に基づいて導出される前記部分画像領域ごとの合成比率を、隣接する部分画像領域間で合成比率の変化量が抑制されるように修正し、修正後の合成比率を用いて前記第１及び第２合成対象画像を合成することで前記出力画像を生成するようにしてもよい。
【００１８】
これにより、隣接する部分画像領域の境界部分において画像の質感（画像鮮鋭度等）が急峻に変化することが抑制される。
【００１９】
本発明に係る第２の画像処理装置は、撮影によって得られた第１画像を第１合成対象画像とし、前記第１画像の露光時間よりも長い露光時間の撮影によって得られた第２画像、又は、前記第１画像のノイズを低減することによって得られた第３画像と前記第２画像との合成画像である第４画像を第２合成対象画像とし、前記第１及び第２合成対象画像を合成することで出力画像を生成する画像処理装置であって、前記第１〜第４画像の何れか又は前記第１画像の撮影前若しくは後の撮影によって得られた画像である検出対象画像の画像データに基づいて、前記検出対象画像の中から特定物体の画像データが存在する画像領域の位置及び大きさを検出する特定物体検出部を備え、前記第１及び第２合成対象画像の各全体画像領域を、検出された位置及び大きさに応じた特定領域とそれ以外の非特定領域とに分類し、前記第１及び第２合成対象画像を合成する際の合成比率を前記特定領域及び前記非特定領域間で異ならせる。
【００２０】
これにより、特定物体の種類等に応じて、特定領域のぶれの抑制（鮮鋭度向上）を優先した方が良いと思われる場合には特定領域に対する第１合成対象画像の合成比率を非特定領域のそれよりも高める、特定領域のノイズの抑制を優先した方が良いと思われる場合には特定領域に対する第２合成対象画像の合成比率を非特定領域のそれよりも高める、といったことが可能となる。
【００２１】
具体的には例えば、第２の画像処理装置において、前記特定物体の画像データが存在する画像領域とは、人物の顔の画像データが存在する顔領域であり、前記顔領域に対応する前記特定領域に対しては、前記出力画像に対する前記第１合成対象画像の寄与度が比較的小さくなるように、且つ、前記非特定領域に対しては、前記出力画像に対する前記第１合成対象画像の寄与度が比較的大きくなるように、前記合成比率を調整するようにしてもよい。
【００２２】
これにより、出力画像の顔領域内において、細部が目立たなくなり（例えば、肌のざらつきが目立たなくなり）、美肌の演出効果を得ることができる。
【００２３】
或いは例えば、第２の画像処理装置において、前記特定領域に対しては、前記出力画像に対する前記第１合成対象画像の寄与度が比較的大きくなるように、且つ、前記非特定領域に対しては、前記出力画像に対する前記第１合成対象画像の寄与度が比較的小さくなるように、前記合成比率を調整するようにしてもよい。
【００２４】
また例えば、第２の画像処理装置において、前記特定領域を、前記非特定領域との距離が比較的遠い第１特定領域と前記非特定領域との距離が比較的近い第２特定領域とに分類し、前記出力画像に対する前記第１合成対象画像の寄与度が、前記第１特定領域、前記第２特定領域及び前記非特定領域の順番で増大又は減少するように、各領域に対する合成比率を調整してもよい。
【００２５】
特定領域と非特定領域の境界部分において画像の質感（画像鮮鋭度等）が急峻に変化することが抑制される。
【００２６】
本発明に係る撮像装置は、撮影によって画像を取得する撮像部と、上記の何れかの画像処理装置と、を備える。前記画像処理装置に対する前記第１及び第２画像は前記撮像部によって取得される。
【発明の効果】
【００２７】
本発明によれば、複数の画像を合成して得られる画像中のぶれ及びノイズの抑制最適化に寄与する画像処理装置及び撮像装置を提供することができる。
【００２８】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】図１の撮像装置によって撮影された短露光画像と適正露光画像の例を示す図である。
【図４】空間領域の二次元座標系と二次元画像を示す図である。
【図５】本発明の第１実施形態に係る画像補正部の内部ブロック図である。
【図６】図３（ａ）の短露光画像のノイズを低減することによって得られた第２中間生成画像を示す図である。
【図７】位置合わせ後の適正露光画像（第１中間生成画像）とノイズ低減処理後の短露光画像（第２中間生成画像）との間の差分画像を示す図である。
【図８】図５の差分値算出部で得られた差分値と、第１及び第２中間生成画像の画素信号の混合率と、の関係を示す図である。
【図９】位置合わせ後の適正露光画像（第１中間生成画像）とノイズ低減処理後の短露光画像（第２中間生成画像）とを合成することによって得られた第３中間生成画像を示す図である。
【図１０】図５のエッジ強度値算出部にて用いられる微分フィルタを示す図である。
【図１１】ノイズ低減処理後の短露光画像（第２中間生成画像）に対してエッジ抽出処理を施すことで得られたエッジ画像を示す図である。
【図１２】本発明の第１実施形態に係り、図５のエッジ強度値算出部で得られたエッジ強度値と、短露光画像及び第３中間生成画像の画素信号の混合率と、の関係を示す図である。
【図１３】短露光画像と第３中間生成画像を合成することによって得られた目標補正画像を示す図である。
【図１４】本発明の第１実施形態に係る画像補正部の変形内部ブロック図である。
【図１５】図１の撮像装置の撮影対象例を示す図である。
【図１６】図１５の撮影対象の撮影結果に対して、本発明の第１実施形態に係る方法を適用して得た目標補正画像の一部の拡大図である。
【図１７】本発明の第２実施形態に係る第２合成部の内部ブロック図である。
【図１８】本発明の第２実施形態に係り、二次元画像の全画像領域が複数の部分画像領域に分割される様子を示す図である。
【図１９】本発明の第２実施形態に係り、エッジ強度値と第２合成演算部における混合率との関係（３種類の関係）を示す図である。
【図２０】本発明の第２実施形態に係り、図１７の第２合成部への入力画像の変形例を示す図である。
【図２１】本発明の第３実施形態に係り、互いに隣接する４つの部分画像領域を示す図である。
【図２２】図２１の部分画像領域に対して算出された領域エッジ量の数値例を示す図である。
【図２３】本発明の第３実施形態に係る第２合成演算部の混合率が、第２実施形態との比較において、補正される様子を示す図である。
【図２４】本発明の第４実施形態に係る第２合成部の内部ブロック図である。
【図２５】図２４の特定領域検出部によって、二次元画像の全画像領域が特定領域と非特定領域に分割される様子を示した図である。
【図２６】本発明の第４実施形態に係り、検出対象画像から顔領域が抽出される様子を示した図である。
【図２７】本発明の第４実施形態に係り、エッジ強度値と第２合成演算部における混合率との関係（２種類の関係）を示す図である。
【図２８】本発明の第４実施形態に係る追尾処理部の概略内部ブロック図である。
【図２９】本発明の第４実施形態にて想定される撮影画像列を示す図である。
【図３０】本発明の第４実施形態に係り、図２４の第２合成部への入力画像の変形例を示す図である。
【図３１】本発明の第５実施形態に係り、顔領域が顔中央領域と顔周辺領域に分割される様子を示した図である。
【図３２】本発明の第５実施形態に係り、エッジ強度値と第２合成演算部における混合率との関係を示す図である。
【図３３】本発明の第５実施形態に係り、第２合成演算部における混合率の決定するために、顔領域内の複数の画素位置が参照される様子を示した図である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第５実施形態を説明するが、まず、各実施形態に共通する事項又は各実施形態にて参照される事項について説明する。
【００３１】
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。尚、撮影と撮像は同義である。
【００３２】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。主制御部１３には、画像補正部２０が備えられている。操作部１７には、シャッタボタン１７ａが備えられている。尚、表示部１５は撮像装置１の外部に設けられた表示装置である、と捉えても良い。
【００３３】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの駆動制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。
【００３４】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各受光画素は露光時間（即ち露光期間の長さ）に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。以下の説明における「露光」とは、撮像素子３３の露光を意味するものとする。
【００３５】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
【００３６】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としての機能を有する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する機能をも備え、表示に必要な制御を表示部１５に対して行う。また、主制御部１３は、撮像素子３３の露光時間を制御するための露光時間制御信号を撮像部１１に出力する。主制御部１３に備えられる画像補正部２０の機能については後述する。
【００３７】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記録する。尚、主制御部１３には、任意の画像の画像データを圧縮する圧縮処理部及び圧縮画像データを伸張する伸張処理部が設けられており、圧縮画像データを記録媒体１６に記録することができる。
【００３８】
操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、画像の撮影及び記録を指示するためのボタンである。
【００３９】
シャッタボタン１７ａは２段階の押下操作が可能に形成されている。撮影者がシャッタボタン１７ａを軽く押し込むと、シャッタボタン１７ａは半押しの状態となり、その状態から更にシャッタボタン１７ａを押し込むとシャッタボタン１７ａは全押しの状態となる。
【００４０】
撮影画像は、手ぶれに起因するぶれを含みうる。画像補正部２０は、光学的に手ぶれ補正を行うことなく、撮像部１１の出力信号によって表される画像データを用いた画像処理により、ぶれの少ない画像を生成する機能を備える。画像補正部２０によって生成されるべき、ぶれの少ない画像を、以下特に「目標補正画像」という。
【００４１】
目標補正画像は、適正露光画像及び短露光画像に基づいて生成される。適正露光画像は、適正露光時間ＴOPの露光による撮影によって撮像素子３３から得られる画像を指し、短露光画像は、適正露光時間ＴOPよりも短い露光時間ＴSHの露光による撮影によって撮像素子３３から得られる画像を指す。
【００４２】
撮影画像の明るさが短露光画像及び適正露光画像間で同程度となるように、短露光画像の取得時における感度が調整される。即ち、撮影画像の明るさが短露光画像及び適正露光画像間で同程度となるように、適正露光時間ＴOPと露光時間ＴSHの比に基づき、短露光画像の取得時における感度は適正露光画像の取得時における感度よりも大きくされる。感度は、例えばＩＳＯ感度である。ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで撮影画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅度を決定する。その増幅度はＩＳＯ感度に比例している。ＩＳＯ感度が２倍になれば、その増幅度も２倍となり、これによって撮影画像の各画素の輝度値（即ち明るさ）も２倍となる（但し、増幅における飽和を無視）。或る画素の輝度値とは、その画素の輝度信号の値を指す。
【００４３】
短露光画像は比較的短い露光時間によって撮影されるため、短露光画像に含まれる、手ぶれに由来するぶれ及び被写体ぶれに由来するぶれは比較的少ない。そのため、短露光画像においては、エッジが鮮明に描写される。しかしながら、撮影時の感度が高いことから、短露光画像にはノイズが比較的多く含まれる。
【００４４】
これに対して、適正露光画像は比較的長い露光時間によって撮影されるため、適正露光画像に含まれるノイズは比較的少ない。但し、露光時間が長いことから、適正露光画像には手ぶれ及び被写体ぶれに由来するぶれが含まれやすくなる。
【００４５】
図３（ａ）及び（ｂ）に、短露光画像と適正露光画像の例を示す。図３（ａ）及び（ｂ）における画像３１０及び３１１が、夫々、短露光画像及び適正露光画像の例である。短露光画像３１０及び適正露光画像３１１は、背景被写体である山の前に注目被写体としての人物ＳＵＢが立っている状態を撮影することにより得られたものである。
【００４６】
適正露光画像３１１と比較して、短露光画像３１０では、エッジが鮮明に描写されているものの比較的大きなノイズ（図３（ａ）における黒い斑点に対応）が混入している。一方、短露光画像３１０と比較して、適正露光画像３１１に含まれるノイズは少ないが適正露光画像３１１上では人物ＳＵＢが大きくぶれている。また、図３（ａ）及び（ｂ）では、短露光画像３１０及び適正露光画像３１１の撮影中に人物ＳＵＢが移動していることを想定しており、これによって短露光画像３１０上の人物ＳＵＢの位置と比べて適正露光画像３１１上の人物ＳＵＢは右寄りに位置していると共に適正露光画像３１１上の人物ＳＵＢには被写体ぶれが生じている。
【００４７】
また、図４に示す如く、任意の二次元画像３００が配置される、空間領域（spatial domain）の二次元座標系ＸＹを定義する。画像３００は、例えば、上述の撮影画像、適正露光画像、短露光画像、目標補正画像、又は、後述の第１〜第３中間生成画像である。Ｘ軸及びＹ軸は、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。
【００４８】
以下、撮像装置１（特に画像補正部２０）の構成及び動作を説明する実施形態として第１〜第５実施形態を説明する。矛盾なき限り、或る実施形態に記載した事項を他の実施形態に適用することもできる。特に、第１実施形態には第２〜第５実施形態にて示される技術の前提技術が示されているため、第１実施形態に記載した事項は、矛盾なき限り、第２〜第５実施形態にも適用される。
【００４９】
＜＜第１実施形態＞＞
まず、本発明の第１実施形態を説明する。第１実施形態では、シャッタボタン１７ａの押下に伴って、以下のように短露光画像及び適正露光画像が取得される。
【００５０】
シャッタボタン１７ａが半押しの状態となっていることが確認されると、主制御部１３は、プリ露光を実行し、プリ露光にて得られるＡＦＥ１２の出力信号レベルから適正露光時間ＴOPを決定する。プリ露光とは、短露光画像及び適正露光画像の露光に先立って行われる露光を指す。その後、シャッタボタン１７ａが全押しの状態となっていることが確認されると、短露光画像と適正露光画像を連続的に撮影する。短露光画像の撮影後に適正露光画像を撮影しても良いし、適正露光画像の撮影後に短露光画像を撮影しても良いが、両画像の露光間隔がなるだけ短くなるようにそれらは連続的に撮影される。上述したように、適正露光画像は適正露光時間ＴOPにて撮影され、短露光画像は適正露光時間ＴOPよりも短い露光時間ＴSHにて撮影される。例えば、露光時間ＴSHは、光学系３５の焦点距離の逆数に相当する手ぶれ限界露光時間以下に設定される。ＴSHをＴOP／４などに設定してもよい。
【００５１】
図５は、第１実施形態に係る画像補正部２０ａの内部ブロック図である。第１実施形態では、図１の画像補正部２０として画像補正部２０ａが用いられる。上述の如く撮影された短露光画像及び適正露光画像の画像データは、画像補正部２０ａに入力される。画像データとは、画像の色及び輝度を表すデータを指す。
【００５２】
画像補正部２０ａは、短露光画像と適正露光画像との間の位置ずれを検出して両画像間の位置合わせを行う位置合わせ部５１と、短露光画像に含まれるノイズを低減するノイズ低減部５２と、位置合わせ後の適正露光画像とノイズ低減後の短露光画像との間の差分をとって各画素位置における差分値を算出する差分値算出部５３と、その差分値に基づく合成比率にて位置合わせ後の適正露光画像とノイズ低減後の短露光画像を合成する第１合成演算部５４と、ノイズ低減後の短露光画像からエッジを抽出してエッジ強度値を算出するエッジ強度値算出部５５と、エッジ強度値に基づく合成比率にて短露光画像と第１合成演算部５４による合成画像とを合成することにより目標補正画像を生成する第２合成演算部５６と、を備える。差分値算出部５３及び第１合成演算部５４によって第１合成部６１が形成され、エッジ強度値算出部５５及び第２合成演算部５６によって第２合成部６２が形成される。
【００５３】
画像補正部２０ａ内の各部位の動作について詳説する。尚、単に、短露光画像と言った場合、それは、ノイズ低減部５２によるノイズ低減処理が施されていない短露光画像を指す（後述の他の実施形態においても同様）。図３（ａ）に例示した短露光画像３１０は、ノイズ低減部５２によるノイズ低減が施されていない短露光画像である。
【００５４】
位置合わせ部５１は、短露光画像及び適正露光画像の画像データに基づいて短露光画像と適正露光画像との間の位置ずれを検出し、検出した位置ずれに基づいて短露光画像及び適正露光画像間の位置合わせを行う。上述したように短露光画像と適正露光画像は連続的に撮影されるため、両画像の撮影時における撮影領域は略同一となるが、両画像の撮影時刻は完全に同じではないため両画像についての撮影領域は若干ずれ、結果、同一被写体の画像データが存在する、短露光画像上の位置と適正露光画像上の位置が若干ずれることがある。
【００５５】
位置合わせ部５１は、この位置のずれを検出して、検出した位置ずれが打ち消されるように適正露光画像の各画素の座標値に対して座標変換を施すことで該位置ずれを補正する。これにより、誤差を無視したとすれば、同一被写体の画像データが存在する、短露光画像上の位置と座標変換後の適正露光画像上の位置とが完全に一致するようになる。位置合わせ部５１による位置ずれ補正後の適正露光画像（換言すれば、位置合わせ後の適正露光画像）を第１中間生成画像と呼ぶ。
【００５６】
位置合わせ部５１による位置ずれの検出方法として、２枚の画像の画像データから２枚の画像間の位置ずれを検出することのできる任意の方法を用いることができる。例えば、代表点マッチング法、ブロックマッチング法又は勾配法を用いて位置ずれを検出することができる。上記位置ずれを、撮像装置１の筐体の動きを検出する手ぶれ検出センサ（例えば、撮像装置１の筐体の角速度を検出する角速度センサ）を用いて検出するようにしてもよい。
【００５７】
ノイズ低減部５２は、短露光画像に対してノイズ低減処理を施すことにより、短露光画像に含まれるノイズを低減する。ノイズ低減部５２におけるノイズ低減処理を、ノイズ低減に適した任意の空間フィルタリングにて実現することができる。ノイズ低減部５２における空間フィルタリングでは、エッジがなるだけ保存されるような空間フィルタを利用することが望ましく、例えば、メディアンフィルタを用いた空間フィルタリングが採用される。尚、ノイズ低減部５２におけるノイズ低減処理を、ノイズ低減に適した任意の周波数フィルタリングにて実現することもできる。
【００５８】
ノイズ低減部５２によるノイズ低減処理後の短露光画像を、第２中間生成画像（第３画像）と呼ぶ。図６に、図３（ａ）の短露光画像３１０に対してノイズ低減処理を施すことによって得られた第２中間生成画像３１２を示す。図３（ａ）と図６の比較からも分かるように、第２中間生成画像３１２では、短露光画像３１０に含まれているノイズが低減されている一方で、短露光画像３１０と比べてエッジが僅かに不鮮明となっている。
【００５９】
差分値算出部５３は、第１中間生成画像と第２中間生成画像との間の、各画素位置における差分値を算出する。画素位置（ｘ，ｙ）における差分値をＤＩＦ（ｘ，ｙ）にて表す。差分値ＤＩＦ（ｘ，ｙ）は、第１中間生成画像の画素位置（ｘ，ｙ）における画素と第２中間生成画像の画素位置（ｘ，ｙ）における画素との間における、輝度及び／又は色の差を表す値である。
【００６０】
差分値算出部５３は、例えば下記式（１）に基づいて差分値ＤＩＦ（ｘ，ｙ）を算出する。ここで、Ｐ１Y（ｘ，ｙ）は、第１中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値であり、Ｐ２Y（ｘ，ｙ）は、第２中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値である。
【００６１】
【数１】
2011044846.tif 000003
【００６２】
式（１）ではなく、ＲＧＢ形式の信号値を利用し、下記式（２）又は式（３）に基づいて差分値ＤＩＦ（ｘ，ｙ）を算出することも可能である。ここで、Ｐ１R（ｘ，ｙ）、Ｐ１G（ｘ，ｙ）及びＰ１B（ｘ，ｙ）は、夫々、第１中間生成画像の画素位置（ｘ，ｙ）における画素のＲ、Ｇ及びＢ信号の値であり、Ｐ２R（ｘ，ｙ）、Ｐ２G（ｘ，ｙ）及びＰ２B（ｘ，ｙ）は、夫々、第２中間生成画像の画素位置（ｘ，ｙ）における画素のＲ、Ｇ及びＢ信号の値である。或る画素のＲ、Ｇ及びＢ信号は、その画素の赤、緑及び青の強度を表す色信号である。
【００６３】
【数２】
2011044846.tif 000004
【数３】
2011044846.tif 000005
【００６４】
上記の式（１）、式（２）又は式（３）に基づく差分値ＤＩＦ（ｘ，ｙ）の算出方法は例示に過ぎず、それら以外の方法によって差分値ＤＩＦ（ｘ，ｙ）を求めるようにしても構わない。例えば、ＹＵＶ形式の信号値を利用し、ＲＧＢ形式の信号値を用いる場合と同様の方法にて差分値ＤＩＦ（ｘ，ｙ）を算出しても構わない。この場合、式（２）及び（３）におけるＲ、Ｇ及びＢを夫々Ｙ、Ｕ及びＶに置き換えて考えればよい。ＹＵＶ形式の信号は、Ｙによって表される輝度信号とＵ及びＶによって表される色差信号から成る。
【００６５】
図７に、各画素位置における差分値ＤＩＦ（ｘ，ｙ）を画素信号値として有する差分画像の例を示す。図７の差分画像３１３は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づく差分画像である。差分画像３１３では、差分値ＤＩＦ（ｘ，ｙ）が比較的大きい部分を白で表し、差分値ＤＩＦ（ｘ，ｙ）が比較的小さい部分を黒で表している。短露光画像３１０及び適正露光画像３１１の撮影中における人物ＳＵＢの移動によって、差分画像３１３における人物ＳＵＢの移動領域での差分値ＤＩＦ（ｘ，ｙ）が比較的大きくなっている。また、手ぶれに由来する適正露光画像３１１上のぶれにより、エッジ付近（人物や山の輪郭部）の差分値ＤＩＦ（ｘ，ｙ）も大きくなっている。
【００６６】
第１合成演算部５４は、第１中間生成画像と第２中間生成画像との合成を行い、得られた合成画像を第３中間生成画像（第４画像）として出力する。この合成は、第１及び第２中間生成画像の対応画素の画素信号を加重加算することによって実現される。加重加算によって対応画素の画素信号が混合されるが、その混合率（換言すれば合成比率）を差分値ＤＩＦ（ｘ，ｙ）に基づいて決定することができる。第１合成演算部５４にて決定される、画素位置（ｘ，ｙ）に対する混合率をα（ｘ，ｙ）にて表す。
【００６７】
差分値ＤＩＦ（ｘ，ｙ）と混合率α（ｘ，ｙ）との関係例を図８に示す。図８の関係例を採用する場合、
不等式「ＤＩＦ（ｘ，ｙ）＜ＴＨ１L」の成立時において「α（ｘ，ｙ）＝１」とされ、
不等式「ＴＨ１L≦ＤＩＦ（ｘ，ｙ）＜ＴＨ１H」の成立時において「α（ｘ，ｙ）＝１−（ＤＩＦ（ｘ，ｙ）−ＴＨ１L）／（ＴＨ１H−ＴＨ１L）」とされ、
不等式「ＴＨ１H≦ＤＩＦ（ｘ，ｙ）」の成立時において「α（ｘ，ｙ）＝０」とされる。ここで、ＴＨ１L及びＴＨ１Hは、不等式「０＜ＴＨ１L＜ＴＨ１H」を満たす所定の閾値である。図８の関係例を採用する場合、差分値ＤＩＦ（ｘ，ｙ）が閾値ＴＨ１Lから閾値ＴＨ１Hに向かって増大するにつれて対応する混合率α（ｘ，ｙ）が１から０に向かって線形的に減少するが、混合率α（ｘ，ｙ）を非線形に減少させても構わない。
【００６８】
第１合成演算部５４は、各画素位置における差分値ＤＩＦ（ｘ，ｙ）から各画素位置における混合率α（ｘ，ｙ）を決定した後、下記式（４）に従って第１及び第２中間生成画像の対応画素の画素信号を混合することで、第３中間生成画像の画素信号を生成する。ここで、Ｐ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、第１、第２及び第３中間生成画像の画素位置（ｘ，ｙ）における画素信号を表している。
【００６９】
【数４】
2011044846.tif 000006
【００７０】
画素信号Ｐ１（ｘ，ｙ）、Ｐ２（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、第１、第２及び第３中間生成画像の画素位置（ｘ，ｙ）における画素の輝度及び色を表す信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。例えば、画素信号Ｐ１（ｘ，ｙ）等がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号Ｐ１（ｘ，ｙ）及びＰ２（ｘ，ｙ）を混合することにより画素信号Ｐ３（ｘ，ｙ）を得ればよい。画素信号Ｐ１（ｘ，ｙ）等がＹ、Ｕ及びＶ信号から成る場合も同様である。
【００７１】
図９に、第１合成演算部５４にて得られる第３中間生成画像の例を示す。図９に示す第３中間生成画像３１４は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づく第３中間生成画像である。
【００７２】
上述したように、人物ＳＵＢが動いた領域では差分値Ｄ（ｘ，ｙ）が比較的大きくなるため、第３中間生成画像３１４に対する第２中間生成画像３１２（図６参照）の寄与度（１−α（ｘ，ｙ））が比較的大きくなる。結果、第３中間生成画像３１４における被写体ぶれは、適正露光画像３１１（図３（ｂ）参照）におけるそれよりも大幅に抑制される。また、エッジ付近においても差分値Ｄ（ｘ，ｙ）が大きくなることから上記寄与度（１−α（ｘ，ｙ））が大きくなる。結果、第３中間生成画像３１４におけるエッジの鮮鋭度は、適正露光画像３１１におけるそれよりも改善される。但し、第２中間生成画像３１２におけるエッジは、短露光画像３１０のそれと比較して若干不鮮明であるため、第３中間生成画像３１４におけるエッジも短露光画像３１０のそれと比較して若干不鮮明となる。
【００７３】
一方において、差分値Ｄ（ｘ，ｙ）が比較的小さい領域はエッジ成分の少ない平坦領域であると推測される。このため、差分値Ｄ（ｘ，ｙ）が比較的小さい領域に対しては、上述の如く、ノイズの含有量が少ない第１中間生成画像の寄与度α（ｘ，ｙ）を比較的大きくする。これにより、第３中間生成画像のノイズを低く抑えることができる。尚、第２中間生成画像はノイズ低減処理を経て生成されたものであるため、第３中間生成画像に対する第２中間生成画像の寄与度（１−α（ｘ，ｙ））が比較的大きくなる領域においても、ノイズは殆ど目立たない。
【００７４】
上述したように、第３中間生成画像におけるエッジは短露光画像のそれと比較して若干不鮮明となるが、この不鮮明さは、エッジ強度値算出部５５及び第２合成演算部５６によって改善される。
【００７５】
エッジ強度値算出部５５は、第２中間生成画像に対してエッジ抽出処理を行い、各画素位置におけるエッジ強度値を算出する。画素位置（ｘ，ｙ）におけるエッジ強度値を、Ｅ（ｘ，ｙ）にて表す。エッジ強度値Ｅ（ｘ，ｙ）は、第２中間生成画像の画素位置（ｘ，ｙ）を中心とする小ブロック内の画素信号の変化量を表す指標であり、その変化量が大きいほどエッジ強度値Ｅ（ｘ，ｙ）は大きくなる。
【００７６】
例えば、下記式（５）に従って、エッジ強度値Ｅ（ｘ，ｙ）を求めることができる。尚、式（５）の右辺の値の１／４をエッジ強度値Ｅ（ｘ，ｙ）として求めるようにしても良い。上述したように、Ｐ２Y（ｘ，ｙ）は第２中間生成画像の画素位置（ｘ，ｙ）における画素の輝度値を表す。ＦA（ｉ，ｊ）、ＦB（ｉ，ｊ）、ＦC（ｉ，ｊ）及びＦD（ｉ，ｊ）は、夫々、水平、垂直、右斜め及び左斜め方向に伸びるエッジを抽出するためのエッジ抽出フィルタのフィルタ係数を表す。エッジ抽出フィルタとして、エッジ抽出に適した任意の空間フィルタを用いることができ、例えば、微分フィルタ、プリューウィットフィルタ（Prewitt filter）、ソーベルフィルタ（Sobel filter）を用いることができる。
【００７７】
【数５】
2011044846.tif 000007
【００７８】
図１０（ａ）〜（ｄ）に示されるような４方向の微分フィルタを用いる場合、
Ｅ（ｘ，ｙ）＝｜Ｐ２Y（ｘ，ｙ−１）−Ｐ２Y（ｘ，ｙ＋１）｜
＋｜Ｐ２Y（ｘ−１，ｙ）−Ｐ２Y（ｘ＋１，ｙ）｜
＋｜Ｐ２Y（ｘ−１，ｙ−１）−Ｐ２Y（ｘ＋１，ｙ＋１）｜
＋｜Ｐ２Y（ｘ＋１，ｙ−１）−Ｐ２Y（ｘ−１，ｙ＋１）｜、となる。
尚、式（５）では３×３のフィルタサイズを有するエッジ抽出フィルタを用いているが、エッジ抽出フィルタのフィルタサイズは３×３以外でもよい。
【００７９】
図１１に、各画素位置におけるエッジ強度値Ｅ（ｘ，ｙ）を画素信号値として有するエッジ画像の例を示す。図１１のエッジ画像３１５は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づくエッジ画像である。エッジ画像３１５では、エッジ強度値Ｅ（ｘ，ｙ）が比較的大きい部分を白で表し、エッジ強度値Ｅ（ｘ，ｙ）が比較的小さい部分を黒で表している。エッジ強度値Ｅ（ｘ，ｙ）は、エッジが鮮明である短露光画像３１０のノイズを抑制することによって得られた第２中間生成画像３１２のエッジを抽出することで得られる。そのため、ノイズとエッジが分離され、エッジ強度値Ｅ（ｘ，ｙ）によって、ノイズと被写体のエッジとを明確に区別した上でエッジの位置が特定される。
【００８０】
第２合成演算部５６は、第３中間生成画像と短露光画像との合成を行い、得られた合成画像を目標補正画像として出力する。この合成は、第３中間生成画像と短露光画像の対応画素の画素信号を加重加算することによって実現される。加重加算によって対応画素の画素信号が混合されるが、その混合率（換言すれば合成比率）をエッジ強度値Ｅ（ｘ，ｙ）に基づいて決定することができる。第２合成演算部５６にて決定される、画素位置（ｘ，ｙ）に対する混合率をβ（ｘ，ｙ）にて表す。
【００８１】
エッジ強度値Ｅ（ｘ，ｙ）と混合率β（ｘ，ｙ）との関係例を図１２に示す。図１２の関係例を採用する場合、
不等式「Ｅ（ｘ，ｙ）＜ＴＨ２L」の成立時において「β（ｘ，ｙ）＝０」とされ、
不等式「ＴＨ２L≦Ｅ（ｘ，ｙ）＜ＴＨ２H」の成立時において「β（ｘ，ｙ）＝（Ｅ（ｘ，ｙ）−ＴＨ２L）／（ＴＨ２H−ＴＨ２L）」とされ、
不等式「ＴＨ２H≦Ｅ（ｘ，ｙ）」の成立時において「β（ｘ，ｙ）＝１」とされる。
ここで、ＴＨ２L及びＴＨ２Hは、不等式「０＜ＴＨ２L＜ＴＨ２H」を満たす所定の閾値である。図１２の関係例を採用する場合、エッジ強度値Ｅ（ｘ，ｙ）が閾値ＴＨ２Lから閾値ＴＨ２Hに向かって増大するにつれて対応する混合率β（ｘ，ｙ）が０から１に向かって線形的に増加するが、混合率β（ｘ，ｙ）を非線形に増加させても構わない。
【００８２】
第２合成演算部５６は、各画素位置におけるエッジ強度値Ｅ（ｘ，ｙ）から各画素位置における混合率β（ｘ，ｙ）を決定した後、下記式（６）に従って第３中間生成画像と短露光画像の対応画素の画素信号を混合することで、目標補正画像の画素信号を生成する。ここで、ＰOUT（ｘ，ｙ）、ＰIN_SH（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、目標補正画像、短露光画像及び第３中間生成画像の画素位置（ｘ，ｙ）における画素信号を表している。
【００８３】
【数６】
2011044846.tif 000008
【００８４】
画素信号ＰOUT（ｘ，ｙ）、ＰIN_SH（ｘ，ｙ）及びＰ３（ｘ，ｙ）は、夫々、目標補正画像、短露光画像及び第３中間生成画像の画素位置（ｘ，ｙ）における画素の輝度及び色を表す信号であり、例えばＲＧＢ形式又はＹＵＶ形式で表現されている。例えば、画素信号Ｐ３（ｘ，ｙ）等がＲ、Ｇ及びＢ信号から成る場合、Ｒ、Ｇ及びＢ信号ごとに個別に、画素信号ＰIN_SH（ｘ，ｙ）及びＰ３（ｘ，ｙ）を混合することにより画素信号ＰOUT（ｘ，ｙ）を得ればよい。画素信号Ｐ３（ｘ，ｙ）等がＹ、Ｕ及びＶ信号から成る場合も同様である。
【００８５】
図１３に、第２合成演算部５６にて得られる目標補正画像の例を示す。図１３に示す目標補正画像３１６は、図３（ａ）及び（ｂ）の短露光画像３１０及び適正露光画像３１１に基づく目標補正画像である。エッジ部分では、目標補正画像３１６に対する短露光画像３１０の寄与度β（ｘ，ｙ）が大きくなるため、目標補正画像３１６においては、第３中間生成画像３１４（図９参照）におけるエッジの僅かな不鮮明さが改善され、エッジが鮮明に描写される。一方、エッジ以外の部分では、目標補正画像３１６に対する第３中間生成画像３１４の寄与度（１−β（ｘ，ｙ））が大きくなるため、目標補正画像３１６に対して、短露光画像３１０に含まれるノイズが反映されることが抑制される。ノイズは、エッジ以外の部分（平坦部分）において特に視覚的に目立つため、上述のような混合率β（ｘ，ｙ）による合成比率の調整は効果的である。
【００８６】
このように第１実施形態によれば、適正露光画像（より詳細には位置合わせ後の適正露光画像（即ち第１中間生成画像））とノイズ低減後の短露光画像（即ち第２中間生成画像）とを、それらから得られる差分値を用いて合成することにより、適正露光画像のぶれ及び短露光画像のノイズが抑制された第３中間生成画像を生成することができる。その後、ノイズ低減後の短露光画像（即ち第２中間生成画像）から得たエッジ強度値を用いて第３中間生成画像と短露光画像を合成することにより、目標補正画像に短露光画像の鮮明なエッジを反映させることができる一方で、短露光画像のノイズの目標補正画像への反映が抑制される。結果、目標補正画像は、ぶれ及びノイズの少ない画像となる。
【００８７】
エッジとノイズを明確に分離検出し、短露光画像のノイズの目標補正画像への混入を良好に回避するためには、上述の如くエッジ強度値をノイズ低減後の短露光画像（即ち第２中間生成画像）から導出する方が望ましいが、図１４に示す如く、エッジ強度値をノイズ低減前の短露光画像（即ち図３（ａ）の短露光画像３１０など）から導出するようにしてもよい。この場合、式（５）のＰ２Y（ｘ，ｙ）にノイズ低減前の短露光画像の画素位置（ｘ，ｙ）における画素の輝度値を代入した上で、式（５）に従いエッジ強度値Ｅ（ｘ，ｙ）を算出すればよい。
【００８８】
上述の目標補正画像の生成方法は極めて有益な方法ではあるものの、改善の余地がある。例えば、図１５に示すような植物の葉や花を撮影対象として短露光画像及び適正露光画像を撮影した場合を考える。図１６は、この場合に、第１実施形態に係る方法にて得た目標補正画像の一部の拡大図である。但し、図１６では、説明の便宜上、画像の特徴を強調して図示している。
【００８９】
図１６において、実線４０１は１枚の葉の輪郭を表している。葉の輪郭部分においてはエッジ強度値が比較的大きくなるため短露光画像の合成比率が高まり、結果、目標補正画像において葉の輪郭部分のエッジは鮮明となる。しかしながら、葉の輪郭の内側においては、エッジ強度値が比較的小さくなるため第３中間生成画像の合成比率が高まり、結果、目標補正画像上で鮮鋭度が欠ける（但し、信号対雑音比は良好である）。このような現象の発生は、第２合成演算部５６における合成比率が画素位置ごとのエッジ強度値のみに基づいて決定されることに起因する。後述の第２実施形態等において、このような現象の発生を抑制する方法を説明する。
【００９０】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。図１７は、第２実施形態に係る第２合成部６２ｂの内部ブロック図である。図５の画像補正部２０ａに対して図５の第２合成部６２の代わりに図１７の第２合成部６２ｂを設けた画像補正部を、図１の画像補正部２０として用いることができる。
【００９１】
第２合成部６２ｂは、エッジ強度値算出部５５、第２合成演算部５６ｂ及び領域エッジ量算出部７１を備える。第２合成部６２ｂにおけるエッジ強度値算出部５５の機能は、第１実施形態で述べたものと同じである。即ち、第２合成部６２ｂにおけるエッジ強度値算出部５５は、エッジ評価画像に対してエッジ抽出処理を行うことで、エッジ評価画像の各画素位置におけるエッジ強度値Ｅ（ｘ，ｙ）を算出する。エッジ評価画像は、第１実施形態の説明からも明らかなように、短露光画像（第１画像）又は第２中間生成画像（第３画像）である。
【００９２】
第２合成部６２ｂでは、二次元画像３００（図４参照）を形成する画素が配置される画像領域の全体（以下、全体画像領域という）が、演算上、複数の領域（以下、部分画像領域という）に分割される。今、図１８に示す如く、二次元画像３００の全体画像領域を水平方向にＰ等分且つ垂直方向にＱ等分することで、二次元画像３００内に合計（Ｐ×Ｑ）個の部分画像領域が設定されるものとする。ここで、Ｐ及びＱの夫々は２以上の整数である。各部分画像領域には、二次元配列された複数の画素（例えば１００個）が属している。部分画像領域内に属する画素の数を異なる部分画像領域間で異ならせることも可能であるが、以下の説明では、１つの部分画像領域内に属する画素の数が、全ての部分画像領域において同じであるとする。また、二次元画像３００内の部分画像領域の水平位置及び垂直位置を表す記号としてｐ及びｑを導入する（ｐは１≦ｐ≦Ｐを満たす整数値、且つ、ｑは１≦ｑ≦Ｑを満たす整数値）。水平位置がｐであって垂直位置がｑである部分画像領域を部分画像領域［ｐ，ｑ］と表記する。二次元画像３００及び二次元座標系ＸＹにおいて（図４参照）、ｐが大きくなるほど、部分画像領域［ｐ，ｑ］の水平位置は右方向に向かい、ｑが大きくなるほど、部分画像領域［ｐ，ｑ］の垂直位置は下方向に向かうものとする。従って、部分画像領域［ｐ，ｑ］の右側、左側、下側及び上側に隣接する部分画像領域は、夫々、部分画像領域［ｐ＋１，ｑ］、［ｐ−１，ｑ］、［ｐ，ｑ＋１］及び［ｐ，ｑ−１］である。
【００９３】
領域エッジ量算出部７１は、部分画像領域ごとに、部分画像領域に属する画素位置のエッジ強度値Ｅ（ｘ，ｙ）を積算し、積算値を領域エッジ量として求める。従って、領域エッジ量は、部分画像領域ごとに求められる。部分画像領域［ｐ，ｑ］に対して求められた領域エッジ量をＥRG［ｐ，ｑ］にて表す。
【００９４】
第２合成演算部５６ｂは、第１実施形態に係る第２合成演算部５６と同様の方法にて、第３中間生成画像と短露光画像を合成することにより目標補正画像を生成する。但し、第２合成演算部５６ｂは、注目画素位置（ｘ，ｙ）に対する混合率β（ｘ，ｙ）を、注目画素位置（ｘ，ｙ）に対するエッジ強度値Ｅ（ｘ，ｙ）だけでなく、注目画素位置（ｘ，ｙ）が属する部分画像領域の領域エッジ量にも基づいて決定する。
【００９５】
説明の明確化上、注目画素位置（ｘ，ｙ）、注目画素位置（ｘ，ｙ）の属している部分画像領域［ｐ，ｑ］及び注目画素位置（ｘ，ｙ）に対する混合率β（ｘ，ｙ）を、夫々、（ｘ0，ｙ0）、［ｐ0，ｑ0］及びβ（ｘ0，ｙ0）にて表した上で、注目画素位置（ｘ0，ｙ0）に対する混合率β（ｘ0，ｙ0）の決定方法を説明する。また、部分画像領域［ｐ0，ｑ0］に対して求められた領域エッジ量をＥRG［ｐ0，ｑ0］にて表す。
【００９６】
図１９（ａ）のグラフは、第１不等式「ＥRG［ｐ0，ｑ0］＜ＥTH1」が満たされる時に採用されるエッジ強度値Ｅ（ｘ0，ｙ0）と混合率β（ｘ0，ｙ0）との関係を表し、図１９（ｂ）のグラフは、第２不等式「ＥTH1≦ＥRG［ｐ0，ｑ0］＜ＥTH2」が満たされる時に採用されるエッジ強度値Ｅ（ｘ0，ｙ0）と混合率β（ｘ0，ｙ0）との関係を表し、図１９（ｃ）のグラフは、第３不等式「ＥTH2≦ＥRG［ｐ0，ｑ0］」が満たされる時に採用されるエッジ強度値Ｅ（ｘ0，ｙ0）と混合率β（ｘ0，ｙ0）との関係を表す。ここで、ＥTH1及びＥTH2は、不等式「０＜ＥTH1＜ＥTH2」を満たすように予め設定された閾値である。
【００９７】
上記の第１、第２及び第３不等式の何れが満たされる場合においても、
不等式「Ｅ（ｘ0，ｙ0）＜ＴＨ２L」の成立時には「β（ｘ0，ｙ0）＝βMIN」とされ、
不等式「ＴＨ２L≦Ｅ（ｘ0，ｙ0）＜ＴＨ２H」の成立時には「β（ｘ0，ｙ0）＝βMIN＋（１−βMIN）×（（Ｅ（ｘ0，ｙ0）−ＴＨ２L）／（ＴＨ２H−ＴＨ２L））」とされ、不等式「ＴＨ２H≦Ｅ（ｘ0，ｙ0）」の成立時には「β（ｘ0，ｙ0）＝１」とされる。
【００９８】
ここで、下限値βMINは領域エッジ量ＥRG［ｐ0，ｑ0］に依存する可変値である。上記第３不等式の成立時における下限値βMINは、上記第２不等式の成立時における下限値βMINよりも大きくされ、且つ、上記第２不等式の成立時における下限値βMINは、上記第１不等式の成立時における下限値βMINよりも大きくされる。特に、図１９（ａ）に示す例では、上記第１不等式の成立時における下限値βMINがゼロに設定されている。
【００９９】
閾値ＴＨ２L及びＴＨ２Hは、第１実施形態で述べたように、常に不等式「０＜ＴＨ２L＜ＴＨ２H」を満たす。但し、第１実施形態では閾値ＴＨ２L及びＴＨ２Hが一定値であることを想定したが、第２実施形態では、閾値ＴＨ２L及びＴＨ２Hの内の少なくとも一方が可変値とされる。図１９（ａ）〜（ｃ）に示す例では、閾値ＴＨ２Lは固定値である一方、閾値ＴＨ２Hは領域エッジ量ＥRG［ｐ0，ｑ0］に依存する可変値である。具体的には、上記第１不等式の成立時における閾値ＴＨ２Hは、上記第２不等式の成立時における閾値ＴＨ２Hよりも大きくされ、且つ、上記第２不等式の成立時における閾値ＴＨ２Hは、上記第３不等式の成立時における閾値ＴＨ２Hよりも大きくされる。
【０１００】
尚、図１９（ａ）〜（ｃ）に示す関係例を採用する場合、不等式「ＴＨ２L≦Ｅ（ｘ0，ｙ0）＜ＴＨ２H」の成立時において、エッジ強度値Ｅ（ｘ0，ｙ0）が閾値ＴＨ２Lから閾値ＴＨ２Hに向かって増大するにつれて対応する混合率β（ｘ0，ｙ0）が線形的に増加するが、混合率β（ｘ0，ｙ0）を非線形に増加させても構わない。また、領域エッジ量ＥRG［ｐ0，ｑ0］に応じて下限値βMIN及び閾値ＴＨ２Hを３段階で変化させる例を上述したが、それらを、領域エッジ量ＥRG［ｐ0，ｑ0］に応じて２段階若しくは４段階以上で段階的に変化させるようにしても構わないし、領域エッジ量ＥRG［ｐ0，ｑ0］に応じて連続的に変化させるようにしても構わない。何れにせよ、領域エッジ量ＥRG［ｐ0，ｑ0］が増大するにつれて、混合率β（ｘ0，ｙ0）を決定する際における下限値βMINを増大させると共に混合率β（ｘ0，ｙ0）を決定する際における閾値ＴＨ２Hを減少させると良い。領域エッジ量ＥRG［ｐ0，ｑ0］が増大するにつれて、閾値ＴＨ２Lを増加させることも可能である。
【０１０１】
上述のような、エッジ強度値Ｅ（ｘ0，ｙ0）及び領域エッジ量ＥRG［ｐ0，ｑ0］に基づく混合率（ｘ0，ｙ0）の設定は、全ての画素位置（ｘ，ｙ）を順次注目画素位置（ｘ0，ｙ0）と捉えた上で次々と実行され、最終的に、全ての画素位置（ｘ，ｙ）に対する混合率（ｘ，ｙ）が決定される。第２合成演算部５６ｂによる、混合率β（ｘ，ｙ）を用いた目標補正画像の生成方法は、第１実施形態で述べた第２合成演算部５６のそれと同じである。
【０１０２】
第２実施形態によれば、部分画像領域ごとに、当該部分画像領域におけるエッジ強度の大きさを表す領域エッジ量ＥRG［ｐ，ｑ］が当該部分画像領域の画像特徴量として抽出される。そして、目標補正画像に対する短露光画像の寄与度（即ちβ（ｘ，ｙ））が、部分画像領域ごとに領域エッジ量ＥRG［ｐ，ｑ］に応じて調整される。この調整によって、全画素位置に対するエッジ強度値Ｅ（ｘ，ｙ）が同じであると仮定したならば、領域エッジ量ＥRG［ｐ，ｑ］が比較的大きい部分画像領域に対しては、目標補正画像に対する短露光画像の寄与度が比較的大きくなり、領域エッジ量ＥRG［ｐ，ｑ］が比較的小さい部分画像領域に対しては、目標補正画像に対する短露光画像の寄与度が比較的小さくなる。
【０１０３】
従って例えば、注目画素位置の属する部分画像領域の画像が連続する大きな平坦部の画像である場合には、対応する領域エッジ量が小さくなるので、当該部分画像領域において目標補正画像に対する第３中間生成画像の寄与度が大きくされて良好なるノイズ低減が図られる。連続する大きな平坦部ではノイズが目立ちやすいため、第３中間生成画像の寄与度を高めることが全体的な画質向上に貢献する。
【０１０４】
一方、注目画素位置の属する部分画像領域の画像にエッジ部と平坦部が混在する場合には、当該部分画像領域において目標補正画像に対する短露光画像の寄与度が大きくされ、結果、エッジがなまることによる鮮鋭度低下が回避される。即ち例えば、図１５に示すような植物の葉や花を撮影対象とした場合（図１６も参照）、画素位置ごとのエッジ強度値だけでなく、葉の輪郭部を含む部分画像領域の全体的なエッジ強度にも基づいて当該部分画像領域に対する混合率β（ｘ，ｙ）が決定されるため（結果的に、第１実施形態と比べて、当該部分画像領域に対する混合率β（ｘ，ｙ）が増大補正されるため）、葉の輪郭の内側に存在する葉脈などのエッジが適切に保存されて、第１実施形態よりも鮮鋭度が増す。
【０１０５】
尚、第２合成演算部５６ｂに入力される第３中間生成画を第１中間生成画像（図５参照）に置き換えても、第２実施形態に特有の作用及び効果を得ることができる。即ち、図２０に示す如く、第２合成演算部５６ｂに対して、第３中間生成画像の代わりに第１中間生成画像を入力し、第２合成演算部５６ｂにおいて第１中間生成画像と短露光画像を合成することで目標補正画像を生成するようにしても良い。この場合、第２実施形態の説明文中における第３中間生成画像、及び、第１実施形態で述べた第２合成演算部５６の機能の説明文中における第３中間生成画像を、第１中間生成画像に読み替えれば足る（上記式（６）におけるＰ３（ｘ，ｙ）もＰ１（ｘ，ｙ）に置き換えて考えればよい）。また、第２合成演算部５６ｂに対して第３中間生成画像の代わりに第１中間生成画像を入力する場合には、画像補正部２０又は２０ａから第１合成部６１を割愛することも可能である（図１、図５参照）。
【０１０６】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態は、第２実施形態の一部を変形した実施形態であり、本実施形態にて特に述べない事項に関しては、第２実施形態の記載が本実施形態にも適用される。
【０１０７】
第２実施形態においては、部分画像領域［ｐ0，ｑ0］に属する全画素位置に対して同一の領域エッジ量Ｅ［ｐ0，ｑ0］が適用され、結果、部分画像領域［ｐ0，ｑ0］に属する全画素位置に対して、領域エッジ量Ｅ［ｐ0，ｑ0］に応じた共通の下限値βMIN及び閾値ＴＨ2Hが適用される。従って、第２実施形態においては、隣接する部分画像領域に対して求められた領域エッジ量が大きく異なる場合、隣接する部分画像領域の境界部分において画像の質感（画像鮮鋭度等）が急峻に変化することがある。第３実施形態に係る技術は、このような急峻な変化の抑制に寄与する。
【０１０８】
第３実施形態に係る技術を具体的に説明する。今、図２１に示す、４つの部分画像領域［ｐ，ｑ］、［ｐ＋１，ｑ］、［ｐ，ｑ＋１］及び［ｐ＋１，ｑ＋１］に注目し、部分画像領域［ｐ，ｑ］、［ｐ＋１，ｑ］、［ｐ，ｑ＋１］及び［ｐ＋１，ｑ＋１］の中心に配置された画素位置を、夫々、符号４３１、４３２、４３３及び４３４によって表す。
【０１０９】
領域エッジ量算出部７１は、第２実施形態で述べたように、部分画像領域［ｐ，ｑ］に属する画素位置のエッジ強度値Ｅ（ｘ，ｙ）を積算し、積算値を領域エッジ量ＥEG［ｐ，ｑ］として求める。同様の積算演算を経て、部分画像領域［ｐ＋１，ｑ］、［ｐ，ｑ＋１］及び［ｐ＋１，ｑ＋１］に対して、夫々、領域エッジ量ＥEG［ｐ＋１，ｑ］、ＥEG［ｐ，ｑ＋１］及びＥEG［ｐ＋１，ｑ＋１］を求める。
【０１１０】
第２合成演算部５６ｂは、画素位置４３１が注目画素位置（ｘ0，ｙ0）である場合においては、混合率β（ｘ0，ｙ0）を決定する際における下限値βMIN及び閾値ＴＨ２Hを領域エッジ量ＥEG［ｐ，ｑ］に応じたものに設定する。同様に、画素位置４３２、４３３及び４３４が注目画素位置（ｘ0，ｙ0）である場合においては、混合率β（ｘ0，ｙ0）を決定する際における下限値βMIN及び閾値ＴＨ２Hを、夫々、領域エッジ量ＥEG［ｐ＋１，ｑ］、ＥEG［ｐ，ｑ＋１］及びＥEG［ｐ＋１，ｑ＋１］に応じたものに設定する。このように、画素位置４３１、４３２、４３３及び４３４に対する下限値βMIN及び閾値ＴＨ２Hは、夫々、領域エッジ量ＥEG［ｐ，ｑ］、ＥEG［ｐ＋１，ｑ］、ＥEG［ｐ，ｑ＋１］及びＥEG［ｐ＋１，ｑ＋１］のみに依存して設定される。
【０１１１】
一方、図２１に示す画素位置４４１又は４４２のような、画素位置４３１〜４３４にて囲まれた矩形領域内の画素位置（画素位置４３１〜４３４を除く）が注目画素位置（ｘ0，ｙ0）である場合においては、混合率β（ｘ0，ｙ0）を決定する際における下限値βMIN及び閾値ＴＨ２Hを、領域エッジ量ＥEG［ｐ，ｑ］、ＥEG［ｐ＋１，ｑ］、ＥEG［ｐ，ｑ＋１］及びＥEG［ｐ＋１，ｑ＋１］の内の２以上の領域エッジ量に基づいて設定する。画素位置４４１及び４４２の夫々は画素位置４３１〜４３４にて囲まれた矩形領域内の画素位置であると共に、画素位置４４１は部分画像領域［ｐ，ｑ］に属し且つ画素位置４４２は部分画像領域［ｐ＋１，ｑ＋１］に属している。
【０１１２】
領域エッジ量算出部７１又は第２合成演算部５６ｂは、領域エッジ量ＥEG［ｐ，ｑ］、ＥEG［ｐ＋１，ｑ］、ＥEG［ｐ，ｑ＋１］及びＥEG［ｐ＋１，ｑ＋１］をそれぞれ画素位置４３１、４３２、４３３及び４３４に対する領域エッジ量と見立てた上で、画素位置４４１に対する領域エッジ量ＥEG_441を、領域エッジ量ＥEG［ｐ，ｑ］、ＥEG［ｐ＋１，ｑ］、ＥEG［ｐ，ｑ＋１］及びＥEG［ｐ＋１，ｑ＋１］並びに画素位置４４１と画素位置４３１〜４３４との間の距離に基づきバイリニア補間によって求め、同様に、画素位置４４２に対する領域エッジ量ＥEG_442を、領域エッジ量ＥEG［ｐ，ｑ］、ＥEG［ｐ＋１，ｑ］、ＥEG［ｐ，ｑ＋１］及びＥEG［ｐ＋１，ｑ＋１］並びに画素位置４４２と画素位置４３１〜４３４との間の距離に基づきバイリニア補間によって求める。図２１に示す状況とは異なるが、仮に例えば、画素位置４３１及び４３３を結ぶ線分の中心に画素位置４４１が配置されているとしたならば「ＥEG_441＝（ＥEG［ｐ，ｑ］＋ＥEG［ｐ，ｑ＋１］）／２」となり、画素位置４３１〜４３４にて囲まれた矩形領域の中心に画素位置４４２が配置されているとしたならば「ＥEG_442＝（ＥEG［ｐ，ｑ］＋ＥEG［ｐ＋１，ｑ］＋ＥEG［ｐ，ｑ＋１］＋ＥEG［ｐ＋１，ｑ＋１］）／４」となる。
【０１１３】
第２合成演算部５６ｂは、画素位置４４１が注目画素位置（ｘ0，ｙ0）である場合には、混合率β（ｘ0，ｙ0）を決定する際における下限値βMIN及び閾値ＴＨ２Hを領域エッジ量ＥEG_441に応じたものに設定し、画素位置４４２が注目画素位置（ｘ0，ｙ0）である場合には、混合率β（ｘ0，ｙ0）を決定する際における下限値βMIN及び閾値ＴＨ２Hを領域エッジ量ＥEG_442に応じたものに設定する。
【０１１４】
上述したように、画素位置４４１及び４４２の夫々は画素位置４３１〜４３４にて囲まれた矩形領域内の画素位置であると共に、画素位置４４１は部分画像領域［ｐ，ｑ］に属し且つ画素位置４４２は部分画像領域［ｐ＋１，ｑ＋１］に属している。従って例えば、図２２に示す如く、領域エッジ量ＥEG［ｐ，ｑ］、ＥEG［ｐ＋１，ｑ］、ＥEG［ｐ，ｑ＋１］及びＥEG［ｐ＋１，ｑ＋１］を表す数値が、夫々、２５５、２００、２００及び２００である場合においては、領域エッジ量ＥEG_441及びＥEG_442の夫々は２５５未満であって且つ２００よりも大きくなり、且つ、領域エッジ量ＥEG_441は領域エッジ量ＥEG_442よりも大きくなる。
【０１１５】
即ち、図２３（ａ）に示す如く、第２実施形態を採用した場合と比べて画素位置４４１に対する下限値βMINは減少補正されると共に画素位置４４１に対する閾値ＴＨ２Hは増大補正され、図２３（ｂ）に示す如く、第２実施形態を採用した場合と比べて画素位置４４２に対する下限値βMINは増大補正されると共に画素位置４４２に対する閾値ＴＨ２Hは減少補正される。結果、第２実施形態を採用した場合と比べて、画素位置４４１に対する混合率β（ｘ，ｙ）は減少補正される一方で、画素位置４４２に対する混合率β（ｘ，ｙ）は増大補正される。
【０１１６】
このように、第３実施形態では、領域エッジ量ＥEG［ｐ，ｑ］に基づいて部分画像領域ごとに下限値βMIN及び閾値ＴＨ２Hが暫定的に定められるものの、隣接する部分画像領域間で下限値βMIN及び閾値ＴＨ２Hの変化量が抑制される方向に暫定的な下限値βMIN及び閾値ＴＨ２Hが修正され、修正後の下限値βMIN及び閾値ＴＨ２Hを用いて最終的な混合率β（ｘ，ｙ）が決定される。言い換えれば、領域エッジ量ＥEG［ｐ，ｑ］に基づいて導出される部分画像領域ごとの混合率β（ｘ，ｙ）が、隣接する部分画像領域間で混合率β（ｘ，ｙ）の変化量が抑制されるように修正され、修正後の混合率β（ｘ，ｙ）を用いて第３中間生成画像と短露光画像の合成が成される。これにより、隣接する部分画像領域の境界部分において画像の質感（画像鮮鋭度等）が急峻に変化することが抑制される。
【０１１７】
＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。図２４は、第４実施形態に係る第２合成部６２ｄの内部ブロック図である。図５の画像補正部２０ａに対して図５の第２合成部６２の代わりに図２４の第２合成部６２ｄを設けた画像補正部を、図１の画像補正部２０として用いることができる。
【０１１８】
第２合成部６２ｄは、エッジ強度値算出部５５、第２合成演算部５６ｄ及び特定領域検出部８１を備える。第２合成部６２ｄにおけるエッジ強度値算出部５５の機能は、第１実施形態で述べたものと同じである。即ち、第２合成部６２ｄにおけるエッジ強度値算出部５５は、エッジ評価画像に対してエッジ抽出処理を行うことで、エッジ評価画像の各画素位置におけるエッジ強度値Ｅ（ｘ，ｙ）を算出する。エッジ評価画像は、第１実施形態の説明からも明らかなように、短露光画像（第１画像）又は第２中間生成画像（第３画像）である。
【０１１９】
特定領域検出部８１には、検出対象画像の画像データが与えられる。検出対象画像は、目標補正画像の元となる短露光画像若しくは適正露光画像、又は、第１〜第３中間生成画像の何れかである。通常は、第２合成部６２ｄに入力される短露光画像又は第３中間生成画像（第４画像）が検出対象画像とされる。但し、目標補正画像の元となる短露光画像及び適正露光画像並びにそれらに基づく第１〜第３中間生成画像以外の画像が、検出対象画像であっても良い。例えば、目標補正画像の元となる短露光画像の次に適正露光画像が撮影される場合、短露光画像の撮影直前に撮像部１１にて撮影された画像、又は、適正露光画像の撮影直後に撮像部１１にて撮影された画像を、検出対象画像として取り扱うことも可能である。
【０１２０】
特定領域検出部８１は、検出対象画像の画像データに基づいて、特定被写体（換言すれば特定物体）の画像データが存在する画像領域（以下、特定領域という）を検出対象画像の全画像領域の中から抽出し、検出対象画像及び二次元座標系ＸＹ上における特定領域の位置及び大きさを表す情報を含む特定領域情報を作成する。特定領域情報によって、特定領域の形状をもが規定されるものとする。例えば、特定領域が矩形領域である場合には、その矩形領域の対角線上の２頂点の座標値を特定領域情報に含めておけば良い、或いは、その矩形領域の一頂点の座標値と該矩形領域の水平及び垂直方向の大きさを特定領域情報に含めておけば良い。図２５に示す如く、任意の二次元画像３００において、特定領域以外の画像領域を非特定領域という。
【０１２１】
第２合成演算部５６ｄは、エッジ強度値Ｅ（ｘ，ｙ）及び特定領域情報に基づき、短露光画像と第３中間生成画像を合成することにより目標補正画像を生成する。この際、短露光画像と第３中間生成画像を合成する際の合成比率（即ち、β（ｘ，ｙ））を、エッジ強度値Ｅ（ｘ，ｙ）が同じであっても、特定領域及び非特定領域間で異ならせるようにする。
【０１２２】
特定被写体の種類等に応じて、第２合成部６２ｄの具体的な動作は異なる。以下、第２合成部６２ｄの動作の具体例として、第１〜第３動作例を個別に説明する。
【０１２３】
［第１動作例］
第１動作例を説明する。第１動作例では、特定被写体（換言すれば特定物体）が人物の顔であることが想定される。図２６に示す如く、第１動作例における特定領域は人物の顔の画像データが存在する顔領域であり、第１動作例における非特定領域は顔領域以外の画像領域である非顔領域である。検出対象画像の画像データに基づく顔領域の抽出方法として、公知の方法を含む任意の方法を利用可能である。
【０１２４】
第２合成演算部５６ｄは、顔領域の位置及び大きさを表す特定領域情報に基づき、注目画素位置（ｘ0，ｙ0）が顔領域及び非顔領域の何れに属するのかを判断し、注目画素位置（ｘ0，ｙ0）が顔領域及び非顔領域の何れに属するかによって、エッジ強度値Ｅ（ｘ0，ｙ0）と混合率β（ｘ0，ｙ0）との関係を異ならせる。エッジ強度値Ｅ（ｘ0，ｙ0）と混合率β（ｘ0，ｙ0）との関係には、複数種類の関係があり、その複数種類の関係には関係ＲＬA及びＲＬBが含まれる。図２７（ａ）及び（ｂ）の折れ線４７０A及び４７０Bは、夫々、関係ＲＬA及びＲＬBを示している。
【０１２５】
注目画素位置（ｘ0，ｙ0）が顔領域に属する場合、注目画素位置（ｘ0，ｙ0）に関係ＲＬAが適用される。注目画素位置（ｘ0，ｙ0）に関係ＲＬAが適用される場合、
不等式「Ｅ（ｘ0，ｙ0）＜ＴＨLA」の成立時には「β（ｘ0，ｙ0）＝０」とされ、
不等式「ＴＨLA≦Ｅ（ｘ0，ｙ0）＜ＴＨHA」の成立時には「β（ｘ0，ｙ0）＝（Ｅ（ｘ0，ｙ0）−ＴＨLA）／（ＴＨHA−ＴＨLA）」とされ、
不等式「ＴＨHA≦Ｅ（ｘ0，ｙ0）」の成立時には「β（ｘ0，ｙ0）＝１」とされる。
注目画素位置（ｘ0，ｙ0）が非顔領域に属する場合、注目画素位置（ｘ0，ｙ0）に関係ＲＬBが適用される。注目画素位置（ｘ0，ｙ0）に関係ＲＬBが適用される場合、
不等式「Ｅ（ｘ0，ｙ0）＜ＴＨLB」の成立時には「β（ｘ0，ｙ0）＝０」とされ、
不等式「ＴＨLB≦Ｅ（ｘ0，ｙ0）＜ＴＨHB」の成立時には「β（ｘ0，ｙ0）＝（Ｅ（ｘ0，ｙ0）−ＴＨLB）／（ＴＨHB−ＴＨLB）」とされ、
不等式「ＴＨHB≦Ｅ（ｘ0，ｙ0）」の成立時には「β（ｘ0，ｙ0）＝１」とされる。
【０１２６】
ＴＨLA、ＴＨHA、ＴＨLB及びＴＨHBは、不等式「０＜ＴＨLA＜ＴＨHA」及び「０＜ＴＨLB＜ＴＨHB」を満たす所定の閾値である。尚、図２７（ａ）及び（ｂ）に示される関係ＲＬA及びＲＬBでは、エッジ強度値Ｅ（ｘ0，ｙ0）が閾値ＴＨLAから閾値ＴＨHAに向かって増大するにつれて又は閾値ＴＨLBから閾値ＴＨHBに向かって増大するにつれて混合率β（ｘ0，ｙ0）が０から１に向かって線形的に増加するが、混合率β（ｘ0，ｙ0）を非線形に増加させても構わない。
【０１２７】
上述のような、エッジ強度値Ｅ（ｘ0，ｙ0）及び特定領域情報に基づく混合率（ｘ0，ｙ0）の設定は、全ての画素位置（ｘ，ｙ）を順次注目画素位置（ｘ0，ｙ0）と捉えた上で次々と実行され、最終的に、全ての画素位置（ｘ，ｙ）に対する混合率（ｘ，ｙ）が決定される（後述の第２及び第３動作例においても同様）。第２合成演算部５６ｄによる、混合率β（ｘ，ｙ）を用いた目標補正画像の生成方法は、第１実施形態で述べた第２合成演算部５６のそれと同じである。
【０１２８】
ここで、不等式「ＴＨLB＜ＴＨLA」及び「ＴＨHB＜ＴＨHA」の内の少なくとも一方、望ましくは双方が満たされるように、各閾値を定めておく。これにより、顔領域に対しては、目標補正画像に対する短露光画像の寄与度（即ちβ（ｘ，ｙ））が比較的小さくなる一方で、非顔領域に対しては該寄与度（即ちβ（ｘ，ｙ））が比較的大きくなる。この結果、目標補正画像の顔領域内において、細部が目立たなくなり（例えば、肌のざらつきが目立たなくなり）、美肌の演出効果を得ることができる。
【０１２９】
尚、顔領域の内、肌色を有する画素位置に対してのみ関係ＲＬAを適用するようにしてもよい。即ち、注目画素位置（ｘ0，ｙ0）が顔領域内に位置しており且つ注目画素位置（ｘ0，ｙ0）における画素の色が肌色に分類される場合にのみ、注目画素位置（ｘ0，ｙ0）に関係ＲＬAを適用し、それ以外の場合には、注目画素位置（ｘ0，ｙ0）に関係ＲＬBを適用するようにしても良い。注目画素位置（ｘ0，ｙ0）における画素が肌色に分類されるか否かを、検出対象画像の注目画素位置（ｘ0，ｙ0）の画素信号に基づいて判断することができる。例えば、肌色に分類されるべきＲ、Ｇ及びＢ信号の信号値範囲を予め設定しておき、注目画素位置（ｘ0，ｙ0）の画素信号としてのＲ、Ｇ及びＢ信号が該信号値範囲に収まるか否かを判断することによって、注目画素位置（ｘ0，ｙ0）における画素が肌色に分類されるか否か検出することができる。
【０１３０】
特定被写体（換言すれば特定物体）が人物の顔以外である時にも、第１動作例にて上述した方法は適用可能である。目標補正画像において細部を目立たせたくない任意の被写体を特定被写体に設定すれば、第１動作例は有益に作用する。
【０１３１】
［第２動作例］
第２動作例を説明する。第２動作例では、人物が飼っているペットが特定被写体（換言すれば特定物体）であることが想定される。従って、第２動作例における特定領域はペットの顔及び体の画像データが存在するペット領域であり、第２動作例における非特定領域はペット領域以外の画像領域である非ペット領域である。
【０１３２】
顔領域の抽出方法と同様の方法にてペット領域を抽出することが可能である。人物の顔領域を抽出する場合には、人物の顔の画像特徴を学習しておくことで顔辞書データを予め作成し、その顔辞書データを用いて検出対象画像から顔領域を抽出することができる。これと同様に、例えば、ペット（例えば犬）の顔の画像特徴を学習しておくことでペット顔辞書データを予め作成し、そのペット顔辞書データを用いて検出対象画像からペットの顔領域を抽出する。その後例えば、公知の輪郭抽出処理等を用いて、ペットの顔領域を含む、エッジで囲まれた閉領域をペット領域として抽出すればよい。
【０１３３】
第２合成演算部５６ｄは、ペット領域の位置及び大きさを表す特定領域情報に基づき、注目画素位置（ｘ0，ｙ0）がペット領域及び非ペット領域の何れに属するのかを判断し、注目画素位置（ｘ0，ｙ0）がペット領域及び非ペット領域の何れに属するかによって、エッジ強度値Ｅ（ｘ0，ｙ0）と混合率β（ｘ0，ｙ0）との関係を異ならせる。
【０１３４】
具体的には、注目画素位置（ｘ0，ｙ0）がペット領域に属する場合には、注目画素位置（ｘ0，ｙ0）に対して関係ＲＬBを適用し、注目画素位置（ｘ0，ｙ0）が非ペット領域に属する場合には、注目画素位置（ｘ0，ｙ0）に対して関係ＲＬAを適用する（図２７（ａ）及び（ｂ）参照）。関係ＲＬA及びＲＬBの特性は、第１動作例の説明において述べた通りである。
【０１３５】
これにより、ペット領域に対しては、目標補正画像に対する短露光画像の寄与度（即ちβ（ｘ，ｙ））が比較的大きくなる一方で、非ペット領域に対しては該寄与度（即ちβ（ｘ，ｙ））が比較的小さくなる。この結果、目標補正画像において、ペット領域の鮮鋭度が高まり、ペットの毛並み等が鮮明に描写されるようになる。
【０１３６】
説明の便宜上、第２動作例における特定被写体（換言すれば特定物体）がペットであることを想定したが、ペットを動物に読み替えても良い。更に、特定被写体がペット（動物）以外である時にも、第２動作例にて上述した方法は適用可能である。目標補正画像において鮮明に描写したい任意の被写体を特定被写体に設定すれば、第２動作例は有益に作用する。
【０１３７】
［第３動作例］
第３動作例を説明する。撮像部１１は、シャッタボタン１７ａが押下されていなくても所定のフレーム周期にて順次撮影を行い、図１の主制御部１３は、１つのフレーム周期分のＡＦＥ１２の出力データから１枚の撮影画像（以下、フレーム画像とも言う）の映像信号を生成する。時系列上に並ぶフレーム画像の集まりをフレーム画像列という。
【０１３８】
第３動作例を利用する場合、主制御部１３に、図２８に示す追尾処理部８２が設けられる。追尾処理部８２には、特定領域検出部８１が内包される。追尾処理部８２は、フレーム画像列の画像データに基づいてフレーム画像列上における注目物体をフレーム画像列上で追尾する追尾処理を実行する。追尾処理によって追尾されるべき注目物体を、以下、追尾対象という。
【０１３９】
ユーザは、追尾対象を指定することができる。例えば、表示部１５に所謂タッチパネル機能を設けておく。そして、フレーム画像列を動画像として表示部２７の表示画面上で表示している時において、注目物体が表示されている、表示画面上の表示領域を、ユーザが指で触れることにより、該注目物体が追尾対象として設定される。或いは例えば、ユーザは、操作部１７に対する所定操作によって追尾対象を指定することもできる。
【０１４０】
追尾対象の設定後、追尾処理では、フレーム画像列の画像データに基づき、各フレーム画像における追尾対象の位置及び大きさが逐次検出される。実際には、追尾対象を表す画像データの存在する画像領域が追尾対象領域として各フレーム画像内に設定され、追尾対象領域の位置（例えば中心又は重心位置）及び大きさが追尾対象の位置及び大きさとして検出される。
【０１４１】
第１及び第２のフレーム画像間における追尾処理を次のように実行することができる。ここにおける第１のフレーム画像とは、既に追尾対象の位置及び大きさが検出されているフレーム画像を指し、第２のフレーム画像とは、これから追尾対象の位置及び大きさが検出されるべきフレーム画像を指す。第２のフレーム画像は、通常、第１のフレーム画像の次に撮影されるフレーム画像である。
【０１４２】
画像データに基づく追尾処理の方法として、公知の方法を含む任意の方法を利用可能である。例えば、追尾処理部８２は、追尾対象が有する画像特徴に基づいて追尾処理を行うことができる。画像特徴は、輝度情報及び色情報を含む。より具体的には例えば、第２のフレーム画像内に、追尾対象領域の大きさと同程度の大きさを有すると推定される追尾枠を設定して、第２のフレーム画像における追尾枠内の画像の画像特徴と、第１のフレーム画像における追尾対象領域内の画像の画像特徴との類似性評価を追尾枠の位置を探索領域内で順次変更しながら実行し、最大の類似性が得られた追尾枠の中心位置に、第２のフレーム画像における追尾対象領域の中心位置が存在すると判断する。第２のフレーム画像に対する探索領域は、第１のフレーム画像における追尾対象の位置を基準にして設定される。尚、フレーム画像上の追尾対象の位置及び大きさを検出する方法として、上述した方法と異なる他の任意の方法（例えば、特開２００４−９４６８０号公報に記載された方法や特開２００９−３８７７７号公報に記載された方法）を採用することも可能である。
【０１４３】
シャッタボタン１７ａの押下に伴って取得される短露光画像及び適正露光画像も、追尾処理の対象となるフレーム画像列の一部と考えることができる。今、図２９に示す如く、シャッタボタン１７ａの押下後、短露光画像５０３及び適正露光画像５０４がこの順番で連続撮影された場合を考える。また、短露光画像５０３の撮影直前においてフレーム画像５０２が撮影され、フレーム画像５０２の撮影直前にフレーム画像５０１が撮影され、適正露光画像５０４の直後にフレーム画像５０５が撮影されたものとする。尚、第１実施形態でも述べたように、短露光画像５０３よりも先に適正露光画像５０４が撮影されても良い。
【０１４４】
図２９に示すような画像５０１〜５０５が撮影された場合、特定領域検出部８１（図２４及び図２８参照）にとっての検出対象画像は、短露光画像５０３及び適正露光画像５０４から目標補正画像をリアルタイムに生成するべく、例えばフレーム画像５０２とされる。但し、短露光画像５０３又は適正露光画像５０４を検出対象画像として取り扱っても良い。更に、短露光画像５０３及び／又は適正露光画像５０４に基づく第１〜第３中間生成画像の何れかを検出対象画像として取り扱っても良いし、短露光画像５０３及び適正露光画像５０４の撮影後に撮影されるフレーム画像（例えば、フレーム画像５０５）を検出対象画像として取り扱うことも可能である。
【０１４５】
特定領域検出部８１は、検出対象画像上における追尾対象領域を特定領域とみなして特定領域情報を作成する。従って、第３動作例における特定領域は追尾対象の画像データが存在する追尾対象領域であり、第３動作例における非特定領域は追尾対象領域以外の画像領域である非追尾対象領域である。
【０１４６】
第２合成演算部５６ｄは、追尾対象領域の位置及び大きさを表す特定領域情報に基づき、注目画素位置（ｘ0，ｙ0）が追尾対象領域及び非追尾対象領域の何れに属するのかを判断し、注目画素位置（ｘ0，ｙ0）が追尾対象領域及び非追尾対象領域の何れに属するかによって、エッジ強度値Ｅ（ｘ0，ｙ0）と混合率β（ｘ0，ｙ0）との関係を異ならせる。
【０１４７】
具体的には、注目画素位置（ｘ0，ｙ0）が追尾対象領域に属する場合には、注目画素位置（ｘ0，ｙ0）に対して関係ＲＬBを適用し、注目画素位置（ｘ0，ｙ0）が非追尾対象領域に属する場合には、注目画素位置（ｘ0，ｙ0）に対して関係ＲＬAを適用する（図２７（ａ）及び（ｂ）参照）。関係ＲＬA及びＲＬBの特性は、第１動作例の説明において述べた通りである。
【０１４８】
これにより、追尾対象領域に対しては、目標補正画像に対する短露光画像の寄与度（即ちβ（ｘ，ｙ））が比較的大きくなる一方で、非追尾対象領域に対しては該寄与度（即ちβ（ｘ，ｙ））が比較的小さくなる。この結果、目標補正画像において、追尾対象領域の鮮鋭度が高まり、追尾対象としての注目物体が鮮明に描写されるようになる。
【０１４９】
尚、第２合成演算部５６ｄに入力される第３中間生成画を第１中間生成画像（図５参照）に置き換えても、第４実施形態に特有の作用及び効果を得ることができる。即ち、図３０に示す如く、第２合成演算部５６ｄに対して、第３中間生成画像の代わりに第１中間生成画像を入力し、第２合成演算部５６ｄにおいて第１中間生成画像と短露光画像を合成することで目標補正画像を生成するようにしても良い。この場合、第４実施形態の説明文中における第３中間生成画像、及び、第１実施形態で述べた第２合成演算部５６の機能の説明文中における第３中間生成画像を、第１中間生成画像に読み替えれば足る（上記式（６）におけるＰ３（ｘ，ｙ）もＰ１（ｘ，ｙ）に置き換えて考えればよい）。また、第２合成演算部５６ｄに対して第３中間生成画像の代わりに第１中間生成画像を入力する場合には、画像補正部２０又は２０ａから第１合成部６１を割愛することも可能である（図１、図５参照）。
【０１５０】
＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。第５実施形態は、第４実施形態の一部を変形した実施形態であり、本実施形態にて特に述べない事項に関しては、第４実施形態の記載が本実施形態にも適用される。
【０１５１】
第４実施形態では、注目画素位置が特定領域と非特定領域の何れかに属しているかでエッジ強度値Ｅ（ｘ，ｙ）及び混合率（ｘ，ｙ）間の関係が急峻に変化する。従って、第４実施形態では、隣接する部分画像領域の境界部分において画像の質感（画像鮮鋭度等）が急峻に変化することがある。第５実施形態に係る技術は、このような急峻な変化の抑制に寄与する。
【０１５２】
説明の具体化のため、特定領域が顔領域であって非特定領域が非顔領域である場合を例にとり、第５実施形態に係る技術を説明する。
【０１５３】
特定領域検出部８１又は第２合成演算部５６ｄ（図２４、図３０参照）は、特定領域情報によって指し示される顔領域を、顔中央領域と顔周辺領域に分類する。顔領域の外形は矩形以外であってもよいが、今、顔領域の外形が矩形である場合を考える。そうすると、顔領域は、図３１に示すような顔中央領域と顔周辺領域に分類される。図３１及び後述の図３３において、ドットで満たされた領域が顔中央領域であり、斜線で満たされた領域が顔周辺領域である。顔領域の中心を、顔中心と呼ぶ。顔中央領域は、顔中心からの距離が基準距離以下の画素で形成される画像領域であり、顔の鼻などの画像データを内包する。基準距離は、顔中央領域が顔領域の一部となるように顔領域の大きさに基づいて決定される。顔領域の内、顔中央領域以外の画像領域が顔周辺領域である。
【０１５４】
注目画素位置（ｘ0，ｙ0）が顔中央領域に属する場合は、注目画素位置（ｘ0，ｙ0）に関係ＲＬAが適用され、注目画素位置（ｘ0，ｙ0）が非顔領域に属する場合は、注目画素位置（ｘ0，ｙ0）に関係ＲＬBが適用される（図２７（ａ）及び（ｂ）参照）。この点に関しては、第４実施形態と同様である。
【０１５５】
但し、注目画素位置（ｘ0，ｙ0）が顔周辺領域に属する場合は、注目画素位置（ｘ0，ｙ0）に関係ＲＬCが適用される。図３０（ａ）の折れ線４７０Cは関係ＲＬCを表している。図３０（ｂ）では、図２７（ａ）及び（ｂ）にも示される折れ線４７０A及び４７０Bと共に、折れ線４７０Cが示されている。
注目画素位置（ｘ0，ｙ0）に関係ＲＬCが適用される場合、
不等式「Ｅ（ｘ0，ｙ0）＜ＴＨLC」の成立時には「β（ｘ0，ｙ0）＝０」とされ、
不等式「ＴＨLC≦Ｅ（ｘ0，ｙ0）＜ＴＨHC」の成立時には「β（ｘ0，ｙ0）＝（Ｅ（ｘ0，ｙ0）−ＴＨLC）／（ＴＨHC−ＴＨLC）」とされ、
不等式「ＴＨHC≦Ｅ（ｘ0，ｙ0）」の成立時には「β（ｘ0，ｙ0）＝１」とされる。
【０１５６】
注目画素位置（ｘ0，ｙ0）が顔周辺領域に属する場合、第２合成演算部５６ｄは、注目画素位置（ｘ0，ｙ0）と顔中央領域との距離及び注目画素位置（ｘ0，ｙ0）と非顔領域との距離に基づき、閾値ＴＨLC及びＴＨHCを調整する。但し、この調整は、不等式「０＜ＴＨLC＜ＴＨHC」、「ＴＨLB＜ＴＨLC＜ＴＨLA」及び「ＴＨHB＜ＴＨHC＜ＴＨHA」が満たされる範囲内で行われる。
【０１５７】
図３３に示す如く、注目画素位置（ｘ0，ｙ0）が画素位置５３０である場合を考える。この場合、画素位置５３０と顔中心とを結ぶ直線を想定し、該直線と顔中央領域の外周との交点に配置された画素位置５３１、及び、該直線と顔周辺領域の外周との交点に配置された画素位置５３２を参照する。画素位置５３０に対する閾値ＴＨLCは、画素位置５３０が画素位置５３１から画素位置５３２に向かうにつれて、顔中央領域に対応する閾値ＴＨLAから非顔領域に対応する閾値ＴＨLBに向かって線形的に又は非線形に減少せしめられる。同様に、画素位置５３０に対する閾値ＴＨHCは、画素位置５３０が画素位置５３１から画素位置５３２に向かうにつれて、顔中央領域に対応する閾値ＴＨHAから非顔領域に対応する閾値ＴＨHBに向かって線形的に又は非線形に減少せしめられる。
【０１５８】
このため、全画素位置に対するエッジ強度値Ｅ（ｘ，ｙ）が同じであると仮定したならば、目標補正画像に対する短露光画像の寄与度（即ち、β（ｘ，ｙ））は、顔中央領域において最も小さく、顔周辺領域において２番目に小さく、非顔領域において最も大きくなる。そして、その寄与度は、顔領域と非顔領域の境界部分において滑らかに変化することが期待される。この結果、顔領域と非顔領域の境界部分において画像の質感（画像鮮鋭度等）が急峻に変化することが抑制される。
【０１５９】
特定領域が顔領域である場合を例に挙げたが、特定領域がペット領域又は追尾対象領域である場合も同様である。但し、特定領域がペット領域又は追尾対象領域である場合においては、目標補正画像に対する短露光画像の寄与度（即ち、β（ｘ，ｙ））は、特定中央領域において最も大きく、特定周辺領域において２番目に大きく、非特定領域において最も小さくなる（但し、全画素位置に対するエッジ強度値Ｅ（ｘ，ｙ）が同じであると仮定）。特定中央領域とは、特定領域の中心からの距離が基準距離以下の画素で形成される画像領域である（ここにおける基準距離は、特定中央領域が特定領域の一部となるように特定領域の大きさに基づいて決定される）。特定領域の内、特定中央領域以外の画像領域が特定周辺領域である。
【０１６０】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１６１】
［注釈１］
画像補正部（２０又は２０ａ）を含む画像処理装置が撮像装置１内に設けられている例を上述したが、画像補正部（２０又は２０ａ）を、撮像装置１の外部の画像処理装置（不図示）に設けるようにしてもよい。この場合、その外部の画像処理装置に含まれる画像補正部（２０又は２０ａ）に対して、撮像装置１の撮影によって得られた画像データ（短露光画像及び適正露光画像の画像データを含む）を供給することにより、その外部の画像処理装置に含まれる画像補正部（２０又は２０ａ）にて目標補正画像の画像データが生成される。
【０１６２】
［注釈２］
撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、画像補正部（２０又は２０ａ）内で実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【０１６３】
［注釈３］
例えば、以下のように考えることができる。第２及び第３実施形態において、領域エッジ量算出部７１（図１７又は図２０参照）は、部分画像領域ごとの画像特徴量を抽出する特徴量抽出部として機能する。エッジ強度値算出部５５も特徴量抽出部の構成要素に含まれる、と考えることも可能である。
【符号の説明】
【０１６４】
１  撮像装置
１１  撮像部
１２  ＡＦＥ
１３  主制御部
２０、２０ａ  画像補正部
５１  位置合わせ部
５２  ノイズ低減部
５３  差分値算出部
５４  第１合成演算部
５５  エッジ強度値算出部
５６、５６ｂ、５６ｄ  第２合成演算部
６１  第１合成部
６２、６２ｂ、６２ｄ  第２合成部
７１  領域エッジ量算出部
８１  特定領域検出部
８２  追尾処理部
【図１】
2011044846.tif 000009
【図２】
2011044846.tif 000010
【図４】
2011044846.tif 000011
【図５】
2011044846.tif 000012
【図８】
2011044846.tif 000013
【図１０】
2011044846.tif 000014
【図１２】
2011044846.tif 000015
【図１４】
2011044846.tif 000016
【図１７】
2011044846.tif 000017
【図１８】
2011044846.tif 000018
【図１９】
2011044846.tif 000019
【図２０】
2011044846.tif 000020
【図２１】
2011044846.tif 000021
【図２２】
2011044846.tif 000022
【図２３】
2011044846.tif 000023
【図２４】
2011044846.tif 000024
【図２５】
2011044846.tif 000025
【図２６】
2011044846.tif 000026
【図２７】
2011044846.tif 000027
【図２８】
2011044846.tif 000028
【図２９】
2011044846.tif 000029
【図３０】
2011044846.tif 000030
【図３１】
2011044846.tif 000031
【図３２】
2011044846.tif 000032
【図３３】
2011044846.tif 000033
【図３】
2011044846.tif 000034
【図６】
2011044846.tif 000035
【図７】
2011044846.tif 000036
【図９】
2011044846.tif 000037
【図１１】
2011044846.tif 000038
【図１３】
2011044846.tif 000039
【図１５】
2011044846.tif 000040
【図１６】
2011044846.tif 000041