(57)【要約】【課題】位置ずれを含む複数の画像から高精度な評価値を取得可能な画像処理装置を提供する。【解決手段】画像処理装置は、第１の画像の位置と第２の画像の位置を対応付ける座標変換情報を算出する算出手段と、第１の画像に第１の領域を設定し、座標変換情報に基づいて第２の画像に第１の領域と対応付けられた第２の領域を設定する領域設定手段と、第１の領域と第２の領域を比較して評価値を取得する評価値取得手段とを有する。【選択図】図１
2014109832.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像の位置と第２の画像の位置を対応付ける座標変換情報を算出する算出手段と、
前記第１の画像に第１の領域を設定し、前記座標変換情報に基づいて前記第２の画像に該第１の領域と対応付けられた第２の領域を設定する領域設定手段と、
前記第１の領域と前記第２の領域を比較して評価値を取得する評価値取得手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記第１の画像と前記第２の画像の間の動きベクトルに基づいて前記座標変換情報を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記座標変換情報は、被写体像の変形を示す射影変換係数であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記評価値取得手段は、前記第１の領域と前記第２の領域に含まれる画素を補間することなく前記評価値を取得することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記評価値取得手段は、前記第１の領域と前記第２の領域の大きさに応じて前記評価値を正規化することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記評価値取得手段は、前記第２の領域に含まれる画素毎に重みを変更して前記評価値を取得することを特徴する請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記評価値取得手段は、前記第１の領域と前記第２の領域のエッジ積分値を比較して前記評価値を取得することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記評価値取得手段は、前記第１の領域と前記第２の領域の信号値の差分を比較して前記評価値を取得することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記領域設定手段は、前記第１の領域の各頂点に対して前記座標変換情報を用いて得られた点を各頂点とする領域を、前記第２の領域として設定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記領域設定手段は、前記第１の領域に含まれる画素に対して前記座標変換情報を用いて得られた画素を含む領域を、前記第２の領域として設定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１１】
前記評価値は、距離情報の取得に用いられることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記評価値は、移動体領域の判定に用いられることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１３】
被写体像の光電変換を行って前記第１の画像および前記第２の画像を取得する撮像素子と、
請求項１乃至１２のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
【請求項１４】
撮像光学系と、
前記撮像光学系を介して前記被写体像を取得する請求項１３に記載の撮像装置と、を有することを特徴とする撮像システム。
【請求項１５】
第１の画像の位置と第２の画像の位置を対応付ける座標変換情報を算出するステップと、
前記第１の画像に第１の領域を設定し、前記座標変換情報に基づいて前記第２の画像に該第１の領域と対応付けられた第２の領域を設定するステップと、
前記第１の領域と前記第２の領域を比較して評価値を取得するステップと、を有することを特徴とする画像処理方法。
【請求項１６】
第１の画像の位置と第２の画像の位置を対応付ける座標変換情報を算出するステップと、
前記第１の画像に第１の領域を設定し、前記座標変換情報に基づいて前記第２の画像に該第１の領域と対応付けられた第２の領域を設定するステップと、
前記第１の領域と前記第２の領域を比較して評価値を取得するステップと、を画像処理装置に実行させるように構成されていることを特徴とする画像処理プログラム。
【請求項１７】
請求項１６に記載の画像処理プログラムを格納していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２枚の画像から領域毎に評価値を取得する画像処理装置に関する。
【背景技術】
【０００２】
従来から、位置ずれを含む２枚の画像から評価値を取得する場合、一方の画像を基準画像として他方の画像の位置ずれを算出し、対応する位置の画素値を周辺の画素から補間して画素値を生成して領域毎に比較している。特許文献１には、手持ち撮影時に物体抽出を行うため、抽出対象の被写体が写っている画像と被写体が写っていない背景画像の２枚の画像を撮影して位置合わせを行い、画素の差分情報（評価値）に基づいて被写体を抽出する画像処理方法が開示されている。  
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４７６０９７３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のように画素補間を施して得られた画像と位置合わせの基準となる画素補間を行っていない画像とを領域毎に比較すると、画素補間による画素の周波数特性の変化により、評価値の精度が劣化する。
【０００５】
そこで本発明は、位置ずれを含む複数の画像から高精度な評価値を取得可能な画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理装置は、第１の画像の位置と第２の画像の位置を対応付ける座標変換情報を算出する算出手段と、前記第１の画像に第１の領域を設定し、前記座標変換情報に基づいて前記第２の画像に該第１の領域と対応付けられた第２の領域を設定する領域設定手段と、前記第１の領域と前記第２の領域を比較して評価値を取得する評価値取得手段とを有する。
【０００７】
本発明の他の側面としての撮像装置は、被写体像の光電変換を行って前記第１の画像および前記第２の画像を取得する撮像素子と、前記画像処理装置とを有する。
【０００８】
本発明の他の側面としての撮像システムは、撮像光学系と、前記撮像光学系を介して前記被写体像を取得する前記撮像装置とを有する。
【０００９】
本発明の他の側面としての画像処理方法は、第１の画像の位置と第２の画像の位置を対応付ける座標変換情報を算出するステップと、前記第１の画像に第１の領域を設定し、前記座標変換情報に基づいて前記第２の画像に該第１の領域と対応付けられた第２の領域を設定するステップと、前記第１の領域と前記第２の領域を比較して評価値を取得するステップとを有する。
【００１０】
本発明の他の側面としての画像処理プログラムは、第１の画像の位置と第２の画像の位置を対応付ける座標変換情報を算出するステップと、前記第１の画像に第１の領域を設定し、前記座標変換情報に基づいて前記第２の画像に該第１の領域と対応付けられた第２の領域を設定するステップと、前記第１の領域と前記第２の領域を比較して評価値を取得するステップと、を画像処理装置に実行させるように構成されている。
【００１１】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを格納している。
【００１２】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１３】
本発明によれば、位置ずれを含む複数の画像から高精度な評価値を取得可能な画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態における画像処理装置を備えた撮像装置のブロック図である。
【図２】実施例１における画像処理方法のフローチャートである。
【図３】実施例１における基準画像と比較画像の一例である。
【図４】実施例１における基準エッジ画像（基準領域）と比較エッジ画像（比較領域）の一例である。
【図５】実施例１における基準領域と比較領域の拡大図である。
【図６】実施例２における画像処理方法のフローチャートである。
【図７】実施例２における基準画像と比較画像の一例である。
【図８】画素補間による位置合わせの説明図である。
【図９】画素補間による周波数特性の変化を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１６】
まず、図１を参照して、本実施形態における画像処理装置を備えた撮像装置の構成について説明する。図１は、撮像装置１００のブロック図である。撮像装置１００は、合焦位置を変更して撮影した位置ずれを含む２枚の画像（複数の画像）を領域毎に比較して評価値を取得することにより、領域毎の距離情報を取得する。
【００１７】
撮像装置１００において、撮像レンズ１０（撮像光学系）は、撮影像を光学的に撮像素子１２上に結像させる。撮像素子１２は、その撮影像（被写体像）に対して光電変換を行い電気信号（アナログ信号）に変換する。撮像素子１２は、複数色のフィルタを備えて構成される。Ａ／Ｄ変換器１４は、撮像素子１２から出力されるアナログ信号をデジタル信号に変換する。なお本実施例の撮像装置１００は、撮像レンズ１０（撮像光学系）と撮像装置本体とが一体的に構成されているが、これに限定されるものではない。本実施例は、撮像装置本体と、撮像装置本体に対して着脱可能な撮像光学系（レンズ装置）とを有する撮像システムにも適用可能である。
【００１８】
画像信号処理手段１６は、撮影して得られた画像データ（画像信号）に対して、同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理などの各種の画像信号処理を行う。画像信号処理手段１６は、処理後の画像データを現像し、メモリ１８に記憶させる。メモリ１８は、撮影して得られた画像データを一時的に格納する揮発性メモリ（記憶手段）である。制御手段２０は、Ａ／Ｄ変換器１４、メモリ１８、画像信号処理手段１６、位置ずれ算出手段２２、比較領域設定手段２４、および、評価値取得手段２６の間のデータの流れを制御する。
【００１９】
位置ずれ算出手段２２（算出手段）は、撮像素子１２により取得された２枚の画像（第１の画像、第２の画像）の位置ずれを算出し、２枚の画像の位置を対応付ける座標変換情報を算出する。比較領域設定手段２４（領域設定手段）は、２枚の画像のうち一方の画像である基準画像（第１の画像）に対して基準領域（第１の領域）を設定し、他方の画像である比較画像（第２の画像）に対して比較領域（第２の領域）を設定する。比較領域は、位置ずれ算出手段２２により算出された座標変換情報に基づいて決定される。
【００２０】
評価値取得手段２６は、基準画像に対して設定された基準領域（第１の領域）と、比較画像に対して設定された比較領域（第２の領域）とを比較して評価値を取得する。本実施形態において、評価値取得手段２６は、基準領域および比較領域のそれぞれの領域に対してエッジ抽出を行う。そして、この２つの領域内の画素毎のエッジ振幅の絶対値を積分して得られた値を比較することにより、評価値を取得する。本実施形態において、画像処理装置３０は、画像信号処理手段１６、位置ずれ算出手段２２、比較領域設定手段２４、および、評価値取得手段２６を備えて構成される。
【００２１】
ところで、従来のように、画素補間を施して得られた画像と位置合わせの基準となる画素補間を行っていない画像とを領域毎に比較すると、画素補間による画素の周波数特性の変化により、評価値の精度が劣化する。例えば、２枚の画像の位置ずれを検出した結果、図８に示されるように水平に０．５画素ずれている状態で位置合わせした画素を線形補間で生成すると、図９に示されるような周波数特性のローパスフィルタが適用されたことになる。このため、位置合わせを行った画像だけ周波数特性が変化してしまう。そこで本実施形態の画像処理方法は、画素を補間することなく高精度な評価値を取得する。以下、この画像処理方法の具体的な実施例について説明する。
【実施例１】
【００２２】
まず、図２乃至図５を参照して、本発明の実施例１における画像処理方法について説明する。図２は、本実施例における画像処理方法（評価値の取得方法）のフローチャートである。図２の各ステップは、主に、制御手段２０の指令に基づいて画像処理装置３０により行われる。
【００２３】
まずステップＳ２０１において、撮像装置１００は、合焦位置をずらして２枚の画像（第１の画像、第２の画像）を撮影する。ここで、一方の画像（例えば、１枚目に撮影した画像）を基準画像３０１（第１の画像）、他方の画像（例えば、２枚目に撮影した画像）を比較画像３０２（第２の画像）とする。図３は撮影して得られた２枚の画像の一例であり、図３（ａ）は基準画像３０１、図３（ｂ）は比較画像３０２をそれぞれ示している。基準画像３０１は、被写体に合焦した画像である。一方、比較画像３０２は、背景に合焦した画像である。また、本実施例において、撮像装置１００を手持ち状態で２枚の画像を撮影しているため、基準画像３０１と比較画像３０２（２枚の画像）の間には位置ずれが生じている。
【００２４】
次に、位置ずれ算出手段２２は、２枚の画像間の動きベクトルを算出し、２枚の画像間の位置ずれを対応付けるための座標変換情報を算出する。すなわち位置ずれ算出手段２２は、基準画像３０１（第１の画像）と比較画像３０２（第２の画像）の間の動きベクトルに基づいて座標変換情報を算出する。
【００２５】
具体的には、ステップＳ２０２において、位置ずれ算出手段２２は、位置合わせの基準画像３０１と、基準画像３０１に対する位置ずれ（位置ずれ量）を算出するための比較画像３０２とを、それぞれ、複数の領域（小領域）に分割する。そして、これらの領域（分割領域）毎に基準画像３０１と比較画像３０２との間の位置ずれ量を求めることにより、動きベクトルを算出する。本実施例における位置ずれ量の算出方法としては、例えば特開２００９−３０１１８１号公報に開示された方法が用いられる。この方法によれば、基準画像３０１の小領域を比較画像３０２の小領域内で移動させながら相関値を求め、この相関値が最小となる位置までの動きベクトルをその小領域における位置ずれ量とする。また、相関値としては、例えば差分絶対値和（ＳＡＤ）が用いられる。
【００２６】
続いてステップＳ２０３において、位置ずれ算出手段２２は、小領域毎に算出された位置ずれ量に基づいて、２枚の画像の位置ずれを対応づける座標変換情報を算出する。本実施例において、座標変換情報は射影変換係数であり、射影変換係数は被写体像の変形を示す係数である。また射影変換係数は、１つの画像に対して１つだけ算出してもよいし、小領域毎に異なる射影変換係数を算出してもよい。なお本実施例において、座標変換情報として射影変換係数が用いられるが、これに限定されるわけではない。射影変換係数に代えて、アフィン変換係数など他の種類の座標変換情報を算出してもよい。
【００２７】
次にステップＳ２０４において、画像信号処理手段１６は、基準画像３０１および比較画像３０２のそれぞれに対してバンドパスフィルタを用いたエッジ抽出処理を行い、基準エッジ画像４０３および比較エッジ画像４０４を生成する。図４（ａ）は基準エッジ画像４０３、図４（ｂ）は比較エッジ画像４０４の一例である。
【００２８】
次にステップＳ２０５において、比較領域設定手段２４は、基準エッジ画像４０３に対して基準領域４０１を設定する。また比較領域設定手段２４は、ステップＳ２０３にて算出された射影変換係数に基づいて比較エッジ画像４０４に対して比較領域４０２を設定する。
【００２９】
ここで、基準領域４０１および比較領域４０２設定方法について詳述する。まず、比較領域設定手段２４は、基準エッジ画像４０３の内部において、距離情報を取得する着目画素を中心とした矩形の基準領域４０１を設定する。続いて、位置ずれ算出手段２２により算出された射影変換係数に基づき、基準領域４０１の四隅（四頂点）に対して以下の式（１）、（２）を用いて座標変換を行い、比較エッジ画像４０４に対して比較領域４０２を設定する。
【００３０】
ｘ’＝（ａｘ＋ｂｙ＋ｃ）÷（ｄｘ＋ｅｙ＋１）  …（１）
ｙ’＝（ｆｘ＋ｇｙ＋ｉ）÷（ｄｘ＋ｅｙ＋１）  …（２）
式（１）、（２）において、係数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇは、ステップＳ２０３にて算出された射影変換係数である。ｘ、ｙは、それぞれ、基準領域４０１の四隅（四頂点）のうちの１つの角のｘ座標およびｙ座標である。ｘ’、ｙ’は、それぞれ、比較領域４０２の四隅のうちの１つの角のｘ座標およびｙ座標であり、基準領域４０１の１つの角に対応する比較エッジ画像４０４の１つの角の位置である。比較領域設定手段２４は、式（１）、（２）に基づいて、基準領域４０１の残りの３つの角に対応する比較エッジ画像４０４の３つの角の位置をそれぞれ算出することにより、比較領域４０２の四隅の座標を求める。
【００３１】
図５は基準領域４０１および比較領域４０２の拡大図であり、図５（ａ）は基準領域４０１、図５（ｂ）は比較領域４０２をそれぞれ示している。図５（ｂ）に示される波線矢印は、基準領域４０１の四隅が前述の方法により波線矢印で示される位置に座標変換されたことを表している。このように、比較領域設定手段２４は、基準領域４０１の各頂点に対して座標変換情報を用いて得られた点を各頂点とする領域を、比較領域４０２として設定する。
【００３２】
本実施例では、矩形の基準領域４０１から比較領域４０２を決定する方法について説明しているが、これに限定されるものではない。例えば、基準領域４０１を多角形に設定し、多角形の頂点毎に座標変換を行うことにより比較領域４０２を設定してもよい。また、基準領域４０１を任意の形状に設定し、基準領域４０１に含まれる画素毎に座標変換を行って比較領域４０２を設定することもできる。このとき比較領域設定手段２４は、基準領域４０１に含まれる画素に対して座標変換情報を用いて得られた画素を含む領域を、比較領域４０２として設定する。
【００３３】
次にステップＳ２０６において、評価値取得手段２６は、基準領域４０１と比較領域４０２とを比較して、その領域の評価値を取得する。具体的には、評価値取得手段２６は、基準エッジ画像４０３と比較エッジ画像４０４の領域毎に領域内画素のエッジ振幅の絶対値を積分して得られた信号値（以下、「エッジ積分値」という。）の差分を評価値として取得する。後述のように、本実施例の評価値は、前景や背景などの距離情報の取得に用いられる。
【００３４】
このように評価値取得手段２６は、基準領域４０１のエッジ積分値と、比較領域４０２のエッジ積分値を比較して評価値を取得する。ここで、比較領域４０２は矩形であるとは限らない。比較領域４０２が矩形以外の形状を有する四角形（形状が変形された四角形）になる場合、比較領域４０２のエッジ積分を行う対象領域（対象画素）は、比較領域４０２に完全に含まれる画素とする。例えば図５（ｂ）に示される比較領域４０２の場合、対象画素は、比較領域４０２の内部に含まれる白色画素と斜線画素になる。
【００３５】
また、基準領域４０１はエッジ積分の対象となる画素数は６４であるのに対し、比較領域４０２はエッジ積分の対象となる画素数は５９である。このため本実施例では、エッジ積分対象の画素数に応じてエッジ積分値を正規化することが好ましい。具体的には、比較領域４０２のエッジ積分値に６４／５９を掛けて正規化した値を比較領域４０２の最終的なエッジ積分値とする。このように、評価値取得手段２６は、基準領域４０１（第１の領域）と比較領域４０２（第２の領域）の大きさに応じて評価値を正規化してもよい。
【００３６】
また、比較領域４０２の内部に一部だけ含まれる画素（グレー色画素）についても、比較領域４０２の内部に含まれる割合に応じた重みを掛けて（重み付けを行って）、エッジ積分値に加えることができる。このように評価値取得手段２６は、比較領域４０２（第２の領域）に含まれる画素毎に重みを変更して評価値を取得してもよい。
【００３７】
続いて、評価値取得手段２６（制御手段２０）は、取得された評価値に基づいて、距離情報を判定する（取得する）。評価値取得手段２６は、前述のように、領域毎にエッジ積分値を比較する。前景の被写体に合焦している基準エッジ画像４０３に対して、背景に合焦している比較エッジ画像４０４のエッジ積分値が減少している領域の場合、基準エッジ画像４０３に対して比較エッジ画像４０４において画像がぼけたことになる。このため、その領域は前景であると判定される。逆に、基準エッジ画像４０３に対して比較エッジ画像４０４のエッジ積分値が増加している場合、基準エッジ画像４０３に対して比較エッジ画像４０４において画像が合焦したことになる。このため、その領域は背景であると判定される。また本実施例では、評価値としてエッジ積分値（信号値）の差分を用いているが、これに限定されるものではない。エッジ積分値の比率を用いてもよいし、または、周波数特性の異なる複数のフィルタで抽出したエッジのエッジ積分値を組み合わせて評価値の算出用のエッジ積分値として用いてもよい。
【００３８】
次にステップＳ２０７において、画像信号処理手段１６（制御手段２０）は、基準画像３０１に対してぼけフィルタを適用することにより、画像全体がぼけているぼけ画像を生成する。ぼけフィルタとしては、例えば、低周波領域を通過させる周波数特性を有するローパスフィルタが選択される。
【００３９】
次にステップＳ２０８において、画像信号処理手段１６（制御手段２０）は、ステップＳ２０６にて算出された評価値（距離情報）に基づいて、基準画像３０１とステップＳ２０７にて生成されたぼけ画像とを合成する。その距離情報により前景であると判定された前景領域については基準画像３０１が参照される。一方、その距離情報により背景であると判定された背景領域については、ステップＳ２０７にて生成されたぼけ画像が参照される。そして、画像信号処理手段１６（制御手段２０）は、前景領域と背景領域とを合成することにより、被写体領域（前景領域）は合焦し、背景領域はぼけている背景ぼかし画像を生成することができる。
【００４０】
本実施例によれば、位置合わせのための座標変換係数に基づいて、画素値に影響を与えることなく比較領域の形状を変更することで、位置合わせの影響を低減して領域毎に評価値（距離情報）を取得することができる。
【実施例２】
【００４１】
次に、図６および図７を参照して、本発明の実施例２における画像処理方法について説明する。本実施例の画像処理装置３０は、位置ずれを含む２枚の撮影画像から領域毎に評価値を得ることにより、画像内の移動体領域を抽出する。すなわち評価値取得手段２６は、基準画像に設定された基準領域と、比較画像に設定された比較領域とを比較して評価値（移動体情報）を取得し、移動体領域を抽出する。このように、本実施例の評価値は、移動体領域の判定に用いられる。
【００４２】
図６は、本実施例における画像処理方法（評価値の取得方法）のフローチャートである。図６の各ステップは、主に、制御手段２０の指令に基づいて画像処理装置３０により行われる。まず、ステップＳ６０１において、撮像装置１００は２枚の画像を撮影する。ここで、一方の画像（例えば、１枚目に撮影した画像）を基準画像７０１、他方の画像（例えば、２枚目に撮影した画像）を比較画像７０２とする。
【００４３】
図７は撮影して得られた２枚の画像の一例であり、図７（ａ）は基準画像７０１、図７（ｂ）は比較画像７０２をそれぞれ示している。基準画像７０１および比較画像７０２において、主被写体７０３は動いていないが、移動体７０４は移動している。また本実施例では、撮像装置１００を手持ち状態で２枚の画像を撮影しているため、２枚の画像間には位置ずれが生じている。
【００４４】
次にステップＳ６０２において、位置ずれ算出手段２２は２枚の画像間の動きベクトルを算出する。そしてステップＳ６０３において、位置ずれ算出手段２２は、２枚の画像の位置ずれを対応付ける座標変換情報（射影変換係数）を算出する。本実施例のステップＳ６０２、Ｓ６０３は、実施例１のステップＳ２０２、Ｓ２０３と同様である。
【００４５】
次にステップＳ６０４において、比較領域設定手段２４は、基準領域４０１と比較領域４０２を設定する。本実施例のステップＳ６０４は基本的に実施例１のステップＳ２０５と同様である。ただし本実施例において、基準領域４０１と比較領域４０２は、基準画像７０１と比較画像７０２に対してそれぞれ設定される。
【００４６】
次にステップＳ６０５において、評価値取得手段２６（制御手段２０）は、各領域の評価値を取得して画像内の移動体領域を抽出する。本実施例において、評価値取得手段２６は、着目画素を中心とした矩形の基準領域４０１の内部の画素と、基準領域４０１に対応する比較領域４０２の内部の画素の輝度値総和（信号値）を評価値として取得する。そして評価値取得手段２６は、基準領域４０１と比較領域４０２の輝度値総和の差分または比率が所定値以上である場合、その領域が移動体（移動体領域）であると判定する。また本実施例では、色差の総和や他の色空間の信号値の総和や各種色区間の信号値の総和を重み付けて比較してもよい。また実施例１と同様に、比較領域４０２の内部に一部含まれる画素についても、比較領域４０２の内部に含まれる割合に応じて重み付けを行い、信号値の総和に加えてもよい。
【００４７】
本実施例によれば、位置合わせのための座標変換係数に基づいて、画素値に影響を与えることなく比較領域の形状を変更することで、位置合わせの影響を低減して領域毎に評価値（輝度値総和）を取得することができる。
【００４８】
このため各実施例によれば、位置ずれを含む複数の画像から高精度な評価値を取得可能な画像処理装置、撮像装置、撮像システム、および、画像処理方法を提供することができる。また各実施例によれば、前記画像処理方法を前記画像処理装置に実行させるように構成された画像処理プログラム、および、前記画像処理プログラムを格納した記憶媒体を提供することができる。
【００４９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５０】
２２  位置ずれ検出手段
２４  比較領域設定手段
２６  評価値取得手段
３０  画像処理装置
【図４】
2014109832.tif 000003
【図８】
2014109832.tif 000004
【図９】
2014109832.tif 000005
【図１】
2014109832.tif 000006
【図２】
2014109832.tif 000007
【図３】
2014109832.tif 000008
【図５】
2014109832.tif 000009
【図６】
2014109832.tif 000010
【図７】
2014109832.tif 000011