(57)【要約】【課題】  可視光画像と非可視光画像を合成した合成画像を生成する画像処理装置において、可視画像で発生した被写体ブレの影響を抑えた合成画像の生成を可能とする。【解決手段】  可視光画像と前記可視光画像よりも露光時間が短い非可視光画像とを合成した合成画像を生成する画像合成手段と、前記可視光画像上の動体を検出する第一の動体検出手段と、前記非可視光画像上の動体を検出する第二の動体検出手段と、を有し、前記画像合成手段は、前記第一の動体検出手段と前記第二の動体検出手段の検出結果が同じ領域において前記合成画像を生成する。【選択図】  図２
2020197848.tif 000002
【特許請求の範囲】
【請求項１】
可視光画像と前記可視光画像よりも露光時間が短い非可視光画像とを合成した合成画像を生成する画像合成手段と、
前記可視光画像における動体を検出する第一の動体検出手段と、
前記非可視光画像における動体を検出する第二の動体検出手段と、を有し、
前記画像合成手段は、前記第一の動体検出手段と前記第二の動体検出手段の検出結果が同じ領域において前記合成画像を生成することを特徴とする画像処理装置。
【請求項２】
前記画像合成手段は、前記第一の動体検出手段および前記第二の動体検出手段の双方で動体が検出された領域において前記合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成手段は、前記第一の動体検出手段および前記第二の動体検出手段の双方で動体が検出されなかった領域において前記合成画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像合成手段は、前記第一の動体検出手段と前記第二の動体検出手段の検出結果が異なる領域においては前記合成画像を生成しないで前記非可視光画像を用いることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記画像合成手段は、前記第一の動体検出手段と前記第二の動体検出手段の検出結果が異なる領域においては前記合成画像を生成しないで前記非可視光画像を用い、前記検出結果が異なる領域に対応する前記非可視光画像の色信号を、前記検出結果が異なる領域に隣接する領域に対応する前記可視光画像の色信号に置き換えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像合成手段は、前記第一の動体検出手段と前記第二の動体検出手段の検出結果が異なる領域において、複数のフレームの前記可視光画像を用いて生成した背景画像と、前記非可視光画像とを合成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項７】
前記前記第一の動体検出手段と前記第二の動体検出手段の検出結果が異なる領域とは、前記第一の動体検出手段で動体が検出され、前記第二の動体検出手段で動体が検出されなかった領域であることを特徴とする請求項４から６のいずれか一項に記載の画像処理装置。
【請求項８】
請求項１から７のいずれか一項に記載の画像処理装置を有する撮像装置。
【請求項９】
請求項１から７のいずれか一項に記載の撮像装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【請求項１１】
可視光画像と非可視光画像を合成した合成画像を生成するための方法であって、
前記可視光画像と前記可視光画像よりも露光時間が短い前記非可視光画像とを合成した合成画像を生成する画像合成ステップと、
前記可視光画像における動体を検出する第一の動体検出ステップと、
前記非可視光画像における動体を検出する第二の動体検出ステップと、を有し、
前記画像合成ステップは、前記第一の動体検出ステップと前記第二の動体検出ステップの検出結果が同じ領域において前記合成画像を生成することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は合成画像を生成する画像処理装置、撮像装置、コンピュータプログラム、記憶媒体及び方法に関するものである。
【背景技術】
【０００２】
監視用途などの撮像装置においては、夜間などの低照度時にも被写体の色を再現することが要求される。例えば特許文献１では、低照度時にも被写体の色を再現できる撮像装置として、可視光に感度を有する撮像素子に加えて、近赤外光に感度を有する撮像素子を備え、これら二つの撮像素子で取得した画像を合成して表示する撮像装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−０２３０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、可視光に感度を有する撮像素子で撮影した画像（以下、可視画像と称す）の輝度信号に、近赤外光に感度を有する撮像素子で撮影した画像（以下、赤外画像と称す）の輝度信号を加算し、可視画像の色信号比を残して合成画像を生成している。この手法によると低照度環境においても輝度ノイズの少ない画像を生成することが可能になるとされている。しかしながら、特許文献１の手法を用いて撮影した場合、輝度信号のＳＮＲ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）は高くできるが、色信号は可視画像と同一であるためＳＮＲは向上しない。仮に色信号のＳＮＲも向上させようとした場合には、可視光に感度を有する撮像素子の露光時間を長くし、色信号量を大きくする必要がある。しかしながらこのように露光時間を長くした場合には、被写体ブレが発生しやすくなる。図１は、可視画像側で被写体ブレが発生してしまった画像を赤外画像と合成した従来例を示す図である。この場合、当然ながら合成画像にも被写体ブレが影響し、図１に示すように認識性の低い画像となる。このような画像は監視用途として望ましくない。
【課題を解決するための手段】
【０００５】
可視光画像と前記可視光画像よりも露光時間が短い非可視光画像とを合成した合成画像を生成する画像合成手段と、前記可視光画像における動体を検出する第一の動体検出手段と、前記非可視光画像における動体を検出する第二の動体検出手段と、を有し、前記画像合成手段は、前記第一の動体検出手段と前記第二の動体検出手段の検出結果が同じ領域において前記合成画像を生成することを特徴とする。
【図面の簡単な説明】
【０００６】
【図１】従来例における合成画像を示す図。
【図２】第１の実施形態におけるシステムブロック図。
【図３】第１の実施形態における撮影画像および合成画像を示す図。
【図４】第２の実施形態における色情報の補間について説明する図。
【図５】第２の実施形態における合成画像を示す図。
【図６】第３の実施形態における背景画像を示す図。
【図７】第３の実施形態における合成画像を生成する概念図。
【発明を実施するための形態】
【０００７】
以下、図を用いて、本発明の実施形態における撮像装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。
【０００８】
（第１の実施形態）
図２は、本実施形態における撮像装置を示す図である。図２において、撮像装置１００は、結像光学系１０１、光分離部１０２、第一の撮像素子１０３、第二の撮像素子１０４、制御部１０５、第一の動体検出部１０６、第二の動体検出部１０７、合成処理部１０８を有する。
【０００９】
光分離部１０２は、結像光学系１０１を透過した入射光を、第一の撮像素子１０３と第二の撮像素子１０４に分離している。具体的には、光分離部１０２は波長選択プリズムから構成されており、特定の閾値の波長よりも短い波長の光（可視光）は波長選択プリズムを透過し、特定の閾値の波長よりも長い波長の光（赤外光）は波長選択プリズムで反射される。即ち、可視光は撮像素子１０３に入射し、赤外光（非可視光）は撮像素子１０４に入射するように構成されている。ここで、特定の閾値は、例えば、６００ｎｍ以上７５０ｎｍ以下である。即ち、可視光と赤外光の境目は６００ｎｍ以上７５０ｎｍ以下と定義する。また、赤外光とは、例えば、７５０ｎｍよりも長い波長の光を意味する。
【００１０】
第一の撮像素子１０３は少なくとも可視光に感度を有し、第二の撮像素子１０４は少なくとも赤外光に感度を有している。第一の撮像素子１０３中の画素は、ＲＧＢベイヤー配列のオンチップカラーフィルタを備えている。
【００１１】
図３は、本実施形態における撮像画像及び合成画像を示す図である。図３（ａ）は、第一の撮像素子１０３で取得した第一の画像１２０（可視光画像）を示している。この第一の画像１２０からは、輝度情報のほかに色情報を取得することができる。また、図３（ｂ）は、第二の撮像素子１０４で取得した第二の画像１２１（非可視光画像）を示している。この第二の画像１２１からは、輝度情報のみを取得することができる。各々の固体撮像素子１０３、１０４の駆動および画像の読み出しは、制御部１０５が制御している。以上は撮像装置１００が結像光学系と光分離部を１つずつ有する構成を示したが、光分離部が無く結像光学系が二つの撮像素子それぞれに１つずつ存在する構成としてもよい。ただし、結像光学系と光分離部が１つずつ備えられた撮像装置のほうが撮像装置のサイズを小さく出来ることと、両撮像素子の画像に視差が発生しないため望ましい。
【００１２】
＜動体検出＞
第一の画像１２０と第二の画像１２１はそれぞれ動体検出部１０６（第一の動体検出手段）および１０７（第二の動体検出手段）に送られ、それぞれ動体の検出が行われる。すなわち、動体検出部１０６において可視光画像上の動体が検出され、動体検出部１０７において非可視光画像上の動体が検出される。ここで動体の検出方法は例えば背景差分法などの手法が用いられる。第一の画像１２０および第二の画像１２１は、それぞれ「動体」と判定されたエリアの座標情報（以下、動体エリアと称す）とともに、合成処理部１０８に送られる。ここで「座標情報」とは、動体であると判定された領域の画素の、該画像内におけるｘｙアドレスを示す。図３（ａ）に示すように、太線１４０の範囲が第一の画像１２０における動体の範囲である。また、図３（ｂ）に示すように、太線１４１の範囲が第二の画像１２１における動体の範囲である。
【００１３】
＜合成処理＞
合成処理部１０８は、第一の画像１２０と第二の画像１２１を合成して、第三の画像１２３を生成する。具体的には、次のような処理を行う。
【００１４】
まず、ＲＧＢ形式で読み出された第一の画像１２０に現像処理（黒レベル補正、ホワイトバランス調整、デモザイク処理、ガンマ補正、フォーマット変換など）を行い、ＹＵＶ形式に変換する。この際の第一の画像１２０のＹＵＶ信号を各々、Ｙ１、Ｕ１、Ｖ１とする。同様に、第二の画像１２１を現像処理してＹＵＶ形式に変換する。この際の第二の画像１２１のＹ信号をＹ２とする。なお、第二の画像１２１は色情報を有さないため、ＵとＶの値はゼロである。
【００１５】
次に、第一の画像のＹＵＶ信号と第二の画像のＹ信号と、それぞれの画像における動体エリアの情報が合成処理部１０８に送られ、図３（ｄ）に示す第三の画像１２３が生成される。具体的には、第三の画像１２３のＹＵＶ信号を各々、Ｙ３、Ｕ３、Ｖ３とした時、以下に示す条件分けと計算式を用いて合成を行う。
【００１６】
［第一の画像、第二の画像で共に動体エリアと判定された範囲、および第一の画像、第二の画像で共に背景と判定された範囲］
図３（ｃ）は、第一の画像、第二の画像で共に動体エリアと判定された範囲、および第一の画像、第二の画像で共に背景と判定された範囲を示す図である。図３（ｃ）の画像１２２における斜線部１４２以外の範囲は、第一の画像および第二の画像において共に「動体と判定された範囲」、と「（動体ではなく）背景と判定された範囲」である。すなわち、すなわち、斜線部１４２は、動体検出部１０６（第一の動体検出手段）と動体検出部１０７（第二の動体検出手段）の双方で検出結果が同じ領域である。第一の画像および第二の画像において共に「動体と判定された範囲」、と「（動体ではなく）背景と判定された範囲」は、第一の画像の被写体ブレがない範囲である。式１に示すように、この範囲においては輝度信号として第一の画像の輝度信号Ｙ１に第二の画像の輝度信号Ｙ２を加えた値を第三の画像の輝度値Ｙ３とすることで輝度のＳＮＲを向上させる。また、式２及び式３に示すように、色差信号は露光時間を長くすることで色信号のＳＮＲが向上した第一の画像の色差信号Ｕ１、Ｖ１を使用する。これにより、この範囲における第三の画像の輝度および色のＳＮＲは向上し、認識性も向上する。
Ｙ３＝Ｙ１＋Ｙ２      式１
Ｕ３＝Ｕ１            式２
Ｖ３＝Ｖ１            式３
【００１７】
［第一の画像で動体エリアと判定され、かつ第二の画像で背景エリアと判定された範囲］
図３（ｃ）の画像１２２の斜線部１４２は、第一の画像において「動体」として判定され、かつ、第二の画像において「背景」として判定された範囲を表している。すなわち、斜線部１４２は、動体検出部１０６（第一の動体検出手段）と動体検出部１０７（第二の動体検出手段）の検出結果が異なる領域である。第一の撮像素子（可視光撮影用）は色のＳＮＲ向上のために第二の撮像素子（赤外光撮影用）に比べて露光時間が長い。このため第一の画像では被写体ブレが発生しやすくなる。ここでは、被写体に動きがあり被写体ブレが発生した場合について説明する。第一の画像において被写体ブレの広がった範囲は動体検出部１０６によって動体として判定される。一方、第一の撮像素子に比べて短秒の露光時間での撮影となる第二の撮像素子では被写体ブレが抑えられ動体として検出される範囲は第一の画像よりも狭い範囲となる。したがって第二の画像において動体ではなく「背景」と判定され、かつ第一の画像において「動体」として判定された範囲は被写体ブレの広がる範囲と見なせる。このように被写体ブレが第一の画像に発生している場合、二つの画像１２０および１２１を単純に合成した場合には合成画像１２３にも被写体ブレが生じ、認識性を低下させる要因となる。
【００１８】
以下の式４〜６は、この被写体ブレの発生している範囲（画像１２２の斜線部１４２）においては第二の画像の輝度信号のみを用いてモノクロ画像を出力することを表している。
Ｙ３＝Ｙ２      式４
Ｕ３＝０        式５
Ｖ３＝０        式６
【００１９】
色差信号Ｕ３およびＶ３を０とすることによって、色情報が失われる代わりに第一の画像の被写体ブレが第三の画像１２３（合成画像）に反映されることを防止し、認識性の高い画像を生成することができる。ここで失われた色情報とは、もともとは第一の画像１２０において被写体の色と背景の色が混ざった色の情報であり、監視用途としては証拠性の低い情報である。このため、この色情報自体を失うことは不必要な情報を捨てる行為でありデメリットは少ない。
【００２０】
以上のように本実施形態の手法を用いることによって、被写体ブレの発生している範囲においては被写体ブレの影響を除去し、被写体ブレ以外の範囲においては輝度および色のＳＮＲを向上させた合成画像１２３を取得することが可能になる。つまり、課題であった被写体ブレを抑制しながら輝度および色のＳＮＲが高い画像、すなわち認識性の高い監視画像を取得することが可能になる。
【００２１】
（第２の実施形態）
第２の実施形態では、第１の実施形態に比べて被写体ブレの範囲における色情報が補間され、さらに認識性が向上した画像を取得することが可能になる。より具体的には、第三の画像１２３の一部において、被写体ブレの影響を抑制する代わりに色情報が失われた範囲の色情報を、第一の画像における周囲の色情報から推測し、補間するものである。
【００２２】
第２の実施形態の撮像装置は第１の実施形態と同一のため説明を省略する。第２の実施形態と第１の実施形態の違いは合成処理部１０８での処理方法であり、具体的には「第一の画像で動体と判定され、かつ第二の画像で背景と判定された範囲」の合成方法が異なる。
【００２３】
図５は、本実施形態における合成画像を示す図である。図５（ａ）の画像１２２における斜線部１４２は「第一の画像で動体と判定され、かつ第二の画像で背景と判定された範囲」を示している。第１の実施形態ではこの範囲の輝度信号Ｙ３に第二の画像の輝度信号Ｙ２を使用し、色差信号Ｕ３およびＶ３は０とすることで被写体ブレのないモノクロ画像を出力していた。本実施形態では、この範囲における色差信号Ｕ３とＶ３の値を、この範囲に隣接する周囲の色差信号で置き換えることでカラー画像とする。
【００２４】
合成処理部１０８では入力された第一の画像１２０において「背景」と判定されたエリアに対し、エッジ情報を利用してエッジが閉曲線を描く領域毎に画像を分割し、それぞれの領域毎に、色差信号ＵおよびＶの代表値を算出する。ここで、画像のエッジを検出する手法は一般的な勾配法やラプラシアン法等を用いればよい。ここでは一例として領域毎に輝度の代表値として平均値を算出する場合を説明するが、代表値は最頻値、中央値などでもよいし、輝度Ｙの値によって任意に重みづけ平均した値でもよい。また、領域毎に算出する値を変えてもよい。
【００２５】
図４は、本実施形態における色情報の補間について説明する図である。図４（ａ）に示す画像１２０において、２００〜２０６がエッジ情報によって分割された領域を表している。
【００２６】
次に合成処理部１０８は第二の画像１２１の「背景」と判定されたエリアに対し、エッジ情報を利用してエッジが閉曲線を描く領域毎に分割する。図４（ｂ）に示す画像１２１において、２５０〜２５１がエッジ情報によって分割された領域を表している。次に、第二の画像１２１で分割されたそれぞれの領域２５０〜２５６と、第一の画像１２０で分割された領域２００〜２０６の紐づけを行う。ここで紐づけとは、「同一のテクスチャーである」と判断される二つの領域を対応づけすることを示す。また、第二の画像において紐づけられた領域の色信号には、対応する第一の画像の分割領域の色信号の代表値を使用する。このことによって被写体ブレが発生している範囲における色差信号を補間することができる。紐づけは具体的には次のようにして行う。まず、第一の画像１２０で分割された領域２００〜２０６のうち、ある一つの領域２０６に着目すると、第二の画像１２１の分割された領域２５０〜２５６の中に、領域２０６を内包する領域２５６が見つかる。したがって領域２０６は領域２５６のテクスチャーの一部であると判断できるので、領域２０６と領域２５６を同一エリアとして紐づけする。同様にして第一の画像で分割された領域全てに対して、対応する（内包する）第二の画像における分割領域を紐づけていき、最終的に図４（ｃ）に示すテーブルとして保持する。
【００２７】
図５は、本実施形態における合成画像を示す図である。合成処理１０８は「第一の画像で動体エリアと判定され、かつ第二の画像で背景エリアと判定された範囲」（図５（ａ）の斜線部１４２）において、この範囲におけるそれぞれの画素の色差信号を次のようにして決める。まずある画素１５０に着目する。画素１５０の位置は図５（ａ）の１５０であり、かつ図４（ｂ）においては画像１２１における画素１５０である。図４（ｃ）を見ると、画素１５０は領域２５６に属している。図４（ｃ）の領域毎の紐づけ結果から、領域２５６と紐づけられている第一の画像上の分割領域が領域２０６であることが分かる。したがって領域２０６の色差信号の代表値を画素１５０の色差信号として使用する。これを図５（ａ）の斜線部１４２内の全ての画素に対して実施することで、色情報が補間されたカラー画像が取得できる。
【００２８】
一方、図５（ａ）における斜線部１４２以外の範囲、つまり「第一の画像、第二の画像で共に動体エリアと判定された範囲、および第一の画像、第二の画像で共に背景と判定された範囲」は第１の実施形態と同様に式１〜３を用いて合成させる。
【００２９】
以上により、合成画像１２４は図５（ｂ）に示す画像１２４となり、第１の実施形態における合成画像１２３（図３（ｄ））に比べ、被写体ブレ範囲の色情報量が補間され、認識性を更に向上することが可能となる。
【００３０】
（第３の実施形態）
第３の実施形態では、第２の実施形態に比べて色情報の精度が向上し、より信頼性の高い監視画像を取得することが可能になる。具体的には、合成される第三の画像１２２の一部において、被写体ブレの影響を抑制する代わりに色情報が失われた範囲の色情報を第一の画像の複数フレームを用いて生成した背景画像の色情報で補間するものである。
【００３１】
第３の実施形態の撮像装置も第１の実施形態と同一のため説明を省略する。第３の実施形態と第１の実施形態の違いは動体検出部１０６と合成処理部１０８での処理方法である。具体的には「第一の画像で動体エリアと判定され、かつ第二の画像で背景エリアと判定された範囲」の合成方法が異なる。
【００３２】
図７は、本実施形態における合成画像を生成するフローの概念図である。図７（ａ）は第一の画像１２０を示す。また、図７（ｂ）は、第二の画像１２１を示す。また、図７（ｃ）は、第一の画像と第二の画像を合成し、色情報を補間する前の画像１２２を示す図である。図７（ｃ）の斜線部１４２は、「第一の画像で動体エリアと判定され、かつ第二の画像で背景エリアと判定された範囲」を示す。図７（ｄ）は、第一の画像と第二の画像を合成し、色情報を補間した後の画像１２７を示す図である。
【００３３】
本実施形態において動体検出部１０６は、第１の実施形態と同様の背景差分法などを用いた動体検出に加えて、動体が検出された際の背景画像１２５を、第一の画像および動体検知結果と共に合成処理部１０８へ送る。ここで、背景画像１２５は、背景差分法を用いる際に生成される第一の画像の複数フレームの移動平均を取った画像である。
【００３４】
図６は、第一の撮像素子１０３により撮像される第一の画像（可視光画像）と、背景画像１２５、および動体検知結果１２６の複数フレームにおける関係を示す図である。撮影された第一の画像は複数フレームに渡って移動平均が取られ、その結果が背景画像となる。この背景画像は毎フレームの撮影画像によって更新される。更新された背景画像と、次フレームの撮影画像の差分が動体検知結果となり、所定の閾値を超えた信号差がある範囲が、動体とみなされる。図６では（ｎ＋ｍ＋１）フレーム目に撮影画像に動体が発生し、同フレームで動体が検出されている。画像１２６の白い範囲が動体として検知された範囲である。動体が検出された際の背景画像１２５とはすなわち動体が写っていない状態の背景画像である。また、複数フレームに渡って移動平均を取った画像であるため、ノイズ成分が抑制されＳＮＲが向上している。
【００３５】
合成処理部１０８では、入力された第一の画像１２０に加えて、背景画像１２５にも現像処理を行い、ＹＵＶ変換を実施する。ここでＹＵＶ変換処理後の背景画像１２５の輝度値をＹ４、色差信号をＵ４、Ｖ４とする。次に合成処理部１０８では「第一の画像で動体エリアと判定され、かつ第二の画像で背景エリアと判定された範囲」（斜線部１４２）の各画素について以下の式を用いて画像を合成する。
Ｙ３＝Ｙ２＋Ｙ４      式７
Ｕ３＝Ｕ４            式８
Ｖ３＝Ｖ４            式９
【００３６】
一方で、「第一の画像、第二の画像で共に動体エリアと判定された範囲、および第一の画像、第二の画像で共に背景と判定された範囲」は第一の実施形態と同様に式１〜式３を用いて合成する。
【００３７】
合成画像は図７（ｄ）に示す画像１２７のようになる。図７（ｃ）の斜線部１４２に相当する範囲に着目すると、色差信号Ｕ３およびＶ３については背景画像のＵ４およびＶ４が用いられるため、モノクロ画像であった第１の実施形態に比べて色情報が補間される。さらに第２の実施形態と比べると、第２の実施形態ではこの領域の色差信号は周囲の隣接する分割領域の色差信号を用いた推測値であったのに対し、本実施形態では実際に撮影された実測値を用いており、色情報の信頼性が向上している。
【００３８】
輝度信号Ｙ３については、第１の実施形態および第２の実施形態と異なり、Ｙ２に加えてＹ４が加算されるため、輝度のＳＮＲがより向上する。
【００３９】
この結果、本実施形態の手法を用いることで、第三の画像の全ての領域において、輝度および色のＳＮＲが向上された画像を取得することが可能になり、認識性の高い画像が取得できる。
【００４０】
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４１】
上記実施形態において、合成処理部１０８が撮像装置１００に設けられた例を説明したが、合成処理部１０８はクライアント装置側に配置してもよい。この場合、クライアント装置からの指示に応じて撮像装置１００から第一の画像と第二の画像をクライアント装置に送り、クライアント装置側で画像合成を行ってもよい。
【００４２】
また、本発明における制御の一部または全部を上述した実施形態の機能を実現するコンピュータプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そして、その撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
【符号の説明】
【００４３】
１００  撮像装置
１０１  結像光学系
１０２  光分離部
１０３  第一の固体撮像素子
１０４  第二の固体撮像素子
１０５  制御部
１０６  第一の動体検出部
１０７  第二の動体検出部
１０８  合成処理部
１２０  第一の画像
１２１  第二の画像
１２２  第一および第二の動体検出結果
１２３  第１の実施形態における合成画像
１２４  第２の実施形態における合成画像
１２５  第３の実施形態における背景画像
１２６  第３の実施形態における動体検知結果
１２７  第３の実施形態における合成画像
１４０  第一の画像の動体範囲
１４１  第二の画像の動体範囲
１４２  第一の画像の被写体ブレに相当する範囲
２００〜２０６  第一の画像における分割領域
２５０〜２５６  第二の画像における分割領域
【図１】
2020197848.tif 000003
【図２】
2020197848.tif 000004
【図３】
2020197848.tif 000005
【図４】
2020197848.tif 000006
【図５】
2020197848.tif 000007
【図６】
2020197848.tif 000008
【図７】
2020197848.tif 000009