(57)【要約】【課題】  複数枚の撮像画像より所望する広角撮像画像を確実に得られる画像処理装置、撮像装置および画像処理方法を提供する。【解決手段】  撮像素子１で撮像される複数枚の撮像画像に対し距離分布情報取得部１０の距離分布情報に基づいて重ね合わせ領域設定部６により共通の重ね合わせ領域を設定するとともに、エンドライン設定部７により重ね合わせにより不要となる領域端を決定するエンドラインを設定し、さらに不要領域設定部８により複数枚の各撮像画像について画像中心部に対してエンドラインを挟んで反対側に位置する領域を重ね合わせにより削除すべき不要領域として設定し、その後、画像合成部９により複数枚の各撮像画像について、不要領域設定部８により設定された不要領域を削除するとともに、重ね合わせ領域設定部６により設定された重ね合わせ領域を重ね合わせて合成する。【選択図】      図１
2010187194.tif 000002
【特許請求の範囲】
【請求項１】
互いに重複する被写体領域を含む複数枚の画像と、これら画像に対応する被写体の距離分布情報を記憶する記憶手段と、
前記記憶手段に記憶された複数枚の画像について前記距離分布情報を用いて重ね合わせ領域を設定する重ね合わせ領域設定手段と、
前記複数枚の画像について前記重ね合わせ領域設定手段により設定される重ね合わせ領域での重ね合わせにより削除すべき不要領域を設定する不要領域設定手段と、
前記複数枚の撮像画像について前記不要領域設定部により設定された不要領域を削除するとともに、前記重ね合わせ領域設定手段により設定された重ね合わせ領域を重ね合わせて合成する画像合成手段と、
を具備したことを特徴とする画像処理装置。
【請求項２】
前記重ね合わせ領域設定手段は、前記複数枚の各撮像画像上で同一被写体像が撮像されている領域であって、前記被写体までの距離が所定距離以上で、且つ距離変化量の少ない領域を重ね合わせ領域として設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記不要領域設定手段は、前記複数枚の各撮像画像について、それぞれ画像中心部に対して前記重ね合わせ領域を挟んで反対側に位置する領域を不要領域として設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
互いに重複する領域を含む複数枚の撮像画像を撮像する撮像手段と、
前記撮像手段で撮像される撮像画像に対応する被写体の距離分布情報を取得する距離分布情報取得手段と、
前記複数枚の撮像画像及び前記複数枚の撮像画像に対する被写体の距離分布情報を記憶する記憶手段と、
前記記憶手段に記憶された複数枚の画像について前記距離分布情報を用いて重ね合わせ領域を設定する重ね合わせ領域設定手段と、
前記複数枚の画像について前記重ね合わせ領域設定手段により設定される重ね合わせ領域での重ね合わせにより削除すべき不要領域を設定する不要領域設定手段と、
前記複数枚の撮像画像について前記不要領域設定部により設定された不要領域を削除するとともに、前記重ね合わせ領域設定手段により設定された重ね合わせ領域を重ね合わせて合成する画像合成手段と、
を具備したことを特徴とする撮像装置。
【請求項５】
前記重ね合わせ領域設定手段は、前記複数枚の各撮像画像上で同一被写体像が撮像されている領域であって、前記被写体までの距離が所定距離以上で、且つ距離変化量の少ない領域を重ね合わせ領域として設定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記不要領域設定手段は、前記複数枚の各撮像画像について、それぞれ画像中心部に対して前記重ね合わせ領域を挟んで反対側に位置する領域を不要領域として設定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
互いに重複する領域を含む複数枚の撮像画像と、これら撮像画像に対応する被写体の距離分布情報を記憶手段に記憶する第１のステップと、
前記記憶手段に記憶された複数枚の撮像画像について前記距離分布情報を用いて重ね合わせ領域を設定する第２のステップと、
前記複数枚の撮像画像について前記第２のステップにより設定される重ね合わせ領域での重ね合わせにより削除すべき不要領域を設定する第３のステップと、
前記複数枚の撮像画像について前記第３のステップにより設定された不要領域を削除するとともに、前記第２のステップにより設定された重ね合わせ領域を重ね合わせて合成する第４のステップと、
を具備したことを特徴とする画像処理方法。
【請求項８】
互いに重複する領域を含む複数枚の撮像画像を取得する第１のステップと、
前記第１のステップで取得される撮像画像に対応する被写体の距離分布情報を取得する第２のステップと、
前記複数枚の撮像画像及び前記複数枚の撮像画像に対する被写体の距離分布情報を記憶手段に記憶する第３のステップと、
前記記憶手段に記憶された複数枚の撮像画像について前記距離分布情報を用いて重ね合わせ領域を設定する第４のステップと、
前記複数枚の撮像画像について前記第４のステップにより設定される重ね合わせ領域での重ね合わせにより削除すべき不要領域を設定する第５のステップと、
前記複数枚の撮像画像について前記第５のステップにより設定された不要領域を削除するとともに、前記第４のステップにより設定された重ね合わせ領域を重ね合わせて合成する第６のステップと、
を具備したことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の撮像画像を合成して広角撮像画像を生成可能な画像処理装置、撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどで撮像した複数枚の撮像画像を合成して１枚の広角撮像画像を生成するようなことが行われている。そして、このような複数枚の撮像画像の合成を行う画像処理装置においては、例えば特許文献１に開示されるように、撮像装置における光学系の焦点距離に関係なく、広角撮像画像を生成したい範囲について、複数枚の撮像画像を取得し、これら複数枚の撮像画像の重複度を判定し合成することによって１枚の広角撮像画像を生成するようにしたものが一般である。
【特許文献１】特許４０４８９０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の画像処理装置では、複数枚の撮像画像を合成して広角撮像画像を生成する場合、撮像された被写体像の全ての情報を用いて被写体像のマッチングを行い複数枚数の撮像画像を合成するようにしている。このため、例えば撮像画像に対する視差の影響、つまり、見る方向によって物体の形状が変化するなどの影響により被写体の形状や位置がずれている場合には、撮像画像の合成に失敗し撮影者が所望する広角撮像画像を得られないという問題があった。
【０００４】
本発明は上記事情に鑑みてなされたもので、複数枚の撮像画像より所望する広角撮像画像を確実に得られる画像処理装置、撮像装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１記載の発明は、互いに重複する被写体領域を含む複数枚の画像と、これら画像に対応する被写体の距離分布情報を記憶する記憶手段と、前記記憶手段に記憶された複数枚の画像について前記距離分布情報を用いて重ね合わせ領域を設定する重ね合わせ領域設定手段と、前記複数枚の画像について前記重ね合わせ領域設定手段により設定される重ね合わせ領域での重ね合わせにより削除すべき不要領域を設定する不要領域設定手段と、前記複数枚の撮像画像について前記不要領域設定部により設定された不要領域を削除するとともに、前記重ね合わせ領域設定手段により設定された重ね合わせ領域を重ね合わせて合成する画像合成手段と、を具備したことを特徴としている。
【０００６】
請求項２記載の発明は、請求項１に記載の発明において、前記重ね合わせ領域設定手段は、前記複数枚の各撮像画像上で同一被写体像が撮像されている領域であって、前記被写体までの距離が所定距離以上で、且つ距離変化量の少ない領域を重ね合わせ領域として設定することを特徴としている。
【０００７】
請求項３記載の発明は、請求項２に記載の発明において、前記不要領域設定手段は、前記複数枚の各撮像画像について、それぞれ画像中心部に対して前記重ね合わせ領域を挟んで反対側に位置する領域を不要領域として設定することを特徴としている。
【０００８】
請求項４記載の発明は、互いに重複する領域を含む複数枚の撮像画像を撮像する撮像手段と、前記撮像手段で撮像される撮像画像に対応する被写体の距離分布情報を取得する距離分布情報取得手段と、前記複数枚の撮像画像及び前記複数枚の撮像画像に対する被写体の距離分布情報を記憶する記憶手段と、前記記憶手段に記憶された複数枚の画像について前記距離分布情報を用いて重ね合わせ領域を設定する重ね合わせ領域設定手段と、前記複数枚の画像について前記重ね合わせ領域設定手段により設定される重ね合わせ領域での重ね合わせにより削除すべき不要領域を設定する不要領域設定手段と、前記複数枚の撮像画像について前記不要領域設定部により設定された不要領域を削除するとともに、前記重ね合わせ領域設定手段により設定された重ね合わせ領域を重ね合わせて合成する画像合成手段と、を具備したことを特徴としている。
【０００９】
請求項５記載の発明は、請求項４に記載の発明において、前記重ね合わせ領域設定手段は、前記複数枚の各撮像画像上で同一被写体像が撮像されている領域であって、前記被写体までの距離が所定距離以上で、且つ距離変化量の少ない領域を重ね合わせ領域として設定することを特徴としている。
【００１０】
請求項６記載の発明は、請求項５に記載の発明において、前記不要領域設定手段は、前記複数枚の各撮像画像について、それぞれ画像中心部に対して前記重ね合わせ領域を挟んで反対側に位置する領域を不要領域として設定することを特徴としている。
【００１１】
請求項７記載の発明は、互いに重複する領域を含む複数枚の撮像画像と、これら撮像画像に対応する被写体の距離分布情報を記憶手段に記憶する第１のステップと、前記記憶手段に記憶された複数枚の撮像画像について前記距離分布情報を用いて重ね合わせ領域を設定する第２のステップと、前記複数枚の撮像画像について前記第２のステップにより設定される重ね合わせ領域での重ね合わせにより削除すべき不要領域を設定する第３のステップと、前記複数枚の撮像画像について前記第３のステップにより設定された不要領域を削除するとともに、前記第２のステップにより設定された重ね合わせ領域を重ね合わせて合成する第４のステップと、を具備したことを特徴としている。
【００１２】
請求項８記載の発明は、互いに重複する領域を含む複数枚の撮像画像を取得する第１のステップと、前記第１のステップで取得される撮像画像に対応する被写体の距離分布情報を取得する第２のステップと、前記複数枚の撮像画像及び前記複数枚の撮像画像に対する被写体の距離分布情報を記憶手段に記憶する第３のステップと、前記記憶手段に記憶された複数枚の撮像画像について前記距離分布情報を用いて重ね合わせ領域を設定する第４のステップと、前記複数枚の撮像画像について前記第４のステップにより設定される重ね合わせ領域での重ね合わせにより削除すべき不要領域を設定する第５のステップと、前記複数枚の撮像画像について前記第５のステップにより設定された不要領域を削除するとともに、前記第４のステップにより設定された重ね合わせ領域を重ね合わせて合成する第６のステップと、を具備したことを特徴としている。
【発明の効果】
【００１３】
本発明によれば、複数枚の各撮像画像に対する視差の影響、つまり、見る方向によって物体の形状が変化するなどの影響により被写体の形状や位置がずれているような場合でも、これらの影響を受けることなく撮像画像の合成を行うことができるので、撮影者が所望する広角撮像画像を確実に得ることができる。
【００１４】
また、本発明によれば、各撮像画像の重ね合わせされる画像領域が被写体の形状や位置変化による影響を受けることがなく精度の高い画像合成を実現することができる。
【００１５】
さらに、本発明によれば、撮像レンズ系の収差などの影響を受け易い画像の端部分を積極的に除去できるので、複数枚の撮像画像を合成した際に違和感のない連続性に優れた広角撮像画像を取得できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を図面に従い説明する。
【００１７】
（第１の実施の形態）
図１は、本発明の第１の実施の形態にかかる画像処理装置が適用されるデジタルカメラの概略構成を示している。
【００１８】
図１において、１は高速に連続撮像可能な撮像素子で、この撮像素子１は、撮像光学系２の光路上の結像位置に配置され、互いに重複する領域を含む複数枚の撮像画像を撮像する。撮像素子１には、Ａ／Ｄ変換器３を介して画像記憶部４が接続されている。Ａ／Ｄ変換器３は、撮像素子１で撮像された画像をデジタル画像信号に変換する。画像記憶部４は、Ａ／Ｄ変換器３でデジタル変換された画像信号を撮像画像として記憶する。この場合、画像記憶部４は、撮像素子１で撮像される広角撮像画像生成に必要な撮像画像として、例えば２枚の撮像画像を記憶する。
【００１９】
画像記憶部４には、合成画像生成部５が接続されている。合成画像生成部５は、重ね合わせ領域設定部６、エンドライン設定部７、不要領域設定部８および画像合成部９により構成されている。重ね合わせ領域設定部６には、距離分布情報取得部１０が接続されている。距離分布情報取得部１０は、撮像素子１で撮像される撮像画像に対応する被写体の距離分布情報を取得するもので、例えば位相差検出方式により被写体までの距離測定を行う測距手段などが用いられる。
【００２０】
重ね合わせ領域設定部６は、画像記憶部４より複数枚（例えば２枚）の撮像画像を取得するとともに、距離分布情報取得部１０より与えられる距離分布情報を用いて各撮像画像について重ねてよい領域を重ね合わせ領域として設定する。例えば、図２（ａ）（ｂ）に示すような第１の撮像画像１０１と第２の撮像画像２０１を画像記憶部４より取得すると、これら第１の撮像画像１０１および第２の撮像画像２０１について、それぞれ距離分布情報取得部１０より与えられる距離分布情報を用いて重ね合わせ領域１０２、２０２を設定する。この場合、重ね合わせ領域１０２、２０２は、第１の撮像画像１０１および第２の撮像画像２０１上で同一被写体像が撮像されている領域であって、被写体までの距離が所定距離以上（遠距離）で、且つ距離変化量の少ない領域が選択される。これら重ね合わせ領域１０２、２０２は、領域の大きさを予め決めておくことも可能である。
【００２１】
エンドライン設定部７は、複数枚の撮像画像について重ね合わせにより不要となる領域端を決定するエンドラインを設定する。例えば、図２（ａ）に示す第１の撮像画像１０１では、画像中心部に対して重ね合わせ領域１０２を挟んで位置する重ね合わせ領域１０２側縁をエンドライン１０３に設定し、同様に、図２（ｂ）に示す第２の撮像画像２０１では、画像中心部に対して重ね合わせ領域２０２を挟んで位置する重ね合わせ領域２０２側縁をエンドライン２０３に設定する。
【００２２】
不要領域設定部８は、複数枚の撮像画像について重ね合わせにより削除すべき不要領域を設定する。例えば、図２（ａ）に示す第１の撮像画像１０１では、画像中心部に対してエンドライン１０３（重ね合わせ領域１０２）を挟んで反対側に位置する領域を不要領域１０４に設定し、同様に、図２（ｂ）に示す第２の撮像画像２０１では、画像中心部に対してエンドライン２０３（重ね合わせ領域２０２）を挟んで反対側に位置する領域を不要領域２０４に設定する。ここで、不要領域１０４、２０４は、以下の理由に基づいて設定されている。一般に、撮像画像は、撮像レンズ系の収差などの影響により画像の端部分ほど被写体像の変形が大きくなることが知られている。このため、複数枚の撮像画像を合成して得られる広角画像の連続性を考慮すると、第１の撮像画像１０１については、画像中心部に対してエンドライン１０３を挟んで反対側に位置する外側の領域、第２の撮像画像２０１についても、画像中心部に対してエンドライン２０３を挟んで反対側に位置する外側の領域をそれぞれ不要領域１０４、２０４とするのが好ましい。
【００２３】
画像合成部９は、複数枚の撮像画像を合成して、１枚の広角撮像画像を生成する。この場合、画像記憶部４より取得した第１の撮像画像１０１と第２の撮像画像２０１について、不要領域設定部８により設定された不要領域１０４，２０４を削除するとともに、重ね合わせ領域設定部６により設定された重ね合わせ領域１０２、２０２を重ね合わせて合成することにより図２（ｃ）に示すような１枚の広角撮像画像を生成する。
【００２４】
次に、このように構成される実施の形態の作用を説明する。
【００２５】
ここでは、２枚の撮像画像を合成して、１枚の広角撮像画像を生成する場合を説明する。
【００２６】
いま、撮像素子１を横方向に移動させながら広角撮像画像の生成に必要な２枚の画像を連続して撮像すると、これら撮像された画像は、Ａ／Ｄ変換器３でデジタル画像信号に変換され、撮像画像として画像記憶部４に記憶される。この場合、画像記憶部４に記憶される撮像画像は、図２（ａ）に示すような被写体として物体ＡとＢが並んで撮像された第１の撮像画像１０１と、同図（ｂ）に示すような被写体として物体ＢとＣが並んで撮像された第２の撮像画像２０１である。
【００２７】
この状態で、重ね合わせ領域設定部６により、第１の撮像画像１０１および第２の撮像画像２０１に対する重ね合わせ領域１０２、２０１が設定される。この場合、重ね合わせ領域設定部６では、画像記憶部４より取得される第１の撮像画像１０１および第２の撮像画像２０１について、距離分布情報取得部１０より与えられる被写体の距離分布情報を用いて重ね合わせ領域１０２、２０２を設定する。具体的には、第１の撮像画像１０１および第２の撮像画像２０１上で同一被写体像が撮像されている領域であって、被写体までの距離が所定距離以上（遠距離）で、且つ距離変化量の少ない領域、例えば、背景の壁や、遠くの山などの撮像部分を重ね合わせ領域１０２、２０２として設定する。
【００２８】
次に、重ね合わせ領域１０２、２０２が設定された第１の撮像画像１０１および第２の撮像画像２０１についてエンドライン設定部７により重ね合わせにより不要となる領域端、エンドラインを設定する。この場合、エンドライン設定部７では、図２（ａ）に示す第１の撮像画像１０１については、画像中心部に対して重ね合わせ領域１０２を挟んで反対側に位置する重ね合わせ領域１０２側縁をエンドライン１０３に設定し、図２（ｂ）に示す第２の撮像画像２０１については、画像中心部に対して重ね合わせ領域２０２を挟んで反対側に位置する重ね合わせ領域２０２側縁をエンドライン２０３に設定する。
【００２９】
次に、これらエンドライン１０３、２０３が設定された第１の撮像画像１０１および第２の撮像画像２０１について不要領域設定部８により重ね合わせにより削除すべき不要領域を設定する。この場合、不要領域設定部８は、図２（ａ）に示す第１の撮像画像１０１については、画像中心部に対してエンドライン１０３を挟んで反対側に位置する領域（物体Ｂを含む領域）を不要領域１０４に設定し、図２（ｂ）に示す第２の撮像画像２０１については、画像中心部に対してエンドライン２０３を挟んで反対側に位置する領域を不要領域２０４に設定する。
【００３０】
そして、画像合成部９は、画像記憶部４より取得される第１の撮像画像１０１および第２の撮像画像２０１のうち、第１の撮像画像１０１について不要領域設定部８により設定された不要領域１０４を削除するとともに、第２の撮像画像２０１について不要領域設定部８により設定された不要領域２０４を削除し、さらに重ね合わせ領域設定部６により設定された第１の撮像画像１０１および第２の撮像画像２０１の重ね合わせ領域１０２、２０２を重ね合わせて合成して図２（ｃ）に示すような１枚の広角撮像画像を生成する。
【００３１】
図３は、このようにして生成された合成画像を示しており、被写体の物体Ａ、Ｂ、Ｃが並んで撮像された１枚の広角撮像画像１００を取得することができる。
【００３２】
このように、かかる第１の実施の形態では、撮像素子１で撮像される複数枚の撮像画像に対し距離分布情報取得部１０より取得される距離分布情報に基づいて重ね合わせ領域設定部６により共通の重ね合わせ領域を設定するとともに、エンドライン設定部７により重ね合わせにより不要となる領域端を決定するエンドラインを設定し、さらに不要領域設定部８により複数枚の各撮像画像について画像中心部に対してエンドライン（重ね合わせ領域）を挟んで反対側に位置する領域を重ね合わせにより削除すべき不要領域として設定し、その後、画像合成部９により複数枚の各撮像画像について、不要領域設定部８により設定された不要領域を削除するとともに、重ね合わせ領域設定部６により設定された重ね合わせ領域を重ね合わせて合成し、１枚の広角撮像画像を生成するようにした。これにより、各撮像画像に対する視差の影響、つまり、見る方向によって物体の形状が変化するなどの影響により被写体の形状や位置がずれているような場合でも、これらの影響を受けることなく撮像画像の合成を行うことができるので、撮影者が所望する広角撮像画像を確実に得ることができる。また、各撮像画像の重ね合わせ領域は、同一被写体像が撮像されている領域であって、被写体までの距離が所定距離以上で、且つ距離変化量の少ない領域が設定されるので、重ね合わせされる画像領域が被写体の形状や位置変化による影響を受けることがなく精度の高い画像合成を実現することができる。さらに、各撮像画像の不要領域は、各撮像画像について、それぞれ画像中心部に対して重ね合わせ領域を挟んで反対側に位置する領域を不要領域として設定されるので、撮像レンズ系の収差などの影響を受け易い画像の端部分を積極的に除去でき、複数枚の撮像画像を合成した際に違和感のない連続性に優れた広角撮像画像を取得できる。
【００３３】
（第２の実施の形態）
第１の実施の形態では、２枚の撮像画像を合成して１枚の広角撮像画像を生成する例を述べたが、この第２の実施の形態では、３枚の撮像画像を合成して１枚の広角撮像画像を生成する例を示している。
【００３４】
なお、第２の実施の形態の画像生成装置の構成は、上述した図１と同様なので、同図を援用するものとする。ここでは、画像記憶部４は、撮像素子１で撮像される広角撮像画像の生成に必要な３枚の撮像画像を記憶する。重ね合わせ領域設定部６は、画像記憶部４より３枚の撮像画像を取得するとともに、距離分布情報取得部１０より与えられる距離分布情報を用いて各撮像画像について重ね合わせ領域を設定する。エンドライン設定部７は、３枚の撮像画像について重ね合わせにより不要となる領域端を決定するエンドラインを設定する。不要領域設定部８は、３枚の撮像画像についてエンドラインに基づいて重ね合わせにより削除すべき不要領域を設定する。そして、画像合成部９は、３枚の撮像画像について不要領域設定部８で設定された不要領域を削除するとともに、重ね合わせ領域設定部６で設定された重ね合わせ領域を重ね合わせて合成して、１枚の広角撮像画像を生成する。
【００３５】
このような構成において、いま、撮像素子１を横方向に移動させながら広角撮像画像生成に必要な３枚の画像を連続して撮像すると、これら撮像された画像は、Ａ／Ｄ変換器３でデジタル画像信号に変換され、撮像画像として画像記憶部４に記憶される。この場合、画像記憶部４に記憶される撮像画像は、図４（ａ）に示すような被写体として物体ＡとＢが並んで撮像された第１の撮像画像３０１と、同図（ｂ）に示すような被写体として物体ＢとＣとＤが並んで撮像された第２の撮像画像４０１と、同図（ｃ）に示すような被写体として物体ＤとＥが並んで撮像された第３の撮像画像５０１である。
【００３６】
この状態で、重ね合わせ領域設定部６により、第１の撮像画像３０１、第２の撮像画像４０１および第３の撮像画像５０１に対する重ね合わせ領域３０２、４０２ａ、４０２ｂ、５０２が設定される。この場合、重ね合わせ領域設定部６では、画像記憶部４より取得される第１の撮像画像３０１、第２の撮像画像４０１および第３の撮像画像５０１について、距離分布情報取得部１０より与えられる被写体の距離分布情報を用いて重ね合わせ領域３０２、４０２ａ、４０２ｂ、５０２を設定する。具体的には、第１の撮像画像３０１および第２の撮像画像４０１については、第１の撮像画像３０１および第２の撮像画像４０１上で同一被写体像が撮像されている領域であって、被写体までの距離が所定距離以上（遠距離）で、且つ距離変化量の少ない領域を重ね合わせ領域３０２、４０２ａとし、第２の撮像画像４０１および第３の撮像画像５０１については、第２の撮像画像４０１および第３の撮像画像５０１上で同一被写体像が撮像されている領域であって、被写体までの距離が所定距離以上（遠距離）で、且つ距離変化量の少ない領域を重ね合わせ領域４０２ａ、５０２として設定する。
【００３７】
次に、重ね合わせ領域３０２、４０２ａが設定された第１の撮像画像３０１および第２の撮像画像４０１について重ね合わせにより不要となる領域端であるエンドラインを設定し、重ね合わせ領域４０２ｂ、５０２が設定された第２の撮像画像４０１および第３の撮像画像５０１についても重ね合わせにより不要となる領域端であるエンドラインを設定する。この場合、エンドライン設定部７では、図４（ａ）に示す第１の撮像画像３０１については、画像中心部に対して重ね合わせ領域３０２を挟んで反対側に位置する重ね合わせ領域３０２側縁をエンドライン３０３に設定し、図４（ｂ）に示す第２の撮像画像４０１については、画像中心部に対して重ね合わせ領域４０２ａを挟んで反対側に位置する重ね合わせ領域４０２ａ側縁をエンドライン４０３ａに設定する。同様に、図４（ｂ）に示す第２の撮像画像４０１については、画像中心部に対して重ね合わせ領域４０２ｂを挟んで反対側に位置する重ね合わせ領域４０２ａ側縁をエンドライン４０３ｂに設定し、図４（ｃ）に示す第３の撮像画像５０１については、画像中心部に対して重ね合わせ領域５０２を挟んで反対側に位置する重ね合わせ領域５０２側縁をエンドライン５０３に設定する。
【００３８】
次に、これらエンドライン３０３、４０３ａが設定された第１の撮像画像３０１および第２の撮像画像４０１、エンドライン４０３ｂ、５０３が設定された第２の撮像画像４０１および第３の撮像画像５０１について不要領域設定部８により重ね合わせにより削除すべき不要領域を設定する。この場合、不要領域設定部８は、図４（ａ）に示す第１の撮像画像３０１については、画像中心部に対してエンドライン３０３を挟んで反対側に位置する領域（物体Ｂを含む領域）を不要領域３０４に設定し、図４（ｂ）に示す第２の撮像画像４０１については、画像中心部に対してエンドライン４０３ａを挟んで反対側に位置する領域を不要領域４０４ａ、画像中心部に対してエンドライン４０３ｂを挟んで反対側に位置する領域を不要領域４０４ｂ（物体Ｄを含む領域）に設定し、図４（ｃ）に示す第３の撮像画像５０１については、画像中心部に対してエンドライン５０３を挟んで反対側に位置する領域を不要領域５０４と設定する。
【００３９】
そして、画像合成部９は、画像記憶部４より取得される第１の撮像画像３０１、第２の撮像画像４０１および第３の撮像画像５０１のうち、第１の撮像画像３０１について不要領域設定部８により設定された不要領域３０４を削除し、第２の撮像画像４０１について不要領域設定部８により設定された不要領域４０４ａ、４０４ｂを削除し、さらに第３の撮像画像５０１について不要領域設定部８により設定された不要領域５０４を削除し、その後、重ね合わせ領域設定部６により設定された第１の撮像画像３０１および第２の撮像画像４０１の重ね合わせ領域３０２、４０２ａを重ね合わせて合成するとともに、第２の撮像画像４０１および第３の撮像画像５０１の４０２ｂ、５０２を重ね合わせて合成して図４（ｄ）に示すような１枚の広角撮像画像を生成する。
【００４０】
図５は、このようにして生成された合成画像を示しており、被写体の物体Ａ、Ｂ、Ｃ、Ｄ、Ｅが並んで撮像された１枚の広角撮像画像２００を取得することができる。
【００４１】
したがって、このようにしても第１の実施の形態と同様な効果を期待でき、撮影者が所望する広角撮像画像を確実に得ることができる。
【００４２】
なお、本発明は、上記実施の形態に限定されるものでなく、実施段階では、その要旨を変更しない範囲で種々変形することが可能である。例えば、第２の実施の形態では、３枚の撮像画像を合成して１枚の広角撮像画像を取得する場合を述べたが、３枚以上であっても同様にして合成した広角撮像画像を得ることができる。また、第１および第２の実施の形態では、撮像素子１で撮像された複数枚の撮像画像と、距離分布情報取得部１０で取得される撮像画像に対する被写体の距離分布情報をそれぞれ用いるようにしたが、予め取得された複数枚の撮像画像と距離分布情報を画像記憶部４に書き込むようにしてもよい。さらに、第１および第２の実施の形態では、横方向に複数枚の撮像画像を合成して１枚の広角撮像画像を取得する場合を述べたが、縦方向または斜め方向に複数枚の撮像画像を合成して１枚の広角撮像画像を得ることもできる。
【００４３】
さらに、上記実施の形態には、種々の段階の発明が含まれており、開示されている複数の構成要件における適宜な組み合わせにより種々の発明が抽出できる。例えば、実施の形態に示されている全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題を解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出できる。
【図面の簡単な説明】
【００４４】
【図１】本発明の第１の実施の形態にかかる画像処理装置が適用されるデジタルカメラの概略構成を示す図。
【図２】第１の実施の形態の広角撮像画像を取得するまでの作用を説明する図。
【図３】第１の実施の形態により取得された広角撮像画像を示す図。
【図４】本発明の第２の実施の形態の広角撮像画像を取得するまでの作用を説明する図。
【図５】第２の実施の形態により取得された広角撮像画像を示す図。
【符号の説明】
【００４５】
１…撮像素子、２…撮像光学系、３…Ａ／Ｄ変換器
４…画像記憶部、５…合成画像生成部、６…重ね合わせ領域設定部
７…エンドライン設定部、８…不要領域設定部、９…画像合成部
１０…距離分布情報取得部、１００、２００…広角撮像画像
１０１…第１の撮像画像、２０１…第２の撮像画像
１０２．２０２…重ね合わせ領域、１０３．２０３…エンドライン、
１０４、２０４…不要領域、
３０１…第１の撮像画像、４０１…第２の撮像画像、５０１…第３の撮像画像
３０２．４０２ａ、４０２ｂ、５０２…重ね合わせ領域
３０３、４０３ａ、４０３ｂ、５０３…エンドライン
３０４、４０４ａ、４０４ｂ、５０４…不要領域
【図１】
2010187194.tif 000003
【図２】
2010187194.tif 000004
【図３】
2010187194.tif 000005
【図４】
2010187194.tif 000006
【図５】
2010187194.tif 000007