(57)【要約】【課題】広画角の画像を容易に得ることができるようにする。【解決手段】ＣＰＵ１１は、ユーザがデジタルカメラ１の撮像方向を所望する景色を網羅するように動かしている間に、ＣＣＤ（撮像素子）５により、所定の周期（時間間隔）で複数枚の画像を連写し、複数の撮像画像を、一部が重複するように合成する。該合成画像に未撮像領域が存在する場合に、トリミングするか否かを選択させる画面を表示することで、ユーザに未撮像領域の有無を通知する。また、ユーザによりトリミングが指示された場合には、ユーザ指示に従って、合成画像をトリミングし、未撮像領域が存在しない合成画像を生成する。【選択図】図１
2011216958.tif 000002
【特許請求の範囲】
【請求項１】
１回の撮像により第１の画角の画像を得る撮像手段と、
前記撮像手段により複数回の撮像を行う撮像制御手段と、
前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成手段と、
前記生成手段によって生成される前記第２の画角の合成画像内に前記撮像制御手段によって撮像されていない未撮像領域が存在するか否かを判断する判断手段と、
前記判断手段によって未撮像領域が存在すると判断された場合に、その旨を報知する報知手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記合成画像をトリミングするトリミング手段を更に備え、
前記報知手段は、前記判断手段によって未撮像領域が存在すると判断された場合に、前記トリミング手段によるトリミング実行の有無をユーザに選択させることで、その旨を報知することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記トリミング手段によるトリミング範囲、またはトリミング位置のいずれか一方、または双方をユーザに指定させる指定手段を更に備え、
前記トリミング手段は、前記指定手段によってユーザから指定されたトリミング範囲、またはトリミング位置のいずれか一方、または双方に基づいて、前記合成画像をトリミングする
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記トリミング手段は、ユーザからトリミング実行が選択された場合に、前記合成画像のうち、未撮像領域を含まない領域をトリミングすることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記トリミング手段は、前記合成画像のうち、未撮像領域を含まない最大領域をトリミングすることを特徴とする請求４記載の撮像装置。
【請求項６】
１回の撮像により第１の画角の画像を得る撮像手段と、
前記撮像手段により複数回の撮像を行う撮像制御手段と、
前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成手段と、
前記生成手段によって生成される前記第２の画角の合成画像内に前記撮像制御手段によって撮像されていない未撮像領域が存在するか否かを判断する判断手段と、
前記判断手段によって未撮像領域が存在すると判断された場合に、前記合成画像のうち、未撮像領域を含まない領域をトリミングするトリミング手段と
を備えることを特徴とする撮像装置。
【請求項７】
前記トリミング手段は、前記合成画像のうち、未撮像領域を含まない最大領域をトリミングすることを特徴とする請求項６記載の撮像装置。
【請求項８】
１回の撮像により第１の画角の画像を得る撮像手段を備える撮像装置のコンピュータを、
前記撮像手段により複数回の撮像を行う撮像制御手段、
前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成手段、
前記生成手段によって生成される前記第２の画角の合成画像内に前記撮像制御手段によって撮像されていない未撮像領域が存在するか否かを判断する判断手段、
前記判断手段によって未撮像領域が存在すると判断された場合に、その旨を報知する報知手段
として機能させることを特徴とするプログラム。
【請求項９】
１回の撮像により第１の画角の画像を得る撮像手段を備える撮像装置のコンピュータを、
前記撮像手段により複数回の撮像を行う撮像制御手段、
前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成手段、
前記生成手段によって生成される前記第２の画角の合成画像内に前記撮像制御手段によって撮像されていない未撮像領域が存在するか否かを判断する判断手段、
前記判断手段によって未撮像領域が存在すると判断された場合に、前記合成画像のうち、未撮像領域を含まない領域をトリミングするトリミング手段
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラや撮像機能を有する携帯電話などの撮像装置、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラや、撮像機能を有する携帯電話などにおいては、撮像画角の限界はレンズの焦点距離、撮像素子のサイズなど、装置本体が備えるハードスペックに依存している。
【０００３】
したがって、パノラマ撮影など、ハードスペックを越えるような広角画像を取得する場合は一次元方向に撮像装置を動かしながら連写し、得られた複数の画像を合成することでパノラマ画像を生成する技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−０２７３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１はユーザが一次元方向に撮像装置を動かして撮影する場合において有効であり、その撮影方法も比較的簡易なものである。そしてこのような撮影方法を二次元方向に拡張すれば、広画角で得られたような合成画像を生成することが可能になると考えられる。
【０００６】
しかしながら、上記の撮影方法でユーザの操作により撮像装置を二次元方向に動かしながら連写すると、必要な画角を撮影し損ねていることが合成結果としてわかる可能性がある。そして、合成により満足な広画角画像が得られなかった場合、再度最初から連写を試みなくてはならない問題が予期される。
【０００７】
そこで本発明は、失敗のない広画角の画像を容易に得ることができる撮像装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的達成のため、請求項１記載の発明は、１回の撮像により第１の画角の画像を得る撮像手段と、前記撮像手段により複数回の撮像を行う撮像制御手段と、前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成手段と、前記生成手段によって生成される前記第２の画角の合成画像内に前記撮像制御手段によって撮像されていない未撮像領域が存在するか否かを判断する判断手段と、前記判断手段によって未撮像領域が存在すると判断された場合に、その旨を報知する報知手段とを備えることを特徴とする撮像装置である。
【０００９】
また、好ましい態様として、例えば請求項２記載のように、請求項１に記載の撮像装置において、前記合成画像をトリミングするトリミング手段を更に備え、前記報知手段は、前記判断手段によって未撮像領域が存在すると判断された場合に、前記トリミング手段によるトリミング実行の有無をユーザに選択させることで、その旨を報知することを特徴とする。
【００１０】
また、好ましい態様として、例えば請求項３記載のように、請求項２に記載の撮像装置において、前記トリミング手段によるトリミング範囲、またはトリミング位置のいずれか一方、または双方をユーザに指定させる指定手段を更に備え、前記トリミング手段は、前記指定手段によってユーザから指定されたトリミング範囲、またはトリミング位置のいずれか一方、または双方に基づいて、前記合成画像をトリミングすることを特徴とする。
【００１１】
また、好ましい態様として、例えば請求項４記載のように、請求項２に記載の撮像装置において、前記トリミング手段は、ユーザからトリミング実行が選択された場合に、前記合成画像のうち、未撮像領域を含まない領域をトリミングすることを特徴とする。
【００１２】
また、好ましい態様として、例えば請求項５記載のように、請求項４に記載の撮像装置において、前記トリミング手段は、前記合成画像のうち、未撮像領域を含まない最大領域をトリミングすることを特徴とする。
【００１３】
また、上記目的達成のため、請求項６記載の発明は、１回の撮像により第１の画角の画像を得る撮像手段と、前記撮像手段により複数回の撮像を行う撮像制御手段と、前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成手段と、前記生成手段によって生成される前記第２の画角の合成画像内に前記撮像制御手段によって撮像されていない未撮像領域が存在するか否かを判断する判断手段と、前記判断手段によって未撮像領域が存在すると判断された場合に、前記合成画像のうち、未撮像領域を含まない領域をトリミングするトリミング手段とを備えることを特徴とする撮像装置である。
【００１４】
また、好ましい態様として、例えば請求項７記載のように、請求項６に記載の撮像装置において、前記トリミング手段は、前記合成画像のうち、未撮像領域を含まない最大領域をトリミングすることを特徴とする。
【００１５】
また、上記目的達成のため、請求項８記載の発明は、１回の撮像により第１の画角の画像を得る撮像手段を備える撮像装置のコンピュータを、前記撮像手段により複数回の撮像を行う撮像制御手段、前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成手段、前記生成手段によって生成される前記第２の画角の合成画像内に前記撮像制御手段によって撮像されていない未撮像領域が存在するか否かを判断する判断手段、前記判断手段によって未撮像領域が存在すると判断された場合に、その旨を報知する報知手段として機能させることを特徴とするプログラムである。
【００１６】
また、上記目的達成のため、請求項９記載の発明は、１回の撮像により第１の画角の画像を得る撮像手段を備える撮像装置のコンピュータを、前記撮像手段により複数回の撮像を行う撮像制御手段、前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第１の画角よりも広い第２の画角で撮像された画像を再現した合成画像を生成する生成手段、前記生成手段によって生成される前記第２の画角の合成画像内に前記撮像制御手段によって撮像されていない未撮像領域が存在するか否かを判断する判断手段、前記判断手段によって未撮像領域が存在すると判断された場合に、前記合成画像のうち、未撮像領域を含まない領域をトリミングするトリミング手段として機能させることを特徴とするプログラムである。
【発明の効果】
【００１７】
この発明によれば、失敗のない広画角の画像を容易に得ることができるという利点が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態によるデジタルカメラの構成を示すブロック図である。
【図２】本実施形態によるデジタルカメラの広角撮像モードを説明するための概念図である。
【図３】本実施形態によるデジタルカメラにおける、レンズの画角と広角撮像モードで得られる合成画像との関係を示す概念図である。
【図４】本実施形態によるデジタルカメラの広角撮像モードにおけるユーザ操作を説明するための模式図である。
【図５】本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図６】本実施形態によるデジタルカメラの広角撮像モードにおける画像合成を説明するための模式図である。
【図７】本実施形態によるデジタルカメラの画像表示部の表示例を示す模式図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態を、図面を参照して説明する。
【００２０】
Ａ．実施形態の構成
図１は、本発明の実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ１は、撮像レンズ２、レンズ駆動部３、絞り兼用シャッタ４、ＣＣＤ５、ＴＧ（Timing
Generator）６、ユニット回路７、画像処理部８、ＣＰＵ１１、ＤＲＡＭ１２、メモリ１３、フラッシュメモリ１４、画像表示部１５、キー入力部１６、カードＩ／Ｆ１７、及びメモリ・カード１８を備えている。
【００２１】
撮像レンズ２は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部３が接続されている。レンズ駆動部３は、撮像レンズ２を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、ＣＰＵ１１からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。
【００２２】
絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１１から送られてくる制御信号に従って絞り４を動作させる。該絞り４は、撮像レンズ２から入ってくる光の量を制御する。ＣＣＤ（撮像素子）５は、撮像レンズ２、絞り４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路７に出力する。また、ＣＣＤ５は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。
【００２３】
ユニット回路７は、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated
Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic
Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されている。ＣＣＤ５の撮像信号は、ユニット回路７を経てデジタル信号として画像処理部８に送られる。なお、ユニット回路７は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。
【００２４】
画像処理部８は、ユニット回路７から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、複数の撮像画像を合成する処理などを行う。なお、画像処理部８は、ＴＧ６によって生成された所定周波数のタイミング信号に従って駆動される。
【００２５】
ＣＰＵ１１は、デジタルカメラ１の各部を制御するワンチップマイコンである。特に、本第１実施形態では、ＣＰＵ１１は、所定の周期（時間間隔）で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように（例えば、αブレンドを用いて）合成していき、広角で撮像したような１枚の合成画像を生成すべく各部を制御する。なお、画像合成の詳細については後述する。
【００２６】
ＤＲＡＭ１２は、ＣＣＤ５によって撮像された後、ＣＰＵ１１に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１１のワーキングメモリとして使用される。メモリ１３は、ＣＰＵ１１によるデジタルカメラ１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ１１は、このプログラムに従って処理を行う。フラッシュメモリ１４や、メモリ・カード１８は、ＣＣＤ５によって撮像された画像データなどを保存しておく記録媒体である。
【００２７】
画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮像待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、保存用フラッシュメモリ１４や、メモリ・カード２３から読み出され、伸張された記録画像を表示させる。また、本実施形態では、広角撮像モードにおいて連写される複数の画像を順次合成した合成画像を表示する。キー入力部１６は、シャッタＳＷ、ズームＳＷ、モードキー、ＳＥＴキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１１に出力する。カードＩ／Ｆ１７には、デジタルカメラ１本体の図示しないカードスロットを介してメモリ・カード１８が着脱自在に装着されている。
【００２８】
図２は、本実施形態によるデジタルカメラ１の広角撮像モードを説明するための概念図である。例えば、デジタルカメラ１で、図２に示すような景色を撮像する場合を想定する。撮像しようとする景色は、当該デジタルカメラ１の撮像系の画角Ｓに比べ、より広い画角を有する。したがって、一度の撮像では、所望する景色を全て撮像することができない。
【００２９】
そこで、本実施形態では、ユーザがデジタルカメラ１の撮像方向を所望する景色を網羅するように動かしている間に、所定の時間、あるいは所定の撮像枚数分の間、所定の周期（時間間隔）で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように合成することで、広画角の画像を容易に得ることができる広角撮像モードを提供する。
【００３０】
なお、以下の説明では、撮像範囲や、撮像画角などを明確にするために、図２の景色を図３に示すように図式化して説明する。図３において、画角Ｓ１が最終的に生成する画像のサイズ（画角）であり、その外側は、撮像されたとしても最終的な画像としては残さない領域外とする。
【００３１】
本実施形態では、メモリ（ＤＲＡＭ１２）上に画像書き込み用の配列を確保する。これを便宜上、キャンバス（または処理領域）と呼ぶ。広角撮像モードにおいて連写した最初の撮像画像を基準画像（図３の画角Ｓの画像に相当）とし、該基準画像の縦横を、例えば、それぞれ２倍の大きさとし（図３の撮像領域Ｓ１）、キャンバスの中心に基準画像を貼り付ける。なお、キャンバスの大きさは、縦横２倍以外でもよい。また、基準画像は、必ずしもキャンバスの中心でなくてもよく、例えば、左上隅や、右上隅などでもよい。
【００３２】
そして、撮像した複数の画像を、基準画像と一部が重複するように位置合わせして合成し、キャンバスに上書きしていく。位置合わせの方法としては、例えば、ブロックマッチングなどの手法が考えられる。また、上書きをする場合には、投射変換などを行い、αブレンドなどの手法を用いて重ね合わせを行う方法が考えられる。
【００３３】
図４は、本実施形態によるデジタルカメラ１の広角撮像モードにおけるユーザ操作を説明するための模式図である。ユーザは、所望する景色に対して、例えば、中央部でシャッタＳＷを押下（半押し→全押し）した状態で、矢印で示すように円を描くようにデジタルカメラ１を動かす。しかしながら、ユーザにとっては、どのようにデジタルカメラ１を動かしたらよいか、あるいは必要とされる画像が確実に得られているのかが分かりにくい。
【００３４】
そこで、本実施形態では、ユーザによりシャッタＳＷが押下（半押し→全押し）されると、上述したように、所定の時間、あるいは所定の撮像枚数分の間、所定の周期（時間間隔）で複数枚の画像を連写しながら、撮像する毎に、リアルタイムで縮小画像（低解像度）を生成し、基準画像（または合成画像）と一部が重複するように合成し、該合成画像を画像表示部１５に表示する。このとき、合成に用いた縮小画像の元画像（高画質画像）を保存しておく。
【００３５】
そして、所定の時間、あるいは所定の撮像枚数分の撮像が終了すると、縮小画像を用いて行った合成と同様に、上記保存しておいた元画像（高画質画像）を用いて、一部が重複するように合成し、最終的に、一度の撮像では得られない広画角の画像を生成する。連写中、画像合成した縮小画像を画像表示部１５に表示するようにしたので、ユーザは、どの方向にデジタルカメラを向けたらよいかを容易に確認することが可能となっている。
【００３６】
また、上述したように、所定の時間、あるいは所定の撮像枚数分の間、所定の周期（時間間隔）で複数枚の画像を連写し、該複数の撮像画像を、一部が重複するように合成することで、広画角の画像を生成するが、必ずしも想定していた広画角全体を網羅する撮像画像が得られない場合もあり得る。つまり、合成画像に撮像されていないブランク領域（未撮像領域）が残る可能性がある。
【００３７】
そこで、本実施形態では、最終的に生成された合成画像にブランク領域が残っているか否かを検出し、ブランク領域が残っている場合、合成画像の一部を切り取るトリミング機能を備え、該トリミング機能により合成画像からブランク領域を除く部分を切り出して新たな合成画像を生成し、画角内が全て撮像されている、広画角の画像が得られるようになっている。
【００３８】
ブランク領域の検出方法としては、例えば、予めキャンバス全体に通常、画像データとして取りえないデータ（例えば、０：未撮像）を書き込んでおき、合成画像生成後、キャンバスを走査して上記データが書き込まれている領域があれば、ブランク領域が残っていると判断すればよい。該トリミング処理の実行、トリミングサイズ、トリミング領域などについては、ユーザにより選択可能となっている。
【００３９】
Ｂ．第１実施形態の動作
次に、上述した実施形態の動作について説明する。
図５は、本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図６（ａ）、（ｂ）は、本実施形態によるデジタルカメラの広角撮像モードにおける画像合成を説明するための模式図である。また、図７（ａ）〜（ｆ）は、本実施形態によるデジタルカメラの画像表示部の表示例を示す模式図である。
【００４０】
なお、以下で説明する処理が動作している間、デジタルカメラ１では、ＣＣＤ５に結像した画像を、所定の時間間隔（数十フレーム／秒）で取り込み、プレビュー画像（低解像度）として画像表示部１５にスルー表示している。
【００４１】
また、画像表示部１５でのプレビュー画像の表示位置は、通常の撮像であれば、画像表示部１５の中心とプレビュー画像の中心とが一致するが（撮像方向の被写体像が画像表示部の中央に表示されるが）、本第１実施形態による広角撮像モードでは、基準画像の撮像位置を基準とし、デジタルカメラ１の撮像方向に応じて、画像表示部１５の画面上でのプレビュー画像の位置を移動させるようになっている。
【００４２】
例えば、基準画像を撮像後に、ユーザがデジタルカメラ１の撮像方向を（基準画像撮像位置に対して）右方向に移動させると、画像表示部１５の画面上で、プレビュー画像も基準画像に対して右方向に移動し、ユーザが撮像方向を左方向に移動させると、プレビュー画像も基準画像に対して左方向に移動することになる。上下方向の移動の場合も同様である。以下、このようなプレビュー画像の位置制御を前提として広画角の撮像・生成について説明する。
【００４３】
まず、ＣＰＵ１１は、シャッタＳＷが半押しされたか否かを判断し（ステップＳ１０）、シャッタＳＷが半押しされない場合には、ステップＳ１０を繰り返し実行する。一方、シャッタＳＷが半押しされると、ＡＦ（オートフォーカス）処理を実行し（ステップＳ１２）、シャッタＳＷが全押しされたか否かを判断する（ステップＳ１４）。シャッタＳＷが全押しされない場合には、ステップＳ１０、Ｓ１２を繰り返し実行する。
【００４４】
一方、シャッタＳＷが全押しされると、まず、１枚目の撮像画像（高解像度）を基準画像として撮像してＤＲＡＭ１２に保存し（ステップＳ１６）、図７（ａ）に示すように、画像表示部１５の中央に上記基準画像３０のプレビュー画像を表示する（ステップＳ１８）。次に、撮像画像を取り込み、縮小（間引き）処理を実行し、縮小画像を生成する（ステップＳ２０）。
【００４５】
次に、縮小画像を用いて、重ね合わせ用画像位置を計算する（ステップＳ２２）。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置（座標）を算出するとともに、既に基準画像（または合成画像）がある場合には、現フレームの縮小画像と基準画像（または合成画像）との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置などを算出することを意味する。
【００４６】
次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、該縮小画像の中心位置が処理領域（キャンバス内）にあるか否かを判断する（ステップＳ２４）。そして、縮小画像の中心位置が処理領域内にある場合には、取り込んだ撮像画像（高解像度）を有効画像として保存し（ステップＳ２６）、縮小画像を未取得部分であるブランク部分に上書きする（ステップＳ２８）。
【００４７】
つまり、現フレームの縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像（または合成画像）との一部が重複するように合成し、キャンバス４０に上書きする（最初の１枚目の撮像画像の場合には基準画像としてキャンバス４０の中央部に上書きする）。図６（ａ）に示す例では、現フレームの縮小画像３１の中心位置が処理領域４０内にあるので、現フレームの縮小画像３１と基準画像３０との一部が重複するように合成し、キャンバス４０に上書きする。そして、該合成画像３２を画像表示部１５に表示する（ステップＳ３０）。
【００４８】
次に、必要画像全てを取得したか否か（例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か）を判断する（ステップＳ３２）。そして、必要画像全てを取得していない場合には、ステップＳ２０に戻り、次フレームの撮像画像に対して同様の処理を繰り返す。この結果、撮像する度に、撮像画像の中心位置が処理領域内にあれば、基準画像（または合成画像）に順次合成していき、その都度、図７（ｂ）、（ｃ）に示すように、合成画像を画像表示部１５に表示することになる。
【００４９】
一方、現フレームの縮小画像の中心位置が処理領域内にない場合には、ステップＳ２０に戻り、次の撮像画像に対して同様の処理を繰り返す。例えば、図６（ｂ）に示すように、現フレームの縮小画像３１の中心位置が処理領域４０内にない場合には、画像合成は行われない。
【００５０】
そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように位置合わせして合成し、最終的に、図２に示すような広画角の画像を生成する（ステップＳ３４）。
【００５１】
次に、合成画像にブランク領域（未撮像領域）がないか否かを判断する（ステップＳ３６）。そして、ブランク領域がない場合には、トリミングする必要がないので当該処理を終了する一方、ブランク領域あった場合には、図７（ｄ）に示すように、ユーザにトリミングを実行するか否かを選択させるための選択画面５０を表示する（ステップＳ３８）。この選択画面５０の表示は、合成画像にブランク領域があることをユーザに通知することを兼ねている。
【００５２】
次に、ユーザによりトリミングの実行が指示されたか否かを判断し（ステップＳ４０）、トリミングの実行指示が選択されなかった場合には、トリミングを実行することなく、当該処理を終了する。一方、ユーザによりトリミングの実行指示が選択された場合には、図７（ｅ）に示すように、画像表示部１５上にトリミング枠６０を表示し、ユーザにトリミング範囲と位置との指定操作を行わせる（ステップＳ４２）。
【００５３】
なお、トリミング枠６０は、ユーザによりキー入力部１６からの操作により、その大きさ（トリミング範囲）と、その位置とを変更できるようになっている。このとき、トリミング枠６０の縦横比は、画像表示部１５の縦横比に合わせるようにしてもよいし、予め設定された縦横比になるようにしても、全く任意の縦横比に設定するようにしてもよい。
【００５４】
トリミング範囲と位置とが指定されると、トリミング枠６０に従って、合成画像をトリミングし、最終的な合成画像としてＤＲＡＭ１２に保存し、図７（ｆ）に示すように、画像表示部１５に表示する（ステップＳ４４）。
【００５５】
このとき、トリミング前の合成画像を残すようにしてもよいし、ユーザにより残すか、削除するかを選択させるようにしてもよい。また、上記処理では、ユーザの操作によりトリミング枠６０を設定し、該トリミング枠６０に従ってトリミングしたが、これに限らず、デジタルカメラ１側で、合成画像のうち、ブランク領域を含まない領域を自動的にトリミングするようにしてもよい。あるいは、ユーザには、トリミングするか否かだけを選択させるようにし、トリミングすることが選択された場合に、デジタルカメラ１側で、合成画像のうち、ブランク領域を含まない領域を自動的にトリミングするようにしてもよい。また、ブランク領域が存在する場合には、自動的にブランク領域を含まない領域を自動的にトリミングするようにしてもよい。また、自動的にトリミングする場合は、ブランク領域を含まない最大領域を自動的にトリミングするようにしてもよい。また、トリミングの実行指示が選択されなかった場合には、ステップＳ１０に戻るようにしてもよい。
【００５６】
上述した実施形態によれば、最終的に生成された合成画像にブランク領域が残っているか否かを判断し、ブランク領域が残っていると判断した場合、ユーザにトリミングを実行するか否かを選択させることでブランク領域が存在する旨を通知し、トリミングを実行する場合はブランク領域を除く合成画像の一部をトリミングすることで、多少、画角が小さくなるものの、画角内が全て撮像されている、失敗のない広画角の画像を得ることができる。
【００５７】
また、所定の周期（時間間隔）で複数枚の画像を連写し、撮像する度に、リアルタイムで、画像合成した縮小画像を画像表示部１５に表示するようにしたので、ユーザは、まだ撮像されていない方向、あるいは既に撮像された方向を容易に認識することができる。この結果、ユーザは、次にどこにデジタルカメラを向けたらよいかが分かるので、容易に、かつ効率的に広画角の画像を得ることができる。
【００５８】
なお、上述した実施形態にあっては、デジタルカメラの移動を検出する加速度センサを更に備え、連写によって順次得られる撮像画像の重ね合わせの際には、この加速度センサによって検出された移動を考慮して重ね合わせ用の画像位置を計算するようにしてもよい。また、上述した実施形態では、撮像装置としてデジタルカメラについて説明したが、これに限らず、撮像機能を有する電子機器であれば、例えば、携帯電話などにも適用可能である。
【符号の説明】
【００５９】
１  デジタルカメラ
２  撮像レンズ
３  レンズ駆動部
４  絞り兼用シャッタ
５  ＣＣＤ
６  ＴＧ
７  ユニット回路
８  画像処理部
１１  ＣＰＵ
１２  ＤＲＡＭ
１３  メモリ
１４  フラッシュメモリ
１５  画像表示部
１６  キー入力部
１７  カードＩ／Ｆ
１８  メモリ・カード
【図１】
2011216958.tif 000003
【図２】
2011216958.tif 000004
【図３】
2011216958.tif 000005
【図４】
2011216958.tif 000006
【図５】
2011216958.tif 000007
【図６】
2011216958.tif 000008
【図７】
2011216958.tif 000009