(57)【要約】【課題】ブレを除去した流し撮り効果やブレを除去した尾引き効果を得る。【解決手段】複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備え、前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う。【選択図】      図１
2006086933.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像の動き情報を検出する検出手段と、
被写体を選択する選択手段と、
前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、
前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備え、
前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行うことを特徴とする撮像装置。
【請求項２】
複数の画像の動き情報を検出する検出手段と、
被写体を選択する選択手段と、
前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、
前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備え、
前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行うことを特徴とする撮像装置。
【請求項３】
複数の画像の動き情報を検出する検出手段と、
被写体を選択する選択手段と、
前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、
前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段と、
前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う第１のモードと、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う第２のモードとを切り替える切替手段とを具備することを特徴とする撮像装置。
【請求項４】
複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、
前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、
前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行うことを特徴とする制御方法。
【請求項５】
複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、
前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行うことを特徴とする制御方法。
【請求項６】
複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、
前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う第１のモードと、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う第２のモードとを切り替える切替工程とを備えることを特徴とする制御方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の制御方法を、撮像装置のコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手振れを補正しながら流し撮り効果及び尾引き効果を得られる撮像技術に関する。
【背景技術】
【０００２】
画像撮影の際、狙った被写体が高速に移動している場合、撮影者は被写体をブレなく撮影するために高速シャッターを用いて撮影したり、被写体の動きに合わせてカメラをパンしながら撮影していた。高速シャッターを用いた場合、撮像素子が露光される時間は少なくなるため被写体のブレは小さくなるが、全ての被写体がブレ無く撮影されるため画像の臨場感にかけてしまう。また、画像の臨場感を出すため、ある程度遅いシャッタースピードにて被写体の動きに合わせてカメラをパンさせながら撮影すると、被写体のブレは少なく、その背景は流れた臨場感のある画像（流し撮り効果）を得ることができるが、カメラをパンさせるときに生じる被写体とカメラのパンのスピードの差や、被写体の動作方向とは異なる方向へのカメラのブレが生じるため、被写体のブレを完全に除去することは難しい。
【０００３】
また、夜間の車のテールランプが流れている様子などを撮影する場合、三脚などを用いてカメラを固定し長時間露光を行うことにより、動いている被写体のみ流れている画像（尾引き効果）を得ることが可能であるが、三脚が使えないなどカメラを固定できない状況における撮影では、手振れにより像が全体にブレてしまう。
【０００４】
このようなブレを補正する手法としてとして、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理し、撮影光軸を偏心させる補正光学装置を駆動することにより像振れ補正を行う光学防振システムや、手振れが生じない程度の露光時間で複数回撮影を繰り返し、これらの撮影により得られた画像に対して画像のズレを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る方法がある（例えば、特許文献１）。
【特許文献１】特開平５−７３３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
最近のデジタルカメラは、銀塩コンパクトカメラに比べて小型化が進んでおり、特にＳＸＧＡクラスの撮像素子を持つカメラは携帯電子機器（例えば、携帯電話）に内蔵されるほど小型になってきている。
【０００６】
このような中で、上述した光学防振システムをカメラに搭載しようとすると、振れ補正光学装置をより一層小型化するか、レーザージャイロ等の振動検出部を小型化する必要がある。
【０００７】
しかし、振れ補正光学装置では、補正レンズを支持し、これを高精度に駆動してゆく必要があるために小型化には限度がある。また、現在使用されている振動検出部は、ほとんどが慣性力を利用するものなので、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題がある。
【０００８】
さらに、カメラに加わる振れとしては、所定の軸を中心とする角度振れと、カメラを平行に揺らすシフト振れがあり、角度ぶれは光学防振システムで補正可能であるがシフト振れ対策は困難である。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。
【０００９】
一方、上記特許文献１に示すような防振方法においては、１枚の画像の中にブレが生じないくらいの高速シャッターを用いるため、複数回撮影を繰り返し画像を合成しても、前述したような流し撮り効果や尾引き効果を出した画像を得ることができない。
【００１０】
そこで、本発明の目的は、銀塩カメラの防振システムやビデオカメラの防振システムとは異なるデジタルカメラ向けの小型の防振システムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決し、目的を達成するために、本発明の撮像装置は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備え、前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う。
【００１２】
また、本発明の撮像装置は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備え、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う。
【００１３】
また、本発明の撮像装置は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段と、前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う第１のモードと、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う第２のモードとを切り替える切替手段とを具備する。
【００１４】
また、本発明の撮像装置における制御方法は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う。
【００１５】
また、本発明の撮像装置における制御方法は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う。
【００１６】
また、本発明の撮像装置における制御方法は、複数の画像の動き情報を検出する検出手段と、被写体を選択する選択手段と、前記検出手段の検出情報に基づいて、前記複数の画像を平面座標内で位置変換する画像移動手段と、前記検出手段の検出情報に基づいて、前記複数の画像間を補間処理する補間手段とを備える撮像装置における制御方法であって、前記選択手段により選択された被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体以外の被写体には前記補間手段により画像間を補間するように画像合成を行う第１のモードと、前記選択手段により選択された被写体以外の被写体には前記画像移動手段により一致するように画像合成を行い、前記選択された被写体には前記補間手段により画像間を補間するように画像合成を行う第２のモードとを切り替える切替工程とを備える。
【発明の効果】
【００１７】
以上説明したように、第１の発明によれば、カメラをパンしながら撮影するとき画像が流れない程度の露出時間で複数回撮影を繰り返し、複数の撮影により得られた画像に対して主被写体においてはズレをなくすよう画像合成し、主被写体以外の被写体においては移動した軌跡を補間するよう画像合成することにより流し撮り効果を得ることができ、かつ手振れを除去した画像を得ることができる。
【００１８】
また、第２の発明によれば、手振れが生じない程度の露光時間で複数回撮影を繰り返し、この複数の撮影により得られた画像に対して主被写体以外の被写体においてはズレをなくすよう画像合成し、主被写体においては移動した軌跡を補間するよう画像合成することにより尾引き効果を得られ、かつ手振れを除去した画像を得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００２０】
尚、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
【００２１】
また、本発明は、後述する実施形態である撮像装置の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の一例であるデジタルカメラの構成の一例を示すブロック図である。なお、第１の実施形態に係る撮像装置は、デジタルカメラに限らず、デジタルビデオカメラ、カメラ付き携帯電話、カメラ付きコンピュータ等でも実現することができる。
【００２２】
撮影レンズ１１から入射した光束（撮影光）は、絞り１３ａで光量制限された後に、シャッター１２ａを通り撮像部１７に結像する。撮像部１９は、ＣＭＯＳイメージセンサーやＣＣＤイメージセンサーなどの撮像素子を用いて受光した光を画像信号に変換する。
【００２３】
撮影レンズ１１は複数の光学レンズ群により構成され、これらのレンズ群のうち一部又は全部がＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで駆動する。
【００２４】
また、撮影レンズ１１のうち一部の光学レンズ群は、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ１５ａは、ズーム駆動部１５ｂからの駆動信号を受けることで駆動する。
【００２５】
絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッター１２ａは、複数のシャッター羽根を有しており、これらのシャッター羽根は、シャッター駆動部１２ｂからの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１７に入射する光束を制御する。
【００２６】
焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッター駆動部１２ｂは、撮影制御部１８により制御されている。
【００２７】
撮影制御部１８には、シャッターボタン１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、後述する防振効果選択部１２０及び被写体操作部１２１からの操作信号が入力されるようになっており、デジタルカメラの撮影状態に合わせて上記操作信号を各々焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッター駆動部１２ｂ、に与えて撮影条件を設定し、撮影を行うようにしている。なお、シャッターボタン１２ｃは、半押しでオンになる第１レリーズスイッチ（ＳＷ１）と全押しでオンになる第２のレリーズスイッチ（ＳＷ２）とを有する。
【００２８】
なお、絞り１３ａの開口径は、通常は撮影時にデジタルカメラ側で自動的に設定するために、絞り操作部１３ｃは不要であるが、撮影者が任意に撮影条件を設定する時のために設けられている。
【００２９】
撮影制御部１８は、後述する画像処理部１１１に取り込まれたデジタル画像信号に基づいて被写体輝度の測定（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径とシャッター１２ａの閉じタイミング（露光時間）を定めている。また、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら、画像処理部１１１からの出力に基づいて撮影レンズ１１の合焦位置を求めている。
【００３０】
撮像部１７から出力された画像信号は、Ａ／Ｄ変換器１１０によりデジタル画像信号に変換されて画像処理部１１１に入力される。画像処理部１１１は、Ａ／Ｄ変換器１１０からのデジタル画像信号から撮影画像に対応する画像データを生成する。
【００３１】
そして、画像処理部１１１で生成された画像データは、画像切替部１１２を介して表示部１１７及び記録部１１９に入力される。表示部１１７は、画像データを液晶表示器等の表示器に表示する。記録部１１９は、画像データを圧縮してメモリカード等の記憶媒体に記録する。
【００３２】
以上説明した動作において、手振れを除去した流し撮り効果を得たい場合には、撮影者は防振効果操作部１２０を操作して防振システムを「流し撮り」にし、以下の動作に切り替える。
【００３３】
まず、撮影者がシャッターボタン１２ｃを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッター１２ａの閉じタイミング（露光時間）と絞り１３ａの絞り口径を設定する。そこで、この露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像には手振れの影響が少ない画像となる。
【００３４】
そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。
【００３５】
しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては手振れの影響が生じていなくても、連続撮影中の手振れにより各画像間における構図は微妙にズレている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像における構図がズレ分だけぶれた画像になってしまう。
【００３６】
本実施形態においては、連続撮影に応じて撮像部１７から撮影ごとに複数出力される画像信号は、Ａ／Ｄ変換器１１０でデジタル画像信号に変換されてから画像処理部１１１にて所定の画像処理が施される。
【００３７】
一方、防振効果操作部１２０を操作して防振システムを「流し撮り」にすることを撮影制御部１８に指示した場合には、被写体選択部１２１により、予め主被写体が画面上どこに映し出されるかを選択しておく。この被写体選択部を構成するものとして十字キーと選択ボタン、決定ボタンが含まれていれば画面上どこでも自由に選択できる。ここではこの被写体選択部により画面中央部が予め選択されているとする。また、この被写体選択部１２１により被写体を選択する行為は、撮影が終了して複数の画像のうち少なくとも１枚の画像の中から主被写体を選択してもよい。
【００３８】
例えば、図２のように、フレーム１２１ａ中の中央部分で、道路１２２ａ上を走っていく車を捕らえ、デジタルカメラをパンしながら流し撮り撮影を行おうとした場合、１２５の枠を被写体選択部により描くことにより選択範囲を指定する。
【００３９】
そして、画像処理部１１１からの画像データは画像切替部１１２を介してメモリ１１３に入力される。
【００４０】
メモリ１１３は、連続的に撮影された複数の画像を記憶しておく。
【００４１】
ズレ検出部１１４は、被写体選択部１２１により選択されている枠内の、メモリ１１３に記憶された画像内における画面特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。
【００４２】
例えば、図３に示すようにフレーム１２１ｂにおいて道路１２２ｂ上を車１２３ｂが走行していき、撮影者は道路１２２ｂ上の車１２３ｂを車が進む方向と同じ方向かつ同じスピードになるよう心がけて撮影する。しかしデジタルカメラをパンするスピードが車１２３ｂのスピードと一致しなかったり、手振れにより車１２３ｂが走行していく方向とは違う方向に振れたりすることがあり、複数枚撮影するとフレーム１２１ｃのようにフレーム１２１ｂに対して構図がずれた画像が撮影されることがある。
【００４３】
ここで、ズレ検出部１１４は、被写体選択部１２１により選択されている枠１２５内に位置する車１２３ｂのうち輝度の高い点である窓１２６ｂのエッジ１２７ｂをエッジ検出により特徴点として取り出し、この特徴点１２７ｂと、フレーム１２１ｃにおける特徴点１２７ｃと比較し、この差分を補正（座標変換）する。
【００４４】
図３では、フレーム１２１ｂの特徴点１２７ｂを矢印１２８のようにフレーム１２１ｃの特徴点１２７ｃに重ねるようにして、フレーム１２１ｃを座標変換する。
【００４５】
ここでは複数撮影された画像のうち１枚目の画像フレーム１２１ｂと２枚目の画像フレーム１２１ｃの撮影での特徴点の変化を求めたが、それ以降の画像に関しても同様にして各画像の特徴点の変化を求めていく。
【００４６】
なお、特徴点は１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。
【００４７】
そして、座標変換部１１５で座標変換された各画像は、画像合成部１１６に出力されて各画像が図４のように１枚の画像に合成される。
【００４８】
以上のように、図４の合成された画像において、主被写体である車１２３ｄは座標変換により一致したものとなるが、デジタルカメラをパンしていることと、前述したように手振の影響が少ない程度のシャッタースピードで撮影されているため、木１２９ｂ、１２９ｃなど背景にある主被写体以外の被写体は一致せず、飛び飛びのものとなってしまう。そこで、飛び飛びに写っている被写体、ここでは、木１２９ｂと１２９ｃを流れているように合成する方法を図５を用いて以下に説明する。
【００４９】
図５において、フレーム１２１ｂ中の被写体選択枠１２５の枠外の特徴点を抽出する。ここでは、被写体選択枠１２５の枠外の被写体のうち輝度、色相、彩度、明度が総合的に高い点である木１２９ｂのエッジ１３０ｂ、１３１ｂ、１３２ｂをエッジ検出により特徴点として取り出し、記憶させる。このエッジ検出により得られている輝度、色相、彩度、明度のレベルから背景の被写体である木１２９ｂを抜き出す。そして、先に記憶させた特徴点と同じ特徴をもった点をフレーム１２１ｃの画面全体からエッジ検出により抽出し（１３０ｃ、１３１ｃ、１３２ｃ）、そのエッジの軌跡を各エッジ間を直線で結ぶことにより木１２９ｂがどの方向にどれだけ移動しているか予測する。エッジ１３０ｂと１３０ｃの軌跡は矢印１３３、エッジ１３１ｂと１３１ｃの軌跡は矢印１３４、エッジ１３５ｂと１３５ｃの軌跡は矢印１３５である。そして、その軌跡に沿って同じ輝度、色相、彩度、明度で画像を補間することにより図６のように木１２９ｂが１２９ｃまで流れているかのように描画できる。但し、この木１２９ｂを１２９ｃまで描画するとき主被写体である車１２３ｄは補間しないようにすることにより、主被写体が背景よりつぶされてしまうことを保護する。主被写体である車１２３ｄの範囲は、エッジ検出により同じエッジであると判断されたエッジが複数存在しない被写体であることより決定することができる（既に一致画像になっているということである。）。
【００５０】
画像合成部１１６で合成された画像データは、画像切替部１１２を介して表示部１１７及び記録部１１９に入力される。表示部１１７は、画像データを液晶表示器等の表示器に表示する。記録部１１９は、画像データを圧縮してメモリカード等の記憶媒体に記録する。
【００５１】
図７は、第１の実施形態に係るデジタルカメラの画像撮影処理を示すフローチャートであり、このフローはデジタルカメラの電源がオンになったときにスタートする。
【００５２】
ステップＳ１００１では、シャッターボタン１２ｃが半押されるまで待機し、第１レリーズスイッチ（ＳＷ１）がオンになるとステップＳ１００２に進む。
【００５３】
ステップＳ１００２では、撮像部１７において撮像が行われる。撮影制御部１８は、画像処理部１１１からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。
【００５４】
そして、もっともコントラストが高かった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。
【００５５】
また、撮影制御部１８は、同時に撮像部１７の出力に基づいて被写体の明るさを求める。
【００５６】
ステップＳ１００３では、撮影者が防振効果操作部１２０を「流し撮り」にしているか否かを判別し、「流し撮り」にしているときはステップＳ１００４に進み、それ以外の時はステップＳ１０１８に進む。
【００５７】
先ず始めに防振操作部１２０を「流し撮り」にしている場合のフローについて説明する。
【００５８】
ステップＳ１００４では、ステップＳ１００２で求めた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。
【００５９】
ここでの撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像素子の感度
の４点である。
【００６０】
例えば、撮像部１７の感度がＩＳＯ１００に設定されていたとする。
【００６１】
被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するためには、絞り１３ａを全開（例えばｆ４.０）にするとともにシャッター１２ａの閉じタイミング、すなわち露光時間を１／５０秒にする必要があるとする。
【００６２】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で１００ｍｍであるとき、露光時間を１／５０秒とする撮影では手振れにより像振れが発生するおそれがあるので、手振れが生じないように露光時間を１／１００秒に設定して２回撮影を行うように設定する。
【００６３】
一方、撮影焦点距離が４００ｍｍであるときには、手振れが生じないように露光時間を１／５００秒に設定して１０回撮影を行うように設定する。
【００６４】
このように複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、さらに何枚撮影するかも撮影条件に合わせて設定する。
【００６５】
同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近い方が撮像部１７において正確な情報が撮像できる。
【００６６】
このため、暗い被写体の場合や、撮影レンズが絞り込んでおり暗い場合、撮像部１９の感度が低く設定されている場合には、複数撮影といえども各撮影の露光時間はなるべく長くして有効な露光条件にする。
【００６７】
但し、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に表れるため、上述したように撮影光学系の焦点距離が３５ｍｍフィルム換算で１００ｍｍであるときは手振れが生じないように約焦点距離分の一に等しい露光時間である１／１００秒に設定している。
【００６８】
そして、その露光時間では足りない分を撮影枚数で補間している。
【００６９】
焦点距離が長い場合には、さらに露光時間を短くしないと手ぶれによる像劣化が生ずるのでさらに露光時間を短くして、その分撮影枚数を増やして露出補間を行う。
【００７０】
このように複数枚撮影における露光時間は、撮影被写体が暗いほど、また撮影レンズが暗いほど長くなり、撮像部１７の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。
【００７１】
そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、また撮影レンズが暗いほど多くなり、撮像素子の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなる。
【００７２】
以上の計算が終了した後で、防振モード（複数回撮影モード）が設定されたことを表示部１１７に表示すると同時に、求めた撮影枚数を表示部１１７に表示して撮影者に知らせる。
【００７３】
ステップＳ１００５では、シャッターボタン１２ｃが全押しされたか否かを判定する。シャッターボタン１２ｃが全押しされた場合、第２レリーズスイッチ（ＳＷ２）はオンになる。
【００７４】
ステップＳ１００６では、撮影した画像を一旦メモリ１１３に記憶しておく。
【００７５】
ステップＳ１００７では、すべての撮影が完了するまでステップＳ１００６、Ｓ１００７を循環して待機する。
【００７６】
そして、撮影が完了するとステップＳ１００８に進む。
【００７７】
ステップＳ１００８では、被写体操作部１２１により予め設定されている被写体選択枠（例えば、図３の１２５）内の画像（例えば、図３の車１２３ｂ）の中から特徴的な像（特徴点）をズレ検出部１１４が抽出し、その像の座標を求める。
【００７８】
ステップＳ１００９では、座標変換部１１５が各画像の座標変換を行う。ここで、最初の１枚の画像（第１の画像）のみ座標の変換は行わない。すなわち、この第１の画像を座標変換の際の基準とする。
【００７９】
ステップＳ１０１０では、２枚目以降の画像（第２の画像）のうちすべての画像について座標変換が終了するまでステップＳ１００８、１００９を循環して待機し、すべての画像の座標変換が完了するとステップＳ１０１１に進む。
【００８０】
ステップＳ１０１１では、第１の画像（図５のフレーム１２１ｂ）の被写体操作部１２１により予め設定されている被写体選択枠（例えば図５の１２５）外の画像（例えば、図５の木１２９ｂ）の中から特徴的な像（特徴点）をズレ検出部１１４が抽出し、その像の座標を求める。そのときに、その抽出点の輝度、色相、彩度、明度を記憶しておき、これらの特徴と同じ点をグループ化して抽出することにより木１２９ｂの画像を抽出する。そして、先に記憶されている抽出点と同じ特徴をもった点を第２の画像群の中（図５フレーム１２１ｃ）からズレ検出部１１４が抽出し、その木１２９ｂの画像が移動した軌跡を算出する。
【００８１】
ステップＳ１０１２にてステップＳ１０１１にて算出された軌跡をたどるように、各点の輝度、色相、彩度、明度により画像を補間していくことにより図５の木１２９ｂが木１２９ｃまで流れているような画像を生成する。
【００８２】
ステップＳ１０１３では、第1の画像から第２の画像のうちすべての画像について補間作業が終了するまでステップＳ１０１１、１０１２を循環して待機し、すべての画像の座標変換が完了するとステップＳ１０１４に進む。
【００８３】
ステップＳ１０１４では、第１の画像と座標変換された第２の画像群の各画像との合成を行う。
【００８４】
ここで、画像の合成は各画像の対応する座標の値を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【００８５】
ステップＳ１０１５では、合成された画像のうち各画像が構図ブレにより重ならなかった領域（図５の領域１４０）をカットし、元のフレームの大きさになるように画像を拡散補間する。
【００８６】
ステップＳ１０１６では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データを表示部１１７に表示する。
【００８７】
ステップＳ１０１７では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データをメモリカード等の記録媒体に記録する。
【００８８】
ステップＳ１０１８では、スタートに戻る。
【００８９】
なお、ステップＳ１０１８の段階でまだ継続してシャッターボタン１２ｃが半押し操作されＳＷ１がオンになっているときは、そのままステップＳ１００１、Ｓ１００２、Ｓ１００３、Ｓ１００４と再度フローチャートを進める。
【００９０】
また、ステップＳ１０１８の段階でシャッターボタン１２ｃが全押し操作されＳＷ２がオンになっているときには、スタートに戻らずステップＳ１０１７で待機する。
【００９１】
次に、ステップＳ１００３で防振効果操作部１２０がオフの場合のときに流れるフローチャートについて説明する。
【００９２】
ステップＳ１００３において、防振操作部１２０がオフと判断されたときには、ステップＳ１０２０に進む。
【００９３】
ステップＳ１０２０では、シャッターボタン１２ｃが全押し操作され、ＳＷ２がオンになるまでステップＳ１００１からステップＳ１０２０を循環して待機する。
【００９４】
ステップＳ１０２１では、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）が完了する迄待機し、露光完了と共にステップＳ１０１６に進む。
【００９５】
ステップＳ１０１６では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データを表示部１１７に表示する。
【００９６】
ステップＳ１０１７では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データをメモリカード等の記録媒体に記録する。
【００９７】
ステップＳ１０１８では、スタートに戻る。
［第２の実施形態］
第１の実施形態においては被写体操作部１２１により設定された被写体選択枠の内側にある被写体を一致するようにズレ検出部１１４による特徴点の抽出により画像を合成し、その枠の外にある被写体は流れるように補間処理を行う方法を述べてきた（主被写体が止まって、背景が流れて撮影される「流し撮り」効果撮影）。
【００９８】
本実施形態では、被写体操作部１２１により設定された被写体選択枠の外側にある被写体を一致するようにズレ検出部１１４による特徴点の抽出により画像を合成し、その枠の中にある被写体には流れるように補間処理を行う方法を述べる（主被写体が流れて、背景がとまっている「尾引き」効果撮影）。
【００９９】
第２の実施形態に係るデジタルカメラの構成は、第１の実施形態（図１）と同様であり、本実施形態では異なる効果、即ち、「尾引き」効果を得る方法について説明する。
【０１００】
第１の実施形態と同じ手段を有する撮像装置において、手振れを除去した尾引き効果を得たい場合には、撮影者は防振効果操作部１２０を操作して防振システムを「尾引き」にし、以下の動作に切り替える。
【０１０１】
まず、撮影者がシャッターボタン１２ｃを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッター１２ａの閉じタイミング（露光時間）と絞り１３ａの絞り口径を設定する。そこで、この露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像には手振れの影響が少ない画像となる。
【０１０２】
そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。
【０１０３】
しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては手振れの影響が生じていなくても、連続撮影中の手振れにより各画像間における構図は微妙にズレている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像における構図がズレ分だけぶれた画像になってしまう。
【０１０４】
本実施形態において、連続撮影に応じて撮像部１７から撮影ごとに複数出力される画像信号は、Ａ／Ｄ変換器１１０でデジタル画像信号に変換されてから画像処理部１１１にて所定の画像処理が施される。
【０１０５】
一方、防振効果操作部１２０を操作して防振システムを「尾引き」にすることを撮影制御部１８に伝えた場合には、被写体選択部１２１により、予め主被写体が画面上どこに映し出されるかを選択しておく。この被写体選択部を構成するものとして十字キーと選択ボタン、決定ボタンが含まれていれば画面上どこでも自由に選択できる。ここではこの被写体選択部により画面中央部が予め選択されているとする。また、この被写体選択部１２１により被写体を選択する行為は、撮影が終了して複数の画像のうち少なくとも１枚の画像の中から主被写体を選択してもよい。
【０１０６】
例えば、図８のように、フレーム１４１ａ中の画面下半分部分で、道路１４２ａ上を走っていく車を定点撮影を行うことにより尾引き撮影を行おうとした場合、１４５の枠を被写体選択部により描き選択範囲を指定する。
【０１０７】
そして画像処理部１１１からの画像データは画像切替部１１２を介してメモリ１１３に入力される。
【０１０８】
メモリ１１３は、撮影された複数の画像すべてを記憶しておく。
【０１０９】
ズレ検出部１１４は、被写体選択部１２１により選択されている枠外の、メモリ１１３に記憶された画像内における画面特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。
【０１１０】
例えば図９に示すようにフレーム１４１ｂにおいて道路１４２ｂ上を車１４３ｂが走行していくシーンを定点撮影する場合、撮影者は三脚などデジタルカメラを固定できない環境下において、手持ちでデジタルカメラを動かさないよう心がけて撮影しても、手持ちである以上、複数枚撮影するとフレーム１４１ｃのようにフレーム１４１ｂに対して構図がずれた画像が撮影されることがある。
【０１１１】
ズレ検出部１１４は、被写体選択部１２１により選択されている枠１４５の枠外に位置する家１４４ｂのうち輝度の高い点である窓１４６ｂのエッジ１４７ｂをエッジ検出により特徴点として取り出し、この特徴点１４７ｂと、フレーム１４１ｃにおける特徴点１４７ｃと比較し、この差分を補正（座標変換）する。
【０１１２】
図９では、フレーム１４１ｂの特徴点１４７ｂを矢印１４８のようにフレーム１４１ｃの特徴点１４７ｃに重ねるようにして、フレーム１４１ｃを座標変換する。
【０１１３】
ここでは複数撮影された画像のうち１枚目の画像フレーム１４１ｂと２枚目の画像フレーム１４１ｃ撮影の特徴点の変化を求めたが、それ以降の画像に関しても同様にして各画像の特徴点の変化を求めていく。
【０１１４】
なお、特徴点は１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。
【０１１５】
座標変換部１１５で座標変換された各画像は、画像合成部１１６に出力されて各画像が図１０のように１枚の画像に合成される。
【０１１６】
以上のように合成された画像は、主被写体でない家１４４は座標変換により一致したものとなるが、前述したように手振の影響が少ない程度のシャッタースピードで撮影されていることと、動作のある被写体（ここでは車）が画面上にあることにより、主被写体である車１４３ｂ、１４３ｃは一致せず、飛び飛びのものとなっている。そこで、飛び飛びに写っている車１４３ｂと１４３ｃを流れているように合成する方法を図１１を用いて以下に説明する。
【０１１７】
先ず、先に説明した家１４４ｂ、１４４ｃを一致させた合成画像を生成するときに用いたフレーム１４１ｂの中の被写体選択枠１４５ｂの枠内の特徴点を抽出する。ここでは、被写体選択枠１４５ｂの枠内の中で輝度、色相、彩度、明度が総合的に高い点である車１４３ｂの窓のエッジ１５０ｂ、車１４３ｂのテールランプ１５１ｂ、図示はしていないが、その他の特徴点をエッジ検出により特徴点として取り出し、記憶させる。このエッジ検出により得られている輝度、色相、彩度、明度のレベルから主被写体である車１４３ｂを抜き出す。そして、先に記憶させた特徴点と同じ特徴をもった点をフレーム１４１ｃの画面全体からエッジ検出により抽出し（１５０ｃ、１５１ｃ）、そのエッジの軌跡を各エッジ間を直線で結ぶことにより車１４３ｂがどの方向にどれだけ移動しているか予測する。エッジ１５０ｂと１５０ｃの軌跡は矢印１５３、エッジ１５１ｂと１５１ｃの軌跡は矢印１５４である。そして、その軌跡に沿って同じ輝度、色相、彩度、明度で画像を補間することにより図１２のように車１４３ｂが１４３ｃまで流れているかのように描画できる。
【０１１８】
画像合成部１１６で合成された画像データは、画像切替部１１２を介して表示部１１７及び記録部１１９に入力される。表示部１１７は、画像データを液晶表示器等の表示器に表示する。記録部１１９は、画像データを圧縮してメモリカード等の記憶媒体に記録する。
【０１１９】
次に、図７を参照して本実施形態に係るデジタルカメラの画像撮影処理を説明する。
【０１２０】
本実施形態に係るデジタルカメラの画像撮影処理をまとめたフローチャートは図７と同様であり、第１の実施形態と異なるところは、被写体操作部１２１により選択された被写体選択枠（例えば図９の１４５ｂ）の外にある被写体を一致させ（第１の実施形態では被写体選択枠の中）、被写体選択枠の中にある被写体を流れたように補間させる（第１の実施形態では被写体選択枠の外）というところが違う。被写体を一致させる合成方法や、被写体を流れるように補間方法は前述した第１の実施形態と同じ方法である。
【０１２１】
ステップＳ１００１では、第１レリーズスイッチ（ＳＷ１）がオンになるとステップＳ１００２に進む。
【０１２２】
ステップＳ１００２では、撮像部１７において撮像が行われる。撮影制御部１８は、画像処理部１１１からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。
【０１２３】
そして、もっともコントラストが高かった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。
【０１２４】
また、撮影制御部１８は、同時に撮像部１７の出力に基づいて被写体の明るさを求める。
【０１２５】
ステップＳ１００３では、撮影者が防振効果操作部１２０を「尾引き」にしているか否かを判別し、「尾引き」にしているときはステップＳ１００４に進み、それ以外の時はステップＳ１０１８に進む。
【０１２６】
先ず始めに防振操作部１２０を「尾引き」にしている場合のフローチャートについて説明する。
【０１２７】
ステップＳ１００４では、ステップＳ１００２で求めた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。
【０１２８】
ここでの撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像素子の感度
の４点である。
【０１２９】
例えば、撮像部１７の感度がＩＳＯ１００に設定されていたとする。
【０１３０】
被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するためには、絞り１３ａを全開（例えばｆ２.８）にするとともにシャッター１２ａの閉じタイミング、すなわち露光時間を１／５０秒にする必要があるとする。
【０１３１】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で１００ｍｍであるとき、露光時間を１／５０秒とする撮影では手振れにより像振れが発生する恐れがあるので、手振れが生じないように露光時間を１／１００秒に設定して２回撮影を行うように設定する。
【０１３２】
一方、撮影焦点距離が４００ｍｍであるときには、手振れが生じないように露光時間を１／５００秒に設定して１０回撮影を行うように設定する。
【０１３３】
このように複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、さらに何枚撮影するかも撮影条件に合わせて設定する。
【０１３４】
同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近い方が撮像部１７において正確な情報が撮像できる。
【０１３５】
このため、暗い被写体の場合や、撮影レンズが絞り込んでおり暗い場合、撮像部１９の感度が低く設定されている場合には、複数撮影といえども各撮影の露光時間はなるべく長くして有効な露光条件にする。
【０１３６】
但し、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に表れるため、上述したように撮影光学系の焦点距離が３５ｍｍフィルム換算で１００ｍｍであるときは手振れが生じないように約焦点距離分の一に等しい露光時間である１／１００秒に設定している。
【０１３７】
そして、その露光時間では足りない分を撮影枚数で補間している。
【０１３８】
焦点距離が長い場合には、さらに露光時間を短くしないと手ぶれによる像劣化が生ずるのでさらに露光時間を短くして、その分撮影枚数を増やして露出補間を行う。
【０１３９】
このように複数枚撮影における露光時間は、撮影被写体が暗いほど、また撮影レンズが暗いほど長くなり、撮像部１７の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。
【０１４０】
そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、また撮影レンズが暗いほど多くなり、撮像素子の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなる。
【０１４１】
以上の計算が終了した後で、デジタルカメラのファインダ内に設けられた表示部やデジタルカメラの外装に設けられた液晶表示部に、防振モード（複数回撮影モード）が設定されたことを表示すると同時に、求めた撮影枚数を表示して撮影者に知らせる。
【０１４２】
ステップＳ１００５では、シャッターボタン１２ｃが全押しされたか否かを判定する。シャッターボタン１２ｃが全押しされた場合、第２レリーズスイッチ（ＳＷ２）はオンになる。この場合はステップ１００６に進む。
【０１４３】
ステップＳ１００６では、撮影した画像を一旦メモリ１１３に記憶しておく。
【０１４４】
ステップＳ１００７では、すべての撮影が完了するまでステップＳ１００６、Ｓ１００７を循環して待機する。
【０１４５】
そして、撮影が完了するとステップＳ１００８に進む。
【０１４６】
ステップＳ１００８では、被写体操作部１２１により予め設定されている被写体選択枠（例えば図９の１４５）の外の画像（例えば図９の家１４４ｂ）の中から特徴的な像（特徴点）をズレ検出部１１４が抽出し、その像の座標を求める。
【０１４７】
ステップＳ１００９では、座標変換部１１５が各画像の座標変換を行う。ここで、最初の１枚の画像（第１の画像）のみ座標の変換は行わない。すなわち、この第１の画像を座標変換の際の基準とする。
【０１４８】
ステップＳ１０１０では、第２の画像のうちすべての画像について座標変換が終了するまでステップＳ１００８、１００９を循環して待機し、すべての画像の座標変換が完了するとステップＳ１０１１に進む。
【０１４９】
ステップＳ１０１１では、１枚目に撮影された画像（第１の画像（図１１フレーム１４１ｂ））の被写体操作部１２１により予め設定されている被写体選択枠（例えば図１１の１４５）中の画像（例えば図１１の車１４３ｂ）の中から特徴的な像（特徴点）をズレ検出部１１４が抽出し、その像の座標を求める。そのときに、その抽出点の輝度、色相、彩度、明度を記憶しておき、これらの特徴と同じ点をグループ化して抽出することにより車１４３ｂの画像を抽出する。そして、先に記憶されている抽出点と同じ特徴をもった点を２枚目以降の画像（第２の画像）群の中（図１１のフレーム１４１ｃ）からズレ検出部１１４が抽出し、その車１４３ｂの画像が移動した軌跡を算出する。
【０１５０】
ステップＳ１０１２にてステップＳ１０１１にて算出された軌跡をたどるように、各点の輝度、色相、彩度、明度により画像を補間していくことにより図１１の車１４３ｂが車１４３ｃまで流れているような画像を生成する。
【０１５１】
ステップＳ１０１３では、第1の画像から第２の画像のうちすべての画像について補間作業が終了するまでステップＳ１０１１、１０１２を循環して待機し、すべての画像の座標変換が完了するとステップＳ１０１４に進む。
【０１５２】
ステップＳ１０１４では、第１の画像と座標変換された第２の画像群の各画像との合成を行う。
ここで、画像の合成は各画像の対応する座標の値を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０１５３】
ステップＳ１０１５では、合成された画像のうち各画像が構図ブレにより重ならなかった領域（図１１の領域１６０）をカットし、元のフレームの大きさになるように画像を拡散補間する。
【０１５４】
ステップＳ１０１６では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データを表示部１１７に表示する。
【０１５５】
ステップＳ１０１７では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データをメモリカード等の記録媒体に記録する。
【０１５６】
ステップＳ１０１８では、スタートに戻る。
【０１５７】
なお、ステップＳ１０１８の段階でまだ継続してシャッターボタン１２ｃが半押し操作されＳＷ１がオンになっているときは、そのままステップＳ１００１、Ｓ１００２、Ｓ１００３、Ｓ１００４と再度フローチャートを進めてゆく。
【０１５８】
また、ステップＳ１０１８の段階でシャッターボタン１２ｃが全押し操作されＳＷ２がオンになっているときには、スタートに戻らずステップＳ１０１７で待機する。
【０１５９】
次に、ステップＳ１００３で防振効果操作部１２０がオフの場合のフローチャートについて説明する。
【０１６０】
ステップＳ１００３において、防振操作部１２０がオフと判断されたときには、ステップＳ１０２０に進む。
【０１６１】
ステップＳ１０２０では、シャッターボタン１２ｃが全押しされたか否かを判定する。シャッターボタン１２ｃが全押しされた場合、第２レリーズスイッチ（ＳＷ２）はオンになる。この場合はステップＳ１０２１に進む。
【０１６２】
ステップＳ１０２１では、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）が完了する迄待機し、露光完了と共にステップＳ１０１６に進む。
【０１６３】
ステップＳ１０１６では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データを表示部１１７に表示する。
【０１６４】
ステップＳ１０１７では、画像処理部１１１で生成された画像データ又は画像合成部１１６で合成された画像データをメモリカード等の記録媒体に記録する。
【０１６５】
ステップＳ１０１８では、スタートに戻る。
【図面の簡単な説明】
【０１６６】
【図１】本発明の第１の実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態に係る被写体選択図である。
【図３】本発明の第１の実施形態に係る選択被写体の位置座標図である。
【図４】本発明の第１の実施形態に係る座標変換後の画像合成図である。
【図５】本発明の第１の実施形態に係る主被写体以外の画像補間説明図である。
【図６】本発明の第１の実施形態に係る最終画像合成図である。
【図７】本発明の第１の実施形態に係る画像撮影処理を示すフローチャートである。
【図８】本発明の第２の実施形態に係る被写体選択図である。
【図９】本発明の第２の実施形態に係る選択被写体の位置座標図である。
【図１０】本発明の第２の実施形態に係る座標変換後の画像合成図である。
【図１１】本発明の第２の実施形態に係る主被写体以外の画像補間説明図である。
【図１２】本発明に係る第２の実施形態に係る最終画像合成図である。
【符号の説明】
【０１６７】
１２１ａ，１２１ｂ，１２１ｃ  フレーム
１２２ａ，１２２ｂ，１２２ｃ  道路
１２３ｂ，１２３ｃ，１２３ｄ  車
１２５  被写体選択枠
１２６ｂ，１２６ｃ  車の窓
１２７ｂ，１２７ｃ  車の窓の特徴点（エッジ）
１２８  座標変換方向
１２９ｂ，１２９ｃ  木
１３０ｂ，１３０ｃ  木の特徴点その１
１３１ｂ，１３１ｃ  木の特徴点その２
１３２ｂ，１３２ｃ  木の特徴点その３
１３３  木の特徴点その１の座標移動軌跡
１３４  木の特徴点その２の座標移動軌跡
１３５  木の特徴点その３の座標移動軌跡
１４０  ２枚の画像が重ならない領域
１４１ａ、１４１ｂ、１４１ｃ  フレーム
１４２ａ、１４２ｂ、１４２ｃ  道路
１４３ｂ、１４３ｃ  車
１４４ｂ、１４４ｃ  家
１４５  被写体選択枠
１４６ｂ，１４６ｃ  家の窓
１４７ｂ，１４７ｃ  家の窓の特徴点（エッジ）
１４８  ：座標変換方向
１５０ｂ，１５０ｃ  車の特徴点その１
１５１ｂ，１５１ｃ  車の特徴点その２
１５３  車の特徴点その１の座標移動軌跡
１５４  車の特徴点その２の座標移動軌跡
１６０  ２枚の画像が重ならない領域
【図１】
2006086933.tif 000003
【図２】
2006086933.tif 000004
【図３】
2006086933.tif 000005
【図４】
2006086933.tif 000006
【図５】
2006086933.tif 000007
【図６】
2006086933.tif 000008
【図７】
2006086933.tif 000009
【図８】
2006086933.tif 000010
【図９】
2006086933.tif 000011
【図１０】
2006086933.tif 000012
【図１１】
2006086933.tif 000013
【図１２】
2006086933.tif 000014