(57)【要約】【課題】動きのある被写体を撮影した場合に、その被写体を静止させて背景を流したような流し撮り画像を誰でも簡単に得る。【解決手段】制御部３２は、所定のタイミングでＣＣＤ２３から複数の連続した画像データを取得する手段と、各画像データからメインとなる被写体部分を特定する手段と、特定されたメイン被写体部分の各画像データ間の相対的なずれ量およびずれ方向を検出する手段と、ずれ量およびずれ方向に基づいてメイン被写体部分が同じ位置に重なるように各画像データを合成する手段とを備える。これにより、動きのある被写体を撮影した場合に、その被写体の動きに合わせてカメラを的確に追従させなくとも、被写体を静止させて背景を流したような流し撮り画像を誰でも簡単に得ることができる。【選択図】図２
2006339903.tif 000002
【特許請求の範囲】
【請求項１】
所定のタイミングで撮像素子から複数の連続した画像データを取得する撮影手段と、
この撮影手段によって得られた各画像データからメインとなる被写体部分を特定する特定手段と、
この特定手段によって特定されたメイン被写体部分の各画像データ間の相対的なずれ量およびずれ方向を検出する検出手段と、
この検出手段によって検出されたずれ量およびずれ方向に基づいて、前記メイン被写体部分が同じ位置に重なるように前記各画像データを合成する画像処理手段と
を具備したことを特徴とする撮像装置。
【請求項２】
前記撮影手段は、撮影条件として露光時間を所定時間よりも短く設定して連続撮影を行い、
前記画像処理手段は、前記撮影手段によって得られた各画像データを重ね合わせたときに、少なくとも前記メイン被写体部分の各画素の値を適正な値に補正することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記特定手段は、ファインダ内にメインとなる被写体を捕捉するための基準となる領域を設定し、前記撮影手段によって得られた各画像データと前記基準領域との位置関係からメイン被写体部分を特定することを特徴とする請求項１記載の撮像装置。
【請求項４】
被写体の動きに追従させて撮影を行う第１のモードまたはカメラを固定して被写体を撮影する第２のモードを設定するモード設定手段と、
前記前記撮影手段によって得られた各画像データに基づいて移動速度の異なる複数の被写体部分を識別する識別手段とを備え、
前記特定手段は、前記モード設定手段によって前記第１のモードが設定されている場合に前記識別手段によって識別された各被写体部分の中で最も移動速度の遅い部分をメイン被写体部分として特定し、前記モード設定手段によって前記第２のモードが設定されている場合に前記識別手段によって識別された各被写体部分の中で最も移動速度の速い部分をメイン被写体部分として特定することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記撮影手段によって複数の画像データを取得する時間間隔を任意に設定する間隔設定手段を具備したことを特徴とする請求項１記載の撮像装置。
【請求項６】
前記画像処理手段による合成に用いる画像データの枚数を任意に設定する枚数設定手段を具備したことを特徴とする請求項１記載の撮像装置。
【請求項７】
所定のタイミングで撮像素子から複数の連続した画像データを取得するステップと、
前記各画像データからメインとなる被写体部分を特定するステップと、
前記特定されたメイン被写体部分の各画像データ間の相対的なずれ量およびずれ方向を検出するステップと、
前記検出されたずれ量およびずれ方向に基づいて、前記メイン被写体部分が同じ位置に重なるように前記各画像データを合成するステップと
を含むことを特徴とする画像処理方法。
【請求項８】
撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
前記コンピュータに、
所定のタイミングで撮像素子から複数の連続した画像データを取得する機能と、
前記各画像データからメインとなる被写体部分を特定する機能と、
前記特定されたメイン被写体部分の各画像データ間の相対的なずれ量およびずれ方向を検出する機能と、
前記検出されたずれ量およびずれ方向に基づいて、前記メイン被写体部分が同じ位置に重なるように前記各画像データを合成する機能と
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルカメラ等の撮像装置に係り、特に移動体を被写体として流し撮りなどを行う場合に用いて好適な撮像装置と、この撮像装置に用いられる画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
動きのある被写体を撮影してスピード感ある画像を得る場合に、シャッター速度を通常よりも遅く設定した状態で、撮影者が被写体の動きに合わせてカメラをパンニング（移動）することにより、被写体を静止させて背景を流すといった所謂「流し撮り」といったテクニックが用いられる。
【０００３】
一方、動きのある被写体を連続撮影して得られた複数枚の画像データを、背景部分を基準にして合成することにより、被写体の時間的な動きを表した画像を作成する技術が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００１−２７４９７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した流し撮りによる撮影は、動く被写体に対してカメラを的確に追従させなければならないため、慣れていないと非常に難しく、その上、シャッター速度を遅くしているために、メインとなる被写体までもぶれてしまうことが多い。この場合、シャッター速度を速めに設定すれば、メインとなる被写体のぶれを軽減することができるが、その一方で背景のぶれまでも少なくなるため、被写体のスピード感を強調した画像が得られなくなるといった問題がある。
【０００５】
また、前記特許文献１のように画像合成により被写体の動きを表した画像を得る方法が知られているが、背景部分を基準にして合成しているため、メインとなる被写体を静止させて背景を流すといった流し撮りのような画像を得ることはできない。
【０００６】
そこで、本発明の目的は、動きのある被写体を撮影した場合に、その被写体を静止させて背景を流したような流し撮り画像を誰でも簡単に得ることのできる撮像装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の請求項１に係る撮像装置は、所定のタイミングで撮像素子から複数の連続した画像データを取得する撮影手段と、この撮影手段によって得られた各画像データからメインとなる被写体部分を特定する特定手段と、この特定手段によって特定されたメイン被写体部分の各画像データ間の相対的なずれ量およびずれ方向を検出する検出手段と、この検出手段によって検出されたずれ量およびずれ方向に基づいて、前記メイン被写体部分が同じ位置に重なるように前記各画像データを合成する画像処理手段とを具備して構成される。
【０００８】
このような構成によれば、連続撮影によって得られた複数の画像データからメインとなる被写体部分が特定され、そのメイン被写体部分を基準にして各画像データが合成される。これにより、動きのある被写体を撮影した場合に、その被写体の動きに合わせてカメラを的確に追従させなくとも、被写体を静止させて背景を流したような流し撮り画像を誰でも簡単に得ることができる。
【０００９】
また、本発明の請求項２は、前記請求項１記載の撮像装置において、前記撮影手段は、撮影条件として露光時間を所定時間よりも短く設定して連続撮影を行い、前記画像処理手段は、前記撮影手段によって得られた各画像データを重ね合わせたときに、少なくとも前記メイン被写体部分の各画素の値を適正な値に補正することを特徴とする。
【００１０】
このような構成によれば、露光時間を短く設定して連続撮影することで、１枚１枚の画像データにおけるメイン被写体部分のぶれを少なくすることができる。この場合、露光時間を短く設定されていても、画像合成によりメイン被写体部分の明るさを十分確保できると共に、ノイズを除去してＳＮ比を改善することができる。
【００１１】
また、本発明の請求項３は、前記請求項１記載の撮像装置において、前記特定手段は、ファインダ内にメインとなる被写体を捕捉するための基準となる領域を設定し、前記撮影手段によって得られた各画像データと前記基準領域との位置関係からメイン被写体部分を特定することを特徴とする。
【００１２】
このような構成によれば、被写体の動きに合わせてカメラを的確に追従させなくとも、ファインダ内に設定された基準領域に最も近い被写体部分をメイン被写体として特定して、そのメイン被写体を流し撮りしたような画像を得ることができる。
【００１３】
また、本発明の請求項４は、前記請求項１記載の撮像装置において、被写体の動きに追従させて撮影を行う第１のモードまたはカメラを固定して被写体を撮影する第２のモードを設定するモード設定手段と、前記前記撮影手段によって得られた各画像データに基づいて移動速度の異なる複数の被写体部分を識別する識別手段とを備え、前記特定手段は、前記モード設定手段によって前記第１のモードが設定されている場合に前記識別手段によって識別された各被写体部分の中で最も移動速度の遅い部分をメイン被写体部分として特定し、前記モード設定手段によって前記第２のモードが設定されている場合に前記識別手段によって識別された各被写体部分の中で最も移動速度の速い部分をメイン被写体部分として特定することを特徴とする。
【００１４】
このような構成によれば、被写体の動きに合わせて撮影した場合、あるいは、カメラを固定して撮影した場合でも、それぞれにメインとなる被写体を特定して、そのメイン被写体を流し撮りしたような画像を得ることができる。
【００１５】
また、本発明の請求項５は、前記請求項１記載の撮像装置において、前記撮影手段によって複数の画像データを取得する時間間隔を任意に設定する間隔設定手段を具備したことを特徴とする。
【００１６】
このような構成によれば、連続撮影の時間間隔を変化させることで、メイン被写体に対する背景部分のぶれの量や画像の滑らかさを調整することができる。
【００１７】
また、本発明の請求項６は、前記請求項１記載の撮像装置において、前記画像処理手段による合成に用いる画像データの枚数を任意に設定する枚数設定手段を具備したことを特徴とする。
【００１８】
このような構成によれば、連続撮影の枚数を変化させることで、メイン被写体に対する背景部分のぶれの量や画像の滑らかさを調整することができる。
【００１９】
本発明の請求項７に係る画像処理方法は、所定のタイミングで撮像素子から複数の連続した画像データを取得するステップと、前記各画像データからメインとなる被写体部分を特定するステップと、前記特定されたメイン被写体部分の各画像データ間の相対的なずれ量およびずれ方向を検出するステップと、前記検出されたずれ量およびずれ方向に基づいて、前記メイン被写体部分が同じ位置に重なるように前記各画像データを合成するステップとを含むことを特徴とする。
【００２０】
このような画像処理方法によれば、前記各ステップに従った処理を実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。
【００２１】
本発明の請求項８に係るプログラムは、撮像装置に搭載されたコンピュータによって実行されるプログラムであって、前記コンピュータに、所定のタイミングで撮像素子から複数の連続した画像データを取得する機能と、前記各画像データからメインとなる被写体部分を特定する機能と、前記特定されたメイン被写体部分の各画像データ間の相対的なずれ量およびずれ方向を検出する機能と、前記検出されたずれ量およびずれ方向に基づいて、前記メイン被写体部分が同じ位置に重なるように前記各画像データを合成する機能とを実現させることを特徴とする。
【００２２】
したがって、コンピュータが前記各機能を実現するためのプログラムを実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。
【発明の効果】
【００２３】
以上のように本発明によれば、動きのある被写体を撮影した場合に、その被写体の動きに合わせてカメラを的確に追従させなくとも、被写体を連続撮影するだけの操作で、被写体を静止させて背景を流したような流し撮り画像を誰でも簡単に得ることができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明の実施形態を説明する。
【００２５】
図１は本発明の一実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。
【００２６】
このデジタルカメラ１は、略矩形の薄板状ボディ２の前面に、撮影レンズ３、セルフタイマランプ４、光学ファインダ窓５、ストロボ発光部６、マイクロホン部７などを有し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９などが設けられている。
【００２７】
電源キー８は、電源のオン／オフ毎に操作するキーであり、シャッタキー９は、撮影時に撮影タイミングを指示するキーである。
【００２８】
また、デジタルカメラ１の背面には、撮影モード（Ｒ）キー１０、再生モード（Ｐ）キー１１、光学ファインダ１２、スピーカ部１３、マクロキー１４、ストロボキー１５、メニュー（ＭＥＮＵ）キー１６、リングキー１７、セット（ＳＥＴ）キー１８、表示部１９などが設けられている。
【００２９】
撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方で、電源オンの状態から繰返し操作することで、静止画モード、動画モードを循環的に設定する。静止画モードは、静止画を撮影するためのモードである。また、動画モードは、動画を撮影するためのモードである。
【００３０】
前記シャッタキー９は、これらの撮影モードに共通に使用される。すなわち、静止画モードでは、シャッタキー９が押下されたときのタイミングで静止画の撮影が行われる。動画モードでは、シャッタキー９が押下されたときのタイミングで動画の撮影が開始され、シャッタキー９が再度押下されたときにその動画の撮影が終了する。
【００３１】
再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。
【００３２】
マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切換える際に操作する。メニューキー１６は、流し撮りモードを含む各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。
【００３３】
表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。
【００３４】
また、このデジタルカメラ１には、光学ズーム機能が備えられており、ズームキー２０ａ，２０ｂの操作により焦点距離を物理的に変化させて画像の拡大率を変更することができる。ズームキー２０ａ，２０ｂのうち、一方のズームキー２０ａはテレ端用であり、望遠側へズーム倍率を変更する場合に用いられる。他方のズームキー２０ｂはワイド端用であり、広角側へズーム倍率を変更する場合に用いられる。
【００３５】
なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクタ等が設けられている。
【００３６】
図２はデジタルカメラ１の電子回路構成を示すブロック図である。
【００３７】
このデジタルカメラ１には、前記撮影レンズ３を構成する図示せぬフォーカスレンズおよびズームレンズを含むレンズ光学系２２がモータ２１の駆動により光軸方向に所定の範囲内で移動可能に設けられている。このレンズ光学系２２の光軸後方に撮像素子であるＣＣＤ（ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）２３が配設されている。このＣＣＤ２３は、撮影レンズ３を通して入力される被写体の各部位からの光を受光し、その光の強度に応じた電気信号を出力する。
【００３８】
基本モードである記録モード時において、ＣＣＤ２３がタイミング発生器（ＴＧ）２４、ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。このＣＣＤ２３の光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換される。
【００３９】
そして、画像処理回路２８において、画素補間処理及びγ補正処理を含む画像処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｕ，Ｖ（Ｃｂ，Ｃｒ）が生成され、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）コントローラ２９に出力される。
【００４０】
ＤＭＡコントローラ２９は、画像処理回路２８の出力する輝度信号Ｙ及び色差信号Ｕ，Ｖを、同じく画像処理回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書き込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。
【００４１】
制御部３２は、デジタルカメラ１全体の制御を行うものであり、ＣＰＵと、このＣＰＵで実行される動作プログラムを記憶したＲＯＭ、そして、ワークメモリ３２ａとして使用されるＲＡＭなどを含むマイクロコンピュータにより構成される。
【００４２】
輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後、この制御部３２は、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読み出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書き込む。
【００４３】
デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部１９に出力する。
【００４４】
この表示部１９は、上述した如く撮影時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。
【００４５】
このように、表示部１９にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、例えば静止画撮影を行いたいタイミングでシャッタキー９を押下操作すると、トリガ信号が発生する。
【００４６】
制御部３２は、このトリガ信号に応じて、その時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。
【００４７】
この記録保存の状態では、制御部３２がＤＲＡＭ３１に書き込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出して、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）回路３７に書き込み、このＪＰＥＧ回路３７でＡＤＣＴ（Ａｄａｐｔｉｖｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。
【００４８】
そして得た符号データを１画像のデータファイルとして該ＪＰＥＧ回路３７から読み出して記録用のメモリ３８に書き込む。このメモリ３８としては、予め本体に内蔵されたフラッシュメモリ等の内部メモリの他に、記録媒体として着脱自在に装着されるメモリカードなどを含む。１フレーム分の輝度及び色差信号の圧縮処理及びメモリ３８への全圧縮データの書込み終了に伴って、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。
【００４９】
制御部３２には、さらに音声処理部３９、ＵＳＢインタフェース（Ｉ／Ｆ）４０、ストロボ駆動部４１が接続される。
【００５０】
音声処理部３９は、ＰＣＭ音源等の音源回路を備え、音声の録音時には前記マイクロホン部（ＭＩＣ）７より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（ＭＰＥＧ−１  ａｕｄｉｏ  ｌａｙｅｒ  ３）規格に従ってデータ圧縮して音声データファイルを作成してメモリ３８へ送出する一方、音声の再生時にはメモリ３８から読み出された音声データファイルの圧縮を解いてアナログ化し、上述したデジタルカメラ１の背面側に設けられるスピーカ部（ＳＰ）１３を通じて出力する。
【００５１】
ＵＳＢインタフェース４０は、ＵＳＢコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データ、その他の送受を行う場合の通信制御を行う。ストロボ駆動部４１は、撮影時に図示せぬストロボ用の大容量コンデンサを充電した上で、制御部３２からの制御に基づいてストロボ発光部６を閃光駆動する。
【００５２】
なお、前記キー入力部３６は、上述したシャッタキー９の他に、電源キー８、撮影モードキー１０、再生モードキー１１、マクロキー１４、ストロボキー１５、メニューキー１６、リングキー１７、セットキー１８、ズームキー２０ａ，２０ｂなどから構成され、それらのキー操作に伴う信号は直接制御部３２へ送出される。
【００５３】
また、静止画像ではなく動画像の撮影時においては、シャッタキー９が押下操作されたときに、上述したＪＰＥＧ回路３７によりｍｏｔｉｏｎ−ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの手法により撮影動画をデータ圧縮してメモリ３８へ記録する。再度シャッタキー９が操作されると、動画データの記録を終了する。
【００５４】
一方、基本モードである再生モード時には、制御部３２がメモリ３８に記録されている画像データを選択的に読み出し、ＪＰＥＧ回路３７で記録モード時にデータ圧縮した手順と全く逆の手順で、圧縮されている画像データを伸長する。そして、この伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読み出してビデオ信号を発生し、表示部１９で再生出力させる。
【００５５】
選択した画像データが静止画像ではなく動画像であった場合には、その動画データを構成する複数フレームの静止画データを時系列の順で順次再生して表示し、すべての静止画データの再生を終了した時点で、例えば、次に再生の指示がなされるまで先頭に位置する静止画データを表示するなどを行う。
【００５６】
ここで、デジタルカメラ１の動作を説明する前に、本発明の画像合成方法について簡単に説明しておく。
【００５７】
図３は動く被写体を連続撮影した場合の画像データの変移を模式的に示した図である。図中の斜線で示す部分が動く被写体であり、ここでは連続撮影により４枚の画像Ｐ１〜Ｐ４が得られたものとする。
【００５８】
メインとなる被写体が動いているため、フレーム内で同じ位置で撮影し続けることは困難である。このため、連続撮影によって得られた画像Ｐ１〜Ｐ４を単純に合成すると、図４（ａ）のように被写体がぶれた画像になる。
【００５９】
そこで、画像間でのメイン被写体のずれを検出することにより、メイン被写体が同じ位置に重なるように画像Ｐ１〜Ｐ４を合成する。このような画像合成により、図４（ｂ）のように被写体を静止させた画像が得られる。また、各画像内の被写体以外の部分つまり背景部分は変化しているので、被写体を基準にして合成することで、背景部分を流したような画像が得られる。
【００６０】
次に、このような流し撮り画像を作成するための具体的な処理動作について説明する。なお、以下の各フローチャートで示される処理は、マイクロコンピュータである制御部３２がＲＯＭやＲＡＭ等の記録媒体に記録された所定のプログラムを読み込むことにより実行される。
【００６１】
図５はデジタルカメラ１による撮影処理を示すフローチャートである。
【００６２】
今、例えば自動車などの動く被写体をメインにして静止画の撮影を行う場合を想定する。図１の撮影モードキー１０の操作により撮影モードを設定すると、まず、現在撮影対象となっている被写体のプレビュー画像（スルー画像とも呼ぶ）が表示部１９に表示される（ステップＡ１１）。
【００６３】
制御部３２は、シャッタキー９が押されるまでの間（ステップＡ１２のＮｏ）、ＣＣＤ２３から順次得られる画像データを読み込み（ステップＡ１３）、この画像データをプレビュー画像として表示部１９に表示する処理を行っている（ステップＡ１４）。
【００６４】
ここで、シャッタキー９が押されると（ステップＡ１２のＹｅｓ）、制御部３２は、所定枚数分の連続撮影を実行して、その連続撮影によって得られた各画像データを合成する（ステップＡ１５）。なお、このときの連続撮影と画像合成の処理については、後に図６および図７のフローチャートを参照して詳しく説明する。
【００６５】
このようして合成画像が得られると、その合成画像は簡易流し撮り画像として表示部１９に確認表示された後（ステップＡ１６）、所定の方式で圧縮処理されてメモリ３８に記録保存される（ステップＡ１７，Ａ１８）。
【００６６】
次に、前記ステップＡ１５で実行される連続撮影と画像合成の処理について詳しく説明する。
【００６７】
図６および図７はデジタルカメラ１による連続撮影と画像合成の処理を示すフローチャートである。
【００６８】
まず、流し撮りモードが設定されているか否かが判断される（ステップＢ１１）。この流し撮りモードは、画像合成により簡易に流し撮り画像を作成するためのモードであり、例えばメニューキー１６の操作により任意に設定される。
【００６９】
また、この流し撮りモードを設定したときに、図８に示すような流し撮りモード選択画面５１が表示される。この流し撮りモード選択画面５１には、流し撮りモードとして、「カメラ追従モード」、「カメラ固定モード」、「自由モード」のいずれかを選択するための項目５２〜５４が設けられている。
【００７０】
「カメラ追従モード」とは、図９に示すように、撮影者がメインとなる被写体の動きに合わせてカメラをパンニングして撮影する場合を想定したモードである。「カメラ固定モード」とは、図１０に示すように、カメラの撮影範囲を固定してメインとなる被写体を撮影する場合を想定したモードである。また、「自由モード」とは、カメラを固定せずに通常のカメラ操作でメインとなる被写体を撮影する場合を想定したモードである。
【００７１】
このような流し撮りモードが設定されている場合において（ステップＢ１１のＹｅｓ）、まず、撮影条件として連続撮影時の露光時間が所定の時間（被写体の明るさに応じて決定される時間）よりも短く設定される（ステップＢ１２）。この露光時間に従って所定時間毎に連続撮影が行われ、ＣＣＤ２３から所定枚数分の画像データが取得されて制御部３２内のワークメモリ３２ａに一時的に記憶される（ステップＢ１３）。
【００７２】
なお、このときの連続撮影の時間間隔や撮影枚数は、例えばメニューキー１６の操作により表示される図示せぬ連続撮影設定画面を通じて撮影者が自由に設定することができる。
【００７３】
ここで、制御部３２は、前記ワークメモリ３２ａに記憶された複数の画像データを比較し、画素値およびその配置パターンが所定面積以上に亘って連続的に類似している領域部分を抽出する（ステップＢ１４）。そして、これらの領域部分の画像内の各画素の移動ベクトル（速度および方向）を算出し（ステップＢ１５）、画像上で移動ベクトル（速度および方向）の異なる領域部分を実際に移動速度の異なる別々の被写体部分として識別する（ステップＢ１６）。
【００７４】
続いて、これらの被写体部分の中でメインとなる被写体を特定する。メインとなる被写体とは、撮影者が着目している被写体のことであり、その被写体の動きはカメラの撮影状態によって異なる。つまり、カメラを固定して撮影している場合には、メイン被写体は画像上では最も速く移動しているのに対し、カメラをパンニングしながら撮影している場合には画像上では最も遅く移動していることになる。
【００７５】
そこで、制御部３２は、現在設定されている流し撮りモードの種別を判断する（ステップＢ１７）。その結果、「カメラ追従モード」が設定されていれば、最も移動速度の遅い被写体部分の画像をメイン被写体として決定する（ステップＢ１８）。一方、「カメラ固定モード」が設定されていれば、最も移動速度の速い被写体部分の画像をメイン被写体として決定する（ステップＢ１９）。
【００７６】
また、「自由モード」が設定されていれば、制御部３２は、ファインダ内のターゲット領域に最も近い被写体部分の画像をメイン被写体として決定する（ステップＢ２０）。前記ターゲット領域は、予めメイン被写体を捕捉するための基準として設定されており、例えばファインダ内の画面の中心である。
【００７７】
このようにしてメイン被写体部分が特定されると、制御部３２は、各画像データのメイン被写体部分の移動ベクトルに基づいて、各画像間におけるメイン被写体部分の相対的なずれ量およびずれ方向を検出する（ステップＢ２１）。
【００７８】
そして、制御部３２は、前記検出されたメイン被写体部分の相対的なずれ量およびずれ方向に基づいて、メイン被写体部分が同じ位置になるように各画像データを重ね合わせる（ステップＢ２２）。その際、メイン被写体部分に相当する各画素については、これらの値の中でかけ離れているものを除いて平均化したり、あるいは、各画素値を多数決処理するなどのノイズ除去処理を行うと共に、各画素の値に所定の係数を乗じるなどして明るさを補正する（ステップＢ２３）。また、メイン被写体部分以外の部分つまり背景部分に相当する各画素の値については、各画素の値を加算すると共に必要に応じて明るさを補正する（ステップＢ２４）。
【００７９】
このようして各画素の値を補正して１枚の合成画像を生成する（ステップＢ２５）。図１１に合成画像の一例を示す。図中の６１が動く被写体であり、撮影者がメイン被写体として撮影した部分である。６２がメイン被写体以外の部分つまり背景部分である。
【００８０】
このように、動きのある被写体を撮影する場合に、その被写体の動きに合わせてカメラを的確に追従させて撮影しなくとも、被写体を連続撮影するだけの操作で、被写体部分を基準にした画像合成により、メイン被写体部分を静止させ、それ以外の背景部分を流したような流し撮り画像を簡単に得ることができる。
【００８１】
この場合、通常の流し撮りでは、シャッター速度を遅くして撮影しなければならないため、メイン被写体にぶれが生じ易いが、本発明では、１枚１枚の画像データの撮影における露光時間を短く設定してあるため、メイン被写体のぶれを少なくできる。
【００８２】
また、通常は露光時間を短くすると撮影画像が暗くなってしまうが、画像合成によって各画像データのメイン被写体部分を重ね合わせることで、十分な明るさを確保できると共にノイズを除去してＳＮ比を改善できる。このような効果は、メイン被写体部分を基準とした画像合成によって得られるものであり、背景画像を基準とした画像合成では得ることはできない。
【００８３】
また、露光時間を短くしたことで、メイン被写体部分以外の部分つまり背景部分がぶれずに撮影されたとしても、各画像の背景部分の位置をずらして重ね合わせることで、図１１に示したような流れ効果を出すことができる。
【００８４】
また、図６のステップＢ１３における連続撮影の時間間隔や撮影枚数を変化させることで、メイン被写体部分に対する背景部分のぶれの量や画像の滑らかさを調整することができる。
【００８５】
なお、図５に示すフローチャートのステップＡ１６の合成画像の確認表示において、撮影者がやり直しを指示した場合には、当該合成画像の画像圧縮および記録保存を行わずに、画像合成に用いる画像データの枚数を変えて再度画像合成からやり直したり、ステップＡ１１に戻り連続撮影の間隔を変えて再度連続撮影からやり直すようにしても良い。
【００８６】
また、前記実施形態では、デジタルカメラを例にして説明したが、本発明はこれに限る者ではなく、例えばデジタルムービカメラの他、同様の撮像機能を備えた携帯電話やＰＤＡ（Personal Digital Assistant）などにも適用可能である。
【００８７】
要するに、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８８】
【図１】図１は本発明の一実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す図である。
【図２】図２は同実施形態におけるデジタルカメラの電子回路構成を示すブロック図である。
【図３】図３は動く被写体を連続撮影した場合の画像データの変移を模式的に示した図である。
【図４】図４は連続撮影によって得られた各画像データの合成方法を説明するための図である。
【図５】図５は同実施形態におけるデジタルカメラによる撮影処理を示すフローチャートである。
【図６】図６は同実施形態におけるデジタルカメラによる連続撮影と画像合成の処理を示すフローチャートである。
【図７】図７は同実施形態におけるデジタルカメラによる連続撮影と画像合成の処理を示すフローチャートである。
【図８】図８は同実施形態におけるデジタルカメラによる流し撮りモード選択画面の一例を示す図である。
【図９】図９は同実施形態におけるデジタルカメラによる「カメラ追従モード」を説明するための図である。
【図１０】図１０は同実施形態におけるデジタルカメラによる「カメラ固定モード」を説明するための図である。
【図１１】図１１は同実施形態におけるデジタルカメラによる合成画像の一例を示す図である。
【符号の説明】
【００８９】
１…デジタルカメラ、２…ボディ、３…撮影レンズ、４…セルフタイマランプ、５…光学ファインダ窓、６…ストロボ発光部、７…マイクロホン部、８…電源キー、９…シャッタキー、１０…撮影モードキー、１１…再生モードキー、１２…光学ファインダ、１３…スピーカ部、１４…マクロキー、１５…ストロボキー、１６…メニュー（ＭＥＮＵ）キー、１７…リングキー、１８…セット（ＳＥＴ）キー、１９…表示部、２０ａ，２０ｂ…ズームキー、２１…モータ、２２…レンズ光学系、２３…ＣＣＤ、２４…タイミング発生器（ＴＧ）、２５…ドライバ、２６…サンプルホールド回路（Ｓ／Ｈ）、２７…Ａ／Ｄ変換器、２８…画像処理回路、２９…ＤＭＡコントローラ、３０…ＤＲＡＭインタフェース（Ｉ／Ｆ）、３１…ＤＲＡＭ、３２…制御部、３２ａ…ワークメモリ、３３…ＶＲＡＭコントローラ、３４…ＶＲＡＭ、３５…デジタルビデオエンコーダ、３６…キー入力部、３７…ＪＰＥＧ回路、３８…メモリ、３９…音声処理部、４０…ＵＳＢインタフェース（Ｉ／Ｆ）、４１…ストロボ駆動部、５１…流し撮りモード選択画面、６１…メイン被写体部分、６２…背景部分。
【図１】
2006339903.tif 000003
【図２】
2006339903.tif 000004
【図３】
2006339903.tif 000005
【図４】
2006339903.tif 000006
【図５】
2006339903.tif 000007
【図６】
2006339903.tif 000008
【図７】
2006339903.tif 000009
【図８】
2006339903.tif 000010
【図９】
2006339903.tif 000011
【図１０】
2006339903.tif 000012
【図１１】
2006339903.tif 000013