(57)【特許請求の範囲】
【請求項１】
連写撮影して撮影画像データを生成する撮影手段と、
前記撮影手段にて既定枚数の連写撮影が行われると、撮影動作を継続したまま連写速度
を自動的に下げることによって、複数の連写速度に対応する連写撮影を前記撮影手段に行
わせる制御手段と、
前記下げられた連写速度が、予め設定されている所定の速度よりも小さくなったら、自
動的に撮影動作を終了させる停止手段と、
を備える撮影装置。
【請求項２】
連写撮影して撮影画像データを生成する撮影装置の撮影方法であって、
前記撮影装置にて既定枚数の連写撮影が行われると、撮影動作を継続したまま連写速度
を自動的に下げることによって、複数の連写速度に対応する連写撮影をさせる工程と、
前記下げられた連写速度が、予め設定されている所定の速度よりも小さくなったら、自
動的に撮影動作を終了させる工程と、
を含む撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置及び撮影方法に関する。
【背景技術】
【０００２】
従来、移動する被写体（被写動体）を連写撮影（連続撮影）して複数の撮影画像データを生成する連写撮影機能を有するデジタルカメラ等の撮影装置が知られている。
【０００３】
また、撮影装置により被写動体が連写撮影された複数の画像データを合成し、１枚の画像で動体の動きを表す画像データ（動体連写合成画像データ）生成を行う画像合成装置が知られている（例えば、特許文献１参照）。
【０００４】
また、監視用等の動画撮影のため、所定間隔で画像を撮影するインターバル撮影機能を有する撮影装置において、撮影画像間の差分（明るさの変化、被写動体の動き等）が設定値（閾値）より大きいときに変化があったと判定して、記録の対象となる撮影の間隔をより短い設定に自動的に変えるものが考えられている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−５４５２号公報
【特許文献２】特開２００２−２１８３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の画像合成装置では、フレームイン〜フレーム内移動〜フレームアウト迄の被写動体の動きを、制限された連写撮影枚数の中で連写撮影しなければならなかった。例えば、撮影上限枚数を２０枚とし、フレーム内を１秒で通過するような被写動体を撮影する場合に、フレームイン直後から連写を開始したとして、連写速度が２０ｆｐｓ（frame per second）以下となる長い連写間隔で撮影すれば、被写動体がフレームアウトするまでを撮影できる。しかし、連写速度が２０ｆｐｓ以上の短い連写間隔で撮影した場合に、撮影枚数上限により、フレームアウトまでを撮影することができなかった。
【０００７】
同様に、フレーム内を２秒で通過するような被写動体を撮影する場合に、連写速度が１０ｆｐｓ以下となる連写間隔の連写が必要になり、フレーム内を４秒で通過するような被写動体を撮影する場合に、連写速度が５ｆｐｓ以下となる連写間隔の連写が必要になる。
【０００８】
図１５（ａ）に、被写動体の移動速度に対し大きな連写速度で撮影した場合の動体連写合成画像の一例を示す。図１５（ｂ）に、被写動体の移動速度に対し小さな連写速度で撮影した場合の動体連写合成画像の一例を示す。図１５（ａ）に示すように、被写動体の移動速度に対し大きな連写速度ｆｐｓで撮影してしまった場合、画角に対して被写動体が特定の領域に集中した動体連写合成画像になってしまうおそれがあった。
【０００９】
また、フレームイン〜フレームアウトまでの被写動体の移動の間に連写撮影しているだけでは、理想的な動体連写合成画像を作成できるとはいえない。例えば、フレーム間を０．５秒で通過するような被写動体を連写速度５ｆｐｓで撮影すれば、フレームアウトまでを撮影することはできるが、フレーム内に被写動体が存在するフレームが２枚程度しかなくなってしまう。このとき、図１５（ｂ）に示すように、画角に対して被写動体数が少ない動体連写合成画像になってしまうおそれがあった。図１５（ａ），（ｂ）に示される画像は、動体連写合成画像として望ましくない。
【００１０】
図１６に、理想的な動体連写合成画像を示す。理想的な動体連写合成画像は、一般的に、合成画像フレームに被写動体が均一に配置され、且つ、それぞれの被写動体が著しく重なり合っていない画像と考えられる。図１６に示すような画像が、理想的な動体連写合成画像である。
【００１１】
ここで、理想的な動体連写合成画像を得るための、最適な連写速度について説明する。被写動体がフレームインした瞬間に１枚目の撮影する、という理想的なシャッタータイミングで撮影が出来たと仮定し、また、連写の撮影上限枚数を２０枚、合成に使用するフレーム数を５フレームとした場合、例えば、フレーム内を１／４秒で通過するような被写動体の場合は、連写速度２０ｆｐｓで５枚連写撮影すれば理想的な動体連写合成画像を最も効率的に作成することが出来る。また、連写速度２０ｆｐｓで１０枚連写撮影を行い、それらを１枚ずつ間引いても同様の画像を作成することができ、この画像も理想的な画像といえる。
【００１２】
以上を踏まえて、動体連写合成画像を得るための被写動体の速度と連写速度（ｆｐｓ）との関係は、次表１に示される。
【表１】
0005668803.tif 000002
【００１３】
表１で示す通り、被写動体の移動速度に応じて、理想的な動体連写合成画像を得ることができるｆｐｓの設定値は複数存在するが、適していないｆｐｓを設定して撮影した場合は理想的な動体連写合成画像を得ることができない。よって、動体連写合成を撮影するユーザは、被写動体の移動速度と画角から、撮影前に連写速度（ｆｐｓ）の適正値を予測して設定して連写撮影しなくてはならなかった。
【００１４】
また、特許文献２に記載の撮影装置のように、被写動体のフレームインで連写速度を速くする構成としても、被写動体のフレームイン時の連写速度が一定であり、画像合成時に連写速度が適正値とならないおそれがあった。
【００１５】
本発明の課題は、様々な速度で動く被写動体に対応した連写速度の撮影画像データを得ることである。
【課題を解決するための手段】
【００１７】
請求項１に記載の発明の撮影装置は、
連写撮影して撮影画像データを生成する撮影手段と、
前記撮影手段にて既定枚数の連写撮影が行われると、撮影動作を継続したまま連写速度
を自動的に下げることによって、複数の連写速度に対応する連写撮影を前記撮影手段に行
わせる制御手段と、
前記下げられた連写速度が、予め設定されている所定の速度よりも小さくなったら、自
動的に撮影動作を終了させる停止手段と、
を備える。
【００２３】
請求項２に記載の発明の撮影方法は、
連写撮影して撮影画像データを生成する撮影装置の撮影方法であって、
前記撮影装置にて既定枚数の連写撮影が行われると、撮影動作を継続したまま連写速度
を自動的に下げることによって、複数の連写速度に対応する連写撮影をさせる工程と、
前記下げられた連写速度が、予め設定されている所定の速度よりも小さくなったら、自
動的に撮影動作を終了させる工程と、
を含む。
【発明の効果】
【００２７】
本発明によれば、様々な速度で動く被写動体に対応した連写速度の撮影画像データを得ることができる。
【図面の簡単な説明】
【００２８】
【図１】本発明に係る実施の形態の撮影装置の機能構成を示すブロック図である。
【図２】撮影装置による被写動体の撮影の様子を示す図である。
【図３】（ａ）は、連写枚数Ｃ１＝３の画像選択パターン表を示す図である。（ｂ）は、連写枚数Ｃ１＝５の画像選択パターン表を示す図である。（ｃ）は、連写枚数Ｃ１＝７の画像選択パターン表を示す図である。
【図４】被写動体の運動の様子を示す図である。
【図５】被写動体の動体連写合成画像を示す図である。
【図６】設定処理を示すフローチャートである。
【図７】第１の連写合成処理を示すフローチャートである。
【図８】第１の連写合成処理における第１の連写処理を示すフローチャートである。
【図９】第１の連写合成処理における合成処理を示すフローチャートである。
【図１０】合成処理における疑似背景画像生成処理を示すフローチャートである。
【図１１】第１の連写合成処理における被写体領域抽出処理を示すフローチャートである。
【図１２】第２の連写合成処理を示すフローチャートである。
【図１３】第２の連写合成処理における第２の連写処理を示すフローチャートである。
【図１４】フレーム内の開始評価領域及び終了評価領域を示す図である。
【図１５】（ａ）は、被写動体の移動速度に対し大きな連写速度で撮影した場合の動体連写合成画像の一例を示す図である。（ｂ）は、被写動体の移動速度に対し小さな連写速度で撮影した場合の動体連写合成画像の一例を示す図である。
【図１６】理想的な動体連写合成画像を示す図である。
【発明を実施するための形態】
【００２９】
以下、添付図面を参照して本発明に係る好適な実施の形態及びその変形例を順に詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００３０】
図１〜図１１を参照して、本発明に係る実施の形態を説明する。先ず、図１を参照して、本実施の形態の撮影装置１の装置構成を説明する。図１に、本実施の形態の撮影装置１の機能構成を示す。
【００３１】
以下、撮影装置１で撮影する対象を被写体という。特に、運動する被写体のことを被写動体という。また、連続して撮影した写真データをフレームといい、連写速度として１秒間に撮影するフレーム数をｆｐｓといい、フレームに含まれる撮影範囲を画角という。また、被写動体が画角内で移動している複数のフレームの被写体領域画像を１枚の背景画像に合成することを動体連写合成（又は合成）といい、この動体連写合成によって生成した、被写動体の動き（移動の様子）を表す画像を動体連写合成画像という。
【００３２】
撮影装置１は、デジタルカメラ等の撮影装置であり、複数枚の画像を連続撮影する連写機能（連続撮影機能）を有する。また、撮影装置１は、連写撮影した画像を合成して、動体連写合成画像を生成する画像合成機能を有する。
【００３３】
図１に示すように、撮影装置１は、被写体を撮影する画像データ生成部２１と、画像処理を行うデータ処理部２２と、使用者に処理経過を見せ、操作を受けるユーザインタフェース部２３と、を備える。
【００３４】
画像データ生成部２１は、光学レンズ部１０１と、イメージセンサ１０２と、を備える。
【００３５】
光学レンズ部１０１は、被写体を撮影するために、光を集光するレンズなどで構成されたものであり、焦点、露出等のカメラ設定パラメータを調整するための周辺回路を備える。イメージセンサ１０２は、光学レンズ部１０１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ（Charge Coupled Device）等によって構成される。
【００３６】
なお、画像データ生成部２１は、高解像度画像撮影と低解像度画像撮影（ライブビュー撮影）が可能である。低解像度画像撮影は、例えば、画像解像度がＸＧＡ（１０２４×７６８ドット）程度で解像度は低いが、画像を３０ｆｐｓ（フレーム／秒）の速さで動画撮影と画像読み出しが可能になる。他方、高解像度画像撮影は、たとえば、撮影可能な最大の画素数、例えば、撮影装置１が４００万画素のカメラである場合は、その４００万画素の画像撮影を行う。ただし、高解像度画像撮影での画像読み取りは遅くなる。
【００３７】
データ処理部２２は、メモリ２０１と、ビデオ出力部２０２と、画像処理部２０３と、制御部２０４と、プログラムメモリ２０５と、を備える。
【００３８】
メモリ２０１は、ＲＡＭ（Random Access Memory）で構成され、撮影する毎に、イメージセンサ１０２が取り込んだ画像データを一時記憶するためのものである。また、メモリ２０１は、画像処理に必要な画像データ、各種フラグの値、閾値等も記憶する。また、メモリ２０１は、画像表示をおこなうための表示画像データを保存と読み出しをおこなうためのメモリ領域も含まれている。
【００３９】
ビデオ出力部２０２は、画像データからＲＧＢ信号を生成するものである。ビデオ出力部２０２は、メモリ２０１の表示メモリ領域に格納された表示画像データを読み出し、ＲＧＢ信号を生成し、生成したＲＧＢ信号をユーザインタフェース部２３の液晶表示部３０１へ出力する。また、ビデオ出力部２０２は、ＲＧＢ信号を外部インタフェース３０３を介して、テレビ、ＰＣ（Personal Computer）、プロジェクタ等の外部機器へ出力して表示させることも可能である。
【００４０】
画像処理部２０３は、メモリ２０１に一時記憶されている画像データに対して、画像表示を行うための所定の画像処理を施す。当該画像処理を施された画像データは、表示画像データとしてメモリ２０１の表示メモリ領域に格納される。また、画像処理部２０３は、画像データをＪＰＥＧ（Joint Photographic Expert Group）方式等のファイルに圧縮・符号化する機能と、逆に伸長・復号化する機能とを有する。例えば、メモリ２０１に記憶されている画像データが読み出されて、画像処理部２０３によりＪＰＥＧ方式で圧縮・符号化されて外部メモリ３０４に記憶される。また、外部メモリ３０４に記憶されている画像のＪＰＥＧファイルが読み出されて、画像処理部２０３により伸長・復号化されて画像データとしてメモリ２０１に記憶される。
【００４１】
制御部２０４は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（図示略）等を備え、撮影装置１の各部を制御する。制御部２０４において、ＣＰＵは、プログラムメモリ２０５に記憶されたプログラムの中から指定されたプログラムを読み出してＲＡＭに格納し、ＲＡＭに展開されたプログラムとの協働で各種処理を実行する。
【００４２】
プログラムメモリ２０５は、ＲＯＭ（Read Only Memory）やフラッシュメモリ等の記憶装置から構成され、制御部２０４の動作に必要な各種プログラムやデータを記憶する。特に、プログラムメモリ２０５は、後述する設定プログラム、第１の連写合成プログラムを記憶している。
【００４３】
ユーザインタフェース部２３は、液晶表示部３０１と、操作部３０２と、外部インタフェース３０３と、外部メモリ３０４と、を備えて構成される。
【００４４】
液晶表示部３０１は、ビデオ出力部２０２から出力されたＲＧＢ信号に基づいて撮影画像を表示する。具体的には、画像データ生成部２１により生成された複数の画像データ（画像フレーム）に基づいたライブビュー画像や、録画中に外部メモリ３０４に記録される動画像を表示したり、外部メモリ３０４に記録された動画像を再生表示したりする。なお、液晶表示部３０１は、ビデオ出力部２０２から適宜出力される表示画像データを一時的に記憶するビデオメモリ（図示せず）を備えるようにしてもよい。また、液晶表示部３０１に代えて、ＥＬＤ（ElectroLuminescent Display）等の表示部としてもよい。
【００４５】
操作部３０２は、各種機能キー、選択キー、メニューキー、シャッタキー、電源キー等のキーを備え、ユーザからの各キーへのキー操作入力を受け付け、当該操作入力に応じた操作信号を制御部２０４に出力する。
【００４６】
外部インタフェース３０３は、テレビやＰＣ、プロジェクタ等の外部機器との接続用端子であり、所定の通信ケーブルを介してデータの送受信を行う。また、外部メモリ３０４は、例えば、ＳＤ（Secure Digital）カード、メモリースティック等の不揮発性メモリやハードディスク等により構成され、画像データ生成部２１により撮影された被写体画像の画像データを、複数記憶する。外部メモリ３０４には、例えば、ＪＰＥＧファイルに変換された画像データが記憶される。
【００４７】
次に、図２〜図１１を参照して、撮影装置１の動作を説明する。先ず、図２〜図５を参照して、本実施の形態の連写撮影及び動体連写合成の概要を説明する。図２に、撮影装置１による被写動体Ｏの撮影の様子を示す。図３（ａ）に、連写枚数Ｃ１＝３の画像選択パターン表を示す。図３（ｂ）に、連写枚数Ｃ１＝５の画像選択パターン表を示す。図３（ｃ）に、連写枚数Ｃ１＝７の画像選択パターン表を示す。図４に、被写動体Ｏの運動の様子を示す。図５に、被写動体Ｏの動体連写合成画像Ｇ１を示す。
【００４８】
図２に示すように、本実施の形態の連写撮影の一例として、撮影装置１により運動する人物としての被写動体Ｏを連写撮影するケースを説明する。撮影装置１は、撮影時に、三脚等、又は撮影者の把持により、固定状態にされる。このため、画角Ａ内で、被写動体Ｏのみが移動することになる。
【００４９】
本実施の形態の撮影は、撮影上限枚数をＮ、動体連写合成画像における適切な動体数をＣとしたときに、Ｎ＞Ｃの撮影モデルである。被写動体Ｏがフレームインした瞬間に１枚目の連写撮影が開始するとして、通常の場合はここから予め設定した連写速度で連写撮影が撮影上限枚数まで繰り返されるが、本実施の形態では、撮影連写速度を段階的に下げながら（連写撮影間隔をあけながら）連写撮影が行われる。
【００５０】
撮影連写速度（ｆｐｓ）の初期値を連写速度Ｆ１とする。最初に、撮影装置１において、連写速度Ｆ１で、連写枚数Ｃ１枚の連写撮影が行われる。また、連写枚数Ｃ１は、Ｎ＞Ｃ１≧Ｃを満たす奇数に設定される。
【００５１】
Ｃ枚の合成を行うので、被写動体がフレームインした瞬間に１枚目のシャッターを押すことができ、Ｃ枚目の撮影が終わった瞬間にフレームアウトするような、理想的な運動をした場合はＣ１＝Ｃで問題はないのだが、実際には理想的な状況で撮影することは困難なので、ある程度の余分を含んだＣ１が好ましい。
【００５２】
また、連写枚数Ｃ１に対して、撮影上限枚数Ｎが十分に大きい数であるほうが好ましい。というのは、段階的に撮影連写速度を変更できる幅が広がり、つまりは撮影できる被写動体の速度の幅が広がるからである。
【００５３】
連写枚数Ｃ１枚連写後、撮影装置１において、撮影連写速度が連写速度Ｆ２＝Ｆ１／２に変更され、Ｃ２＝（Ｃ１−１）／２枚の連写撮影が行われる。撮影連写速度＝Ｆ２にてＣ２枚の連写が終了したら、撮影装置１において、撮影連写速度が連写速度Ｆ３＝Ｆ２／２に変更され、Ｃ３＝Ｃ２枚の連写撮影が行われる。以下同様にして、撮影装置１において、撮影連写速度を半分にしながら全撮影枚数ＣＡ（ＣＡ＝Ｃ１＋Ｃ２＋Ｃ３…）が、撮影上限枚数Ｎを超えるまで、または撮影連写速度が十分に小さい値になるまで、連写撮影処理が繰り返される。
【００５４】
上記で撮影したフレームを、１枚目から順に、
ｆ１、ｆ２、…、ｆ（Ｃ１）、
ｆ（Ｃ１＋１）、ｆ（Ｃ１＋２）、…、ｆ（Ｃ１＋Ｃ２）、
ｆ（Ｃ１＋Ｃ２＋１）、…、ｆ（ＣＡ）とする。
【００５５】
ここで、連写枚数Ｃ１＝３，５又は７である場合の具体例を考える。例えば、Ｃ１＝３の場合に、（連写速度、撮影枚数）は、
（Ｆ１、３） ：初期値（Ｆ１、Ｃ１）
（Ｆ２、１） ：Ｆ２＝Ｆ１／２、Ｃ２＝（Ｃ１−１）／２＝１
（Ｆ３、１） ：Ｆ３＝Ｆ２／２、Ｃ３＝ Ｃ２ ＝１
（Ｆ４、１） ：Ｆ４＝Ｆ３／２、Ｃ４＝ Ｃ３ ＝１
・・・
となる。
【００５６】
連写枚数Ｃ１＝３の場合の撮影パターンの一例は、図３（ａ）で示される。「連写間隔」における画像「●」が、撮影装置１で各時間で実際に撮影される撮影画像を示す。つまり、実際に撮影される撮影画像（全撮影画像）は、最初の３枚が１秒間間隔（撮影連写速度（ｆｐｓ）＝Ｆ１とする）、次の１枚が２秒間隔（撮影連写速度（ｆｐｓ）＝Ｆ２とする）、その次の１枚が４秒間隔（撮影連写速度（ｆｐｓ）＝Ｆ３とする）、その次の１枚が８秒間隔（撮影連写速度（ｆｐｓ）＝Ｆ４とする）というように、段階的に撮影連写速度が下げられている。
【００５７】
例えば、Ｃ１＝５の場合に、（連写速度、撮影枚数）は、
（Ｆ１、５） ：初期値（Ｆ１、Ｃ１）
（Ｆ２、２） ：Ｆ２＝Ｆ１／２、Ｃ２＝（Ｃ１−１）／２＝２
（Ｆ３、２） ：Ｆ３＝Ｆ２／２、Ｃ３＝ Ｃ２ ＝２
（Ｆ４、２） ：Ｆ４＝Ｆ３／２、Ｃ４＝ Ｃ３ ＝２
・・・
となる。連写枚数Ｃ１＝５の場合の撮影パターンの一例は、図３（ｂ）で示される。
【００５８】
例えば、Ｃ１＝７の場合に、（連写速度、撮影枚数）は、
（Ｆ１、７） ：初期値（Ｆ１、Ｃ１）
（Ｆ２、３） ：Ｆ２＝Ｆ１／２、Ｃ２＝（Ｃ１−１）／２＝３
（Ｆ３、３） ：Ｆ３＝Ｆ２／２、Ｃ３＝ Ｃ２ ＝３
（Ｆ４、３） ：Ｆ４＝Ｆ３／２、Ｃ４＝ Ｃ３ ＝３
・・・
となる。連写枚数Ｃ１＝７の場合の撮影パターンの一例は、図３（ｃ）で示される。
【００５９】
また、図３（ｂ）に示すように、Ｃ１＝５で撮影される場合に、撮影したフレームは、
ｆ１＝ｆｔ＝１、ｆ２＝ｆｔ＝２、ｆ３＝ｆｔ＝３、ｆ４＝ｆｔ＝４、ｆ５＝ｆｔ＝５、
ｆ６＝ｆｔ＝７、ｆ７＝ｆｔ＝９、
ｆ８＝ｆｔ＝１３、ｆ９＝ｆｔ＝１７，
ｆ１０＝ｆｔ＝２５、ｆ１１＝ｆｔ＝３３、
となる。
【００６０】
ここで、撮影連写速度＝Ｆ２で連写撮影した場合のフレームをｆ２１，ｆ２２，…，ｆ２Ｎとすると、
ｆ２１＝ｆ１，
ｆ２２＝ｆ３，
ｆ２３＝ｆ５，
・・・
ｆ２（Ｃ１−１）＝ｆ（Ｃ１＋Ｃ２−１），
ｆ２（Ｃ１）＝ｆ（Ｃ１＋Ｃ２）、が成り立つ。
【００６１】
同様に、撮影連写速度＝Ｆ３で連写撮影した場合のフレームをｆ３１，ｆ３２，…，ｆ３Ｎとすると、
ｆ３１＝ｆ１，
ｆ３２＝ｆ５，
・・・
ｆ３（Ｃ１）＝ｆ（Ｃ１＋Ｃ２＋Ｃ３）、が成り立つ。
【００６２】
以下同様の手順で、初期の撮影連写速度の２のべき乗分の１の撮影連写速度で、それぞれ連写枚数Ｃ１枚連写撮影したフレーム全てを撮影画像とすることが出来る。このように、連写枚数Ｃ１が奇数の場合に、各撮影連写速度の全てのフレームを撮影できる。
【００６３】
図４に示すように、被写動体Ｏが動く場合を考える。各コマの間隔は、１秒とする。撮影上限枚数Ｎ＝１１、連写枚数Ｃ１＝７とする。被写動体Ｏが画角に入った４コマ目から撮影が開始されると、図３（ｃ）の「連写間隔」の「●」の撮影パターンで撮影される。このようにして、図４上、１から１１の番号の付されたコマの撮影画像データ（フレーム）が生成される。そして、このフレームの中で被写動体Ｏが著しく重なり合わないようなフレームが選択され、それらの中から被写動体Ｏの被写体領域画像と背景領域画像とを分離し、ひとつのフレームの背景領域画像に複数の被写体領域画像を合成する。
【００６４】
ここでは、１１枚の撮影フレームのうち、被写動体Ｏがフレームアウトする直前の１０番目の撮影フレームを含む撮影フレームが選択されるものとする。１０番目の撮影フレームの撮影連写速度（ｆｐｓ）は、連写速度Ｆ２である。よって、図３（ｃ）の連写速度（ｆｐｓ）＝Ｆ２の「●」のパターンで撮影フレームが選択される。すると、１、３、５、７、８、９、１０番目の７枚の撮影フレームが選択される。この７枚の撮影フレームを動体連写合成すると、図５に示す動体連写合成画像Ｇ１となる。
【００６５】
動体連写合成画像Ｇ１は、被写動体Ｏの被写体領域を７つ含む。また、動体連写合成画像Ｇ１において、画角Ａに被写動体Ｏが入った時点から、画角Ａから被写動体Ｏが出て行く直前迄、７つの被写体領域が分散して配置されている。
【００６６】
このように、本実施の形態では、被写動体Ｏの動きが等速であれば、被写動体の移動速度と画角（フレームの大きさ）とに関わらず、動体連写合成に必要なフレーム間で位置が適度に分散したタイミングの連写撮影が可能である。ただし、被写動体Ｏの動きが等速である場合に限定されない。
【００６７】
なお、連写枚数Ｃ１が偶数の場合に、各撮影連写速度で全てのフレームを撮影することができない。偶数枚数を動体連写合成したい場合は、各撮影連写速度で「＋１」して奇数とした連写枚数Ｃ１の連写撮影の後、被写動体のフレーム内状況から適切に分散された偶数枚数の撮影画像が選び出されて撮影画像の動体連写合成が行われることとすればよい。
【００６８】
次いで、図６〜図１１を参照して、撮影装置１で実行される設定処理及び第１の連写合成処理を説明する。図６に、設定処理の流れを示す。図７に、第１の連写合成処理の流れを示す。図８に、第１の連写合成処理における第１の連写処理の流れを示す。図９に、第１の連写合成処理における合成処理の流れを示す。図１０に、合成処理における疑似背景画像生成処理の流れを示す。図１１に、合成処理における被写体領域抽出処理の流れを示す。
【００６９】
先ず、図６を参照して、設定処理を説明する。設定処理は、連写撮影に必要なパラメータである撮影連写速度の初期値（撮影開始時の連写速度）としての連写速度Ｆ１と、撮影上限枚数Ｎと、連写枚数Ｃ１と、を設定する処理である。
【００７０】
撮影装置１において、例えば、ライブビュー表示がなされている場合に、ユーザから操作部３０２に、設定処理の実行指示が入力されたことをトリガとして、プログラムメモリ２０５に記憶された設定プログラムに従って、制御部２０４により、設定処理が実行される。
【００７１】
図６に示すように、先ず、連写速度Ｆ１、撮影上限枚数Ｎ及び連写枚数Ｃ１の設定画面が液晶表示部３０１に表示される（ステップＳ１）。そして、操作部３０２を介して、ユーザからの連写速度Ｆ１、撮影上限枚数Ｎ及び連写枚数Ｃ１の操作入力が受け付けられる（ステップＳ２）。
【００７２】
そして、操作部３０２を介したユーザからの設定処理終了指示の操作入力の有無に応じて、設定処理を終了するか否かが判別される（ステップＳ３）。設定処理を終了しない場合（ステップＳ３；ＮＯ）、ステップＳ１に移行される。
【００７３】
設定処理を終了する場合（ステップＳ３；ＹＥＳ）、ステップＳ２で入力された連写速度Ｆ１、撮影上限枚数Ｎ及び連写枚数Ｃ１がメモリ２０１に記憶され（ステップＳ４）、設定処理が終了する。なお、露光時間等、撮影に必要な諸条件は、上記設定処理とは別に、ライブビュー表示時等に、操作部３０２を介する操作設定入力等に応じて、適宜設定（各条件情報がメモリ２０１に記憶）されるものとする。
【００７４】
次いで、図７〜図１１を参照して、第１の連写合成処理を説明する。第１の連写合成処理は、連写速度を初期の連写速度Ｆ１から段階的に下げていきながら被写動体を連写撮影し、その全撮影画像データから、適切な連写速度で、被写体領域画像を含む連写枚数Ｃ１の撮影画像データを選択し、その選択した撮影画像データを合成して動体連写合成画像データを生成する処理である。また、撮影装置１は、連写撮影の間に固定されているものとする。
【００７５】
撮影装置１において、例えば、ライブビュー表示がなされている場合に、ユーザから操作部３０２に、第１の連写合成処理の実行指示が入力されたことをトリガとして、プログラムメモリ２０５に記憶された第１の連写合成プログラムに従って、制御部２０４により、第１の連写合成処理が実行される。
【００７６】
図７に示すように、先ず、画像データ生成部２１で生成されたライブビュー画像データが、ビデオ出力部２０２により液晶表示部３０１にライブビュー画像として表示される（ステップＳ１１）。そして、ユーザにより操作部３０２のシャッタキーが押下操作され、撮影指示されたか否かが判別される（ステップＳ１２）。そして、撮影連写速度を初期の連写速度Ｆ１から下げていきながら被写動体を連写撮影する第１の連写処理が実行される（ステップＳ１３）。ステップＳ１３の第１の連写処理は、詳細に後述される。
【００７７】
そして、ステップＳ１３で撮影された全フレーム（全撮影画像データ）の画像の特徴点が合致するよう位置ずれが補正される（ステップＳ１４）。
【００７８】
そして、適切な連写速度で連写枚数Ｃ１の撮影画像データを選択して合成して動体連写合成画像データを生成する合成処理が実行される（ステップＳ１５）。この動体連写合成画像データは、メモリ２０１に記憶される。ステップＳ１５の合成処理は、詳細に後述される。
【００７９】
そして、メモリ２０１に記憶された動体連写合成画像データが、ビデオ出力部２０２により、動体連写合成画像として液晶表示部３０１に表示される（ステップＳ１６）。そして、メモリ２０１に記憶された動体連写合成画像データが外部メモリ３０４に記憶され（ステップＳ１７）、第１の合成連写処理が終了する。ステップＳ１７では、例えば、動体連写合成画像データが画像処理部２０３によりＪＰＥＧ符号に符号化・圧縮されて、ＪＰＥＧファイルとして外部メモリ３０４に記憶される。また、この動体連写合成画像データ（又はＪＰＥＧファイル）は、外部インタフェース３０３を介して外部機器に出力されることとしてもよい。
【００８０】
図８を参照して、ステップＳ１３の第１の連写処理を詳細に説明する。先ず、画像データ生成部２１の撮影連写速度が、メモリ２０１に記憶されている連写速度Ｆ１に設定される（ステップＳ２１）。そして、メモリ２０１に記憶されている各種条件設定情報に応じて、画像データ生成部２１により、連写速度Ｆ１で１枚撮影され、その撮影画像データが生成されてメモリ２０１に記憶される（ステップＳ２２）。撮影画像データは、撮影時の連写速度と、撮影開始からの撮影画像データの順番と、に対応付けられてメモリ２０１に記憶されることとし、以下同様とする。
【００８１】
そして、メモリ２０１に記憶された撮影画像データの番号が参照され、ステップＳ２２で連写枚数Ｃ１枚の撮影画像が撮影されたか否かが判別される（ステップＳ２３）。連写枚数Ｃ１枚が撮影されていない場合（ステップＳ２３；ＮＯ）、ステップＳ２２に移行される。連写枚数Ｃ１枚が撮影された場合（ステップＳ２３；ＹＥＳ）、連写枚数Ｃ２が（Ｃ１−１）／２に設定される（ステップＳ２４）。
【００８２】
そして、画像データ生成部２１の撮影連写速度が、現在設定中の連写速度の１／２の値に設定される（ステップＳ２５）。そして、メモリ２０１に記憶されている各種条件設定情報に応じて、画像データ生成部２１により、現在設定中の撮影連写速度で１枚撮影され、その撮影画像データが生成されてメモリ２０１に記憶される（ステップＳ２６）。そして、メモリ２０１に記憶された撮影画像データの番号が参照され、ステップＳ２６で現在設定中の連写速度で連写枚数Ｃ２枚の撮影画像が撮影されたか否かが判別される（ステップＳ２７）。連写枚数Ｃ２枚が撮影されていない場合（ステップＳ２７；ＮＯ）、ステップＳ２６に移行される。
【００８３】
連写枚数Ｃ２枚が撮影された場合（ステップＳ２７；ＹＥＳ）、メモリ２０１に記憶された撮影画像データの通番が参照され、撮影した全ての撮影画像データが撮影上限枚数Ｎあるか否かが判別される（ステップＳ２８）。全撮影画像データが撮影上限枚数Ｎある場合（ステップＳ２８；ＹＥＳ）、第１の連写処理が終了する。
【００８４】
全撮影画像データが撮影上限枚数Ｎに達しない場合（ステップＳ２８；ＮＯ）、現在設定中の撮影連写速度が、予め設定された所定値よりも小さいか否かが判別される（ステップＳ２９）。現在設定中の撮影連写速度が所定値よりも小さい場合（ステップＳ２９；ＹＥＳ）、第１の連写処理が終了する。現在設定中の撮影連写速度が所定値以上である場合（ステップＳ２９；ＮＯ）、ステップＳ２５に移行される。
【００８５】
図９を参照して、ステップＳ１５の合成処理を詳細に説明する。先ず、全ての撮影画像データ（全フレーム）から、疑似的な背景画像である疑似背景画像を生成し、その疑似背景画像から被写体領域画像抽出のために用いる変動閾値を算出する疑似背景画像生成処理が実行される（ステップＳ３１）。ステップＳ３１の疑似背景画像生成処理は、詳細に後述される。そして、ステップＳ３１で算出された変動閾値を用いて、全フレームから被写体領域画像を抽出するための領域マスクデータを生成する被写体領域抽出処理が実行される（ステップＳ３２）。ステップＳ３２の被写体領域抽出処理は、詳細に後述される。
【００８６】
そして、ステップＳ３２で生成された領域マスクデータを用いて、メモリ２０１に記憶された撮影画像データから全フレームの被写体領域画像が抽出され、時間的に最後の被写体領域画像を含むフレーム（１枚の撮影画像データ）が取得される（ステップＳ３３）。そして、メモリ２０１が参照されて、ステップＳ３３で読み出されたフレームの連写速度が取得される（ステップＳ３４）。そして、ステップＳ３３で取得された最後の被写体領域画像を含むフレームへの被写体領域画像の上書きが終了したか否かが判別される（ステップＳ３５）。ステップＳ３５では、後述するステップＳ３６において、上書き対象の被写体領域画像を含むフレームが取得されなかった場合に、上書きが終了したと判別される。
【００８７】
上書きが終了した場合（ステップＳ３５；ＹＥＳ）、合成処理が終了する。上書きが終了していない場合（ステップＳ３５；ＮＯ）、メモリ２０１に記憶された全フレームの中から、ステップＳ３４で取得された連写速度の直前（当該連写速度に対応する撮影間隔分１つ前）のフレームが選択され、その選択フレームの被写体領域画像が取得される（ステップＳ３６）。
【００８８】
そして、ステップＳ３６で取得された被写体領域画像が、ステップＳ３４で取得された最後の被写体領域画像を含むフレームの被写体領域画像が重複しない画像部分に上書きされ（ステップＳ３７）、ステップＳ３５に移行される。ステップＳ３６で被写体画像領域が取得されない場合は、ステップＳ３７でも上書きされない。
【００８９】
図１０を参照して、ステップＳ３１の疑似背景画像生成処理を詳細に説明する。先ず、フレーム内のピクセル（画素）の座標（ｘ，ｙ）が初期化される（ステップＳ４１）。フレーム内の座標（ｘ，ｙ）は、例えば、左上端の座標が選択され、１ピクセルずつ右に移動して選択されていき、右上端の座標が選択されると、一段下の左端の座標が選択され、１ピクセルずつ右に移動して選択されていくことを繰り返して、１フレーム内の全ピクセルの座標が順に選択されていく。この例では、ステップＳ４１で左上端の座標が初期座標とされる。
【００９０】
そして、メモリ２０１に記憶されている全フレームのうち、未選択の１つのフレームが選択され、その選択フレームの現在選択中の座標（ｘ，ｙ）のピクセル値が取得される（ステップＳ４２）。そして、ステップＳ４３で全フレームで同一座標（ｘ，ｙ）のピクセル値が取得されたか否かが判別される（ステップＳ４３）。全フレームの同一座標（ｘ，ｙ）のピクセル値が取得されていない場合（ステップＳ４３；ＮＯ）、ステップＳ４２に移行される。
【００９１】
全フレームの同一座標（ｘ，ｙ）のピクセル値が取得された場合（ステップＳ４３；ＹＥＳ）、全フレームの同一座標（ｘ，ｙ）のピクセル値の中央値ｆｂが取得される（ステップＳ４４）。中央値ｆｂは、疑似背景画像のピクセル値となる。
【００９２】
そして、ステップＳ４４で取得された中央値ｆｂに対応する全フレームの座標標準偏差ｆｓが算出される（ステップＳ４５）。座標標準偏差は、下記の式（１）により算出される。
【数１】
0005668803.tif 000003
但し、ｆｄ（ｎ，ｘ，ｙ）＝｜ｆｂ（ｘ，ｙ）−ｆ（ｎ，ｘ，ｙ）｜：フレームｎにおける座標（ｘ，ｙ）のピクセル差分値、
ｆｂ（ｘ，ｙ）：フレームにおける座標（ｘ，ｙ）の中央値（疑似背景ピクセル値）、
ｆ（ｎ，ｘ，ｙ）：フレームｎにおける座標（ｘ，ｙ）のピクセル値、
ｎ：フレーム番号（１〜page）、
page：全フレーム数、である。
【００９３】
そして、ステップＳ４５の座標標準偏差算出が全座標で終了したか否かが判別される（ステップＳ４６）。全座標で終了していない場合（ステップＳ４６；ＮＯ）、座標（ｘ，ｙ）がフレーム内の未選択の次の座標に移動（選択）され（ステップＳ４７）、ステップＳ４２に移行される。
【００９４】
全座標で終了した場合（ステップＳ４６；ＹＥＳ）、全フレームのから１つの未選択のフレームが選択され、その選択フレームにおける全座標のピクセル値から、座標標準偏差ｆｓを超えるピクセル値が抽出される（ステップＳ４８）。そして、ステップＳ４８において全フレーム（且つ全座標）の座標標準偏差ｆｓを超えるピクセル値が抽出されたか否かが判別される（ステップＳ４９）。全フレーム且つ全座標の座標標準偏差ｆｓを超えるピクセル値が抽出されていない場合（ステップＳ４９；ＮＯ）、ステップＳ４８に移行される。
【００９５】
全フレーム且つ全座標の座標標準偏差ｆｓを超えるピクセル値が抽出された場合（ステップＳ４９；ＹＥＳ）、ステップＳ４８で抽出されたピクセル値から変動閾値moveが算出され（ステップＳ５０）、疑似背景画像生成処理が終了する。変動閾値moveは、次式（２）で算出される。
【数２】
0005668803.tif 000004
但し、over［ｍ］＝ｆｄ（ｎ，ｘ，ｙ）｛ｆｓ（ｘ，ｙ）＜ｆｄ（ｎ，ｘ，ｙ）、０＜ｍ≦maxm｝、
Maxm：ｆｓ（ｘ，ｙ）＜ｆｄ（ｎ，ｘ，ｙ）を満たした数、である。
【００９６】
図１１を参照して、ステップＳ３２の被写体領域抽出処理を詳細に説明する。先ず、全フレームから未選択の１つのフレームが選択される（ステップＳ６１）。そして、現在選択中の選択フレームｎから未選択の１つの座標（ｘ，ｙ）が選択される（ステップＳ６２）。そして、選択フレームｎの選択座標（ｘ，ｙ）において、ピクセル差分値ｆｄ（ｎ，ｘ，ｙ）が変動閾値moveを超えるか否かが判別される（ステップＳ６３）。ピクセル差分値ｆｄ（ｎ，ｘ，ｙ）が変動閾値moveを超える場合（ステップＳ６３；ＹＥＳ）、座標（ｘ、ｙ）が有効とされ、データｆｐ（ｎ，ｘ，ｙ）＝１に設定される（ステップＳ６４）。ピクセル差分値ｆｄ（ｎ，ｘ，ｙ）が変動閾値moveを超えない場合（ステップＳ６３；ＮＯ）、座標（ｘ、ｙ）が無効とされ、データｆｐ（ｎ，ｘ，ｙ）＝０に設定される（ステップＳ６５）。
【００９７】
そして、同一フレームｎで全座標の選択が終了したか否かが判別される（ステップＳ６６）。同一フレームｎで全座標の選択が終了していない場合（ステップＳ６６；ＮＯ）、ステップＳ６２に移行される。同一フレームｎで全座標の選択が終了した場合（ステップＳ６６；ＹＥＳ）、生成された０と１とのデータｆｐに対して、連続している領域に同じ番号が振られ、離れている領域には別の番号を振るラベリングが行われ、ラベリングした領域のうち最大の領域のみが有効とされる（残される）（ステップＳ６７）。そして、有効とされた領域に対して、膨張（ステップＳ６８）、穴埋め（ステップＳ６９）、収縮（ステップＳ７０）といった欠損を補完するための処理が行われる。また、この際に、生成した領域情報の周辺部に透過パラメータを付加させることで、より自然な上書きが可能となる。
【００９８】
そして、ステップＳ６７〜Ｓ７０により抽出された領域の領域マスクデータが生成され（ステップＳ７１）。全フレームの選択が終了したか否かが判別される（ステップＳ７２）。全フレームの選択が終了していない場合（ステップＳ７２；ＮＯ）、ステップＳ６１に移行される。全フレームの選択が終了した場合（ステップＳ７２；ＹＥＳ）、被写体領域抽出処理が終了する。
【００９９】
以上、本実施の形態によれば、撮影装置１は、撮影連写速度を段階的に下げながら複数の連写速度に対応する連写撮影を行う。このため、様々な速度で動く被写動体に対応して、全ての撮影画像データから、適切な連写速度の撮影画像データを得ることができる。また、一定の撮影速度で連写撮影する場合に比べ、被写動体の移動速度、及び画角の影響が少ない連写撮影が可能である。
【０１００】
また、撮影装置１は、連写速度Ｆ１で連写枚数Ｃ１の撮影画像データを生成する連写撮影をし、次いで、撮影中の連写速度を１／２倍した連写速度に切り替え、（連写枚数Ｃ１−１）／２枚の撮影画像データを生成する連写撮影をすることを繰り返す。このため、様々な速度で動く被写動体に対応して、全ての撮影画像データから、適切な連写速度の撮影画像データを確実に得ることができる。
【０１０１】
また、撮影装置１は、連写撮影後に、全ての撮影画像データ（全フレーム）に基づいて、最後の被写体領域画像を含む撮影画像データに対応する撮影連写速度を取得し、全撮影画像データから、前記取得された撮影連写速度に対応する撮影画像データを選択し、当該選択した撮影画像データを合成して動体連写合成画像データを生成する。このため、様々な速度で動く被写動体に対応し、被写動体の位置が適度に分散される動体連写合成画像データを生成することができる。
【０１０２】
また、撮影装置１は、操作部３０２を介してユーザからの連写枚数Ｃ１の操作入力を受け付けて設定し、当該設定した連写枚数Ｃ１を用いて連写撮影を行う。このため、ユーザが連写枚数Ｃ１を任意の値に設定することができる。
【０１０３】
また、撮影装置１は、操作部３０２のシャッタキーの押下入力に応じて、連写撮影を開始する。このため、ユーザが所望のタイミングで連写撮影を開始することができる。
【０１０４】
また、撮影装置１は、操作部３０２を介してユーザからの撮影上限枚数Ｎの操作入力を受け付けて設定し、当該設定した撮影上限枚数Ｎの撮影画像データを生成する連写撮影を行う。このため、連写撮影時のユーザの操作負担を軽減できる。
【０１０５】
また、操作部３０２を介してユーザからの撮影開始時の撮影連写速度として連写速度Ｆ１の操作入力を受け付けて設定し、当該設定した連写速度Ｆ１で連写撮影を開始する。このため、ユーザが撮影開始時の撮影連写速度を任意の値に設定することができる。
【０１０６】
（変形例）
図１２〜図１４を参照して、上記実施の形態の変形例を説明する。上記実施の形態では、シャッタキー押下に応じて連写撮影を開始し、撮影画像の撮影枚数が撮影上限枚数Ｎになると自動的に撮影を終了する構成を説明したが、本変形例では、被写動体のフレームインに応じて連写撮影を自動的に開始し、被写動体のフレームアウトに応じて自動的に撮影を終了する構成を説明する。
【０１０７】
本変形例の装置として、撮影装置１を用いるものとする。但し、プログラムメモリ２０５には、第１の連写合成プログラムに代えて、第２の連写合成プログラムが記憶されているものとする。
【０１０８】
次に、図１２〜図１４を参照して、本変形例の撮影装置１の動作を説明する。図１２に、第２の連写合成処理の流れを示す。図１３に、第２の連写合成処理における第２の連写処理の流れを示す。図１４に、フレーム内の開始評価領域及び終了評価領域を示す。
【０１０９】
本変形例では、撮影装置１において、設定処理及び第２の連写合成処理が実行される。設定処理は、上記実施の形態と同様である。第２の連写合成処理は、被写動体のフレームイン／フレームアウトに応じて連写速度を初期の連写速度Ｆ１から段階的に下げていきながら自動的に連写撮影し、その全撮影画像データから、適切な連写速度で、被写体領域画像を含む連写枚数Ｃ１の撮影画像データを選択し、その選択した撮影画像データを合成して動体連写合成画像データを生成する処理である。
【０１１０】
撮影装置１において、例えば、ライブビュー表示がなされている場合に、ユーザから操作部３０２に第２の連写合成処理の実行指示が入力されたことをトリガとして、プログラムメモリ２０５に記憶された第２の連写合成プログラムに従って、制御部２０４により、第２の連写合成処理が実行される。
【０１１１】
図１２に示すように、先ず、画像データ生成部２１で生成されたライブビュー画像データが、ビデオ出力部２０２により液晶表示部３０１にライブビュー画像として表示される（ステップＳ８１）。また、ステップＳ８１において、直近の２フレーム分のライブビュー画像データが、メモリ２０１に記憶されるものとする。このメモリ２０１に記憶された直近のライブビュー画像データのフレーム番号をｋと表現し、その１つ前のライブビュー画像データのフレーム番号を（ｋ−１）と表現する。
【０１１２】
そして、メモリ２０１に記憶されている直近の２フレームのライブビュー画像データが参照され、その開始評価領域ｆａ＿ｉｎ（ｋ−１）≒ｆａ＿ｉｎ（ｋ）でなく、被写動体がフレームインしたか否かが判別される（ステップＳ８２）。開始評価領域ｆａ＿ｉｎは、撮影したい被写動体のフレームイン時の通過を検出するための画角内の領域である。例えば、図１４に示すように、被写動体Ｏが画角内を左端からフレームインして右に移動する場合に、開始評価領域ｆａ＿ｉｎは、画角の左端付近に設定される。
【０１１３】
被写動体がフレームインしていない場合（ステップＳ８２；ＮＯ）、ステップＳ８１に移行される。被写動体がフレームインした場合（ステップＳ８２；ＹＥＳ）、第２の連写処理が実行される（ステップＳ８３）。第２の連写処理は詳細に後述される。ステップＳ８４〜Ｓ８７は、それぞれ、第１の連写合成処理のステップＳ１４〜Ｓ１７と同様である。
【０１１４】
図１３を参照して、第２の連写処理を説明する。先ず、ステップＳ９１、Ｓ９２は、それぞれ、第１の連写処理のステップＳ２１，Ｓ２２と同様である。そして、メモリ２０１に記憶されている直近２フレーム（撮影画像データのフレーム番号をｋと表現し、その１つ前の撮影画像データのフレーム番号を（ｋ−１）と表現する）分の撮影画像データが参照され、その終了評価領域ｆａ＿ｏｕｔ（ｋ−１）≒ｆａ＿ｏｕｔ（ｋ）でなく、被写動体がフレームアウトしたか否かが判別される（ステップＳ９３）。終了評価領域ｆａ＿ｏｕｔは、撮影したい被写動体のフレームアウト時の通過を検出するための画角内の領域である。例えば、図１４に示すように、被写動体Ｏが画角内を左から右へ移動して右端からフレームアウトする場合に、終了評価領域ｆａ＿ｏｕｔは、画角の右端付近に設定される。
【０１１５】
被写動体がフレームアウトした場合（ステップＳ９３；ＹＥＳ）、第２の連写処理が終了する。被写動体がフレームアウトしていない場合（ステップＳ９３；ＮＯ）、ステップＳ９４に移行される。ステップＳ９４〜Ｓ９７は、それぞれ、第１の連写処理のステップＳ２３〜Ｓ２６と同様である。そして、メモリ２０１に記憶されている直近２フレームの撮影画像データが参照され、その終了評価領域ｆａ＿ｏｕｔ（ｋ−１）≒ｆａ＿ｏｕｔ（ｋ）でなく、被写動体がフレームアウトしたか否かが判別される（ステップＳ９８）。
【０１１６】
被写動体がフレームアウトした場合（ステップＳ９８；ＹＥＳ）、第２の連写処理が終了する。被写動体がフレームアウトしていない場合（ステップＳ９８；ＮＯ）、ステップＳ９９に移行される。ステップＳ９９〜Ｓ１０１は、それぞれ、第１の連写処理のステップＳ２７〜Ｓ２９と同様である。
【０１１７】
以上、本変形例によれば、上記実施の形態と同様に、様々な速度で動く被写動体に対応して、全ての撮影画像データから、適切な連写速度の撮影画像データを得ることができ、その撮影画像データから動画連写合成画像データを生成できる。また、撮影装置１は、ライブビューの画像データの開始評価領域ｆａ＿ｉｎに基づいて、撮影画像に被写動体が検出されたか（フレームインしたか）否かを判別し、フレームインした場合に、連写撮影を開始する。このため、フレームインした被写動体に対して確実に連写開始でき、連写撮影開始時のユーザの操作負担を軽減できる。
【０１１８】
また、撮影装置１は、撮影画像データの終了評価領域ｆａ＿ｏｕｔに基づいて、撮影画像に被写動体が検出されなくなったか（フレームアウトしたか）否かを判別し、フレームアウトした場合に、連写撮影を終了する。このため、連写撮影終了時のユーザの操作負担を軽減でき、不要な撮影画像データの生成を防ぐことができ、メモリ２０１に撮影画像データを記憶する容量を節約できる。
【０１１９】
なお、上記実施の形態における記述は、本発明に係る撮影装置、撮影方法及びプログラムの一例であり、これに限定されるものではない。
【０１２０】
例えば、上記実施の形態と変形例とを適宜組み合わせる構成としてもよい。例えば、シャッタキー押下で連写撮影を開始し、被写動体のフレームアウトに応じて自動的に連写撮影を終了する構成や、シャッタキー押下又は被写動体のフレームインに応じて連写撮影を開始する構成としてもよい。
【０１２１】
また、シャッタキー押下開始から押下終了までの間に、連写撮影を継続して行う構成としてもよい。また、上記変形例において、最終の撮影画像データから所定数（例えば、２）フレーム分前の撮影画像データを、被写体領域画像が含まれる最後の撮影画像データとする構成としてもよい。
【０１２２】
また、以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてプログラムメモリ２０５を使用した例を開示したが、この例に限定されない。
その他のコンピュータ読み取り可能な媒体として、ＣＤ-ＲＯＭ等の可搬型記録媒体を適用することが可能である。
また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、
キャリアウエーブ（搬送波）も本発明に適用される。
【０１２３】
また、上記実施の形態及び変形例における撮影装置１の各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。
【符号の説明】
【０１２４】
１…撮影装置、２１…画像データ生成部、１０１…光学レンズ部、１０２…イメージセンサ、２２…データ処理部、２０１…メモリ、２０２…ビデオ出力部、２０３…画像処理部、２０４…制御部、２０５…プログラムメモリ、２３…ユーザインタフェース部、３０１…液晶表示部、３０２…操作部、３０３…外部インタフェース、３０４…外部メモリ
【図１】
0005668803.tif 000005
【図２】
0005668803.tif 000006
【図３】
0005668803.tif 000007
【図４】
0005668803.tif 000008
【図５】
0005668803.tif 000009
【図６】
0005668803.tif 000010
【図７】
0005668803.tif 000011
【図８】
0005668803.tif 000012
【図９】
0005668803.tif 000013
【図１０】
0005668803.tif 000014
【図１１】
0005668803.tif 000015
【図１２】
0005668803.tif 000016
【図１３】
0005668803.tif 000017
【図１４】
0005668803.tif 000018
【図１５】
0005668803.tif 000019
【図１６】
0005668803.tif 000020