(57)【要約】【課題】特定被写体（追尾対象）の像が適切な位置間隔で配置された対象画像列を取得する。【解決手段】撮像装置は、複数の対象画像を連続的に撮影するに先立ち、一定のフレームレートにてプレビュー画像列を撮影する。撮像装置は、撮影画像データに基づいて特定被写体としての追尾対象を画像空間上で追尾する追尾処理を実行する。２枚のプレビュー画像上における追尾対象の位置間の距離（ｄＡＢ）と上記フレームレートから画像空間上における追尾対象の移動速度（ＳＰ）を算出し、その移動速度に応じて複数の対象画像の撮影間隔を設定する。例えば、対象画像上における追尾対象の位置が、隣接する対象画像間で所望間隔ずつずれるように撮影間隔を設定する。【選択図】図７
2011066873.tif 000002
【特許請求の範囲】
【請求項１】
撮影によって得た画像の画像データを出力する撮像部と、
特定物体を被写体に含めた複数の対象画像を前記撮像部にて順次撮影させる撮影制御部と、を備え、
前記撮影制御部は、前記特定物体の移動速度に応じて、前記複数の対象画像の撮影間隔を設定する
ことを特徴とする撮像装置。
【請求項２】
前記特定物体の移動速度は、前記複数の対象画像の撮影前に前記撮像部から出力される画像データに基づいて検出される
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記複数の対象画像の撮影前に前記撮像部から出力される複数の非対象画像の画像データに基づいて、各非対象画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、
前記移動速度は、各非対象画像上における前記特定物体の位置から検出され、
前記撮影制御部は、前記移動速度及び前記特定物体の大きさに応じて前記撮影間隔を設定する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮影制御部は、前記複数の対象画像の撮影可否を判断する撮影可否判断部を有し、
前記撮影可否判断部は、
前記撮影間隔、前記移動速度、及び、前記複数の対象画像の枚数に基づいて、前記複数の対象画像の撮影期間における前記特定物体の移動距離を導出する一方で、
前記物体検出部の検出結果に基づく、１枚目の対象画像上における前記特定物体の位置、及び、
前記物体検出部の検出結果に基づく、前記複数の対象画像上における前記特定物体の移動方向に基づいて、前記複数の対象画像上における前記特定物体の移動可能距離を導出し、
前記移動距離と前記移動可能距離との比較に基づいて前記複数の対象画像の撮影可否を判断する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
各対象画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を更に備えた
ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
【請求項６】
撮影によって得た画像の画像データを出力する撮像部と、
特定物体を被写体に含めた複数のフレーム画像を前記撮像部にて順次撮影させる撮影制御部と、を備え、
前記撮影制御部は、前記特定物体の移動速度に基づいて、前記複数のフレーム画像の中から複数の対象画像を選択する対象画像選択部を有する
ことを特徴とする撮像装置。
【請求項７】
前記特定物体の移動速度は、前記複数の対象画像の撮影前に前記撮像部から出力される画像データに基づいて検出される
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記複数の対象画像の撮影前に前記撮像部から出力される複数の非対象画像の画像データに基づいて、各非対象画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、
前記移動速度は、各非対象画像上における前記特定物体の位置から検出され、
前記画像選択部は、前記移動速度及び前記特定物体の大きさに基づいて、前記複数の対象画像を選択する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
各対象画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を更に備えた
ことを特徴とする請求項６〜請求項８の何れかに記載の撮像装置。
【請求項１０】
特定物体を被写体に含めた順次撮影により得た複数の入力画像に含まれるｍ枚の入力画像の中から、ｐ枚をｐ枚の選択画像として選択する画像選択部を備え（ｍ及びｐは２以上の整数であって、ｍ＞ｐ）、
前記画像選択部は、前記ｐ枚の選択画像に含まれる第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体間の距離が、前記特定物体の大きさに応じた基準距離よりも大きくなるように、前記ｐ枚の選択画像を選択する（ｉは１以上且つ（ｐ−１）以下の整数）
ことを特徴とする画像処理装置。
【請求項１１】
各入力画像の画像データに基づき前記特定物体を前記複数の入力画像上において追尾する追尾処理を介して、各入力画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、
前記第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体間の前記距離は、前記物体検出部による位置の検出結果に基づく距離であり、
前記基準距離は、前記物体検出部による大きさの検出結果に基づく距離である
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記複数の入力画像には、前記ｍ枚の入力画像よりも前の撮影によって得られた複数の非対象入力画像が含まれ、
前記画像選択部は、前記物体検出部によって検出された各非対象入力画像上における前記特定物体の位置に基づき前記特定物体の移動速度を検出し、検出した前記移動速度を用いて前記選択を行う
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記画像選択部は、前記物体検出部によって検出された前記ｍ枚の入力画像上における前記特定物体の位置に基づき前記特定物体の移動速度を検出し、検出した前記移動速度を用いて前記選択を行う
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
各選択画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を更に備えた
ことを特徴とする請求項１０〜請求項１３の何れかに記載の画像処理装置。
【請求項１５】
撮影によって得た画像の画像データを出力する撮像部と、
特定物体を被写体に含めた複数の対象画像を前記撮像部にて連写させる連写制御部と、
前記複数の対象画像の撮影前に前記撮像部から出力される画像データに基づいて、前記特定物体の移動速度を検出する物体特性導出部と、を備え、
前記連写制御部は、検出された前記移動速度に応じて、前記複数の対象画像の連写間隔を設定する
ことを特徴とする撮像装置。
【請求項１６】
前記複数の対象画像の撮影前に前記撮像部から出力される複数のプレ画像の画像データに基づいて、各プレ画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、
前記物体特性導出部は、各プレ画像上における前記特定物体の位置から前記移動速度を検出し、
前記連写制御部は、前記移動速度及び前記特定物体の大きさに応じて前記連写間隔を設定する
ことを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記連写制御部は、前記複数の対象画像の連写可否を判断する連写可否判断部を有し、
前記連写可否判断部は、
前記連写間隔、前記移動速度、及び、前記複数の対象画像の枚数に基づいて、前記複数の対象画像の撮影期間における前記特定物体の移動距離を導出する一方で、
前記物体検出部の検出結果に基づく、１枚目の対象画像上における前記特定物体の位置、及び、
前記物体検出部の検出結果に基づく、前記複数の対象画像上における前記特定物体の移動方向に基づいて、前記複数の対象画像上における前記特定物体の移動可能距離を導出し、
前記移動距離と前記移動可能距離との比較に基づいて前記複数の対象画像の連写可否を判断する
ことを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
各対象画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を更に備えた
ことを特徴とする請求項１５〜請求項１７の何れかに記載の撮像装置。
【請求項１９】
特定物体を被写体に含めた順次撮影により得たｍ枚の入力画像の中から、ｐ枚をｐ枚の選択画像として選択する画像選択部と（ｍ及びｐは２以上の整数であって、ｍ＞ｐ）、
各入力画像の画像データに基づき前記特定物体を前記ｍ枚の入力画像上において追尾する追尾処理を介して、各入力画像上における前記特定物体の位置及び大きさを検出する物体検出部と、備え、
前記画像選択部は、前記物体検出部による位置の検出結果に基づく、前記ｐ枚の選択画像に含まれる第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体間の距離が、前記物体検出部による大きさの検出結果に基づく、第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体の大きさに応じた基準距離よりも大きくなるように、前記ｐ枚の選択画像を選択する（ｉは１以上且つ（ｐ−１）以下の整数）
ことを特徴とする画像処理装置。
【請求項２０】
各選択画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を更に備えた
ことを特徴とする請求項１９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、及び、画像に対して画像処理を施す画像処理装置に関する。
【背景技術】
【０００２】
図１９に示す如く、動きのある特定被写体を撮影対象に含めて連写（連続撮影）を行うことで、特定被写体に注目した、所謂コマ送り画像を得ることができる。また、得られた複数の撮影画像の夫々から特定被写体の画像部分を切り出し抽出して合成することにより、所謂ストロボ画像を生成する方法が提案されている。
【０００３】
この際、時間的に隣接する撮影画像の撮影間隔である連写間隔が適切であれば、撮影画像列上及びストロボ画像上において、異なる撮影時刻の特定被写体の像が適切な位置間隔で配置される。しかしながら、その連写間隔が短すぎる場合には、図２０に示す如く、異なる撮影時刻間における特定被写体の位置変化が小さくなって、隣接する撮影画像間の特定被写体の位置変化が乏しくなると共にストロボ画像上において異なる撮影時刻における特定被写体の像が重なり合ってしまう。逆に、連写間隔が長すぎる場合には、図２１に示す如く、異なる撮影時刻間における特定被写体の位置変化が大きくなって、後の方で撮影される画像に特定被写体が含まれなくなったり、結果、ストロボ画像上に描写される特定被写体の個数が少なくなったりする。
【０００４】
特許文献１では、撮影領域を複数に分割するスリット枠を表示部に表示し、各スリット枠内に特定被写体が収まっているタイミングにおいて撮影者にシャッタボタン押下操作を行わせることで、特定被写体の像が適切な位置間隔で配置された撮影画像列を得ようとしている。しかしながら、この方法では、各スリット枠内に特定被写体が収まっているか否かを撮影者自身が判断して、毎回タイミング良く撮影者がシャッタボタン押下操作を行う必要があるため、撮影者の負担が重く、シャッタボタンの押下タイミングを逃すことも多い。
【０００５】
他方、一定のフレームレートでフレーム画像列を撮影して記録媒体に保存しておき、再生時に、保存されたフレーム画像列の中から動きのある被写体部分の画像を抽出して合成する方法も提案されている（特許文献１及び２参照）。
【０００６】
特許文献２の方法では、各フレーム画像から抽出された部分画像であって、前のフレーム画像と比べて一定以上の動きがあった被写体部分の画像である部分画像だけを復号順に合成している（特許文献２の段落３８参照）。しかしながら、この方法では、注目されるべき特定被写体の動きの速度が小さい場合には、隣接フレーム画像間における特定被写体の動きは一定以上の動きではないと判断され、特定被写体が合成対象から除外される（結果、特定被写体に注目したストロボ画像の生成は不能となる）。
【０００７】
また、特許文献１に記載された再生時に係る方法では、図２２に示す如く、保存されたフレーム画像列の最初のフレーム画像９０１を基準にして、最初のフレーム画像９０１と他のフレーム画像９０２及び９０３との差分画像を生成し、差分が生じた画像領域である動的領域９１１及び９１２の位置を求める。図２２及び後述の図２３において、差分画像中の黒領域が動的領域である。特許文献１の装置は、フレーム画像９０２上の動的領域９１１内の画像が特定被写体の画像であると判断すると共に、フレーム画像９０３上の動的領域９１２内の画像が特定被写体の画像であると判断する。図２２には、３枚のフレーム画像に基づく２つの動的領域だけが示されているが、実際には、多数のフレーム画像に基づく２以上の動的領域の位置が求められる。その後、合成画像上に複数のスリット枠を設定し、各スリット枠に収まる動的領域を選択して、選択した動的領域内の画像を合成画像上に順次上書きしていくことで特定被写体が均等配置された合成画像を完成させる（特許文献１の図１２参照）。この方法は、図２２に示すような状況下、即ち、「１つの動的領域が１つの撮影時刻における特定被写体にのみ対応している」という状況下で有効に機能する。
【０００８】
特許文献１に記載された再生時に係る方法では、動きのある特定被写体が存在していない、いわゆる背景画像（フレーム画像９０１のような画像）が必須となる。
【０００９】
図２３を参照して、背景画像が存在していない時における、特許文献１の装置の動作を説明する。図２３に示す如く、保存されたフレーム画像列の最初のフレーム画像が特定被写体を含む画像９２１である場合、そのフレーム画像９２１と２番目のフレーム画像９２２との差分に基づく動的領域は、図２３の領域９３１のようになり、フレーム画像９２１と３番目のフレーム画像９２３との差分に基づく動的領域は、図２３の領域９３２のようになる。動的領域９３１は、フレーム画像９２１及び９２２上における特定被写体の領域を結合した領域に相当し、動的領域９３２は、フレーム画像９２１及び９２３上における特定被写体の領域を結合した領域に相当する。動的領域９３１が得られた場合、フレーム画像９２２上の動的領域９３１内の画像が特定被写体の画像であると判断して合成処理が行われることになる（動的領域９３２についても同様）。この判断は正しくないため、得られる合成画像は所望画像からかけ離れたものとなる。即ち、図２３に示す状況では、「１つの動的領域が１つの撮影時刻における特定被写体にのみ対応している」という前提が崩れ、特許文献１に示された合成画像の生成方法が有効に機能しなくなる。尚、合成等の対象となる複数枚の画像が連写によって得られることを想定して従来技術を説明したが、それらが動画像の撮影によって得られる場合についても同様のことが言える。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−１４７７２１号公報
【特許文献２】特開２００５−６１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
そこで本発明は、対象画像列上における特定物体の位置間隔の適正化に寄与する撮像装置を提供することを目的とする。また本発明は、複数の入力画像の中から特定物体の位置間隔が適正化された複数の選択画像を抽出することのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る第１の撮像装置は、撮影によって得た画像の画像データを出力する撮像部と、特定物体を被写体に含めた複数の対象画像を前記撮像部にて順次撮影させる撮影制御部と、を備え、前記撮影制御部は、前記特定物体の移動速度に応じて、前記複数の対象画像の撮影間隔を設定することを特徴とする。
【００１３】
特定物体の移動速度に応じて複数の対象画像の撮影間隔を設定することにより、特定物体の像が適切な位置間隔で配置された対象画像列を取得するといったことが可能となる。
【００１４】
具体的には例えば、第１の撮像装置において、前記特定物体の移動速度は、前記複数の対象画像の撮影前に前記撮像部から出力される画像データに基づいて検出される。
【００１５】
また例えば、第１の撮像装置は、前記複数の対象画像の撮影前に前記撮像部から出力される複数の非対象画像の画像データに基づいて、各非対象画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、前記移動速度は、各非対象画像上における前記特定物体の位置から検出され、前記撮影制御部は、前記移動速度及び前記特定物体の大きさに応じて前記撮影間隔を設定しても良い。
【００１６】
移動速度だけでなく物体サイズにも応じて撮影間隔を設定することで、撮影間隔をより適切なものに調整することができる。
【００１７】
また例えば、第１の撮像装置において、前記撮影制御部は、前記複数の対象画像の撮影可否を判断する撮影可否判断部を有し、前記撮影可否判断部は、前記撮影間隔、前記移動速度、及び、前記複数の対象画像の枚数に基づいて、前記複数の対象画像の撮影期間における前記特定物体の移動距離を導出する一方で、前記物体検出部の検出結果に基づく、１枚目の対象画像上における前記特定物体の位置、及び、前記物体検出部の検出結果に基づく、前記複数の対象画像上における前記特定物体の移動方向に基づいて、前記複数の対象画像上における前記特定物体の移動可能距離を導出し、前記移動距離と前記移動可能距離との比較に基づいて前記複数の対象画像の撮影可否を判断する。
【００１８】
また例えば、各対象画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を、第１の撮像装置に更に設けるようにしても良い。
【００１９】
本発明に係る第２の撮像装置は、撮影によって得た画像の画像データを出力する撮像部と、特定物体を被写体に含めた複数のフレーム画像を前記撮像部にて順次撮影させる撮影制御部と、を備え、前記撮影制御部は、前記特定物体の移動速度に基づいて、前記複数のフレーム画像の中から複数の対象画像を選択する対象画像選択部を有することを特徴とする。
【００２０】
特定物体の移動速度に基づいて複数の対象画像の選択処理を実行することにより、特定物体の像が適切な位置間隔で配置された対象画像列を取得するといったことが可能となる。
【００２１】
具体的には例えば、第２の撮像装置において、前記特定物体の移動速度は、前記複数の対象画像の撮影前に前記撮像部から出力される画像データに基づいて検出される。
【００２２】
また例えば、第２の撮像装置は、前記複数の対象画像の撮影前に前記撮像部から出力される複数の非対象画像の画像データに基づいて、各非対象画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、前記移動速度は、各非対象画像上における前記特定物体の位置から検出され、前記画像選択部は、前記移動速度及び前記特定物体の大きさに基づいて、前記複数の対象画像を選択する。
【００２３】
移動速度だけでなく物体サイズにも基づいて対象画像の選択を行うようにすることで、より適切な対象画像を選択することが可能となる。
【００２４】
また例えば、各対象画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を、第２の撮像装置に更に設けるようにしても良い。
【００２５】
本発明に係る第１の画像処理装置は、特定物体を被写体に含めた順次撮影により得た複数の入力画像に含まれるｍ枚の入力画像の中から、ｐ枚をｐ枚の選択画像として選択する画像選択部を備え（ｍ及びｐは２以上の整数であって、ｍ＞ｐ）、前記画像選択部は、前記ｐ枚の選択画像に含まれる第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体間の距離が、前記特定物体の大きさに応じた基準距離よりも大きくなるように、前記ｐ枚の選択画像を選択する（ｉは１以上且つ（ｐ−１）以下の整数）ことを特徴とする。
【００２６】
具体的には例えば、第１の画像処理装置は、各入力画像の画像データに基づき前記特定物体を前記複数の入力画像上において追尾する追尾処理を介して、各入力画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、前記第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体間の前記距離は、前記物体検出部による位置の検出結果に基づく距離であり、前記基準距離は、前記物体検出部による大きさの検出結果に基づく距離である。
【００２７】
追尾処理を用いることにより各入力画像上における特定物体の位置及び大きさを正しく検出することができる。従って、その検出結果に基づいて選択画像を選択することにより、特定物体の像が適切な位置間隔で配置された選択画像列を取得するといったことが可能となる。
【００２８】
また具体的には例えば、第１の画像処理装置において、前記複数の入力画像には、前記ｍ枚の入力画像よりも前の撮影によって得られた複数の非対象入力画像が含まれ、前記画像選択部は、前記物体検出部によって検出された各非対象入力画像上における前記特定物体の位置に基づき前記特定物体の移動速度を検出し、検出した前記移動速度を用いて前記選択を行う。
【００２９】
或いは例えば、第１の画像処理装置において、前記画像選択部は、前記物体検出部によって検出された前記ｍ枚の入力画像上における前記特定物体の位置に基づき前記特定物体の移動速度を検出し、検出した前記移動速度を用いて前記選択を行う。
【００３０】
また例えば、各選択画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を、第１の画像処理装置に更に設けるようにしても良い。
【００３１】
本発明に係る第３の撮像装置は、撮影によって得た画像の画像データを出力する撮像部と、特定物体を被写体に含めた複数の対象画像を前記撮像部にて連写させる連写制御部と、前記複数の対象画像の撮影前に前記撮像部から出力される画像データに基づいて、前記特定物体の移動速度を検出する物体特性導出部と、を備え、前記連写制御部は、検出された前記移動速度に応じて、前記複数の対象画像の連写間隔を設定することを特徴とする。
【００３２】
複数の対象画像の撮影前に撮像部から出力される画像データから、複数の対象画像の撮影時における特定物体の移動速度を推定することができる。この移動速度に応じて複数の対象画像の連写間隔を設定することにより、特定物体の像が適切な位置間隔で配置された対象画像列を取得するといったことが可能となる。
【００３３】
また具体的には例えば、第３の撮像装置は、前記複数の対象画像の撮影前に前記撮像部から出力される複数のプレ画像の画像データに基づいて、各プレ画像上における前記特定物体の位置及び大きさを検出する物体検出部を更に備え、前記物体特性導出部は、各プレ画像上における前記特定物体の位置から前記移動速度を検出し、前記連写制御部は、前記移動速度及び前記特定物体の大きさに応じて前記連写間隔を設定する。
【００３４】
移動速度だけでなく物体サイズにも応じて連写間隔を設定することで、連写間隔をより適切なものに調整することができる。
【００３５】
また例えば、第３の撮像装置において、前記連写制御部は、前記複数の対象画像の連写可否を判断する連写可否判断部を有し、前記連写可否判断部は、前記連写間隔、前記移動速度、及び、前記複数の対象画像の枚数に基づいて、前記複数の対象画像の撮影期間における前記特定物体の移動距離を導出する一方で、前記物体検出部の検出結果に基づく、１枚目の対象画像上における前記特定物体の位置、及び、前記物体検出部の検出結果に基づく、前記複数の対象画像上における前記特定物体の移動方向に基づいて、前記複数の対象画像上における前記特定物体の移動可能距離を導出し、前記移動距離と前記移動可能距離との比較に基づいて前記複数の対象画像の連写可否を判断する。
【００３６】
また例えば、各対象画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を、第３の撮像装置に更に設けるようにしても良い。
【００３７】
また例えば、前記連写間隔に応じた情報を外部に対して報知する報知制御部を、前記連写制御部に設けるようにしても良い。
【００３８】
本発明に係る第２の画像処理装置は、特定物体を被写体に含めた順次撮影により得たｍ枚の入力画像の中から、ｐ枚をｐ枚の選択画像として選択する画像選択部と（ｍ及びｐは２以上の整数であって、ｍ＞ｐ）、各入力画像の画像データに基づき前記特定物体を前記ｍ枚の入力画像上において追尾する追尾処理を介して、各入力画像上における前記特定物体の位置及び大きさを検出する物体検出部と、備え、前記画像選択部は、前記物体検出部による位置の検出結果に基づく、前記ｐ枚の選択画像に含まれる第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体間の距離が、前記物体検出部による大きさの検出結果に基づく、第ｉ及び第（ｉ＋１）の選択画像上における前記特定物体の大きさに応じた基準距離よりも大きくなるように、前記ｐ枚の選択画像を選択する（ｉは１以上且つ（ｐ−１）以下の整数）ことを特徴とする。
【００３９】
追尾処理を用いることにより各入力画像上における特定物体の位置及び大きさを正しく検出することができる。従って、その検出結果に基づいて選択画像を選択することにより、特定物体の像が適切な位置間隔で配置された選択画像列を取得するといったことが可能となる。
【００４０】
また例えば、各選択画像から前記特定物体の画像データが存在する部分の画像を抽出画像として抽出し、得られた複数の抽出画像を合成する画像合成部を、第２の画像処理装置に更に設けるようにしても良い。
【発明の効果】
【００４１】
本発明によれば、対象画像列上における特定物体の位置間隔の適正化に寄与する撮像装置、及び、複数の入力画像の中から特定物体の位置間隔が適正化された複数の選択画像を抽出することのできる画像処理装置を提供することが可能となる。
【００４２】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１実施形態に係る撮像装置の全体ブロック図である
【図２】任意の二次元画像が配置される、空間領域の二次元座標系（画像空間）を示した図である。
【図３】本発明の第１実施形態に係り、複数の対象画像からストロボ画像が生成される様子を示した図である。
【図４】本発明の第１実施形態に係り、プレビュー画像列と対象画像列の関係を示した図である。
【図５】本発明の第１実施形態に係り、特殊連写モードの動作に特に関与する部位のブロック図である。
【図６】本発明の第１実施形態に係り、プレビュー画像又は対象画像に追尾対象領域が設定される様子を示した図である。
【図７】本発明の第１実施形態に係り、２枚のプレビュー画像上における追尾対象の位置から追尾対象の移動速度を導出する方法を説明した図である。
【図８】本発明の第１実施形態に係り、２枚のプレビュー画像上における追尾対象の大きさから被写体サイズ（追尾対象の平均的な大きさ）を導出する方法を説明した図である。
【図９】図５の連写可否判断部による、追尾対象の移動可能距離の導出方法を説明するための図である。
【図１０】図５の連写可否判断部による、追尾対象の推定移動距離の導出方法を説明するための図である。
【図１１】本発明の第１実施形態に係り、特殊連写モードにおける撮像装置の動作フローチャートである。
【図１２】本発明の第１実施形態に係り、連写が不可能と判断された場合に提示される表示画像例を示した図である。
【図１３】本発明の第２実施形態に係り、特殊再生モードの動作に特に関与する部位のブロック図である。
【図１４】本発明の第２実施形態に係るフレーム画像列を示した図である。
【図１５】本発明の第２実施形態に係り、追尾対象の設定時における表示画像を示した図である。
【図１６】本発明の第２実施形態に係り、２枚のフレーム画像上における追尾対象及び追尾対象領域を共通の画像空間（共通の紙面）上に示した図である。
【図１７】本発明の第２実施形態に係るストロボ画像を示した図である。
【図１８】本発明の第２実施形態に係り、特殊再生モードにおける撮像装置の動作フローチャートである。
【図１９】従来方法に係り、撮影画像列とそれに基づくストロボ画像を示した図である。
【図２０】従来方法に係り、他の撮影画像列とそれに基づくストロボ画像を示した図である。
【図２１】従来方法に係り、更に他の撮影画像列とそれに基づくストロボ画像を示した図である。
【図２２】従来方法に係り、フレーム画像間の差分から動的領域が抽出される様子を示した図である。
【図２３】従来方法に係り、フレーム画像間の差分から動的領域が抽出される様子を示した図である。
【図２４】本発明の第３実施形態に係る動画像の構成を示す図である。
【図２５】本発明の第３実施形態に係る動作に特に関与する部位のブロック図である。
【図２６】本発明の第３実施形態に係り、３枚の対象フレーム画像とストロボ動画像との関係を示す図である。
【図２７】本発明の第３実施形態に係る撮像装置の動作フローチャートである。
【図２８】本発明の第３実施形態に係る撮像装置の動作フローチャートである。
【図２９】本発明の第４実施形態に係る動画像の構成を示す図である。
【図３０】本発明の第４実施形態に係る動作に特に関与する部位のブロック図である。
【図３１】本発明の第４実施形態に係り、対象フレーム画像候補の中から対象フレーム画像が選択される様子を示す図である。
【図３２】本発明の第４実施形態に係る撮像装置の動作フローチャートである。
【図３３】本発明の第５実施形態に係る動画像の構成を示す図である。
【図３４】本発明の第５実施形態に係り、追尾対象の推定移動距離の意義を説明するための図である。
【図３５】本発明の第５実施形態に係る撮像装置の動作フローチャートである。
【発明を実施するための形態】
【００４４】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００４５】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものであってもよい。
【００４６】
撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる固体撮像素子である。撮像素子３３の各受光画素は、光学系及び絞りを介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。
【００４７】
ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
【００４８】
圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を互いに関連付けた状態で記録する。
【００４９】
伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。
【００５０】
ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ及び操作キー２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。
【００５１】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。再生モードにて動作する時の撮像装置１は、画像再生装置として機能する。
【００５２】
撮影モードでは、次々と被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表すデジタルの映像信号を画像データとも呼ぶ。
【００５３】
尚、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する（即ち例えば、圧縮された画像データを記録することを、単に、画像データを記録すると表現する）。また、本明細書では、或る画像の画像データのことを単に画像と言うこともある。
【００５４】
図２に示す如く、任意の二次元画像３００が配置される、空間領域（spatial domain）の二次元座標系ＸＹを定義する。二次元座標系ＸＹを画像空間と言い換えることもできる。画像３００は、例えば、上述の撮影画像、又は、後述のストロボ画像、プレビュー画像、対象画像若しくはフレーム画像である。Ｘ軸及びＹ軸は、二次元画像３００の水平方向及び垂直方向に沿った軸である。二次元画像３００は、水平方向及び垂直方向の夫々に複数の画素がマトリクス状に配列されて形成されており、二次元画像３００上の何れかの画素である画素３０１の位置を（ｘ，ｙ）にて表す。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３０１のＸ軸及びＹ軸方向の座標値である。二次元座標系ＸＹにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３０１の位置が（ｘ，ｙ）である場合、画素３０１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。
【００５５】
撮像装置１の撮影モードの一種に、特殊連写モードがある。特殊連写モードでは、図３に示す如く、注目すべき特定被写体が望ましい位置間隔で配置された複数の撮影画像（図３に示す例では、画像３１１〜３１４）を連写によって取得する。特殊連写モードにて連写される撮影画像を、以下、対象画像という。連写によって得られた複数の対象画像を合成することで、各対象画像上の特定被写体を１枚の画像上に表現したストロボ画像を生成することができる。図３の画像３１５は、画像３１１〜３１４に基づくストロボ画像である。
【００５６】
ユーザは、操作部２６に対して所定操作を施すことで、撮像装置１の動作モードを特殊連写モードに設定することができる。以下、第１実施形態では、特殊連写モードにおける撮像装置１の動作を説明する。
【００５７】
図４は、特殊連写モードにて撮影される画像列の構成画像を示した図である。画像列とは、時系列で並ぶ複数の静止画像の集まりを指す。シャッタボタン２６ｂは２段階の押下操作が可能に形成されている。ユーザがシャッタボタン２６ｂを軽く押し込むと、シャッタボタン２６ｂは半押しの状態となり、その状態から更にシャッタボタン２６ｂを押し込むとシャッタボタン２６ｂは全押しの状態となる。シャッタボタン２６ｂの状態を全押しの状態にする操作を、特にシャッタ操作とも言う。特殊連写モードにおいて、シャッタ操作が行われると、その直後において、ｐ枚の対象画像が連写される（即ち、ｐ枚の対象画像が連続的に撮影される）。ｐは、２以上の整数である。ユーザは、対象画像の枚数（即ち、ｐの値）を自由に決めることができる。
【００５８】
ｐ枚の対象画像の内、１番目、２番目、・・・、ｐ番目に撮影される対象画像を、夫々、符号Ｉｎ、Ｉｎ＋１、・・・、Ｉｎ＋ｐ−１にて表す（ｎは整数）。１番目の対象画像Ｉｎの撮影前の撮影によって得られる撮影画像をプレビュー画像と呼ぶ。プレビュー画像は、一定のフレームレート（例えば、６０ｆｐｓ（frame per second））にて順次撮影される。プレビュー画像列に対して、符号Ｉ１〜Ｉｎ−１を割り当てる。図４に示す如く、時間が進行するにつれ、プレビュー画像Ｉ１、Ｉ２、・・・、Ｉｎ−３、Ｉｎ−２、Ｉｎ−１の順番で撮影が行われ、プレビュー画像Ｉｎ−１の撮影の次に対象画像Ｉｎの撮影が行われるものとする。プレビュー画像列は動画像として表示部２７に表示され、ユーザは表示画像を確認しつつシャッタ操作の実行タイミングを検討する。
【００５９】
図５は、撮像装置１に内包される、特殊連写モードの動作に特に関与する部位のブロック図である。図５に示される各部位は、図１のＣＰＵ２３又は映像信号処理部１３によって実現される。例えば、追尾処理部（物体検出部）５１及びストロボ画像生成部（画像合成部）５４を映像信号処理部１３に実装しておくことができ、ＣＰＵ２３内に追尾対象特性算出部（物体特性導出部）５２及び連写制御部５３を設けておくことができる。連写制御部５３には、連写可否判断部５５及び報知制御部５６が設けられている。
【００６０】
追尾処理部５１は、入力動画像の画像データに基づいて入力動画像上における注目物体を入力動画像上で追尾する追尾処理を実行する。ここにおける入力動画像とは、プレビュー画像Ｉ１〜Ｉｎ−１を含むプレビュー画像列と対象画像Ｉｎ〜Ｉｎ＋ｐ−１を含む対象画像列とから成る動画像を指す。注目物体は、入力動画像の撮影時における撮像装置１の注目被写体である。追尾処理によって追尾されるべき注目物体を、以下、追尾対象という。
【００６１】
ユーザは、追尾対象を指定することができる。例えば、表示部２７に所謂タッチパネル機能を設けておく。そして、プレビュー画像を表示部２７の表示画面上で表示している時において、注目物体が表示されている、表示画面上の表示領域を、ユーザが指で触れることにより、該注目物体が追尾対象として設定される。或いは例えば、ユーザは、操作部２６に対する所定操作によって追尾対象を指定することもできる。更に或いは、顔認識処理を利用して撮像装置１が自動的に追尾対象を設定するようにしても良い。つまり例えば、プレビュー画像の画像データに基づきプレビュー画像から人物の顔を含む領域である顔領域を抽出した後、顔認識処理によって当該顔領域に含まれる顔が予め登録された人物の顔と一致しているか否かを照合し、一致が確認された場合に、その顔領域に含まれる顔を有する人物を追尾対象として設定するようにしても良い。
【００６２】
更に或いは、プレビュー画像列上における移動物体を自動的に追尾対象に設定するようにしても良い。この場合は、公知の方法を用いて、時間的に隣接する２枚のプレビュー画像間のオプティカルフローから追尾対象として設定されるべき移動物体を抽出すればよい。オプティカルフローは、画像上の物体の動きの向き及び大きさを表す動きベクトルの束である。
【００６３】
説明の便宜上、以下では、プレビュー画像Ｉ１において追尾対象が設定されたものとする。追尾対象の設定後、追尾処理では、入力動画像の画像データに基づき、各プレビュー画像及び各対象画像上における追尾対象の位置及び大きさが逐次検出される。実際には、追尾対象を表す画像データの存在する画像領域が追尾対象領域として各プレビュー画像及び各対象画像に設定され、追尾対象領域の中心位置及び大きさが追尾対象の位置及び大きさとして検出される。プレビュー画像に設定された追尾対象領域内の画像は、当該プレビュー画像の一部画像である（対象画像等についても同様）。追尾対象の大きさとして検出される追尾対象領域の大きさを、追尾対象領域内に属する画素の数によって表現することができる。尚、本発明の各実施形態の説明文中における文言“中心位置”を“重心位置”に読み替えても構わない。
【００６４】
追尾処理部５１は、各プレビュー画像及び各対象画像における追尾対象の位置及び大きさを表す情報を含む追尾結果情報を出力する。追尾結果情報によって、追尾対象領域の形状をもが規定されるものとする。例えば、（後述の図６等に示される状況とは異なるが）追尾対象領域が矩形領域である場合には、その矩形領域の対角線上の２頂点の座標値を追尾対象領域に含めておけば良い、或いは、その矩形領域の一頂点の座標値と該矩形領域の水平及び垂直方向の大きさを追尾対象領域に含めておけば良い。
【００６５】
第１及び第２の被演算画像間における追尾処理を次のように実行することができる。ここにおける第１の被演算画像とは、既に追尾対象の位置及び大きさが検出されているプレビュー画像又は対象画像を指し、第２の被演算画像とは、これから追尾対象の位置及び大きさが検出されるべきプレビュー画像又は対象画像を指す。第２の被演算画像は、通常、第１の被演算画像の次に撮影される画像である。
【００６６】
例えば、追尾処理部５１は、追尾対象が有する画像特徴に基づいて追尾処理を行うことができる。画像特徴は、輝度情報及び色情報を含む。より具体的には例えば、第２の被演算画像内に、追尾対象領域の大きさと同程度の大きさを有すると推定される追尾枠を設定して、第２の被演算画像における追尾枠内の画像の画像特徴と、第１の被演算画像における追尾対象領域内の画像の画像特徴との類似性評価を追尾枠の位置を探索領域内で順次変更しながら実行し、最大の類似性が得られた追尾枠の中心位置に、第２の被演算画像における追尾対象領域の中心位置が存在すると判断する。第２の被演算画像に対する探索領域は、第１の被演算画像における追尾対象の位置を基準にして設定される。
【００６７】
第２の被演算画像における追尾対象領域の中心位置が判明した後、公知の輪郭抽出処理等を適宜用いて、その中心位置を内包する、エッジで囲まれた閉領域を、第２の被演算画像における追尾対象領域として抽出することができる。又は、その閉領域を単純な図形形状（矩形や楕円）を有する領域にて近似したものを追尾対象領域として抽出するようにしてもよい。以下の説明では、図６に示す如く、追尾対象が人物であって、且つ、追尾対象領域が該人物の胴体及び頭部を含む楕円状領域に近似されることを想定する。
【００６８】
尚、画像上の追尾対象の位置及び大きさを検出する方法として、上述した方法と異なる他の任意の方法（例えば、特開２００４−９４６８０号公報に記載された方法や特開２００９−３８７７７号公報に記載された方法）を採用することも可能である。
【００６９】
追尾対象特性算出部５２は、プレビュー画像列に対して行った追尾処理の追尾結果情報に基づいて、画像空間上における追尾対象の移動速度ＳＰを算出すると共に追尾対象の大きさに応じた被写体サイズ（物体サイズ）ＳＩＺＥを算出する。移動速度ＳＰは、対象画像列上における追尾対象の移動速度の推定値として機能し、被写体サイズＳＩＺＥは、各対象画像上における追尾対象の大きさの推定値として機能する。
【００７０】
２枚以上のプレビュー画像についての追尾結果情報に基づいて、即ち、２枚以上のプレビュー画像における追尾対象領域の位置及び大きさに基づいて、移動速度ＳＰ及び被写体サイズＳＩＺＥを算出することができる。
【００７１】
２枚のプレビュー画像についての追尾結果情報から移動速度ＳＰ及び被写体サイズＳＩＺＥを算出する方法を説明する。移動速度ＳＰ及び被写体サイズＳＩＺＥを算出するための２枚のプレビュー画像をＩＡ及びＩＢにて表す。プレビュー画像ＩＢは、対象画像Ｉｎの撮影時刻に対してなるだけ近い時刻に撮影されたプレビュー画像であり、プレビュー画像ＩＡはプレビュー画像ＩＢよりも先に撮影されたプレビュー画像である。例えば、プレビュー画像ＩＡ及びＩＢは、夫々、プレビュー画像Ｉｎ−２及びＩｎ−１である。但し、プレビュー画像ＩＡ及びＩＢを、夫々、プレビュー画像Ｉｎ−３及びＩｎ−１とすることも可能であるし、或いは、プレビュー画像Ｉｎ−３及びＩｎ−２とすることも可能であるし、或いは、それ以外とすることも可能である。以下では、特に記述なき限り、プレビュー画像ＩＡ及びＩＢが夫々プレビュー画像Ｉｎ−２及びＩｎ−１であると仮定する。
【００７２】
プレビュー画像ＩＡにおける追尾対象領域の中心位置（ｘＡ，ｙＡ）とプレビュー画像ＩＢにおける追尾対象領域の中心位置（ｘＢ，ｙＢ）とから、下記式（１）に従って移動速度ＳＰを算出することができる。図７に示す如く、ｄＡＢは、画像空間上における中心位置（ｘＡ，ｙＡ）及び（ｘＢ，ｙＢ）間の距離である。図７及び後述の図８において、破線３３０Ａ及び３３０Ｂで囲まれた楕円状領域は、夫々、プレビュー画像ＩＡ及びＩＢ上における追尾対象領域である。ＩＮＴＰＲは、プレビュー画像ＩＡ及びＩＢの撮影間隔である。上述したように、プレビュー画像ＩＡ及びＩＢがプレビュー画像Ｉｎ−２及びＩｎ−１であるため、ＩＮＴＰＲは、隣接するプレビュー画像の撮影間隔、即ち、プレビュ−画像列のフレームレートの逆数である。従って、プレビュー画像列のフレームレートが６０ｆｐｓであるならば、ＩＮＴＰＲは１／６０秒である。
ＳＰ＝ｄＡＢ／ＩＮＴＰＲ          ・・・（１）
【００７３】
一方、プレビュー画像ＩＡにおける追尾対象領域の特定方向サイズＬＡとプレビュー画像ＩＢにおける追尾対象領域の特定方向サイズＬＢから、被写体サイズＳＩＺＥを算出することができる。図８は、プレビュー画像ＩＡ上における追尾対象領域３３０Ａとプレビュー画像ＩＢ上における追尾対象領域３３０Ｂを共通の画像空間（二次元座標系ＸＹ）上に示した図である。中心位置（ｘＡ，ｙＡ）及び（ｘＢ，ｙＢ）間を結ぶ直線３３２は追尾対象領域３３０Ａの外形と交点３３４及び３３５で交わり、直線３３２は追尾対象領域３３０Ｂの外形と交点３３６及び３３７で交わる。交点３３４及び３３５間の距離が特定方向サイズＬＡとして求められ、交点３３６及び３３７間の距離が特定方向サイズＬＢとして求められる。そして、特定方向サイズＬＡ及びＬＢの平均値が被写体サイズＳＩＺＥに代入される。
【００７４】
プレビュー画像Ｉｎ−２及びＩｎ−１であるプレビュー画像ＩＡ及びＩＢについての追尾結果情報に加え、プレビュー画像Ｉｎ−３であるプレビュー画像ＩＣについての追尾結果情報をも更に用いて移動速度ＳＰ及び被写体サイズＳＩＺＥを算出する方法を説明する。この場合は、「ＳＰ＝（ｄＣＡ＋ｄＡＢ）／（２・ＩＮＴＰＲ）」に従って移動速度ＳＰを算出することができる。ここで、ｄＣＡは、画像空間上における中心位置（ｘＣ，ｙＣ）及び（ｘＡ，ｙＡ）間の距離であり、中心位置（ｘＣ，ｙＣ）は、プレビュー画像ＩＣにおける追尾対象領域の中心位置である。また、中心位置（ｘＣ，ｙＣ）及び（ｘＡ，ｙＡ）間を結ぶ直線とプレビュー画像ＩＣ上における追尾対象領域３３０Ｃの外形とが交わる２交点の位置を特定し、その２交点間の距離を特定方向サイズＬＣとして求め、特定方向サイズＬＡ、ＬＢ及びＬＣの平均値を被写体サイズＳＩＺＥとして求めることができる。４枚以上のプレビュー画像の追尾結果情報から移動速度ＳＰ及び被写体サイズＳＩＺＥを算出する場合も同様とされる。
【００７５】
上述の方法に従って求められた、移動速度ＳＰ（追尾対象の平均的な移動速度）と被写体サイズＳＩＺＥ（追尾対象の平均的なサイズ）は、連写制御部５３に送られる。
【００７６】
連写制御部５３は、
式「（連写間隔ＩＮＴＴＧＴ）＝（目標被写体間隔α）／（移動速度ＳＰ）」に従って、
より明確には、下記式（２）に従って対象画像列の撮影時における連写間隔ＩＮＴＴＧＴを設定する。
ＩＮＴＴＧＴ＝α／ＳＰ                          ・・・（２）
【００７７】
連写間隔ＩＮＴＴＧＴとは、時間的に隣接する２枚の対象画像（例えば、Ｉｎ及びＩｎ＋１）の撮影時刻間の間隔を指す。対象画像Ｉｎの撮影時刻とは、厳密には例えば、対象画像Ｉｎの露光期間の開始時刻又は中間時刻を指す（対象画像Ｉｎ＋１等についても同様）。
【００７８】
目標被写体間隔αとは、時間的に隣接する２枚の対象画像上における追尾対象領域の中心位置間距離の目標値を指す。つまり例えば、対象画像Ｉｎ上における追尾対象領域の中心位置（ｘｎ，ｙｎ）と対象画像Ｉｎ＋１上における追尾対象領域の中心位置（ｘｎ＋１，ｙｎ＋１）との距離の目標値が、目標被写体間隔αである。連写制御部５３は、被写体サイズＳＩＺＥに応じて目標被写体間隔αを決定する。例えば、「α＝ＳＩＺＥ」となるように、又は、「α＝ｋ０×ＳＩＺＥ」となるように、又は、「α＝ＳＩＺＥ＋ｋ１」となるように、被写体サイズＳＩＺＥから目標被写体間隔αを決定する。ｋ０及びｋ１は、予め定められた係数である。但し、目標被写体間隔αをユーザの指示に従って定めることも可能である。また、係数ｋ０及びｋ１の値をユーザが定めても良い。
【００７９】
連写制御部５３は、連写間隔ＩＮＴＴＧＴの設定後、原則として連写間隔ＩＮＴＴＧＴにてｐ枚の対象画像が連写されるようにＴＧ２２（図１参照）と協働して撮像部１１を制御し、これによって略一定の位置間隔で追尾対象が配置されたｐ枚の対象画像を取得しようとする。但し、連写開始時における追尾対象の位置等によっては、そのようなｐ枚の対象画像を取得できない場合もある。
【００８０】
そこで、連写制御部５３に内包される連写可否判断部５５（図５参照）は、ｐ枚の対象画像の連写に先立ち、ｐ枚の対象画像の連写可否を判断する。説明の具体化のためｐ＝５であると仮定した上で、図９及び図１０を参照しつつ、この判断方法を説明する。図９に示される画像Ｉｎ’は、１番目の対象画像Ｉｎを仮想した画像（以下、仮想対象画像という）である。仮想対象画像Ｉｎ’は、実際の撮影によって得られた画像ではなく、追尾結果情報から推定される。位置３５０は、仮想対象画像Ｉｎ’上における追尾対象領域の中心位置である。矢印３６０は、画像空間上における追尾対象の移動方向を表している。移動方向３６０は、上述の中心位置（ｘＡ，ｙＡ）から中心位置（ｘＢ，ｙＢ）に向かう方向（図７及び図８参照）、又は、中心位置（ｘＣ，ｙＣ）から中心位置（ｘＢ，ｙＢ）に向かう方向と一致する。
【００８１】
位置３５０は、プレビュー画像Ｉｎ−１上における追尾対象領域の中心位置から、移動方向３６０へ距離（ＳＰ×ＩＮＴＰＲ）だけずれた位置である。但し、ここでは、プレビュー画像Ｉｎ−１及び対象画像Ｉｎの撮影時刻間の時間差がプレビュ−画像の撮影間隔ＩＮＴＰＲと一致しているものとする。
【００８２】
連写可否判断部５５は、対象画像列の撮影期間中、対象画像列上において追尾対象が移動方向３６０へ移動速度ＳＰにて移動すると仮定した上で、対象画像列上における追尾対象の移動可能距離ＤＩＳＡＬを算出する。位置３５０を起点として移動方向３６０に向かって伸びる線分３６１を定義し、線分３６１と仮想対象画像Ｉｎ’の外形との交点３６２を求める。位置３５０と交点３６２との距離が移動可能距離ＤＩＳＡＬとして算出される。
【００８３】
一方、連写可否判断部５５は、ｐ枚の対象画像の撮影期間中における、画像空間上（及び対象画像列上）の追尾対象の移動距離ＤＩＳＥＳＴを推定する。図１０を参照する。図１０には、共通の画像空間上に、５つの位置３５０〜３５４が示されている。図１０における位置３５０は、上述したように、仮想対象画像Ｉｎ’上における追尾対象領域の中心位置である。図１０において、位置３５０、３５１、３５２、３５３及び３５４を内包する実線楕円領域３７０、３７１、３７２、３７３及び３７４は、夫々、対象画像Ｉｎ、Ｉｎ＋１、Ｉｎ＋２、Ｉｎ＋３及びＩｎ＋４上における追尾対象領域を推定したものである。推定された追尾対象領域３７０〜３７４の大きさ及び形状は、プレビュー画像Ｉｎ−１上における追尾対象領域のそれと同じである。
【００８４】
位置３５１、３５２、３５３、３５４は、夫々、対象画像Ｉｎ＋１、Ｉｎ＋２、Ｉｎ＋３及びＩｎ＋４上における追尾対象領域の中心位置を推定したものである。位置３５１は、位置３５０から、移動方向３６０へ目標被写体間隔αだけずれた位置である。位置３５２、３５３及び３５４は、夫々、位置３５０から、移動方向３６０へ、（２×α）、（３×α）及び（４×α）だけずれた位置である。
【００８５】
連写可否判断部５５は、位置３５０及び３５４間の距離を、移動距離ＤＩＳＥＳＴとして推定する。即ち、対象画像列の撮影期間中、対象画像列上において追尾対象が移動方向３６０へ移動速度ＳＰにて移動すると仮定した上で、移動距離ＤＩＳＥＳＴが推定される。ｐ＝５であるため、移動距離ＤＩＳＥＳＴの推定式（３）は、
ＤＩＳＥＳＴ＝（４×α）＝α×（ｐ−１）＝ＩＮＴＴＧＴ×ＳＰ×（ｐ−１）  ・・・（３）
となる（上記式（２）参照）。
【００８６】
ｐ枚（今の例において５枚）の対象画像の夫々に追尾対象領域の全体が含まれると推定される場合にのみ、連写可否判断部５５は、ｐ枚の対象画像の連写が可能と判断し、そうでない場合には、ｐ枚の対象画像の連写が不可能であると判断する。図１０からも理解されるように、判断式（４）が成立する場合に連写が可能と判断され、判断式（４）が不成立の場合に連写が不可能と判断される。但し、マージンをみて、判断式（４）の代わりに判断式（５）を用いるようにしても良い（Δ＞０）。
ＤＩＳＡＬ≧ＤＩＳＥＳＴ＋ＳＩＺＥ／２                          ・・・（４）
ＤＩＳＡＬ≧ＤＩＳＥＳＴ＋ＳＩＺＥ／２＋Δ                      ・・・（５）
【００８７】
連写可否判断部５５によって連写が不可能であると判断された場合、報知制御部５６（図５）は、その旨を表す情報をユーザに対し、音声や映像により知らせる。
【００８８】
以下の説明では、特に記述なき限り、連写可否判断部５５にてｐ枚の対象画像の連写が可能であると判断され、実際に撮影されたｐ枚の対象画像の夫々に追尾対象領域の全体（即ち、追尾対象の全体像）が含まれているものとする。
【００８９】
ストロボ画像生成部５４は、対象画像Ｉｎ〜Ｉｎ＋ｐ−１に対する追尾結果情報と対象画像Ｉｎ〜Ｉｎ＋ｐ−１の画像データに基づき、対象画像Ｉｎ〜Ｉｎ＋ｐ−１の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ１８に記録することができる。尚、対象画像Ｉｎ〜Ｉｎ＋ｐ−１を外部メモリ１８に記録することもできる。
【００９０】
具体的には、対象画像Ｉｎ＋１〜Ｉｎ＋ｐ−１に対する追尾結果情報に基づいて対象画像Ｉｎ＋１〜Ｉｎ＋ｐ−１から対象画像Ｉｎ＋１〜Ｉｎ＋ｐ−１上の追尾対象領域内の画像を抽出し、対象画像Ｉｎ上に、対象画像Ｉｎ＋１、Ｉｎ＋２、・・・Ｉｎ＋ｐ−１から抽出した画像を順次上書きすることで、図３のストロボ画像３１５のようなストロボ画像を生成する。これにより、対象画像列の撮影期間中、実際に対象画像列上において追尾対象が移動方向３６０へ移動速度ＳＰにて移動したとしたならば、ストロボ画像上に、対象画像Ｉｎ〜Ｉｎ＋ｐ−１上における共通の追尾対象が目標被写体間隔αにて分散配置される。
【００９１】
或いは、対象画像Ｉｎ〜Ｉｎ＋ｐ−１に対する追尾結果情報に基づいて対象画像Ｉｎ〜Ｉｎ＋ｐ−１から対象画像Ｉｎ〜Ｉｎ＋ｐ−１上の追尾対象領域内の画像を抽出する一方で、白画像又は黒画像のような背景画像を用意しておき、背景画像上に、対象画像Ｉｎ、Ｉｎ＋１、Ｉｎ＋２、・・・Ｉｎ＋ｐ−１から抽出した画像を順次上書きすることでストロボ画像を生成するようにしても良い。
【００９２】
対象画像に対する追尾結果情報を用いることなくストロボ画像を生成することも可能である。例えば、ｐ＝５である場合、対象画像Ｉｎ＋１〜Ｉｎ＋４から、夫々、図１０の領域３７１〜３７４内の画像を抽出し、対象画像Ｉｎ上に対象画像Ｉｎ＋１〜Ｉｎ＋４から抽出した画像を順次上書きすることでストロボ画像を生成するようにしてもよいし、或いは、対象画像Ｉｎ〜Ｉｎ＋４から、夫々、図１０の領域３７０〜３７４内の画像を抽出し、上記背景画像上に対象画像Ｉｎ〜Ｉｎ＋４から抽出した画像を順次上書きすることでストロボ画像を生成するようにしてもよい。
【００９３】
＜＜動作フロー＞＞
次に、図１１を参照して、特殊連写モードにおける撮像装置１の動作の流れを説明する。図１１は、この動作の流れを表すフローチャートである。まず、ステップＳ１１において、追尾対象の設定が成されるのを待機する。追尾対象が設定されると、ステップＳ１１からステップＳ１２に移行し、上述の追尾処理が実行開始される。追尾対象の設定後においては、ステップＳ１２以外においても追尾処理が継続的に実行される。
【００９４】
追尾処理の実行開始後、ステップＳ１３においてシャッタボタン２６ｂが半押しの状態となっているかが確認される。シャッタボタン２６ｂの半押しが確認されると、その時点で得られている最新の追尾結果情報（２枚以上のプレビュー画像の追尾結果情報）に基づいて、移動速度ＳＰ及び被写体サイズＳＩＺＥが算出され、続いて、連写間隔ＩＮＴＴＧＴの設定及び連写可否判断部５５による連写可否の判断が成される（ステップＳ１４及びＳ１５）。
【００９５】
連写可否判断部５５により連写が可能と判断されると（ステップＳ１６のＹ）、ステップＳ１７において、報知制御部５６は、連写間隔ＩＮＴＴＧＴに応じた情報を撮像装置１の外部に報知する。この報知は、その情報をユーザが認識出るように視覚的又は聴覚的な手段を用いて実行される。具体的には例えば、断続的な電子音をスピーカ２８から出力するようにし、連写間隔ＩＮＴＴＧＴが比較的短いときには該電子音の出力間隔を比較的短くし（例えば、０．５秒かけて「ピピピッ」と聞こえる音をスピーカ２８から出力し）、連写間隔ＩＮＴＴＧＴが比較的長いときには該電子音の出力間隔を比較的長くする（例えば、１．５秒かけて「ピーピーピー」と聞こえる音をスピーカ２８から出力する）。連写間隔ＩＮＴＴＧＴに応じたアイコン等を表示部２７に表示するようにしてもよい。ステップＳ１７の報知により、ユーザは、これから行われる連写撮影の連写速度を認識することができると共に対象画像列の撮影時間を概略的に推定することができる。この結果、対象画像列の撮影中に、対象画像列の撮影が終わったと勘違いして、ユーザが撮影方向を変えてしまう或いは撮像装置１の電源を切ってしまう、といったことが防止される。
【００９６】
ステップＳ１７における報知の後、ステップＳ１８において、シャッタボタン２６ｂが全押しの状態となっているか否かが確認される。シャッタボタン２６ｂが全押しの状態となっていない場合にはステップＳ１２に戻るが、シャッタボタン２６ｂが全押しの状態となっている場合には、ステップＳ１９にてｐ枚の対象画像の連写が行われる。尚、ステップＳ１７における報知の実行中に、シャッタボタン２６ｂが全押しの状態となっていることが確認された場合においても、直ちにステップＳ１９へと移行してｐ枚の対象画像の連写が行われる。
【００９７】
ステップＳ１９にて連写されるｐ枚の対象画像の連写間隔ＩＮＴＴＧＴとして、ステップＳ１４にて設定されたそれを用いることができる。但し、シャッタボタン２６ｂの全押しが確認された時点で得られている最新のプレビュー画像を含む複数のプレビュー画像（例えば、プレビュー画像Ｉｎ−２及びＩｎ−１）についての追尾結果情報を用いて、移動速度ＳＰ及び被写体サイズＳＩＺＥを再算出すると共に連写間隔ＩＮＴＴＧＴを再設定し、再設定した連写間隔ＩＮＴＴＧＴに従ってステップＳ１９における連写を実行するようにしても良い。
【００９８】
ステップＳ１９に続くステップＳ２０では、ステップＳ１９にて得られたｐ枚の対象画像からストロボ画像が生成される。
【００９９】
連写可否判断部５５により連写が不可能と判断された場合には（ステップＳ１６のＮ）、ステップＳ２１に移行して警告表示が行われる。具体的には例えば、ステップＳ２１において、図１２（ａ）に示す如く、“最適な被写体間隔（目標被写体間隔α）では対象画像列を連写できない”という内容に対応する文章を表示部２７に表示する（該文章は、最新のプレビュー画像上に重畳表示される）。或いは例えば、ステップＳ２１において、図１２（ｂ）に示す如く、追尾対象の移動方向側の表示領域（図１２（ｂ）の斜線領域に対応）を点滅させるなどして、最適な被写体間隔では対象画像列を連写できない旨をユーザに伝えるようにしてもよい（該点滅は、表示部２７に表示されている最新のプレビュー画像上で行われる）。更に或いは例えば、ステップＳ２１において、図１２（ｃ）に示す如く、表示部２７に表示されている最新のプレビュー画像上に推奨の追尾対象位置を重畳表示するようにしても良い。図１２（ｃ）において、枠３９１が推奨の追尾対象位置を表している。枠３９１内に追尾対象が収まるように撮影方向を調整した状態でシャッタ操作を行なったならば最適な被写体間隔で対象画像列を連写できるであろう位置に、枠３９１は表示される。枠３９１の表示位置を、移動距離ＤＩＳＥＳＴと被写体サイズＳＩＺＥを用いて求めることができる。
【０１００】
ステップＳ２１に続くステップＳ２２では、シャッタボタン２６ｂの状態が半押しの状態に維持されているか否かが確認され、シャッタボタン２６ｂの半押しが解除されている場合にはステップＳ１２に戻る一方、シャッタボタン２６ｂの半押しが解除されていない場合にはステップＳ１７に移行する。ステップＳ２２からステップＳ１７に移行し、その後、シャッタボタン２６ｂが全押しの状態となったならばｐ枚の対象画像が連写される。但し、この場合においては、後の方で撮影される対象画像（例えば、対象画像Ｉｎ＋ｐ−１）に追尾対象が含まれない場合もあるため、ステップＳ２０にて生成されるストロボ画像上における追尾対象の数がｐ個未満になる可能性が高い。
【０１０１】
本実施形態によれば、追尾対象の移動速度に応じて追尾対象が望ましい位置間隔で配置されるように連写間隔が最適化される。即ち、異なる時刻の追尾対象の位置間隔を所望のものに調整することが可能となり、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる（図２０参照）。また、後の方で撮影される対象画像（例えば、対象画像Ｉｎ＋ｐ−１）に追尾対象が含まれなくなる（図２１参照）、或いは、追尾対象の位置変化の乏しい対象画像列が撮影される（図２０参照）、といった事態の発生も防止される。
【０１０２】
尚、本実施形態では、ｐ枚の対象画像からストロボ画像を生成しているが、ストロボ画像の生成は必須ではない。ｐ枚の対象画像は追尾対象に注目した所謂コマ送り画像として機能し、ｐ枚の対象画像に注目した場合においても、異なる時刻の追尾対象の位置間隔が所望のものに調整される等の作用及び効果は実現されている。
【０１０３】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態に係る撮像装置も、第１実施形態と同様、図１の撮像装置１である。第２実施形態では、撮像装置１の再生モードにおける特異な動作を主として説明する。この特異な動作を実現する再生モードの一種を、特殊再生モードという。
【０１０４】
図１３は、撮像装置１に内包される、特殊再生モードの動作に特に関与する部位のブロック図である。図１３に示される各部位は、図１のＣＰＵ２３又は映像信号処理部１３によって実現される。例えば、追尾処理部（物体検出部）６１及びストロボ画像生成部（画像合成部）６３を映像信号処理部１３に実装しておくことができ、画像選択部６２の機能をＣＰＵ２３に担わせることができる。
【０１０５】
図１３の追尾処理部６１は、第１実施形態における追尾処理部５１と同じ機能を有する。但し、第１実施形態の追尾処理部５１がプレビュー画像又は対象画像上における追尾対象領域の位置及び大きさを検出していたのに対して、追尾処理部６１は、追尾処理によって、フレーム画像列を形成する各フレーム画像上における追尾対象領域の位置及び大きさを検出する。ここにおけるフレーム画像列とは、特殊再生モードの動作の実行に先立って、撮影モードにて撮影された画像列である。より具体的には、所定のフレームレートにて撮像部１１が順次撮影を行うことで得た画像列をフレーム画像列として外部メモリ１８に保存しておき、特殊再生モードにおいて、外部メモリ１８から該フレーム画像列の画像データを読み出す。読み出された画像データを追尾処理部６１に与えることで、フレーム画像列に対して追尾処理を実行することができる。尚、フレーム画像列を撮影する時のフレームレートは、通常、一定とされるが、そのフレームレートが一定である必要は必ずしも無い。
【０１０６】
追尾処理部６１は、追尾対象の設定後、第１実施形態にて述べた方法に従って各フレーム画像に対して追尾処理を実行することにより、各フレーム画像上における追尾対象領域の位置及び大きさを表す情報を含む追尾結果情報を生成する。追尾結果情報の生成方法は、第１実施形態で述べたものと同様である。追尾処理部６１にて生成された追尾結果情報は、画像選択部６２及びストロボ画像生成部６３に送られる。
【０１０７】
画像選択部６２は、追尾処理部６１からの追尾結果情報に基づいて、フレーム画像列の中から複数のフレーム画像を複数の選択画像として選択及び抽出し、各選択画像の画像データをストロボ画像生成部６３に送る。選択画像の枚数は、フレーム画像列を形成するフレーム画像の枚数よりも少ない。
【０１０８】
ストロボ画像生成部６３は、各選択画像に対する追尾結果情報と各選択画像の画像データに基づき、各選択画像の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ１８に記録することができる。ストロボ画像の元になる画像の名称がストロボ画像生成部６３及び５４間で異なる点を除き、ストロボ画像生成部６３によるストロボ画像の生成方法は、第１実施形態に係るストロボ画像生成部５４のそれと同様である。
【０１０９】
今、外部メモリ１８から読み出されたフレーム画像列が、図１４に示す１０枚のフレーム画像ＦＩ１〜ＦＩ１０から形成されている場合を想定して、選択画像の抽出方法等を詳細に説明する。フレーム画像ＦＩｉ＋１は、フレーム画像ＦＩｉの次に撮影された画像であり（ｉは整数）、フレーム画像ＦＩ１〜ＦＩ１０の画像データが時系列順に追尾処理部６１に与えられる。尚、図１４では、後述の具体例にて選択画像として抽出されることとなるフレーム画像（ＦＩ１、ＦＩ４及びＦＩ９）の外枠を太線で示している
【０１１０】
特殊再生モードでは、まず１番目のフレーム画像ＦＩ１が表示部２７に表示され、この表示がなされている状態で、ユーザによる追尾対象を設定する操作を受け付ける。例えば、図１５に示す如く、表示部２７の表示画面２７ａ上にフレーム画像ＦＩ１を表示すると共に矢印型アイコン５１０を表示する。ユーザは、矢印型アイコン５１０の表示位置を操作部２６に対する所定操作によって変更することができる。そして、操作部２６を用いて表示画面２７ａ上における矢印型アイコン５１０の表示位置を注目物体（注目被写体）の表示位置に重ね合わせた状態で所定の決定操作を行うことで、ユーザは該注目物体を追尾対象に設定することができる。図１５に示す例の如く、矢印型アイコン５１０の表示位置を人物の表示位置に重ね合わせた状態で決定操作が成された場合、追尾処理部６１は、公知の輪郭抽出処理や顔検出処理を利用して、矢印型アイコン５１０の表示位置に表示されている物体の輪郭を抽出し、抽出結果から該物体を追尾対象として設定すると共に該物体の画像データの存在する画像領域をフレーム画像ＦＩ１上の追尾対象領域として設定することができる。尚、表示部２７に所謂タッチパネル機能が設けられている場合には、表示画面２７ａ上の注目物体を指にて触れる操作により追尾対象を設定することもできる。
【０１１１】
追尾処理部６１は、フレーム画像ＦＩ１〜ＦＩ１０の画像データに基づいて各フレーム画像上における追尾対象領域の位置及び大きさを導出する。フレーム画像ＦＩｉ及びＦＩｊ上の追尾対象領域の中心位置を、夫々、（ｘｉ，ｙｉ）及び（ｘｊ，ｙｊ）にて表す（ｉ及びｊは整数であって、ｉ≠ｊ）。また、図１６に示す如く、中心位置（ｘｉ，ｙｉ）と中心位置（ｘｊ，ｙｊ）との間の、画像空間上における距離をｄ［ｉ，ｊ］にて表し、それを追尾対象間距離とも言う。図１６において、破線５３０及び５３１で囲まれた領域は、夫々、フレーム画像ＦＩｉ及びＦＩｊ上における追尾対象領域を表している。中心位置（ｘｉ，ｙｉ）及び（ｘｊ，ｙｊ）間を結ぶ直線５３２と追尾対象領域５３０の外形とが交わる２つの交点間の距離が特定方向サイズＬｉとして求められ、直線５３２と追尾対象領域５３１の外形とが交わる２つの交点間の距離が特定方向サイズＬｊとして求められる。距離ｄ［ｉ，ｊ］並びに特定方向サイズＬｉ及びＬｊは、フレーム画像ＦＩｉ及びＦＩｊの追尾結果情報に基づき、画像選択部６２によって求められる。
【０１１２】
画像選択部６２は、まず、１番目のフレーム画像ＦＩ１を１番目の選択画像として抽出する。１番目の選択画像であるフレーム画像ＦＩ１よりも後に撮影されたフレーム画像は、２番目の選択画像の候補となる。画像選択部６２は、２番目の選択画像を抽出するために、変数ｊに２〜１０までの整数を順次代入しつつ追尾対象間距離ｄ［１，ｊ］と目標被写体間隔βとを比較する。そして、不等式「ｄ［１，ｊ］＞β」を成立させる１以上のフレーム画像の中から、１番目の選択画像よりも後に撮影され且つ１番目の選択画像に対して最も時間的に近くに撮影されたフレーム画像ＦＩｊを２番目の選択画像として選ぶ。今、ｊが２又は３である時には常に不等式「ｄ［１，ｊ］＞β」が成立しない一方、ｊが４以上１０以下の整数である時には常に不等式「ｄ［１，ｊ］＞β」が成立していたものとする。そうすると、フレーム画像ＦＩ４が２番目の選択画像として抽出される。
【０１１３】
目標被写体間隔βとは、時間的に隣接する２枚の選択画像上における追尾対象領域の中心位置間距離の目標値を指す。つまり例えば、ｉ番目及び（ｉ＋１）番目の選択画像上における追尾対象領域の中心位置間の距離の目標値が、目標被写体間隔βである。画像選択部６２は、被写体サイズＳＩＺＥ’に応じて、基準距離ともいうべき目標被写体間隔βを決定することができる。不等式「ｄ［ｉ，ｊ］＞β」の成否を判断する場合における被写体サイズＳＩＺＥ’として、特定方向サイズＬｉ及びＬｊの平均値を用いることができる。但し、３つ以上の特定方向サイズに基づいて被写体サイズＳＩＺＥ’を決定しても良い。即ち例えば、特定方向サイズＬ１〜Ｌ１０の平均値を被写体サイズＳＩＺＥ’に代入しても良い。
画像選択部６２は、例えば、「β＝ＳＩＺＥ’」となるように、又は、「β＝ｋ０×ＳＩＺＥ’」となるように、又は、「β＝ＳＩＺＥ’＋ｋ１」となるように、被写体サイズＳＩＺＥ’から目標被写体間隔βを決定する。ｋ０及びｋ１は、予め定められた係数である。但し、目標被写体間隔βをユーザの指示に従って定めることも可能である。また、係数ｋ０及びｋ１の値をユーザが定めても良い。
【０１１４】
このように、追尾処理部６１による追尾対象の位置の検出結果に基づく、１番目及び２番目の選択画像上における追尾対象間距離（ｄ［１，４］）が、追尾処理部６１による追尾対象の大きさの検出結果に基づく、基準距離とも言うべき目標被写体間隔β（例えば、Ｌ１及びＬ４の平均値）よりも大きくなるように、選択画像の抽出処理が成される。３番目以降の選択画像も同様にして抽出される。
【０１１５】
即ち、２番目の選択画像であるフレーム画像ＦＩ４よりも後に撮影されたフレーム画像は、３番目の選択画像の候補となる。画像選択部６２は、３番目の選択画像を抽出するために、変数ｊに５〜１０までの整数を順次代入しつつ追尾対象間距離ｄ［４，ｊ］と目標被写体間隔βとを比較する。そして、不等式「ｄ［４，ｊ］＞β」を成立させる１以上のフレーム画像の中から、２番目の選択画像よりも後に撮影され且つ２番目の選択画像に対して最も時間的に近くに撮影されたフレーム画像ＦＩｊを３番目の選択画像として選ぶ。今、ｊが５以上８以下である時には常に不等式「ｄ［４，ｊ］＞β」が成立しない一方、ｊが９又は１０である時には常に不等式「ｄ［４，ｊ］＞β」が成立していたものとする。そうすると、フレーム画像ＦＩ９が３番目の選択画像として抽出される。
【０１１６】
３番目の選択画像であるフレーム画像ＦＩ９よりも後に撮影されたフレーム画像は、４番目の選択画像の候補となる。本例では、フレーム画像ＦＩ１０のみが４番目の選択画像を候補となる。画像選択部６２は、４番目の選択画像を抽出するために、変数ｊに１０を代入しつつ追尾対象間距離ｄ［９，ｊ］と目標被写体間隔βとを比較する。そして、不等式「ｄ［９，ｊ］＞β」が成立する場合にはフレーム画像ＦＩ１０を４番目の選択画像として抽出する。一方、不等式「ｄ［９，ｊ］＞β」が成立しない場合には、フレーム画像ＦＩ１０を４番目の選択画像として抽出することなく、選択画像の抽出処理を完了する。今、変数ｊが１０である時において、不等式「ｄ［９，ｊ］＞β」が成立しなかった場合を想定する。そうすると、最終的に、フレーム画像ＦＩ１、ＦＩ４及びＦＩ９から成る３枚の選択画像が抽出されることとなる。図１７に、この３枚の選択画像から生成されたストロボ画像を示す。
【０１１７】
＜＜動作フロー＞＞
次に、図１８を参照して、特殊再生モードにおける撮像装置１の動作の流れを説明する。図１８は、この動作の流れを表すフローチャートである。まず、ステップＳ６１及びＳ６２において、１番目のフレーム画像ＦＩ１を外部メモリ１８から読み出して表示部２７に表示し、その状態において、ユーザによる追尾対象の設定操作を受け付ける。上述したように、１番目のフレーム画像ＦＩ１を１番目の選択画像として抽出することができる。追尾対象の設定が成されると、ステップＳ６３にて変数ｎに２を代入した後、ステップＳ６４においてフレーム画像ＦＩｎに追尾処理を実行することで、フレーム画像ＦＩｎ上における追尾対象領域の位置及び大きさを検出する。
【０１１８】
続くステップＳ６５において、追尾処理部６１からの追尾結果情報に基づき、上述したような追尾対象間距離（ｄ［ｉ，ｊ］に対応）と目標被写体間隔βとの比較を行う。そして、前者が後者（β）よりも大きい場合には、ステップＳ６６にてフレーム画像ＦＩｎを選択画像として抽出する一方、そうでない場合にはステップＳ６８に直接移行する。ステップＳ６６に続くステップ６７では、選択画像の抽出数が予め定められた必要数と一致しているか否かが判断され、それらが一致している場合には、その時点で選択画像の抽出を終了する一方、それらが一致していない場合にはステップＳ６７からステップＳ６８に移行する。ユーザは、上記必要数を指定することができる。
【０１１９】
ステップＳ６８では変数ｎとフレーム画像列を形成するフレーム画像の総枚数（図１４に示す例において、１０）が比較される。そして、現時点の変数ｎが該総枚数と一致している場合には選択画像の抽出を終了する一方で、そうでない場合には変数ｎに１を加算してから（ステップＳ６９）ステップＳ６４に戻って上述の各処理を繰り返す。
【０１２０】
本実施形態によれば、追尾対象が望ましい位置間隔で配置された選択画像列の抽出及びストロボ画像の生成が実現される。即ち、異なる時刻の追尾対象の位置間隔を所望のものに調整することが可能となり、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる（図２０参照）。また、追尾対象の位置変化の乏しい選択画像列が抽出される、といった事態の発生も防止される。
【０１２１】
更に本実施形態では、上記特許文献１と異なり、追尾処理を用いて選択画像の抽出が成されるため、追尾対象の存在していない所謂背景画像は必須とならず、背景画像が存在していなくても、所望の選択画像列の抽出及びストロボ画像の生成を行うことが可能となる。また、ユーザの希望に応じて、目標被写体間隔βを被写体サイズＳＩＺＥ’よりも小さくすることも可能であり、その場合は、異なる時刻の追尾対象の像を少しずつ重ねたようなストロボ画像を生成することもできる（特許文献１の方法では、そのようなストロボ画像の生成は不可能である）
【０１２２】
尚、本実施形態では、複数の選択画像からストロボ画像を生成しているが、ストロボ画像の生成は必須ではない。複数の選択画像は追尾対象に注目した所謂コマ送り画像として機能し、複数の選択画像に注目した場合においても、異なる時刻の追尾対象の位置間隔が所望のものに調整される等の作用及び効果は実現されている。
【０１２３】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。注目すべき特定被写体が望ましい位置間隔で配置された複数の撮影画像（図３に示す例では、画像３１１〜３１４）は、動画像中のフレーム画像列であっても良い。動画像を形成するフレーム画像列からストロボ画像を生成する方法を第３実施形態において説明する。第３実施形態は、第１実施形態を基礎とする実施形態であり、第３実施形態において特に述べない事項に関しては、矛盾なき限り第１実施形態の記載を本実施形態にも適用することができる。第３実施形態における以下の説明は、特に記述なき限り、撮影モードにおいて有効に機能する撮像装置１の構成及び撮影モードにおける撮像装置１の動作の説明である。
【０１２４】
撮像部１１の撮影によって得られる動画像が、画像Ｉ１、Ｉ２、Ｉ３、・・・Ｉｎ、Ｉｎ＋１、Ｉｎ＋２・・・を含んで形成されるものとする（ｎは整数）。第１実施形態では、画像Ｉｎ〜Ｉｎ＋ｐ−１が対象画像であって且つ画像Ｉｎ−１及びそれ以前に撮影された画像がプレビュー画像であると捉えたが（図４参照）、本実施形態において、それらは全て動画像６００を形成するフレーム画像であると捉える。フレーム画像Ｉｉ＋１はフレーム画像Ｉｉの次に撮影されるフレーム画像である（ｉは整数）。
【０１２５】
図２４に、動画像６００を形成するフレーム画像列の一部を示す。動画像６００は、録画ボタン２６ａ（図１参照）の押下操作に従って撮影されるものであっても良く、外部メモリ１８に記録されるべき動画像であっても良い。ユーザは、動画像６００の撮影中に、ストロボ用特定操作を成すことができる。ストロボ用特定操作は、例えば、図１の操作部２６に対する所定操作又は所定のタッチパネル操作である。ストロボ用特定操作が成されると、動画像６００を形成する一部のフレーム画像列が対象フレーム画像列として設定され、対象フレーム画像列から、第１実施形態で述べたようなストロボ画像が生成される。ここでは、ストロボ用特定操作がフレーム画像Ｉｎの撮影直前において成され、その結果、フレーム画像Ｉｎ〜Ｉｎ＋ｐ−１が、対象フレーム画像列を形成する複数の対象フレーム画像に設定された場合を想定する。ｐは、対象フレーム画像の枚数を表している。第１実施形態で述べたようにｐは２以上の整数である。ｐは、予め設定した固定値であっても良いし、ユーザが自由に定められる値であっても良い。尚、対象フレーム画像よりも前に撮影されたフレーム画像（即ち例えば、フレーム画像Ｉｎ−１等）を、特に、非対象フレーム画像とも呼ぶ。
【０１２６】
図２５は、撮像装置１に内包される部位のブロック図である。図２５に示される各部位は、図１のＣＰＵ２３又は映像信号処理部１３によって実現される。例えば、追尾処理部（物体検出部）１５１及びストロボ画像生成部（画像合成部）１５４を映像信号処理部１３に実装しておくことができ、ＣＰＵ２３内に追尾対象特性算出部（物体特性導出部）１５２及び撮影制御部１５３を設けておくことができる。
【０１２７】
図２５の追尾処理部１５１、追尾対象特性算出部１５２、撮影制御部１５３及びストロボ画像生成部１５４は、夫々、第１実施形態における追尾処理部５１、追尾対象特性算出部５２、連写制御部５３及びストロボ画像生成部５４の機能を実現でき（図５参照）、それらの機能に関して第１実施形態で述べた事項を本実施形態に適用する際、第１実施形態における入力動画像、プレビュー画像、対象画像及び連写間隔を、夫々、本実施形態においては動画像６００、非対象フレーム画像、対象フレーム画像及び撮影間隔に読み替えればよい。
【０１２８】
即ち、追尾処理部１５１は、動画像６００の画像データに基づいて動画像６００上における追尾対象を動画像６００上で追尾する追尾処理を実行し、各フレーム画像における追尾対象の位置及び大きさを表す情報を含む追尾結果情報を出力する。
【０１２９】
追尾対象特性算出部１５２は、非対象フレーム画像列に対して行った追尾処理の追尾結果情報に基づいて、画像空間上における追尾対象の移動速度ＳＰを算出すると共に追尾対象の大きさに応じた被写体サイズ（物体サイズ）ＳＩＺＥを算出する。移動速度ＳＰは、対象フレーム画像列上における追尾対象の移動速度の推定値として機能し、被写体サイズＳＩＺＥは、各対象フレーム画像上における追尾対象の大きさの推定値として機能する。２枚以上の非対象フレーム画像における追尾対象領域の位置及び大きさに基づいて、移動速度ＳＰ及び被写体サイズＳＩＺＥを算出することができる。この算出方法は、第１実施形態で述べた方法、即ち、２枚以上のプレビュー画像における追尾対象領域の位置及び大きさに基づき移動速度ＳＰ及び被写体サイズＳＩＺＥを算出する方法と同様である。例えば、２枚の非対象フレーム画像をＩＡ及びＩＢで表した場合、非対象フレーム画像ＩＡ及びＩＢにおける追尾対象領域の位置及び大きさから移動速度ＳＰ及び被写体サイズＳＩＺＥを算出することができ（図７参照）、非対象フレーム画像ＩＡ及びＩＢは、例えば夫々非対象フレーム画像Ｉｎ−２及びＩｎ−１である。
【０１３０】
撮影制御部１５３は、追尾対象特性算出部１５２にて算出された移動速度ＳＰに基づき、第１実施形態にて述べた式（２）に従って、ＩＮＴＴＧＴの値を決定する。この際、第１実施形態で述べたように、式（２）における目標被写体間隔αを、追尾対象特性算出部１５２にて算出された被写体サイズＳＩＺＥに基づき、或いは、ユーザの指示に基づき決定することができる。第１実施形態ではＩＮＴＴＧＴによって表される物理量を連写間隔と呼んでいたが、本実施形態においては、ＩＮＴＴＧＴによって表される物理量を撮影間隔と呼ぶ。撮影間隔ＩＮＴＴＧＴは、時間的に隣接する２枚の対象フレーム画像（例えば、Ｉｎ及びＩｎ＋１）の撮影時刻間の間隔を指す。対象フレーム画像Ｉｎの撮影時刻とは、厳密には例えば、対象フレーム画像Ｉｎの露光期間の開始時刻又は中間時刻を指す（他の任意のフレーム画像についても同様）。
【０１３１】
撮影制御部１５３は、撮影間隔ＩＮＴＴＧＴの設定後、撮影間隔ＩＮＴＴＧＴにてｐ枚の対象フレーム画像が連続的に撮影されるように、即ち、フレームレート（１／ＩＮＴＴＧＴ）にてｐ枚の対象フレーム画像が撮影されるように、ＴＧ２２（図１参照）と協働して撮像部１１を制御し、これによって略一定の位置間隔で追尾対象が配置されたｐ枚の対象フレーム画像を取得する。図２５に示す如く、撮影制御部１５３に撮影可否判断部１５５及び報知制御部１５６を設けておき、撮影可否判断部１５５及び報知制御部１５６に、図５の連写可否判断部５５及び報知制御部５６と同様の機能を持たせるようにしても良い。
【０１３２】
ストロボ画像生成部１５４は、対象フレーム画像Ｉｎ〜Ｉｎ＋ｐ−１に対する追尾結果情報と対象フレーム画像Ｉｎ〜Ｉｎ＋ｐ−１の画像データに基づき、対象フレーム画像Ｉｎ〜Ｉｎ＋ｐ−１の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ１８に記録することができる。画像Ｉｎ〜Ｉｎ＋ｐ−１に基づくストロボ画像の生成方法は、第１実施形態で述べた通りである。尚、上述してきたストロボ画像は静止画像である。静止画像としてのストロボ画像と、以下に示す動画像形式のストロボ画像とを区別すべく、静止画像としてのストロボ画像を、必要に応じて以下ではストロボ静止画像とも呼ぶ。
【０１３３】
ストロボ画像生成部１５４は、ストロボ動画像を生成することもできる。ｐが３であって且つ対象フレーム画像Ｉｎ〜Ｉｎ＋２が、夫々、図２６に示す画像６１１〜６１３である場合を想定して、それらに基づくストロボ動画像６３０を説明する。ストロボ動画像６３０は、３枚のフレーム画像６３１〜６３３から成る動画像である。フレーム画像６３１は、画像６１１と同じものである。フレーム画像６３２は、画像６１１及び６１２に対する追尾結果情報と画像６１１及び６１２の画像データに基づき、画像６１１及び６１２の追尾対象領域内の画像を合成することで得たストロボ静止画像である。フレーム画像６３３は、画像６１１〜６１３に対する追尾結果情報と画像６１１〜６１３の画像データに基づき、画像６１１〜６１３の追尾対象領域内の画像を合成することで得たストロボ静止画像である。このようにして得たフレーム画像６３１〜６３３を、この順番で時系列上に並べることにより、ストロボ動画像６３０が形成される。生成されたストロボ動画像６３０を外部メモリ１８に記録することができる。
【０１３４】
図２７を参照して、第３実施形態に係る撮像装置１の動作の流れを説明する。図２７は、この動作の流れを表すフローチャートである。まず、ステップＳ１１１において、追尾対象の設定が成されるのを待機する。追尾対象が設定されると、ステップＳ１１１からステップＳ１１２に移行し、追尾対象に対する追尾処理が実行開始される。追尾対象の設定後においては、ステップＳ１１２以外においても追尾処理が継続的に実行される。説明の便宜上、追尾対象の設定後、フレーム画像の夫々に追尾対象領域の全体（即ち、追尾対象の全体像）が含まれているものとする。尚、外部メモリ１８への動画像６００の記録は、追尾対象の設定前から開始されていても良いし、追尾対象の設定後に開始されても良い。
【０１３５】
追尾処理の実行開始後、ステップＳ１１３においてストロボ用特定操作が成されたか否かが確認され、ストロボ用特定操作が成されたことが確認されると、その時点で得られている最新の追尾結果情報（２枚以上の非対象フレーム画像の追尾結果情報）に基づき、移動速度ＳＰ及び被写体サイズＳＩＺＥが算出され、更に移動速度ＳＰ及び被写体サイズＳＩＺＥを用いて撮影間隔ＩＮＴＴＧＴが設定されて対象フレーム画像列が撮影される（ステップＳ１１４及びＳ１１５）。即ち、対象フレーム画像列用のフレームレート（１／ＩＮＴＴＧＴ）が設定され、その設定内容に従って実際に撮像部１１のフレームレートが基準レートから（１／ＩＮＴＴＧＴ）へと変更されてから、対象フレーム画像Ｉｎ〜Ｉｎ＋ｐ−１が撮影される。基準レートは、非対象フレーム画像に対するフレームレートである。
【０１３６】
対象フレーム画像Ｉｎ〜Ｉｎ＋ｐ−１の撮影が完了すると、フレームレートは基準レートへと戻される（ステップＳ１１６）。その後、任意のタイミングにおいて、対象フレーム画像列から、ストロボ静止画像（例えば、図２６のストロボ静止画像６３３）又はストロボ動画像（例えば、図２６のストロボ動画像６３０）が生成される。
【０１３７】
ストロボ用特定操作が成されたとき、対象フレーム画像列の撮影前に（或いは撮影中に）、撮影可否判断部１５５による対象フレーム画像の撮影可否判断及び／又は報知制御部１５６による撮影間隔報知を実行するようにしても良い。即ち例えば、ストロボ用特定操作が成されたとき、図２８のステップＳ１２１〜Ｓ１２３の処理を実行するようにしても良い。ステップＳ１２１において、撮影可否判断部１５５は、ｐ枚の対象フレーム画像の撮影可否を判断する。この判断方法は、図５の連写可否判断部５５による、ｐ枚の対象画像の連写可否の判断方法と同様である。連写可否判断部５５によってｐ枚の対象画像の連写が可能と判断される状況下においては、撮影可否判断部１５５によってｐ枚の対象フレーム画像の撮影は可能と判断され、連写可否判断部５５によってｐ枚の対象画像の連写が不可能と判断される状況下においては、撮影可否判断部１５５によってｐ枚の対象フレーム画像の撮影は不可能と判断される。撮影可否判断部１５５によってｐ枚の対象フレーム画像の撮影が不可能であると判断された場合、ステップＳ１２２において、報知制御部１５６は、音声や映像により、その旨をユーザに知らせる。また、ステップＳ１２３において、報知制御部１５６は、撮影間隔ＩＮＴＴＧＴに応じた情報を撮像装置１の外部に報知する。報知の方法は、第１実施形態で述べたものと同様である。
【０１３８】
本実施形態によれば、追尾対象の移動速度に応じて追尾対象が望ましい位置間隔で配置されるようにフレームレートが最適化される。即ち、異なる時刻の追尾対象の位置間隔が最適化され、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる（図２０参照）。また、後の方で撮影される対象フレーム画像（例えば、対象フレーム画像Ｉｎ＋ｐ−１）に追尾対象が含まれなくなる（図２１参照）、或いは、追尾対象の位置変化の乏しい対象フレーム画像列が撮影される（図２０参照）、といった事態の発生も防止される。
【０１３９】
第１及び第３実施形態間には共通点が多い。第１実施形態においては、連写によってｐ枚の対象画像から成る対象画像列が得られるのに対し、第３実施形態においては、動画像６００の撮影に伴ってｐ枚の対象フレーム画像から成る対象フレーム画像列が得られる。第１実施形態における連写制御部５３又は第３実施形態における撮影制御部１５３（図５又は２５参照）は、ｐ枚の対象画像又はｐ枚の対象フレーム画像を撮像部１１に取得させる撮影制御部として機能する。第１実施形態における連写間隔ＩＮＴＴＧＴは、時間的に隣接する２枚の対象画像（例えば、Ｉｎ及びＩｎ＋１）の撮影時刻間の間隔であるから、第１実施形態における連写間隔を、第３実施形態と同様、撮影間隔と呼ぶこともできる。また、第１実施形態におけるプレビュー画像を非対象画像と呼ぶこともできる。また、対象画像列の連写可否と対象画像列の撮影可否は同義であるから、図５の連写可否判断部５５を、対象画像列の撮影可否を判断する撮影可否判断部と呼ぶこともできる。
【０１４０】
尚、ストロボ画像の生成は必須ではない（後述の他の実施形態においても同様）。複数の対象フレーム画像（又は、後述の複数の選択画像）は追尾対象に注目した所謂コマ送り画像として機能し、複数の対象フレーム画像（又は、後述の複数の選択画像）に注目した場合においても、異なる時刻の追尾対象の位置間隔が所望のものに調整される等の作用及び効果は実現されている。
【０１４１】
また、追尾対象特性算出部１５２にて算出された移動速度ＳＰに基づき、各対象フレーム画像の露光期間の時間長さ（以下、露光時間と呼ぶ）を設定するようにしても良い。具体的には例えば、その移動速度ＳＰが大きくなるに従って各対象フレーム画像の露光時間が短くなるように、各対象フレーム画像の露光時間を設定すると良い。これにより、各対象フレーム画像上における追尾対象の像ぶれを抑制することが可能となる。この露光時間の設定処理は、上述の第１実施形態にも適用可能である。即ち、上述の第１実施形態において、追尾対象特性算出部５２にて算出された移動速度ＳＰに基づき、移動速度ＳＰが大きくなるに従って各対象画像の露光時間が短くなるように、各対象画像の露光時間を設定すると良い。
【０１４２】
＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。動画像を形成するフレーム画像列からストロボ画像を生成する他の方法を第４実施形態において説明する。第４実施形態は、第１及び第３実施形態を基礎とする実施形態であり、第４実施形態において特に述べない事項に関しては、矛盾なき限り第１又は第３実施形態の記載を本実施形態にも適用することができる。第４実施形態における以下の説明は、特に記述なき限り、撮影モードにおいて有効に機能する撮像装置１の構成及び撮影モードにおける撮像装置１の動作の説明である。
【０１４３】
第４実施形態においても、第３実施形態と同様、フレーム画像Ｉ１、Ｉ２、Ｉ３、・・・Ｉｎ、Ｉｎ＋１、Ｉｎ＋２・・・を含んで形成される動画像６００が撮影によって得られることを想定する。
【０１４４】
図２９に、動画像６００を形成するフレーム画像列の一部を示す。ユーザは、動画像６００の撮影中に、ストロボ用特定操作を成すことができる。第３実施形態と異なり、第４実施形態では、ストロボ用特定操作が成されると、動画像６００を形成する一部のフレーム画像が対象フレーム画像候補に設定される。その後、複数の対象フレーム画像候補から複数の対象フレーム画像が選択され、複数の対象フレーム画像に基づき、第１若しくは第３実施形態で述べたようなストロボ静止画像又は第３実施形態で述べたようなストロボ動画像が生成される。ここでは、ストロボ用特定操作がフレーム画像Ｉｎの撮影直前において成され、その結果、フレーム画像Ｉｎ及びそれ以降に得られるフレーム画像の夫々が対象フレーム画像候補に設定された場合を想定する。尚、対象フレーム画像候補よりも前に撮影されたフレーム画像（即ち例えば、フレーム画像Ｉｎ−１等）を、特に、非対象フレーム画像とも呼ぶ。
【０１４５】
図３０は、撮像装置１に内包される部位のブロック図である。図３０に示される撮影制御部１５３ａを図１のＣＰＵ２３によって実現することができる。撮影制御部１５３ａは、図２５の撮影制御部１５３に対象画像選択部１５７を付与したものである。但し、撮影制御部１５３ａは、撮影制御部１５３が実行するようなフレームレート制御を実行しない。
【０１４６】
図３０の追尾処理部１５１、追尾対象特性算出部１５２、撮影制御部１５３ａ及びストロボ画像生成部１５４は、夫々、第１実施形態における追尾処理部５１、追尾対象特性算出部５２、連写制御部５３及びストロボ画像生成部５４の機能を実現でき（図５参照）、それらの機能に関して第１実施形態で述べた事項を本実施形態に適用する際、第１実施形態における入力動画像、プレビュー画像、対象画像及び連写間隔を、夫々、本実施形態においては動画像６００、非対象フレーム画像、対象フレーム画像及び撮影間隔に読み替えればよい。追尾処理部１５１、追尾対象特性算出部１５２及びストロボ画像生成部１５４の動作は、第３及び第４実施形態間で同じである。
【０１４７】
対象画像選択部１５７は、追尾対象特性算出部１５２にて算出された移動速度ＳＰに基づき、第１実施形態にて述べた式（２）に従って、ＩＮＴＴＧＴの値を決定する。この際、第１実施形態で述べたように、式（２）における目標被写体間隔αを、追尾対象特性算出部１５２にて算出された被写体サイズＳＩＺＥに基づき、或いは、ユーザの指示に基づき決定することができる。第１実施形態ではＩＮＴＴＧＴによって表される物理量を連写間隔と呼んでいたが、本実施形態においては、ＩＮＴＴＧＴによって表される物理量を基準間隔と呼ぶ。基準間隔ＩＮＴＴＧＴは、時間的に隣接する２枚の対象フレーム画像（例えば、Ｉｎ及びＩｎ＋３）の撮影時刻の理想的な間隔を指す。
【０１４８】
第３実施形態とは異なり、第４実施形態では、動画像６００の撮影におけるフレームレートが一定のレートにて固定される。対象画像選択部１５７は、基準間隔ＩＮＴＴＧＴに基づき、対象フレーム画像候補の中からｐ枚の対象フレーム画像を選択する。この選択後、ストロボ画像生成部１５４は、第３実施形態で述べた方法に従い、任意のタイミングにおいて、ｐ枚の対象フレーム画像及び追尾結果情報に基づき、ストロボ静止画像又はストロボ動画像を生成することができる。
【０１４９】
説明の具体化のため、動画像６００の撮影におけるフレームレートが６０ｆｐｓ（frame per second）にて固定され且つｐ＝３である場合を想定して、対象フレーム画像の選択方法を説明する。この場合、時間的に隣接するフレーム画像の撮影間隔は、１／６０秒である。図３１（ａ）に示す如く、フレーム画像Ｉｎの撮影時刻をｔＯで表し、フレーム画像Ｉｎ＋ｉの撮影時刻を（ｔＯ＋ｉ×１／６０）で表す。時刻（ｔＯ＋ｉ×１／６０）は、時刻ｔＯから（ｉ×１／６０）秒だけ経過した時刻を指す。図３１（ａ）では、対象フレーム画像として選択されることとなるフレーム画像Ｉｎ、Ｉｎ＋３及びＩｎ＋６の外枠を太線で示している（後述の図３１（ｂ）及び（ｃ）も同様）。
【０１５０】
まず、対象画像選択部１５７は、基準間隔ＩＮＴＴＧＴに関係なく、１番目の対象フレーム画像候補であるフレーム画像Ｉｎを１番目の対象フレーム画像として選択する。次に、対象画像選択部１５７は、全ての対象フレーム画像候補の内、撮影時刻が時刻（ｔＯ＋１×ＩＮＴＴＧＴ）に最も近い対象フレーム画像候補を、２番目の対象フレーム画像に設定する。続いて、対象画像選択部１５７は、全ての対象フレーム画像候補の内、撮影時刻が時刻（ｔＯ＋２×ＩＮＴＴＧＴ）に最も近い対象フレーム画像候補を、３番目の対象フレーム画像に設定する。ｐが４以上である場合にも同様である。一般化すれば、対象画像選択部１５７は、全ての対象フレーム画像候補の内、撮影時刻が時刻（ｔＯ＋（ｊ−１）×ＩＮＴＴＧＴ）に最も近い対象フレーム画像候補を、ｊ番目の対象フレーム画像に設定することととなる（ここにおけるｊは２以上の整数）。
【０１５１】
従って例えば、動画像６００のフレームレートが６０ｆｐｓである場合において、基準間隔ＩＮＴＴＧＴが１／２０秒であるならば画像Ｉｎ＋３及びＩｎ＋６が２及び３番目の対象フレーム画像として選択され（図３１（ａ）参照）、基準間隔ＩＮＴＴＧＴが１／１６．５秒であるならば画像Ｉｎ＋４及びＩｎ＋７が２及び３番目の対象フレーム画像として選択され（図３１（ｂ）参照）、基準間隔ＩＮＴＴＧＴが１／１５秒であるならば画像Ｉｎ＋４及びＩｎ＋8が２及び３番目の対象フレーム画像として選択される（図３１（ｃ）参照）。但し、基準間隔ＩＮＴＴＧＴが１／１６．５秒であるときには、時間的に隣接する対象フレーム画像の撮影間隔を一定にするべく、画像Ｉｎ＋４及びＩｎ＋8を２及び３番目の対象フレーム画像として選択するようにしても良い。
【０１５２】
図３２を参照して、第４実施形態に係る撮像装置１の動作の流れを説明する。図３２は、この動作の流れを表すフローチャートである。まず、ステップＳ１３１において、追尾対象の設定が成されるのを待機する。追尾対象が設定されると、ステップＳ１３１からステップＳ１３２に移行し、追尾対象に対する追尾処理が実行開始される。追尾対象の設定後においては、ステップＳ１３２以外においても追尾処理が継続的に実行される。説明の便宜上、追尾対象の設定後、フレーム画像の夫々に追尾対象領域の全体（即ち、追尾対象の全体像）が含まれているものとする。尚、外部メモリ１８への動画像６００の記録は、追尾対象の設定前から開始されていても良いし、追尾対象の設定後に開始されても良い。但し、少なくとも１番目の対象フレーム画像候補の撮影前には、外部メモリ１８への動画像６００の記録が開始されているものとする。
【０１５３】
追尾処理の実行開始後、ステップＳ１３３においてストロボ用特定操作が成されたか否かが確認される。ストロボ用特定操作が成されたことが確認されると、ステップＳ１３４において、その時点で得られている最新の追尾結果情報（２枚以上の非対象フレーム画像の追尾結果情報）に基づき移動速度ＳＰ及び被写体サイズＳＩＺＥが算出され、移動速度ＳＰ及び被写体サイズＳＩＺＥを用いて基準間隔ＩＮＴＴＧＴが算出される。対象画像選択部１５７は、上述したように、基準間隔ＩＮＴＴＧＴを用いて対象フレーム画像候補の中からｐ枚の対象フレーム画像を選択する。
【０１５４】
動画像６００を形成するフレーム画像の画像データは時系列順に外部メモリ１８へと記録されるが、この際、対象フレーム画像に対しては合成用タグが付与される（ステップＳ１３５）。具体的には例えば、動画像６００の画像データを格納する画像ファイルのヘッダ領域に、対象フレーム画像が何れのフレーム画像であるのかを指し示す合成用タグを格納しておけばよい。当該画像ファイルを外部メモリ１８に保存することで、動画像６００の画像データ及び合成用タグが互いに関連付けられた状態で外部メモリ１８に記録されることとなる。
【０１５５】
動画像６００の記録後、任意のタイミングにおいて、ストロボ画像生成部１５４は、外部メモリ１８に記録された合成用タグに基づき外部メモリ１８からｐ枚の対象フレーム画像を読み出すことができ、読み出したｐ枚の対象フレーム画像から、ストロボ静止画像（例えば、図２６のストロボ静止画像６３３）又はストロボ動画像（例えば、図２６のストロボ動画像６３０）を生成することができる。
【０１５６】
尚、ストロボ用特定操作が成されたとき、第３実施形態と同様、対象フレーム画像候補の撮影前に（或いは撮影中に）、撮影可否判断部１５５による対象フレーム画像の撮影可否判断及び／又は報知制御部１５６による撮影間隔報知を実行するようにしても良い。
【０１５７】
本実施形態によれば、追尾対象が望ましい位置間隔で配置されるように対象フレーム画像が選択される。即ち、対象フレーム画像列上において異なる時刻の追尾対象の位置間隔が最適化され、結果例えば、ストロボ画像上において異なる時刻の追尾対象の像が重なり合うこと等を防止することができる（図２０参照）。また、後の方で撮影される対象フレーム画像に追尾対象が含まれなくなる（図２１参照）、或いは、追尾対象の位置変化の乏しい対象フレーム画像列が取得される（図２０参照）、といった事態の発生も防止される。
【０１５８】
尚、第３実施形態でも述べたように、追尾対象特性算出部１５２にて算出された移動速度ＳＰに基づき、各対象フレーム画像候補の露光時間を設定するようにしても良い。具体的には例えば、その移動速度ＳＰが大きくなるに従って各対象フレーム画像候補の露光時間が短くなるように、各対象フレーム画像候補の露光時間を設定すると良い。これにより、各対象フレーム画像候補及び各対象フレーム画像上における追尾対象の像ぶれを抑制することが可能となる。
【０１５９】
＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。第５実施形態は、第２実施形態を基礎とする実施形態であり、第５実施形態において特に述べない事項に関しては、矛盾なき限り第２実施形態の記載を本実施形態にも適用することができる。第５実施形態においても、第２実施形態と同様、特殊再生モードにおける撮像装置１の動作を説明する。特殊再生モードにおいては、図１３の追尾処理部６１、画像選択部６２及びストロボ画像生成部６３が有意に動作する。
【０１６０】
第２実施形態で述べたように、所定のフレームレートにて撮像部１１が順次撮影を行うことで得た画像列をフレーム画像列として外部メモリ１８に保存しておき、特殊再生モードにおいて、外部メモリ１８から該フレーム画像列の画像データを読み出す。本実施形態におけるフレーム画像とは、特に記述なき限り、特殊再生モードにおいて外部メモリ１８から読み出されたフレーム画像である。
【０１６１】
追尾処理部６１は、追尾対象の設定後、各フレーム画像に対して追尾処理を実行することにより、各フレーム画像上における追尾対象領域の位置及び大きさを表す情報を含む追尾結果情報を生成する。画像選択部６２は、追尾処理部６１からの追尾結果情報に基づいて、フレーム画像列の中から複数のフレーム画像を複数の選択画像として選択及び抽出し、各選択画像の画像データをストロボ画像生成部６３に送る。ストロボ画像生成部６３は、各選択画像に対する追尾結果情報と各選択画像の画像データに基づき、各選択画像の追尾対象領域内の画像を合成することでストロボ画像を生成する。生成されたストロボ画像を外部メモリ１８に記録することができる。生成されるストロボ画像は、図２６のストロボ静止画像６３３のようなストロボ静止画像であっても良いし、図２６のストロボ動画像６３０のようなストロボ動画像であっても良い。第５実施形態において、選択画像の枚数をｐにて表す（ｐは２以上の整数）。
【０１６２】
外部メモリ１８から読み出されるフレーム画像列としての動画像を、動画像７００と呼ぶ。図３３に、動画像７００を形成するフレーム画像を示す。動画像７００は、フレーム画像ＦＩ１、ＦＩ２、ＦＩ３、・・・ＦＩｎ、ＦＩｎ＋１、ＦＩｎ＋２・・・を含んで形成されるものとする。第２実施形態で述べたように、フレーム画像ＦＩｉ＋１は、フレーム画像ＦＩｉの次に撮影された画像である（ｉは整数）。全てのフレーム画像に追尾対象の画像データが存在している必要はないが、説明の便宜上、動画像７００を形成する全フレーム画像に追尾対象の画像データが存在しているものとする。また、動画像７００のフレームレートＦＲは一定であるものとする。動画像７００のフレームレートが６０ｆｐｓのとき、ＦＲは６０である。ＦＲの単位は、秒の逆数である。
【０１６３】
ユーザは、選択画像の候補となるフレーム画像を、動画像７００を形成するフレーム画像の中から自由に指定することができる。通常は、時間的に連続する複数のフレーム画像が選択画像の候補に設定される。今、図３３に示す如く、ｍ枚のフレーム画像ＦＩｎ〜ＦＩｎ＋ｍ−１が選択画像の候補として設定された場合を想定し、フレーム画像ＦＩｎ〜ＦＩｎ＋ｍ−１を候補画像（ｍ枚の入力画像）とも呼ぶ。また、フレーム画像ＦＩｎよりも前の撮影によって得られたフレーム画像（例えば、フレーム画像ＦＩｎ−１）を、特に非候補画像（非対象入力画像）とも呼ぶ。ｍは２以上の整数であって、ｍ＞ｐを満たす。
【０１６４】
画像選択部６２は、追尾対象の移動速度ＳＰの検出結果を利用して選択画像を決定することができる。画像選択部６２による移動速度ＳＰの検出方法は、非候補画像に基づく移動速度検出方法と候補画像に基づく移動速度検出方法とに大別される。
【０１６５】
非候補画像に基づく移動速度検出方法では、非候補画像に対する追尾結果情報を利用し、複数の非候補画像上における追尾対象領域の位置に基づいて、候補画像列上における追尾対象の移動速度ＳＰを推定検出する。例えば、互いに異なる２枚の非候補画像を図１６のフレーム画像ＦＩｉ及びＦＩｊとして捉え、フレーム画像ＦＩｉ及びＦＩｊに対して求められた追尾対象間距離ｄ［ｉ，ｊ］と動画像７００のフレームレートＦＲから移動速度ＳＰを算出する。動画像７００のフレームレートＦＲからフレーム画像ＦＩｉ及びＦＩｊ間の撮影時間差（即ち、フレーム画像ＦＩｉの撮影時刻とフレーム画像ＦＩｊの撮影時刻との間の時間差）を導出し、追尾対象間距離ｄ［ｉ，ｊ］を該撮影時間差で割ることで移動速度ＳＰを算出することができる。２枚の非候補画像としてのフレーム画像ＦＩｉ及びＦＩｊは、時間的に隣接するフレーム画像（例えば、フレーム画像ＦＩｎ−２及びＦＩｎ−１、又は、フレーム画像ＦＩｎ−３及びＦＩｎ−２）であっても良いし、時間的に隣接しないフレーム画像（例えば、フレーム画像ＦＩｎ−３及びＦＩｎ−１、又は、フレーム画像ＦＩｎ−４及びＦＩｎ−１）であっても良い。例えば、フレーム画像ＦＩｉ及びＦＩｊとして非候補画像ＦＩｎ−２及びＦＩｎ−１を利用した場合、“ＳＰ＝ｄ［ｎ−２，ｎ−１］÷１／ＦＲ”に従って移動速度ＳＰが算出され、フレーム画像ＦＩｉ及びＦＩｊとして非候補画像ＦＩｎ−３及びＦＩｎ−１を利用した場合、“ＳＰ＝ｄ［ｎ−３，ｎ−１］÷２／ＦＲ”に従って移動速度ＳＰが算出される。
【０１６６】
候補画像に基づく移動速度検出方法では、候補画像に対する追尾結果情報を利用し、複数の候補画像上における追尾対象領域の位置に基づいて、候補画像列上における追尾対象の移動速度ＳＰを検出する。例えば、互いに異なる２枚の候補画像を図１６のフレーム画像ＦＩｉ及びＦＩｊとして捉え、フレーム画像ＦＩｉ及びＦＩｊに対して求められた追尾対象間距離ｄ［ｉ，ｊ］と動画像７００のフレームレートＦＲから移動速度ＳＰを算出する。動画像７００のフレームレートＦＲからフレーム画像ＦＩｉ及びＦＩｊ間の撮影時間差（即ち、フレーム画像ＦＩｉの撮影時刻とフレーム画像ＦＩｊの撮影時刻との間の時間差）を導出し、追尾対象間距離ｄ［ｉ，ｊ］を該撮影時間差で割ることで移動速度ＳＰを算出することができる。２枚の候補画像としてのフレーム画像ＦＩｉ及びＦＩｊは、時間的に隣接するフレーム画像（例えば、フレーム画像ＦＩｎ及びＦＩｎ＋１、又は、フレーム画像ＦＩｎ＋１及びＦＩｎ＋２）であっても良いし、時間的に隣接しないフレーム画像（例えば、フレーム画像ＦＩｎ及びＦＩｎ＋２、又は、フレーム画像ＦＩｎ及びＦＩｎ＋ｍ−１）であっても良い。例えば、フレーム画像ＦＩｉ及びＦＩｊとして候補画像ＦＩｎ及びＦＩｎ＋１を利用した場合、“ＳＰ＝ｄ［ｎ，ｎ＋１］÷１／ＦＲ”に従って移動速度ＳＰが算出され、フレーム画像ＦＩｉ及びＦＩｊとして候補画像ＦＩｎ及びＦＩｎ＋２を利用した場合、“ＳＰ＝ｄ［ｎ，ｎ＋２］÷２／ＦＲ”に従って移動速度ＳＰが算出される。
【０１６７】
一方で、画像選択部６２は、第２実施形態で述べた目標被写体間隔βを決定する。画像選択部６２は、第２実施形態で述べた方法に従って目標被写体間隔βを決定することができる。即ち例えば、被写体サイズＳＩＺＥ’に応じて目標被写体間隔βを決定することができる。被写体サイズＳＩＺＥ’の算出方法として、第２実施形態で述べた方法を利用することができる。即ち例えば、特定方向サイズＬｉ及びＬｊの平均値（より具体的には、特定方向サイズＬｎ及びＬｎ＋１など）を被写体サイズＳＩＺＥ’として求めるようにしても良いし、被写体サイズＳＩＺＥ’の導出前にｍの値が定まっているならば特定方向サイズＬｎ〜Ｌｎ＋ｍ−１の平均値を被写体サイズＳＩＺＥ’として求めるようにしても良い。
【０１６８】
画像選択部６２は、まず、１番目の候補画像であるフレーム画像ＦＩｎを１番目の選択画像に設定する。そして、検出した移動速度ＳＰに基づき、異なる候補画像間における追尾対象の移動距離を推定する。動画像７００のフレームレートはＦＲであるから、図３４に示す如く、フレーム画像ＦＩｎ及びＦＩｎ＋ｉ間における追尾対象の推定移動距離は“ｉ×ＳＰ／ＦＲ”である。追尾処理部６１による追尾対象の位置の検出結果に基づく推定移動距離“ｉ×ＳＰ／ＦＲ”は、フレーム画像ＦＩｎ及びＦＩｎ＋ｉ上における追尾対象間距離（換言すれば、フレーム画像ＦＩｎ上における追尾対象の位置とフレーム画像ＦＩｎ＋ｉ上における追尾対象の位置との間の距離）の推定値に相当する。
【０１６９】
画像選択部６２は、上記推定移動距離に基づく１番目及び２番目の選択画像上における追尾対象間距離が、追尾処理部６１による追尾対象の大きさの検出結果に基づく基準距離とも言うべき目標被写体距離βよりも大きくなるように２番目の選択画像を候補画像列の中から抽出する。１番目の選択画像であるフレーム画像ＦＩｎよりも後に撮影されたフレーム画像は、２番目の選択画像の候補となる。画像選択部６２は、２番目の選択画像を抽出するために、変数ｊに（ｎ＋１）〜（ｎ＋ｍ−１）までの整数を順次代入しつつ追尾対象間距離ｄ［ｎ，ｊ］の推定値である推定移動距離“（ｊ−ｎ）×ＳＰ／ＦＲ”と目標被写体間隔βとを比較する。そして、不等式「（ｊ−ｎ）×ＳＰ／ＦＲ＞β」を成立させる１以上の候補画像の中から、１番目の選択画像よりも後に撮影され且つ１番目の選択画像に対して最も時間的に近くに撮影された候補画像ＦＩｊを２番目の選択画像として選ぶ。今、ｊが（ｎ＋１）又は（ｎ＋２）である時には常に上記不等式が成立しない一方、ｊが（ｎ＋３）以上の整数である時には常に上記不等式が成立していたものとする。そうすると、候補画像ＦＩｎ＋３が２番目の選択画像として抽出される。
【０１７０】
３番目以降の選択画像も同様にして選定される。即ち、画像選択部６２は、推定移動距離に基づく２番目及び３番目の選択画像上における追尾対象間距離が、目標被写体距離βよりも大きくなるように３番目の選択画像を候補画像列の中から抽出する（但し、この際、２番目及び３番目の選択画像の撮影時間差をなるだけ小さくするという条件が課せられる）。
【０１７１】
尚、３番目の選択画像を、１番目及び２番目の選択画像の撮影間隔から自動的に決定しても良い。即ち、１番目及び２番目の選択画像の撮影間隔と２番目及び３番目の選択画像の撮影間隔が同じとなるように、３番目の選択画像を決定するようにしても良い。この場合例えば、フレーム画像ＦＩｎ＋３が２番目の選択画像として抽出されると、自動的に、３番目の選択画像はフレーム画像ＦＩｎ＋６に決定される。４番目及びそれ以降の選択画像についても同様である。
【０１７２】
図３５を参照して、特殊再生モードにおける撮像装置１の動作の流れの一例を説明する。図３５は、この動作の流れを表すフローチャートである。まず、ステップＳ１６１及びＳ１６２において、動画像７００の再生を開始する一方で追尾対象の設定操作及び候補画像列の設定操作を促すメニューを表示部２７に表示し、その状態において、ユーザによる追尾対象の設定操作及び候補画像列の設定操作を受け付ける。候補画像列の設定操作によって、ユーザは、動画像７００中の任意の映像区間内のフレーム画像列を候補画像列に設定することができる。上述したように、候補画像列における１番目のフレーム画像を１番目の選択画像として抽出することができる。追尾対象及び候補画像列の設定が成されると、ステップＳ１６３にて変数ｉに１を代入した後、ステップＳ１６４においてフレーム画像ＦＩｎ＋ｉに追尾処理を実行することで、フレーム画像ＦＩｎ＋ｉ上における追尾対象領域の位置及び大きさを検出する。尚、非候補画像を用いて移動速度ＳＰを算出する場合には、非候補画像列に対しても追尾処理が成される。
【０１７３】
続くステップＳ１６５において、追尾処理部６１からの追尾結果情報に基づき、上述したような追尾対象間距離の推定値と目標被写体間隔βとの比較を行う。そして、前者が後者（β）よりも大きい場合には、ステップＳ１６６にてフレーム画像ＦＩｎ＋ｉを選択画像として抽出する一方、そうでない場合にはステップＳ１６８に直接移行する。ステップＳ１６６に続くステップ１６７では、選択画像の抽出数が予め定められた必要数（即ちｐの値）と一致しているか否かが判断され、それらが一致している場合には、その時点で選択画像の抽出を終了する一方、それらが一致していない場合にはステップＳ１６７からステップＳ１６８に移行する。ユーザは、上記必要数を指定することができる。
【０１７４】
ステップＳ１６８では変数ｉと候補画像の総枚数（即ち、ｍの値）が比較される。そして、現時点の変数ｉが該総枚数と一致している場合には、候補画像列の再生が終了したと判断して選択画像の抽出処理を終了する一方で、そうでない場合には変数ｉに１を加算してから（ステップＳ１６９）ステップＳ１６４に戻って上述の各処理を繰り返す。
【０１７５】
本実施形態によっても、第２実施形態と同様の効果が得られる。
【０１７６】
＜＜第６実施形態＞＞
本発明の第６実施形態を説明する。第６実施形態では、画像データの圧縮及び伸張の存在を考慮し、第２及び第５実施形態に適用可能な技術を説明する。説明の具体化のため、図３３に示す動画像７００が外部メモリ１８に記録されている状態を考える。
【０１７７】
動画像７００を外部メモリ１８に記録する際、図１の圧縮処理部１６により、動画像７００の画像データは所定の圧縮方式にて圧縮される。圧縮方式は任意である。例えば、ＭＰＥＧ（Moving Picture Experts Group）に規定された圧縮方式や、Ｈ．２６４に規定された圧縮方式を利用することができる。以下、圧縮された画像データを特に圧縮画像データとも呼び、圧縮の成されていない画像データを特に非圧縮画像データとも呼ぶ。動画像７００を表示部２７上で再生する際、外部メモリ１８から読み出された動画像７００の圧縮画像データは図１の伸張処理部１９に送られ、伸張処理部１９は、圧縮画像データを非圧縮画像データに戻す伸張処理を実行する。これによって得られた動画像７００の非圧縮画像データを表示処理部２０に転送することで、動画像７００が映像として表示部２７に表示される。
【０１７８】
動画像７００の非圧縮画像データは、各々が独立した静止画像の集まりである。従って、表示処理部２０に転送されるものと同じ非圧縮画像データを、必要分だけ図１の内部メモリ１７に書き込むようにすれば、内部メモリ１７に保持された非圧縮画像データから、ストロボ静止画像又はストロボ動画像を生成することが可能である。実際には、ユーザによる候補画像列の設定操作（図３５のステップＳ１６２参照）が成された後、候補画像列の再生区間中に表示処理部２０に転送されるものと同じ非圧縮画像データを、内部メモリ１７に書き込むようにすれば良い。圧縮画像データを元にしてストロボ画像を生成するためには、まず圧縮画像データを伸張する必要があるが、上述の如く、この伸張に映像再生用に成される伸張処理を利用することができる。
【０１７９】
また、ＭＰＥＧでは、フレーム間差分を利用して、圧縮動画像であるＭＰＥＧ動画像が生成される。周知の如く、ＭＰＥＧ動画像は、３種類のピクチャ、即ち、フレーム内符号化画像（Intra-Coded Picture）であるＩピクチャ、フレーム間予測符号化画像（Predictive-Coded Picture）であるＰピクチャ、及び、フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）であるＢピクチャから構成される。Ｉピクチャは、１枚のフレーム画像の映像信号を当該フレーム画像内で符号化することで得た画像であるため、Ｉピクチャ単独で１枚のフレーム画像の映像信号を復号することが可能である。一方で、Ｐピクチャ単独では、１枚のフレーム画像の映像信号を復号することができず、Ｐピクチャに対応するフレーム画像を復号するためには、他のピクチャとの差分演算等が必要である。Ｂピクチャについても同様である。従って、Ｐピクチャ及びＢピクチャに対応するフレーム画像を復号するために必要な演算負荷は、Ｉピクチャのそれよりも重い。
【０１８０】
これを考慮し、演算負荷の軽減を図るべく、第５実施形態における候補画像列をＩピクチャのみにて形成するようにしても良い（同様に、第２実施形態におけるフレーム画像ＦＩ１〜ＦＩ１０をＩピクチャのみにて形成するようにしても良い）。この場合、動画像７００のフレームレートが６０ｆｐｓであっても、候補画像列のフレームレートは例えば３〜１０ｆｐｓ程度となるが、追尾対象の移動速度がそれほど大きくない場合においては、問題が少ない。
【０１８１】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１８２】
［注釈１］
図１３の追尾処理部６１、画像選択部６２及びストロボ画像生成部６３を含んで形成される画像処理装置が撮像装置１内に設けられている例を上述したが、その画像処理装置は、撮像装置１の外部に設けられたものであっても良い。この場合、その外部の画像処理装置に対して、撮像装置１の撮影によって得られたフレーム画像列の画像データを供給することにより、その外部の画像処理装置にて選択画像の抽出及びストロボ画像の生成が成される。
【０１８３】
［注釈２］
撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図５、図１３、図２５又は図３０に示される各部位にて実行される処理の全部又は一部は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
【符号の説明】
【０１８４】
１  撮像装置
１１  撮像部
３３  撮像素子
５１  追尾処理部
５２  追尾対象特性算出部
５３  連写制御部
５４  ストロボ画像生成部
５５  連写可否制御部
５６  報知制御部
６１  追尾処理部
６２  画像選択部
６３  ストロボ画像生成部
１５１  追尾処理部
１５２  追尾対象特性算出部
１５３、１５３ａ  撮影制御部
１５４  ストロボ画像生成部
１５７  対象画像選択部
【図１】
2011066873.tif 000003
【図２】
2011066873.tif 000004
【図３】
2011066873.tif 000005
【図４】
2011066873.tif 000006
【図５】
2011066873.tif 000007
【図６】
2011066873.tif 000008
【図７】
2011066873.tif 000009
【図８】
2011066873.tif 000010
【図９】
2011066873.tif 000011
【図１０】
2011066873.tif 000012
【図１１】
2011066873.tif 000013
【図１２】
2011066873.tif 000014
【図１３】
2011066873.tif 000015
【図１４】
2011066873.tif 000016
【図１５】
2011066873.tif 000017
【図１６】
2011066873.tif 000018
【図１７】
2011066873.tif 000019
【図１８】
2011066873.tif 000020
【図１９】
2011066873.tif 000021
【図２０】
2011066873.tif 000022
【図２１】
2011066873.tif 000023
【図２２】
2011066873.tif 000024
【図２３】
2011066873.tif 000025
【図２４】
2011066873.tif 000026
【図２５】
2011066873.tif 000027
【図２６】
2011066873.tif 000028
【図２７】
2011066873.tif 000029
【図２８】
2011066873.tif 000030
【図２９】
2011066873.tif 000031
【図３０】
2011066873.tif 000032
【図３１】
2011066873.tif 000033
【図３２】
2011066873.tif 000034
【図３３】
2011066873.tif 000035
【図３４】
2011066873.tif 000036
【図３５】
2011066873.tif 000037