(57)【要約】【課題】移動被写体の良好なズーミング流し撮りが可能な制御装置を提供する。【解決手段】制御装置（１０）は、画像データから被写体サイズ情報を取得する情報取得手段（１０ａ）と、撮影における露光時間を設定する設定手段（１０ｃ）と、被写体サイズ情報が示す被写体サイズと目標サイズとの差が小さくなるようにズームの追従駆動を行いながら撮影を行うように制御する制御手段（１０ｂ）とを有し、前記制御手段は、設定手段により設定された露光時間で撮影を行うと露光期間中にズームがズーム端に到達すると判定された場合、設定手段により設定された露光時間を変更する。【選択図】図１
2020144298.tif 000002
【特許請求の範囲】
【請求項１】
画像データから被写体サイズ情報を取得する情報取得手段と、
撮影における露光時間を設定する設定手段と、
前記被写体サイズ情報が示す被写体サイズと目標サイズとの差が小さくなるようにズームの追従駆動を行いながら前記撮影を行うように制御する制御手段と、を有し、
前記制御手段は、前記設定手段により設定された露光時間で前記撮影を行うと露光期間中に前記ズームがズーム端に到達すると判定された場合、前記設定手段により設定された前記露光時間を変更することを特徴とする制御装置。
【請求項２】
前記制御手段は、前記設定手段により設定された前記露光時間で前記撮影を行うと前記露光期間中に前記ズームが前記ズーム端に到達すると判定された場合、前記設定手段により設定された露光時間よりも短い露光時間で前記撮影を行うことを特徴とする請求項１に記載の制御装置。
【請求項３】
前記制御手段は、前記設定手段により設定された前記露光時間で前記撮影を行うと前記露光期間中に前記ズームが前記ズーム端に到達すると判定された場合、前記設定手段により設定された前記露光時間を前記ズームが前記ズーム端に到達するまでの時間以下に変更することを特徴とする請求項２に記載の制御装置。
【請求項４】
前記制御手段は、
前記撮影における前記ズームの変化量を予測する予測手段と、
前記変化量から前記撮影において前記ズームが前記ズーム端に到達するか否かを判定する判定手段と、を有し、
前記制御手段は、前記判定手段により前記ズームが前記ズーム端に到達すると判定された場合、前記設定手段により設定された前記露光時間を変更することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
【請求項５】
前記予測手段は、前記被写体サイズ情報と、光学系の焦点距離情報により算出される焦点距離変化速度とに基づいて、前記ズームの前記変化量を予測することを特徴とする請求項４に記載の制御装置。
【請求項６】
前記予測手段は、前記ズームの前記変化量を、露光の開始前の第１変化量と、露光中の第２変化量との合計に基づいて取得することを特徴とする請求項４又は５に記載の制御装置。
【請求項７】
連写撮影により２枚目以降の撮影を連続して行う際に、前記予測手段は、前記ズームの前記変化量を前記第２変化量のみにより取得することを特徴とする請求項６に記載の制御装置。
【請求項８】
前記制御手段は、露光開始前の前記ズームの変化量に基づいて、前記露光の開始前に前記ズームが前記ズーム端に到達するか否かを判定し、
前記制御手段は、前記ズームが前記露光の開始前に前記ズーム端に到達すると判定された場合、前記露光の開始前に前記追従駆動を行わないことを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
【請求項９】
連写撮影により２枚目以降の撮影を連続して行う際に、前記制御手段は、前記露光の開始前に、前記ズームが前記ズーム端に到達すると判定された場合、前記設定手段により設定された前記露光時間を変更することを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。
【請求項１０】
光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
前記撮像素子を用いた撮影における露光時間を設定する設定手段と、
画像データから被写体サイズ情報を取得する情報取得手段と、
前記被写体サイズ情報が示す被写体サイズと目標サイズとの差が小さくなるようにズームの追従駆動を行いながら前記撮影を行うように制御する制御手段と、を有し、
前記制御手段は、前記設定手段により設定された露光時間で前記撮影を行うと、露光期間中に前記ズームがズーム端に到達すると判定された場合、前記設定手段により設定された前記露光時間を変更することを特徴とする撮像装置。
【請求項１１】
画像データから被写体サイズ情報を取得するステップと、
撮影における露光時間を設定する設定ステップと、
前記被写体サイズ情報が示す被写体サイズと目標サイズとの差が小さくなるようにズームの追従駆動を行いながら前記撮影を行うように制御するステップと、を有し、
前記撮影を行うように制御するステップにおいて、設定手段にて設定された露光時間で前記撮影を行うと露光期間中に前記ズームがズーム端に到達すると判定された場合、前記設定ステップにて設定された前記露光時間を変更することを特徴とする制御方法。
【請求項１２】
画像データから被写体サイズ情報を取得するステップと、
撮影における露光時間を設定する設定ステップと、
前記被写体サイズ情報が示す被写体サイズと目標サイズとの差が小さくなるようにズームの追従駆動を行いながら前記撮影を行うように制御するステップと、をコンピュータに実行させるプログラムであって、
前記撮影を行うように制御するステップにおいて、設定ステップにて設定された露光時間で前記撮影を行うと露光期間中に前記ズームがズーム端に到達すると判定された場合、前記設定ステップにて設定された前記露光時間を変更することを特徴とすることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動被写体のズーミング流し撮りが可能な撮像装置に関する。
【背景技術】
【０００２】
従来、カメラの撮影方法の一つとして、「流し撮り」という方法がある。「流し撮り」は、被写体の躍動感を得るために低速なシャッタ速度に設定し、水平方向に移動している被写体の動きに合わせてカメラを追従させながら撮影する手法である。また、カメラに接近または離脱するように移動する被写体に対しては、画面内の被写体の大きさを一定に保持するため、ズーム機能を用いて、焦点距離を変化させながら撮影する「ズーミング流し撮り」という方法がある。「流し撮り」や「ズーミング流し撮り」による撮影では、通常の撮影の際に設定されるシャッタ速度よりも低速なシャッタ速度が設定されることが多く、また、露光中に被写体の大きさを保持する必要があるため、撮影技術が要求される。例えば特許文献１には、露光前の被写体の動きに基づいて、露光中に被写体が画面内の所定の領域内に収まるように撮像光学系を追従駆動することにより、「ズーミング流し撮り」を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１５４４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された方法では、露光中の追従駆動中に、撮像光学系が駆動端に到達した場合の動作について考慮されていない。このため、例えば、露光中、すなわち追従駆動を行っている最中に、撮像光学系が駆動端に到達した場合、露光の途中から被写体の大きさを保持できない状態となる可能性がある。
【０００５】
そこで本発明は、移動被写体の良好なズーミング流し撮りが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての制御装置は、画像データから被写体サイズ情報を取得する情報取得手段と、撮影における露光時間を設定する設定手段と、前記被写体サイズ情報が示す被写体サイズと目標サイズとの差が小さくなるようにズームの追従駆動を行いながら前記撮影を行うように制御する制御手段とを有し、前記制御手段は、前記設定手段により設定された露光時間で前記撮影を行うと露光期間中に前記ズームがズーム端に到達すると判定された場合、前記設定手段により設定された前記露光時間を変更する。
【０００７】
本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、前記制御装置とを有する。
【０００８】
本発明の他の側面としての制御方法は、画像データから被写体サイズ情報を取得するステップと、撮影における露光時間を設定する設定ステップと、前記被写体サイズ情報が示す被写体サイズと目標サイズとの差が小さくなるようにズームの追従駆動を行いながら前記撮影を行うように制御するステップとを有し、前記撮影を行うように制御するステップにおいて、前記設定ステップにて設定された露光時間で前記撮影を行うと露光期間中に前記ズームがズーム端に到達すると判定された場合、前記設定ステップにて設定された前記露光時間を変更する。
【０００９】
本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。
【００１０】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１１】
本発明によれば、移動被写体の良好なズーミング流し撮りが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】各実施形態における撮像装置のブロック図である。
【図２】各実施形態における被写体サイズの検出方法の説明図である。
【図３（ａ）】第１の実施形態におけるズーミング流し撮りの撮影シーケンスを示すフローチャートである。
【図３（ｂ）】第１の実施形態におけるズーミング流し撮りの撮影シーケンスを示すフローチャートである。
【図４（ａ）】第１の実施形態におけるズーミング流し撮りの連写撮影シーケンスを示すフローチャートである。
【図４（ｂ）】第１の実施形態におけるズーミング流し撮りの連写撮影シーケンスを示すフローチャートである。
【図５】第１の実施形態における被写体サイズ選択処理シーケンスを示すフローチャートである。
【図６】第１の実施形態におけるズームの追従待ち処理の説明図である。
【図７（ａ）】第２の実施形態におけるズーミング流し撮りの撮影シーケンスを示すフローチャートである。
【図７（ｂ）】第２の実施形態におけるズーミング流し撮りの撮影シーケンスを示すフローチャートである。
【図８（ａ）】第２の実施形態におけるズーミング流し撮りの連写撮影シーケンスを示すフローチャートである。
【図８（ｂ）】第２の実施形態におけるズーミング流し撮りの連写撮影シーケンスを示すフローチャートである。
【図９】第２の実施形態における追従待ち時間予測処理シーケンスを示すフローチャートである。
【図１０（ａ）】第２の実施形態における第１の駆動端情報取得処理シーケンスを示すフローチャートである。
【図１０（ｂ）】第２の実施形態における第２の駆動端情報取得処理シーケンスを示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１４】
まず、図１を参照して、本実施形態における撮像装置のシステム構成について説明する。図１は、撮像装置１のブロック図である。なお本実施形態において、撮像装置１はデジタルカメラであるが、これに限定されるものではなく、カメラ付きの携帯電話などの他の撮像装置にも適用可能である。
【００１５】
撮像装置１において、光学系（撮像光学系）２は、ズームレンズ２ａ、フォーカスレンズ２ｂ、および、絞りシャッタユニット２ｃなどを有する。ズームレンズ２ａおよびフォーカスレンズ２ｂは、光学系２の光軸３に沿って移動可能である。撮像素子４は、ＣＭＯＳセンサやＣＣＤセンサを有し、光学系２を介して形成された光学像（被写体像）を光電変換して電気信号（画像データ）を出力する。撮像素子４は、一つのマイクロレンズを共有する複数の光電変換素子を含み、複数の光電変換素子は、光学系２の互いに異なる瞳領域を通過する光を受光するように構成されている。このような構成により、撮像面位相差方式のＡＦ（オートフォーカス）処理を行うことができる。Ａ／Ｄ変換器５は、撮像素子４から出力された電気信号（アナログ信号）をデジタル信号に変換する。
【００１６】
画像処理部６は、Ａ／Ｄ変換器５から出力されたデータに対して、所定の画素補間処理、色変換処理、および、ガンマ処理を行う。また画像処理部６は、撮像した画像データを用いて所定の処理を行う。システム制御部（制御装置）１０は、画像処理部６により処理された結果に基づいて、露出制御部７およびフォーカス制御部８を制御する。すなわちシステム制御部１０は、撮像面位相差方式のＡＦ処理およびＡＥ（自動露出）処理等を行う。また画像処理部６は、撮像した画像データを用いて所定の演算処理を行い、この演算処理により得られた演算結果に基づいて、ＡＷＢ（オートホワイトバランス）処理を行うことができる。
【００１７】
Ａ／Ｄ変換器５から出力された画像データは、画像処理部６を介して、またはＡ／Ｄ変換器５から出力された画像データが直接、内部メモリ１１に書き込まれる。内部メモリ１１に書き込まれた画像データは、Ｄ／Ａ変換器１２を介して画像表示部１３により表示される。画像表示部１３は、ＴＦＴやＬＣＤ等である。また画像表示部１３は、画像表示部１３を用いて撮像した画像データを逐次表示することにより、電子ファインダ機能を実現することが可能である。また画像表示部１３は、画像を表示するだけでなく、画像表示と共に、または画像を表示することなく、撮像装置１の各種設定に関する様々なメニュー項目や、ズーム倍率や露出設定等の撮影条件を表示する。ユーザは、画像表示部１３に表示されたメニュー項目や撮影条件を、操作スイッチ１４を操作しながら適宜選択することにより、指定した項目の設定を変更することができる。
【００１８】
圧縮伸長部１６は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮・伸長する。すなわち圧縮伸長部１６は、内部メモリ１１に格納された画像データを読み込んで圧縮処理または伸長処理を行い、処理後の画像データを再び内部メモリ１１に書き込む。内部メモリ１１は、撮影した静止画や動画の画像データを格納する記憶部であり、所定枚数の静止画像データや所定時間の動画像データを格納するために十分な記憶量を備えている。これにより、複数枚の静止画像データを連続して撮影する連写撮影の場合にも、高速かつ大量の画像データ書き込みを内部メモリ１１に対して行うことが可能となる。また内部メモリ１１は、システム制御部１０の作業領域としても使用することが可能である。
【００１９】
露出制御部７は、絞りシャッタユニット２ｃを制御する。フォーカス制御部８は、フォーカスレンズ２ｂを制御する。ズーム制御部９は、ズームレンズ２ａによるズーミング動作を制御するとともに、現在のズームレンズ２ａの位置に応じて焦点距離情報を算出する。現在の焦点距離情報（第２のタイミングで取得された焦点距離情報）は、システム制御部１０を介して、内部メモリ１１に格納される。
【００２０】
システム制御部１０は、撮像装置１の全体を制御する。またシステム制御部１０は、情報取得手段１０ａおよび撮影制御手段１０ｂを有する。情報取得手段１０ａは、画像データから被写体サイズ情報を取得する。撮影制御手段１０ｂは、被写体サイズと目標サイズとの差が小さくなるように光学系２の追従駆動を行いながら露光を行う。また本実施形態において、撮影制御手段１０ｂは、追従駆動の追従度合に基づいて露光の開始タイミングを変更する。尚、本発明及び明細書において露光とは、撮像センサの画素が記録撮影のために電荷を蓄積することを意味する。記録撮影とは、取得した電荷に基づく撮像データが、内部メモリ１１のような撮像装置が備える記憶部、撮像装置に装着された記録媒体、撮像装置とネットワーク接続された装置やクラウド等の少なくともいずれかに記録される撮影のことを指す。記録撮影は、一般的には、レリーズ指示により開始する撮影である。なお本実施形態において、追従度合は、被写体サイズと目標サイズとの差に関する情報であるが、これに限定されるものではない。被写体サイズと目標サイズとの差が小さい時は追従度合が高く、差が大きい時は追従度合が低くなるものであれば、サイズ情報を用いて取得してもよいし、被写体との距離情報から取得してもよい。被写体距離の変化（に伴う被写体サイズ変化）をズーム駆動でキャンセルできているときは被写体サイズと目標サイズとの差が小さいので追従度合が高くなる。
【００２１】
またシステム制御部１０は、設定手段１０ｃ、予測手段１０ｄ、および、判定手段１０ｅを有する。設定手段１０ｃは、撮影における露光時間を設定する。予測手段１０ｄは、撮影における光学系の変化量を予測する。判定手段１０ｅは、変化量から撮影において光学系２がズームの駆動端（望遠端と広角端を指し、以下、ズーム端と呼ぶことが有る）に到達するか否かを判定する。撮影制御手段１０ｂは、撮影の開始前に、判定手段１０ｅにより光学系２が駆動端に到達すると判定された場合、設定手段１０ｃにより設定された露光時間を変更する。なお本実施形態において、撮影制御手段１０ｂ、予測手段１０ｄ、および、判定手段１０ｅにより、制御手段が構成される。
【００２２】
メモリ（記憶部）１７は、システム制御部１０の動作用の定数、変数、および、プログラム等を記憶している。またメモリ１７は、ズーミング流し撮りに必要な情報（例えば、目標サイズ情報、および、各種制御を切り替えるための閾値となる数値情報）を記憶している。
【００２３】
操作スイッチ１４およびレリーズスイッチ１５は、システム制御部１０の各種の動作指示を入力するために設けられた操作部であり、スイッチ、ダイアル、タッチパネル、音声認識装置等の単数または複数の組み合わせで構成される。本実施形態では、操作スイッチ１４として、電源、撮影モード、再生モード等の各機能モードを切り替えるためのスイッチや、ズーム操作レバー、メニューボタン、セットボタン等が設けられている。撮影モードの切り替えでは、静止画の撮影、動画の撮影、ズーミング流し撮り等の複数の撮影モードのうち、いずれの撮影を行うかを任意に選択することが可能である。
【００２４】
レリーズスイッチ１５は、ユーザからの撮影指示を入力するための部材である。具体的には、レリーズスイッチ１５は２段階に押し込むことができるように構成されている。例えば、静止画撮影の場合、ユーザは、１段目までの押し込み操作である半押し操作（ＳＷ１）で撮影準備指示を行い、２段目までの押し込み操作である全押し（ＳＷ２）操作で撮影指示を行うことができる。撮影準備指示である半押し操作（ＳＷ１）が発生すると、システム制御部１０は、ＡＦ処理やＡＥ処理などの撮影準備動作を行うようにフォーカス制御部８および露出制御部７を制御する。また、撮影指示である全押し操作（ＳＷ２）が発生すると、システム制御部１０は、露出制御部７を介して絞りシャッタユニット２ｃを駆動し、被写体像を撮像素子４に取り込む制御を行う。具体的には、システム制御部１０は、撮像素子４を蓄積状態にし、絞りシャッタユニット２ｃに含まれるシャッタ機構を開閉駆動することにより、被写体像を露光する。
【００２５】
シャッタ機構が閉状態に戻って撮像素子４の電荷蓄積が終了した後、システム制御部１０は、蓄積された電荷を信号として読み出す。システム制御部１０は、撮像素子４から読み出した信号に対し、Ａ／Ｄ変換器５、画像処理部６、圧縮伸長部１６、および、内部メモリ１１を用いて、一連の現像処理や画像処理を行い、画像データを生成する。生成された画像データは、記憶媒体１８に画像ファイルとして記録される。なお、以上の撮影準備指示から画像ファイルの記録までを撮影処理と呼ぶ。記憶媒体１８として、ハードディスクやフラッシュメモリ等、複数枚の画像データを記録するために十分な容量を有する記憶媒体が適して用いられる。
【００２６】
被写体距離検出部１９は、撮像装置１から被写体までの距離に相当する被写体距離情報を検出する。ここで、被写体距離検出部１９による被写体距離情報の検出方法について説明する。被写体距離情報を検出する方法としては複数の検出方法があり、その一例として、ＡＦ処理を利用した検出方法が考えられる。例えば、位相差センサの機能を有する撮像素子４を用いて撮像面位相差方式のＡＦ処理を行う。これにより、光学系２に入射した光を２方向に分割した２つの信号の位相差に基づいて画像上の被写体に焦点を合わせることが可能なフォーカスレンズ２ｂの位置を特定することが可能である。一方、システム制御部１０は、現在の（第２のタイミングにおける）ズームレンズ２ａの位置（焦点距離情報）およびフォーカスレンズ２ｂの位置で焦点が合う被写体の距離を算出できるため、これらの組み合わせにより、被写体距離情報を検出することが可能である。
【００２７】
被写体サイズ検出部２０は、画像データにおける被写体のサイズ（大きさ）に関する情報（被写体サイズ情報）を検出する。ここで、被写体サイズ検出部２０による被写体サイズ情報の検出方法について説明する。被写体サイズ情報を検出する方法としては、複数の検出方法があり、その一つとして、動きベクトル（動きベクトル情報）を利用した検出方法が考えられる。
【００２８】
図２は、動きベクトルを利用した被写体サイズの検出方法の説明図である。例えば、図２（ａ）に示されるように、撮影画角２００の中心に存在する被写体２０１がユーザに向かって接近している撮影シーンについて考える。このとき、図２（ｂ）に示されるように、撮影画角２００に対して配置されたベクトル検出枠２０２により検出されるベクトルは、２種類に分類される。一つは、被写体２０１の部分に相当する被写体ベクトル領域２０３におけるベクトルであり、他の一つは、背景部分に相当する背景ベクトル領域（ベクトル検出枠２０２のうち被写体ベクトル領域２０３以外の領域）におけるベクトルである。
【００２９】
ここで、被写体２０１がユーザに向かって接近すると、画像データにおける被写体２０１とベクトルとの関係は、図２（ｂ）から図２（ｃ）のように変化する。すなわち、被写体ベクトル領域２０３は被写体ベクトル領域２０４のように変化し、ベクトル検出枠２０２のうち被写体ベクトル領域２０４の占める割合が増大する。具体的には、図２（ｂ）における被写体ベクトル領域２０３の水平方向の領域数は３であるが、図２（ｃ）における被写体ベクトル領域２０４の水平方向の領域数は７である。このように、被写体ベクトル領域の大きさおよびその変化に基づいて、画像データにおける被写体サイズおよびその変化を検出することができる。以下、被写体サイズ検出部２０により検出された被写体サイズ情報を、検出被写体サイズ情報という。
【００３０】
（第１の実施形態）
次に、図３（ａ）および図３（ｂ）を参照して、第１の実施形態における撮像装置１のズーミング流し撮り撮影（第１のズーミング流し撮り撮影）の動作について説明する。図３（ａ）および図３（ｂ）は、ズーミング流し撮り撮影の動作（撮影シーケンス）を示すフローチャートである。図３（ａ）および図３（ｂ）の各ステップは、メモリ１７に格納されたプログラムに従って、システム制御部１０により実行される。
【００３１】
撮像装置１は、電源が投入されると、各種の初期化処理等を行った後、ユーザによる操作スイッチ１４の操作による動作指示の待ち状態となる。まずステップＳ３０１において、システム制御部１０は、ユーザによる操作スイッチ１４の操作によりズーミング流し撮り撮影モードの実行指示があるか否かを判定する。ズーミング流し撮り撮影モードの実行指示がある場合、ステップＳ３０２に進む。一方、ズーミング流し撮り撮影モードの実行指示がない場合、システム制御部１０はステップＳ３０１の判定を継続する。
【００３２】
ステップＳ３０２において、システム制御部１０は、メモリ１７から、目標となる被写体のサイズ（大きさ）である目標被写体サイズ（目標サイズ情報）を取得する。目標サイズ情報は、ズーミング流し撮り撮影の際に、画像データにおける被写体のサイズ（大きさ）を一定に保持するにあたり、いかなる大きさに保持するかについての目標となる被写体サイズ（目標サイズ）に関する情報を意味する。なお本実施形態において、目標サイズ情報は、予め撮像装置１のメモリ１７に固定値として記憶されている。ただし本発明は、これに限定されるものではなく、例えば、予め複数の目標サイズ情報をメモリ１７に記憶しておき、ユーザがいずれかを任意に選択できるように構成してもよい。または、被写体の距離や速度に応じて、撮像装置１が撮影の際に自動的に目標サイズ情報を選択または算出し、被写体サイズを目標被写体サイズに保持するようにズーム制御部９を介してズームレンズ２ａを駆動するように構成してもよい。
【００３３】
続いてステップＳ３０３において、システム制御部１０は、被写体距離検出部１９を用いて、被写体距離（被写体距離情報）の検出を開始する。本実施形態において、被写体距離情報は、位相差センサの機能を有する撮像素子４を用いて、光学系２から入射した光を２方向に分けた信号の位相差に基づいて検出される。このため、ステップＳ３０３にて被写体距離検出部１９による被写体距離情報の検出を開始した以降、撮像素子４が画像表示部１３に表示する画像データを撮像するごとに、最新の被写体距離情報の検出が可能である。また、検出された最新の被写体距離情報は、被写体距離を検出した時間を意味する被写体距離検出時間情報を含み、これらの情報は内部メモリ１１に蓄積（記憶）される。
【００３４】
続いてステップＳ３０４において、システム制御部１０は、被写体サイズ検出部２０を用いて、被写体サイズ情報の検出を開始する。本実施形態において、被写体サイズ情報は、動きベクトル（動きベクトル情報）に基づいて検出される。このため、ステップＳ３０４にて被写体サイズ検出部２０による被写体サイズ情報の検出を開始した以降、撮像素子４が画像表示部１３に表示するために撮像した少なくとも２つ以上の連続した画像データの差分から、最新の被写体サイズ情報の検出が可能となる。また、検出された最新の被写体サイズ情報は、被写体サイズを検出した時間を意味する被写体サイズ検出時間情報を含み、これらの情報は内部メモリ１１に蓄積（記憶）される。このような被写体サイズ情報の検出は、ステップＳ３０４以降周期的に繰り返し、内部メモリ１１に蓄積していく。
【００３５】
続いてステップＳ３０５において、システム制御部１０は、ユーザによるレリーズスイッチ１５の操作により、ＳＷ１の指示（撮影準備開始指示）があるか否かを判定する。ＳＷ１の指示がない場合、ステップＳ３０６に進む。ステップＳ３０６において、後述するステップＳ３０８にて既にズーム制御部９によるズーム追従駆動が実行されている場合、システム制御部１０はズーム追従駆動を停止し、ステップＳ３０５に戻る。一方、ＳＷ１の指示がある場合、ステップＳ３０７に進む。
【００３６】
ステップＳ３０７において、システム制御部１０は、画像データ上の被写体サイズを目標被写体サイズに一致させるために必要となる目標焦点距離変化量を算出する。目標焦点距離変化量は、画像データ上の被写体サイズを目標被写体サイズに一致させるための焦点距離と現在の焦点距離との差分である。具体的にはシステム制御部１０は、被写体サイズ検出部２０により検出された最新の検出被写体サイズ情報と、ステップＳ３０２で取得した目標サイズ情報と、ズーム制御部９により算出された現在の焦点距離情報とを用いて、目標焦点距離変化量を算出する。
【００３７】
ここで、一般的に、焦点距離と画像データ上の被写体サイズとの関係式は、以下の式（１）で表される。ここでは、簡略化のため、画像データ上の被写体サイズは水平方向のサイズであるものとする。
【００３８】
【数１】
2020144298.tif 000003
【００３９】
ズーミング流し撮り撮影のシーケンスにおいて、対象となる被写体は常に同一の物体であるため、式（１）における被写体の幅は固定値として定義することができる。また、瞬間的な事象であるとすると、被写体距離も不変であり、その値を固定値と定義することができる。すなわち、目標焦点距離変化量は、以下の式（２）を用いて算出することができる。
【００４０】
【数２】
2020144298.tif 000004
【００４１】
続いてステップＳ３０８において、システム制御部１０は、ステップＳ３０７にて算出した目標焦点距離変化量だけ、ズーム制御部９を用いてズームレンズ２ａを追従駆動する（ズーム追従駆動を行う）。続いてステップＳ３０９において、システム制御部１０は、ユーザによるレリーズスイッチ１５の操作により、ＳＷ２の指示（撮影開始指示）があるか否かを判定する。ＳＷ２の指示がない場合、ステップＳ３０５に戻る。一方、ＳＷ２の指示がある場合、ステップＳ３１０に進む。
【００４２】
ステップＳ３１０において、システム制御部１０は、露光中における被写体サイズの変化を予測する。すなわちシステム制御部１０は、ステップＳ３０４で被写体サイズの検出を開始した時点からステップＳ３１０が実行されるまでの間に、検出された検出被写体サイズ情報の履歴に基づいて、ステップＳ３１０以降の被写体サイズの変化を予測する。本実施形態において、システム制御部１０は、ステップＳ３１０が実行されるまでに検出された検出被写体サイズ情報のうち、最新の検出被写体サイズ情報から任意の数（例えば１０個分）の検出被写体サイズ情報と被写体サイズ検出時間情報とを抽出する。そしてシステム制御部１０は、それらの複数の情報を最小二乗法により近似することにより、ステップＳ３１０の実行時以降における被写体サイズの変化を予測する。
【００４３】
続いてステップＳ３１１において、システム制御部１０は、ステップＳ３１０で予測した被写体サイズの変化に基づいて、ステップＳ３１１が実行される時点における予測被写体サイズ情報を算出する。そしてシステム制御部１０は、予測被写体サイズを目標被写体サイズに一致させるための目標焦点距離を算出する。目標焦点距離は、算出した予測被写体サイズ情報と、ステップＳ３０２で取得した目標サイズ情報と、ズーム制御部９により算出されるステップＳ３１１が実行される時点における焦点距離情報とに基づいて算出することができる。ステップＳ３１１が実行される時点における焦点距離に、目標被写体サイズと予測被写体サイズとの比（目標被写体サイズ／予測被写体サイズ）を乗算すればよい。尚、目標焦点距離の代わりに目標焦点距離変化量を取得し、目標焦点距離変化量に基づいて続く追従駆動をすることもできる。
【００４４】
続いてステップＳ３１２において、システム制御部１０は、ステップＳ３１１にて算出された目標焦点距離となるように、ズーム制御部９を用いてズームレンズ２ａを追従駆動する。続いてステップＳ３１３において、システム制御部１０は、ズームの追従待ちが必要か否か（追従度合）を判定する。ズームの追従待ちが必要な場合（追従度合が所定の範囲外である場合）、ステップＳ３１４に進む。一方、ズームの追従待ちが不要な場合（追従度合が所定の範囲内である場合）、ステップＳ３１５に進む。
【００４５】
ここで、図６を参照して、本実施形態におけるズームの追従待ち処理について説明する。図６は、ズームの追従待ち処理の説明図である。まず、図６（ａ）、（ｂ）、（ｃ）を用いて、ズームの追従待ち処理が不要な場合について説明する。図６（ａ）は、ズーミング流し撮り撮影における被写体距離の変化の一例である。図６（ｂ）は、ズーミング流し撮り撮影における被写体サイズの変化の一例である。図６（ｃ）は、ズーミング流し撮り撮影における焦点距離の変化の一例である。
【００４６】
図６（ａ）、（ｂ）、（ｃ）において、横軸は時間（同じ時間軸）を示しており、ｔ１はユーザによりＳＷ１が実行されたタイミング、ｔ２はユーザによりＳＷ２が実行されたタイミングである。ここでは、ズーミング流し撮り撮影の対象となる被写体が、撮像装置１に接近する方向に一定の速度で移動している被写体である場合を考える。すなわち、図６（ａ）に示されるように、被写体距離の変化が、時間に比例して単調減少する。
【００４７】
まず、本実施形態のズーミング流し撮り撮影シーケンスに沿って、タイミングｔ１に至るまでの間の動きを説明する。タイミングｔ１に至るまでの間は、まだズーム追従制御が行われないため、焦点距離はＦ０に固定されている。すなわち、タイミングｔ１に至るまでの間は、焦点距離は固定値Ｆ０となっており、かつ、被写体距離が単調減少している状況である。このため、画像データ上の被写体サイズは、被写体距離の減少に反比例して増加する。
【００４８】
次に、タイミングｔ１で、ズーミング流し撮り撮影のズーム追従駆動が実行されると、システム制御部１０は、画像データ上の被写体サイズを目標被写体サイズに一致させるように、ズーム制御部９を用いてズームレンズ２ａを追従駆動し、焦点距離を変更する。ここで、ズーム追従制御による焦点距離の変更により、画像データ上の被写体サイズが目標被写体サイズと一致するまでには、少なからず時間を要する。このため、厳密には、タイミングｔ１’で被写体サイズが目標被写体サイズに一致した状態となることを示している。
【００４９】
タイミングｔ１’以降、システム制御部１０は、被写体サイズ検出部２０により検出された最新の検出被写体サイズと目標被写体サイズが一致するように、ズーム制御部９を用いて焦点距離を変更しながら、タイミングｔ２を待つ。その後、タイミングｔ２のタイミングにおいて、システム制御部１０は、ズーム制御部９を用いて焦点距離を変更しながら、その時点における最新の検出被写体サイズと目標サイズとの差分が所定の範囲内であるか否かを判定する。
【００５０】
最新の検出被写体サイズと目標サイズとの差分が所定の範囲内である場合、システム制御部１０はそのまま露光を行う。一方、その差分が所定の範囲内でない場合、システム制御部１０は、更に、検出被写体サイズと目標サイズとの差が小さくなるように、ズーム制御部９を用いて焦点距離を変更しながら、その差分が所定の範囲内であるか否かの判定を継続する。ここで、図６（ｂ）の場合、タイミングｔ２において、最新の検出被写体サイズは、目標サイズと一致、すなわち差分が所定の範囲内であるため、そのまま露光を行う。
【００５１】
次に、図６（ｄ）、（ｅ）、（ｆ）を用いて、ズームの追従待ち処理が必要な場合について説明する。図６（ｄ）は、ズーミング流し撮り撮影における被写体距離の変化の一例である。図６（ｅ）は、ズーミング流し撮り撮影における被写体サイズの変化の一例である。図６（ｆ）は、ズーミング流し撮り撮影における焦点距離の変化の一例である。図６（ｄ）、（ｅ）、（ｆ）において、横軸は時間（同じ時間軸）である。タイミングｔ１はユーザによりＳＷ１が実行されたタイミング、タイミングｔ２はＳＷ２が実行されたタイミングである。ここでは、ズーミング流し撮り撮影の対象となる被写体が、撮像装置１に接近する方向に移動している被写体を考える。
【００５２】
まず、本実施形態のズーミング流し撮り撮影シーケンスに沿って、タイミングｔ１に至るまでの間の動きを説明する。タイミングｔ１に至るまでの間は、まだズーム追従制御が行われないため、焦点距離はＦ０に固定されている。また、タイミングｔ１において、被写体は撮像装置１に接近する方向に一定の速度で移動している。すなわち、タイミングｔ１に至るまでの間は、焦点距離は固定値Ｆ０となっており、かつ、被写体距離が単調減少している状況である。このため、画像データ上の被写体サイズは、被写体距離の減少に反比例して増加する。
【００５３】
次に、タイミングｔ１で、ズーミング流し撮り撮影のズーム追従駆動が実行されると、システム制御部１０は、画像データ上の被写体サイズを目標被写体サイズに一致させるように、ズーム制御部９を用いてズームレンズ２ａを追従駆動し、焦点距離を変更する。ここで、ズーム追従制御による焦点距離の変更により、画像データ上の被写体サイズが目標被写体サイズと一致するまでには、少なからず時間を要する。このため、厳密には、タイミングｔ１’で被写体サイズが目標被写体サイズに一致した状態となることを示している。
【００５４】
タイミングｔ１’以降、システム制御部１０は、被写体サイズ検出部２０により検出された最新の検出被写体サイズと目標被写体サイズが一致するように、ズーム制御部９を用いて焦点距離を変更しながら、タイミングｔ２を待つ。ここで、タイミングｔ２よりも早いタイミングｔｓにおいて、被写体の移動速度が大きく変化（加速方向への変化）し、図６（ｄ）に示されるように被写体距離に急峻な変化が発生した場合を考える。この場合、画像データ上の被写体サイズは、急に増加し、一時的に、目標被写体サイズと一致しない状態、すなわち追従ができていない状態となる。
【００５５】
その後、システム制御部１０は、変化した画像データ上の被写体サイズと、目標被写体サイズとが一致するように、ズーム制御部９を用いてズームレンズ２ａを駆動し、焦点距離の変更を行う。このため、一定時間の経過により（タイミングｔｃにおいて）、再度、被写体サイズと目標被写体サイズとが一致している状態となる。
【００５６】
従って、仮に、タイミングｔｓとタイミングｔｃの間に、ユーザからのＳＷ２の指示があった場合、すなわちタイミングｔ２が図６（ｆ）に示されるようなタイミングで発生した場合、その時点では、画像データ上の被写体サイズと目標被写体サイズが一致しない。このため、そのまま露光を開始すると、画像データ上の被写体サイズが変化しながら露光が行われることになり、撮影された画像としては、被写体の輪郭がぼやけた画像（すなわち、良好な流し撮り画像ではない画像）になってしまう。
【００５７】
そこで本実施形態において、前述したように、システム制御部１０は、タイミングｔ２において、ズーム制御部９による焦点距離の変更を行いながら、その時点における最新の検出被写体サイズと目標サイズとの差分が所定の範囲内であるか否かを判定する。その差分が所定の範囲内である場合、システム制御部１０はそのまま露光を行う。一方、その差分が所定の範囲内でない場合、システム制御部１０は、更に、検出被写体サイズと目標サイズとの差分が小さくなるようにズーム制御部９を用いて焦点距離を変更しながら、その差分が所定の範囲内であるか否かの判定を継続する。なお図６（ｅ）の例では、タイミングｔ２において、最新の検出被写体サイズと目標サイズとの差分が所定の範囲内でないため、システム制御部１０はそのまま露光を行なわない。
【００５８】
以上、本実施形態におけるズームの追従待ち処理について、図６を用いて説明した。なお本実施形態において、システム制御部１０は、最新の検出被写体サイズと目標サイズとの差分が所定の範囲内になるか否かに応じて判定を行うが、これに限定されるものではない。例えば、タイミングｔ２において、それ以前の被写体距離の変化傾向を取得し、被写体距離の変化傾向（被写体速度の変化）が所定の範囲内に収束していない（一定速になっていない）場合には、ズームの追従待ち処理が必要であると判定してもよい。
【００５９】
また本実施形態において、所定の範囲は、予め撮像装置１のメモリ１７に固定値として記憶されているが、これに限定されるものではない。例えば、予め複数の所定の範囲をメモリ１７に記憶しておき、ユーザがいずれかを任意に選択できる構成として、撮影時間を優先するか、追従精度を優先するかを選択できるようにしてもよい。また本実施形態において、露光時間（所謂、シャッタ速度）に応じて、その範囲を変更してもよい。例えば、露光時間が長い場合、所定の範囲を小さく変更する。これは、例えば、露光時間が十分に長い場合、露光開始時に追従遅れが発生している時間の割合は少なくなるため、ズーミング流し撮り撮影画像として大きな問題にならない可能性があるためである。
【００６０】
このように、本実施形態のシステム制御部１０は、追従度合が低い、つまり、被写体サイズの変化にズームレンズの追従駆動が間に合わずに画像上の被写体サイズが大きく変化してしまうような状況では撮影指示を受けても即時に露光を開始しない。これにより、ズームレンズの駆動が被写体の移動に追従できていないタイミングで露光を開始するケースを軽減することができる。
【００６１】
図３（ｂ）のステップＳ３１４において、システム制御部１０は、ステップＳ３０９にてユーザからのＳＷ２の指示が実行された時点からステップＳ３１４が実行されるまでの時間が所定時間ｔを超えている（ＳＷ２から所定時間ｔが経過した）か否かを判定する。この時間が所定時間ｔを超えている場合、ステップＳ３１５に進む。一方、この時間が所定時間ｔを超えていない場合、ステップＳ３１０に戻って処理を継続する。すなわち、ステップＳ３１３にてズームの追従待ちが必要と判定され続けている時間が所定時間ｔに満たない間は、システム制御部１０は、ステップＳ３１０〜ステップＳ３１２の処理を繰り返し実行する。
【００６２】
ステップＳ３１５において、システム制御部１０は、ステップＳ３０３にて被写体距離の検出開始時点からステップＳ３１５が実行されるまでの間に検出された被写体距離情報のうち最新の情報を、前回撮影時被写体距離情報として内部メモリ１１に記憶する。続いてステップＳ３１６において、システム制御部１０は、ステップＳ３０４の被写体サイズの検出開始時点からステップＳ３１６の実行までに検出された検出被写体サイズ情報のうち最新の情報を、前回撮影時被写体サイズ情報として内部メモリ１１に記憶する。
【００６３】
続いてステップＳ３１７において、システム制御部１０は、被写体距離検出部１９による被写体距離情報の検出を停止する。続いてステップＳ３１８において、システム制御部１０は、被写体サイズ検出部２０による被写体サイズ情報の検出を停止する。続いてステップＳ３１９において、システム制御部１０は、露光（撮影）を開始する。
【００６４】
続いてステップＳ３２０において、システム制御部１０は、ステップＳ３１０にて予測した被写体サイズの変化に基づいて、ステップＳ３２０が実行される時間時点における予測被写体サイズを算出する。そしてシステム制御部１０は、予測被写体サイズを目標被写体サイズに一致させるための目標焦点距離を算出する。目標焦点距離は、算出した予測被写体サイズ情報と、ステップＳ３０２にて取得した目標サイズ情報と、ズーム制御部９により算出されるステップＳ３２０が実行される時点における焦点距離情報とに基づいて算出される。
【００６５】
続いてステップＳ３２１において、システム制御部１０は、ステップＳ３２０にて算出された目標焦点距離となるように、ズーム制御部９を介してズームレンズ２ａを追従駆動する。続いてステップＳ３２２において、システム制御部１０は、ステップＳ３１９にて開始された露光が終了したか否かを判定する。露光が終了している場合、後述するズーミング流し撮り連写シーケンスに移行する。一方、露光が終了していない場合、ステップＳ３２０に戻って処理を継続する。すなわちシステム制御部１０は、ステップＳ３１９にて開始した露光が継続している間、ステップＳ３２０およびステップＳ３２１の処理を繰り返し実行することで、露光中のズーム駆動を実現している。
【００６６】
以上のように、本実施形態のズーミング撮影シーケンスにおいては、システム制御部１０は、ＳＷ１のタイミングにおいて、最新の検出被写体サイズと目標被写体サイズとが一致するように、ズーム追従制御を行い、焦点距離の変更を開始する。そしてシステム制御部１０は、ＳＷ２のタイミングにおいて、最新の検出被写体サイズと目標被写体サイズとの差分に応じて、露光（撮影）を実行するタイミングを変化させる。これにより、露光中に被写体の大きさを一定に保持するためのズームの追従精度を向上させることができる。
【００６７】
次に、図４（ａ）および図４（ｂ）を参照して、撮像装置１のズーミング流し撮り連写撮影の動作について説明する。図４（ａ）および図４（ｂ）は、ズーミング流し撮り連写撮影の動作（連写撮影シーケンス）を示すフローチャートである。図４（ａ）および図４（ｂ）の各ステップは、メモリ１７に格納されたプログラムに従って、システム制御部１０により実行される。
【００６８】
撮像装置１は、前述のズーミング流し撮り撮影シーケンスの終了に引き続き、ステップＳ４０１に進む。ステップＳ４０１において、システム制御部１０は、ユーザによるレリーズスイッチ１５の操作により、ＳＷ２の指示（撮影継続指示）があるか否かを判定する。ＳＷ２の指示がある場合、ステップＳ４０３に進む。一方、ＳＷ２の指示がない場合、ステップＳ４０２に進む。
【００６９】
ステップＳ４０２において、前述したズーミング流し撮り撮影シーケンスにおいて、既にズーム制御部９によるズーム追従駆動が実行されている場合、システム制御部１０は、そのズーム追従駆動を停止し、ズーミング流し撮り連写撮影シーケンスを終了する。
【００７０】
ステップＳ４０３において、システム制御部１０は、前述したズーミング流し撮り撮影シーケンスのステップＳ３１７または後述するステップＳ４１３にて停止した、被写体距離検出部１９による被写体距離情報の検出を再開する。続いてステップＳ４０４において、システム制御部１０は、前述したズーミング流し撮り撮影シーケンスのステップＳ３１８または後述するステップＳ４１４において停止した被写体サイズ検出部２０による被写体サイズ情報の検出を再開する。続いてステップＳ４０５において、システム制御部１０は、ズーミング流し撮り連写撮影シーケンスにおける被写体サイズ情報を後述する２つの方法（第１の方法および第２の方法）のいずれから取得するかを決定する被写体サイズ選択処理を実行する。
【００７１】
ここで、図５を参照して、ズーミング流し撮り連写撮影シーケンスにおける被写体サイズ選択処理（被写体サイズ選択処理シーケンス）について説明する。図５は、被写体サイズ選択処理シーケンス（ステップＳ４０５）を示すフローチャートである。図５の各ステップは、メモリ１７に格納されたプログラムに従って、システム制御部１０により実行される。
【００７２】
まずステップＳ５０１において、システム制御部１０は、被写体距離情報の信頼度（距離信頼度）を判定する。本実施形態において、システム制御部１０は、最新被写体距離情報と予測被写体距離情報との差に基づいて被写体距離の信頼度を決定する。ここで、最新被写体距離情報とは、ステップＳ４０３にて被写体距離の検出を再開した時点からステップＳ５０１が実行されるまでの間に検出された被写体距離情報のうちの最新の被写体距離情報である。また、予測被写体距離情報とは、直前に露光を行った時点（ステップＳ３１５または後述するステップＳ４１１）における被写体距離情報から推定されるステップＳ５０１時点における予測の被写体距離情報である。本実施形態において、最新被写体距離情報と予測被写体距離情報との差が小さいほど、信頼度は高い。すなわちステップＳ５０１では、被写体距離の信頼度（距離信頼度）がメモリ１７に予め記憶されている第１の信頼度（第１の閾値）よりも高い場合、ステップＳ５０２に進む。一方、被写体距離の信頼度が第１の信頼度（第１の閾値）よりも低い場合、ステップＳ５０３に進む。
【００７３】
ステップＳ５０２において、システム制御部１０は、ステップＳ５０１にて取得した最新被写体距離情報と、直前に露光を行った時点（ステップＳ３１５または後述するステップＳ４１１）における被写体距離情報とに基づいて、被写体サイズを推定する。ここで、被写体距離情報から被写体サイズを推定する方法について説明する。一般的に、画像データ上の被写体サイズは、以下の式（３）で表される。
【００７４】
【数３】
2020144298.tif 000005
【００７５】
ズーミング流し撮り連写シーケンスにおいて、対象となる被写体は常に同一の被写体であるため、式（３）における被写体の幅は固定値として定義できる。このため、直前に露光を行った時点（ステップＳ３１５または後述するステップＳ４１１）における被写体距離情報と、画像データ上の最新被写体距離情報との関係式は、以下（４）で表される。
【００７６】
【数４】
2020144298.tif 000006
【００７７】
すなわち、最新被写体サイズは、以下の式（５）を用いて推定することができる。
【００７８】
【数５】
2020144298.tif 000007
【００７９】
このように、ステップＳ５０２において、システム制御部１０は、式（５）を用いて推定された被写体サイズ（推定被写体サイズ情報）を被写体サイズ情報として選択する。本ステップでは、ステップＳ３０４での被写体サイズ情報の検出と異なり、複数の画像データを必要としないため、ステップＳ３０４の方法よりも早く被写体サイズ情報を取得（撮影終了（Ｓ３２２）から被写体サイズ取得までの時間を短く）することができる。
【００８０】
ステップＳ５０３において、システム制御部１０は、検出被写体サイズ情報の信頼度を判定する。本実施形態において、システム制御部１０は、最新検出被写体サイズ情報と予測被写体サイズ情報との差に基づいて検出被写体サイズの信頼度を決定する。ここで、最新検出被写体サイズ情報は、ステップＳ４０４にて被写体サイズの検出を再開した時点からステップＳ５０３が実行されるまでの間に検出された検出被写体サイズ情報のうち最新の検出被写体サイズ情報である。予測被写体サイズ情報は、直前に露光を行った時点（ステップＳ３１６または後述するステップＳ４１２）における被写体サイズ情報から推定されるステップＳ５０３時点における予測の被写体サイズ情報である。本実施形態において、最新検出被写体サイズ情報と予測被写体サイズ情報との差が小さいほど、信頼度は高い。すなわちステップＳ５０３では、被写体サイズの信頼度がメモリ１７に予め記憶されている第２の信頼度（第２の閾値）よりも高い場合、ステップＳ５０５に進む。一方、被写体距離の信頼度が第２の信頼度（第２の閾値）よりも低い場合、ステップＳ５０４に進む。
【００８１】
ステップＳ５０４において、システム制御部１０は、ステップＳ５０１にて算出した被写体距離情報の信頼度が、ステップＳ５０３にて算出した被写体サイズ情報の信頼度よりも大きいか否かを判定する。被写体距離情報の信頼度が被写体サイズ情報の信頼度よりも大きい場合、ステップＳ５０２に進む。一方、被写体距離情報の信頼度が被写体サイズ情報の信頼度よりも小さい場合、ステップＳ５０５に進む。ステップＳ５０５において、システム制御部１０は、ステップＳ５０３にて取得した最新検出被写体サイズ情報を被写体サイズ情報として選択する。
【００８２】
続いて、図４（ａ）のステップＳ４０６において、システム制御部１０は、露光中の被写体サイズの変化（ステップＳ４０６が実行される以降の被写体サイズの変化）を予測する。すなわちシステム制御部１０は、ステップＳ３１６またはステップＳ４１１で内部メモリ１１に記憶された被写体サイズ情報のいずれか新しい情報と、ステップＳ４０５にて選択された被写体サイズ情報とに基づいて、被写体サイズの変化を予測する。本実施形態において、システム制御部１０は、これらを直線近似することにより、ステップＳ４０６が実行される以降の被写体サイズの変化を予測する。
【００８３】
続いてステップＳ４０７において、システム制御部１０は、ステップＳ４０６で予測した被写体サイズの変化に基づいて、ステップＳ３４０７が実行される時点における予測被写体サイズを算出する。そしてシステム制御部１０は、予測被写体サイズを目標被写体サイズに一致させるための目標焦点距離を算出する。本実施形態において、目標焦点距離は、予測被写体サイズ情報と、ステップＳ３０２で取得した目標サイズ情報と、ズーム制御部９により算出されるステップＳ４０７が実行される時点における焦点距離情報とに基づいて算出される。
【００８４】
続いてステップＳ４０８において、システム制御部１０は、ステップＳ４０７にて算出された目標焦点距離となるように、ズーム制御部９を介してズームレンズ２ａを追従駆動する。続いてステップＳ４０９において、システム制御部１０は、ズームの追従待ちが必要か否か（追従度合）を判定する。ズームの追従待ちが必要な場合（追従度合が所定の範囲外である場合）、ステップＳ４１０に進む。一方、ズームの追従待ちが不要な場合（追従度合が所定の範囲内である場合）、ステップＳ４１１に進む。ズームの追従待ちについては、前述したステップＳ３１３の処理と同様である。
【００８５】
なお本実施形態では、ステップＳ４０９にてズームの追従待ちを実行するが、これに限定されるものではない。例えば、ズーミング流し撮り連写シーケンスに要する時間（連写時の１枚当たりの撮影時間（コマ速））を短縮するために、ズームの追従待ちを省略してもよい。または、ズーミング流し撮り連写シーケンスにおけるズームの追従待ちの実施の有無をユーザに選択させるように構成してもよい。
【００８６】
ステップＳ４１０において、システム制御部１０は、ステップＳ４０１にてユーザからのＳＷ２の指示が実行された時点からステップＳ４１０が実行されるまでの時間が所定時間ｔを超えている（ＳＷ２の操作から所定の時間が経過した）か否かを判定する。この時間が所定時間ｔを超えている場合、ステップＳ４１１に進む。一方、この時間が所定時間ｔを超えていない場合、ステップＳ４０７に戻って処理を継続する。すなわちシステム制御部１０は、ステップＳ４０９でズームの追従待ちが必要と判定され続けている時間が所定時間ｔに満たない間は、ステップＳ４０６〜ステップＳ４０７の処理を繰り返し実行する。
【００８７】
ステップＳ４１１において、システム制御部１０は、ステップＳ４０３で被写体距離の検出を再開した時点からステップＳ４１１が実行されるまでの間に検出された被写体距離情報のうち、最新の被写体距離情報を内部メモリ１１に記憶する。続いてステップＳ４１２において、システム制御部１０は、ステップＳ４０５にて選択された被写体サイズ情報を内部メモリ１１に記憶する。続いてステップＳ４１３において、システム制御部１０は、被写体距離検出部１９による被写体距離情報の検出を停止する。続いてステップＳ４１４において、システム制御部１０は、被写体サイズ検出部２０による被写体サイズ情報の検出を停止する。続いてステップＳ４１５において、システム制御部１０は、露光（撮影）を開始する。
【００８８】
続いてステップＳ４１６において、システム制御部１０は、ステップＳ４０６で予測した被写体サイズの変化に基づいて、ステップＳ４１６が実行される時点における予測被写体サイズを算出する。そしてシステム制御部１０は、予測被写体サイズを目標被写体サイズに一致させるための目標焦点距離を算出する。本実施形態において、目標焦点距離は、予測被写体サイズ情報と、ステップＳ３０２で取得した目標サイズ情報と、ズーム制御部９により管理されるステップＳ４１６が実行される時点における焦点距離情報とに基づいて算出される。
【００８９】
続いてステップＳ４１７において、システム制御部１０は、ステップＳ４１６で演算された目標焦点距離となるように、ズーム制御部９を介しズームレンズ２ａを追従駆動する。続いてステップＳ４１８において、システム制御部１０は、ステップＳ４１５で開始された露光が終了したか否かを判定する。露光が終了している場合、ステップＳ４０１に戻り、システム制御部１０は再度、ズーミング流し撮り連写シーケンスを実行する。一方、露光が終了していない場合、ステップＳ４１６に戻り、処理を継続する。すなわちシステム制御部１０は、ステップＳ４１５で開始した露光が継続している間は、ステップＳ４１６およびステップＳ４１７の処理を繰り返し実行することで、露光中のズーム追従駆動を実現している。
【００９０】
以上のように本実施形態のズーミング連写撮影シーケンスでは、被写体距離情報および被写体サイズ情報の信頼度に応じて、次の撮影時のズーム追従駆動に使用するための被写体サイズ情報を２つの方法で取得された被写体サイズ情報から決定（選択）する。ここで、２つの方法で取得された被写体サイズ情報は、被写体距離情報から推定する推定被写体サイズ情報と、被写体サイズ検出部２０により検出される検出被写体サイズ情報である。これにより、被写体サイズ検出部２０により検出される検出被写体サイズ情報のみを用いる場合よりも、ズーム追従駆動に使用する被写体サイズ情報の精度を高めることが可能である。
【００９１】
また、被写体サイズ検出部２０が被写体サイズを検出するまでの時間よりも被写体距離検出部１９が被写体距離を検出するまでの時間が短い場合、被写体距離検出部１９により検出される被写体距離情報から推定する推定被写体サイズ情報を用いることが好ましい。その結果、ズーミング流し撮り連写シーケンスに要する時間（連写時の１枚当たりの撮影時間（コマ速））を短縮することが可能になる。
【００９２】
（第２の実施形態）
次に、図７（ａ）および図７（ｂ）を参照して、第２の実施形態における撮像装置１のズーミング流し撮り撮影（第２のズーミング流し撮り撮影）の動作について説明する。図７（ａ）および図７（ｂ）は、第２のズーミング流し撮り撮影の動作（撮影シーケンス）を示すフローチャートである。図７（ａ）および図７（ｂ）の各ステップは、メモリ１７に格納されたプログラムに従って、システム制御部１０により実行される。
【００９３】
撮像装置１は、電源が投入されると、各種の初期化処理等を行った後、ユーザによる操作スイッチ１４の操作による動作指示の待ち状態となる。まずステップＳ７０１において、システム制御部１０は、ユーザによる操作スイッチ１４の操作によりズーミング流し撮り撮影モードの実行指示があるか否かを判定する。ズーミング流し撮り撮影モードの実行指示がある場合、ステップＳ７０２に進む。一方、ズーミング流し撮り撮影モードの実行指示がない場合、システム制御部１０は、ステップＳ７０１の判定を継続する。
【００９４】
ステップＳ７０２において、システム制御部１０は、被写体距離検出部１９を用いて、被写体距離（被写体距離情報）の検出を開始する。本実施形態において、被写体距離情報は、位相差センサの機能を有する撮像素子４を用いて、光学系２から入射した光を２方向に分けた信号の位相差に基づいて検出される。このため、ステップＳ７０２にて被写体距離検出部１９による被写体距離情報の検出を開始した以降、撮像素子４が画像表示部１３に表示する画像データを撮像するごとに、最新の被写体距離情報の検出が可能である。また、検出された最新の被写体距離情報は、被写体距離を検出した時間を意味する被写体距離検出時間情報を含み、これらの情報は内部メモリ１１に蓄積（記憶）される。
【００９５】
続いてステップＳ７０３において、システム制御部１０は、被写体サイズ検出部２０を用いて、被写体サイズ情報の検出を開始する。本実施形態において、被写体サイズ情報は、動きベクトル（動きベクトル情報）に基づいて検出される。このため、ステップＳ７０３にて被写体サイズ検出部２０による被写体サイズ情報の検出を開始した以降、撮像素子４が画像表示部１３に表示するために撮像した少なくとも２つ以上の連続した画像データの差分から、最新の被写体サイズ情報の検出が可能となる。また、検出された最新の被写体サイズ情報は、被写体サイズを検出した時間を意味する被写体サイズ検出時間情報を含み、これらの情報は内部メモリ１１に蓄積（記憶）される。このような被写体サイズ情報の検出は、ステップＳ７０３以降周期的に繰り返し、内部メモリ１１に蓄積していく。
【００９６】
続いてステップＳ７０４において、システム制御部１０は、ズーミング流し撮り撮影シーケンスにおけるズーム追従待ち時間の予測を行う追従待ち時間予測処理を実行する。
【００９７】
ここで、図９を参照して、ズーミング流し撮り撮影シーケンスにおける追従待ち時間予測処理（追従待ち時間予測処理シーケンス）について説明する。図９は、追従待ち時間予測処理シーケンス（ステップＳ７０４および後述するステップＳ８０６）を示すフローチャートである。図９の各ステップは、メモリ１７に格納されたプログラムに従って、システム制御部１０により実行される。
【００９８】
まずステップＳ９０１において、システム制御部１０は、被写体サイズ変化情報を取得する。すなわちシステム制御部１０は、ステップＳ７０３で被写体サイズの検出を開始した時点からステップＳ９０１が実行されるまでの間に、検出された検出被写体サイズ情報の履歴を取得する。本実施形態において、システム制御部１０は、ステップＳ９０１が実行されるまでに検出された検出被写体サイズ情報のうち、最新の検出被写体サイズ情報から任意の数（例えば１０個分）の検出被写体サイズ情報を取得する。また、それぞれの検出被写体サイズ情報に対応して、検出された時間を表す検出時間情報、および、検出された時間での検出焦点距離情報を併せて取得する。
【００９９】
続いてステップＳ９０２において、システム制御部１０は、ステップＳ９０１で取得した検出被写体サイズ情報、検出時間情報、および検出焦点距離情報に基づいて、ステップＳ９０２が実行される時点以降における被写体距離変化速度情報を算出する。焦点距離と画像データ上の被写体サイズと被写体距離の関係式は、前述した式（１）で表される。ズーミング流し撮り撮影のシーケンスにおいて、対象となる被写体は常に同一の物体であるため、式（１）における被写体の幅は固定値として定義することができる。従って、ステップＳ９０１で取得した、任意の数の検出被写体サイズ情報、および検出焦点距離情報から、それぞれの時点での被写体距離を算出できる。そしてシステム制御部１０は、それら任意の数の被写体距離情報と、ステップＳ９０１で取得した、任意の数の検出時間情報を最小二乗法により近似することにより、ステップＳ９０２の実行時以降における被写体距離変化速度を予測する。
【０１００】
続いてステップＳ９０３において、システム制御部１０は、ステップＳ９０２で算出した被写体距離変化速度に基づいて、ステップＳ９０３が実行される時点以降において、画像データ上の被写体サイズを一定にするために必要となる焦点距離変化速度を予測する。焦点距離と画像データ上の被写体サイズと被写体距離の関係式は、前述した式（１）で表される。ズーミング流し撮り撮影のシーケンスにおいて、対象となる被写体は常に同一の物体であるため、式（１）における被写体の幅は固定値として定義することができる。また、画像データ上の被写体サイズは、ステップＳ９０３が実行される時点での被写体サイズで固定されるため、焦点距離変化速度は、ステップＳ９０２で算出した被写体距離変化速度から算出できる。
【０１０１】
続いてステップ９０４において、システム制御部１０は、ステップＳ９０３で算出した焦点距離変化速度と、ステップＳ９０４が実行される時点における焦点距離に基づいて、追従待ち時間を決定する。システム制御部１０は、ステップＳ９０３で算出した焦点距離変化速度と、ステップＳ９０４が実行される時点における焦点距離における追従待ち時間を抽出する。これらは、予め撮像装置１のメモリ１７に記憶された任意の範囲で区切られた複数の焦点距離と、任意の範囲で区切られた複数の焦点距離変化速度の組み合わせで構成される第１のデータテーブルに基づいて抽出される。本実施形態において、追従待ち時間は、任意の範囲で区切られた複数の焦点距離と、任意の範囲で区切られた複数の焦点距離変化速度の組み合わせで構成されるデータテーブルから決定される値として、予め撮像装置1のメモリ１７に記憶されている。ただし本発明は、これに限定されるものではない。例えば、複数の情報から、任意の方法により、演算する構成としても良い。
【０１０２】
続いてステップＳ９０５において、システム制御部１０は、ステップＳ９０４で決定した追従待ち時間の補正処理を行う。システム制御部１０は、ズーム制御部９で管理されるズームレンズ２ａの累積駆動回数に応じた任意の値を追従待ち時間補正値として、ステップＳ９０４で決定した追従待ち時間に加算する。なお本実施形態においては、追従待ち時間の補正処理をズームレンズ２ａの累積駆動回数に応じた任意の値を加算する構成としたが、これに限定されるものではない。例えば、温度や姿勢など、ズームレンズ２ａの駆動時間に一定の影響を及ぼす事象に対して、任意の値、もしくは、算出された値を加算減算する構成としても良い。
【０１０３】
続いてステップＳ９０６において、システム制御部１０は、ステップＳ９０３で算出した焦点距離変化速度と、ステップＳ９０６が実行される時点における焦点距離に基づいて、追従待ち時間の間の焦点距離の変化量を決定する。システム制御部１０は、ステップＳ９０３で算出した焦点距離変化速度と、ステップＳ９０６が実行される時点における焦点距離における追従待ち時間の間の焦点距離の変化量を抽出する。これらは、予め撮像装置１のメモリ１７に記憶された任意の範囲で区切られた複数の焦点距離と、任意の範囲で区切られた複数の焦点距離変化速度の組み合わせで構成される第２のデータテーブルに基づいて抽出される。ここで、追従待ち時間の間の焦点距離の変化量は、ステップＳ９０１で取得された被写体サイズ変化情報の変化方向に従い、正負の極性が付与された情報である。
【０１０４】
例えば、ステップＳ９０１で取得された被写体サイズ変化情報において、被写体サイズが大きくなる方向である場合、つまり、被写体が撮像装置１に近づく方向に移動している場合を考える。このとき、被写体のサイズが変化に追従させるためにズームレンズ２ａを追従駆動させるには、焦点距離を減少させる必要があるため、追従待ち時間の間の焦点距離の変化量は負の極性を有する。一方、ステップＳ９０１で取得された被写体サイズ変化情報において、被写体サイズが小さくなる方向である場合、つまり、被写体が撮像装置１から遠ざかる方向に移動している場合を考える。このとき、被写体のサイズが変化に追従させるためにズームレンズ２ａを追従駆動させるには、焦点距離を増加させる必要があるため、追従待ち時間の間の焦点距離の変化量は正の極性を有する。
【０１０５】
なお、追従待ち時間の間の焦点距離の変化量は、任意の範囲で区切られた複数の焦点距離と、任意の範囲で区切られた複数の焦点距離変化速度の組み合わせで構成されるデータテーブルから決定される値として、予め撮像装置1のメモリ１７に記憶されている。ただし本発明は、これに限定されるものではない。例えば、複数の情報から、任意の方法により、演算する構成としても良い。
【０１０６】
続いて、図７（ａ）のステップＳ７０５において、システム制御部１０は、ステップＳ７０４にて予測した追従待ち時間が所定時間ｔｓを超えているか否かを判定する。追従待ち時間が所定時間ｔｓを超えている場合、ステップＳ７０６に進む。一方、追従待ち時間が所定時間ｔｓを超えていない場合、ステップＳ７０８に進む。
【０１０７】
ステップＳ７０６において、システム制御部１０は、ステップＳ７０４に示す方法で算出される追従待ち時間を、所定時間ｔｓ以下にするために必要となる基準焦点距離変化速度を算出する。基準焦点距離変化速度は、所定時間Ｔｓから、ステップＳ９０５で加算した追従待ち時間補正値を減算した時間を基準時間として抽出される。すなわち、ステップＳ７０６が実行される時点における焦点距離にて、その値が基準時間以下となる焦点距離変化速度を、ステップＳ９０４で使用した第１のデータテーブルから抽出すれば良い。
【０１０８】
続いてステップＳ７０７において、システム制御部１０は、ステップＳ７０６で算出された基準焦点距離変化速度となるように、ズーム制御部９を用いてズームレンズ２ａを駆動する。（以下、ＳＷ２の指示（撮影開始指示）の前に実行されるステップＳ７０７のズームレンズ２ａの駆動を基準駆動と記す。）続いてステップＳ７０８において、システム制御部１０は、ユーザによるレリーズスイッチ１５の操作により、ＳＷ２の指示（撮影開始指示）があるか否かを判定する。ＳＷ２の指示がない場合、ステップＳ７０４に戻る。一方、ＳＷ２の指示がある場合、ステップＳ７０９に進む。
【０１０９】
ステップＳ７０９において、システム制御部１０は、ステップＳ７０８にてＳＷ２の指示があると判定された時点における被写体のサイズを、目標被写体サイズ（目標サイズ情報）として設定する。目標サイズ情報は、ズーミング流し撮り撮影の際に、画像データにおける被写体のサイズ（大きさ）を一定に保持するにあたり、いかなる大きさに保持するかについての目標となる被写体サイズの情報を意味する。
【０１１０】
続いてステップＳ７１０において、システム制御部１０は、ＡＥ処理にて決定され、内部メモリ１１に格納されている露光時間を取得する。なお本実施形態において、ステップＳ７１０で取得する露光時間はＡＥ処理にて決定されたものとしたが、これに限定されるものではない。例えば、ズーミング流し撮り撮影モードの場合には、背景の流し効果を得るため、予め定められた露光時間が設定される場合、その時間を取得する構成としても良い。続いてステップＳ７１１において、システム制御部１０は、ズーミング流し撮り撮影シーケンスにおける第１の駆動端情報取得処理を行う。
【０１１１】
ここで、図１０（ａ）を参照して、ズーミング流し撮り撮影シーケンスにおける第１の駆動端情報取得処理（駆動端情報取得処理シーケンス）について説明する。図１０（ａ）は、第１の駆動端情報取得処理シーケンス（ステップＳ７１１）を示すフローチャートである。図１０（ａ）の各ステップは、メモリ１７に格納されたプログラムに従って、システム制御部１０により実行される。
【０１１２】
まずステップＳ１００１において、システム制御部１０は、追従駆動を開始してから追従待ち時間が経過した時点における焦点距離（追従待ち後焦点距離）を予測する。この焦点距離は、ステップＳ１００１が実行される時点における焦点距離と、ステップＳ９０６で決定された追従待ち時間の間の焦点距離の変化量に基づいて予測することができる。
【０１１３】
続いてステップＳ１００２において、システム制御部１０は、ズーミング流し撮り撮影時に到達する可能性のある駆動端がワイド（広角）端かテレ（望遠）端のいずれに相当するかを選択する。この選択は、ステップＳ９０６で決定された追従待ち時間の間の焦点距離の変化量の極性に基づいて行われる。例えば、ステップＳ９０６で決定された追従待ち時間の間の焦点距離の変化量の極性が正である場合、ズーミング流し撮り撮影におけるズームレンズ２ａの駆動方向は、広角から望遠方向になるため、駆動端としては、テレ端が選択される。一方、ステップＳ９０６で決定された追従待ち時間の間の焦点距離の変化量の極性が負である場合、ズーミング流し撮り撮影におけるズームレンズ２ａの駆動方向は、望遠から広角方向になるため、駆動端としては、ワイド端が選択される。
【０１１４】
続いてステップＳ１００３において、システム制御部１０は、ステップ１００２で選択された駆動端の焦点距離を取得する。駆動端の焦点距離は、ワイド端、テレ端それぞれに対し、予めメモリ１７に記憶されている。続いてステップＳ１００４において、システム制御部１０は、ステップ１００２で選択された駆動端までの到達時間を算出する。ここで到達時間は、ステップＳ９０３で算出した焦点距離変化速度、ステップＳ１００１で予測された追従待ち後焦点距離、および、ステップＳ１００３にて取得された駆動端の焦点距離から算出する。
【０１１５】
続いて、図７（ｂ）のステップＳ７１２において、システム制御部１０は、ズーミング流し撮り撮影における露光中にズームレンズ２ａがステップＳ１００２で選択された駆動端に到達するかを判定（駆動端到達判定）する。駆動端到達判定では、ステップＳ７１０で取得された露光時間と、ステップＳ１００４で算出された駆動端までの到達時間を比較する。ステップＳ７１０で取得された露光時間が、ステップＳ１００４で算出された駆動端までの到達時間よりも短い場合、露光中に駆動端に到達しないことを意味する。一方、ステップＳ７１０で取得された露光時間が、ステップＳ１００４で算出された駆動端までの到達時間よりも長い場合、露光中に駆動端に到達することを意味する。駆動端到達判定で駆動端に到達すると判定された場合、ステップＳ７１３に進む。一方、駆動端に到達しないと判定された場合、ステップＳ７１５に進む。
【０１１６】
ステップＳ７１３において、システム制御部１０は、さらに、ズーミング流し撮り撮影における追従待ちの間にズームレンズ２ａがステップＳ１００２で選択された駆動端に到達するかを判定（追従待ち駆動端到達判定）する。追従待ち駆動端到達判定では、ステップＳ１００１で予測された追従待ち後焦点距離と、ステップＳ１００３で取得された駆動端の焦点距離を比較する。ステップＳ１００１で予測された追従待ち後焦点距離が、ステップＳ１００３で取得された駆動端の焦点距離を通過しない焦点距離である場合、追従待ちの間に駆動端に到達しないことを意味する。一方、ステップＳ１００１で予測された追従待ち後焦点距離が、ステップＳ１００３で取得された駆動端の焦点距離を通過する焦点距離である場合、追従待ちの間に駆動端に到達することを意味する。追従待ち駆動端到達判定で駆動端に到達すると判定された場合、ステップＳ７１８に進む。一方、駆動端に到達しないと判定された場合、ステップＳ７１４に進む。
【０１１７】
ステップＳ７１４において、システム制御部１０は、露光時間をステップＳ１００４で算出された駆動端までの到達時間に変更する。なお本実施形態において、露光時間をステップＳ１００４で算出された駆動端までの到達時間に変更するものとしたが、これに限定されるものではない。例えば、変更される露光時間としては、ステップＳ１００４で算出された駆動端までの到達時間よりも短い時間であれば良い。
【０１１８】
ステップＳ７１５において、システム制御部１０は、ステップＳ９０２で算出された焦点距離変化速度となるように、ズーム制御部９を用いてズームレンズ２ａを追従駆動する。続いてステップＳ７１６において、システム制御部１０は、ズームの追従待ちが必要か否かを判定する。ズームの追従待ちが必要な場合、ステップＳ７１７に進む。一方、ズームの追従待ちが不要な場合、ステップＳ７１８に進む。なお、撮像装置１のズーミング流し撮り撮影の動作におけるズームの追従待ちが必要か否かは、ステップＳ７１６が実行される時点において、現在の焦点距離の変化速度が、ステップＳ９０２で算出された焦点距離変化速度と一致しているか否かにより、判定している。すなわち、ステップＳ７１６が実行される時点において、現在の焦点距離の変化速度が、ステップＳ９０２で算出された焦点距離変化速度と一致していない場合には、ズームの追従待ちが必要と判定され、ステップＳ７１７に進む。一方、ステップＳ７１６が実行される時点において、現在の焦点距離の変化速度が、ステップＳ９０２で算出された焦点距離変化速度と一致している場合には、ズームの追従待ちが不要と判定され、ステップＳ７１８に進む。
【０１１９】
ステップＳ７１７において、システム制御部１０は、ステップＳ７０８にてユーザからのＳＷ２の指示が実行された時点からステップＳ７１７が実行されるまでの時間が所定時間ｔを超えている（ＳＷ２から所定時間ｔが経過した）か否かを判定する。この時間が所定時間ｔを超えている場合、ステップＳ７１８に進む。一方、この時間が所定時間ｔを超えていない場合、ステップＳ７１６に戻って処理を継続する。すなわち、ステップＳ７１７にてズームの追従待ちが必要と判定され続けている時間が所定時間ｔに満たない間は、システム制御部１０は、ステップＳ７１５〜ステップＳ７１７の処理を繰り返し実行する。
【０１２０】
ステップＳ７１８において、システム制御部１０は、ステップＳ７０２にて被写体距離の検出開始時点からステップＳ７１８が実行されるまでの間に検出された被写体距離情報のうち最新の情報を、前回撮影時被写体距離情報として内部メモリ１１に記憶する。続いてステップＳ７１９において、システム制御部１０は、ステップＳ７０３の被写体サイズの検出開始時点からステップＳ７１９の実行までに検出された検出被写体サイズ情報のうち最新の情報を、前回撮影時被写体サイズ情報として内部メモリ１１に記憶する。続いてステップＳ７２０において、システム制御部１０は、被写体距離検出部１９による被写体距離情報の検出を停止する。続いてステップＳ７２１において、システム制御部１０は、被写体サイズ検出部２０による被写体サイズ情報の検出を停止する。
【０１２１】
続いてステップＳ７２２において、システム制御部１０は、ステップＳ７１０で取得された露光時間、もしくは、ステップＳ７１４で変更された露光時間のいずれかの露光時間に従い、露光（撮影）を開始する。
【０１２２】
続いてステップＳ７２３において、システム制御部１０は、ステップＳ９０２で算出された焦点距離変化速度となるように、ズーム制御部９を用いてズームレンズ２ａを追従駆動する。続いてステップＳ７２４において、システム制御部１０は、ステップＳ７２２にて開始された露光が終了したか否かを判定する。露光が終了している場合、後述するズーミング流し撮り連写シーケンスに移行する。一方、露光が終了していない場合、ステップＳ７２３に戻って処理を継続する。すなわちシステム制御部１０は、ステップＳ７２２にて開始した露光が継続している間、ステップＳ７２３の処理を繰り返し実行することで、露光中のズーム駆動を実現している。
【０１２３】
以上のように、撮像装置１の第２のズーミング流し撮り撮影の動作では、システム制御部１０は、ＳＷ２の指示（撮影開始指示）が実行された時点における被写体のサイズを維持するように、露光中にズームレンズ２ａを追従駆動させる。このため、ユーザが予め目標となる被写体のサイズを設定しておく必要がなく、使い勝手の良いズーミング流し撮り撮影を提供できる。
【０１２４】
また、システム制御部１０は、撮影待機状態（ＳＷ２の指示（撮影開始指示）がない状態）においては、常に、検出被写体サイズに基づき、追従待ち時間の予測処理を行う。そして、追従待ち時間が所定時間ｔｓを超えた場合には、追従待ち時間が所定時間ｔｓ以下となるように、ズームレンズ２ａの基準駆動を開始する。これにより、その後、ＳＷ２の指示があった場合の追従待ち時間が、必ず、所定時間ｔｓ以下とすることができるため、追従待ち時間の増大による露光（撮影）を実行するタイミングの遅れを防止することができる。
【０１２５】
さらに、追従待ち時間の予測処理において、予測処理を行う以前の被写体サイズの変化と、予測を行う時点での焦点距離に応じて追従待ち時間を決定することにより、適切な追従待ち時間を予測できる。追従待ち時間の補正処理では、ズームレンズ２ａの累積駆動回数による追従待ち時間の補正を行う。これにより、ズームレンズ２ａの駆動回数が増えることによる駆動特性の変化による追従待ち時間の変化を補正できるため、更に適切な追従待ち時間を予測できる。
【０１２６】
一方、システム制御部１０は、ＳＷ２の指示（撮影開始指示）が実行された時点において、ズーミング流し撮り撮影の露光中に、ズームレンズ２ａが駆動端に到達するか否かの判定を行う。そして、露光中に駆動端に到達する場合、露光時間を駆動端に到達するまでの時間に変更する。これにより、露光の途中から被写体の大きさを保持できない状態となってしまうことを防止している。
【０１２７】
さらに、システム制御部１０は、ＳＷ２の指示（撮影開始指示）が実行された時点において、ズーミング流し撮り撮影の追従待ち時間の間に、ズームレンズ２ａが駆動端に到達するか否かの判定を行う。そして、追従待ち時間の間に駆動端に到達する場合、ズームレンズ２ａを追従駆動させないことで、不要なズームレンズ２ａを駆動しない。さらに、ズーミング流し撮りが正常に行われなかったことをユーザに周知することを可能としている。
【０１２８】
次に、図８（ａ）および図８（ｂ）を参照して、撮像装置１の第２のズーミング流し撮り連写撮影の動作について説明する。図８（ａ）および図８（ｂ）は、第２のズーミング流し撮り連写撮影の動作（連写撮影シーケンス）を示すフローチャートである。図８（ａ）および図８（ｂ）の各ステップは、メモリ１７に格納されたプログラムに従って、システム制御部１０により実行される。
【０１２９】
撮像装置１は、前述の第２のズーミング流し撮り撮影シーケンスの終了に引き続き、ステップＳ８０１に進む。ステップＳ８０１において、システム制御部１０は、ユーザによるレリーズスイッチ１５の操作により、ＳＷ２の指示（撮影継続指示）があるか否かを判定する。ＳＷ２の指示がある場合、ステップＳ８０３に進む。一方、ＳＷ２の指示がない場合、ステップＳ８０２に進む。
【０１３０】
ステップＳ８０２において、前述した第２のズーミング流し撮り撮影シーケンスにおいて、既にズーム制御部９によるズーム追従駆動が実行されている場合、システム制御部１０は、そのズーム追従駆動を停止し、ズーミング流し撮り連写撮影シーケンスを終了する。
【０１３１】
ステップＳ８０３において、システム制御部１０は、前述した第２のズーミング流し撮り撮影シーケンスのステップＳ７２０または後述するステップＳ８１３にて停止した、被写体距離検出部１９による被写体距離情報の検出を再開する。続いてステップＳ７０４において、システム制御部１０は、前述した第２のズーミング流し撮り撮影シーケンスのステップＳ７２１または後述するステップＳ８１４において停止した被写体サイズ検出部２０による被写体サイズ情報の検出を再開する。
【０１３２】
続いてステップＳ８０５において、システム制御部１０は、ズーミング流し撮り連写撮影シーケンスにおける被写体サイズ選択処理を実行する。なおステップＳ８０５における被写体サイズ選択処理は前述のものと同義である。続いてステップＳ８０６において、システム制御部１０は、ズーミング流し撮り撮影シーケンスにおける追従待ち時間予測処理を実行する。なおステップＳ８０６における追従待ち時間予測処理は前述のものと同義である。
【０１３３】
ステップＳ８０７において、システム制御部１０は、ステップＳ９０２で算出された焦点距離変化速度となるように、ズーム制御部９を用いてズームレンズ２ａを追従駆動する。続いてステップＳ８０８において、システム制御部１０は、ズームの追従待ちが必要か否かを判定する。ズームの追従待ちが必要な場合、ステップＳ８０９に進む。一方、ズームの追従待ちが不要な場合、ステップＳ８１０に進む。なお、撮像装置１のズーミング流し撮り撮影の動作におけるズームの追従待ちが必要か否かは、ステップＳ８０８が実行される時点において、現在の焦点距離の変化速度が、ステップＳ９０２で算出された焦点距離変化速度と一致しているか否かにより、判定している。すなわち、ステップＳ８０８が実行される時点において、現在の焦点距離の変化速度が、ステップＳ９０２で算出された焦点距離変化速度と一致していない場合、ズームの追従待ちが必要と判定され、ステップＳ８０９に進む。一方、ステップＳ８０８が実行される時点において、現在の焦点距離の変化速度が、ステップＳ９０２で算出された焦点距離変化速度と一致している場合、ズームの追従待ちが不要と判定され、ステップＳ８１０に進む。
【０１３４】
ステップＳ８０９において、システム制御部１０は、ステップＳ８０１にてユーザからのＳＷ２の指示が実行された時点からステップＳ７１７が実行されるまでの時間が所定時間ｔを超えている（ＳＷ２から所定時間ｔが経過した）か否かを判定する。この時間が所定時間ｔを超えている場合、ステップＳ７１８に進む。一方、この時間が所定時間ｔを超えていない場合、ステップＳ７１６に戻って処理を継続する。すなわち、ステップＳ７１７にてズームの追従待ちが必要と判定され続けている時間が所定時間ｔに満たない間は、システム制御部１０は、ステップＳ７１５〜ステップＳ７１７の処理を繰り返し実行する。
【０１３５】
続いてステップＳ８０８において、システム制御部１０は、ズームの追従待ちが必要か否かを判定する。ズームの追従待ちが必要な場合、ステップＳ８０９に進む。一方、ズームの追従待ちが不要な場合、ステップＳ８１０に進む。ズームの追従待ちについては、前述したステップＳ７１６の処理と同様である。
【０１３６】
なお本実施形態では、ステップＳ８０８にてズームの追従待ちを実行するが、これに限定されるものではない。例えば、ズーミング流し撮り連写シーケンスに要する時間（連写時の１枚当たりの撮影時間（コマ速））を短縮するために、ズームの追従待ちを省略してもよい。または、ズーミング流し撮り連写シーケンスにおけるズームの追従待ちの実施の有無をユーザに選択させるように構成してもよい。
【０１３７】
ステップＳ８０９において、システム制御部１０は、ステップＳ８０１にてユーザからのＳＷ２の指示が実行された時点からステップＳ８０９が実行されるまでの時間が所定時間ｔを超えている（ＳＷ２の操作から所定の時間が経過した）か否かを判定する。この時間が所定時間ｔを超えている場合、ステップＳ８１０に進む。一方、この時間が所定時間ｔを超えていない場合、ステップＳ８０７に戻って処理を継続する。すなわちシステム制御部１０は、ステップＳ８０８でズームの追従待ちが必要と判定され続けている時間が所定時間ｔに満たない間は、ステップＳ８０７〜ステップＳ８０９の処理を繰り返し実行する。
【０１３８】
ステップＳ８１０において、システム制御部１０は、ＡＥ処理にて決定され、内部メモリ１１に格納されている露光時間を取得する。なお本実施形態において、ステップＳ８１０で取得する露光時間はＡＥ処理にて決定されたものとしたが、これに限定されるものではない。例えば、ズーミング流し撮り撮影モードの場合には、背景の流し効果を得るため、予め定められた露光時間が設定される場合には、その時間を取得する構成としても良い。続いてステップＳ８１１において、システム制御部１０は、ズーミング流し撮り撮影シーケンスにおける第２の駆動端情報取得処理を行う。
【０１３９】
ここで、図１０（ｂ）を参照して、ズーミング流し撮り撮影シーケンスにおける第２の駆動端情報取得処理（駆動端情報取得処理シーケンス）について説明する。図１０（ｂ）は、第２の駆動端情報取得処理シーケンス（ステップＳ８１１）を示すフローチャートである。図１０（ｂ）の各ステップは、メモリ１７に格納されたプログラムに従って、システム制御部１０により実行される。
【０１４０】
まずステップＳ１００５において、システム制御部１０は、ステップＳ１００５が実行される時点における現在焦点距離を取得する。続いてステップＳ１００６において、システム制御部１０は、ズーミング流し撮り撮影時に到達する可能性のある駆動端が、ワイド（広角）端かテレ（望遠）端のいずれに相当するかを選択する。この選択は、ステップＳ９０６で決定された追従待ち時間の間の焦点距離の変化量の極性に基づいて行われる。例えば、ステップＳ９０６で決定された追従待ち時間の間の焦点距離の変化量の極性が正である場合、ズーミング流し撮り撮影におけるズームレンズ２ａの駆動方向は、広角から望遠方向になるため、駆動端としては、テレ端が選択される。一方、ステップＳ９０６で決定された追従待ち時間の間の焦点距離の変化量の極性が負である場合、ズーミング流し撮り撮影におけるズームレンズ２ａの駆動方向は、望遠から広角方向になるため、駆動端としては、ワイド端が選択される。
【０１４１】
続いてステップＳ１００７において、システム制御部１０は、ステップ１００６で選択された駆動端の焦点距離を取得する。駆動端の焦点距離は、ワイド端、テレ端それぞれに対し、予めメモリ１７に記憶されている。続いてステップＳ１００８において、システム制御部１０は、ステップ１００６で選択された駆動端までの到達時間を算出する。ここで到達時間は、ステップＳ９０３で算出した焦点距離変化速度、ステップＳ１００５で取得予測された現在焦点距離、および、ステップＳ１００７にて取得された駆動端の焦点距離から算出する。
【０１４２】
続いて、図８（ａ）のステップＳ８１２において、システム制御部１０は、ズーミング流し撮り撮影における露光中にズームレンズ２ａがステップＳ１００６で選択された駆動端に到達するかを判定（駆動端到達判定）する。駆動端到達判定では、ステップＳ８１０で取得された露光時間と、ステップＳ１００８で算出された駆動端までの到達時間を比較する。ステップＳ８１０で取得された露光時間が、ステップＳ１００８で算出された駆動端までの到達時間よりも短い場合、露光中に駆動端に到達しないことを意味する。一方、ステップＳ８１０で取得された露光時間が、ステップＳ１００８で算出された駆動端までの到達時間よりも長い場合、露光中に駆動端に到達することを意味する。駆動端到達判定で駆動端に到達すると判定された場合、ステップＳ８１３に進む。一方、駆動端に到達しないと判定された場合、ステップＳ８１４に進む。
【０１４３】
ステップＳ８１３において、システム制御部１０は、露光時間をステップＳ１００８で算出された駆動端までの到達時間に変更する。なお本実施形態において、露光時間をステップＳ１００８で算出された駆動端までの到達時間に変更するものとしたが、これに限定されるものではない。例えば、変更される露光時間としては、ステップＳ１００８で算出された駆動端までの到達時間よりも短い時間であれば良い。
【０１４４】
ステップＳ８１４において、システム制御部１０は、ステップＳ８０３で被写体距離の検出を再開した時点からステップＳ８１４が実行されるまでの間に検出された被写体距離情報のうち、最新の被写体距離情報を内部メモリ１１に記憶する。続いてステップＳ８１５において、システム制御部１０は、ステップＳ８０５にて選択された被写体サイズ情報を内部メモリ１１に記憶する。続いてステップＳ８１６において、システム制御部１０は、被写体距離検出部１９による被写体距離情報の検出を停止する。続いてステップＳ８１７において、システム制御部１０は、被写体サイズ検出部２０による被写体サイズ情報の検出を停止する。
【０１４５】
続いてステップＳ８１８において、システム制御部１０は、ステップＳ８１０で取得された露光時間、もしくは、ステップＳ８１３で変更された露光時間のいずれかの露光時間に従い、露光（撮影）を開始する。  続いてステップＳ８１９において、システム制御部１０は、ステップＳ９０２で算出された焦点距離変化速度となるように、ズーム制御部９を用いてズームレンズ２ａを追従駆動する。続いてステップＳ８２０において、システム制御部１０は、ステップＳ８１８で開始された露光が終了したか否かを判定する。露光が終了している場合、ステップＳ８０１に戻り、システム制御部１０は再度、ズーミング流し撮り連写シーケンスを実行する。一方、露光が終了していない場合、ステップＳ８１９に戻り、処理を継続する。すなわちシステム制御部１０は、ステップＳ８１８で開始した露光が継続している間は、ステップＳ８１９の処理を繰り返し実行することで、露光中のズーム追従駆動を実現している。
【０１４６】
以上のように本実施形態のズーミング連写撮影シーケンスでは、被写体距離情報および被写体サイズ情報の信頼度に応じて、次の撮影時のズーム追従駆動に使用するための被写体サイズ情報を２つの方法で取得された被写体サイズ情報から決定（選択）する。ここで、２つの方法で取得された被写体サイズ情報は、被写体距離情報から推定する推定被写体サイズ情報と、被写体サイズ検出部２０により検出される検出被写体サイズ情報である。これにより、被写体サイズ検出部２０により検出される検出被写体サイズ情報のみを用いる場合よりも、ズーム追従駆動に使用する被写体サイズ情報の精度を高めることが可能である。
【０１４７】
また、被写体サイズ検出部２０が被写体サイズを検出するまでの時間よりも被写体距離検出部１９が被写体距離を検出するまでの時間が短い場合、被写体距離検出部１９により検出される被写体距離情報から推定する推定被写体サイズ情報を用いることが好ましい。その結果、ズーミング流し撮り連写シーケンスに要する時間（連写時の１枚当たりの撮影時間（コマ速））を短縮することが可能になる。
【０１４８】
さらに、システム制御部１０は、連写時のＳＷ２の指示（撮影開始指示）が実行された時点において、ズーミング流し撮り連写撮影の露光中に、ズームレンズ２ａが駆動端に到達するか否かの判定を行う。そして、露光中に駆動端に到達する場合、露光時間を駆動端に到達するまでの時間に変更する。これにより、露光の途中から被写体の大きさを保持できない状態となってしまうことを防止している。
【０１４９】
一方、システム制御部１０は、既にズーム追従駆動が行われている連写時には、ＳＷ２の指示（撮影開始指示）が実行された時点において、ズーミング流し撮り撮影の追従待ち時間の間に、ズームレンズ２ａが駆動端に到達するか否かの判定を行わない。これにより、駆動端到達時間に予測成分を含まない精度の高い情報とできるため、端到達判定の精度を高めることが可能となる。
【０１５０】
このように各実施形態において、制御装置（システム制御部１０）は、情報取得手段１０ａ、設定手段１０ｃ、および、制御手段（撮影制御手段１０ｂ）を有する。情報取得手段は、画像データから被写体サイズ情報を取得する。設定手段は、撮影における露光時間を設定する。制御手段は、被写体サイズ情報が示す被写体サイズと目標サイズとの差が小さくなるようにズームの追従駆動を行いながら撮影を行うように制御する。また制御手段は、設定手段により設定された露光時間で撮影を行うと露光期間中にズームがズーム端に到達すると判定された場合、設定手段により設定された露光時間を変更する。
【０１５１】
好ましくは、制御手段は、設定手段により設定された露光時間で撮影を行うと露光期間中にズームがズーム端に到達すると判定された場合、設定手段により設定された露光時間よりも短い露光時間で撮影を行う。より好ましくは、制御手段は、設定手段により設定された露光時間で撮影を行うと露光期間中にズームがズーム端に到達すると判定された場合、設定手段により設定された露光時間をズームがズーム端に到達するまでの時間以下に変更する。
【０１５２】
好ましくは、制御手段は、予測手段１０ｄおよび判定手段１０ｅを有する。予測手段は、撮影におけるズームの変化量を予測する。判定手段は、変化量から撮影においてズームがズーム端に到達するか否かを判定する。制御手段は、判定手段によりズームがズーム端に到達すると判定された場合、設定手段により設定された露光時間を変更する。より好ましくは、予測手段は、被写体サイズ情報と、光学系の焦点距離情報により算出される焦点距離変化速度とに基づいて、ズームの変化量を予測する。また好ましくは、予測手段は、ズームの変化量を、露光の開始前の第１変化量と、露光中の第２変化量との合計に基づいて取得する。より好ましくは、連写撮影により２枚目以降の撮影を連続して行う際に、予測手段は、ズームの変化量を第２変化量のみにより取得する。
【０１５３】
好ましくは、制御手段は、露光開始前のズームの変化量に基づいて、露光の開始前にズームがズーム端に到達するか否かを判定する。制御手段は、ズームが露光の開始前にズーム端に到達すると判定された場合、露光の開始前に追従駆動を行わない。また好ましくは、連写撮影により２枚目以降の撮影を連続して行う際に、制御手段は、露光の開始前に、ズームがズーム端に到達すると判定された場合、設定手段により設定された露光時間を変更する。
【０１５４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１５５】
各実施形態によれば、移動被写体の良好なズーミング流し撮りが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。
【０１５６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１５７】
各実施形態のズーミング流し撮りは、光学ズームに限定されるものではなく、電子ズームにも適用可能である。また、電子ズームと光学ズームとを併用して追従駆動を行ってもよく、電子ズームのズーム倍率を変更することも、ズーム駆動と呼ぶ。電子ズームと光学ズームを併用する場合、併用した場合の望遠端と広角端をズームの駆動端（ズーム端）とする。例えば、光学ズームの望遠端における焦点距離が４００ｍｍ、電子ズームの最大倍率が２倍の場合は、焦点距離８００ｍｍをズームの望遠端とみなす。また、ズームを追従駆動させるように制御することを追従制御と呼ぶ。
また各実施形態は、撮像装置本体と、撮像装置本体に着脱可能な光学系（交換レンズ）とを備えて構成される撮像システムにも適用可能である。
【符号の説明】
【０１５８】
１０  システム制御部（制御装置）
１０ａ  情報取得手段
１０ｂ  撮影制御手段（制御手段）
１０ｃ  設定手段
【図１】
2020144298.tif 000008
【図２】
2020144298.tif 000009
【図３（ａ）】
2020144298.tif 000010
【図３（ｂ）】
2020144298.tif 000011
【図４（ａ）】
2020144298.tif 000012
【図４（ｂ）】
2020144298.tif 000013
【図５】
2020144298.tif 000014
【図６】
2020144298.tif 000015
【図７（ａ）】
2020144298.tif 000016
【図７（ｂ）】
2020144298.tif 000017
【図８（ａ）】
2020144298.tif 000018
【図８（ｂ）】
2020144298.tif 000019
【図９】
2020144298.tif 000020
【図１０（ａ）】
2020144298.tif 000021
【図１０（ｂ）】
2020144298.tif 000022