(57)【要約】【課題】  連写中のズーム操作において、ライブビューの表示が遅くなった場合でも、被写体像の大きさが所定の範囲に収まる画角で静止画像を撮影すること。【解決手段】  連写撮影が可能な撮像装置（１００）を制御する制御装置（１１４）は、ズーム倍率の変更を指示する操作手段（１１８）からの信号を受信する受信手段（１２７）と、前記撮像装置が取得した画像から被写体像を検出する被写体検出手段（１２６）と、前記受信した信号に基づく前記ズーム倍率の変更に合わせてズーム制御を行う制御手段（１２４）と、を有し、前記制御手段は、前記連写撮影中に前記操作手段の操作により前記ズーム倍率が変更され、前記被写体像の大きさが所定の範囲を超えたとき、前記ズーム制御を停止する。【選択図】図７
2020112648.tif 000002
【特許請求の範囲】
【請求項１】
連写撮影が可能な撮像装置を制御する制御装置であって、
ズーム倍率の変更を指示する操作手段からの信号を受信する受信手段と、
前記撮像装置が取得した画像から被写体像を検出する被写体検出手段と、
前記受信した信号に基づく前記ズーム倍率の変更に合わせてズーム制御を行う制御手段と、を有し、
前記制御手段は、前記連写撮影中に前記操作手段の操作により前記ズーム倍率が変更され、前記被写体像の大きさが所定の範囲を超えたとき、前記ズーム制御を停止する、ことを特徴とする制御装置。
【請求項２】
前記被写体像の大きさが前記所定の範囲を超えるか否かを判定する判定手段を更に有し、
前記判定手段は、前記被写体像の大きさが前記所定の範囲を超えたと判定したとき、前記制御手段の前記ズーム制御を停止させることを特徴とする請求項１に記載の制御装置。
【請求項３】
前記ズーム倍率の変更は、前記連写撮影中に被写体が移動することによるものであることを特徴とする請求項１または２に記載の制御装置。
【請求項４】
前記判定手段は、
前記撮影装置によって連続的に撮影される複数の画像から前記被写体像の大きさの変化量を算出し、
前記変化量に基づいて前記被写体像の大きさが前記所定の範囲を超えるタイミングを推定し、
前記タイミングで、前記制御手段の前記ズーム制御を停止させることを特徴とする請求項１乃至３のいずれか一項に記載の制御装置。
【請求項５】
前記判定手段は、前記被写体検出部が検出する前記被写体の大きさが更新されるごとに、前記所定の範囲を超えるタイミングを推定することを特徴とする請求項４に記載の制御装置。
【請求項６】
前記タイミングは、前記被写体像の大きさが前記所定の範囲を超える、時刻、ズーム位置、ズーム倍率、焦点距離の少なくとも一つの情報が所定の値となるタイミングであることを特徴とする請求項４または５に記載の制御装置。
【請求項７】
前記被写体像の大きさの範囲は、前記撮像装置が取得する画像の大きさに対して所定の比率となる大きさの範囲であることを特徴とする請求項１乃至６のいずれか一項に記載の制御装置。
【請求項８】
前記被写体像の大きさの範囲は、前記操作手段の操作に応じて前記ズーム制御手段での前記ズーム制御が開始されるタイミングで検出された前記被写体像の大きさに対して所定の比率となる大きさの範囲であることを特徴とする請求項１乃至７のいずれか一項に記載の制御装置。
【請求項９】
連写撮影が可能な撮像手段と、
ズーム倍率の変更を指示する操作手段と、
請求項１乃至８のいずれか一項に記載の制御手段と、を有することを特徴とする撮像装置。
【請求項１０】
連写撮影が可能な撮像装置にて実行される制御方法であって、
前記連写撮影中に、ズーム倍率を変更する操作手段の操作による前記ズーム倍率の変更に合わせてズーム制御を行うステップと、
前記撮像装置が取得した画像から被写体像を検出するステップと、を有し、
前記ズーム制御を行うステップは、前記連写撮影中に前記操作手段の操作により前記ズーム倍率が変更され、前記被写体像の大きさが所定の範囲を超えたとき、前記ズーム制御を停止する、ことを特徴とする制御方法。
【請求項１１】
請求項１０に記載した制御方法をコンピュータに実行させることを特徴とする制御プログラム。
【請求項１２】
請求項１１に記載した制御プログラムが記憶されていることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連写中にズームを制御する制御装置及びその制御方法等に関する。
【背景技術】
【０００２】
従来から連写機能やズーム機能を有するデジタルカメラ等の撮像装置がある。また、レンズ鏡筒の周りにズーム操作用のリングやレバー等の操作部材が配置されたデジタルカメラでは、連写撮影を行いながらズームを操作するというような撮影を行うことが可能である。例えば、遠くから近づいてくる被写体に対して、動きを追いながら連写撮影する間に被写体が所望の大きさよりも大きくなると、ズームを広角側に動かして適切な画角に被写体を捕らえなおしながら連写を継続することができる。
【０００３】
特許文献１では、連写しながらズームを行う撮影において、撮影開始前の被写体の動きを解析し、被写体の動きに合わせて連写間に変化させるズーム倍率を決定する構成が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ＷＯ２０１３／１９０８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１で開示されているデジタルカメラでは、連写中に被写体の動きが変わった場合、撮影開始前に予測した画角とは異なる画角で連写されてしまう可能性がある。また、連写中のライブビュー表示は、撮影した画像がレビュー表示されるため、連写速度が遅い場合には表示の更新周期が遅くなる。通常のライブビューのフレームレートは３０〜６０ｆｐｓ程度で表示画像が更新されるが、例えば、連写速度が８コマ／秒の連写中にはフレームレートが８ｆｐｓとなり、ライブビューの表示に遅れが生じる。そのため、連写中にズーム操作を行う場合、ユーザがライブビューを見ながら被写体像が所望の大きさであると判断して操作を終了しても、実際にはその大きさでズームを停止させることができずに、被写体像が意図しない大きさになってしまう可能性がある。
【０００６】
上記課題に鑑みて、本発明は、連写中のズーム操作において、ライブビューの表示が遅くなった場合でも、被写体像の大きさが所定の範囲に収まる画角で静止画像を撮影することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る制御装置は、連写撮影が可能な撮像装置を制御する。制御装置は、ズーム倍率の変更を指示する操作手段からの信号を受信する受信手段と、撮像装置が取得した画像から被写体像を検出する被写体検出手段と、受信した信号に基づくズーム倍率の変更に合わせてズーム制御を行う制御手段と、を有する。制御手段は、連写撮影中に操作手段の操作によりズーム倍率が変更され、被写体像の大きさが所定の範囲を超えたとき、ズーム制御を停止する。
【０００８】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【０００９】
本発明によれば、連写中のズーム操作において、ライブビューの表示が遅くなった場合でも、被写体像の大きさが所定の範囲に収まる画角で静止画像を撮影することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係るデジタルカメラの構成例を示すブロック図である。
【図２】フォーカス位置とコントラスト評価値の関係を示す図である。
【図３】焦点距離と、被写体距離ごとのフォーカスレンズ位置との関係を例示した図である。
【図４】ズームアシスト機能の制御を説明する図である。
【図５】ズームアシスト機能の処理のタイミングを示すタイミングチャートである。
【図６】被写体サイズの推定処理を説明する図である。
【図７】ズームアシスト機能の処理の流れを説明するフローチャートである。
【図８】ズーム駆動判定処理を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下に、本発明の一実施形態を添付図面に基づいて詳細に説明する。図１は、本実施形態における撮像装置の一例として、ズームアシスト機能を有するデジタルカメラ１００の構成例を示すブロック図である。
【００１２】
レンズ鏡筒１０１は、その内部にレンズ群を保持している。ズームレンズ１０２は、レンズ鏡筒１０１の光軸方向に移動することで焦点距離を調節し、光学的に画角を変更（ズーム位置を移動）する。フォーカスレンズ１０３は、レンズ鏡筒１０１の光軸方向に移動することで焦点調節を行う。防振レンズ（像ブレ補正用レンズ）１０４は、手ぶれ等に起因する像ブレを補正する。光量調節を行う絞り及びシャッタ１０５は、露出制御に用いられる。なお、本実施形態において、デジタルカメラ１００は、レンズ鏡筒１０１とカメラ本体部とが一体的に構成された撮像装置であるが、これに限定されるものではない。本実施形態は、カメラ本体部と、カメラ本体部に着脱可能な交換レンズとから構成される撮像システムにも適用可能である。
【００１３】
撮像素子１０６は、レンズ鏡筒１０１を通過した光を受光し、光電変換によって被写体像を電気信号に変換することで撮像信号を生成する。撮像素子１０６はＣＣＤ（電荷結合素子）型またはＣＭＯＳ（相補型金属酸化膜半導体）型のイメージセンサ等である。撮像素子１０６による撮像信号は、画像処理部１０７に入力されて、画素補間処理や色変換処理等の処理が行われる。処理後の画像データは画像メモリ１０８に記憶される。画像メモリ１０８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の記憶デバイスである。
【００１４】
表示部１０９は、ＴＦＴ型ＬＣＤ（薄膜トランジスタ駆動型液晶表示器）等を備えて構成され、撮影画像（画像データ）や、特定の情報（例えば、撮影情報等）を表示する。撮影画像に係るライブビュー等の情報表示により、ユーザが画角合わせを行うための電子ビューファインダ（ＥＶＦ）機能を提供できる。
【００１５】
撮影処理によって生成された画像データは、インターフェース（Ｉ／Ｆ）部１１５を介して記録部１１６に送られて記録される。画像データは、外部記録媒体、または不揮発性のメモリ１１７、あるいはそれらの両方に記録される。外部記録媒体は、デジタルカメラ１００に装着して使用されるメモリカード等である。不揮発性のメモリ１１７は、デジタルカメラ１００に内蔵されている記憶媒体である。メモリ１１７は、プログラムデータや画像データの他に、デジタルカメラ１００の設定等の情報を記憶する。
【００１６】
操作部１１８（操作手段）は、ズーム操作部材や撮影開始を指示するレリーズスイッチ、被写体の指定やデジタルカメラ１００の設定を行うタッチパネルや操作スイッチ等を含む。操作部１１８の操作信号は、システム制御部１１４（制御装置）の受信部（受信手段）１２７に送られる。
【００１７】
システム制御部１１４は、ＣＰＵ（中央演算処理装置）等の演算装置を備える。システム制御部１１４は、ユーザの操作に応じて各部に制御命令を送ることによりデジタルカメラ１００全体を制御する。システム制御部１１４は、メモリ１１７に記憶されている各種の制御プログラム、例えば撮像素子１０６の制御やＡＥ／ＡＦ制御、防振制御、ズーム制御等を行うためのプログラムを実行する。
【００１８】
カメラ制御部１２０は、カメラ機能全般の制御の指示を行う。例えば、レリーズスイッチが半押しされるとＡＥ／ＡＦ等の撮影準備動作を行い、全押しされると静止画や動画の撮影動作を行うように指示を行う。
【００１９】
自動露出制御部（以下、ＡＥ制御部という）１２１は、画像処理部１０７での画像処理によって得られた測光値に基づいて露出制御値（絞り値及びシャッタ速度）を演算する。ＡＥ制御部１２１は、測光結果に基づいて絞りシャッタ駆動部１１０を制御する。さらに、絞りシャッタ駆動部１１０は、絞り及びシャッタ１０５を駆動し、自動露出調整を実現する。絞りシャッタ駆動部１１０は、ステッピングモータや電磁プランジャ等のアクチュエータやそれらを駆動する駆動回路によって構成され、絞り及びシャッタ１０５を駆動する。
【００２０】
防振制御部１２２は、振れ検出部１１９のジャイロセンサ等の角速度センサによる振れ検出情報に基づいてデジタルカメラ１００に加わる振れ量を演算する。演算結果にしたがって、デジタルカメラ１００に加わる振れ量を打ち消す（または低減する）ように防振レンズ１０４を駆動することで光学防振を実現する。防振制御部１２２は、振れ量を元に所定の演算周期で防振レンズ１０４を制御する目標位置を演算し、防振レンズ駆動部１１１に駆動指示を出す。その指示に基づいて、防振レンズ駆動部１１１は防振レンズ１０４を駆動する。防振制御部１２２は、防振レンズ駆動部１１１の位置検出センサで検出された防振レンズ１０４の位置をフィードバックし、防振レンズ１０４を目標位置に保持するようにフィードバック制御が実行される。
【００２１】
オートフォーカス制御部（以下、ＡＦ制御部という）１２３は、コントラスト方式で自動焦点調節（ＡＦ）制御を行う。つまり、ＡＦ制御部１２３は、画像処理部１０７での画像処理により得られた撮影光学系の焦点調節情報（コントラスト評価値）に基づいて、被写体に焦点が合うようにフォーカスレンズ駆動部１１２を制御する。本発明においては、コントラスト方式以外のＡＦ制御として、位相差ＡＦ方式でもよいし、また、コントラスト方式と他の方式との組み合わせのように、複数の方式でＡＦ制御を行う構成でもよい。ＡＦ制御部１２３は、ＡＦ制御を行う際にフォーカスレンズ駆動部１１２を制御して、フォーカスレンズ１０３を所定の範囲で移動させることによりスキャン動作を行う。スキャン動作中に得られるコントラスト評価値等を用いて、合焦点であるフォーカス位置が検出される。図２は、コントラスト方式のＡＦ制御におけるフォーカス位置とコントラスト評価値の関係を示す図である。コントラスト評価値は、画像の任意の領域に測距枠と呼ぶコントラストを算出する領域を設定し、その領域内の画像情報からハイパスフィルタ等によって高周波成分を数値化した値である。コントラスト評価値が高いほど、合焦度が高いことを示している。また、ＡＦ制御には、静止画撮影でレリーズスイッチを半押ししたときに動作するシングルＡＦモードと、被写体をフレーミングするＥＶＦ画面や動画撮影中にピントを常時合わせ続けるコンティニュアスＡＦモードの二つの制御モードがある。シングルＡＦモードは、被写体距離を無限から至近になるまで一気にフォーカスレンズ１０３を移動させることでコントラスト評価値の山のピークとなるフォーカス位置を高速に検出するモードである。シングルＡＦモードでは、高速でピント位置を見つけることができる反面、スキャン動作中には画面が一瞬大ぼけとなる場合もある。そのため、出来るだけレリーズタイムラグを短縮したい静止画撮影時のＡＦ制御に適している。一方、コンティニュアスＡＦモードは、動いている被写体などを追い続ける場合に、ピントの変動が目立たない程度の範囲でフォーカスレンズ１０３を反転させるなどしてピントを合わせ続けるモードである。コンティニュアスＡＦモードでは、大ぼけの状態から合焦状態となるまでには時間がかかる反面、一旦合焦状態となると被写体が動いていてもピントを合わせ続けることができる。そのため、被写体をフレーミングするＥＶＦ画面や、動いている被写体であっても常にピントを合わせ続ける動画撮影時のＡＦ制御に適している。
【００２２】
ズームレンズ駆動部１１３は、ズーム操作指示に従ってズームレンズ１０２を駆動する。操作部１１８は、ユーザがカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン、ズームリング等を備える。本発明においては、レンズ鏡筒１０１の周りにズームリングやズームレバー等のズーム操作部材が配置されるデジタルカメラ１００において、片方の手でレリーズスイッチを操作しながら、もう片方の手でズーム操作を行う際の操作性を向上させることができる。カメラ制御部１２０は、ズーム指示操作に用いるズーム操作部材の操作量及び操作方向を検知して、ズーム駆動速度やズーム駆動方向を演算し、演算結果に従ってズームレンズ１０２を光軸に沿って移動させる制御を行う。
【００２３】
光学ズームによる画角変更時に合焦状態を維持するには、レンズ鏡筒１０１がリアフォーカスタイプである場合、ズームレンズ１０２の位置に応じてフォーカスレンズ１０３を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム（ＣＺ）制御といい、システム制御部１１４におけるＣＺ制御部１２４（制御手段）が行う。図３は、ズームレンズの焦点距離と、被写体距離ごとのフォーカス位置との関係を例示する図である。図３では、ズームレンズの焦点距離と、ピントが合うフォーカス位置との関係を、被写体までの距離ごとに示すデータテーブルとしてグラフ化して示す。本実施形態において、このテーブルをフォーカスカムテーブルと称する。図３において、横軸はズーム位置に対応する焦点距離を示し、縦軸はフォーカス位置を示す。各グラフ線の横には、デジタルカメラ１００から被写体までの距離（被写体距離）を例示する。ＣＺ制御部１２４は、ズーム動作時に、所定の制御周期ごとにズームレンズ１０２のズーム位置を検出する。そしてＣＺ制御部１２４は、検出したズーム位置に対して、ＡＦ制御部１２３にて計測された被写体距離でのフォーカスカムテーブルに追従するように、フォーカスレンズ１０３を駆動させる制御を行う。これにより、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。
【００２４】
さらにズームアシスト制御部１２５は、後述する被写体検出部１２６（被写体検出手段）により得られた被写体検出情報に基づいて、画面内の被写体の大きさが所定の範囲に収まるようにＣＺ制御部１２４を制御する。
【００２５】
次に本実施形態における被写体検出処理について説明する。被写体検出部１２６は、画像メモリ１０８に記憶された画像データから所望の被写体領域を検出する。本実施形態では、画像データに含まれる顔情報または色情報に基づいて被写体（人物等の顔、または物体）を検出する被写体検出方法（顔検出処理、色検出処理）について説明する。
【００２６】
まず、被写体検出部１２６における顔検出処理と色検出処理について説明する。
【００２７】
顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部１２６は、画像データ上での正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較する。そして被写体検出部１２６は、両者の相関値が所定の閾値を超える場合、その部分領域を顔領域であると判定する。この判定処理は、部分領域のサイズ、配置位置、配置角度の組み合わせを変更しながら繰り返されることにより、画像データ中に存在する種々の顔領域を検出できる。また、顔認証機能を有する場合には、予め登録されている顔画像の特徴量と、検出した顔領域の特徴量とで公知のアルゴリズムによりパターンマッチングを実行し、相関値が最も高い登録顔画像を検出している顔として認証する。また、全ての登録顔画像に対する相関値が所定値未満である場合には、検出した顔領域は登録されていない顔であると判定する。
【００２８】
色検出処理では、被写体指定方法に従って指定された被写体領域の色情報を特徴色として記憶する処理が実行される。色検出処理は、検出対象の被写体が物体である場合に行われる。色情報としては、画像処理部１０７からの出力信号であるＲＧＢ信号や輝度信号（Ｙ信号）及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号等が用いられる。被写体検出時に被写体検出部１２６は、画像データを複数の部分領域に分割し、部分領域ごとの輝度及び色差の平均値を算出する。また、被写体検出部１２６は、予め記憶された特徴色情報と被写体検出時の各領域の色情報を比較し、輝度及び色差の差分が所定量以下の部分領域を被写体領域の候補とする。この被写体領域の候補で隣り合う部分領域の一群を同一色領域として、同一色領域が所定のサイズ範囲となる領域を最終的な被写体領域とする処理が行われる。被写体が物体の場合、物体によって被写体領域の形状が異なる可能性がある。そこで、同一色領域が全て包含される最小の四角形の領域を物体領域とする。したがって、物体領域は、水平方向と垂直方向の大きさが異なる長方形の領域となる場合もある。また、物体領域の位置としては、四角形状の領域の中心位置とする。枠表示部１２８は、被写体検出処理で検出した顔領域及び物体領域を表示部１０９に枠（被写体検出枠）として表示する。
【００２９】
次に、被写体検出部１２６で検出した被写体検出枠の追尾処理について説明する。被写体検出枠の追尾処理では、連続するフレーム画像の間で移動する被写体領域を追い続ける処理である。被写体追尾機能が開始されると主被写体とする人物もしくは物体の領域が設定される。設定された被写体が人物、すなわち顔である場合、フレーム画像中の全ての顔を検出する。同一の画像で複数の顔を検出した場合には、被写体検出部１２６によって直前のフレーム画像での顔の位置に最も近い顔を追尾する人物と判定する。また、検出した顔が顔認証機能によって登録されている顔であった場合には、フレーム画像間の位置関係によらず認証された顔を優先して追尾する人物と判定する。
【００３０】
設定された被写体が物体である場合、特徴色情報の比較処理の開始位置を直前のフレーム画像の物体領域の位置から開始する。移動する物体の速度よりもフレームレートが十分に高い場合には、前後のフレーム画像間で近傍の領域に同一の物体が検出される可能性が高い。そこで、被写体検出部１２６によって直前の物体領域の位置を起点として左右上下に比較する部分領域をずらしながら同一色領域のマッチング処理を行うことで、移動する物体領域を追尾することが可能となる。
【００３１】
ここで、図４を用いて、本実施形態におけるズームアシスト機能の概要について説明する。図４は、（連続的に撮影する）連写中に被写体、すなわち、被写体追尾枠４００の大きさを所定の範囲内に保つためのズームアシスト機能の制御を説明する図である。図４（Ａ）〜（Ｄ）は、被写体がカメラに近づいてきた場合に、ユーザが連写撮影を行いながら、操作部１１８のズーム操作部材を操作して画角を調整する場合の被写体サイズの変化とズーム動作による画角の変化を例示する。
【００３２】
図４（Ａ）は、連写開始時の画角と被写体追尾枠４００ａを示している。図４（Ｂ）は、連写中に図４（Ａ）の状態からズーム倍率を変更しない状態で、被写体がカメラに向かって近づいてきたときの画角を示している。ユーザは連写によって撮影された画像を表示部１０９のライブビューで確認しながらフレーミング操作を行う。ライブビューでの被写体サイズが大きくなると、ユーザはズーム操作部材を広角側へ操作する。ズーム操作部材の操作に応じて、カメラ制御１２０はＣＺ制御部１２４にズーム動作の開始を指示する。
【００３３】
図４（Ｃ）は、図４（Ｂ）の画角から所定のズーム倍率分だけズームアウトした画角と、被写体追尾枠４００ｃを示している。ライブビューでの被写体サイズが所望の大きさとなるとユーザはズーム操作部材の操作を終了する。ズーム操作部材の操作終了に応じて、カメラ制御１２０はＣＺ制御部１２４にズーム動作の停止を指示する。通常のライブビューは３０〜６０ｆｐｓ程度のフレームレートで表示画像が更新されるため、ユーザが意図するタイミングでズームを停止させることができる。しかしながら、連写中には連写速度のフレームレート（例えば、８コマ／秒の場合には８ｆｐｓ）となり、ライブビューの表示に遅れが生じる。ライブビューに表示される画像は、撮像素子１０６で光電変換された電荷を蓄積したタイミングでの被写体像であり、実際に画像が生成されるのは撮像素子１０６から電荷の読み出し処理が終了した後である。連写中には静止画の画像サイズに対して蓄積及び読み出し処理やシャッタ１０５の駆動が実行されるため、ライブビューに表示されるまでの遅延が大きくなる。したがって、ライブビューでの被写体サイズが所望の大きさとなったタイミングでユーザがズーム操作を終了しても、意図した画角でズームを停止できない可能性がある。
【００３４】
図４（Ｄ）は、連写中に図４（Ｃ）の画角でズーム操作を終了した場合に、最終的にズームが停止する画角を示している。ユーザは図４（Ｃ）の被写体サイズでズームを停止させることを意図しても、実際には図４（Ｄ）の大きさまで被写体が小さくなってしまう。本発明において、ズームアシスト制御部１２５（判定手段）は、被写体サイズを判定し、ズーム操作が継続されている場合であっても被写体サイズが所定の範囲を超えるとＣＺ制御部１２４に対してズームの停止を指示する。被写体サイズの範囲は、画面全体に対して所定の比率となる被写体追尾枠の大きさの範囲を予め設定する方法や、ユーザがズーム操作部材の操作を開始したときの被写体追尾枠の大きさに対して所定の比率の範囲とする方法などで決定される。これによって、ユーザはズーム操作部材の操作でズームを停止させるタイミングを気にする必要なく、レリーズスイッチの操作だけに集中することが可能になる。
【００３５】
次に、図５を参照して、ズームアシスト機能の処理のタイミングについて説明する。図５は、撮像素子１０６、フォーカスレンズ１０３、ズームレンズ１０２の制御のタイミング及び被写体検出部１２６での被写体検出のタイミングを示すタイミングチャートである。５００は時間軸であり、所定の時刻を基準としてミリ秒（ｍｓ）単位の時刻ｔを示している。図５は、通常のライブビュー（ＬＶ）のフレームレートが３０ｆｐｓ（１フレームあたり３３．３ｍｓ）、連写のコマ速が秒８．３コマ（１コマあたり１２０ｍｓ）を例示した図である。
【００３６】
操作部１１８のレリーズスイッチを押下されると、シングルＡＦモードでのＡＦ制御が開始される。カメラ制御部１２０は、撮像素子１０６をＡＦ用の高速フレームレート駆動へ切り替えるとともに、ＡＦ制御部１２３にＡＦ制御の開始を指示する。ＡＦ制御部１２３は、フォーカスレンズ駆動部１１２を介してフォーカスレンズ１０３を駆動しながら、画像処理部１０７から出力されるコントラスト評価値を取得して合焦点を検出するスキャン駆動を行う。図５では、スキャン駆動１回に対するＡＦ用の撮像素子駆動を便宜的に１フレーム（例えば、ｔ＝６６．６ｍｓから１００ｍｓまでの区間）として図示しているが、実際にはコントラスト評価値のピークを検出する複数の評価画像を撮像している。次にＡＦ制御部１２３は、スキャン駆動でコントラスト評価値の山のピークを検出すると、ピークを検出した位置にフォーカスレンズ１０３を駆動させる合焦駆動を実行する。
【００３７】
フォーカスレンズ１０３の合焦駆動が完了すると、静止画撮影が開始される。カメラ制御部１２０は、撮像素子１０６に対してシャッタ速度に応じた露光時間を設定し、撮像素子１０６はその時間電荷の蓄積処理を実行する。蓄積処理が完了すると、撮像素子１０６は蓄積された電荷の読み出し処理を実行し、読み出した信号を撮像信号として画像処理部１０７に入力する。さらに、画像処理部１０７は、撮像信号に各種の画像処理を実行した後、画像メモリ１０８に画像データとして記憶させる。画像メモリ１０８に記憶した画像は、表示部１０９にライブビューとして表示するとともに、Ｉ／Ｆ１１５を介して記録部１１６のメモリカード等に記録される。さらに、被写体検出部１２６は、画像メモリ１０８の画像データから前記被写体追尾処理によって被写体追尾枠の大きさ（被写体サイズ）を検出する。レリーズスイッチが全押しされている間、ＡＦ制御と静止画撮影及び被写体検出処理を繰り返すことで連写撮影が実現される。
【００３８】
連写中に操作部１１８のズーム操作部材（ズームレバーやズームリング等）の操作が開始される（ｔ＝２６０ｍｓ）と、カメラ制御部１２０はＣＺ制御部１２４に対してズーム駆動の開始を指示する。ＣＺ制御部１２４は、ズームレンズ１０２を駆動するとともに、ズーム中でもピントが合うように図３で示すフォーカスカムテーブルのデータに基づいてフォーカスレンズ１０３を駆動する。ズームアシスト制御部１２５は、ズーム駆動中に被写体検出処理で検出した被写体サイズを取得し、被写体サイズが所定の範囲内か否かの判定を行う。被写体サイズが所定の範囲を超えると、ズームアシスト制御部１２５はＣＺ制御部１２４にズーム駆動の停止を指示する。これによって、ユーザがズーム操作の終了が遅れた場合であっても、被写体の大きさが大きすぎたり小さすぎたりといった失敗画像が撮影されることを防止することができる。
【００３９】
画像メモリ１０８に記憶されている画像データは、撮像素子１０６に蓄積処理で蓄積された時刻での被写体像が記憶される。一方、被写体検出処理は、画像データは読み出し処理完了後に実行されるため、被写体検出処理で検出する被写体は蓄積及び読み出し処理の時間だけ遅れた画像データに対して検出を行うこととなる。すなわち、被写体検出処理によって検出される被写体サイズは蓄積時間及び読み出し処理時間だけ過去の時刻の検出情報となる。したがって、シャッタ速度が遅い場合や読み出し処理の時間が長い場合には、遅れた検出情報に対してズームを停止させることとなり、被写体が所望の大きさで停止できない可能性がある。そこで、ズームアシスト制御部１２５は、過去の被写体サイズの変化量から被写体サイズが所定範囲を超える時刻やズーム位置等を推定する。推定したタイミングに基づいてズームを停止させることで、被写体検出の遅れが大きい場合でも、所望の大きさでズームを停止させることができる。
【００４０】
図６を参照して、被写体サイズの推定処理について説明する。図６は、ズーム駆動中の任意の時刻ｔと被写体サイズＳとの関係を示すグラフである。図６（Ａ）は、ユーザがズームを広角側に操作することで被写体サイズが小さくなる場合のグラフであり、図６（Ｂ）は、望遠側に操作することで被写体サイズが大きくなる場合のグラフを示している。被写体検出部１２６によって被写体を検出する画像を生成するための撮像素子１０６への蓄積処理が実行されるタイミングをｎとし、そのときの時刻をｔｎ、検出された被写体サイズをＳｎとする。また、タイミングｎの直前の画像の蓄積処理のタイミングをｎ−１とし、そのときの時刻をｔｎ−１、検出された被写体サイズＳｎ−１とする。時刻ｔに対して被写体サイズＳが線形に変化する場合、被写体サイズがＳとなる時刻ｔ（Ｓ）は、下記の数式で算出することができる。
【００４１】
【数１】
2020112648.tif 000003
【００４２】
被写体サイズＳの所定範囲をＳｍｉｎ≦Ｓ≦Ｓｍａｘとすると、ＳｍｉｎもしくはＳｍａｘに到達する時刻は、ｔｍｉｎ＝ｔ（Ｓｍｉｎ）、ｔｍａｘ＝ｔ（Ｓｍａｘ）を算出することで推定することができる。また、被写体サイズＳが所定範囲を超える時刻は、広角側にズームを操作している場合にはｔｍｉｎ、望遠側に操作している場合にはｔｍａｘとなる。
【００４３】
ズームアシスト制御部１２５は、被写体検出部１２６で被写体サイズが更新されるごとに被写体サイズが所定範囲を超える時刻ｔｍｉｎもしくはｔｍａｘの推定処理を実行する。時刻ｔｍｉｎ、ｔｍａｘに到達してもユーザによるズーム操作が終了されない場合には、ズームアシスト制御部１２５はＣＺ制御部１２４にズーム停止を指示する。これによって、連写中にユーザが適切なタイミングでズーム操作を終了できなかった場合でも、所望の大きさでズームを停止させることができる。本実施形態においては、被写体サイズが所定範囲を超える時刻を推定する形態について説明したが、ズーム停止のタイミングが一意に決まる情報であれば、時刻以外の情報に基づいてズームを停止させる形態であってよい。時刻以外の情報としては、例えば、ズーム位置やズーム倍率、焦点距離などが考えられる。また、本実施形態においては、最新の画像と直前の画像の２点の画像から被写体サイズの線形演算によって推定する形態について説明したが、３点以上の画像から被写体サイズを推定してもよい。さらに、被写体サイズの推定方法としては、線形式の演算に限らず、非線形式によって推定する形態であってもよい。
【００４４】
次に図７及び図８を参照して、ズームアシスト機能の処理の流れについて説明する。図７は、ズームアシスト機能の全体の処理例を示すフローチャートである。被写体にピントを合わせながら連写撮影を行う場合、図５のタイミングチャートで示すように、レリーズスイッチを押下されるとＡＦ制御と静止画撮影（撮像素子１０６の蓄積処理及び読み出し処理）の処理が交互に連続して実行される。また、本発明においては、ＡＦ制御及び静止画撮影と並行して、ズームアシスト処理を実行する。
【００４５】
まずＳ７００でカメラ制御部１２０は、操作部１１８のレリーズスイッチが押下されたか否かを判定する。レリーズスイッチが押下されるまでＳ７００の判定を継続し、押下されるとＳ７０１に進む。Ｓ７０１でカメラ制御部１２０は、撮像素子１０６をＡＦ用の高速フレームレート駆動へ切り替えるとともに、ＡＦ制御部１２３にＡＦ制御の開始を指示する。Ｓ７０１でＡＦ制御が開始されるとＳ７０２に進み、ＡＦ制御が完了したか否かの判定を行う。ＡＦ制御が完了したと判定されるとＳ７０３に進む。
【００４６】
ＡＦ制御が完了すると、Ｓ７０３でカメラ制御部１２０は、撮像素子１０６に対して蓄積処理の開始を指示する。カメラ制御部１２０は、予め設定されたシャッタ速度、もしくはＡＥ制御部１２１での測光値から算出されたシャッタ速度に基づいた時間に応じて蓄積処理を実行する。さらに、蓄積処理が終了すると撮像素子１０６から蓄積された電荷の読み出し処理を実行する。Ｓ７０４では、撮像素子１０６の読み出し処理が完了したか否かの判定を行う。Ｓ７０４で撮像素子１０６の読み出し処理が完了したことを判定されると、Ｓ７０５に進む。Ｓ７０５では、Ｓ７０４で生成された静止画の画像データに対して、被写体検出部１２６で被写体サイズを検出する。さらに、ズームアシスト制御部１２５で前述した被写体サイズが所定範囲を超える時刻ｔｍｉｎ、ｔｍａｘの推定処理を実行する。Ｓ７０６で時刻ｔｍｉｎ、ｔｍａｘを推定するとＳ７０８に進む。Ｓ７０８では、操作部１１８のレリーズスイッチが開放されたか否かを判定する。レリーズスイッチが開放されている場合には、連写撮影及びズームアシスト機能を終了する。レリーズスイッチが押下された状態が継続されている場合には、Ｓ７０１に戻って次のＡＦ制御及び静止画撮影を実行する。
【００４７】
一方、Ｓ７０２でＡＦ制御の処理中、もしくはＳ７０４で静止画撮影の処理中であると判定されるとＳ７０６に進む。Ｓ７０６では操作部１１８のズーム操作部材の操作やズームアシスト制御部１２５によるズーム駆動の判定処理が実行される。Ｓ７０６のズーム駆動判定が終了するとＳ７０７に進み、ＡＦ制御の処理中か静止画撮影の処理中かを判定する。ＡＦ制御中の場合にはＳ７０２に、静止画撮影中の場合にはＳ７０４に戻って、各処理が完了したか否かの判定を繰り返す。
【００４８】
図８は、Ｓ７０６のズーム駆動判定処理の処理例を示すフローチャートである。Ｓ８００でカメラ制御部１２０はズームレンズ１０２が停止中であるか否かの判定を行う。ズームレンズ１０２が停止中である場合には、Ｓ８０１に進む。Ｓ８０１でカメラ制御部１２０は操作部１１８のズーム操作部材が操作されているか否かを判定する。ズーム操作部材の操作が行われていない場合には、ズーム駆動判定を終了する。ズーム操作部材の操作が開始されたと判定すると、Ｓ８０２に進む。Ｓ８０２でカメラ制御１２０はＣＺ制御部１２４にズーム動作の開始を指示して、ズーム駆動判定を終了する。
【００４９】
一方、Ｓ８００でズームレンズ１０２が駆動中であると判定される場合には、Ｓ８０３に進む。Ｓ８０３でカメラ制御部１２０は操作部１１８のズーム操作部材が操作されているか否かを判定する。ズーム操作部材の操作が終了されたと判定すると、Ｓ８０５に進む。Ｓ８０５でカメラ制御１２０はＣＺ制御部１２４にズーム動作の停止を指示して、ズーム駆動判定を終了する。Ｓ８０３でズーム操作部材の操作が継続されていると判定されると、Ｓ８０４に進む。Ｓ８０４では、ズームアシスト制御部１２５は現在の時刻ｔとＳ７０５で推定された被写体サイズが所定範囲を超える時刻ｔｍｉｎ、ｔｍａｘとの比較処理を実行する。前述のように、広角側にズームを操作している場合にはｔｍｉｎと、望遠側に操作している場合にはｔｍａｘとの比較を行う。現在の時刻ｔがｔｍｉｎまたはｔｍａｘに達していない場合には、ズーム駆動判定を終了する。現在の時刻ｔがｔｍｉｎまたはｔｍａｘを過ぎると判定された場合には、Ｓ８０５に進む。Ｓ８０５でズームアシスト制御部１２５はＣＺ制御部１２４にズーム動作の停止を指示して、ズーム駆動判定を終了する。本実施形態においては、被写体サイズが所定範囲を超えるタイミングを時刻として推定する形態について説明したが、時刻以外にもズーム位置やズーム倍率、焦点距離などとして推定する形態であってもよい。
【００５０】
以上のように本実施形態では、連写中にズーム操作を行う場合に、ズームアシスト制御部１２５が被写体サイズを取得し、被写体サイズが所定の範囲を超える時刻を推定する。さらに、推定した時刻を過ぎてもズーム操作が終了していない場合には、ズームアシスト制御部１２５はＣＺ制御部１２４に対してズームの停止を指示する。これにより、本実施形態によれば、連写中のズーム操作において、ライブビューの表示が遅くなった場合でも、被写体像の大きさが所定の範囲に収まる画角で静止画像を撮影することができる。
【００５１】
上述のように、ユーザのズーム操作と取得した被写体サイズとに基づくズームアシスト制御部１２５によるズームアシスト機能は、連写中に実行される。つまりシステム制御部１１４は、ズームアシスト機能が設定されており、且つ、連写がスタートする前（Ｓ７００でＮＯ）は、ユーザによるズーム操作がされると、ＣＺ制御部１２４はユーザの操作に基づくズーム指示量に基づいてズームを制御する。そして、連写がスタートすると、上述のズームアシスト機能に切り替え、ユーザの操作に基づくズーム指示量に加えて、被写体サイズにも基づいてズーム制御を行う。
【００５２】
また、上述のズームアシスト機能は、被写体サイズや被写体距離等の被写体情報に基づいて、被写体サイズを所定の範囲に保つオートズーム機能と併用してもよい。連写がスタートする前は、被写体情報に基づいてオートズーム機能を実行し、連写がスタートし、且つ、ユーザによるズーム操作を受付けた場合はズームアシスト機能を実行する。また、連写スタート前のオートズーム機能実行中にユーザによるズーム操作を受付けた場合は、被写体情報に基づくズーム制御から、ユーザの操作に基づくズーム制御に切り替える。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５３】
１００  デジタルカメラ      
１１４  システム制御部
１１８  操作部
１２４  ＣＺ制御部
１２５  ズームアシスト制御部
１２６  被写体検出部
１２７  受信部
【図１】
2020112648.tif 000004
【図２】
2020112648.tif 000005
【図３】
2020112648.tif 000006
【図４】
2020112648.tif 000007
【図５】
2020112648.tif 000008
【図６】
2020112648.tif 000009
【図７】
2020112648.tif 000010
【図８】
2020112648.tif 000011