(57)【要約】【課題】  連続撮影における撮影駒間隔を短縮できる撮像装置およびその制御方法を提供する。【解決手段】  複数の画素における電荷蓄積のタイミングがラインごとに異ならない第１の撮像処理で取得された画像における被写体を検出手段により検出して、複数の画素における電荷蓄積のタイミングがラインごとに異なる第２の撮像処理で取得された画像に対してＡＦ領域を設定する際、第１の撮像処理と第２の撮像処理の違いによる被写体位置のずれを補正してＡＦ領域を設定する。【選択図】  図６
2018019352.tif 000002
【特許請求の範囲】
【請求項１】
２次元状に配列された複数の画素を備え、前記複数の画素における電荷蓄積のタイミングがラインごとに異なる第１の撮像処理と、前記複数の画素における電荷蓄積のタイミングがラインごとに異ならない第２の撮像処理と、を行う撮像手段と、
前記撮像手段により取得された画像における被写体を検出する検出手段と、
前記検出された被写体に対してＡＦ領域を設定する設定手段と、
前記撮像手段により取得された画像の前記ＡＦ領域における焦点状態を検出し、前記焦点状態に基づいてフォーカスレンズの移動を制御する制御手段と、を備え、
前記設定手段は、前記第１の撮像処理で取得された画像に対してＡＦ領域を設定する際、前記検出手段により検出された被写体が、前記第２の撮像処理で取得された画像における被写体である場合に、前記第１の撮像処理と前記第２の撮像処理の違いによる前記被写体の位置のずれを補正してＡＦ領域を設定することを特徴とする撮像装置。
【請求項２】
前記第１の撮像処理はローリングシャッタ方式による撮像処理であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の撮像処理はメカシャッタ方式による撮像処理であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記設定手段は、前記撮像装置をパンニングした際の角速度の情報に基づいて前記第１の撮像処理と前記第２の撮像処理の違いによる前記被写体の位置のずれを補正することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記設定手段は、前記撮像手段により撮像された２つの画像の間での被写体の移動速度に基づいて前記第１の撮像処理と前記第２の撮像処理の違いによる前記被写体の位置のずれを補正することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項６】
２次元状に配列された複数の画素を備え、前記複数の画素における電荷蓄積のタイミングがラインごとに異なる第１の撮像処理と、前記複数の画素における電荷蓄積のタイミングがラインごとに異ならない第２の撮像処理と、を行う撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により取得された画像における被写体を検出する検出ステップと、
前記検出された被写体に対してＡＦ領域を設定する設定ステップと、
前記撮像手段により取得された画像の前記ＡＦ領域における焦点状態を検出し、前記焦点状態に基づいてフォーカスレンズの移動を制御する制御ステップと、を備え、
前記設定ステップでは、前記第１の撮像処理で取得された画像に対してＡＦ領域を設定する際、前記検出ステップにより検出された被写体が、前記第２の撮像処理で取得された画像における被写体である場合に、前記第１の撮像処理と前記第２の撮像処理の違いによる前記被写体の位置のずれを補正してＡＦ領域を設定することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
画像データを得るための撮像素子で位相差方式の焦点検出を行うデジタルカメラが提案されている。
【０００３】
一方、従来から撮像画面の中から主要な被写体（以下、主被写体と呼ぶ）を検出する技術が知られている。例えば人物の目や口等の特徴から特定した顔や、色や輝度から特定の物体を主被写体として検出する。その際、主被写体の位置やサイズを検出結果として出力することが多い。
【０００４】
前述のような撮像素子で位相差検出方式の焦点検出を行う場合において、検出された主被写体をＡＦ領域とすることが知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−３８４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、連続撮影において、撮影毎に撮像画面の中から主被写体を検出してＡＦ領域を設定する場合、主被写体が検出できるまでＡＦ領域の設定やＡＦ演算処理ができないため、ＡＦに時間がかかり連続撮影の速度を上げられない恐れがある。
【０００７】
本発明はこのような従来技術の課題に鑑みなされたものであり、連続撮影における撮影駒間隔を短縮できる撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の技術的特徴として、２次元状に配列された複数の画素を備え、前記複数の画素における電荷蓄積のタイミングがラインごとに異なる第１の撮像処理と、前記複数の画素における電荷蓄積のタイミングがラインごとに異ならない第２の撮像処理と、を行う撮像手段を有する撮像装置の制御方法であって、前記撮像手段により取得された画像における被写体を検出する検出ステップと、前記検出された被写体に対してＡＦ領域を設定する設定ステップと、前記撮像手段により取得された画像の前記ＡＦ領域における焦点状態を検出し、前記焦点状態に基づいてフォーカスレンズの移動を制御する制御ステップと、を備え、前記設定ステップでは、前記第１の撮像処理で取得された画像に対してＡＦ領域を設定する際、前記検出ステップにより検出された被写体が、前記第２の撮像処理で取得された画像における被写体である場合に、前記第１の撮像処理と前記第２の撮像処理の違いによる前記被写体位置のずれを補正してＡＦ領域を設定することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、連続撮影における撮影駒間隔を短縮できる撮像装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に共通する撮像装置の全体構成を示す図である。
【図２】本発明の実施形態に共通する撮影処理のタイミングチャートである。
【図３】本発明の実施形態に共通する撮影処理のフローチャートである。
【図４】カメラパンニング時に発生する静止画とＡＦ画の撮像方式の違いによる出力画像の差を説明するための図である。
【図５】実施例１の撮影処理のタイミングチャートである。
【図６】実施例１の撮影処理のフローチャートである。
【図７】角速度信号と像面移動量の関係を示す図である。
【図８】被写体位置の補正を説明するための図である。
【図９】実施例２の撮影処理のタイミングチャートである。
【図１０】実施例２の撮影処理のフローチャートである。
【図１１】被写体移動時に発生する静止画とＡＦ画の撮像方式の違いによる出力画像の差を説明するための図である。
【図１２】実施例３の撮影処理のタイミングチャートである。
【図１３】実施例３の撮影処理のフローチャートである。
【図１４】カメラパンニングと被写体移動が同時に発生する静止画とＡＦ画の撮像方式の違いによる出力画像の差を説明するための図である。
【図１５】撮像素子１０７の１画素の構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の例示的な実施形態を、添付図面に基づいて詳細に説明する。
【００１２】
＜撮像装置の構成＞
図１は、本実施形態に共通する撮像装置の全体構成を示す図である。本実施形態による撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であっても良い。
【００１３】
図１に示すように、結像光学系の先端部に第１レンズ群１０１が配置されており、第１レンズ群１０１は光軸方向に進退可能に保持されている。
【００１４】
絞り１０２は、開口径を調節することで撮影時の光量調節を行なう。絞り１０２と第２レンズ群１０３とは一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動によって、変倍作用（ズーム機能）を奏する。第３レンズ群１０４は、光軸方向の進退によって、焦点調節を行なうフォーカスレンズである。シャッタ１０５は先幕・後幕などの機構を備え、それぞれを走行させた際のスリットから得られる光を撮像素子１０７へ導くことで露光調節を行う。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、２次元ＣＭＯＳフォトセンサーと周辺回路で、結像光学系の結像面に配置される。
【００１５】
図１５は撮像素子１０７の１画素の構成を示している。１５０１は画素を表す。１つの画素は、マイクロレンズ１５０２を有する。また、１つの画素は、複数の光電変換領域としてのフォトダイオード（以下、ＰＤ）を有する。図例では、左側のＰＤ１５０３と右側のＰＤ１５０４の２つ有しているが、個数に限定はなく、例えば、４つや９つなどでも構わない。図示された構成要素以外にも、例えば、ＰＤの信号を列読み出し回路に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。ＰＤ１５０３とＰＤ１５０４は各々、撮影レンズの射出瞳の異なる領域の光を受光しているので、撮像面での位相差方式の焦点検出が可能となっている。
【００１６】
ズームアクチュエータ１１１は、図示しないカム筒を回動することで、第１レンズ群１０１乃至第３レンズ群１０４を光軸方向に進退駆動し、変倍操作を行なう。絞りアクチュエータ１１２は、絞り１０２の開口径を制御し撮影光量を調節する。フォーカスアクチュエータ１１３は、第３レンズ群１０４を光軸方向に進退駆動して焦点調節を行なう。シャッタアクチュエータ１１４は静止画撮影時の露光制御を行なう。撮影時に用いられる照明手段（被写体照明用電子フラッシュ）１１５は、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いてもよい。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写体に投影し、暗い被写体あるいは低コントラストの被写体に対する焦点検出能力を向上させる。
【００１７】
制御部１２１は、撮像装置１００における種々の制御を司るものであり、図示しないＣＰＵ（演算部）、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有している。制御部１２１は、メモリ１３４の有するＲＯＭに記憶された所定のプログラムに基づいて、撮像装置１００の各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。制御部１２１は、画像処理手段として機能する。
【００１８】
電子フラッシュ制御回路１２２は、撮影動作に同期して照明手段１１５を点灯制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。
【００１９】
撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像の被写体検出、γ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
【００２０】
フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動制御し、第３レンズ群１０４を光軸方向に進退駆動して焦点調節を行なう。シャッタ駆動回路１２７は、シャッタアクチュエータ１１４を駆動制御してシャッタ１０５を制御する。絞り駆動回路１２８は、絞りアクチュエータ１１２を駆動制御して絞り１０２を制御する。ズーム駆動回路１２９は、撮影者によるズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２１】
表示装置１３１は、例えばＬＣＤ等により構成されており、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。記録媒体１３３は、着脱可能なフラッシュメモリ等であり、撮影により取得した画像ファイルを記録する。メモリ１３４はＲＡＭ、ＲＯＭ等であり、所定のプログラムの記憶や、画像処理中の画像データや画像処理に必要なパラメータデータの保持等を行っている。角速度センサ１３５は、ジャイロセンサ等であり、撮像装置１００の移動量を表す角速度を検出し電気信号として変換して制御部１２１に伝達する。制御部１２１は、メモリ１３４の有するＲＯＭに記憶された所定のプログラムに基づいて、撮像装置１００の各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。
【００２２】
＜連続撮影処理の動作フロー＞
次に、本実施形態による撮像装置１００によって行われる被写体追従ＡＦ連続撮影について、図２と図３を用いて説明する。図２は、本発明の実施形態による撮像装置１００における被写体追従ＡＦ連続撮影のタイミングチャートである。図３は、本発明の実施形態による撮像装置１００における被写体追従ＡＦ連続撮影のフローチャートである。
【００２３】
撮像装置１００は、操作スイッチ群１３２に含まれる撮影モード選択スイッチのユーザ操作により、撮影モードが被写体追従ＡＦ連続撮影モードとなっていることを前提とする。前記撮影モードのときに、操作スイッチ群１３２に含まれるレリーズスイッチがオンとなることで撮影が開始され、ステップＳ３０１へ移行する。
【００２４】
ステップＳ３０１では、静止画撮影のために撮像素子１０７への露光を行い、電荷が蓄積される。光量は絞りアクチュエータ１１２で制御する。露光はシャッタアクチュエータ１１４でシャッタ１０５を操作して制御する。この撮像処理のタイミングは２０１で示すように、ＳＷ２が押下された後に実行する。
【００２５】
ステップＳ３０２では、撮像素子駆動回路１２４により、撮像素子１０７に蓄積された電荷から得られた画像信号をＡ／Ｄ変換して制御部１２１に送信する処理を開始する。このとき撮像素子駆動回路１２４において、撮像素子１０７の有効画素領域全体を読み出す駆動モードで画像信号を読み出す。読み出し中はシャッタアクチュエータ１１４でシャッタ１０５を閉幕し、撮像素子１０７に余分な電荷が蓄積されないように制御することで、読み出した画像に歪みが出ることを軽減している。読み出しが完了したらシャッタアクチュエータ１１４でシャッタ１０５を開幕する。処理のタイミングは２０２で示すように、静止画蓄積処理の完了後に実行する。つまりこの処理には、２次元状に複数の画素が配列された撮像素子から、ライン毎に同じタイミングで複数の画素における電荷蓄積を行い、シャッタを閉じた状態で読み出しを行うメカシャッタ方式が用いられることとなる。
【００２６】
ステップＳ３０３では、制御部１２１に送信されてきた画像信号をもとに画像処理回路１２５において被写体検出処理を開始する。画像から人物・顔・モノ・色等を被写体として検出する手法には様々な方法が開示されており、ここでは説明を行わない。処理のタイミングは２０３で示すように、静止画読出処理の完了後に実行する。
【００２７】
ステップＳ３０４では、被写体検出の結果からＡＦ領域を算出する。ＡＦ領域は、ステップＳ３０３で検出された被写体領域を基準に、被写体領域の一部・もしくは全部が含まれるように、有効画全体のうちの部分的な領域を設定する。処理のタイミングは２０４で示すように、静止画からの被写体検出完了後に実行する。
【００２８】
ステップＳ３０５では、ＡＦ用の画像を得るために、撮像素子１０７へ露光を開始し、電荷が蓄積される。光量は絞りアクチュエータ１１２で制御する。静止画の蓄積とは異なり、露光はシャッタアクチュエータ１１４でシャッタ１０５を開幕状態のままにして、行う。撮像素子駆動回路１２４で撮像素子１０７の電荷をリセットするタイミングと読み出しを開始するタイミングの間で蓄積を行うように制御する。これにより電子的なシャッタ制御ができる。処理のタイミングは２０５で示すように、ＡＦ領域の決定後に実行する。
【００２９】
ステップＳ３０６では、撮像素子駆動回路１２４により、ステップ３０５で撮像素子１０７に蓄積された電荷から得られた画像信号をＡ／Ｄ変換して制御部１２１に送信する撮像処理を開始する。静止画の読み出しとは異なり、読み出し中もシャッタ１０５は開幕状態のまま維持する。Ｓ３０５で蓄積が完了した画素を、画素単位で操作方向に順次読み出しを実行していく。処理のタイミングは２０６で示すように、タイミング２０５と並列に行われる。つまりこの処理には、２次元状に複数の画素が配列された撮像素子から、ライン毎に異なるタイミングで複数の画素における電荷蓄積と読み出しを行うローリングシャッタ方式が用いられることとなる。なお、ＡＦ用の画像を得る際の読み出し領域は、有効画全体でもよいし、有効画全体のうちの部分的な領域のみでもよい。例えば、ステップＳ３０４において決定したＡＦ領域の中心を基準に、読み出し走行方向に前後数ライン、有効画全体のうちの部分的な領域の画像信号を読み出すようにしてもよい。または、有効画全体の画像信号を読み出すようにして、表示装置１３１にライブビュー画像を表示するようにしてもよい。
【００３０】
ステップＳ３０７では、制御部１２１に送信された画像信号をもとにＡＦの焦点状態の検出処理を実行して、次の撮影で被写体にフォーカスするためのレンズの駆動量を制御部１２１で算出する。処理のタイミングは２０７で示すように、ＡＦ用画像（以下、ＡＦ画ともいう）の読み出し完了後に実行する。
【００３１】
ステップＳ３０８では、制御部１２１で算出したレンズの駆動量から、フォーカス駆動回路１２６を制御して、フォーカスアクチュエータ１１３を駆動させて、被写体に合焦する位置までレンズを駆動させる。処理のタイミングは２０８で示すように、駆動量の算出が行われた後で行われる。
【００３２】
ステップＳ３０９では、操作スイッチ群１３２に含まれるレリーズスイッチ（ＳＷ２）がオンかオフかを判断して、オンであればステップＳ３０８で合焦したレンズ位置を用いてステップ３０１にもどり連写撮影を続ける。オフであれば連写撮影を停止して撮影終了となる。タイミングとしては２０８でレンズの駆動が完了した後に行われ、オンの場合はタイミング２０９、２１０に示すように繰り返し撮影を行って行き、オフの場合は終了する。
【００３３】
＜静止画とＡＦ画の撮像方式の違いによる出力画像の差＞
図４は静止した被写体に対して撮像装置１００がパンニングされている状態で撮影を行う際の、静止画とＡＦ画の撮像方式の違いによる出力画像の差を表している。ステップＳ３０１及びステップＳ３０２の静止画の撮像方式はメカシャッタ方式をとる。これにより撮像素子１０７の画素の読み出し時間の違いによる歪みの影響が小さくなっている。しかし、ステップＳ３０５及びステップＳ３０６のＡＦ画撮像方式はローリングシャッタ方式をとる。このためパンニング方向とは逆方向に歪みの影響が大きくなる。
【００３４】
また、図１１は静止した撮像装置１００に対して被写体が移動している状態で撮影を行う際の、静止画とＡＦ画の撮像方式の違いによる出力画像の差を表している。上記と同様の理由で静止画は歪みの影響が小さいが、ＡＦ画では被写体移動方向に歪みの影響が大きくなる。
【００３５】
また、図１４は撮像装置１００がパンニングされており、かつ被写体が移動している状態で撮影を行う際の、静止画とＡＦ画の撮像方式の違いによる出力画像の差を表している。撮像装置１００のパンニング速度と被写体の移動速度が等しい場合は、図１４に示すように静止画とＡＦ画の撮像方式に違いがあっても歪みが出ない。撮像装置１００の速度のほうが速い場合は、図４に示したのと同じ歪みがＡＦ画に発生する。被写体移動速度のほうが速い場合は図１１に示したのと同じ歪みがＡＦ画に発生する。
【００３６】
＜実施例１＞
以下、撮像装置１００によって行われる被写体追従ＡＦ連続撮影の実施例１を説明する。実施例１では図４に示すような静止した被写体に対して撮像装置１００がパンニングされている状態で撮影を行う際の、ＡＦ領域の補正手法について触れる。
【００３７】
図５は実施例１の被写体追従ＡＦ連続撮影のタイミングチャートである。図６は実施例１の被写体追従ＡＦ連続撮影のフローチャートである。
【００３８】
ステップＳ６０１はステップＳ３０１と同様の処理を行う。静止画蓄積タイミング５０１はタイミング２０１と同様のタイミングで行う。
【００３９】
ステップＳ６０２はステップＳ３０２と同様の処理を行う。静止画読出しタイミング５０２はタイミング２０２と同様のタイミングで行う。
【００４０】
ステップＳ６０３はステップＳ３０３と同様の処理を行う。被写体検出タイミング５０３はタイミング２０３と同様のタイミングで行う。
【００４１】
ステップＳ６０４はステップＳ３０４と同様の処理を行う。ＡＦ領域算出のタイミング５０５はタイミング２０４と同様のタイミングで行う。
【００４２】
ステップＳ６０５では、角速度センサ１３５から撮像装置１００の移動量をパンニング角速度として制御部１２１に取得する。取得が完了したらステップＳ６０６に進む。パンニング角速度の取得タイミング５０４は、ＡＦ領域決定タイミング５０５までの間に行う。
【００４３】
ステップＳ６０６では、ステップＳ６０４で算出された領域と、ステップＳ６０５で取得されたパンニング角速度を用いて、制御部１２１にてＡＦ領域の補正を行う。図７は被写体がｔ秒の間に点Ａから点Ｂへ移動し、それに応じてセンサ上に結像した前記被写体像が点Ｃから点Ｄへと移動したことを示したものである。ここで、点Ｃと点Ｄとの距離をν［ｐｉｘｅｌ］、焦点距離をｆ［ｍｍ］、センサの画素ピッチをｐ［μｍ／ｐｉｘｅｌ］とした時、角速度ω［ｒａｄ／ｓｅｃ］は以下の式１で表わされる。被写体が静止している場合角速度ωは撮像装置１００のパンニングの角速度と等しくなる。式１より検出したパンニング速度ωから像面移動量νが求められる。
【００４４】
【数１】
2018019352.tif 000003
【００４５】
図８に示すようにステップＳ６０４で算出された被写体検出位置は有効画素領域全体に対して検出された被写体領域の中央座標とする。ＡＦ読み出し時間ｔ１の間に像面上の被写体がＡ地点（ｘ１，ｙ１）からＢ地点（ｘ２，ｙ２）まで移動すると、ローリング歪みによって被写体位置は（ｘ３，ｙ３）にずれる。ローリング歪みによる被写体位置補正量Ｒ１は像面移動量の半分の距離ずれるため式２で求められる。
Ｒ１＝ω×ｔ１÷２    式２
【００４６】
静止画撮影時の被写体検出位置に対して被写体補正量Ｒを加算・減算を行うことで被写体位置を補正する。加算減算の判断はパンニング方向によって切り替える。
【００４７】
さらに静止画蓄積タイミング５０１からＡＦ蓄積タイミング５０６までにもタイムラグがあるため被写体位置はずれる。タイムラグの時間をｔ２とすると、撮像タイミングの違いによる被写体補正量Ｒ２は以下の式３で求められる。
Ｒ２＝ω×ｔ２    式３
【００４８】
上記、Ｒ１とＲ２の補正量を合算した値を被写体補正量Ｒとする。
Ｒ＝Ｒ１＋Ｒ２    式４
【００４９】
ＡＦ領域は補正後の被写体検出位置を用いて、ステップＳ３０４と同様の方法で求める。ＡＦ領域補正タイミングは５０５に示すように、被写体検出タイミング５０３とパンニング角速度取得タイミング５０４が完了してから、ＡＦ画の蓄積タイミング５０６が開始されるよりも前に行う必要がある。
【００５０】
ステップＳ６０７はステップＳ３０５と同様の処理を行う。ＡＦ画の蓄積タイミング５０６はタイミング２０５と同様のタイミングで行う。
【００５１】
ステップＳ６０８はステップＳ３０６と同様の処理を行う。ＡＦ画の読み出しタイミング５０７はタイミング２０６と同様のタイミングで行う。
【００５２】
ステップＳ６０９はステップＳ３０７と同様の処理を行う。レンズ駆動量算出タイミング５０８はタイミング２０７と同様のタイミングで行う。
【００５３】
ステップＳ６１０はステップＳ３０８と同様の処理を行う。レンズ駆動タイミング５０９はタイミング２０８と同様のタイミングで行う。
【００５４】
ステップＳ６１１はステップＳ３０９と同様の処理を行う。連続撮影の判断タイミング５１０はタイミング２０９、２１０と同様のタイミングで行う。
【００５５】
以上のように実施例１では、メカシャッタ方式で撮像した静止画で算出した被写体結果を用いて、ローリングシャッタ方式で画撮したＡＦ画像のＡＦ領域を決定する。この際に、角速度センサから取得したパンニング角速度を利用して、ローリングシャッタ歪みによる被写体位置のズレを補正してＡＦ領域を決定する。これにより図４のような場合において、被写体へのＡＦ精度が高く高速な連続撮影が可能になる。
【００５６】
＜実施例２＞
以下、撮像装置１００によって行われる被写体追従ＡＦ連続撮影の実施例２を説明する。
【００５７】
実施例２では特に、図１１に示すような静止した撮像装置１００に対して被写体が移動している状態や撮影を行う際の、ＡＦ領域の補正手法について触れる。
【００５８】
図９は実施例２の被写体追従ＡＦ連続撮影のタイミングチャートである。図１０は実施例２の被写体追従ＡＦ連続撮影のフローチャートである。
【００５９】
図９に示す通りＬＶ中は、ユーザが撮影前に被写体を確認するためのＬＶ画像の取得を行っている。ＬＶ画像はローリングシャッタ方式で連続的に取得され、操作スイッチ群１３２よりＬＶ終了ボタンが押下される、もしくはＳＷ２が押下されるまで、表示装置１３１に連続的に取得画像が表示される。ＳＷ２が押下されると被写体追尾ＡＦ連続撮影が行われる。
【００６０】
ステップＳ１００１のＬＶ画用の蓄積はステップＳ３０５と同様の手法で行われる。また、ステップＳ１００２ではステップ３０６と同様の手法で行う。ただし、ステップＳ３０６においてＡＦ画は有効画全体のうちの部分的な領域を読み出していたのに対して、ＬＶ画では有効画全体を含む領域の画像信号を読み出す。この時、ＬＶ画像の読み出し時間を高速するために撮像素子駆動回路１２４により、撮像素子１０７からの読み出しするライン数を間引いて取得し、画像処理回路１２５によってＬＶ中に表示する画像を作成しても良い。ステップＳ１００１およびステップＳ１００２の処理タイミングは、蓄積タイミング９０１で蓄積が完了したラインから順次、読出しタイミング９０２で読み出される。
【００６１】
ステップＳ１００３はステップＳ３０３と同様の処理を行う。被写体検出タイミング９０３はＬＶ画読み出しタイミング９０２が完了してから行う。
【００６２】
ステップＳ１００４では、制御部１２１において複数枚の画像から被写体角速度を検出するために必要な所定枚数のＬＶ画像が取得されたかを判断する。ここでは２枚のＬＶ画像をより被写体角速度を算出するため、取得枚数が２枚以上の場合はスッテプＳ１００４に進み、２枚よりも少ない場合はステップＳ１００１に戻ってステップＳ１００３までを繰り返し行いＬＶ画を取得する。ステップＳ１００４の処理タイミングは、被写体検出９０３および９０６の被写体検出が完了したタイミングである。
【００６３】
ステップＳ１００５では像面上の被写体角速度を算出する。複数の画像から被写体移動量を予測する手法は様々な手法が開示されている。ここでは連続して撮影された２枚のＬＶ画において、ステップＳ１００３で検出された被写体位置の差分からを像面上の被写体移動量を算出する。直前に取得したＬＶ画から求めた被写体位置（ｘ５，ｙ５）と、先に取得した画像から求めた被写体位置（ｘ４，ｙ４）を減算した結果の絶対値を像面上の被写体移動量νとする時、式１から角速度ωが求められる。角速度ωは像面上の被写体角速度であるが、撮像装置１００が静止している場合には角速度ωは被写体角速度とも等しくなる。タイミングとしては９０７に示す通り、２枚目以降の被写体検出タイミング９０６が完了してから順次処理を開始する。処理中にＳＷ２が押下された場合、ＡＦ領域決定タイミング９１１までに完了する。
【００６４】
ステップＳ１００６では操作スイッチ群１３２よりＳＷ２が押下されているか判断する。ＳＷ２が押下されていた場合、ＬＶを中断し、静止画の蓄積Ｓ１００７に移行する。
【００６５】
ステップＳ１００７はステップＳ３０１と同様の処理を行う。静止画蓄積タイミング９０８はタイミング２０１と同様のタイミングで行う。
【００６６】
ステップＳ１００８はステップＳ３０２と同様の処理を行う。静止画読出しタイミング９０９はタイミング２０２と同様のタイミングで行う。
【００６７】
ステップＳ１００９はステップＳ３０３と同様の処理を行う。被写体検出タイミング９１０はタイミング２０３と同様のタイミングで行う。
【００６８】
ステップＳ１０１０では、ＡＦ領域の補正を行う。まず、ステップＳ１００５によって求められた像面上の被写体の角速度ωから、ローリング歪みによる被写体位置補正量Ｒ１が式２によって算出される。また、撮像タイミングの違いによる被写体補正量Ｒ２が、式３よって算出される。また、被写体補正量ＲがＲ１とＲ２を合算して求められる。これにより静止画撮影時の被写体検出位置に対して、被写体位置の補正が行われる。加算減算の判断は被写体移動量νの正負によって被写体の移動方向を判断し切り替える。ＡＦ領域は補正後の被写体位置を用いて、ステップＳ３０４と同様の方法で求める。ＡＦ領域補正タイミング９１１はタイミング２０４と同様のタイミングで行う。
【００６９】
ステップＳ１０１１はステップＳ３０５と同様の処理を行う。ＡＦ画の蓄積タイミング９１２はタイミング２０５と同様のタイミングで行う。
【００７０】
ステップＳ１０１２はステップＳ３０６と同様の処理を行う。ＡＦ画の読み出しタイミング９１３はタイミング２０６と同様のタイミングで行う。
【００７１】
ステップＳ１０１３はステップＳ３０７と同様の処理を行う。レンズ駆動量算出タイミング９１４はタイミング２０７と同様のタイミングで行う。
【００７２】
ステップＳ１０１４はステップＳ３０８と同様の処理を行う。レンズ駆動タイミング９１５はタイミング２０８と同様のタイミングで行う。
【００７３】
ステップＳ１０１５はステップＳ３０９と同様の処理を行う。連続撮影の判断タイミング９１６はタイミング２０９、２１０と同様のタイミングで行う。
【００７４】
以上のように実施例２では、メカシャッタ方式で撮像した静止画で算出した被写体結果を用いて、ローリングシャッタ方式で画撮したＡＦ画のＡＦ領域を決定する。この際に、複数のＬＶ画像から制御部１２１で算出した像面上の被写体角速度を利用して、ローリングシャッタ歪みによる被写体位置のズレを補正してＡＦ領域を決定する。これにより図１１のような場合において、被写体へのＡＦ精度が高く高速な連続撮影が可能になる。
【００７５】
また、同様の手法で図４に示した静止した被写体に対して撮像装置１００がパンニングされている状態で撮影を行う際や、図１４に示すような撮像装置１００がパンニングされており、かつ被写体が移動している状態においても可能である。
【００７６】
また、本実施例では複数枚のＬＶ画像を使って像面上の被写体角速度を求めたが、図９において被写体追尾ＡＦ連続撮影中においても、撮影した複数枚の静止画を使うことで同様の手法で求めることができる。
【００７７】
＜実施例３＞
以下、撮像装置１００によって行われる被写体追従ＡＦ連続撮影の実施例３を説明する。実施例３では、特に図１４のように等速で移動する被写体を追尾しながら連続撮影する場合において、撮像装置１００の角速度が静止画撮影毎にバラつく場合などに好ましいＡＦ領域の補正手法について触れる。
【００７８】
図１２は実施例３の被写体追従ＡＦ連続撮影のタイミングチャートである。図１３は実施例３の被写体追従ＡＦ連続撮影のフローチャートである。
【００７９】
ステップＳ１３０１はステップＳ１００１と同様の処理を行う。ＬＶ画の蓄積タイミング１２０１はタイミング９０１と同様のタイミングで行う。
【００８０】
ステップＳ１３０２はステップＳ１００２と同様の処理を行う。ＬＶ画の読出しタイミング１２０２はタイミング９０２と同様のタイミングで行う。
【００８１】
ステップＳ１３０３はステップＳ１００３と同様の処理を行う。被写体検出タイミング１２０３はタイミング９０３と同様のタイミングで行う。
【００８２】
ステップＳ１３０４はステップＳ１００４と同様の処理を行う。所定枚数の確認タイミングはタイミング９０３、タイミング９０６などのＬＶ画像の被写体検出完了時に行う。
【００８３】
ステップＳ１３０５はステップＳ１００５と同様の処理を行う。像面上の被写体角速度算出タイミング１２０７はタイミング９０７と同様のタイミングで行う。
【００８４】
ステップＳ１３０６はステップＳ１００６と同様の処理を行う。
【００８５】
ステップＳ１３０７はステップＳ３０１と同様の処理を行う。静止画の蓄積タイミング１２０８はタイミング２０１と同様のタイミングで行う。
【００８６】
ステップＳ１３０８はステップＳ３０２と同様の処理を行う。静止画の読出しタイミング１２０９はタイミング２０２と同様のタイミングで行う。
【００８７】
ステップＳ１３０９はステップＳ３０３と同様の処理を行う。静止画の被写体検出タイミング１２１０はタイミング２０３と同様のタイミングで行う。
【００８８】
ステップＳ１３１０はステップＳ６０５と同様の処理を行う。パンニング角速度取得タイミング１２１１はタイミング５０４と同様のタイミングで行う。
【００８９】
ステップＳ１３１１ではＡＦ領域の補正を行う。式５に示すように像面上の被写体の角速度ωは、被写体角速度ωｓからパンニング角速度ωｐを減算したものと表せる。
ω＝ωｓ−ωｐ    式５
【００９０】
Ｓ１３０５で算出した値を像面上の被写体角速度ωと、Ｓ１３１０で取得した値をパンニング角速度ωｐとを、式５に代入することで被写体角速度ωｓが求まる。被写体角速度ωｓはメモリ１３４に保存しておく。二枚目以降の撮影ではステップＳ１３１０で静止画撮影ごとに取得されるパンニング角速度ωｐとメモリ１３４に保存された被写体角速度ωｓから式５により像面上の被写体角度ωを求める。ステップ１３０９で静止画から求めた被写体検出位置に対して、被写体位置の補正が行われる。まず、像面上の被写体の角速度ωから式２によって、ローリング歪みによる被写体位置補正量Ｒ１が算出される。また、撮像タイミングの違いによる被写体補正量Ｒ２が式３よって算出される。また、Ｒ１とＲ２を合算した被写体補正量Ｒを加算・減算を行う。これにより、被写体位置の補正が行われる。加算減算の判断は像面上の被写体角速度ωの正負によって被写体の移動方向を判断し切り替える。ＡＦ領域は補正後の被写体位置を用いて、ステップＳ３０４と同様の方法で求める。
【００９１】
ステップＳ１３１２はステップＳ３０５と同様の処理を行う。ＡＦ画の蓄積タイミング１２１３はタイミング２０５と同様のタイミングで行う。
【００９２】
ステップＳ１３１３はステップＳ３０６と同様の処理を行う。ＡＦ画の読み出しタイミング１２１４はタイミング２０６と同様のタイミングで行う。
【００９３】
ステップＳ１３１４はステップＳ３０７と同様の処理を行う。レンズ駆動量算出タイミング１２１５はタイミング２０７と同様のタイミングで行う。
【００９４】
ステップＳ１３１５はステップＳ３０８と同様の処理を行う。レンズ駆動タイミング１２１６はタイミング２０８と同様のタイミングで行う。
【００９５】
ステップＳ１３１６はステップＳ３０９と同様の処理を行う。連続撮影の判断タイミ１２１７はタイミング２０９と同様のタイミングで行う。
【００９６】
以上のように実施例３では、メカシャッタ方式で撮像した静止画で算出した被写体結果を用いて、ローリングシャッタ方式で画撮したＡＦ画のＡＦ領域を決定する。この際に、複数のＬＶ画像から制御部１２１で算出した像面上の被写体角速度と、静止画撮影毎に角速度センサ１３５から取得したパンニング角速度を利用して、ローリングシャッタ歪みによる被写体位置のズレを補正してＡＦ領域を決定する。これにより等速で移動する被写体を追尾しながら連続撮影する場合において、被写体へのＡＦ精度が高く高速な連続撮影が可能になる。
【００９７】
＜その他の実施例＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００９８】
上述の実施形態では、１つの画素の中にある１つのマイクロレンズで集光されるフォトダイオードを分割することによって、各々のフォトダイオードは撮像レンズの異なる瞳面の光を受光するように構成されている。これによって、２つのフォトダイオードの出力を比較することで上記の撮像面位相差検出が可能となる。しかしこれに限らず、撮像素子の一部の受光用画素を、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させて瞳分割機能を付与する焦点検出用画素とし、撮影用画素群の間に所定の間隔で配置することで、撮像面位相差検出を行っても良い。また、撮像素子の出力信号、特に高周波成分のコントラスト情報に着目し、そのＡＦ評価値が最も大きくなるフォーカスレンズの位置を合焦位置とするコントラストＡＦ方式を適用してもよい。これらの場合にも、上述の実施形態で説明したように、ローリングシャッタ歪みによる被写体位置のズレを補正してＡＦ領域を決定することで、被写体へのＡＦ精度が高く高速な連続撮影が可能になる。
【００９９】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【０１００】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【０１０１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１０２】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【０１０３】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【図１】
2018019352.tif 000004
【図２】
2018019352.tif 000005
【図３】
2018019352.tif 000006
【図４】
2018019352.tif 000007
【図５】
2018019352.tif 000008
【図６】
2018019352.tif 000009
【図７】
2018019352.tif 000010
【図８】
2018019352.tif 000011
【図９】
2018019352.tif 000012
【図１０】
2018019352.tif 000013
【図１１】
2018019352.tif 000014
【図１２】
2018019352.tif 000015
【図１３】
2018019352.tif 000016
【図１４】
2018019352.tif 000017
【図１５】
2018019352.tif 000018