(57)【要約】【課題】連続撮影中に一定の連写間隔が維持できなくなった場合でも、焦点検出精度の低下を抑制することができる撮像装置を提供する。【解決手段】撮像素子と、撮像素子の焦点検出用画素からの焦点検出のための信号に基づいて撮影光学系の焦点検出を行う焦点検出部と、記録用の画像信号の蓄積を撮像素子に複数回実行させる連続撮影部と、焦点検出手段による焦点検出の結果と該焦点検出に用いられた信号の蓄積時刻に関する情報に基づいて記録用の画像信号を取得する際の被写体の合焦位置を予測する予測手段と、予測手段による予測結果に基づいて焦点調節を行う焦点調節手段と、を備え、記録用の画像信号を記憶する記憶手段が、記録用の画像信号を記憶できない期間内に、撮像素子は焦点検出のための信号の蓄積を行い、焦点検出手段は期間内に取得された焦点検出のための信号を用いた焦点検出を行う。【選択図】  図６
2018037959.tif 000002
【特許請求の範囲】
【請求項１】
焦点検出用画素を有する撮像素子と、
前記焦点検出用画素により蓄積された焦点検出のための信号に基づいて、撮影光学系の焦点検出を行う焦点検出手段と、
記録用の画像信号の蓄積を複数回、前記撮像素子に実行させる連続撮影手段と、
前記記録用の画像信号を記憶する記憶手段と、
前記焦点検出手段による前記焦点検出の結果と該焦点検出に用いられた前記焦点検出のための信号の蓄積時刻に関する情報とに基づいて記録用の画像信号を取得する際の被写体の合焦位置を予測する予測手段と、
前記予測手段による予測結果に基づいて前記撮影光学系の焦点を合わせる焦点調節手段と、を備え、
前記記憶手段が前記記録用の画像信号を記憶できない期間内に、前記撮像素子は前記焦点検出のための信号の蓄積を行い、且つ、前記焦点検出手段は前記期間内に取得された前記焦点検出のための信号を用いた前記焦点検出を行うことを特徴とする撮像装置。
【請求項２】
前記焦点調節手段は、前記記憶手段が前記記録用の画像信号の記憶を再開できるようになった場合に、前記予測手段により予測された、再開後の最初の記録用の画像信号を取得するための合焦位置に前記撮影光学系の焦点を合わせることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子により取得された表示用の信号に基づく画像を表示する表示部をさらに備え、
前記焦点検出のための信号は、前記表示用の信号の蓄積時に取得されることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記表示用の信号は、前記撮像素子による前記記録用の画像信号の蓄積の合間に表示されることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記表示用の信号を用いて被写体を検出する被写体検出手段をさらに備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記焦点検出手段は、前記被写体検出手段により検出された被写体への合焦位置を検出することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記予測手段は、前記焦点検出のための信号の蓄積時刻と、該焦点検出のための信号を用いた前記焦点検出手段による焦点検出の結果とに基づいて、再開後の最初の記録用の画像信号を取得するための合焦位置を予測することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像素子は、１つのマイクロレンズと２つの光電変換素子とをそれぞれ有する単位画素が複数配列されて構成されていることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記焦点検出手段は、位相差検出方式の焦点検出を行うことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記記憶手段は、記録用の画像信号を一時的に保存するバッファメモリであり、前記記憶手段が前記記録用の画像信号を記憶できない期間とは、前記バッファメモリがフルになっている期間であることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記記憶手段が、前記記録用の画像信号を記憶できなるか否かを判断する判断手段をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
焦点検出用画素を有する撮像素子と、前記焦点検出用画素により蓄積された焦点検出のための信号に基づいて、撮影光学系の焦点検出を行う焦点検出手段と、を備える撮像装置を制御する方法であって、
記録用の画像信号の蓄積を複数回、前記撮像素子に実行させる連続撮影工程と、
前記記録用の画像信号の保存ができない期間内に、前記焦点検出のための信号の蓄積と、該焦点検出のための信号に基づく前記焦点検出とを行う焦点検出工程と、
前記焦点検出工程による前記焦点検出の結果と該焦点検出に用いられた前記焦点検出のための信号の蓄積時刻に関する情報とに基づいて記録用の画像信号を取得する際の被写体の合焦位置を予測する予測工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１３】
請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子からの出力信号を用いて焦点検出を行いながら連続撮影を行うことが可能な撮像装置に関するものである。
【背景技術】
【０００２】
従来より、被写体の動きや変化に応じてピントを合わせながら連続撮影することが可能な撮像装置が製品化されている。このような撮像装置の中には、焦点位置の調節のための焦点検出と実際の撮像とのタイムラグを考慮し、実際の撮像が行われる瞬間における合焦位置を予測して焦点調節を行うものがある。また、このような撮像装置では、通常、焦点検出の方式として、専用のセンサを用いた位相差方式の焦点検出や、コントラストが最大になるフォーカスレンズ位置を特定するコントラスト検出方式の焦点検出が用いられてきた。
【０００３】
一方、近年では焦点検出用の画素を有する撮像素子を用いて撮像面での位相差ＡＦを行い、その結果に基づいて連続撮影間に焦点調整を行う撮像装置が提案されている（特許文献１）。特許文献１に記載の撮像装置では、本露光時の画像データに含まれる焦点検出用画素の出力に応じて、以後の焦点調整動作の処理内容を切り替えている。それとともに、いずれの内容の焦点調整処理が実施された場合であっても連続撮影の間隔が一定となるように撮影間隔を調整する機構を有している。これにより、連続撮影時の撮影間隔が一定となり、撮影者にとって使いやすい撮像装置を提供することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１８０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的に、連続撮影は、なるべく短い一定間隔で連続撮影を行えることが好ましい。この場合、一般に撮像装置に用いられている記録メディアの書き込み速度は、連続撮影により得られた画像データをリアルタイムに書き込めるほどに速くはない。そのため、画像データを記録メディアに書き込む前にバッファメモリに一時的に格納する。この方法を用いることにより、バッファメモリがいっぱいになるまでは、短い一定の時間間隔で連続撮影することが可能となる。
【０００６】
しかしながら、例えバッファメモリを用いても、永久に連続撮影を行えるわけではなく、一旦バッファメモリがいっぱいになってしまえば、バッファメモリから記録メディアに画像データを移す必要がある。そして、記録メディアに画像データを移してバッファメモリに空きができるまでは、次の撮影ができない状態になり、連写撮影は一時停止される。
【０００７】
このような状況が発生すると、連続撮影の間隔が一定でなくなり、撮影者の利便性が損なわれるだけでなく、特許文献１のように撮像面における位相差方式のＡＦを行う場合に、撮影画像のピント精度が低下する可能性がある。特許文献１においては、このように連続撮影の間隔が一定でなくなる場合のＡＦ精度の低下については言及されていない。
【０００８】
本発明は、上述した課題に鑑みてなされたものであり、その目的は、連続撮影中に撮像面における位相差方式の焦点検出を行う場合に、一定の連写間隔が維持できなくなった場合でも、焦点検出精度の低下を抑制することができる撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明に係わる撮像装置は、焦点検出用画素を有する撮像素子と、前記焦点検出用画素により蓄積された焦点検出のための信号に基づいて、撮影光学系の焦点検出を行う焦点検出手段と、記録用の画像信号の蓄積を複数回、前記撮像素子に実行させる連続撮影手段と、前記記録用の画像信号を記憶する記憶手段と、前記焦点検出手段による前記焦点検出の結果と該焦点検出に用いられた前記焦点検出のための信号の蓄積時刻に関する情報とに基づいて記録用の画像信号を取得する際の被写体の合焦位置を予測する予測手段と、前記予測手段による予測結果に基づいて前記撮影光学系の焦点を合わせる焦点調節手段と、を備え、前記記憶手段が前記記録用の画像信号を記憶できない期間内に、前記撮像素子は前記焦点検出のための信号の蓄積を行い、且つ、前記焦点検出手段は前記期間内に取得された前記焦点検出のための信号を用いた前記焦点検出を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、連続撮影中に撮像面における位相差方式の焦点検出を行う場合に、一定の連写間隔が維持できなくなった場合でも、焦点検出精度の低下を防止することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係わる撮像装置の全体構成を示すブロック図。
【図２】撮像光学系の瞳と撮像素子が受光する光の関係を示す模式図。
【図３】一連の撮影動作の流れを示すフローチャート。
【図４】定常状態での連続撮影の流れを示すフローチャート。
【図５】定常状態での連続撮影動作を示すタイミングチャート。
【図６】バッファフル状態での連続撮影の流れを示すフローチャート。
【図７】バッファフル状態での連続撮影動作を示すタイミングチャート。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態について詳細に説明するが、本発明は以下の実施形態に限定されるものではない。また、この発明の実施形態は発明の好ましい形態を示すものであり、発明の範囲を限定するものではない。
【００１３】
＜全体構成＞
図１は、本発明の一実施形態に係わる撮像装置１０１の全体構成を示すブロック図である。図１において、撮像装置１０１は、被写体を撮影して、動画や静止画のデータをテープ、固体メモリ、光ディスク、磁気ディスクなどの各種メディアに記録可能なデジタルスチルカメラやビデオカメラなどであるが、これらに限定されるものではない。
【００１４】
撮影レンズ１１１（レンズユニット）は、固定レンズ１１２、絞り１１３、フォーカスレンズ１１４を備えて構成される。絞り制御部１１５は、絞り１１３を駆動することにより、絞り１１３の開口径を調整して撮影時の光量調節を行う。フォーカス制御部１１６は、撮影レンズ１１１のピントのずれ量に基づいてフォーカスレンズ１１４を駆動する駆動量を決定する。そして、フォーカスレンズ１１４を駆動することにより、合焦状態を制御する。フォーカス制御部１１６によるフォーカスレンズ１１４の移動制御により、自動焦点調節制御が実現される。フォーカスレンズ１１４は、焦点調節用レンズであり、図１には単レンズで簡略的に示されているが、通常複数のレンズで構成される。絞り駆動部１１５や、フォーカス制御部１１６はレンズ制御部１１７によって制御される。
【００１５】
レンズ交換式のデジタルスチルカメラやビデオカメラの場合、カメラ制御部１４０は、取り付けられたレンズのレンズ制御部１１７に対してレンズ駆動量、デフォーカス量又は像ずれ量等の焦点調節に必要な情報を送信する。このように、撮像装置（デジタルスチルカメラやビデオカメラ）は、取り付けられたレンズの制御を行うことで、焦点調節の制御を行うことができる。
【００１６】
これらの光学部材（撮影レンズ１１１）を介して入射した光束は撮像素子１２１の受光面上に結像され、撮像素子１２１により電気信号に変換される。撮像素子１２１は、被写体像（光学像）を信号電荷に変換する多数の光電変換素子を有するＣＣＤやＣＭＯＳセンサにより構成される。各光電変換素子に蓄積された信号電荷は、タイミングジェネレータ１２２が出力する駆動パルスより、信号電荷に応じた電圧信号として撮像素子１２１から順次読み出される。
【００１７】
ＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３は、撮像素子１２１から読み出された撮像信号及び焦点検出用信号に対し、リセットノイズを除去するための相関二重サンプリング処理、ゲインの調節処理、信号のデジタル化を行う。ＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３は、撮像信号を撮像信号処理部１２４に、撮像面位相差方式の焦点検出用の信号を焦点検出用信号処理部１２５にそれぞれ出力する。
【００１８】
焦点検出用信号処理部１２５はＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３から出力された焦点検出用の２つの像信号に対して相関演算を行い、像ずれ量、信頼性情報（二像一致度、二像急峻度）を算出する。さらに得られた像ずれ量から、撮影光学系のデフォーカス量およびデフォーカス方向を算出する。加えて、焦点検出用信号処理部１２５では、撮像画面内で焦点検出を行う焦点検出領域の設定や配置を行う。
【００１９】
図２は、撮像素子１２１と撮影レンズ１１１の関係を示す図である。撮像素子１２１は、２次元的に複数配列されたｍ×ｎ個の画素で構成されており、図２の２０１は撮像素子１２１の断面を示している。各画素（単位画素）２０２には、一つのマイクロレンズ２０３と二つの光電変換素子２０４，２０５が配置されており、撮像面位相差検出方式による自動焦点調節に用いる像信号を生成可能である。撮影レンズ１１１の瞳２０６の異なる瞳領域２０７，２０８を通過した光束は光軸２０９を中心に各画素２０２に配置されたマイクロレンズ２０３を介して、画素に設けられた二つの光電変換素子２０４，２０５に入射する。これにより、一つの画素で撮像用と焦点検出用の二つの信号を取得できる。二つの光電変換素子２０４，２０５の出力を加算することで、撮像画像を取得することができ、撮像信号処理部１２４により画像信号（画像データ）が生成される。また、二つの光電変換素子の出力から視差の異なる２つの画像（視差画像）を取得することができ、焦点検出用信号処理部１２５ではこれらの画像を元に焦点検出の演算を行う。本実施形態では、二つの光電変換素子の出力を加算したものをＡ＋Ｂ像、二つの光電変換素子の出力のそれぞれをＡ像、Ｂ像と呼ぶ。なお、位相差信号の生成方法については本実施形態の手法に限定されるものではなく、他の方法を用いても良い。焦点検出方法の詳細については後述する。また、本発明および本明細書において、焦点検出用画素とは、焦点検出専用の画素だけでなく、上述のような、撮像用信号の取得にも焦点検出用信号の取得にも用いられる画素を含むものとする。
【００２０】
撮像信号処理部１２４は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３から出力された撮像信号に基づき、被写体の明るさに応じた測光値を算出する回路ブロック、ホワイトバランスやガンマ補正などの画像処理を実施する回路ブロックを有する。そして、撮像信号処理部１２４により処理された撮像信号はバス１３１を介してＳＤＲＡＭ１３６に格納される。
【００２１】
ＳＤＲＡＭ１３６に格納された画像信号は、バス１３１を介して表示制御部１３２によって読み出され、表示部１３３に表示される。加えてＳＤＲＡＭ１３６は、記録用として符号化された圧縮画像信号を一時的に記憶し、記録媒体制御部１３４を介して記録媒体１３５に書き込む際にも使用される。その際、書き込まれた画像信号はＳＤＲＡＭ１３６から削除され、次の画像信号が記憶できるようになる。通常、ＳＤＲＡＭ１３６は、その容量が大きいほどたくさんの記録用画像を一時記憶することができるため、記録媒体１３５への書き込み時間が長くかかる場合でも高速な連続撮影を継続して行うことが可能となる。
【００２２】
ＲＯＭ１３７にはカメラ制御部１４０が実行する制御プログラム及び制御に必要な各種データ等が格納されており、フラッシュＲＯＭ１３８には、ユーザ設定情報等のカメラ本体１０１の動作に関する各種設定情報等が格納されている。
【００２３】
カメラ制御部１４０は、ＲＯＭ１３７に格納された制御プログラム及び制御に必要な各種データに基づき、自動焦点調節、及び、自動露出調整を行う。具体的には、焦点検出用信号処理部１２５から出力されるデフォーカス量をレンズ駆動量に変換した後レンズ制御部１１７に伝達し、フォーカス制御部１１６に伝えることで自動焦点調節を実現している。さらに、カメラ制御部１４０は、撮像信号処理部１２４から出力される測光値に基づき、絞り１１３、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３、メカシャッター（図中では省略）、撮像素子１２１を制御する。そして、ライブビュー表示の露光量および静止画撮影時の露光量を自動的に調整する自動露出調整を実現している。
【００２４】
顔検出部１３９では、ＳＤＲＡＭ１３６に蓄積された画像データから公知の方法を使用して顔検出を行う。顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。
【００２５】
操作部１４１は、例えば、電源ボタン、シャッターボタンなどの撮影に関連する各種操作を入力するスイッチ類からなる。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等からなり、ユーザによりこれらのキーやボタンが操作されるとカメラ制御部１４０に操作信号を送信する。以上が本実施形態における撮像装置１０１の全体的な構成である。
【００２６】
次に、本実施形態の撮像装置１０１の特徴的な動作について図３から図７を用いて説明する。なお、本実施形態の動作を示す図３、図４、図６のフローチャートの処理は、ＲＯＭ１３７に格納された制御プログラム及び制御に必要な各種データに基づきカメラ制御部１４０において実行されるものである。
【００２７】
＜撮影動作＞
以下、本実施形態における一連の撮影動作の流れを図３のフローチャートを用いて説明する。まず、ステップＳ３００において、操作部１４１に含まれるレリーズスイッチＳＷ１が押されたか否かを判断する。ステップＳ３００においてレリーズスイッチＳＷ１が押されていない場合は、レリーズスイッチＳＷ１が押されるまで待機する。一方で、レリーズスイッチＳＷ１が押された場合にはステップＳ３０１に進み、一連の撮影準備動作が開始される。
【００２８】
ステップＳ３０１では、焦点調整用の露出制御処理が実施される。具体的には次のステップＳ３０２での焦点調整処理に適した露出条件となるように、カメラ制御部１４０は撮像信号処理部１２４から出力される測光値に基づき、絞り１１３、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３の動作、撮像素子１２１の蓄積時間を制御する。
【００２９】
次に、ステップＳ３０２では、カメラ制御部１４０が焦点検出用信号処理部１２５から出力されるデフォーカス量をレンズ駆動量に変換する。このレンズ駆動量をレンズ制御部１１７に伝達し、フォーカス制御部１１６を制御することで直近の静止画撮影に向けた焦点調節を行う。また、この時点で焦点検出用信号処理部１２５から得られるデフォーカス量に基づき特定した合焦位置（＝焦点検出結果）は、デフォーカス量算出の元となる蓄積時刻と対応づけられてＳＤＲＡＭ１３６に記憶され、後述する予測処理に使用される。
【００３０】
次にステップＳ３０３では、静止画撮影に向けた露出制御を行う。カメラ制御部１４０は撮像信号処理部１２４から出力される測光値に基づき、絞り１１３、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３の動作、メカシャッター、撮像素子１２１の蓄積時間を制御し、記録される静止画撮影画像が適切な露光量となるように調整する。ステップＳ３０１とＳ３０３により、焦点検出のための信号の蓄積と、記録用の画像信号の蓄積とが交互に実行される。なお、焦点検出のための信号の蓄積とは、焦点検出のための信号を取得するための電荷の蓄積のことを指す。同様に、記録用の画像信号の蓄積とは、記録用の画像信号を取得するための電荷の蓄積のことを指す。
【００３１】
次にステップＳ３０４では、操作部１４１に含まれるレリーズスイッチＳＷ２が押されたか否かを判断する。レリーズスイッチＳＷ２が押されていない場合はステップＳ３０５に進み、押されている場合はステップＳ３０６に進む。
【００３２】
ステップＳ３０５ではレリーズスイッチＳＷ１が押されているか否かを判断する。ステップＳ３０５においてレリーズスイッチＳＷ１が押されている場合はステップＳ３０４に戻り、レリーズスイッチＳＷ２が押されているか否かを判断する。つまり、レリーズスイッチＳＷ２が押されるまで静止画撮影の開始を待機することになる。一方で、ステップＳ３０５でレリーズスイッチＳＷ１が押されていない場合は、ステップＳ３００に戻る。すなわち、撮影者により撮影準備状態が解除されたものとして、次の撮影準備に向けてレリーズスイッチＳＷ１が押されるのを監視することになる。ステップＳ３０６では静止画撮影のための撮像信号を生成するべく撮像素子１２１の蓄積を行う。
【００３３】
次にステップＳ３０７では、ステップＳ３０６で撮像素子１２１に蓄積された電荷の読み出しを開始する。先に説明したとおり、本実施形態における撮像素子１２１を構成する各画素は二つの光電変換素子を備えており、静止画撮影のための撮像信号を生成するためには、この二つの光電変換素子の出力を加算した信号を読み出して使用する。
【００３４】
次にステップＳ３０８では、撮像装置１０１の設定が連写モードであるか否かを判断する。ステップＳ３０８において連写モードでない場合は次のステップＳ３０９に進み、連写モードである場合にはステップＳ３１３に進む。
【００３５】
ステップＳ３０９では、ステップＳ３０７で開始された記録用の静止画の撮像信号読み出しが完了したか否かを判断する。完了していない場合は撮像信号の読み出しの完了を待ち、完了している場合はステップＳ３１０に進む。
【００３６】
ステップＳ３１０では、ステップＳ３０７からステップＳ３０９の過程で読み出された撮像信号を入力として、撮像信号処理部１２４がホワイトバランスやガンマ補正などの画像処理を実施する。
【００３７】
ステップＳ３１１では、記録媒体制御部１３４を介した記録媒体１３５への静止画像データの書き込みに先立って、記録のための符号化処理が実施される。本実施形態では、ＪＰＥＧフォーマット等への画像フォーマット変換を行い、静止画像データをＳＤＲＡＭ１３６に一時的に記憶する。そして、ステップＳ３１２において、ＳＤＲＡＭ１３６に記録されている静止画像データを記録媒体制御部１３４を介して記録媒体１３５に書き込む。以上、ステップＳ３１０からステップＳ３１２で示した処理を、本実形態では現像・記録処理と呼ぶ。
【００３８】
ステップＳ３０８において連写モードである場合には、ステップＳ３１３に進む。ステップＳ３１３は記録用の静止画の撮像信号読み出し中に実施される。ステップＳ３１３は、ステップＳ３０２の焦点調整の過程で得られた焦点検出結果や、複数回の連続撮影の開始前に取得した焦点検出結果に基づき、２コマ目の撮影タイミングにおける被写体の位置（被写体に合焦する焦点位置）を予測する。予測には、焦点検出に用いられた焦点検出用信号を取得した時刻の情報も用いる。例えば、連続撮影の開始前のある時刻ｔ１に取得した焦点検出結果ａ１と、それよりも後の時刻ｔ２に取得した焦点検出結果ａ２を用いて、被写体の距離の変化（ａ２−ａ１）と移動時間（ｔ２−ｔ１）から被写体の移動速度を算出する。そして得られた移動速度と、２コマ目の撮影タイミングまでの時間に基づいて、被写体の移動距離がどの程度かを予測し、その移動先の位置へフォーカス制御する。バッファメモリに空きができるまで連写撮影が一時停止され、連続撮影の間隔が一定でなくなると、本ステップにおいて予測した次のコマの撮影タイミングと、実際に次のコマが撮影されるタイミングとがずれる可能性がある。このずれが生じると、ＡＦ精度の低下につながる。また、３つ以上の焦点検出結果を用いて次のコマの撮影タイミングにおける被写体の位置を予測する場合、撮影間隔が一定であるとみなして予測を行うと、連写撮影が一時停止されたことによる撮影間隔のずれにより、ＡＦ精度の低下が生じる可能性もある。本実施形態では、バッファメモリに空きがなく（フル状態）、撮影を一時停止している間でも焦点検出を行うことで、このようなＡＦ精度の低下を低減することができる。詳細については後述する。
【００３９】
次にステップＳ３１４において、実際にステップＳ３１３で予測したフォーカス位置へとフォーカスレンズ１１４の位置制御を開始する。次にステップＳ３１５において、焦点検出用絞り制御を開始する。本実施形態における焦点検出用絞り制御は、記録用の静止画の撮像信号読み出し中に実施され、連続撮影の合間に行われる撮像面位相差ＡＦによる焦点検出に適した絞り値となるように直前に取得済みの測光結果に基づいて露出条件を制御する。ここで撮像面位相差ＡＦによる焦点検出に適した絞り値とは、撮像素子１２１において撮像面位相差ＡＦ用として被写体を撮像するために必要な条件を満たし、かつ次のコマの静止画撮影時と可能な限り同一の値となる絞り値である。例えば、撮像素子１２１において撮像面位相差ＡＦ用として被写体を撮像する際に、所定の焦点検出精度を維持するためには、絞り１１３の絞り値をＦ８よりも開放側（Ｆ８を含む）に開いた状態にする必要があるとする。この場合、仮に次のコマの静止画撮影用に適正な露出合わせをするための絞り値がＦ４であれば、Ｆ８よりも開放側であるため、静止画撮影時と同一のＦ４に設定すればよい（「静止画取得に適した絞り値」と呼ぶ）。次のコマの静止画撮影用に適正な露出合わせをするための絞り値がＦ１１であれば、Ｆ８よりも小絞り側であるため、ここでは撮像面位相差ＡＦ用として精度が維持できる限界の絞り値であるＦ８に設定する（「撮像面位相差ＡＦによる焦点検出に適した絞り値」と呼ぶ）。
【００４０】
次にステップＳ３１６では、ステップＳ３０７で開始された記録用の静止画の撮像信号読み出しが完了したか否かを判断する。完了していない場合は撮像信号の読み出しの完了を待ち、完了している場合はステップＳ３１７に進む。
【００４１】
次に、ステップＳ３１７では、先にステップＳ３１０からステップＳ３１２で示した現像・記録処理が開始される。先の現像・記録処理で示した通り、フォーマット変換後の静止画像データは記録媒体１３５に書き込まれる前に、一時的にＳＤＲＡＭ１３６に記憶される。この構造により、記録媒体１３５への書き込み速度がフォーマット変換後の静止画像データ生成よりも遅い場合はＳＤＲＡＭ１３６に静止画像データが蓄積されていくことになる。本実施形態では、ＳＤＲＡＭ１３６に静止画像データを保存するための空きがある場合には次の画像の撮影が可能であるが、空きが無い場合には次の撮影を禁止するように制御される。そのため、ステップＳ３１８で次の撮影が可能な場合にはステップＳ３１９に進み、撮影ができない場合にはステップＳ３２０に進む。
【００４２】
ステップＳ３１９は、一定の撮影間隔が維持可能な場合の定常状態における連続撮影処理である。処理の詳細については後述する。一方で、ステップＳ３２０は、書き込まれた静止画データがＳＤＲＡＭ１３６の記憶可能な数に到達し、一定の撮影間隔が維持できなくなった場合（本実施形態ではバッファフル状態と呼ぶ）における連続撮影処理である。処理の詳細については後述する。
【００４３】
ステップＳ３１９、ステップＳ３２０の処理が完了した場合はステップＳ３２１に進み、レリーズスイッチＳＷ２が押されているか否かを判断する。ステップＳ３２１においてレリーズスイッチＳＷ２が押されている場合には、ステップＳ３１８に戻り、一連のステップＳ３１８からステップＳ３２１までの連続撮影処理が継続される。一方で、ステップＳ３２１においてレリーズスイッチＳＷ２が押されていない場合には、ステップＳ３０５に戻り、連続撮影処理から単発の撮影処理に移ることになる。以上が本実施形態における一連の撮影動作全体の流れである。
【００４４】
＜定常状態連続撮影処理＞
以下、本実施形態における一定の撮影間隔が維持できる場合の連続撮影処理の流れを図４のフローチャートを用いて説明する。
【００４５】
まずステップＳ４００において、連続撮影の合間に表示する表示用のライブ画像（本実施形態ではコマ間ＬＶと呼ぶ）のための蓄積を行う。次にステップＳ４０１において、ステップＳ４００で撮像素子１２１に蓄積された電荷を読み出す。先に説明したとおり、本実施形態における撮像素子１２１を構成する各画素は二つの光電変換素子を備えており、コマ間ＬＶのための撮像信号を生成するためには、この二つの光電変換素子の出力を加算した信号（Ａ＋Ｂ像）を読み出して使用する。
【００４６】
次にステップＳ４０２において、ステップＳ４００で撮像素子１２１に蓄積された電荷を読み出す。ここでは、先のステップＳ４０１とは異なり、撮像面位相差ＡＦによる焦点検出を実施するため、二つの光電変換素子の出力を各々別々に読み出し、視差の異なる２つの画像（Ａ像、Ｂ像）を焦点検出信号として取得する。二つの光電変換素子の出力を各々別々に読み出す代わりに、二つの光電変換素子のいずれかの出力のみを読み出し、ステップＳ４０１で取得した二つの光電変換素子の出力を加算した信号（Ａ＋Ｂ像）との差分から、もう一方の光電変換素子の出力信号を取得してもよい。したがって、ステップＳ４００からステップＳ４０２の過程でコマ間ＬＶのための撮像信号（Ａ＋Ｂ像）と、撮像面位相差ＡＦによる焦点検出のための２つの視差画像（Ａ像、Ｂ像）が取得できる。なお、コマ間ＬＶのための撮像信号については、後述する測光演算による測光値の算出、及び顔検出部１３９よる顔検出処理（被写体検出処理）にも使用されるものとする。
【００４７】
次にステップＳ４０３において、連続撮影の合間に表示するコマ間のライブ画像を生成し表示する。先のステップＳ４０１で撮像素子１２１より読みだされたコマ間ＬＶのための撮像信号を入力として撮像信号処理部１２４で処理し、ホワイトバランスやガンマ補正などの画像処理を実施する。その後、撮像信号はバス１３１を介してＳＤＲＡＭ１３６に格納され、表示制御部１３２によって読み出され、表示部１３３に表示される。
【００４８】
次にステップＳ４０４において、ステップＳ４０１で得られたコマ間ＬＶのための撮像信号に基づいて顔検出部１３９よる顔検出処理を行う。撮像信号中に検出可能な顔が存在する場合には、顔の位置及びサイズが算出される。ここで得られた顔の位置、サイズ情報は後述する焦点検出演算において焦点検出用信号処理部１２５における焦点検出領域を決定する際に使用される。
【００４９】
次にステップＳ４０５において、静止画用の絞り制御を開始する。先に示した図３のステップＳ３１５ではステップＳ４００での撮像素子１２１の蓄積が撮像面位相差ＡＦによる焦点検出に使用されることを想定し、それに適した絞り値となるように制御した。これに対し、ステップＳ４０３では次の静止画撮影に適した絞り値となるように直前に取得済みの測光結果に基づいて露出条件を制御する。なお、ステップＳ４０５では、必ずしも絞り１１３が駆動されるわけではなく、直前に設定されている絞り値と静止画撮影時に設定したい絞り値が同一である場合には絞り１１３は駆動されない。また、ステップＳ４０５において、絞り１１３が駆動される場合は、その駆動が完了するまで次のステップＳ４０６には進まないものとする。
【００５０】
ステップＳ４０６において、静止画撮影のための撮像信号を生成するべく撮像素子１２１の蓄積処理を行う。処理内容は先に示したステップＳ３０６と同様であるが、ステップＳ４０６では蓄積処理の完了を待たずに次のステップＳ４０７に進む。
【００５１】
ステップＳ４０７では、先のステップＳ４０２において読み出された撮像面位相差ＡＦによる焦点検出のための２つの視差画像（Ａ像、Ｂ像）に基づき、焦点検出用信号処理部１２５において相関演算を行う。そして、像ずれ量、信頼性情報（二像一致度、二像急峻度）を算出する。さらに得られた像ずれ量から撮影光学系のデフォーカス量（およびデフォーカス方向）を算出する。加えて算出されたデフォーカス量に基づき特定した合焦位置（＝焦点検出結果）は、その元となった蓄積時刻と対応付けてＳＤＲＡＭ１３６に記憶し、予測処理に使用する。なお、ＳＤＲＡＭ１３６には複数の焦点検出結果と蓄積時刻が記憶されており、予測処理では過去の焦点検出結果の履歴情報に基づいて、目標となる静止画撮影のタイミングにおけるフォーカス位置を特定する。
【００５２】
次にステップＳ４０８において、測光演算を行う。先にステップＳ４０１で取得したコマ間ＬＶのための撮像信号を撮像信号処理部１２４で処理し、測光値を算出する。ステップＳ４０９では、ステップＳ４０６で開始した静止画撮影のための蓄積処理が完了したか否かを判断する。ステップＳ４０９において、蓄積処理が完了していない場合には、蓄積処理が完了するまで待機する。一方で、蓄積処理が完了した場合には、次のステップＳ４１０に進む。したがって、ステップＳ４０７からステップＳ４０８までの処理は静止画撮影のための蓄積処理と並行して実行される。
【００５３】
次にステップＳ４１０において、撮像素子１２１に蓄積された電荷の読み出しを開始する。ステップＳ４１０における処理内容は、先に示したステップＳ３０７と同様である。次にステップＳ４１１において、次のコマの静止画撮影に備えて予測処理を行う。処理内容は先に示したステップＳ３１３と同様である。次にステップＳ４１２において、ステップＳ４１１の予測処理の結果に基づいて、予測したフォーカス位置へとフォーカスレンズ１１４の移動を開始する。
【００５４】
ステップＳ４１３では、ステップＳ３１５と同様に焦点検出用の絞り制御を開始する。次にステップＳ４１４において、ステップＳ４１２、ステップＳ４１３で制御を開始したフォーカスレンズ１１４と絞り１１３の駆動が完了したか否かを判断する。ステップＳ４１４においてフォーカスレンズ１１４と絞り１１３の駆動が完了した場合には、次のステップＳ４１５に進み、完了していない場合には、フォーカスレンズ１１４と絞り１１３の駆動完了を待つ。
【００５５】
次にステップＳ４１５において、ステップＳ４１０で開始された静止画記録用の撮像信号の読み出しが完了したか否かを判断する。完了していない場合は、撮像信号の読み出しの完了を待ち、完了している場合はステップＳ４１６に進む。したがって、ステップＳ４１１からステップＳ４１４までの処理は静止画記録用の撮像信号の読み出しと並行して実施される。ステップＳ４１６では、先にステップＳ３１７で示した現像・記録処理が開始される。以上が本実施形態における一定の撮影間隔が維持できる場合の連続撮影処理の流れである。
【００５６】
＜定常状態連続撮影処理の動作例＞
次に、本実施形態における図４のフローチャートを実行した場合の具体的な動作例について、図５を用いて説明する。
【００５７】
図５の２コマ目では静止画撮影用の絞り値はＦ８よりも開放側であるとする。この場合、１コマ目の静止画読み出しの期間に２コマ目の静止画撮影用の絞り値となるように絞り制御を行う。これにより、次の撮像面位相差ＡＦによる焦点検出のための蓄積が焦点検出精度を維持した状態で行える。また、この場合は撮像面位相差ＡＦによる焦点検出のための蓄積後に絞りを改めて制御し直すことなく２コマ目の静止画の撮像が開始できるため、高速に連続撮影が可能となる。
【００５８】
また、図５の３コマ目では静止画撮影用の絞り値はＦ８よりも小絞り側（絞り値がＦ８より大きい）であるとする。この場合、２コマ目の静止画読み出しの期間に撮像面位相差ＡＦでの焦点検出精度を維持可能な絞り値であるＦ８以下の絞り値が守れるように絞り制御を行う。これにより、次の撮像面位相差ＡＦによる焦点検出のための蓄積が焦点検出精度を維持した状態で行えるようになる。また、この場合は撮像面位相差ＡＦによる焦点検出のための蓄積後に絞りを改めて３コマ目の静止画用の絞り値に制御する分だけ連続撮影の速度が低下することになる。しかし、適正な条件で撮像面位相差ＡＦによる焦点検出が可能となるため、ピントや露出の追従性能を落とさずに連続撮影が可能である。また、各コマの静止画読み出しの期間に次のコマ用のフォーカスレンズ制御や絞り制御を行っているので、フォーカスレンズや絞りの制御時間によらず高速な連続撮影が可能となる。
【００５９】
＜バッファフル状態連続撮影処理＞
以下、本実施形態における一定の撮影間隔が維持できない場合の連続撮影処理の流れを図６のフローチャートを用いて説明する。
【００６０】
ステップＳ５００からステップＳ５０４までの処理は図４のステップＳ４００からステップＳ４０４までの処理と同じであるため説明は省略する。
【００６１】
次にステップＳ５０５において、図４のステップＳ４０７と同様に焦点検出演算と予測データの記憶を行う。次にステップＳ５０６において、図３のステップＳ３１８と同様にＳＤＲＡＭ１３６の空き状況を確認し、次の静止画撮影が可能か否かを判断する。ステップＳ５０６において、次の静止画撮影が可能な場合にはステップＳ５０７に進み、静止画撮影ができない場合はステップＳ５００に戻る。つまり、次の静止画撮影が可能な状態となるまでは（バッファフル状態が継続する限りは）連続撮影を一時停止して、ステップＳ５００からステップＳ５０５までの一連の処理（本実施形態ではコマ間ＬＶ表示と焦点検出データ蓄積）が繰り返し実施される。したがって、その期間には表示部１３３にコマ間ＬＶが連続的に表示される。それとともに、その間のコマ間ＬＶの蓄積により得られる撮像面位相差ＡＦによる焦点検出のための２つの視差画像（Ａ像、Ｂ像）に基づいて、定期的に焦点検出結果が算出され、その元となる蓄積時刻と共にＳＤＲＡＭ１３６に順次記憶されていくことになる。このように、バッファフル期間内も定期的に焦点検出結果が算出されることで、バッファフル状態が解消された後に行われる予測処理（ステップＳ５１４）にバッファフル期間中の焦点検出結果を用いることができるため、ＡＦ精度の低下を軽減することができる。また、バッファフル期間中に焦点検出用信号の取得のみを行っておいてもよいが、焦点検出結果の算出までをバッファフル期間中に行っておくと算出にかかる時間分、バッファフル状態が解消された後の予測処理までにかかる時間を短縮することができる。尚、バッファフル期間中に、バッファフル期間中に取得された焦点検出結果に基づくフォーカス駆動を行ってもよいが、このフォーカス駆動を行うタイミングとバッファフルが解消するタイミングとが重なる可能性がある。よって、バッファフル期間中はフォーカス駆動を行わないか、バッファフルが解消したらフォーカス駆動に優先して連続撮影の再開を行うことが好ましい。
【００６２】
次にステップＳ５０６で撮影可能な場合（バッファフル状態が解除された場合）にはステップＳ５０７に進む。ステップＳ５０７からＳ５１２は先に示したステップＳ５００からステップＳ５０５と同様であり、コマ間ＬＶの蓄積から、その出力に基づく焦点検出演算と予測データの記憶までが実施される。
【００６３】
次にステップＳ５１３において測光演算を行う。処理内容は図４のステップＳ４０８と同様である。次にステップＳ５１４では、予測処理を行う。ステップＳ５１４の予測処理では、バッファフル状態が継続した場合に繰り返されるステップＳ５００からステップＳ５０５の処理によりＳＤＲＡＭ１３６に保存されている過去の焦点検出結果の履歴情報を用いる。そして、それに基づいて、バッファフル状態解除直後（連続撮影再開後の最初）の静止画撮影タイミングにおける被写体のフォーカス位置を予測する。
【００６４】
ステップＳ５１５では、ステップＳ５１４で得られたバッファフル状態解除直後の静止画撮影タイミングにおける被写体の予測されたフォーカス位置を目標にフォーカスレンズ１１４を駆動させる。
【００６５】
次にステップＳ５１６において、静止画用絞り制御を開始する。処理内容は図４のステップＳ４０５と同じであるが、ここでは絞り１１３の駆動完了を待つことなく、ステップＳ５１５で開始したフォーカスレンズ１１４の駆動と、絞り１１３の駆動が並行して実施されるように制御する。
【００６６】
次にステップＳ５１７において、フォーカスレンズ１１４と絞り１１３の駆動が完了したか否かを判断する。ステップＳ５１７において、両者の駆動が完了していない場合には駆動の完了を待つ。一方で、フォーカスレンズ１１４と絞り１１３の駆動が完了した場合にはステップＳ５１８に進む。
【００６７】
ここまでに説明したステップＳ５０７からステップＳ５１７の処理では、図４の定常状態連続撮影処理のフローとは異なり、１コマ先の静止画撮影に備えた焦点調整及び露出調整ではなく、バッファフル状態解除直後の静止画撮影に対して焦点調整及び露出調整の結果が反映されるように制御する。
【００６８】
次にステップＳ５１８では、静止画撮影のための撮像信号を生成するべく撮像素子１２１の蓄積処理を行う。処理内容は先に図３で示したステップＳ３０６と同様である。次にステップＳ５１９において、撮像素子１２１に蓄積された電荷の読み出しを開始する。ステップＳ５１９における処理内容は、先に示したステップＳ３０７と同様である。次にステップＳ５２０において、予測処理を行う。ステップＳ５２０における予測処理ではＳＤＲＡＭ１３６に保存されている過去の焦点検出結果の履歴情報に基づいて、次の静止画撮影タイミングにおける被写体のフォーカス位置を予測する。
【００６９】
ステップＳ５２１では、ステップＳ５２０で得られた次の静止画撮影タイミングにおける被写体の予測されたフォーカス位置を目標にフォーカスレンズ１１４を駆動させる。ステップＳ５２２では、図３のステップＳ３１５と同様に焦点検出用の絞り制御を開始する。
【００７０】
次にステップＳ５２３において、フォーカスレンズ１１４と絞り１１３の駆動が完了したか否かを判断する。ステップＳ５２３にて両者の駆動が完了していない場合には駆動の完了を待つ。一方で、フォーカスレンズ１１４と絞り１１３の駆動が完了した場合にはステップＳ５２４に進む。
【００７１】
ステップＳ５２４において、ステップＳ５１９で開始された記録用の静止画の撮像信号読み出しが完了したか否かを判断する。完了していない場合は撮像信号の読み出しの完了を待ち、完了している場合はステップＳ５２５に進む。したがって、ステップＳ５２０からステップＳ５２３までの処理は記録用の静止画の撮像信号の読み出しと並行して実施される。次にステップＳ５２５では、先にステップＳ３１７で示した現像・記録処理が開始される。以上が本実施形態における一定の撮影間隔が維持できない場合の連続撮影処理の流れである。
【００７２】
＜バッファフル状態連続撮影処理の動作例＞
次に、本実施形態による図６のフローチャートを実行した場合の具体的な動作例を、図７を用いて説明する。
【００７３】
図７ではｎコマ目の静止画撮影を終えた時点で、ＳＤＲＡＭ１３６の空き容量が不足する例を示しており、記録媒体１３５への書き込みによって次の画像を一時記憶するために必要な容量が確保できるようになるまで次の撮影が待たされる状態を示している。次の撮影が待たされた後のある時間経過後に、ＳＤＲＡＭ１３６に必要な容量が確保できた場合にはｎ＋１コマ目の撮影を行う。この場合は、ｎコマ目の撮影終了から時間が経過している。ｎコマ目の静止画の読み出し中には、その時点で最適とされるフォーカス制御や絞り制御が行われるが、ｎ＋１コマ目の撮影時には時間が経過しているため、撮影対象とする被写体に動きがあった場合、ピントや露出が大きくずれてしまう可能性がある。
【００７４】
そこで、本実施形態の動作を適用する。つまり、図７のメモリ空き待ちの期間で示すように、連続撮影の中断期間中であっても連続したコマ間ＬＶ画像を表示する。これにより撮影者は被写体を確認することが可能になるとともに、コマ間ＬＶの蓄積で得られる撮像信号に基づき、撮像面位相差ＡＦによる焦点検出を継続して行うことが可能となる。そのため、予測処理に必要な焦点検出結果とその元となる蓄積時刻をＳＤＲＡＭ１３６に順次記憶することができる。したがって、連続撮影の中断期間中であっても、その期間の被写体の動きを予測するための情報を取得し続けることが可能となる。そして、ＳＤＲＡＭ１３６に必要な容量が確保できた時点で、ｎ＋１コマ目の撮影に対するフォーカスレンズ１１３の制御について、連続撮影中断中の焦点予測結果を反映させることができる。そのため、連続撮影復帰直後の静止画撮影におけるピント精度を向上させることが可能となる。
【００７５】
以上、本発明をその例示的な実施形態に基づいて詳述してきたが、本発明はこれらの特定の実施形態に限定されるものではなく、特許請求の範囲に記載した発明の範囲内で様々な変形、改変を行うことができる。
【００７６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７７】
１０１：撮像装置、１１１：撮影レンズ、１１３：絞り、１１４：フォーカスレンズ、１１５：絞り制御部、１１６：フォーカス制御部、１１７：レンズ制御部、１２１：撮像素子、１２４：撮像信号処理部、１２５：焦点検出用信号処理部
【図１】
2018037959.tif 000003
【図２】
2018037959.tif 000004
【図３】
2018037959.tif 000005
【図４】
2018037959.tif 000006
【図５】
2018037959.tif 000007
【図６】
2018037959.tif 000008
【図７】
2018037959.tif 000009