(57)【要約】【課題】各々の撮影で出力される焦点検出用信号に基づく合焦の信頼性が低い場合でも、合焦精度を劣化させずに連続撮影する撮像装置を提供する。【解決手段】撮像素子の画素から信号を読出して、連続して画像を撮像する撮像装置１００を設ける。撮像装置１００は、第１の撮像において出力される第１の焦点検出用の信号に基づいて、合焦の信頼性を決定し、決定された合焦の信頼性に応じて、第１の撮像と、前記第１の撮像の次に行われる第２の撮像との間に、撮像素子の画素から第２の焦点検出用の信号の取得用の読出しを行う。そして、撮像装置１００は、読出された第２の焦点検出用の信号に基づいて、第２の撮像を行う。【選択図】図２
2018180053.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の画素から信号を読出して、連続して画像を撮像する撮像手段と、
前記画像の第１の撮像において出力される第１の焦点検出用の信号に基づいて、合焦の信頼性を決定する決定手段と、
前記決定された合焦の信頼性に応じて、前記第１の撮像と、前記第１の撮像の次に行われる第２の撮像との間に、前記撮像素子の画素から第２の焦点検出用の信号の取得用の読出しを行う制御手段とを備え、
前記撮像手段は、前記読出された前記第２の焦点検出用の信号に基づいて、前記第２の撮像を行う
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は、
前記合焦の信頼性が、合焦が可能である第１の値でない場合に、前記第２の焦点検出用の信号の取得用の読出しを行い、前記合焦の信頼性が、前記第１の値である場合に、前記第２の焦点検出用の信号の取得用の読出しを行わない
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記第１の撮像における絞り値が閾値以下でない場合に、前記第２の焦点検出用の信号の取得用の読出しの際の絞り値を前記閾値以下に変更する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記合焦の信頼性が、前記第１の値でない場合であって、前記第１の焦点検出用の信号の最大値と最小値の差が閾値以上でないときに、第２の焦点検出用の信号の取得用の読出しを行う
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記決定手段は、前記読出しにより取得される第２の焦点検出用の信号に基づいて、前記合焦の信頼性を決定し、前記合焦の信頼性が前記第１の値でない場合に、前記制御手段は、第２の焦点検出用の信号の取得用の読出しにより得られる第１のフレームに係る信号を垂直加算平均する
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記決定手段は、前記垂直加算平均された信号に基づいて、前記合焦の信頼性を決定し、前記合焦の信頼性が前記第１の値でない場合に、前記制御手段は、第２の焦点検出用の信号の取得用の読出しを行って、第２のフレームを取得し、前記第２のフレームに係る信号と、前記第１のフレームに係る信号とを加算平均する
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記決定された合焦の信頼性が、第２の値である場合に、フォーカスレンズを駆動させて、第２の焦点検出用の信号の取得用の読出しを行う
ことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記撮像手段は、前記撮像素子の画素の読み出し領域が有する第１の読出しラインから撮像画像に係る信号の読出しを行い、第２の読出しラインから前記第１の焦点検出用の信号の取得用の読出しを行い、
前記制御手段は、前記撮像素子の画素の読み出し領域よりも狭い領域から前記第２の焦点検出用の信号の取得用の読出しを行う
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記撮像素子は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備え、
前記決定手段は、前記複数の光電変換部からそれぞれ取得される画像信号の相関演算を行い、前記画像信号のエッジの急峻度を算出し、前記相関演算の結果と前記急峻度を用いて、前記合焦の信頼性を決定する
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
撮像素子の画素から信号を読出して、連続して画像を撮像する撮像工程と、
前記画像の第１の撮像において出力される第１の焦点検出用の信号に基づいて、合焦の信頼性を決定する決定工程と、
前記決定された合焦の信頼性に応じて、前記第１の撮像と、前記第１の撮像の次に行われる第２の撮像との間に、前記撮像素子の画素から第２の焦点検出用の信号の取得用の読出しを行う制御工程とを有し、
前記撮像工程では、前記読出された前記第２の焦点検出用の信号に基づいて、前記第２の撮像を行う
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および制御方法に関する。
【背景技術】
【０００２】
焦点検出機能と画像信号取得を１枚の撮像素子を用いて実現する技術が提案されている。特許文献１は、焦点検出用の情報取得用画素を、表示／記録用の画像取得用画素として兼用する撮像装置を開示している。この撮像装置は、撮像素子を構成する画素の一部を水平及び／または垂直方向に複数の領域に分割し、画像取得時には分割された領域から得られる信号を加算することで画像信号を得る。また、撮像装置は、焦点調節時には、水平または垂直方向に分割された２領域分の信号を得るように読み出すことで、各画素を瞳分割した、位相差方式の焦点調節用信号として用いる。また、特許文献２は、分割された複数の領域の信号をそれぞれラインメモリに読み出し、画素毎に加算して画像信号として出力するか、各領域の信号を独立に出力して位相差方式の焦点調節用信号として用いるかを切り替える撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−０８３４０７号公報
【特許文献２】特開２０１２−１５５０９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
各画素が複数の光電変換部によって構成された瞳分割読み出し機能を持った撮像素子を有する撮像装置が、ＡＦ追従しながら連続撮影を行う処理が考えられる。特許文献１に示すように、撮像装置は、水平または垂直方向に分割された２領域分の信号を得るように読み出すことで焦点調節を行うことで、１フレームの撮影で焦点調節と撮像信号の読出しを行うことができる。つまり、「露光」、「撮像信号の読出し」、「焦点調節のための読出し」、「焦点調節のための読出しに基づき評価値を求めて合焦判定」、「合焦判定を基にした焦点調節」を繰り返すことで連写撮影を実現することができる。
【０００５】
しかし、焦点調節のための読出し結果に基づいて合焦判定して焦点調節を行う際に、合焦の信頼性が低いために焦点調節を行うことができない場合がある。具体的には、絞った状態で露光すると被写界深度が深くなるので、評価値の信頼性（合焦の信頼性）が低くなってしまう。また、１フレーム内において、「撮像信号の読出し」、「焦点調節のための読出し」の両方を行うラインと、「撮像信号の読出し」のみを行い「焦点調節のための読出し」を行わないラインとが混在している場合を想定する。この場合に、主被写体が「焦点調節のための読出し」を行うラインに存在していない場合には、合焦の信頼性が低くなってしまう。更に、ＳＮが良くない場合にも、評価値がノイズに埋もれてしまうので、合焦の信頼性が低くなる。
【０００６】
本発明は、各々の撮影で出力される焦点検出用信号に基づく合焦の信頼性が低い場合でも、合焦精度を劣化させずに連続撮影することができる撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の撮像装置は、撮像素子の画素から信号を読出して、連続して画像を撮像する撮像手段と、前記画像の第１の撮像において出力される第１の焦点検出用の信号に基づいて、合焦の信頼性を決定する決定手段と、前記決定された合焦の信頼性に応じて、前記第１の撮像と、前記第１の撮像の次に行われる第２の撮像との間に、前記撮像素子の画素から第２の焦点検出用の信号の取得用の読出しを行う制御手段とを備える。前記撮像手段は、前記第２の焦点検出用の信号に基づいて、前記第２の撮像を行う。
【発明の効果】
【０００８】
本発明の撮像装置によれば、各々の撮影で出力される焦点検出用信号に基づく合焦の信頼性が低い場合でも、合焦精度を劣化させずに連続撮影することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の撮像装置の外観を示す図である。
【図２】デジタルカメラの機能ブロック図の一例である。
【図３】撮像素子の画素の構成を説明する図である。
【図４】撮影レンズの射出瞳から出た光束の撮像素子への入射を示す図である。
【図５】焦点検出用信号を説明する図である。
【図６】合焦判定テーブルを例示した図である。
【図７】撮像装置の動作処理を説明するフローチャートである。
【図８】静止画の読出し領域の例を示す図である。
【図９】静止画露光、静止画読出しのタイミングチャートを示す図である。
【図１０】図７のＳ７０５の処理を説明するフローチャートである。
【図１１】評価値取得用のフレームの例を示す図である。
【図１２】評価値取得用のフレームを挿入したときのタイミングチャートである。
【図１３】図７のＳ７０５の処理を説明するフローチャートである。
【図１４】図７のＳ７０５の処理を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
（実施例１）
図１は、本実施形態の撮像装置の外観を示す図である。
図１に示す撮像装置は、デジタルカメラである。表示部２８は、画像や各種情報を表示する。シャッターボタン６１は、撮影指示を行うための操作部である。モード切替スイッチ６０は、各種モードを切り替えるための操作部である。コネクタ１１２は、接続ケーブル１１１とデジタルカメラ１００とのコネクタである。操作部７０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材を有する操作部である。コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材である。電源スイッチ７２は、電源オン、電源オフを切り替える。記録媒体２００は、メモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は、記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０２は、記録媒体スロット２０１の蓋である。
【００１１】
図２は、図１に示すデジタルカメラの機能ブロック図の一例である。
撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０１は、絞り機能を備える。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を有する。また、撮像部２２は、Ａ／Ｄ変換処理機能を備える。ＡＦ評価値検出部２３は、デジタル画像信号から得られるコントラスト情報などからＡＦ評価値を算出し、得られたＡＦ評価値を撮像部２２からシステム制御部５０に出力する。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。ストロボ９０は、撮影時に発光させることにより、低照度シーンでの撮影や逆光シーンでの撮影時に照度を補う。
【００１２】
画像処理部２４は、撮像部２２から出力される画像データ、またはメモリ制御部１５からの画像データに対して、所定の画素補間、縮小等のリサイズ処理や色変換処理を行う。また、画像処理部２４は、撮像された画像データを用いて所定の演算処理を行う。システム制御部５０が、画像処理部２４によって得られた演算結果に基づいて、露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また、システム制御部５０は、ＡＦ（オートフォーカス）処理を行う際に、撮像部２２内のＡＦ評価値検出部２３の出力を用いることもある。画像処理部２４は、更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。
【００１３】
撮像部２２の出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって取得およびＡ／Ｄ変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備える。
【００１４】
また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。撮像部２２で一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換する。アナログ変換された信号は、表示部２８に逐次転送され、表示される。これにより電子ビューファインダが実現され、スルー画像表示を行うことができる。
【００１５】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００１６】
システム制御部５０は、デジタルカメラ１００全体を制御する。システム制御部５０が、不揮発性メモリ５６に記録されたプログラムを実行することで、本実施形態の各処理を実現する。システム制御部５０および撮像部２２は、撮像素子の画素から信号を読出して、連続して画像を撮像する撮像手段として機能する。システムメモリ５２には、ＲＡＭが用いられる。システムメモリ５２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより、表示制御を実行する。
【００１７】
システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、第１シャッタースイッチ６４、第２シャッタースイッチ６２、操作部７０は、システム制御部５０に各種の動作指示を入力する。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。モード切替スイッチ６０で静止画撮影モードに一旦切り替えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【００１８】
第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の半押し（撮影準備指示）でＯＮとなり、第１シャッタースイッチ信号を発生する（ＳＷ１がＯＮとなる）。ＳＷ１のＯＮにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作が開始される。
【００１９】
第２シャッタースイッチ６２は、シャッターボタン６１の全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号を発生する（ＳＷ２がＯＮとなる）。システム制御部５０は、ＳＷ２のＯＮにより、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作が開始される。
【００２０】
操作部７０が有する各操作部材は、表示部２８に表示される種々の機能アイコンの選択操作によって、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。メニューボタンが押されると、各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に各種設定を行うことができる。
【００２１】
コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に、選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、パルス信号に基づいて、システム制御部５０が、デジタルカメラ１００の各部を制御する。上記パルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は、回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、コントローラホイール７３が、タッチセンサからなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するもの（いわゆる、タッチホイール）であってもよい。
【００２２】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等を有する。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出結果と、システム制御部５０の指示とに基づいて、ＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００２３】
電源部４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等を有する。記録媒体Ｉ/ Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインタフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等を有する。
【００２４】
図３は、本実施例で使用する撮像素子の画素の構成を説明する図である。
撮像部２２に設けられた撮像素子は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部（フォトダイオード：ＰＤ）を備える。例えば、図３に示すように、１つの画素２２０１１に対して、１つのマイクロレンズ２２０１２を有する。図３に示す例では、１つの画素が２つの対をなすＰＤ２２０１３，２２０１４を有しているが、２つ以上であれば個数に限定はない。
【００２５】
図４は、撮影レンズの射出瞳から出た光束の撮像素子への入射を説明する図である。
図４において、４０１は画素アレイの断面、４０２はマイクロレンズ、４０３はカラーフィルタ、４０４，４０５はＰＤである。ＰＤ４０４，４０５は、図３におけるＰＤ２２０１３，２２０１４に相当する。４０６は撮像レンズの射出瞳を示す。
マイクロレンズ４０２を有する画素に対して、射出瞳から出た光束の中心を光軸４０９とする。射出瞳から出た光は、光軸４０９を中心として撮像素子に入射される。４０７，４０８は、撮像レンズの射出瞳の一部領域を表す。射出瞳の一部領域４０７を通過する光の最外周の光線が光線４１０，４１１である。射出瞳の一部領域４０８を通過する光の最外周の光線が光線４１２、４１３である。
【００２６】
図４からわかるように、射出瞳から出る光束のうち、光軸４０９を境にして、上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４，４０５は、それぞれ撮像レンズの射出瞳の異なる領域の光を受光している。撮像素子が有する対をなすＰＤを、それぞれＡ画素、Ｂ画素と表記する。そして、ＰＤ４０４で受光した信号をＡ画像（以下、「Ａ像」とも記述）、ＰＤ４０５で受光した信号をＢ画像（以下、「Ｂ像」とも記述）とすると、Ａ像とＢ像の位相差信号に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。なお、以下の説明では、ＰＤ４０４およびＰＤ４０５で受光した信号をＡ＋Ｂ像と記述する。
【００２７】
図５は、焦点検出用信号を説明する図である。
図５において、横軸Ｘは、連結された信号の画素並び方向における位置を示し、縦軸Ｙは、信号の強度を示す。焦点検出用信号５０１ａは、Ａ像の信号に相当し、焦点検出用信号５０１ｂは、Ｂ像の信号に相当する。これらの信号は、焦点検出用画像信号であるＡ画像信号とＢ画像信号としてそれぞれ形成される信号である。図５に示す例は、レンズ１０３が撮像素子に対してデフォーカス状態であるので、焦点検出用信号５０１ａが左側にずれ、焦点検出用信号５０１ｂが右側にずれた状態となっている。Ａ像とＢ像の信号のずれ量を算出することにより、像ずれ量からデフォーカス量が算出される。すなわちレンズ１０３が合焦状態からどれだけずれているかを検出することができる。
【００２８】
具体的には、システム制御部５０は、Ａ画像信号とＢ画像信号との位相差を求める相関演算を行い、位相差から被写体距離を算出するための測距演算を行う。被写体距離は撮像装置から被写体までの距離であり、デフォーカス量に対応する量として算出される。Ａ像とＢ像との一致の程度を表す量Ｕとして、（１）式を用いることができる。
【数１】
2018180053.tif 000003
ただし、ａｊはｊ番目のＡ画素の信号であり、ｂｊはＢ画素の信号である。（１）式の量Ｕは、２像（Ａ像とＢ像）の一致度が高いほど小さく、合焦時に最小値となる。
【００２９】
さらに、Ｂ像に対してＡ像を相対的にｐ画素分だけシフトしてＵの値を計算する処理が行われる。（２）式で算出される量をＰと表記する。
【数２】
2018180053.tif 000004
合焦時のシフト量においてＰは最小値となる。このシフト量に基づいて、システム制御部５０は、どの程度合焦位置からずれているかを示すデフォーカス量を算出する。
【００３０】
デフォーカス量が０となった場合、つまり合焦した場合に、Ａ像とＢ像とは一致するはずである。しかし、Ａ像とＢ像に違いがある場合には、撮像面位相差ＡＦの精度が低下してしまう。そこで、例えば２つの画像の共通領域の面積を求め、求めた面積に応じて信頼性を判断する処理が行われる。面積が大きいほど、合焦の信頼性は高いと判断され、面積が小さいほど、合焦の信頼性は低いと判断される。
【００３１】
また、システム制御部５０は、Ａ像とＢ像のエッジの急峻度を算出する。エッジの急峻度（Ｅと記す）は、（３）式を用いて算出される。
【数３】
2018180053.tif 000005
（３）式において、Ｅ値が大きな値である場合、合焦の信頼性が高いと判断され、Ｅ値が小さな値である場合には合焦の信頼性が低いと判断される。
【００３２】
図６は、本実施例の合焦判定テーブルを例示した図である。
合焦判定テーブルは、相関演算結果の信頼性と、エッジの急峻度Ｅによる信頼性に応じて、３段階の状態値ＡからＣを有する。相関演算結果の信頼性に関して、「大」、「中」、「小」の３段階とし、相関演算結果（Ｕ値）が小さいほど、信頼性が高いものとする。また、エッジの急峻度Ｅによる信頼性に関して、「高」、「中」、「低」の３段階とし、Ｅが高いほど信頼性が高いものとする。システム制御部５０は、合焦判定テーブルに基づいて、つまりＵ値とＥ値を評価値として、合焦の信頼性を判断する。
Ａ：合焦の信頼性が高く、合焦可能な状態である。
Ｂ：合焦していない状態であるが、フォーカスレンズの駆動方向がわかる。
Ｃ：合焦の信頼性が低く、合焦していない状態である。
【００３３】
図７は、撮像装置の動作処理を説明するフローチャートである。
Ｓ７０１において、システム制御部５０が、連写モードで第２シャッタースイッチ６１が押下されたことを検知し、静止画露光を行う。また、Ｓ７０２において、システム制御部５０が、撮像素子の画素からの静止画読出しを行う。つまり、システム制御部５０が、第１の撮像を実行する。
【００３４】
図８は、静止画の読出し領域の例を示す図である。
静止画読出しにおける読出し方法として、下記のＸ，Ｙの２種類がある。
Ｘ：撮像信号としてＡ＋Ｂ像を通常読出しする。
Ｙ：被写体の距離情報を取得するために、Ａ像、Ｂ像、Ａ＋Ｂ像を読出しする。
図８に示す全画素においてＹ方式での読出しを行うことが可能であるが、読出しに時間がかかってしまい連続撮影速度を低下させてしまう。したがって、本実施形態では、Ｘ方式とＹ方式を混在させて読出しを行うことにする。システム制御部５０は、撮像素子の画素の読み出し領域が有する第１の読出しライン（Ｘ方式と指定された読出しライン）から撮像画像に係る信号の読出しを行う。そして、システム制御部５０は、第２の読出しライン（静止画測距用画素と指定された読出しライン）から第１の焦点検出用の信号の取得用の読出し（Ｙ方式での読出し）を行う。読出し方法はリアルタイムに変更することができるため、被写体に応じてＹ方式で読み出す画素を変更することで、より合焦の精度を高めることができる。Ａ像、Ｂ像、Ａ＋Ｂ像を生成する方法として、Ａ像とＡ＋Ｂ像を読み出してからＡ＋Ｂ像とＡ像に基づいてＢ像を生成する（Ａ＋Ｂ像−Ａ像）方法と、Ａ像、Ｂ像を読み出してからＡ像とＢ像とを加算する（Ａ像＋Ｂ像）ことによりＡ＋Ｂ像を生成する方法がある。但し、本発明は、Ａ像、Ｂ像、Ａ＋Ｂ像を生成する方法を限定しない。
【００３５】
図９は、静止画露光、静止画読出しのタイミングチャートを示す図である。
設定された露光時間分の蓄積が完了した場合に、システム制御部５０は、撮像信号の読出しを開始する。前述した通り、Ｙ方式で読出しを行う画素については、システム制御部５０は、Ａ＋Ｂ像の信号を静止画記録用に保存し、Ａ像、Ｂ像の信号（第１の焦点検出用信号）を測距演算に使用する。
【００３６】
図７のＳ７０３において、システム制御部５０が、連写撮影を終了するかを判断する。第２シャッタースイッチ６１が押下されたままである場合は、システム制御部５０は、連写撮影を終了しないと判断して、処理がＳ７０４に進む。第２シャッタースイッチ６１が押下されていない場合は、システム制御部５０は、連写撮影を終了すると判断して、連写撮影を終了する。
【００３７】
Ｓ７０４において、システム制御部５０は、Ｓ７０２での読出しで得られるＡ像、Ｂ像の信号（第１の焦点検出用信号）に基づき、図６の合焦判定テーブルに従い、合焦の信頼性を判断（決定）する。具体的には、システム制御部５０は、合焦の信頼性が状態値Ａ（第１の値）であるかを判断する。システム制御部５０が合焦の信頼性を判断する理由としては、測距演算の結果からフォーカスレンズを駆動させて次の撮影をする際に、演算処理に使用するＡ像、Ｂ像の信号による信頼性が低いと、次の撮影で合焦できない可能性があるからである。
【００３８】
合焦の信頼性が状態値Ａである場合は、次の静止画撮影に進む。合焦の信頼性が状態値Ａでない（ＢまたはＣ）である場合には、処理がＳ７０５に進む。続いて、Ｓ７０５において、システム制御部５０が、合焦の信頼性を高くするために、評価値取得用のフレームを挿入する。つまり、システム制御部５０は、合焦の信頼性に応じて、第１の撮像と、第１の撮像の次に行われる第２の撮像との間に、撮像素子の画素から第２の焦点検出用の信号の取得用の読出しを行う。そして、処理がＳ７０４に戻る。評価値取得用のフレームの挿入方法の詳細については後述する。合焦の信頼性に応じて撮影後のシーケンスが異なるので、演算処理に使用する画素の信号までを読み出したら、Ａ＋Ｂ像の信号を読出し終わるまでに合焦の信頼性判定を行って、次のシーケンスを決定する必要がある。
【００３９】
図１０は、図７のＳ７０５の処理の例を説明するフローチャートである。
Ｓ１００１乃至Ｓ１００４の処理は、図７のＳ７０１乃至Ｓ７０４と同様である。Ｓ１００５乃至Ｓ１００７の処理が、図７のＳ７０５の処理に対応する。Ｓ１００４の判断処理で、合焦の信頼性が状態値Ａでない場合は、処理がＳ１００５に進む。合焦の信頼性が状態値Ａである場合は、処理がＳ１００１に戻る。
【００４０】
Ｓ１００５において、システム制御部５０が、静止画撮影の絞り条件を取得し、絞りが閾値以下であるかを判断する。絞りが閾値以下である場合は、処理がＳ１００７に進む。絞りが閾値を超えている場合は、処理がＳ１００６に進む。続いて、Ｓ１００６において、システム制御部５０が、絞りを閾値以下（開放側）にする。絞りを開放側にする理由は、絞ることで深度が深くなり、距離情報を取得できなくなり、合焦の信頼性が低下するからである。評価値取得用のフレームにおいては、距離情報を取得できる絞り条件に変更することで、合焦の信頼性を向上させることができる。続いて、Ｓ１００７において、システム制御部５０が、評価値取得用のフレームの露光、読出しを行う。そして、処理がＳ１００４に戻る。
【００４１】
図１１は、評価値取得用のフレームの例を示す図である。
システム制御部５０は、評価値取得用フレームの画像読出し領域を、静止画の領域に対して加算読出しをすることによって、静止画よりも狭い領域とする。静止画と同じ領域を読み出さない理由としては、静止画と同じ領域を読み出すと、読出しに時間がかかってしまうので、連写撮影の間隔が長くなるからである。また、システム制御部５０は、評価値取得用フレームＡでは、全ての読出しラインについてＹ方式で読出す。評価値取得用フレームを挿入する目的は、静止画から取得した画素信号に基づく評価値より信頼性の高い評価値を取得することである。したがって、評価値取得のための測距用信号の画素数は、静止画よりも多い必要がある。しかし、全ての読出しラインをＹ方式で読み出すと、読み出し時間が、長くなってしまうので、例えば、動きのある被写体で読出し時間を長くは撮れないようなシーンにおいては、評価値取得用フレームＢのように、Ｙ方式の読出しをするラインを限定してもよい。
【００４２】
図１２は、評価値取得用のフレームを挿入したときのタイミングチャートの例を示す図である。
静止画の露光、読出しの完了後、システム制御部５０が、評価値取得用の画素信号の露光、読出しを行う。そして、システム制御部５０が、読み出された評価値取得用の画素信号から評価値を取得して、信頼性の判定を行う。システム制御部５０は、信頼性が高いと判定した場合は、次の静止画撮影に進む。この時、静止画から取得する測距用の読出しラインは、評価値取得用フレームの測距読出しラインよりも少ない。したがって、システム制御部５０は、評価値取得用フレームの読出し結果に基づく合焦の信頼性が高いラインを、次の静止画の測距用の読出しラインとする。
【００４３】
（実施例２）
図１３は、実施例２における、図７のＳ７０５の処理を説明するフローチャートである。
Ｓ１３０１乃至Ｓ１３０４の処理は、図７のＳ７０１乃至Ｓ７０４と同様である。Ｓ１３０５乃至Ｓ１３１１の処理が、図７のＳ７０５の処理に対応する。Ｓ１００４の判断処理で、合焦の信頼性が状態値Ａでない場合は、処理がＳ１３０５に進む。合焦の信頼性が状態値Ａである場合は、処理がＳ１３０１に戻る。
【００４４】
Ｓ１３０５において、システム制御部５０が、Ａ像、Ｂ像それぞれの信号の最大値と最小値の差が閾値以上であるかを判断する。信号の最大値と最小値の差が閾値以上である場合は、処理がＳ１３０４に戻る。信号の最大値と最小値の差が閾値未満である場合は、処理がＳ１３０６に進む。信号の最大値と最小値の差と閾値とを比較する理由は、信号の最大値と最小値の差が小さいと、ノイズに影響されて評価値の精度が低下してしまうからである。
【００４５】
Ｓ１３０６において、システム制御部５０が、評価値取得用のフレームを挿入する。評価値取得用のフレームについては、システム制御部５０は、静止画の領域に対して加算して読出しをしているので、ノイズへの影響が静止画より抑えることができる。続いて、Ｓ１３０７において、システム制御部５０が、評価値取得用のフレームを挿入することで信頼性が状態値Ａになったかを判断する。合焦の信頼性が状態値Ａになった場合は、処理がＳ１３０１の静止画露光に進む。合焦の信頼性が状態値Ａになっていない場合は、処理がＳ１３０８に進む。
【００４６】
Ｓ１３０８において、システム制御部５０が、評価値取得用のフレーム（第１のフレーム）に係る信号を垂直方向に加算平均する。フレームに係る信号を加算平均することで、更にノイズの影響を抑制することができるからである。続いて、Ｓ１３０９において、システム制御部５０が、垂直加算平均の結果、信頼性が状態値Ａになったかを判断する。信頼性が状態値Ａになった場合は、処理がＳ１３０１に戻って，静止画露光に進む。信頼性が状態値Ａになっていない場合は、処理がＳ１３１０に進む。
【００４７】
Ｓ１３１０において、システム制御部５０が、さらに１フレームの評価値取得用のフレームを挿入する。すなわち、システム制御部５０が、第２の焦点検出用の信号の取得用の読出しを行って、第２のフレームを取得する。続いて、Ｓ１３１１において、システム制御部５０が、フレーム間の加算平均を行う。すなわち、システム制御部５０は、第１のフレームに係る信号と第２のフレームに係る信号とを加算平均する。そして、処理がＳ１３０９に戻る。この例では、フレーム挿入、垂直加算平均、フレーム間での加算平均の順に処理をすることによって、合焦の信頼性を高めたが、信号の最小値と最大値の差に応じて、どの処理に進むかを変えてもよい。
【００４８】
（実施例３）
図１４は、実施例３における、図７のＳ７０５の処理を説明するフローチャートである。
Ｓ１４０１乃至Ｓ１４０４の処理は、図７のＳ７０１乃至Ｓ７０４と同様である。Ｓ１４０５乃至Ｓ１４０８が、図７のＳ７０５の処理に対応する。Ｓ１４０４の判断処理で、合焦の信頼性が状態値Ａである場合は、処理がＳ１４０１に戻る。合焦の信頼性が状態値Ａでない場合は、処理がＳ１４０５に進む。続いて、Ｓ１４０５において、システム制御部５０が、合焦の信頼性が、状態値Ｂ，状態値Ｃのいずれであるかを判断する。合焦の信頼性が状態値Ｃである場合は、処理がＳ１４０７に進む。合焦の信頼性が状態値Ｂである場合は、フォーカスレンズの駆動方向がわかる。したがって、処理がＳ１４０６に進む。
【００４９】
Ｓ１４０６において、システム制御部５０が、フォーカスレンズを駆動させる。そして、Ｓ１４０７において、システム制御部５０が、評価値取得用のフレームを挿入する。続いて、システム制御部５０が、評価値取得用フレームから取得した合焦の信頼性が状態値Ａであるかを判断する。合焦の信頼性が状態値Ａでない場合は、処理がＳ１４０６に戻る。合焦の信頼性が状態値Ａである場合は、処理がＳ１４０１に戻る。以上の説明のように、システム制御部５０は、合焦の信頼性が低かった場合に、評価値取得用のフレームを挿入することによって、合焦精度を維持した連続撮影を可能にする。以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例１乃至３の一部を適宜組み合わせてもよい。
【００５０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５１】
５０  システム制御部
１００  撮像装置
【図１】
2018180053.tif 000006
【図２】
2018180053.tif 000007
【図３】
2018180053.tif 000008
【図４】
2018180053.tif 000009
【図５】
2018180053.tif 000010
【図６】
2018180053.tif 000011
【図７】
2018180053.tif 000012
【図８】
2018180053.tif 000013
【図９】
2018180053.tif 000014
【図１０】
2018180053.tif 000015
【図１１】
2018180053.tif 000016
【図１２】
2018180053.tif 000017
【図１３】
2018180053.tif 000018
【図１４】
2018180053.tif 000019