(57)【要約】【課題】位相差による焦点検出の誤差を低減することが可能な撮像装置を提供すること。【解決手段】撮像装置１００は、行方向および列方向に配置された複数の画素それぞれに対して複数の光電変換部を有する撮像素子１０２と、撮像光学系１０１の瞳領域全体を通過した光束に基づく撮像信号と、前記撮像光学系の一部の瞳領域を通過した光束に基づく第１の像信号とを前記複数の画素から取得し、撮像信号および第１の像信号を用いて位相差を算出する焦点検出部１０６と、を備え、焦点検出部１０６は、第１の像信号と、第１の像信号と同一の行または近傍の行の撮像信号に基づいて、位相差を算出する。【選択図】図１
2019168494.tif 000002
【特許請求の範囲】
【請求項１】
行方向および列方向に配置された複数の画素それぞれに対して複数の光電変換部を有する撮像素子と、
撮像光学系の瞳領域全体を通過した光束に基づく撮像信号と、前記撮像光学系の一部の瞳領域を通過した光束に基づく第１の像信号とを前記複数の画素から取得する取得手段と、
前記撮像信号および前記第１の像信号を用いて位相差を算出する算出手段と、を備え、
前記算出手段は、前記第１の像信号と、前記第１の像信号と同一の行または近傍の行の前記撮像信号に基づいて、位相差を算出する
ことを特徴とする撮像装置。
【請求項２】
前記撮像素子における焦点検出領域の位置情報および前記撮像光学系に関する情報に基づいて、瞳分離方向を検出する検出手段をさらに備え、
前記算出手段は、前記瞳分離方向に応じて、前記位相差の算出に用いる前記撮像信号を決定する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記算出手段は、前記瞳分離方向が水平方向である場合は、前記第１の像信号と同一の行の撮像信号を用いて第１の相関演算を行い位相差を算出し、前記瞳分離方向が斜め方向である場合は、前記第１の像信号と同一の行および近傍の行の撮像信号を用いて第２の相関演算を行い位相差を算出する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像信号に対応する撮像画像の輝度を検出する輝度検出手段をさらに備え、
前記算出手段は、前記輝度に応じて、前記位相差の算出に用いる前記撮像信号を決定する
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記算出手段が行う相関演算の信頼度を判定する判定手段をさらに備え、
前記算出手段は、前記判定手段により信頼度が高いと判定された相関演算の結果を位相差とする
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記判定手段は、前記相関演算に用いた前記第１の像信号と前記撮像信号の波形に基づいて、前記信頼度を判定する
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記算出手段は、焦点検出領域と前記第１の像信号を読み出す領域の端部との距離が閾値より大きい場合は、前記第１の像信号および前記撮像信号をシフトする第１の相関演算を行い、前記焦点検出領域と前記第１の像信号を読み出す領域の端部との距離が閾値以下である場合は、前記第１の像信号を固定して前記撮像信号のみをシフトする第３の相関演算を行う
ことを特徴とする請求項１、２、４乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記取得手段は、前記撮像信号を１行ごとに取得し、前記第１の像信号を所定の行間隔で取得する
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記算出手段は、前記撮像信号から前記第１の像信号を減算することにより、前記撮像光学系の一部の瞳領域とは異なる一部の瞳領域を通過した光束に基づく信号に相当する第２の像信号を算出し、前記第１の像信号と前記撮像信号に対応する前記第２の像信号を用いて位相差を算出する
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
行方向および列方向に配置された複数の画素それぞれに対して複数の光電変換部を有する撮像素子を備える撮像装置の制御方法であって、
撮像光学系の瞳領域全体を通過した光束に基づく撮像信号と、前記撮像光学系の一部の瞳領域を通過した光束に基づく第１の像信号とを前記複数の画素から取得する取得工程と、
前記撮像信号および前記第１の像信号を用いて位相差を算出する算出工程と、を有し、
前記算出工程では、前記第１の像信号と、前記第１の像信号と同一の行または近傍の行の前記撮像信号に基づいて、位相差を算出する
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
焦点検出を行う方法として位相差検出方式が知られている。位相差検出方式は、撮影レンズの射出瞳領域を通過した光束を分割し、分割した光束に基づいて得られた信号を比較することによって相対的なずれ量を算出し、焦点を合わせるための撮影レンズの駆動量を求めるものである。近年では、撮像素子の各画素のマイクロレンズ下に複数の光電変換部を設けることによって、瞳分割機能を付与し、撮像信号と位相差方式の焦点検出用信号を得ることが可能な撮像装置が知られている。特許文献１は、各画素に二つの光電変換部を設け、第１の光電変換部からＡ信号を読み出した後に、第１および第２の光電変換部から加算信号を読み出し、加算信号からＡ信号を減算することで第２の光電変換部のＢ信号を取得する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１０６１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のように各画素が複数の光電変換部を有する場合において、全光電変換部の信号を個別に読み出すと読出し時間が増えるため、所望のフレームレートを達成できない場合がある。読出しにかかる時間を短縮する方法として、焦点検出に用いる信号の読出し位置を限定する方法が考えられる。例えば、焦点検出に使用しない行の位置では、単位画素に構成される複数の光電変換部の加算信号(撮像信号)のみを出力し、焦点検出に使用する行では、単位画素に構成される複数の光電変換部の加算信号(撮像信号)に加えて第１光電変換部の信号を読み出す。しかしながら、焦点検出に用いる信号を限定して読み出す場合、焦点検出信号の読出し間隔によっては、焦点検出に適した信号が得られず検出誤差が発生してしまう恐れがある。
【０００５】
本発明は、位相差による焦点検出の誤差を低減することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の撮像装置は、行方向および列方向に配置された複数の画素それぞれに対して複数の光電変換部を有する撮像素子と、撮像光学系の瞳領域全体を通過した光束に基づく撮像信号と、前記撮像光学系の一部の瞳領域を通過した光束に基づく第１の像信号とを前記複数の画素から取得する取得手段と、前記撮像信号および前記第１の像信号を用いて位相差を算出する算出手段と、を備る。前記算出手段は、前記第１の像信号と、前記第１の像信号と同一の行または近傍の行の前記撮像信号に基づいて、位相差を算出する。
【発明の効果】
【０００７】
本発明によれば、位相差による焦点検出の誤差を低減することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成を示すブロック図である。
【図２】撮像素子に構成される画素の構成を示すブロック図である。
【図３】口径食を説明する図である。
【図４】撮像素子上の位置と口径食形状の関係を示す図である。
【図５】口径食による画素への影響を説明する図である。
【図６】撮像装置による撮影動作のフローチャートである。
【図７】撮像素子と読出しモードの関係を示す図である。
【図８】撮像装置の焦点検出における相関演算の対応関係を示す図である。
【図９】撮像装置の構成を示すブロック図である。
【図１０】撮像装置の構成を示すブロック図である。
【図１１】撮像装置による焦点検出処理のフローチャートである。
【図１２】撮像装置の焦点検出における相関演算の対応関係を示す図である。
【図１３】焦点検出処理のフローチャートである。
【図１４】撮像素子とＡ像読出し範囲の関係を示す図である。
【図１５】焦点検出エリアの位置による相関演算の違いを説明する図である。
【発明を実施するための形態】
【０００９】
（実施例１）
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
図１は、本実施例における撮像装置１００のブロック図である。撮像装置１００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換器１０３、画像処理部１０４、記録部１０５、焦点検出部１０６、制御部１０７および瞳分離状態検出部（以下、状態検出部）１０８を備える。なお、撮像装置１００はレンズ装置と本体部が一体となった撮像装置に限られるものではなく、撮像光学系１０１を備えるレンズ装置が本体部に着脱可能なレンズ交換式の撮像装置であってもよい。
【００１０】
撮像光学系１０１は、複数のレンズ群からなるレンズユニットである。撮像光学系１０１は、フォーカス位置を調整するためのフォーカシングレンズや、レンズ駆動用アクチュエータ等を含む。撮像素子１０２は、瞳分離機能を有する画素群を備える。撮像素子１０２は、撮像光学系１０１を介して入射した光束を光電変換し、Ａ／Ｄ変換器１０３に出力する。Ａ／Ｄ変換器１０３は、撮像素子１０２の出力信号（アナログ信号）をデジタル信号に変換する。
【００１１】
画像処理部１０４は、撮像素子１０２により読み出された撮像信号に対し、欠陥画素補正、ホワイトバランス調整、デモザイク処理等の画像処理を施し、記録用の画像信号を生成する。生成された記録用の画像信号は、記録部１０５へ出力される。
記録部１０５は、画像処理部１０４によって生成された記録用の画像信号を記録する。記録部１０５は、例えば、ＳＤカード等の記憶媒体である。
【００１２】
焦点検出部１０６は、焦点検出エリアにおける像ずれ量を相関演算によって算出する。具体的には、焦点検出部１０６は、Ａ＋Ｂ像およびＡ像信号をそれぞれ１画面分蓄積し、一対の像信号を用いて瞳分離方向（像ずれ方向）における位相差を算出する。
制御部１０７は、撮像装置１００のシステム全体の制御を行う。さらに、制御部１０７は、焦点検出エリアの位置情報および口径食情報（すなわち、撮像光学系１０１に関する情報）を状態検出部１０８に出力する。
【００１３】
状態検出部１０８は、制御部１０７から取得した焦点検出エリアの位置情報および口径食情報に基づいて、基線長および瞳分離方向を算出し、基線長および瞳分離方向を制御部１０７に出力する。
また、制御部１０７は、焦点検出エリアの位置情報と、状態検出部１０８から取得した基線長および瞳分離方向を焦点検出部１０６に出力する。そして、焦点検出部１０６は、制御部１０７から取得した焦点検出エリアの位置情報、基線長および瞳分離方向に基づいて、一対の像信号について相関演算を行い、算出された像ずれ量を制御部１０７へ出力する。
【００１４】
図２（Ａ）〜（Ｃ）を参照し、実施例１における撮像素子１０２の詳細について説明する。図２（А）は、撮像素子１０２の画素の平面図である。図２（Ｂ）は、撮像素子１０２の画素の断面図である。図２（Ｃ）は、Ａ像とＢ像のそれぞれの光電変換部における瞳強度分布を説明するための図である。
【００１５】
撮像素子１０２は、複数の画素を有している。複数の画素は、行方向および列方向に二次元状に配置されている。ここでは、画素２００を例に説明する。画素２００は、マイクロレンズ２０１、カラーフィルター２０２、配線層２０３、二つの光電変換部２０４および光電変換部２０５を備える。
【００１６】
マイクロレンズ２０１は、入射した光束を集光し、光電変換部２０４および光電変換部２０５へと導く。カラーフィルター２０２は、入射した光束のうち特定の波長を通過させる。撮像素子１０２には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長を通過させる分光感度特性を持つカラーフィルター２０２がベイヤー状に配列されている。なお、カラーフィルターの配列はこれに限られるものではない。
【００１７】
光電変換部２０４および光電変換部２０５は、入射した光束を光電変換してアナログ信号を生成し、Ａ／Ｄ変換器１０３へと出力する。また、光電変換部２０４および光電変換部２０５は、撮像光学系の射出瞳の異なる領域を通過した光束（瞳分割像）をそれぞれ受光可能なように設計されている。このように、一つのマイクロレンズ２０１に対して二つの光電変換部２０４および光電変換部２０５を備えることにより、左右に瞳分離した信号を得ることができる。また、光電変換部２０４の出力と光電変換部２０５の出力とを加算すると、通常の画素出力と等価な出力が得られる。本実施例では、光電変換部２０４および光電変換部２０５の出力を加算し、撮像信号（加算像信号）を作成する。以下、光電変換部２０４により得られる信号群で形成される像信号をＡ像信号、光電変換部２０５により得られる信号群で形成される像信号をＢ像信号、Ａ像とＢ像の加算像信号をＡ＋Ｂ像信号と呼ぶ。すなわち、撮像信号は撮像光学系１０１の瞳領域全体を通過した光束に基づく信号である。Ａ像とＢ像は、撮像光学系１０１の互いに異なる一部の瞳領域を通過した光束に基づく信号である。
【００１８】
図２（Ｃ）の上部のグラフは、Ａ像、Ｂ像のそれぞれについて入射角と受光感度の関係を示すグラフとなっている。横軸は画素に対する入射角を、縦軸は受光感度を示す。また、実線はＡ像を、点線はＢ像を示す。入射各と受光感度から決定される受光感度の分布を瞳強度分布といい、Ａ像とＢ像は光電変換部２０４と光電変換部２０５の境界線に対して対称となる感度を有している。
【００１９】
図２（Ｃ）の下部の図は、グラフの感度分布を画素に対して濃淡で表現した図である。濃淡が濃いほど感度が高いことを表している。重心２０６はＡ像の感度の重心であり、重心２０７はＢ像の感度の重心を示している。本実施例において、２つの重心の間の距離に基づいて基線長が決定され、重心を結ぶ線の方向に応じて位相のずれ方向である瞳分離方向が決定される。
【００２０】
また、撮像素子１０２は、不図示の読み出し制御回路を有している。読み出し制御回路は、あらかじめ撮像素子１０２の内部でＡ像とＢ像を加算することでＡ＋Ｂ像を読み出す第１の読み出しモードと、Ａ＋Ｂ像とＡ像を個別に読み出す第２の読み出しモードとを行単位で切り替えることが可能であるものとする。
【００２１】
次に、図３および図４を参照して、口径食について説明する。図３（Ａ）は、撮像光学系１０１の構成の一例を示す図である。図３（Ｂ）は、光の通過できる枠の重なり方を説明する図である。
撮像光学系１０１は、前レンズ３０１、絞り３０２および後レンズ３０３を備える。なお、撮像面３０４は撮像素子１０２の撮像面である。前レンズ３０１による光の通過できる枠を前枠、後レンズ３０３による光の通過できる枠を後枠と呼ぶ。
【００２２】
図３（Ｂ）の下部は、撮像面３０４の中心、すなわち光軸上のｘの位置から見た、前レンズ３０１、絞り３０２および後レンズ３０３の枠の重なりを示している。図３（Ｂ）の上部は、撮像面３０４の周辺部であるｙの位置から見た、前レンズ３０１、絞り３０２および後レンズ３０３の枠の重なりを示している。ｘの位置から見ると光量を制限しているものは絞り３０２だけである。一方、ｙの位置から見ると絞り３０２に加え前レンズ３０１の前枠と後レンズ３０３の後枠によっても光量が制限されている。このように、像高の高いｙの位置における光量は、ｘの位置における光量より落ちる。光軸中心から離れて像高が高くなるにつれ光量が落ちてくる現象を口径食という。瞳分離された像においては、像高が高くなると口径食によって受光量のバランスがよりくずれるという性質がある。
【００２３】
図４は、撮像素子１０２の各位置の画素と口径食形状の関係を示す図である。位置４０１および位置４０２は、撮像素子１０２の周辺に位置し、位置４０３は、撮像素子１０２の中心に位置する。また、位置４０１は撮像素子１０２の対角像高に位置し、位置４０２は撮像素子１０２の水平像高に位置する。位置４０１〜位置４０３の中でも、特に位置４０１に示すような撮像素子の対角像高の位置では、光電変換部２０４と光電変換部２０５の受光量のバランスが大きく崩れる。
【００２４】
図５は、対角像高の位置４０１に位置する画素の瞳強度分布と口径食を重ね合わせた図である。光電変換部２０４および光電変換部２０５が有する瞳強度分布は、口径食により楕円形のような形状でカットされる。光電変換部２０４および光電変換部２０５の感度の重心はそれぞれ重心５０１と重心５０２に示す位置となる。すなわち、対角像高の位置４０１の画素では、口径食の形状によって光電変換部の感度の重心が崩れ、口径食の発生していない画素と比較すると基線長と位相のずれ方向に変化が生じている。
【００２５】
次に、図６を参照して、本実施例の撮像装置１００による焦点検出の流れについて説明する。図６は、撮像装置１００による焦点検出の流れを示すフローチャートである。
ステップＳ６００において、撮像装置１００は撮影シーケンスを開始し、焦点検出を開始する。撮影シーケンスは、例えばユーザによってシャッタが押下された場合に開始される。
ステップＳ６０１において、撮像素子１０２から信号を１面分読み出す。この際読み出す信号は、撮像信号（Ａ＋Ｂ像信号）とＡ像信号である。ステップＳ６０１による信号読出しについて、図７を参照してその詳細を説明する。
【００２６】
図７は、撮像素子１０２の各ラインの読出し制御を説明する図である。
ライン７０１〜７２５に示す各矩形は、撮像素子１０２のライン毎の読出しモードを視覚的に示している。ライン７０１のような白塗りのラインは、撮像信号（Ａ＋Ｂ像信号）のみを読み出す第１の読み出しモードによって読み出されるラインである。ライン７０３のような斜線塗りのラインは、撮像信号（Ａ＋Ｂ像信号）に加えてＡ像信号を読み出す第２の読み出しモードによって読み出されるラインである。すなわち、撮像素子１０２では、撮像信号（Ａ＋Ｂ像信号）は全行で読み出し、Ａ像信号は離散的に５ライン間隔で読み出しが行われる。なお、Ａ像信号は所定の行間隔で離散的に読み出されればよく、５ライン間隔に限られるものではない。
【００２７】
図６の説明に戻る。ステップＳ６０２において、制御部１０７は、任意の焦点検出エリアを設定する。そして、制御部１０７は、状態検出部１０８に、設定した焦点検出エリアの位置情報と撮像光学系１０１の情報を出力する。
【００２８】
ステップＳ６０３において、状態検出部１０８は、制御部１０７から取得した撮像素子１０２の焦点検出エリアの位置情報および撮像光学系１０１の情報に基づいて、基線長および瞳分離方向を算出する。具体的には、状態検出部１０８は、撮像光学系１０１の情報と焦点検出エリアの位置の組み合わせに対応した、基線長および瞳分離方向のパラメータテーブルを有しており、組み合わせに応じて適切なパラメータを選択して、基線長および瞳分離方向を算出する。なお、ここではあらかじめ算出されたパラメータをテーブルとして持つ例を説明したがこれに限られるものではなく、撮像装置１００内で所定の幾何学演算を行い、基線長および瞳分離方向を算出するようにしてもよい。そして、状態検出部１０８は、算出した基線長および瞳分離方向を制御部１０７に出力し、制御部１０７は、焦点検出エリアの位置情報、基線長および瞳分離方向を焦点検出部１０６に出力する。
【００２９】
ステップＳ６０４において、焦点検出部１０６による瞳分離方向に応じた相関演算を行って位相差を算出し、焦点を検出する。具体的には、焦点検出部１０６は、制御部１０７から焦点検出エリアの位置情報、基線長および瞳分離方向を受け取り、相関演算を行う。ステップＳ６０４による相関演算について、図８を参照してその詳細を説明する。
【００３０】
図８（Ａ）は、撮像素子１０２の像高中心位置における相関演算を説明する図である。口径食の発生していない像高中心位置においては、Ａ像とＢ像の感度分布は水平方向に対称であるため、瞳分離方向も水平方向となる。したがって、Ａ像とＡ＋Ｂ像の相対的な位置関係を水平方向にシフトしながら各シフト位置での相関量を算出することで、最も相関の高いシフト位置を算出することが可能となる。図８（Ａ）で、斜線部は、相関量を算出するウィンドウ範囲を示しており、斜線部の両隣の矢印の範囲は、ウィンドウのシフト範囲を示している。このように、瞳分離方向が水平方向となる像高中心位置においては、同一の行（同一のライン）でＡ像とＡ＋Ｂ像を水平方向にシフトしながら相関量を算出することを示している。
【００３１】
図８（Ｂ）は、撮像素子１０２の対角像高位置における相関演算を説明する図である。
口径食が顕著に発生している像高対角位置においては、Ａ像とＢ像の重心位置が変化し、瞳分離方向が斜め方向になっている。したがって、Ａ像とＡ＋Ｂ像の相対的な位置関係を斜め方向にシフトしながら各シフト位置での相関量を算出することで、最も相関の高いシフト位置を算出することが可能となる。図８（Ｂ）で、斜線部は、相関量を算出するウィンドウ範囲を示しており、斜線部の両隣の矢印の範囲は、ウィンドウのシフト範囲を示している。このように、瞳分離方向が斜め方向となる対角像高位置においては、Ａ像とＡ＋Ｂ像を斜め方向にシフトしながら、Ａ像とＡ像と同一の行のＡ＋Ｂ像に加え、Ａ像の近傍の行のＡ＋Ｂ像を用いて、相関量を算出することを示している。
【００３２】
なお、相関量を算出するための方法としては、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）等の技術を用いればよい。図８（Ａ）のように、水平方向にシフトしながら同一ラインのＡ像とＡ＋Ｂ像を用いて相関演算を行う際には、Ａ＋Ｂ像（撮像信号）とＡ像（第１の像信号）の差分をＢ像（第２の像信号）として算出し、Ａ像とＢ像の相関演算を行えばよい。像高中心位置では、Ａ像とＡ＋Ｂ像の相関演算に対して長い基線長を確保できるため、より高精度に焦点検出を行うことができる。
【００３３】
図８（Ａ）のように、同じラインのＡ像とＡ＋Ｂ像を用いて水平方向に相関演算を行う場合、例えば、式（Ａ）による相関演算が行われる（第１の演算方法）。一対の像信号としてのＡ像とＢ像を、それぞれＡ（ｋ）、Ｂ（ｋ）（１≦ｋ≦Ｐ）と表すと、相関演算で算出する相関量ＣＯＲ（ｈ）は、下記の式（１）で算出される。
【数１】
2019168494.tif 000003
式（１）において、Ｗ１は、相関量を算出するウィンドウのサイズに相当し、ｈｍａｘが、対の信号間でウィンドウの位置を変化させる回数（シフト数）に相当する。式（１）で得られた相関量ＣＯＲの極小値をとるｈの値を算出することにより、Ａ像とＢ像の最も相関の高いシフト位置（像ずれ量）を算出することができる。得られた像ずれ量と基線長情報を用いて、焦点検出結果としてのデフォーカス量を取得する。
【００３４】
一方で、図８（Ｂ）のように、異なるラインのＡ像とＡ＋Ｂ像を用いて斜め方向に相関演算を行う場合、本実施例ではＡ像は５ライン間隔で読みだされるため、Ａ像の上下の行（ライン７０１〜７０２，ライン７０４〜７０５）では、Ａ像は読み出されない。そのため、シフト量に応じて、下記式のように場合分けを行い、相関量を求める（第２の演算方法）。
【数２】
2019168494.tif 000004
【数３】
2019168494.tif 000005
【数４】
2019168494.tif 000006
【数５】
2019168494.tif 000007
【数６】
2019168494.tif 000008
【００３５】
式（２）から式（６）において、ライン７０３から得られたＡ像信号は、Ａ（ｋ）（１≦ｋ≦Ｐ）で示される。一方で、Ａ＋Ｂ像信号は、ライン７０１から得られたＡ＋Ｂ１（ｋ）、ライン７０２から得られたＡ＋Ｂ２（ｋ）というように５ラインのＡ＋Ｂ像信号を、切り替えながら相関量を算出する。Ａ像は、ライン７０３からのみ信号が得られるため、上述の式（１）の場合と異なり、Ａ像の信号範囲は、シフト数によらず固定し、Ａ＋Ｂ像のみシフトさせながら、相関量を算出する。得られた相関量ＣＯＲを用いて、デフォーカス量を算出する処理については、式（１）の場合と同様である。
【００３６】
図６の説明に戻る。ステップＳ６０５において、制御部１０７は、すべての焦点検出エリアに対する焦点検出処理が終了しているかどうかを判定する。すべてのエリアの焦点検出が終わっている場合は、ステップＳ６０６へと進む。一方、すべてのエリアの焦点検出が終わっていない場合はステップＳ６０２に戻る。
ステップＳ６０６において、制御部１０７は、焦点検出結果に基づいて決定されるレンズ駆動量に従って撮像光学系１０１のレンズを駆動して、焦点調節を行う。ステップＳ６０７は、撮影シーケンスの終了である。
【００３７】
以上説明したように、離散的に読み出されたＡ像信号を用いて焦点検出を行う場合において、Ａ像信号の周辺の複数の撮像信号を参照して焦点検出処理を行うことにより、口径食に起因した誤検出を低減した焦点検出処理を行うことが可能となる。
【００３８】
なお、本実施例では焦点検出領域の位置によらず、撮像信号とＡ像信号の位相差を検出する例について説明を行ったが、口径食の影響の少ない領域では従来技術同様に瞳分離された一対の像信号による相関演算を行うようにしてもよい。その場合は、図９に示すように、撮像装置１００の構成に加えて、さらにＢ像信号を生成するＢ像信号生成部９０９を備えた撮像装置９００を用いて、制御部１０７によって焦点検出部１０６に入力する一対の像信号を選択するようにしてもよい。Ｂ像信号生成部９０９は、Ａ＋Ｂ像からＡ像信号を減算してＢ像信号を生成する回路である。撮像素子１０２の座標中心などの瞳分割方向が水平方向である場合は、Ａ像とＢ像による水平方向の位相差検出を行い、撮像素子１０２の対角像高では撮像信号とＡ像による任意の方向への位相差検出を行うように選択的に演算方法を切り替えるようにすればよい。
【００３９】
また、焦点検出部１０６を２つ構成し、Ａ像とＢ像の水平方向の焦点検出結果と撮像信号とＡ像の焦点検出結果を同時に算出し、いずれか一方を選択するようにしてもよい。また、焦点検出部１０６を２つ構成し、Ａ像とＢ像の水平方向の焦点検出結果と撮像信号とＡ像の焦点検出結果を同時に算出し、２つの焦点検出結果を複合して最終的な焦点検出結果として取り扱うようにしてもよい。
【００４０】
（実施例２）
実施例１では、口径食に起因した焦点検出誤差を低減する方法を説明した。本実施例では、低照度撮影時の焦点検出精度の低下を低減するための方法について説明する。低照度環境下での撮影においては、撮像素子への入射光量が少なくなるため、撮像素子の感度を上げて、信号を増幅して信号レベルを調整する場合がある。信号を増幅する際、撮像信号に乗っていたノイズ成分も同様に増幅されてしまうため、ＳＮ比が悪化し、低照度撮影時には焦点検出精度が低下する場合がある。
【００４１】
図１０は、本実施例における撮像装置１０００のブロック図である。なお、実施例１と同一の部材については同一の参照番号を付し、重複する説明は省略する。撮像装置１０００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換器１０３、画像処理部１０４、記録部１０５、焦点検出部１０６、制御部１０７および輝度判定部１００１を備える。なお、撮像装置１０００はレンズ装置と本体部が一体となった撮像装置に限られるものではなく、撮像光学系１０１を備えるレンズ装置が本体部に着脱可能なレンズ交換式の撮像装置であってもよい。
【００４２】
輝度判定部１００１は、取得した撮像画像（Ａ＋Ｂ像）に基づいて、輝度があらかじめ定められた閾値よりも高いかどうかを判定する。そして、輝度判定部１００１は、輝度の判定結果を制御部１０７へ出力する。制御部１０７は、撮像装置１０００のシステム全体の制御を行う。また、制御部１０７は、焦点検出エリアおよび輝度判定部１００１による判定結果に基づいて焦点検出部１０６の演算を制御する。
【００４３】
次に、図１１を参照して、本実施例の撮像装置１０００による焦点検出の流れについて説明する。図１１は、撮像装置１０００による焦点検出の流れを示すフローチャートである。まず、ステップＳ１１００において、撮像装置１０００は撮影シーケンスを開始し、焦点検出を開始する。撮影シーケンスは、例えばユーザによってシャッタが押下された場合に開始される。
ステップＳ１１０１において、撮像素子１０２から撮像信号（Ａ＋Ｂ像）およびＡ像信号を１面分読み出す。なお、読み出し制御は実施例１と同様の制御が行われ、撮像信号は全行読出し、Ａ像信号は５ライン間隔で読出しが行われる。
【００４４】
ステップＳ１１０２において、輝度判定部１００１は、輝度判定処理を行う。輝度判定では、例えば、画面全体の画素値の合計を所定の閾値と比較することで、低輝度での撮像であるか否か判定する。画面全体の画素値の合計が所定の閾値より高い場合には、通常条件下での撮影であると判定する。一方、画面全体の画素値の合計が所定の閾値以下である場合には、低輝度条件下での撮影であると判定する。なお、輝度判定の方法についてはこれに限らず、他の公知技術を用いてもよい。
【００４５】
ステップＳ１１０３において、制御部１０７は、任意の焦点検出エリアを設定する。
ステップＳ１１０４において、制御部１０７は、輝度判定結果に応じて、設定した焦点検出エリアにおける参照ラインを決定する。参照ラインは、焦点検出のための相関演算に用いる、焦点検出エリア内のＡ像と対となるＡ＋Ｂ像である。輝度が所定の閾値より高い通常条件下での撮影である場合には、読み出したＡ像と同一ラインのＡ＋Ｂ像を参照ラインとして設定する。一方、輝度が所定の閾値以下である低輝度条件下での撮影である場合には、読み出したＡ像と同一ラインのＡ＋Ｂ像に加えて近傍のラインのＡ＋Ｂ像を参照ラインとして設定する。
【００４６】
ステップＳ１１０５において、焦点検出部１０６は、相関演算を行う。焦点検出部１０６は、制御部１０７から取得した焦点検出エリアの位置情報および参照ライン情報に基づいて、相関演算を行う。本実施例における相関演算の詳細について、図１２を参照して説明する。
【００４７】
図１２は、低輝度と判定された場合の相関演算を説明する図である。ここでは、Ａ像を読み出したラインの上下２ラインをＡ＋Ｂ像の参照ラインとして設定した場合を例に説明する。この場合、ライン７１３のＡ像と、ライン７１１〜ライン７１５のＡ＋Ｂ像それぞれの組み合わせで計５ライン分の相関演算を行う。即ちライン７１３のＡ像とライン７１１のＡ＋Ｂ像、ライン７１３のＡ像とライン７１２のＡ＋Ｂ像、ライン７１３のＡ像とライン７１３のＡ＋Ｂ像、ライン７１３のＡ像とライン７１４のＡ＋Ｂ像、ライン７１３のＡ像とライン７１５のＡ＋Ｂ像で相関演算する。そして、相関演算で算出した各々の像ずれ量を加算して、最終的な像ずれ量を決定する。このように、異なる複数ラインで演算を行うことで、低輝度時におけるセンサノイズに起因する誤検出を抑制することが可能となる。
【００４８】
図１１の説明に戻る。ステップＳ１１０６において、制御部１０７は、すべての焦点検出エリアに対する焦点検出処理が終了しているかどうかを判定する。すべてのエリアの焦点検出が終わっている場合は、ステップＳ１１０７へと進む。一方、すべてのエリアの焦点検出が終わっていない場合は、ステップＳ１１０３に戻る。
ステップＳ１１０７において、制御部１０７は、焦点検出結果に基づいて決定されるレンズ駆動量に従って、撮像光学系１０１のレンズを駆動して焦点調節を行う。
【００４９】
なお、本実施例では、複数ライン分の像ずれ量を加算して最終的な像ずれ量を決定する例を示したが、最終的な像ずれ量を５ライン分の結果の中から選択するようにしてもよい。また、Ａ像に対して、より広い領域（多くの行）から出力されるＡ＋Ｂ像の信号出力を、位相差を算出する方向に対して垂直方向に加算した信号を用いて、Ａ像に対する位相差を算出してもよい。Ａ＋Ｂ像を複数行加算することにより、信号のＳＮ比を改善することができ、より高精度な焦点検出を行うことができる。また、図９で説明したように、焦点検出のためにＢ像を算出する場合には、Ａ像に対応する複数の行のＡ＋Ｂ像信号を加算し、加算後のＡ＋Ｂ像とＡ像の差分を、Ｂ像とすればよい。
【００５０】
また、加算後のＡ＋Ｂ像とＡ像の重心を揃えるために、複数の行のＡ＋Ｂ像を加算する際には、加算する領域の位相差を算出する方向に対して垂直方向のＡ＋Ｂ像の重心は、相関演算を行うＡ像と揃っている方が望ましい。これは、位相差を算出する方向に対して斜め方向にエッジのコントラストを有するような被写体の場合には、Ａ像とＡ＋Ｂ像の像ずれ量が、デフォーカスによるものではなく、ラインごとのエッジの境界の位置の違いによって生じる場合があるためである。エッジの境界の位置の違いによる像ずれ量の検出誤差を低減するために、加算後のＡ＋Ｂ像とＡ像の重心を揃えることで、焦点検出誤差を低減することができる。
【００５１】
また、ステップＳ１１０５では、ライン７１３のＡ像とＡ＋Ｂ像による相関演算の信頼度を判定するために、近傍のラインのＡ＋Ｂ像との相関演算結果を参照するようにしてもよい。本来、ライン７１３に対して他のラインは、空間的に異なる領域の光学像を受光しているため、同一形状の光学像をサンプリングし、信号出力として得られる保証がない。例えば、黒地に白い垂直線のような被写体では、いずれのラインも同様の信号を出力するが、人物の顔などが被写体の場合には、各ラインの出力信号は異なる。ライン７１３のＡ像と他のラインのＡ＋Ｂ像の相関演算を行う際に、対の信号波形の形状差が大きい場合には、得られた像ずれ量の信頼度は低い。このことを利用して、ライン７１３のＡ＋Ｂ像に対して、他のラインのＡ＋Ｂ像と相関演算を行い、波形の一致度を示す相関量の極小値の大きさや複数対の像ずれ量のバラつきなどから、信頼度判定を行ってもよい。相関演算を、Ａ像とＢ像を用いて行う場合も、同様に信頼度判定を行うことができる。
【００５２】
また、信頼度判定を行う場合、信頼度判定結果に基づき、同一ラインのＡ像とＡ＋Ｂ像を用いた相関演算結果を用いるか、Ａ像と、Ａ像と同一ラインのＡ＋Ｂ像に加えて近傍のラインのＡ＋Ｂ像を用いた相関演算を用いるかを選択するようにしてもよい。これにより、Ａ像と、Ａ像と同一ラインと近傍のラインのＡ＋Ｂ像を用いた相関演算の焦点検出結果の信頼度が低い場合には、より信頼度の高い同一ラインのＡ像とＡ＋Ｂ像を用いた相関演算結果を焦点検出結果として採用することができる。また、相関演算の信頼度判定を行うため、追加の相関演算を行うことなく、対の信号のコントラスト情報（ピークボトム差、隣接差分の絶対値和、隣接差分の二乗和など）を用いてもよい。
【００５３】
以上説明したように、離散的に読み出されたＡ像信号を用いて焦点検出を行う場合において、Ａ像信号の周辺の複数の撮像信号を参照して焦点検出処理を行うことにより、センサノイズに起因した誤検出を低減した焦点検出処理を行うことが可能となる。
【００５４】
（実施例３）
動画撮影などでフレームレートが高い場合には、１行当たりの読出し時間として許容される時間が短くなる。１行に対してＡ像とＡ＋Ｂ像の２つの信号を読み出す場合には、撮像信号のみを読み出す場合に比べ読出し時間は２倍必要となるってします。そのため、より短い時間で信号を読み出す必要が生じる。実施例１および実施例２では、Ａ像を読み出す行を限定し、１フレームに必要な読出し行数を減らすことで、読出し時間を低減した。この他にも、Ａ像を読み出す列を限定、すなわち、位相差を算出する方向（水平方向）に狭い領域に限定することにより、読出し時間を低減する方法も考えられる。しかしながら、Ａ像を読み出す列を限定すると、位相差を算出する際に用いる信号が水平方向に少なくなるため、焦点検出が可能な領域が水平方向に狭くなる。本実施例では、焦点検出に用いる信号の読出し時間を低減するためにＡ像を読み出す列を限定した場合でも、広い焦点検出領域を維持することを実現する方法について説明する。なお、本実施例における撮像装置は、実施例２で説明した撮像装置１０００と同様であるため、その説明を省略する。
【００５５】
図１３を参照して、本実施例の撮像装置１０００による焦点検出の流れについて説明する。図１３は、撮像装置１０００による焦点検出の流れを示すフローチャートである。
まずステップＳ１３００において、撮像装置１０００は撮影シーケンスを開始し、焦点検出を開始する。撮影シーケンスは、例えばユーザによってシャッタが押下された場合に開始される。
ステップＳ１３０１において、撮像素子１０２から撮像信号（Ａ＋Ｂ像）およびＡ像信号を１面分読み出す。読出し制御の詳細について、図１４を用いて説明する。
【００５６】
図１４は、撮像素子１０２の各ラインの読出し制御を説明する図である。ライン１４０１〜１４２５に示す各矩形は、撮像素子１０２のライン毎の読出しモードを視覚的に示している。ライン１４０１のような白塗りのラインは、撮像信号（Ａ＋Ｂ像）のみを読み出す第１の読み出しモードによって読み出されるラインである。ライン１４０３のような中央部のみ斜線塗りのラインは、撮像信号（Ａ＋Ｂ像）に加えて、斜線部で示される水平方向に限定された領域のＡ像信号を読み出す第２の読み出しモードによって読み出されるラインである。すなわち、本実施例では、撮像信号（Ａ＋Ｂ像）は全行で読出し、Ａ像信号は５ライン間隔で水平方向に限定された領域の読出しが行われることを示している。
【００５７】
図１３の説明に戻る。ステップＳ１３０２において、輝度判定部１００１は、輝度判定処理を行う。輝度判定処理は、実施例２のステップＳ１１０２の輝度判定処理と同様である。
ステップＳ１３０３において、制御部１０７は、任意の焦点検出エリアを設定する。
【００５８】
ステップＳ１３０４において、制御部１０７は、輝度判定結果に応じて、設定した焦点検出エリアにおける参照ラインを決定する。参照ラインは、焦点検出のための相関演算に用いる、焦点検出エリア内のＡ像と対となるＡ＋Ｂ像である。輝度が所定の閾値より高い通常条件下での撮影である場合には、読み出したＡ像と同一ラインのＡ＋Ｂ像を参照ラインとして設定する。一方、輝度が所定の閾値以下である低輝度条件下での撮影である場合には、読み出したＡ像と同一ラインのＡ＋Ｂ像に加えて近傍のラインのＡ＋Ｂ像を参照ラインとして設定する。
【００５９】
ステップＳ１３０５において、制御部１０７は、設定した焦点検出エリアが、Ａ像読み出し領域（図１４の斜線部）の境界に近いか否かを判定する。設定した焦点検出エリアが、Ａ像読み出し領域の境界に近いか否かは、設定した焦点検出エリアとＡ像読み出し領域の境界との距離が、所定の閾値以下であるか否かにより判定する。設定した焦点検出エリアとＡ像読み出し領域の境界との距離が、所定の閾値より離れている場合は、ステップＳ１３０６に進む。一方、設定した焦点検出エリアとＡ像読み出し領域の境界との距離が、所定の閾値以下である場合は、ステップＳ１３０７に進む。
【００６０】
Ｓ１３０６において、焦点検出部１０６は、実施例の式（１）で示した方法で相関演算を行う。
Ｓ１３０７において、焦点検出部１０６は、下記の式（７）で示す方法で相関演算を行う。一対の像信号としてのＡ像とＢ像を、それぞれＡ（ｋ）、Ｂ（ｋ）（１≦ｋ≦Ｐ）と表すと、相関演算で算出する相関量ＣＯＲ（ｈ）は、例えば下記の式（７）で算出される（第３の演算方法）。
【数７】
2019168494.tif 000009
【００６１】
式（７）において、Ｗ１は、相関量を算出するウィンドウのサイズに相当し、ｈｍａｘは、対の信号間でウィンドウの位置を変化させる回数（シフト数）に相当する。式（７）で得られた相関量ＣＯＲの極小値をとるｈの値を算出することにより、Ａ像とＢ像の最も相関の高いシフト位置（像ずれ量、位相差）を算出することができる。得られた像ずれ量と基線長情報を用いて、焦点検出結果としてのデフォーカス量を取得する。
【００６２】
図１５は、焦点検出エリアの位置による相関演算の違いを説明する図である。図１５（Ａ）は、設定した焦点検出エリアがＡ像読み出し領域の境界１５０１から離れている場合を示す図である。図１５（Ａ）のように、焦点検出エリアがＡ像読出し領域の端部である境界１５０１から所定の閾値より離れた距離にある場合には、相関演算の際のウィンドウ領域およびシフト領域共にＡ像信号を使用することができる。したがって、Ｓ１３０６では、式（１）の相関演算方式が利用できる。
【００６３】
一方で、図１５（Ｂ）は、設定した焦点検出エリアがＡ像読み出し領域の端部である境界１５０１に近い場合を示す図である。図１５（Ｂ）の場合には、相関演算の際のウィンドウ領域はＡ像信号を確保できる。しかし、シフト領域は、境界１５０１の外側となってしまい、Ａ像信号が読み出されていないため、相関演算にＡ像信号を使用することができない。そのため、Ｓ１３０７では、式（７）を用いて、相関演算の際のＡ像範囲を固定し、Ａ＋Ｂ像をシフトさせる方式で相関演算を行う。
【００６４】
また、設定した焦点検出エリアがＡ像読み出し領域の境界１５０１から離れている場合は、Ａ像とＡ＋Ｂ像で相関演算を行ってもよいし、さらに、Ａ像とＢ像で相関演算を行ってもよい。一方、設定した焦点検出エリアがＡ像読み出し領域の境界１５０１に近い場合は、Ａ像とＡ＋Ｂ像でのみ相関演算を行うことができ、Ａ像とＢ像で相関演算を行うことはできない。これは、シフト領域のＡ像信号が得られないため、Ａ＋Ｂ像との差分で、Ｂ像が得られないためである。
【００６５】
図１３の説明に戻る。ステップＳ１３０８において、制御部１０７は、すべての焦点検出エリアに対する焦点検出処理が終了しているかどうかを判定する。すべてのエリアの焦点検出が終わっている場合はステップＳ１３０９へと進む。一方、すべてのエリアの焦点検出が終わっていない場合はステップＳ１３０３に戻る。
ステップＳ１３０９において、制御部１０７は、焦点検出結果に基づいて決定されるレンズ駆動量に従って、撮像光学系１０１のレンズを駆動して焦点調節を行う。
【００６６】
なお、本実施例では、焦点検出エリアがＡ像読出し領域の境界１５０１に近い場合は、Ａ像信号は相関演算信号のウィンドウ範囲のみとして、演算を行った。しかしながら、図１５（Ｂ）に示されるように、Ａ像読出し領域の境界１５０１が遠い側のシフト領域は、相関演算に使用することができる。そのため、例えば、シフト数のｈが負の場合は式（１）を用いて相関演算、シフト数のｈが正の場合は式（７）を用いて相関演算をするようにしてもよい。
【００６７】
以上説明したように、本実施例によると、離散的に読み出されたＡ像信号を用いて焦点検出を行う場合において、Ａ像の読出し領域の限定による高速化を実現しながら、高精度な焦点検出を行うことができる。
【００６８】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６９】
以上、本発明の好ましい実施例について説明したが、本発明は、これらの実施例に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００７０】
１００    撮像装置
１０１    撮像光学系
１０２    撮像素子
１０６    焦点検出部
１０７    制御部
１０８    状態検出部
【図１】
2019168494.tif 000010
【図２】
2019168494.tif 000011
【図３】
2019168494.tif 000012
【図４】
2019168494.tif 000013
【図５】
2019168494.tif 000014
【図６】
2019168494.tif 000015
【図７】
2019168494.tif 000016
【図８】
2019168494.tif 000017
【図９】
2019168494.tif 000018
【図１０】
2019168494.tif 000019
【図１１】
2019168494.tif 000020
【図１２】
2019168494.tif 000021
【図１３】
2019168494.tif 000022
【図１４】
2019168494.tif 000023
【図１５】
2019168494.tif 000024