(57)【要約】【課題】高精度かつ高速な焦点調節が可能な制御装置を提供する。【解決手段】制御装置は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号を取得する取得手段と、異なる時刻に取得された第１信号と第２信号との相関量データを順次算出する算出手段と、順次算出された相関量データを相対的にシフトさせて合算することにより合算相関量データを生成する合算手段と、合算相関量データに基づいて相関演算を行う相関演算手段とを有する。【選択図】図１２
2017106970.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号を取得する取得手段と、
異なる時刻に取得された前記第１信号と前記第２信号との相関量データを順次算出する算出手段と、
順次算出された前記相関量データを相対的にシフトさせて合算することにより合算相関量データを生成する合算手段と、
前記合算相関量データに基づいて相関演算を行う相関演算手段と、を有することを特徴とする制御装置。
【請求項２】
前記合算手段は、前記相関量データを相対的にシフトさせて加算することにより前記合算相関量データを生成することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記合算手段は、前記相関量データを相対的にシフトさせて平均化処理を行うことにより前記合算相関量データを生成することを特徴とする請求項１に記載の制御装置。
【請求項４】
前記合算手段は、デフォーカス状態の変化に応じて、前記相関量データを相対的にシフトさせることを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
【請求項５】
前記合算手段は、前記デフォーカス状態の変化に伴う前記相関量データの極小値のシフト量に応じて、該相関量データを相対的にシフトさせることを特徴とする請求項４に記載の制御装置。
【請求項６】
前記合算手段は、前記極小値の前記シフト量を低減するように、前記相関量データを相対的にシフトさせることを特徴とする請求項５に記載の制御装置。
【請求項７】
前記合算手段は、前記デフォーカス状態の変化量が所定量よりも小さい場合、前記相関量データを相対的にシフトさせないことを特徴とする請求項４乃至６のいずれか１項に記載の制御装置。
【請求項８】
前記合算手段は、順次算出された前記相関量データの変化特性に基づいて、前記相関量データを相対的にシフトさせることを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
【請求項９】
前記合算手段は、前記相関量データの変化特性に基づいて該変化特性の位置ずれ量を算出し、該位置ずれ量を用いて該相関量データを相対的にシフトさせることを特徴とする請求項８に記載の焦点検出装置
【請求項１０】
前記合算手段は、前記撮像光学系に含まれるフォーカスレンズの駆動中に、前記合算相関量データを生成することを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。
【請求項１１】
前記合算手段は、前記フォーカスレンズの駆動量に応じて、前記相関量データを相対的にシフトさせることを特徴とする請求項１０に記載の制御装置。
【請求項１２】
撮像光学系の互いに異なる瞳領域を通過した光束を受光して第１信号および第２信号を出力する撮像素子と、
前記第１信号および前記第２信号を取得する取得手段と、
異なる時刻に取得された前記第１信号と前記第２信号との相関量データを順次算出する算出手段と、
順次算出された前記相関量データを相対的にシフトさせて合算することにより合算相関量データを生成する合算手段と、
前記合算相関量データに基づいて相関演算を行う相関演算手段と、を有することを特徴とする撮像装置。
【請求項１３】
撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号を取得するステップと、
異なる時刻に取得された前記第１信号と前記第２信号との相関量データを順次算出するステップと、
順次算出された前記相関量データを相対的にシフトさせて合算することにより合算相関量データを生成するステップと、
前記合算相関量データに基づいて相関演算を行うステップと、を有することを特徴とする制御方法。
【請求項１４】
撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号を取得するステップと、
異なる時刻に取得された前記第１信号と前記第２信号との相関量データを順次算出するステップと、
順次算出された前記相関量データを相対的にシフトさせて合算することにより合算相関量データを生成するステップと、
前記合算相関量データに基づいて相関演算を行うステップと、をコンピュータに実行させることを特徴とするプログラム。
【請求項１５】
請求項１４に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出のための相関演算を行う撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ、カメラ付の携帯電話、ゲーム機、またはパーソナルコンピュータなどの撮像機能を有する電子機器（撮像装置）は、一般的に、オートフォーカス（自動焦点検出）機能を有する。
【０００３】
特許文献１には、１つのマイクロレンズと複数の光電変換部とにより１つの画素が構成された撮像素子を有する撮像装置が開示されている。複数の光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を通過した光を受光するように構成され、瞳分割を行う。このような複数の光電変換部を有する画素（焦点検出画素）からそれぞれ出力された焦点検出信号から相関量を算出し、相関量から像ずれ量を求めることにより、位相差方式の焦点検出を行うことができる。また特許文献１の撮像装置は、複数の光電変換部から出力された焦点検出信号を画素ごとに加算することにより撮像信号を生成する。
【０００４】
特許文献２には、コントラストが低い被写体に対する焦点検出性能を向上するため、異なる時刻に取得した焦点検出信号から算出された相関量を加算し、加算した相関量を用いて像ずれ量を算出する焦点検出装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−６３１４２号公報
【特許文献２】特開２００８-１３４４１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、焦点調節の際には、被写体の移動やフォーカスレンズの移動によりデフォーカス状態は変化する。そしてデフォーカス状態の変化は、相関量の極値の位置の変化に相当する。このため、特許文献２のように異なる時刻に得られた焦点検出信号に基づく相関量を単純に加算すると、デフォーカス状態の変化により、極値の位置がずれた相関量を加算することになる。この結果、極値の位置情報が失われ、高精度な焦点調節を行うことができない。また、焦点調節の際のフォーカスレンズの移動は、焦点調節の高速化に大きく寄与する。
【０００７】
そこで本発明は、高精度かつ高速な焦点調節が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての制御装置は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号を取得する取得手段と、異なる時刻に取得された前記第１信号と前記第２信号との相関量データを順次算出する算出手段と、順次算出された前記相関量データを相対的にシフトさせて合算することにより合算相関量データを生成する合算手段と、前記合算相関量データに基づいて相関演算を行う相関演算手段とを有する。
【０００９】
本発明の他の側面としての撮像装置は、撮像光学系の互いに異なる瞳領域を通過した光束を受光して第１信号および第２信号を出力する撮像素子と、前記制御装置とを有する。
【００１０】
本発明の他の側面としての制御方法は、撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号および第２信号を取得するステップと、異なる時刻に取得された前記第１信号と前記第２信号との相関量データを順次算出するステップと、順次算出された前記相関量データを相対的にシフトさせて合算することにより合算相関量データを生成するステップと、前記合算相関量データに基づいて相関演算を行うステップとを有する。
【００１１】
本発明の他の側面としてのプログラムは、コンピュータに前記制御方法を実行させるように構成されている。
【００１２】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１３】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１４】
本発明によれば、高精度かつ高速な焦点調節が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態における撮像装置のブロック図である。
【図２】本実施形態における画素配列を示す図である。
【図３】本実施形態における画素構造を示す図である。
【図４】本実施形態における撮像素子および瞳分割機能の説明図である。
【図５】本実施形態における撮像素子および瞳分割機能の説明図である。
【図６】本実施形態におけるデフォーカス量と像ずれ量との関係図である。
【図７】本実施形態における焦点検出領域の例を示す図である。
【図８】本実施形態におけるフォーカス制御のフローチャートである。
【図９】本実施形態におけるレンズ停止中のデフォーカス量算出のフローチャートである。
【図１０】本実施形態における相関量と極小値との関係の説明図である。
【図１１】本実施形態におけるレンズ停止中の相関量のフレーム加算の説明図である。
【図１２】本実施形態におけるレンズ駆動中のデフォーカス量算出のフローチャートである。
【図１３】本実施形態におけるレンズ駆動中に連続的に取得した焦点検出信号の説明図である。
【図１４】本実施形態におけるレンズ駆動中に連続的に取得した相関量の説明図である。
【図１５】本実施形態におけるレンズ駆動中の相関量のフレーム加算の説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
【００１７】
まず、図１を参照して、本実施例における撮像装置の構成について説明する。図１は、本実施例における撮像装置１０（レンズ交換可能な一眼レフタイプのデジタルカメラ）のブロック図である。撮像装置１０は、レンズユニット１００（交換レンズ）とカメラ本体１２０とを有するカメラシステムである。レンズユニット１００は、図１中の点線で示されるマウントＭを介して、カメラ本体１２０と着脱可能に取り付けられる。ただし本実施形態は、これに限定されるものではなく、レンズユニット（撮像光学系）とカメラ本体とが一体的に構成された撮像装置（デジタルカメラ）にも適用可能である。また本実施形態は、デジタルカメラに限定されるものではなく、ビデオカメラなど他の撮像装置にも適用可能である。
【００１８】
レンズユニット１００は、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４、および、駆動／制御系を有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含むとともに被写体像を形成する撮影レンズ（撮像光学系）を有する。
【００１９】
第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに進退可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量調節を行い、また静止画撮影時においては露出時間を制御するメカニカルシャッタとして機能する。絞り１０２および第２レンズ群１０３は、一体的に光軸方向ＯＡに移動可能であり、第１レンズ群１０１の進退動作との連動によりズーム機能を実現する。フォーカスレンズ１０４も、光軸方向ＯＡに移動可能であり、その位置に応じてレンズユニット１００が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節（フォーカス制御）を行うことができる。
【００２０】
駆動／制御系は、ズームアクチュエータ１１１、絞りアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞り駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、および、レンズメモリ１１８を有する。ズーム駆動回路１１４は、ズームアクチュエータ１１１を用いて第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに駆動し、レンズユニット１００（光学系）の画角を制御する（ズーム制御を行う）。絞り駆動回路１１５は、絞りアクチュエータ１１２を用いて絞り１０２を駆動し、絞り１０２の開口径や開閉動作を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに駆動し、レンズユニット１００（光学系）の合焦距離を制御する（フォーカス制御を行う）。またフォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置（レンズ位置）を検出する。
【００２１】
レンズＭＰＵ１１７（プロセッサ、制御装置）は、レンズユニット１００に関する全ての演算および制御を行い、ズーム駆動回路１１４、絞り駆動回路１１５、および、フォーカス駆動回路１１６を制御する。またレンズＭＰＵ１１７は、マウントＭを介してカメラＭＰＵ１２５と接続され、コマンドやデータを通信する。例えばレンズＭＰＵ１１７は、フォーカスレンズ１０４の位置を検出し、カメラＭＰＵ１２５からの要求に応じて、フォーカスレンズ１０４の位置（レンズ位置情報）を通知する。レンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態での射出瞳の光軸方向ＯＡにおける位置および直径、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置および直径などの情報を含む。またレンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞り駆動回路１１５、および、フォーカス駆動回路１１６を制御する。レンズメモリ１１８は、自動焦点検出（ＡＦ制御）に必要な光学情報を予め記憶している。カメラＭＰＵ１２５は、例えば内蔵する不揮発性メモリやレンズメモリ１１８に記憶されているプログラムを実行することにより、レンズユニット１００の動作を制御する。
【００２２】
カメラ本体１２０は、光学系（光学的ローパスフィルタ１２１および撮像素子１２２）と、駆動／制御系とを有する。光学的ローパスフィルタ１２１および撮像素子１２２は、レンズユニット１００を介して形成された被写体像（光学像）を光電変換し、画像データを出力する撮像部として機能する。本実施形態において、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ１０４、および、光学的ローパスフィルタ１２１により、撮像光学系が構成される。また本実施形態において、撮像素子１２２は、撮像光学系の互いに異なる瞳領域（瞳部分領域）を通過した光束を受光して第１信号（第１焦点検出信号）および第２信号（第２焦点検出信号）を出力する。
【００２３】
光学的ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。撮像素子１２２は、Ｃ−ＭＯＳセンサおよびその周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素（ｎ、ｍは２以上の整数）が配置されている。撮像素子１２２は、瞳分割機能を有し、画像データを用いた位相差ＡＦ（位相差検出方式の焦点検出）が可能である。画像処理回路１２４は、撮像素子１２２から出力される画像データに基づいて、位相差ＡＦ用のデータと、表示、記録、またはコントラストＡＦ（ＴＶＡＦ）用の画像データとを生成する。
【００２４】
駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７（操作ＳＷ）、メモリ１２８、位相差焦点検出部１２９、および、ＴＶＡＦ焦点検出部１３０を有する。撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、撮像素子１２２から出力された画像信号（画像データ）をＡ／Ｄ変換し、カメラＭＰＵ１２５に送信する。画像処理回路１２４は、撮像素子１２２から出力された画像データに対して、γ変換、ホワイトバランス調整処理、色補間処理、および、圧縮符号化処理など、デジタルカメラ（撮像装置１０）で行われる一般的な画像処理を行う。また、画像処理回路１２４は位相差ＡＦ用の信号を生成する。
【００２５】
カメラＭＰＵ１２５（プロセッサ、制御装置）は、カメラ本体１２０に関する全ての演算および制御を行う。すなわちカメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、位相差焦点検出部１２９、および、ＴＶＡＦ焦点検出部１３０を制御する。カメラＭＰＵ１２５は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンドやデータを通信する。カメラＭＰＵ１２５は、レンズＭＰＵ１１７に対してレンズ位置の取得要求や所定の駆動量での絞り、フォーカスレンズ、ズーム駆動要求や、レンズユニット１００に固有の光学情報の取得要求などを発行する。カメラＭＰＵ１２５には、カメラ本体１２０の動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、および、各種パラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。
【００２６】
表示器１２６はＬＣＤなどから構成され、撮像装置１０の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチなどで構成される。メモリ１２８は、着脱可能なフラッシュメモリであり、撮影済み画像を記録する。
【００２７】
位相差焦点検出部１２９は、撮像素子１２２および画像処理回路１２４から得られる焦点検出用画像データに基づいて、位相差検出方式の焦点検出処理を行う。より具体的には、画像処理回路１２４は、撮像光学系の一対の瞳領域（分割瞳領域）を通過する光束により形成される一対の像データを焦点検出用データとして生成し、位相差焦点検出部１２９は、一対の像データのずれ量（像ずれ量）を検出する。このように、位相差焦点検出部１２９（撮像面位相差焦点検出部）は、専用のＡＦセンサを用いることなく、撮像素子１２２の出力信号に基づく位相差ＡＦ（撮像面位相差ＡＦ）を行う。
【００２８】
位相差焦点検出部１２９は、取得手段１２９ａ、算出手段１２９ｂ、合算手段１２９ｃ、および、相関演算手段１２９ｄを有する。取得手段１２９ａは、撮像光学系の互いに異なる瞳領域を通過した光束に対応する第１信号（第１焦点検出信号）および第２信号（第２焦点検出信号）を取得する。算出手段１２９ｂは、異なる時刻に取得された第１信号と第２信号との相関量データ（相関量）を順次算出する。すなわち取得手段１２９ａは、対の第１信号と第２信号とを、所定の期間ごとに（所定のタイミングで）連続的に取得する。そして算出手段１２９ｂは、所定の期間ごとに取得された対の第１信号と第２信号とに基づく相関量データを、順次算出する。合算手段１２９ｃは、順次算出された相関量データを相対的にシフト（オフセット）させて合算することにより合算相関量データを生成する。相関演算手段１２９ｄは、合算相関量データに基づいて相関演算を行う（デフォーカス量を算出する）。なお、位相差焦点検出部１２９の動作の詳細については後述する。
【００２９】
ＴＶＡＦ焦点検出部１３０は、画像処理回路１２４により生成されたＴＶＡＦ用評価値（画像データのコントラスト情報）に基づいて、コントラスト方式の焦点検出処理を行う。コントラスト方式の焦点検出処理の際には、フォーカスレンズ１０４を移動して評価値がピークとなるフォーカスレンズ位置を合焦位置として検出される。
【００３０】
このように、本実施形態の撮像装置１０は、撮像面位相差ＡＦおよびＴＶＡＦの両方を実行可能であり、状況に応じて、これらを選択的に使用し、または、組み合わせて使用することができる。
【００３１】
次に、図２および図３を参照して、本実施形態における撮像素子１２２の画素配列および画素構造について説明する。図２は、撮像素子１２２の画素配列を示す図である。図３は、撮像素子１２２の画素構造を示す図であり、図３（ａ）は撮像素子１２２の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。
【００３２】
図２は、撮像素子１２２（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施形態において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、２つの副画素２０１、２０２（焦点検出画素）により構成されている。このため、図２には、副画素の配列が、８列×４行の範囲で示されている。
【００３３】
図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×１行に配列された副画素２０１、２０２（焦点検出画素）により構成されている。副画素２０１（第１副画素）は、撮像光学系の第１瞳領域を通過した光束を受光する画素である。副画素２０２（第２副画素）は、撮像光学系の第２瞳領域を通過した光束を受光する画素である。
【００３４】
図２に示されるように、撮像素子１２２は、４列×４行の撮像画素（８列×４行の副画素）を面上に多数配置して構成されており、撮像信号（焦点検出信号または副画素信号）を出力する。本実施形態の撮像素子１２２は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１２２は、副画素（焦点検出画素）の列方向の周期ＰＡＦが２μｍ、副画素（焦点検出画素）の数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素である。
【００３５】
図３（ｂ）に示されるように、本実施形態の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１および光電変換部３０２が形成されている。光電変換部３０１および光電変換部３０２は、それぞれ、副画素２０１および副画素２０２に対応する。
【００３６】
光電変換部３０１および光電変換部３０２は、それぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が設けられる。必要に応じて、焦点検出画素ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。
【００３７】
図３に示されるように、画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１および光電変換部３０２で受光される。光電変換部３０１および光電変換部３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１２２の外部へ排出される。光電変換部３０１および光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。
【００３８】
次に、図４を参照して、撮像素子１２２の瞳分割機能について説明する。図４は、撮像素子１２２の瞳分割機能の説明図であり、一つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。
【００３９】
図４において、副画素２０１（第１副画素）の瞳部分領域５０１（第１瞳部分領域）は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１は、副画素２０１で受光可能な瞳領域を表している。副画素２０１の瞳部分領域５０１の重心は、瞳面上で＋Ｘ側に偏心している。また、副画素２０２（第２副画素）の瞳部分領域５０２（第２瞳部分領域）は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２は、副画素２０２で受光可能な瞳領域を表している。副画素２０２の瞳部分領域５０２の重心は、瞳面上で−Ｘ側に偏心している。瞳領域５００は、光電変換部３０１、３０２（副画素２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。
【００４０】
図５は、撮像素子１２２と瞳分割機能の説明図である。撮像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２を通過した光束は、撮像素子１２２の各画素に互いに異なる角度で撮像素子１２２の撮像面８００に入射し、２×１分割された副画素２０１、２０２で受光される。本実施形態では、瞳領域が水平方向に２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて垂直方向に瞳分割を行ってもよい。
【００４１】
なお本実施形態において、第１副画素（第１焦点検出画素）と第２副画素（第２焦点検出画素）とから構成された撮像画素が複数配列されているが、本実施形態はこれに限定されるものではない。必要に応じて、撮像画素、第１焦点検出画素、および、第２焦点検出画素を個別の画素構成とし、撮像画素の配列の一部に、第１焦点検出画素と第２焦点検出画素とを部分的に配置する構成としてもよい。
【００４２】
本実施形態において、撮像装置１０は、撮像素子１２２の副画素２０１の受光信号を集めて第１副画素信号（第１焦点検出信号）を生成し、撮像素子１２２の副画素２０２の受光信号を集めて第２副画素信号（第２焦点検出信号）を生成して焦点検出を行う。また撮像装置１０は、撮像素子１２２の画素ごとに、副画素２０１の信号と副画素２０２の信号とを加算（合成）することにより、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。
【００４３】
次に、図６を参照して、撮像素子１２２の副画素２０１（焦点検出画素）から取得される第１焦点検出信号および副画素２０２（焦点検出画素）から取得される第２焦点検出信号のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１２２は撮像面８００に配置されており、図４および図５と同様に、撮像光学系の射出瞳が瞳部分領域５０１、５０２に２分割されている様子が示されている。
【００４４】
デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を｜ｄ｜、結像位置が撮像面８００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面８００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体８０１、および、前ピン状態（ｄ＜０）である被写体８０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。
【００４５】
前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１２２に配列された各画素を構成する副画素２０１（副画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。このため、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１焦点検出信号と第２焦点検出信号と間の被写体像の像ずれ方向が前ピン状態と反対となる。
【００４６】
このように本実施形態において、第１焦点検出信号と第２焦点検出信号、または、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号と間の像ずれ量の大きさは増加する。本実施形態において、撮像装置１０は、第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量との関係性を用いて、位相差検出方式の焦点検出を行う。この詳細については、後述する。
【００４７】
次に、図７を参照して、第１焦点検出信号および第２焦点検出信号を取得する撮像素子１２２上の領域である焦点検出領域について説明する。図７は、撮像素子１２２の有効画素領域１０００における焦点検出領域と、焦点検出の際に表示器１２６に表示される焦点検出領域を示す指標と、を重ねて示している。本実施形態において、焦点検出領域として、行方向に３つ、および、列方向に３つの計９個の焦点検出領域が設定されている。行方向にｎ番目、列方向にｍ番目の焦点検出領域をＡ（ｎ，ｍ）と表し、この領域内における副画素２０１（第１焦点検出画素）および副画素２０２（第２焦点検出画素）の信号を用いて、後述する焦点検出を行う。同様に、行方向にｎ番目、列方向にｍ番目の焦点検出領域の指標をＩ（ｎ，ｍ）と表す。
【００４８】
なお本実施形態において、行方向に３つ、列方向に３つの焦点検出領域を設定した例を示している。しかしながら、前述の撮像素子１２２のように、有効画素領域１０００の内部に設けられたいずれの画素からも第１焦点検出信号および第２焦点検出信号を取得可能な撮像素子においては、焦点検出領域の数、位置、サイズを適宜設定することができる。例えば、撮影者の指定した領域を中心として、所定の範囲を焦点検出領域として設定してもよい。
【００４９】
次に、図８を参照して、撮像装置１０における焦点調節動作（フォーカス制御）について説明する。図８は、フォーカス制御のフォローチャートである。図８の各ステップは、主に、カメラＭＰＵ１２５、画像処理回路１２４、および、位相差焦点検出部１２９により実行される。なお、図８に示される処理は、ライブビュー表示時（表示用動画撮影時）または動画記録時（記録用動画撮影時）に実施される処理である。
【００５０】
まずステップＳ５０１において、カメラＭＰＵ１２５は、電源スイッチのオンやライブビュー開始用スイッチなどの操作に伴い、ライブビュー表示を開始する。続いてステップＳ５０２において、カメラＭＰＵ１２５は、レンズユニット１００のＦ値、レンズ枠情報、フォーカスレンズ位置、ピント補正量、最大デフォーカス量、レンズ駆動敏感度などの各種レンズ情報をマウントＭを介してレンズＭＰＵ１１７から取得する。
【００５１】
続いてステップＳ５０３において、カメラＭＰＵ１２５は、レンズ停止中にデフォーカス量を算出する。カメラＭＰＵ１２５は、逐次読み出されているフレーム画像データからＡＦ用の信号（焦点検出信号）を取得し、位相差焦点検出部１２９へ送る。位相差焦点検出部１２９は、対の信号（対の焦点検出信号）の相関量を算出する。また本実施形態において、位相差焦点検出部１２９は、相関演算の信頼性に基づいて、相関量のフレーム加算の必要性を判定し、フレーム加算を行う。そして位相差焦点検出部１２９は、得られた相関量から極小値をとる対の信号のシフト量を算出し、そのシフト量をデフォーカス量に換算する。この処理の詳細については、後述する。位相差焦点検出部１２９は、デフォーカス量をカメラＭＰＵ１２５に出力する。
【００５２】
続いてステップＳ５０４において、カメラＭＰＵ１２５は、ステップＳ５０３にて位相差焦点検出部１２９により算出されたデフォーカス量に基づいて、レンズ駆動量および駆動方向を算出（決定）する。カメラＭＰＵ１２５は、ステップＳ５０２にて取得したレンズ駆動敏感度に関する情報（レンズ情報）を用いて、デフォーカス量からレンズユニット１００のフォーカスレンズ１０４のレンズ駆動量を算出する。ただし、ステップＳ５０４では、レンズ駆動の指示がないため、カメラＭＰＵ１２５はレンズ駆動を行わない。この際、焦点検出結果が得られていない場合、カメラＭＰＵ１２５は、所定量のレンズ駆動を行うためのレンズ駆動量を算出する。
【００５３】
続いてステップＳ５０５において、カメラＭＰＵ１２５は、操作スイッチ群１２７などの操作により焦点検出開始の指示が入力されたか否かを判定する。焦点検出開始の指示が入力されていると判定された場合（Ｓｗ１オン）、ステップＳ５０６へ進む。一方、焦点検出開始の指示が入力されていないと判定された場合（Ｓｗ１オフ）、ステップＳ５０２へ戻り、デフォーカス量の算出（ステップＳ５０３）およびレンズ駆動量の算出（ステップＳ５０４）を繰り返す。
【００５４】
ステップＳ５０６において、カメラＭＰＵ１２５は、マウントＭを介して、レンズ駆動量および駆動方向に関する情報をレンズユニット１００のフォーカス駆動回路１１６に送信する。フォーカス駆動回路１１６は、受信したレンズ駆動量および駆動方向に関する情報に基づいて、フォーカスレンズ１０４の駆動を開始する。これにより、レンズユニット１００の焦点調節（フォーカス制御）が行われる。
【００５５】
続いてステップＳ５０７において、カメラＭＰＵ１２５は、レンズ駆動中のデフォーカス量を算出する。ステップＳ５０７におけるデフォーカス量の算出は、ステップＳ５０３と異なり、レンズ駆動中に行われる。このため、焦点検出信号の取得およびレンズ駆動指示の時間的な遅延の対処や、レンズ駆動量に応じたフレーム加算処理が必要となる。この処理の詳細については後述する。
【００５６】
続いてステップＳ５０８において、カメラＭＰＵ１２５は、合焦状態であるか否かを判定する。ステップＳ５０７にて算出されたデフォーカス量の絶対値が所定の値以下である場合、カメラＭＰＵ１２５は合焦状態であると判定し、ステップＳ５０９に進む。一方、算出されたデフォーカス量が所定の値よりも大きい場合、カメラＭＰＵ１２５は合焦状態でないと判定し、ステップＳ５１１に進む。
【００５７】
ステップＳ５１１において、カメラＭＰＵ１２５は、ステップＳ５０７にて算出されたデフォーカス量に基づいて、レンズ駆動量を更新する。この更新結果に基づいて、カメラＭＰＵ１２５は、マウントＭを介して、レンズ駆動量および駆動方向に関する情報をレンズユニット１００のフォーカス駆動回路１１６に送信する。フォーカス駆動回路１１６は、受信したレンズ駆動量および駆動方向に関する情報に基づいて、フォーカスレンズ１０４の駆動を継続する。ステップＳ５１１にてレンズ駆動量の更新が完了すると、ステップＳ５０７に戻り、カメラＭＰＵ１２５は、再度、レンズ駆動中のデフォーカス量を算出する。
【００５８】
ステップＳ５０９において、カメラＭＰＵ１２５は、マウントＭを介して、レンズ駆動の停止指示をレンズユニット１００のフォーカス駆動回路１１６に送信する。その後、ステップＳ５１０において、カメラＭＰＵ１２５は、表示器１２６に合焦表示を行い、焦点調節動作（フォーカス制御）を終了する。
【００５９】
次に、図９を参照して、レンズ停止中におけるデフォーカス量の算出（図８のステップＳ５０３）について説明する。図９は、レンズ停止中のデフォーカス量算出のフローチャートである。図９の各ステップは、主に、カメラＭＰＵ１２５、画像処理回路１２４、および、位相差焦点検出部１２９により実行される。
【００６０】
まず、ステップＳ５０３１において、カメラＭＰＵ１２５は、逐次読み出されているフレーム画像データにおける、焦点検出領域内の画素データから、ＡＦ用の像信号である第１焦点検出信号（Ａ像）と第２焦点検出信号（Ｂ像）を生成する。本実施形態では、カメラＭＰＵ１２５は、Ａ像およびＢ像を生成するように画像処理回路１２４に指示する。画像処理回路１２４は、カメラＭＰＵ１２５の指示に従い、Ａ像およびＢ像のそれぞれに対応する焦点検出信号を生成する。そして位相差焦点検出部１２９（取得手段１２９ａ）は、画像処理回路１２４により生成された焦点検出信号を取得する。
【００６１】
続いてステップＳ５０３２において、カメラＭＰＵ１２５は、焦点検出信号に対して補正処理を行う。カメラＭＰＵ１２５は、位相差焦点検出部１２９に送られたＡＦ用の像信号である第１焦点検出信号（Ａ像）および第２焦点検出信号（Ｂ像）に対して、ビネッティングの影響による光量の差の補正や固定パターンノイズなどの補正を行う。補正後の信号は、一時的に、ＲＡＭ１２５ｂに保持される。
【００６２】
続いてステップＳ５０３３において、位相差焦点検出部１２９は、第１焦点検出信号と第２焦点検出信号との相関量を算出する（相関演算を行う）。位相差焦点検出部１２９は、相関演算を行う際に、視野内データ数およびシフトデータ数を設定する。視野内データは、相関演算を行う際の窓に相当し、焦点検出を行う領域の広さを決定する。視野内データを大きくすると、より信頼性の高い相関演算結果が得られるが、距離の異なる被写体が同じ焦点検出領域内に存在する、いわゆる遠近競合が発生する頻度が高まる。このため、被写体の大きさや撮像光学系の焦点距離などの情報に基づいて、適切な大きさの焦点検出領域に相当する視野内データ数が設定される。シフトデータ数は、Ａ像とＢ像との位置関係をずらしながら相関量を評価する際の最大ずらし量に相当する。Ａ像とＢ像との位置関係のずらし量（最大ずらし量）を大きくすると、より大きなデフォーカス状態の被写体の焦点検出を行うことができる。一方、Ａ像とＢ像との位置関係のずらし量を大きくすることは、演算量の増加につながり、焦点検出演算の時間が長くなる。このため、ずらし量は、検出しようとするデフォーカス量と精度とに応じて、適切に設定されることが好ましい。
【００６３】
相関演算に用いる相関量ＣＯＲ（ｈ）は、例えば以下の式（１）のように算出することができる。
【００６４】
【数１】
2017106970.tif 000003
【００６５】
式（１）において、第１焦点検出信号（Ａ像）と第２焦点検出信号（Ｂ像）とを、それぞれＡ（ｋ）、Ｂ（ｋ）（１≦ｋ≦Ｐ）とする。Ｗ１は視野内データ数に相当し、ｈｍａｘはシフトデータ数に相当する。位相差焦点検出部１２９は、各シフト量ｈについての相関量ＣＯＲ（ｈ）を求めた後、Ａ像およびＢ像の相関が最も高くなるシフト量ｈ、すなわち、相関量ＣＯＲが最小となるシフト量ｈの値を求める。なお、相関量ＣＯＲ（ｈ）の算出時におけるシフト量ｈは整数である。ただし、相関量ＣＯＲ（ｈ）が最小となるシフト量ｈを求める場合、デフォーカス量の精度を向上させるため、適宜補間処理を行いサブピクセル単位の値（実数値）を求める。
【００６６】
次に、図１０を参照して、相関量と極小値との関係について説明する。図１０は、相関量と極小値との関係の説明図である。図１０（ａ）は、Ａ像およびＢ像の信号出力の例として、白部と黒部のエッジで構成された被写体をあるデフォーカス状態で取得した波形を示している。図１０（ａ）において、横軸は光学像と対応する撮像素子上の画素位置、縦軸を画素出力の大きさをそれぞれ示し、Ａ像信号をＳａ、Ｂ像信号をＳｂとしてそれぞれ示している。図１０（ａ）において、Ａ像信号ＳａとＢ像信号Ｓｂにおけるエッジ部が、それぞれＰ画素だけ互いにずれていることを示しており、このずれ量（Ｐ画素）がデフォーカス量と対応する。
【００６７】
図１０（ｂ）は、Ａ像信号ＳａおよびＢ像信号Ｓｂを用いて式（１）に基づいて算出された相関量ＣＯＲを示している。図１０（ｂ）において、横軸はシフト量（式（１）のシフト量ｈに対応）、縦軸は相関量ＣＯＲをそれぞれ示している。Ａ像信号ＳａおよびＢ像信号Ｓｂのそれぞれのエッジ部が互いにＰ画素だけずれていることと対応して、シフト量が−Ｐである場合に極小値をとる。前述のとおり、（シフト量−Ｐ）がデフォーカス量と対応するため、焦点検出を行うことができる。
【００６８】
続いて図９のステップＳ５０３３において、位相差焦点検出部１２９（算出手段１２９ｂ）は、相関量を算出するとともに、信頼性評価値を算出する。信頼性評価値は、前述の相関量の極小値が、精度よく算出可能な状況であるか否かを判定するための評価値である。例えば、相関量ＣＯＲの極小値が十分に小さく、Ａ像信号ＳａとＢ像信号Ｓｂとの一致度が高いか否かを示す値、相関量ＣＯＲの極小値近傍の相関量ＣＯＲの変化が大きいか否かを示す値などを評価値とする。また、Ａ像信号Ｓａ、Ｓｂのピークボトムを用いてもよい。
【００６９】
続いてステップＳ５０３４において、位相差焦点検出部１２９は、フレーム加算が必要か否かを判定する。フレーム加算は、算出された相関量ＣＯＲから極小値を精度よく検出することができない場合において、信号量を増やすために行う。ステップＳ５０３４では、ステップＳ５０３３にて算出された信頼性評価値を用いて、相関量ＣＯＲから精度よく極小値を検出することができると判定された場合、ステップＳ５０３９に進む。一方、精度よく極小値を検出することができないと判定された場合、ステップＳ５０３５に進む。
【００７０】
ステップＳ５０３５において、位相差焦点検出部１２９は、ＲＡＭ１２５ｂに記憶された相関量ＣＯＲが存在するか否かを確認し、相関量ＣＯＲが存在する場合にはそれを読み出す。そしてステップＳ５０３６において、位相差焦点検出部１２９（合算手段１２９ｃ）は、ＲＡＭ１２５ｂに記憶された相関量と、直前に取得した相関量とを加算する。相関量の加算に関して、フレーム加算の要否を判定した際に用いた信頼性評価値に基づいて加算枚数が予め設定される。相関量の加算は、以下の式（２）に従って算出される。
【００７１】
ＣＯＲ−Ｓ（ｈ）＝ＣＯＲ−Ｓ（ｈ）＋ＣＯＲＮ（ｈ）
（−ｈｍａｘ≦ｈ≦ｈｍａｘ）    …  （２）
式（２）において、ＣＯＲＮは、Ｎフレーム目の相関量、ＣＯＲ−Ｓは、加算後の相関量波形をそれぞれ示している。ステップＳ５０３５にて記憶された相関量ＣＯＲが存在しない場合、加算前のＣＯＲ−Ｓは初期値として０を代入すればよい。
【００７２】
続いてステップＳ５０３７において、位相差焦点検出部１２９は、所定枚数の加算が完了したか否かを判定する。加算が完了した場合、ステップＳ５０３９に進む。一方、加算が完了していない場合、ステップＳ５０３８に進み、位相差焦点検出部１２９は、加算済の相関量ＣＯＲを、ＲＡＭ１２５ｂに書き出す。
【００７３】
ステップＳ５０３９において、位相差焦点検出部１２９（相関演算手段１２９ｄ）は、相関量（相関量データ、相関量波形）の極小値を検出する。位相差焦点検出部１２９は、前述のように、公知のサブピクセル演算などを行い、精度よく極小値を検出する。ここでは、相関量ＣＯＲ１の差分値の符号が変化するシフト量ｄｈを、相関量ＣＯＲ１（ｈ）が最小となるシフト量ｈとして算出する。位相差焦点検出部１２９は、相関量の差分値ＤＣＯＲを、以下の式（３）に従って算出する。
【００７４】
ＤＣＯＲ（ｈ）＝ＣＯＲ（ｈ）−ＣＯＲ（ｈ−１）  …  （３）
そして、位相差焦点検出部１２９は、相関量の差分値ＤＣＯＲを用いて、差分量の符号が変化するシフト量ｄｈを求める。差分量の符号が変化する直前のシフト量ｈをｈ１、符号が変化したシフト量ｈをｈ２（ｈ２＝ｈ１＋１）とすると、位相差焦点検出部１２９は、シフト量ｄｈを、以下の式（４）に従って算出する。
【００７５】
ｄｈ＝ｈ１＋｜ＤＣＯＲ（ｈ１）｜／｜ＤＣＯＲ（ｈ１）−ＤＣＯＲ（ｈ２）｜    …  （４）
以上のようにして、位相差焦点検出部１２９（相関演算手段１２９ｄ）は、Ａ像とＢ像との相関が最大となるシフト量ｄｈをサブピクセル単位で算出し、ステップＳ５０３９の処理を完了する。そしてステップＳ５０４０において、カメラＭＰＵ１２５はデフォーカス量を算出する。なお、２つの１次元像信号の位相差を算出する方法は、前述の方法に限定されるものではなく、公知の任意の方法を用いることができる。
【００７６】
次に、図１１を参照して、ステップＳ５０３６にて行われる相関量信号の加算（相関量のフレーム加算）について説明する。図１１は、レンズ停止中の相関量のフレーム加算の説明図である。図１１（ａ）は、図１０（ａ）と同様に、Ａ像信号ＳａおよびＢ像信号Ｓｂを示している。図１０との違いは、コントラストが低い点である。一般に、コントラストが低い場合、信号のＳＮが劣化し、相関量から算出される極小値の検出の精度も劣化する。図１１（ｂ）は、図１０（ｂ）と同様に相関量を示す図である。ＣＯＲ１は１フレームで算出された相関量、ＣＯＲ１−２は２フレームの相関量（相関量の加算結果）、ＣＯＲ１−３は３フレームの相関量（相関量の加算結果）をそれぞれ示している。このように相関量を加算する（フレーム加算を行う）ことにより、相関量ＣＯＲ１では検出しにくい極小値と対応するシフト量を、相関量ＣＯＲ１−３においてはそのシフト量を高精度に検出することができる。また、レンズ停止中の相関量加算は、被写体が移動していなければ、極小値が出現するシフト量が一定である。このため、加算する相関量波形間で、対応するシフト量の調整などを行うことなく加算を行えば、フレーム加算の効果を得られる。
【００７７】
次に、図１２を参照して、レンズ駆動中におけるデフォーカス量の算出（図８のステップＳ５０７）について説明する。図１２は、レンズ駆動中のデフォーカス量算出のフローチャートである。図１２の各ステップは、主に、カメラＭＰＵ１２５、画像処理回路１２４、および、位相差焦点検出部１２９により実行される。
【００７８】
図１２のステップＳ５０７１〜Ｓ５０７４は、図９のステップＳ５０３１〜Ｓ５０３４とそれぞれ同じである。ステップＳ５０７４にてフレーム加算が必要であると判定された場合、ステップＳ５０７５に進む。一方、フレーム加算が不要であると判定された場合、ステップＳ５０８２に進む。
【００７９】
ステップＳ５０７５において、位相差焦点検出部１２９は、直前に得られているデフォーカス情報を取得する。デフォーカス情報は、デフォーカス方向とデフォーカス量とで構成される。続いてステップＳ５０７６において、位相差焦点検出部１２９は、フレームレート情報を取得する。フレームレート情報は、焦点検出信号を取得する時間間隔を得るために必要な情報である。
【００８０】
続いてステップＳ５０７７において、位相差焦点検出部１２９は、加算ずらし量（相関量データのシフト量）を算出する。加算ずらし量は、フレーム加算を行う相関量（相関量データ）間のオフセット量に相当する。レンズ駆動中に相関量を加算する場合、レンズ駆動によるデフォーカス状態の変化により極小値の位置が移動するため、各フレームで得られた相関量を、対応するオフセット量だけずらして加算する必要がある。
【００８１】
図１３および図１４を参照して、加算ずらし量について説明する。図１３は、レンズ駆動中に連続的に取得した焦点検出信号の波形を、図１０（ａ）と同様に示している。図１３（ａ）から、図１３（ｂ）、図１３（ｃ）と変化するに従い、２つの信号（Ａ像信号Ｓａ、Ｂ像信号Ｓｂ）の間隔がＰ１、Ｐ２、Ｐ３と小さくなる。これは、事前のデフォーカス情報からレンズ駆動を行い合焦状態に近づいている最中であることを示している。
【００８２】
一方、図１４は、図１３と対応するタイミングで得られる相関量を図１０（ｂ）と同様に示している。フレーム加算前であるため、極小値を高精度に検出することは難しいが、極小値と対応するシフト量は、Ｐ１、Ｐ２、Ｐ３と変化している。ここで、レンズ停止中と同様に、相関量の加算を行うと、極小値近傍の変化が小さくなり、極小値と対応するシフト量の検出精度がさらに劣化する。
【００８３】
そこで本実施形態において、位相差焦点検出部１２９（合算手段１２９ｃ）は、加算ずらし量を算出し、相関量の波形（相関量データ）を互いにずらして相関量を加算する。加算ずらし量は、レンズ駆動速度、フレームレート、および、デフォーカス方向に基づいて算出される。まず、位相差焦点検出部１２９は、デフォーカス方向からレンズ駆動に伴い相関量が極小値を示すシフト量の絶対値が小さくなるか否かを検出する。また、位相差焦点検出部１２９は、相関量（相関量データ、相関量信号）の検出の時間間隔とレンズ駆動速度とに基づいて、相関量を検出する間に、どの程度デフォーカス量が小さくなるか、換言すると、相関量が極小となるシフト量がどの程度変化するかを算出する。これらの情報に基づいて、加算ずらし量が決定する。
【００８４】
続いてステップＳ５０７８において、位相差焦点検出部１２９は、相関量信号を読み出す。続いてステップＳ５０７９において、位相差焦点検出部１２９は、相関量信号を加算し、合算相関量データを取得する。ここでは、前述の加算ずらし量を考慮した加算が行われる。相関量の加算は、以下の式（５）に従って算出される。
【００８５】
ＣＯＲ−Ｌ（ｈ）＝ＣＯＲ−Ｓ（ｈ）＋ＣＯＲＮ（ｈ−ｐ）
（−ｈｍａｘ＋ｐ≦ｈ≦ｈｍａｘ）  …  （５）
式（５）において、ＣＯＲＮは、Ｎフレーム目の相関量、ＣＯＲ−Ｌは、加算後の相関量波形をそれぞれ示している。ステップＳ５０７８にて記憶された相関量ＣＯＲが存在しない場合、加算前のＣＯＲ−Ｌの初期値として０を代入すればよい。ｐは、加算ずらし量に相当する。加算ずらし量に伴い、有効なシフト量ｈの範囲は狭くなる。ｐの符号により、有効なシフト量ｈの範囲の狭まり方は異なる。
【００８６】
図１５は、加算ずらし量を補正した後の相関量を示している。図１４（ａ）の相関量ＣＯＲ１を（Ｐ３−Ｐ１）画素分だけオフセットした信号と、図１４（ｂ）の相関量ＣＯＲ２を（Ｐ３−Ｐ２）画素分だけオフセットした信号とを順次加算する様子が示される。ここでは、図１４（ｃ）の相関量ＣＯＲ３と等しいＣＯＲＬ１が、ＣＯＲＬ１−２、ＣＯＲＬ１−３と加算されている。このように、加算ずらし量を考慮して相関量を加算することにより、レンズ停止中と同様に、極小値を高精度に検出することができる。例えば、図１５に示されるように加算を行う場合、２フレーム目の加算では、式（５）のｐとして、２フレーム目と３フレーム目のシフト量の差Ｐ３−Ｐ２に相当する加算ずらし量を設定する。相関量加算後の処理（ステップＳ５０８０〜ＳＳ５０８３）は、図９のステップＳ５０３７〜Ｓ５０４０と同様のため、それらの説明を省略する。
【００８７】
このように本実施形態において、好ましくは、合算手段１２９ｃは、（異なる時刻間の）デフォーカス状態の変化に応じて、相関量データを相対的にシフトさせる。より好ましくは、合算手段１２９ｃは、デフォーカス状態の変化に伴う相関量データの極小値のシフト量に応じて、相関量データを相対的にシフトさせる。より好ましくは、合算手段１２９ｃは、極小値のシフト量を低減するように、相関量データを相対的にシフトさせる。また好ましくは、合算手段１２９ｃは、デフォーカス状態の変化量が所定量よりも小さい場合、相関量データを相対的にシフトさせない。好ましくは、合算手段１２９ｃは、撮像光学系に含まれるフォーカスレンズの駆動中に、合算相関量データを生成する。より好ましくは、合算手段１２９ｃは、フォーカスレンズの駆動量に応じて、相関量データを相対的にシフトさせる。
【００８８】
以上のように、本実施形態は、射出瞳のうち互いに異なる領域からの出射光を受光する光電変換部の出力信号を用いて焦点検出を行う制御装置を対象とする。このような構成の制御装置において、焦点検出するべき被写体のパターンや、焦点調節時の被写体のデフォーカス状態の変化に依存せず、高精度かつ高速なフォーカス制御を実現することができる。
【００８９】
本実施形態において、レンズ駆動中とレンズ停止中の相関量のフレーム加算の方法が異なる。これにより、レンズ停止中には、演算負荷を低減しつつフレーム加算による高精度な焦点検出を行うことができる。一方、レンズ駆動中には、フレーム間のレンズ駆動量とデフォーカス方向の情報とから算出される加算ずらし量を用いて、フレーム加算を行う。この際に使用されるレンズ駆動量やデフォーカス方向は、レンズ停止中のフレーム加算により得られるため、精度よく加算ずらし量を算出することができる。
【００９０】
また本実施形態において、レンズ停止中のみ、加算ずらし量を設定せずに、相関量のフレーム加算を行うように構成されるが、加算ずらし量を用いずにフレーム加算を行う条件はこれに限定されるものではない。例えば、レンズ駆動量（レンズ位置の変化）に閾値を設け、所定の閾値以下の駆動量の場合には、加算ずらし量（オフセット量）を０として、フレーム加算を行えばよい。
【００９１】
（変形例）
前述の実施形態では、フレーム間のレンズ駆動量とデフォーカス方向の情報とに基づいて加算ずらし量を算出し、レンズ駆動中のフレーム加算を行うが、加算ずらし量の算出方法はこれに限定されるものではない。レンズ駆動中の焦点検出を高精度に行うように極小値の位置合わせを行い、レンズ駆動中の相関量のフレーム加算を行うことができればよい。例えば、加算ずらし量の算出方法として、前述の実施形態にて説明した相関演算を用いる方法が考えられる。
【００９２】
前述の相関演算は、デフォーカス量算出のため、Ａ像とＢ像の焦点検出信号を用いているが、同様に、Ｎフレーム目の相関量波形とＮ＋１フレーム目の相関量波形を用いて相関演算を行えばよい。ここで得られる相関量波形の極小値と対応するシフト量（オフセット量）が、加算ずらし量に相当する。また、各フレームの相関量波形を用いて相関演算を行うことができる。また、一方はＮフレーム目までの加算後の相関量波形、他方は新たに加算するＮ＋１フレーム目の相関量波形を用いてもよい。また、相関量波形間で相関演算を行う場合、レンズの駆動中または停止中によらず同様の処理を行ってもよい。これにより演算負荷は増大するが、アルゴリズムの簡略化が図られる。
【００９３】
このように本変形例において、合算手段１２９ｃは、順次算出された相関量データ（相関量波形）の変化特性に基づいて、相関量データを相対的にシフトさせる。好ましくは、合算手段１２９ｃは、相関量データの変化特性に基づいて変化特性の位置ずれ量を算出し、位置ずれ量を用いて相関量データを相対的にシフトさせる。
【００９４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００９５】
本実施形態は、撮像光学系の射出瞳のうち互いに異なる領域を通過する光束を受光する光電変換部の出力信号を用いて焦点検出を行う制御装置に関し、被写体のパターンや被写体のデフォーカス状態の変化による影響を低減することができる。このため本実施形態によれば、高精度かつ高速な焦点調節が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。
【００９６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００９７】
本実施形態において、合算手段１２９ｃは、相関量データを相対的にシフトさせて加算することにより合算相関量データを生成するが、これに限定されるものではない。例えば、合算手段１２９ｃは、相関量データを相対的にシフトさせて平均化処理を行うことにより合算相関量データを生成するように構成してもよい。
【符号の説明】
【００９８】
１２９    位相差焦点検出部（制御装置）
１２９ａ  取得手段
１２９ｂ  算出手段
１２９ｃ  合算手段
１２９ｄ  相関演算手段
【図１】
2017106970.tif 000004
【図２】
2017106970.tif 000005
【図３】
2017106970.tif 000006
【図４】
2017106970.tif 000007
【図５】
2017106970.tif 000008
【図６】
2017106970.tif 000009
【図７】
2017106970.tif 000010
【図８】
2017106970.tif 000011
【図９】
2017106970.tif 000012
【図１０】
2017106970.tif 000013
【図１１】
2017106970.tif 000014
【図１２】
2017106970.tif 000015
【図１３】
2017106970.tif 000016
【図１４】
2017106970.tif 000017
【図１５】
2017106970.tif 000018