(57)【要約】【課題】高精度なフォーカス位置調整をより高速に行うことを可能にする。【解決手段】撮像装置は、撮影光学系の互いに異なる瞳領域を通過する光束を受光する複数の画素を備え、光学像を光電変換して画像データを得る撮像素子と、画像データを処理して複数の画像を生成可能な画像処理手段と、位相差方式による合焦制御を行う合焦制御手段と、合焦制御手段による合焦制御後のフォーカス位置において、複数の画像を用いてデフォーカス量を算出するデフォーカス量算出手段と、デフォーカス量に基づいてフォーカス位置を調整する調整手段とを有する。【選択図】図１
2015121778.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系の互いに異なる瞳領域を通過する光束を受光する複数の画素を備え、光学像を光電変換して画像データを得る撮像素子と、
前記画像データを処理して複数の画像を生成可能な画像処理手段と、
位相差方式による合焦制御を行う合焦制御手段と、
前記合焦制御手段による合焦制御後のフォーカス位置において、前記複数の画像を用いてデフォーカス量を算出するデフォーカス量算出手段と、
前記デフォーカス量に基づいて前記フォーカス位置を調整する調整手段と、を有することを特徴とする撮像装置。
【請求項２】
前記調整手段により調整されたフォーカス位置の調整量を記憶する記憶手段を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像装置のモードが前記フォーカス位置の調整を行う調整モードに設定されているか否かを判定する判定手段を更に有し、
前記調整モードに設定されている場合、前記調整手段は前記フォーカス位置を調整することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記合焦制御手段は、前記調整手段により調整された前記フォーカス位置の調整量を用いて前記位相差方式による前記合焦制御を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記調整量の有効または無効を設定する設定手段を更に有し、
前記設定手段により前記調整量が有効に設定されている場合、前記合焦制御手段は、該調整量を用いて前記合焦制御を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記複数の画素は、それぞれ、前記撮影光学系の互いに異なる前記瞳領域を通過する前記光束を受光する複数の副画素を含むことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記画像データは、ライトフィールドデータであり、
前記複数の画像は、前記ライトフィールドデータから得られる複数の視差画像であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記デフォーカス量算出手段は、前記複数の画像の像ずれ量に基づいて前記デフォーカス量を算出することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記複数の画像のコントラスト値を算出可能なコントラスト値算出手段を更に有し、
前記デフォーカス量算出手段は、前記コントラスト値が最大となる像ずれ量に基づいて前記デフォーカス量を算出することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記コントラスト値は、リフォーカス信号のコントラスト値であり、
前記デフォーカス量算出手段は、前記コントラスト値に基づいて撮像信号のＭＴＦピーク位置を推定して前記デフォーカス量を算出することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記画像処理手段は、前記複数の副画素の全ての信号を加算することにより撮影画像を生成することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
撮影光学系を備えたレンズ装置と、
請求項１乃至１１のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
【請求項１３】
前記レンズ装置は、前記撮像装置に着脱可能に構成されていることを特徴とする請求項１２に記載の撮像システム。
【請求項１４】
撮影光学系の互いに異なる瞳領域を通過する光束を受光する複数の画素を用いて、光学像を光電変換して画像データを得るステップと、
前記画像データを処理して複数の画像を生成するステップと、
位相差方式による合焦制御を行うステップと、
前記位相差方式による合焦制御後のフォーカス位置において、前記複数の画像を用いてデフォーカス量を算出するステップと、
前記デフォーカス量に基づいて前記フォーカス位置を調整するステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１５】
前記フォーカス位置の調整量を記憶するステップを更に有することを特徴とする請求項１４に記載の撮像装置の制御方法。
【請求項１６】
コンピュータに、請求項１４または１５に記載の撮像装置の制御方法を実行させるように構成されていることを特徴とするプログラム。
【請求項１７】
請求項１６に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカス位置を調整可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、工場出荷時の校正工程において設定された調整値を使用者が自由に補正可能な自動焦点調整装置が開示されている（マイクロアジャストメント）。特許文献２には、位相差検出方式による第１の合焦位置とコントラスト検出方式による第２の合焦位置との差から算出される補正量を用いて第１の合焦位置を補正する撮像装置が開示されている。
【０００３】
また、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が知られている。リフォーカス技術は、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することにより実施される。特許文献３には、１つの画素に対して１つのマイクロレンズおよび分割された複数の光電変換部を備えた撮像素子が開示されている。分割された複数の光電変換部で受光したそれぞれの信号を用いて、互いに異なる瞳領域に応じた複数の視差画像を生成することができる。特許文献４には、分割された複数の光電変換部で受光した全ての信号を加算して撮像画像を生成する撮像装置が開示されている。
【０００４】
撮影された複数の視差画像は、光強度の空間分布および角度分布情報であるＬｉｇｈｔ  Ｆｉｅｌｄ（ＬＦ）データと等価である。非特許文献１には、ＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することにより、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１７４６９０号公報
【特許文献２】特開２０１２−２２６１８４号公報
【特許文献３】米国特許第４４１０８０４号
【特許文献４】特開２００１−０８３４０７号公報
【非特許文献】
【０００６】
【非特許文献１】Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−０２，１（２００５）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、コントラスト検出方式を用いてフォーカス位置を検出する特許文献２の構成では、撮影レンズを駆動しながらフォーカス位置およびコントラスト値をサンプリングする必要があり、処理に時間を要する。特に、フォーカス位置の調整（キャリブレーション）を行う際には高精度のフォーカス位置が必要であるため、コントラスト検出方式では処理に時間がかかってしまう。
【０００８】
そこで本発明は、高精度なフォーカス位置調整をより高速に行うことを可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一側面としての撮像装置は、撮影光学系の互いに異なる瞳領域を通過する光束を受光する複数の画素を備え、光学像を光電変換して画像データを得る撮像素子と、前記画像データを処理して複数の画像を生成可能な画像処理手段と、位相差方式による合焦制御を行う合焦制御手段と、前記合焦制御手段による合焦制御後のフォーカス位置において、前記複数の画像を用いてデフォーカス量を算出するデフォーカス量算出手段と、前記デフォーカス量に基づいて前記フォーカス位置を調整する調整手段とを有する。
【００１０】
本発明の他の側面としての撮像システムは、撮影光学系を備えたレンズ装置と、前記撮像装置とを有する。
【００１１】
本発明の他の側面としての撮像装置の制御方法は、撮影光学系の互いに異なる瞳領域を通過する光束を受光する複数の画素を用いて、光学像を光電変換して画像データを得るステップと、前記画像データを処理して複数の画像を生成するステップと、位相差方式による合焦制御を行うステップと、前記位相差方式による合焦制御後のフォーカス位置において、前記複数の画像を用いてデフォーカス量を算出するステップと、前記デフォーカス量に基づいて前記フォーカス位置を調整するステップとを有する。
【００１２】
本発明の他の側面としてのプログラムは、コンピュータに、前記撮像装置の制御方法を実行させる。
【００１３】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１４】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１５】
本発明によれば、高精度なフォーカス位置調整をより高速に行うことが可能になる。
【図面の簡単な説明】
【００１６】
【図１】本実施例における撮像システムの概略構成図である。
【図２】本実施例における撮像素子の画素配列図である。
【図３】本実施例における撮像素子の画素構造図である。
【図４】本実施例における画素構造と光学的に等価な画素構造の説明図である。
【図５】本実施例における画素と瞳分割との関係を示す図である。
【図６】本実施例における撮像素子と瞳分割との関係を示す図である。
【図７】本実施例における視差画像間の像ずれ量とデフォーカス量との関係を示す図である。
【図８】本実施例における撮像システムの制御方法を示すフローチャートである。
【図９】本実施例において、撮像素子により取得された第１の焦点検出信号および第２の焦点検出信号による１次元方向のリフォーカス処理の説明図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
【００１８】
まず、図１を参照して、本実施例における撮像システムの構成について説明する。図１は、本実施例における撮像システム１００の概略構成図であり、デジタル一眼レフカメラ（ミラーダウン状態）の断面図を示している。
【００１９】
１は、カメラ本体（撮像装置本体）である。後述のレンズ装置３（交換レンズ）は、マウント２を介してカメラ本体１に装着される。マウント２は、カメラ本体１とレンズ装置３との間で各種の信号を通信し、またカメラ本体１からレンズ装置３へ駆動電源を供給するためのインターフェイス部であるマウント接点２ａを複数有する。
【００２０】
レンズ装置（交換レンズ）３は、カメラ本体１に着脱可能である。レンズ装置３は、フォーカスレンズ群３ａおよびズームレンズ群３ｂなどを備えて構成される撮影光学系を有する。フォーカスレンズ群３ａおよびズームレンズ群３ｂの各レンズ群は、便宜上、１枚のレンズで構成されるように示されているが、実際には複数のレンズを組み合わせて構成されてもよい。また各レンズ群は、その全てまたは一部のレンズを光軸ＯＡの方向（光軸方向）に移動させることにより、焦点距離を変化させ（ズーム動作）、または、フォーカス動作を行うことができる。フォーカスレンズ群３ａの位置（フォーカスレンズの位置）は、撮影者が操作部材である電子リング（不図示）を操作することにより調整可能である。
【００２１】
レンズ制御部４は、レンズ装置３の全体の制御を司るレンズＣＰＵ（レンズマイコン）などを備えて構成される。
【００２２】
主ミラー５は、カメラ本体１の動作状態に応じて回動可能に構成されている。すなわち主ミラー５は、被写体をファインダーで観察する際には、撮影光路中に斜設され（ミラーダウン）、レンズ装置３（撮影光学系）からの光束を折り曲げて後述のファインダー光学系へ導く。一方、露光の際には、主ミラー５は撮影光路から退避して（ミラーアップ）、レンズ装置３からの光束を後述の撮像素子８へ導く。サブミラー６は、ハーフミラーで構成されており、主ミラー５とともに回動する。主ミラー５が撮影光路へ斜設されている場合、サブミラー６は、主ミラー５を透過した光束を折り曲げて後述の焦点検出装置９へ導く。
【００２３】
７はシャッタである。撮像素子８は、２次元ＣＭＯＳフォトセンサと周辺回路を備えて構成される。撮像素子８は、撮影光学系（結像光学系）の結像面に配置されており、被写体像（光学像）を光電変換して画像データを生成する。後述のように、撮像素子８は、撮影光学系の互いに異なる瞳領域を通過する光束を受光する複数の画素を備えている。また複数の画素は、それぞれ、撮影光学系の互いに異なる瞳領域を通過する光束を受光する複数の副画素を含む。１８は画像処理部（画像処理手段）である。画像処理部１８は、撮像素子８からの画像データを処理して複数の画像（リフォーカス画像）を生成可能である。９は焦点検出装置である。焦点検出装置９は、不図示のエリアセンサなどを備えて構成されており、合焦位置を判定する信号（焦点検出信号）を出力する。焦点検出装置９から出力される一対の像信号を用いて、カメラ制御部１０で位相差演算を行い、周知の位相差検出方式による焦点検出が実行可能される。
【００２４】
カメラ制御部１０は、カメラ本体１の全体の制御を司るカメラＣＰＵ（カメラマイコン）などを備えて構成される。カメラ制御部１０は、合焦制御手段１０ａ、デフォーカス量算出手段１０ｂ、調整手段１０ｃ、判定手段１０ｄ、および、コントラスト値算出手段１０ｅを有する。
【００２５】
合焦制御手段１０ａは、焦点検出装置９から出力される一対の像信号の位相差に基づいて焦点検出を行った結果、フォーカスレンズが合焦範囲に位置しているか否か（合焦位置にあるか否か）を判定する。すなわち合焦制御手段１０ａは、焦点検出装置９からの出力信号（焦点検出信号）を用いてレンズ装置３（撮影光学系）のフォーカスレンズ位置を制御する（位相差方式による合焦制御を行う）。デフォーカス量算出手段１０ｂは、合焦制御手段１０ａによる合焦制御後のフォーカス位置において、画像処理部１８により生成された複数の画像（リフォーカス画像）を用いてデフォーカス量を算出する。より具体的には、後述のように、デフォーカス量算出手段１０ｂは、複数の画像の像ずれ量に基づいてデフォーカス量を算出する。調整手段１０ｃは、デフォーカス量算出手段１０ｂにより算出されたデフォーカス量に基づいてフォーカス位置を調整する。なお、デフォーカス量の算出およびフォーカス位置の調整については追って詳述する。
【００２６】
判定手段１０ｄは、カメラ本体１のモードがフォーカス位置の調整を行う調整モード（キャリブレーションモード）に設定されているか否かを判定する。本実施例において、カメラ本体１のモードが調整モードに設定されている場合、調整手段１０ｃはフォーカス位置を調整する。コントラスト値算出手段１０ｅは、撮像素子８からの出力信号（画像データ）に基づいてコントラスト方式による焦点検出を行い、レンズ装置３のフォーカスレンズが合焦位置にあるか否かを判定する。このようにコントラスト値算出手段１０ｅは、画像処理部１８により生成された複数の画像（リフォーカス画像）のコントラスト値（コントラスト評価値）を算出可能である。そしてデフォーカス量算出手段１０ｂは、複数の画像の像ずれ量に基づいてデフォーカス量を算出する。より具体的には、コントラスト値算出手段１０ｅは、撮像素子８からの出力信号に基づいて生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出する。そしてデフォーカス量算出手段１０ｂは、算出されたコントラスト評価値に基づいて撮像信号（撮像素子８からの出力信号）のＭＴＦピーク位置を決定（推定）し、デフォーカス量を算出する。ここで、ＭＴＦピーク位置とは、光学伝達関数ＯＴＦの絶対値であるＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）がピーク値をとる位置である。
【００２７】
記憶手段１６は、調整手段１０ｃにより調整されたフォーカス位置の調整量を記憶する。好ましくは、合焦制御手段１０ａは、キャリブレーションモード時に記憶手段１６に記憶されたフォーカス位置の調整量を用いて位相差検出方式による合焦制御を行う。設定手段１７は、フォーカス位置の調整量の有効または無効を設定するための、メニューやスイッチなどの操作部である。好ましくは、設定手段１７により調整量が有効に設定されている場合、合焦制御手段１０ａは、調整量を用いて合焦制御を行う。
【００２８】
ピント板１１は、レンズ装置３（撮影光学系）の一次結像面に配置されている。ピント板１１において、光束の入射面にはフレネルレンズ（集光レンズ）が設けられており、光束の射出面には被写体像（ファインダー像）が結像している。１２は、ファインダー光路変更用のペンタプリズムである。ペンタプリズム１２は、ピント板１１の射出面に結像した被写体像を正立正像に補正する。１３、１４は接眼レンズである。なお、ピント板１１、ペンタプリズム１２、および、接眼レンズ１３、１４によりファインダー光学系が構成される。１５は、撮影した画像などを表示する液晶モニタ（表示手段）である。
【００２９】
なお、本実施例の撮像システム１００は、カメラ本体１とカメラ本体１に着脱可能なレンズ装置３とを備えて構成されるが、これに限定されるものではない。本実施例は、必要に応じて、カメラ本体とレンズ装置とが一体的に構成された撮像システム（撮像装置）にも適用可能である。
【００３０】
続いて、図２を参照して、本実施例における撮像素子８の画素配列について説明する。図２は、撮像素子８の画素配列図（副画素配列図）である。図２は、本実施例の撮像素子８（２次元ＣＭＯＳセンサ）の画素配列を４行×４列画素の範囲で、また、副画素配列を１６行×１６列副画素の範囲でそれぞれ示している。撮像素子８は、図２に示されるように多数の４行×４列画素（１６行×１６列副画素）を面上に配置することにより、画像を取得することができる。本実施例では、画素周期ΔＸが９．２μｍ、有効画素数ＮＬＦが横３９００列×縦２６００行＝１０１４万画素（副画素周期Δｘが２．３μｍ、有効副画素数Ｎが横１５６００列×縦１０４００行＝約１６２００万画素）の撮像素子８に関して説明する。
【００３１】
図２において、２行×２列の画素群２００は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の分光感度をそれぞれ有する画素２００Ｒ、２００Ｇ、２００Ｂを含む。画素２００Ｒは、画素群２００の左上に配置されている。画素２００Ｇは、画素群２００の右上および左下に配置されている。画素２００Ｂは、画素群２００の右下に配置されている。画素群２００の各画素は、Ｎθ×Ｎθ（本実施例では４行×４列）の副画素２０１〜２１６が２次元的に配列されている。
【００３２】
続いて、図３を参照して、撮像素子８の画素（画素２００Ｇ）の構造について説明する。図３は、撮像素子８の画素２００Ｇの構造図である。図３（ａ）は、画素２００Ｇを撮像素子８の受光面側（＋ｚ側）から見た平面図、図３（ｂ）は図３（ａ）中のａ−ａ断面を−ｙ側から見た断面図である。なお、他の各画素も基本的には同様の構造を有する。
【００３３】
図３に示されるように、本実施例の画素２００Ｇにおいて、画素の受光側に入射光を集光するためのマイクロレンズ３５０が形成されている。また画素２００Ｇには、ｘ方向にＮθ分割（４分割）、ｙ方向にＮθ分割（４分割）された光電変換部３０１〜３１６が設けられている。光電変換部３０１〜３１６は、図２を参照して説明した副画素２０１〜２１６にそれぞれ対応している。光電変換部３０１〜３１６は、ｐ型層とｎ型層との間に、イントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成することができる。また、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。
【００３４】
画素２００Ｇにおいて、マイクロレンズ３５０と光電変換部３０１〜３１６との間に、カラーフィルタ３６０が設けられている。また、必要に応じて、副画素ごとにカラーフィルタの分光透過率を変えることができる。または、カラーフィルタを省略してもよい。画素２００Ｇに入射した光は、マイクロレンズ３５０により集光され、カラーフィルタ３６０で分光されたのち、光電変換部３０１〜３１６で受光される。光電変換部３０１〜３１６では、受光量に応じて電子とホールとが対生成され、これらは空乏層で分離される。その後、負電荷の電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子８の外部へ排出される。
【００３５】
図３（ａ）、（ｂ）に示されるように、本実施例のマイクロレンズ３５０は、Ｎθ個（４個）のサブマイクロレンズ３５１〜３５４から構成される。サブマイクロレンズ３５１〜３５４において、各サブマイクロレンズの光軸（頂点）は互いに異なる方向に偏心しており、隣接するサブマイクロレンズは互いに線接触するように構成されている。図３（ｂ）中の破線（上下方向の直線）は、サブマイクロレンズ３５３、３５４の光軸（頂点）を示している。また、Ｎθ×Ｎθ分割（４×４分割）された光電変換部３０１〜３１６に隣接して、静電容量部３２０（ＦＤ）が配置されている。また、マイクロレンズ３５０と静電容量部３２０（ＦＤ）との間に、遮光層としても機能する配線層３４０が形成されている。静電容量部３２０（ＦＤ）は、マイクロレンズ３５０により集光された光が入射しない領域に、光電変換部３０１〜３１６に隣接して配置されている。
【００３６】
図４は、本実施例における画素構造と光学的に等価な画素構造の説明図である。図４（ａ）は、図３に示されるように、光軸（頂点）が互いに偏心している複数のサブマイクロレンズからなるマイクロレンズ、および、複数に分割された光電変換部を備えて構成される本実施例の画素構造の断面図および平面図を示している。図４（ｂ）は、本実施例の画素構造と光学的に略等価な画素構造の断面図および平面図を示している。図４（ａ）に示される本実施例の画素構造を、マイクロレンズを構成する各サブマイクロレンズの光軸（頂点）が全て重なり合うように再構成すると、図４（ｂ）に示されるような光学的に略等価な画素構造となる。画素中央部の光電変換部３０６、３０７、３１０、３１１の間の分離帯や静電容量部３２０（ＦＤ）、遮光層を兼ねた配線層３４０の領域の影響を光学的に抑制することができる。
【００３７】
ここで図５を参照して、図４（ｂ）に示した本実施例の画素構造と光学的に略等価であって、画素中央部の分離帯および配線層を除去した画素構造の光電変換部と瞳分割との対応関係について説明する。図５は、本実施例における画素と瞳分割との関係を示す図である。図５は、図４（ｂ）に示される本実施例の画素構造と光学的に略等価な画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図５において、射出瞳面の座標軸と対応させるため、断面図のｘ軸、ｙ軸を、図３および図４のｘ軸、ｙ軸に対してそれぞれ反転させている。
【００３８】
撮像素子８は、レンズ装置３（結像光学系）の結像面の近傍に配置されている。被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。瞳部分領域５０１〜５１６（互いに異なる瞳領域）は、Ｎθ×Ｎθ分割（４×４分割）された光電変換部３０１〜３１６（副画素２０１〜２１６）の受光面とマイクロレンズとにより、略共役関係を有し、光電変換部（副画素）ごとに受光可能である。また、瞳領域５００は、Ｎθ×Ｎθ分割（４×４分割）された光電変換部３０１〜３１６（副画素２０１〜２１６）を全て合わせた場合における画素２００Ｇの全体で受光可能な瞳領域である。瞳距離は数１０ｍｍであるのに対し、マイクロレンズ３５０の直径は数μｍである。このため、マイクロレンズ３５０の絞り値は数万となり、数１０ｍｍレベルの回折ボケが生じる。このため、光電変換部の受光面の像は、明瞭な瞳領域や瞳部分領域とはならず、瞳強度分布（受光率の入射角分布）となる。
【００３９】
続いて、図６を参照して、本実施例の撮像素子８と瞳分割との対応関係について説明する。図６は、撮像素子８と瞳分割との関係を示す図である。瞳部分領域５０１〜５１６（互いに異なる瞳部分領域）を通過した光束は、撮像素子８の各画素に、それぞれ、互いに異なる角度で入射する。そして、これらの入射光は、Ｎθ×Ｎθ分割（４×４分割）された光電変換部３０１〜３１６（副画素２０１〜２１６）によりそれぞれ受光される。このような構成により、本実施例の撮像素子８は、光強度の空間分布および角度分布に関する情報を含む画像データ（ライトフィールドデータ：ＬＦデータ）を取得することができる。すなわち画像データ（ＬＦデータ）は、結像光学系の互いに異なる瞳領域（瞳部分領域）を通過する光束を受光する複数の副画素を含む画素を複数配列した撮像素子８により取得される。
【００４０】
本実施例において、副画素２０１〜２１６（光電変換部３０１〜３１６）の中から、ＬＦデータ（画像データ）に含まれる特定の副画素の信号を画素ごとに選択する。これにより、レンズ装置３（結像光学系）の瞳部分領域５０１〜５１６の中の特定の瞳部分領域に対応する視差画像（複数の画像）を得ることができる。このように複数の画像は、ＬＦデータ（画像データ）から得られる複数の視差画像であり、画像処理部１８からカメラ制御部１０へ出力される。
【００４１】
例えば、画素ごとに、副画素２０９（光電変換部３０９）の信号を選択することにより、カメラ制御部１０は、結像光学系の瞳部分領域５０９に対応する有効画素数の解像度の視差画像を得ることができる。他の副画素に関しても同様である。このため本実施例において、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子を備え、異なる瞳部分領域ごとの複数（瞳分割数Ｎｐ＝Ｎθ×Ｎθ）の視差画像を取得することが可能である。また画像処理部１８は、画素ごとに、副画素２０１〜２１６の全ての信号を加算することにより、有効画素数の解像度を有する撮影画像を生成することができる。
【００４２】
［デフォーカス量と像ずれ量との関係］
次に、図７を参照して、本実施例におけるＬＦデータ（画像データ）のデフォーカス量と像ずれ量との関係について説明する。図７は、視差画像間の像ずれ量とデフォーカス量との関係を示す図である。図７において、撮像面８００には本実施例の撮像素子（不図示）が配置されている。また、図５および図６と同様に、結像光学系の射出瞳は、瞳部分領域５０１〜５１６にＮｐ分割（本実施例では１６分割）されている。
【００４３】
デフォーカス量ｄは、大きさと方向（符号）を用いて定義される。すなわちデフォーカス量の大きさ｜ｄ｜は、被写体の結像面８０３（結像位置）と撮像面８００との間の距離として定義される。デフォーカス量ｄの方向（符号）は、被写体の結像位置が撮像面８００よりも被写体側である前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面８００よりも被写体の反対側である後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面８００にある合焦状態は、ｄ＝０である。図７において、被写体８０１は合焦状態（ｄ＝０）の場合を示している。また、被写体８０２は前ピン状態（ｄ＜０）の場合を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを合わせて、デフォーカス状態、すなわち非合焦状態（｜ｄ｜＞０）という。
【００４４】
前ピン状態（ｄ＜０）では、被写体８０２から瞳部分領域５０９（５０１〜５１６）を通過した光束は、一度、集光した後、光束の重心位置Ｇ０９（Ｇ０１〜Ｇ１６）を中心として幅Γ０９（Γ０１〜Γ１６）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子８に配列された各画素を構成する副画素２０９（２０１〜２１６）により受光され、視差画像が生成される。このため、副画素２０９（２０１〜２１６）の信号から生成される視差画像は、重心位置Ｇ０９（Ｇ０１〜Ｇ１６）に、被写体８０２が幅Γ０９（Γ０１〜Γ１６）にボケた被写体像として記録される。被写体像のボケ幅Γ０９（Γ０１〜Γ１６）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加していく。同様に、それぞれの視差画像間の被写体像の像ずれ量ｐ（光束の重心位置の差：例えば、Ｇ０９−Ｇ１２など）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加していく。後ピン状態（ｄ＞０）においても、視差画像間の被写体像の像ずれ方向が前ピン状態と反対となることを除いて同様である。合焦状態（ｄ＝０）では、視差画像間の被写体像の重心位置が一致（ｐ＝０）し、像ずれは生じない。
【００４５】
このように、本実施例のＬＦデータ（画像データ）においては、ＬＦデータ（画像データ）のデフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、ＬＦデータ（画像データ）から異なる瞳部分領域ごとに生成される複数の視差画像間の像ずれ量の大きさが増加する。
【００４６】
本実施例では、ＬＦデータ（画像データ）のデフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、視差画像間の像ずれ量の大きさが増加する関係性を用いる。本実施例では、ＬＦデータ（画像データ）を利用して複数の視差画素における像をずらしながら、所定の焦点検出領域から得られるコントラスト値の最大値となる像ずれ量に基づいて、デフォーカス量ｄを算出する。
【００４７】
デフォーカス量算出手段１０ｂに必要なコントラスト値の最大値となる像ずれ量の検出は、画像処理部１８にて行われる。このため本実施例によれば、コントラストＡＦのように実際に撮影レンズを動作させながらコントラスト値をサンプリングしながら取得する方式と比較して、高速な焦点検出が可能となる。
【００４８】
次に、図８を参照して、本実施例における撮像システム１００（撮像装置）の制御方法（合焦制御方法）について説明する。図８は、撮像システムの制御方法を示すフローチャートである。図８の各ステップは、主に、カメラ本体１のカメラ制御部１０の指令に基づいて実行される。
【００４９】
まずステップＳ８０１において、カメラ制御部１０（判定手段１０ｄ）は、カメラ本体１のモードがキャリブレーションモードに設定されているか否かを判定する。キャリブレーションモードに設定されている場合、ステップＳ８０２に進む。一方、キャリブレーションモードに設定されていない場合、ステップＳ８０７に進む。
【００５０】
キャリブレーションモードに設定されている場合、ステップＳ８０２において、カメラ制御部１０は、ユーザによりＡＦ開始釦が操作されたか否かを判定する。カメラ制御部１０は、ＡＦ開始釦が操作されるまで、ステップＳ８０２を繰り返す。一方、カメラ制御部１０は、ユーザがキャリブレーションを実行しようとする被写体を焦点検出領域に捉えた状態でＡＦ開始釦が操作されたと判定した場合、ステップＳ８０３に進む。
【００５１】
ステップＳ８０３において、カメラ制御部１０は、ステップＳ８０１にてキャリブレーションモードに設定されていると判定したため、位相差検出フォーカス補正量（フォーカス位置の調整量）を無効にする。続いてステップＳ８０４において、カメラ制御部１０（合焦制御手段１０ａ）は、位相差検出フォーカス補正量が無効となった状態で、位相差検出方式による合焦制御を実行し、ステップＳ８０５に進む。このように本実施例では、位相差検出方式による合焦制御を行うため、コントラスト検出方式による合焦制御に比べて、合焦時間を短縮することができる。
【００５２】
続いてステップＳ８０５において、カメラ制御部１０は、ステップＳ８０４にて合焦したフォーカス位置において、主ミラー５を回動させて撮影光路から退避させ、レンズ装置３（撮影光学系）からの光束を撮像素子８へ導く。そしてカメラ制御部１０（デフォーカス量算出手段１０ｂ）は、撮像素子８から得られるＬＦデータ（画像データ）に基づいてデフォーカス量を算出する。デフォーカス量は、カメラ制御部１０および画像処理部１８を用いて視差画素間の像をずらしながら、所定の焦点検出領域のコントラスト値算出手段１０ｅから得られるコントラスト値の最大値となる像ずれ量に基づいて算出される。
【００５３】
ここで、図９を参照して、リフォーカス方式を用いたデフォーカス量の算出について説明する。本実施例において、カメラ制御部１０は、撮像素子８から生成されたシフト加算信号（リフォーカス信号）のコントラスト評価値を算出し、算出したコントラスト評価値に基づいて撮像信号のＭＴＦピーク位置を推定し、デフォーカス量を算出する。
【００５４】
図９は、本実施例の撮像素子８により取得された第１の焦点検出信号および第２の焦点検出信号による１次元方向（行方向、水平方向）のリフォーカス処理の説明図である。図９において、ｉを整数として、撮像面８００に配置された撮像素子８の行方向ｉ番目の画素の第１の焦点検出信号をＡｉ、第２の焦点検出信号をＢｉとして模式的に表している。第１の焦点検出信号Ａｉは、主光線角度θａでｉ番目の画素に入射した光束の受光信号である。第２の焦点検出信号Ｂｉは、主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。
【００５５】
第１の焦点検出信号Ａｉおよび第２の焦点検出信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も含む。このため、第１の焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させ、第２の焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させ、これらを加算することにより、仮想結像面８１０でのリフォーカス信号を生成できる。第１の焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させることは、行方向に＋０．５画素シフトに対応し、第２の焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させることは、行方向に−０．５画素シフトに対応する。したがって、第１の焦点検出信号Ａｉと第２の焦点検出信号Ｂｉを相対的に＋１画素シフトさせ、第１の焦点検出信号Ａｉと第２の焦点検出信号（Ｂｉ＋１）とを対応させて加算することにより、仮想結像面８１０でのリフォーカス信号を生成できる。同様に、第１の焦点検出信号Ａｉと第２の焦点検出信号Ｂｉとを画素整数個分シフトさせて加算することにより、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成できる。
【００５６】
カメラ制御部１０は、画像処理部１８を用いて視差画素間の像をずらしながらコントラスト評価値が最大値となる実数値のシフト量（ＭＴＦピーク位置）を取得し、ピークシフト量ｐ１を決定する。そしてカメラ制御部１０は、ピークシフト量ｐ１に、焦点検出領域の像高と、撮像レンズ（撮像光学系）のＦ値、射出瞳距離に応じた第１の変換係数Ｋ１をかけて、デフォーカス量を算出する。
【００５７】
続いて図８のステップＳ８０６において、カメラ制御部１０は、ステップＳ８０５にて得られた位相差検出フォーカス補正量を記憶手段１６に記憶させる。これにより、カメラ本体１のモードがキャリブレーションモードに設定されている場合、カメラ制御部１０は位相差検出フォーカス補正量を得ることができる。
【００５８】
一方、ステップＳ８０１にて設定されているモードがキャリブレーションモードではない場合、ステップＳ８０７において、カメラ制御部１０は、ユーザによりＡＦ開始釦が操作されたか否かを判定する。カメラ制御部１０は、ＡＦ開始釦が操作されるまで、ステップＳ８０７を繰り返す。一方、カメラ制御部１０は、ユーザがフォーカスさせようとする被写体を焦点検出領域に捉えた状態でＡＦ開始釦が操作されたと判定した場合、ステップＳ８０８に進む。
【００５９】
ステップＳ８０８において、カメラ制御部１０は、設定手段１７を介してユーザにより設定された位相差検出フォーカス補正量（調整量）が有効であるか否かを判定する。位相差検出フォーカス補正量が有効である場合、ステップＳ８０９に進む。一方、位相差検出フォーカス補正量が無効である場合、ステップＳ８１０に進む。このように本実施例において、位相差検出フォーカス補正量は、メニューやスイッチなどの設定手段（操作手段）を介してユーザが設定可能である。
【００６０】
ステップＳ８０９において、カメラ制御部１０は、ステップＳ８０６にて得られた位相差検出フォーカス補正量を有効にする。一方、ステップＳ８１０において、カメラ制御部１０は、ステップＳ８０６にて得られた位相差検出フォーカス補正量を無効にする。そしてステップＳ８１１において、位相差検出フォーカス補正量が有効である場合、カメラ制御部１０（合焦制御手段１０ａ）は、ステップＳ８０９にて有効化された位相差検出フォーカス補正量を用いて合焦制御を行う。一方、位相差検出フォーカス補正量が無効である場合、カメラ制御部１０は、位相差検出フォーカス補正量を用いずに合焦制御を行う。
【００６１】
［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
【００６２】
本実施例によれば、フォーカス位置の調整を行うためのキャリブレーションモード（調整モード）を実行することができる。また、コントラスト値の最大となるフォーカス位置を高精度かつ短時間に取得可能に構成することで、ユーザが安心して高精度なマイクロアジャスト値を利用することができる。このように本実施例によれば、高精度なフォーカス位置調整をより高速に行うことが可能になる。
【００６３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６４】
１  カメラ本体
８  撮像素子
１０ａ  合焦制御手段
１０ｂ  デフォーカス量算出手段
１０ｃ  調整手段
１８  画像処理部
【図６】
2015121778.tif 000003
【図７】
2015121778.tif 000004
【図１】
2015121778.tif 000005
【図２】
2015121778.tif 000006
【図３】
2015121778.tif 000007
【図４】
2015121778.tif 000008
【図５】
2015121778.tif 000009
【図８】
2015121778.tif 000010
【図９】
2015121778.tif 000011