(57)【要約】【課題】  複数の撮像素子を有する撮像装置において、同時に複数の撮像素子を用いて撮像する場合に、良好なピント状態の画像を各々の撮像素子から取得することが可能な撮像装置を提供する。【解決手段】  焦点調節機構を有する撮像レンズと、光束を少なくとも第１及び第２の光束に分割する光束分割手段と、分割された第１の光束を受光する第１の撮像素子と、分割された第２の光束を受光する第２の撮像素子と、を有し、撮像レンズからの光の入射方向に第１の基準面に対して、前記第１の撮像素子の位置を調整する第１の調整部と、第１の撮像素子の位置を第２の基準面として、撮像レンズからの光の入射方向に第２の基準面に対して、第２の撮像素子の位置を調整する第２の調整部とを備えることを特徴とする。【選択図】  図１
2017198850.tif 000002
【特許請求の範囲】
【請求項１】
焦点調整機構を有する撮像レンズと
光束を少なくとも第１及び第２の光束に分割する光束分割手段と、
分割された前記第１の光束を受光する第１の撮像素子と、
分割された前記第２の光束を受光する第２の撮像素子と、を有し、
前記撮像レンズの光軸方向に第１の基準面に対して、前記第１の撮像素子の位置を調整する第１の調整部と、
前記第１の撮像素子の位置を第２の基準面として、前記撮像レンズの光の光軸方向に前記第２の基準面に対して、前記第２の撮像素子の位置を調整する第２の調整部とを備えることを特徴とする撮像装置。
【請求項２】
前記撮像レンズは交換可能な交換レンズであって、
前記第１の基準面は前記交換レンズを取り付けるマウント面であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の光束は、前記光束分割手段を透過した光束で構成され、前記第２の光束は、前記光束分割手段で反射した光束で構成されることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１の撮像素子から得られる第１の画像は、前記第２の撮像素子から得られる第２の画像に対して、解像度が高いことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像装置は、前記第１の撮像素子の露光時間を、前記第１の光束を制限することにより決定する遮光手段を有し、
前記第１の撮像素子の露光時間を、前記第２の光束を制限することにより決定する遮光手段を有さないことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１の撮像素子と前記撮像レンズにより決定される第１の撮像範囲は、前記第２の撮像素子と前記撮像レンズにより決定される第２の撮像範囲よりも広いことを特徴とする請求項第１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
焦点調整機構を有する撮像レンズと
光束を少なくとも第１及び第２の光束に分割する光束分割部と、
分割された前記第１の光束を受光する第１の撮像素子と、
分割された前記第２の光束を受光する第２の撮像素子と、を備える撮像装置の調整方法であって、
前記撮像レンズの光軸方向に第１の基準面に対して、前記第１の撮像素子の位置を調整する第１の調整ステップと、
前記第１の撮像素子の位置を第２の基準面として、前記撮像レンズの光の光軸方向に前記第２の基準面に対して、前記第２の撮像素子の位置を調整する第２の調整ステップとを備えることを特徴とする撮像装置の調整方法。
【請求項８】
前記第１の調整ステップは前記光束分割部を含む状態で前記第１の撮像素子の位置を調整することを特徴とする請求項７に記載の調整方法。
【請求項９】
前記第２の調整ステップにおいて前記第２の撮像素子を調整する際には、前記遮光手段により前記第１の光束を遮光した状態で行うことを特徴とする請求項７又は８に記載の調整方法。
【請求項１０】
前記第１の調整ステップにおいて、前記基準面に対して前記光束分割手段を介して前記第１の撮像素子を調整した後に、前記第２の調整ステップにおいて前記第２の撮像素子の調整を行うことを特徴とする請求項７乃至９のいずれか１項に記載の調整方法。
【請求項１１】
焦点調整機構を有する撮像レンズと
光束を少なくとも第１及び第２の光束に分割する光束分割部と、
分割された前記第１の光束を受光する第１の撮像素子と、
分割された前記第２の光束を受光する第２の撮像素子と、を備える撮像装置の製造方法であって、
前記撮像レンズの光軸方向に第１の基準面に対して、前記第１の撮像素子の位置を調整する第１の調整ステップと、
前記第１の撮像素子の位置を第２の基準面として、前記撮像レンズの光の光軸方向に前記第２の基準面に対して、前記第２の撮像素子の位置を調整する第２の調整ステップとを備えることを特徴とする撮像装置の製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点調節制御が可能な撮像装置及びその調整方法に関する。
【背景技術】
【０００２】
近年、記録用又は表示用の画像を取得するとともに、位相差検出方式を用いて撮像レンズの焦点検出するＡＦ（オートフォーカス）が可能な撮像素子を複数個備えた撮像装置が提案されている。特許文献１の撮像装置では、動画撮像用と静止画撮像用に画素ピッチの異なる２つ撮像素子を有する。２つの撮像素子は互いに焦点検出精度を異ならせると共に、一方の撮像素子で画像を生成しようとする場合は、他方の撮像素子を用いて焦点検出を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−３４９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の複数の撮像素子を有する撮像装置で、焦点検出を行う場合には、下記のような課題があった。
【０００５】
特許文献１に記載の撮像装置では、撮像レンズの結像面を保証する基準面として撮像レンズを取り付けるマウント面を用いている。しかし、２つの撮像素子の配置は、製造上の誤差により想定する結像面に対して、一定の誤差を有する。一方で、２つの撮像素子は基準面に対して配置されている。したがって、２つの撮像素子間の相対的な位置の誤差は、基準面に対しての誤差よりも大きくなってしまう。この誤差により、２つの撮像素子をもちいて画像の記録を行う際に、一方の撮像素子にて焦点調節を行うと、他方の撮像素子上のピント状態はボケた状態となってしまう恐れがあった。
【０００６】
そこで本発明は、複数の撮像素子を有する撮像装置において、同時に複数の撮像素子を用いて撮像する場合に、良好なピント状態の画像を各々の撮像素子から取得することが可能な撮像装置を提供する。
【課題を解決するための手段】
【０００７】
焦点調節機構を有する撮像レンズと、光束を少なくとも第１及び第２の光束に分割する光束分割手段と、分割された前記第１の光束を受光する第１の撮像素子と、分割された前記第２の光束を受光する第２の撮像素子と、を有し、前記撮像レンズからの光の入射方向に第１の基準面に対して、前記第１の撮像素子の位置を調整する第１の調整部と、前記第１の撮像素子の位置を第２の基準面として、前記撮像レンズからの光の入射方向に前記第２の基準面に対して、前記第２の撮像素子の位置を調整する第２の調整部とを備えることを特徴とする撮像装置。
【発明の効果】
【０００８】
本発明によれば、複数の撮像素子を有する撮像装置において、同時に複数の撮像素子を用いて撮像する場合に、良好なピント状態の画像を各々の撮像素子から取得することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る撮像装置の構成図である。
【図２】本発明に係る第１の撮像素子の構成図である。
【図３】本発明に係る第２の撮像素子の構成図である。
【図４】本発明に係る第１の撮像素子における射出瞳と焦点検出瞳の相対位置を説明する図である。
【図５】本発明に係る第２の撮像素子における射出瞳と焦点検出瞳の相対位置を説明する図である。
【図６】本実施形態における焦点検出領域を説明する図である。
【図７】本実施形態における撮像に関わるメインフロー図である。
【図８】本実施形態における焦点検出に関わるサブルーチンフロー図である。
【図９】本実施形態における２つの撮像素子の調整方法の例を説明する図である。
【図１０】本実施形態における２つの撮像素子の調整方法の変形例を説明する図である。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための最良の形態を、実施形態により詳しく説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は、図示された構成に限定されるものではない。
【００１１】
［第一の実施形態］
図１は、本発明を実施した撮像装置の一例としての、レンズ交換式デジタルカメラ本体（カメラ本体）１００および撮像レンズ５００の構成図である。
【００１２】
撮像レンズ５００はカメラ本体１００に対して不図示のマウント部を介して、着脱可能に構成される。撮像レンズ５００内の各レンズ群を透過した光束は、カメラ本体１００に備え付けられた光束分割部としてのビームスプリッタ１０３に入射する。ビームスプリッタ１０３はカメラ内に固定されており、本実施形態においてはハーフミラーである。ビームスプリッタ１０３によって分割された光束のうち一方の光束はビームスプリッタ１０３を透過して第１の撮像面に被写体像を配置された第１の撮像素子としての撮像素子１０１へと導かれる。他方の光束はビームスプリッタ１０３で反射して第２の撮像面に配置された第２の撮像素子としての撮像素子１０２へと導かれる。なお、ビームスプリッタ１０３は、ハーフミラーと同様に入射する光束を分割することができるものであれば、必ずしもハーフミラーでなくても良い。また、透過光と反射光の強度は必ずしも同等でなくてもよく、例えば透過光の光量を反射光に対して強くしてもよい。
【００１３】
第１及び第２の撮像面は撮像レンズから見て光学的に等価な位置にあたる。言い換えると、第１の撮像面に配置された撮像素子１０１と第２の撮像面に配置された撮像素子１０２はそれぞれ、撮像レンズを介して、被写体に対して光学的に共役な結像面にある。撮像レンズ５００の結像面は、カメラ本体１００のマウント部と接する面との位置の誤差（光軸方向の距離や法線の平行度）が、所定の誤差内に収まるように組み立てられている。また、カメラ本体１００のマウント部は、撮像素子１０１や撮像素子１０２との位置の誤差（光軸方向の距離や法線の平行度）が、所定の誤差内に収まるように組み立てられている。
【００１４】
しかし、第１の撮像素子１０１と第２の撮像素子１０２は、上述のように、光学的に共役な結像面に配されるが、組立上の誤差や、収差の影響による最良像面の差により、基準となるマウント部に対して、共役な面に配置することは困難で、所定の誤差を有する。
【００１５】
この誤差は、両方の撮像素子で画像を取得する際に、両方の撮像素子上に形成される被写体像を同時に合焦状態とすることを困難にする。本実施形態では、２つの撮像素子の相対的な位置関係を調整して組み立てることにより、上記の課題となる製造誤差を低減することができる。この調整方法については、後述する。
【００１６】
第１及び第２の撮像面には、ビームスプリッタ１０３の透過率及び反射率に応じた明るさの被写体像が形成される。撮像光束中に配置されたハーフミラーは理想的な平面で、かつ光束が透過する領域の屈折率も一様であることが望ましい。だが、現実にはある程度のうねりや屈折率分布が生じているため、ビームスプリッタ１０３を透過及び反射した光束により形成される画像は画質が低下する場合がある。そして、ハーフミラーが薄板ガラスで構成される場合、画質低下の程度は、透過した光束により形成される画像と比較し、反射した光束により形成される画像において相対的に大きい。そこで本実施形態においては、透過側の撮像素子１０１を高解像度記録用撮像素子、すなわち主として静止画を撮像するため撮像素子とし、反射側の撮像素子１０２は静止画よりも記録画素数が少ない動画の撮像に用いる撮像素子としている。しかしながら本発明はこの形態に限定されるものではなく、ビームスプリッタ１０３の特性やその他の条件に応じて撮像素子１０１と撮像素子１０２の位置を入れ替えても良い。
【００１７】
ＣＭＯＳイメージセンサからなる撮像素子１０１および撮像素子１０２は、被写体像を電気信号に変換するマトリクス状に配置された画素部によって構成される。電気信号に変換された画素情報はカメラＣＰＵ１０４で画像信号や焦点検出信号を得るための各種補正処理や、得られた画像信号をライブビュー画像や記録画像へ変換するための処理等が行われる。なお、本実施形態においてはこれらの処理等をカメラＣＰＵ１０４で行っているが、これらの処理等は専用のハードウェア回路を設けて当該回路によって処理しても良い。また、各々の撮像素子には、赤外カットフィルタや光学的ローパスフィルタなどが一体的に配置されている。また、ＣＰＵ１０４は不図示のメモリ回路を含む。当該メモリ回路は、一例としてＣＰＵ１０４にて処理された画像信号等を記録する不揮発性メモリあるいはメモリカード等の記録媒体である。ＣＰＵ１０４はこれに記憶されたプログラムを実行する。なお、メモリ回路は、ＣＰＵ１０４が実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。加えて、メモリ回路は本実施形態の撮像装置が撮像する画像データや、メタデータ等を記憶するようにしてもよい。
【００１８】
操作部材１０５はカメラの撮像モードや撮像条件等を設定するための各種部材である。一例としては、ボタンやスライドスイッチ等の操作部材に加えて、後述する外部表示器１１０等に表示されたユーザーインターフェイスをタッチパネル等で操作する操作部材等が含まれる。操作部材１０５等を用いて操作者によって設定された撮像モードや撮影条件等はＣＰＵ１０４のメモリ回路等に保存される。
【００１９】
記憶媒体１０６はフラッシュメモリであり、撮像した静止画や動画を記録するための媒体である。ファインダ内表示器１０７は、有機ＥＬディスプレイや液晶ディスプレイ等の小型で高精細な表示手段としてのディスプレイ１０８と接眼レンズ１０９とで構成される。外部表示器１１０は、裸眼視に適した画面サイズの有機ＥＬディスプレイや液晶ディスプレイが用いられる。カメラ本体１００の設定状態、ライブビュー画像、撮像済み画像等の各種情報等を含むユーザーインターフェイスは、ファインダ内表示器１０７や外部表示器１１０に表示される。
【００２０】
フォーカルプレンシャッタ１１１は撮像素子１０１の前面に配置されている。シャッタ駆動部１１２は例えばモーターであり、シャッタの羽根を駆動制御することで、静止画を撮像する際の露光時間を制御する。
【００２１】
カメラ側通信端子１１３は、撮像レンズを装着するためにマウント部に設けられている。カメラ側通信端子１１３はレンズ側に設けられたレンズ側通信端子５０８とともにカメラＣＰＵ１０４と後述のレンズＣＰＵ５０７の間でやりとりされる情報を送受信する。
【００２２】
画像処理回路１１４は、撮像素子１０２から出力される信号を処理するための回路である。例えば、出力される信号を加算したり並べ替えたりするためのバッファを備え、カメラＣＰＵ１０４の制御に基づいて各種画像処理を行う。
【００２３】
撮像レンズ５００はカメラ本体１００に対して交換可能であり、本実施形態では焦点距離が可変なズームレンズとなっている。被写体からの光束は第１レンズ群５０１、第２レンズ群５０２、第３レンズ群５０３を透過し、カメラ本体１００内の撮像面に被写体像を形成する。第２レンズ群５０２は光軸方向に進退して変倍を行なうバリエータとして機能する。第３レンズ群５０３は光軸方向に進退して焦点調節を行なうフォーカスレンズとして機能する。第３レンズ群５０３は、ステッピングモーターなどを用いたフォーカス駆動部５０４によって駆動される。虹彩絞り５０５は撮像レンズに入射する光量を調節するための複数の絞り羽根で構成されている。絞り駆動部５０６は絞り羽根を所定のＦナンバになるまで絞り込み駆動する。レンズＣＰＵ５０７は、レンズ側通信端子５０８及びカメラ側通信端子１１３を介してカメラＣＰＵ１０４と通信し、各種情報を送受信するとともに、カメラＣＰＵ１０４からの指示に基づいてフォーカス駆動部５０４や絞り駆動部５０６を駆動制御する。ここで、各種情報には撮像レンズ５００の開放Ｆナンバ、焦点距離、射出瞳距離ＰＬ、フォーカスレンズ群５０３の繰り出し量とピント変化量の比例定数であるフォーカス敏感度等が含まれる。また、設定可能なパラメータの範囲情報やその他撮像レンズ５００が有する機能等を含まるようにしてもよい。また、送受信した各種情報はカメラＣＰＵ１０４またはレンズＣＰＵ５０７に接続されているメモリ等に記憶される。
【００２４】
撮像レンズ５００のズームレンズや開放Ｆナンバは撮像意図に応じて設計されるが、本発明の実施形態においては、開放Ｆナンバはズーム状態やフォーカス状態によらず、Ｆ２の一定値となるように構成されている。一方で、射出瞳と撮像面間の距離、いわゆる射出瞳距離はズーム状態及びフォーカス状態に応じて変化する。
【００２５】
図２は撮像素子１０１の構成を説明する図である。本実施形態においては、撮像素子１０１と後述する撮像素子１０２とは、画素ピッチ及び１つのオンチップマイクロレンズに対応する光電変換部の数が異なる。それ以外の機能、構成については類似である。
【００２６】
図２（ａ）は撮像素子１０１における撮像面の中央近傍（像高ゼロ付近）における一部の画素部を撮像レンズ５００側から見た平面図である。第１の撮像素子１０１が有する複数の画素部はそれぞれ撮像面上の水平方向（ｘ）、垂直方向（ｙ）共に４μｍの大きさを有した正方形の画素部であり、これらの画素部の構造は実質的にすべて同じである。これらの画素部が水平方向に６０００画素、垂直方向に４０００画素配列された、有効画素数２４００万画素の撮像素子である。撮像領域の大きさは画素部の大きさ、すなわち画素ピッチに画素数を乗じれば求めることができ、この場合は水平方向に２４ｍｍ、垂直方向に１６ｍｍとなる。各画素部にはＲＧＢのカラーフィルタがモザイク状に配列されている。
【００２７】
同図（ｂ）は上記画素群のうちの一つの画素部の断面図である。ＣＭＯＳイメージセンサの基体を成すシリコン基板１０１ｄ内には光電変換部１０１ａ及び光電変換部１０１ｂが設けられている。また、シリコン基板１０１ｄ内には該光電変換部で発生した光電子を電圧に変換して外部に読み出す不図示のスイッチングトランジスタ等が形成され、光電変換後の出力信号は配線層１０１ｅによって読み出される。
【００２８】
各配線層１０１ｅは透明な層間膜１０１ｆによって絶縁されている。オンチップマイクロレンズ１０１ｃの下には色分離用のカラーフィルタ１０１ｇが設けられている。オンチップマイクロレンズ１０１ｃの形状は、その焦点位置が光電変換部１０１ａ及び光電変換部１０１ｂの上面に略一致するように決められる。そのため、光電変換部１０１ａ及び１０１ｂはオンチップマイクロレンズ１０１ｃを介して後述する撮像レンズの射出瞳近傍に逆投影され、該逆投影像が位相差検出方式ＡＦの際の焦点検出瞳として機能する。そして、位相差検出方式の焦点検出を行なう際は、光電変換部１０１ａ及び光電変換部１０１ｂの出力信号を個別に処理して１対２像の位相差検出用の像を生成する。焦点検出手段としてのカメラＣＰＵ１０４が当該２像の相対的な像ずれ量から撮像面における被写体像のデフォーカス量を算出する。また、加算制御手段としてのカメラＣＰＵ１０４が一対の光電変換部１０１ａ及び１０１ｂの信号を加算して静止画又は動画の記録用画像信号もしくはライブビュー用（表示用）の画像信号を得る。なお、当該加算処理は専用の回路を設けて行っても良いし、撮像素子が光電変換部１０１ａ及び光電変換部１０１ｂの出力信号を個別に出力したのちに、撮像素子内で加算して出力しても良い。
【００２９】
図３は撮像素子１０２の構成を説明する図である。図３は、撮像素子１０２における撮像面の中央近傍（像高ゼロ付近）における一部の画素部を撮像レンズ５００側から見た平面図である。第２の撮像素子１０２が有する複数の画素部はそれぞれ撮像面上の水平方向（ｘ）、垂直方向（ｙ）共に１２μｍの大きさを有した正方形の画素部であり、これらの画素部の構造は実質的にすべて同じである。これらの画素部が水平方向に２０００画素、垂直方向に１３３３画素配列された、有効画素数約２６７万画素の撮像素子である。撮像領域の大きさは画素部の大きさ、すなわち画素ピッチに画素数を乗じれば求めることができ、この場合は水平方向に２４ｍｍ、垂直方向に１６ｍｍとなる。各画素部にはＲＧＢのカラーフィルタがモザイク状に配列されている。第１の撮像素子１０１と比較して、画素ピッチが３倍となっているため、総画素数が１／９となっている。
【００３０】
第２の撮像素子１０２の各画素部は、各配線層やオンチップマイクロレンズ、色分離用のカラーフィルタなどは、第１の撮像素子１０１と同様に構成されている。第１の撮像素子１０１と異なる点として、各オンチップマイクロレンズ１０２ｊの下に、９つの光電変換部を有する。これにより、に対して、受光する光束の角度分解能を上げることができる。第１の撮像素子１０１は、上述のとおり撮像レンズの射出瞳近傍に生成される逆投影像が、光電変換部１０１ａ及び光電変換部１０１ｂの２つと対応する。一方で、第２の撮像素子１０２は、撮像レンズの射出瞳近傍に生成される逆投影像が、光電変換部１０２ａ乃至１０２ｉの９つと対応する。これにより、位相差方式の焦点検出の際の焦点検出瞳の構成方法が、水平方向に分割、垂直方向に分割など複数考えられる。詳細は、後述する。
【００３１】
焦点検出手段としてのカメラＣＰＵ１０４が当該２像の相対的な像ずれ量から撮像面における被写体像のデフォーカス量を算出する。また、加算制御手段としてのカメラＣＰＵ１０４が一対の光電変換部１０２ａ乃至１０２ｉの信号を全て、もしくは、選択的に加算して静止画又は動画の記録用画像信号もしくはライブビュー用（表示用）の画像信号を得る。なお、当該加算処理は専用の回路を設けて行っても良いし、撮像素子が光電変換部１０２ａから光電変換部１０２ｉの出力信号を個別に出力したのちに、撮像素子内で加算して出力しても良い。
【００３２】
本実施形態の撮像素子１０１及び撮像素子１０２は、以下の２種類の読み出しモードをそれぞれ有する。第１の読み出しモードは全画素読み出しモードと称するもので、記録用の静止画や動画を撮像するためのモードである。この場合は、全画素部の信号が読み出される。第２の読み出しモードは間引き読み出しモードと称するもので、上記記録用の静止画よりも画素数の少ないライブビュー画像の表示を行うためのモードである。ライブビュー画像とは、撮像素子が取得した画像をファインダ内表示器１０７や外部表示器１１０にリアルタイムで表示して画角等を決定するための画像である。ライブビューに必要な画素数は全画素数よりも少ないため、撮像素子は水平方向及び垂直方向ともに所定比率に間引いた画素部のみから信号読み出すことで、信号処理回路の処理負荷を軽減するとともに、消費電力の低減にも寄与する。また、第１及び第２のいずれの読み出しモードにおいても、各画素部が備える所定数の光電変換部の信号は独立して読み出しされるため、いずれのモードにおいても焦点検出のための信号生成が可能となっている。
【００３３】
なお、本実施形態では撮像素子１０１は主として静止画撮像用に用いられるが、動画撮像を禁止するものでは無い。たとえば、撮像素子１０２で動画撮像中に、撮像素子１０１は先に説明した間引き読み画像を低解像度動画として記録することも可能である。同様に、撮像素子１０２は主として動画撮像用に用いられるが、静止画撮像も可能である。例えば、動画撮像中に所望の１フレームを静止画として記録することも可能である。
【００３４】
次に、画素部の構造と焦点検出瞳について説明する。図４は、第１の撮像素子１０１と第２の撮像素子１０２の光電変換部と焦点検出瞳の対応関係を説明する図である。
【００３５】
図４（ａ）、（ｂ）は、本実施形態の撮像装置において、撮像光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された第１の撮像素子１０１の光電変換部の共役関係を説明する図である。撮像素子内の光電変換部と撮像光学系の射出瞳面は、オンチップマイクロレンズによって共役関係となるように設計されている。撮像光学系の射出瞳は、一般的に光量調節用の虹彩絞り５０５が置かれる面と略一致する。
【００３６】
一方、本実施形態の撮像光学系は、変倍機能を有するズームレンズであるが、光学タイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化する。図３における撮像光学系は、焦点距離が広角端と望遠端の中間、すなわちＭｉｄｄｌｅの状態を示している。これを標準的な射出瞳距離Ｚｅｐと仮定して、オンチップマイクロレンズの形状や、像高（Ｘ、Ｙ座標）に応じた偏心パラメータの最適設計がなされる。
【００３７】
図４（ａ）において、５０１は第１レンズ群、５０１ｒは第１レンズ群５０１を保持する鏡筒部材、５０３ｒはフォーカスレンズ群５０３を保持する鏡筒部材である。５０５は絞り、５０５ａは絞り開放時の開口径を規定する開口板、５０５ｂは絞り込み時の開口径を調節するための絞り羽根である。なお、撮像光学系を通過する光束の制限部材として作用する鏡筒部材５０１ｒ、開口板５０５ａ、絞り羽根５０５ｂ、および、鏡筒部材５０３ｒは、像面から観察した場合の光学的な虚像を示している。また、絞り５０５の近傍における合成開口を撮像レンズ５００の射出瞳と定義し、前述のように像面から射出瞳までの距離をＺｅｐとする。
【００３８】
撮像素子１０１の中央像高付近における２つの光電変換部１０１ａ、１０１ｂは、オンチップマイクロレンズ１０１ｃによって撮像光学系の射出瞳面に投影される。換言すると、撮像光学系の射出瞳（投影像ＥＰ１ａ、ＥＰ１ｂ）は、オンチップマイクロレンズ１０１ｃを介して、光電変換部１０１ａ、１０１ｂの表面に投影される。
【００３９】
図４（ｂ）は、撮像光学系の射出瞳面上における、光電変換部の投影像を示しており、光電変換部１０１ａ、１０１ｂに対する投影像は、それぞれ、ＥＰ１ａ、ＥＰ１ｂとなる。また本実施形態において、第１の撮像素子１０１は、２つの光電変換部１０１ａ、１０１ｂのいずれか一方の出力と、両方の和の出力を得ることができる画素を有する。両方の和の出力は、撮像光学系の略全瞳領域である投影像ＥＰ１ａ、ＥＰ１ｂの両方の領域を通過した光束を光電変換して出力された信号である。
【００４０】
図４（ａ）において、撮像光学系を通過する光束（の最外部）をＬで示すと、光束Ｌは、絞りの開口板５０５ａで規制されており、投影像ＥＰ１ａ、ＥＰ１ｂは、撮像光学系においてケラレがほぼ発生していない。図４（ｂ）では、図４（ａ）の光束ＬをＴＬとして示している。ＴＬで示される円の内部に、光電変換部１０１ａ、１０１ｂの投影像ＥＰ１ａ、ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Ｌは、絞りの開口板５０５ａでのみ制限されているため、ＴＬは、５０５ａと言い換えることができる。この際、像面中央では各投影像ＥＰ１ａ、ＥＰ１ｂのケラレ状態は、光軸に対して対称となり、光電変換部１０１ａ、１０１ｂが受光する光量は互いに等しい。
【００４１】
図５（ａ）は、第２の撮像素子１０２の光電変換部１０２ａ〜１０２ｉに関連する部分のみが異なる。３つの光電変換部１０２ｄ、１０２ｅ、１０２ｆは、オンチップマイクロレンズ１０２ｎによって撮像光学系の射出瞳面に投影される。換言すると、撮像光学系の射出瞳（投影像ＥＰ２ｄ、ＥＰ２ｅ、ＥＰ２ｆ）は、オンチップマイクロレンズ１０２ｎを介して、光電変換部１０２ｄ、１０２ｅ、１０２ｆの表面に投影される。
【００４２】
図５（ｂ）は、撮像光学系の射出瞳面上における、光電変換部の投影像を示しており、光電変換部１０２ａから１０２ｉに対する投影像は、それぞれ、ＥＰ２ａからＥＰ２ｉとなる。また本実施形態において、第２の撮像素子１０２は、９つの光電変換部１０２ａから１０２ｉの各々の出力と、全ての和の出力を得ることができる画素を有する。全ての和の出力は、撮像光学系の略全瞳領域である投影像ＥＰ２ａからＥＰ２ｉの全領域を通過した光束を光電変換して出力された信号である。
【００４３】
図５（ａ）において、撮像光学系を通過する光束（の最外部）をＬで示すと、光束Ｌは、絞りの開口板５０５ａで規制されており、投影像ＥＰ１ａ、ＥＰ１ｂは、撮像光学系においてケラレがほぼ発生していない。図５（ｂ）では、図５（ａ）の光束ＬをＴＬとして示している。ＴＬで示される円の内部に、光電変換部１０２ａから１０２ｉの投影像ＥＰ２ａからＥＰ２ｉの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Ｌは、絞りの開口板５０５ａでのみ制限されているため、ＴＬは、５０５ａと言い換えることができる。この際、像面中央では各投影像ＥＰ２のケラレ状態は、光軸に対して対称となる。
【００４４】
ここで、位相差検出方式の焦点検出を行う場合の画素信号について説明する。上述のように、本実施形態では、図４のオンチップマイクロレンズ１０１ｃと、分割された光電変換部１０１ａ、１０１ｂとにより、撮像光学系の射出光束を瞳分割する。そして、同一行上に配置された所定範囲内の複数の画素において、光電変換部１０１ａの出力をつなぎ合わせて編成したものをＡＦ用Ａ像とする。同様に、光電変換部１０１ｂの出力をつなぎ合わせて編成したものをＡＦ用Ｂ像とする。光電変換部１０１ａ、１０１ｂの出力は、ベイヤー配列の緑、赤、青、緑の出力を信号加算処理したものであり、疑似的に輝度（Ｙ）信号として算出されたものが用いられる。ただし、赤、青、緑の色ごとに、ＡＦ用Ａ像、Ｂ像を編成してもよい。このように生成したＡＦ用Ａ像とＢ像の相対的な像ずれ量を相関演算により検出することにより、所定領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。また、Ａ像とＢ像を加算したものを第１の撮像信号とする。なお、第１の撮像素子１０１から得られるＡＦ用Ａ像、Ｂ像は相関演算処理に用いる対の焦点検出信号の信号Ｓ１と信号Ｓ２に相当する。
【００４５】
また、同様に、第２の撮像素子１０２についても、１対の像信号を取得する。第２の撮像素子１０２は、第１の撮像素子１０１より、瞳分割数が多いため、像信号の構成方法は、複数考えられる。例えば、光電変換部１０２ａ、１０２ｄ、１０２ｇの出力を加算し１つの信号とし、それをつなぎ合わせて編成したものをＡＦ用Ｃ像とする。同様に、光電変換部１０２ｃ、１０２ｆ、１０２ｉの出力を加算し１つの信号とし、それをつなぎ合わせて編成したものをＡＦ用Ｄ像とする。ＡＦ用Ｃ像、Ｄ像としては、種々の物が考えられる。例えば、ＡＦ用Ｃ像として、１０２ｄ、ＡＦ用Ｄ像として１０２ｆのみを使うように構成してもよい。例えば、ＡＦ用Ｃ像として、左側６個の光電変換部の出力の和（１０２ａ，１０２ｂ，１０２ｄ，１０２ｅ，１０２ｇ，１０２ｈ）を用いてもよい。また、ＡＦ用Ｄ像として、右側６個の光電変換部の出力の和（１０２ｂ，１０２ｃ，１０２ｅ，１０２ｆ，１０２ｈ，１０２ｉ）を用いてもよい。また、ＡＦ用Ｃ像、Ｄ像に用いる光電変換部の個数は揃う必要はない。撮像素子上で像高が高い個所では、撮像光束のビネッティングが発生するため、ビネッティング状況を加味して、ＡＦ用Ｃ像、ＡＦ用Ｄ像に用いる光電変換部を選択してもよい。選択後の光量の差すなわち信号出力の大きさの差があった場合でも、後述するシェーディング補正により、信号出力の大きさを略等しくするため、問題はない。
【００４６】
第１の撮像素子１０１のＡＦ用Ａ像、ＡＦ用Ｂ像や第２の撮像素子１０２のＡＦ用Ｃ像、ＡＦ用Ｄ像の信号は、撮像素子の水平方向に像ずれが発生するように構成されている。但し、第２の撮像素子１０２は、撮像素子の垂直方向に像ずれが発生する１対の像信号も取得できる。本実施形態では、垂直方向に像ずれが発生する１対の信号として、ＡＦ用Ｅ像、ＡＦ用Ｆ像を取得する。ＡＦ用Ｅ像、ＡＦ用Ｆ像に用いる光電変換出力として種々の物が考えられるのは上述のとおりである。なお、第２の撮像素子１０２から得られるＡＦ用Ｃ像、Ｄ像及びＥ像、Ｆ像はそれぞれ相関演算処理に用いる対の焦点検出信号の信号Ｓ１と信号Ｓ２に相当する。
【００４７】
以上のとおり、図２乃至図５を参照して説明したように、第１の撮像素子１０１及び第２の撮像素子１０２は、撮像のみの機能だけではなく焦点検出装置としての機能も有する。また、焦点検出方法としては、射出瞳を分割した光束を受光する焦点検出用画素を備えているため、位相差検出方式ＡＦを行うことが可能である。
【００４８】
次に、図６を参照して、本実施形態における焦点検出領域について説明する。図６は、撮像範囲内における焦点検出領域を示す図である。本実施形態では、焦点検出領域内で第１の撮像素子１０１及び第２の撮像素子１０２から得られた信号に基づいて、撮像面位相差ＡＦ（位相差検出方式ＡＦ）が行われる。図４の焦点検出領域は、撮像素子１０１の水平方向（横方向）に瞳分割を行う画素を含む焦点検出部を備えている。また、同様に、撮像素子１０２の水平方向（横方向）及び垂直方向（縦方向）に瞳分割を行う画素を含む焦点検出部を備えている。
【００４９】
図６中の点線で示される長方形は、第１の撮像素子１０１と第２の撮像素子１０２の画素が形成された撮像範囲２１７である。本実施形態では、撮像範囲２１７を共通としているが、別々に分けてもよい。例えば、静止画撮像と動画撮像を、第１の撮像素子１０１と第２の撮像素子１０２で同時に行う場合などは、静止画像と動画像のアスペクト比など異なる撮像範囲を有してもよい。このような場合には、撮像画像を表示する際に、各々の撮像素子の撮像範囲を枠で明示するなどにより、操作者に知らしめることができる。
【００５０】
撮像範囲２１７内には、撮像面位相差ＡＦを行う３つの横方向の焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈと、縦方向の焦点検出領域２１８ａｖ、２１８ｂｖ、２１８ｃｖが設けられている。撮像範囲２１７の中央部と左右２箇所の計３箇所の焦点検出領域が設けられている。第１の撮像素子１０１からは、焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈと対応する領域から焦点検出信号を得ることにより、被写体のコントラストを有する方向に関して、水平方向のみの焦点検出を行う。また、第２の撮像素子１０２からは、焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈと２１８ａｖ、２１８ｂｖ、２１８ｃｖと対応する領域から焦点検出信号を得る。このことにより、被写体のコントラストを有する方向に関して、水平、垂直両方向の焦点検出を行う。
【００５１】
また、図６において、外部表示器１１０における焦点検出領域の範囲を示す表示枠２１９ａ、２１９ｂ、２１９ｃを示している。表示枠は、焦点検出領域と概ね同じサイズにすることにより、操作者が表示枠内に配置した被写体に対して適切に焦点検出を行うことができる。
【００５２】
また、各表示枠及び焦点検出領域はファインダ内表示器１０７または外部表示器１１０等に表示して操作者に焦点検出状態を報知するようにしてもよい。
【００５３】
図７は本実施形態における撮像処理の手順を示すメインフローチャートである。本フローチャートの処理はカメラ本体１００のＣＰＵ１０４が実行する。
【００５４】
ステップＳ１００において、操作者等の指示に基づいて処理が開始される。処理の開始に伴い、ＣＰＵ１０４は、カメラ内の各アクチュエータや撮像素子１０１及び撮像素子１０２の動作確認を行なうとともに、メモリ内容や実行プログラムの初期化を行う。そして、ステップＳ１００に処理を進める。
【００５５】
ステップＳ１０１において、ＣＰＵ１０４は、レンズ側のＣＰＵ５０７と通信を行ない、撮像レンズの開放Ｆナンバ、焦点距離、射出瞳距離ＰＬ、フォーカスレンズ群５０３の繰り出し量とピント変化量の比例定数であるフォーカス敏感度等の情報を撮像レンズ５００より受信する。なお、これらの情報は撮像レンズ５００を装着した時点で事前に取得しカメラ本体１００内のメモリに保持しておいてもよい。そして、ステップＳ１０２に処理を進める。
【００５６】
ステップＳ１０２において、ＣＰＵ１０４は、静止画撮像も行うモードであるか否かをメモリに保存している設定情報を用いて判定する。静止画撮像のみ、もしくは、静止画／動画同時撮像を行うモードの場合は、ステップＳ１０３へ処理を移行し、動画のみ撮像するモードの場合は、ステップＳ１０４へ処理を移行する。本実施形態において、静止画、動画等どの画像を記録するモードとするかは、操作者が設定する。
【００５７】
ステップＳ１０３において、ＣＰＵ１０４は、静止画撮像に用いる撮像素子１０１は、被写体情報取得モードで駆動し、動画撮像に用いる撮像素子１０２は、ライブビューモードで駆動する。ここで、ライブビューとは、撮像素子で取得した画像を図１のファインダ内表示器１０７もしくは外部表示器１１０にリアルタイムで表示するモードである。記録用画像信号の画素数に対して該表示器の画素数は水平及び垂直方向共に少ないため、ライブビューモードでは撮像素子から読み出す際に、水平方向及び垂直方向共に画素の間引きまたは加算を行ない、撮像素子や信号処理回路の消費電力を低く抑えている。そして、ステップＳ１０５に処理を進める。
【００５８】
また、ライブビューモードで読み出した画像信号を用いて位相差検出も行なうが、焦点検出信号の分解能維持のため、焦点検出領域のみ間引き読みせずに全画素の情報を読み出してもよい。
【００５９】
また、被写体情報取得モードとは、被写体のパターンの空間周波数特性や分光、コントラストの方向などの被写体情報や、焦点検出情報を取得するためのモードである。焦点検出範囲が、複数あり、領域が広い場合には、上述の第２の読み出しモードで駆動する。一方で、操作者の指示や被写体検出などにより、焦点検出領域が限定される場合には、第１の読み出しモードで焦点検出領域の近傍のみを、水平、垂直方向の間引きを行わずに、出力信号を得る。また、必要に応じて、フレームレートを上げ、情報取得の時間間隔を縮めることにより、より多くの被写体情報を得る。領域を限定して信号を取得することにより、撮像素子や信号処理回路の消費電力を低く抑えている。
【００６０】
一方でステップＳ１０４において、ＣＰＵ１０４は、動画のみの撮像に対応するため、撮像素子１０２を駆動する。本実施形態では、動画のみの撮像の場合は、静止画用の撮像素子１０１は駆動しないように構成している。これは、動画撮像で得られる画像の解像度は撮像素子１０２の画素ピッチで制限されるため、より高周波の情報を得ても、有効に活用できない可能性が有るためである。これにより消費電力の抑制が可能となる。ただし、静止画用の撮像素子１０１を、動画用の撮像素子１０２よりもフレームレートを上げるなどして、より多くの被写体情報を得るように構成してもよい。そして、ステップＳ１０５に処理を進める。
【００６１】
ステップＳ１０５において、ＣＰＵ１０４は、撮像素子１０２で取得した信号を表示用信号に変換し、ファインダ内表示器１０７もしくは外部表示器１１０に送信してライブビュー表示を開始する。そして、ステップＳ１０６に処理を進める。
【００６２】
ステップＳ１０６において、ＣＰＵ１０４は、各撮像素子の駆動により得られる画像信号の明るさを判断し、ライブビューモードの絞り制御を行う。そして、ステップＳ１０７に処理を進める。ここで、各撮像素子の蓄積時間や絞り制御は、どちらの記録画像を優先するかで決定すればよい。動画は、フレームレートを決定すると、記録画像における移動被写体の連続性を鑑みると、蓄積時間に制約が出る。そのため、適切な露光状態を調整するために、調節可能なパラメータは絞りと信号のゲイン調整のみとなる。静止画は、撮像画像に対する操作者の設定はあるが、静止画撮像前の待機状態においては、絞り、蓄積時間、ゲインの設定に自由度がある。これらの要件を踏まえて、絞り制御を行う。
【００６３】
ステップＳ１０７において、ＣＰＵ１０４は、焦点検出のサブルーチンを実行する。本実施形態では、２つの撮像素子によってそれぞれ焦点検出を行う。また、焦点検出結果に基づき、レンズ駆動や、合焦表示なども行う。当サブルーチンの詳細は後述する。そして、ステップＳ１０８に処理を進める。
【００６４】
ステップＳ１０８において、ＣＰＵ１０４は、動画撮像トリガボタンがオン操作されたか否かを判断する。そして、オン操作されていたら、ステップＳ１０９に処理を進めて動画用の画像処理を行い動画の生成を開始する。一方でオン操作されていなかった場合は、ステップＳ１１０に処理を進める。
【００６５】
ステップＳ１１０において、ＣＰＵ１０４は、静止画開始トリガボタンがオン操作されたか否かを判断する。そして、オン操作されていたら、ステップＳ１１１に処理を進める。一方でオン操作されていなかった場合は、ステップＳ１１２に処理を進める。本実施形態においては、動画用ライブビューもしくは動画撮像中に静止画撮像が指示されると、撮像素子１０１による静止画の記録を可能としている。なお、Ｓ１１０で行う判定は、動画のみ撮像するモードの場合は省略してもよい。
【００６６】
ステップＳ１１１において、ＣＰＵ１０４は、静止画撮像を実行する。静止画撮像動作において、ＣＰＵ１０４は、静止画撮像用のＦナンバをカメラ側通信端子１１３及びレンズ側通信端子５０８を介してレンズＣＰＵ５０７に送信する。すると、撮像レンズ２００は絞り駆動部５０６を駆動制御し、虹彩絞り５０５の開口径を静止画撮像用のＦナンバに対応する値に制御する。動画撮像優先の場合には、この処理はスキップする。その後、ライブビュー用に開放状態となっていたフォーカルプレンシャッタ１１１を、一端閉鎖状態にリセット駆動し、撮像素子１０１で静止画撮像を行なうための電荷蓄積動作を開始する。次に、所定の露出演算プログラムで計算された静止画撮像用のシャッタ秒時に基づき、フォーカルプレンシャッタ１１１の先幕及び後幕を駆動制御し、撮像素子に所定の露光量を与える。フォーカルプレンシャッタ１１１の走行が完了すると、撮像素子１０１の蓄積動作を終了し、電荷転送を行なう。
【００６７】
ステップＳ１１１で行う静止画記録は、静止画撮像指示に伴い１枚の画像を記録する単写モードでもよいし、静止画撮像指示に伴い複数の画像を記録する連写モードでもよい。本実施形態では、連写モードを想定して、以降の説明を行う。
【００６８】
ステップＳ１１２において、ＣＰＵ１０４は、動画撮像トリガボタンがオフ操作されたか否かを判断する。そしてオン状態が継続していたら、ステップＳ１０５に処理を戻し、動画用のＡＦ制御や動画撮像を継続するとともに、静止画の割り込みも許可する。一方、ステップＳ１１２で動画撮像トリガボタンがオフ操作されたと判断したら、撮像フローを終了する。
【００６９】
本実施形態では、静止画と動画の撮像素子から得た信号で、焦点検出や撮像を行う。上述の焦点検出や撮像の指示は、静止画と動画で異なる操作部材を用意して対応する。これにより、静止画と動画の記録タイミングを独立して制御できるだけでなく、焦点検出の際も、静止画の焦点検出では、高速に焦点検出し、動画の焦点検出では低速に焦点検出するなどの、異なる制御を行うことができる。
【００７０】
次に、図８を参照して、図７のステップＳ１０７に相当する焦点検出サブルーチン（ＡＦ処理）について説明する。図８は、本実施形態における焦点検出処理のフローチャートである。図８の各ステップは、主に、ＣＰＵ１０４により実行される。
【００７１】
本実施形態の焦点検出処理において、まず、ステップＳ９０１において、ＣＰＵ１０４は。焦点検出領域２１９ａ、２１９ｂ、２１９ｃの選択を行う。本実施形態において領域の選択は、操作者の指示に基づいてもよいし、事前の焦点検出結果や被写体認識結果などに基づいて、選択してもよい。また、選択結果はメモリ等に保存しておき、適宜呼び出せるようにしてもよい。そして、ステップＳ９０２に処理を進める。
【００７２】
ステップＳ９０２において、ＣＰＵ１０４は。選択された焦点検出領域に関して、像信号の取得を行う。より詳細には、第１の撮像素子１０１からは、ＡＦ用Ａ像、ＡＦ用Ｂ像、第２の撮像素子１０２からは、ＡＦ用Ｃ像、ＡＦ用Ｄ像、ＡＦ用Ｅ像、ＡＦ用Ｆ像を取得する。そして、ステップＳ９０３に処理を進める。
【００７３】
ステップＳ９０３において、ＣＰＵ１０４は、信号の各種補正とフィルタ処理を行う。信号出力特性に応じたオフセットやゲインの調整を行う。その後、各ＡＦ用信号の撮像レンズのビネッティングの影響による光量差を補正するいわゆるシェーディング補正を行う。より詳細には、交換レンズの射出瞳の光軸方向の位置、絞り値、光束を遮る枠情報とから求まる光束の範囲と、光電変換部の角度毎の強度情報から、１対のＡＦ用信号の光量比が求まる。シェーディング補正に用いる補正値は、この光量比の逆数とし、１対の信号に乗じることにより、補正を行う。シェーディング補正に用いる係数は、射出瞳の光軸方向の位置、絞り値、光束を遮る枠情報など毎に、ルックアップテーブルをメモリ等に記憶しておけばよい。
【００７４】
加えて、信号補正を終えると、焦点検出に用いる評価帯域に合わせたデジタルフィルタ処理を行う。一般に、高域を評価すると検出可能なデフォーカス領域が狭くなるため、複数種類の帯域を評価するため、複数のフィルタ処理を行う。より詳細には、第１の撮像素子１０１から得られるＡＦ用Ａ像、Ｂ像は、撮像素子の画素ピッチが細かいため、より高域評価が可能である。そのため、高域と中域に対応するフィルタ処理を行う。また、第２の撮像素子１０２から得られるＡＦ用Ｃ像、Ｄ像、Ｅ像、Ｆ像は、低域と超低域のフィルタ処理を行う。そして、ステップＳ９０４に処理を進める。
【００７５】
ステップＳ９０４において、ＣＰＵ１０４は、対の信号Ｓ１と信号Ｓ２を用いて相関演算により２像の位相差からデフォーカス量を算出する。まず、相関量算出手段としてのカメラＣＰＵ１０４は、対の焦点検出信号の相関量の算出を行う。相関演算を行う際に、視野内データ数とシフトデータ数の設定を行う。視野内データとは、相関演算を行う際の窓に相当し、焦点検出を行う領域の広さを決定する。視野内データを大きくすると、より信頼性の高い相関演算結果が得られるが、距離の異なる被写体が同じ焦点検出領域内に存在する、いわゆる遠近競合が発生する頻度が高まる。そのため、被写体の大きさや撮像光学系の焦点距離などの情報をもとに、適切な大きさの焦点検出領域に相当する視野内データ数に設定する。シフトデータ数は、対の像の位置関係をずらしながら相関量を評価する際の最大ずらし量に相当する。対の像の位置関係のずらし量を大きくすると、より大きなデフォーカス状態の被写体の焦点検出を行うことができる。一方で、Ａ像とＢ像の位置関係のずらし量を大きくすることは、演算量増加につながり、焦点検出演算の時間が長くかかってしまう。そのため、検出したいデフォーカス量と精度を鑑みて、適切に設定する。
相関演算に用いる相関量ＣＯＲ（ｈ）は、例えば下記の式（１）で算出することができる。
【００７６】
【数１】
2017198850.tif 000003
（１）
【００７７】
式（１）において、対の焦点検出信号を、それぞれＳ１（ｋ）、Ｓ２（ｋ）（１≦ｋ≦Ｐ）としている。ＮＷ１は、視野内データ数に相当し、ｈｍａｘが、シフトデータ数に相当する。各シフト量ｈについての相関量ＣＯＲ（ｈ）を求めた後、対の像の相関が最も高くなるシフト量ｈ、すなわち、相関量ＣＯＲが最小となるシフト量ｈの値を求める。なお、相関量ＣＯＲ（ｈ）の算出時におけるシフト量ｈは整数とするが、相関量ＣＯＲ（ｈ）が最小となるシフト量ｈを求める場合には、デフォーカス量の精度を向上させるため、適宜補間処理を行いサブピクセル単位の値（実数値）を求める。対の信号としては、ＡＦ用Ａ像とＢ像、ＡＦ用Ｃ像とＤ像、ＡＦ用Ｅ像とＦ像の組み合わせに関して、上記の位相差を算出する。
【００７８】
また、ステップＳ９０４において、ＣＰＵ１０４は、相関量の算出と同時に、信頼性評価値を算出する。信頼性評価値とは、上述の相関量の極小値が、精度よく算出可能な状況か否かを判定するための評価値である。例えば、相関量ＣＯＲの極小値が十分に小さく、Ｓ１とＳ２の一致度が高いかどうか、相関量ＣＯＲの極小値近傍の相関量ＣＯＲの変化が大きいかどうかなどを評価値とする。また、焦点検出信号Ｓ１，Ｓ２のピークボトムを用いてもよい。
【００７９】
そして、Ｓ９０４では、カメラＣＰＵ１０４は、相関量波形の極小値検出を行う。公知のサブピクセル演算等を行い、精度よく検出する。
相関量ＣＯＲの差分値の符号が変化するシフト量ｄｈを、相関量ＣＯＲ（ｈ）が最小となるシフト量ｈとして算出する。相関量の差分値ＤＣＯＲを以下の式（２）に従って算出する。
【００８０】
【数２】
2017198850.tif 000004
（２）
【００８１】
そして、カメラＣＰＵ１０４は、相関量の差分値ＤＣＯＲを用いて、差分値の符号が変化するシフト量ｄｈを求める。差分値の符号が変化する直前のｈの値をｈ１、符号が変化したｈの値をｈ２（ｈ２＝ｈ１＋１）とすると、シフト量ｄｈを、以下の式（３）に従って算出する。
【００８２】
【数３】
2017198850.tif 000005
（３）
【００８３】
以上のようにして相関演算手段としてのカメラＣＰＵ１０４は、対の像の相関が最大となるシフト量ｄｈをサブピクセル単位で算出する。得られたシフト量ｄｈに対して、敏感度を乗じることにより、デフォーカス量に換算し、Ｓ９０４の処理を終える。そして、ステップＳ９０５に処理を進める。なお、２つの１次元像信号の位相差を算出する方法は、ここで説明したものに限らず、公知の任意の方法を用いることができる。
【００８４】
ステップＳ９０５において、ＣＰＵ１０４は、２つの撮像素子の配置誤差の補正を行う。上述のとおり、撮像素子１０１と撮像素子１０２は、光学的に共役な位置に配置するが、製造誤差などにより、ずれを生じる。組立時に、２つの撮像素子の位置の相対的な位置ずれ量を測定しておきメモリ等に保存しておく。そして、この位置ずれ量で、一方の撮像素子から得られたデフォーカス量にオフセットを持たせる等行い補正する。そして、ステップＳ９０６に処理を進める。
【００８５】
ステップＳ９０６において、ＣＰＵ１０４は、ステップＳ９０５にて得られたデフォーカス量の中から信頼性の高い検出結果の選択を行う。本実施形態では、第１の撮像素子１０１から得られたＡＦ用Ａ像、Ｂ像から第１の焦点検出結果が得られる。そして、第２の撮像素子１０２から得られたＡＦ用Ｃ像、Ｄ像から第２の焦点検出結果、第２の撮像素子１０２から得られたＡＦ用Ｅ像、Ｆ像から第３の焦点検出結果が得られる。同時に得られた信頼性評価値から、信頼性の高い結果を選択する。例えば、コントラスト方向が垂直方向の成分が多い場合には、第２の撮像素子１０２から得られる第３の焦点検出結果を優先することが考えられる。また、検出されるデフォーカス量が大きい場合は、評価帯域が低域の方が、信頼性が高いため、検出されたデフォーカス量から、どの焦点検出結果を用いるかを決定してもよい。そして、ステップＳ９０７に処理を進める。
【００８６】
ステップＳ９０７において、ＣＰＵ１０４は、ステップＳ９０６にて選択されたデフォーカス量に基づき、フォーカスレンズ群５０３の駆動を行う。第１の撮像素子１０１から得られた焦点検出結果から、フォーカスレンズ群５０３を駆動する。本実施形態では、解像度の高い記録画像が得られる撮像素子１０１を優先して焦点調整を行う。しかしながら、フォーカスレンズ群５０３の駆動量を、第２の焦点検出結果を用いて決定してもよい。そして、フォーカスレンズ群５０３の駆動を終えると、ステップＳ９０８に処理を進める。
【００８７】
ステップＳ９０８において、ＣＰＵ１０４は、合焦した旨を操作者に知らせるために、表示手段１０８やファインダ内表示器１０７に、焦点検出領域に対応した枠などの表示を行い、焦点検出処理を終了する。
【００８８】
次に、本実施形態の２つの撮像素子の位置調整方法、言い換えると、相対的な位置誤差を小さく抑える方法について説明する。上述のとおり、２つの撮像素子の相対的な位置誤差は、両方の撮像素子から合焦状態の画像を取得することを困難にする。一方で、一般的に、撮像素子は、撮像レンズの光学性能が保証される結像面近傍に配置する。本実施形態において、結像面の位置は、撮像レンズ５００とマウント部が接続するつきあて面を基準面（マウント面２００）として、所定の誤差内に配置されることが保証されている。そのため、撮像素子の組み付けを行う際には、マウント面２００を基準として、位置調整を行う方法が一般的である。本実施形態では、マウント２００を基準として撮像素子１０１の位置調整を行い、撮像素子１０２は、撮像素子１０１の位置を基準として位置調整を行う。
【００８９】
マウント面２００を基準として、撮像素子１０１を、撮像素子１０２よりも優先して位置調整を行うのは、以下の理由による。本実施形態において、撮像素子１０１は、画素ピッチが細かいため高解像な画像が取得可能であり、ハーフミラーを透過した光束を受光するため反射と比べて、収差が少ない光学像を取得可能である。また、本実施形態では撮像素子１０１には、フォーカルプレンシャッタ１１１を備えており、ＳＮの良い信号を取得可能である。そのため、撮像素子１０１はより高画質な画像を、主として静止画を取得するように構成されている。一般的に、動画と静止画の記録フォーマットは、水平方向の長さに対して、動画の方が垂直方向に短く、静止画の方が垂直方向に撮像範囲が広い。以上のことから、撮像素子１０１から得られる画像は、撮像素子１０２に対して、高画質で広い撮像範囲といった利点がある。
【００９０】
撮像素子１０１を設置する位置をマウント面２００を基準として調整することにより、撮像光学系の結像面との位置誤差を保証することができる。さらに、撮像光学系の製造誤差などによる収差状態の変化や像高ごとの像面の傾き（片ボケ）などの影響を低減することができる。また、静止画の撮像範囲の広さによるイメージサークルのケラレやビネッティングによる光量落ちの懸念を低減することができる。
【００９１】
一方で、撮像素子１０２を、撮像素子１０１を基準として位置調整を行うのは、以下の理由による。上述のとおり、本実施形態では、１つの撮像光学系の焦点調整機構に対して２つの撮像素子を有するため、２つの撮像素子の光路長が異なる場合、両方を厳密に合焦状態とすることは困難である。例えば、撮像素子１０１とマウント面２００の位置調整精度が、Ａ［ｍｍ］であり、同様に、撮像素子１０２とマウント面２００の位置調整精度も、Ａ［ｍｍ］であった場合、２つの撮像素子の光路長差は、２×Ａ［ｍｍ］になりうる。そこで、本実施形態のように、撮像素子１０２を撮像素子１０１を基準として位置調整を行うことにより、撮像素子１０２のピント状態を撮像素子１０１に近づけることができる。言い換えると、撮像素子１０２と撮像素子１０１の調整精度の分のみ、撮像素子１０２のピント状態は、撮像素子１０１と異なることになる。撮像素子１０２と撮像素子１０１の調整精度が同様にＡ［ｍｍ］であった場合、２つの撮像素子をマウント面２００を基準に位置調整する場合に対して、ピント状態の差を半分に抑えることができる。撮像素子１０２は、撮像光学系の製造誤差などによる収差状態の変化や像高ごとの像面の傾き（片ボケ）などの影響は若干大きくなるが、撮像素子１０１とのピント状態の差を小さくすることができる。
【００９２】
具体的な方法について、図９および図１０を用いて、説明する。図９（ａ）乃至図９（ｃ）は、上述した調整方法の順序の一例を示す図である。構成要素の添え字は、図１と同様に示している。
【００９３】
図９（ａ）は、まず、撮像光学系の結像面の基準となるマウント部の取り付け面（マウント面２００）に対して、ビームスプリッタ１０３の位置調整を行う。ビームスプリッタ１０３の調整は、マウント面２００と結合可能で、マウント面２００の結合面に対して位置が保証された調整工具上のミラー面（不図示）をビームスプリッタ１０３の上側に用意する。そして、マウント面２００に対して角度が保証されたレーザー光などを複数本、調整工具から出射する。出射したレーザー光を、ビームスプリッタ１０３の反射、調整工具のミラー面反射、ビームスプリッタ１０３の反射を経て、マウント面２００を通過し受光するように構成する。これにより、ビームスプリッタ１０３の位置、角度の調整が可能である。例えば、光軸２０１と平行に、複数本のレーザー光を出射し、調整工具上のミラー面の距離を測定してもよい。複数本のレーザー光と対応した距離を所定の値に収めることで、光軸方向（Ｚ軸方向）の光路長と角度の調整を行うことができる。ここでは、角度に関する調整が、より重要である。角度ずれが発生すると撮像素子１０２の調整を行う際に、角度ずれ量の２倍、大きく傾けて調整する必要が生じるためである。一方で、位置のシフトずれは、角度ずれに対して、敏感度が低い。ビームスプリッタ１０３の位置調整後、マウント面２００を保持するベースブロック（不図示）に対して、ビームスプリッタ１０３を固定する。
【００９４】
次に、図９（ｂ）で、撮像素子１０１を、マウント２００に対して位置調整する。ここでは、図９（ａ）の調整と同様に、マウント面２００側から複数本のレーザー光を出射し、撮像素子１０１とマウント２００の間の距離を複数点について測定すればよい。例えば、光軸２０１上と周辺４点を測定し、マウント２００に対する撮像素子１０１のＺ軸方向の距離と３軸方向の角度を調整する。第１の調整部としては、撮像素子１０１を３点以上の複数点でバネで付勢されたビスの送り込み量により、調整すればよい。Ｘ軸方向、Ｙ軸方向についても調整を行ってもよいが、所定の誤差内に収まれば、画質に対する影響は少ない。そのため、Ｘ軸、Ｙ軸方向については、位置の調整は行わず、位置決めピント穴などの所定の位置決め機構で組み付けてもよい。図９（ｂ）の状態で調整を終えると、マウント２００を保持するベースブロック（不図示）に対して、撮像素子１０１を固定する。そして、調整工具もしくはカメラ本体１００は、撮像素子１０１の位置を測定し、記憶する。
【００９５】
次に、図９（ｃ）で、撮像素子１０２を、図９（ｂ）で最後に測定した撮像素子１０１の位置情報に基づいて、位置調整を行う。位置調整の方法は、撮像素子１０１の調整方法と同じでよい。第２の調整部として、３点以上の複数点でバネで付勢されたビスの送り込み量により、調整すればよい。調整の際には、撮像素子１０１側のフォーカルプレンシャッタ１１１を遮光状態とし、調整のために用いるレーザー光の反射を防ぐ。これにより、図７（ｂ）の撮像素子１０１と同様に、撮像素子１０２の調整を行うことができる。また、撮像素子１０１の位置情報の測定結果を基準として、撮像素子１０２の位置調整を行うため、２つの撮像素子で記録される画像の画質の差を減らすことができる。
【００９６】
図１０を用いて、図９とは異なる調整方法について説明する。図１０（ａ）乃至図１０（ｃ）は、上述した調整方法の順序の一例を示す図である。構成要素の添え字は、図１と同様に示している。
【００９７】
まず、図１０（ａ）で、ベースブロック（不図示）を介して、調整工具に固定されたビームスプリッタ１０３に対して、撮像素子１０２の位置調整を行う。位置調整方法は、図９と同様に、ビームスプリッタ１０３を反射した後、撮像素子１０２で反射し、ビームスプリッタ１０３で再度反射するように、複数のレーザー光を出射し、戻ってきたレーザー光を用いればよい。帰ってくるレーザー光の座標もしくは撮像素子１０２までの距離を取得しながら、所定の誤差内に収まるように撮像素子１０２を調整する。図１０（ａ）の調整は、カメラ内のスペースに余裕があれば、比較的、粗い精度で調整を行えばよい。撮像素子１０２を調整後、撮像素子１０２をベースブロックに固定し、調整工具の基準位置に対する撮像素子１０２の位置情報を記憶する。
【００９８】
次に、図１０（ｂ）で、撮像素子１０１を、撮像素子１０２の位置情報に対して、位置調整を行う。調整工具に設けられた撮像素子１０２を遮光する部材（不図示）を用いて遮光し、図１０（ａ）と同様に、撮像素子１０１を調整する。撮像素子１０１は、撮像素子１０２との相対的な位置精度を保証できるよう撮像素子１０２の位置情報に対して、所定の誤差内に収まるよう組み付けを行う。位置調整後、撮像素子１０２をベースブロックに固定する。
【００９９】
その後、図１０（ｃ）で、２つの撮像素子、ビームスプリッタ１０３を有するベースブロックを、マウント面２００に対して位置調整を行う。この際には、マウント面２００に対して、撮像素子１０１を所定範囲の誤差に収まるよう位置調整を行う。このように調整することにより、図７の場合と同様に、マウント面２００に対する撮像素子１０１の位置が保証され、高性能な光学像の撮像を行うことができる。また、撮像素子１０２で撮像する光学像は、撮像素子１０１の記録する画像に対して、フォーカス状態のずれ量が、なるべく少なくなるように構成することができる。
【０１００】
これらの調整を行うことにより、マウント面２００に対する撮像素子１０１の位置誤差と撮像素子１０２の位置誤差には、相関がなくなる。一方で、撮像素子１０１に対するマウント面２００の位置誤差と撮像素子１０２の位置誤差には相関が出るようになる。このように構成することにより、２つの撮像素子から得られる画像の高画質化、特に、ピント状態の差による画質劣化の低減を実現することができる。
【０１０１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2017198850.tif 000006
【図２】
2017198850.tif 000007
【図３】
2017198850.tif 000008
【図４】
2017198850.tif 000009
【図５】
2017198850.tif 000010
【図６】
2017198850.tif 000011
【図７】
2017198850.tif 000012
【図８】
2017198850.tif 000013
【図９】
2017198850.tif 000014
【図１０】
2017198850.tif 000015