(57)【要約】【課題】  ノイズの影響を低減して焦点検出を行うことを可能にする焦点検出装置を提供することにある。【解決手段】  焦点検出装置は、一対の視差画像信号に含まれるノイズの影響度を判定する判定手段と、一対の視差画像信号に基づく相関演算により、一対の視差画像の位相差に関する情報を取得する取得手段とを備える。記取得手段は、判定手段の判定結果に基づいて、周波数特性の異なる複数のフィルターの中から位相差に関する情報の取得に用いるフィルターを選択し、選択されたフィルターによる処理が行われた一対の視差画像信号に基づく相関演算により取得された位相差に関する情報を焦点検出結果として出力する。【選択図】  図９
2018132613.tif 000002
【特許請求の範囲】
【請求項１】
一対の視差画像信号に含まれるノイズの影響度を判定する判定手段と、
前記一対の視差画像信号に基づく相関演算により、前記一対の視差画像の位相差に関する情報を取得する取得手段とを備え、
前記取得手段は、前記判定手段の判定結果に基づいて、周波数特性の異なる複数のフィルターの中から前記位相差に関する情報の取得に用いるフィルターを選択し、選択されたフィルターによる処理が行われた前記一対の視差画像信号に基づく前記相関演算により取得された前記位相差に関する情報を焦点検出結果として出力することを特徴とする焦点検出装置。
【請求項２】
前記取得手段は、
前記判定手段により前記ノイズの影響が所定の大きさ以上であると判定されたとき、前記像ズレ量に関する情報の取得に用いるフィルタ―として第２のフィルターを選択し、
前記判定手段により前記ノイズの影響度が所定値未満であると判定されたとき、前記像ズレ量に関する情報の取得に用いるフィルタ―として前記第１のフィルターよりも低い周波数成分を透過させる第２のフィルターを選択することを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
前記判定手段は、
第３のフィルタを用いた前記一対の視差画像信号に基づく相関演算により取得された第３の相関量と、前記第３のフィルタよりも低い周波数成分を通過させる第４のフィルタを用いた前記一対の視差画像信号に基づく相関演算により取得された第４の相関量との差分に基づいて前記ノイズの影響度を判定することを特徴とする請求項１又は２に記載の焦点検出装置。
【請求項４】
前記判定手段は、前記第１のフィルタを用いた前記一対の視差画像信号に基づく相関演算により取得された第１の相関量と、前記第２のフィルタを用いた前記一対の視差画像信号に基づく相関演算により取得された第２の相関量との差分に基づいて前記ノイズの影響度を判定することを特徴とする請求項２に記載の焦点検出装置。
【請求項５】
前記判定手段は、前記ノイズの影響度の判定に、前記一対の視差画像信号を構成する少なくとも一方の信号の強度に関する情報を用いることを特徴とする請求項３又は４に記載の焦点検出装置。
【請求項６】
前記信号の強度に関する情報は、前記信号の強度の最大値と前記信号の強度の平均値との少なくともいずれかであることを特徴とする請求項５に記載の焦点検出装置。
【請求項７】
前記判定手段は、
前記一対の視差画像信号のコントラストに関する情報とノイズに関する情報とに基づいて前記一対の視差画像信号に含まれるノイズの影響度を判定することを特徴とする請求項１又は２に記載の焦点検出装置。
【請求項８】
前記コントラストに関する情報は、前記一対の視差画像信号を構成する少なくとも一方の像信号の、振幅と先鋭度の少なくともいずれかであることを特徴とする請求項７に記載の焦点検出装置。
【請求項９】
前記ノイズに関する情報は、前記一対の視差画像信号の取得に用いられた撮像素子に起因するノイズ成分と、前記一対の視差画像信号にかけられるゲイン成分に関する設定値の少なくともいずれかであることを特徴とする請求項７または８に記載の焦点検出装置。
【請求項１０】
前記ゲイン成分に関する設定値は、前記一対の視差画像信号を取得する際の電荷の蓄積時間と感度の少なくともいずれかであることを特徴とする請求項９に記載の焦点検出装置。
【請求項１１】
前記判定手段は、
前記一対の視差画像信号の前記コントラストに関する情報に基づいて取得される評価値と、
前記一対の視差画像信号のノイズに関する情報に基づいて決定される閾値とを比較することで前記ノイズの影響度を判定する請求項７乃至１０のいずれか１項に記載の焦点検出装置。
【請求項１２】
前記判定手段は、前記評価値が前記閾値よりも大きい場合、前記ノイズの影響度が所定値以下であり、前記評価値が前記閾値以下の場合、前記ノイズの影響度が前記所定値より大きいと判定することを特徴とする請求項１１に記載の焦点検出装置。
【請求項１３】
前記取得手段は、
前記一対の視差画像信号に対して前記選択されたフィルタを用いたフィルタ処理を行うことで、前記選択されたフィルタによる処理を施された前記一対の視差画像信号を取得することを特徴とする請求項１乃至１２のいずれか１項に記載の焦点検出装置。
【請求項１４】
前記取得手段は、
前記一対の視差画像信号に対して前記複数のフィルターのそれぞれを用いたフィルター処理を行うことで、複数のフィルターのそれぞれによる処理を施された複数の前記一対の視差画像信号を取得し、
複数の前記一対の視差画像信号のなかから、前記選択されたフィルターによる処理を施された前記一対の視差画像信号を選択し、選択した前記一対の視差画像信号に基づく前記相関演算により、前記像ズレ量に関する情報を取得することを特徴とする請求項１乃至１２のいずれか１項に記載の焦点検出装置。
【請求項１５】
前記取得手段は、
前記一対の視差画像信号に対して前記複数のフィルタのそれぞれを用いたフィルタ処理を行うことで、複数のフィルタのそれぞれによる処理を施された複数の前記一対の視差画像信号を取得し、
複数の前記一対の視差画像信号のそれぞれに基づく相関演算により複数の前記像ズレ量に関する情報を取得し、
複数の前記像ズレ量に関する情報のなから、前記選択されたフィルタによる処理を施された前記一対の視差画像信号に基づく相関演算による前記像ズレ量に関する情報を選択することにより、前記像ズレ量に関する情報を取得すること特徴とする請求項１乃至１２のいずれか１項に記載の焦点検出装置。
【請求項１６】
前記判定手段は、前記ノイズの影響度の判定に、前記一対の視差画像信号を取得するための撮像時の感度を使用することを特徴とする請求項１乃至１５のいずれか１項に記載の焦点検出装置。
【請求項１７】
前記判定手段は、前記ノイズの影響度の判定に、前記一対の視差画像信号を取得するための撮像時のＥＶ値を使用することを特徴とする請求項１乃至１６のいずれか１項に記載の焦点検出装置。
【請求項１８】
前記一対の視差画像信号は、撮影光学系からの光を光電変換することで生成される信号に基づくことを特徴とする請求項１乃至１７のいずれか１項に記載の焦点検出装置。
【請求項１９】
前記位相差に関する情報は、デフォーカス量、前記撮影光学系に含まれるレンズを合焦位置に移動させるために必要な駆動量の少なくともいずれかを含むことを特徴とする請求項１乃至１８のいずれか１項に記載の焦点検出装置。
【請求項２０】
請求項１乃至１９のいずれか１項に記載の焦点検出装置と、
前記一対の視差画像信号を撮影光学系からの光を光電変換する撮像素子とを備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位相差検出方式を用いた焦点検出装置、及び撮像装置に関する。
【背景技術】
【０００２】
従来、被写体像の光束を射出瞳面で分割して、それぞれを２次元の撮像素子における一対の画素列の各々に結像させ、一対の画素列で光電変換された各像信号の位相差に基づいて焦点検出を行う方法が位相差検出方式の焦点検出方法として知られている。
【０００３】
特許文献１には、各画素にマイクロレンズが形成された２次元の撮像素子を用いて位相差検出方式の焦点検出を行う撮像装置の記載がある。この撮像装置において、各画素は瞳分割された一方の像を光電変換するフォトダイオードＡ、他方の像を光電変換するフォトダイオードＢ、フォトダイオードＡおよびＢからの電荷を一時的に保持するフローティングディフュージョン領域を有する。フォトダイオードＡおよびＢからフローティングディフュージョン領域への電荷の転送制御は、はじめにフォトダイオードＡの電荷のみを転送して電圧変換することで、瞳分割された一方の像信号（以後、Ａ像信号と呼ぶ。）を得ることができる。また、ここでフローティングディフュージョン領域をリセットすることなく、つづけてフォトダイオードＢの電荷をフローティングディフュージョン領域に転送して電圧変換することで、瞳分割前の像信号（以後、Ａ＋Ｂ像信号と呼ぶ。）を得ることができる。
【０００４】
瞳分割された他方の像が入射するフォトダイオードＢに対応する像信号（以後、Ｂ像信号と呼ぶ。）は、Ａ＋Ｂ像信号からＡ像信号を差し引くことで、電気的に求められる。このようにして求められた一対のＡ像信号およびＢ像信号の画像信号は視差画像信号であるため、Ａ像信号とＢ像信号に対して、その位相差を公知の相関演算で求めることにより、被写体の焦点位置を検出することができる。また、Ａ＋Ｂ像信号は撮像装置による撮像画像の生成に用いる。このように、特許文献１に記載の撮像装置は、Ａ像、Ｂ像、Ａ＋Ｂ像という３種類の像信号を、２回の読み出しで取得することができる。加えて、フローティングディフュージョン領域で電荷を混合してＡ＋Ｂ像信号を生成するため、Ａ像信号とＢ像信号とを読み出してから加算する方法に比べて、ノイズの少ない瞳分割前の像信号（Ａ＋Ｂ像信号）が得られる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−８９２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般的な光電変換の回路構成において、フローティングディフュージョン領域に光ショットノイズや暗電流ノイズが混入する。したがって、フォトダイオードから転送された電荷には、フローティングディフュージョン領域で一時的に保持されるタイミングによって、異なる電荷量のノイズが混入する。瞳分割された一対の像をそれぞれ光電変換する場合、フローティングディフュージョン領域にて上述したＡ像信号を一時的に保持するタイミングと、同じく上述したＡ＋Ｂ像信号を一時的に保持するタイミングとで、異なる電荷量のノイズが混入する。よって、特許文献１のように、Ａ＋Ｂ像信号からＡ像信号を減じて生成したＢ像信号は、Ａ像信号に含まれるノイズ成分と正負が逆の信号成分（逆波形ノイズと呼ぶ。）を含む。
【０００７】
一対の視差画像信号において、ノイズの影響がなければ合焦時は位相シフト量＝０の時に相関量が最も小さくなるが、このようにＡ＋Ｂ像信号とＡ像信号の差分をＢ像信号とすると、位相シフト量＝０の時に他のシフト量のときよりもノイズの影響が大きくなる。その結果、誤測距やハンチングが起きる可能性がある。特に、合焦位置近傍での焦点検出の際、位相差ゼロの近傍で画素列が高い負の相関を示すことにより、焦点検出に誤差が生じてしまう可能性がある。また、被写体が特に低輝度または低コントラストである場合、本来の被写体に起因する像信号の振幅が小さくなるため、ノイズの影響度が相対的に高くなる。
【０００８】
また、像信号対に含まれるノイズ成分が相関を有するのは、Ｂ像信号をＡ＋Ｂ像信号とＡ像信号との差分から取得する場合だけに限らない。列方向で読出し配線、及びＡＤ変換部を複数画素で共有している撮像素子では、列毎の特性の相違により列毎に異なる固定のノイズが発生する。そのため、列方向でアドレスが同一のＡ像副画素、Ａ＋Ｂ像（もしくはＢ像）画素で垂直読み出し線を共有した場合、Ａ像副画素、Ａ＋Ｂ像画素では同傾向の列ノイズが撮像信号に混入する。この場合、逆波形ノイズとは逆に、一対の画素列においては、Ａ像に表れたノイズの波形と、Ｂ像に表れるノイズの波形は同傾向のノイズ波形となる。そのため、上述した例とは傾向が逆になり、相関演算時に、位相シフト量ゼロ近傍での相関量が局所的に高い正の相関を示すことになる。この場合も、本来の被写体に起因する像信号の相関性とは異なる位置で高い相関値が取得されるため、位相差の誤検出が発生する可能性がある。このように、Ａ像信号とＢ像信号とで正の相関を示すノイズと、Ａ像信号とＢ像信号とで負の相関を示すノイズ（逆波形ノイズ）のことをあわせて、本発明および本明細書では相関ノイズと呼ぶことがある。
【０００９】
そこで、本発明は上述した課題に鑑みてなされたものであり、その目的の一つは、ノイズの影響を低減して焦点検出を行うことを可能にする焦点検出装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮像装置は、一対の視差画像信号に含まれるノイズの影響度を判定する判定手段と、前記一対の視差画像信号に基づく相関演算により、前記一対の視差画像の位相差に関する情報を取得する取得手段とを備え、前記取得手段は、前記判定手段の判定結果に基づいて、周波数特性の異なる複数のフィルターの中から前記位相差に関する情報の取得に用いるフィルターを選択し、選択されたフィルターによる処理が行われた前記一対の視差画像信号に基づく前記相関演算により取得された前記位相差に関する情報を焦点検出結果として出力することを特徴とする。本発明のその他の側面は、発明を実施するための形態で説明をする。
【発明の効果】
【００１１】
本発明によれば、ノイズの影響を低減して焦点検出を行うことが可能な焦点検出装置を提供できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る撮像装置の一例であるデジタルカメラの概略構成を示す図である。
【図２】本発明の第１の実施形態における焦点検出画素列に処理するデジタルフィルタの特性例を示すグラフである。
【図３】撮像素子の構成を示す模式図である。
【図４】撮像素子の画素の回路構成及び駆動タイミングを示す図である。
【図５】像信号に表れるノイズの出方を説明するのに用いるパターン被写体である。
【図６】パターン被写体に対する第１および第２の焦点検出画素列の像信号およびその加算信号を示したグラフである。
【図７】ノイズが混入した場合における第１および第２の焦点検出画素列の像信号およびその加算信号を示したグラフである。
【図８】第１および第２の副画素列の相関を位相シフト量ごとに示したグラフである。
【図９】第１の実施形態におけるデジタルカメラの焦点検出動作の流れを示すフローチャートである。
【図１０】第１の実施形態におけるデジタルカメラのノイズ影響度の判定の流れを示すフローチャートである。
【図１１】第２の実施形態におけるデジタルカメラのノイズ影響度の判定の流れを示すフローチャートである。
【図１２】第２の実施形態における像信号の先鋭度とデフォーカス量の関係を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。ここでは、本発明にかかる焦点検出装置を、レンズ交換式のデジタル一眼レフカメラに適用した実施形態について説明をする。しかしながら、本発明にかかる焦点検出装置は、位相差検出方式の焦点検出に用いる信号を生成可能な撮像素子を有する任意の電子機器に適用可能である。電子機器としては、レンズ交換できないタイプのデジタルカメラや、ビデオカメラの他、カメラを備えた携帯電話機、パーソナルコンピュータ、ゲーム機、家電機器などが例として挙げられる。
【００１４】
以下で説明する実施形態に係る焦点検出装置は、像面位相差方式の焦点検出を行う焦点検出装置であり、一対の視差画像信号に含まれるノイズの影響度を判定する。そして、判定結果に基づいて選択されたバンドパスフィルタ処理を施された一対の視差画像信号に基づく相関演算により取得された像ズレ量に関する情報を取得する。例えば、ノイズの影響が大きいと判定された場合は、ノイズの影響を受けにくい、比較的低周波帯域の信号が通過するようなバンドパスフィルタを選択する。一方で、ノイズの影響が小さいと判定された場合は、より高い精度で焦点検出を行うことができる、比較的高周波帯域の信号が通過するようなバンドパスフィルタを選択する。これにより、ノイズの影響を低減した焦点検出を行うことができる。
【００１５】
［第１の実施形態］
＜デジタルカメラシステムの構成＞
図１は、本発明の第１の実施形態に係る撮像装置の一例であるデジタルカメラシステムの概略構成を示す図である。
【００１６】
図１において、デジタルカメラシステムは、レンズ部１００とカメラ部２００備える。レンズ部１００は、不図示のマウント部のレンズ装着機構を介してカメラ部２００に着脱可能に取り付けられている。マウント部には、電気接点ユニット１０８が設けられている。この電気接点ユニット１０８には、通信バスライン用の端子があり、レンズ部１００とカメラ部２００が通信可能になっている。
【００１７】
レンズ部１００には、撮像光学系を構成し、フォーカスレンズやズームレンズを有するレンズ群１０１、及び入射光線を制御する絞り１０２が設けられている。また、レンズ群１０１のズームやフォーカスを行うためのステッピングモータからなる駆動系及び駆動系の制御部を有するレンズ駆動ユニット１０３が設けられている。レンズ駆動ユニット１０３と駆動系は焦点調節手段を構成する。また、レンズ部１００には、絞り１０２の開口を制御する絞り制御ユニット１０４と、レンズ群１０１のズーム、フォーカス、絞りの各種光学設計値が記録された光学情報記録部１０６が設けられている。レンズ駆動ユニット１０３、絞り制御ユニット１０４、および光学情報記録部１０６は、レンズ部１００全体の動作を制御するＣＰＵからなるレンズコントローラ１０５に接続されている。また、レンズ部１００には、レンズ駆動ユニット１０３に内包されたステッピングモータの位相波形を取得してレンズの位置情報を検出するレンズ位置検出部１０７が設けられている。
【００１８】
カメラ部２００は、レンズ部１００と電気接点ユニット１０８を介して通信を行い、レンズ群１０１のズームやフォーカス、絞り１０２の開口について制御要求を送信し、制御結果を受信する。また、カメラ部２００には、カメラ部２００へ操作入力を行うための操作スイッチ２１４が設けられている。操作スイッチ２１４は、２段ストロークタイプのスイッチで構成されている。１段目のスイッチ（ＳＷ１）は、撮像信号を用いた測光や焦点検出など撮影準備動作を開始させるためのスイッチである。２段目のスイッチ（ＳＷ２）は、静止画を取得するため、撮像部２１３で電荷蓄積及び電荷読み出しといった撮影動作を開始させるためのスイッチである。
【００１９】
撮像部２１３は、光電変換部を有する画素を複数有する撮像素子と、撮像素子から出力された電気信号を、デジタルデータである像信号に変換するＡ／Ｄ変換器と、現像演算を行うプロセッサを有する。入射光線は、レンズ群１０１及び絞り１０２を介して、撮像素子へ導かれる。撮像部２１３では、入射した被写体像を光電変換して現像演算することで撮像データが得られる。撮像素子としては、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサーを用いることができる。また、Ａ／Ｄ変換器は撮像素子に組み込まれていても良い。尚、本明細書では、画素が像信号に対応する電気信号を出力することを、単に、画素が像信号を出力するということがある。撮像素子が有する画素のうち、少なくとも一部の画素は焦点検出のために用いる像信号を出力可能である。撮像素子で得られた焦点検出用の像信号は、カメラコントローラ２１５と接続されているメモリ２１６に一時記憶される。メモリ２１６に一時記憶された一対の視差画像信号（以下、単に一対の像信号と呼ぶことがある）は、カメラコントローラ２１５と接続されている画素加算部２１７へ送られる。
【００２０】
画素加算部２１７は、一対の像信号に対して、位置的に対応する画素から得られた像信号を、加算カウンタ２１８でカウントされた回数が所定回数に達するまで加算する。加算された一対の像信号は、カメラコントローラ２１５と接続されている相関量取得手段である相関演算部２１９へ送られ、相関演算部２１９は相関演算により一対の像信号の位相シフト量ごとの相関量（一対の像信号の差分で示される）を算出する。算出された相関量は、カメラコントローラ２１５と接続されている相関量加算部２２０で、加算カウンタ２１８でカウントされた回数が所定回数に達するまで加算される。加算された相関量は、位相差取得部２２１へ送られ、最も相関が高くなる位相差（相関量が最小値を示す位相差。本発明および本明細書では、単に位相差というときは、視差画像信号を構成する２像の相関が最も高い位相差のことを指す）が取得される。
【００２１】
デフォーカス量取得手段であるデフォーカス量取得部２２２は、位相差取得部２２１で取得された位相差とレンズ部１００の光学特性に基づいて、公知の方法によりデフォーカス量を取得する。取得されたデフォーカス量は、デフォーカス量加算部２２３へ送られ、加算カウンタ２１８でカウントされた回数が所定回数に達するまで加算される。
【００２２】
カメラコントローラ２１５は、電気接点ユニット１０８を介してレンズコントローラ１０５と制御情報を送受信し、デフォーカス量検出部２２２あるいはデフォーカス量加算部２２３で算出されたデフォーカス量に基づいて、レンズ群１０１の焦点位置を制御する。
【００２３】
本実施形態におけるデジタルカメラは、撮像部２１３で撮像された被写体像や各種の操作状況を表示する表示部２２４と、撮像部２１３の動作を、ライブビューモードあるいは動画記録モードに切り替えるための操作部２２５を備える。撮像部２１３で撮像された静止画や動画は、所定のデータフォーマットで記録部２２６に記録される。
【００２４】
また、カメラ部２００は、撮像部２１３から２つの像信号を入力して一方の像信号から他方を減算する画素減算部２２７と、像信号に１次元のバンドパスフィルタリング（ＢＰＦ）を行うＢＰＦ処理部２２８を備える。ＢＰＦ処理部は所定の空間周波数特性を透過させる第１のフィルタと、第１のフィルタより低域に特性を持たせた第２のフィルタを備える。第１と第２のフィルタの空間周波数特性の例を図２に示す。
【００２５】
図２において、第１のフィルタの空間周波数特性を実線、第２のフィルタの空間周波数特性を点線で示している。図中のＮｙは一対の焦点検出画素列のナイキスト周波数を示している。第１のフィルタは周波数ｆ１で最大振幅となる空間周波数特性を持つ。第２のフィルタは周波数ｆ１より低域の周波数ｆ２で最大振幅となる空間周波数を持つ。よって、第２のフィルタのほうが、第１のフィルタよりも、低い帯域の信号を通過させるバンドパスフィルタであることが分かる。なお、ＢＰＦ処理部２２８はフィルタ演算後に最大振幅の正規化演算を行う。このため、第１と第２のフィルタの最大振幅がともに値１となっている。
【００２６】
また、カメラ部２００は、相関演算部２１９で算出した位相差ごとの相関量を２セット分だけ一時記憶する記憶領域と、２セットの相関量における任意の位相シフト量の相関量差を算出する相関量差算出部２２９を備える。相関量差算出部２２９は、カメラコントローラ２１５と共に、一対の視差画像信号に含まれるノイズの影響度を判定する判定手段として機能する。
【００２７】
次に、撮像部２１３が備える撮像素子の構成について、図３、４を用いて説明する。
【００２８】
図３（ａ）は、撮像素子の受光面を入射光側から見た模式図である。撮像素子が備える画素のそれぞれは、射出瞳面で分割された一対の光線がそれぞれ入射する第１の副画素Ｓ１および第２の副画素Ｓ２を備える。第１の副画素Ｓ１には、射出瞳の第１の瞳領域を通過する光束が入射し、第２の副画素Ｓ２には、射出瞳の第２の瞳領域を通過する光束が入射する。第１の副画素Ｓ１および第２の副画素Ｓ２の前面には、集光用にマイクロレンズＭＬが配置されている。撮像素子の受光面には、第１の副画素Ｓ１、第２の副画素Ｓ２、およびマイクロレンズＭＬを組とする画素が、水平方向にｈ画素、垂直方向にｖ画素配置されている。第１及び第２の副画素Ｓ１、Ｓ２からの像信号は焦点検出用に、単位画素からの像信号は撮像用に用いることができる。また、同じ画素を構成する第１の副画素と第２の副画素のことを、対をなす副画素ということがある。対をなす副画素同士には、同一のマイクロレンズＭＬを通過した光束が入射する。
【００２９】
図３（ｂ）は図３（ａ）における画素の断面図である。光入射側（図中上）から、マイクロレンズＭＬ、マイクロレンズＭＬを配置するための平面を構成する平滑層７０１、遮光層７０２（７０２ａ，７０２ｂ）、第１及び第２のフォトダイオード７０３ａ、７０３ｂが配置されている。射出瞳の第１の瞳領域を通過する光束は第１のフォトダイオード７０３ａへ、第２の瞳領域を通過する光束は第２のフォトダイオード７０３ｂへ入射する。遮光層７０２は、第１の焦点検出画素Ｓ１の光電変換領域７０３ａと第２の焦点検出画素Ｓ２の光電変換領域７０３ｂに不必要な斜め角度の光線を入射させないようにするために配置される。画素がこのような構成を有することにより、撮像光学系の瞳が対称に分割され、分割されたそれぞれの光束に対応する像信号が取得できる。
【００３０】
次に、撮像素子の画素の回路構成について、図４（ａ）を用いて説明する。画素３００は、第１のフォトダイオード３０１Ａ、第２のフォトダイオード３０１Ｂ、第１の転送スイッチ３０２Ａ、第２の転送スイッチ３０２Ｂ、フローティングディフュージョン領域３０３を備える。さらに、単位画素３００は、増幅部３０４、リセットスイッチ３０５、選択スイッチ３０６を備える。符号３０８は共通電源ＶＤＤである。尚、第１のフォトダイオード３０１Ａと第１の転送スイッチ３０２Ａは第１の副画素Ｓ１を構成し、第２のフォトダイオード３０１Ｂと第２の転送スイッチ３０２Ｂは第２の副画素Ｓ２を構成する。
【００３１】
第１と第２のフォトダイオード３０１Ａ、３０１Ｂは、同一のマイクロレンズＭＬを通過してそれぞれに入射する光線を光電変換する。第１および第２の転送スイッチ３０２Ａ、３０２Ｂは、それぞれ第１と第２のフォトダイオード３０１Ａ、３０１Ｂで発生した電荷を、選択的に共通のフローティングディフュージョン領域３０３へ転送するよう制御する。第１と第２の転送スイッチ３０２Ａ、３０２Ｂは、それぞれ第１および第２の転送パルス信号ＰＴＸＡおよびＰＴＸＢによって制御される。フローティングディフュージョン領域３０３は、第１と第２のフォトダイオード３０１Ａ、３０１Ｂからそれぞれ転送された電荷を一時的に保持し、保持した電荷を電圧信号に変換する。増幅部３０４は、ソースフォロワＭＯＳトランジスタで構成され、フローティングディフュージョン領域３０３に保持された電荷に基づく電圧信号を増幅して、画素信号として出力する。リセットスイッチ３０５は、フローティングディフュージョン領域３０３の電位を基準電位ＶＤＤにリセットする。リセットスイッチ３０５は、リセットパルス信号ＰＲＥＳにより制御される。選択スイッチ３０６は、増幅部３０４から垂直出力線３０７への画素信号の出力を制御する。選択スイッチ３０６は、垂直選択パルス信号ＰＳＥＬにより制御される。
【００３２】
次に、図４（ａ）に示す単位画素３００の回路の駆動を、図４（ｂ）の駆動タイミングチャートを用いて説明する。はじめに、時刻ｔ１乃至ｔ２の間において、第１と第２のフォトダイオード３０１Ａおよび３０１Ｂをリセットする。時刻ｔ２において、第１と第２のフォトダイオード３０１Ａおよび３０１Ｂでの電荷の蓄積を開始する。所望の露光量に基づく必要時間だけ電荷蓄積を行った後、時刻ｔ３において、選択スイッチ３０６をＯＮにする。つづいて時刻ｔ４において、フローティングディフュージョン領域３０３のリセットを解除する。時刻ｔ５乃至ｔ６の間において、第１の転送スイッチ３０２ＡをＯＮにして、第１のフォトダイオード３０１Ａの電荷をフローティングディフュージョン領域３０３へ転送する。時刻ｔ６において、第１のフォトダイオード３０１Ａに蓄積された電荷がフローティングディフュージョン領域３０３に読み出される。電荷が読み出されることで、電位の変化に応じた電圧信号が増幅部３０４と選択スイッチ３０６を経て、第１の焦点検出画素信号として垂直出力線３０７に出力される。時刻ｔ７乃至ｔ８の間において、第１と第２の転送スイッチ３０２Ａおよび３０２ＢをＯＮにする。これにより、第１と第２のフォトダイオード３０１Ａおよび３０１Ｂの電荷が、同時にフローティングディフュージョン領域３０３へ転送される。時刻ｔ８において、転送された電荷がフローティングディフュージョン領域３０３に読み出される。電荷が読み出されることで、電位の変化に応じた電圧信号が増幅部３０４と選択スイッチ３０６を経て、第１と第２の焦点検出画素信号の加算信号として垂直出力線３０７に出力される。時刻ｔ９において、フローティングディフュージョン領域３０３をリセットする。
【００３３】
以上の動作が単位画素ごとに順次行われ、第１の副画素の画素列の像信号と、第１と第２の副画素の画素列から取得される像信号の加算信号の読み出しが完了する。
【００３４】
読み出された第１の副画素の画素列の像信号および第１と第２の副画素の画素列の加算信号は、画素減算部２２７に入力されて、電気的に第２の副画素の画素列の像信号が生成される。尚、本明細書では、第１の副画素の画素列から取得される像信号をＡ像信号、第２の副画素の画素列から取得される像信号をＢ像信号とし、第１と第２の副画素の画素列から取得される像信号をＡ＋Ｂ像信号とする。また、本実施形態のように、実際にはＢ像信号のみの読み出しをせず、間接的にＢ像信号を取得する場合であっても、Ｂ像信号は第２の副画素又は第２のフォトダイオード３０１Ｂから得られるとする。
【００３５】
＜位相差とデフォーカス量の関係＞
相関演算により取得される、一対の視差画像信号を構成する２像の位相差（像ずれ量ともいう）と、デフォーカス量とは比例関係にあり、位相差が大きくなるにつれてデフォーカス量が単調に増加する。また、位相差の向きとデフォーカス量の向き（至近側／無限側）が対応する。尚、本発明および本明細書では、単に一対の視差画像信号の位相差というときは、一対の視差画像信号の相関が最も高い（つまり相関量が最小値をとる）ときの位相差のことを指すものとする。位相差は、公知の手法によりデフォーカス量に変換することができ、さらにデフォーカス量とレンズ群１０１の倍率関係に基づき、公知の手法により被写体までの距離を算出することもできる。
【００３６】
＜瞳分割した一方の像信号にノイズが混入することによる他方の像信号への影響＞
次に、第１あるいは第２の副画素列にノイズが混入した場合の、像信号と相関量について説明する。
【００３７】
図５には、説明用に分かりやすい図形パターンで示したパターン被写体１３００を示す。パターン被写体１３００は、灰色部１３０１と白色部１３０２で構成されている。図５において、説明用に着目する焦点検出に用いる画素列の領域（いわゆる焦点検出領域）を１３０３とする。
【００３８】
図６は、図５に示すパターン被写体１３００に対するＡ像信号（ｂ）、Ｂ像信号（ｃ）、及びＡ＋Ｂ像信号（ａ）を示したグラフである。なお、レンズ群１０１の焦点は合焦状態で、Ａ像信号とＢ像信号とに位相差が生じていないものとする。
【００３９】
図６（ａ）は加算信号であるＡ＋Ｂ像信号のグラフであり、水平方向のＸ座標がＸ０乃至Ｘ１の区間とＸ２乃至Ｘ３の区間における輝度の低い灰色部１３０１の像信号出力がＹ２で示されている。また、Ｘ１乃至Ｘ２の区間における輝度の高い白色部１３０２の像信号出力がＹ４で示されている。撮像部２１３で発生する暗電流の影響により、入射光量の無い状態でも一定の信号値が加わるため、その信号レベルがＯＢで示されている。
【００４０】
図６（ｂ）はＡ像信号を示すグラフであり、図６（ｃ）はＢ信号を示すグラフである。図６（ｂ）と（ｃ）において、水平方向のＸ座標がＸ０乃至Ｘ１の区間とＸ２乃至Ｘ３の区間における輝度の低い灰色部１３０１の像信号出力がＹ１で示されている。また、Ｘ１乃至Ｘ２の区間における輝度の高い白色部１３０２の像信号出力がＹ３で示されている。ここで、像信号出力Ｙ１は、像信号出力Ｙ２とＯＢの中間値である。また、像信号出力Ｙ３は、像信号出力Ｙ４とＯＢの中間値である。
【００４１】
図７は、図６で示したＡ像信号（ｂ）と、Ａ＋Ｂ像信号（ａ）とにおいて、それぞれ独立したノイズが混入した場合における、Ｂ像信号（ｃ）を示したグラフである。
【００４２】
本実施形態の撮像部２１３は、フローティングディフュージョン領域３０３において、第１の副画素列のみの電荷を電圧変換するタイミングと、第１と第２の副画素列の加算信号の電荷を電圧変換するタイミングが異なっている。このため、双方に加わるノイズは必ずしも一致しない。このため、図７では、それぞれ独立したノイズが混入している場合を示している。
【００４３】
Ａ＋Ｂ像信号に混入したノイズを模式的にノイズΔＮＡＢで、Ａ像信号に混入したノイズを模式的にノイズΔＮＡで、Ｂ像信号に混入したノイズを模式的にノイズΔＮＢで示す。ここでＢ像信号は、Ａ＋Ｂ像信号からＡ像信号を、電気的に差し引くことで求められる。このため、Ｂ像信号（Ｂ＋ΔＮＢ）は、下記の式１に示す信号となる。
Ｂ＋ΔＮｂ＝（Ａ＋Ｂ＋ΔＮａｂ）−（Ａ＋ΔＮａ）
＝Ｂ＋ΔＮａｂ−ΔＮａ
∴ΔＮｂ＝ΔＮａｂ−ΔＮａ…（式１）
Ａ：第１のフォトダイオードで生成された電荷に基づく信号（Ａ像信号からノイズを引いた信号）
Ｂ：第２のフォトダイオードで生成された電荷に基づく信号（Ｂ像信号からノイズを引いた信号）
ΔＮａｂ：加算信号に重畳するノイズ
ΔＮａ：Ａ像信号に重畳するノイズ
ΔＮｂ：Ｂ像信号に重畳するノイズ
【００４４】
図７の（ｂ）と（ｃ）を比べると、ΔＮａとΔＮｂが正負逆向きに生じており、ノイズ混入の無い図６の（ｂ）と（ｃ）の様態と比べて、像信号の相関が低下していること分かる。
【００４５】
図８（（ａ）〜（ｃ））は、一対の視差画像信号を相関演算して取得される相関曲線である。図８（ａ）は、図６に示したＡ像信号とＢ像信号の相関曲線であり、横軸に位相シフト量、縦軸に相関量（２像の差分）を示したグラフである。図８（ａ）において、レンズ群１０１の焦点は合焦状態のため、位相シフト量がゼロの場合に相関量が最小値のＣ１となっている。
【００４６】
図８（ｂ）は、図７に示したＡ像信号とＢ像信号の相関曲線である。図８（ｂ）において、Ａ像信号とＢ像信号にそれぞれノイズΔＮａとΔＮｂが混入しているため、位相シフト量がゼロを挟んだ値±Ｐの範囲で相関量が増加している。相関量は位相シフト量が値±ＰにおいてＣ２である一方、位相シフト量ゼロで相関量がΔＣＮ増加してしまい、値Ｃ３まで増加してしまっている。このような相関量が得られてしまうと、本来は位相シフト量ゼロが最も相関が高いと判断すべきところが、位相シフト量−Ｐあるいは＋Ｐが最も相関が高いと判断して誤差が生じてしまう。このように相関量に誤差が生じてしまうと、焦点検出の精度の低下やハンチングの発生につながる可能性がある。
【００４７】
図８（ｃ）は、図８（ａ）、（ｂ）に示した相関量に対して、位相シフト量が−Ｐ乃至＋Ｐ付近における相関量の差分を示したグラフである。相関量の差分を算出すると、ノイズ混入による相関量の増加により、シフト量０位置で極大値を得る。ノイズ混入が多くなると、相関が悪化して、シフト量０位置の相関量である値Ｃ３が高くなる。このため、ノイズ混入有無の違いによる相関量差を示すΔＣＮが高くなる。
【００４８】
＜デジタルカメラシステムの動作＞
図９は、本実施形態におけるデジタルカメラシステムの焦点検出動作の流れを示すフローチャートである。本動作は、カメラコントローラ２１５が各部を制御することにより実現される。
【００４９】
本実施形態のデジタルカメラシステムでは、電源投入後に、動作モードがライブビューモードに自動的に設定され、撮像部２１３で撮像を連続的に行いつつ、Ａ像信号と、Ａ＋Ｂ像信号が生成されているものとする。また、Ａ＋Ｂ像信号に基づく被写体像が表示部２２４に表示されているものとする。
【００５０】
まず、操作スイッチ２１４のＳＷ１が押下されて、焦点検出命令が発生することにより、焦点検出動作が開始される。
【００５１】
ステップＳ１９０１では、Ａ像信号とＢ像信号とを取得する。本ステップでは、Ａ像信号とＡ＋Ｂ像信号が、撮像部２１３から画素減算部２２７へ転送される。（Ａ像信号とＢ像信号を、２像と呼ぶことがある。）画素減算部２２７は、Ａ＋Ｂ像信号から、Ａ像信号を電気的に減算することで、Ｂ像信号を取得する。これにより、独立したＡ像信号とＢ像信号を取得する。取得後、ステップＳ１９０２へ進む。
【００５２】
ステップＳ１９０２では、２像に対してそれぞれ独立して、黒レベル補正や撮像光学系に起因する周辺光量落ちなど、各種の信号レベル変動を抑える補正処理を行う。信号レベルが変動する要因は、被写体像を射出瞳面で光線分割したことにより、第１の副画素Ｓ１と第２の副画素Ｓ２の画素列に、角度の異なる光線が入射するためである。補正処理後、ステップＳ１９０３へ進む。
【００５３】
ステップＳ１９０３では、図７〜８を用いて説明したノイズの影響が相関演算に与える影響の大きさを判定する。判定処理の詳細は、図１０を用いて説明する。
【００５４】
ステップＳ２００１では、ＢＰＦ処理部２２８にて、一対の焦点検出用画素列に第１のフィルタ処理を行い、相関演算部２１９へ出力する。出力後、ステップＳ２００２へ進む。
【００５５】
ステップＳ２００２では、相関演算部２１９にて、Ｓ２００１により取得されたフィルタ処理後の一対の焦点検出用画素列を用いて相関演算を行い、位相差ごとの相関量（第１の相関量）を算出する。算出された第１の相関量は相関量差算出部２２９へ出力される。出力後、ステップＳ２００３へ進む。
【００５６】
ステップＳ２００３では、ＢＰＦ処理部２２８にて、一対の焦点検出画素列に第１のフィルタより低域の周波数特性を有する第２のフィルタ処理を行い、相関演算部２１９へ出力する。出力後、ステップＳ２００４へ進む。
【００５７】
ステップＳ２００４では、相関演算部２１９にて、Ｓ２００３により取得されたフィルタ処理後の一対の焦点検出画素列の相関演算を行い、位相差ごとの相関量（第２の相関量）を算出する。算出された第２の相関量は相関量差算出部２２９へ出力される。出力後、ステップＳ２００５へ進む。尚、第２の相関量は、第１の相関量よりも低域の信号を用いた相関演算により算出されたため、第１の相関量よりもノイズの影響が低減された相関量である。
【００５８】
ステップＳ２００５では、相関量差算出部２２９が、第１と第２の相関量の、位相差ゼロにおける相関量差を算出し、算出結果が第１の閾値以上か否かを判断する。さらに、第１の相関量と、第２の相関量との差分を、位相差ゼロを含む所定の位相差シフト量範囲で算出し、位相差ゼロで極大値を取りうるか判断する。位相差ゼロにおける相関量差が第１の閾値以上でかつ極大値となっていれば、ステップＳ２００６へ進む。そうでなければ、ステップＳ２００７へ進む。
【００５９】
ステップＳ２００６では、図７〜８を用いて説明したような、位相差ゼロの位置近傍に現れる相関ノイズの影響が所定の大きさ以上であり、２像の相関の低下が大きいとカメラコントローラ２１５が判断し、このサブルーチンの動作を終了する。
【００６０】
一方、ステップＳ２００７では、位相差ゼロの位置近傍に現れる相関ノイズの影響が所定の大きさ未満であり、２像の相関の低下が小さいとカメラコントローラ２１５が判断し、このサブルーチンの動作を終了する。
【００６１】
図１９のフローチャートに戻り、ステップＳ１９０４では、ステップＳ１９０３の判定結果に基づいて、ノイズ対策を行う条件か否かをカメラコントローラ２１５が判断する。ステップＳ１９０３により、ノイズの影響が所定の大きさ以上であると判定された場合は、ステップＳ１９０５へ進む。一方、ステップＳ１９０３により、ノイズの影響が所定の大きさ未満であると判定された場合は、ステップＳ１９０６へ進む。
【００６２】
ステップＳ１９０５では、焦点検出におけるノイズの影響を軽減するため、より低域の空間周波数特性を持つ第２のフィルタで演算された第２の相関量に基づいて、一対の視差画像信号を構成する２像の相関量が最も高くなる位相差が位相差検出部２２１にて取得される。位相差の取得後、ステップＳ１９０７へ進む。
【００６３】
ステップＳ１９０６では、焦点検出に与えるノイズの影響が小さいため、被写体像のエッジ成分をできるだけ保って位相差の検出精度を高めるために、より高域の空間周波数特性を持つ第１のフィルタで演算された第１の相関量に基づいて、一対の視差画像信号を構成する２像の相関量が最も高くなる位相差が取得される。位相差の取得後、ステップＳ１９０７へ進む。つまり、ステップＳ１９０４〜Ｓ１９０６は、ステップＳ１９０３によるノイズの影響の大小の判定結果を受けて、位相差取得に用いるバンドパスフィルタを第１と第２のフィルタから選択する。
【００６４】
ステップＳ１９０７では、デフォーカス量取得部２２２にて、ステップＳ１９０５又はＳ１９０６で取得された位相差とレンズ部１００の光学特性に基づいて、公知の方法によりデフォーカス量を取得する。取得されたデフォーカス量は、デフォーカス量加算部２２３へ送られ、加算カウンタ２１８で回数をカウントしながら、所定回数だけ加算される。加算処理を行うことで、位相差検出のばらつきを抑えている。加算後、ステップＳ１９０８へ進む。
【００６５】
ステップＳ１９０８では、デフォーカス量加算部２２３で算出され、焦点検出装置から出力されたデフォーカス量に基づいて、レンズ群１０１の焦点位置を制御することで、焦点調節を行う。
【００６６】
上述した動作を行うことにより、相関ノイズが焦点検出に与える影響の大きさを判定できるようになる。加えて、この判定結果を用いて、適切なフィルタを選択することで、相関ノイズの影響を低減した焦点検出を行うことができるようになる。
【００６７】
［第１の実施形態の変形例］
ここで、ステップＳ１９０３に対する変形例を説明する。第１の実施形態では、ステップＳ１９０３にて、空間周波数特性の異なる第１と第２のフィルタを用いて、第１の相関量と第２の相関量の差の大小および極大の位置に基づいて、ノイズの影響量を判定していた。しかし、ノイズの影響量の判断材料として、種々の情報を追加してもよい。
【００６８】
例えば、一対の視差画像信号の強度を追加してもよい。具体的には、一対の視差画像信号を構成する２像のうち、少なくとも一方の像信号の最大値あるいは平均値が第２の閾値以下か否かの判定を追加する。ステップＳ２００５の判定に追加してもよい。そして、位相シフト量がゼロの位置での相関量差が、第１の閾値以上且つ極大値であり、さらに一対視差画像信号の強度が第２の閾値以下であるときに限ってノイズの影響が大きいと判断しても良い。このような動作を追加することで、像信号レベルが大きくノイズの影響度が比較的小さい条件下において、高周波特性の被写体が混入して第１と第２の相関量差が大きくなるような場合に、ノイズの影響が大きいと誤判定する可能性を低減することができるようになる。
【００６９】
尚、一対の視差画像信号の強度の代わりに、記録用の画像信号（Ａ＋Ｂ像信号に基づく信号）の強度をノイズの影響の大小の判定材料としてもよい。一対の視差画像信号や、記録用の画像信号等、撮像素子で取得された撮像信号全般を本発明および本明細書撮像信号と呼び、加算信号に基づく信号を撮像用信号と呼ぶ。
【００７０】
また、撮像部２１３が備える撮像素子の電荷蓄積時間と絞り１０２の絞り値からＡＰＥＸ値におけるＥＶ値（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ）を取得し、ＥＶ値が第３の閾値値以下である場合に限ってノイズの影響が大きいと判定してもよい。
【００７１】
また、ＩＳＯが第４の閾値以上の場合に限ってノイズの影響が大きいと判定してもよい。
【００７２】
次に、ステップＳ２００５に対する変形例を説明する。第１の実施形態では、ステップＳ２００５にて、位相差ゼロにおける相関量の差が所定の閾値以上か否かを判断していた。しかし、ΔＣｎのような逆波形ノイズは位相差ゼロに限らず、位相差ゼロを中心に位相シフト量−Ｐ乃至＋Ｐの範囲に分布する。このことから、第１と第２の相関量の差を、位相差ゼロのみで算出せず、位相差ゼロを中心に所定位相シフト量範囲で広く算出しても良い。このような動作を行うことにより、より正確にノイズの影響量が大きいか判断できるようになる。また、位相差ゼロ近傍の相関量差であれば、位相差ゼロの相関量差の代わりに用いることもできる。
【００７３】
また、第１の実施形態では、ステップＳ１９０３で算出した相関量に基づいて、ステップＳ１９０５又はＳ１９０６で位相差を取得したが、ステップＳ１９０５、Ｓ１９０６で再度相関演算をおこなってもよい。これにより、演算量が増加する一方、ステップＳ１９０３で用いる第１と第２のフィルタと異なるフィルタを用いて、位相差を取得することができるようになる。よって、ノイズの検出に適したフィルタ（第１、第２のフィルタ）と位相差の取得に適したフィルタ（Ｓ１９０５、Ｓ１９０６で用いるフィルタ。第３、第４のフィルタと呼ぶ）とをそれぞれ選択することができる。また、第１と第２の相関量差の閾値を複数設け、ノイズの影響の大きさを３段階以上で評価し、評価結果に応じて、３種類以上のバンドパスフィルタから位相差取得に用いるフィルタを選択することもできる。
【００７４】
また、ステップＳ１９０７では、２像の位相差からデフォーカス量を取得したが、位相差から直接、合焦位置にレンズを移動させるために必要な駆動量（移動距離やパルス数等）を取得してもよい。位相差、デフォーカス量、合焦位置にレンズを移動させるために必要な駆動量等、位相差から取得される情報を、位相差に関する情報と呼ぶ。
【００７５】
［第２の実施形態］
第１の実施形態では、第１と第２の相関量の差分を用いてノイズの影響度を判定し、ノイズの影響が大きいと判定された場合は相対的に低い周波数特性を有するバンドパスフィルタを用いて位相差を取得した。
【００７６】
本実施形態では、ノイズの影響を判定する方法として、被写体のコントラストに関する情報と像信号に混入しているノイズに関する情報から、ノイズの影響を判定する点が第１の実施形態と異なる。言い換えると、本実施形態に係るデジタルカメラシステムの構成及び、焦点検出動作（図９に示すフローチャート）は第１の実施形態と同様であり、ステップＳ１９０３のサブルーチンが第１の実施形態と異なる。ステップＳ１９０３のサブルーチンのフローチャートを図１１に示す。
【００７７】
ステップＳ２１０１〜Ｓ２１０４では、第１の実施形態のステップＳ２００１〜Ｓ２００４と同様に、一対の像信号に第１、第２のフィルタ処理をそれぞれ行って、第１、第２の相関量を取得する。尚、本実施形態では、ステップＳ１９０３においては第１、第２の相関量を用いずにノイズの影響度を判定することが可能であるため、このステップを省略することもできる。
【００７８】
ステップＳ２１０５では、被写体のコントラストに関する情報として、一対の像信号のコントラストを評価するためのコントラスト評価値を取得する。ここでは、評価値の１つとして、像信号の最大値（Ｐｅａｋ値）と最小値（Ｂｏｔｔｏｍ値）の差分である、波形振幅ＰＢを演算する。Ａ像信号とＢ像信号とのそれぞれの振幅ＰＢを取得し、この平均を一対の像信号のＰＢとする。Ａ像信号とＢ像信号のいずれかの振幅ＰＢだけを取得して、これを一対の像信号のＰＢとしてもよい。また、ステップＳ２１０５ではさらに、コントラスト評価値の一つとして、下式によって、像の先鋭度（Ｓｈａｒｐｎｅｓｓ）を表す評価値を演算する。
【００７９】
【数１】
2018132613.tif 000003
【００８０】
ここで、ａｋは焦点検出用の副画素列の信号（つまり、Ａ像又はＢ像）であり、ｎは副画素列の画素数を表す。一例として、図１２に高周波被写体（実線）と低周波被写体（点線）でのＳｈａｒｔｐｎｅｓｓとデフォーカス量との関係を示す。図１２は、デフォーカス量が小さくなる（ボケが小さくなる）につれて、被写体像がシャープになるためＳｈａｒｔｐｎｅｓｓが高くなることを示す。また、高周波被写体に対して、低周波被写体ではデフォーカス量が小さくなっても、Ｓｈａｒｐｎｅｓｓが大きくならないことを示す。一対の像信号に混入しているノイズ量が同等量である場合、像信号の波形振幅ＰＢが大きいほど、また、像信号の像先鋭度Ｓｈａｒｐｎｅｓｓの値が大きいほど、ノイズの影響は低減される。
【００８１】
続くステップＳ２１０６では、像信号に混入しているノイズに関する情報を評価するためのノイズ評価値を演算する。ここでは、フォトダイオードのノイズ成分となる暗電流ノイズ、光ショットノイズなど撮像素子の出力値や、撮像条件となる蓄積時間やＩＳＯ感度などのゲインに関系し得る種々の設定パラメータ毎に予めテーブル化、もしくは式化した係数を基にノイズ評価値Ｎｏｉｓｅを算出する。簡易的な演算としては光ショットノイズ、及びＩＳＯ感度に応じたノイズ評価値として、下式より演算する。
【００８２】
【数２】
2018132613.tif 000004
【００８３】
ここで、ＩＳＯＧａｉｎはＩＳＯ感度の値に応じたゲイン量を表す値であり、Ｐｅａｋは像信号の最大値である。また、上式では取り扱っていないが、列毎に異なる垂直読み出し線の特性差分による固定パターンのノイズ成分なども、焦点検出信号の出力値に応じた値として予め個体毎に測定した値をテーブル化して推定するよう演算しても良い。
【００８４】
続くステップＳ２１０７、Ｓ２１０８では、ステップＳ２１０５、及びステップＳ２１０６でそれぞれ取得したコントラスト評価値とノイズ評価値とに基づいて、ノイズの影響度を判断する。ステップＳ２１０７では、ノイズ評価値Ｎｏｉｓｅとコントラスト評価値の１つである像信号の波形振幅ＰＢとの比（Ｎｏｉｓｅ／ＰＢ）が第５の閾値未満か否かを判断し、第５の閾値未満であれば、ステップＳ２１０８へ進む。一方、ステップＳ２１０７で第５の閾値以上となる場合は、ステップＳ２１０９へ進み、相関演算に与えるノイズの影響度が大きいと判定する。
【００８５】
ステップＳ２１０８では、ノイズ評価値Ｎｏｉｓｅと焦点検出信号の像の先鋭度Ｓｈａｒｐｎｅｓｓとの比（Ｎｏｉｓｅ／Ｓｈａｒｐｎｅｓｓ）が第６の閾値未満か否かを判断し、第６の閾値未満であればステップＳ２１１０へ進み、相関演算に与えるノイズの影響度が小さいと判定する。一方、ステップＳ２１０８で第６の閾値２以上と判断されると、ステップＳ２１０９へ進み、ノイズの影響が相関演算に与える影響は大きいと判断し、サブルーチンの動作を終了する。また、ステップＳ２１０９へ進んだ場合には、ノイズの影響が相関演算に与える影響は大きい判定し、このサブルーチンの動作を終了して、図１９のフローチャートに戻る。そして、ステップＳ２１０９を通った場合は、ステップＳ１９０５へ進み、ステップＳ２１１０を通った場合は、ステップＳ１９０６へ進む。ステップＳ１９０４以降は、第１の実施形態と同じである。ステップＳ１９０３の判定結果に基づいて、第１と第２のいずれのフィルタの処理をされた像信号に基づく相関演算により２像の位相差を取得するかを選択する。しかしながら、ステップＳ１９０３のサブルーチンで第１と第２の相関量を取得しない場合は、ステップＳ１９０３の判定結果に基づいて選択されたバンドパスフィルタを一対の像信号に施し、選択されたフィルタによる処理が行われた一対の像信号を用いた相関演算により２像の位相差を取得する。尚、ステップＳ１９０３が終わるまでに、一対の像信号に第１、第２のフィルタ処理をしておいてもよい。この場合、ステップＳ１９０３の判定結果に基づいて何れのフィルタ処理をされた像信号を用いて相関演算を行うかを選択する。本発明および本明細書では、このように、異なるフィルタ処理をされた信号を選択する場合も、フィルターを選択しているとみなす。
【００８６】
上述した動作を行うことにより、ノイズが焦点検出に与える影響の大きさを判定できるようになる。加えて、加えて、この判定結果を用いて、適切なフィルタを選択することで、相関ノイズの影響を低減した焦点検出を行うことができるようになる。第１の実施形態では、相関ノイズの大きさの推定結果から相関ノイズの影響度を判定するのに対し、本実施形態では、ノイズの大きさから相関ノイズの影響度を判定する。デジタルカメラシステムは、シーンに応じて第１と第２の実施形態を使い分けてもよい。シーンは、ユーザによるモード切り替えにより判別してもよい。
【００８７】
［第２実施例の変形例］
ここで、ステップＳ１９０３に対する変形例を説明する。第２の実施形態では、ステップＳ１９０３にて、ノイズに関する情報（ノイズ評価値Ｎｏｉｓｅ）と像信号のコントラストに関する情報（波形振幅ＰＢ、先鋭度Ｓｈａｒｐｎｅｓｓ）とをそれぞれ取得し、それらの比の大小に基づいて、ノイズの影響度を判定した（Ｓ２１０５〜２１１０）。個の方法の代わりに、簡易的に、ＩＳＯ感度毎に波形振幅ＰＢに閾値を設定し、波形振幅ＰＢがこの閾値未満であればノイズの影響が大きいと判定し、この閾値以上であればノイズの影響が小さいと判定してもよい。ＩＳＯ感度毎に設定した波形振幅ＰＢの閾値は、テーブル化して記憶しておけば良く、この方法をとることで、波形振幅ＰＢのみでのノイズの影響度を判定し、フィルタの選択を行なうことができる。このように、コントラストに関する情報とノイズに関する情報のいずれかに設定された閾値を用いてノイズの影響度を判定する場合であっても、その閾値がもう一方の情報に応じて変更される場合は、ノイズに関する情報とコントラストの関する情報とに基づいて、ノイズの影響度を判定しているという。
【００８８】
また、ノイズに関する情報としては、フォトダイオードのノイズ成分となる暗電流ノイズ、光ショットノイズなど撮像素子の出力値や、撮像条件となる蓄積時間やＩＳＯ感度があげられるが、これらの情報から複数の情報を使用してノイズ評価値としてもよいし、１つ（例えばＩＳＯ感度）の情報のみを使用してノイズ評価値としてもよい。
【００８９】
また、この他、被写体に応じてノイズの影響を受けやすい被写体か否かの情報からフィルタの選択を行なうようにしてもよい。一般的には人物の顔などは、空間周波数の高い部分と、極端に低い部分が混在している被写体として、空間周波数の低い部分においては、ノイズの影響を非常に受けやすい被写体となり得る。そのため、本実施例の構成からさらに画角内に存在する顔の位置、サイズ、検出信頼性など顔の検出手段を有する焦点検出装置においては、顔検出情報や撮像条件に応じて、フィルタの選択を行なうようにしてもよい。具体的には、撮像条件となるＩＳＯ感度が所定値以上であり、顔が検出された領域と焦点検出領域とが重畳する場合は、ノイズの影響度が大きいと判定し、相対的に低い周波数特性を持つフィルタを選択する。
【００９０】
また、第１、第２の実施形態における、撮像素子の変形例を説明する。図３（ａ）を用いて説明したように、撮像素子は、第１の焦点検出画素Ｓ１、第２の焦点検出画素Ｓ２、およびマイクロレンズＭＬの組を単位画素として、水平方向にｈ画素、垂直方向にｖ画素並んだ構成となっている。しかし、これに限らず、射出瞳面で分割しない通常画素と上記単位画素が混在していても差し支えない。このような構成であっても、本発明の効果が同様に得ることができる。
【００９１】
以上説明した実施例は代表的な例にすぎず、本発明の実施に際しては、実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００９２】
１００  レンズ部
１０１  レンズ群
２００  カメラ部
２１３  撮像部
ＭＬ  マイクロレンズ
Ｓ１  第１の焦点検出画素
Ｓ２  第２の焦点検出画素
【図１】
2018132613.tif 000005
【図２】
2018132613.tif 000006
【図３】
2018132613.tif 000007
【図４】
2018132613.tif 000008
【図５】
2018132613.tif 000009
【図６】
2018132613.tif 000010
【図７】
2018132613.tif 000011
【図８】
2018132613.tif 000012
【図９】
2018132613.tif 000013
【図１０】
2018132613.tif 000014
【図１１】
2018132613.tif 000015
【図１２】
2018132613.tif 000016