(57)【要約】【課題】  撮像面位相差検出方式を用いた焦点検出制御において、飽和領域に対する好適な焦点検出が可能な焦点検出装置を提供すること【解決手段】  撮像レンズからの入射光量に基づく複数の像信号を用いて複数の焦点検出信号を生成する生成手段と、複数の焦点検出信号の相関量を検出する相関量検出手段と、相関量に基づいて撮像レンズの焦点検出を行う焦点検出手段と、複数の像信号のうち少なくとも一つの像信号が飽和レベルに達しているか否かを判定する判定手段と、判定手段の判定結果に基づいて像信号の信号レベルを所定のレベルにクリップするクリップ手段と、複数の光電変換部ごとの入射光量の差に基づく像信号の差を所定の調整パラメータを用いて調整する調整手段と、を有し調整手段は像高判定手段の判定結果に基づいて像信号の差を調整するための所定の調整パラメータを制御することを特徴とする【選択図】  図１
2018036510.tif 000002
【特許請求の範囲】
【請求項１】
マイクロレンズに対して複数の光電変換部を有する撮像素子から取得される複数の像信号に基づいて被写体を撮像するための撮像レンズの焦点検出を行う焦点検出装置であって、
前記撮像レンズからの入射光量に基づく前記複数の像信号を用いて複数の焦点検出信号を生成する生成手段と、
前記複数の焦点検出信号の相関量を検出する相関量検出手段と、
前記相関量に基づいて前記撮像レンズの焦点検出を行う焦点検出手段と、
前記複数の像信号のうち少なくとも一つの像信号が飽和レベルに達しているか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて前記像信号の信号レベルを所定のレベルにクリップするクリップ手段と、
前記複数の光電変換部ごとの前記入射光量の差に基づく前記像信号の差を所定の調整パラメータを用いて調整する調整手段と、
を有し
前記調整手段は像高判定手段の判定結果に基づいて前記像信号の差を調整するための前記所定の調整パラメータを制御することを特徴とする焦点検出装置。
【請求項２】
前記光電変換部ごとの前記入射光量の差を調整するための前記所定の調整パラメータを保持する保持手段を更に備え、
前記クリップ手段は前記保持手段に保持された前記調整パラメータに応じて前記所定のレベルを前記光電変換部ごとに制御することを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
前記保持手段が保持する前記調整パラメータは前記光量の差を調整するためのゲイン量を含み、
前記クリップ手段は前記ゲイン量の逆数に基づいて前記所定のレベルを制御することを特徴とする請求項２に記載の焦点検出装置。
【請求項４】
前記光電変換部ごとの前記入射光量の差を調整するための前記所定の調整パラメータを保持する保持手段を更に備え、
前記調整手段は前記判定手段の判定結果と前記保持手段に保持された前記調整パラメータに応じて前記像信号の差を調整することを特徴とする請求項１に記載の焦点検出装置。
【請求項５】
前記調整手段は前記飽和判定手段によって飽和していると判定された場合には入射光量差の補正を行わないことを特徴とする請求項４に記載の焦点検出装置。
【請求項６】
前記調整手段は前記クリップ手段が前記像信号を処理した後に前記像信号の差を調整することを特徴とする請求項１乃至５のいずれか１項に記載の焦点検出装置。
【請求項７】
前記複数の像信号には前記複数の光電変換部で発生した電荷を加算した電荷に基づく第１の像信号と、前記複数の光電変換部の内の一つの光電変換部で発生した電荷に基づく第２の像信号とを含み、
前記生成手段にて生成される前記複数の焦点検出信号は前記第１の像信号から前記第２の像信号を減算することで生成される焦点検出信号を含むことを特徴とする請求項１乃至６のいずれか１項に記載の焦点検出装置。
【請求項８】
前記調整パラメータは、前記撮像レンズの射出瞳距離、または前記光電変換部ごとの入射光量差情報を含むことを特徴とする請求項１乃至７のいずれか１項に記載の焦点検出装置。
【請求項９】
前記相関量検出手段は少なくとも１つ以上の相関量または像信号を加算し、
前記焦点検出手段は、加算した相関量または像信号を基に焦点検出を行うことを特徴とする請求項１乃至８のいずれか１項に記載の焦点検出装置。
【請求項１０】
請求項１乃至９のいずれか１項の焦点検出装置を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出装置に関し、特に位相差検出方式による焦点検出を行う焦点検出装置に関する。
【背景技術】
【０００２】
被写体に対して撮像レンズの焦点検出を自動で行うオートフォーカス（ＡＦ）制御において、苦手被写体の一つとして被写体内に明るい領域（飽和領域）を含んでいる場合が挙げられる。これは、被写体を撮像するための撮像素子から焦点検出用の信号を取得する方式（撮像面位相差検出方式）の場合に、飽和領域からは正確な信号の取得が困難であるためである。この苦手被写体に対して特許文献１では、複数走査ラインの位相差検出結果を加算して焦点検出制御する場合に、各走査ラインが飽和しているかどうかを判断し、飽和している走査ラインは加算対象としないように制御し飽和領域による影響を低減している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２１５６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１にて開示された方法のように、各走査ラインの飽和を検出する際に、多くの走査ラインにおいて飽和を検出した場合には十分な精度の位相差検出結果を得ることができない問題があった。
【０００５】
本発明はこのような従来技術の課題に鑑みなされたものであり、撮像面位相差検出方式を用いた焦点検出制御において、飽和領域に対する好適な焦点検出が可能な焦点検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための本発明の焦点検出装置は、マイクロレンズに対して複数の光電変換部を有する撮像素子から取得される複数の像信号を用いて、被写体を撮像するための撮像レンズの焦点検出を行う焦点検出装置であって、前記撮像レンズからの入射光量に基づく前記複数の像信号を用いて複数の焦点検出信号を生成する生成手段と、前記複数の焦点検出信号の相関量を検出する相関量検出手段と、前記相関量に基づいて前記撮像レンズの焦点検出を行う焦点検出手段と、前記複数の像信号のうち少なくとも一つの像信号が飽和レベルに達しているか否かを判定する判定手段と、前記判定手段の判定結果に基づいて前記像信号の信号レベルを所定のレベルにクリップするクリップ手段と、前記複数の光電変換部ごとの前記入射光量の差に基づく前記像信号の差を所定の調整パラメータを用いて調整する調整手段と、を有し、前記調整手段は像高判定手段の判定結果に基づいて前記像信号の差を調整するための前記所定の調整パラメータを制御することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像面位相差検出方式を用いた焦点検出制御において、飽和領域に対する好適な焦点検出が可能な焦点検出装置を提供することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る撮像システムの構成を示すブロック図である。
【図２】撮像素子の画素配列を示す図である。
【図３】本発明に係る撮像処理を示すフローチャートである。
【図４】本発明に係る静止画撮像処理を示すフローチャートである。
【図５】本発明に係る飽和レベル設定処理を示すフローチャートである。
【図６】本発明に係る焦点状態検出処理を示すフローチャートである。
【図７】焦点検出処理で用いられるＡＦ領域を示す図である。
【図８】ＡＦ領域から得られる一対の像信号を示す図である。
【図９】一対の像信号のシフト量と相関量との関係を示す図である。
【図１０】一対の像信号のシフト量と相関変化量との関係を示す図である。
【図１１】本発明に係る焦点検出処理を示すフローチャートである。
【図１２】像信号を生成する処理を示す図である。
【図１３】入射光量差補正を示す図である。
【図１４】一対の像信号に入射光量差補正をかけた場合を示す図である。
【図１５】一対の像信号に入射光量差補正をかけた場合を示す図である。
【図１６】第２の実施形態に係る飽和レベル設定処理を示すフローチャートである。
【図１７】入射光量差補正をかけない場合を示す図である。
【図１８】第３の実施形態に係る撮像システムの構成を示すブロック図である。
【図１９】第３の実施形態に係る静止画撮像処理を示すフローチャートである。
【図２０】第３の実施形態に係る飽和領域判定値設定処理を示すフローチャートである。
【図２１】第３の実施形態に係る焦点状態検出処理を示すフローチャートである。
【図２２】第３の実施形態に係る画素間引き量／バンドパスフィルタ設定処理を示すフローチャートである。
【図２３】第３の実施形態に係る相関量加算判定処理を示すフローチャートである。
【図２４】一対の像信号に入射光量差補正をかけた場合を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成要素の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更が可能であり、本発明がそれらの例示に限定されるものではない。
【００１０】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の一例として、レンズ交換式のカメラシステムの機能構成例を示すブロック図である。
【００１１】
本実施形態の撮像装置は交換可能なレンズユニット１０及びカメラ本体２０から構成されている。レンズユニット１０全体の動作を統括制御するレンズ制御部１０６と、レンズユニット１０を含めたカメラシステム全体の動作を統括するカメラ制御部２１４とは、不図示のレンズマウントに設けられた端子を通じて相互に通信可能である。なお、本実施形態のレンズマウントにおいて、レンズ制御部１０６とカメラ制御部２１４の通信は端子（電気的接点）を介して行われるが、これに限られるものではない。例えば少なくとも一部の通信に関しては無線通信によって行われてもよいし、レンズマウント以外にも端子を設ける構成として外部機器と制御命令等を通信するようにしてもよい。
【００１２】
まず、レンズユニット１０の構成について説明する。固定レンズ１０１、絞り１０２、フォーカスレンズ１０３等は撮像光学系を構成する。絞り１０２は、絞り駆動部１０４により駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３はフォーカスレンズ駆動部１０５によって駆動され、フォーカスレンズ１０３の位置に応じて撮像光学系の合焦距離が変化する。絞り駆動部１０４、フォーカスレンズ駆動部１０５はレンズ制御部１０６によって制御され、絞り１０２の開口量や、フォーカスレンズ１０３の位置を決定する。
【００１３】
レンズ操作部１０７は、ＡＦ（オートフォーカス）／ＭＦ（マニュアルフォーカス）モードの切り替え、ＭＦモード時のフォーカスレンズ１０３の位置調整、など、ユーザがレンズユニット１０の動作に関する設定を行うための入力デバイス群である。レンズ操作部１０７が操作された場合、レンズ制御部１０６が操作に応じた制御を行う。なお、レンズ操作部１０７はトグルスイッチやタッチパネル等の入力機器のみではなく、現在のフォーカスレンズ１０３の位置等のレンズ状態や各種設定情報等を表示する表示部を備えるようにしてもよい。
【００１４】
レンズ制御部１０６は、後述するカメラ制御部２１４から受信した制御命令や制御情報に応じて絞り駆動部１０４やフォーカスレンズ駆動部１０５を制御する。また、レンズ制御情報をカメラ制御部２１４に対して送信する。
【００１５】
次に、カメラ本体２０の構成について説明する。カメラ本体２０はレンズユニット１０の撮像光学系を通過した光束から撮像信号を取得できるように構成されている。
【００１６】
撮像素子２０１はＣＣＤやＣＭＯＳセンサにより構成される。レンズユニット１０の撮像光学系から入射した光束は撮像素子２０１の受光面上に結像し、撮像素子２０１に水平および垂直に二次元的に配列された画素に設けられたフォトダイオードにより、入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部２１４の指令に従ってタイミングジェネレータ２１６が出力する駆動パルスより、信号電荷に応じた電圧信号として撮像素子２０１から順次読み出される。なお、本実施形態において、フォトダイオードは光電変換部に相当する。そのため、光電変換膜として有機又は無機の光電変換膜等を用いた場合においても、同様の効果を得ることができる。
【００１７】
本実施形態で用いられる撮像素子２０１の各画素は、２つ（一対）のフォトダイオードＡ，Ｂとこれら一対のフォトダイオードＡ，Ｂに対して設けられた１つのマイクロレンズとより構成されている。各画素には、レンズユニット１０より入射する光をマイクロレンズで分割して一対のフォトダイオードＡ，Ｂにおいて、一対の光学像が形成される。そして、フォトダイオードＡ，Ｂから後述する焦点検出信号に用いられる一対の画素信号（Ａ信号およびＢ信号）が生成される。また、一対のフォトダイオードＡ，Ｂの出力を加算することで、撮像用信号（Ａ＋Ｂ信号）も得ることができる。本発明の実施形態では、撮像素子２０１は出力信号として撮像用信号（Ａ＋Ｂ信号）と焦点検出信号（Ａ信号）の２種類を出力する構成とする。撮像素子２０１から撮像用信号（Ａ＋Ｂ信号）及び焦点検出信号（Ａ信号およびＢ信号）の３種類を全て出力しないのは、出力負荷を軽減しできるだけ早く読み出すようにする為である。焦点検出信号（Ｂ信号）は撮像用信号（Ａ＋Ｂ信号）から焦点検出信号（Ａ信号）を減算することによって生成する構成とする。なお、焦点検出信号（Ｂ信号）の生成は、後述する飽和レベルクリップ部／Ｂ信号生成部２０４によって行う。また、本実施形態においては、撮像素子２０１は２つのフォトダイオードを有する構成としたが、２つ以上のフォトダイオードを有する構成としてもよい。
【００１８】
ここで、図２を用いて撮像素子２０１の画素構成に関して詳細に説明する。図２（ａ）には従来の撮像面位相差検出に対応していない画素構成を、図２（ｂ）は撮像面位相差検出に対応している撮像素子２０１の画素構成を示している。いずれの図においても、ベイヤー配列のカラーフィルタが用いられており、Ｒは赤のカラーフィルタを、Ｂは青のカラーフィルタを、Ｇｒ，Ｇｂは緑のカラーフィルタを示している。図２（ｂ）に示す画素構成には、図２（ａ）に示した従来の画素構成における１画素（実線で囲んで示す）に相当する画素内に、水平方向に２分割された２つのフォトダイオードＡ，Ｂが設けられている。なお、図２（ｂ）に示した画素の分割方法は例に過ぎず、図の垂直方向に分割したりしてもよいし、２分割以上に分割する構成としてもよい。また、同じ撮像素子内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。
【００１９】
ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像素子２０１から読み出された焦点検出信号および撮像用信号に対して、リセットノイズを除去するための相関二重サンプリング、ゲイン調節およびＡＤ変換を行う。該ＡＤコンバータ２０２は、これらの処理を行った撮像用信号および焦点検出信号をそれぞれ、画像入力コントローラ２０３およびＡＦ信号処理部２０６に出力する。なお、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２及びタイミングジェネレータ２１６等の一部又は全部を撮像素子２０１に含まれる構成としてもよい。
【００２０】
画像入力コントローラ２０３は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力された撮像用信号を、バス２１を介してＳＤＲＡＭ２１１に画像信号として格納する。ＳＤＲＡＭ２１１に格納された画像信号は、バス２１を介して表示制御部２０７によって読み出され、表示部２０８に表示される。また、画像信号の記録を行う録画モードでは、ＳＤＲＡＭ２１１に格納された画像信号は記録媒体制御部２０９によって半導体メモリ等の記録媒体２１０に記録される。
【００２１】
ＲＯＭ２１２には、カメラ制御部２１４が実行する制御プログラムや処理プログラムおよびこれらの実行に必要な各種データ等が格納されている。フラッシュＲＯＭ２１３には、ユーザにより設定されたカメラ本体２０の動作に関する各種設定情報等が格納されている。
【００２２】
飽和レベルクリップ部／Ｂ信号生成部２０４は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力された焦点検出信号であるＡ信号に対して、設定した一定の信号レベル（飽和閾値）と比較する。これは、焦点検出信号のレベルが飽和に達している場合には後述する相関演算精度が低下してしまうためである。そのため、焦点検出信号において、飽和閾値を超えた信号においては、飽和レベルでクリップする処理（クリップ処理）を行う。さらに、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２から出力された撮像信号（Ａ＋Ｂ信号）と、飽和レベルでクリップ処理をしたＡ信号の差をとることでＢ信号を生成する。
【００２３】
このように撮像信号（Ａ＋Ｂ信号）とＡ信号の差から、飽和を考慮してＢ信号を生成する理由について図１２を用いて詳細に説明する。図１２は横軸に水平の画素位置をとり、縦軸に各画素からの出力値をプロットしたものである。そして、クリップ処理を行わずにＢ信号を生成した場合を図１２（ａ）に示す。ここでは、Ａ＋Ｂ信号がセンサ飽和レベルに突き当たり、且つＡ信号もセンサ飽和レベルに突き当たるようなケースの場合を想定する（図１２（ａ）左図）。図１２（ａ）左図に示すように、Ａ＋Ｂ信号とＡ信号の両方が飽和レベルに達している場合に、両信号の差は非常に小さくなる。そのため、Ｂ信号を算出すると図１２（ａ）右図のように、Ａ信号が飽和レベルに達している領域において、Ｂ信号の形状がへこむように崩れてしまう。これによって、後述する相関演算によりＡ信号とＢ信号の相関がとれなくなってしまい、像ずれ量及びデフォーカス量が検知できなくなる。
【００２４】
一方で、クリップ処理を行う場合を図１２（ｂ）に示す。Ａ＋Ｂ信号、Ａ信号が図１２（ａ）左図と同様の信号レベルだった場合に、図１２（ｂ）左図に示すように、Ａ信号を飽和レベルの半分でクリップするように、飽和閾値を設定する。そのため、図１２（ｂ）左図のＡ信号のように飽和レベルの半分がＡ信号の最大値になる。この状態でＢ信号を算出することで、Ｂ信号の形状がへこむように崩れる現象を抑制することが可能となる。また、後述する相関演算によりＡ信号とＢ信号の相関をとることができ、像ずれ量及びデフォーカス量を適切に検知することができる。
【００２５】
なお、焦点検出信号であるＡ信号及びＢ信号に対しては、後述する光量差補正部２０５、ＡＦ信号処理部２０６にて更に処理を行う。また、飽和レベルクリップ部／Ｂ信号生成部２０４における本発明の特徴的な動作として、画素ごとの入射光量差情報に基づいて一対の像信号の画素ごとの飽和レベルを後述するカメラ制御部２１４から設定し、画素ごとに飽和レベルを変更する。なお、本特徴部分に関しては後ほど詳述する。
【００２６】
光量差補正部２０５は飽和レベルクリップ部／Ｂ信号生成部２０４より入力されたＡ信号及びＢ信号に対して、入射光量差情報を基に算出した信号レベルの補正係数を掛けることで信号レベルの補正を行う。これは、図１３に示すように各信号が出力される画素の位置（画素位置）に依存して発生する入射光量差を均一にするように、信号レベルの補正を行うものである。図１３（ａ）左図は画面中央付近におけるＡ信号とＢ信号において、縦軸に信号レベルを、横軸に水平の画素位置をとって示したものである。図１３（ａ）中図は画面中央付近における入射光量差を補正するための入射光量差補正係数を示したものである。図１３（ａ）右図は図１３（ａ）左図に示したＡ信号とＢ信号のそれぞれを、図１３（ａ）中図に示した入射光量差補正係数を用いて補正した後のＡ信号とＢ信号の信号レベルを示したものである。また、図１３（ｂ）の各図は図１３（ａ）の各図に対して画面右側（画面周辺）領域に対応するＡ信号とＢ信号等を示したものである。
【００２７】
図１３（ａ）左図及び図１３（ｂ）左図に示したように、入射光量の差により、信号のレベル差や傾きの差が発生している場合には、後述する相関演算精度が低下してしまう。これにより、相関量を算出する相関演算の誤差が大きくなってしまうと、像ずれ量の誤差が大きくなり、即ち焦点検出の精度が低下してしまう。光量差補正部２０５はこのような信号のレベル差や傾き差起因による相関量の誤差が大きくなる影響を軽減するために、入射光量差情報を基に信号のレベル差や傾き差を補正する。なお、入射光量差情報、即ち入射光量差補正係数は、レンズの絞り情報や射出瞳距離情報、また図１３（ａ）、（ｂ）で異なるように画面内（像高毎）のＡＦ枠位置情報などに基づいて、事前に算出したデータをＲＯＭ２１２に保持しておく。そして、カメラ本体２０の動作状態に応じて後述するカメラ制御部２１４が動作状態に適した設定を行う。なお、入射光量差補正係数または補正係数を算出するためのパラメータの一部をレンズユニット１０側のメモリ等に保存しておいてもよい。この場合、レンズ装着時において、メモリに保存されたパラメータ等をカメラ本体２０が取得することとなる。
【００２８】
ＡＦ信号処理部２０６は、各像信号に対して相関演算を行い、各像信号の像ずれ量や信頼性を算出する。信頼性は、後述する２像一致度や相関変化量の急峻度を用いて算出される。ＡＦ信号処理部２０６は、ＡＦ領域で算出した像ずれ量（検出量）および信頼性の情報をカメラ制御部２１４に出力する。本実施形態において、ＡＦ信号処理部２０６は焦点検出信号の相関量を検出するための相関量検出部に相当する。
【００２９】
カメラ制御部２１４は、カメラ本体２０内の各部やレンズ制御部１０６と情報をやり取りしながらこれらを制御する。カメラ制御部２１４は、ＡＦ信号処理部２０６が求めた像ずれ量、信頼性およびレンズユニット１０とカメラ本体２０の状態を示す情報に基づいて、必要に応じてＡＦ信号処理部２０６の設定を変更する。例えば、ＡＦ信号処理部２０６に対して像ずれ量が所定量以上である場合には相関演算を行う領域を広く設定したり、一対の像信号のコントラストに応じてバンドパスフィルタの種類を変更したりする。また、先述したように、飽和レベルクリップ部／Ｂ信号生成部２０４に対して、画素ごとの飽和レベルを設定したり、光量差補正部２０５に像信号の光量差補正のパラメータを設定したりする。また、カメラ制御部２１４は、ユーザ操作に基づくカメラ操作部２１５からの入力に応じて、電源のＯＮ／ＯＦＦ、各種設定の変更、撮像処理、焦点検出処理、記録画像の再生処理等、ユーザ操作に対応する様々な処理を実行する。さらに、カメラ制御部２１４は、レンズユニット１０（レンズ制御部１０６）に対する制御命令やカメラ本体２０の情報をレンズ制御部１０６に送信したり、レンズユニット１０の情報をレンズ制御部１０６から取得したりする。カメラ制御部２１４は、マイクロコンピュータにより構成され、ＲＯＭ２１２に記録されたコンピュータプログラムを実行することで、交換レンズ１０を含むカメラシステム全体の制御を司る。
【００３０】
カメラ制御部２１４は、ＡＦ信号処理部２０６にて算出されたＡＦ領域での像ずれ量を用いてデフォーカス量を算出し、該デフォーカス量に基づいてレンズ制御部１０６を通じてフォーカスレンズ１０３の駆動を制御する。
【００３１】
本発明の特徴である、飽和レベルクリップ部／Ｂ信号生成部２０４において、像信号に対して画素ごとにクリップを行う飽和レベルを変更することについて説明する。図１２を用いて先述したように、Ａ＋Ｂ信号とＡ信号の差をとりＢ信号を生成するに当たって、設定した飽和レベルでＡ信号をクリップすることでＢ信号が崩れずに生成することができる。ここで、Ａ信号及び生成したＢ信号に対して図１３を用いて説明した光量差補正部２０５の処理を行った場合について図１４を用いて説明する。図１４が示す各信号は、図１３と同様であるが、クリップ処理後の像信号に対して、入射光量差補正係数の適用を考慮してある。図１３の右図に示すように飽和画素のクリップが発生した状態で入射光量差補正を行ってしまうと、入射光量差の補正係数の分、一対の像信号の形状が歪んでしまう。このように、飽和画素のクリップ処理後に入射光量差補正をすることで歪んだ一対の像信号で、後述する相関演算を行うと、像の形状差により像ずれ量の算出精度が低下し、像ずれ量を基に算出するデフォーカス量の誤差も大きくなる。
【００３２】
このような問題に対して、本発明は一対の像信号に対して画素ごとにクリップを行う飽和レベルを変更する。図１５に示すように、一対の像信号が飽和画素を含んでいる場合でも、飽和画素のクリップ処理をして入射光量差補正を適用した後の信号レベルが均等になるようにするために、画素ごとにクリップする信号レベルを変更させる。これによって、図１４に示した入射光量差補正後に一対の像信号が歪んで形状差が発生してしまう現象が発生しなくなり、算出するデフォーカス量の誤差も軽減し、飽和した被写体に対してもＡＦ精度を向上させることができる。
【００３３】
以下、カメラ本体２０で行われる各処理について説明する。カメラ制御部２１４は、コンピュータプログラムである撮像処理プログラムに従って以下の処理を行う。
【００３４】
図３はカメラ本体２０の撮像処理の手順を示すフローチャートである。Ｓはステップを意味する。
【００３５】
Ｓ３０１では、カメラ制御部２１４は、カメラ本体２０に設定された各種設定等の初期化処理を行い、Ｓ３０２へ処理を進める。
【００３６】
Ｓ３０２では、カメラ制御部２１４は、カメラ本体２０の撮像モードが動画撮像モードか静止画撮像モードか判定し、動画撮像モードである場合はＳ３０３へ、静止画撮像モードである場合はＳ３０４へ処理を進める。
【００３７】
Ｓ３０３では、カメラ制御部２１４は、動画撮像処理を行いＳ３０５へ処理を進める。
【００３８】
Ｓ３０４では、カメラ制御部２１４は、静止画撮像処理を行いＳ３０５へ処理を進める。本実施形態では、動画撮像処理についての詳細は省略するが、後述する静止画撮像処理での発明の適用例と同様に適用が可能である。
【００３９】
Ｓ３０５では、カメラ制御部２１４は、撮像処理が停止されたかどうかを判断し、停止されていない場合はＳ３０６へ処理を進め、停止された場合は撮像処理を終了する。撮像処理が停止されたときとは、例えばカメラ操作部２１５を通じてカメラ本体２０の電源が切断されたときや、カメラ本体２０のユーザ設定処理、撮像画像・動画の確認のための再生処理等、撮像以外の動作が行われたときである。
【００４０】
Ｓ３０６では、カメラ制御部２１４は、撮像モードが変更されたかどうかを判断する。変更された場合は、カメラ制御部２１４はＳ３０１に戻り、初期化処理を行った上で変更された撮像モードでの撮像処理を行う。一方、撮像モードが変更されていない場合は、カメラ制御部２１４はＳ３０２に戻り、現在の撮像モードでの処理を継続して行う。
【００４１】
次に、図３におけるＳ３０４で行われる静止画撮像処理について、図４のフローチャートを用いて説明する。
【００４２】
Ｓ４０１では、カメラ制御部２１４は、飽和レベルクリップ部／Ｂ信号生成部２０４に対して飽和レベルの設定を行いＳ４０２へ処理を進める。Ｓ４０１の飽和レベル設定処理は本発明の特徴的な部分であり、詳細は図５のフローチャートを用いて後述する。
【００４３】
Ｓ４０２では、カメラ制御部２１４は、光量差補正部２０５に対して光量差補正値設定処理を行いＳ４０３へ処理を進める。Ｓ４０２の光量差補正値設定処理においては、図１３を用いて説明したように、画素ごとの入射光量の差をなくして均一になるように像信号のレベルを調整する処理を行う。撮像面位相差検出方式では、像信号を結像する撮像素子２０１上の位置（像高）や、絞り１０２の状態や、撮像素子２０１と絞り１０２までの距離情報などの情報により、像信号の光量が変化する。各像信号の入射光量の差を補正し、一対の像信号のレベル差、傾き差をなくすことで焦点検出精度を向上させることができる。
【００４４】
Ｓ４０３では、カメラ制御部２１４は、ＡＦ信号処理部２０６に焦点検出処理を行わせる。焦点検出処理は、デフォーカス量と信頼性の情報を取得する処理である。詳細については後述する。
【００４５】
Ｓ４０４では、カメラ制御部２１４は、カメラ操作部２１５から焦点検出処理の開始指示（以下、ＡＦ指示という）が入力（オン）されたか否かを判定する。ＡＦ指示は、カメラ本体２０に設けられたシャッターボタンが半押し操作された場合や、ＡＦを実行させるＡＦＯＮボタンが押された場合等にカメラ操作部２１５から入力される。カメラ制御部２１４は、ＡＦ指示が入力された場合はＳ４０５に進み、ＡＦ指示が入力されていない場合はＳ４０６に進む。
【００４６】
Ｓ４０５では、カメラ制御部２１４は、焦点検出処理を行う。この焦点検出処理については後述する。
【００４７】
Ｓ４０６では、カメラ制御部２１４は、カメラ操作部２１５から撮像処理の開始指示（以下、撮像指示という）が入力（オン）されたか否かを判定する。撮像指示はシャッターボタンが全押し操作された場合等にカメラ操作部２１５から出力される。カメラ制御部２１４は、撮像指示が入力された場合はＳ４０７に進み、撮像指示が入力されていない場合はＳ４０９に進む。
【００４８】
Ｓ４０７では、カメラ制御部２１４は、Ｓ４０５での焦点検出処理によって現在、合焦停止状態にあるか否かを判定する。合焦停止状態とは、撮像光学系が合焦状態となってフォーカスレンズ１０３の駆動が停止した状態である。合焦停止状態でない場合は、カメラ制御部２１４はＳ４０５に進み、焦点検出処理を開始または継続することで合焦状態を得る。合焦停止状態である場合は、カメラ制御部２１４はＳ４０８に進み、撮像処理を行い、記録媒体制御部２０９を介して記録媒体２１０に撮像画像（記録画像）を保存してＳ４０９に進む。
【００４９】
Ｓ４０９では、カメラ制御部２１４は、合焦停止状態を解除して静止画撮像処理を終了する。
【００５０】
次に、図５のフローチャートを用いて、図４のＳ４０１にてカメラ制御部２１４が行う飽和レベル設定処理について説明する。
【００５１】
まず、Ｓ５０１では、カメラ制御部２１４は、撮像画面（つまりは撮像素子２０１）上においてＡＦの対象となるＡＦ領域（被写体）の設定を行う。ＡＦ領域の設定方法については、ユーザによるカメラ操作部２１５を通じた指示や、被写体検出可能なカメラシステムの構成である場合は被写体検出状態に基づいて行われる。
【００５２】
次にＳ５０２では、カメラ制御部２１４は、Ｓ５０１で設定したＡＦ領域内において、像信号の画素ごとの光量差補正値を取得又は算出する。
【００５３】
次にＳ５０３では、カメラ制御部２１４は、Ｓ５０２で取得した像信号の画素ごとの光量差補正値より、画素ごとに飽和レベルを算出する。飽和レベルの算出方法は、まず一定の飽和レベル値ＳＡＴＬＶＬをベースとして、Ａ信号の飽和レベル値にはＳＡＴＬＶＬ×Ｂ信号の光量差補正値、Ｂ信号の飽和レベルにはＳＡＴＬＶＬ×Ａ信号の光量差補正値、というように算出する。一定の飽和レベルＳＡＴＬＶＬは、図１４の入射光量差補正前の一対の像信号のグラフに記載した、飽和クリップレベルに相当する。一定の飽和レベルＳＡＴＬＶＬに光量差補正値を掛けたものは、図１５の画素ごとの飽和クリップレベルの変更を適用した場合の入射光量差補正前の一対の像信号のグラフに記載した、飽和クリップレベルに相当する。
【００５４】
次にＳ５０４では、カメラ制御部２１４は、Ｓ５０３で算出した飽和レベルを、飽和レベルクリップ部／Ｂ信号生成部２０４に設定して飽和レベル設定処理を終了する。
【００５５】
一対の像信号の画素ごとに、入射光量差補正情報をもとに飽和クリップレベルを変更することの効果は図１５を用いて先述した通りである。
【００５６】
次に、図６のフローチャートを用いて、図４のＳ４０３にてＡＦ信号処理部２０６が行う焦点状態検出処理について説明する。なお、ＡＦ信号処理部２０６は、マイクロコンピュータにより構成され、コンピュータプログラムとしての焦点検出プログラム（撮像処理プログラムの一部であってもよい）に従って焦点検出処理を行う。
【００５７】
Ｓ６０１では、ＡＦ信号処理部２０６は、先述した図５のＳ５０１で設定したＡＦ領域に対して飽和レベルクリップ部／Ｂ信号生成部２０４にて飽和画素のクリップ処理を行い、光量差補正部２０５によって入射光量差の補正を行った像信号を取得する。なお、図４のＳ４０１及び、Ｓ４０２にて設定した飽和レベル、光量差補正値を基に、飽和レベルクリップ部／Ｂ信号生成部２０４、光量差補正部２０５がそれぞれ動作した結果がＳ６０１で取得できるものとし、フローチャート上ではそれぞれの動作は省略する。
【００５８】
次にＳ６０２では、ＡＦ信号処理部２０６は、取得した像信号を１画素（１ビット）ずつ相対的にシフトさせながらこれら像信号同士の相関量を算出する。相関量の算出は、ＡＦ領域内に設けた複数の画素ライン（以下、走査ラインという）のそれぞれにおいて後述するように行う。なお、各走査ラインの相関量を算出した後に、それぞれの相関量を加算平均することで１つの相関量として算出する。また、本実施形態では相関演算に当たって一対の像信号を１画素ずつ相対的にシフトさせる構成としたが、より多くの画素単位でシフトさせる構成でもよい。例えば２画素ずつ相対的にシフトさせるような構成でもよい。また、本実施形態では、各走査ラインの相関量を加算平均することで１つの相関量を算出したが、例えば各走査ラインの一対の像信号に対して加算平均を行い、その後、加算平均した一対の像信号に対して相関量の算出を行う構成でも良い。
【００５９】
次にＳ６０３では、ＡＦ信号処理部２０６は、Ｓ６０２で算出した相関量から相関変化量を求める。相関変化量の算出方法については、後述する。
【００６０】
そして、Ｓ６０４では、ＡＦ信号処理部２０６は、Ｓ６０３で算出した相関変化量を用いて像ずれ量を算出する。像ずれ量の算出方法については後述する。
【００６１】
さらに、Ｓ６０５では、ＡＦ信号処理部２０６は、Ｓ６０４で算出された像ずれ量の信頼性の高さを表す信頼性を算出する。信頼性の算出方法については後述する。
【００６２】
次に、Ｓ６０６では、ＡＦ信号処理部２０６は、Ｓ６０４で算出されたＡＦ領域の像ずれ量を用いて該ＡＦ領域のデフォーカス量を算出し、焦点検出処理を終了する。
【００６３】
次に、焦点検出処理について詳細に説明する。図７には、焦点検出処理において撮像素子２０１の画素アレイ７０１上でのＡＦ領域７０２の例を示している。ＡＦ領域７０２の両側のシフト領域７０３は、相関演算に必要な領域である。このため、ＡＦ領域７０２とシフト領域７０３とを合わせた画素領域７０４が相関演算に必要な画素領域である。図中のｐ，ｑ，ｓ，ｔはそれぞれ、水平方向（ｘ軸方向）での座標を表し、ｐとｑはそれぞれ画素領域７０４の始点と終点のｘ座標を、ｓとｔはそれぞれＡＦ領域７０２の始点と終点のｘ座標を示している。
【００６４】
図８は、図７に示したＡＦ領域７０２に含まれる複数の画素から取得したＡＦ用の一対の像信号の例を示す。実線８０１が一方のＡ信号であり、破線８０２が他方のＢ信号である。図８（ａ）はシフト前のＡ信号，Ｂ信号を示し、図８（ｂ），（ｃ）はそれぞれ、Ａ信号，Ｂ信号を図８（ａ）の状態からプラス方向およびマイナス方向にシフトした状態を示している。一対のＡ信号８０１，Ｂ信号８０２の相関量を算出する際には、Ａ信号８０１，Ｂ信号８０２の両方を矢印の方向に１ビットずつシフトする。
【００６５】
次に、相関量の算出方法について説明する。まず、図８（ｂ），（ｃ）に示すようにＡ信号８０１，Ｂ信号８０２をそれぞれ１ビットずつシフトして、Ａ信号８０１，Ｂ信号８０２の差の絶対値の和を算出する。シフト量をｉとし、マイナス方向の最大シフト量をｐ−ｓとし、プラス方向の最大シフト量をｑ−ｔとし、ｘをＡＦ領域７０２の開始座標とし、ｙをＡＦ領域７０２の終了座標とするとき、相関量ＣＯＲは以下の式（１）によって算出することができる。
【００６６】
【数１】
2018036510.tif 000003
【００６７】
図９（ａ）には、シフト量と相関量ＣＯＲとの関係の例を示している。横軸はシフト量を示し、縦軸は相関量ＣＯＲを示す。シフト量とともに変化する相関量９０１における極値付近９０２，９０３のうち、より小さい相関量に対応するシフト量においてＡ信号とＢ信号の一致度が最も高くなる。
【００６８】
次に、相関変化量の算出方法について説明する。図９（ａ）に示した相関量９０１の波形における１シフトおきの相関量の差を相関変化量として算出する。シフト量をｉとし、マイナス方向の最大シフト量をｐ−ｓとし、プラス方向の最大シフト量をｑ−ｔとすると、相関変化量ΔＣＯＲは以下の式（２）によって算出することができる。
ΔＣＯＲ［ｉ］＝ＣＯＲ［ｉ−１］−ＣＯＲ［ｉ＋１］
｛（ｐ−ｓ＋１）＜ｉ＜（ｑ−ｔ−１）｝      （２）
【００６９】
図１０（ａ）には、シフト量と相関変化量ΔＣＯＲとの関係の例を示している。横軸はシフト量を示し、縦軸は相関変化量ΔＣＯＲを示す。シフト量とともに変化する相関変化量１００１は、１００２，１００３の部分でプラスからマイナスになる。相関変化量が０となる状態をゼロクロスと呼び、一対の像信号Ａ，Ｂの一致度が最も高くなる。したがって、ゼロクロスを与えるシフト量が像ずれ量ＰＲＤとなる。
【００７０】
図１０（ｂ）には、図１０（ａ）中の１００２で示した部分を拡大して示す。１００４は相関変化量１００１の一部分である。この図１０（ｂ）を用いて像ずれ量ＰＲＤの算出方法について説明する。
【００７１】
ゼロクロスを与えるシフト量（ｋ−１＋α）は、整数部分β（＝ｋ−１）と小数部分αとに分けられる。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥとの相似の関係から、以下の式（３）によって算出することができる。
【００７２】
【数２】
2018036510.tif 000004
【００７３】
整数部分βは、図１０（ｂ）から以下の式（４）によって算出することができる。
β＝ｋ−１          （４）
【００７４】
そして、αとβの和から像ずれ量ＰＲＤを算出することができる。
【００７５】
図１０（ａ）に示したように相関変化量ΔＣＯＲのゼロクロスが複数存在する場合は、その付近での相関変化量ΔＣＯＲの変化の急峻性がより大きい方を第１のゼロクロスとする。この急峻性はＡＦの行い易さを示す指標であり、値が大きいほど精度良いＡＦを行い易い点であることを示す。急峻性ｍａｘｄｅｒは、以下の式（５）によって算出することができる。
ｍａｘｄｅｒ＝│ΔＣＯＲ［ｋ−１］│＋│ΔＣＯＲ［ｋ］│      （５）
【００７６】
このように、本実施形態では、相関変化量のゼロクロスが複数存在する場合は、その急峻性によって第１のゼロクロスを決定し、この第１のゼロクロスを与えるシフト量を像ずれ量ＰＲＤとする。
【００７７】
次に、像ずれ量ＰＲＤの信頼性の算出方法について説明する。像ずれ量の信頼性は、一対の像信号Ａ，Ｂの一致度（以下、２像一致度という）ｆｎｃｌｖｌと上述した相関変化量の急峻性によって定義することができる。２像一致度は、像ずれ量の精度を表す指標であり、本実施形態における相関演算ではその値が小さいほど精度が良いことを示す。なお、像ずれ量ＰＲＤの信頼性は像ずれ量ＰＲＤに基づいて算出されるデフォーカス量の信頼性としても用いることが可能である。
【００７８】
図９（ｂ）には、図９（ａ）中の９０２で示した部分を拡大したもので、９０４が相関量９０１の一部分である。２像一致度ｆｎｃｌｖｌは、以下の式（６）によって算出することができる。
（ｉ）│ΔＣＯＲ［ｋ−１］│×２≦ｍａｘｄｅｒのとき
ｆｎｃｌｖｌ＝ＣＯＲ［ｋ−１］＋ΔＣＯＲ［ｋ−１］／４
（ｉｉ）│ΔＣＯＲ［ｋ−１］│×２＞ｍａｘｄｅｒのとき
ｆｎｃｌｖｌ＝ＣＯＲ［ｋ］−ΔＣＯＲ［ｋ］／４          （６）
【００７９】
次に、図１１のフローチャートを用いて、図４のＳ４０５にてカメラ制御部２１４が行う焦点検出処理について説明する。
【００８０】
Ｓ１１０１では、カメラ制御部２１４は、現在ＡＦが完了して合焦停止状態にあるか否かを判定し、合焦停止状態でない場合はＳ１１０２に進み、合焦停止状態の場合はＳ１１０９に進む。
【００８１】
Ｓ１１０２では、カメラ制御部２１４は、Ｓ４０３での焦点状態検出処理で算出されたデフォーカス量の信頼性が所定信頼性より高いか否かを判定する。ここにいう信頼性は、前述した２像一致度や像ずれ量の急峻性により求められるものであり、算出されたデフォーカス量だけでなくデフォーカス方向も信頼できない信頼性範囲の最高値を所定信頼性と設定するのが望ましい。なお、信頼性は、２像一致度と像ずれ量の急峻性の両方を用いて求めてもよいし、一方のみを用いて求めてもよい。また、２像の信号レベル等の他の指標を用いてもよい。デフォーカス量の所定信頼性より高い場合はＳ１１０３に進み、そうでない場合はＳ１１０７に進む。
【００８２】
Ｓ１１０３では、カメラ制御部２１４は、信頼性が高いデフォーカス量を用いてＡＦを行うため、まずはデフォーカス量が焦点深度内か否かを判断し、焦点深度内である場合はＳ１１０４に進み、焦点深度内でない場合はＳ１１０５に進む。
【００８３】
Ｓ１１０４では、カメラ制御部２１４は、デフォーカス量が焦点深度内にある合焦状態とであるとみなして合焦停止状態に移行し、焦点検出処理を終了する。
【００８４】
一方、Ｓ１１０５では、カメラ制御部２１４は、まだ合焦状態が得られていないとみなして、デフォーカス量に基づいてフォーカスレンズ１０３を駆動するためのレンズ駆動設定を行い、Ｓ１１０６に進む。レンズ駆動設定とは、フォーカスレンズ１０３の駆動速度や、デフォーカス量の誤差を考慮したデフォーカス量に適用するゲイン等の設定である。
【００８５】
Ｓ１１０６では、カメラ制御部２１４は、デフォーカス量およびＳ１１０５で設定したレンズ駆動設定の情報に基づいて、レンズ制御部１０６に対してフォーカスレンズ１０３の制御命令を送信する。すなわち、フォーカスレンズ１０３の焦点位置の駆動制御を行う。これにより、焦点検出処理を終了する。
【００８６】
一方、Ｓ１１０７では、Ｓ６０６で算出したデフォーカス量を使用できない。このため、カメラ制御部２１４は、信頼性が高いデフォーカス量が得られるフォーカスレンズ１０３の位置を検出するためにフォーカスレンズ１０３をその可動端に向かって移動させながらデフォーカス量を算出するサーチ駆動を行う。このため、カメラ制御部２１４は、まず、サーチ駆動用のレンズ駆動設定を行う。サーチ駆動用のレンズ駆動設定とは、フォーカスレンズ１０３の駆動速度や駆動を開始する方向等の設定である。
【００８７】
続いてＳ１１０８では、カメラ制御部２１４は、Ｓ１１０７で設定したサーチ駆動用のレンズ駆動設定に基づいて、レンズ制御部１０６に対してフォーカスレンズ１０３の制御命令を送信する。そして、焦点検出処理を終了する。なお、本実施形態では、撮像素子２０１の出力信号として、一対の像信号を用いる撮像面位相差検出方式のみを行えるカメラ本体２０について説明した。しかし、撮像素子２０１の出力信号を用いてコントラスト検出方式のＡＦを行える場合には、Ｓ１１０２でデフォーカス量の信頼性が低いと判定した場合にコントラスト検出方式のＡＦを行うようにしてもよい。
【００８８】
Ｓ１１０９では、カメラ制御部２１４は、合焦停止状態を保持し、焦点検出処理を終了する。
【００８９】
以上説明したように本実施形態では、飽和画素の信号レベルをクリップするに当たって、一対の像信号の入射光量差の情報に基づいて飽和画素の飽和クリップレベルを変更する。飽和画素のクリップ処理の適用後、入射光量差の補正を行った後の一対の像信号の飽和画素部の信号レベルが一定になるようにする。これによって、一対の像信号の信号レベルや傾きのずれなどの形状差が発生することを軽減し、相関演算による像ずれ量の算出精度、即ちデフォーカス量の算出精度を高めることで、ＡＦ精度を向上させることができる。
【００９０】
なお、本発明の範囲は、本実施形態で例示した構成に限らない。例えば、本実施の形態では図２（ｂ）に示すように水平方向において相関演算を行える撮像素子の構成を用いたが、垂直方向に相関演算を行える構成や、水平／垂直のいずれの方向でも相関演算を行えるような撮像素子の構成であってもよい。
【００９１】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。第１の実施形態では、飽和画素の信号レベルをクリップするに当たって、一対の像信号の光量差情報に基づいてクリップする信号レベルを変更した。これに対して第２の実施形態では、クリップする信号レベルについては一定で、光量差情報に基づく光量差補正を行う際に、飽和していない画素と飽和した画素で光量差補正をするかしないかを変更する。
【００９２】
本実施形態におけるレンズ及びカメラ本体２０からなるレンズ交換式カメラの構成については、第１の実施形態で図１に示した構成と同じである。そのため、第１の実施形態と同様の内容に関してはその説明を省略する。ただし、飽和レベルクリップ部／Ｂ信号生成部２０４に対しては、クリップするレベルを少なくとも１つ設定できればよく、画素ごとの設定ができなくてもよい。また、本実施形態における光量差補正部２０５は、飽和レベルクリップ部／Ｂ信号生成部２０４にて信号レベルがクリップされた、即ち飽和している画素と検出されているかに応じて、画素ごとに光量差補正を適用するか否かを切り替え可能である。
【００９３】
本発明の特徴的な部分である光量差補正部２０５の動作について図１７を用いて説明する。図１７は第１の実施形態における図１５の内容に相当する。入射光量差補正を行う前の像信号において、信号レベルが設定した飽和クリップレベルＳＡＴＬＶＬに到達していた場合は信号レベルが一定になり、そうでない場合は入射光量差に対応する信号レベル差がある状態になる。その状態で入射光量差補正を行う際に、図１７の入射光量差補正係数のグラフ（中図）に示すように、飽和クリップレベルまで到達している画素部分は入射光量差補正を行わないようにする（飽和検出画素部の実線部分を適用する）。入射光量差が残っている画素部分には入射光量差補正を行い、飽和画素のクリップにより入射光量差が残っていない画素部分には補正を行わないようにすることで、入射光量差補正後に信号レベルの差や傾きの差が発生しないようにする。これによって、一対の像信号から像ずれ量を求める、即ちデフォーカス量を求める精度が向上し、ＡＦの精度を向上させることができる。
【００９４】
次に、本実施形態における、カメラ本体２０で行われる処理について説明する。本実施形態における撮像処理、静止画撮像処理、焦点状態検出処理及び焦点検出処理は、第１の実施形態において図３、図４、図６及び図１１に示したものと同じであるため説明を省略する。
【００９５】
図４のＳ４０１でカメラ制御部２１４が行う飽和レベル設定処理について、図１６のフローチャートを用いて説明する。
【００９６】
図１６におけるＳ１６０１の処理は、図５におけるＳ５０１の処理と同じであるため、その説明は省略する。
【００９７】
Ｓ１６０２では、カメラ制御部２１４は、飽和レベルクリップ部／Ｂ信号生成部２０４に対して飽和レベルを設定して処理を終了する。このとき設定する飽和クリップレベルは一定の値でよい。
【００９８】
なお、本実施形態における光量差補正部２０５は、飽和レベルクリップ部／Ｂ信号生成部２０４にて信号レベルがクリップされた、即ち飽和している画素と検出されているかに応じて、画素ごとに光量差補正を適用するか否かを切り替える。本実施形態において飽和レベルクリップ部／Ｂ信号生成部２０４にて信号レベルがクリップされたか否かは、各信号において、フラグ用のビットを付与するようにしてもよい。このフラグ用のビットを光量差補正部２０５にて検出することによって、適切な補正が可能となる。また、飽和している画素の検出に用いる閾値は飽和クリップレベルよりも小さい値にすることが好ましい。これは、クリップ処理の後に光量差補正を行うため、蒸散されるゲイン量によっては各像信号のレベル差が発生してしまう場合もある。そのため、飽和クリップレベルよりも少し小さい信号レベルの画素においても光量差補正を適用しないようにすることが好ましいと言える。
【００９９】
以上説明したように本実施形態では、入射光量差の補正に当たって、像信号のそれぞれの画素が飽和しているか否かの情報を基に、飽和していない画素には入射光量差の補正を行い、飽和している画素には入射光量差の補正を行わないように制御する。飽和画素のクリップ処理の適用後、すでに信号レベルが一定になっている箇所、即ち飽和を検出している画素部分は、入射光量差補正を行うと信号のレベル差や傾き差が生じてしまう為、入射光量差補正を行わない。他方、飽和画素を検出していない画素部分は、入射光量の差を補正する。これによって、一対の像信号の信号レベルや傾きのずれなどの形状差が発生することを軽減し、相関演算による像ずれ量の算出精度、即ちデフォーカス量の算出精度を高めることで、ＡＦ精度を向上させることができる。第１の実施形態と本実施形態ではシステムが異なるが同等の効果が期待できるため、システム上適用し易い手法を使用することが望ましい。
【０１００】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。
【０１０１】
第１の実施形態では、飽和画素の信号レベルをクリップするに当たって、像信号の光量差情報に基づいてクリップする信号レベルを変更した。また、第２の実施形態では、クリップする信号レベルについては一定で、光量差情報に基づく光量差補正を行う際に、飽和していない画素と飽和した画素で光量差補正をするかしないかを変更した。これに対して第３の実施形態では、飽和クリップレベルを一定値しか設定できず、光量差補正も画素ごとに適用するかどうかの切り替えができないシステムを想定する。当該システムにおいて、ＡＦ領域の飽和の検出方法や検出時のデフォーカス量算出方法を変更、または選択方法を変更することで好適なＡＦが実行できるようにする。
【０１０２】
本実施形態におけるレンズ及びカメラ本体３０からなるレンズ交換式のカメラシステムの構成について、図１８を用いて説明する。
【０１０３】
図１８のレンズユニット１０及びその構成要素は、図１におけるレンズユニット１０及びその構成要素と同様である為その説明を省略する。
【０１０４】
図１８のカメラ本体３０の撮像素子３０１からタイミングジェネレータ３１６までの構成要素も、図１におけるカメラ本体２０の撮像素子２０１からタイミングジェネレータ２１６までの構成要素と同様である為その説明を省略する。ただし、飽和レベルクリップ部／Ｂ信号生成部３０４に対しては、第２の実施形態の動作と同様、クリップするレベルを少なくとも１つ設定できればよく、画素ごとの設定が可能である必要は無い。また、光量差補正部３０５は、第１の実施形態の動作と同様に像信号の光量差の補正を行えればよく、第２の実施形態のように飽和画素の有無により画素ごとの光量差の補正が可能である必要は無い。
【０１０５】
図１８の飽和領域判定部３１７は、飽和レベルクリップ部／Ｂ信号生成部３０４により飽和画素としてクリップされた画素数を基に、ＡＦ領域、または相関演算を行った行が飽和しているかを判定する。飽和の判定値は、カメラ制御部３１４が設定するが、このとき設定する飽和の判定値はレンズユニット１０及びカメラ本体３０がもつパラメータを基に変更して、飽和の判定のしやすさを変更するように制御する。
【０１０６】
また、ＡＦ信号処理部３０６は飽和領域判定部３１７が判定した飽和情報を基に信号処理方法を変更する。詳細はフローチャートを基に後述する。さらにＡＦ信号処理部３０６は本実施形態においては、像信号から相関量を算出するに当たって、像信号に適用するバンドパスフィルタの種類を変更したり、画素の間引き量を変更したりできる。相関量を算出するに当たって、バンドパスフィルタや画素の間引き量を変更するのは、例えばより高周波の特性をもった合焦精度の高い相関量を算出するためである。そして、より低周波の特性をもった被写体がボケてても像ずれ量検出できる相関量を算出したりできるようにするためである。本実施形態では、設定したバンドパスフィルタや画素の間引き量を１つの相関量を算出する構成で説明するが、バンドパスフィルタや画素の間引き量を変更した複数の相関量を同時に算出できる構成でもよい。また、カメラ制御部３１４は飽和領域判定部３１７が判定したＡＦ領域の飽和情報を基に、ＡＦ制御方法を変更する。詳細はフローチャートを基に後述する。
【０１０７】
次に、本実施形態における、カメラ本体３０で行われる処理について説明する。
【０１０８】
本実施形態における撮像処理、飽和レベル設定処理及び焦点検出処理は、第１の実施形態において図３に示したもの、第２の実施形態において図１６に示したもの、そして第１の実施形態において図１１を用いて説明したものと同じであるため説明を省略する。
【０１０９】
図３のＳ３０４でカメラ制御部３１４が行う静止画撮像処理について、図１９のフローチャートを用いて説明する。
【０１１０】
図１９におけるＳ１９０１、Ｓ１９０２及び、Ｓ１９０４からＳ１９１０の処理は、図４におけるＳ４０１、Ｓ４０２及び、Ｓ４０３からＳ４０９の処理と同じである。
【０１１１】
Ｓ１９０３では、カメラ制御部３１４は、飽和領域判定部３１７で設定する飽和領域判定閾値を設定する。飽和領域判定閾値設定処理については図２０のフローチャートを用いて後述する。
【０１１２】
次に、図２０のフローチャートを用いて、図１９のＳ１９０３にてカメラ制御部３１４が行う飽和領域判定閾値設定処理について説明する。
【０１１３】
まず、Ｓ２００１では、カメラ制御部３１４は、射出瞳距離情報を取得する。射出瞳距離情報はレンズユニット１０における絞り１０２から、カメラ本体３０における撮像素子３０１までの距離に相当する情報で、カメラ制御部３１４はレンズ制御部１０６を介してレンズユニット１０から取得する。
【０１１４】
次に、Ｓ２００２では、カメラ制御部３１４は、Ｓ２００１で取得した射出瞳距離が所定値以下かどうかを判定し、所定値以下であればＳ２００３へ処理を進め、所定値より大きければＳ２００５へ処理を進める。
【０１１５】
次に、射出瞳距離が所定値以下の場合に進むＳ２００３では、カメラ制御部３１４は、飽和行判定閾値としてαを設定する。
【０１１６】
次に、Ｓ２００４では、カメラ制御部３１４は、飽和領域判定閾値としてＸを設定して飽和領域判定閾値設定処理を終了する。
【０１１７】
Ｓ２００２で射出瞳距離が所定値より大きい場合に進むＳ２００５では、カメラ制御部３１４は、飽和行判定閾値としてβを設定する。
【０１１８】
次に、Ｓ２００６では、カメラ制御部３１４は、飽和領域判定閾値としてＹを設定して飽和領域判定閾値設定処理を終了する。
【０１１９】
飽和行判定閾値は、ＡＦ領域内の相関量を算出する行について、飽和しているかどうかを判定するために使用する。相関量を算出する行を構成する一対の像信号の画素にどれだけ飽和クリップをした画素があるかどうかをカウントし、その個数が飽和行判定閾値より多い場合は飽和行として判定し、飽和行判定閾値以下の場合は飽和していない行と判定する。飽和行の判定結果は、飽和領域の判定及び、図２３のフローチャートで後述する相関量加算判定処理で使用する。
【０１２０】
飽和領域判定閾値は、ＡＦ領域内について飽和しているかどうかを判定するために使用する。ＡＦ領域を構成する相関量を算出する行にどれだけ飽和行があるかどうかをカウントし、その行数が飽和領域判定閾値より多い場合は飽和領域として判定し、飽和領域判定閾値以下の場合は飽和していない領域と判定する。飽和領域の判定結果は、図２２のフローチャートで後述する画素間引き量／バンドパスフィルタ設定処理で使用する。
【０１２１】
なお、飽和行判定閾値及び飽和領域判定閾値の設定値の関係は「α＜β」、「Ｘ＜Ｙ」となるように設定することが好ましい。この値は小さいほど飽和として検出しやすいことを示す。すなわち、射出瞳距離が短いほど飽和として検出しやすくするように制御する。射出瞳距離が短い場合、一般的に像信号の入射光量差が大きくなる。像信号の入射光量差が大きくなる場合、図１４の入射光量差補正後の一対の像信号に示したように、一対の像信号間のレベルの差や傾きの差が大きく相関演算による像ずれ量の算出精度が低下してしまう。しかし、図２４に示すように、像信号の入射光量差が少ないケースでは、入射光量差補正後の像信号の形状差が発生してしまう現象が起きたとしても、形状差の発生度合いは軽微であり、ＡＦ精度を保つことができる。そのため、ＡＦ精度への影響度合い、即ち入射光量差の大きさに応じて、入射光量差が大きくなる傾向のある射出瞳距離が短いほど、飽和を検出し易いようにして、後述する飽和被写体に対する対策を実行する。逆に、入射光量差が少ない傾向のある射出瞳距離が長い側では、ＡＦ精度が許容される範囲で保てるのであればあえて飽和と検出せずに通常通り制御する。
【０１２２】
なお、例えば射出瞳距離が長い側でＡＦ精度が許容できない範囲で入射光量差が大きくなる場合には、飽和行判定閾値及び、飽和領域判定閾値をより小さくして飽和を検出しやすくするように制御してもよい。
【０１２３】
また射出瞳距離情報でなく、入射光量差情報そのものを算出して、入射光量のレベル差や傾き差の情報に基づいて飽和行判定閾値、飽和領域判定閾値を切り替えるように制御してもよい。
【０１２４】
次に、図２１のフローチャートを用いて、図１９のＳ１９０４にてＡＦ信号処理部３０６が行う焦点状態検出処理について説明する。
【０１２５】
図２１におけるＳ２１０１、Ｓ２１０３及び、Ｓ２１０５からＳ２１０８の処理は、図６におけるＳ６０１、Ｓ６０２及び、Ｓ６０３からＳ６０６までの処理と同じである。
【０１２６】
Ｓ２１０２では、ＡＦ信号処理部３０６は、一対の像信号に適用するバンドパスフィルタの種類の変更や、画素の間引き量を変更する。詳細は図２２のフローチャートを用いて後述する。
【０１２７】
Ｓ２１０４では、ＡＦ信号処理部３０６は、Ｓ２１０３で算出したＡＦ領域内の行ごとの相関量について、相関量を加算するかどうかの判定を行う。詳細は図２３のフローチャートを用いて後述する。
【０１２８】
次に、図２２のフローチャートを用いて、図２１のＳ２１０２にてＡＦ信号処理部３０６が行う画素間引き量／バンドパスフィルタ設定処理について説明する。
【０１２９】
まず、Ｓ２２０１では、ＡＦ信号処理部３０６は、飽和領域判定部３１７がＡＦ領域が飽和していると判定したかどうかを受け、飽和領域と判定されていた場合はＳ２２０２へ処理を進め、飽和領域でないと判定されていた場合は、Ｓ２２０４へ処理を進める。
【０１３０】
次に、Ｓ２２０１で飽和領域と判定されていた場合に進むＳ２２０２では、ＡＦ信号処理部３０６は、画素間引き量としてｍを設定する。
【０１３１】
次に、Ｓ２２０３では、ＡＦ信号処理部３０６は、バンドパスフィルタの周波数特性をｆ１に設定して画素間引き量／バンドパスフィルタ設定処理を終了する。ここで設定した画素間引き量及びバンドパスフィルタは、図２１のＳ２１０１で取得した像信号に対して処理され、Ｓ２１０３の相関演算の際は、画素間引き及びバンドパスフィルタ設定処理後の像信号に対して行われる。
【０１３２】
次に、Ｓ２２０４では、ＡＦ信号処理部３０６は、前回算出したデフォーカス量の信頼性が所定以上であったかどうかを判断し、信頼性が所定以上である場合はＳ２２０５へ処理を進め、信頼性が所定より悪い場合はＳ２２０６へ処理を進める。ここでの信頼性の閾値は、前回のＳ２１０８で算出されたデフォーカス量の絶対値がある程度信用できるレベルで判定することが望ましい。また、Ｓ２２０４の処理が初回の実行であり、前回算出したデフォーカス量が存在しない場合は、Ｓ２２０６へ処理を進めるようにする。
【０１３３】
次に、Ｓ２２０５では、ＡＦ信号処理部３０６は、前回算出したデフォーカス量が所定以内かどうかを判断し、所定以内である場合はＳ２２０２へ処理を進め、所定より大きい場合は、Ｓ２２０６へ処理を進める。Ｓ２２０４と同様に前回算出したデフォーカス量が存在しない場合は、Ｓ２２０６へ処理を進める。
【０１３４】
次に、Ｓ２２０６では、ＡＦ信号処理部３０６は、画素間引き量をｎに設定してＳ２２０７へ処理を進める。
【０１３５】
次に、Ｓ２２０７では、ＡＦ信号処理部３０６は、バンドパスフィルタの周波数特性をｆ２に設定して画素間引き量／バンドパスフィルタ設定処理を終了する。
【０１３６】
図２２において設定した画素間引き量ｍ及びｎは、ｍ≦ｎであるように設定する。また、バンドパスフィルタの周波数特性ｆ１及びｆ２は、ｆ１の方がｆ２よりも高周波であるように設定する。
【０１３７】
Ｓ２２０１で飽和領域と判定されていない場合、即ち飽和被写体を捉えていない基本的な制御時には、Ｓ２２０４及びＳ２２０５において、被写体の合焦位置にある程度近いかどうかを判定する。被写体の合焦位置にある程度近いのであれば、Ｓ２２０２及び、Ｓ２２０３において、画素間引き量がより少なく、バンドパスフィルタも高周波のものを使用し、先述したようにより合焦精度の高いデフォーカス量を算出できるようにする。これによって被写体にピントを合わせた際のＡＦ精度を高めることができる。また、被写体の合焦位置に近くない、若しくはそもそもデフォーカス量を検出できていないような場合には、Ｓ２２０６及び、Ｓ２２０７において、画素間引き量がより多く、バンドパスフィルタもより低周波なものを使用する。これによって、先述したようにＡＦ精度は低下するもののよりボケた状態でもデフォーカス量を検出できるようになり、ボケた領域でも被写体の合焦位置方向やデフォーカス量を検出し易くできる。
【０１３８】
先述の基本的な制御時に対して、Ｓ２２０１で飽和領域と判定された場合には、Ｓ２２０４及びＳ２２０５で被写体の合焦位置にある程度近いかどうかを判定せずに、Ｓ２２０２及びＳ２２０３でよりＡＦ精度の高い設定を行うように制御する。飽和領域と判定された場合は、即ち図１４の入射光量差補正後の一対の像信号のグラフで説明したような一対の像信号の形状差が顕著に発生していることが想定される。このような場合、Ｓ２２０６やＳ２２０７のような被写体がボケた際に有効なデフォーカス量を使用してしまうと、二像一致度や急峻性の信頼性の値が十分に良くならない。そして、Ｓ２２０４、及びＳ２２０５の判定において、被写体の合焦位置にある程度近いと判定できないことがある。そのため、ピントが合わずにぼけた状態が継続してしまうなどの問題が発生する。Ｓ２２０１で飽和領域と判定された場合は、Ｓ２２０２及び、Ｓ２２０３にて確実にＡＦ精度の高い画素間引き量及びバンドパスフィルタの設定ができるように制御することで、先述のようなピントが合わない問題を抑制することができる。なお、本実施の形態ではＳ２２０１でＡＦ領域の飽和判定結果を基に判定を行っていたが、ＡＦ領域内の行の飽和判定結果を用いて判定してもよい。
【０１３９】
次に、図２３のフローチャートを用いて、図２１のＳ２１０４にてＡＦ信号処理部３０６が行う相関量加算処理について説明する。
【０１４０】
まず、Ｓ２３０１では、ＡＦ信号処理部３０６は、図２０のＳ２００３及びＳ２００５にて設定した飽和行判定閾値が所定以上かどうかを判定し、所定以上である場合にはＳ２３０２へ処理を進め、所定未満である場合はＳ２３０４へ処理を進める。
【０１４１】
次に、Ｓ２３０２では、ＡＦ信号処理部３０６は、ＡＦ領域内の相関量を算出した各行において、飽和領域判定部３１７で飽和行と判定された行があるかどうかを判定する。そして、飽和行がある場合はＳ２３０３へ処理を進め、飽和行がない場合はＳ２３０４へ処理を進める。
【０１４２】
次に、Ｓ２３０３では、ＡＦ信号処理部３０６は、ＡＦ領域内の相関量を算出した行の内、飽和行と判定した行以外の相関量を加算して相関量加算判定処理を終了する。
【０１４３】
また、Ｓ２３０４では、ＡＦ領域内で算出した全ての行の相関量を加算して相関量加算判定処理を終了する。
【０１４４】
なお、Ｓ２３０３で全ての行が飽和している場合には、相関が検出できないことが判別できる初期値などを設定するようにする。なお、初期値とは例えば無限遠方又は至近に焦点が合うような位置であってもよいし、例えば２ｍ等の撮影頻度が高い位置であってもよい。
【０１４５】
例えば、ＡＦ領域内の一部の行に飽和被写体が存在する場合、行ごとの相関量を加算してＡＦ領域の相関量を求める際に、誤った相関量信号を加算することでＡＦ精度を低下させないために飽和被写体の影響を受けないようにしたい。そのため、Ｓ２３０２で飽和行と判定された行がある場合には、Ｓ２３０３で飽和行以外の行の相関量を加算するように制御する。しかし、図２０のＳ２００２、Ｓ２００３及び、Ｓ２００５にて射出瞳距離などの入射光量差の大きさに基づいて飽和している行の検出のしやすさを変更した。Ｓ２３０３の飽和行以外の行のみの相関量を加算する処理は、Ｓ２３０１で設定した飽和行判定閾値が所定以上、即ち本実施形態においては図２０のＳ２００５の飽和判定閾値βを設定していた状態を示す。対して、図２０のＳ２００３で飽和判定閾値αを設定していた場合、即ち一対の像信号の入射光量差が大きいようなケースでは、Ｓ２３０４にて常に全ての相関量を加算するように制御する。
【０１４６】
上記のように制御するのは、図２５に示したように、一対の像信号の入射光量差が少ない場合には、飽和画素のクリップ処理を行ったとしてもＡＦ精度をある程度保つことができる。このときは飽和行として検出する飽和行判定閾値をより多いβに設定するので、行内の多くの範囲が飽和画素として検出されてなければ飽和行と判定されない。
【０１４７】
対して、一対の像信号の入射光量差が大きい場合には、飽和画素クリップ処理を行った後のＡＦ精度が著しく低下してしまう。このときは飽和行として検出する飽和行判定閾値をより少ないαに設定する為、行内の少しの範囲でも飽和画素が検出された場合でもすぐに飽和行と検出する。そのため、例えばＡＦ領域内の全ての行に少しの飽和画素が混入しているような場合に仮にＳ２３０３の処理を適用してしまうと、相関量が検出できずデフォーカス量が分からないケースが増えてしまう。そして、先述の飽和被写体に対してピントが合わせられない現象が発生してしまう。
【０１４８】
この問題を解決するために、飽和行判定閾値が少ない、即ちＡＦ領域内に小さな飽和被写体がある場合でも飽和行を検出する場合は、飽和行であったとしてもＳ２３０４で算出した全ての相関量を加算するように制御する。飽和行の相関量を加算して使用してしまうものの、先述の図２２の画素間引き量／バンドパスフィルタ設定処理によって飽和領域に対してボケ止まりが起きにくい特性を設定することで、飽和被写体に対してもピントを合わせられる機会を向上できる。また、行内の飽和被写体が小さいということは、飽和被写体以外の被写体がＡＦ領域内に存在する可能性も高い。そのため、Ｓ２３０３で飽和行の相関量を加算しないように制御するよりは、Ｓ２３０４で全ての相関量を加算するように制御した方がピントを合わせられる機会を増やすことができる。
【０１４９】
以上説明したように本実施形態では、ＡＦ領域内の行ごとに飽和レベルクリップ処理がされている画素数を基に飽和行判定を行う。また、ＡＦ領域内の飽和行数を基に飽和領域判定を行う。またこれらの飽和判定を行うに当たって、飽和によるＡＦ精度の低下は一対の像信号の入射光量差が大きいほど大きいので、入射光量差の大きさ、本実施形態では射出瞳距離情報を基に飽和行の判定閾値、飽和領域の判定閾値を変更する。一対の像信号の入射光量差が少ない場合はＡＦ精度を保ちやすい為飽和と検出しにくくし、入射光量差が大きい場合はＡＦ精度の低下が懸念されるため飽和と検出し易いようにする。さらに、飽和領域と検出された場合は、ＡＦ精度よりもボケた際の検出能力を優先した画素間引き数／バンドパスフィルタの特性を使用してしまうことでピントがボケ止まってしまうことを防ぐため、常にＡＦ精度を優先した特性を選択するようにする。設定した飽和行の判定閾値の大小により、算出した行ごとの相関量の加算方法を、それぞれに適した方法に切り替える。飽和行判定閾値が大きい場合は、相関量の行ごとの加算時に飽和行の影響をなくすために、飽和行を加算しないように制御する。また、飽和行判定閾値が小さい場合には、すべての行の相関量を加算するように制御することで、飽和行を加算しないことでＡＦできなくなることでピントが合わせられない現象の発生を抑える。さらに、ＡＦ領域内の飽和以外の被写体を使用したり、先述の画素間引き数／バンドパスフィルタ設定処理においてよりＡＦ精度の高い特性を選択したりすることにより飽和被写体を含むＡＦ領域でもピントを合わせられる機会を向上させる。
【０１５０】
以上により、飽和レベルのクリップ処理の信号レベル閾値を画素ごとに設定したり、入射光量差補正の補正有無を画素ごとに設定したりすることが可能となる。そのため、高負荷なシステムが実現できないシステムにおいても、飽和被写体に対するＡＦ精度向上や、ＡＦ可能な機会向上ができる。
【符号の説明】
【０１５１】
１０  レンズユニット
２０  カメラ本体
１０１  固定レンズ
１０２  絞り
１０３  フォーカスレンズ
１０４  絞り駆動部
１０５  フォーカスレンズ駆動部
１０６  レンズ制御部
１０７  レンズ操作部
２１  バス
２０１  撮像素子
２０２  ＣＤＳ／ＡＧＣ／ＡＤ
２０３  画像入力コントローラ
２０４  飽和レベルクリップ部／Ｂ信号生成部
２０５  光量差補正部
２０６  ＡＦ信号処理部
２０７  表示制御部
２０８  表示部
２０９  記録媒体制御部
２１０  記録媒体
２１１  ＳＤＲＡＭ
２１２  ＲＯＭ
２１３  フラッシュＲＯＭ
２１４  カメラ制御部
２１５  カメラ操作部
２１６  タイミングジェネレータ
３１７  飽和領域判定部
【図１】
2018036510.tif 000005
【図２】
2018036510.tif 000006
【図３】
2018036510.tif 000007
【図４】
2018036510.tif 000008
【図５】
2018036510.tif 000009
【図６】
2018036510.tif 000010
【図７】
2018036510.tif 000011
【図８】
2018036510.tif 000012
【図９】
2018036510.tif 000013
【図１０】
2018036510.tif 000014
【図１１】
2018036510.tif 000015
【図１２】
2018036510.tif 000016
【図１３】
2018036510.tif 000017
【図１４】
2018036510.tif 000018
【図１５】
2018036510.tif 000019
【図１６】
2018036510.tif 000020
【図１７】
2018036510.tif 000021
【図１８】
2018036510.tif 000022
【図１９】
2018036510.tif 000023
【図２０】
2018036510.tif 000024
【図２１】
2018036510.tif 000025
【図２２】
2018036510.tif 000026
【図２３】
2018036510.tif 000027
【図２４】
2018036510.tif 000028