(57)【要約】【課題】  検出部を互いに位相がずれて並列に隣接している複数列のラインセンサとした位相差ＡＦにおいて、一回の焦点検出で相関演算を複数回行うため、演算量が多いといった問題がある。【解決手段】  本発明では、像信号の合成を行うか否かの判別を行う前に、各ラインセンサの撮像条件に関するパラメータを比較することで、相関演算の回数を減らし、演算量を少なくする。【選択図】  図１
2012103285.tif 000002
【特許請求の範囲】
【請求項１】
第１の焦点検出領域に対応する第１のラインセンサの像信号から第１の像ずれ量を検出可能とするとともに、前記第１のラインセンサとは位相がずれた関係にあって前記第１の焦点検出領域に対応する第２のラインセンサの像信号から第２の像ずれ量を検出可能とする焦点検出手段と、
前記第１のラインセンサの像信号が所定のレベルになると前記第１のラインセンサにおける像信号の蓄積制御を終了し、前記第２のラインセンサの像信号が所定のレベルになると前記第２のラインセンサにおける像信号の蓄積制御を終了するように制御を行う蓄積制御手段とを備え、
前記焦点検出手段は、前記蓄積制御手段の制御による前記第１のラインセンサの像信号の蓄積時間と、前記蓄積制御手段の制御による前記第２のラインセンサの像信号の蓄積時間との差が第１の差のときには、当該第１のラインセンサの像信号と当該第２のラインセンサの像信号を合成した後に像ずれ量を検出し、
前記蓄積制御手段の制御による前記第１のラインセンサの像信号の蓄積時間と、前記蓄積制御手段の制御による前記第２のラインセンサの像信号の蓄積時間との差が前記第１の差よりも大きい第２の差のときには、当該前記第１のラインセンサの像信号と前記第２のラインセンサの像信号とを合成せずに、当該前記第１のラインセンサの像信号から前記第１の像ずれ量を検出し、前記第２のラインセンサの像信号から前記第２の像ずれ量を検出することを特徴とする焦点検出装置。
【請求項２】
前記焦点検出手段は、前記第１のラインセンサと前記第２のラインセンサにおける撮像条件が同一か否かを出力し、当該撮像条件が同一でない場合に、当該前記第１のラインセンサの像信号と前記第２のラインセンサの像信号とを合成せずに、当該前記第１のラインセンサの像信号から前記第１の像ずれ量を検出し、前記第２のラインセンサの像信号から前記第２の像ずれ量を検出することを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
前記焦点検出手段は、前記第１のラインセンサからの像信号のコントラストと前記第２のラインセンサからの像信号のコントラストとの差が所定範囲内か否かを出力し、当該コントラストの差が所定範囲内でない場合に、当該前記第１のラインセンサの像信号と前記第２のラインセンサの像信号とを合成せずに、当該前記第１のラインセンサの像信号から前記第１の像ずれ量を検出し、前記第２のラインセンサの像信号から前記第２の像ずれ量を検出することを特徴とする請求項１に記載の焦点検出装置。
【請求項４】
前記焦点検出手段は、前記蓄積制御手段の制御による前記第１のラインセンサの像信号の蓄積時間と、前記蓄積制御手段の制御による前記第２のラインセンサの像信号の蓄積時間との差が前記第１の差よりも大きい第２の差のときには、前記第１の像ずれ量及び前記第２の像ずれ量を平均することを特徴とする請求項１乃至請求項３のいずれか１項に記載の焦点検出装置。
【請求項５】
前記焦点検出手段は、前記蓄積制御手段の制御による前記第１のラインセンサの像信号の蓄積時間と、前記蓄積制御手段の制御による前記第２のラインセンサの像信号の蓄積時間との差が前記第１の差よりも大きい第２の差のときには、前記第１の像ずれ量及び前記第２の像ずれ量の内、いずれか一方を選択することを特徴とする請求項１乃至請求項３のいずれか１項に記載の焦点検出装置。
【請求項６】
第１の焦点検出領域に対応する第１のラインセンサの像信号から第１の像ずれ量を検出可能とするとともに、前記第１のラインセンサとは位相がずれた関係にあって前記第１の焦点検出領域に対応する第２のラインセンサの像信号から第２の像ずれ量を検出可能とする焦点検出ステップと、
前記第１のラインセンサの像信号が所定のレベルになると前記第１のラインセンサにおける像信号の蓄積制御を終了し、前記第２のラインセンサの像信号が所定のレベルになると前記第２のラインセンサにおける像信号の蓄積制御を終了するように制御を行う蓄積制御ステップとを備え、
前記焦点検出ステップでは、前記蓄積制御ステップによる前記第１のラインセンサの像信号の蓄積時間と、前記蓄積制御ステップによる前記第２のラインセンサの像信号の蓄積時間との差が第１の差のときには、当該第１のラインセンサの像信号と当該第２のラインセンサの像信号を合成した後に像ずれ量を検出し、
前記蓄積制御ステップによる前記第１のラインセンサの像信号の蓄積時間と、前記蓄積制御ステップによる前記第２のラインセンサの像信号の蓄積時間との差が前記第１の差よりも大きい第２の差のときには、当該前記第１のラインセンサの像信号と前記第２のラインセンサの像信号とを合成せずに、当該前記第１のラインセンサの像信号から前記第１の像ずれ量を検出し、前記第２のラインセンサの像信号から前記第２の像ずれ量を検出することを特徴とする焦点検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自動焦点調節制御を行うための焦点検出装置およびその制御方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置に搭載されるオートフォーカス（ＡＦ）方式としては、位相差検出方式がある。位相差検出方式では、撮影レンズの射出瞳を通過した光束を２分割し、２分割した光束を一組の焦点検出用センサによりそれぞれ受光する。そして、その受光量に応じて出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量を検出することで撮影レンズのピント方向のずれ量を求める。従って、焦点検出用センサにより一度蓄積動作を行えばピントずれの量と方向が得られ、高速な焦点調節動作が可能となる。
【０００３】
位相差検出方式の精度を高めるために、位相差検出ユニットの検出部に、いわゆる千鳥配列を用いた位相差検出方式が知られている（特許文献１）。千鳥配列は、複数のラインセンサを上下に隣接させ、かつ、上下の画素を０．５画素ずらして配置したものである。この複数列に分けたラインセンサにおいて、同一被写体を捉えているか否かを判別し、同一被写体である場合には、各ラインセンサの像信号を交互に取り出して合成することで、精度を向上させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１３３５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術の構成では、演算量の多い相関演算を複数回に渡って行うことが必要であり、全体の演算量が多いといった問題がある。
【０００６】
本発明は上記の問題点に鑑み、像信号の合成を行うか否かの判別を行うにあたり、相関演算の回数を減らし、演算量を少なくすることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の技術的特徴としては、第１の焦点検出領域に対応する第１のラインセンサの像信号から第１のデフォーカス量を検出可能とするとともに、前記第１のラインセンサとは位相がずれた関係にあって前記第１の焦点検出領域に対応する第２のラインセンサの像信号から第２のデフォーカス量を検出可能とする焦点検出ステップと、前記第１のラインセンサの像信号が所定のレベルになると前記第１のラインセンサにおける像信号の蓄積制御を終了し、前記第２のラインセンサの像信号が所定のレベルになると前記第２のラインセンサにおける像信号の蓄積制御を終了するように制御を行う蓄積制御ステップとを有し、前記焦点検出ステップでは、前記蓄積制御ステップによる前記第１のラインセンサの像信号の蓄積時間と、前記蓄積制御ステップによる前記第２のラインセンサの像信号の蓄積時間との差が第１の差のときには、当該第１のラインセンサの像信号と当該第２のラインセンサの像信号を合成した後にデフォーカス量を検出し、
前記蓄積制御ステップによる前記第１のラインセンサの像信号の蓄積時間と、前記蓄積制御ステップによる前記第２のラインセンサの像信号の蓄積時間との差が前記第１の差よりも大きい第２の差のときには、当該前記第１のラインセンサの像信号と前記第２のラインセンサの像信号とを合成せずに、当該前記第１のラインセンサの像信号から前記第１のデフォーカス量を検出し、前記第２のラインセンサの像信号から前記第２のデフォーカス量を検出することを特徴とする。
【発明の効果】
【０００８】
本発明では、余分な相関演算を行わないようにすることにより、演算量を減らすことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例であるビデオカメラの構成を示すブロック図
【図２】実施例における位相差ＡＦでの焦点検出原理を示す図
【図３】位相差ＡＦにおける像信号を示す図
【図４】実施例における相関演算のフローチャート
【図５】実施例におけるコントラストＡＦの原理を説明するための図
【図６】実施例における位相差ＡＦの蓄積制御を示す図
【図７】実施例１における千鳥配列の焦点検出のフローチャート
【図８】実施例１における位相差ＡＦの検出部の拡大概略図
【図９】実施例における範囲決定手段の詳細フローチャート
【図１０】実施例における千鳥配列の蓄積時間
【図１１】実施例２における位相差ＡＦの検出部の拡大概略図
【図１２】実施例２における千鳥配列の焦点検出のフローチャート
【発明を実施するための形態】
【００１０】
（実施例１）
＜カメラの構成＞
図１は焦点検出装置を搭載したカメラの構成を表す図である。ここで言うカメラとは、動画や静止画を撮影してテープや固体メモリ、光ディスクや磁気ディスク等のさまざまなメディアに記録する、いわゆるビデオカメラやデジタルスチルカメラ等を総称してカメラと呼ぶ。カメラ内の各ユニットは、バス１６０を介して接続されており、各ユニットはメインＣＰＵ１５１によって制御される構造になっている。
【００１１】
レンズユニット１０１には、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、フォーカスレンズ１３１が含まれる。これらの光学部材を通して、撮像素子１４１上に被写体光を入射させ、被写体光を受光することで、被写体像の撮像を行い撮像信号を出力する。ズーム制御部１１３は、メインＣＰＵ１５１の指示に従いズームモータ１１２を介してズームレンズ１１１を移動させて焦点距離を変える。
【００１２】
タイミングジェネレータ（ＴＧ）１４３は、撮像素子１４１の駆動パルスを静止画撮影モード、間引きモード、焦点検出モードに応じて生成する。また、ＴＧ１４３は、メインＣＰＵ１５１とバス１６０で接続され、メインＣＰＵ１５１からの指令に応じて駆動パルスを、静止画撮影モード、間引きモード、焦点検出モードに切り替える。
【００１３】
撮像素子１４１に入射された被写体像は、撮像素子１４１にて光電変換され撮像信号処理部１４２で画像信号として整えられる。また、撮像信号ＴＶＳがＡＦ信号処理部１３４へと入力される。ＡＦ信号処理部１３４では、コントラストＡＦ制御のための評価値ＦＶと、合焦度を表すＩＦＡ信号を作成し、フォーカス制御部１３３へ入力する。
【００１４】
一方、レンズユニット１０１の外部に設けられている位相差ＡＦユニット１３０は、被写体距離に関する情報である信号Ｌを算出してフォーカス制御部１３３へ入力する。この被写体距離に関する情報の算出は、位相差ＡＦ用の瞳分割光学系１３８を通して位相差ＡＦユニットの検出部１３９へ入射された２つの像信号（被写体像）の像ずれ量（位相差量）を検出することにより行う。フォーカス制御部１３３では、位相差ＡＦ制御による信号ＬとコントラストＡＦ制御による評価値ＦＶや合焦度ＩＦＡに基づく焦点調節を行う。すなわち、これらの信号に基づいてフォーカスモータ１３２を介してフォーカスレンズ１３１を移動させることで、焦点調節（オートフォーカス）を実現する。
【００１５】
撮像信号処理部１４２で整えられた画像信号は、一時的にＲＡＭ１５４に蓄積される。ＲＡＭ１５４に蓄積された画像信号は、画像圧縮解凍部１５３にて圧縮処理され、画像記録媒体１５７に記録される。これと並行して、ＲＡＭ１５４に蓄積された画像信号は、画像処理部１５２にて最適なサイズに縮小・拡大処理がなされる。最適なサイズに処理された画像信号は、モニタディスプレイ１５０に表示されることで、リアルタイムで撮影画像を撮影者に対してフィードバックする。また、撮影直後には、モニタディスプレイに所定時間だけ撮影画像を表示することで撮影画像の確認を行うことも可能となる。
【００１６】
操作スイッチ１５６は使用者が指示を行うための操作を行うためのものである。１５９は電源バッテリーであり、電源管理１５８により適切な電源管理を施されてカメラ全体に安定した電源供給を行うものである。ジャイロセンサ１６１はカメラの動きを検出する。
【００１７】
これらの動作に先立って、カメラがＯＦＦ状態から起動すると、フラッシュメモリ１５５に格納されていたプログラムがＲＡＭ１５４の一部にロードされ、メインＣＰＵ１５１はこのＲＡＭ１５４にロードされたプログラムに従って動作を行う。
【００１８】
＜位相差ＡＦユニットの構成＞
図２（ａ）はレンズユニット１０１に対して外部に設けられた位相差ＡＦユニット１３０の光学系の構成を説明するための図である。２０１は被写体、２０２は第１の結像レンズ、２０３は第１の検出部である。また、２０４は第２の結像レンズ、２０５は第２の検出部である。第１及び第２の検出部２０３，２０５は、基線長Ｂだけ互いに離れて設置されている。被写体２０１からの光のうち第１の結像レンズ２０２を通った光は、第１の検出部２０３上に結像し、第２の結像レンズ２０４を通った光は第２の検出部２０５上に結像する。
【００１９】
これら第１の結像レンズ２０２、第２の結像レンズ２０４、第１の検出部２０３、第２の検出部２０５からなる焦点検出用センサ群を位相差ＡＦユニット１３０としている。結像レンズ２０２，２０４は図１に示した位相差ＡＦ用の瞳分割光学系１３８に、検出部２０３，２０５は図１に示した検出部１３９にそれぞれ相当する。検出部２０３，２０５は２列のラインセンサが相対的に互いに位置が１画素未満である０．５画素ずれるように並行に上下に隣接して配置されている千鳥配列となっている。
【００２０】
具体的には、位相差ＡＦユニットの検出部２０３は上段のラインセンサ２０６と下段のラインセンサ２０７から構成される。また、同様に検出部２０５は上段のラインセンサ２０８、下段のラインセンサ２０９から構成される。本実施例では、カメラに対して位相差ＡＦユニットを横置きしているものとするため、検出部は上下に隣接した２列のラインセンサで構成されるが、位相差ＡＦユニットを縦置きし、２列のラインセンサが左右に隣接した構成においても、同様の効果が得られる。
【００２１】
図２（ｂ）は、検出部２０３の詳細の一例である。検出部２０３は、上段のラインセンサ２０６と下段のラインセンサ２０７が相対的に互いに位置が０．５画素ずれるように並行に隣接して配置されている。また、検出部２０３は３０個×２列の画素から構成されており、ラインセンサ２０６の３０個の画素、ラインセンサ２０７の３０個の画素から構成される。検出部２０５についても、同様の構成とする。なお被写体距離ｌの算出にあたっては、検出部２０３および検出部２０５を一対の検出部として用いる。そのため、検出部の内部では、ラインセンサ２０６とラインセンサ２０８が対となり、ラインセンサ２０７とラインセンサ２０９が対となる構成となっている。
【００２２】
図６は、図１、図２では不図示であった検出部２０３と検出部２０５の蓄積制御をするための回路構成の詳細を表す図である。対となる２つのラインセンサ２０６、２０８に対して、最大値を示す画素の出力（以下、ピーク値とする）がメインＣＰＵ１５１内の蓄積制御部６０１に検出される。蓄積制御部６０１は、このピーク値が所定のレベルに到達するまで蓄積を行うように制御を行うとともに、蓄積終了後の読み出しゲインＡＧＣ１を決定する。ここでピーク値を取るのは、所定のレベルにピーク値が到達するまで蓄積することにより、位相差ＡＦ制御において十分精度が出るレベルであると判断でき、このピーク値以上に蓄積時間を増加すれば、出力信号が飽和して適切な検出が行えなくなるためである。蓄積の終了は検出部の像信号により行われるため、光量の多い被写体では蓄積時間が短くなり、少ない部分では蓄積時間が長くなる。ラインセンサ２０７、２０９に対しても同様の蓄積制御を行う。
【００２３】
ピーク値が所定のレベルに到達した時点で蓄積を終了し、像信号の読み出しを行う。メインＣＰＵ１５１内のＡ／Ｄ変換部６０２において、ラインセンサ内の１画素をＡ／Ｄ変換後、デジタルで表現された画素値をＲＡＭ１５４上の所定のアドレスへ格納する。このＡ／Ｄ変換が所定画素の回数分行われたかどうかを判断し、所定画素のＡ／Ｄ変換が終了していれば、そのラインセンサの像信号の取得を終了する。終了していなければ次の画素値をＡ／Ｄ変換する。この取得した像信号を用いて、前述の相関演算により像ずれ量を算出する。
【００２４】
＜像ずれ量の算出方法＞
図３に、検出部２０３、２０５からの出力信号（以下、像信号とする）の例を示す。検出部２０３，２０５は基線長Ｂだけ離れているため、検出部２０３からの像信号Ｐ１と検出部２０５からの像信号Ｐ２とは、画素数Ｘだけずれた信号となる。そこで、２つの像信号に対して相関演算を行うことで位相差（以下、像ずれ量とする）Ｘが算出できる。
【００２５】
像信号から像ずれ量を算出する方法について説明する。像信号から像ずれ量の算出には、相関演算を用いる。相関演算とは、２つの像信号の相関値を画素をずらしながら演算し、相関が最大になる画素ずらし量を求めることで像ずれ量Ｘを検出するものである。この相関演算は特に記述しない限り、メインＣＰＵ１５１とフォーカス制御部１３３により行われるものとする。
【００２６】
図４は相関演算のフローチャートである。この処理は、メインＣＰＵ１５１とフォーカス制御部１３３により実施される。
【００２７】
まずＳ４０１において、検出部２０３、２０５からの出力信号である像信号を取得する。
【００２８】
Ｓ４０２において、取得した像信号に対して、前補正処理を行う。この前補正処理には、読み出した像信号に対する補正処理と、コントラスト算出や平均化などの像信号のフィルタ処理とを含む。
【００２９】
Ｓ４０３において、１画素ずつ画素をずらしながら、相関が最も高くなる画素ずらし量を算出する。相関が最も高くなる画素ずらし量の算出にあたって、検出部２０３内のラインセンサの像信号と、それに対応する検出部２０５内のラインセンサの像信号を比較し、その相関値を算出する。相関値を算出する際には、２つの像信号を重ねて、それぞれ対応する信号同士を比較し、小さい方の値の累積を取得する。なお、大きい方の値の累積を取得しても良い。また、差分を取得しても良い。小さい方の値の累積を取得した場合には、この値が最も大きいときが相関の高いときである。累積は相関を指し示す指標となる。なお、大きい方の値の累積を取得した場合、あるいは差分を取得した場合には、この値が最も小さいときが相関の高いときとなる。
【００３０】
ここでは、小さい方の値の累積を取得した場合について説明する。まず、２つの像信号を重ねた状態での相関値（以下、相関値Ａとする）を小さい方の値の累積に基づいて算出する。次に、１画素ずらして相関値（以下、相関値Ｂとする）を算出する。このとき、相関が高くなる方向へ画素をずらすので、相関値Ｂから相関値Ａを引いたもの（以下、相関量差とする）は正となる。このように、相関が最も高くなる画素ずらし量までは、現在の画素ずらし量と、その１つ手前の画素ずらし量での相関量差は正となる。相関が最も高くなる画素ずらし量を過ぎると、２つの像信号の相関がなくなっていくため、相関量差は負に転じる。この相関量差が正から負に転じる部分が、相関が最も高くなる画素ずらし量である。
【００３１】
Ｓ４０４において、相関が最も高くなる画素ずらし量を算出した後、その画素ずらし量と前後の画素ずらし量での相関値を用いて、補間演算を行い、１画素以内の補間値を算出する。補間値は、前述の相関量差が正から負に転じる部分において、正の部分を正から負の絶対値で割ることにより求められる。この画素ずらし量と補間値との和を像ずれ量Ｘとする。
【００３２】
Ｓ４０５において、像ずれ量Ｘを算出した後、算出した像ずれ量Ｘの信頼性を評価する。この信頼性は、像信号のコントラストや、２つの像信号の一致度等で算出される。
【００３３】
Ｓ４０６において、算出した信頼性の評価を行う。所定の閾値に対し、信頼性が大きければ、Ｓ４０７において像ずれ量Ｘは十分に信頼できるものとする。一方、信頼性が小さければ、像ずれ量Ｘは信頼できないものとし、Ｓ４０８において焦点検出はＮＧとする。以上が、像ずれ量の算出方法の説明である。なお、上段の一対のラインセンサからの像信号に基づく像ずれ量の算出も、下段の一対のラインセンサからの像信号に基づく像ずれ量の算出、上段と下段の像信号に基づく像ずれ量の算出も同様に行うことができる。
【００３４】
＜被写体距離の算出方法＞
以下、像ずれ量Ｘから被写体距離の算出方法について説明する。像ずれ量Ｘと、基線長Ｂと、結像レンズ２０２、２０４の焦点距離ｆとにより、三角測距の原理で被写体までの距離Ｌが以下の式（１）により求められる。
Ｌ＝Ｂ・ｆ／Ｘ    ・・・（１）
測定された被写体距離に基づいて、メインＣＰＵ１５１は被写体距離に対して合焦を得るためのフォーカスレンズ位置を算出する。この算出には、計算式を用いた演算だけでなく、予め不図示のメモリに記憶された、被写体距離に対する合焦位置のデータを読み出すことも含む。そして、フォーカス制御部１３３を通じてフォーカスレンズ１３１をその合焦フォーカスレンズ位置に移動させる。以上が、位相差ＡＦユニット１３０における被写体距離の算出方法である。
【００３５】
＜コントラストＡＦ制御＞
また一方で、本実施例のカメラはコントラストＡＦ制御を行う。図５はＡＦ信号処理部１３４の詳細図である。撮像信号処理部１４２からの撮像信号ＴＶＳは、ゲート５０１にて画面内の一部のみの撮像信号を抽出する。そして、バンドパスフィルタ（ＢＰＦ）５０２および検波部（ＤＥＴ）５０３によって、合焦状態を示すＡＦ評価値ＦＶを生成するとともに、ＢＰＦ５０４、５０５、ＤＥＴ５０６、５０７、および除算部５０８によって合焦度ＩＦＡを生成する。
【００３６】
＜ハイブリッドＡＦ制御＞
フォーカス制御部１３３では、ＡＦ信号処理部１３４からのＡＦ評価値ＦＶと合焦度ＩＦＡ、および位相差ＡＦユニットからの合焦フォーカスレンズ位置を取得する。現在のフォーカスレンズの位置から合焦フォーカスレンズ位置にフォーカスレンズ１３１を移動させると共に、合焦度ＩＦＡを評価することで、合焦近傍か否かを判断し、合焦近傍である場合にはＡＦ評価値ＦＶに基づいて合焦点の探索を行う。このように、大ボケ時には位相差ＡＦ制御を行い、合焦近傍にフォーカスレンズ１３１を移動させ、コントラストＡＦ制御で合焦位置を探索することで、位相差ＡＦ制御による高速な合焦性能とコントラストＡＦ制御による高精度の合焦性能を併せ持つことができる。以上が、位相差ＡＦ制御とコントラストＡＦ制御を併用したハイブリッドＡＦ制御の説明である。
【００３７】
＜実施例１の相関演算の動作フロー＞
図７は本実施例におけるフローチャートである。位相差ＡＦユニットの検出部は、２列のラインセンサが相対的に互いに位置が０．５画素ずれるように並行に上下に隣接して配置されている千鳥配列となっている。そのため、２つの演算方法を有する。一つは、Ｓ７１５からＳ７１６において、２列のラインセンサの像信号を合成して相関演算を行い、１つの被写体距離を算出する演算方法（以下、合成法とする）である。また、もう一つはＳ７１７において、上段・下段２対のラインセンサの像信号をそれぞれ相関演算して算出した２つの像ずれ量を平均する演算方法（以下、平均法とする）である。また、本実施例では、Ｓ７０９からＳ７１４において、合成法と平均法の使い分けを行うための判別ステップを有する。以下、千鳥配列における動作フローについて詳細を説明する。
【００３８】
Ｓ７０１において、上段のラインセンサ（ラインセンサ２０６、２０８を一対として）での相関演算を行う。Ｓ７０２において、下段のラインセンサ（ラインセンサ２０７、２０９を一対として）での相関演算を行う。
【００３９】
Ｓ７０３において、上段の像ずれ量、下段の像ずれ量がともに信頼性があるかを確認する。前述の合成法、平均法を行うためには、２つの像ずれ量がともに信頼性が高いものである必要があるためである。２つとも信頼性が高い場合にはＳ７０４へステップを移す。２つの信頼性が高くない場合にはＳ７０６へステップを移す。
【００４０】
Ｓ７０４において、２つの像ずれ量の差が所定の閾値以下であるかを判断する。像ずれ量の差が閾値以下である場合、上段と下段のラインセンサはともに同一の距離にある被写体を捉えており、Ｓ７０９へステップを移す。一方、２つの像ずれ量が所定の閾値よりも大きければ、上段と下段のラインセンサは異なる距離の被写体を捉えており、Ｓ７０５へステップを移す。
【００４１】
Ｓ７０５において、上段と下段の像ずれ量の内、距離が近い方（つまり、像ずれ量の大きいほう）を選択し、被写体距離を算出する。Ｓ７０６において、Ｓ７０３で上段、下段の２つとも信頼性が高くないとみなされた場合、どちらか一方の信頼性が高くないかを判断する。一方の信頼性が高い場合には、Ｓ７０７へステップを移し、２つとも信頼性が低い場合にはＳ７０８へステップを移す。Ｓ７０７において、信頼性の高い方の像ずれ量を選択し、被写体距離を算出する。Ｓ７０８において、焦点検出はＮＧとする。なお、Ｓ７０７における一方の像ずれ量の選択については、信頼性や像ずれ量の大きさの変わりに、過去の情報や、カメラの他機能の情報を利用しても良い。
【００４２】
以上により、ラインセンサ毎に像ずれ量を算出し、２つの像ずれ量の信頼性が高く、ほぼ同一の距離にある場合はＳ７０９からＳ７１４の判別ステップによって合成法あるいは平均法を適用して被写体距離を算出する。判別ステップの詳細については後述する。
【００４３】
Ｓ７０９からＳ７１４の判別ステップによって、合成法が有効であると判別されると、Ｓ７１５において、上段・下段の像信号を交互に取り出して、１つの像信号とする合成を行い、Ｓ７１６において、合成した像信号に対して相関演算を行う。図８は千鳥配列で構成された検出部の拡大概略図であり、ここで像信号の合成とは、画素１、画素２、画素３、画素４‥と画素値を交互に取り出すことである。また、このように交互に取り出したものに対して、例えば隣接する画素値と平均するなどの所望のフィルタ処理を施しても良い。
【００４４】
この合成法を用いることによって、相関演算を行う際の画素数が倍になる。また、上段と下段で０．５画素ずらしていることで、画素のピッチ幅を半分にしていることと等価であり、より詳細に被写体を捉える効果がある。以上が、合成法の説明である。
【００４５】
一方、Ｓ７０９からＳ７１４の判別ステップによって、合成法が有効でないと判別されると、Ｓ７１７において、Ｓ７０１とＳ７０２で算出したラインセンサ毎の像ずれ量を平均する。
【００４６】
上段と下段で０．５画素ずれている千鳥配列において、２つの像ずれ量を平均することで、ラインセンサ上の被写体像のかかり具合によって発生するばらつきを抑える効果がある。以上が、平均法の説明である。
【００４７】
前述の合成法と平均法を使い分けるための判別ステップについて説明する。合成法を行うためには、上段と下段のラインセンサが同一の被写体を捉え、かつ上段と下段の像信号が同じである必要がある。つまり、上段と下段のラインセンサがともに、同一の被写体をラインセンサに対してほぼ直角に捉えている必要がある。
【００４８】
そのため、この条件を満たすか否かを判別した上で、合成法を行う。この判別は、上段と下段のラインセンサの撮像条件に基づく判別ステップ（Ｓ７０９からＳ７１０）と、上段と下段の像信号で相関演算を行う判別ステップ（Ｓ７１１からＳ７１４）の２段構成となっている。
【００４９】
Ｓ７０９からＳ７１０では、上段と下段の撮像条件を比較し、比較した結果に基づいて判別を行う。Ｓ７０９において、上段と下段の信号の蓄積時間の差分をとり、上段と下段の蓄積時間の内、小さい方の値でこの差を除することで、上段と下段の蓄積時間の差分がどの程度の割合であるかを算出する。この割合が所定の閾値以下である場合はＳ７１０へステップを移し、所定の閾値より大きい場合はＳ７１７へステップを移す。図１０（ａ）に示すように、上段と下段で蓄積時間に差が見られる場合には、上段と下段で異なる明るさの被写体を捉えているため、後の判別ステップを行うことなく合成法を行わないという判別を行う。一方、図１０（ｂ）に示すように、上段と下段で蓄積時間に差が見られない場合には、後の判別ステップによって詳細に合成法を行うか否かの判別を行う。
【００５０】
Ｓ７１０において、Ｓ７０１、Ｓ７０２の相関演算の過程で算出したコントラストを上段、下段それぞれについて取得し、この差分をとる。上段と下段のコントラストの内、小さい方の値でこの差を除することで、上段と下段のコントラストの差分がどの程度の割合であるかを算出する。この割合が所定の閾値以下である場合はＳ７１２へステップを移し、所定の閾値より大きい場合はＳ７１７へステップを移す。
【００５１】
Ｓ７１１からＳ７１４では、上段と下段のラインセンサを対として相関演算を行い、上段の像信号と下段の像信号の像ずれ量が、上段と下段のラインセンサを配置する際の位相ずらし量（以下、物理ずれ量とする）に相当するか否か、によって行う。上段と下段の像ずれ量が物理ずれ量に相当する場合には、合成法を行う。なお、本実施例ではラインセンサ２０６、２０７を一対、あるいはラインセンサ２０８、２０９を一対としている。
【００５２】
Ｓ７１１において、上段と下段の像ずれ量が物理ずれ量の比較を行うための、範囲ｒを決定する。そして、Ｓ７１２で上段と下段とでそれぞれ範囲ｒでの相関演算を行い、像ずれ量を算出する。そして、Ｓ７１３で、Ｓ７１２で求められた相関演算の結果の信頼性が所定の閾値よりも高いか否かを判別する。信頼性が所定の閾値より大きい場合はＳ７１４へ、所定の閾値より小さい場合はＳ７１７へステップを移す。Ｓ７１４では、上段と下段の像ずれ量の差が、物理ずれ量を中心とした所定の範囲内に収まっているかを判別する。範囲内に収まっていればＳ７１５へ、範囲内に収まっていなければＳ７１７へステップを移す。
【００５３】
ここで、ラインセンサで取得する像には光学系の影響や光電変換中のノイズなどを含んでおり、上下の像ずれ量が物理ずれ量に完全に一致するか否か、ではなく、物理ずれ量を中心とした、ある程度の範囲内に収まっているか否か、で判別を行う。特に、撮像光学系の外での位相差ＡＦは像の取得にあたり、手ブレ補正などの機能を受けられず、手ブレの影響を直に受けてしまうため、範囲決定手段において、撮像条件に対する評価を行う。
【００５４】
＜物理ずれ量の、所定範囲ｒの決定方法＞
以下、図９を用いて範囲ｒの決定の詳細について説明する。
【００５５】
Ｓ９０１において、物理ずれ量を取得する。位相差ＡＦユニットの検出部の２列のラインセンサは０．５画素ずらして配置しているため、物理ずれ量は０．５画素である。この値は検出部の設計の際に決定するパラメータであり、検出部の構成によって一意に決定される。Ｓ９０２において、範囲ｒを基準値である０．２画素とする。
【００５６】
Ｓ９０３において、上段、下段ともにラインセンサの蓄積時間が所定の閾値以下であるかを判断する。ラインセンサの蓄積時間が所定の閾値以下である場合、ラインセンサは明るい被写体を捉えており、ブレが小さいため、Ｓ９０４へステップを移す。一方、上段、下段ともにラインセンサの蓄積時間が所定の閾値より大きい場合には、暗い被写体を捉えており、ブレが大きいため、Ｓ９０５へステップを移す。
【００５７】
Ｓ９０４において、範囲ｒから０．０５画素を引く。Ｓ９０５において、範囲ｒから０．０５画素を加える。Ｓ９０６ではカメラの動きが大きいか否かのぶれ情報を判断する。このカメラの動きの取得には、カメラに付属したジャイロセンサ１６１の情報を取得し、カメラの角加速度を算出する。この角加速度が小さい場合には、ブレが小さいため、Ｓ９０７へステップを移す。角加速度が大きい場合には、ブレが大きいため、Ｓ９０８へステップを移す。Ｓ９０７において、範囲ｒから０．０５画素を引く。Ｓ９０８において、範囲ｒから０．０５画素を加える。
【００５８】
撮像条件の良い場合には、範囲を狭くすることで、合成法を行うか否かをより厳密に判別する。一方、撮像条件の悪い場合には、範囲を広くすることで、上下の像ずれ量のばらつきを考慮して判別する。
【００５９】
この範囲決定では、ラインセンサの蓄積時間の代わりに、像信号のコントラストを用いても良い。また、ジャイロセンサによる角加速度の代わりに、画像ベクトルを用いても良く、カメラの動きを知りえるものであれば良い。また、範囲決定にあたっては、像のブレを評価できるものであれば、そのいずれか、あるいは複数の組み合わせを用いれば良い。ここで、ラインセンサの蓄積時間が短く、カメラの角加速度も小さいとすると、範囲ｒは０．１画素であるので、上述のＳ７１２では、上下の像ずれ量が０．４画素から０．６画素の範囲内に収まるか否かによって、像信号の合成を行うか否かを判別することとなる。上下の像ずれ量が０．４画素である場合には、範囲内であるので、Ｓ７１３へステップを移し、上下の像ずれ量の像ずれ量が０．８画素である場合には、範囲外であるので、Ｓ７１５へステップを移すこととなる。
【００６０】
＜まとめ＞
本実施例では、上段と下段で相関演算を行った結果に基づく判別を行う前に、上段と下段の撮像条件の比較によって判別を行うので、演算量を低減できる。つまり、すばやく判別のできる撮像条件の比較によって、合成法が不適切なものと、合成法を行うか否か詳細に判別が必要なものとに分けることができる。また、合成法が不適切と判別されるものに対しては、上段と下段で相関演算を行わずとも、演算法を決定できる。
【００６１】
（実施例２）
＜実施例２の相関演算の動作フロー＞
図１１は本実施例での検出部２０３、２０５の拡大概略図である。以下、検出部２０３、２０５のラインセンサを３列とした場合の実施例について説明する。検出部は上段のラインセンサ１１０１、中段のラインセンサ１１０２、下段のラインセンサ１１０３の３列によって構成され、上段のラインセンサ１１０１と中段のラインセンサ１１０２は相対的に互いに位置が１／３画素ずれるように並行に隣接して配置されている。中段のラインセンサ１１０２と下段のラインセンサ１１０３も相対的に互いに位置が１／３画素ずれるように並行に隣接して配置されている。つまり、上段のラインセンサ１１０１と下段のラインセンサ１１０３は２／３画素ずらして配置されている。
【００６２】
この３列のラインセンサから構成される検出部２０３、２０５に対して、図１２のフローを適用する。Ｓ１２０１において、ラインセンサ毎に像ずれ量を算出する。ラインセンサは３列で構成されるため、３つの像ずれ量が求まる。Ｓ１２０２において、３つの像ずれ量の信頼性に対して、所定の閾値よりも大きいものがいくつあるかを判断する。３つとも信頼性が高い場合にはＳ１２０８へステップを移す。２つの信頼性が高い場合はＳ１２０３へステップを移す。１つの信頼性が高い場合にはＳ１２０６へステップを移す。信頼性が高いものがない場合にはＳ１２０７へステップを移す。
【００６３】
Ｓ１２０３において、信頼性の高い２つの像ずれ量の差が、所定の閾値以下であるか否かを判断する。所定の閾値以下の場合は、２つの像ずれ量が同一の距離の被写体を捉えており、Ｓ１２０４へステップを移す。所定の閾値よりも大きい場合は、異なる距離の被写体を捉えており、Ｓ１２０５へステップを移す。
【００６４】
Ｓ１２０４において、２つの像ずれ量を平均し、これを全体の像ずれ量として被写体距離を算出する。Ｓ１２０５において、距離の近い方、つまり像ずれ量の大きい方を選択し、これを全体の象ずれ量として被写体距離を算出する。Ｓ１２０６において、信頼性の高い像ずれ量１つを選択し、これを全体の像ずれ量として被写体距離を算出する。Ｓ１２０７において、焦点検出はＮＧとする。
【００６５】
Ｓ１２０８において、３つの像ずれ量の内、真ん中の値の像ずれ量を基準とし、残り２つの像ずれ量との差が所定の閾値以下であるか否かを判断する。残り２つの像ずれ量との差が所定の閾値以下の場合、３つともほぼ同じ像ずれ量であり、Ｓ１２１１へステップを移す。１つの像ずれ量との差は閾値以下であるものの、もう一方の像ずれ量との差が閾値よりも大きい場合、２つのラインセンサは同一距離の被写体を捉えているが、１つは異なる距離の被写体を捉えており、Ｓ１２０９へステップを移す。残り２つの像ずれ量との差がともに所定の閾値よりも大きい場合、３つのラインセンサは異なる距離の被写体を捉えており、Ｓ１２１０へステップを移す。
【００６６】
Ｓ１２０９において、同一の距離を捉えている２つのラインセンサの像ずれ量を平均し、これを全体の像ずれ量として被写体距離を算出する。Ｓ１２１０において、３つの像ずれ量の内、距離が最も近い１つを選択し、これを全体の像ずれ量として被写体距離を算出する。Ｓ１２１１において、３つのラインセンサの蓄積時間の内、真ん中の値の蓄積時間を基準とし、残り２つの蓄積時間との差がどの程度であるかを算出する。この割合が２つとも所定の閾値以下である場合はＳ１２１２へステップを移し、一方でも所定の閾値より大きい場合はＳ１２２０へステップを移す。
【００６７】
Ｓ１２１２において、Ｓ１２０１の演算過程で算出した３つのラインセンサのコントラストを比較し、３つとも同程度である場合はＳ１２１３へステップを移し、同程度でない場合はＳ１２２０へステップを移す。
【００６８】
Ｓ１２１３において、３つのラインセンサの蓄積時間を評価し、範囲を決定する。範囲の決定方法は実施例１のものと同様に行う。
【００６９】
Ｓ１２１４において、上段のラインセンサの像信号と中段のラインセンサの像信号に対して、相関演算を行い、上段と中段の像ずれ量を算出する。
【００７０】
Ｓ１２１５において、信頼性の評価と、上段と中段の像ずれ量が、物理ずれ量（本実施例では１／３画素）からＳ１２１３で決定した範囲に収まるか否かを判断する。範囲に収まる場合は、上段と中段で、同一の被写体をラインセンサに対してほぼ直角に捉えており、Ｓ１２１６へステップを移す。範囲に収まらない場合は、Ｓ１２２０へステップを移す。
【００７１】
Ｓ１２１６において、中段のラインセンサの像信号と下段のラインセンサの像信号に対して、相関演算を行い、中段と下段の像ずれ量を算出する。
【００７２】
Ｓ１２１７において、信頼性の評価と、中段と下段の像ずれ量が、物理ずれ量（１／３画素）からＳ１２１３で決定した範囲に収まるか否かを判断する。範囲に収まる場合は、上段と中段で、同一の被写体をラインセンサに対してほぼ直角に捉えており、Ｓ１２１８へステップを移す。範囲に収まらない場合は、Ｓ１２２０へステップを移す。なお、Ｓ１２１６において、中段と下段の像ずれ量を算出する代わりに、上段と下段の像ずれ量を算出しても良い。その場合は、物理ずれ量は２／３画素として上段と下段の像ずれ量との比較を行う。
【００７３】
Ｓ１２１８において、上段、中段、下段の像信号の合成を行う。像信号の合成は図１１の画素番号において、画素１、画素２、画素３、画素４、画素５‥の順に取り出す。
【００７４】
Ｓ１２１９において、合成した像信号に対して相関演算を行い、１つの像ずれ量を算出する。これを全体の像ずれ量として被写体距離を算出する。
【００７５】
Ｓ１２２０において、３つの像ずれ量を平均し、これを全体の像ずれ量として被写体距離を算出する。
【００７６】
＜まとめ＞
本実施例では、ラインセンサ間の撮像条件の比較に基づく判別によって、像信号の合成を行わないものと、像信号の合成を行うか否か詳細に判別が必要なものとに分けることができる。また、撮像条件の比較に基づく判別で、像信号の合成を行わないとされたものに対しては、相関演算を伴う詳細な判別を行わずとも、適切な演算法を決定することができる。以上のように、相関演算を伴う詳細な判別を行わずとも、撮像条件の比較のみで演算法を決定できる場合があり、この場合の余分な相関演算を行わないようにすることにより、演算量を減らすことができる。
【符号の説明】
【００７７】
１３０  位相差ＡＦユニット
１３８  瞳分割光学系
１３９  検出部
２０３  第１の検出部
２０５  第２の検出部
２０６  ラインセンサ
２０７  ラインセンサ
２０８  ラインセンサ
２０９  ラインセンサ
【図１】
2012103285.tif 000003
【図２】
2012103285.tif 000004
【図３】
2012103285.tif 000005
【図４】
2012103285.tif 000006
【図５】
2012103285.tif 000007
【図６】
2012103285.tif 000008
【図７】
2012103285.tif 000009
【図８】
2012103285.tif 000010
【図９】
2012103285.tif 000011
【図１０】
2012103285.tif 000012
【図１１】
2012103285.tif 000013
【図１２】
2012103285.tif 000014