(57)【要約】【課題】焦点検出用のセンサに画素欠陥が存在しても、焦点検出を適切に行うことができる焦点検出装置、撮像装置などを提供する。【解決手段】焦点検出装置は、複数画素からなるセンサ２１０を備えて位相差検出方式の焦点検出を行う。焦点検出装置は、被写体像のセンサにおける焦点位置を制御する焦点制御手段１０３と、センサの画素の欠陥を判定する手段２１５と、センサの所定画素分だけ被写体像の位相が変化するデフォーカス量を取得する手段２１５と、取得手段の取得結果に基づく異なるデフォーカス量を持つ焦点位置におけるセンサから得られた被写体像の信号値を用いて、欠陥画素の信号値を無欠陥画素の信号値で置き換える手段２１５を有する。被写体像の空間周波数特性を検出する検出手段２１６を備えてもよい。【選択図】図６
2015026056.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１対の複数画素からなるセンサを備えて位相差検出方式の焦点検出を行う焦点検出装置であって、
入射光線による被写体像の前記センサにおける焦点位置を制御する焦点制御手段と、
前記センサにおける画素の欠陥を判定する判定手段と、
前記センサの所定画素分だけ被写体像の位相が変化するデフォーカス量を取得する取得手段と、
前記取得手段の取得結果に基づく異なる複数のデフォーカス量の焦点位置における前記ンサから得られた被写体像の信号値を用いて、前記判定手段で判定された欠陥画素の信号値を無欠陥画素の信号値で置き換える置換手段と、
を有する焦点検出装置。
【請求項２】
前記１対のセンサで得られるべき前記置き換えられた信号値の列の対を用いて、前記センサの位置の被写体像の焦点検出ないし被写体距離の算出を行う手段を有することを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
複数対のラインセンサを備えてそれぞれで焦点検出を行い、所定の優先付けにより最終的に合焦させる被写体像の部分の焦点検出結果を決定することを特徴とする請求項１または２に記載の焦点検出装置。
【請求項４】
前記少なくとも１対の複数画素からなるセンサは、被写体像を撮像する撮像素子に設けられていることを特徴とする請求項１から３の何れか１項に記載の焦点検出装置。
【請求項５】
前記少なくとも１対の複数画素からなるセンサは、被写体からの光線を撮像面へ結像させる１次結像系の途中で光路分割された２次結像系に設けられていることを特徴とする請求項４に記載の焦点検出装置。
【請求項６】
前記少なくとも１対の複数画素からなるセンサは、被写体からの光線を撮像面へ結像させる１次結像系に設けられていることを特徴とする請求項４に記載の焦点検出装置。
【請求項７】
被写体像の空間周波数特性を検出する検出手段と、１対の被写体像における欠陥画素の信号値を隣接する無欠陥画素の信号値から補間する補間手段と、前記検出手段の出力に応じて前記置換手段と前記補完手段のいずれかを選択する選択手段とを有し、前記焦点検出手段は前記選択手段が選択した手段の出力を用いて焦点検出を行うことを特徴とする請求項１から６の何れか１項に記載の焦点検出装置。
【請求項８】
１対の被写体像の相関が最も高くなる像ずれ量とそのときの相関度合いを算出する算出手段と、１対の被写体像における一方の被写体像の欠陥画素の信号値を他方の被写体像の無欠陥画素の信号値で補完する第２の補完手段と、前記算出手段の相関度合いに応じて前記補間手段と前記第２の補完手段のいずれかを選択する第２の選択手段とを有し、前記焦点検出手段は前記第２の選択手段が選択した手段の出力を用いて焦点検出を行うことを特徴とする請求項７記載の焦点検出装置。
【請求項９】
被写体を撮像する撮像装置であって、
請求項１から８の何れか１項に記載の焦点検出装置を有することを特徴とする撮像装置。
【請求項１０】
少なくとも１対の複数画素からなるセンサを用いて位相差検出方式の焦点検出を行う焦点検出方法であって、
前記センサにおける画素の欠陥を判定する判定ステップと、
前記センサの所定画素分だけ被写体像の位相が変化するデフォーカス量を取得する取得ステップと、
前記取得ステップの取得結果に基づく異なるデフォーカス量の焦点位置における前記センサから得られた被写体像の信号値を用いて、前記判定ステップで判定された欠陥画素の信号値を無欠陥画素の信号値で置き換える置換ステップと、
前記１対のセンサで得られるべき前記置き換えられた信号値の対を用いて、前記センサの位置の被写体像の焦点検出ないし被写体距離の算出を行うステップと、
を有する焦点検出方法。
【請求項１１】
被写体に対する異なる視点にて取得した視差画像信号に基づき焦点検出を行うためのプログラムであって、
請求項１０に記載の焦点検出方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやデジタルビデオカメラなどの撮像装置等における自動焦点調節技術、被写体までの距離の算出技術などに関するものである。
【背景技術】
【０００２】
従来、撮影レンズの異なる射出瞳領域を通過した被写体からの光束を一対のラインセンサ上に結像させて、被写体像を光電変換して得られた一対の被写体像の相対的な変位量を求めることで、被写体のデフォーカス量を検出する焦点検出装置が知られている。この焦点検出装置は、検出したデフォーカス量に基づいて撮影レンズの焦点位置を制御する、いわゆる位相差検出方式の焦点検出を行う。特許文献１には、位相差検出方式の焦点検出手段を備えた撮像装置が開示されている。
【０００３】
また、従来、撮像素子に発生する欠陥画素の出力を、その前後の画素の出力によって補間する技術が知られている。特許文献２には、電源投入時に、レンズの絞りを閉じて白点欠陥を検出し、また、撮像素子全面に白情報を入力して黒点欠陥を検出する欠陥補正装置が開示されている。特許文献２に記載の欠陥補正装置では、検出した欠陥画素の出力を、１画素前の画素の出力で前置補間する技術、あるいは欠陥画素の前後の画素の出力の平均値で置換する平均値補間の技術を用いている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４６４１５０２号明細書
【特許文献２】特開平６−６６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
位相差検出方式の焦点検出装置におけるラインセンサは、撮像素子と同様に半導体で形成されており、局部的な結晶欠陥や静電破壊による欠陥画素が生じる場合がある。しかし、生じた欠陥画素に対して、特許文献２に記載された欠陥画素への対処方法を採用すると、すなわち、具体的には前置補間や平均値補間を行うと、ラインセンサの被写体像のエッジが平滑化されてしまうことがある。よって、瞳面で光路分割された一対の被写体像の一致度が異なってくるため、デフォーカス量の算出に誤差が生じてしまうことが起こり得る。
【０００６】
そこで、本発明の目的は、焦点検出用の画素において欠陥が生じても、欠陥による精度低下を抑制して焦点検出ないし被写体距離の算出（以下、焦点検出で代表することもある）を行うことができる焦点検出装置及び撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の焦点検出装置は、少なくとも１対の複数画素からなるセンサを備えて位相差検出方式の焦点検出を行う焦点検出装置であって、入射光線による被写体像の前記センサにおける焦点位置を制御する焦点制御手段と、前記センサにおける画素の欠陥を判定する判定手段と、前記センサの所定画素分だけ被写体像の位相が変化するデフォーカス量を取得する取得手段と、前記取得手段の取得結果に基づく異なるデフォーカス量を持つ焦点位置における前記センサから得られた被写体像の各画素の信号値を用いて、前記判定手段で判定された欠陥画素の信号値を無欠陥画素の信号値で置き換える置換手段と、を有する。
【０００８】
また、上記目的を達成するために、本発明の焦点検出方法は、少なくとも１対の複数画素からなるセンサを用いて位相差検出方式の焦点検出を行う焦点検出方法であって、前記センサにおける画素の欠陥を判定する判定ステップと、前記センサの所定画素分だけ被写体像の位相が変化するデフォーカス量を取得する取得ステップと、前記取得ステップの取得結果に基づく異なるデフォーカス量の焦点位置における前記センサから得られた被写体像の信号値を用いて、前記判定ステップで判定された欠陥画素の信号値を無欠陥画素の信号値で置き換える置換ステップと、前記１対のセンサで得られるべき前記置き換えられた信号値の対を用いて、前記センサの位置の被写体像の焦点検出ないし被写体距離の算出を行うステップと、を有する。
【発明の効果】
【０００９】
本発明によれば、焦点検出用の画素に欠陥が生じても、欠陥画素による精度低下を抑制して高精度に焦点検出を行うことができる焦点検出装置及び撮像装置を実現できる。
【図面の簡単な説明】
【００１０】
【図１】実施例１における焦点検出装置を有するデジタルカメラの全体構成を示す図。
【図２】焦点検出用センサの詳細を示す図。
【図３】一対のラインセンサの被写体像の位相差とデフォーカス量の関係を示す図。
【図４】デフォーカス量が小さい場合にラインセンサに投影される２つの被写体像を表した模式図。
【図５】デフォーカス量が大きい場合にラインセンサに投影される２つの被写体像を表した模式図。
【図６】被写体像の信号値と欠陥画素との対応を表す模式図。
【図７】１画素分だけ被写体像がずれるようフォーカスを動かした場合の、被写体像の各画素の信号値と欠陥画素との対応を表す模式図。
【図８】実施例１における焦点検出装置を有するデジタルカメラの動作を示すフローチャート。
【図９】実施例２における焦点検出装置を有するデジタルカメラの全体構成を示す図。
【図１０】実施例２における焦点検出装置を有するデジタルカメラの動作を示すフローチャート。
【図１１】実施例３における焦点検出装置を有するデジタルカメラの動作を示すフローチャート。
【発明を実施するための形態】
【００１１】
本発明では、少なくとも１対の複数画素からなる焦点検出用のセンサに画素欠陥が存在しても焦点検出が適切に行えるようにするために、欠陥画素に位置する像信号を、別のフォーカス位置で得られた像信号から補間する。そして、１対のセンサで得られるべき前記補間ないし置き換えられた像信号の対を用いて、焦点検出を行う。本発明では、或るデフォーカス量の焦点位置における１対のセンサの欠陥画素の信号値を、他のデフォーカス量の焦点位置における該センサの欠陥画素から所定画素分ずれた無欠陥画素の信号値で置き換える。このとき、２つの焦点位置のデフォーカス量の差が、所定画素分に相当する。この所定画素分に相当するデフォーカス量は取得手段で取得される。所定画素分だけ被写体像の位相が変化するデフォーカス量を得るためにフォーカスレンズを動かす量は、撮影条件により異なる。従って、例えば、異なる撮影条件における所定画素分の位相変化を得るためのフォーカス駆動量を予め取得してルックアップテーブル（ＬＵＴ）を作っておいて、取得手段がこれに基づいて取得するように構成する。或いは、取得手段が、その都度、所定画素分だけ被写体像の位相が変化するデフォーカス量を得るためのフォーカス駆動量を演算する。
【００１２】
本発明において、例えば、欠陥画素が連続していないときは上記所定画素分を１画素分とし、欠陥画素が連続しているときは上記所定画素分をその連続数分とすればよい。被写体像の位相をずらしたときに、欠陥画素で得られるべき信号が無欠陥画素で得られるようになればよい。欠陥画素は、例えば、製造時に調べてメモリに記憶しておいて判定手段はこれに基づいて判定する。或いは、判定手段は、上記特許文献２に記載されたように、電源投入時にレンズの絞りを閉じて白点欠陥を検出し、また、センサ全面に白情報を入力して黒点欠陥を検出してもよい。前記焦点制御手段は、例えば、フォーカスレンズを動かす駆動手段である。前記焦点検出用のセンサは、後述の変形例で説明するように、撮像素子に焦点検出用画素を離散的に配置して構成することもできる。また、本発明の後述する一態様によれば、焦点検出用の画素に欠陥が生じても、欠陥画素による精度低下を抑制して高精度に焦点検出を行うことができる方法を複数有する焦点検出装置及び撮像装置を実現できる。この態様では、被写体の状況から適切に方法を選択して、焦点検出時間と焦点検出精度の両方を改善することができる。
【００１３】
以下、本発明の焦点検出装置及び方法の実施例について、図を用いて説明する。実施例では、カメラを用いて説明を行う。
（実施例１）
＜デジタルカメラの構成＞
図１は、本実施例の焦点検出装置を備えたデジタルカメラの構成を示す図である。図１に示すように、本実施例におけるデジタルカメラはレンズ部１００とカメラ部２００からなり、不図示のマウント部のレンズ装着機構を介してレンズ部１００は着脱可能にカメラ部２００に取り付けられている。マウント部には、電気接点ユニット１０８が設けられている。この電気接点ユニット１０８には、通信クロックライン、データ転送ライン、データ受信ラインなどからなる通信バスライン用の端子がある。これらによりレンズ部１００とカメラ部２００が通信可能になっている。
【００１４】
レンズ部１００には、光学系を構成してフォーカスやズームを制御するレンズ１０１、入射光線を制御する絞り１０２が設けられている。また、レンズ１０１のズームやフォーカスを制御するためのステッピングモータからなる駆動系、及び駆動系を制御するレンズ駆動ユニット１０３が設けられている。レンズ駆動ユニット１０３などは焦点制御手段を構成する。また、絞り１０２の開口を制御する絞り制御ユニット１０４と、レンズ１００のズーム、フォーカス、絞りの各種光学設計値が記録された光学情報記録部１０６が設けられている。レンズ駆動ユニット１０３、絞り制御ユニット１０４、光学情報記録部１０６は、レンズ部１０１の全体の動作を制御するＣＰＵからなるレンズコントローラ１０５と接続されている。また、レンズ駆動ユニット１０３に内包されたステッピングモータの位相波形を、レンズ駆動ユニット１０３からレンズコントローラ１０４を通じて取得してレンズの位置情報を検出するレンズ位置検出部１０７が設けられている。カメラ部２００は、レンズ部１００と電気接点ユニット１０８を介して通信を行い、レンズ１０１のズームやフォーカス及び絞り１０２の開口について制御要求を送信し、制御結果を受信する。
【００１５】
入射光線は、レンズ１０１及び絞り１０２を介して、カメラ部２００内のクイックリターンミラー２０３に導かれる。クイックリターンミラー２０３は、撮影光路内に、光軸に対して斜めに配置されている。そして、クイックリターンミラー２０３は、アップ・ダウンすることにより、被写体からの光束を上方のファインダ光学系に導く第１の位置（図示した位置）と、撮影光路外に退避する第２の位置とに移動が可能である。クイックリターンミラー２０３の中央部はハーフミラーになっており、クイックリターンミラー２０３が第１の位置にダウンしているときには、被写体からの光束の一部が該ハーフミラー部を透過する。そして、この透過した光束は、クイックリターンミラー２０３の背面側に設けられたサブミラー２０４で反射される。サブミラー２０４で反射された光束は、焦点検出に不要な光束をカットする視野マスク２０５、赤外カットフィルタ２０６、フィールドレンズ２０７、焦点検出用の絞り２０８、２次結像レンズ２０９を経て、焦点検出装置の焦点検出センサ２１０上に結像する。この像を光電変換して得られる像信号を処理することで、レンズ１０１の焦点位置を検出することができる。以上のように、本実施例では、少なくとも１対の複数画素からなるセンサは、被写体からの光線を撮像面へ結像させる１次結像系の途中で光路分割された２次結像系に設けられている。
【００１６】
一方、クイックリターンミラー２０３で反射された光束は、ピント面に設けられたファインダスクリーン２０２、ペンタプリズム２０１、接眼レンズ２１１により構成されるファインダ光学系を介して、撮影者の目に至る。また、測光部２１２が、ペンタプリズム２０１で折り曲げられた光束を斜めから観察するように配置され、光束のうち２次元の撮影平面に相当する領域内で、さらに複数に分割された区分領域ごとに測光が行われる。上記区分領域の各測光結果は、ＣＰＵからなりカメラ部２００の全体を制御するカメラコントローラ２１５へ出力される。
【００１７】
クイックリターンミラー２０３が第２の位置にアップした際には、レンズ部１００からの光束は、不図示の光電変換素子及び現像演算を行うプロセッサからなる撮像部２１３へ至る。撮像部２１３では、入射した被写体像を光電変換して現像演算することで撮像データが得られる。また、カメラ部２００へ操作入力を行うための操作スイッチ２１４が設けられている。操作スイッチ２１４は、２段ストロークタイプのスイッチで構成されており、１段目のスイッチ（ＳＷ１）は、測光や焦点検出など撮影準備動作を開始させるためのスイッチである。２段目のスイッチ（ＳＷ２）は、静止画を取得するため、撮像部２１３で電荷蓄積及び電荷読み出しといった撮影動作を開始させるためのスイッチである。
【００１８】
図２は、焦点検出センサ２１０の詳細を示す図であり、瞳面で分割された２つの被写体像（以後、一方をＡ像、他方をＢ像とも呼ぶ。）の位相差を検出するために焦点検出センサ内に配置されたラインセンサの配置が示されている。図２において、Ａ像が結像するラインセンサａと、Ｂ像が結像するラインセンサｂが、焦点検出センサ２１０上に左右に配置されている。得られたＡ像とＢ像について相関演算を行うことにより、被写体像の位相差（像ズレ量）が算出される。少なくとも１対の複数画素からなるセンサ２１０の各画素はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成される。レンズ１０１等を介してセンサ２１０上に結像した被写体像は、各画素により光電変換され、電気信号（被写体像信号）の列に変換される。
【００１９】
＜位相差とデフォーカス量の関係＞
図３は、ライセンサａ及びラインセンサｂからなる一対のラインセンサにおける被写体像の位相差とレンズ１０１の焦点位置のデフォーカス量との関係を示す図である。図３に示すように、位相差が大きくなるにつれてデフォーカス量が単調に増加する。また、位相差の向きとデフォーカス量の向き（至近側／無限側）が対応する。図４と図５は、ラインセンサに投影される被写体像を表した模式図である。瞳面で分割された光線がラインセンサ上に２次結像された被写体像であるＡ像及びＢ像は、それぞれ、ラインセンサａ及びラインセンサｂの光軸中心位置に対してオフセットを持って結像している。また、Ａ像とＢ像の各オフセットは光軸中心に対して対称である。図４ではデフォーカス量が小さい場合を示しており、図５ではデフォーカス量が大きい場合を示している。図５における光軸中心位置に対するオフセットが、図４のそれに比べて大きくなっている。このように、レンズ１０１の焦点位置のデフォーカス量に応じて、ラインセンサａとラインセンサｂにそれぞれ結像される２つの被写体像の位相差が変化する。位相差は、公知の手法によりデフォーカス量に変換することができ、さらにデフォーカス量とレンズ１０１の倍率関係に基づき、公知の手法により被写体までの距離を算出することもできる。
【００２０】
＜欠陥画素への対処方法＞
次に、ラインセンサの一部画素に欠陥画素が含まれている場合における、焦点検出方法を説明する。図６は、被写体像と欠陥画素との対応関係を示す模式図である。図６において、ラインセンサａの一部を構成する焦点検出画素６０１ａを左側に、ラインセンサｂの一部を構成する焦点検出画素６０１ｂを右側に示している。図６では、デフォーカス量を有する被写体像が結像しており、Ａ像とＢ像の間に位相差を有している。図６において、焦点検出画素６０１ａには１７個の画素を図示していて、図の左側から連番を付与している。Ａ像の信号値６０２ａに対して、焦点検出画素６０１ａの画素単位の信号値６０３ａを、焦点検出画素６０１ａの上部に図示している。同様に、Ｂ像の信号値６０２ｂに対して、焦点検出画素６０１ｂの画素単位の信号値６０３ｂを、焦点検出画素６０１ｂの上部に示している。焦点検出画素６０１ａのうち画素６は、欠陥画素であることを示しており、斜線で図示している。また、欠陥画素６の上部に、欠陥画素の信号値６０４ａを別の斜線で図示している。この欠陥画素の信号値６０４ａは、画素が欠陥でなければ図６に示したような信号値６０２ａが得られるが、実際には欠陥であるため被写体像の信号値６０２ａのレベルに依らない異常値が得られる。また、欠陥画素の隣接右に位置している焦点検出画素６０１ａの画素７には、正常な信号値６０５ａが得られる。なお、画素９に示す破線は、Ａ像及びＢ像の各光学中心を示している。
【００２１】
図７は、焦点検出画素６０１ａの１画素分だけ被写体像がずれるようにレンズ１０１のフォーカスを移動させた場合の、被写体像と欠陥画素との対応関係を示す模式図である。レンズ１０１におけるフォーカスの移動量は、図３で説明したデフォーカス量と位相差の関係から、レンズ１０１、絞り１０２、視野マスク２０５乃至焦点検出センサ２１０からなる焦点検出光学系に基づいて、一意に定まる。図７において、１画素ずれたＡ像の信号値７０１ａ、焦点検出画素６０１ａの画素単位の信号値７０２ａ、欠陥画素である焦点検出画素６０１ａの画素６の信号値７０３ａ、欠陥画素の隣接左の信号値７０４ａを図示している。また、図７において、ラインセンサｂにおける１画素ずれたＢ像の信号値７０１ｂ、焦点検出画素６０１ｂの画素単位の信号値７０２ｂを図示している。図６と同様に、欠陥画素６の信号値７０３ａは、画素が欠陥でなければ図７に示したような信号値が得られるが、実際には欠陥であるため被写体像の信号値７０１ａのレベルによらない異常値が得られる。図７では、焦点検出画素６０１ａ及び６０１ｂの１画素分だけ被写体像が光軸中心と反対側へずれるように、デフォーカスの増加側つまりボケ側へレンズ１０１のフォーカスを移動させている。
【００２２】
図７において、欠陥画素は図６と同じく焦点検出画素６０１ａの画素６であり、移動はない。一方、Ａ像の信号値７０１ａは、フォーカス移動により１画素分左側にずれたため、欠陥画素６により異常値となる信号値は、１画素分右側にずれる。図６と図７とを比較すると、図６における異常値である欠陥画素６の信号値６０４ａは、図７における欠陥画素隣接左の画素５の信号値７０４ａが対応する。また、図６における欠陥画素隣接右の信号値６０５ａは、図７における欠陥画素６の信号値７０３ａの本来の信号値に対応する。本発明は、被写体像がデフォーカス量に応じて移動するのに対して、欠陥画素は移動しない点を利用する。本実施例では、具体的には、焦点検出画素６０１ａ及び６０１ｂの１画素分だけフォーカスを移動させて、欠陥画素の異常な信号値を、デフォーカス量が異なるものの被写体像として同じ個所で得られた正常な信号値で置き換える。このような動作を行うことで、ラインセンサに欠陥画素が生じても、欠陥画素の位置における正しい信号値を得られるようになるため、位相差検出方式の焦点検出を高精度に行うことができるようになる。つまり、所定画素分だけ被写体像の位相が変化するデフォーカス量を取得する取得手段の取得結果に基づく異なるデフォーカス量を持つ焦点位置におけるセンサから得られた適当な信号値を用いて、欠陥画素の信号値を無欠陥画素の信号値で置き換える。これにより、欠陥画素の位置における正しい信号値が得られるようにしている。
【００２３】
＜デジタルカメラの動作＞
次に、本実施例の動作について、図８のフローチャートを用いて説明する。特に説明しない限り、下記制御はカメラコントローラ２１５の制御により行われる。まず、操作スイッチ２１４のＳＷ１が押下されて、焦点検出命令が発生することにより開始される。なお、デジタルカメラ２００は、あらかじめ電源が投入されているものとする。はじめにステップＳ８０１にて、焦点検出センサ２１０へ入射する光束にケラレが発生しないよう、絞り１０２を開放に制御する。制御後、ステップＳ８０２へ進む。ステップＳ８０２では、焦点検出センサ２１０にて、１回目の電荷蓄積となる第１の電荷蓄積を行う。電荷蓄積後、ステップＳ８０３へ進む。ステップＳ８０３では、焦点検出センサ２１０のラインセンサａまたはラインセンサｂに欠陥画素が存在しているか否かを判断する。本実施例では、欠陥画素の有無は、デジタルカメラ２００が欠陥画素情報として製造時にあらかじめ記憶しており、コントローラ２１５の判定手段がそれを読み出すことで各ラインセンサのどの画素が欠陥画素か判別可能な態様となっている。判定手段は、上記特許文献２に記載の欠陥補正装置のような動作を行って、製造後に生じた画素の白点欠陥や黒点欠陥を検出してもよい。欠陥画素が存在する場合は、ステップＳ８０４へ進む。存在しない場合は、ステップＳ８０７へ進む。
【００２４】
ステップＳ８０４では、ステップＳ８０３にて欠陥画素が存在すると判断したことから、ラインセンサ１画素分の被写体像の位相変化に相当するデフォーカス量だけ、フォーカスを移動する。移動後、ステップＳ８０５へ進む。前述した様に、このデフォーカス量の取得は取得手段により行われる。ステップＳ８０５では、ラインセンサ１画素分だけ位相が変化した２つの被写体像に対して、２回目の電荷蓄積となる第２の電荷蓄積を行う。電荷蓄積後、ステップＳ８０６へ進む。
【００２５】
ステップＳ８０６では、ステップＳ８０２での第１の電荷蓄積とステップＳ８０５での第２の電荷蓄積から、図６と図７に示した欠陥画素の信号値を、デフォーカス量が異なるものの被写体像として同じ個所で得られた正常な信号値で置き換える。コントローラ２１５の置換手段により、このような動作を行うことで、欠陥画素の位置における正しい信号値が得られるようになる。置き換え後、ステップＳ８０７へ進む。
【００２６】
ステップＳ８０７では、欠陥画素の信号値のない被写体像の２つの信号値の列を用いて、被写体像のＡ像及びＢ像の位相差に対応する被写体像のデフォーカス量が取得される。取得後、ステップＳ８０８へ進む。ステップＳ８０８では、レンズ駆動ユニット１０３などからなる焦点制御手段により、ステップＳ８０７にて算出された被写体像のデフォーカス量だけレンズ１０１のフォーカスを制御して、フォーカスを合焦位置へ移動させ、本実施例の動作を終了する。上述の動作を行うことにより、ラインセンサに欠陥画素が生じても、欠陥画素の位置における正しい信号値を得られるようになるため、位相差検出方式の焦点検出を高精度に行うことができる。
【００２７】
（変形例）
上記実施例１では、ラインセンサａ及びライセンサｂからなる１対のラインセンサにより、２次元の被写体の光束のうち１個所の焦点検出を行っていた。しかし、これに限らず、焦点検出センサ２１０に複数対のラインセンサを備えて、２次元の被写体の光束における複数の個所で焦点検出を行い、各ラインセンサにて上述の如く欠陥画素の置き換え動作を行ってもよい。このような動作を行うことで、いわゆる多点の焦点検出装置でも、焦点検出を高精度に行うことができるようになる。この場合、焦点検出手段は、複数対のラインセンサを備えてそれぞれの焦点検出エリアで焦点検出を行い、所定の優先付けにより最終的に合焦させる被写体像の部分（エリア）の焦点検出結果を決定する構成にすることができる。
【００２８】
また、上記実施例１では、クイックリターンミラー２０３が第１の位置に配置され、サブミラー２０４により光束が焦点検出センサ２１０へ入射するような構成である。そして、撮像部２１３への光束に対して、所謂２次光学系による位相差検出方式の焦点検出を行っていた。しかし、これに限らず、撮像部２１３の一部画素を焦点検出用に転用し、その焦点検出画素にて、撮像面で瞳分割するマスクを配置することで、撮像面における位相差検出方式の焦点検出を行ってもよい。こうした構成でも、焦点検出画素の一部に欠陥が生じた場合、焦点検出画素の１画素分（ないし所定画素分）の位相差に相当するデフォーカス量だけレンズ１０１のフォーカスを移動させることで、欠陥画素の信号値を正常な信号値と置き換えることができる。したがって、撮像面の位相差検出方式の焦点検出であっても、本発明の効果を得ることができる。
【００２９】
焦点検出画素は、例えば、複数の光電変換部を備え、撮影レンズの瞳上の異なる領域を通過した光束が、それぞれ、異なる光電変換部に導かれるように構成される。各焦点検出画素に含まれる光電変換部で得た画像信号により、異なる瞳領域を通過した光束により生成される光像（Ａ像とＢ像）を取得する。そして、公知の相関演算式を用いて、このＡ像とＢ像の相対的な位相差を算出する。前述したように、この位相差を、変換係数を介してデフォーカス量に変換することができる。さらには、被写体までの距離を算出することもできる。これによると、従来のコントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いため、高速な測距が可能となる。焦点検出画素を離散的に配置し、その間に撮像用画素を配置してもよい。撮像用画素は、例えば、画素内に一つの光電変換部を有する画素である。こうした場合、各焦点検出画素で取得した信号を用いて測距を行い、撮影用画素で取得した信号を用いて画像を生成できる。また撮像用画素で取得した信号を用いて、近接する焦点検出画素の画像用信号を生成してもよい。このような構成とすることで、撮像素子に占める焦点検出画素の割合を減らすことができ、焦点検出と同時に、高画質な画像を撮像することができる。
【００３０】
また、上記実施例１では、ラインセンサの１画素の位相差に相当するデフォーカス量だけレンズ１０１のフォーカスを移動させて、デフォーカス量が異なるものの被写体像として同じ個所で得られた正常な信号値で欠陥画素の信号値を置き換えていた。しかし、これに限らず、ラインセンサのｎ画素（ｎは０以外の整数）の位相差に相当するデフォーカス量だけレンズ１０１のフォーカスを移動させても、同様の信号値の置き換えを行うことができる。ただし、この場合、光学系の特性によっては、上記ｎを増加させてデフォーカス量を増大させるにつれて、被写体像にケラレが生じてくる場合があり、過剰なｎの増加には注意する必要がある。
【００３１】
（実施例２）
上記実施例１では、欠陥画素に位置する像信号を別のフォーカス位置で得られた像信号から補間する動作を、焦点検出の度に行っていた。しかし、例えば大きくぼけたフォーカス位置で焦点検出する場合、その状態での被写体の像信号は高い空間周波数成分を有しない。したがって、欠陥画素に位置する像信号を別のフォーカス位置で得られた像信号から補間しなくても、欠陥画素に隣接する無欠陥画素から補間することで、像信号を高精度に復元できるようになる。故に、補間手段でこのような補間を行うことで、欠陥画素が存在しても高精度な焦点検出を行うことができるようになる。以下、こうした実施例２について説明する。
【００３２】
図９は本実施例の焦点検出装置を備えたデジタルカメラの構成を示す図である。図９では、実施例１で説明した図１に対して、焦点検出センサ２１０で得られた１対の像信号に含まれる空間周波数特性を検出する検出部２１６が追加されている。検出手段である空間周波数検出部２１６は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）で構成され、所定のＦＩＲ（有限インパルス応答）回路を実現する公知のデジタルフィルタリングが行えるプログラムが内包されている。
【００３３】
図１０は本実施例の動作について説明したフローチャートである。特に説明しない限り、下記制御はカメラコントローラ２０１の制御により行われる。まず、操作スイッチ２１４のＳＷ１が押下されて、焦点検出命令が発生することにより開始される。なお、デジタルカメラ２００は、あらかじめ電源が投入されているものとする。はじめにステップＳ１００１にて、焦点検出センサ２１０へ入射する光束にケラレが発生しないよう、絞り１０２を開放に制御する。制御後、ステップＳ１００２へ進む。ステップＳ１００２では、焦点検出センサ２１０にて、１回目の電荷蓄積となる第１の電荷蓄積を行う。電荷蓄積後、ステップＳ１００３へ進む。ステップＳ１００３では、焦点検出センサ２１０のラインセンサａまたはラインセンサｂに欠陥画素が存在しているか否かを判断する。本実施例では、欠陥画素の有無は、デジタルカメラ２００が欠陥画素情報として製造時にあらかじめ記憶しており、コントローラ２１５の判定手段がそれを読み出すことで各ラインセンサのどの画素が欠陥画素か判別可能な態様となっている。判定手段は、上記特許文献２に記載の欠陥補正装置のような動作を行って、製造後に生じた画素の白点欠陥や黒点欠陥を検出してもよい。欠陥画素が存在する場合は、ステップＳ１００４へ進む。存在しない場合は、ステップＳ１０１０へ進む。
【００３４】
ステップＳ１００４では、ステップＳ１００３にて欠陥画素が存在すると判断したことから、後述する欠陥画素の補間方法を複数ある中から選択するため、第１の電荷蓄積で得られた１対の像信号に対して、空間周波数検出部２１６で空間周波数の特性を検出する。検出する空間周波数は、例えばナイキスト周波数の１／３以上といった、所定の高周波特性の出力を検出すればよい。この検出は、検出できる周波数とナイキスト周波数の関係に係るナイキストの定理に則っている。検出後、ステップＳ１００５へ進む。
【００３５】
ステップＳ１００５では、選択手段により、所定の高周波特性の出力が閾値以上得られているかにより空間周波数特性が判断される。判断は１対の像信号の両方に対して行われ、いずれかで閾値未満となる場合、最終的には、閾値未満と判断される。なお、処理負荷をさらに軽減させるために、判断対象を１対の像信号のどちらか一方だけに限っても差し支えない。閾値以上得られていれば、実施例１で説明した、フォーカス位置の異なる各１対の像信号を用いた欠陥画素の補間が効果的なため、その一連の動作を行うためにステップＳ１００６へ進む。閾値以上得られていなければ、フォーカス位置を動かさずに欠陥画素の補間を済ませる本実施例の特徴的な動作を行うために、ステップＳ１００９へ進む。このように、前記選択手段は、前記検出手段の出力に応じて前記置換手段と前記補完手段のいずれかを選択する。そして後述するように、前記焦点検出手段は前記選択手段が選択した手段の出力を用いて焦点検出を行う。
【００３６】
ステップＳ１００６では、ラインセンサ１画素分の被写体像の位相変化に相当するデフォーカス量だけ、フォーカスを移動する。移動後、ステップＳ１００７へ進む。前述した様に、このデフォーカス量の取得は取得手段により行われる。ステップＳ１００７では、ラインセンサ１画素分だけ位相が変化した２つの被写体像に対して、２回目の電荷蓄積となる第２の電荷蓄積を行う。電荷蓄積後、ステップＳ１００８へ進む。ステップＳ１００８では、ステップＳ１００２での第１の電荷蓄積とステップＳ１００７での第２の電荷蓄積から、図６と図７に示した欠陥画素の信号値を、デフォーカス量が異なるものの被写体像として同じ個所で得られた正常な信号値で置き換える。コントローラ２１５の置換手段により、このような動作を行うことで、欠陥画素の位置における正しい信号値が得られるようになる。置き換え後、ステップＳ１０１０へ進む。
【００３７】
ステップＳ１００９では、ラインセンサの欠陥画素を隣接する無欠陥画素から近似計算で補間する。補間後、ステップＳ１０１０へ進む。
【００３８】
ステップＳ１０１０では、欠陥画素の信号値のない被写体像の２つの信号値の列を用いて、被写体像のＡ像及びＢ像の位相差に対応する被写体像のデフォーカス量が算出される。算出後、ステップＳ１０１１へ進む。ステップＳ１０１１では、レンズ駆動ユニット１０３などからなる焦点制御手段により、ステップＳ１０１０にて算出された被写体像のデフォーカス量だけレンズ１０１のフォーカスを制御して、フォーカスを合焦位置へ移動させ、本実施例の動作を終了する。上述の動作を行うことにより、焦点検出用の画素に欠陥が生じても、欠陥画素による精度低下を抑制して高精度に焦点検出を行うことができる方法を複数備えることができる。そして、被写体の高周波成分の特性に基づき、ステップＳ１００６乃至１００８で説明したフォーカス移動を伴う欠陥画素補完が効果的か、ステップＳ１００９で説明したフォーカス移動のない欠陥画素補間が効果的かを適切に選択する。このように適切に選択することにより、動作時間を要するフォーカス移動の発生頻度を抑え、焦点検出時間と焦点検出精度の両方を改善することができるようになる。
【００３９】
（実施例３）
上記実施例２では、欠陥画素を隣接する無欠陥画素から補間していたが、これに限らず、１対の像信号のうち一方の欠陥画素の像信号を、他方の像信号から、対応する無欠陥画素の像信号で補間しても、同様の効果が得られる。ここで、例えば光軸に近い焦点検出領域の場合、１対の像信号は相関度が比較的高い。しかし、例えば焦点検出領域の像高が高い場合、光学収差やケラレが影響して１対の像信号が非対称になることで、１対の像信号の相関度が低くなり、一方の像信号における欠陥画素に対応する他方の無欠陥画素を探索できない可能性がある。そこで、あらかじめ実施例２で説明した補間処理で得られた１対の像信号を用いて相関演算を行い、像ずれ量と後述する相関度を算出する。得られた相関度が所定の閾値以上なら、一方の欠陥画素の像信号を他方の無欠陥画素の像信号で補完するように演算する。以下、本実施例について説明する。なお、本実施例の焦点検出装置を備えたデジタルカメラの構成は、実施例２と同様である。
【００４０】
図１１は本実施例の動作について説明したフローチャートである。特に説明しない限り、下記制御はカメラコントローラ２０１の制御により行われる。まず、操作スイッチ２１４のＳＷ１が押下されて、焦点検出命令が発生することにより開始される。なお、デジタルカメラ２００は、あらかじめ電源が投入されているものとする。はじめにステップＳ１１０１にて、焦点検出センサ２１０へ入射する光束にケラレが発生しないよう、絞り１０２を開放に制御する。制御後、ステップＳ１１０２へ進む。ステップＳ１１０２では、焦点検出センサ２１０にて、１回目の電荷蓄積となる第１の電荷蓄積を行う。電荷蓄積後、ステップＳ１１０３へ進む。ステップＳ１１０３では、焦点検出センサ２１０のラインセンサａまたはラインセンサｂに欠陥画素が存在しているか否かを判断する。本実施例では、欠陥画素の有無は、デジタルカメラ２００が欠陥画素情報として製造時にあらかじめ記憶しており、コントローラ２１５の判定手段がそれを読み出すことで各ラインセンサのどの画素が欠陥画素か判別可能な態様となっている。判定手段は、上記特許文献２に記載の欠陥補正装置のような動作を行って、製造後に生じた画素の白点欠陥や黒点欠陥を検出してもよい。欠陥画素が存在する場合は、ステップＳ１１０４へ進む。存在しない場合は、ステップＳ１１１３へ進む。
【００４１】
ステップＳ１１０４では、ステップＳ１１０３にて欠陥画素が存在すると判断したことから、後述する欠陥画素の補間方法を複数ある中から選択するため、第１の電荷蓄積で得られた１対の像信号に対して、空間周波数検出部２１６で空間周波数の特性を検出する。検出する空間周波数は、例えばナイキスト周波数の１／３以上といった、所定の高周波特性の出力を検出すればよい。検出後、ステップＳ１１０５へ進む。
【００４２】
ステップＳ１１０５では、所定の高周波特性の出力が閾値以上得られているかにより空間周波数特性が判断される。閾値以上得られていれば、実施例１で説明した、フォーカス位置の異なる各１対の像信号を用いた欠陥画素の補間が効果的なため、その一連の動作を行うためにステップＳ１１０６へ進む。閾値以上得られていなければ、フォーカス位置を動かさずに欠陥画素の補間を済ませる実施例２あるいは本実施例の特徴的な動作を行うために、ステップＳ１１０９へ進む。
【００４３】
ステップＳ１１０６では、ラインセンサ１画素分の被写体像の位相変化に相当するデフォーカス量だけ、フォーカスを移動する。移動後、ステップＳ１１０７へ進む。前述した様に、このデフォーカス量の取得は取得手段により行われる。ステップＳ１１０７では、ラインセンサ１画素分だけ位相が変化した２つの被写体像に対して、２回目の電荷蓄積となる第２の電荷蓄積を行う。電荷蓄積後、ステップＳ１１０８へ進む。ステップＳ１１０８では、ステップＳ１１０２での第１の電荷蓄積とステップＳ１１０７での第２の電荷蓄積から、図６と図７に示した欠陥画素の信号値を、デフォーカス量が異なるものの被写体像として同じ個所で得られた正常な信号値で置き換える。コントローラ２１５の置換手段により、このような動作を行うことで、欠陥画素の位置における正しい信号値が得られるようになる。置き換え後、ステップＳ１１１３へ進む。
【００４４】
ステップＳ１１０９では、実施例２のステップＳ１００９で説明した動作と同様に、ラインセンサの欠陥画素の像信号を隣接する無欠陥画素の像信号から近似計算で補間する。補間後、ステップＳ１１１０へ進む。
【００４５】
ステップＳ１１１０では、算出手段により、ステップＳ１１０９で補間された像信号を用いて相関演算を行い、１対の像信号において最も相関が高くなる像ずれ量と、その相関度を算出する。ここで、相関度は１対の像信号の形を相関演算で少しずつずらしながら重ね合わせた際に重なる領域の面積で示される値である。最も相関が高くなる像ずらし量の際、１対の像信号の重なる領域が最大になることから、その相関度の値も最も高くなる。像ずれ量と相関度の算出後、ステップＳ１１１１へ進む。
【００４６】
ステップＳ１１１１では、第２の選択手段により、ステップＳ１１１０で算出された相関度が所定の閾値以上であるか判定される。閾値以上であれば、１対の像信号の相関が高く、一方の欠陥画素の像信号に対応する他方の無欠陥画素の像信号を高い信頼性で決定できることを意味する。そこで、閾値以上であれば、本実施例の特徴的な動作であるステップＳ１１１２へ進む。閾値未満であれば、実施例２で説明した動作を実現させるため、ステップＳ１１１３へ進む。
【００４７】
ステップＳ１１１２では、第２の補完手段により、ステップＳ１１１０で算出された像ずれ量に基づいて、１対のラインセンサにおける一方の欠陥画素の信号値を、他方の無欠陥画素の信号値に置き換える。このような動作を行うことで、ラインセンサで実際に得られた信号値であり、あらかじめ相関度が高いと確認できている信号値を用いて欠陥画素を補うため、より精度の高い位相差を検出できるようになる。置き換え後、ステップＳ１１１３へ進む。このように、本実施例では、１対の被写体像の相関が最も高くなる像ずれ量とそのときの相関度合いを算出する算出手段と、１対の被写体像における一方の被写体像の欠陥画素の信号値を他方の被写体像の無欠陥画素の信号値で補完する第２の補完手段を備える。そして、第２の選択手段により、前記算出手段の相関度合いに応じて前記補間手段と前記第２の補完手段のいずれかを選択し、後述する如く焦点検出手段は前記第２の選択手段が選択した手段の出力を用いて焦点検出を行う。
【００４８】
ステップＳ１１１３では、欠陥画素の信号値のない被写体像の２つの信号値の列を用いて、被写体像である１対の像信号の位相差に対応する被写体像のデフォーカス量が算出される。算出後、ステップＳ１１１４へ進む。ステップＳ１１１４では、レンズ駆動ユニット１０３などからなる焦点制御手段により、ステップＳ１１１３にて算出された被写体像のデフォーカス量だけレンズ１０１のフォーカスを制御して、フォーカスを合焦位置へ移動させ、本実施例の動作を終了する。
【００４９】
このような動作を行うことにより、１対の像信号の相関が高ければ、一方の欠陥画素の像信号を他方の無欠陥画素の像信号で置き換えるので、フォーカス移動時間を抑えて焦点検出時間を短くしながら、さらに精度の高い焦点検出を行うことができるようになる。
【００５０】
（他の実施形態）
本発明の目的は、以下の実施形態によって達成することもできる。即ち、前述した実施例の機能（カメラコントローラの判定手段、置換手段などの機能）を実現するソフトウェアのプログラムコードを格納した記憶媒体を、焦点検出装置に供給する。そして、そのカメラコントローラのコンピュータ（またはＣＰＵ、ＭＰＵなど）が記憶媒体に格納されたプログラムコードを読み出し上記機能を実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラム、これを格納した記憶媒体は本発明を構成することになる。ネットワークを介してソフトウェアのプログラムコードが供給されてもよい。
【００５１】
詳細には、被写体に対する異なる視点にて取得した視差画像信号に基づき焦点検出を行う本発明の焦点検出方法は以下の如きステップを有する方法と捉えることができる。前記センサにおける画素の欠陥を判定する判定ステップ。前記センサの所定画素分だけ被写体像の位相が変化するデフォーカス量を取得する取得ステップ。前記取得ステップの取得結果に基づく異なるデフォーカス量の焦点位置における前記センサから得られた被写体像の信号値を用いて、前記判定ステップで判定された欠陥画素の信号値を無欠陥画素の信号値で置き換える置換ステップ。前記１対のセンサで得られるべき前記置き換えられた信号値の対を用いて、前記センサの位置の被写体像の焦点検出ないし被写体距離の算出を行うステップ。
【００５２】
本発明により被写体距離の算出を行う場合、検出される距離を用いて、撮像装置にて得られる画像と対応する距離分布（距離マップ）を生成することができる。また、画像内の被写体のボケ量はデフォーカス量に依存するので、得られた画像に対して距離分布に基づく処理を行うことで、任意のボケ付加処理、撮影後のリフォーカス処理（任意の位置にピントを合わせる処理）等の画像処理などを適切に行うことができる。
【産業上の利用可能性】
【００５３】
上述した本発明による焦点検出装置及び方法は、距離算出装置をはじめとして、焦点検出装置を必要とするデジタルカメラなどの撮像装置に用いることができる。
【符号の説明】
【００５４】
１００・・レンズ部、１０１・・レンズ、１０３・・レンズ駆動ユニット（焦点制御手段）、１０５・・レンズコントローラ（焦点制御手段）、２００・・カメラ部、２０９・・２次結像レンズ、２１０・・焦点検出センサ（複数画素からなるセンサ）、２１３・・撮像部（複数画素からなるセンサ）、２１５・・カメラコントローラ（判定手段、取得手段、置換手段）
【図１】
2015026056.tif 000003
【図２】
2015026056.tif 000004
【図３】
2015026056.tif 000005
【図４】
2015026056.tif 000006
【図５】
2015026056.tif 000007
【図６】
2015026056.tif 000008
【図７】
2015026056.tif 000009
【図８】
2015026056.tif 000010
【図９】
2015026056.tif 000011
【図１０】
2015026056.tif 000012
【図１１】
2015026056.tif 000013