(57)【要約】【課題】複数の光電変換部を備える撮像素子により取得される複数の画像信号に係る欠陥検出の精度を高めること。【解決手段】撮像素子１０２は複数の光電変換部を備え、第１の信号（Ａ像信号）と第２の信号（Ａ＋Ｂ像信号）を読み出し可能である。像信号処理部１０３は第１および第２の信号から第３の信号（Ｂ像信号）を生成する。第１の連続欠陥検出部１０５は第１および第３の信号を取得して連続した欠陥を所定の範囲ごとに検出する。第２の連続欠陥検出部１１１は第１および第３の信号を取得し、焦点検出領域に対応する検出期間に欠陥検出を行う。焦点検出部１０６は、第１の連続欠陥検出部１０５または第２の連続欠陥検出部１１１が欠陥を検出しない場合に第１および第３の信号を取得して焦点検出を行い、第１の連続欠陥検出部１０５および第２の連続欠陥検出部１１１が欠陥を検出した場合、第１および第３の信号を焦点検出に使用しない。【選択図】  図１
2018014625.tif 000002
【特許請求の範囲】
【請求項１】
複数の光電変換部を備えた複数の画素を有する撮像素子により取得される複数の画像信号を処理する画像処理装置であって、
前記複数の画素のそれぞれにおいて、前記複数の光電変換部の一部の光電変換部に蓄積された電荷に基づく第１の信号、および、前記複数の光電変換部に蓄積された電荷に基づく第２の信号を取得し、前記第１および第２の信号の差分に基づく第３の信号を生成する信号処理を行う第１の信号処理手段と、
第１の検出期間に前記第１または第３の信号の欠陥を検出する第１の検出手段と、
第２の検出期間に前記第１または第３の信号の欠陥を検出する第２の検出手段と、
前記第１および第３の信号を取得して信号処理を行う第２の信号処理手段と、を備え、
前記第２の信号処理手段は、前記第１または第２の検出手段が欠陥を検出しない場合に前記第１および第３の信号を取得して信号処理をした結果を出力し、前記第１および第２の検出手段が欠陥を検出した場合には前記第１および第３の信号を取得して信号処理をした結果を出力しないことを特徴とする画像処理装置。
【請求項２】
前記第２の検出期間は、前記第１の検出期間より短いことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の検出手段は、第１の閾値を用いて欠陥検出を行い、前記第２の検出手段は、前記第１の閾値とは異なる第２の閾値を用いて欠陥検出を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第２の信号処理手段は、前記第１の信号と前記第３の信号との位相差検出の演算を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置と、
撮像光学系を通して被写体を撮像する前記撮像素子を備えることを特徴とする撮像装置。
【請求項６】
前記第２の信号処理手段は、前記第１および第３の信号を取得して前記撮像光学系の焦点検出を行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮像素子は、複数のマイクロレンズと、各マイクロレンズに対応する前記複数の光電変換部を備え、前記第１の信号を出力した後に前記第２の信号を出力し、
前記第１の信号処理手段は、視差を有する画像信号である前記第１および第３の信号を前記第２の信号処理手段に出力することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第１の検出手段は、前記撮像素子による撮像信号の水平期間ごとに欠陥を検出し、
前記第２の検出手段は、焦点検出領域に対応する前記第２の検出期間に欠陥を検出することを特徴とする請求項６または請求項７に記載の撮像装置。
【請求項９】
前記第１または第２の検出手段は、
前記第１の信号を積分して第１の信号値を算出するとともに、前記第３の信号を積分して第３の信号値を算出し、
前記第１の信号値と前記第３の信号値との差分の大きさ、または前記第１の信号値と前記第３の信号値との比を算出して閾値と比較することによって欠陥検出を行うことを特徴とする請求項６から８のいずれか１項に記載の撮像装置。
【請求項１０】
複数の光電変換部を備えた複数の画素を有する撮像素子により取得される複数の画像信号を処理する画像処理装置にて実行される制御方法であって、
第１の信号処理手段が、前記複数の画素のそれぞれにおいて、前記複数の光電変換部の一部の光電変換部に蓄積された電荷に基づく第１の信号、および、前記複数の光電変換部に蓄積された電荷に基づく第２の信号を取得し、前記第１および第２の信号の差分に基づく第３の信号を生成する信号処理を行う第１の信号処理工程と、
第１の検出手段により第１の検出期間に前記第１または第３の信号の欠陥を検出する第１の検出工程と、
第２の検出手段により第２の検出期間に前記第１または第３の信号の欠陥を検出する第２の検出工程と、
第２の信号処理手段が前記第１および第３の信号を取得して信号処理を行う第２の信号処理工程と、を有し、
前記第２の信号処理工程では、前記第１または第２の検出手段が欠陥を検出しない場合に前記第２の信号処理手段が前記第１および第３の信号を取得して信号処理した結果を出力し、前記第１および第２の検出手段が欠陥を検出した場合に前記第２の信号処理手段は前記第１および第３の信号を取得して信号処理した結果を出力しないことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光電変換部を備える撮像素子により取得される複数の画像信号の信号処理技術に関する。
【背景技術】
【０００２】
撮像装置の焦点検出には、撮像面位相差検出方式がある。１つのマイクロレンズに対応する複数の光電変換部として、分割されたフォトダイオードを備える画素構成の撮像素子において、撮像光学系の異なる瞳部分領域をそれぞれ通過した光を各フォトダイオードが受光する。この構成によれば、撮像画像と同時に焦点検出用信号を取得可能である。特許文献１では、分割された複数の画素（分割画素）のうち、一方の画素から信号を読み出した後に、各分割画素の電荷を加算した信号を読み出す構成において、焦点検出画素に欠陥が生じた場合の検出および補正方法について開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４―１４６０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術では、対をなす一方の像信号のレベルが閾値以下である行が欠陥行として検出される。このため、行全体が欠陥行となっている場合にしか、分割画素の欠陥を検出できない。
本発明の目的は、複数の光電変換部を備える撮像素子により取得される複数の画像信号に係る欠陥検出の精度を高めることである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態の装置は、複数の光電変換部を備えた複数の画素を有する撮像素子により取得される複数の画像信号を処理する画像処理装置であって、前記複数の画素のそれぞれにおいて、前記複数の光電変換部の一部の光電変換部に蓄積された電荷に基づく第１の信号、および、前記複数の光電変換部に蓄積された電荷に基づく第２の信号を取得し、前記第１および第２の信号の差分に基づく第３の信号を生成する信号処理を行う第１の信号処理手段と、第１の検出期間に前記第１または第３の信号の欠陥を検出する第１の検出手段と、第２の検出期間に前記第１または第３の信号の欠陥を検出する第２の検出手段と、前記第１および第３の信号を取得して信号処理を行う第２の信号処理手段と、を備える。前記第２の信号処理手段は、前記第１または第２の検出手段が欠陥を検出しない場合に前記第１および第３の信号を取得して信号処理をした結果を出力し、前記第１および第２の検出手段が欠陥を検出した場合には前記第１および第３の信号を取得して信号処理をした結果を出力しないことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、複数の光電変換部を備える撮像素子により取得される複数の画像信号に係る欠陥検出の精度を高めることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施例１の構成を示すブロック図である。
【図２】実施例１の撮像素子の画素部を示す断面図および配列図である。
【図３】実施例１の信号波形を示すタイミングチャートである。
【図４】実施例１の輝度信号波形を例示する図である。
【図５】実施例１の連続欠陥検出回路の構成を示す回路図である。
【図６】実施例１の焦点検出部の回路構成を示す図である。
【図７】実施例１の焦点検出および焦点調節処理のフローチャートである。
【図８】実施例１の焦点検出演算のフローチャートである。
【図９】本発明の実施例２の連続欠陥検出回路の構成を示す回路図である。
【発明を実施するための形態】
【０００８】
以下に、本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。各実施例では、複数の画像信号を処理する画像処理装置として撮像装置への適用例を示す。例えば、撮像素子は撮像光学系の異なる瞳部分領域をそれぞれ通過した光を受光可能な複数の光電変換部を備えており、信号処理部は複数の画像信号を用いて、撮像光学系の焦点検出処理を行う。
【０００９】
［実施例１］
図１を参照して、本発明の実施例１に係る撮像装置１００について説明する。撮像レンズユニット１０１は撮像光学系を構成し、複数のレンズおよび絞り等の光学部材を備える。例えばズームレンズの駆動により画角変更が行われ、フォーカスレンズの移動により焦点調節が行われる。
【００１０】
撮像素子１０２は、撮像レンズユニット１０１を通して結像される被写体からの光を受光して光電変換を行い、撮像信号を出力する。像信号処理部１０３は撮像素子１０２から撮像信号を取得し、後述するＡ像分離およびＢ像生成の処理を行う。以下では、撮像素子１０２により取得される一対の像のうち、第１の像をＡ像と呼び、第２の像をＢ像と呼ぶ。Ａ像およびＢ像を併せた画像をＡ＋Ｂ像と呼ぶ。
【００１１】
信号処理回路１０４は、像信号処理部１０３の出力１０８であるＡ＋Ｂ像信号を取得して、所定の画像処理を行う。所定の画像処理とは、表示用または記録用の映像信号を生成するために実行される階調補正処理や変換処理等である。
【００１２】
本実施例は、第１の連続欠陥検出部１０５と第２の連続欠陥検出部１１１を備え、像信号処理部１０３の出力１０９，１１０であるＡ像信号およびＢ像信号をそれぞれ取得して検出処理を行う。焦点検出部１０６は、像信号処理部１０３からＡ像信号およびＢ像信号を取得して、撮像面位相差検出方式の焦点検出を行う。制御部２００は焦点検出部１０６からの焦点検出結果に基づき、撮像レンズユニット１０１のデフォーカス量を算出し、フォーカスレンズの駆動量を算出する。制御部２００が算出した駆動量にしたがってフォーカスレンズの駆動制御が行われ、焦点調節動作が行われる。
【００１３】
図２を参照して、撮像素子１０２の画素構造を説明する。図２（Ａ）は撮像素子１０２の画素構造を示す断面図である。図２（Ｂ）は画素配列を示す模式図である。１つの画素部は、マイクロレンズ２０１、カラーフィルタ２０２、複数の光電変換部２０３と２０４を備える。第１の光電変換部２０３はＡ像に対応する光電変換部であり、各画素部における当該光電変換部に蓄積された電荷の量に応じた出力に基づいてＡ像信号が取得される。第２の光電変換部２０４はＢ像に対応する光電変換部であり、各画素部における当該光電変換部に蓄積された電荷の量に応じた出力に基づいてＢ像信号が取得される。
【００１４】
１つのマイクロレンズ２０１に対して、光電変換部２０３および２０４が配置されているので、光電変換部２０３の出力から生成したＡ像と光電変換部２０４の出力から生成したＢ像には視差が生じる。よって、視差を有する画像（視差画像）の投影位置のずれを検出することによって焦点検出が行われる。
【００１５】
図２（Ｂ）は、光電変換部２０３、２０４を含む画素部がＲ，Ｇ，Ｇ，Ｂのベイヤー配列である例を示す。Ｒは赤色フィルタの色、Ｇは緑色フィルタの色、Ｂは青色フィルタの色をそれぞれ示す。撮像素子１０２にて、４画素を１つの組として２次元アレイ上に各画素部が規則的に配列されている。
【００１６】
本実施例の撮像素子１０２は、Ａ像の画素信号を読み出した後に、Ａ像とＢ像の電荷を加算したＡ＋Ｂ像信号を読み出す。像信号処理部１０３は、撮像素子１０２から読み出した信号に基づき、Ａ像信号、Ｂ像信号、Ａ＋Ｂ像信号をそれぞれ生成する。例えば、Ａ＋Ｂ像信号からＡ像信号を減算することによってＢ像信号を生成することができる。
【００１７】
像信号処理部１０３は、Ａ像信号、Ｂ像信号、Ａ＋Ｂ像信号をそれぞれ出力する出力端子を有する。第１の出力端子は、Ａ＋Ｂ像の出力１０８に対応する。出力１０８はＡ像とＢ像の各画素信号が加算された状態であるので、ベイヤー配列の撮像信号と等価である。出力１０８は信号処理回路１０４にて映像信号へ処理された後、不図示の後段回路に送られ、圧縮および記録処理が行われる。信号処理回路１０４以降の回路については、本発明の内容と直接関係がないため、それらの説明を省略する。
【００１８】
像信号処理部１０３の第２の出力端子は、Ａ像の出力１０９に対応する。また像信号処理部１０３の第３の出力端子は、Ｂ像の出力１１０に対応する。出力１０９，１１０については、焦点検出部１０６および連続欠陥検出部１０５，１１１によって、それぞれの検出処理が行われる。連続欠陥検出部１０５，１１１の各検出信号は論理積演算部１１２に出力される。論理積演算部１１２は、各検出信号から論理積演算結果を示す信号（以下、総合欠陥検出信号という）を算出し、焦点検出部１０６に出力する。検出処理の詳細については後述する。
【００１９】
図３を参照して、本実施例の信号処理について説明する。図３は各部の信号を示すタイミングチャートである。撮像素子１０２の出力信号１０７にて、Ａ像信号の読み出しタイミングを示す波形３０１と、当該波形に後続するＡ＋Ｂ像信号を読み出しタイミングを示す波形３０２を示す。波形３０１および３０２の期間が撮像信号の１水平期間（水平同期信号の時間間隔）に対応しており、その繰り返しにより１フレーム分の画素信号が転送される。
【００２０】
Ａ＋Ｂ像の出力１０８は、撮像素子１０２の出力信号１０７のうち、波形３０２の期間における信号をそのまま通過させる事により得られ、波形３０３として出力される。Ａ＋Ｂ像信号は、Ａ像とＢ像の各画素信号が加算されたベイヤー配列の信号であり、信号処理回路１０４が信号処理を行うことにより、映像信号となる。
【００２１】
Ａ像の出力１０９は、像信号処理部１０３内部の遅延回路により遅延されて、波形３０４の期間に出力される。Ｂ像の出力１１０は、像信号処理部１０３にて、Ａ＋Ｂ像信号（波形３０３参照）から、遅延されたＡ像信号（波形３０４参照）を減算することで生成され、波形３０５の期間に出力される。波形３０６，３１３は、その周期が１水平期間に対応する。撮像素子１０２の出力信号１０７に基づいて、Ａ＋Ｂ像信号、Ａ像信号、およびＢ像信号がそれぞれ１水平期間内に出力される。
【００２２】
次に図４を参照して、連続欠陥検出について説明する。図４（Ａ）および（Ｂ）にて、横軸は画素の水平位置を表わし、縦軸は信号レベルを表わす。図４（Ａ）は、Ａ＋Ｂ像として欠陥はなく、Ａ像およびＢ像に分離したときに連続的な欠陥を生じる場合の１水平期間の信号を示している。例えば、Ａ＋Ｂ像信号は正常に読み出せるが、Ａ像信号が正しくないという欠陥が発生する場合があり得る。これは、撮像素子１０２内部のＡ像の転送回路とＢ像の転送回路がショートすることで、Ａ像の出力１０９として、実質的にＡ＋Ｂ像信号が出力されてしまうことに起因する。この場合、２つの光電変換部の信号を加算した信号は正常に出力されるが、個々の光電変換部の信号に欠陥が起こり得る。図４（Ａ）に、Ａ＋Ｂ像信号の画素ごとの信号レベルを示す振幅４０１、Ａ像信号の画素ごとの信号レベルを示す振幅４０２、Ｂ像信号の画素ごとの信号レベルを示す振幅４０３をそれぞれ示す。
【００２３】
領域４０５は、Ａ像の転送回路とＢ像の転送回路がショートする連続欠陥により、Ａ＋Ｂ像信号の振幅４０１とＡ像信号の振幅４０２が同じ信号レベルとなっている領域である。その結果、Ｂ像信号の振幅４０３はゼロ付近にまでレベルが下がっている状態である。また領域４０６は、Ａ像信号の振幅４０２の信号が徐々に正しい値に回復する過程で発生する過渡期の領域である。このような欠陥はＡ像信号読み出し回路が電気的に不安定となる場合に発生し得る。正常な状態に戻る際には、なだらかに特性が回復する。Ａ像信号読み出し回路が電気的に元の状態に回復するときにＢ像信号の振幅４０３には、被写体に起因しない振幅が発生することになる。
【００２４】
焦点検出部１０６は位相差検出を行うときに、バンドパスフィルタを用いて特定の周波数帯域でのエッジ成分を抽出し、一致度合いの高い位相を相関演算により算出する。その際、被写体に由来しないエッジ成分がＡ像およびＢ像に紛れ込むと、演算結果の誤差が大きくなってしまうという問題が発生する。この場合、Ａ像信号とＢ像信号とのレベル差が、被写体に係るデフォーカス状態により発生したものであるのか、図４（Ａ）のように撮像素子内部のＡ像信号読み出し回路の不安定によって発生したものなのかを区別することは困難である。
【００２５】
図４(Ａ)の領域４０７においては、Ａ像信号読み出し回路が正常な状態に回復しているため、焦点検出が可能な状態となっている。ここで、図４（Ｂ）は欠陥が発生していない場合、すなわち被写体に係るデフォーカス状態によりＡ像信号とＢ像信号のレベルが大きく異なっている例を示す。この場合には、欠陥と検出することなく正常に扱う必要がある。
【００２６】
図４（Ｂ）において、Ａ＋Ｂ像信号の振幅４０８、Ａ像信号の振幅４０９、Ｂ像信号の振幅４１０をそれぞれ示す。横軸は画素の水平位置を表わし、信号読み出しの時間軸に対応する。第１の検出期間４１１として欠陥検出期間１を示し、第２の検出期間４１２として欠陥検出期間２を示す。欠陥検出期間２は欠陥検出期間１より短いものとする。領域４１３は焦点検出枠に対応する。
【００２７】
領域４１３ではＡ像信号の振幅４０９が相対的に大きく、Ｂ像信号の振幅４１０は相対的に小さい。焦点検出枠に対応する領域４１３においては、図４（Ａ）に示す領域４０５又は４０６での欠陥状態との区別が難しい。これに対し、第２の検出期間４１２よりも十分に長い第１の検出期間４１１に対応する広い領域に対して欠陥状態の評価を行えば、デフォーカス状態にて発生するＡ像信号とＢ像信号とのバランス崩れによる影響を受けにくくなる。
【００２８】
本実施例では、図４（Ａ）に示す領域４０５と４０６での欠陥状態を検出し、そのときの像信号を焦点検出に利用しないことで誤検出の発生を防止することを目的とする。すなわち、図４（Ａ）に示す領域４０７での信号を有効な焦点検出用信号として利用することが目的である。そのために、局所的な領域での評価だけでなく、デフォーカス状態にて発生するＡ像信号とＢ像信号とのバランス崩れが発生しにくい１ライン全体での評価をすることによって、欠陥を検出する。これにより、デフォーカスの影響を受けやすい局所的な検出エリアでの検出ミスを防止することが可能となる。
【００２９】
本実施例では、図４（Ｂ）の第１の検出期間４１１として１水平期間を用い、第２の検出期間４１２として焦点検出枠の領域４１３に相当する期間を用いる。図４（Ｂ）の第１の検出期間４１１では、Ａ像信号の振幅４０９とＢ像信号の振幅４１０はほぼ同等となる。これに対して、図４（Ａ）の場合には、連続欠陥の領域４０５を含むため、第１の検出期間４１１にてＡ像信号の振幅４０２とＢ像信号の振幅４０３との間に有意差がある。このような状態が欠陥状態として検出される。
【００３０】
図５は第１の連続欠陥検出部１０５および第２の連続欠陥検出部１１１の構成例を示す回路図である。第１の連続欠陥検出部１０５と第２の連続欠陥検出部１１１は同じ回路構成であるが、端子５０３から与えられる検出期間、および、端子５０４から与えられる検出閾値の設定値が異なる。よって、以下では２つの連続欠陥検出部に共通する回路構成として説明する。
【００３１】
Ａ像信号入力端子５０１には像信号処理部１０３からのＡ像信号が入力される。Ｂ像信号入力端子５０２には像信号処理部１０３からのＢ像信号が入力される。積分器５０５はＡ像入力信号の積分を行い、積分器５０６はＢ像入力信号の積分を行う。積分器５０５，５０６は、加算器およびスイッチ素子、遅延回路としてフリップフロップを備える。積分器５０５，５０６は、端子５０３からの入力信号（以下、検出期間信号という）がハイ（Ｈ）レベルになったときにスイッチ素子がオンして入力信号を積分し、検出期間信号がロー（Ｌ）レベルになるとゼロにリセットされる。
【００３２】
差分絶対値演算部５０７は、積分器５０５の出力と積分器５０６の出力との差分の絶対値を算出する。差分絶対値演算部５０７は減算器と絶対値回路を備える。差分絶対値演算部５０７は差分の大きさを示す信号を比較器５０８へ出力する。比較器５０８は、差分絶対値演算部５０７の出力と、端子５０４から入力される信号（以下、閾値信号という）を比較する。Ａ像の積分値とＢ像の積分値の差分の大きさが設定された閾値と比較され、比較判定結果の信号は保持回路５０９へ出力される。
【００３３】
保持回路５０９はスイッチ素子とフリップフロップを備える。保持回路５０９は、端子５０３からの検出期間信号がハイレベルである期間に、入力信号を１サイクルだけ遅延した信号を端子５１０へ出力する。また、検出期間信号がローレベルになると、保持回路５０９は１サイクル前の信号を保持して端子５１０へ出力し続ける。
【００３４】
第１の連続欠陥検出部１０５および第２の連続欠陥検出部１１１は、設定される検出期間が異なる。つまり、検出期間信号と閾値信号は、第１の検出期間４１１および第２の検出期間４１２に応じて異なる値をもつ信号である。第１の連続欠陥検出部１０５は第２の連続欠陥検出部１１１に比べて、検出時間が長く、広い範囲を検出対象とするので、被写体に係るデフォーカスの影響も軽度となる。このため、第１の検出期間４１１に対応する閾値信号としては、検出感度を高める設定値（閾値）とすることができる。
【００３５】
このように本実施例の連続欠陥検出部１０５および１１１は、それぞれの着目期間（検出期間）でのＡ像信号とＢ像信号との輝度差を検出している。したがって、第２の検出期間４１２の設定により、図４（Ｂ）の焦点検出枠に相当する領域４１３、および図４（Ａ）の領域４０５、４０６にそれぞれ対応する期間において、図５の回路は欠陥状態を検出する。一方、第１の検出期間の設定の場合、図５の回路は、図４（Ａ）では欠陥状態を検出するが、図４（Ｂ)ではＡ像とＢ像の積分値に有意差が現われないために欠陥状態として検出しない。本実施例の欠陥判定では、第１の検出期間４１１での検出結果と、第２の検出期間４１２での検出結果の両方で判定条件を満たす信号が検出された時のみ、欠陥が発生したと判断される。
【００３６】
図３のタイミングチャートを参照して、第１の連続欠陥検出部１０５および第２の連続欠陥検出部１１１の各出力を説明する。水平欠陥検出信号は第１の連続欠陥検出部１０５の出力に相当し、ＡＦ（オートフォーカス）枠欠陥検出信号は第２の連続欠陥検出部１１１の出力に相当する。波形３０６の期間は第１の連続欠陥検出部１０５の端子５０３から入力される検出期間信号がハイレベルの期間を示している。水平欠陥検出信号のハイレベル期間３０８は、波形３０６の期間における信号の立下りで第１の連続欠陥検出部１０５の出力がハイレベルで保持され、欠陥が検出されたことを示している。次の波形３１３の水平期間における立下りでは欠陥が検出されていないので、水平欠陥検出信号はローレベルである。
【００３７】
ＡＦ枠期間信号のハイレベル期間３０７は、第２の連続欠陥検出部１１１の端子５０３から入力される検出期間信号がハイレベルの期間を示している。ＡＦ枠欠陥検出信号のハイレベル期間３０９は、期間３０７で第２の連続欠陥検出部１１１の出力がハイレベルに保持され、欠陥が検出された事を示している。次のＡＦ枠期間でも欠陥が検出されて期間３１０でもＡＦ枠欠陥検出信号がハイレベルになっている。
【００３８】
総合欠陥検出信号は、論理積演算部１１２により演算される、水平欠陥検出信号とＡＦ枠欠陥検出信号との論理積信号である。よって、総合欠陥検出信号は期間３１１だけハイレベルとなり、期間３１２ではロー（Ｌ）レベルである。総合欠陥検出信号は焦点検出部１０６へ入力される。
【００３９】
図６は、焦点検出部１０６の構成例を示すブロック図である。入力端子６０１はＡ像信号入力端子であり、入力端子６０２はＢ像信号入力端子である。入力端子６０３は総合欠陥検出信号の入力端子であり、欠陥を示す１ビットの信号が入力され、制御部２００のマイクロコンピュータ６０７が取得する。取り込み回路６０５は、Ａ像信号およびＢ像信号を取り込んでメモリ６０６へ書き込む。入力端子６０４からのＡＦ枠期間信号の入力に従って各像信号が取り込まれ、メモリ６０６に記憶される。
【００４０】
入力端子６０８には水平期間に対応する信号が入力され、マイクロコンピュータ６０７が取得する。ある水平期間での処理が終わると、マイクロコンピュータ６０７はメモリ６０６に取り込まれたＡ像信号とＢ像信号を処理した後、次の水平期間を待つ。以降、同様の処理が所定の回数繰り返される。
【００４１】
図７のフローチャートを参照して、焦点検出および焦点調節処理を説明する。以下の処理は、マイクロコンピュータ６０７がメモリから読み出して実行する制御プログラムにしたがって実現される。Ｓ７０１で焦点検出が開始すると、Ｓ７０２で撮像画面内の焦点検出領域（ＡＦエリア）の設定処理が行われる。次のＳ７０３で撮像素子１０２からの読み出しが開始される。Ｓ７０４では、Ａ像信号およびＢ像信号、欠陥情報に従い焦点検出が行われる。欠陥情報とは、総合欠陥検出信号の情報であり、例えば欠陥検出時に論理値「１」、非欠陥検出時に論理値「０」を示す情報である。
【００４２】
Ｓ７０５でマイクロコンピュータ６０７は、焦点検出結果に基づいてフォーカスレンズの駆動量を算出し、フォーカスレンズの駆動制御を行う。Ｓ７０６でマイクロコンピュータ６０７は処理の継続について判断する。撮影動作への移行や、撮影の中断といった動作の変更がない場合（判定結果：Ｙｅｓ）、再びＳ７０２へ戻り、焦点検出および焦点調節処理を続行する。またＳ７０６で撮影動作への移行や撮影の中断と判定された場合（判定結果：Ｎｏ）、Ｓ７０７に処理を進め、次の動作に移行する。
【００４３】
図８は、図７のＳ７０４の処理を詳細に説明するフローチャートである。Ｓ８０１で焦点検出演算が開始し、Ｓ８０２でマイクロコンピュータ６０７は総合欠陥検出信号を参照し、対象とする行のエリアに欠陥があるかどうかを判定する。対象行のエリアに欠陥があると判定された場合、Ｓ８０５に移行する。また、対象行のエリアに欠陥が無いと判定された場合にはＳ８０３に進む。Ｓ８０３でマイクロコンピュータ６０７は相関演算を行う。例えば、SAD（Sum of Absolute Difference）による演算の場合、Ａ像信号とＢ像信号との位相に対応した差分の絶対値の配列が計算される。Ｓ８０４でマイクロコンピュータ６０７は、Ｓ８０３で計算したSADの配列を、前回の演算結果と加算する。
【００４４】
Ｓ８０５は、Ａ像およびＢ像について所定行数の処理を終了したか否かの判定処理である。所定行数の処理が終了していない場合、Ｓ８０２へ戻り、次の行の処理を行う。Ｓ８０２からＳ８０５の処理を所定回数に亘って繰り返す事で、SAD演算の配列を加算した配列が作成される。Ｓ８０５で、すべての行の処理を終了するとＳ８０６へ進む。
【００４５】
Ｓ８０２にて、総合欠陥検出信号がハイレベルとなった場合、つまり欠陥ありと判定されると、Ｓ８０３の相関演算およびＳ８０４の相関演算結果の加算は行われない。したがって、欠陥のある行を含まないSAD演算結果の配列が作成される。
【００４６】
Ｓ８０６でマイクロコンピュータ６０７は、SADの極小値のポジションを求め、パラボラフィッティングによりサブピクセルマッチングを行う。得られたシフト位置に光学的条件で決まる倍率を乗算することにより、デフォーカス量が算出される。デフォーカス量の算出が終わるとＳ８０７で復帰し、図７のＳ７０５へ処理を移す。
【００４７】
本実施例では、欠陥の可能性が高い領域を除いた有効なＡ像信号およびＢ像信号を用いて焦点検出が行われる。本実施例によれば、１行のうちの一部に連続して発生した分割画素の欠陥を検出することができるので、精度の高い焦点検出および焦点調節を実現できる。
【００４８】
本実施例では相関演算にSADを用いたが、Sum of Squared Difference(SSD)やNormalized Cross-Correlation(NCC)による相関演算を用いても同様の効果が得られる。また、Ａ像信号の積分値とＢ像信号の積分値との差分絶対値を閾値と比較して欠陥検出を行う例を説明したが、この例に限定されない。例えば、Ａ像信号の積分値とＢ像信号の積分値との比を閾値と比較して欠陥の検出を行う場合でも同様の効果が得られる。以上の技術を撮像装置へ適用した例として焦点検出を説明したが、取得したデータに基づいて距離マップを作成する場合においても有効な技術である。距離マップは撮像された画像内の各被写体の奥行き方向の深度を示す距離分布データから構成され、３次元画像処理やリフォーカス処理等で使用される。
【００４９】
［実施例２］
次に図９を参照して、本発明の実施例２について説明する。実施例１の場合と同様の構成部については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。
【００５０】
図９は、本実施例の連続欠陥検出部１０５および１１１の構成例を示す回路図である。実施例１との相違点は、大小比算出回路９０１である。実施例１では、差分絶対値演算部５０７を用いたが、本実施例では大小比算出回路９０１を用いて、２つの入力信号から、大きい方の信号値と小さい方の信号値との比を算出する。つまり、大小比算出回路９０１は積分器５０５および５０６の各出力を取得し、大きい方の信号値を選択するＭＡＸ回路９０１ａと、小さい方の信号値を選択するＭＩＮ回路９０１ｂを備える。除算回路９０１ｃは、ＭＡＸ回路９０１ａの出力を、ＭＩＮ回路９０１ｂの出力で除算して、両者の比を算出する。大小比算出回路９０１の出力は比較器５０８に送られ、端子５０４からの閾値と比較されることで、判定結果が保持回路５０９へ出力される。
【００５１】
本実施例によれば、Ａ像信号の積分値とＢ像信号の積分値との比を閾値と比較して欠陥の検出を行う場合に、１行のうちの一部に連続して発生した分割画素の欠陥を検出することができる。
【００５２】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５３】
１０２…撮像素子
１０３…像信号処理部
１０５…第１の連続欠陥検出部
１１１…第２の連続欠陥検出部
１１２…論理積演算部
【図１】
2018014625.tif 000003
【図２】
2018014625.tif 000004
【図３】
2018014625.tif 000005
【図４】
2018014625.tif 000006
【図５】
2018014625.tif 000007
【図６】
2018014625.tif 000008
【図７】
2018014625.tif 000009
【図８】
2018014625.tif 000010
【図９】
2018014625.tif 000011