(57)【要約】【課題】複数の光電変換部を有する撮像素子により取得される画像信号を処理する画像処理装置において、欠陥検出の精度を高めること。【解決手段】撮像装置１００は、マイクロレンズアレイと複数の光電変換部を有する撮像素子１０２を備える。撮像素子１０２は複数の光電変換部から複数の信号を読み出し可能であり、第１の光電変換素部から第１の信号が読み出され、更に第１および第２の光電変換部から第２の信号が読み出される。像信号処理部１０３は、第２の信号から第１の信号を減算して第３の信号を生成する。連続欠陥検出部１０５は、第１から第３の信号のうち、２以上の信号を取得して周波数成分の差異に基づいて第１または第３の信号の欠陥を検出する。【選択図】  図１
2018014626.tif 000002
【特許請求の範囲】
【請求項１】
複数の光電変換部を備えた複数の画素を有する撮像素子により取得される複数の画像信号を処理する画像処理装置であって、
前記複数の画素のそれぞれにおいて、前記複数の光電変換部の一部の光電変換部に蓄積された電荷に基づく第１の信号、および、前記複数の光電変換部に蓄積された電荷に基づく第２の信号を取得し、前記第１および第２の信号の差分に基づく第３の信号を生成する信号処理を行う第１の信号処理手段と、
前記第１ないし第３の信号のうち、複数の信号の周波数成分の差異を検出することにより、前記第１または第３の信号の欠陥を検出する検出手段と、
前記検出手段によって欠陥が検出されない前記第１および第３の信号を取得して信号処理をした結果を出力する第２の信号処理手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記検出手段は、フィルタ処理によって前記複数の信号の周波数成分を抽出し、周波数成分の比を閾値と比較して欠陥検出を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、フーリエ変換によって前記複数の信号の周波数成分の分布を比較して欠陥検出を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記検出手段は、前記第１および第２の信号、または前記第１および第３の信号、または前記第２および第３の信号を取得して、前記第１または第３の信号の欠陥を検出することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
複数の光電変換部を備えた複数の画素を有する撮像素子により取得される複数の画像信号を処理する画像処理装置であって、
前記複数の画素のそれぞれにおいて、前記複数の光電変換部の一部の光電変換部に蓄積された電荷に基づく第１の信号、および、前記複数の光電変換部に蓄積された電荷に基づく第２の信号を取得し、前記第１および第２の信号の差分に基づく第３の信号を生成する信号処理を行う第１の信号処理手段と、
前記第１ないし第３の信号のうち、複数の信号の間で比の値を算出して前記第１または第３の信号の欠陥を検出する検出手段と、
前記検出手段によって欠陥が検出されない前記第１および第３の信号を取得して信号処理をした結果を出力する第２の信号処理手段と、を備え、
前記検出手段は、前記撮像素子により撮像された画像における複数の行でそれぞれ算出した前記比の値の差を閾値と比較することによって、欠陥検出を行うことを特徴とする画像処理装置。
【請求項６】
前記検出手段は、前記複数の行のうちの第１の行および当該第１の行に近接する第２の行にて、前記第１の信号と前記第３の信号との間、または前記第１の信号と前記第２の信号との間、または前記第２の信号と前記第３の信号との間で、前記比の値を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記検出手段は、前記複数の行での前記複数の信号に係る色比または輝度の比を算出し、前記比の値の差を閾値と比較して欠陥を検出することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記第１の信号処理手段は、前記第２の信号から前記第１の信号を減算して前記第３の信号を生成し、
前記第２の信号処理手段は、前記第１の信号と前記第３の信号との位相差検出の演算を行うことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像処理装置と、
撮像光学系を通して被写体を撮像する前記撮像素子を備えることを特徴とする撮像装置。
【請求項１０】
前記第２の信号処理手段は、前記第１および第３の信号を取得して前記撮像光学系の焦点検出を行うことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記撮像素子は、複数のマイクロレンズと、各マイクロレンズに対応する前記複数の光電変換部を備え、前記第１の信号処理手段に前記第１の信号を出力した後に前記第２の信号を出力し、
前記第１の信号処理手段は、視差を有する画像信号である前記第１および第３の信号を前記第２の信号処理手段に出力することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
複数の光電変換部を備えた複数の画素を有する撮像素子により取得される複数の画像信号を処理する画像処理装置にて実行される制御方法であって、
第１の信号処理手段が前記複数の画素のそれぞれにおいて、前記複数の光電変換部の一部の光電変換部に蓄積された電荷に基づく第１の信号、および、前記複数の光電変換部に蓄積された電荷に基づく第２の信号を取得し、前記第１および第２の信号の差分に基づく第３の信号を生成する工程と、
検出手段が、前記第１ないし第３の信号のうち、複数の信号の周波数成分の差異を検出することにより、前記第１または第３の信号の欠陥を検出する工程と、
前記検出手段によって欠陥が検出されない前記第１および第３の信号を、第２の信号処理手段が取得して信号処理をした結果を出力する工程と、を有することを特徴とする画像処理装置の制御方法。
【請求項１３】
複数の光電変換部を備えた複数の画素を有する撮像素子により取得される複数の画像信号を処理する画像処理装置にて実行される制御方法であって、
第１の信号処理手段が前記複数の画素のそれぞれにおいて、前記複数の光電変換部の一部の光電変換部に蓄積された電荷に基づく第１の信号、および、前記複数の光電変換部に蓄積された電荷に基づく第２の信号を取得し、前記第１および第２の信号の差分に基づく第３の信号を生成する工程と、
検出手段が、前記第１ないし第３の信号のうち、複数の信号の間で比の値を算出して前記第１または第３の信号の欠陥を検出する工程と、
前記検出手段によって欠陥が検出されない前記第１および第３の信号を、第２の信号処理手段が取得して信号処理をした結果を出力する工程と、を有し、
前記検出手段は、前記撮像素子により撮像された画像における複数の行でそれぞれ算出した前記比の値の差を閾値と比較することによって、欠陥検出を行うことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各画素が複数の光電変換部を有する撮像素子により取得される画像信号を用いた信号処理技術に関する。
【背景技術】
【０００２】
撮像装置の焦点検出には、撮像面位相差検出方式がある。１つのマイクロレンズに対応する複数の光電変換部として、分割されたフォトダイオードを備える画素構成の撮像素子において、撮像光学系の異なる瞳部分領域をそれぞれ通過した光を各フォトダイオードが受光する。この構成によれば、撮像画像と同時に焦点検出用信号を取得可能である。特許文献１では、分割された複数の画素（分割画素）のうち、一方の画素から信号を読み出した後に、各分割画素の電荷を加算した信号を読み出す構成において、焦点検出画素に欠陥が生じた場合の検出および補正方法について開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４―１４６０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術では、対をなす一方の像信号のレベルが閾値以下である行が欠陥行として検出される。このため、行全体が欠陥行となっている場合にしか、分割画素の結果を検出できない。
本発明の目的は、複数の光電変換部を有する撮像素子により取得される画像信号を処理する画像処理装置において、欠陥検出の精度を高めることである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態の装置は、複数の光電変換部を備えた複数の画素を有する撮像素子により取得される複数の画像信号を処理する画像処理装置であって、前記複数の画素のそれぞれにおいて、前記複数の光電変換部の一部の光電変換部に蓄積された電荷に基づく第１の信号、および、前記複数の光電変換部に蓄積された電荷に基づく第２の信号を取得し、前記第１および第２の信号の差分に基づく第３の信号を生成する信号処理を行う第１の信号処理手段と、前記第１ないし第３の信号のうち、複数の信号の周波数成分の差異を検出することにより、前記第１または第３の信号の欠陥を検出する検出手段と、前記検出手段によって欠陥が検出されない前記第１および第３の信号を取得して信号処理をした結果を出力する第２の信号処理手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、複数の光電変換部を有する撮像素子により取得される画像信号を処理する画像処理装置において、欠陥検出の精度を高めることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施例１の撮像装置を示すブロック図である。
【図２】撮像素子の画素構成を示す平面図および断面図である。
【図３】実施例１の信号波形のタイミングチャートである。
【図４】実施例１の信号波形を示す図である。
【図５】実施例１の連続欠陥検出回路の回路図である。
【図６】実施例１の焦点検出部を示す回路ブロック図である。
【図７】実施例１の焦点検出および焦点調節処理のフローチャートである。
【図８】実施例１の焦点検出演算処理のフローチャートである。
【図９】実施例１のバンドパスフィルタの周波数特性図である。
【図１０】実施例１の変形例１の連続欠陥検出回路を示す回路図である。
【図１１】実施例１の変形例２の連続欠陥検出回路を示す回路ブロック図である。
【図１２】本発明の実施例２の撮像装置を示すブロック図である。
【図１３】実施例２の連続欠陥検出回路を示す回路図である。
【図１４】本発明の実施例３の信号波形を示す図である。
【図１５】実施例３の連続欠陥検出回路を示す回路図である。
【図１６】実施例３の変形例の連続欠陥検出回路を示す回路図である。
【発明を実施するための形態】
【０００８】
以下に、本発明の好ましい実施の形態を示す各実施例について、添付図面に基づいて詳細に説明する。
［実施例１］
図１は、本実施例の撮像装置１００の構成例を示すブロック図である。撮像装置１００は撮像光学系１０１を備える。撮像光学系１０１は複数のレンズ群からなるレンズユニットにより構成され、フォーカス位置を調整するためのフォーカスレンズやレンズ駆動用アクチュエータ等を備える。
【０００９】
撮像素子１０２は、撮像光学系１０１を介して結像される被写体からの入射光を光電変換し、画像信号を出力する。図２を参照して、撮像素子１０２の詳細について説明する。撮像素子１０２を構成する画素部の平面図を図２（Ａ）に示し、画素部の断面図を図２（Ｂ）に示す。画素部２００はマイクロレンズ２０１、カラーフィルタ２０２、配線層２０３、第１の光電変換部２０４および第２の光電変換部２０５から構成されている。
【００１０】
マイクロレンズアレイを構成するマイクロレンズ２０１は入射光を集光し、第１の光電変換部２０４および第２の光電変換部２０５へと導く。カラーフィルタ２０２は入射光のうち、特定の波長成分の光を通過させる。カラーフィルタ２０２は赤（Ｒ）、緑（Ｇ）、青（Ｂ）に対応する波長の光を通過させる分光感度特性を有しており、ベイヤー状に配列されている。
【００１１】
第１の光電変換部２０４および第２の光電変換部２０５は光電変換により電気信号を生成する。第１の光電変換部２０４は、撮像光学系１０１の射出瞳における第１の瞳部分領域を通過した光束（瞳分割像）を受光する。第２の光電変換部２０５は、第１の瞳部分領域とは異なる第２の瞳部分領域を通過した光束（瞳分割像）を受光する。撮像素子１０２上の光電変換部２０４の一群に蓄積された電荷の量に応じて取得した画像信号と、光電変換部２０５の一群に蓄積された電荷の量に応じて取得した画像信号には視差がある。焦点検出では、視差を有する画像の投影位置のずれを検出する事によって焦点ずれ量が検出される。また、光電変換部２０４および２０５によりそれぞれ取得される信号を加算することによって、撮像画像の信号を取得できる。
【００１２】
以下では、第１の光電変換部２０４により取得可能な瞳分割像信号をＡ像信号と呼び、第２の光電変換部２０５により取得可能な瞳分割像信号をＢ像信号と呼ぶ。Ａ像信号とＢ像信号との加算により取得可能な信号をＡ＋Ｂ像信号と呼ぶ。撮像素子１０２は、複数の光電変換部を有する画素部が２次元アレイ状に配置されている。撮像素子１０２は特許文献１と同様の技術により、Ａ像信号を読み出した後にＡ＋Ｂ像信号を読み出す。Ａ＋Ｂ像信号は正常に読み出せるが、Ａ像信号が正しくないという欠陥が発生する場合があり得る。これは、撮像素子１０２内部のＡ像の転送回路とＢ像の転送回路がショートすることで、Ａ像の出力１０９として、実質的にＡ＋Ｂ像信号が出力されてしまうことに起因する。
【００１３】
図１の像信号処理部１０３は、撮像素子１０２からＡ像信号とＡ＋Ｂ像信号が順次入力され、Ａ＋Ｂ像信号からＡ像信号を減算することによってＢ像信号を生成する。Ａ像信号、Ｂ像信号、Ａ＋Ｂ像信号は３つの出力端子からそれぞれ出力される。像信号処理部１０３の第１の出力端子は、Ａ＋Ｂ像信号の出力１０８の端子である。出力１０８は連続欠陥検出部１０５および信号処理回路１０４へ送られる。また像信号処理部１０３の第２の出力端子は、Ａ像信号の出力１０９の端子である。出力１０９は焦点検出部１０６へ送られる。像信号処理部１０３の第３の出力端子は、Ｂ像信号の出力１１０の端子である。出力１１０は連続欠陥検出部１０５および焦点検出部１０６へ送られる。
【００１４】
信号処理回路１０４はＡ＋Ｂ像信号を取得して、所定の画像処理を行う。所定の画像処理とは、表示用または記録用の映像信号を生成するために実行される階調補正処理や変換処理等である。信号処理回路１０４の出力する映像信号は、不図示の後段回路に送られ、圧縮および記録処理が行われる。信号処理回路１０４以降の回路については、本発明の内容に直接関係がないため、それらの説明を省略する。
【００１５】
連続欠陥検出部１０５は、像信号処理部１０３からＡ＋Ｂ像信号およびＢ像信号を取得して検出処理を行う。焦点検出部１０６は、像信号処理部１０３からＡ像信号およびＢ像信号を取得して、撮像面位相差検出方式の焦点検出を行う。制御部２１０は焦点検出部１０６からの焦点検出結果に基づき、撮像光学系１０１を構成するレンズユニットのデフォーカス量を算出し、フォーカスレンズの駆動量を算出する。制御部２１０が算出した駆動量にしたがってフォーカスレンズの駆動制御が行われ、焦点調節動作が行われる。
【００１６】
次に図３を参照して、本実施例の信号処理について説明する。図３は撮像素子１０２および像信号処理部１０３の出力信号の関係を示すタイミングチャートである。撮像出力（１０７）、Ａ＋Ｂ像（１０８）、Ａ像（１０９）、Ｂ像（１１０）は、図１中で括弧内の符号が割り当てられたバスの信号出力をそれぞれ示している。
【００１７】
撮像素子１０２の出力信号１０７において、波形３０１はＡ像信号の読み出しタイミングを示す。波形３０２は波形３０１に後続するＡ＋Ｂ像信号を読み出しタイミングを示す。撮像素子１０２はＡ像出力を行った後でＡ＋Ｂ像出力を行う。波形３０１および３０２の期間が１水平期間（水平同期信号の時間間隔）に対応しており、その繰り返しにより１フレーム分の画素信号が転送される。波形３０３は像信号処理部１０３からＡ＋Ｂ像信号が出力されるタイミングを示す。波形３０４は像信号処理部１０３からＡ像信号が出力されるタイミングを示す。波形３０５は像信号処理部１０３からＢ像信号が出力されるタイミングを示す。
【００１８】
Ａ＋Ｂ像の出力１０８は、撮像素子１０２の出力信号１０７のうち、波形３０２の期間における信号をそのまま通過させた信号である。Ａ＋Ｂ像信号は信号処理回路１０４で処理されて映像信号となる。Ａ像の出力１０９は、撮像素子１０２の出力信号１０７のうち、波形３０１の期間に含まれる信号、即ち、Ａ像信号を像信号処理部１０３内部の遅延回路により遅延させて波形３０４の期間に出力される信号である。Ｂ像の出力１１０は、撮像素子１０２の出力１０７のうち、波形３０２の期間のＡ＋Ｂ像信号から、像信号処理部１０３内部で遅延された波形３０４の期間のＡ像信号を減算することにより生成される信号であり、波形３０５の期間に出力される。
このように撮像素子１０２の出力信号１０７に基づいて、Ａ＋Ｂ像（１０８）、Ａ像（１０９）、Ｂ像（１１０）の各信号がそれぞれ１水平期間内に出力される。
【００１９】
次に図４を参照して、画素信号の特性および中間信号の特性について説明する。図４（Ａ）にて横軸は画素の水平位置を表わし、縦軸は輝度信号レベルを表わす。図４（Ａ）は、Ａ＋Ｂ像として欠陥はなく、Ａ像およびＢ像に分離したときに連続的な欠陥を生じる場合の１水平期間の信号を示している。例えば、撮像素子１０２内部のＡ像の転送回路とＢ像の転送回路がショートすることにより、Ａ＋Ｂ像信号は正常に読み出せるが、Ａ像信号が正しくないという欠陥が発生する場合があり得る。この場合、２つの光電変換部の信号を加算した信号は正常に出力されるが、個々の光電変換部の信号に欠陥が起こり得る。Ａ＋Ｂ像信号の画素ごとの信号レベルを示す振幅４０１、Ａ像信号の画素ごとの信号レベルを示す振幅４０２、Ｂ像信号の画素ごとの信号レベルを示す振幅４０３をそれぞれ示す。
【００２０】
領域４０５は、連続欠陥によりＡ＋Ｂ像信号の振幅４０１とＡ像信号の振幅４０２が同じ信号レベルとなっている領域である。その結果、Ｂ像信号の振幅４０３はゼロ付近にまでレベルが下がっている状態である。また領域４０６は、Ａ像信号の振幅４０２の信号が徐々に正しい値に回復する過程で発生する過渡期の領域である。このような欠陥はＡ像信号読み出し回路が電気的に不安定となる場合に発生し得る。正常な状態に戻る際には、なだらかに特性が回復する。Ａ像信号読み出し回路が電気的に元の状態に回復するときにＢ像信号の振幅４０３には、被写体に起因しない振幅が発生することになる。
【００２１】
焦点検出部１０６は位相差検出を行うときに、バンドパスフィルタを用いて特定の周波数帯域でのエッジ成分を抽出し、一致度合いの高い位相を相関演算により算出する。その際、被写体に由来しないエッジ成分がＡ像およびＢ像に紛れ込むと、演算結果の誤差が大きくなってしまうという問題が発生する。この場合、Ａ像信号とＢ像信号とのレベル差が、被写体に係るデフォーカス状態により発生したものであるのか、図４（Ａ）のように撮像素子内部のＡ像信号読み出し回路の不安定によって発生したものなのかを区別する事は困難である。
【００２２】
図４(Ａ)の領域４０７においては、Ａ像信号読み出し回路が正常な状態に回復しているため、焦点検出が可能な状態となっている。本実施例では、図４（Ａ）に示す連続欠陥の領域４０５と過渡期の領域４０６での欠陥状態を検出し、このときの像信号を焦点検出に利用しないことで誤検出の発生を防止することを目的とする。すなわち、図４（Ａ）に示す領域４０７での信号を有効な焦点検出用信号として利用することが目的である。
【００２３】
図４（Ａ）に示す連続欠陥の領域４０５において、Ａ＋Ｂ像信号には被写体由来のエッジ成分が含まれている。一方で連続欠陥の領域４０５でのＢ像信号については、受光した電荷がＡ像信号へと混入しているため、画像信号には被写体由来のエッジ成分が含まれない。この特性に着目し、本実施例はＡ＋Ｂ像信号とＢ像信号のそれぞれについて所定領域ごとにエッジ成分を抽出し、その強度を比較することにより焦点検出用の有効な信号を取得する。具体的には、最初に、Ａ＋Ｂ像信号とＢ像信号のそれぞれに対してバンドパスフィルタ（以下、ＢＰＦと記す）処理を施し、各画素位置におけるエッジ成分を抽出する処理が行われる。図９はＢＰＦの特性を示す図である。横軸は周波数ｆを表わし、縦軸はゲインを表わす。直流成分を含む低周波帯域９０１と、ノイズを含む高周波帯域９０３との間に通過帯域９０２がある。図９の特性は、全周波数帯域のうち、帯域９０１および９０３の成分を減衰させる特性であり、これにより直流成分およびノイズを低減させて、エッジ成分を抽出することができる。
【００２４】
図４（Ｂ）はＢＰＦ処理後の中間信号４０８を示す。この信号は、欠陥が発生している行（以下、欠陥行という）についてＡ＋Ｂ像信号に図９の特性をもつＢＰＦを適用した場合の出力信号である。図４（Ｃ）に示す中間信号４０９は、欠陥行についてＢ像信号に図９の特性をもつＢＰＦを適用した場合の出力信号である。連続欠陥領域４０５でのＢ像信号にはエッジ成分が含まれていない。このため、連続欠陥領域４０５における中間信号４０９の値はほぼ０となるという特性がある。つまり、過渡期の領域４０６および非欠陥の領域４０７にてＢ像信号のエッジ成分が抽出される。
【００２５】
次に、連続欠陥検出を行う単位での領域分割が行われる。ここでは説明の為に図４（Ｃ）に示す４領域４１０、４１１、４１２、４１３に分割されるものとする。分割領域４１０と、分割領域４１１の一部領域が、連続欠陥の領域４０５に対応する。分割領域４１１の一部領域と分割領域４１２の一部領域が、過渡期の領域４０６に対応し、分割領域４１２の一部領域と分割領域４１３が、非欠陥の領域４０７に対応する。続いて、分割された領域ごとに中間信号４０８の絶対値の和と中間信号４０９の絶対値の和が算出される。即ち、各分割領域内の信号が持つエッジ強度を算出する処理が行われる。
【００２６】
次に、中間信号４０８の絶対値の和から中間信号４０９の絶対値の和を除算することによって比の値が算出される。図４（Ｄ）は算出された比の値４１４をプロットしたグラフを示す。連続欠陥の影響が全面的に現われる分割領域４１０においては、中間信号４０９の絶対値の和はほぼ０となる。すなわち、比の値の算出における分母がほぼ０になる。また分割領域４１０における中間信号４０８の絶対値の和は、被写体由来のエッジ成分が存在しているため０よりも大きくなる。すなわち、比の値の算出における分子は０よりも大きくなる。そのため、分割領域４１０において算出される比の値は極端に大きな値をとる傾向がある。
【００２７】
一方、連続欠陥の影響が全面的に現われない分割領域４１２および４１３では、Ｂ像信号にも被写体由来のエッジ成分が残っている。このため、比の値は小さい値を示す傾向がある。過渡期の領域４０６を含む分割領域４１１での比の値は、分割領域４１０での比の値に対して小さく、分割領域４１２の比の値に対して大きい値をとる。
【００２８】
次に、比の値は、所定の閾値と比較される。図４（Ｄ）に所定の閾値を示す。設定された閾値よりも、比の値が大きい場合、欠陥有りと判定され、比の値が閾値以下である場合、欠陥無しと判定される。このように分割領域を単位として比の値を算出し、算出された比の値を閾値と比較することによって分割領域単位での欠陥判定が可能となる。
【００２９】
本実施形態では、説明の為にＡ＋Ｂ像信号とＢ像信号を用いて比の値を算出したが、Ｂ像信号の代わりにＡ像信号を用いても同様の効果が得られる。Ａ像信号を用いる場合には、連続欠陥の領域４０５におけるＡ像信号にエッジ成分が混入するため、欠陥の影響度が大きいほどＡ＋Ｂ像信号とＡ像信号とが同等の信号レベルとなる。従って、欠陥の影響度の大きい領域では比の値は１に近く、正常な領域では欠陥領域の比の値よりも１から離れた値を示す傾向がある。そのため、これに応じて閾値および欠陥判定条件を適切に設定すればよい。この場合、比の値が１の近傍の上限および下限の閾値で定義された所定範囲に含まれる場合に欠陥有りと判定される。
【００３０】
次に図５を参照して、連続欠陥検出部１０５の詳細を説明する。図５は連続欠陥検出部１０５の構成例を示す回路図である。連続欠陥検出部１０５には、Ａ＋Ｂ像信号およびＢ像信号が入力される。
【００３１】
入力されたＡ＋Ｂ像信号およびＢ像信号はそれぞれ、ＢＰＦ部５０１およびＢＰＦ部５０２によってフィルタ処理される。つまり、図９に示す特性のバンドパスフィルタが適用され、それぞれの信号から所定の周波数帯域成分が抽出される。ＢＰＦ部５０１の出力信号は図４の中間信号４０８に対応し、ＢＰＦ部５０２の出力信号は図４の中間信号４０９に対応している。
【００３２】
絶対値化回路５０３および５０４は、ＢＰＦ部５０１およびＢＰＦ部５０２によって特定の周波数帯域成分が抽出された中間信号４０８および中間信号４０９を、それぞれ取得する。入力された中間信号４０８および中間信号４０９は絶対値化されて、符号が除去される。絶対値化回路５０３および５０４により出力される絶対値化された中間信号４０８および中間信号４０９は、加算回路５０５および５０６にてそれぞれ加算処理が行われる。加算回路５０５および５０６は、加算器およびフリップフロップから構成され、各入力信号を繰り返し加算する。なお、加算回路５０５および５０６を構成するフリップフロップはリセット機能を備えており、不図示のリセット制御線により分割領域の開始タイミングでリセットされる。
【００３３】
除算回路５０７は、加算回路５０５および５０６の各出力を取得し、Ａ＋Ｂ像の中間信号を、Ｂ像の中間信号で除算することによって比の値を算出する。算出される比の値は図４（Ｄ）の中間信号４１４に対応している。比較器５０８は、算出された比の値を、予め設定されている閾値（ＴＨと記す）と比較し、欠陥が発生しているか否かを判定する。欠陥行判定結果は１ビットの信号である。つまり比の値が所定の閾値ＴＨよりも大きい場合、比較器５０８は連続的な欠陥が生じていると判定し、１ビットの欠陥情報として論理値「１」を設定して出力する。また比の値が所定の閾値ＴＨ以下である場合に比較器５０８は連続的な欠陥が生じていないと判定し、１ビットの欠陥情報として論理値「０」を設定して出力する。連続欠陥検出部１０５の出力は焦点検出部１０６に送られ、当該出力に遅延調整がなされた後、像信号を焦点検出に用いるか否かが判断される。
【００３４】
図６の回路ブロック図を参照して、焦点検出部１０６の詳細について説明する。焦点検出部１０６の取り込み回路６０４は、像信号処理部１０３からのＡ像信号６０１とＢ像信号６０２を取得する。取り込み回路６０５は連続欠陥検出部１０５からの欠陥情報を取得する。
【００３５】
取り込み回路６０４および６０５はそれぞれ、内部に座標を管理するためのカウンタを有し、制御部２１０のマイクロコンピュータ６０７から指定された領域に含まれるデータを抽出する回路である。取り込み回路６０４はＡ像信号６０１およびＢ像信号６０２のうち、マイクロコンピュータ６０７によって指示される焦点検出領域に対応するＡＦ（オートフォーカス）位置の信号のみを抽出する。焦点検出領域は撮像画面内にてＡＦ枠に相当する領域である。取り込み回路６０４は抽出した信号を、メモリ６０６の所定の番地へ書き込む。取り込み回路６０５はマイクロコンピュータ６０７によって指示される焦点検出領域内の各画素に対し、対応する欠陥情報を抽出する。取り込み回路６０５は抽出した信号を、メモリ６０６の所定の番地へ書き込む。本実施例にて、焦点検出領域に対応するＡ像およびＢ像のデータと欠陥情報については１０ライン分の情報がメモリ６０６に記憶される。
【００３６】
図７のフローチャートを参照して、マイクロコンピュータ６０７による焦点検出および焦点調節処理について説明する。以下の各ステップに示す処理は、マイクロコンピュータ６０７がメモリから読み出して実行する制御プログラムにしたがって実現される。Ｓ７０１で焦点検出が開始すると、Ｓ７０２でマイクロコンピュータ６０７は焦点検出領域(ＡＦエリア)の位置を取り込み回路６０４、６０５にそれぞれ設定する。次にＳ７０３で撮像素子１０２の信号読み出しが開始する。Ｓ７０４で取り込み回路６０４、６０５はＡ像信号、Ｂ像信号および欠陥情報の取り込み動作をそれぞれ開始し、すべての情報の取り込み完了を待つ。
【００３７】
取り込み回路６０４、６０５が１０行分のＡ像信号、Ｂ像信号および欠陥情報を取り込むと、Ｓ７０５の処理に進み、マイクロコンピュータ６０７は焦点検出演算を行う。演算処理の詳細については後述する。Ｓ７０６でマイクロコンピュータ６０７は焦点検出結果に基づいてフォーカスレンズを駆動して焦点調節制御を行う。
【００３８】
Ｓ７０７でマイクロコンピュータ６０７は、処理の継続について判断する。撮影動作への移行や、撮影の中断といった動作の変更がない場合（判定結果：Ｙｅｓ）、再びＳ７０２へ戻り、焦点検出処理を続行する。またＳ７０７で撮影動作への移行や撮影の中断と判定された場合（判定結果：Ｎｏ）、Ｓ７０８の処理を進め、次の動作に移行する。
【００３９】
次に図８のフローチャートを参照し、図７のＳ７０５（焦点検出演算）の詳細について説明する。Ｓ８０１で焦点検出演算が開始し、Ｓ８０２でマイクロコンピュータ６０７は、メモリ６０６に記憶された欠陥情報に基づいて、現在処理している行に欠陥が含まれているか否かを判定する。現在処理中の行に対応する欠陥情報が「０」である場合、即ち欠陥行でないと判定された行については、Ｓ８０３の処理へと移行する。一方、現在処理中の行に対応する欠陥情報が「１」である場合、即ちＳ８０２で現在処理中の行に欠陥が含まれる場合にはＳ８０５へと移行する。
【００４０】
Ｓ８０３でマイクロコンピュータ６０７は、メモリ６０６から現在処理中の行のＡ像信号およびＢ像信号を読み出し、相関演算を行う。例えば、SAD（Sum of Absolute Difference）による演算の場合、Ａ像信号とＢ像信号との位相に対応した差の絶対値の配列が計算される。Ｓ８０４でマイクロコンピュータ６０７は、Ｓ８０３で計算したSADの配列を、前回の演算結果と加算し、加算結果をメモリ６０６に出力し、このメモリ６０６の所定領域に記憶してＳ８０５へと移行する。
【００４１】
Ｓ８０５でマイクロコンピュータ６０７は、ＡＦエリア内のすべての行について焦点検出演算処理が実行されたか否かを判定する。すべての行について演算処理が実行されていない場合、Ｓ８０２に戻り、処理を続行する。また、ＡＦエリア内のすべての行について演算処理が実行された場合にはＳ８０６へと移行する。Ｓ８０６でマイクロコンピュータ６０７は、対象となるＡＦエリアのすべての行の演算結果を加算した値を、メモリ６０６の所定領域から読み出す。マイクロコンピュータ６０７はSADの極小値の位置、即ち最も相関の高くなるシフト位置を検出し、最も相関の高い位置までのずれ量に対して光学的条件で決まる倍率を乗算する事でデフォーカス量を求める。デフォーカス量の算出が終わるとＳ８０７へ移行し、焦点検出演算を終了して図７のＳ７０６の処理へと移行する。
【００４２】
本実施例では、欠陥のある行を含まないSADの配列の行加算処理を行うことで、欠陥のある行を除いた有効なＡ像信号およびＢ像信号を用いて焦点検出が行われる。本実施例によれば、１行のうちの一部に連続して発生した分割画素の欠陥を、周波数成分の差異に基づいて検出することができるので、精度の高い焦点検出および焦点調節を実現できる。
本実施例では相関演算にSADを用いたが、Sum of Squared Difference(SSD)やNormalized Cross-Correlation(NCC)による相関演算を用いても同様の効果が得られる。また図９に示す特性のバンドパスフィルタを用いる構成例について説明を行ったが、バンドパスフィルタの特性はこれに限らず、特定の周波数成分を抽出可能であればよい。
【００４３】
［変形例］
次に図１０を参照して、実施例１に係る変形例１について説明する。図１０は本変形例の連続欠陥検出部１０５の構成例を示すブロック図である。本変形例にて実施例１の場合と同様の構成部については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略の仕方については後述する変形例および実施例でも同じである。
【００４４】
実施例１では、絶対値化回路５０３および５０４を用いて符号を除去し、エッジ強度を算出したが、本変形例では、絶対値化回路の代わりに二乗回路１００１、１００２を使用する。ＢＰＦ部５０１およびＢＰＦ部５０２からそれぞれ出力される中間信号は、二乗回路１００１、１００２により、正の信号値となる。本変形例によれば、実施例１の構成に対してエッジ強度がより強調された信号を得ることができる。
【００４５】
図１１を参照して、実施例１に係る変形例２について説明する。図１１は変形例２の連続欠陥検出部１０５の構成を示すブロック図である。本変形例では周波数分布の比較により欠陥を検出する。本変形例の連続欠陥検出部１０５は、フーリエ変換部１１０１，１１０２と、周波数分布比較部１１０３を備える。
【００４６】
フーリエ変換部１１０１は、入力されたＡ＋Ｂ像信号を処理してフーリエ変換された信号を出力する。フーリエ変換部１１０２は、入力されたＢ像信号を処理してフーリエ変換された信号を出力する。フーリエ変換によって、Ａ＋Ｂ像信号とＢ像信号の各周波数データが取得される。Ａ＋Ｂ像信号とＢ像信号の各周波数データは周波数分布比較部１１０３に出力される。周波数分布比較部１１０３は、入力された周波数データのうち、図９に示す周波数帯域における分布を比較する。周波数分布の比較処理では、通過帯域９０２に存在する全周波数成分について、周波数成分ごとにＡ＋Ｂ像信号の振幅とＢ像信号の振幅との差分の絶対値が算出される。算出された差分の絶対値をすべて加算することにより評価値が取得される。欠陥のない正常な領域においては、被写体由来のエッジ成分がＡ＋Ｂ像信号、Ｂ像信号のいずれにも含まれているため、周波数の分布が大きく異なることはない。一方、連続欠陥の領域においては、Ｂ像信号に被写体由来のエッジ成分が含まれていないため、周波数の分布が大きく異なる。周波数分布比較部１１０３は、複数の信号間で周波数分布を比較し、周波数分布の差異に基づいて欠陥検出を行い、欠陥情報を出力する。
【００４７】
［実施例２］
次に、図１２および図１３を参照して、本発明の実施例２について説明する。
図１２は本実施例の撮像装置の構成例を示すブロック図である。図１３は本実施例の連続欠陥検出部１０５の回路図である。本実施例ではＡ像信号とＢ像信号との比較により欠陥検出を行う構成について説明する。
【００４８】
図１２において、連続欠陥検出部１０５への入力信号はＡ像信号およびＢ像信号である。連続欠陥検出部１０５は、像信号処理部１０３からＡ像信号とＢ像信号を取得して、両者間の比の値を算出する。入力されたＡ像信号とＢ像信号に基づいて比の値が算出されることになるが、連続欠陥の領域においてＢ像の電荷の混入により、Ａ＋Ｂ像信号とＡ像信号とが同じ値を示す。このため、Ａ像信号とＢ像信号との比の値は、Ａ＋Ｂ像信号とＢ像信号との比の値と同様の傾向を示すことになる。従って、Ａ像信号とＢ像信号に基づいて比較を行った場合において欠陥検出が可能であり、実施例１と同様の効果が得られる。
【００４９】
［実施例３］
次に本発明の実施例３を説明する。本実施例の撮像装置の構成は、図１２に示す実施例２と同じである。
図１４を参照して、Ａ像信号およびＢ像信号、中間信号について説明する。図１４(Ａ)は、図４（Ａ）と同様、Ａ＋Ｂ像として欠陥はなく、Ａ像とＢ像に分離したときに連続的な欠陥を生じる場合の１水平期間の信号を示している。
【００５０】
図１４(Ｂ)は、Ａ像信号４０２とＢ像信号４０３とのＲ（赤色）成分とＧ（緑色）成分との比を信号として示したグラフである。撮像素子１０２の画素群はベイヤー配列となっているため、Ｒ画素とＧ画素が交互に並んでいる第１の行と、Ｇ画素とＢ（青色）画素が交互に並んでいる第２の行という２種類の行が存在し、各行から交互に信号が出力される。図１４(Ｂ)は第１の行に対して、Ｒ信号とＧ信号との比を中間信号として示したものである。横軸は画素の水平位置を示しており、縦軸はＲ信号とＧ信号との比を示している。Ｒ信号とＧ信号とが同じレベルであれば比の値は１となる。縦軸の範囲は１を中心に０〜∞である。
【００５１】
色はＲＧＢの３原色のバランスにより構成されており、Ｒ信号とＧ信号との比は色を構成する１つの軸である。この信号の変化は、すなわち色の変化と考える事ができる。図１４（Ｂ）には、Ａ像信号４０２のR/G信号４０８と、Ｂ像信号４０３のR/G信号４０９をそれぞれ示している。
【００５２】
Ｂ像信号４０３は、連続欠陥の領域４０５において、Ｒ信号およびＧ信号ともにゼロ付近の値となっている。このため、R/G信号４０９は１の近傍の値となっている。一方、Ａ像信号４０２のR/G信号４０８は本来のＡ像のR/G比とは異なるが、Ａ＋Ｂ像と同じ色、すなわち被写体の色を反映した値となっており、比の値は１より大きい。
【００５３】
非欠陥領域４０７では、R/G信号４０８と４０９の値はどちらも被写体の色を反映した値となっている。しかしながら、R/G信号４０８と４０９の値が異なる場合、それがデフォーカス状態により発生したのか、欠陥により発生したのかを区別できない。また、レンズの収差によりＡ像とＢ像は異なる色かぶり（色合いの偏り）となるため、合焦状態の場合においても若干異なる色となる。
【００５４】
本実施例ではR/G信号４０８と４０９との関係を、近接する複数の行に亘って比較することにより、欠陥による色変化とデフォーカス状態による色変化を判別し、精度の高い欠陥検出を行うことができる。近接する複数の行とは、対象とする行と、その上下方向にて所定範囲（行数）内に位置する行である。図１４（Ｃ）を参照して、具体例を説明する。
【００５５】
図１４(Ｃ)は、Ａ像のR/G信号とＢ像のR/G信号との比をとった信号を示す。すなわち、Ａ像とＢ像との色の関係を示している。横軸は画素の水平位置を示し、縦軸はＡ像とＢ像のR/G信号の比を示している。Ａ像とＢ像の色が同じであれば、比は１に近い値となり、Ａ像とＢ像の色が異なる場合、０〜∞の範囲で変化する。信号４１０は、図１４（Ａ）にて欠陥行でのＡ像とＢ像から生成された、Ａ像のR/G信号とＢ像のR/G信号との比を示す。信号４１１は、信号４１０の行に対して２ライン上の行における、Ａ像のR/G信号とＢ像のR/Gとの比を示す。ベイヤー配列の撮像素子の場合、Ｒ信号とＧ信号は２ラインに１度の割合で出力されるので、対象の行と同色構成である最も近い行の信号は、既に読み出されている２ライン上の行の信号である。
【００５６】
信号４１０は、連続欠陥の領域４０５において図１４（Ｂ）の信号４０８とほぼ同じ振幅となっている。その理由は信号４０９の値がほぼ１であることによる。非欠陥の領域４０７では信号４１０の値が１に近い値となっている。一方、信号４１１は、信号４１０とは異なる変化を示す。信号４１１は、連続欠陥の領域４０５において１より小さい値であり、非欠陥領域４０７では信号４１０に漸近していく。
【００５７】
図１４（Ｄ）は、図１４（Ｃ）の信号４１０から信号４１１を減算した信号４１２の変化を示している。横軸は画素の水平位置を示し、縦軸は信号４１２のレベルを示す。信号４１２は閾値４１３と比較される。つまり、本実施例では信号４１２のレベルが閾値４１３を超えた場合に欠陥が発生している領域であることが検出される。図１４（Ｄ）では連続欠陥の領域４０５と過渡期の領域４０６で信号４１２のレベルが閾値４１３を超えている。
【００５８】
以上の説明では対象の行とそれよりも２ライン上の行との間で、Ａ像とＢ像の色比の関係を比較する処理が行われるものとした。本実施例ではさらに、対象の行とそれよりも２ライン下の信号との間で、閾値を用いて同様の比較および検出が行われる。つまり、上方向または下方向だけの一方向の行同士の比較では、被写体画像の変化点において誤検出の可能性がある。上下の両方向の行を比較する場合には、１ラインだけＡ像とＢ像の色比の関係が異なることは稀である。よって、対象の行と上下方向の各行との間でＡ像とＢ像の色比の関係を比較することにより、検出精度を高めることができる。また、上下方向における複数の行に亘ってＡ像とＢ像との色比の関係を個別に比較する方法に限らず、上下方向の複数の行における各信号の平均値を求め、当該平均値を用いて対象の行の信号と比較しても同様の効果が得られる。あるいは行ごとに重み付け係数を乗算した加重平均値を求め、当該加重平均値を用いて対象の行の信号と比較してもよい。
【００５９】
図１５は連続欠陥検出部１０５の構成例を示す回路図である。Ａ像信号は端子１５１７に入力され、Ｂ像信号は端子１５１８に入力される。色比回路１５０１，１５０２は色の比を算出する。色比回路１５０１はＡ像信号１０９からR/G信号を生成し、色比回路１５０２はＢ像信号１１０からR/G信号を生成する。色比回路１５０１，１５０２は同じ回路構成であるため、一方の回路１５０１だけを説明する。フリップフロップ１５０１ａと除算器１５０１ｂは、隣接する信号との比を算出する回路である。その後段には、除算器１５０１ｂの出力を保持する保持回路１５０１ｃがある。保持回路１５０１ｃは、インバータ１５０１ｄおよびフリップフロップ１５０１ｅにより生成される信号にしたがって除算器１５０１ｂの出力信号を取り込んで保持する。信号を取り込むサイクルと保持するサイクルとが交互に行われる。この構成によりR/G信号は通過し、G/R信号は通過しない。
【００６０】
ローパスフィルタ（ＬＰＦ）１５０３は色比回路１５０１の出力信号が入力され、信号の低域成分のみを通過させる。ＬＰＦ１５０４は色比回路１５０２の出力信号が入力され、信号の低域成分のみを通過させる。ＬＰＦ１５０３、１５０４の出力はそれぞれ、図１４（Ｂ）の信号４０８、４０９に対応している。
【００６１】
除算器１５０５は、ＬＰＦ１５０３、１５０４の各出力の比を算出する回路であり、その出力は図１４（Ｃ）の信号４１０に対応している。除算器１５０５の出力信号は１ライン遅延回路１５０６〜１５０９に入力され、４行遅延した信号が生成される。１ライン遅延回路１５０６〜１５０９はいずれもＦＩＦＯ（First In, First Out）回路である。例えば遅延回路１５０７の出力信号を基準として、遅延されていない信号は２ライン下の信号であり、遅延回路１５０９の出力信号は２ライン上の信号となる。つまり、遅延回路１５０７の出力信号を対象の行の信号とすると、除算器１５０５の出力信号は２ライン下の行の信号であり、遅延回路１５０６の出力信号は１ライン下の行の信号である。遅延回路１５０８の出力信号は１ライン上の行の信号であり、遅延回路１５０９の出力信号は２ライン上の行の信号である。
【００６２】
減算回路１５１１は、遅延回路１５０９の出力信号と遅延回路１５０７の出力信号との差分の絶対値を算出する。減算回路１５１１の出力信号は図１４（Ｄ）の信号４１２に対応している。比較演算器１５１３は、減算回路５１１の出力信号と閾値５１６とを比較する。閾値５１６は図１４（Ｄ）の閾値４１３に対応している。比較演算器１５１３の出力信号は２入力の論理積回路１５１４に入力される。
【００６３】
減算回路１５１０は、除算器１５０５の出力信号と遅延回路１５０７の出力信号との差分の絶対値を算出する。比較演算器１５１２は、減算回路１５１０の出力信号と閾値１５１６とを比較する。比較演算器１５１２の出力信号は論理積回路１５１４に入力される。
【００６４】
このように比較演算器１５１３により、対象の行と２ライン上の行とが比較され、比較演算器５１２により、対象の行と２ライン下の行とが比較される。論理積回路１５１４は、比較演算器１５１３と１５１２の各出力信号がともにハイレベルである場合に、上下両方の行に関する判定結果として論理値「１」、つまり真値の判定結果を示す信号１５１５を出力する。
【００６５】
連続欠陥検出部１０５の出力信号１５１５は、Ａ像信号１０９、Ｂ像信号１１０とともに焦点検出部１０６に送られる。連続欠陥検出部１０５の出力信号５１５は遅延調整が行われた後、焦点検出部１０６は出力信号５１５に基づいて、Ａ像信号１０９、Ｂ像信号１１０を焦点検出に用いるか否かについて判断する。
【００６６】
図６を参照して、本実施例の焦点検出部１０６について説明する。連続欠陥検出部１０５の出力信号６０３は欠陥を示す１ビットの信号であり、取り込み回路６０５へ入力される。マイクロコンピュータ６０７から指定された画角中の焦点検出位置での各信号が取り込まれ、メモリ６０６に記憶される。取り込み回路６０４と６０５はそれぞれ有効なデータの数をカウントし、縦横の位置を認識して、指定の焦点検出領域での画素値および欠陥情報を取り込み、メモリ６０６の所定番地に記憶する。
【００６７】
本実施例では、複数の行に亘って色比を比較することにより、欠陥による色変化とデフォーカスによる色変化を正しく判別することができる。本実施例ではＡ像の色とＢ像の色との関係について上下方向の複数の行で比較することで欠陥検出を行った。これに限らず、Ａ＋Ｂ像とＡ像との色比の関係、またはＡ＋Ｂ像とＢ像との色比の関係を用いても同様の効果が得られる。また、撮像装置の焦点検出を例示して説明したが、取得したデータに基づいて距離マップを作成する場合にも有効な技術である。距離マップは撮像された画像内の各被写体の奥行き方向の深度を示す距離分布データから構成され、３次元画像処理やリフォーカス処理等で使用される。
【００６８】
［変形例］
図１６を参照して、実施例３の変形例について説明する。図１６は本変形例の連続欠陥検出部１０５の構成を示すブロック図である。図１５に示す構成との相違点は、図１６の回路には色比回路１５０１、１５０２が存在しない点である。Ａ像入力端子１５１７およびＢ像入力端子１５１８からそれぞれ入力された信号は、そのままローパスフィルタ１５０３、１５０４に入力される。これによりＲ＋Ｇ信号とＧ＋Ｂ信号の低周波成分がそれぞれ抽出される。本変形例の除算器１５０５は、ＲとＧまたはＧとＢの輝度に相当する信号の、Ａ像とＢ像との比を算出する。輝度の比についても被写体画像のデフォーカス状態とシェーディングによりバランスが決まるが、近傍の行では概ね同じ傾向となるので、実施例３の場合と同様の原理で欠陥検出を行うことができる。
【００６９】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７０】
１０２…撮像素子
１０３…像信号処理部
１０５…連続欠陥検出部
１０６…焦点検出部
【図１】
2018014626.tif 000003
【図２】
2018014626.tif 000004
【図３】
2018014626.tif 000005
【図４】
2018014626.tif 000006
【図５】
2018014626.tif 000007
【図６】
2018014626.tif 000008
【図７】
2018014626.tif 000009
【図８】
2018014626.tif 000010
【図９】
2018014626.tif 000011
【図１０】
2018014626.tif 000012
【図１１】
2018014626.tif 000013
【図１２】
2018014626.tif 000014
【図１３】
2018014626.tif 000015
【図１４】
2018014626.tif 000016
【図１５】
2018014626.tif 000017
【図１６】
2018014626.tif 000018