(57)【特許請求の範囲】
【請求項１】
１つのマイクロレンズに対して、瞳分割された一対の光束対をそれぞれ受光する第１画素と第２画素を有し、当該マイクロレンズが２次元状に配列されている撮像素子を用いて得られた画像を処理する画像処理装置であって、
前記第１画素及び前記第２画素の出力を用いて合焦度を評価する合焦度評価手段と、
前記撮像素子の欠陥画素を検出する欠陥検出手段と、
前記欠陥検出手段により検出された前記欠陥画素を補間する補間手段と、
前記第１画素、前記第２画素、及び、前記補間手段により前記欠陥画素を補間して得られた画素の出力を用いて撮影画像を生成する信号処理手段と、を有し、
前記欠陥検出手段は、前記合焦度評価手段により評価された前記合焦度が所定値以上である場合に、前記第１画素の第１特定画素と前記第２画素の第２特定画素との画素値の第１比率と、該第１特定画素の近傍に位置する第１近傍画素と該第２特定画素の近傍に位置する第２近傍画素との画素値の第２比率とを比較することにより、該第１特定画素又は該第２特定画素が前記欠陥画素であるか否かを判定する、
ことを特徴とする画像処理装置。
【請求項２】
前記第１近傍画素及び前記第２近傍画素はそれぞれ複数の近傍画素からなり、
前記第２比率は、前記複数の近傍画素の画素値の平均値を用いて算出されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記欠陥検出手段は、
前記第１比率と前記第２比率との比率が所定のしきい値を超えた場合に、前記第１特定画素又は前記第２特定画素が前記欠陥画素であると判定し、
前記合焦度評価手段により評価された前記合焦度が高くなるにつれて前記しきい値が低くなるように、該しきい値を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
１つのマイクロレンズに対して、瞳分割された一対の光束対をそれぞれ受光する第１画素と第２画素を有し、当該マイクロレンズが２次元状に配列されている撮像素子を用いて得られた画像を処理する画像処理方法であって、
前記第１画素及び前記第２画素の出力を用いて合焦度を評価する合焦度評価ステップと、
前記撮像素子の欠陥画素を検出する欠陥検出ステップと、
前記欠陥画素を補間する補間ステップと、
前記第１画素、前記第２画素、及び、前記欠陥画素を補間して得られた画素の出力を用いて撮影画像を生成する信号処理ステップと、を有し、
前記欠陥検出ステップは、前記合焦度が所定値以上である場合に、前記第１画素の第１特定画素と前記第２画素の第２特定画素との画素値の第１比率と、該第１特定画素の近傍に位置する第１近傍画素と該第２特定画素の近傍に位置する第２近傍画素との画素値の第２比率とを比較することにより、該第１特定画素又は該第２特定画素が前記欠陥画素であるか否かを判定する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の欠陥画素を検出して画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
従来から、撮像素子における欠陥画素の補正方法として、製造工程において検出用のチャートを撮影して欠陥を検出し、検出した欠陥位置を製品ＲＯＭに記憶させ、欠陥補正を行う方法がある。一方、撮像素子の製造工程では欠陥ではなかった画素が実使用時に欠陥画素となる場合がある。この場合、被写体を撮影しながら欠陥画素を検出する必要がある。また、従来から、撮像素子のマイクロレンズ１つにつき複数のフォトダイオードを配置して光束の瞳分割を行い、位相差に基づいてデフォーカス量を計算して焦点検出を行う焦点検出方法がある。
【０００３】
特許文献１には、特定画素と近傍画素との画像値の差を利用して欠陥画素候補を検出し、欠陥画素候補が誤検出か否かを画像のエッジ部か否かで判定して誤検出を防ぐ構成が開示されている。また特許文献２には、撮像素子のマイクロレンズ１つにつき複数のフォトダイオードを配置して瞳分割を行う構成が開示されている。瞳分割したそれぞれの画素群に投影された被写体の投影位置のずれ量と方向からデフォーカス量とデフォーカス方向を計算して焦点検出を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９８４９３６号
【特許文献２】特開２００１−０８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された方法では、画像のエッジではない場所の欠陥部分に関して誤検出が生じる。またこの方法では、欠陥画素か否かを判定するためのしきい値を高めると欠陥検出漏れによるノイズの増大を招き、逆にしきい値を低下させると誤検出により本来画像にあるべき輝度の起伏を補正して消してしまう。一方、特許文献２のように撮像素子のマイクロレンズ１つにつき複数のフォトダイオードを配置して光束の瞳分割を行う構成において、その構成の特性を利用した欠陥画素検出方法は提案されていない。
【０００６】
そこで本発明は、瞳分割された光束を利用して撮像素子の欠陥画素を高精度に検出する画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、１つのマイクロレンズに対して、瞳分割された一対の光束対をそれぞれ受光する第１画素と第２画素を有し、当該マイクロレンズが２次元状に配列されている撮像素子を用いて得られた画像を処理する画像処理装置であって、前記第１画素及び前記第２画素の出力を用いて合焦度を評価する合焦度評価手段と、前記撮像素子の欠陥画素を検出する欠陥検出手段と、前記欠陥検出手段により検出された前記欠陥画素を補間する補間手段と、前記第１画素、前記第２画素、及び、前記補間手段により前記欠陥画素を補間して得られた画素の出力を用いて撮影画像を生成する信号処理手段と、を有し、前記欠陥検出手段は、前記合焦度評価手段により評価された前記合焦度が所定値以上である場合に、前記第１画素の第１特定画素と前記第２画素の第２特定画素との画素値の第１比率と、該第１特定画素の近傍に位置する第１近傍画素と該第２特定画素の近傍に位置する第２近傍画素との画素値の第２比率とを比較することにより、該第１特定画素又は該第２特定画素が前記欠陥画素であるか否かを判定する。
【０００８】
本発明の他の側面としての画像処理方法は、１つのマイクロレンズに対して、瞳分割された一対の光束対をそれぞれ受光する第１画素と第２画素を有し、当該マイクロレンズが２次元状に配列されている撮像素子を用いて得られた画像を処理する画像処理方法であって、前記第１画素及び前記第２画素の出力を用いて合焦度を評価する合焦度評価ステップと、前記撮像素子の欠陥画素を検出する欠陥検出ステップと、前記欠陥画素を補間する補間ステップと、前記第１画素、前記第２画素、及び、前記欠陥画素を補間して得られた画素の出力を用いて撮影画像を生成する信号処理ステップと、を有し、前記欠陥検出ステップは、前記合焦度が所定値以上である場合に、前記第１画素の第１特定画素と前記第２画素の第２特定画素との画素値の第１比率と、該第１特定画素の近傍に位置する第１近傍画素と該第２特定画素の近傍に位置する第２近傍画素との画素値の第２比率とを比較することにより、該第１特定画素又は該第２特定画素が前記欠陥画素であるか否かを判定する。
【０００９】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１０】
本発明によれば、瞳分割された光束を利用して撮像素子の欠陥画素を高精度に検出する画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１における画像処理装置のブロック図である。
【図２】実施例１における撮像素子の画素構造を示す図である。
【図３】実施例１における撮像素子の画素配列を示す図である。
【図４】実施例１における第二の欠陥検出回路のサブブロック図である。
【図５】実施例１における第一の欠陥検出回路の回路図である。
【図６】実施例１における第二の欠陥検出回路のサブブロック図である。
【図７】実施例１におけるシーディング原理の説明図である。
【図８】実施例１において、シェーディングによるＡ画素及びＢ画素の比率の説明図である。
【図９】実施例１における合焦度評価部の回路図である。
【図１０】実施例１において、第一の欠陥検出回路による着目画素と参照画素の関係図である。
【図１１】実施例１において、第二の欠陥検出回路による着目画素と参照画素の関係図である。
【図１２】実施例１において、合焦度（デフォーカス量）と第二の欠陥検出回路によるしきい値のルックアップテーブルの関係を示すグラフである。
【図１３】実施例１において、画面の位置とケラレ形状の関係図である。
【図１４】実施例１における第二の欠陥検出回路と画素位置の関係図である。
【図１５】実施例３における撮像素子の画素の構造図である。
【図１６】実施例２における画像処理方法のフローチャートである。
【図１７】実施例４におけるシステムの光学的構造図である。
【図１８】実施例１における欠陥画素と通常画素の区別についての説明図である。
【図１９】実施例３における４分割画素のカラーフィルタの配列図である。
【図２０】実施例１における第二の欠陥検出回路のブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【実施例１】
【００１３】
まず、図１を参照して、本発明の実施例１における画像処理装置に構成について説明する。本実施例の画像処理装置は、撮像光学系からの光束を瞳分割して第１光束及び第２光束を得て、第１光束を光電変換する複数の第１画素及び第２光束を光電変換する複数の第２画素を含む撮像素子を用いて得られた画像を処理するように構成されている。
【００１４】
図１は、本実施例における画像処理装置１００のブロック図である。図１において、１０１は撮像レンズ（撮像光学系）であり、１０２は撮像素子である。撮像素子１０２は、撮像レンズ１０１からの光束を瞳分割して得られた第１光束及び第２光束それぞれの光電変換を行う複数の第１画素（Ａ画素）及び複数の第２画素（Ｂ画素）を有する。１０３はＡＤ変換器、１０５は欠陥位置記憶ＲＯＭ、１０４は欠陥マーク挿入部、１０６は第一の欠陥検出回路、１０７は欠陥補間回路である。
【００１５】
１０８は、複数の第１画素及び複数の第２画素の出力を用いて合焦度（焦点状態）を評価する合焦度評価回路（合焦度評価手段）である。１０９は第二の欠陥検出回路（欠陥検出手段）であり、合焦度評価部１０８により評価された合焦度が所定値以上である場合に、撮像素子１０２の欠陥画素を検出する。１１０は欠陥補間回路（補間手段）であり、第二の欠陥検出回路１０９により検出された欠陥画素を補間する。１１１は、瞳分割画素（第１画素及び第２画素）を加算してベイヤー配列にする加算ベイヤー化回路である。１１２は映像信号処理回路（信号処理手段）であり、複数の第１画素、複数の第２画素、及び、欠陥補間回路１１０により欠陥画素を補間して得られた画素の出力を用いて撮影画像を生成する。１１３は画像処理装置１００の全体を制御するマイクロコンピュータである。画像処理装置１００において、撮像レンズ１０１を通過した光が撮像素子１０２に結像する。
【００１６】
続いて、図２を参照して、撮像素子１０２の画素構造について説明する。図２（ａ）は、撮像素子１０２の画素の正面図を示し、図２（ｂ）は画素の断面図を示す。図２において、２０１はマイクロレンズであり、２０２及び２０３はそれぞれフォトダイオードである。１つのマイクロレンズに対して２つのフォトダイオードを用いて画像を読み出すことにより、図中の左右に瞳分割を行っている。以下、左右の画素をそれぞれＡ画素及びＢ画素、また、左右の画素（Ａ画素及びＢ画素）を集めて形成される像をそれぞれＡ像、Ｂ像という。図３は、本実施例における撮像素子の画素配列（カラーフィルタの配列）を示す図である。図３に示されるように、カラーフィルタの配列は、マイクロレンズ２０１ごとに加算することにより、通常のベイヤー配列となる。
【００１７】
図１に示されるように、撮像素子１０２からの出力信号はＡＤ変換器１０３によりデジタル変換され、欠陥マーク挿入部１０４に入力される。欠陥マーク挿入部１０４には、欠陥位置記憶ＲＯＭ１０５（メモリ）から画像に同期して欠陥位置を示す信号が出力される。欠陥位置記憶ＲＯＭ１０５は、ワンタイムＲＯＭやフラッシュＲＯＭで構成され、製造工程において検出された画素の欠陥位置を記憶している。欠陥マーク挿入部１０４は、欠陥位置記憶ＲＯＭ１０５からの信号を受け取り、欠陥画素である場合にはそれを示す特定の値を設定する。本実施例では、欠陥画素を示すマークとして値０（ゼロ）を用いるが、これに限定されるものではない。欠陥位置記憶ＲＯＭ１０５からの信号により、特定の画素に対して欠陥マークを示す値０が設定されると、以後の全ての処理においてその画素は欠陥画素として取り扱われる。欠陥ではない通常の画素に対しては、その値が０にならないように、０が設定されている場合には１に置き換える。
【００１８】
ただし、撮像素子１０２からの信号にはオプティカルブラックと呼ばれる露光していない部分が存在し、オプティカルブラック部分のばらつきを吸収するためのオフセットが信号成分として含まれている。このため、通常、０付近のデータは入力されない。このように、製造工程で検出済の欠陥画素に関しては、欠陥マーク挿入部１０４において欠陥マークに置き換えられる。欠陥マーク挿入部１０４の出力は、第一の欠陥検出回路１０６に入力される。
【００１９】
続いて、図５を参照して、第一の欠陥検出回路１０６の回路構成について説明する。図５は、第一の欠陥検出回路１０６の回路図である。図５において、５０１は信号を入力する端子、５０５及び５０６は２ライン遅延回路である。２ライン遅延回路５０５の出力に対して、端子５０１に入力される信号及び２ライン遅延回路５０６の出力がそれぞれ２ライン上の画素及び２ライン下の画素となるように同期がとられている。５０２、５１１、５０３、５０４は遅延素子である。遅延素子５０２、５０３、５０４の出力と２ライン遅延回路５０５の出力は、加算器５０７、５０８、５０９により全て加算され、シフト回路５１０により４分の１にされる。これにより、遅延素子５１１の出力のタイミングを中心として、同色同瞳の上下左右の平均値が端子５０１からの入力信号に対する出力として計算される。
【００２０】
次に、図１０を参照して、画素の位置関係について説明する。図１０は、第一の欠陥検出回路１０６による参照画素を示す図である。中心の欠陥検査画素が遅延素子５１１の出力とすると、それぞれ上下左右の同じカラーフィルタの同じ瞳形状の画素の平均がシフト回路５１０の出力となる。減算器５１２は、シフト回路５１０の出力と遅延素子５１１の出力の差をとり、絶対値回路５１６で差の絶対値に変換される。すなわち、絶対値回路５１６は、上下左右の同色同瞳の平均値と着目画素の差の絶対値を出力する。比較器５１３の一方の入力として絶対値回路５１６の出力が入力され、その他方の入力として外部から端子５１５にしきい値が入力される。
【００２１】
このように、近傍同色同瞳の平均値と着目画素値の差の絶対値としきい値の比較結果として、特定の画素が欠陥画素であるか否かを示す検出信号が生成され、端子５１４から出力される。端子５１４から検出信号が出力されることにより、第一の欠陥検出回路１０６の後段において欠陥マーク挿入部１０４と同様に欠陥マークが挿入される。なお、端子５１５にしきい値として入力される値は、マイクロコンピュータ１１３から与えられる。
【００２２】
第一の欠陥検出回路１０６の出力は、第二の欠陥検出回路１０９と欠陥補間回路１０７に入力される。欠陥マーク挿入部１０４と第一の欠陥検出回路１０６により欠陥画素と判断された画素は、欠陥補間回路１０７により補間されることで、欠陥の無い画素として扱われる。なお、欠陥補間回路１０７による補間の方法に関しては、本発明の本質と深く関連しないため、ここでの説明を省略する。欠陥補間回路１０７により補間処理された信号は、合焦度評価部１０８により評価される。
【００２３】
続いて、合焦度評価部１０８及び第二の欠陥検出回路１０９の詳細を説明する前に、本実施例の原理について説明をする。欠陥画素には白傷や黒傷等の固定値が出力される画素と、他の画素に対して黒レベルや感度が異なる画素が存在し、感度や黒レベルの異なる画素の検出は困難である。本実施例における第二の欠陥検出回路１０９は、感度や黒レベルが異なるような、検出が困難な欠陥画素の検出を容易にする。
【００２４】
図１８は、欠陥画素と通常画素の区別についての説明図であり、合焦の際にＡ画素（第１画素）の信号のみで生成したＡ像信号とＢ画素（第２画素）の信号のみで生成したＢ像信号を示している。合焦の際には、瞳分割した光束（第１光束及び第２光束）の撮像面での投影位置が一致しているため、Ａ像とＢ像は同じ像となる。図１８に示されるように、Ａ像とＢ像に若干のレベル差があるのは、シェーディング特性がＡの瞳とＢの瞳で異なるからである。ここで、部分１８０１、１８０２はそれぞれ、前後のレベルに対してピンポイントで高いレベルとなっている。部分１８０１は、Ａ像及びＢ像ともにピンポイントでレベル差があるため、被写体そのものにハイライト部があると考えられる。それに対して、部分１８０２は、Ｂ像のみがピンポイントで高いレベルとなっており、同じ部分がＡ像にないのは原理上ありえない。したがって、部分１８０２は欠陥画素によるものと判断できる。本実施例は、部分１８０１は欠陥として誤検出することなく、部分１８０２のみを欠陥として検出する。
【００２５】
次に、第二の欠陥検出回路１０９による検出方法の原理について詳述する。左右に瞳分割したＡ像とＢ像によって得られる像は、合焦状態の場合にはほぼ一致し、非合焦状態の場合には左右に像の投影位置がずれるという性質を有する。この性質を使って焦点検出を行う方法が知られている。合焦状態においても、Ａ像とＢ像は異なるシェーディング特性を有するため、若干のレベル差が発生する。レンズに対して中心から遠く、すなわち像高が高くなると、レベル差も大きくなる。
【００２６】
続いて、図７を参照して、シェーディングの原理について詳述する。図７（ａ）はレンズの断面図であり、撮像素子７０４上における光軸中心に位置する点ｘと像高の高い位置の点ｙが矢印で示されている。図７（ｂ）は、点ｘと点ｙの位置からレンズを見た場合に投影される枠の位置関係を示している。図７において、７０１、７０２、７０３はそれぞれ、被写体側のレンズ、絞り、撮像素子７０４側のレンズにより形成される枠である。撮像素子７０４上の点ｘから見ると、枠７０１、７０２、７０３は、同心円に設けられており、光が通過できる形状が絞り７０２によって決定づけられる。撮像素子７０４上の点ｙから見ると、上側が枠７０３によって削られ、下側が枠７０１によって削られ、側面は枠７０２によって削られる。図７（ｂ）は、３つの枠により削られた光の通過できる場所の形状を示している。一般にこの形状のことを口径食、またはケラレ形状と呼ぶ。
【００２７】
図８は、シェーディングによるＡ画素及びＢ画素の比率の説明図であり、ケラレ形状に対して２つに瞳分割されたフォトダイオードを重ねた図である。フォトダイオードに対して光が届くのは、図８中の斜線部のみである。図８の状態において、フォトダイオード２０２には、フォトダイオード２０３よりも多くの面積に対して光が到達する。このため、合焦状態でＡ像とＢ像が一致していても、口径食（ケラレ形状）の影響によりレベル差が発生する。
【００２８】
図１３は、撮像素子上の場所（画面の位置）とケラレ形状の関係図（特性図）である。像高が高くなるとケラレ形状もいびつとなり、場所により形状に違いが生じる。しかし、いずれの場所においても、近傍画素同士のケラレ形状は非常に類似している。このことから、図８のように、フォトダイオード２０２、２０３のレベル差は発生するが、近傍画素では同じ特性でレベル差が発生していることになる。
【００２９】
本実施例における第二の欠陥検出回路１０９は、次の２つの原理を利用する。
（１）合焦時はＡ像及びＢ像が重なって同じ像となるため、Ａ画素とＢ画素のレベル差はケラレ形状によるものが支配的となる。
（２）近傍画素同士のケラレ形状は極めて類似している。
以上の２つの原理を利用することにより、本実施例では以下のように画素欠陥を検出する。すなわち、近傍画素のＡ画素とＢ画素のレベル比を着目画素と同じマイクロレンズの対面する側の画素値に掛け、これを基準値とする。そして、この基準値と着目画素の信号値との差が所定のしきい値を超えた場合に、その着目画素が欠陥画素であると判定する。また、合焦度が大きいほどしきい値が低くなるように、合焦度が小さいほどそのしきい値が高くなるように設定する。本実施例では、合焦度評価部１０８と第二の欠陥検出回路１０９により、このようなアルゴリズムを実現することができる。
【００３０】
続いて、図９を参照して、合焦度評価部１０８の回路構成について詳述する。図９は、合焦度評価部１０８の回路図であり、説明を簡単にするため実際よりも少ない回路規模で記載されている。図９において、端子９０１に入力される信号は、欠陥補間回路１０７の出力信号である。９０２は、同一サイクルで異なる位置の画素を参照するための遅延素子群である。本実施例では、隣接した６個の画素を同時に取り出す。遅延素子群９０２に対して遅延素子９０３〜９０７に供給されるクロックは、端子９１５から入力されるＥＶＥＮ／ＯＤＤ信号でゲートされて２分の１になり、見かけ上Ａ画素及びＢ画素の２画素が入力される毎に１サイクル処理される。遅延素子９０３〜９０７は、互いに同じ回路構成を有し、入力される２つの画素位置が異なるだけである。遅延素子９０３〜９０７からは、２つの画素値の差を二乗して７サイクル分加算した信号が出力される。
【００３１】
この回路は、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）演算法による相関量を算出している。遅延素子９０５の入力は、Ａ画素とＢ画素が同じマイクロレンズに対応したものとなっている。それに対して、遅延素子９０４の入力は、Ａ画素に対して隣のマイクロレンズのＢ画素、遅延素子９０３はさらに隣のマイクロレンズのＢ画素、遅延素子９０６、９０７は遅延素子９０５と同じＢ画素に対してＡ画素をずらしたものが入力されている。遅延素子９０３〜９０７により、Ａ像とＢ像が±２のシフト量の範囲における一致度を示す相関量が出力される。ＳＳＤ演算法では、像の一致度が高い程、評価値が小さくなる。９０９は、評価値が低く像の一致度が高いシフトに対応したビットが１つだけ１となり他のビットが０となる回路である。９０８は、２入力のコンパレータで比較した結果、予期した大小関係の場合には１を、そうでない場合には０を出力する。それら出力結果の組み合わせが設定値と合致する後段論理回路のみが１を出力する。合焦している部分であればシフト量０を示す出力（端子９１２）が１となり、合焦度が下がるとシフト量の大きな場所に対応した出力（端子９１０、９１１、９１３、９１４の出力）が１となる。
【００３２】
図９においては、説明を簡単にするために遅延素子群９０２での遅延量を６、遅延素子９０３〜９０７での積算幅を７に設定しており、それぞれ、シフト量と一致度評価幅に対応している。シフト量としては、レンズの光学的特性で決定されるＡ像とＢ像の基線長と最大デフォーカス量に依存した最大シフト量をカバーできるだけの幅が必要である。合焦度評価部１０８の結果は、マイクロコンピュータ１１３により読み出され、オートフォーカスにも利用される。また、合焦度評価部１０８の出力は、第二の欠陥検出回路１０９にも入力される。
【００３３】
次に、図２０、図４及び図６を参照して、第二の欠陥検出回路１０９について詳述する。図２０は、第二の欠陥検出回路１０９のブロック図である。図２０において、２００４〜２００７は基準値を生成する回路であり、２００８は端子２００１から入力された入力信号と端子２００２から入力された所定のしきい値信号とを比較してマスク信号を生成する回路である。２００９は、回路２０１０に対して端子２００１からの入力信号を同期させるための遅延回路である。２０１０は、端子２００３から入力された合焦度（デフォーカス量）に関する信号を用いて、最終的に画素欠陥か否かを判定し、その判定結果に応じた出力信号を端子２０１１に出力する判定回路である。
【００３４】
図４は、第二の欠陥検出回路１０９のサブブロック図であり、左側基準値を生成する回路２００５の回路図である。図４において、４０１は第一の欠陥検出回路１０６からの信号を入力する端子であり、４０２〜４０５は入力信号を遅延させる遅延素子である。４１１は、Ａ画素のサイクルとＢ画素のサイクルの区別をつけるための信号を入力する端子である。端子４１１から入力された信号は、各サイクルトグルで動作する。４０８は、演算結果としての信号を出力する端子である。
【００３５】
端子４０８に出力される信号は、遅延素子４０４によって遅延した出力タイミングに相当する遅延を有する補間信号である。ここで、遅延素子４０４の出力タイミングをｘ［ｎ］とすると、遅延素子４０５の出力タイミングはｘ［ｎ−１］、遅延素子４０３の出力タイミングはｘ［ｎ＋１］と考えることができる。また、遅延素子４０２の出力タイミングはｘ［ｎ＋２］、端子４０１からの入力信号のタイミングはｘ［ｎ＋３］となる。この回路は、各サイクルにおいて端子４０８に対して基準値を出力する。端子４１１からの入力信号によりスイッチ４０６、４０９が切り替わり、除算器４１０と乗算器４０７に対する入力が切り替わる。その結果、端子４０８に出力される信号の演算式は、端子４１１からの入力信号が１のサイクルと０のサイクルで切り替わる。端子４１１からの入力信号が１のサイクルがＯＤＤ、０のサイクルがＥＶＥＮとすると、演算式は以下のように表される。
【００３６】
ＥＶＥＮ：基準値ｘ［ｎ］＝（ｘ［ｎ＋２］／ｘ［ｎ＋３］）＊ｘ［ｎ＋１］
ＯＤＤ：基準値ｘ［ｎ］＝（ｘ［ｎ＋１］／ｘ［ｎ＋３］）＊ｘ［ｎ−１］
図１４を参照して、上記の演算式と画素位置の対応を説明する。ＥＶＥＮのタイミングでは、ｘ［ｎ］がＢ画素、対応するＡ画素がｘ［ｎ＋１］、隣のＡ画素がｘ［ｎ＋３］、Ｂ画素がｘ［ｎ＋２］となる。一方、ＯＤＤのサイクルでは、ｘ［ｎ］がＡ画素となり、対応するＢ画素がｘ［ｎ−１］となる。また、隣のＡ画素がｘ［ｎ＋２］、Ｂ画素がｘ［ｎ＋１］となる。このように回路２００５は、Ａ画素とＢ画素が交互に配置されているため、サイクル毎に演算式が変化するように構成されている。図４に示される回路２００５だけでも、本実施例として機能するが、隣の画素が低輝度である場合やノイズが多い場合には、影響を受ける可能性がある。このため、本実施例では後段の回路において上下左右から算出した値の平均値が用いられる。
【００３７】
図６は、第二の欠陥検出回路１０９における回路２０１０のブロック図である。４つの端子６０１〜６０４に入力される信号はそれぞれ、上下左右画素の比を用いて計算した基準値である。図４の回路２００５が比の参照画素として左側の画素を参照しているのに対して、入力６０２〜６０４に接続された回路ではそれぞれ、上下右を参照しているところが異なる。
【００３８】
図１１は、第二の欠陥検出回路１０９において、着目画素と参照画素の位置関係を示している。図１１に示されるように、着目画素を画素Ｂ０（第２画素の第２特定画素）とした場合、画素Ａ０（第１画素の第１特定画素）と画素Ｂ０との画素値の比率を第１比率と定義する。また、画素Ａ０、Ｂ０に隣接する画素Ａ１〜Ａ４、Ｂ１〜Ｂ４を参照画素とし、画素Ａ１〜Ａ４と画素Ｂ１〜Ｂ４の画素値の平均値の比率を第２比率と定義する。なお、本実施例において、参照画素は画素Ａ０、Ｂ０に隣接する画素に限定されるものではなく、近傍に位置する画素であればよい。
【００３９】
図６において、端子６０１〜６０４から入力された信号は、加算器６０５〜６０７により加算され、シフト回路６０８で４分の１倍されることにより、それらの平均値（基準値）が得られる。端子６１０から入力された信号は、基準値と同期した信号値を有する。減算器６０９により基準値と信号値の差分が計算され、絶対値回路６１１によりその差分の絶対値が得られる。一方、図９の合焦度評価部１０８から端子６１２に合焦度が入力され、ルックアップテーブル６１３によりその合焦度に応じたしきい値に変換される。
【００４０】
図１２は、ルックアップテーブル６１３の特性を示すグラフであり、縦軸が入力値である合焦度（デフォーカス量）、横軸が出力値であるしきい値である。入力値（合焦度）は、０に近いほど合焦しており、大きくなるほど焦点が合っていないことを示す。それに対し、出力値（しきい値）は、合焦しているとしきい値は低く、焦点が合っていないとしきい値は高くなる。このようにして生成されたしきい値と絶対値回路６１１の出力（基準値と信号値との差の絶対値）を比較器６１４により比較し、基準値と信号値との差の絶対値がしきい値を超えた場合、その画素が欠陥画素と判定される。
【００４１】
Ａ像とＢ像の比を対面する画素に掛けて得られた基準値を用いると、図１８中の部分１８０２で欠陥画素があることを認識できるが、Ａ画素及びＢ画素のいずれ又は両方が欠陥であるかを区別することができない。その結果、比較器６１４の出力として、Ａ画素及びＢ画素の両方を欠陥として検出される。
【００４２】
図２０において、２００８は上記問題を解決するためのマスク生成回路である。マスク生成回路２００８は、図５の第一の欠陥検出回路１０６と同様の構成を有し、入力されるしきい値が第一の欠陥検出回路１０６より厳しい。具体的には、図１８中におけるＢ像に対して、部分１８０１、１８０２の両方とも欠陥として検出してしまうほどしきい値は小さい。しかし、Ａ像に対する部分１８０２では欠陥を検出しない。マスク生成回路２００８の出力が端子６１６から回路２０１０に入力され、ＡＮＤ素子６１７によりマスクされ、最終的に欠陥検出結果として端子６１５に出力される。
【００４３】
比較器６１４は、図１８中の部分１８０１において、Ａ画素及びＢ画素ともに欠陥として検出しないが、部分１８０２ではＡ画素及びＢ画素ともに欠陥として検出する。それに対して、マスク生成回路２００８は、部分１８０１においてＡ画素及びＢ画素ともに欠陥画素として検出し、部分１８０２ではＢ画素のみを欠陥画素として検出する。その結果、ＡＮＤ素子６１７を通過する欠陥検出信号は、部分１８０２におけるＢ画素のみとなる。
【００４４】
このように、第二の欠陥検出回路１０９は、複数の第１画素（Ａ画素）の第１特定画素（Ａ０）と複数の第２画素（Ｂ画素）の第２特定画素（Ｂ０）との画素値の第１比率を算出する。また、第二の欠陥検出回路１０９は、第１特定画素の近傍に位置する第１近傍画素（Ａ１、Ａ２、Ａ３、Ａ４）と第２特定画素の近傍に位置する第２近傍画素（Ｂ１、Ｂ２、Ｂ３、Ｂ４）との画素値の第２比率を算出する。そして、第二の欠陥検出回路１０９は、第１比率と第２比率とを比較し、着目画素としての第１特定画素又は第２特定画素が欠陥画素であるか否かを判定する。好ましくは、第１近傍画素及び第２近傍画素はそれぞれ複数の近傍画素（Ａ１〜Ａ４、Ｂ１〜Ｂ４）からなり、第２比率は、複数の近傍画素の画素値の平均値を用いて算出される。なお、第１近傍画素及び第２近傍画素それぞれの数は４画素に限定されるものではなく、ノイズの影響を抑制するために例えば８画素や１６画素をそれぞれの近傍画素として用いてもよい。
【００４５】
また第二の欠陥検出回路１０９は、第１比率と第２比率との比率が所定のしきい値を超えた場合に、着目画素（第１特定画素又は第２特定画素）が欠陥画素であると判定する。このとき、好ましくは、合焦度評価部１０８により評価された合焦度が高くなるにつれてしきい値が低くなるように、しきい値をなだらかに変更する。
【００４６】
以上のとおり、本実施例によれば、通常の信号レベルとの差が少ない欠陥画素を効果的に検出する画像処理装置及び画像処理方法を提供することができる。
【実施例２】
【００４７】
次に、図１６を参照して、本発明の実施例２について説明する。近年のデジタルカメラにおいて、撮影時には撮像素子の出力をそのままファイルとして記録しておき、後でパーソナルコンピュータのソフトウェアを用いて信号処理（画像処理）を行う方法がある。このような画像処理を行うソフトウェアは、ＲＡＷ現像ソフトと呼ばれる。
【００４８】
実施例１では、撮像装置に組み込まれた回路によって上述の画像処理が行われるが、本実施例ではＲＡＷ現像ソフトにより画像処理が行われる。図１６は、本実施例における画像処理方法のフローチャートである。図１６のフローチャートの各ステップは、例えばパーソナルコンピュータのＣＰＵ（マイクロコンピュータ）の指示に基づいて実行される。
【００４９】
まず、ステップＳ１６０１において画像処理を開始し、ステップＳ１６０２においてＲＡＷファイルをメモリに取り込む。続いてステップＳ１６０３において、第一の欠陥画素検出を行う。第一の欠陥画素検出は、実施例１における第一の欠陥検出回路１０６と同様の方法により行われる。そしてステップＳ１６０４において、全画素に対してステップＳ１６０３の第一の欠陥画素検出が完了したか否かが判定される。全画素に対して第一の欠陥画素検出が完了していない場合にはステップＳ１６０３に戻り、未完了の画素に対して、第一の欠陥画素検出が行われる。一方、全画素に対して第一の欠陥画素検出が完了した場合には、ステップＳ１６０５に進み、欠陥画素補間処理が行われる。欠陥画素補間処理は、実施例１における欠陥補間回路１０７と同様の方法により行われる。
【００５０】
続いて、ステップＳ１６０６において、合焦度判定が行われる（合焦度評価ステップ）。合焦度判定は、実施例１における合焦度評価部１０８と同様の方法により行われる。合焦度が所定値以上である場合（Ｈ）には、ステップＳ１６０７において第二の欠陥画素検出が行われる（欠陥検出ステップ）。第二の欠陥画素検出は、実施例１における第二の欠陥検出回路１０９と同様の方法により行われる。一方、合焦度が所定値未満である場合（Ｌ）には、第二の欠陥画素検出を行うことなくステップＳ１６０８に進む。
【００５１】
なお、本実施例では、ステップＳ１６０６にて合焦度が所定値以上である場合に限りステップＳ１６０７にて第二の欠陥画素検出が行われるように説明したが、本実施例はこれに限定されるものではない。ステップＳ１６０６で得られた合焦度に応じて、ステップＳ１６０７の第二の欠陥画素検出時に欠陥画素として検出されるためのしきい値を変更するようにしてもよい。このとき、合焦度が高くなるにつれてしきい値を低くするように（合焦度が低くなるにつれてしきい値を高くするように）、しきい値を合焦度に応じてなだらかに変化させる。
【００５２】
続いてステップＳ１６０７において、全画素に対してステップＳ１６０６の合焦度判定が行われたか否かが判定される。全画素に対して合焦度判定が完了していない場合には、ステップＳ１６０６に戻り、未完了の画素に対して合焦度判定が行われる。一方、全画素に対して合焦度判定が完了した場合には、ステップＳ１６０９に進み、欠陥画素補間処理が行われる（補間ステップ）。欠陥画素補間処理は、実施例１における欠陥補間回路１１０と同様の方法により行われる。その後、ステップＳ１６１０において映像信号処理が行われる（信号処理ステップ）。
【００５３】
本実施例によれば、ＲＡＷ現像ソフトを用いて、通常の信号レベルとの差が少ない欠陥画素を効果的に検出する画像処理方法を提供することができる。
【実施例３】
【００５４】
次に、図１５を参照して、本発明の実施例３について説明する。図１５は、本実施例における撮像素子の構造図であり、図１５（ａ）は撮像素子の画素の正面図、図１５（ｂ）はその画素の断面図である。図１５において、２０１はマイクロレンズ、２０２、２０３、２０４、２０５は、それぞれ、フォトダイオードである。本実施例では、図１５に示されるように、１つのマイクロレンズ２０１に対して４つの画素（フォトダイオード２０２〜２０５）を配置して瞳分割を行う。
【００５５】
図１９は、本実施例におけるカラーフィルタ（４分割画素）の配列図である。図１９（ａ）は、センサーの構造を示し、同一のマイクロレンズ２０１には同一のカラーフィルタが貼られている。図１９（ｂ）は、４分割された画素の値をマイクロレンズ２０１毎に加算した状態を示し、通常のベイヤー配列と同一である。したがって、そのまま従来の画像処理回路によって処理することができる。図１９（ｃ）は、上下の画素を加算した状態を示し、左右に瞳分割したのと等価である。図１９（ｄ）は、左右の画素を加算した状態を示し、上下に瞳分割したのと等価である。このように、画素の加算方向を変えることにより、上下方向又は左右方向に瞳分割すると、被写体のエッジが上下又は左右のいずれか一方にしかない場合にも、一方の方法で合焦度を正確に判定することができる。
【００５６】
実施例１では、Ａ画素（第１画素）とＢ画素（第２画素）の２つの比を利用しており、いずれか一方の画素が欠陥画素である場合に、いずれの画素が欠陥画素であるかを判定することができない。そのため、近傍平均との差を利用する必要がある。それに対して、本実施例では画素が４種類あるため、種々の組み合わせにおいて比を利用することができる。例えば、フォトダイオード２０２、２０３、２０４、２０５をそれぞれＡ、Ｂ、Ｃ、Ｄ画素（第１、２、３、４画素）と定義すると、比として利用できる組み合わせとして、Ａ：Ｂ、Ｂ：Ｃ、Ｃ：Ｄ、Ｄ：Ａ、Ｂ：Ｄ、Ｃ：Ａがある。ここで、Ｄ画素が欠陥画素であると仮定すると、Ｃ：ＤとＤ：ＡとＤ：Ｃの比率が近傍画素のそれと異なる比率となるが、他の組み合わせの比は近傍画素と同じ比率となる。このように、４分割に瞳分離を行うことで、比のみを利用して欠陥画素の特定が可能となる。本実施例は、合焦度と近傍画素と着目画素の瞳種類別画素値の比のみを利用して欠陥画素の検出をする。
【実施例４】
【００５７】
次に、図１７を参照して、本発明の実施例４について説明する。図１７は、リレーレンズにおける平行光領域（物体側焦点位置の点光源から広がる光が平行になる領域）で、入射光を同時に左右の画像に分離し、Ａ像とＢ像を別の撮像素子を用いて露光するシステムの光学的構造図である。１７０１はミラー、１７０２は絞り、１７０３はリレーレンズである。リレーレンズ１７０３により平行領域になった光をミラー１７０１により左右に分割する。ミラー１７０１で分割された光は、ミラー１７０５、１７０４においてそれぞれ反射する。反射光は、結像レンズ１７０６、１７０７に導かれ、撮像素子１７０８、１７０９にそれぞれ結像する。これにより、Ａ像とＢ像を同時に２つの撮像素子で得ることができる。なお、本実施例において、Ａ像とＢ像を時分割で露光してもよい。以上のような構成に対しても、上記各実施例で説明した欠陥画素検出を適用することが可能である。
【００５８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００５９】
例えば、上記各実施例において、１つのマイクロレンズに対して複数のフォトダイオードで瞳分割をした例を示したが、瞳分割されている信号であれば、マイクロレンズとフォトダイオードの間で遮光して瞳分割した信号でも同様の効果がある。また、各実施例において、単板撮像素子による画像を想定しているが、２板又は３板撮像素子においても同様に効果がある。また瞳分割は、マイクロレンズとフォトダイオードの間でなくてもよい。また、上記各実施例では、合焦度合を算出する方法として瞳分割された像の一致度を元に算出したが、コントラスト法や、コントラスト法とのハイブリッドにより合焦度を算出してもよい。
【００６０】
上記各実施例によれば、瞳分割された光束を利用して撮像素子の欠陥画素を高精度に検出する画像処理装置及び画像処理方法を提供することができる。
【符号の説明】
【００６１】
１０８…合焦度評価部
１０９…第二の欠陥検出回路
１１０…欠陥補間回路
１１２…映像信号処理回路
【図１】
0005737929.tif 000002
【図２】
0005737929.tif 000003
【図３】
0005737929.tif 000004
【図４】
0005737929.tif 000005
【図５】
0005737929.tif 000006
【図６】
0005737929.tif 000007
【図７】
0005737929.tif 000008
【図８】
0005737929.tif 000009
【図９】
0005737929.tif 000010
【図１０】
0005737929.tif 000011
【図１１】
0005737929.tif 000012
【図１２】
0005737929.tif 000013
【図１３】
0005737929.tif 000014
【図１４】
0005737929.tif 000015
【図１５】
0005737929.tif 000016
【図１６】
0005737929.tif 000017
【図１７】
0005737929.tif 000018
【図１８】
0005737929.tif 000019
【図１９】
0005737929.tif 000020
【図２０】
0005737929.tif 000021