(57)【要約】 【課題】簡単且つ安価な回路で自動的に撮像素子の画素の欠陥を検出すること。【解決手段】撮像素子２２により１水平ラインの画像信号をラインメモリ１に入力し、検出対象画素信号とその左右に存在する複数の画素信号のレベルを比較部２で比較し、そのレベル差が閾値を超えている場合は検出対象画素信号に対応する画素を欠陥候補画素であるとしてそのアドレスをメモリ３に保持し、次にこの欠陥候補画素信号とその周辺の画素信号のレベルをメモリ３に保持しておいてから欠陥候補画素信号とその周辺の画素信号の相関を制御部５でとり、相関がない場合にこの欠陥候補画素を疑似欠陥画素であるとし、この疑似欠陥画素検出が所定数フレームに亙って全回検出されると、この疑似欠陥画素を真の欠陥画素とする。【選択図】図１
2006166194.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により入力される画像信号の１水平画像信号ライン上の検出対象画素信号とその左右に存在する複数の画素信号のレベルを比較し、その比較結果により前記検出対象画素信号に対応する画素を欠陥候補画素であるとするかどうかを検出する第１の欠陥検出手段と、
前記検出された欠陥候補画素信号とその周辺画素信号の相関を取り、その相関値により前記欠陥候補画素を疑似欠陥画素であるとするかどうかを検出する第２の欠陥検出手段と、
前記検出された同一の欠陥候補画素についての前記疑似欠陥画素検出を所定数フレームの画像信号に亙って行い、それによる疑似欠陥画素検出の検出回数が前記所定回数であった場合に前記疑似欠陥画素を真の欠陥画素とする検出を行う第３の欠陥検出手段と、
を具備することを特徴とする画素欠陥検出回路。
【請求項２】
前記第３の欠陥検出手段により真の欠陥画素が検出された場合、この真の欠陥画素に対応する画素信号を正常レベルの画素信号に置き換えて出力する補間手段を具備することを特徴とする請求項１記載の画素欠陥検出回路。
【請求項３】
前記第１の欠陥検出手段による欠陥候補画素検出は１フレームの画像信号について行うことを特徴とする請求項１記載の画素欠陥検出回路。
【請求項４】
撮像素子により入力される画像信号の１水平画像信号ライン上の検出対象画素信号とその左右に存在する複数の画素信号のレベルを比較する第１のステップと、
前記比較結果により前記検出対象画素信号に対応する画素を欠陥候補画素であるとするかどうかを検出する第２のステップと、
前記検出された欠陥候補画素信号とその周辺画素信号の相関を取る第３のステップと、
前記相関値により前記欠陥候補画素を疑似欠陥画素であるとするかどうかを検出する第４のステップと、
前記検出された同一の欠陥候補画素についての前記疑似欠陥画素検出を複数フレームの画像信号に亙って行う第５のステップと、
前記疑似欠陥画素検出が全フレームで検出された場合に前記疑似欠陥画素を真の欠陥画素とする第６のステップと、
を具備することを特徴とする画素欠陥検出方法。
【請求項５】
前記１、第２のステップによる画素信号のレベルの比較処理と欠陥候補画素検出処理は１フレームの画像信号について行われることを特徴とする請求項４記載の画素欠陥検出方法。
【請求項６】
前記第６のステップにより真の欠陥画素が検出された場合、この真の欠陥画素に対応する画素信号を正常レベルの画素信号に置き換えて出力する第７のステップを具備することを特徴とする請求項４記載の画素欠陥検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に係り、特にＣＣＤなどの固体撮像素子で画素の欠陥を検出する画素欠陥検出回路及び画素欠陥検出方法に関する。
【背景技術】
【０００２】
従来から、ＣＣＤなどの固体撮像素子では、半導体の結晶欠陥により信号レベルの高い映像信号部分が出力され、周囲の画像よりも輝度が高くなって白色表示が際立つ白きず欠陥と呼ばれる画像表示誤りがあり、このような白きず欠陥を検出して補正することが行われている。
【０００３】
従来の画像欠陥検出方法は、均一光（黒又は白）を撮像した状態で、その逆の撮像特性を示す画素を欠陥とし、その画素のアドレスをＥＥＰＲＯＭ等に記憶し、そのデータを周囲の正常特性データから補間するものである。具体的には、撮像素子を遮光した状態とすることより均一光（黒）を得て欠陥検出する方法が知られており、完全に遮光された状態の中に、白きずの信号があった場合に対応する画素を欠陥とする。
【０００４】
また、ＥＥＰＲＯＭなどのメモリを用いないリアルタイム欠陥検出補正方法も開発されている。これは１フレーム内で、注目画素の周辺画素情報から動的に欠陥を検出し、検出した欠陥を同じフレーム内にて画素補正を行う方法である。この方法で欠陥検出補正を行うと、メモリを持たずに、無限大個までの検出補正が可能となり、またフレームを跨がって欠陥を検出する方法よりもすばやく欠陥を検出して補正することができる（特許文献１参照）。
【特許文献１】特開２００４−６４５１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前者の方法では、製造時の検査時に均一光を撮像素子に当てるという検査工程が必要で、製品コストが高くなるということと、製品が顧客のもとに渡った後の経年劣化などにより新たな画素欠陥が発生しても、ＥＥＰＲＯＭにはそのアドレスが入っていないため、対応できないという問題があった。
【０００６】
後者の方法では、画素の欠陥、補正を自動的に行うことができるため、検査工程が簡単であると共に、経年劣化にも対応でき、また、ＥＥＰＲＯＭなどの高価なメモリを必要としない。しかし、欠陥検出画素とその周辺画素を比較するために１水平期間（Ｈ）ずつ遅延した水平画素信号ラインを複数本保持するラインメモリが必要で、且つその比較結果を保持するメモリ容量が必要であり、回路が複雑であるとい問題があった。
【０００７】
本発明は前記事情に鑑み案出されたものであって、本発明の目的は、簡単且つ安価な回路で自動的に撮像素子の画素の欠陥を検出することができる画素欠陥検出回路及び画素欠陥検出方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は上記目的を達成するため、撮像素子により入力される画像信号の１水平画像信号ライン上の検出対象画素信号とその左右に存在する複数の画素信号のレベルを比較し、その比較結果により前記検出対象画素信号に対応する画素を欠陥候補画素であるとするかどうかを検出する第１の欠陥検出手段と、前記検出された欠陥候補画素信号とその周辺画素信号の相関を取り、その相関値により前記欠陥候補画素を疑似欠陥画素であるとするかどうかを検出する第２の欠陥検出手段と、前記検出された同一の欠陥候補画素についての前記疑似欠陥画素検出を所定数フレームの画像信号に亙って行い、それによる疑似欠陥画素検出の検出回数が前記所定回数であった場合に前記疑似欠陥画素を真の欠陥画素とする検出を行う第３の欠陥検出手段とを具備することを特徴とする。
【０００９】
また、本発明は、撮像素子により入力される画像信号の１水平画像信号ライン上の検出対象画素信号とその左右に存在する複数の画素信号のレベルを比較する第１のステップと、前記比較結果により前記検出対象画素信号に対応する画素を欠陥候補画素であるとするかどうかを検出する第２のステップと、前記検出された欠陥候補画素信号とその周辺画素信号の相関を取る第３のステップと、前記相関値により前記欠陥候補画素を疑似欠陥画素であるとするかどうかを検出する第４のステップと、前記検出された同一の欠陥候補画素についての前記疑似欠陥画素検出を複数フレームの画像信号に亙って行う第５のステップと、前記疑似欠陥画素検出の検出回数が全フレームで検出された場合に前記疑似欠陥画素を真の欠陥画素とする第６のステップとを具備することを特徴とする。
【００１０】
このように本発明では、まず、撮像素子により１水平ラインの画像信号を入力して、検出対象画素信号とその左右に存在する複数の画素信号のレベルを比較し、そのレベル差が閾値を超えている場合は検出対象画素信号に対応する画素を欠陥候補画素であるとしてそのアドレスを保持し、次のフレームの画像信号より検出された欠陥候補画素信号とその周辺の画素信号のレベルを保持しておいてから欠陥候補画素信号とその周辺の画素信号の相関をとり、相関がない場合にこの欠陥候補画素を疑似欠陥画素であるとし、この疑似欠陥画素であるという検出を所定数フレームに亙って行い、その検出回数が前記所定回数である場合にこの疑似欠陥画素を真の欠陥画素とする検出する。それ故、ラインメモリは１水平ラインの画像信号を保持できる容量のもので良く、また、メモリも欠陥候補画素のアドレス及び例えば９点の欠陥候補画素信号とその周辺の画素信号の信号レベルを保持できる容量のものがあれば良く、簡単安価な回路構成にて撮像素子の画素の欠陥検出を行うことができる。また、欠陥検出は、欠陥候補画素の検出、疑似欠陥画素の検出、真の欠陥画素の検出と３段階の検出処理で行われるため、高精度で画素の欠陥検出を行うことができる。
【発明の効果】
【００１１】
本発明によれば、撮像素子により１水平ラインの画像信号を入力して、検出対象画素信号とその左右に存在する複数の画素信号のレベルを比較し、そのレベル差が閾値を超えている場合は検出対象画素信号に対応する画素を欠陥候補画素であるとしてそのアドレスを保持し、次のフレームの画像信号より検出された欠陥候補画素信号とその周辺の画素信号のレベルを保持しておいてから欠陥候補画素信号とその周辺の画素信号の相関をとり、相関がない場合にこの欠陥候補画素を疑似欠陥画素であるとし、この疑似欠陥画素であるという検出を所定数フレームに亙って行い、その検出回数が前記所定回数である場合にこの疑似欠陥画素を真の欠陥画素とする検出することにより、簡単且つ安価な回路で自動的に撮像素子の画素の欠陥を検出することができる。
また、上記欠陥検出は自動的に行われるため、製品製造時の検査工程を簡略化できると共に、製品の製造コストを抑制でき、更に、製品が顧客に渡ってからも電源オン時などに上記欠陥検出を行うことができるので、撮像素子の画素の経年変化による不良にも対応することができる。
【発明を実施するための最良の形態】
【００１２】
簡単且つ安価な回路で自動的に撮像素子の画素の欠陥を検出する目的を、撮像素子により１水平ラインの画像信号を入力して、検出対象画素信号とその左右に存在する複数の画素信号のレベルを比較し、そのレベル差が閾値を超えている場合は検出対象画素信号に対応する画素を欠陥候補画素であるとしてそのアドレスを保持し、次のフレームの画像信号より検出された欠陥候補画素信号とその周辺の画素信号のレベルを保持しておいてから欠陥候補画素信号とその周辺の画素信号の相関をとり、相関がない場合にこの欠陥候補画素を疑似欠陥画素であるとし、この疑似欠陥画素であるという検出を所定数フレームに亙って行い、その検出回数が前記所定回数以上である場合にこの疑似欠陥画素を真の欠陥画素とする検出を行うことによって実現した。
【実施例１】
【００１３】
図１は、本発明の一実施の形態に係る画素欠陥検出回路の構成を示したブロック図である。画素欠陥検出回路３０は、１水平ラインの画素信号を保持するラインメモリ１、ラインメモリ１に保持された画素信号を比較する比較部２、比較部２の比較結果及び３×３の画素信号を一旦保持するメモリ（レジスタ等）３、欠陥画素信号を周囲画素の平均レベルの信号に補間する画素信号補正部４、ラインメモリ１からの読み出し画素信号を後段の画像処理部２５に出力するか、画素信号補正部４により補正された画素信号を後段の画像処理部２５に出力するかを切替スイッチ回路ＳＷを制御して切り替える制御を行うと共に、画素信号間等の相関をとる処理を行う制御部５を有して構成される。この画素欠陥検出回路３０は固体撮像装置に組み込まれ、固体撮像装置はレンズ２１、撮像素子２２、前処理部２３、Ａ／Ｄ変換部２４、後段の画像処理部２５を有している。
【００１４】
次に本実施の形態の動作について説明する。レンズ２１から入射した光は撮像素子２２で光電変換され、前処理部２３で黒レベル調整やゲイン負荷などが行われる。その後、前処理部２３から出力されたアナログの画像信号はＡ／Ｄ変換部２４でデジタル画像信号に変換され、画素欠陥検出回路３０のラインメモリ１に入力される。
【００１５】
比較部２はラインメモリ１に保持された１水平画像信号ライン上の検査対象画素信号とこの画素の左右にある複数の画素信号とを比較し、画素間のレベル差が所定のレベルを超えたときに、そのラインの検査対象画素信号を欠陥候補点として捕らえ、そのアドレスを一時的にメモリ３に書き込む。
【００１６】
こうして、１フレームの画素の欠陥検出が終了すると、次のフレームの欠陥検出を行う。この場合は、欠陥候補点が分かっているため、図２に示すような欠陥候補点の画素信号とその周囲（３×３）の画素信号のレベルをメモリ３に一旦保持し、制御部５により欠陥候補点の画素信号とその周囲の画素信号のレベルの相関をとり、それがあるレベルをこえて異常な場合は欠陥候補点の画素を擬似欠陥画素としてそのアドレスをメモリ３に格納する。ここで、図２中ｔａｒｇｅｔが欠陥候補画素で、１〜８で示した点が周囲画素であり、これら画素からの画素信号レベルの相関がとられる。
【００１７】
上記のように欠陥候補点とその周囲の画素との相関を複数フレームに亙って取り、全フレームで擬似欠陥と判定された場合は、このアドレスの画像信号を正常レベルの画像信号に置き換えるべく、制御部５は切替スイッチ回路ＳＷを端子ａ側から端子ｂ側に切り替えて、画素信号補正部４の出力を後段の画像処理部２５に出力する。なお、制御部５は欠陥でない画素の信号に対しては切替スイッチ回路ＳＷを端子ａ側にしてラインメモリ１からの画素信号をそのまま後段の画像処理部２５に出力する。
【００１８】
図３は図１に示した画素の欠陥検出方法を説明するフローチャートである。まず、ステップ１０１で、１フレームの画素欠陥検出処理を１Ｈ水平画像信号ずつ行って、欠陥候補画素を検出する。この１フレームの画素欠陥検出動作を行った後、ステップ１０２にて、欠陥候補画素があったかどうかを判定し、ない場合は画素欠陥検出処理を終了する。
【００１９】
欠陥候補画素があった場合は、ステップ１０３に進んで欠陥候補画素のアドレスをメモリ３に保持する。次のステップ１０４にて、次フレームの水平画素信号について欠陥候補画素信号とその周辺画素信号の信号レベルを収集し、メモリ３に保持する。ステップ１０５にてこれら欠陥候補画素信号と周辺画素信号の相関を求め、その相関があるレベルを超えて異常な場合（相関がない場合）は欠陥候補画素を疑似欠陥画素とする。
【００２０】
この疑似欠陥画素検出を所定数のフレームに亙って行い（ステップ１０４と１０５の処理）、ステップ１０６にて、所定数のフレームについて疑似欠陥画素の検出を行ったと判定されると、ステップ１０７にて、欠陥候補画素が疑似陥候画素として全フレームで検出されたかどうかを判定し、全フレームで検出されない場合は画素欠陥検出処理を終了する。全フレームで検出された場合はステップ１０８に進んで、疑似欠陥画素を真の欠陥画素とし、この欠陥画素から読み出される欠陥画素信号の代りに、これを補間した画素信号を出力して処理を終了する。
【００２１】
本実施の形態によれば、１水平ラインの画素信号を保持できるラインメモリ１と、欠陥候補画素のアドレス及び欠陥候補画素信号とその周辺画素信号のレベルなどを保持できる容量のメモリ３があれば撮像素子２２の画素欠陥を検出できるため、極めて簡単で安価な回路にて画素欠陥検出を行うことができる。
【００２２】
また、上記画素欠陥検出方法は、まず、１フレームの欠陥候補画素を求め、次にこの欠陥候補画素と周辺画素との相関が異常値である場合にこの欠陥候補画素を疑似欠陥画素とし、この疑似欠陥画素検出を所定数フレームに亙って行い、且つ、その場合に疑似欠陥画素として全フレームで検出される場合に真の欠陥画素と判定して画素補間を行うため、欠陥画素検出を精度良く行うことができ、誤検出により画像の劣化又は破壊を防止することができる。
【００２３】
また、欠陥検出は自動的に行われるため、デジタルカメラなどの製品製造時の検査工程を簡略化できる共に、製品の製造コストを抑制でき、更に、製品が顧客に渡ってからも電源オン時などに上記欠陥検出を行うことによって、撮像素子２２の画素の経年変化による不良にも対応することができる。
【００２４】
尚、本発明は上記実施の形態に限定されることなく、その要旨を逸脱しない範囲において、具体的な構成、機能、作用、効果において、他の種々の形態によっても実施することができる。デジタルカメラなどに限ることなく、撮像装素子で撮影した画像を処理する装置であれば、どのような装置にも本発明を適用して同様の効果を得ることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施の形態に係る画素欠陥検出回路の構成を示したブロック図である。
【図２】図１に示したメモリに保持される３×３の画素信号に対応する画素の配置例を示した図である。
【図３】図１に示した画素の欠陥検出方法を説明するフローチャートである。
【符号の説明】
【００２６】
１……ラインメモリ、２……比較部、３……メモリ、４……画素信号補正部、５……制御部、２１……レンズ、２２……撮像素子、２３……前処理部、２４……Ａ／Ｄ変換部、２５……後段の画像処理部、３０……画素欠陥検出回路、ＳＷ……切替スイッチ回路。
【図１】
2006166194.tif 000003
【図２】
2006166194.tif 000004
【図３】
2006166194.tif 000005