(57)【要約】【課題】色フィルタが配置された固体撮像素子を使用した場合においても、画素欠陥の検出誤りを少なくする。【解決手段】色フィルタを有する固体撮像素子９２Ａから映像信号を入力して、垂直ライン遅延部１と水平画素遅延部２は映像信号に従う画像の所定範囲の画素を同時化する。輝度信号作成部３は同時化した所定範囲の画素欠陥検出の対象画素と隣接画素とについて輝度成分を示す輝度信号を作成する。上中下画素欠陥検出部４〜６は対象画素と隣接画素との輝度信号どうしのレベル差と白点検出および黒点検出の閾値とに基づいて、対象画素の画素欠陥の有無を検出する。画素欠陥が検出されると上中下画素欠陥補正部７〜９は欠陥を補正する。画素欠陥検出には作成された輝度信号が使用されるので、色フィルタ毎の画素の信号レベルのばらつきがあっても正確に画素欠陥を検出できる。【選択図】        図１
2004297267.tif 000002
【特許請求の範囲】
【請求項１】
色フィルタが配置された固体撮像素子による画素欠陥を処理する装置であって、
前記固体撮像素子から映像信号を逐次入力して、前記映像信号に従う画像の所定範囲の画素を同時化する同時化手段と、
前記同時化手段により同時化された前記所定範囲における画素欠陥検出の対象画素と隣接する画素とについて輝度成分を示す輝度信号を作成する輝度信号作成手段と、
前記輝度信号作成手段により作成された前記対象画素と前記隣接画素との前記輝度信号どうしのレベル差に基づいて、前記対象画素の画素欠陥を検出する画素欠陥検出手段とを備える、画素欠陥処理装置。
【請求項２】
前記画素欠陥検出手段により前記画素欠陥が検出されたとき、検出された前記画素欠陥を前記映像信号において補正する補正手段をさらに備える、請求項１に記載の画素欠陥処理装置。
【請求項３】
前記輝度信号作成手段は、
前記隣接画素の前記映像信号レベルの平均値に、前記対象画素の前記映像信号レベルを加算することにより、前記輝度信号を作成することを特徴とする、請求項１または２に記載の画素欠陥処理装置。
【請求項４】
前記輝度信号作成手段は、
作成した前記輝度信号を増幅することを特徴とする、請求項１から３のいずれか１項に記載の画素欠陥処理装置。
【請求項５】
前記輝度信号作成手段は、
前記対象画素と前記隣接画素それぞれの前記映像信号の高域周波数成分を、前記対象画素と前記隣接画素それぞれについて作成された前記輝度信号に加算することを特徴とする、請求項１から３のいずれか１項に記載の画素欠陥処理装置。
【請求項６】
前記輝度信号作成手段は、
前記対象画素と前記隣接画素それぞれについて作成された前記輝度信号にオフセット信号を加算することを特徴とする、請求項１から５のいずれか１項に記載の画素欠陥処理装置。
【請求項７】
前記画素欠陥検出手段は、
前記対象画素と前記隣接画素との前記輝度信号どうしのレベル差と所定の閾値とを比較して、比較結果に従い、前記対象画素の画素欠陥を検出することを特徴とする、請求項１から６のいずれか１項に記載の画素欠陥処理装置。
【請求項８】
前記対象画素の周辺の画素の前記映像信号のレベルによって、前記閾値を変更することを特徴とする、請求項７に記載の画素欠陥処理装置。
【請求項９】
前記対象画素の白点検出をする場合に、前記隣接画素の前記輝度信号のレベルが高いときは前記閾値を大きくし低いときは前記閾値を小さくし、前記対象画素の黒点検出をする場合に、前記隣接画素の前記輝度信号のレベルが高いときは前記閾値を小さくし低いときは前記閾値を大きくすることを特徴とする、請求項８に記載の画素欠陥処理装置。
【請求項１０】
前記同時化手段は、前記映像信号を逐次入力して、５水平ライン分の同時化を行う手段を有し、
前記画素欠陥検出手段は、
前記対象画素と上下左右に隣接する画素それぞれとの前記輝度信号どうしのレベル差に基づいて画素欠陥を検出し、
前記対象画素の上下の水平ラインそれぞれにおける前記対象画素に隣接する画素を対象として、対象とした画素と上下左右に隣接する画素それぞれとの前記輝度信号どうしのレベル差に基づいて画素欠陥を検出すること特徴とする、請求項１から９のいずれか１項に記載の画素欠陥処理装置。
【請求項１１】
前記同時化手段は、前記映像信号を逐次入力して、３水平ライン分の同時化を行う手段を有し、
前記画素欠陥検出手段は、
前記対象画素と上下左右に隣接する画素それぞれとの前記輝度信号どうしのレベル差に基づいて画素欠陥を検出し、
前記対象画素の上の水平ラインの前記対象画素と隣接する画素を対象として、対象とした画素と下左右に隣接する画素それぞれとの前記輝度信号どうしのレベル差に基づいて画素欠陥を検出し、
前記対象画素の下の水平ラインの前記対象画素と隣接する画素を対象として、対象とした画素と上左右に隣接する画素それぞれとの前記輝度信号どうしのレベル差に基づいて画素欠陥を検出すること特徴とする、請求項１から９のいずれか１項に記載の画素欠陥処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、色フィルタを配置したカラー固体撮像素子を用いたビデオカメラ、車載カメラ、監視カメラなどに適用できる画素欠陥処理装置に関し、特に、固体撮像素子の画素が欠陥している状態（以下、画素欠陥という）を処理する画素欠陥処理装置に関する。
【０００２】
【従来の技術】
近年、画像撮像用のデバイスとして、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などの固体撮像素子を利用したビデオカメラや、車載カメラ、監視カメラなどが商品化されている。
【０００３】
これらの機器に使用されている固体撮像素子は、固体撮像素子そのものの製造上の問題や、固体撮像素子を搭載した機器を製造する過程、また、製造後も経年変化などで画素欠陥が発生し、映像の質を劣化させることがある。
【０００４】
この問題に対して従来からさまざまな解決方法が提案されており、大まかに分類すると、画素欠陥が発生している座標を予め不揮発性メモリなどに記憶させ、映像を読出す際、欠陥画素（欠陥状態の画素そのもの）を周辺の画素で置き換える欠陥画素座標指定方式（特許文献１参照）と、欠陥画素の座標は指定せず、対象画素とその周辺画素の信号レベルを比較し、孤立している場合は画素欠陥と判定して、欠陥画素周辺の画素で置き換える自動画素欠陥検出方式（特許文献２参照）の２つがある。
【０００５】
欠陥画素座標指定方式は、機器製造時までに発生した画素欠陥に関しては確実に補正可能であり、補正誤りによる副作用も発生しにくい。
【０００６】
しかし、多数の画素欠陥が発生した場合、対応するには欠陥画素の数だけ座標を記憶させるための不揮発性メモリが必要であり、また、機器製造後に発生した画素欠陥に関しては、特別な対応をとる必要がある。
【０００７】
自動画素欠陥検出方式は、機器製造時、特別な設定などは必要なく、機器製造後に発生した画素欠陥に対しても対応可能である。また、多数の画素欠陥が発生しても対応可能である。
【０００８】
しかし、この方法では、対象画素とその周辺画素の信号レベルを比較して画素欠陥を検出するため、被写体の状態によっては判定誤りが発生し、画素欠陥ではないのに画素欠陥として判定されたり、逆に画素欠陥であるのに画素欠陥として判定されなかったりして、映像の質を劣化させる原因となる。
【０００９】
【特許文献１】
特開２００１−１７７７７０号公報の明細書と図面
【００１０】
【特許文献２】
特開２００２−２２３３９１号公報の明細書と図面
【００１１】
【発明が解決しようとする課題】
一般にカラーの固体撮像素子で自動画素欠陥検出方式を採用する場合、信号処理過程上、他への影響を小さくするため、できるだけ前段で画素欠陥の補正を行う方が有効である。
【００１２】
しかし、信号処理の前段では、まだ画素データが固体撮像素子に配置されている色フィルタごとに分離されておらず、フィルタごとの画素データにばらつきがあるため、単純に対象画素と隣接画素間で信号レベルの比較を行い、画素欠陥を判定することができない。
【００１３】
また、対象画素とその隣接する同色フィルタの画素データを比較する方法もあるが対象画素と最低１画素以上離れており、判定誤りが発生する可能性が高くなる。
【００１４】
また、被写体の状態や、画素欠陥の信号レベルが低いと画素欠陥として判定されない可能性もある。
【００１５】
また、判定誤りを少なくするためには、できるだけ広範囲の画素データを元に画素欠陥を判定する必要があるが、この場合複数の水平ラインを同時化する必要があり、多くのラインメモリが必要となるため機器のコストアップを招く。
【００１６】
一般的に固体撮像素子からの信号を処理して映像信号に変換する場合、垂直エッジ処理などのために最低２水平ライン分のラインメモリが必要となる。そこで、映像信号処理に必要なラインメモリと画素欠陥判定を行うためのラインメモリを共有し、コストダウンを行う方法が提案されている。
【００１７】
ラインメモリを２本使用した場合、現在の画素データ、１水平ライン前の画素データ、２水平ライン前の画素データの計３ライン分の画素データがそろうことになり、１水平ライン前の画素データを対象画素として画素欠陥判定を行うことになる。
【００１８】
欠陥画素が１水平ライン前の画素データに入った場合、画素欠陥として判定され、補正が行われることになるが、問題は欠陥画素が現在の画素データ、もしくは、２水平ライン前の画素データに入った場合、画素欠陥として判定されないため、例えば垂直エッジを作成する際、欠陥画素のデータが使用され、実際には存在しない偽の垂直エッジが映像信号に載ることになり、映像の質は劣化する。
【００１９】
本発明はこのような課題を解決するためのものであり、その目的は色フィルタが配置された固体撮像素子を使用した場合においても、画素欠陥の検出誤りを少なくする画素欠陥処理装置を提供することである。
【００２０】
【課題を解決するための手段】
この発明のある局面に従う色フィルタが配置された固体撮像素子による画素欠陥を処理する装置は、固体撮像素子から映像信号を逐次入力して、映像信号に従う画像の所定範囲の画素を同時化する同時化手段と、同時化手段により同時化された所定範囲における画素欠陥検出の対象画素と隣接する画素とについて輝度成分を示す輝度信号を作成する輝度信号作成手段と、輝度信号作成手段により作成された対象画素と隣接画素との輝度信号どうしのレベル差に基づいて、対象画素の画素欠陥を検出する画素欠陥検出手段とを備える。
【００２１】
画素欠陥処理装置によれば、画素欠陥の検出には輝度信号作成手段により作成された輝度成分を示す輝度信号が使用されるので、色フィルタが配置された固体撮像素子を使用して色フィルタ毎の画素の信号レベルのばらつきがあるにもかかわらず、輝度信号のレベル差に基づくことで正確に画素欠陥を検出できる。
【００２２】
上述の輝度信号作成手段は好ましくは、各色のフィルタの信号を含んで輝度信号を作成する。
【００２３】
上述の画素欠陥処理装置は好ましくは、画素欠陥検出手段により画素欠陥が検出されたとき、検出された画素欠陥を映像信号において補正する補正手段をさらに備える。したがって、検出された画素欠陥を補正することができる。
【００２４】
上述の同時化手段は好ましくは、映像信号を逐次入力して複数個の水平ライン分の同時化を行う手段を有し、画素欠陥検出手段は、対象画素と上下左右に隣接する画素それぞれとの輝度信号どうしのレベル差に基づいて画素欠陥を検出し、対象画素の上下の水平ラインそれぞれにおける該対象画素と隣接する画素を対象として、対象とした画素と隣接する画素それぞれとの輝度信号どうしのレベル差に基づいて画素欠陥を検出する。
【００２５】
したがって、画素欠陥検出の対象画素とその上下の水平ラインの画素とについて画素欠陥の検出と補正を行なうことができる。
【００２６】
上述の画素欠陥処理装置により処理された映像信号は好ましくは予め準備された映像信号処理部に対して出力される。この映像信号処理部は、映像信号を入力して複数水平ラインの映像信号に基づいた処理を少なくとも施してビデオ信号として出力する。
【００２７】
したがって、映像信号処理部の複数水平ラインの映像信号に基づいた処理は、複数水平ラインについての画素欠陥が補正された後に行なわれるので、欠陥画素によるノイズ（例えば、偽りの垂直エッジ）の発生を抑制できる。
【００２８】
上述の同時化手段は好ましくは複数のラインメモリを有して、複数水平ラインの同時化は複数ラインメモリを用いて行なわれる。映像信号処理部の複数水平ラインの映像信号に基づいた処理は好ましくは複数ラインメモリを用いて行なわれる。したがって、複数ラインメモリを画素欠陥検出と映像信号処理とに共有できる。
【００２９】
上述の輝度信号作成手段は好ましくは、隣接画素の映像信号レベルの平均値に、対象画素の映像信号レベルを加算することにより、輝度信号を作成する。
【００３０】
したがって、画素欠陥の周辺画素を対象画素として画素欠陥検出が行なわれるとしても、周辺画素の画素欠陥の影響を小さくするように輝度信号を作成できる。それゆえに、画素欠陥の誤検出を抑制できる。
【００３１】
上述の輝度信号作成手段は好ましくは、隣接画素の映像信号レベルを平均して輝度信号を作成する。
【００３２】
上述の輝度信号作成手段は好ましくは、作成した輝度信号を増幅する。したがって、作成した輝度信号のレベルが低くても、増幅により画素欠陥検出可能なレベルにまで高めることができて、画素欠陥検出が容易となる。
【００３３】
上述の輝度信号作成手段は好ましくは、対象画素と隣接画素それぞれの映像信号の高域周波数成分を、対象画素と隣接画素それぞれについて作成された輝度信号に加算する。
【００３４】
したがって、作成された輝度信号の高周波数成分が強調されることにより画素欠陥の成分が強調されて、画素欠陥検出が容易となる。
【００３５】
上述の輝度信号作成手段は、対象画素と隣接画素それぞれについて作成された輝度信号にオフセット信号を加算する。
【００３６】
したがって、輝度信号からオフセット信号に相当のノイズ成分を除去できるから輝度信号に基づく画素欠陥検出を正確に行なえる。
【００３７】
上述の画素欠陥検出手段は好ましくは、対象画素と隣接画素との輝度信号どうしのレベル差と所定の閾値とを比較して、比較結果に従い、対象画素の画素欠陥を検出する。
【００３８】
上述の閾値は好ましくは、対象画素の周辺の画素の映像信号のレベルによって変更される。周辺画素の映像信号レベルにより画素欠陥検出のための閾値は変更されるから、画素欠陥を目立ち易い状態で画素欠陥の検出を行なうことができる。
【００３９】
上述の閾値は好ましくは、対象画素の白点検出をする場合に、隣接画素の輝度信号のレベルが高いときは大きくされて低いときは小さくされて、対象画素の黒点検出をする場合に、隣接画素の輝度信号のレベルが高いとき小さくされて低いときは大きくされる。
【００４０】
したがって、欠陥画素検出の際、欠陥画素の判定を行う閾値をその周辺画素の信号レベルによって変更することにより、欠陥画素が最も目立つ、白点の場合は周辺画素の信号レベルが低い時に、また黒点の場合は周辺画素の信号レベルが高い時に欠陥画素の検出抜けを防止でき、さらに欠陥画素の誤判定による副作用も減少する。
【００４１】
上述の同時化手段は好ましくは、映像信号を逐次入力して、５水平ライン分の同時化を行う手段を有し、画素欠陥検出手段は、対象画素と上下左右に隣接する画素それぞれとの輝度信号どうしのレベル差に基づいて画素欠陥を検出し、対象画素の上下の水平ラインそれぞれにおける対象画素に隣接する画素を対象として、対象とした画素と上下左右に隣接する画素それぞれとの輝度信号どうしのレベル差に基づいて画素欠陥を検出する。
【００４２】
したがって、５水平ライン分の画素欠陥検出を同時に行うことにより、画像の垂直方向のノイズを予め検出し、さらに画素欠陥を補正することで、映像信号処理で例えば、偽の垂直エッジ等が発生するのを回避できる。したがって、同一のラインメモリを用いて画素欠陥検出のための５水平ライン分同時化と映像信号処理とを行なうことができる。
【００４３】
上述の同時化手段は好ましくは、映像信号を逐次入力して、３水平ライン分の同時化を行う手段を有し、画素欠陥検出手段は、対象画素と上下左右に隣接する画素それぞれとの輝度信号どうしのレベル差に基づいて画素欠陥を検出し、対象画素の上の水平ラインの対象画素と隣接する画素を対象として、対象とした画素と下左右に隣接する画素それぞれとの輝度信号どうしのレベル差に基づいて画素欠陥を検出し、対象画素の下の水平ラインの対象画素と隣接する画素を対象として、対象とした画素と上左右に隣接する画素それぞれとの輝度信号どうしのレベル差に基づいて画素欠陥を検出する。
【００４４】
したがって３水平ライン分の画素欠陥検出を同時に行うことにより、画像の垂直方向のノイズを予め検出し、さらに画素欠陥を補正することで、映像信号処理で例えば、偽の垂直エッジ等が発生するのを回避できる。したがって、同一のラインメモリを用いて画素欠陥検出のための３水平ライン分同時化と映像信号処理とを行なうことができる。
【００４５】
【発明の実施の形態】
以下、この発明の各実施の形態について図面を参照して説明する。各実施の形態では、補色タイプの色フィルタを配置したフィールド読出し型カラー固体撮像素子により被写体を撮影する撮影装置に搭載された画素欠陥検出補正部について説明する。
【００４６】
（実施の形態１）
図１は実施の形態１に係る画素欠陥検出補正部の構成を示し、図２は各実施の形態に係る画素欠陥検出補正部が搭載される撮像装置の構成を示す。図２を参照して撮像装置は、被写体を結像させるためのレンズ９１Ａおよび色フィルタが配置されたカラー固体撮像素子９２Ａ、カラー固体撮像素子９２Ａから出力された映像信号を入力し、入力映像信号について画素欠陥を検出し、検出した画素欠陥を補正して出力する画素欠陥検出補正部９３Ａ（９３Ｂ）、画素欠陥検出補正部９３Ａ（９３Ｂ）が出力する信号を入力して処理してビデオ信号のための輝度信号Ｙおよび色信号Ｃを分離して導出するデジタル信号処理回路９４Ａ、およびデジタルの輝度信号Ｙおよび色信号Ｃを入力してエンコード処理してビデオ信号を出力するエンコーダ９５Ａを備える。画素欠陥検出補正部９３Ａは実施の形態１に適用されて、画素欠陥検出補正部９３Ｂは、後述の実施の形態２に適用される。
【００４７】
図１の画素欠陥検出補正部９３Ａはカラー固体撮像素子９２Ａからの信号を入力して水平ライン単位で遅延させる垂直ライン遅延部１、水平画素遅延部２、輝度信号作成部３、上画素欠陥検出部４、中画素欠陥検出部５、下画素欠陥検出部６、上画素欠陥補正部７、中画素欠陥補正部８および下画素欠陥補正部９を備える。
【００４８】
垂直ライン遅延部１は、５本のラインメモリを使用して５水平ライン分の信号を同時化して出力することができる。水平画素遅延部２は垂直ライン遅延部１からの同時化された５水平ライン分の信号について、それぞれ水平方向に画素単位で遅延させて出力する。本実施の形態では、水平方向に４画素分遅延させることにより計５画素分の信号の同時化が可能である。輝度信号作成部３は、水平画素遅延部２からの同時化された信号を入力して、入力信号に基づいて映像の輝度成分を示す信号（以下、輝度信号という）を作成する。
【００４９】
上画素欠陥検出部４は、輝度信号作成部３で作成された輝度信号について、画素欠陥検出対象画素の上ラインの画素欠陥を周辺画素と比較することにより検出して、検出結果を示す画素欠陥情報ＥＨ１を出力する。中画素欠陥検出部５は、輝度信号作成部３で作成された輝度信号について、画素欠陥検出対象画素の画素欠陥を周辺画素と比較することにより検出して、検出結果を示す画素欠陥情報ＥＨ２を出力する。下画素欠陥検出部６は、輝度信号作成部３で作成された輝度信号について、画素欠陥検出対象画素の下ラインの画素欠陥を周辺画素と比較することにより検出して、検出結果を示す画素欠陥情報ＥＨ３を出力する。
【００５０】
上画素欠陥補正部７は、上画素欠陥検出部４から画素欠陥情報ＥＨ１を入力すると、対象画素の周辺画素の信号を利用して欠陥画素の信号レベルを推定し、置換を行う。中画素欠陥補正部８は、中画素欠陥検出部５から画素欠陥情報ＥＨ２を入力すると、対象画素の周辺画素の信号を利用して欠陥画素の信号レベルを推定し、置換を行う。下画素欠陥補正部９は、下画素欠陥検出部６から画素欠陥情報ＥＨ３を入力すると、対象画素の周辺画素の信号を利用して欠陥画素の信号レベルを推定し、置換を行う。
【００５１】
次に本実施の形態に係る画素欠陥検出補正部９３Ａの動作を説明する。
被写体を撮影すると、カラー固体撮像素子９２Ａからの映像信号は垂直ライン遅延部１に入力する。ここで、カラー固体撮像素子９２Ａからの映像信号は、ディジタル化されているものとする。また、図１には明記していないが、場合によっては垂直ライン遅延部１に入力する前に処理をし易くするためにクランプ処理などの前処理を行うようにしてもよい。
【００５２】
図３を参照して垂直ライン遅延部１は、５本のラインメモリ１０１〜１０５を有してカラー固体撮像素子９２Ａからの映像信号を５水平ライン分記憶して読出すことが可能なラインメモリ部１０、ラインメモリ部１０に対して書込みと読出しの制御を行うメモリ制御回路１１、および５本のラインメモリから読出された映像信号および固体撮像素子９２Ａから出力された映像信号を入力しセレクトし順に信号Ｌ０〜Ｌ４として出力する出力データセレクタ１２を有する。図４にカラー固体撮像素子９２Ａから入力された映像信号データがラインメモリ部１０に書込まれるタイミングと信号Ｌ０〜Ｌ４として出力される映像信号の関係が示される。
【００５３】
図４を参照して初めにラインメモリ部１０への書込みについて説明する。カラー固体撮像素子９２Ａから垂直ライン遅延部１に入力された１水平ライン分の映像信号データＨ１は、ラインメモリ１０１に１水平ライン分のデータとして書込まれる（図４の斜線部分）。次に入力する水平ラインである映像信号データＨ２は、ラインメモリ１０２に書込まれる。同様に入力順に従い、ラインメモリ１０３、１０４および１０５には、映像信号データＨ３、Ｈ４およびＨ５が１水平ラインずつ書込まれる。映像信号データＨ６が入力されると、再びラインメモリ１０１に書込まれ同様の動作を繰り返す。ラインメモリからの読出しは、書込みが行なわれているラインメモリを除く４本のラインメモリに対して行われる。
【００５４】
ラインメモリから読出された４水平ライン分の映像信号データにカラー固体撮像素子９２Ａから入力した映像信号データを加えて、計５水平ライン分の映像信号が同時化され、出力データセレクタ１２を介し、５本の水平ラインそれぞれに対応した信号Ｌ０〜Ｌ４として水平画素遅延部２に出力される。
【００５５】
本実施の形態では、５水平ライン分の映像信号を同時化するため、５本のラインメモリを使用したが、書込みと読出しを同時に行うことが可能なデュアルポートタイプのラインメモリや、１画素当りの時間の倍速で読み書きを行うことにより、４本のラインメモリで５水平ラインの同時化を行うことも可能である。
【００５６】
水平画素遅延部２には、信号Ｌ０〜Ｌ４の５本の水平ラインそれぞれについて５水平画素分の同時化を行なうための回路を有する。ここでは説明を簡単にするために、水平画素遅延部２の１水平ライン分、例えば信号Ｌ０の水平ラインに対応の構成が図５に示される。他の水平ラインについても図５と同様な構成が設けられている。
【００５７】
図５に示されるように水平画素遅延部２は信号Ｌ０の水平ラインについて１画素単位で水平方向に遅延を行い、計５水平画素分の同時化が可能な遅延素子部２０を有する。遅延素子部２０は遅延素子２１〜２４を有する。信号Ｌ０としてまず入力される映像信号Ｌ００は、遅延素子２１で１画素分遅延させられる。遅延素子２１から出力される１画素分遅延した映像信号Ｌ０１は、さらに遅延素子２２に入力され、映像信号Ｌ００よりも２画素分遅延した映像信号Ｌ０２が作成される。同様な動作を遅延素子２３、２４に対しても行い３画素分および４画素分遅延した映像信号Ｌ０３およびＬ０４が導出されて、計５水平画素分の同時化が行われる。
【００５８】
本実施の形態の水平画素遅延部２には、図５で示した構成のものが５水平ライン分含まれており、図６で示す画像の所定範囲（水平方向Ｘの５水平画素×垂直方向Ｙの５水平ライン＝２５画素）の映像信号を同時化することが可能である。水平画素遅延部２で同時化された映像信号は輝度信号作成部３に与えられる。ここでは信号Ｌ０の水平ラインについて同時化された信号Ｌ０１、Ｌ０２およびＬ０３が輝度信号作成部３に出力される。同様に、信号Ｌ１の水平ラインについて同時化された信号Ｌ１１、Ｌ１２およびＬ１３、信号Ｌ２の水平ラインについて同時化された信号Ｌ２１、Ｌ２２およびＬ２３、信号Ｌ３の水平ラインについて同時化された信号Ｌ３１、Ｌ３２およびＬ３３、および信号Ｌ４の水平ラインについて同時化された信号Ｌ４１、Ｌ４２およびＬ４３も、輝度信号作成部３に出力される。
【００５９】
図７の輝度信号作成部３は、同時化された映像信号から輝度信号を作成する輝度演算部３０、輝度演算部３０で作成された輝度信号について負のオフセットを加算し、ゲインを乗じるオフセット・ゲイン演算部３１、およびオフセット・ゲイン演算された輝度信号に基づき水平の孤立点を強調する孤立点強調演算部３２を備える。輝度演算部３０は輝度演算回路３００〜３１０を有し、オフセット・ゲイン演算部３１は輝度演算回路３００〜３１０それぞれに対応してオフセット・ゲイン演算回路４００〜４１０を有する。動作において、同時化された水平ライン毎の映像信号は、輝度演算部３０の輝度演算回路それぞれに入力され、輝度信号が演算される。
【００６０】
図８に一般的な補色タイプのカラー撮像素子の色フィルタの構成を示す。図８において、Ｃｙはシアン、Ｙｅはイエロー、Ｇはグリーン、Ｍｇはマゼンタの略である。図９に、図８の構成の色フィルタを持った撮像素子についてフィールド読出しを行った場合の映像信号出力の様子を示す。
【００６１】
補色タイプのカラー撮像素子では、図８に示した４色のフィルタがモザイク状に配列されており、それをフィールド読出しすると、図９に示したように、上下２つのフィルタの信号が混合され、映像信号として読出される。
【００６２】
このままの状態で画素欠陥検出対象画素とその周辺画素の信号レベルを調査することにより、画素欠陥の検出を行うことも可能であるが、画素欠陥の検出誤りが発生する可能性が大きくなる。それは４色のフィルタの光の透過度がそれぞれ異なっているため、図９における異なるフィルタの信号が混合された映像信号の信号レベルの絶対値が異なってくるからである。
【００６３】
また、画素欠陥検出対象画素とその近傍にある同色フィルタが混合された画素とを比較することも可能であるが、その画素は、画素欠陥検出対象画素から少なくとも１画素幅以上離れており、被写体の状態の影響を受けやすい。そのため、単純に比較すると画素欠陥であるにもかかわらず、画素欠陥として判定されなかったり、また逆に画素欠陥でないのにもかかわらず画素欠陥であると判定されたりする可能性もある。そこで、本実施の形態では、輝度成分を示す輝度信号を作成し、これを使用する。
【００６４】
一般に図９のような信号から、輝度成分を示す輝度信号を作成する方法は複数知られているが、左右に隣接する画素信号の平均から輝度信号を作成する場合が多い。作成する輝度成分を示す信号Ｙｙｘは、画素の映像信号レベルＬｙｘを用いて（式１）で示される。
【００６５】
Ｙｙｘ＝（Ｌｙｘ＋Ｌｙ（ｘ＋１））÷２…（式１）
このようにすると、輝度成分を示す信号Ｙｙｘには、常にＣｙ、Ｇ，Ｙｅ、Ｍｇの４色のフィルタの信号が含まれることになり、信号の絶対値が等しくなるため、正確な画素欠陥の検出が可能になる。ただし、（式１）では、画素欠陥があった場合、隣接する輝度信号に影響が広がってしまうため、画素欠陥検出が行いにくくなることがある。
【００６６】
そのため本実施の形態では、以下の（式２）〜（式４）にて輝度成分を示す信号（以下、輝度信号という）を作成する。
【００６７】
Ｙｙｘ＝（Ｌｙ（ｘ−１）＋Ｌｙ（ｘ＋１））÷２＋Ｌｙｘ  …（式２）
ＹｙｘＬ＝（Ｌ（ｙ−１）（ｘ−１）＋Ｌ（ｙ＋１）（ｘ−１））÷２＋Ｌｙ（ｘ−１）…（式３）
ＹｙｘＲ＝（Ｌ（ｙ−１）（ｘ＋１）＋Ｌ（ｙ＋１）（ｘ＋１））÷２＋Ｌｙ（ｘ＋１）…（式４）
これら式に関して、対象画素の上下方向の信号判定には輝度信号Ｙｙｘを、左方向の信号判定には輝度信号ＹｙｘＬ信号を、右方向の信号判定には輝度信号ＹｙｘＲ信号をそれぞれ使用する。輝度信号を算出するためのいずれの式においても、４色のフィルタ信号が等しく含まれており、絶対値が等しいため正確な画素欠陥の検出が可能である。また、（式１）に比較して（式２）は、画素欠陥検出対象画素の信号レベルＬｙｘが加算されてより強調されており、欠陥画素の検出が行いやすくなっている。本実施の形態では（式２）の輝度信号を用いた処理を説明するが、これに代替して（式１）の輝度信号を適用した場合であっても同様に処理することができる。
【００６８】
画素欠陥に対応の映像信号には画素欠陥に起因して高周波数成分が多く含まれているので、作成された画素の輝度信号に対応する映像信号から抽出した高周波数成分を加えてもよい。これにより、作成される輝度信号において画素欠陥に起因した信号成分が強調されるから、輝度信号に基づく欠陥画素の検出が容易となる。
【００６９】
本実施の形態では輝度演算部３０のうち、輝度演算回路３００〜３０４は（式２）を使用して輝度信号Ｙ０、Ｙ１、Ｙ２、Ｙ３およびＹ４を作成し、輝度演算回路３０５、３０７および３０９は（式３）を使用して輝度信号Ｙ１Ｌ、Ｙ２ＬおよびＹ３Ｌを作成し、輝度演算回路３０６、３０８および３１０は（式４）を使用して輝度信号Ｙ１Ｒ、Ｙ２ＲおよびＹ３Ｒを作成する。輝度演算回路３００〜３１０それぞれで作成された輝度信号は対応のオフセット・ゲイン演算回路４００〜４１０それぞれに入力される。
【００７０】
オフセット・ゲイン演算回路４００〜４１０のそれぞれでは、入力される輝度信号に対して画素欠陥部分を強調するために、あらかじめ設定された負のオフセットを加算するとともに、あらかじめ設定されたゲインを乗じて出力する。
【００７１】
このような演算を行うことにより、最も画素欠陥が目立ちやすい被写体が暗い場合の白点を検出する際、負のオフセットを加算し、ゲインをかけることによって、信号レベルの小さい信号を切り捨て、欠陥画素の信号レベルを増幅し、画素欠陥の検出をより確実なものにする効果がある。オフセット値やゲイン値は、システムごとにノイズの発生状況や、利用状態によって最適であると考えられる値を設定する。
【００７２】
オフセット・ゲイン演算部３１から出力された輝度信号は、孤立点強調演算部３２の孤立点強調演算回路３２１〜３２３に入力され、孤立点強調のための演算がされて出力される。ここでは（式５）または（式６）に従い強調成分（ＹＬ＋ＹＲ）を加算して孤立点の強調を行う。
【００７３】
ＹＥ＝Ｙ−（ＹＬ＋ＹＲ）…（式５）
ＹＥ＝Ｙ−Ｇ×（ＹＬ＋ＹＲ）…（式６）
図１０に（式５）に従い孤立点の強調を行った場合の様子を示す。図１０において、画素欠陥検出対象画素の輝度信号Ｙ、画素欠陥検出対象画素に隣接する１画素左側の画素の輝度信号ＹＬ、画素欠陥検出対象画素から１画素右側の画素の輝度信号ＹＲ、および孤立点強調を行った後の輝度信号ＹＥが示される。孤立点強調を行うと、図１０のように画素欠陥（画素欠陥Ｅ１、画素欠陥Ｅ２）は強調された画素欠陥（画素欠陥ＥＥ１、画素欠陥ＥＥ２）となり、画素欠陥の検出が容易になる。
【００７４】
また（式６）に従い強調成分にゲインＧを乗じて孤立点の強調を行ってもよい。（式６）に従うと、さらに画素欠陥が強調されて画素欠陥の検出がより容易になるが、映像信号にノイズが多く含まれる場合にはノイズ成分が強調されてしまい欠陥画素として誤判定されるかもしれない。したがって、システムの状態によってゲインＧの値を設定するのが好ましい。
【００７５】
輝度信号作成部３で作成された輝度信号のうち、輝度信号Ｙ１、Ｙ０、Ｙ２、Ｙ１ＬおよびＹ１Ｒは上画素検出部４に与えられて、輝度信号Ｙ２、Ｙ１、Ｙ３、Ｙ２ＬおよびＹ２Ｒは中画素検出部５に与えられて、輝度信号Ｙ３、Ｙ２、Ｙ４、Ｙ３ＬおよびＹ３Ｒは下画素欠陥検出部６に与えられる。図１１に上画素欠陥検出部４の構成が示される。中画素欠陥検出部５および下画素欠陥検出部６それぞれも上画素欠陥検出部４と同様の構成を有するので、ここでは上画素欠陥検出部４の構成のみを説明し、中画素欠陥検出部５および下画素欠陥検出部６の説明は略す。
【００７６】
図１１において上画素欠陥検出部４は、画素欠陥検出対象画素の周辺画素の信号レベルにより画素欠陥（白点）の検出の閾値Ｋ１を決定する白点閾値制御部４０、白点調査部４１、黒点調査部４２、画素欠陥検出対象画素の周辺画素の信号レベルにより画素欠陥（黒点）の検出の閾値Ｋ２を決定する黒点閾値制御部４３、白点調査部４１からの信号により画素欠陥検出対象画素が欠陥画素であるかどうかの判定を行う欠陥画素判定部４４、および黒点調査部４２からの信号により画素欠陥検出対象画素が欠陥画素であるかどうかの判定を行う欠陥画素判定部４５を備える。欠陥画素判定部４４および４５は対象画素は欠陥画素であると判定したとき画素欠陥情報ＥＨ１を出力する。
【００７７】
白点調査部４１は、白点検出時、検出対象画素と上下左右方向に隣接する画素との信号レベルを閾値Ｋ１を用いて比較する白点上方向、白点下方向、白点左方向および白点右方向調査回路４１１、４１２、４１３および４１４を含む。黒点調査部４２は、黒点検出時、検出対象画素と上下左右方向に隣接する画素との信号レベルを閾値Ｋ２を用いて比較する黒点上方向、黒点下方向、黒点左方向および黒点右方向調査回路４２１、４２２、４２３および４２４を含む。
【００７８】
上画素欠陥検出部４では、画素欠陥検出対象画素の輝度信号とその上下左右方向に隣接する画素の輝度信号とのレベルを比較し、画素欠陥検出対象画素の輝度信号レベルが隣接する画素のそれよりも突出して孤立状態にあれば、対象画素は欠陥画素と判定する。具体的には白点検出を行う場合、（式７）〜（式１０）の条件がすべて成立すれば画素欠陥と判定される。
【００７９】
Ｙｙ−Ｙ（ｙ−１）＞Ｋ１…（式７）、Ｙｙ−Ｙ（ｙ＋１）＞Ｋ１…（式８）
Ｙｙ−ＹｙＬ＞Ｋ１…（式９）、Ｙｙ−ＹｙＲ＞Ｋ１…（式１０）
（式７）は、画素欠陥検出対象画素の上方向の調査を、（式８）は下方向の調査を、（式９）は左方向の調査を、（式１０）は右方向の調査をそれぞれ行っている。（式７）〜（式１０）の条件がすべて成立することは、画素欠陥検出対象画素が隣接する画素と比較して信号レベルが高い、つまり孤立しているということであり、画素欠陥（白点）と判定されて画素欠陥情報ＥＨ１が出力される。
【００８０】
また、黒点検出を行う場合も同様に（式１１）〜（式１４）の条件がすべて成立すれば画素欠陥と判定される。
【００８１】
Ｙ（ｙ−１）−Ｙｙ＞Ｋ２…（式１１）、Ｙ（ｙ＋１）−Ｙｙ＞Ｋ２…（式１２）
ＹｙＬ−Ｙｙ＞Ｋ２…（式１３）、ＹｙＲ−Ｙｙ＞Ｋ２…（式１４）
（式１１）は、画素欠陥検出対象画素の上方向の調査を、（式１２）は下方向の調査を、（式１３）は左方向の調査を、（式１４）は右方向の調査をそれぞれ行っている。（式１１）〜（式１４）の条件がすべて成立することは、画素欠陥検出対象画素が隣接する画素と比較して信号レベルが低い、つまり孤立しているということであり、画素欠陥（黒点）と判定されて画素欠陥情報ＥＨ１が出力される。
【００８２】
閾値Ｋ１、Ｋ２は、システムの状態に合わせた固定値としてもよいし、より画素欠陥の検出漏れを防止するために隣接する周辺画素の信号レベルに応じて可変設定するようにしてもよい。
【００８３】
例えば、画素欠陥検出対象画素の上下左右方向の画素の輝度信号レベルの平均値を算出し、輝度信号レベルの平均値が高ければ閾値Ｋ１を大きくし閾値Ｋ２を小さくするように制御し、逆に輝度信号レベルの平均値が低ければ閾値Ｋ１を小さくし閾値Ｋ２を大きくするように制御する。
【００８４】
閾値Ｋ１とＫ２について、このように制御すると、白（黒）点検出の場合に対象画素の周辺画素の信号レベルが高く（低く）、かつ対象画素が白（黒）点であったとしても、白（黒）点検出を容易にできて誤判定による画質劣化を防ぐことができる。
【００８５】
また、周辺画素の信号レベルが低い場合は、白点が存在すると目立つため、必ず検出されるよう閾値Ｋ１を小さくし、白点の判定もれを防ぐ。
同様に、黒点検出の場合、周辺画素の信号レベルが低いとたとえ黒点が存在していて、検出されなくても黒点は目立たないため、閾値Ｋ２を大きくし、誤判定による画質の劣化を防ぐ。また、周辺画素の信号レベルが高い場合は、黒点が存在すると目立つため、必ず検出されるよう閾値Ｋ２を小さくし、黒点の判定もれを防ぐ。
【００８６】
また、本実施の形態では、画素欠陥の検出を５本の水平ラインの信号Ｌ０〜Ｌ４の分の映像信号より、３本の水平ラインの信号Ｌ１、Ｌ２およびＬ３について同時に検出を行っている。これは、信号Ｌ２のみ画素欠陥補正を行ったのちに垂直エッジ処理など、複数の水平ラインの信号を使用する処理を行うと、偽の垂直エッジなど、画質に悪影響を及ぼす現象が発生するからである。
【００８７】
具体的には、デジタル信号処理回路９４Ａにおいて、信号Ｌ２の映像信号にて輝度信号を作成した場合、一般に垂直エッジ処理は、信号Ｌ１とＬ３の映像信号を使用して行われる。なぜなら、信号Ｌ２の映像信号のみ補正を行うと、輝度信号自体の画素欠陥は補正されるが、画素欠陥が信号Ｌ１またはＬ３の水平ラインに存在する場合、垂直エッジ処理に欠陥画素が使用されてしまい、本来存在しないはずの偽の垂直エッジが現れるためである。
【００８８】
本実施の形態では、上、中および下画素欠陥検出部４、５、および６において３水平ラインの信号Ｌ１、Ｌ２およびＬ３のすべてについて画素欠陥の検出をし、画素欠陥補正部７にて補正を行っているため、偽の垂直エッジなどの現象は発生しない。
【００８９】
上画素欠陥検出部４、中画素欠陥検出部５、および下画素欠陥検出部６で画素欠陥が検出された場合、それぞれ、画素欠陥情報ＥＨ１、ＥＨ２およびＥＨ３を上画素欠陥補正部７、中画素欠陥補正部８および下画素欠陥補正部９に出力するので、上画素欠陥補正部７は画素欠陥情報ＥＨ１を入力したとき、中画素欠陥補正部８は画素欠陥情報ＥＨ２を入力したとき、および下画素欠陥補正部９は画素欠陥情報ＥＨ３を入力したとき、それぞれ画素欠陥の補正を行う。
【００９０】
図１２に上画素欠陥補正部７の構成を示す。中画素欠陥補正部８および下画素欠陥補正部９も上画素欠陥補正部７と同様の構成であるから、ここでは上画素欠陥補正部７の構成のみ説明し、下画素欠陥補正部９と上画素欠陥補正部７の説明は略す。
【００９１】
図１２において上画素欠陥補正部７は、水平画素遅延部２から信号Ｌ１０とＬ１４を入力して、その平均値により欠陥画素の補正信号を作成して出力する補正値演算部５０、およびセレクタ５１を有する。セレクタ５１は補正値演算部５０からの補正信号と水平画素遅延部２からの信号Ｌ１２（未補正信号）とを入力して、上画素欠陥検出部４から画素欠陥情報ＥＨ１が与えられるときは入力信号のうちの補正信号を導出し、そうでないときは信号Ｌ１２（未補正信号）を導出する。
【００９２】
水平画素遅延部２にて同時化された５水平画素分のデータのうち、画素欠陥検出対象画素である信号Ｌ１２と同色のフィルタの信号Ｌ１０およびＬ１４についての平均値を補正値演算部５０で算出することにより、信号Ｌ１２の補正信号を作成している（図６と図８を参照）。これは、一般に映像信号において欠陥画素検出対象画素の信号Ｌ１２と左右に隣接する同色フィルタの信号Ｌ１０とＬ１４は相関性が強いことを利用している。
【００９３】
ここで作成された補正信号は、未補正信号である信号Ｌ１２とともにセレクタ５１に入力される。セレクタ５１では、上画素欠陥検出部４から画素欠陥情報ＥＨ１が与えられず画素欠陥でないことが指示される場合は信号Ｌ１２を出力し、画素欠陥情報ＥＨ１が与えられて画素欠陥であることが指示される場合は、補正値演算部５８で作成された補正信号を出力することにより、画素欠陥の補正が行われる。
【００９４】
上画素欠陥補正部７では信号Ｌ１の水平ラインについて欠陥画素補正を行うが、同様にして中画素欠陥補正部８では信号Ｌ２の水平ラインについて、下画素欠陥補正部９では信号Ｌ３の水平ラインについて欠陥画素の補正が同時に行なわれている。
【００９５】
（実施の形態２）
実施の形態１の画素欠陥検出補正部９３Ａでは、垂直ライン遅延部１において、５水平ライン分のラインメモリを使用し、５水平ライン分の映像信号の同時化を行ったが、本実施の形態２の画素欠陥検出補正部９３Ｂでは３水平ライン分のラインメモリを使用して、画素欠陥の検出と補正を行う。
【００９６】
図１３を参照して画素欠陥検出補正部９３Ｂは、固体カラー撮像素子９２Ａからのデジタルの映像信号を水平ライン単位で遅延させて出力する垂直ライン遅延部６０、垂直ライン遅延部６０から出力される３水平ライン分の信号について、それぞれ水平方向に画素単位で遅延させて出力する水平画素遅延部６１、水平画素遅延部６１からの信号より、輝度信号を作成して出力する輝度信号作成部６２、上画素欠陥検出部６３、中画素欠陥検出部６４、下画素欠陥検出部６５、上画素欠陥補正部６６、中画素欠陥補正部６７および下画素欠陥補正部６８を備える。
【００９７】
垂直ライン遅延部６０では３水平ライン分のラインメモリを使用し、３水平ライン分の信号の同時化が可能である。水平画素遅延部６１では水平方向に４画素分遅延させ、計５水平画素分の信号の同時化が可能である。
【００９８】
上画素欠陥検出部６３は、輝度信号作成部６２で作成された輝度信号より、画素欠陥検出対象画素の上ラインの画素欠陥を周辺画素と比較することにより検出する。中画素欠陥検出部６４は、輝度信号作成部６２で作成された輝度信号より、画素欠陥検出対象画素の画素欠陥を周辺画素と比較することにより検出する。下画素欠陥検出部６５は、輝度信号作成部６２で作成された輝度信号より、画素欠陥検出対象画素の下ラインの画素欠陥を周辺画素と比較することにより検出する。
【００９９】
上画素欠陥補正部６６は、上画素欠陥検出部６３で検出された画素欠陥情報より、画素欠陥検出対象画素の周辺画素の信号を利用して欠陥画素の信号レベルを推定し、置換する。中画素欠陥補正部６７は、中画素欠陥検出部６４で検出された画素欠陥情報より、画素欠陥検出対象画素の周辺画素の信号を利用して欠陥画素の信号レベルを推定し、置換する。下画素欠陥補正部６８は、下画素欠陥補正部６５で検出された画素欠陥情報より、画素欠陥検出対象画素の周辺画素の信号を利用して欠陥画素の信号レベルを推定し、置換する。
【０１００】
図１４を参照して垂直ライン遅延部６０は、３本のラインメモリ７０１、７０２および７０３を含み、カラー固体撮像素子９２Ａから入力した映像信号をラインメモリ７０１、７０２および７０３により３水平ライン分記憶し読出すことが可能なラインメモリ部７０、３本のラインメモリに対して書込みと読出しの制御を行うメモリ制御回路部７１、３本のラインメモリから読出された映像信号を信号Ｌ０からＬ２までの順番にセレクトし出力する出力データセレクタ７２を備える。
【０１０１】
図１５にカラー固体撮像素子９２Ａから入力された映像信号のデータがラインメモリ部７０に書込まれるタイミングと信号Ｌ０、Ｌ１およびＬ２として導出される関係を示す。
【０１０２】
図１５を参照して、カラー固体撮像素子９２Ａから垂直ライン遅延部６０に入力された１水平ライン分の映像信号のデータＨ１は、ラインメモリ７０１に１水平ライン分のデータとして書込まれる。次の水平ラインである映像信号のデータＨ２は、ラインメモリ７０２に書込まれる。さらに次の水平ラインである映像信号のデータＨ３は、ラインメモリ７０３に書込まれる。
【０１０３】
さらに次に映像信号のデータＨ４が入力されると、再びラインメモリ７０１に書込まれ、以降、映像信号のデータが入力される毎にラインメモリへの書込みが行なわれる。ラインメモリ７０１〜７０３それぞれからの読出しは、書込みを行っていないラインメモリ２本に対して行われる。
【０１０４】
ラインメモリから読出された２水平ライン分の映像信号のデータにカラー固体撮像素子９２Ａから入力された映像信号のデータを加えて、計３水平ライン分の映像信号が同時化され、出力データセレクタ７２を介し、信号Ｌ０、Ｌ１およびＬ２として出力される。
【０１０５】
本実施の形態２では、３水平ライン分の映像信号を同時化するため、３本のラインメモリ７０１〜７０２を使用したが、書込みと読出しを同時に行うことが可能なデュアルポートタイプのラインメモリや、１画素当りの時間の倍速で読み書きを行うことにより、２本のラインメモリで３水平ラインの同時化を行うことも可能である。
【０１０６】
垂直ライン遅延部６０で同時化された３水平ライン分の映像信号データは、水平画素遅延部６１に与えられる。水平画素遅延部６１での動作は実施の形態１で説明した水平画素遅延部２と同じ動作なので説明は省略する。水平画素遅延部６１で同時化された映像信号のデータは、輝度信号作成部６２に与えられる。
【０１０７】
図１６を参照して輝度信号作成部６２は、同時化された映像信号から輝度信号を作成する輝度演算部８０、輝度演算部８０で作成された輝度信号より負のオフセットを加算し、ゲインをかけるオフセット・ゲイン演算部８１、およびオフセット、ゲイン演算された輝度信号より水平の孤立点を強調する孤立点強調演算部８２を備える。輝度演算部８０は輝度演算回路８００〜８０８を有し、オフセット・ゲイン演算部８１は輝度演算回路８００〜８０８それぞれに対応してオフセット・ゲイン演算回路９００〜９０８を有する。動作において、同時化された水平ライン毎の映像信号は、輝度演算部８０の輝度演算回路それぞれに入力され、輝度信号が演算される。
【０１０８】
本実施の形態２では、以下の３種類の式にて輝度成分を示す信号を作成する。
Ｙｙｘ＝（Ｌｙ（ｘ−１）＋Ｌｙ（ｘ＋１））÷２＋Ｌｙｘ…（式１５）
ＹｙｘＬ＝（Ｌ（ｙ−１）（ｘ−２）＋Ｌ（ｙ＋１）（ｘ−１））÷２…（式１６）
ＹｙｘＲ＝（Ｌ（ｙ−１）（ｘ＋１）＋Ｌ（ｙ＋１）（ｘ＋２））÷２…（式１７）
対象画素の上下方向の信号判定には信号Ｙｙｘを、左方向の信号判定には信号ＹｙｘＬを、右方向の信号判定には信号ＹｙｘＲをそれぞれ使用する。上記のいずれの式においても、４色のフィルタ信号が等しく含まれており、絶対値が等しいため正確な画素欠陥の検出が可能である。作成された信号ＹｙｘＬ、信号ＹｙｘＲおよび信号Ｙｙｘを、以下、輝度信号と呼ぶ。
【０１０９】
作成された輝度信号は、実施の形態１と同様に、オフセット・ゲイン演算部８１で負のオフセットが加えられて、及びゲインが乗じられて、さらに孤立点強調演算部８２で孤立点強調演算が行われ、画素欠陥検出部に与えられる。
【０１１０】
図１７に上画素欠陥検出部６３の構成を、図１８に下画素欠陥検出部６５の構成をそれぞれ示す。中画素欠陥検出部６４の構成は、実施の形態１の中画素欠陥検出部５（図１１参照）と同様である。
【０１１１】
図１７を参照して上画素欠陥検出部６３は、画素欠陥検出対象画素の周辺信号レベルより欠陥画素（白点）の検出閾値Ｋ１を決定する白点閾値制御部９０、白点検出時、検出対象画素と下左右方向に隣接する画素の信号レベルを比較する白点調査部９１、黒点検出時、検出対象画素と下左右方向に隣接する画素の信号レベルを比較する黒点調査部９２、画素欠陥検出対象画素の周辺画素の信号レベルより欠陥画素（黒点）の検出閾値Ｋ２を決定する黒点閾値制御部９３、白点調査部９１からの信号により画素欠陥検出対象画素が欠陥画素であるかどうかの判定を行う欠陥画素判定（白点）部９４、および黒点調査部９２からの信号により画素欠陥検出対象画素が欠陥画素であるかどうかの判定を行う欠陥画素判定（黒点）部９５を備える。
【０１１２】
図１８を参照して下画素欠陥検出部６５は、欠陥画素検出対象画素の周辺画素の信号レベルより欠陥画素（白点）の検出閾値Ｋ１を決定する白点閾値制御部１００、白点検出時、検出対象画素と上左右方向に隣接する画素の信号レベルを比較する白点調査部１０１、黒点検出時、検出対象画素と上左右方向に隣接する画素の信号レベルを比較する黒点調査部１０２、画素欠陥検出対象画素の周辺画素の信号レベルより欠陥画素（黒点）の検出閾値Ｋ２を決定する黒点閾値制御部１０３、白点調査部１０１からの信号により画素欠陥検出対象画素が欠陥画素であるかどうかの判定を行う欠陥画素判定（白点）部１０４、および黒点調査部１０２からの信号により画素欠陥検出対象画素が欠陥画素であるかどうかの判定を行う欠陥画素判定（黒点）部１０５を備える。
【０１１３】
実施の形態１では、５水平ライン分の同時化された信号をもとに、画素欠陥検出対象画素とその隣接する上下左右方向の画素の信号レベルを比較して画素欠陥の判定を行っていたが、本実施の形態２では、３水平ライン分しか同時化されていないため、信号Ｌ０の水平ラインの画素欠陥検出には、画素欠陥検出対象画素に隣接する下左右の３方向の画素の信号レベルより、また、信号Ｌ２の水平ラインの画素欠陥検出には、画素欠陥検出対象画素に隣接する上左右の３方向の画素の信号レベルより画素欠陥の検出を行う。
【０１１４】
信号Ｌ１の水平ラインの画素欠陥検出に関しては、実施の形態１と同様に画素欠陥検出対象画素に隣接する上下左右の４方向の画素の信号レベルより画素欠陥の検出を行う。
【０１１５】
信号Ｌ０、信号Ｌ１の水平ラインの画素欠陥検出は、画素欠陥検出対象画素に隣接する３方向の画素の信号のみで行うため、実施の形態１に比較すると高い検出精度を得るのは困難である。しかし、ラインメモリが３ライン分でよいためコストを抑制できる。したがって、システムの構成に際しては、画質を重視するか、コストを重視するかで実施の形態１および２の構成のいずれかを選択すればよい。
【０１１６】
上画素欠陥検出部６３、中画素欠陥検出部６４および下画素欠陥検出部６５は画素欠陥を検出すると画素欠陥情報ＥＨ０、ＥＨ１およびＥＨ２それぞれを上画素欠陥補正部６６、中画素欠陥補正部６７および下画素欠陥補正部６８に与える。上画素欠陥補正部６６、中画素欠陥補正部６７および下画素欠陥補正部６８における画素欠陥情報ＥＨ０、ＥＨ１およびＥＨ２それぞれが与えられたことに応じて実行される画素欠陥の補正は、実施の形態１と同様なので説明は省略する。
【０１１７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１１８】
【発明の効果】
本発明によれば、画素欠陥の検出には輝度信号作成手段により作成された輝度成分を示す輝度信号が使用されるので、色フィルタが配置された固体撮像素子を使用して色フィルタ毎の画素の信号レベルのばらつきがあるにもかかわらず、この輝度信号のレベル差に基づくことで正確に画素欠陥を検出できる。
【図面の簡単な説明】
【図１】実施の形態１の画素欠陥検出補正部の構成図である。
【図２】各実施の形態に適用される撮像装置の構成図である。
【図３】垂直ライン遅延部１の構成図である。
【図４】撮像素子から入力された信号データがラインメモリに書込まれるタイミングと読出される信号Ｌ０〜Ｌ４の関係を示す図である。
【図５】水平画素遅延部２の一部（１水平ライン分）の構成図である。
【図６】垂直遅延部１と水平画素遅延部２で同時化される範囲を示す図である。
【図７】輝度信号作成部３の構成図である。
【図８】一般的な補色タイプのカラー撮像素子の色フィルタの構成図である。
【図９】フィールド読出しを行った場合の映像信号出力を示す図である。
【図１０】孤立点強調演算を説明する図である。
【図１１】上画素欠陥検出部４の構成図である。
【図１２】上画素欠陥補正部７の構成図である。
【図１３】実施の形態２の画素欠陥検出補正部の構成図である。
【図１４】垂直ライン遅延部６０の構成図である。
【図１５】実施の形態２の撮像素子から入力された信号データがラインメモリに書込まれるタイミングと信号Ｌ０〜Ｌ２との関係を示す図である。
【図１６】輝度信号作成部６２の構成図である。
【図１７】上画素欠陥検出部６３の構成図である。
【図１８】下画素欠陥検出部６５の構成図である。
【符号の説明】
１，６０  垂直ライン遅延部、２，６１  水平画素遅延部、３，６２  輝度信号作成部、４，６３  上画素欠陥検出部、５，６４  中画素欠陥検出部、６，６５  下画素欠陥検出部、７，６６  上画素欠陥補正部、８，６７  中画素欠陥補正部、９，６８  下画素欠陥補正部、１０，７０  ラインメモリ部、３０  輝度演算部、３１，８１  オフセット・ゲイン演算部、３２，８２  孤立点強調演算部、９３Ａ，９３Ｂ  画素欠陥検出補正部、Ｋ１，Ｋ２  閾値。
【図１】
2004297267.tif 000003
【図２】
2004297267.tif 000004
【図３】
2004297267.tif 000005
【図４】
2004297267.tif 000006
【図５】
2004297267.tif 000007
【図６】
2004297267.tif 000008
【図７】
2004297267.tif 000009
【図８】
2004297267.tif 000010
【図９】
2004297267.tif 000011
【図１０】
2004297267.tif 000012
【図１１】
2004297267.tif 000013
【図１２】
2004297267.tif 000014
【図１３】
2004297267.tif 000015
【図１４】
2004297267.tif 000016
【図１５】
2004297267.tif 000017
【図１６】
2004297267.tif 000018
【図１７】
2004297267.tif 000019
【図１８】
2004297267.tif 000020