(57)【特許請求の範囲】
【請求項１】
補色フィルタが被着された固体撮像素子から出力された画素キズを含む映像信号をディジタル化するＡ／Ｄ変換手段と、
ディジタル化した映像信号の注目画素の周囲の異なる色フィルタの画素の画素値から補色フィルタの配列を元に注目画素の画素値を推定する推定手段と、
前記推定手段にて推定された画素値と前記注目画素から１画素飛ばした左右の注目画素と同一の色フィルタの画素値とを比較して、最大値、中央値および最小値を求める比較手段と、
前記注目画素の画素値から前記最大値を引いた値が白キズ判定余裕より大きいときは、前記注目画素を白キズと判定して前記中央値をキズ補正後の画素値とし、前記最小値から前記注目画素の画素値を引いた値が、前記黒キズ判定余裕より大きいときは、前記注目画素を黒キズと判定して前記中央値をキズ補正後の画素値とするキズ補正手段とを有することを特徴とする画素キズ検出・補正装置。
【請求項２】
前記推定手段は、前記注目画素の周囲８画素の画素値と補色フィルタの配列を元に、前記注目画素の色フィルタの画素値を推定することを特徴とする請求項１に記載の画素キズ検出・補正装置。
【請求項３】
前記比較手段は、
前記推定手段において推定された画素値と、前記注目画素を１画素飛ばした左右の同色フィルタの画素値の最大値に前記白キズ判定余裕を加えた値と、前記最大値に判定余裕係数をかけた値とを比較して、その小さな方と注目画素の画素値とを比較することにより画素の白キズを検出し、
前記推定手段において推定された画素値と、前記注目画素を１画素飛ばした左右の同色フィルタの画素値の最小値から前記黒キズ判定余裕を引いた値と、前記最小値に判定余裕係数をかけた値とを比較して、その大きな方と注目画素の画素値とを比較することにより画素の黒キズを検出することを特徴とする請求項１または請求項２に記載の画素キズ検出・補正装置。
【請求項４】
前記補正手段は、前記推定手段において推定された画素値と前記注目画素を１画素飛ばした左右の同色フィルタの画素値とにより画素のキズを補正することを特徴とする請求項１ないし請求項３のいずれかに記載の画素キズ検出・補正装置。
【請求項５】
請求項１に記載の画素キズ検出・補正装置用のプログラムであって、
コンピュータに、
注目画素の周囲８画素の画素値と補色フィルタの配列を元に、前記注目画素の色フィルタの画素値を推定する手順と、
前記推定された画素値と、前記注目画素を１画素飛ばした左右の同色フィルタの画素値の最大値に前記白キズ判定余裕を加えた値と、前記最大値に判定余裕係数をかけた値とを比較して、その小さな方と注目画素の画素値とを比較することにより画素の白キズを検出する手順と、
前記推定された画素値と、前記注目画素を１画素飛ばした左右の同色フィルタの画素値の最小値から前記黒キズ判定余裕を引いた値と、前記最小値に判定余裕係数をかけた値とを比較して、その大きな方と注目画素の画素値とを比較することにより画素の黒キズを検出する手順と、
前記推定された画素値と前記注目画素を１画素飛ばした左右の同色フィルタの画素値とにより画素のキズを補正する手順と、
を実行させるためのプログラム。
【請求項６】
請求項５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置のディジタル画像処理に関し、特に固体撮像素子の欠陥による画像のキズを検出し補正する画素キズ検出・補正装置およびそれを用いた撮像装置に関する。
【０００２】
【従来の技術】
従来、ＣＣＤやＣＭＯＳセンサといった固体撮像素子には、製造上、入射する光量とは無関係な出力を発生する欠陥画素が存在してしまうことがある。これは画像には黒い点の黒キズ、白い点の白キズとして現れる。また、デバイスの温度が高くなったときにはＣＣＤやＣＭＯＳセンサの電荷蓄積に異常が発生し、温度キズと呼ばれるキズが画像に発生してしまうことがある。
このようなキズに対しては補正処理を行い画質の劣化を抑えることが求められる。例えば、どの画素を補正するかを決定するキズ検出の方式として、テーブル方式とキズ検出方式とがある。テーブル方式は予め補正位置情報をテーブルに格納しておき、その位置の画素を補正する方式である。もう一方のキズ検出方式は、以下のような従来例を挙げて説明する。
【０００３】
特開２００１−１６５９９公報の記載によると、欠陥画素検出部および欠陥画素補正処理部には、Ｙ／Ｃ分離処理部において処理されたＹ／Ｃ画像信号それぞれが入力され、欠陥画素検出部によりキズが検出され、欠陥画素補正処理部により検出されたキズが補正される。
また、特開２０００−５９７９９公報の記載によると、注目画素のＣＣＤ信号の値と、注目画素の周辺に存在する注目画素と同一の色成分を持つ周辺画素のＣＣＤ信号とを比較してキズを検出する。
また、特開２００１−８６５１７公報の記載によると、注目画素が持つ色とは別の色フィルタを持つ周辺の画素の周波数特性から、検査対象画素が高周波成分を持たないことをチェックした後、その検査対象画素が高周波成分を持つことが検出されたときには、その画素はキズであると判定する。
【０００４】
【発明が解決しようとする課題】
しかしながら、最初に挙げたテーブル方式は、生産段階で予め補正位置情報をテーブルに格納しておく方法であるため、補正できる画素の位置が固定されてしまい、温度キズや経年劣化により増加する欠陥画素のキズに対応できないという問題があった。
また、上記特開２００１−１６５９９公報記載の技術のように、変換処理部においてＹＣ分離処理を行い（Ｙ信号は輝度信号、Ｃ信号は色信号）、Ｙ／Ｃ分離後の画像信号を用いて欠陥画素を検出・補正する方法では、Ｙ信号を生成するためのＬＰＦ、つまり加算平均処理でキズの情報が広がってしまい正確なキズ検出・補正が難しいという問題があった。さらにＹ信号でキズの検出・補正を行った情報をＣ信号処理系に与え、Ｃ信号の補正を行う必要があるため、処理が複雑となり、回路規模が増大する要因になるという問題があった。
【０００５】
また、上記特開２０００−５９７９９公報に記載のように、注目画素のＣＣＤ信号の値と、注目画素の周辺に存在し注目画素と同一の色成分である周辺画素のＣＣＤ信号とを比較してキズを検出する方法や、上記特開２００１−８６５１７公報に記載のように、注目画素が持つ色とは別の色フィルタを持つ周辺の画素における周波数特性から検査対象画素が高周波成分を持たないことをチェックした後、その検査対象画素が高周波成分を持つことが検出されたときには、その画素はキズであると判定する方法には、以下のような問題がある。
すなわち、単板カメラでは、補色・原色共に複数色のフィルタを交互に配置するため、同一色のフィルタは飛び飛びの画素に配置されている。このため、平均値を求めるなど複数の画素の値が必要になった場合には、それぞれの画素間の空間的な距離が離れてデータの相関が低くなってしまい、キズ検出・補正の精度を上げることが難しいという問題があった。
【０００６】
本発明は、上記従来の問題を解決するためになされたもので、固体撮像素子の欠陥画素から発生した画素キズを、Ｙ／Ｃ分離する前に、簡単な構成により精度良く検出して補正できる固体撮像素子のキズ検出・補正装置および方法を提供し、それにより画質の劣化が少ない高画質な画像が得られる撮像装置を提供するものである。
【０００７】
【課題を解決するための手段】
本発明における画素キズ検出・補正装置は、補色フィルタが被着された固体撮像素子から出力された画素キズを含む映像信号をディジタル化するＡ／Ｄ変換手段と、ディジタル化した映像信号の注目画素の周囲の異なる色フィルタの画素の画素値から補色フィルタの配列を元に注目画素と同一の色フィルタの画素値を推定する推定手段と、前記推定手段にて推定された画素値と前記注目画素から１画素飛ばした左右の注目画素と同一の色フィルタの画素値とを比較して、最大値、中央値および最小値を求める比較手段と、前記注目画素の画素値から前記最大値を引いた値が白キズ判定余裕より大きいときは、前記注目画素を白キズと判定して前記中央値をキズ補正後の画素値とし、前記最小値から前記注目画素の画素値を引いた値が、前記黒キズ判定余裕より大きいときは、前記注目画素を黒キズと判定して前記中央値をキズ補正後の画素値とするキズ補正手段とを有する構成を有している。この構成により、固体撮像素子の欠陥画素によるキズを、Ｙ／Ｃ分離前の信号に対し近傍画素の値を用いて検出・補正することにより、高精度なキズ検出・補正を行うことができる。
【０００８】
本発明における画素キズ検出・補正装置では、前記推定手段は、前記注目画素の周囲８画素の画素値と補色フィルタの配列を元に、前記注目画素の色フィルタの画素値を推定するという構成を有している。この構成により、Ｙ／Ｃ分離前の信号に対して近傍画素の値を用いて検出・補正することにより、Ｙ信号生成のＬＰＦの影響を受けない高精度なキズ検出を行うことができる。
【０００９】
本発明における画素キズ検出・補正装置では、前記比較手段は、前記推定手段において推定された画素値と、前記注目画素を１画素飛ばした左右の同色フィルタの画素値の最大値に前記白キズ判定余裕を加えた値と、前記最大値に判定余裕係数をかけた値とを比較して、その小さな方と注目画素の画素値とを比較することにより画素の白キズを検出し、前記推定手段において推定された画素値と、前記注目画素を１画素飛ばした左右の同色フィルタの画素値の最小値から前記黒キズ判定余裕を引いた値と、前記最小値に判定余裕係数をかけた値とを比較して、その大きな方と注目画素の画素値とを比較することにより画素の黒キズを検出するという構成を有している。この構成により、画素値が低い時は、判定余裕係数を積算した値の方を閾値として選ぶことにより、画像の暗い部分で高精度なキズ検出することができる。
【００１０】
本発明における画素キズ検出・補正装置では、前記補正手段は、前記推定手段において推定された画素値と前記注目画素を１画素飛ばした左右の同色フィルタの画素値とにより画素のキズを補正するという構成を有している。この構成により、注目画素のより近傍の値でキズ補正を行うため、キズ補正の精度を良くすることができる。
【００１１】
本発明に関連する撮像装置は、補色フィルタが被着された補色単板固体撮像素子から出力された画素キズを含む映像信号をディジタル化するＡ／Ｄ変換手段と、ディジタル化した映像信号の画素キズを検出して補正するキズ検出・補正手段と、画素キズを補正した画像信号を処理する画像信号処理手段とを有するという構成を有している。この構成により、補色単板固体撮像素子を用いた撮像装置においてもキズによる画質の劣化が少ない高品質な画像を得ることができる。
【００１２】
本発明におけるプログラムは、請求項１に記載の画素キズ検出・補正装置用のプログラムであって、コンピュータに、注目画素の周囲８画素の画素値と補色フィルタの配列を元に、前記注目画素の色フィルタの画素値を推定する手順と、前記推定された画素値と、前記注目画素を１画素飛ばした左右の同色フィルタの画素値の最大値に前記白キズ判定余裕を加えた値と、前記最大値に判定余裕係数をかけた値とを比較して、その小さな方と注目画素の画素値とを比較することにより画素の白キズを検出する手順と、前記推定された画素値と、前記注目画素を１画素飛ばした左右の同色フィルタの画素値の最小値から前記黒キズ判定余裕を引いた値と、前記最小値に判定余裕係数をかけた値とを比較して、その大きな方と注目画素の画素値とを比較することにより画素の黒キズを検出する手順と、前記推定された画素値と前記注目画素を１画素飛ばした左右の同色フィルタの画素値とにより画素のキズを補正する手順と、を実行させるという構成を有している。この構成により、このプログラムにより画素値推定、キズ検出処理およびキズ補正処理アルゴリズムを具現化して、ＭＰＵ、プログラム可能なＤＳＰ等でキズ検出・補正処理を実現することができるので、キズ検出・補正回路を削減することができる。
【００１３】
本発明におけるコンピュータ読み取り可能な記録媒体は、請求項５に記載のプログラムを記録したという構成を有している。この構成により、記録媒体に記録されたプログラムに従って動作するマイコンやプログラム可能なＤＳＰ等により、ソフトウェアで実現するこの画素キズ検出・補正処理を他のコンピュータで容易に実施することができることとなる。
【００１４】
【発明の実施の形態】
以下、添付図面に基づき、本発明の第１ないし第４の実施の形態を詳細に説明する。
（第１の実施の形態）
まず、図１ないし図７を参照して、本発明の第１の実施の形態における画素キズ検出・補正装置について説明する。最初、図１を参照して、本実施の形態における画素キズ検出・補正装置の構成を説明する。
図１において、レンズ１１は入射光を集光し、被写体の映像を補色フィルタ１２が披着されたＣＣＤやＣＭＯＳセンサ等の固体撮像素子１３に結像する。アナログ処理ブロック１５はアナログ映像信号を調整するオフセット調整やアナログゲインといった回路群から構成される。Ａ／Ｄ変換装置１６はアナログ映像信号を量子化してディジタル処理できるようにする。キズ検出・補正ブロック１７はディジタル信号化された映像データをディジタル処理するためのＭＰＵ、ＤＳＰ等と映像信号を蓄積するメモリで構成され、キズ検出・補正したキズ補正映像信号１８を出力する。また、キズ検出・補正ブロック１７は、注目画素の周囲の異なる色フィルタの画素の画素値から補色フィルタの配列を元に注目画素と同一の色フィルタの画素値を推定する推定手段と、前記推定手段において推定された画素値と注目画素を１画素飛ばして左右の同色フィルタの画素値と注目画素の画素値とを比較する比較手段と、前記推定手段において推定された画素値と注目画素を１画素飛ばして左右の同色フィルタの画素値とによりキズを補正するキズ補正手段とを有する。
【００１５】
次に、図１を参照して、本発明の第１の実施の形態における画素キズ検出・補正装置の動作を概略説明する。まず、被写体からの入射光は固体撮像素子１３にて、光電変換により電気信号に変換される。その際に固体撮像素子１３に存在する欠陥画素により信号に画素キズと呼ばれるノイズを生じてしまうことがある。キズを含んだ映像信号１４はアナログ処理ブロック１５においてゲイン調整などのアナログ処理された後、Ａ／Ｄ変換装置１６においてディジタル化される。ディジタル化された映像信号はＹＣ分離することなく、キズ検出・補正ブロック１７に入力される。キズ検出・補正ブロック１７では、注目画素の周囲の色フィルタの異なる画素の値から補色フィルタの配列を元に注目画素の値を推定し、その推定値と注目画素を１画素飛ばした左右の同色フィルタの画素値と注目画素の値とを比較することにより、画素のキズの検出・補正を行い、キズ補正後の映像信号１８を出力する。以下にその詳細内容を順に説明する。
【００１６】
まず、図２を参照して、本発明の実施の形態における補色単板カメラの色フィルタの配列例について説明する。補色フィルタの配列は、Ｙｅ（イエロー）２１、Ｃｙ（シアン）２２、Ｍｇ（マゼンダ）２３、Ｇ（グリーン）２４の４種類の色フィルタを、ＹｅとＣｙを交互に並べたラインと、ＭｇとＧを交互に並べたラインを交互に並べたものになっており、ＭｇとＧの配列はライン毎に入れ替わっている。これら１つの色フィルタが固体撮像素子１３の１個の開口部に対応するように接着される。このような配列はフィールド色差順次配列と呼ばれる。
【００１７】
次に、図３を参照して、本発明の実施の形態における映像信号の出力方法の例について説明する。インタレース方式によると、固体撮像素子１３の出力は縦２個の開口部で光電変換された電荷が１つのデータとして順次取り出される。つまり、「Ｙｅ＋Ｍｇ」３１、「Ｃｙ＋Ｇ」３２というように縦２個を組にして順に出力される。１ライン終了したら２個縦にずらして、再び縦２個の電荷を１つのデータとして出力してゆく。これを全画素分行ったものをＡフィールドと呼ぶ。Ａフィールドのデータを全て出力したら、縦２個の開口部の組み合わせを１個縦にずらして、同様にもう一度縦２個のデータを組にして全画素分のデータを出力するこれをＢフィールドと呼び、Ａフィールド、Ｂフィールド２つのフィールドで１つの画像データとする。
【００１８】
次に、図４を参照して、本発明の実施の形態における映像信号の出力例について説明する。上記のインタレース方式で読み出されたデータは、ＹＭ（Ｙｅ＋Ｍｇ）４１、ＣＧ（Ｃｙ＋Ｇ）４２を交互に並べたラインと、ＹＧ（Ｙｅ＋Ｇ）４３、ＣＭ（Ｃｙ＋Ｍｇ）４４を交互に並べたラインが交互に繰り返したものとなる。
ここで、十分に近い画素のデータは、ほとんど同じ入射光を違う色フィルタを通してから光電変換した値であることから、以下の関係が近似的に成立する
ＹＭ＝ＣＭ＋ＹＧ−ＣＧ                      式（１）
ＹＧ＝ＣＧ＋ＹＭ−ＣＭ                      式（２）
ＣＧ＝ＹＧ＋ＣＭ−ＹＭ                      式（３）
ＣＭ＝ＹＭ＋ＣＧ−ＹＧ                      式（４）
【００１９】
図４に示す信号の並びとこれらの式は、全ての画素データがその周囲のデータの斜め方向のデータと上下のデータの和から左右のデータを引くことで近似的に求められることを示している。そこで本発明では、注目画素のキズ検出を、その画素の周囲の画素データから式（１）〜（４）で求めた値と、注目画素を１画素飛ばして左右の同色フィルタの出力データ値とを用いて行う。
図４に示した映像信号出力例の太枠部分４５を説明のために、図５に示すように、ａ Ｄａｔａ〜ｏ Ｄａｔａと表現する。中央のｈ Ｄａｔａに注目し、このデータがキズであるかどうかを検出する方法を説明する。ここでｈ ＤａｔａはＹＧであるから、ｈ Ｄａｔａの周囲の画素データからＹＧｘを推定する。ＹＧ＝ＣＧ＋ＹＭ−ＣＭであるから、ＹＧｘは以下の式で求めることができる。
0004166974.tif 000002
【００２０】
ここで、ｈ Ｄａｔａが画像のエッジ付近等、値が急激に変動する部分である時、推定したＹＧｘが真の値と大きく離れていることがあるので、ｈ Ｄａｔａと同じ色フィルタの前後のデータであるｆ Ｄａｔａ、ｊ Ｄａｔａと推定したＹＧｘの３つの値を用いてｈ Ｄａｔａがキズであるかどうかを判定する。ｈ ＤａｔａとＹＧｘ、ｆ Ｄａｔａ、ｊ Ｄａｔａの最大値との差分が閾値を超えたならば白キズと判定する。つまり、下式が成立するならばｈ Ｄａｔａを白キズと判定する。
0004166974.tif 000003
また、ＹＧｘ、  ｆ Ｄａｔａ、  ｊ Ｄａｔａの最小値とｈ Ｄａｔａとの差が閾値を超えたならば黒キズと判定する、つまり、下式が成立するならばｈ Ｄａｔａを黒キズと判定する。
0004166974.tif 000004
【００２１】
上記の説明で、ｈ ＤａｔａはＹＧのデータであったが、ＣＧ、ＹＭ、ＣＭのデータであっても、式（１）〜式（４）の関係から周囲画素データの加算減算の位置関係が変わらないことがわかるので、ａ Ｄａｔａ〜ｏ Ｄａｔａを用いたキズ検出は全く同じ手順で行うことができる。
【００２２】
次に、図６のブロック図を参照して、本発明の第１の実施の形態におけるキズ検出・補正ブロック（図１の１７）において行われる注目画素の値を周囲画素のデータから推定する機能について説明する。固体撮像素子１３からの画像信号入力６１をラインメモリ６２で一旦蓄積して、１ライン分遅延させることで３ライン分のデータを同時に得ることができる。得られた３ライン分のデータに遅延器６３を用いて１画素分遅延させることで、横５個分のデータを同時に得ることができる。式（５）を満たすようにそれぞれのデータを加減算することで推定データ６４を得ることができる。推定したデータ６４と注目画素を１画素飛ばした左右の同色フィルタの画素のデータ６５と注目画素のデータ６６とを、キズ検出・補正ブロック１７のキズを検出・補正する機能ブロックに出力する。
【００２３】
次に、図７のブロック図を参照して、本発明の第１の実施の形態におけるキズ検出・補正ブロック（図１の１７）において行われる注目画素のキズを検出し補正する機能について説明する。まず、上記で推定した推定データ７１と注目画素を１画素飛ばした左右の同色フィルタの画素のデータ７２との大小比較を行い、その最大値７４、中央値７５、最小値７６を求める。キズの誤検出を避けるため、最大値７４には白キズ判定余裕データ７７を加算し、最小値７６から黒キズ判定余裕データ７８を減算する。注目画素のデータ７３と最大値７４に白キズ判定余裕データ７７を加算したデータとを大小比較し、注目画素のデータ７３と最小値７６から黒キズ判定余裕データ７８を減算したデータとを大小比較して、以下の関係が成立するなら、注目画素はキズでは無いと判定される。
0004166974.tif 000005
式（８）が成立した場合、選択器７９において、注目画素はキズでは無いと判定され、注目画素のデータ７３をそのまま出力データ７１０として出力する。式（８）が成立しない場合には、注目画素はキズと判定され、中央値７５をキズ補正した出力データ７１０として出力する。
【００２４】
以上説明したように、本発明の第１の実施の形態における画素キズ検出・補正装置によると、従来のＹＣ分離後にキズ補正処理を行う方法に比べて、キズ検出・補正処理のための処理をＹ信号Ｃ信号それぞれに持つ必要がなく、Ｙ信号処理系で行ったキズ検出の結果を用いてＣ信号の処理を行うといった必要もないために、回路の構成が簡単になる。また、同じ色フィルタの画素値どうしを演算することによりキズの検出・補正を行う方法に比べて、注目画素のより近傍の値でキズ検出・補正を行うため、検出・補正の精度を良くすることができる。
【００２５】
（第２の実施の形態）
次に、図２、図４および図６を参照して、本発明の第２の実施の形態におけるキズ検出・補正ブロック（図１の１７）において行われる画素値推定方法について説明する。
上記のように、補色単板カメラの色フィルタは図２に示すように配置されており、縦２画素を１個のデータとして読み出すので、データの並びは図４に示すようになる。このとき、ある画素データが正常なデータであるかどうかは、周囲の画素データと比較をすることで判定する。ところが、補色単板カメラの画素出力はそれぞれの色フィルタの影響を受けているため、周囲の画素データと直接比較することはできない。
【００２６】
本方式では、空間的に近い画像データ間では式（１）〜式（４）の関係が擬似的に成立すること、図４に示した画像データの並びから、式（１）〜式（４）において、推定する画素の周囲のデータを加算、減算する相対的な位置関係が全て同じであること、の２つの特性を利用して、図６に示すように、入力データ６１に対してラインメモリ６２と遅延器６３を用いてデータのタイミングを合わせ、注目画素の８近傍画素のうち、斜め４方向と左右の画素を加算し、上下の画素を減算することにより注目画素の値を推定する。
【００２７】
このように、本発明の第２の実施の形態における画素値推定方法は、近傍画素間では入射する光の強度の相関が高いことと、補色フィルタ配列をインタレース読み出しした信号列間では、同じ位置関係の演算において注目画素の近傍の色フィルタの異なる画素値により注目画素の色フィルタに換算した画素値を簡単に求めることができることから、簡単な構成で注目画素の画素値を精度良く推定することができる。
【００２８】
（第３の実施の形態）
次に、図８を参照して、本発明の第３の実施の形態における、キズ検出・補正ブロック（図１の１７）の比較手段において行われるキズ検出方法（キズ検出のための判定方法）について説明する。
本実施の形態におけるキズ判定方法では、画像の変動分をキズと誤判定するのを避けるために、データの最大値に対して判定余裕の閾値（白キズ判定余裕データ）を加算し、データの最小値から判定余裕の閾値（黒キズ判定余裕データ）を減算する。
画像データの一般的な特徴として、画像の一部のｎ×ｎ（ｎは３など小さな整数）画素を取り出して、それぞれの値を比較した場合、画像の暗い部分を取り出した場合はそれぞれの画素間での変化は小さく、逆に画像の明るい部分を取り出した場合では画素間の変化が大きい。
【００２９】
このため、画像の明るい部分での誤判定を避けるために、判定余裕の閾値を大きく設定すると画像の暗い部分では、画素間での変化は小さいにもかかわらず、設定した閾値以下のキズは検出できないという問題が発生する。逆に画像の暗い部分のキズ検出精度を上げるために判定余裕の閾値を小さくすると、画像の明るい部分では画像の変動が大きいために誤検出が発生してしまう。そこで、画像の暗い部分では画素間での変化は小さいので、判定余裕の閾値を小さくするようにすればよい。そこで、本実施の形態における比較手段では、図７に示すキズ検出・補正機能ブロックに対し、下記図８に示すような機能の追加を行う。
【００３０】
図８は、本発明の第３の実施の形態における、画像データ値の大きさと変動の相関を考慮したキズ検出・補正機能ブロックを示す。図７と同じく、推定ブロックにて推定したデータ８１と注目画素を１画素飛ばして左右の同色フィルタの画素のデータ８２との大小比較を行い、その最大値８４、中央値８５、最小値８６を求める。キズの誤検出を避けるため、最大値８４に白キズ判定余裕データ８７を加算したものと、最大値８４に白キズ判定余裕比率８９（白キズ判定余裕比率８９＞１）を積算したものとを比較し、その小さい方を白キズ判定値８１１とする。これにより、値が小さいときは白キズ判定余裕比率８９を積算したものが白キズ判定値８１１となり、値が大きいときは白キズ判定余裕データ８７を加算したものが白キズ判定値８１１となる。このことにより、値が小さい時の判定精度を上げることができる。同様に、最小値８６は黒キズ判定余裕データ８８を減算したものと、黒キズ判定余裕比率８１０（０＜黒キズ判定余裕比率８１０＜１）を積算したものを比較し、その大きい方を黒キズ判定値８１２とする。白キズの時と同様に値が小さい時は黒キズ判定余裕比率８１０を積算したものが黒キズ判定値８１２となり、値が小さい時の判定精度を上げることができる。
【００３１】
次に、この白キズ判定値８１１と黒キズ判定値８１２との大小比較を行い、以下の式（９）に示す関係が成立する場合には、注目画素はキズでは無いものと判定される。
白キズ判定値＞注目画素のデータ＞黒キズ判定値              式（９）
【００３２】
選択器８１３では、上式（９）が成立した場合は、注目画素はキズでは無いと判定され、注目画素のデータ８３をそのまま出力データ８１４とする。上式（９）が成立しない場合には、注目画素はキズと判定され、中央値８５をキズ補正した出力データ８１４として出力する。
このように、本発明の第３の実施の形態におけるキズ検出方法は、画素値が小さな時にはキズ判定余裕比率を積算した方の値がキズ判定値となり、キズ判定余裕データを加減算したもののみをキズ判定する方法よりも画像の暗い部分で高精度なキズ検出を行うことができる。
【００３３】
（第４の実施の形態）
次に、図２および図９を参照して、本発明の第４の実施の形態における撮像装置について説明する。図９において、固体撮像素子９３には図２に示した配列の補色フィルタ９２が被着される。レンズ９１を通して集められた光は固体撮像素子１３にて、光電変換により電気信号に変換される。その際に固体撮像素子９３に存在する欠陥画素により信号に画素キズと呼ばれるノイズを生じてしまうことがある。キズを含んだ映像信号９４はアナログ処理ブロック９５においてゲイン調整などのアナログ処理された後、Ａ／Ｄ変換装置９６にてディジタル化される。ディジタル化された映像信号をＹＣ分離処理せずにキズ検出・補正ブロック９７に入力する。
【００３４】
キズ検出・補正ブロック９７では、注目画素の周囲の、色フィルタの異なる画素の値から補色フィルタの配列を元に注目画素の値を推定し、推定した画素値と、注目画素を１画素飛ばした左右の同色フィルタの画素値と、注目画素の値とを比較することにより画素のキズを検出して補正し、キズ補正後のキズ補正映像信号９８を出力する。キズ補正映像信号９８を画像信号処理ブロック９９において、ＹＣ分離処理を行った後、ゲイン調整やガンマ調整、色調整等の画像信号処理を行い、最終的な画像データ９１０を出力する。
【００３５】
以上説明したように、本発明の第４の実施の形態における撮像装置は、ＹＣ分離前にキズ検出・補正処理をを行った後、画像信号処理を行うようにしたことにより、簡単な構成で、固体撮像素子の欠陥画素から発生するキズを精度良く検出・補正して、キズによる画質の劣化が少ない高品質な画像を得ることができる撮像装置を実現することができる。
【００３６】
以上説明した本発明の第１ないし第４の実施の形態の説明においては、画素キズ検出・補正装置の構成をブロック図で示し、その機能及び動作について説明したが、同様の処理をコンピュータを用いて実現することが可能である。この場合、注目画素の色フィルタの画素値の推定処理、画素キズ検出処理および画素キズの補正処理を実行するプログラムとして作成し、ＲＯＭや外部記録媒体等に記録する。そして、この記録媒体または通信回線等からプログラムを読み込んでＭＰＵ等のプロセッサおよびメモリを備えた他のコンピュータ上で実行することにより、他のコンピュータにおいても、画素キズ検出および補正を実現することができ、キズ検出・補正回路を削減することができる。
【００３７】
【発明の効果】
本発明における画素キズ検出・補正装置およびそれを用いた撮像装置は、上記のように構成され、特に、ＹＣ分離処理を行う前に、注目画素と、注目画素の周囲の異なる色フィルタの画素の画素値から補色フィルタの配列を元に注目画素と同一色フィルタの画素値を推定した推定値と、注目画素を１画素飛ばした左右の同色フィルタの画素値とを用いた演算により、固体撮像素子の欠陥画素から発生したキズを精度良く検出して補正することができ、キズによる画質の劣化が少ない高品質な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画素キズ検出・補正装置の構成を示すブロック図、
【図２】本発明の実施の形態における画素キズ検出・補正装置で使用する色フィルタの配列例を示す図、
【図３】本発明の実施の形態の画素キズ検出・補正装置における映像信号の出力方法の例を示す図、
【図４】本発明の実施の形態の画素キズ検出・補正装置における映像信号の出力例を示す図、
【図５】本発明の実施の形態の画素キズ検出・補正装置における映像信号の例を示す図、
【図６】本発明の実施の形態の画素キズ検出・補正装置における注目画素の値を周囲画素のデータから推定する機能ブロックを示す図、
【図７】本発明の実施の形態の画素キズ検出・補正装置における注目画素のキズを検出・補正する機能ブロックを示す図、
【図８】本発明の第３の実施の形態の画素キズ検出・補正装置における画像データ値の大きさと変動の相関を考慮したキズ検出・補正ブロックのブロック図、
【図９】本発明の第４の実施の形態における画素キズ検出・補正装置を用いた撮像装置の構成を示すブロック図。
【符号の説明】
１１、９１  レンズ
１２、９２  補色フィルタ
１３、９３  固体撮像素子
１４、９４  映像信号
１５、９５  アナログ処理ブロック
１６、９６  Ａ／Ｄ変換装置
１７、９７  キズ検出・補正ブロック
１８、９８  キズ補正映像信号
２１  Ｙｅ（イエロー）
２２  Ｃｙ（シアン）
２３  Ｍｇ（マゼンダ）
２４  Ｇ（グリーン）
３１  ＹＭ（Ｙｅ＋Ｍｇ）
３２  ＣＧ（Ｃｙ＋Ｇ）
４１  ＹＭ
４２  ＣＧ
４３  ＹＧ
４４  ＣＭ
４５  図５に切り出される部分
６１  画像信号入力
６２  ラインメモリ
６３  遅延器
６４、７１、８１  推定データ
６５  注目画素の１画素飛ばして左右の同色フィルタの画素のデータ
６６、７３、８３  注目画素のデータ
７２  注目画素の１画素飛ばして左右の同色フィルタの画素のデータ
７４  最大値
７５  中央値
７６  最小値
７７  白キズ判定余裕データ
７８  黒キズ判定余裕データ
７９、８１３  選択器
７１０、８１４  出力データ
８２  注目画素の１画素飛ばして左右の同色フィルタの画素のデータ
８４  最大値
８５  中央値
８６  最小値
８７  白キズ判定余裕データ
８８  黒キズ判定余裕データ
８９  白キズ判定余裕比率
８１０  黒キズ判定余裕比率
８１１  白キズ判定値
８１２  黒キズ判定値
９９  画像信号処理ブロック
９１０  画像データ
【図１】
0004166974.tif 000006
【図２】
0004166974.tif 000007
【図３】
0004166974.tif 000008
【図４】
0004166974.tif 000009
【図５】
0004166974.tif 000010
【図６】
0004166974.tif 000011
【図７】
0004166974.tif 000012
【図８】
0004166974.tif 000013
【図９】
0004166974.tif 000014