(57)【要約】【課題】映像信号の解像度の低下を抑制し、且つ、信号処理回路の回路規模を縮小できる。【解決手段】本発明の例に関わる信号処理回路は、補正対象画素とその周辺の複数の画素の中から、複数の同色の画素を抜き出して信号レベル順に並び替え、エッジＥＶを算出する並び替え回路３５と、白キズと黒キズを検出し、キズ補正信号ＡＢＰＣを出力するキズ補正処理回路３６と、ランダムノイズを補正し、ノイズリダクション出力を出力するノイズリダクション回路３７と、エッジＥＶに基づいて、キズ補正信号ＡＢＰＣとノイズリダクション出力ＮＲに重み付け加算を行う重み付け加算回路３８とを具備し、並び替え回路３５は、並び替えた複数の同色の画素の信号レベル差に基づいてキズのない複数の画素を仮定し、キズがないと仮定された複数の画素の信号レベル差からエッジＥＶを算出することを備える。【選択図】図２
2008258909.tif 000002
【特許請求の範囲】
【請求項１】
補正対象となる画素とその周辺の複数の画素の中から、複数の同色の画素を抜き出して信号レベル順に並び替えるとともに、エッジを算出する並び替え回路と、前記並び替えた同色の画素間の信号レベル差に基づいて白キズと黒キズを検出し、キズ補正信号を出力するキズ補正処理回路と、前記キズ補正の対象となる画素とその周辺の複数の画素をメジアンフィルタ処理してランダムノイズを補正し、ノイズリダクション出力を出力するノイズリダクション回路と、前記キズ補正信号と前記ノイズリダクション出力が供給され、前記エッジに基づいて重み付けを変えて、前記キズ補正信号と前記ノイズリダクション出力に重み付け加算を行う重み付け加算回路とを具備し、前記並び替え回路は、前記並び替えた複数の同色の画素の信号レベル差に基づいてキズのない複数の画素を仮定し、前記キズがないと仮定された複数の画素の信号レベル差から前記エッジを算出することを特徴とする信号処理回路。
【請求項２】
前記並び替え回路に接続され、前記エッジが供給されるエッジ調整回路を、さらに具備し、前記エッジ調整回路は、前記エッジに対して、ゲイン及び位相の調整を行い、重み付け加算回路に出力することを特徴とする請求項１に記載の信号処理回路。
【請求項３】
前記並び替え回路は、前記キズ補正対象となる画素とその周辺５×５画素から同色の３×３画素の信号を抜き出し、前記同色の３×３画素の信号のうち、７番目の画素の信号レベルと３番目の画素の信号レベルの差から、前記エッジを算出することを特徴とする請求項１に記載の信号処理回路。
【請求項４】
補正対象となる画素とその周辺の複数の画素の中から、複数の同色の画素を抜き出して信号レベル順に並び替えるとともに、前記補正対象となる画素とその周辺の複数の画素から、平均輝度信号レベルを算出する並び替え回路と、前記平均輝度信号レベルを平均輝度エッジに変換するエッジ変換回路と、前記並び替えた同色の画素間の信号レベル差に基づいて白キズと黒キズを検出し、キズ補正信号を出力するキズ補正処理回路と、前記キズ補正の対象となる画素とその周辺の複数の画素をメジアンフィルタ処理してランダムノイズを補正し、ノイズリダクション出力を出力するノイズリダクション回路と、前記キズ補正信号と前記ノイズリダクション出力が供給され、前記平均輝度エッジに基づいて重み付けを変えて、前記キズ補正処理された信号と前記メジアンフィルタ処理された信号に重み付け加算を行う重み付け加算回路とを具備し、前記重み付け加算回路は、前記平均輝度エッジが大きいときに、前記キズ補正信号の重み付けを強くして加算し、前記平均輝度エッジが小さいときに、前記ノイズリダクション出力の重み付けを強くして加算することを特徴とする信号処理回路。
【請求項５】
前記並び替え回路は、前記並び替えた複数の同色の画素の信号レベル差に基づいてキズのない複数の画素を仮定し、前記キズがないと仮定された複数の画素の信号レベル差から信号レベル差エッジをさらに算出し、前記平均輝度エッジ及び前記信号レベル差エッジが供給されるエッジ選択回路を、さらに具備し、前記エッジ選択回路は、前記平均輝度信号を変換したエッジと前記信号レベル差エッジからさらに複数の異なるエッジを算出し、前記複数の異なるエッジの中から、いずれか１つを選択して、前記重み付け加算回路に出力することを特徴とする請求項４に記載の信号処理回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置の信号処理回路に係り、特に、ノイズリダクション機能付き自動キズ補正回路に関する。
【背景技術】
【０００２】
固体撮像装置では、撮影された映像を高品質化するため、様々な画像処理がなされている。
【０００３】
自動キズ補正回路では、同色の３×３＝９画素の信号から中央の画素がキズか否かを判別し、周辺の正常な画素の加算平均と置き換えることによりキズ補正を行っている（例えば、特許文献１参照）。
【０００４】
この方法は、９画素中に２画素の黒キズと２画素の白キズが混在していても補正が可能である。また、解像度を保持したままで、固定ノイズや画素欠陥のようなキズを補正する場合にも効果を発揮する。しかしながら、ランダムノイズの補正は不可能である。
【０００５】
一方、特許文献２には、ランダムノイズに強いメジアンフィルタ方式のノイズリダクション回路が開示されている。しかし、映像信号をメジアンフィルタ処理（２次元メジアンフィルタ方式による補正処理）すると、元の信号に比べて解像度が大きく低下する。
【０００６】
また、近年では、固体撮像装置は、デジタルカメラや携帯電話などに搭載されており、固体撮像装置の回路規模の縮小が求められている。
【特許文献１】特開２００４−１３４９４１号公報
【特許文献２】特開２０００−３５８１９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の例は、映像信号の解像度の低下を抑制し、且つ、信号処理回路の回路規模を縮小できる技術を提案する。
【課題を解決するための手段】
【０００８】
本発明の例に関わる信号処理回路は、補正対象となる画素とその周辺の複数の画素の中から、複数の同色の画素を抜き出して信号レベル順に並び替えるとともに、エッジを算出する並び替え回路と、前記並び替えた同色の画素間の信号レベル差に基づいて白キズと黒キズを検出し、キズ補正信号を出力するキズ補正処理回路と、前記キズ補正の対象となる画素とその周辺の複数の画素をメジアンフィルタ処理してランダムノイズを補正し、ノイズリダクション出力を出力するノイズリダクション回路と、前記キズ補正信号と前記ノイズリダクション出力が供給され、前記エッジに基づいて重み付けを変えて、前記キズ補正信号と前記ノイズリダクション出力に重み付け加算を行う重み付け加算回路とを具備し、前記並び替え回路は、前記並び替えた複数の画素の信号レベル差に基づいてキズのない複数の画素を仮定し、前記キズがないと仮定された複数の画素の信号レベル差から前記エッジを算出することを備える。
【０００９】
本発明の例に関わる信号処理回路は、補正対象となる画素とその周辺の複数の画素の中から、複数の同色の画素を抜き出して信号レベル順に並び替えるとともに、前記補正対象となる画素とその周辺の複数の画素から、平均輝度信号レベルを算出する並び替え回路と、前記平均輝度信号レベルを平均輝度エッジに変換するエッジ変換回路と、前記並び替えた同色の画素間の信号レベル差に基づいて白キズと黒キズを検出し、キズ補正信号を出力するキズ補正処理回路と、前記キズ補正の対象となる画素とその周辺の複数の画素をメジアンフィルタ処理してランダムノイズを補正し、ノイズリダクション出力を出力するノイズリダクション回路と、前記キズ補正信号と前記ノイズリダクション出力が供給され、前記平均輝度エッジに基づいて重み付けを変えて、前記キズ補正処理された信号と前記メジアンフィルタ処理された信号に重み付け加算を行う重み付け加算回路とを具備し、前記重み付け加算回路は、前記平均輝度エッジが大きいときに、前記キズ補正信号の重み付けを強くして加算し、前記平均輝度エッジが小さいときに、前記ノイズリダクション出力の重み付けを強くして加算することを備える。
【発明の効果】
【００１０】
本発明の例によれば、映像信号の解像度の低下を抑制し、且つ、信号処理回路の回路規模を縮小できる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら、本発明の例を実施するための最良の形態について詳細に説明する。
【００１２】
１．  概要  
本発明の実施形態の信号処理回路は、固体撮像装置に搭載されるノイズリダクション機能付き自動キズ補正回路である。
【００１３】
本発明の実施形態である自動キズ補正回路では、補正対象画素とその周辺画素の信号レベル差或いは平均輝度に基づいて、映像信号のエッジを算出し、撮影された映像信号の解像度、特に、縦線及び横線などのエッジの解像度を低下させることなく、キズ補正を行うことができる。
【００１４】
また、実施形態の自動キズ補正回路では、補正処理された画素信号は、映像信号のエッジ成分で重み付けが与えられ、重み付け加算処理される。その際、従来では、エッジを検出するための回路を、自動キズ補正回路内に搭載する必要があり、その検出回路は、回路規模が大きかった。
【００１５】
しかし、本発明の実施形態において、エッジは、比較的簡便な回路を用いて、補正対象画素とその周辺画素の信号レベル差又は平均輝度から求められ、エッジ検出回路を自動補正回路内に搭載する必要がない。
【００１６】
したがって、本発明の実施形態によれば、自動キズ補正システムの回路規模を小さくできる。
【００１７】
２．  実施の形態  
次に、最良と思われるいくつかの実施の形態について説明する。
【００１８】
（１）  第１の実施形態  
（ａ）  全体構成  
図１を用いて、本実施形態の信号処理回路が用いられる固体撮像装置について説明する。
【００１９】
イメージセンサ１は、例えば、増幅型ＣＭＯＳイメージセンサであり、複数のセンサ素子が２次元的に配列されている。イメージセンサ１は、例えば、ベイヤー方式などの配列パターンのカラーフィルタを有しており、１つのセンサ素子、つまり、１画素は、赤（Ｒ）、緑（Ｇｒ，Ｇｂ）、青（Ｂ）のうち、１つの色だけに反応するようにそれぞれ設定されている。そして、イメージセンサ１は、垂直方向に複数のブロック１−１，１−２，・・・，１−ｎに分割されている。
【００２０】
イメージセンサ１に隣接して、垂直ブロック選択回路２、ブロック内ライン選択回路３及びパルスセレクタ回路４が設けられる。
【００２１】
垂直ブロック選択回路２は、ブロック選択信号を出力し、イメージセンサ１内のブロックを選択する。そして、ブロック内ライン選択回路３は、ブロック選択信号に基づき選択されたブロック内の単位セル行を選択し、パルスセレクタ回路４は、選択された単セル行に対して、駆動パルス信号を供給し、駆動させる。
【００２２】
また、イメージセンサ１内の１つのブロックには、１つの垂直信号線が、それぞれ接続されており、垂直信号線の一端には、ソースフォロワ用の負荷トランジスタが接続される。負荷トランジスタのゲートには、バイアス回路５からバイアス電圧が供給される。
【００２３】
また、垂直信号線の他端には、アナログ／デジタル変換器６が接続される。
【００２４】
アナログ／デジタル変換器６は、ノイズキャンセラ用のコンデンサを有している。そして、イメージセンサ１から入力されるアナログの映像信号をデジタル信号に変換し、ラッチ回路７へ出力する。
【００２５】
デジタル信号は、ラッチ回路７によりラッチされる。ラッチ回路７には、ラッチされた信号を読み出すためのラインメモリ８と水平シフトレジスタ回路９とが接続される。
【００２６】
そして、ラインメモリ８から、例えば、１２ビットのデジタル信号が、信号処理回路１０に供給されて、その内部に搭載される自動キズ補正回路により、キズ補正が行われる。
【００２７】
（ｂ）  回路構成  
図２は、本実施形態のノイズリダクション機能付き自動キズ補正回路を示している。
【００２８】
図１のラインメモリ８から出力された映像信号（例えば、１２ビット）は、プリγ補正回路３１に供給され、キズ補正処理を行う前に、γ補正処理が行われる。
【００２９】
γ補正によって得られた映像信号（例えば、１１ビット）は、４Ｈラインメモリ３２に供給されて、４Ｈラインメモリ３２により、５ライン分の映像信号が、その映像信号の中から抽出される。
【００３０】
抽出された５ライン分の映像信号が、キズ補正処理ブロック３３への入力信号となる。
【００３１】
並べ替え回路３５は、４Ｈラインメモリ３２から供給された５ライン分の映像信号から、例えば、図３に示す配列パターンのように、補正対象の画素（例えば、Ｒ２２）とこの画素を中心とした周辺５×５＝２５の画素の抽出を行う。
【００３２】
そして、本実施形態においては、これら５×５画素の中から、補正対象画素（例えば、Ｒ２２）とこれと同色の画素（例えば、Ｒ４４，Ｒ４２，Ｒ４０，Ｒ２４，Ｒ２０，Ｒ０４，Ｒ０２，Ｒ００）を、信号レベルの順に並び替えて、それらの順位を決定する。即ち、並べ替え回路３５は、抜き出した同色の３×３＝９画素の信号を、信号レベルの大きい順に並べ替える。
【００３３】
また、それと共に、並び替え回路３５は、同色の複数の画素の信号レベル差に基づいて、５×５画素領域内のエッジ成分の大きさＥＶ（以下、エッジＥＶ）を算出する。
【００３４】
自動キズ補正回路３６は、並び替え回路３５により並べ替えた画素間の信号レベルの差に基づいて、白キズと黒キズを検出して、補正処理を行う。
【００３５】
自動キズ補正回路３６は、同色の９画素の信号から、補正対象画素である中央の画素にキズがあるか否かを判別する。そして、中央の画素にキズがある場合には、その画素の信号レベルを、周辺の正常な画素（通常画素）の信号レベルと置き換えることにより、白キズ或いは黒キズの自動補正を行う。本実施形態の自動キズ補正回路３６は、９画素中に２画素の黒キズと２画素の白キズが混在していてもキス補正ができる。
【００３６】
そして、自動キズ補正回路３６は、キズ補正処理した補正信号ＡＢＰＣ（例えば、１１ビット）を出力する。
【００３７】
ノイズリダクション回路３７は、並び替え回路３５により並べ替えた画素間の信号レベルに基づいて、２次元メジアンフィルタ方式の補正処理を行い、ランダムノイズを補正する。
【００３８】
そして、ノイズリダクション回路３７は、メジアンフィルタ処理した画素のノイズリダクション出力ＮＲ（例えば、１１ビット）を出力する。
【００３９】
重み付け加算回路３８は、キズ補正処理された補正信号ＡＢＰＣとメジアンフィルタ処理された画素信号ＮＲに対して、重み付け演算を行う。
【００４０】
重み付け加算回路３８は、キズ補正の対象画素とその周辺の５×５画素の信号レベルの差が大きい時に、自動キズ補正回路３６の出力の重み付けを強くして加算し、信号の差が小さい時に、ノイズリダクション回路３７の出力の重み付けを強くして加算する。
【００４１】
そして、重み付け加算回路３８は、その演算結果を、重み付け加算信号ＡＢＰＣＮＲ（例えば、１１ビット）として出力する。
【００４２】
この重み付け加算は、５×５画素領域内のエッジＥＶにより重み付けを行っており、重み付け加算信号ＡＢＰＣＮＲは、次式により求められる。
【００４３】
ＡＢＰＣＮＲ＝｛ＡＢＰＣ×ＥＶ’＋ＮＲ×（２５６−ＥＶ’）｝／２５６
ここで、上式のＥＶ’とは、エッジＥＶに対して、例えば、図４に示す回路構成のエッジ調整回路３９により、パラメータ調整を施した値である。以下では、ＥＶ’を調整済みエッジと呼ぶ。
【００４４】
調整済みエッジＥＶ’は、例えば、図４に示すエッジ調整回路３９により得られ、エッジ調整回路３９は、乗算器４０と加算器４１とを主な構成要素と有する。
【００４５】
乗算器４０は、入力されたエッジＥＶに対して、ゲイン変更係数ａ１（０＜ａ≦８）を乗算し、この乗算結果に対して、加算器４１は、位相変更係数ｂ１（０≦ｂ≦２５５）を加算する。
【００４６】
すなわち、本実施形態において、調整済みエッジＥＶ’は、次式のように求められる。  
ＥＶ’＝ａ１×ＥＶ＋ｂ１
そして、この演算結果は、クリップ回路４２により、例えば、８ビットに変換され、重み付け加算回路３８へと出力される。このように、エッジＥＶの調整を行うことで、映像信号の解像度の低下を抑制できる。
【００４７】
上記の重み付け加算信号ＡＢＰＣＮＲは、逆γ補正回路３４によって逆γ補正処理される。さらに、γ補正された重み付け加算信号ＡＢＰＣＮＲ（例えば、１２ビット）は、次段の回路ブロックに転送され、ＲＧＢ処理などの、デジタル処理が行われる。
【００４８】
尚、プリγ補正回路３１と逆γ補正処理３４による処理は、入力された信号に対して直接キズ補正処理を行う場合、黒い部分に黒キズがあると潰れて見つけにくいため、γ補正により明るさ（輝度）の調整を行い、黒キズを見つけやすくして、補正処理するためのものである。そして、キズ補正処理後に逆γ補正を行い、元の信号に戻す。
【００４９】
ここで、本実施形態においてのエッジＥＶは、並べ替え回路３５によって並び替えられた補正対象画素と同色の９画素の信号レベルの差に基づいて求められる。
【００５０】
図５は、並び替え回路３５が抽出する同色の９画素の信号と、それらの信号レベルの並び替えについて説明するための図である。
【００５１】
図３に示す同色の９画素は、並び替え回路３５によって、図５に示すように信号レベルが大きい順に並び替えられる。尚、図５のスライスレベルＡ〜Ｅとは、キズの判定を行うために設定される任意の値である。
【００５２】
白キズ補正の場合、９番目（最大）及び８番目の画素の信号レベルが、７番目以下の画素の信号レベルと比較して、高いとき、即ち、スライスレベルＣより高いとき、９番目及び８番目の画素は白キズと判定され、キズ補正される。
【００５３】
ここで、７番目の画素の信号レベルも、スライスレベルＣよりも高いときには、３個以上の白キズがあると判定されるが、７番目の画素の補正は行わない。
【００５４】
これは、例えば、図６のように、３個以上信号レベルの高い画素（Ｒ２４、Ｒ２２、Ｒ２０）が、横方向に連続して存在する場合、これらの画素は白線である可能性があるためである。
【００５５】
つまり、７〜９番目の信号レベルが、所定のスライスレベルよりも高いと判定された場合には、白線と判定してキズ補正しない。尚、信号レベルの高い画素が連続する方向は、縦方向または斜め方向でも良い。
【００５６】
同様に、黒キズ補正の場合、１番目（最小）、２番目の画素の信号レベルが、３番目以上の画素の信号レベルと比較して低いとき、即ち、スライスレベルＣよりも低いとき、１番目及び２番目の画素は、黒キズと判定され、キズ補正される。
【００５７】
そして、３番目の画素の信号レベルも、スライスレベルＣよりも低いとき、３個以上の黒キズがあると判定されるが、３番目の画素の補正は行わない。
【００５８】
これは、例えば、図７のように、３個以上信号レベルの低い画素（Ｒ４２、Ｒ２２、Ｒ０２）が、縦方向に連続して存在する場合、黒線である可能性があるためである。
【００５９】
それゆえ、１〜３番目の信号レベルが、所定のスライスレベルより低いと判定された場合には、黒線と判定してキズ補正しない。
【００６０】
よって、３番目の画素と７番目の画素は補正されず、３〜７番目の信号レベルの画素を、キズのない画素（通常画素）と仮定できる。
【００６１】
それゆえ、本実施形態では、それらの通常画素のうち、一番高い信号レベル（７番目）と一番低い信号レベル（３番目）の差を、エッジＥＶとして使用する。
【００６２】
３番目の信号レベルと７番目の信号レベルの差が小さければ、通常画素と判断された画素（３〜７番目）にレベル差の無い平坦な映像と判断される。
【００６３】
それゆえ、エッジＥＶは小さい値となるので、エッジ調整信号ＥＶ’も小さくなる。
【００６４】
したがって、重み付け加算信号ＡＢＰＣＮＲには、ノイズリダクションＮＲによる効果、即ち、ランダムノイズに対する効果が強く反映される。
【００６５】
一方、３番目の信号レベルと７番目の信号レベルの差が大きいとき、通常画素（３〜７番目）にレベル差があるため、エッジがあると判定される。それゆえ、エッジＥＶは大きい値となり、調整済みエッジＥＶ’も大きくなる。
【００６６】
それゆえ、重み付け加算信号ＡＢＰＣＮＲには、ノイズリダクションＮＲによる効果は弱く、キズ補正信号ＡＢＰＣによる効果が強く反映され、縦方向、横方向及び斜め方向のエッジが残るように調整できる。
【００６７】
したがって、本実施の形態によれば、キズ補正後の映像信号の解像度を低下させること無く、キズ補正処理することができる。
【００６８】
また、本実施形態によれば、エッジＥＶは、並び替え回路３５が並び替えた同色の画素のレベル差から求められる。それゆえ、エッジを検出するための回路を搭載する必要がなく、信号処理回路の回路規模を縮小することができる。
【００６９】
さらに、映像信号の解像度が落ちている場合でも、例えば、図４に示すような比較的簡単なエッジ調整回路３９により、解像度のパラメータ調整することができ、解像度の低下を抑制できる。但し、エッジ調整回路３９を搭載せずに、信号レベル差によるエッジＥＶを８ビットに変換し、これを直接用いて重み付け加算を行っても良い。
【００７０】
（ｂ）  動作  
以下、本実施形態の自動キズ補正回路の動作について説明する。
【００７１】
はじめに、４Ｈラインメモリ３２から出力される５ライン分の画素信号が、並び替え回路３５に入力される。
【００７２】
並び替え回路３５では、キズ補正の対象となる画素とその周辺の複数の画素の中から同色の画素を抜き出して、信号レベルの順に並び替える。
【００７３】
即ち、並び替え回路３５に入力された信号は、例えば、図３に示すような補正対象となる画素Ｒ２２を中心とし、周辺の５×５画素の配列の中から、同色の３×３＝９画素（Ｒ４４、Ｒ４２，Ｒ４０，Ｒ２４，Ｒ２２，Ｒ２０，Ｒ０４、Ｒ０２，Ｒ００）の信号を抜き出す。そして、この抜き出した信号を信号レベルの大きい順に並び替える。
【００７４】
自動キズ補正回路３６では、並び替え回路３５によって並び替えられた同色の３×３画素の信号の中から、中央の画素がキズを有するか否かを判別する。キズがある場合には、中央の画素（補正対象画素）の信号レベルを、周辺の正常な画素と置き換えることにより、白キズと黒キズの自動補正を行う。
【００７５】
図５を用いて、キズの判定方法について説明する。尚、図５のスライスレベルＡ〜Ｅとは、キズの判定を行うために設定される任意の値である。また、上述のように、信号レベルの大きさが、３番目から７番目の画素は、通常画素と仮定して処理が行われる。
【００７６】
白キズ補正の判定は、以下の１）〜３）によってなされる。
【００７７】
１）補正対象画素（Ｒ２２）の信号レベルが最大の９番目で、且つ、「９番目−８番目」の信号レベル差がスライスレベルＡより大きい場合は白キズと判定する。
【００７８】
２）補正対象画素の信号レベルが９番目又は８番目で、且つ、「８番目−７番目」の信号レベル差がスライスレベルＢより大きい場合は白キズと判定する。
【００７９】
３）輝度変化が少ない場合（「７番目−３番目」の信号レベル差がスライスレベルＣより小さい場合）にのみ補正する。
【００８０】
上記の１）、２）の一方と、３）が成立した場合に、白キズ補正処理する。
【００８１】
白キズ補正すると判定した場合、補正対象画素（Ｒ２２）の信号レベルを、並び替えた画素のうち、中央の信号レベル、つまり、５番目の画素の信号レベルと置き換える。尚、５番目の画素の信号レベルの代わりに、５番目と６番目の画素の信号レベルの平均値と置き換えても良い。
【００８２】
１）と２）は成立しないが、３）が成立する、つまり、補正対象画素の信号レベルがスライスレベルＡ，Ｂより小さいために白キズ補正しないと判定した場合、補正対象画素の信号レベルを、７番目の信号レベルと置き換える。これは、白キズ補正の判定条件は成立しないが、補正対象画素は、８番目又は９番目の信号レベルであり、同色９画素の中では信号レベルが大きいので、白キズの可能性もある。それゆえ、白キズの可能性を考慮し、正常画素（３〜７番目）と判断したなかで、補正対象画素の信号レベルと一番近い７番目の信号レベルと置き換えておくためである。
【００８３】
尚、３）が成立しない場合、つまり、「７番目−３番目」の信号レベル差が大きい場合には、１）或いは２）が成立しても、補正対象画素の置き換えは行われない。これは、「７番目−３番目」の信号レベル差が大きいと、補正対象画素周辺で信号レベルの差が大きい、即ち、エッジである可能性があるためである。
【００８４】
また、黒キズ補正の判定は、  
４）中央の画素の信号レベルが最小の１番目で、且つ、「２番目−１番目」の信号レベル差がスライスレベルＥより大きい場合は黒キズと判定する。
【００８５】
５）中央の画素の信号レベルが最小の１番目または２番目より小さく、且つ、「３番目−２番目」の信号レベル差がスライスレベルＤより大きい場合は黒キズと判定する。
【００８６】
６）輝度変化が少ない場合（「７番目−３番目」の信号レベル差がスライスレベルＣより小さい場合）にのみ補正する。上記の４）、５）の一方と３）が成立した場合に、黒キズ補正処理する。
【００８７】
黒キズ補正すると判定した場合、補正対象画素の信号レベルを、５番目の画素の信号レベルと置き換える。尚、５番目の画素の信号レベルの代わりに、４番目と５番目の画素の信号レベルの平均値と置き換えても良い。
【００８８】
４）と５）は成立しないが６）は成立する、つまり、補正対象画素の信号レベルがスライスレベルＤ，Ｅより大きいため黒キズ補正しないと判定した場合には、補正対象画素の信号レベルを３番目の信号レベルと置き換える。これは、黒キズ補正の判定条件は成立しないが、補正対象画素が、１番目又は２番目の信号レベルで、同色９画素の中では信号レベルが小さく、黒キズの可能性もある。それゆえ、黒キズの可能性を考慮し、正常画素（３〜７番目）と判断した中で、補正対象画素の信号レベルと一番近い３番目の信号レベルと置き換えておくためである。
【００８９】
尚、６）が成立しない場合、つまり、「７番目−３番目」の信号レベル差が大きい場合には、４）或いは５）が成立しても、補正対象画素の置き換えはしない。これは、「７番目−３番目」の信号レベル差が大きいと、エッジである可能性があるためである。
【００９０】
上述のような処理を自動キズ補正回路３６が行うことにより、白キズと黒キズの補正処理を行うことができる。これによって、９画素中に２画素の黒キズと２画素の白キズが混在していても補正が可能である。
【００９１】
以上の処理により、白キズと黒キズの補正処理を実行して、補正信号ＡＢＰＣが、重み付け回路３８に出力される。
【００９２】
ノイズリダクション回路３７では、２次元メジアンフィルタ方式による補正処理を行う。
【００９３】
ノイズリダクション回路３７は、補正対象画素Ｒ２２の信号レベルを、並び替え回路３５によって信号レベル順に並び替えられた同色の９画素のうち、４番目、５番目、６番目の信号レベルの平均値と置き換える。
【００９４】
信号レベル順に並び替えられた信号が、例えば、図８に示す順序となった場合、演算係数を、例えば、４番目及び６番目の信号レベルでは１倍、５番目の信号レベルでは２倍として、これらの信号の平均値が求められる。
【００９５】
よって、図８に示す例では、４〜６番目の画素は、Ｒ４０、Ｒ０４、Ｒ２４であり、これらの平均値を算出する演算式は以下のようになる。
【００９６】
ＮＲ＝（Ｒ２４＋２×Ｒ０４＋Ｒ４０）／４  
この平均値が、ノイズリダクション出力ＮＲとして、重み付け加算回路３８に出力される。
【００９７】
一般的な２次元メジアンフィルタ方式の補正処理では、図８の５番目の画素Ｒ０４を平均値とし、この値をノイズリダクション出力ＮＲとしている。しかし、本実施形態のように、４〜６番目の信号レベルの平均値をノイズリダクション出力ＮＲとすることで、よりランダムノイズに効果のある補正処理を行うことができる。
【００９８】
また、並び替え回路３５は、図５に示す信号レベルの大きい順に並び替えた９個の画素のうち、３番目と７番目の画素の信号レベル差を、エッジＥＶとして出力する。
【００９９】
そして、並び替え回路３５から出力されたエッジＥＶは、図４に示すエッジ調整回路３９によって、所定の値に設定されたゲイン変更係数ａ１（０＜ａ≦８）が乗算され、また、位相変更係数ｂ１（０≦ｂ≦２５５）が加算される。この演算結果が、クリップ回路４２により８ビットに変換され、調整済みエッジＥＶ’として、重み付け加算回路３８に出力される。
【０１００】
また、エッジ調整回路３９にアナログゲイン連動信号を入力して制御することにより、エッジがＡ／Ｄ変換でアナログゲインの調整がされた場合に、その調整分をキズ補正に連動させることができる。例えば、Ａ／Ｄ変換時のリファレンス電圧を小さくなる方向に調整すると、ランダムノイズの影響が大きくなる傾向がある。このような場合、調整済みエッジＥＶ’が小さくなるように調整される。つまり、重み付け加算演算で、ノイズリダクション回路３７側の効果を強くすることで、ランダムノイズ補正効果を大きくする方向に調整される。
【０１０１】
以下は、演算式の一例である。
【０１０２】
ＥＶ＿ＡＤ＝｜ＥＶ’−ａｇｃｏｎｔ｜  
ここで、ＥＶ＿ＡＤは、アナログゲイン調整済みエッジ、ａｇｃｏｎｔは、アナログゲイン連動信号である。
【０１０３】
重み付け加算回路３８は、自動キズ補正回路３６から供給された補正信号ＡＢＰＣと、ノイズリダクタンション回路３７から供給されたノイズリダクション出力ＮＲに対し、調整済みエッジＥＶ’を使用して、重み付け演算を行う。
【０１０４】
重み付け加算結果ＡＢＰＣＮＲを求める演算式は以下のよう示される。  
ＡＢＰＣＮＲ＝｛ＡＢＰＣ×ＥＶ’＋ＮＲ×（２５６−ＥＶ’）｝／２５６
これにより、調整済みエッジＥＶ’が大きい（通常画素の信号レベル差が大きい）とき、つまり、補正対象画素が画素欠陥や固定ノイズであると判定されたときには、自動キズ補正回路３６による処理（ＡＢＰＣ側）が強く反映されるように、補正の重みが調整される。
【０１０５】
また、調整済みエッジＥＶ’が小さい（通常画素の信号レベル差が小さい）とき、つまり、補正対象画素がランダムノイズである判定されたときには、ノイズリダクション回路３７による処理（ＮＲ側）が強く反映されるように、補正の重みが調整される。
【０１０６】
以上のように、本実施の形態においては、大きい順に並び替えられた補正対象画素と同色の９画素のうち、信号レベルの大きさが７番目の画素と３番目の画素を通常画素と仮定する。そして、エッジＥＶを、７番目の画素と３番目の画素の信号レベルの差から求める。
【０１０７】
それによって、３番目の画素と７番目の画素の信号レベル差が小さいと、色の変化の少ない平坦な映像と判定でき、エッジＥＶの値は小さくなる。それゆえ、ノイズリダクションの効果が強く反映される。
【０１０８】
また、３番目の画素と７番目の画素の信号レベル差が大きいと、色の変化の大きいエッジであると判定でき、エッジＥＶの値は大きくなる。それゆえ、ノイズリダクションの効果が弱く、反対に、キズ補正信号ＡＢＰＣの効果が強く反映され、縦線、横線及び斜め線が残るように調整できる。
【０１０９】
したがって、本実施形態によれば、縦線、横線及び斜め線のエッジが残るようキズ補正処理することができ、映像信号の解像度の低下を抑制できる。
【０１１０】
また、本実施形態においては、３番目の画素と７番目の画素の信号レベルの差を、エッジＥＶとしている。それゆえ、映像信号の中からエッジを検出するための回路をシステム内に搭載する必要がない。
【０１１１】
したがって、信号処理回路の回路規模を縮小することができる。
【０１１２】
さらには、本実施の形態においては、映像信号の解像度が大きく低下していても、比較的簡単な構成のエッジ調整回路３９により、エッジＥＶのパラメータ調整をできる。
【０１１３】
（２）  第２の実施形態  
本発明の第１の実施形態においては、３番目の画素と７番目の画素の信号レベルの差をエッジＥＶとし、キズ補正処理を行った。
【０１１４】
本発明の第２の実施形態においては、補正対象画素とその周辺画素から平均輝度信号レベルを求め、この平均輝度信号レベルをエッジに変換してキズ補正処理を行う例について説明する。尚、第１の実施形態と同一の構成については、詳細な説明を省略する。
【０１１５】
平均輝度信号レベルＹＬは、並び替え回路３５が抽出した５×５画素のうち、補正対象画素（Ｒ２２）とその周辺の画素（Ｂ３３，Ｇｂ３２，Ｂ３１，Ｇｒ２３，Ｇｒ２１，Ｂ１３，Ｇｂ１２，Ｂ１１）に、例えば、図３に示すような任意の係数を設定して、算出される。
【０１１６】
その係数設定の一例を図９に示し、これに基づく平均輝度信号レベルＹＬは、次式で求められる。  
ＹＬ＝｛４×Ｒ２２＋２×（Ｇｂ３２＋Ｇｒ２３＋Ｇｒ２１＋Ｇｂ１２）  
＋Ｂ３３＋Ｂ３１＋Ｂ１３＋Ｂ１１｝／１６  
この平均輝度信号レベルＹＬ（例えば、１１ビット）をエッジに変換するために、図１０に示すエッジ変換回路５０が、図２に示すエッジ調整回路３９の代わりに、キズ補正処理ブロック３３内に搭載される。
【０１１７】
エッジ変換回路５０は、平均輝度信号レベルＹＬを平均輝度エッジＹＬ＿ＥＶ（例えば、８ビット）に変換する。
【０１１８】
エッジ変換回路５０に供給される平均輝度信号レベルＹＬは、乗算器５１によりゲイン変更係数ａ２が乗算された後、加算器５２により位相変更係数ｂ２が加減算される。この演算結果を出力Ａと呼ぶ。
【０１１９】
また、平均輝度信号レベルＹＬは、インバータ５３を経由して、乗算器５４にゲイン変更係数ａ３が乗算された後、加算器５５により位相変更係数ｂ３が加減算される。この演算結果を出力Ｂと呼ぶ。
【０１２０】
出力Ａと出力Ｂは、コンパレータ５６により、２つの値のうち小さい値が選択され、その値がクリップ回路５７に出力される。そして、クリップ回路５７は、その信号を、例えば、８ビットに変換し、その変換結果が、平均輝度エッジＹＬ＿ＥＶとして、重み付け加算回路３９に出力される。
【０１２１】
そして、図２に示す重み付け加算回路３９により、補正信号ＡＢＰＣ及びノイズリダクションＮＲに対して、重み付け加算処理が実行される。この際に演算式は、次式のようになる。
【０１２２】
ＡＢＰＣＮＲ＝｛ＡＢＰＣ×ＹＬ＿ＥＶ＋ＮＲ×（２５６−ＹＬ＿ＥＶ）｝／２５６
図１０に示すエッジ変換回路５０は、平均輝度信号レベルＹＬを、図１１に示すような特性の平均輝度エッジＹＬ＿ＥＶに変換している。
【０１２３】
図１１に示すように、平均輝度信号レベルが小さい範囲、つまり、黒の信号レベルの強い暗部においては、平均輝度エッジＹＬ＿ＥＶは最小値にされる。すると、上式より重み付け加算信号ＡＢＰＣＮＲは、ノイズリダクション出力ＮＲの効果が強く反映される。
【０１２４】
このように変換されるのは、暗部においては、ノイズリダクション出力ＮＲの効果が強くなっても、解像度の低下はほとんど目立たないためである。
【０１２５】
平均輝度信号レベルＹＬの信号レベルが強くなるにつれ、平均輝度エッジＹＬ＿ＥＶへの変換値が大きくされ、例えば、図１１のＡのような特性線に変換される。ここで、図１１に示すＡは、上記の出力Ａによる特性線である。
【０１２６】
そして、信号レベルの中央値付近では、平均輝度エッジＹＬ＿ＥＶの値が、最大値（８ビット）となるように変換される。この際、ノイズリダクション出力ＮＲの効果は最小となり、補正信号ＡＢＰＣの効果が強く反映され、解像度の低下が抑制される。このように変換されるのは、信号レベルの中央値付近は、映像の色の変化が大きい箇所であり、解像度の低下が目立ちやすくなるためである。
【０１２７】
平均輝度信号レベルＹＬが信号レベルの中央値付近を過ぎると、平均輝度エッジＹＬ＿ＥＶへの変換値が小さくされ、例えば、図１１のＢのような特性線に変換される。ここで、図９に示すＢは、上記の出力Ｂによる特性線である。
【０１２８】
平均輝度信号レベルＹＬが大きい範囲、つまり、白の信号レベルの強い明部においては、平均輝度エッジＹＬ＿ＥＶは最小値にされる。明部の場合においても、暗部と同様に、ノイズリダクション出力ＮＲの効果が強くなっても、解像度の低下はほとんど目立たないためである。
【０１２９】
以上のように、平均輝度エッジＹＬ＿ＥＶにより、重み付け加算処理を行うことができる。
【０１３０】
ここで、図１１に示す平均輝度エッジＹＬ＿ＥＶの特性は、パラメータ調整が可能である。具体的には、特性直線Ａ，Ｂの傾きは、乗算器５０，５４への入力であるゲイン変更係数ａ２，ａ３で調整できる。また、平均輝度エッジＹＬ＿ＥＶの最大値及び最小値は、加算器５１，５５への入力である位相変更係数ｂ２，ｂ３及びクリップ回路５７により調整できる。
【０１３１】
上述のように、本実施形態においては、平均輝度信号レベルＹＬを図１０に示すエッジ変換回路５０により変換及び調整し、重み付け加算を行うためのエッジＹＬ＿ＥＶを求める。その際の変換特性は、例えば、図１１に示す特性となるように変換される。
【０１３２】
すなわち、解像度の低下の目立たない、暗部と明部の信号レベルでは、平均輝度エッジＹＬ＿ＥＶが最小値となるように、平均輝度信号レベルＹＬを変換及び調整する。それによって、重み付け加算処理時に、ノイズリダクションＮＲの効果を強く反映させる。
【０１３３】
また、解像度の低下が目立つ、暗部と明部の中間の信号レベルでは、平均輝度エッジＹＬ＿ＥＶが最大値となるように、平均輝度信号レベルＹＬを変換及び調整する。それによって、重み付け加算処理時に、ノイズリダクションＮＲによる効果を弱くし、キズ補正信号ＡＢＰＣの効果が強く反映させる。
【０１３４】
したがって、映像信号の解像度の低下を抑制してキズ補正処理できる。
【０１３５】
また、本実施形態によれば、比較的簡単な回路でエッジを求めることができ、信号処理回路の回路規模を縮小できる。
【０１３６】
（３）  応用例  
第１及び第２の実施形態においては、通常画素の信号レベル差又は平均輝度信号レベルを用いてエッジを求めている。そして、それらのエッジにより重み付け加算処理を行うことで、映像信号の解像度の低下を抑制してキズ補正処理できる。
【０１３７】
第１の実施形態のように、信号レベルの差をエッジとした場合には、映像信号の解像度を保って、重み付け加算処理できる。また、簡便な演算でエッジを求めることができる。
【０１３８】
また、第２の実施形態のように、平均輝度信号レベルをエッジとした場合には、ノイズが強い映像信号、または、暗い場所で撮影した映像信号のキズ補正に対して、効果的である。また、比較的小さい領域のキズ補正に対して有効である。
【０１３９】
このように、信号レベル差エッジと平均輝度エッジとは、それぞれ特性が異なり、この２つのエッジを組み合わせて、特性の異なる複数のエッジをさらに算出し、映像の撮影条件に適したキズ補正処理を施すこともできる。
【０１４０】
本応用例においては、信号レベル差エッジと平均輝度エッジを組み合わせてキズ補正処理できるノイズリダクション機能つき自動キズ補正回路について説明する。尚、第１及び第２の実施形態と同様の構成については、詳細な説明は省略する。
【０１４１】
図１２に示すように、本応用例においてキズ補正処理ブロック３３内には、第１の実施形態に示すエッジ調整回路３９と、第２の実施形態に示すエッジ変換回路５０の両方が設けられ、さらに、それらと接続されるエッジ選択回路６０を有する。これらが、図２に示す並び替え回路３５からの出力信号に基づき、エッジを算出し、その演算結果を図２に示す重み付け加算回路３８に出力する。
【０１４２】
即ち、本応用例において、図２に示す並び替え回路３５は、３番目と７番目の信号レベルの差によるエッジＥＶと平均輝度信号レベルＹＬを算出し、これらの信号が、エッジ調整回路３９及びエッジ変換回路５０にそれぞれ供給される。
【０１４３】
そして、第１及び第２の実施形態と同様に、調整済みエッジＥＶ’及び平均輝度エッジＹＬ＿ＥＶが求められる。
【０１４４】
それらのエッジＥＶ’，ＹＬ＿ＥＶは、エッジ選択回路６０に、それぞれ供給され、エッジ選択回路６０内の比較器６１、加算器６２及び除算器６３などで、演算処理される。
【０１４５】
そして、エッジ選択回路６０内のセレクタ６４は、外部（例えば、マイコン）からの制御信号ＣＯＮＴ（例えば、３ビット）に基づいて、７）〜１１）の演算処理のうちいずれか１つを選択する。
【０１４６】
７）調整済みエッジＥＶ’を選択する。
【０１４７】
８）平均輝度エッジＹＬ＿ＥＶを選択する。
【０１４８】
９）コンパレータ６１により選択された調整済みエッジＥＶ’または平均輝度エッジＹＬ＿ＥＶのうち、小さい値を選択する。
【０１４９】
１０）加算器６２により算出された調整済みエッジＥＶ’と平均輝度エッジＹＬ＿ＥＶとの加算値を選択する。
【０１５０】
１１）加算器６２及び除算器６３により算出された調整済みエッジＥＶ’と平均輝度エッジＹＬ＿ＥＶの平均値を選択する。
【０１５１】
７）〜１１）の中から選択されたエッジＳＥＬ＿ＥＶは、ローパスフィルタ７０を経由して、図２に示す重み付け加算回路３８に供給される。
【０１５２】
ローパスフィルタ７０を経由することによって、エッジＳＥＬ＿ＥＶは、図１２に示すように、エッジ値の変化が滑らかにされる。それにより、重み付け加算後の画像は、例えば、色調などの不自然な変化を防止できる。
【０１５３】
尚、ローパスフィルタ７０は、本応用例にのみに用いられるものではなく、第１及び第２の実施形態において、エッジ調整回路３９及びエッジ変換回路５０の後段に接続してもよい。
【０１５４】
その場合、調整済みエッジＥＶ’及び平均輝度エッジＹＬ＿ＥＶの値は、エッジ値の変化が滑らかにされて、重み付け加算回路３８に入力される。
【０１５５】
以上のように、本応用例によれば、信号レベル差によるエッジと平均輝度信号レベルによるエッジから、複数の特性の異なるエッジを算出でき、その中から撮影条件に適したエッジを選択し、重み付け加算を行うことができる。
【０１５６】
したがって、映像信号の解像度の低下を目立たせずに、自動キズ補正処理を行うことができる。
【０１５７】
尚、本応用例においては、エッジ調整回路３９を用いた例について述べたが、エッジ調整回路３９を用いずに、信号レベル差によるエッジＥＶを直接エッジ選択回路６０に供給してもよい。
【０１５８】
３．その他  
本発明の例は、上述の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で、各構成要素を変形して具体化できる。また、上述の実施の形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を構成できる。例えば、上述の実施の形態に開示される全構成要素から幾つかの構成要素を削除してもよいし、異なる実施の形態の構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１５９】
【図１】固体撮像装置の全体構成を示すブロック図。
【図２】本実施形態の信号処理回路を示すブロック図。
【図３】補正対象となるその周辺の５×５画素の配列の一例を示す図。
【図４】エッジ調整回路の一例を示すブロック図。
【図５】同色の９画素の信号と、信号レベルの並び替えについて説明するための図。
【図６】レベル差のある信号が３個以上ある場合の一例を示す図。
【図７】レベル差のある信号が３個以上ある場合の一例を示す図。
【図８】メジアンフィルタ方式に補正処理の際の係数設定の一例を示す図。
【図９】平均輝度信号を算出するための係数設定の一例を示す図。
【図１０】エッジ変換回路の一例を示すブロック図。
【図１１】図１０に示す回路による平均輝度信号の変換特性を示す図。
【図１２】応用例を示すブロック図。
【図１３】ローパスフィルタによるエッジの円滑化の一例を示す図。
【符号の説明】
【０１６０】
１：イメージセンサ、２：垂直ブロック選択回路、３：ブロック内ライン選択回路、４：パルスセレクタ回路、５：バイアス回路、６：アナログ／デジタル変換回路、７：ラッチ回路、８：ラインメモリ、９：水平シフトレジスタ回路、１０：信号処理回路、３１：プリγ補正回路、３２：４Ｈラインメモリ、３３：キズ補正処理ブロック、３４：逆γ補正回路、３５：並び替え回路、３６：自動キズ補正回路、３７：ノイズリダクション回路、３８：重み付け加算回路、３９：エッジ調整回路、４０，５１，５４：乗算器、４１，５２，５５，６２：加算器、４２，５７：クリップ回路、５３：インバータ、５６，６１：コンパレータ、セレクタ：６４、６０：エッジ選択回路、７０：ローパスフィルタ。
【図１】
2008258909.tif 000003
【図２】
2008258909.tif 000004
【図３】
2008258909.tif 000005
【図４】
2008258909.tif 000006
【図５】
2008258909.tif 000007
【図６】
2008258909.tif 000008
【図７】
2008258909.tif 000009
【図８】
2008258909.tif 000010
【図９】
2008258909.tif 000011
【図１０】
2008258909.tif 000012
【図１１】
2008258909.tif 000013
【図１２】
2008258909.tif 000014
【図１３】
2008258909.tif 000015