(57)【要約】画像処理システム及び方法は、イメージセンサアレイから得られる画像の各画素を、フィルタアレイ中で同じ色の少なくとも８つの周囲画素と比較する。所定の画素の信号が同じ色の８つ全ての周囲画素のそれぞれの信号よりも大きい場合には、中央の画素の信号値を、同じ色の周囲の８つの画素の中で最大となる信号値に置き換える。一方、所定の画素の信号が同じ色の８つ全ての周囲画素のそれぞれの信号よりも小さい場合には、中央の画素の信号値を、同じ色の周囲の８つの画素の中で最小となる信号値に置き換える。
2005528857.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサアレイから得られる画像から複数の画像データラインを受けるメモリ構造体であって、各画像データラインが、イメージセンサアレイ中の画素の１ラインに対応する信号値データを含むようにする当該メモリ構造体と、
このメモリ構造体から画像データを受ける補正区分であって、イメージセンサアレイ中の検査画素の信号値を少なくとも８つの周囲画素の信号値と比較し、検査画素の信号値が８つの周囲画素の信号値の全てよりも大きい場合には、検査画素の信号値を８つの周囲画素の中から最大の信号値と置き換え、検査画素の信号値が８つの周囲画素の信号値の全てよりも小さい場合には、検査画素の信号値を８つの周囲画素の中から最小の信号値に置き換えるようにする当該補正区分と
を具える画素画像データ補正装置。
【請求項２】
請求項１に記載の画素画像データ補正装置において、８つの周囲画素は、単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接しているものとする画素画像データ補正装置。
【請求項３】
請求項１に記載の画素画像データ補正装置において、８つの周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間しており、８つの周囲画素は、カラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正装置。
【請求項４】
請求項１に記載の画素画像データ補正装置において、更に、画像データラインにおける各画素の信号値を順次に検査するように画像データを補正区分に読出す制御を補正区分に行うコントローラが設けられている画素画像データ補正装置。
【請求項５】
請求項４に記載の画素画像データ補正装置において、前記コントローラは更に、最も古い画像データラインが読出された際に、この最も古い画像データラインと置き換わるように新たな画像データラインをメモリ構造体内に書込むようにこのメモリ構造体への画像データの入力を制御するとともに、画像データラインにおける各画素の信号値の検査終了時に、更新された画像データを読出すようにメモリ構造体を制御して、補正区分が次の画像データラインにおける画素に対する信号値を順次に検査するようにする画素画像データ補正装置。
【請求項６】
請求項１に記載の画素画像データ補正装置において、更に、画像データの検査画素が検査された後に、画像データのこの検査画素に関する画像処理動作を実行する画像処理区分が設けられている画素画像データ補正装置。
【請求項７】
請求項６に記載の画素画像データ補正装置において、前記画像処理区分が色処理動作を実行するようにした画素画像データ補正装置。
【請求項８】
請求項６に記載の画素画像データ補正装置において、前記画像処理区分が色補間処理動作を実行するようにした画素画像データ補正装置。
【請求項９】
請求項６に記載の画素画像データ補正装置において、前記画像処理区分が白バランス処理動作を実行するようにした画素画像データ補正装置。
【請求項１０】
請求項６に記載の画素画像データ補正装置において、前記画像処理区分がシャープネスフィルタリング処理動作を実行するようにした画素画像データ補正装置。
【請求項１１】
イメージセンサアレイから得られる画像の画像データラインであって、各画像データラインがそれぞれイメージセンサアレイ中の画素の１ラインに相当する信号値データを含んでいる当該各画像データラインを、各メモリバンクが受けて一時的に記憶するようにした複数のメモリバンクと、
複数の組のシフトレジスタであって、各組が前記複数のメモリバンクから画像データを受けるようにした当該シフトレジスタと、
シフトレジスタの１つの組における画像データ中の検査画素の信号値を検査して、この検査画素の信号値に欠陥があるかどうかを決定し、欠陥が見出された場合に、欠陥のある信号値を補正する補正回路と
を具える画素画像データ補正装置。
【請求項１２】
請求項１１に記載の画素画像データ補正装置において、前記補正回路は、検査画素の信号値を、この画素を囲むとともにこの画素と同じ色を有する少なくとも８つの周囲画素のそれぞれの信号値と比較することにより検査するようになっている画素画像データ補正装置。
【請求項１３】
請求項１２に記載の画素画像データ補正装置において、前記複数のメモリバンクが３つのメモリバンクであり、８つの前記周囲画素は単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接しているものとする画素画像データ補正装置。
【請求項１４】
請求項１２に記載の画素画像データ補正装置において、前記複数のメモリバンクが５つのメモリバンクであり、８つの前記周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間し且つカラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正装置。
【請求項１５】
請求項１２に記載の画素画像データ補正装置において、前記補正回路は、検査画素の信号値が８つの前記周囲画素に対する全ての信号値よりも大きい場合に、この検査画素の信号値を、８つの前記周囲画素の信号値の中で最大の信号値に等しく補正するようにした画素画像データ補正装置。
【請求項１６】
請求項１２に記載の画素画像データ補正装置において、前記補正回路は、検査画素の信号値が８つの前記周囲画素に対する全ての信号値よりも小さい場合に、この検査画素の信号値を、８つの前記周囲画素の信号値の中で最小の信号値に等しく補正するようにした画素画像データ補正装置。
【請求項１７】
請求項１１に記載の画素画像データ補正装置において、更に、メモリバンクからシフトレジスタ内に入力される画像データと列方向で同期させて、１ラインの画像データをイメージセンサアレイから直接、複数の組のうちの１つの組のシフトレジスタに入力させる遅延レジスタが設けられている画素画像データ補正装置。
【請求項１８】
請求項１１に記載の画素画像データ補正装置において、更に、
画像データをメモリバンクの各々に書込むのを管理する入力マルチプレクサと、
画像データをメモリバンクからシフトレジスタ内に読出すのを管理する出力マルチプレクサと、
データをメモリバンク内に書込んだり、メモリバンクから読出したりするアドレスを制御するアドレス発生器と
が設けられている画素画像データ補正装置。
【請求項１９】
請求項１１に記載の画素画像データ補正装置において、更に、画像データラインにおける各画素の信号値に対し順次に検査及び必要に応じ補正を実行するように、複数のメモリバンクからの画像データの出力を制御するコントローラが設けられている画素画像データ補正装置。
【請求項２０】
請求項１９に記載の画素画像データ補正装置において、前記コントローラは更に、最も古い画像データラインが関連のメモリバンクから出力された際に、この最も古い画像データラインを含むメモリバンク内に新たな画像データラインを書込んでこの最も古い画像データラインに上書きをするように、メモリバンク内への画像データの入力を制御するとともに、画像データラインにおける各画素の信号値の検査終了時に、複数のメモリバンクからの更新された画像データの出力を制御して、次の画像データラインにおける各画素の信号値に対し順次に検査及び必要に応じ補正が実行されるようにする画素画像データ補正装置。
【請求項２１】
請求項１１に記載の画素画像データ補正装置において、更に、既に検査した画像データの画素に関して画像処理動作を実行する画像処理回路が設けられ、この画像処理回路は、検査画素を検査したシフトレジスタとは相違するシフトレジスタの一部分を用いるようになっている画素画像データ補正装置。
【請求項２２】
請求項２１に記載の画素画像データ補正装置において、前記画像処理回路が色処理動作を実行するようにした画素画像データ補正装置。
【請求項２３】
請求項２１に記載の画素画像データ補正装置において、前記画像処理回路が色補間動作を実行するようにした画素画像データ補正装置。
【請求項２４】
請求項２１に記載の画素画像データ補正装置において、前記画像処理回路が白バランス処理動作を実行するようにした画素画像データ補正装置。
【請求項２５】
請求項２１に記載の画素画像データ補正装置において、前記画像処理回路がシャープネスフィルタリング処理動作を実行するようにした画素画像データ補正装置。
【請求項２６】
ａ）信号値を含む画像データの少なくとも３本のラインを、イメージセンサにおける画素アレイから得られる画像の対応する本数のラインに対して得る工程と、
ｂ）信号値の前記少なくとも３本のラインの中から選択した検査画素の信号値を、信号値の前記少なくとも３本のラインの中から選択した少なくとも８つの画素であって、前記検査画素と同じ色を有するとともにこの前記検査画素を囲む周囲画素であるこれら８つの画素のそれぞれの信号値と比較する比較工程と、
ｃ）検査画素の信号値が８つの周囲画素に対する全ての信号値よりも大きい場合、検査画素の信号値を８つの周囲画素の信号値のうち最大の信号値に等しく補正する工程と、
ｄ）検査画素の信号値が８つの周囲画素に対する全ての信号値よりも小さい場合、検査画素の信号値を８つの周囲画素の信号値のうち最小の信号値に等しく補正する工程と
を具える画素画像データ補正方法。
【請求項２７】
請求項２６に記載の画素画像データ補正方法において、８つの周囲画素は、単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接させる画素画像データ補正方法。
【請求項２８】
請求項２６に記載の画素画像データ補正方法において、８つの周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間させ、８つの周囲画素は、カラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正方法。
【請求項２９】
請求項２６に記載の画素画像データ補正方法において、前記比較工程は、イメージセンサ画素アレイにおける最外側の２行及び２列からの画素の信号値に対して実行しないようにする画素画像データ補正方法。
【請求項３０】
請求項２６に記載の画素画像データ補正方法において、更に、
ｅ）検査した画素と同じ画像データラインにおける次の画素に対し、このラインにおける全ての画素が検査されるまで、前記工程ａ）〜ｄ）を繰り返す工程
を具える画素画像データ補正方法。
【請求項３１】
請求項３０に記載の画素画像データ補正方法において、更に、
ｆ）信号値の新たなラインを、イメージセンサ画素アレイからの画像データの新たなラインに対し得る工程と、
ｇ）画像データの次のラインに関し前記工程ｅ）を繰返し、画像データの各ラインにおける各画素に対する全ての信号値が検査されるまで、前記工程ｆ）を繰り返す工程と
を具える画素画像データ補正方法。
【請求項３２】
請求項３１に記載の画素画像データ補正方法において、更に、
画像データの各ラインにおける各画素を検査した後に、欠陥画素のクラスタが存在しないことを確認する工程と、
ｈ）検査した画像データの中から第１画素を選択する工程と、
ｉ）前記第１画素に最も近い周囲画素の中からこの第１画素と同じ色の第２画素を選択する工程と、
ｊ）これら第１画素及び第２画素間の信号値の差を求める工程と、
ｋ）この差の絶対値をしきい値と比較し、この差の絶対値がしきい値よりも大きい場合に、欠陥画素のクラスタが存在するものと決定する工程と、
ｌ）検査した画像データにおける各画素に対し前記工程ｈ）〜ｋ）を繰り返す工程と
を具える画素画像データ補正方法。
【請求項３３】
信号値を含む画像データの少なくとも３本のラインを、イメージセンサにおける画素アレイから得られる画像の対応する本数のラインに対し、複数のメモリバンク内に書込む工程と、
画像データをこれらメモリバンクからシフトレジスタの複数の組に順次に入力させる工程と、
シフトレジスタ中の検査画素の信号値を、シフトレジスタ中の少なくとも８つの周囲画素であって前記検査画素と同じ種類のカラーフィルタとしたこれらの周囲画素の信号値と比較する比較工程と、
検査画素の信号値が８つの周囲画素の全ての信号値よりも大きい場合に、検査画素の信号値を８つの周囲画素の信号値のうち最大の信号値に等しく補正する補正工程と、
検査画素の信号値が８つの周囲画素の全ての信号値よりも小さい場合に、検査画素の信号値を８つの周囲画素の信号値のうち最小の信号値に等しく補正する補正工程と
を具える画素画像データ補正方法。
【請求項３４】
請求項３３に記載の画素画像データ補正方法において、更に、画像データのラインを、複数のメモリバンクからとは別に、しかしこれらメモリバンクからシフトレジスタ内に入力される画像データと列方向で同期させて、１組のシフトレジスタ内に直接入力させ、検査画素の信号値と比較する前記少なくとも８つの周囲画素の信号値を、シフトレジスタ内に直接入力された画像データの中から選択するようにする工程を具える画素画像データ補正方法。
【請求項３５】
請求項３３に記載の画素画像データ補正方法において、８つの周囲画素は、単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接させる画素画像データ補正方法。
【請求項３６】
請求項３３に記載の画素画像データ補正方法において、８つの周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間させ、８つの周囲画素は、カラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正方法。
【請求項３７】
請求項３３に記載の画素画像データ補正方法において、更に、検査画素の信号値を補正するに際し、対応するメモリバンクにおける対応する位置における補正値を置き換える工程を具える画素画像データ補正方法。
【請求項３８】
請求項３３に記載の画素画像データ補正方法において、更に、検査画素の信号値を補正するに際し、シフトレジスタにおける対応する位置における補正値を置き換える工程を具える画素画像データ補正方法。
【請求項３９】
請求項３３に記載の画素画像データ補正方法において、更に、
最も古い画像データラインを含むメモリバンクから、この最も古い画像データラインが出力された際に、当該メモリバンク内に新たな画像データラインを書込むように、メモリバンクへの画像データラインの入力を制御する工程と、
画像データラインにおける各画素の信号値の検査終了時に、前記比較工程及び必要に応じ前記補正工程が次の画像データラインにおける各画素に対し順次に行われるように、複数のメモリバンクからの更新画像データの出力を制御する工程と
を具える画素画像データ補正方法。
【請求項４０】
請求項３３に記載の画素画像データ補正方法において、更に、前記比較工程及び必要に応じ前記補正工程が画像データラインにおける各画素の信号値に対し順次に行われるように、メモリバンクからの画像データの出力を制御する制御工程を具える画素画像データ補正方法。
【請求項４１】
請求項４０に記載の画素画像データ補正方法において、更に、
関連のメモリバンク内の最も古い画像データラインを新たな画像データラインに置き換える置き換え工程と、
前記制御工程を次の画像データラインに対し繰り返すとともに、前記置き換え工程を、画像中の各画像データラインにおける各画素に対する全ての信号値が検査されるまで繰り返す工程と
を具える画素画像データ補正方法。
【請求項４２】
請求項３３に記載の画素画像データ補正方法において、更に、前記比較工程及び必要に応じ前記補正工程が検査画素に対し実行された後に、この検査画素の検査に用いた部分とは相違するシフトレジスタの部分を用いる後の画像処理機能を実行する工程を具える画素画像データ補正方法。
【請求項４３】
請求項４２に記載の画素画像データ補正方法において、前記後の画像処理機能を色処理機能とする画素画像データ補正方法。
【請求項４４】
請求項４２に記載の画素画像データ補正方法において、前記後の画像処理機能を色補間処理機能とする画素画像データ補正方法。
【請求項４５】
請求項４２に記載の画素画像データ補正方法において、前記後の画像処理機能をシャープネスフィルタリング処理機能とする画素画像データ補正方法。
【請求項４６】
請求項４２に記載の画素画像データ補正方法において、前記後の画像処理機能を白バランス処理機能とする画素画像データ補正方法。
【請求項４７】
イメージセンサアレイから得られる画像の画像データラインであって、各画像データラインがイメージセンサアレイ中の画素の１ラインに相当する信号値データを含んでいる当該各画像データラインを、各メモリバンクが受けて一時的に記憶するようにした複数のメモリバンクと、
これら複数のメモリバンクから画像データを受け、イメージセンサアレイ中の検査画素の信号値を、少なくとも８つの周囲画素の信号値と比較し、検査画素の信号値がこれら８つの周囲画素の全ての信号値よりも大きい場合に、この検査画素の信号値をこれら８つの周囲画素の中から最大の信号値に置き換える補正区分と
を具えている画素画像データ補正装置。
【請求項４８】
請求項４７に記載の画素画像データ補正装置において、前記複数のメモリバンクが３つのメモリバンクであり、８つの前記周囲画素は単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接しているものとする画素画像データ補正装置。
【請求項４９】
請求項４７に記載の画素画像データ補正装置において、前記複数のメモリバンクが５つのメモリバンクであり、８つの前記周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間し且つカラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正装置。
【請求項５０】
イメージセンサアレイから得られる画像の画像データラインであって、各画像データラインがイメージセンサアレイ中の画素の１ラインに相当する信号値データを含んでいる当該各画像データラインを、各メモリバンクが受けて一時的に記憶するようにした複数のメモリバンクと、
これら複数のメモリバンクから画像データを受け、イメージセンサアレイ中の検査画素の信号値を、少なくとも８つの周囲画素の信号値と比較し、検査画素の信号値がこれら８つの周囲画素の全ての信号値よりも小さい場合に、この検査画素の信号値をこれら８つの周囲画素の中から最小の信号値に置き換える補正区分と
を具えている画素画像データ補正装置。
【請求項５１】
請求項５０に記載の画素画像データ補正装置において、前記複数のメモリバンクが３つのメモリバンクであり、８つの前記周囲画素は単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接しているものとする画素画像データ補正装置。
【請求項５２】
請求項５０に記載の画素画像データ補正装置において、前記複数のメモリバンクが５つのメモリバンクであり、８つの前記周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間し且つカラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正装置。
【請求項５３】
ａ）信号値を含む画像データの少なくとも３本のラインを、イメージセンサにおける画素アレイから得られる画像の画像データの対応する本数のラインに対して得る工程と、
ｂ）画像データの前記少なくとも３本のラインの中から選択した検査画素の信号値を、画像データの前記少なくとも３本のラインの中から選択した少なくとも８つの画素であって、前記検査画素と同じ色を有するとともにこの前記検査画素を囲む周囲画素であるこれら８つの画素のそれぞれの信号値と比較する比較工程と、
ｃ）検査画素の信号値が８つの周囲画素に対する全ての信号値よりも大きい場合、検査画素の信号値を８つの周囲画素の信号値のうち最大の信号値に置き換える工程と
を具えている画素画像データ補正方法。
【請求項５４】
請求項５３に記載の画素画像データ補正方法において、８つの周囲画素は、単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接させる画素画像データ補正方法。
【請求項５５】
請求項５３に記載の画素画像データ補正方法において、８つの周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間させ、８つの周囲画素は、カラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正方法。
【請求項５６】
ａ）信号値を含む画像データの少なくとも３本のラインを、イメージセンサにおける画素アレイから得られる画像の画像データの対応する本数のラインに対して得る工程と、
ｂ）画像データの前記少なくとも３本のラインの中から選択した検査画素の信号値を、画像データの前記少なくとも３本のラインの中から選択した少なくとも８つの画素であって、前記検査画素と同じ色を有するとともにこの前記検査画素を囲む周囲画素であるこれら８つの画素のそれぞれの信号値と比較する比較工程と、
ｃ）検査画素の信号値が８つの周囲画素に対する全ての信号値よりも小さい場合、検査画素の信号値を８つの周囲画素の信号値のうち最小の信号値に置き換える工程と
を具えている欠陥画素による画像データを補正する画像データ補正方法。
【請求項５７】
請求項５６に記載の画像データ補正方法において、８つの前記周囲画素は単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接させる画像データ補正方法。
【請求項５８】
請求項５６に記載の画像データ補正方法において、８つの周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間させ、８つの周囲画素は、カラーフィルタアレイにおいて検査画素と同じ色とする画像データ補正方法。
【請求項５９】
イメージセンサアレイから得られる画像の画像データラインであって、各画像データラインがイメージセンサアレイ中の画素の１ラインに相当する信号値データを含んでいる当該各画像データラインを、各メモリバンクが受けて一時的に記憶するようにした複数のメモリバンクと、
イメージセンサアレイ中の欠陥画素により生ぜしめられる信号値を、欠陥画素位置の予め決定され記憶されたマップを用いず且つしきい値を用いることなしに識別及び補正する補正回路と
を具えている画素画像データ補正装置。
【請求項６０】
画像を得るとともに、この画像の各ラインに対し信号値を含む画素画像データを有する画像信号を出力するイメージセンサユニットと、
画像信号を処理するイメージプロセッサと、
これらイメージセンサユニット及びイメージプロセッサを制御するコントローラと
を具える画像処理装置であって、
前記イメージプロセッサが欠陥画素データ補正回路を有し、この欠陥画素データ補正回路は、画素画像データを受けるとともに、検査画素の信号値を画像中のこの検査画素を囲む少なくとも８つの周囲画素の信号値と比較し、検査画素の信号値が８つの周囲画素の全ての信号値よりも大きい場合に、検査画素の信号値を８つの前記周囲画素の信号値の中で最大の信号値に置き換え、検査画素の信号値が８つの周囲画素の全ての信号値よりも小さい場合に、検査画素の信号値を８つの前記周囲画素の信号値の中で最小の信号値に置き換えるようになっている画像処理装置。
【請求項６１】
画像データを受けて処理するプロセッサと、
このプロセッサに画像データを供給する画像データ発生器と
を具える処理システムであって、前記画像データ発生器は、
画像を得るとともに画像信号を出力するイメージセンサユニットと、
画像信号を処理するイメージプロセッサと、
これらイメージセンサユニット及びイメージプロセッサを制御するコントローラと
を有しており、
前記イメージプロセッサが欠陥画素データ補正回路を有し、この欠陥画素データ補正回路は、画素画像データを受けるとともに、検査画素の信号値を画像中のこの検査画素を囲む少なくとも８つの周囲画素の信号値と比較し、検査画素の信号値が８つの周囲画素の全ての信号値よりも大きい場合に、検査画素の信号値を８つの前記周囲画素の信号値の中で最大の信号値に置き換え、検査画素の信号値が８つの周囲画素の全ての信号値よりも小さい場合に、検査画素の信号値を８つの前記周囲画素の信号値の中で最小の信号値に置き換えるようになっている処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル撮像分野のイメージセンサアレイにおける欠陥画素の実時間識別及び補正を可能にする方法及び装置に関するものである。
【背景技術】
【０００２】
イメージがイメージセンサにより捕捉されると、各画素は、当該画素に光が全く到達しない場合の暗信号と、当該画素により検出しうる最大光量を表わす完全な白信号との間の強度レベルとして見る光量を記録する。このようにイメージセンサにより捕捉されるイメージはグレースケール画像として処理される。
【０００３】
イメージセンサにより捕捉されるイメージの色を検出するために、イメージセンサの画素はそれぞれカラーフィルタで被覆されており、これらのカラーフィルタは当該カラーフィルタの色以外の全ての色の光波長を吸収する。イメージセンサから色情報を得る代表的な方法は、カラーフィルタアレイをイメージセンサの画素上に配置する方法である。このようなカラーフィルタアレイの最も一般的な例は、図１に示すベイヤーモザイクフィルタである。このベイヤーモザイクフィルタはチェッカー盤状の形態をしており、赤及び緑の行と、青及び緑の行との交互の行より成っている。赤のフィルタと青のフィルタとは互いにオフセット配置されている為、緑の２つのフィルタは隣接する行間及び隣接する列間でエッジを共有していない。各画素に対し完全な色情報を得るためには、周囲の画素における色のレベルに基づく色の強度の補間を行う必要がある。
【０００４】
代表的なイメージセンサは、画像に対するカラーフィルタ情報を集める少なくとも数十万の画素を有するが、各画素が、当該画素に記録された信号値に対するだけでなく、他の周囲の画素に対し色情報を補間するのに用いるためにも必要となる。従って、画素に欠陥が生じると、その影響が合成されて画像のかなりの部分に悪影響を及ぼすおそれがある。
【０００５】
電荷結合装置（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）のようなイメージセンサの製造処理における多くの固有の可変性の為に、各センサにおけるイメージセンサアレイの画素の幾つかが（しばしば回路中の短絡の為に）常に暗くなるか、又は（しばしば異常に高い漏洩電流の為に）常に明るくなりすぎる。多くの場合、これらの欠陥は、画像処理中に欠陥のある（不正確な）信号値を隣接画素の値に置き換えることにより補正しうる。しかし、この置き換えには、欠陥のある画素の位置を知る必要がある。
【０００６】
既知の殆どのカメラでは、欠陥のある画素の位置が、製造段階でのオフライン検査処理中に決定され、カメラ中の不揮発性メモリに記憶される。この従来の手法の主な欠点は、補正しうる欠陥の個数がこの目的のために特定された不揮発性メモリの寸法により制限されるということである。この従来の手法の他の欠点は、欠陥の位置を識別し記憶するための別の製造工程が必要となるということである。
【０００７】
他の現存のカメラモジュールは、各画素を、同じライン中で当該画素の両側の画素のような隣接画素と比較し、しきい値に基づく基準値を用いた置き換えを実行することにより、欠陥画素の補正を行っている。予め決定したしきい値に基づくこのような欠陥補正方法は解像度を低減させる傾向にある。その理由は、細い垂直線のような細部が画像から“除去”される為である。
【０００８】
従って、現在の技術状態を考慮すると、予め校正した欠陥マップを記憶するのに現在必要としている専用の不揮発性メモリを排除でき且つしきい値に基づく基準値を用いることなしに欠陥画素の補正を行うことができれば、欠陥画素を補正する処理が著しく改善されるであろう。
【発明の開示】
【０００９】
本発明は、欠陥画素のために考慮する別の製造工程での校正や、予め校正した欠陥マップを記憶する不揮発性媒体を必要とすることなく、イメージセンサアレイ中での任意の個数の暗い欠陥画素及び明るい欠陥画素の双方に対する画像データの実時間補正を可能にしうる方法及び装置を提供することにより、従来技術の欠点を解決するものである。本発明の方法及び装置は、欠陥の特定の定義に頼らず且つ見込まれる欠陥と比較するいかなる特定のしきい値をも用いることなしに、欠陥画素データの識別を可能にすることもできる。本発明の方法及び装置は、画像内容にかかわらず、又画像の解像度に目に見えるほど影響を及ぼさず、しかも画像中のピーク‐ピーク雑音変化値を低減させて画像中の欠陥画素データの補正を可能にできる。
【００１０】
本発明の画像処理システム及び方法は、画像中の各画素の信号を、フィルタアレイ中の同じ色の少なくとも８つの周囲画素のそれぞれの信号と比較する。所定の画素の信号が同じ色の８つの周囲画素の全てのそれぞれの信号よりも大きい場合には、この中央画素の信号を、同じ色の周囲の８つの画素の中から最大である信号値に置き換える。同様に、所定の画素の信号が同じ色の８つの周囲画素の全てのそれぞれの信号よりも小さい場合には、この中央画素の信号を、同じ色の周囲の８つの画素の中から最小である信号値に置き換える。
【００１１】
本発明は、イメージセンサ画素アレイ中の欠陥画素のクラスタを検出する機能をも有し、これは欠陥画素データ識別及び補正処理後に行うことができ、この場合、同じ色の２つの隣接する画素の信号値間の差の絶対値をしきい値と比較し、これら２つの信号間のいかなる差の絶対値もしきい値よりも大きいと決定される場合に、クラスタ欠陥が存在するものである。この処理は工場での検査中にのみ行うのが好ましいが、欠陥画素データ識別及び補正処理後に撮像装置中で自動的に実行されるようにすることもできる。
【００１２】
本発明の他の特徴及び利点は、添付図面を参照した本発明の以下の説明から明らかとなるであろう。
本発明の方法の観点では、イメージセンサにより得られる画像中の各画素の信号値を、この検査画素に隣接する又はその付近に位置し同じカラーフィルタを有する少なくとも８つの最も近い周囲画素に対する値と比較する。この方法の一例を、ベイヤーモザイクフィルタアレイを有するイメージセンサにより得られる画像に対し説明する。図２に示すように、中央画素Ｐ0 の信号値を同じ色の、最も近い８つの周囲の画素の各々に対する信号値と比較する。本例では、最も近いこれら８つの周囲画素は、検査画素（Ｐ0 ）から見て、同じ行の画素（Ｐ4 、Ｐ5 ）、同じ列の画素（Ｐ2 、Ｐ7 ）及び対角線上の画素（Ｐ1 、Ｐ3 、Ｐ6 及びＰ8 ）であり、各画素は関連の方向で画素Ｐ0 から１画素分、離間している。
【００１３】
画素Ｐ0 の信号が８つの全ての周囲画素Ｐ1 〜Ｐ8 のそれぞれの信号よりも大きい場合には、画素Ｐ0 の信号値を、画素Ｐ1 〜Ｐ8 の信号値の中で最大の信号値に置き換える。同様に、画素Ｐ0 の信号が８つの全ての周囲画素Ｐ1 〜Ｐ8 のそれぞれの信号よりも小さい場合には、画素Ｐ0 の信号値を、画素Ｐ1 〜Ｐ8 の信号値の中で最小の信号値に置き換える。
【００１４】
これを数式項で表わすと、Ｐ0 ＝ max（Ｐ1 ，…，Ｐ8 ）又はＰ0 ＝ min（Ｐ1 ，…，Ｐ8 ）の場合、Ｐ0 ＝Ｐi であり、Ｐi は｜Ｐ0 −Ｐk ｜＝ min｜Ｐ0 −Ｐk ｜を満足する。ここで、ｋ＝１，…，８である。
【００１５】
この方法は、（単色フィルタアレイの各側における１つの行又は列である）検査画素の全ての側における２行及び２列からのデータを必要とする為、上述した方法は、イメージセンサにより得られる画像の２つの最外側行及び列中の画素の検査、及び必要に応じた補正を考慮しない。その理由は、これらの位置にある画素は２行及び２列の周囲画素を有していない為である。１つの解決策は、本発明の画像処理システムを組み込む装置から出力される又は表示されるよりも僅かに大きい画素アレイをイメージセンサに設けることである。従って、イメージセンサ画素アレイのエッジにおける１又は２行及び列からの画素に含まれる画像データは欠陥検査されず且つ表示されないが、本発明による関連の内部画素の機能を検査するのに用いられる。
【００１６】
上述した方法は、カメラのような撮像装置において、この装置に設けられたイメージセンサにより捕捉された各画像に対し自動的に行われるようにするのが好ましく、イメージセンサ上のカラーフィルタにおける各カラーチャネルに対する画素の色の８ビット、１０ビット、１２ビット等のビット深さに対し有効なものである。これらの方法の動作は、装置のエンドユーザにとって見えない為、ユーザは初期欠陥のない補正された画像を見るだけである。更に、撮像装置が工場で行われる検査に合格しており、エンドユーザにより動作させられている場合には、クラスタ欠陥検出方法により、クラスタ欠陥が存在しないことを表わす否定的な結果を常に生ぜしめる必要があることに、注意すべきである。
【００１７】
しかし、この方法は、各画素を検査するのに必要な３×３、又は５×５、又はその他のサブアレイ寸法当り１回以下しか生じない分離した欠陥を補正するのに適しているにすぎない。欠陥画素のクラスタの場合、この方法では失敗し、製造検査段階で装置を不合格としてしまう。クラスタは、互いに隣り合って位置する同じ色の２つ以上の欠陥として規定される。ベイヤーモザイクフィルタアレイでは、クラスタは、同じ色の欠陥画素であって互いに他の色の中間画素により離間されている２つ以上の欠陥画素を有する。
【００１８】
任意ではあるが、上述した欠陥補正方法を実行した後に、クラスタの存在の決定を手助けするために撮像装置に以下の動作を設けることができ
る。この任意の動作では、欠陥画素の識別及び補正処理に続いてイメージセンサが均一に照明され、図３に示すように、同じ色の２つの隣接画素Ｐ0+及びＰ6+の値間の差の絶対値をしきい値と比較する。イメージセンサに補正できないクラスタ欠陥が存在する場合のみこの差がしきい値よりも大きくなる。数学的に述べると、欠陥補正処理の実行後、
｜Ｐ0+−Ｐ6+｜＞Ｔth
である場合に、欠陥画素のクラスタが存在する。
【００１９】
クラスタ欠陥検出処理は、欠陥画素データ識別及び補正処理の終了後に撮像装置内で自動的に実行されるように設定することができるが、例えば、製造段階における欠陥画素データ識別及び補正処理の完全な検査実行後にシステムハードウエアのスイッチを動作させることにより制御するようにするのが好ましい。クラスタ欠陥検出処理を工場において製造段階又は品質制御処置中に行うと、このクラスタ検出検査の成功が、イメージセンサにクラスタ欠陥が無いことの証明となる。しかし、検査によりしきい値よりも大きい結果がもたらされる場合には、欠陥画素のクラスタが存在し、イメージセンサが廃棄される。
【００２０】
上述した欠陥画素データ識別及び補正方法は、イメージセンサの画素アレイの、少なくとも３×３のサブセット、好ましくは５×５のサブセットから得られる画像情報を保持しうるメモリ構造を有するシステムで実行する。例えば、画素アレイ全体の上に単色フィルタを設けるか、又はグレースケールで画像を生ぜしめることにより、イメージセンサ構造が単色画像を生ぜしめるようにする場合には、メモリフレーム当り３ラインの記憶装置のみが必要となるだけである。その理由は、各画素が検査画素と同じ色の８つの画素によりすぐ接して取囲まれている為である。一方、図１に示すように、赤及び緑の交互の画素の行が青及び緑の交互の画素の行と交互に配置したベイヤーモザイクフィルタのような多色フィルタアレイがイメージセンサ構造に設けられている場合には、本発明のメモリ構造は、少なくとも５つの画像情報ラインを保持しうるようにする。或いはまた、メモリ構造は、他のいかなる種類のイメージセンサフィルタ装置をも収容するのに必要な他のいかなる寸法のものにもすることができる。更に他の変形例として、バッファメモリは、画像全体に対する画素情報を保持しうる全フレームバッファリングメモリとすることができる。
【００２１】
図４は、イメージプロセッサ内に組み込まれ、上述した補正方法を実行する処理ユニット１００の好適例を示す線図である。この好適例では、処理ユニット１００は画像データを受ける６行のシフトレジスタ１０８と、最も新たな画像データラインをシフトレジスタ１０８の１つの行内に、これらシフトレジスタの他の行内へのデータの入力と行方向で同期して転送させる遅延回路１１２と、前に読出した等しい個数の到来ラインの画像データを記憶するランダムアクセスメモリ（ＲＡＭ）の５つのバンク１０２と、これらＲＡＭバンク１０２内への及びこれらＲＡＭバンク１０２からのデータの流れを制御する読出し／書込みアドレス発生器１１０と、この読出し／書込みアドレス発生器１１０により決定された適切なＲＡＭバンク内に画像データを入力させる入力マルチプレクサ１０４と、画像データをＲＡＭバンク１０２から、読出し／書込みアドレス発生器１１０により決定された適切なシフトレジスタ１０８の行内に出力させる出力マルチプレクサ１０６と、欠陥画素データの識別及び補正を上述したように実行する欠陥補正回路と、設けるのは任意ではあるが、赤、緑及び青の出力信号を生じる第２の二次元補間画像処理動作回路１１６とを有する。
【００２２】
単色イメージセンサアレイの場合、欠陥画素データの識別及び補正処理を実行するのに３行のみのシフトレジスタしか必要としない為、必要とするＲＡＭバンク１０２の個数及びシフトレジスタ１０８の行数は少なくなり、例えば、３つのＲＡＭバンク１０２及び４行のシフトレジスタ１０８しか必要としない。
【００２３】
好適実施例では、各メモリバンクを、読出し及び書込みアクセスを同時に行いうるデュアルポートＳＲＡＭ（スタティックＲＡＭ）とする。しかし、例えば、高速ページモードＤＲＡＭ（ＦＰＭＤＲＡＭ）、拡張データ出力ＤＲＡＭ（ＥＤＯＤＲＡＭ）、バーストＥＤＯＤＲＡＭ、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＤＲＡＭ（ＤＤＲＤＲＡＭ）、ランバスＤＲＡＭ（ＲＤＲＡＭ）等を含む多くの異なる種類のＤＲＡＭの何れにもしうる他の種類のランダムアクセスメモリを用いることができる。
【００２４】
更に、遅延回路はＲＡＭ又はその他の装置として構成することができ、或いは到来ラインの画像データを、ＲＡＭバンク１０２を経てシフトレジスタに入力させる画像データと列方向で同期してシフトレジスタ内に直接転送させうる他のいかなる機構のものにも置き換えることができる。しかし、好適実施例では、遅延回路１１２を単に遅延レジスタとして設け、これにより、一番上の行のシフトレジスタ１０８内への新たなラインの画像データの入力を遅延させ、ＲＡＭバンク１０２から他の行のシフトレジスタへの画素データ入力との画素列同期を維持するようにする。
【００２５】
シフトレジスタ１０８の６つの組は、画像データの６つのラインに対し同時にアクセスし（単色画像アレイの場合には、必要とするライン数は少なくなる）、画素欠陥補正と他の二次元補間処理機能との双方を、欠陥補正に対し用いたのと同じシフトレジスタのハードウエアを共用して行いうるようにする。上述したように、最も新たな画像データラインは図４に示すシフトレジスタの一番上の行に転送され、一方、２番目に新たな画像データラインはＲＡＭバンク１０２の１つから２番目の行のシフトレジスタに入力され、以下同様であり、６番目に新たな画像データラインは図４に示す最後の行のシフトレジスタに入力される。
【００２６】
データをそれぞれの各行のシフトレジスタ１０８に転送する特定のＲＡＭバンクは、出力マルチプレクサ１０６内に設けたスイッチを動作させるアドレス発生器１１０内のポインタにより決定される。ＲＡＭバンク１０２内のデータは、ＦＩＦＯ順序に従って画素毎にシフトレジスタ１０８に読出される。又、遅延レジスタ１１２からの画像データはメモリバンク１０２からの出力と同期される為、遅延レジスタにより１組のシフトレジスタに供給される画像データは、メモリの５つのバンクから他の５つの組のシフトレジスタに読出される画素情報と同じ画像アレイ列からのものである。
【００２７】
上述した構造は、欠陥補正を、イメージプロセッサにおける他の処理工程に先立って画素クロックレートで実行させる。欠陥画素の識別及び補正は、欠陥補正回路１１４によりシフトレジスタ内で行われ、これに続いて、最初の５行のシフトレジスタ内に読出されたデータを用いて３行目のシフトレジスタ内の画素データに対して行われる。特に、メモリバンク１０２内の各ラインの画像データからの画素データは画素クロックレートと同期して適切なシフトレジスタ内にパースされ、欠陥画素に対するデータの検出及び補正はシフトレジスタアレイの欠陥補正回路１１４内に示す中央画素１２２に対し実行される。欠陥補正回路１１４の中央に現在存在する画素データが一旦検査され、必要に応じ補正されると、同じライン中で左方向の次の画素に対する画素データを検査するために、シフトレジスタアレイ内のデータが右にシフトし、新たな画素データがそれぞれのＲＡＭバンク１０２及び遅延レジスタ１１２からシフトレジスタの最も左の列内に読出される。
【００２８】
この処理は、関連の画像ライン、すなわち、３番目の行のシフトレジスタにおける全ての画素データが検査され、必要に応じ補正されるまで繰り返される。各画像データラインがシフトレジスタを通って移動される為、６番目の行のシフトレジスタを通って移動する最も古い画像データラインを含むＲＡＭバンクにも、１番目の行のシフトレジスタに入る新たな画素データラインが、入力マルチプレクサ１０４及びアドレス発生器１１０による制御の下でローディングされる。従って、古い画像データが出力マルチプレクサ１０６を介して６番目のラインのシフトレジスタに読出された際に、この古い画像データに上書きが行われる。その結果、最も古い画像データラインが読出されたＲＡＭバンクには、１番目の行のシフトレジスタに現在入れられている最も新しい画像データラインがローディングされている。従って、このＲＡＭバンクには、次の画像データラインを補正するために２番目の行のシフトレジスタにローディングすべき画素画像データが含まれている。
【００２９】
画像データラインの終了に達すると、読出し／書込みアドレス発生器１１０が出力マルチプレクサ１０６を更新し、欠陥補正回路１１４により丁度検査し終わった画像データラインを含むＲＡＭバンク１０２の読出し経路は、その内容が図４に示す４番目の行のシフトレジスタに読出されるように設定し直され、一方、その前に画像データを４番目の行のシフトレジスタに出力していたＲＡＭバンク１０２は現在５番目の行のシフトレジスタに出力するように設定されている。同様に、前に画像データラインを５番目の行のシフトレジスタに読出すように設定されていたＲＡＭバンクの読出し経路は現在６番目の行のシフトレジスタに読出すように設定し直され、前に２番目の行のシフトレジスタに出力したＲＡＭバンクは現在３番目の行のシフトレジスタに出力するように設定されている。上述したように、前に１番目の行のシフトレジスタに読出された画像データは現在、最も古い画像データラインを以前に保持していたＲＡＭバンク１０２内に存在しており、且つその読出し経路は現在２番目の行のシフトレジスタに設定されている。
【００３０】
次に、ＲＡＭバンク１０２内の画像データは前述したように右から左に向けてシフトレジスタに読出され、３番目の行のシフトレジスタ１０８に現在存在している画素データラインに対し新たに処理を開始する。又、次に到来する画像データラインが、ＲＡＭバンク１０２から２〜６番目の行のシフトレジスタに入力される画像データと列方向で同期して１番目の行のシフトレジスタに読込まれる。好適実施例では、１番目の行のシフトレジスタに読込まれる画像データを他の行に対して列方向で同期させるのは、図４に示す遅延レジスタ１１２により達成させるが、上述した他の手段のいずれを用いても達成しうる。
【００３１】
メモリバンクに蓄積されたデータは繰返し用いられる、すなわち、５つ（単色画像アレイの場合３つ）のＲＡＭバンクにおいて各ラインに対し１回用いられる為、欠陥が見つけられて補正される度にメモリ内容を更新する必要がある。補正された値は、欠陥補正回路１１４内の中央のシフトレジスタ１２２内に書込まれ、しかも欠陥補正がされている行のシフトレジスタに対応するＲＡＭバンク中の適切な画素位置に入力マルチプレクサ１０４を介して戻される（図４の１２０）。
【００３２】
欠陥補正が一旦行われると、（１ライン及び１画素の遅延をもって）同じ組のシフトレジスタを用いて、例えば図４に回路１１６として示す色補間のような他の二次元画像処理動作を実行することができる。シャープネスフィルタリング、白バランス処理等のような他の画像処理動作も回路１１６により実行して赤、緑及び青の出力信号１２４を発生させることができる。
【００３３】
単色イメージセンサアレイの場合、設けられるＲＡＭバンク及びシフトレジスタ行の個数が少なくなり、二次元画像処理回路１１６からの出力信号１２４が単色画像の色のみとなることを除いて、処理ユニット１００の動作は上述したのと同じである。
【００３４】
上述した本発明の特徴を含む撮像装置２００の一例を図５に示す。この撮像装置２００は、撮像すべき物体からの光を、イメージセンサを含むイメージセンサユニット２０４に指向させるレンズ系２０２と、イメージセンサユニット２０４で受けた画像信号をデジタル信号に変換するアナログ‐デジタル変換器２０６と、上述したように欠陥画素に対するデータ補正を含む画像補正処理を実行するとともに、色補間、シャープネスフィルタリング、白バランス処理等のような他の処理をも実行する画像／色処理ユニット２０８と、画像データを、ユーザのために出力又は表示するための適切なファイルフォーマットに変換する出力フォーマット変換／圧縮ユニット２１０と、撮像装置２００全体の動作を制御するコントローラ２１２とを有する。
【００３５】
イメージセンサユニット２０４におけるイメージセンサは、シリコンのような光感応材料より成る画素を含む集積回路として構成するのが好ましい。イメージセンサはＣＭＯＳとして形成し、単一集積回路においてＣＰＵ、デジタル信号プロセッサ又はマイクロプロセッサのようなプロセッサと組合わせることができる。或いはまた、イメージセンサユニット２０４におけるイメージセンサを電荷結合装置（ＣＣＤ）として構成することができる。
【００３６】
このような撮像装置２００は、制限されることなく、コンピュータシステム、カメラシステム、スキャナ、マシンビジョンシステム、ビークルナビゲーションシステム、テレビジョン電話、監視システム、オートフォーカスシステム、スター・トラッカー・システム、動き検出システム、画像安定化システム及び高精細度テレビジョン用のデータ圧縮システムの一部とすることができ、これらは全て本発明を利用しうる。
【００３７】
撮像装置２００を接続しうる代表的なプロセッサシステム４００を図６に示す。コンピュータシステムのようなプロセッサシステム４００は、一般に、例えば、バス４５２を介して入出力（Ｉ／Ｏ）装置４４６と通信する中央処理ユニット（ＣＰＵ）４４４を有している。撮像装置２００は、バス４５２又はポート接続を介してシステムと通信する。プロセッサシステム４００はランダムアクセスメモリ（ＲＡＭ）４４８をも有しており、コンピュータシステムの場合、これはフロッピー（登録商標）ディスクドライブ４５４及びコンパクトディスク（ＣＤ）ＲＯＭドライブ４５６のような周辺装置を有することができ、これらドライブもバス４５２を介してＣＰＵ４４４と通信する。
【００３８】
本発明をその特定の実施例に関して上述したが、当業者にとっては、他の多くの変形及び他の使用方法が明らかとなるであろう。従って、本発明はここに開示した特定の実施例に限定されるものではなく、特許請求の範囲によってのみ制限されるものである。
【図面の簡単な説明】
【００３９】
【図１】図１は、イメージセンサ上に用いられる既知のベイヤーモザイクフィルタパターンを示す線図である。
【図２】図２は、本発明による欠陥画素データ識別及び補正方法を示す線図である。
【図３】図３は、イメージセンサ画素アレイにおける欠陥画素のクラスタを検出する本発明による方法を示す線図である。
【図４】図４は、本発明の欠陥画素データ識別及び補正方法を実行する処理ユニットを示す線図である。
【図５】図５は、本発明の欠陥画素データ識別及び補正システム及び方法を導入する撮像装置を示すブロック線図である。
【図６】図６は、本発明の撮像装置と通信するプロセッサシステムを示す図である。
【図１】
2005528857.tif 000003
【図２】
2005528857.tif 000004
【図３】
2005528857.tif 000005
【図４】
2005528857.tif 000006
【図５】
2005528857.tif 000007
【図６】
2005528857.tif 000008
【手続補正書】
【提出日】平成17年3月7日(2005.3.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
イメージセンサアレイから得られる画像から複数の画像データラインを受けるメモリ回路であって、各画像データラインが、イメージセンサアレイ中の画素の１ラインに対応する信号値データを含みうるようにする当該メモリ回路と、
このメモリ回路から画像データを受ける補正回路であって、イメージセンサアレイ中の検査画素の信号値を少なくとも８つの周囲画素の信号値データと比較し、検査画素の信号値が８つの周囲画素の信号値の全てよりも大きい場合には、検査画素の信号値を８つの周囲画素の中から最大の信号値に置き換えるか、或いは、検査画素の信号値が８つの周囲画素の信号値の全てよりも小さい場合には、検査画素の信号値を８つの周囲画素の中から最小の信号値に置き換えるようにする当該補正回路と
を具える画素画像データ補正装置。
【請求項２】
請求項１に記載の画素画像データ補正装置において、８つの周囲画素は、単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接しているものとする画素画像データ補正装置。
【請求項３】
請求項１に記載の画素画像データ補正装置において、８つの周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間しており、８つの周囲画素は、カラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正装置。
【請求項４】
請求項１に記載の画素画像データ補正装置において、更に、画像データラインにおける各画素の信号値を順次に検査するように画像データを補正回路に読出す制御を補正回路に行うコントローラが設けられている画素画像データ補正装置。
【請求項５】
請求項４に記載の画素画像データ補正装置において、前記コントローラはメモリ回路内への画像データの入力を制御し、これにより、最も古い画像データラインが読出された際に、新たな画像データラインをメモリ回路内に書込み、この新たな画像データラインをこの最も古い画像データラインに代えうるようにするとともに、画像データラインにおける各画素の信号値の検査終了時に、更新された画像データを読出すようにメモリ回路を制御して、補正回路が次の画像データラインにおける画素に対する信号値を順次に検査するようにしうる画素画像データ補正装置。
【請求項６】
請求項１に記載の画素画像データ補正装置において、更に、画像データの検査画素が検査された後に、画像データのこの検査画素に関する画像処理動作を実行する画像処理回路が設けられている画素画像データ補正装置。
【請求項７】
イメージセンサアレイから得られる画像の画像データラインであって、各画像データラインがそれぞれイメージセンサアレイ中の画素の１ラインに相当する信号値データを含んでいる当該各画像データラインを、各メモリバンクが受けて一時的に記憶するようにした複数のメモリバンクと、
前記複数のメモリバンクから画像データを受ける各メモリバンクに対する複数の組のシフトレジスタと、
シフトレジスタの１つの組における画像データ中の検査画素の信号値を検査して、この検査画素の信号値に欠陥があるかどうかを決定し、欠陥が見出された場合に、欠陥のある信号値を補正する補正回路と
を具える画素画像データ補正装置。
【請求項８】
請求項７に記載の画素画像データ補正装置において、前記補正回路は、検査画素の信号値を、この画素を囲むとともにこの画素と同じ色を有する少なくとも８つの周囲画素のそれぞれの信号値と比較することにより検査しうるようになっている画素画像データ補正装置。
【請求項９】
請求項８に記載の画素画像データ補正装置において、前記複数のメモリバンクが３つのメモリバンクであり、８つの前記周囲画素は単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接しているものとする画素画像データ補正装置。
【請求項１０】
請求項８に記載の画素画像データ補正装置において、前記複数のメモリバンクが５つのメモリバンクであり、８つの前記周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間し且つカラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正装置。
【請求項１１】
請求項８に記載の画素画像データ補正装置において、前記補正回路は、検査画素の信号値が８つの前記周囲画素に対する全ての信号値よりも大きい場合に、この検査画素の信号値を、８つの前記周囲画素の信号値の中で最大の信号値に等しく補正するようにした画素画像データ補正装置。
【請求項１２】
請求項８に記載の画素画像データ補正装置において、前記補正回路は、検査画素の信号値が８つの前記周囲画素に対する全ての信号値よりも小さい場合に、この検査画素の信号値を、８つの前記周囲画素の信号値の中で最小の信号値に等しく補正しうるようにした画素画像データ補正装置。
【請求項１３】
請求項７に記載の画素画像データ補正装置において、更に、メモリバンクからシフトレジスタ内に入力される画像データと列方向で同期させて、１ラインの画像データをイメージセンサアレイから直接、複数の組のうちの１つの組のシフトレジスタに入力させる遅延レジスタが設けられている画素画像データ補正装置。
【請求項１４】
請求項７に記載の画素画像データ補正装置において、更に、
画像データをメモリバンクの各々に書込むのを管理する入力マルチプレクサと、
画像データをメモリバンクからシフトレジスタ内に読出すのを管理する出力マルチプレクサと、
データをメモリバンク内に書込んだり、メモリバンクから読出したりするアドレスを制御するアドレス発生器と
が設けられている画素画像データ補正装置。
【請求項１５】
請求項７に記載の画素画像データ補正装置において、更に、画像データラインにおける各画素の信号値に対し順次に検査及び必要に応じ補正を実行するように、複数のメモリバンクからの画像データの出力を制御するコントローラが設けられている画素画像データ補正装置。
【請求項１６】
請求項１５に記載の画素画像データ補正装置において、前記コントローラは更に、最も古い画像データラインが関連のメモリバンクから出力された際に、この最も古い画像データラインを含むメモリバンク内に新たな画像データラインを書込んでこの最も古い画像データラインに上書きをするように、メモリバンク内への画像データの入力を制御するとともに、画像データラインにおける各画素の信号値の検査終了時に、複数のメモリバンクからの更新された画像データの出力を制御して、次の画像データラインにおける各画素の信号値に対し順次に検査及び必要に応じ補正が実行されるようにする画素画像データ補正装置。
【請求項１７】
請求項７に記載の画素画像データ補正装置において、更に、既に検査した画像データの画素に関して画像処理動作を実行する画像処理回路が設けられ、この画像処理回路は、検査画素を検査したシフトレジスタの一部分とは相違するシフトレジスタの一部分を用いるようになっている画素画像データ補正装置。
【請求項１８】
請求項６又は１７に記載の画素画像データ補正装置において、前記画像処理回路は更に色処理動作を実行するために設けられている画素画像データ補正装置。
【請求項１９】
請求項６又は１７に記載の画素画像データ補正装置において、前記画像処理回路は更に色補間動作を実行するために設けられている画素画像データ補正装置。
【請求項２０】
請求項６又は１７に記載の画素画像データ補正装置において、前記画像処理回路は更に白バランス処理動作を実行するために設けられている画素画像データ補正装置。
【請求項２１】
請求項６又は１７に記載の画素画像データ補正装置において、前記画像処理回路は更にシャープネスフィルタリング処理動作を実行するために設けられている画素画像データ補正装置。
【請求項２２】
ａ）信号値を含む画像データの少なくとも３本のラインを、イメージセンサにおける画素アレイから得られる画像の対応する本数のラインに対して得る工程と、
ｂ）信号値の前記少なくとも３本のラインの中から選択した検査画素の信号値を、信号値の前記少なくとも３本のラインの中から選択した少なくとも８つの画素であって、前記検査画素と同じ色を有するとともにこの前記検査画素を囲む周囲画素であるこれら８つの画素のそれぞれの信号値と比較する比較工程と、
ｃ）検査画素の信号値が８つの周囲画素に対する全ての信号値よりも大きい場合、検査画素の信号値を８つの周囲画素の信号値のうち最大の信号値に等しく補正する工程と、
ｄ）検査画素の信号値が８つの周囲画素に対する全ての信号値よりも小さい場合、検査画素の信号値を８つの周囲画素の信号値のうち最小の信号値に等しく補正する工程と
を具える画素画像データ補正方法。
【請求項２３】
請求項２２に記載の画素画像データ補正方法において、８つの周囲画素は、単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接させる画素画像データ補正方法。
【請求項２４】
請求項２２に記載の画素画像データ補正方法において、８つの周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間させ、８つの周囲画素は、カラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正方法。
【請求項２５】
請求項２２に記載の画素画像データ補正方法において、前記比較工程は、イメージセンサ画素アレイにおける最外側の２行及び２列からの画素の信号値に対して実行しないようにする画素画像データ補正方法。
【請求項２６】
請求項２２に記載の画素画像データ補正方法において、更に、
ｅ）検査した画素と同じ画像データラインにおける次の画素に対し、このラインにおける全ての画素が検査されるまで、前記工程ａ）〜ｄ）を繰り返す工程
を具える画素画像データ補正方法。
【請求項２７】
請求項２６に記載の画素画像データ補正方法において、更に、
ｆ）信号値の新たなラインを、イメージセンサ画素アレイからの画像データの新たなラインに対し得る工程と、
ｇ）画像データの次のラインに関し前記工程ｅ）を繰返し、画像データの各ラインにおける各画素に対する全ての信号値が検査されるまで、前記工程ｆ）を繰り返す工程と
を具える画素画像データ補正方法。
【請求項２８】
請求項２７に記載の画素画像データ補正方法において、更に、
画像データの各ラインにおける各画素を検査した後に、欠陥画素のクラスタが存在しないことを確認する工程と、
ｈ）検査した画像データの中から第１画素を選択する工程と、
ｉ）前記第１画素に最も近い周囲画素の中からこの第１画素と同じ色の第２画素を選択する工程と、
ｊ）これら第１画素及び第２画素間の信号値の差を求める工程と、
ｋ）この差の絶対値をしきい値と比較し、この差の絶対値がしきい値よりも大きい場合に、欠陥画素のクラスタが存在するものと決定する工程と、
ｌ）検査した画像データにおける各画素に対し前記工程ｈ）〜ｋ）を繰り返す工程と
を具える画素画像データ補正方法。
【請求項２９】
信号値を含む画像データの少なくとも３本のラインを、イメージセンサにおける画素アレイから得られる画像の対応する本数のラインに対し、複数のメモリバンク内に書込む工程と、
画像データをこれらメモリバンクからシフトレジスタの複数の組に順次に入力させる工程と、
シフトレジスタ中の検査画素の信号値を、シフトレジスタ中の少なくとも８つの周囲画素であって前記検査画素と同じ種類のカラーフィルタとしたこれらの周囲画素の信号値と比較する比較工程と、
検査画素の信号値が８つの周囲画素の全ての信号値よりも大きい場合に、検査画素の信号値を８つの周囲画素の信号値のうち最大の信号値に等しく補正する補正工程と、
検査画素の信号値が８つの周囲画素の全ての信号値よりも小さい場合に、検査画素の信号値を８つの周囲画素の信号値のうち最小の信号値に等しく補正する補正工程と
を具える画素画像データ補正方法。
【請求項３０】
請求項２９に記載の画素画像データ補正方法において、更に、画像データのラインを、複数のメモリバンクからとは別に、しかしこれらメモリバンクからシフトレジスタ内に入力される画像データと列方向で同期させて、１組のシフトレジスタ内に直接入力させ、検査画素の信号値と比較する前記少なくとも８つの周囲画素の信号値を、シフトレジスタ内に直接入力された画像データの中から選択するようにする工程を具える画素画像データ補正方法。
【請求項３１】
請求項２９に記載の画素画像データ補正方法において、８つの周囲画素は、単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接させる画素画像データ補正方法。
【請求項３２】
請求項２９に記載の画素画像データ補正方法において、８つの周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間させ、８つの周囲画素は、カラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正方法。
【請求項３３】
請求項２９に記載の画素画像データ補正方法において、更に、検査画素の信号値を補正するに際し、対応するメモリバンクにおける対応する位置における補正値を置き換える工程を具える画素画像データ補正方法。
【請求項３４】
請求項２９に記載の画素画像データ補正方法において、更に、検査画素の信号値を補正するに際し、シフトレジスタにおける対応する位置における補正値を置き換える工程を具える画素画像データ補正方法。
【請求項３５】
請求項２９に記載の画素画像データ補正方法において、更に、
最も古い画像データラインを含むメモリバンクから、この最も古い画像データラインが出力された際に、当該メモリバンク内に新たな画像データラインを書込むように、メモリバンクへの画像データラインの入力を制御する工程と、
画像データラインにおける各画素の信号値の検査終了時に、前記比較工程及び必要に応じ前記補正工程が次の画像データラインにおける各画素に対し順次に行われるように、複数のメモリバンクからの更新画像データの出力を制御する工程と
を具える画素画像データ補正方法。
【請求項３６】
請求項２９に記載の画素画像データ補正方法において、更に、前記比較工程及び必要に応じ前記補正工程が画像データラインにおける各画素の信号値に対し順次に行われるように、メモリバンクからの画像データの出力を制御する制御工程を具える画素画像データ補正方法。
【請求項３７】
請求項３６に記載の画素画像データ補正方法において、更に、
関連のメモリバンク内の最も古い画像データラインを新たな画像データラインに置き換える置き換え工程と、
前記制御工程を次の画像データラインに対し繰り返すとともに、前記置き換え工程を、画像中の各画像データラインにおける各画素に対する全ての信号値が検査されるまで繰り返す工程と
を具える画素画像データ補正方法。
【請求項３８】
請求項２９に記載の画素画像データ補正方法において、更に、前記比較工程及び必要に応じ前記補正工程が検査画素に対し実行された後に、この検査画素の検査に用いた部分とは相違するシフトレジスタの部分を用いる後の画像処理機能を実行する工程を具える画素画像データ補正方法。
【請求項３９】
請求項３８に記載の画素画像データ補正方法において、前記後の画像処理機能を色処理機能とする画素画像データ補正方法。
【請求項４０】
請求項３８に記載の画素画像データ補正方法において、前記後の画像処理機能を色補間処理機能とする画素画像データ補正方法。
【請求項４１】
請求項３８に記載の画素画像データ補正方法において、前記後の画像処理機能をシャープネスフィルタリング処理機能とする画素画像データ補正方法。
【請求項４２】
請求項３８に記載の画素画像データ補正方法において、前記後の画像処理機能を白バランス処理機能とする画素画像データ補正方法。
【請求項４３】
イメージセンサアレイから得られる画像の画像データラインであって、各画像データラインがイメージセンサアレイ中の画素の１ラインに相当する信号値データを含んでいる当該各画像データラインを、各メモリバンクが受けて一時的に記憶するようにした複数のメモリバンクと、
これら複数のメモリバンクから画像データを受け、イメージセンサアレイ中の検査画素の信号値を、少なくとも８つの周囲画素の信号値と比較し、検査画素の信号値がこれら８つの周囲画素の全ての信号値よりも大きい場合に、この検査画素の信号値をこれら８つの周囲画素の中から最大の信号値に置き換える補正回路と
を具えている画素画像データ補正装置。
【請求項４４】
イメージセンサアレイから得られる画像の画像データラインであって、各画像データラインがイメージセンサアレイ中の画素の１ラインに相当する信号値データを含んでいる当該各画像データラインを、各メモリバンクが受けて一時的に記憶するようにした複数のメモリバンクと、
これら複数のメモリバンクから画像データを受け、イメージセンサアレイ中の検査画素の信号値を、少なくとも８つの周囲画素の信号値と比較し、検査画素の信号値がこれら８つの周囲画素の全ての信号値よりも小さい場合に、この検査画素の信号値をこれら８つの周囲画素の中から最小の信号値に置き換える補正回路と
を具えている画素画像データ補正装置。
【請求項４５】
請求項４３又は４４に記載の画素画像データ補正装置において、前記複数のメモリバンクが３つのメモリバンクであり、８つの前記周囲画素は単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接しているものとする画素画像データ補正装置。
【請求項４６】
請求項４３又は４４に記載の画素画像データ補正装置において、前記複数のメモリバンクが５つのメモリバンクであり、８つの前記周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間し且つカラーフィルタアレイにおいて検査画素と同じ色とする画素画像データ補正装置。
【請求項４７】
ａ）信号値を含む画像データの少なくとも３本のラインを、イメージセンサにおける画素アレイから得られる画像の画像データの対応する本数のラインに対して得る工程と、
ｂ）画像データの前記少なくとも３本のラインの中から選択した検査画素の信号値を、画像データの前記少なくとも３本のラインの中から選択した少なくとも８つの画素であって、前記検査画素と同じ色を有するとともにこの前記検査画素を囲む周囲画素であるこれら８つの画素のそれぞれの信号値と比較する比較工程と、
ｃ）検査画素の信号値が８つの周囲画素に対する全ての信号値よりも大きい場合、検査画素の信号値を８つの周囲画素の信号値のうち最大の信号値に置き換える工程と
を具えている画素画像データ補正方法。
【請求項４８】
ａ）信号値を含む画像データの少なくとも３本のラインを、イメージセンサにおける画素アレイから得られる画像の画像データの対応する本数のラインに対して得る工程と、
ｂ）画像データの前記少なくとも３本のラインの中から選択した検査画素の信号値を、画像データの前記少なくとも３本のラインの中から選択した少なくとも８つの画素であって、前記検査画素と同じ色を有するとともにこの前記検査画素を囲む周囲画素であるこれら８つの画素のそれぞれの信号値と比較する比較工程と、
ｃ）検査画素の信号値が８つの周囲画素に対する全ての信号値よりも小さい場合、検査画素の信号値を８つの周囲画素の信号値のうち最小の信号値に置き換える工程と
を具えている欠陥画素による画像データを補正する画像データ補正方法。
【請求項４９】
請求項４７又は４８に記載の画像データ補正方法において、８つの前記周囲画素は単色画像に対する二次元領域内で水平、垂直及び対角線方向で、検査画素にすぐ隣接させる画像データ補正方法。
【請求項５０】
請求項４７又は４８に記載の画像データ補正方法において、８つの周囲画素は、二次元領域内で水平、垂直及び対角線方向で、検査画素から１画素分離間させ、８つの周囲画素は、カラーフィルタアレイにおいて検査画素と同じ色とする画像データ補正方法。
【請求項５１】
イメージセンサアレイから得られる画像の画像データラインであって、各画像データラインがイメージセンサアレイ中の画素の１ラインに相当する信号値データを含んでいる当該各画像データラインを、各メモリバンクが受けて一時的に記憶するようにした複数のメモリバンクと、
イメージセンサアレイ中の欠陥画素により生ぜしめられる信号値を、欠陥画素位置の予め決定され記憶されたマップを用いず且つしきい値を用いることなしに識別及び補正する補正回路と
を具えている画素画像データ補正装置。
【請求項５２】
画像を得るとともに、この画像の各ラインに対し信号値を含む画素画像データを有する画像信号を出力するイメージセンサユニットと、
画像信号を処理するイメージプロセッサと、
これらイメージセンサユニット及びイメージプロセッサを制御するコントローラと
を具える画像処理装置であって、
前記イメージプロセッサが欠陥画素データ補正回路を有し、この欠陥画素データ補正回路は、画素画像データを受けるとともに、検査画素の信号値を画像中のこの検査画素を囲む少なくとも８つの周囲画素の信号値と比較し、検査画素の信号値が８つの周囲画素の全ての信号値よりも大きい場合に、検査画素の信号値を８つの前記周囲画素の信号値の中で最大の信号値に置き換えるか、或いは、検査画素の信号値が８つの周囲画素の全ての信号値よりも小さい場合に、検査画素の信号値を８つの前記周囲画素の信号値の中で最小の信号値に置き換えるようになっている画像処理装置。
【請求項５３】
画像データを受けて処理するプロセッサと、
このプロセッサに画像データを供給する画像データ発生器と
を具える処理システムであって、前記画像データ発生器は、
画像を得るとともに画像信号を出力するイメージセンサユニットと、
画像信号を処理するイメージプロセッサと、
これらイメージセンサユニット及びイメージプロセッサを制御するコントローラと
を有しており、
前記イメージプロセッサが欠陥画素データ補正回路を有し、この欠陥画素データ補正回路は、画素画像データを受けるとともに、検査画素の信号値を画像中のこの検査画素を囲む少なくとも８つの周囲画素の信号値と比較し、検査画素の信号値を８つの前記周囲画素の信号値の中で最大の信号値に置き換えるか、或いは、検査画素の信号値を８つの前記周囲画素の信号値の中で最小の信号値に置き換えるようになっている処理システム。
【国際調査報告】
2005528857.tif 000009
2005528857.tif 000010
2005528857.tif 000011