(57)【特許請求の範囲】
【請求項１】
イメージセンサの欠陥画素の補正のための方法において、
画像行アドレス（Line）と画像列アドレス（Column）から欠陥信号を形成し
画像行アドレスを用いてポインタメモリ（RAM1）をアドレッシングし、
前記ポインタメモリは、画像行の少なくとも一部分毎にポインタ（Ｐtr）を含んでおり、
さらに前記ポインタにより、欠陥画像列の記憶されている列ナンバ（DefCol）を用いて欠陥列メモリ（RAM2）をアドレッシングし、
前記欠陥列メモリ（RAM2)から欠陥画像列の列ナンバ（DefCol）を読出し、読出された列ナンバを列アドレス（Column）と比較し、それによって欠陥信号（Defect）を形成し、
形成された欠陥信号（Defect）に依存して、欠陥なしの場合には入力画素データ（Input）を出力画素データ（Output）として送出し、欠陥ありの場合には隣接画素データから補間された画素データを出力画素データとして送出し、
ここにおいて前記ポインタメモリ内のポインタと欠陥列メモリ内の列ナンバは次のように記憶されており、すなわち、
ａ）行内に複数の欠陥画素が存在する第１のケースにおいては、当該行に所属するポインタ（Ptr）が欠陥列メモリ内の所属する列ナンバを最初に含んでいるメモリセル（SA）をアドレッシングし、さらに当該行のさらなる欠陥列の列ナンバは欠陥列メモリ内のそれに続くメモリセルに昇順でファイルされ、
ｂ）列内に複数の欠陥画素が存在する第２のケースにおいては、複数の異なる行のポインタ（Ptr）が欠陥列メモリ内の所属の欠陥列ナンバと同じセルを指示し、
ｃ）行内に欠陥画素が存在しない第３のケースにおいては、欠陥列メモリにおけるこのケースのために設けられた固有のセル（ENW）が所属のポインタ（Ptr）を用いてアドレッシングされるように記憶されていることを特徴とする方法。
【請求項２】
サブイメージの読出しの際に、サブイメージの読出し開始列ナンバよりも小さい欠陥列ナンバはスキップされ、補正されない、請求項１記載の方法。
【請求項３】
行の最後の欠陥列が、欠陥列ナンバ毎に存在する継続ビット（incEn）に基づいて識別される、請求項１記載の方法。
【請求項４】
イメージセンサの欠陥画素の補正のための装置において、
画像行ナンバ（Line）と画像列ナンバ（Column）によってアドレッシングが可能でかつ画像行ナンバ（Line）と画像列ナンバ（Column）から欠陥信号（Defect）を形成するように適応化されている欠陥メモリユニット（ＤＳ）と、補間器（INTER）と、切換スイッチ（MUX）が相互接続されており、これにより欠陥信号（Defect）に依存して切換スイッチ（MUX）が、入力画素データのための入力側かまたは補間器の出力側を出力画素データ（Output）のための出力側に接続させ、前記補間器は入力画素データを供給されており、
前記欠陥メモリユニット（ＤＳ）は、ポインタメモリ（RAM1）と欠陥列メモリ(RAM2）を有しており、
前記ポインタメモリは、画像行ナンバ（Line）によってアドレッシングされ、ポインタメモリのポインタ（Ptr）は、アドレスアドバンシングユニット（ＡＷＳ）を介して欠陥列メモリ（RAM2）をアドレッシングし、その出力側からは該当する画像行ナンバを有する行に対する欠陥列ナンバ（DefCol(Ptr)）が送出され、
比較ユニット（Ｅ）が設けられており、該比較ユニットは、画像列ナンバを欠陥列メモリからの欠陥列ナンバと比較し、そこから欠陥信号を形成しており、
ここにおいて前記ポインタメモリ内のポインタと欠陥列メモリ内の列ナンバは次のように記憶されており、すなわち、
ａ）行内に複数の欠陥画素が存在する第１のケースにおいては、当該行に所属するポインタ（Ptr）が欠陥列メモリ内の所属する列ナンバを最初に含んでいるメモリセル（SA）をアドレッシングし、さらに当該行のさらなる欠陥列の列ナンバは欠陥列メモリ内のそれに続くメモリセルに昇順でファイルされ、
ｂ）列内に複数の欠陥画素が存在する第２のケースにおいては、複数の異なる行のポインタ（Ptr）が欠陥列メモリ内の所属の欠陥列ナンバと同じセルを指示し、
ｃ）行内に欠陥画素が存在しない第３のケースにおいては、欠陥列メモリにおけるこのケースのために設けられた固有のセル（ENW）が所属のポインタ（Ptr）を用いてアドレッシングされるように記憶されていることを特徴とする装置。
【請求項５】
前記欠陥列メモリ（RAM2）は、欠陥列ナンバ毎に１つの継続ビットが存在しこの継続ビットによってアドレスアドバンシングユニットが制御可能となるように構成されている、請求項４記載の装置。
【請求項６】
比較器（L）が設けられており、該比較器は欠陥列ナンバが列ナンバよりも小さいか否かを検出し、このケースにおいて前記アドレスアドバンシングユニットは、継続ビット（incEn）がセットされている場合に欠陥列メモリのアドレスを進める、請求項４または５記載の装置。
【発明の詳細な説明】
【０００１】
本発明は、エラーの生じたメモリ内に記憶されているイメージセンサの欠陥画素において、この欠陥画素の出力信号を隣接画素からの補間によって置換えるための方法及び装置に関している。
【０００２】
イメージセンサ、特にここではＣＭＯＳイメージセンサと取り上げているが、これには多数の画素（ピクセル）が含まれており、例えばテレビの解像度に対しては７２０×５７６ピクセルが含まれている。ここでは技術的な要因と製造上の要因によってチップ全体の中で全てのピクセル構造が１００％完全に機能しているものが占める割合はわずかでしかない。大抵のチップの場合は、取り込まれた画像の中で複数の欠陥ピクセルが認められ、これらは常時白か又は黒であり、あるいはそれらのグレー値伝送特性が隣接するピクセルに比べて異なっている。典型的な空間的欠陥分布は相関付けができず、欠陥頻度は千分の１の領域にある。デジタルビデオデータストリームにおいては、そのような欠陥ピクセルがこれに隣接するピクセルのグレー値の線形補間によって簡単にフェイドアウトされている。各ピクセル毎に例えば算術的平均値が先行するピクセル値と後続するピクセル値から形成されている。画像におけるピクセルの位置に依存して例えば欠陥信号が形成されると、これは目下伝送されたピクセルが正確なのか欠陥なのかを現わす。この信号は例えばマルチプレクサを制御しており、これは補正値または補関値を出力側に導通させる。
【０００３】
ビットパターンとして欠陥パターンを単純に記憶することは非常にコストがかかる。なぜなら例えばＴＶ解像度に対しては４０４ｋビットの情報が記憶されなければならないからである。大体０.１％の僅かな欠陥頻度にも係わらずに経過の長いコーディングは（ここでは順次連続する２つの欠陥の間の間隔）適していない。なぜなら欠陥の順序は、そのつどの部分画像のサイズと位置に依存するからである。さらに別のメモリ節約形の手法では、欠陥アドレスの記憶が行及び列ナンバの形態で行われる。しかしながらこれらの手法では、部分画像の読出しに対して連想記憶装置が必要となり、これは慣用的な読出し/書込みメモリに比べて著しく複雑となる。
【０００４】
本発明の課題は、冒頭に述べたような形式の方法及び装置において、慣用の読出し/書込みメモリをベースにしてイメージセンサの欠陥を可及的に僅かな所要メモリで記憶可能となるように改善を行うことである。
【０００５】
前記課題は請求項１に記載の本発明による方法と、請求項４に記載の本発明による装置によって解決される。本発明による方法及び装置さらに別の有利な実施例は、従属請求項に記載されている。
【０００６】
本発明は、２つの慣用的な読出し/書込みメモリと僅かなさらなる構成素子のみを必要とするだけである。第１の読出し/書込みメモリにおけるメモリセルの数は、この場合画像の行数に相応し、第２の読出し/書込みメモリは例えば約１０００のメモリスペースを必要とするだけである。
【０００７】
実施例
次に本発明を図面に基づき以下の明細書で詳細に説明する。この場合、
図１は、欠陥メモリユニットを有する、欠陥画素の補正のための装置の一般的なブロック回路図を示したものであり、
図２は、欠陥メモリユニットにおけるメモリアドレス指定を説明するための図であり、
図３は、本発明による方法を説明するためのブロック回路図であり、
図４は、本発明による装置の実施例を示した図である。
【０００８】
図１には、イメージセンサの欠陥画素の補正を説明するための一般的なブロック回路図が示されており、この場合補間装置ＩＮＴＲ、切換スイッチＭＵＸ、欠陥メモリユニットＤＳが存在している。この欠陥メモリユニットＤＳには、画像行アドレスLineと画像列アドレスColumnが供給され、それに依存して欠陥信号Defectが送出される。この信号は切換スイッチＭＵＸを起動制御している。欠陥が何も存在しない場合には、つまり信号Defectが値ゼロであるならば、入力画像データInputは、出力画像データOutputとしてそのまま出力される。それ以外の場合、つまりLineとColumn でアドレッシングされたイメージセンサの箇所において欠陥が存在している場合、つまり信号Defectが値１であるならば、入力画像データInputは、ここにおいて隣接画素によって例えば線形補間され、切換スイッチによって出力画素データの出力側に送出される。
【０００９】
図１の欠陥メモリユニットＤＳは、２つの読出し/書込みメモリRAM1,RAM2を含んでおり、これらは図２に示されている。第１のランダムアクセスメモリRAM1は、この場合ポインタメモリ（Zeigerspeicher）であり、画像行アドレスLineから直接アドレス指定する。インジケータメモリのメモリセルには、第２の読出し/書込みメモリRAM2（これは欠陥列メモリとして用いられる）内のセルをアドレッシングするポインタ（Zeiger) Ptrが含まれている。欠陥列メモリのアドレッシングの際には、異なるアドレッシング状況が生じる。この場合３つのケースが特に引き起こされている。第１のケースでは、ポインタPtrの１つが開始アドレスＳＡを有するセルを示す。ここれには例えば欠陥列ナンバ５６が記憶されている。各欠陥列ナンバ毎に付加的に、欠陥列メモリ内には、それぞれ１つの個々の継続ビットincEnが記憶される。これは、画像行Line内にさらに別の欠陥列が存在することを示している。さらなる欠陥列は、開始アドレスＳＡを有するセルに直接続き、画像行Lineの最後の欠陥列が次のようにして識別される。すなわち所属の継続ビットがゼロであることによって識別される。その他の欠陥列ではこの行が１となることによって識別される。開始アドレスＳＡによってアドレッシングされたセルは、ここでは欠陥列ナンバ５６を含んでおり、さらにそれに続く１つのセルは欠陥列ナンバ２８５を有し、さらにその後の最後のアドレスＬＡによってアドレッシングされた行は欠陥列ナンバ５３９を有する。これは、総じて１つの画像行の欠陥列ナンバが昇順でファイルされていることを示している。第２のケースでは、複数の欠陥画素が１つの列内に存在する。この場合は、複数のポインタPtrが欠陥列メモリ内の１つの同じセルＭを示す。このセルはここでは例えば欠陥列ナンバ１４７を含んでおり、その継続ビットはもちろんゼロである。同じ列内で複数の行が欠陥を有している場合には、複数のポインタが欠陥列メモリ内の同じエントリを指示する。これにより、最大限記憶可能な欠陥数は、欠陥列メモリ内のワードの数を上回る。最後のケースでは、欠陥なしの画像行に所属するポインタPtrの全てが共に例えば欠陥列メモリの最後の行ENDを示す。
【００１０】
図３には、本発明による方法を説明するための欠陥メモリ装置ＤＳがブロックダイヤグラムで示されている。画像行アドレスLineがメモリRAM1をアドレッシングし、その読出されたデータはアドレスアドバンシングユニットＡＷＳに転送され、その内部ではポインタPtrが欠陥列メモリRAM2に対するアドレスの形態で形成される。遅延素子Ｔは、アドレスアドバンシングユニットＡＷＳの入力と出力の間で時間的な減結合を行うためにのみ用いられている。前記アドレスアドバンシングユニットＡＷＳでは、欠陥列メモリ内の次の行が具体的に算出される。この場合図２で詳細に説明した３つのケースに分けられ、直接のアドレス転送と、アドレスの増分と、それまでのアドレスの維持が行われる。イメージセンサから完全なフレームが走査される場合には、画像列Columnが、メモリRAM2に読出された欠陥列ナンバを用いて比較ユニットＥ内で同一性に関して検査され、同一な場合には欠陥信号Defectが送出される。所属の継続ビットincEnからは、欠陥信号とのＡＮＤ結合によって継続信号incが形成される。これはアドレスアドバンシングユニットＡＷＳに欠陥列メモリの行アドレスの増分を引き起こす。
【００１１】
イメージセンサのサブイメージのみが読出されているケースでは、１つ又はそれ以上の欠陥が所望の画像ウインドウの左側に存在し得る。相応のエントリは、スキップされなければならない。例えばサブイメージがまず列ナンバ１００で開始されると、図２の例ではメモリRAM2内の欠陥列エントリ５６のアドレスＳＡがスキップされなければならい。それによって、イメージセンサと欠陥メモリの間のアドレス対応付けが再び正確に行われる。これに対しては、画像列ナンバColumnが比較器Ｌの中でメモリRAM2からの欠陥列ナンバを用いて比較され、欠陥列ナンバが列ナンバよりも小さい場合には、アドレスアドバンシングユニットＡＷＳにおいて信号incにより増分がトリガされ、これはイメージセンサのサブイメージ内部に欠陥列ナンバが現れるまで続けられる。この場合比較器Ｌの出力信号は欠陥信号DefectとＯＲ回路Ｏで論理結合され、このＯＲ回路の出力信号も信号incに対するＡＮＤゲートＡを用いて継続ビットincEnと結合される。なぜなら行内とサブイメージ内にさらなるエラー（incEn=1)が存在し得るからである。
【００１２】
図４には、本発明による装置の具体的な実現の例が示されている。この場合ポインタメモリRAM1は、１０２４×９ビットワードを有し、欠陥列メモリRAM2は、５１２×１１ビットワードを有している。メモリRAM1は、１０ビット幅の画像行ナンバによってアドレッシングされており、９ビット幅のポインタPtrを供給している。このポインタは、マルチプレクサMUX1とレジスタD1を介して欠陥列メモリRAM2にアドレスとして供給されている。欠陥列メモリの出力側からは１１ビット幅の出力信号がさらなるレジスタD2に供給され、この場合この１１ビットは、１０ビット幅の欠陥列ナンバと継続ビットincEnからの統合結果である。欠陥列ナンバは、等化回路Ｅにおいて画像列ナンバと比較され、欠陥信号Defectが送出される。この欠陥信号は、１ビットレジスタとインバータＩを介してＡＮＤ回路Ａの１つの入力側に供給される。前記１ビットレジスタは、内部の行アドバンシング信号next Line によってリセット可能である。前記ＡＮＤ回路はさらに別の入力側を有しており、この入力側には継続ビットincEnが供給される。さらに比較回路Ｌ内には列ナンバないしは画像列アドレスが欠陥列ナンバと比較され、欠陥列ナンバDefcolが列ナンバColumnよりも小さいか否かが検出される。この比較回路Ｌの出力信号がＡＮＤ回路Ａのさらなる入力側に結び付けられ、当該ＡＮＤ回路では継続信号incが形成される。この継続信号は、内部信号ＯＲ結合器と第１のレジスタＤ１のイネーブル入力側に供給される。マルチプレクサMUX1は、９ビット幅のゼロ入力側を有しており、これは増分回路incによって形成された増分ポインタ信号Ptrを受取る。マルチプレクサMUX1の切換は、内部の行信号next Lineによって行われる。この回路は、デジタルシングルチップカメラの欠陥補正ユニットとして適用可能である。所要の処理速度を達成するために、ここではレジスタD2が、欠陥列メモリRAM2と比較器の間に接続される。その結果として、欠陥ピクセルの識別とポインタPtr の増分の後で、ポインタに所属する欠陥列ナンバとポインタに所属する継続ビットが１つのサイクルの後で初めて得られる。それによりポインタが二度の増分を行うことはない。なぜなら、列ナンバColumn＞欠陥列ナンバの条件と継続ビットincEn＝１の条件が同時に充たされ、ポインタPtrの増分が、レジスタＤ３によって遅延された欠陥信号に依存して行われ、直前のサイクルにおいて欠陥が識別されポインタが増分されている場合には目下のクロックサイクルにおいて増分が回避されるからである。
【図面の簡単な説明】
【図１】  欠陥メモリユニットを有する、欠陥画素の補正のための装置の一般的なブロック回路図を示したものである。
【図２】  欠陥メモリユニットにおけるメモリアドレス指定を説明するための図である。
【図３】  本発明による方法を説明するためのブロック回路図である。
【図４】  本発明による装置の実施例を示した図である。
【図１】
0003664979.tif 000002
【図２】
0003664979.tif 000003
【図３】
0003664979.tif 000004
【図４】
0003664979.tif 000005