(57)【要約】画素の配列を有する画像データにおける欠陥を修正する方法において、前記欠陥の各側における前記画像データの画素の輝度が標本化され、標本輝度の間の差が計算され、前記欠陥の各々の側の間の、又は前記欠陥の側における輝度差を示す輝度差信号を生成し、前記輝度差信号に依存して前記欠陥が修正される。好ましくは、前記輝度差信号に依存して、平均修正技術が用いられるか、欠陥画素修正が用いられないかのいずれかとなり、前記輝度差信号が所定のレベル値を超えない場合に、前記平均修正技術が用いられる。
2004501575.tif 000002
【特許請求の範囲】
【請求項１】
画素の配列を有する画像データにおける欠陥を修正する方法において、
欠陥の各側における前記画像データの画素の輝度を標本化するステップと、
前記欠陥の間の輝度差を示す一つ又はそれ以上の第一の輝度差信号を生成するために、前記標本化された輝度の間の差を計算するステップと、
前記欠陥の各々の側の輝度差を示す一つ又はそれ以上の第二の輝度差信号を生成するために、前記標本化された輝度の間の差を計算するステップと、
前記第一及び第二の輝度差信号に依存して前記欠陥を修正し、前記第一及び第二の輝度差信号が所定のレベル値を超えない場合に、欠陥が周辺画素の平均によって置換されるステップとを有する方法。
【請求項２】
前記標本化するステップが前記欠陥の各側における三つの画素の輝度を標本化するステップを有し、前記計算するステップが欠陥の間の二つの輝度差信号と、前記欠陥の各側における一つの輝度差信号とを有する請求項１に記載の方法。
【請求項３】
前記輝度差信号を前記所定のレベル値と比較して、前記輝度差信号のいずれか一つが前記所定のレベル値より高い場合に第一の制御信号を生成し、全ての前記輝度差信号が前記所定のレベル値よりも低い場合に第二の制御信号を生成するステップを更に有する請求項１に記載の方法。
【請求項４】
前記所定のレベル値が、前記方法が用いられる装置の校正よって決定される請求項３に記載の方法。
【請求項５】
前記所定のレベル値が、第一のレベル値及び第二のレベル値を有する請求項３に記載の方法。
【請求項６】
前記第一の制御信号が生成される場合に、前記欠陥のサイズを評価する他のステップを更に有する請求項３に記載の方法。
【請求項７】
前記第一の制御信号が生成され、前記欠陥の前記サイズが大きい場合に、平均修正技術を使用するステップを更に有する請求項６に記載の方法。
【請求項８】
前記欠陥の前記サイズが小さい場合に、欠陥画素値修正を使用しないステップを更に有する請求項６に記載の方法。
【請求項９】
前記欠陥サイズが中くらいの場合に、正常な近傍の画素のレベルを評価するステップを更に有する請求項６に記載の方法。
【請求項１０】
前記正常な近傍の画素の前記レベルが相対的に小さい場合に、欠陥画素値修正が使用されない請求項９に記載の方法。
【請求項１１】
前記正常な近傍の画素の前記レベルが相対的に大きい場合に、平均修正技術が使用されない請求項９に記載の方法。
【請求項１２】
画素の配列を有する画像データにおける欠陥を修正する装置において、
前記欠陥の各側における前記画像データの画素の輝度を標本化する手段と、
前記欠陥の間の輝度差を示す一つ又はそれ以上の第一の輝度差信号を生成するために、前記標本化された輝度の間の差を計算する手段と、
前記欠陥の間の輝度差を示す一つ又はそれ以上の第一の輝度差信号を生成するために、前記標本化された輝度の間の差を計算する手段と、
前記輝度差信号に依存して前記欠陥を修正し、前記第一及び第二の差信号が所定の基準値を超えない場合に、欠陥が周辺画素の平均によって置換されるような手段とを有する装置。
【請求項１３】
画像データを供給するための画像感知器、及び
請求項１２に記載の前記画像データにおける欠陥を修正するための装置を有するカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像感知器における欠陥の修正に関し、デジタル信号プロセッサ、デジタル静止カメラ、及びデジタルビデオカメラに適用可能である。該発明は、民生用電子機器及び医療システム用の画像感知器に特に関連を持ち、デジタル信号プロセッサへの組み込みに適している。
【０００２】
画像における欠陥は、残りの画像と比べて小さな感度の差を有する一つの画素、クラスタ、又は列の形態をとり得る。欠陥画素は、同じ照度における、該欠陥の近くの画素よりも高い又は低い出力信号を持つかもしれない。これは、感知器自身における欠陥、又は感知器ブロックの辺の周りの画素が概してより低い感度を持つために現れる、画像感知器のカバーガラス上の欠陥によってもたらされ得る。大型の感知器の場合、該感知器は別々のブロックから構築されなければならない。これらのブロックからの信号は互いに接続される。これらのブロックの境界において、前記感知器は、近くの画素よりもわずかに異なる感度を持つ。これは、画像を分断する目に見える線としてしばしば現れる、いわゆるスティッチ線の原因となる。例えば、既知の画像感知器において、スティッチ線は、１％より大きく、しばしば３％までのゲイン差を伴う二重列として現れるかもしれない。
【０００３】
【従来の技術】
ＥＰ０５１９７１９は、ピックアップ素子の配列を用いて作成された画像における縁欠陥を減らす方法を記載している。画像分配器は、前記縁効果を低減するように、前記配列において隣接する要素に対応する画像を分けるために使用される。
【０００４】
ＪＰ−Ａ６１−２６０７７３は、欠陥の間の複数の差に依存する欠陥画素修正を開示している。
【０００５】
ＥＰ−Ａ０６８５９６４は、順次入力画素データを遅延させるステップと、ｎ番目の画素から二段先行又は後続する画素値を操作し、操作された値を基準レベル値と比較して欠陥の存否を検出するステップと、欠陥を持つｎ番目の画素から二段先行又は後続する画素データを平均化し、それによってｎ番目の画素データを得るステップと、欠陥の位置を決定し、それによって欠陥補償制御信号を生成するステップと、平均化するステップにおいて平均化される画素データ、又は欠陥を持ち、画素遅延ステップにおいて遅延される画素データのみを選択的に補償するステップと、原（外部入力）画素データとともに、補償されたデータを出力するステップとを含むカメラ一体型ビデオ用のＣＣＤ欠陥補償方法を開示している。
【０００６】
欠陥修正は、欠陥でない近くの画素の（適当な加重）平均値を用いる修正、当業者に知られるところのいわゆる平均修正技術によって達成され得る。しかし、該平均修正技術の性能は、広範囲の状況におけるスティッチ線及びクラスタを含む広範囲の起こり得る欠陥を完全に除去するほど十分ではない。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、なかんずく画像感知器における欠陥修正を改善することである。本目的に対し、本発明は、独立の請求項において規定されるような欠陥修正を提供する。有用な実施例は、従属の請求項において規定される。
【０００８】
【課題を解決するための手段】
本発明の一つの実施例によれば、欠陥の度合いが大きい場合、平均修正が用いられる。欠陥の度合いが小さい場合、該欠陥画素値は修正されない。中間的な値に対しては、正常な近傍の画素のレベルが評価され、欠陥画素値は、相対的に小さいレベルの差に対して修正されないが、平均修正は、相対的に大きい差に対して用いられる。
【０００９】
【発明の実施の形態】
本発明のこれら及び他の態様は、以下に記載された実施例から明らかであり、これらの実施例を参照して説明される。
【００１０】
図１において、本発明の方法の一つの実施例の多様な段が示される。レベル信号Ｌ１、レベル信号Ｌ２、及び校正情報ＣＤ３が、関連する用途及び顧客要求仕様に依存して決定される。感知器Ｓ４からのデジタル画像データが供給され、標本化回路５において、画素標本化が行われる。少なくとも二つ及び好ましくは三つの画素が、欠陥の各々の側で標本化される。画素の輝度差は、そのとき差計算器６において計算される。四つの差の値Ｄ１，Ｄ２、Ｄ３、及びＤ４が計算され、二つの異なる値Ｄ１及びＤ２は、欠陥の間の輝度における差によって生成され、差の値Ｄ３及びＤ４は、欠陥の各々の側に関する。
【００１１】
差信号Ｄ１及びＤ２と、Ｄ３及びＤ４とは、そのとき比較器７において、それぞれレベル信号Ｌ１及びＬ２と比較される。差信号のいずれか一つが各自のレベル信号よりも高い場合、画像情景は“高い周波数”（ＡＣ）と分類される。しかし、全ての差信号が前記二つのレベル信号よりも低い場合、画像情景は“低い周波数”（ＤＣ）と分類される。これは“ＤＣテスト”と呼ばれる。
【００１２】
全ての差信号が、レベル信号Ｌ１及びＬ２よりも低く、従って “ＤＣテスト”が結果的に低い周波数（ＤＣ）をもたらすとき、これは平坦な画像とみなされ、画像上において、平均修正技術が平均化回路８によって実行される。
【００１３】
第一の実施例において、欠陥周辺の画像情景が“高い周波数”と分類されるとき、修正は適用されない。以下はさらに進んだ実施例を包含している。
【００１４】
ＤＣテストが結果的に高い周波数（ＡＣ）をもたらすとき、評価回路９において欠陥のサイズ（度合い）が評価される。該欠陥が大きい（Ｌ）場合、例えば出力信号がない（＝死画素）とき、平均修正技術（８）はここでも後続される。欠陥のサイズが中くらい（Ｍ）の場合、近傍のレベルが大きい（ＮＬ）とき平均修正技術（８）が用いられるか、近傍のレベルが小さい（ＮＳ）とき欠陥が修正されない（１１）かのいずれかの画素値に依存して、近く又は隣接する（近傍の）良好な画素の輝度レベルが評価回路１０において評価される。最終的に、欠陥のサイズが小さい（Ｓ）場合、修正はステップ１１における欠陥画素値に適用されない。
【００１５】
ブロック図が示される一方で、画像感知器Ｓ４に後続する各ブロックは、ソフトウエアで実現されるイメージプロセッサによって実行される方法ステップとみなされてもよい。
【００１６】
図２は、計算された差の値を順次示す。画素は欠陥クラスタＤＥＦの一つの側においてａ、ｂ、及びｃと名前を付けられ、反対側においてｘ、ｙ、及びｚと名前が付けられる。本例において、クラスタＤＥＦは二つの画素ｍ及びｎを有する。以下の差が計算される。
Ｄ１：ｃ−ｙ
Ｄ２：ｂ−ｘ
Ｄ３：ａ−ｃ
Ｄ４：ｘ−ｚ
【００１７】
従ってＤ１及びＤ２が、欠陥クラスタＤＥＦの両側の画素間の差を表すのに対して、Ｄ３及びＤ４は、それぞれ欠陥ＤＥＦと同じ側にある画素間の差を表す。
【００１８】
図３は、本発明の方法に適用される一つの特有な例を示す。画素ａ、ｂ、及びｃと、ｘ、ｙ、及びｚとの輝度は、棒グラフによって表され、Ｄ４に対する差Ｄ１は、比較のためにレベル１及びレベル２の値も示す下のグラフにおいて再現される各々の矢印によって示される。本例において、Ｄ３及びＤ４はレベル２より上で、従って本画像は、修正に関し、“高い周波数”（ＡＣ）画像として処理される。欠陥のサイズは、そのとき評価される。欠陥のサイズが大きい場合、平均修正技術は適用される。欠陥が小さい場合、修正は行われない。欠陥が中くらいのサイズの場合、正常な隣接する画素の輝度レベルが評価され、上で説明されるように、平均修正が用いられるか欠陥画素値が修正されないかのいずれかである。
【００１９】
図４において、より平坦な画像が用いられ、周波数はより低い。全ての差信号Ｄ１，Ｄ２，Ｄ３，及びＤ４はレベル２より下にある。これは低い周波数（ＤＣ）として処理されるであろう。すなわちこれは相対的に平坦な画像であり、修正が平均修正技術を介しているためであろう。
【００２０】
本修正方法は、広範囲の欠陥及び欠陥サイズに渡り良好な修正機能を提供し、従来見られた小さな欠陥線分をかなり減少させ又は除去することができる。
【００２１】
本発明の方法の代表的な成果は、市松模様のシャツの画像において達成される。これは高い周波数（ＡＣ）の画像であり、スティッチ線はこのような情景において非常に鮮明になる傾向がある。３％小さい欠陥の列が一般的であろう。平均修正技術が用いられるとき、小さい欠陥線分は依然として非常に鮮明である。本発明の方法が用いられ、レベル修正（小）が優れた成果のために適用されると、小さい欠陥線分はほとんど目に見えなくなる。
【００２２】
第二の例において、本発明の方法は、クラスタ欠陥を伴う情景に適用される。空白及びクラシックカーのグリル中の２４％のクラスタのラスタは、原画像中にある。本発明によれば、画像、特にグリル中のクラスタ欠陥は、レベル修正方法によって、かなり減らされ、従って、本発明の方法は、以前の技術が修正することができなかったようなやや大きいクラスタを修正することができることを示しているようにみえる。
【００２３】
概して、欠陥が大、中、又は小と分類されるレベルは、製造装置の校正の間に決定される。
【００２４】
本発明の保護範囲は上述の実施例に限定されるものではなく、当業者が特許請求の範囲からはずれることなく多くの他の実施例を設計することができることは注目されるべきである。請求項において、括弧の間に置かれる請求項の参照番号は、いずれも当該請求項の保護範囲を限定するものではない。単語“有する”は、請求項に記述される構成要素以外に構成要素又は段落の存在を排除するものではない。構成要素に先行する冠詞“ａ”又は“ａｎは、複数の構成要素を排除するものではない。本発明は、いくつかの独特な構成要素によって、及び適切にプログラミングされたコンピュータによって実現可能である。いくつかの手段を列挙する装置の請求項において、いくつかのこれらの手段は、ハードウエアの一つ及び同じ構成要素によって具現化されることが可能である。ある手段が相互に異なる従属した請求項において再び引用されるという事実は、これらの手段の組み合わせが効果的に使われ得ないことを示すものではないということに過ぎない。
【図面の簡単な説明】
【図１】図１は、本発明による方法の一つの実施例を順次示すブロック流れ図である。
【図２】図２は、図１の方法の一つの段を順次示す。
【図３】図３は、図１の方法の他の段に適用される一つの例を順次示す。
【図４】図４は、図３の段に適用される他の例を順次示す。
【国際公開パンフレット】
2004501575.tif 000003
2004501575.tif 000004
2004501575.tif 000005
2004501575.tif 000006
2004501575.tif 000007
2004501575.tif 000008
2004501575.tif 000009
2004501575.tif 000010
2004501575.tif 000011
2004501575.tif 000012
2004501575.tif 000013
【国際調査報告】
2004501575.tif 000014
2004501575.tif 000015
2004501575.tif 000016