(57)【要約】リアルタイム画素補正アルゴリズムは、画素アレイからの故障した画素あるいは妨げられた画素からの画素情報の実行中の補正に対して提案される。このアルゴリズムは、ＣＣＤおよびＣＭＯＳ画像装置の双方に使用可能である。
2005531974.tif 000002
【特許請求の範囲】
【請求項１】
第１の色に割り当てられる第１の数の画像サンプルデータと第２の色に割り当てられる少なくとも第２の数の画像サンプルデータを備える複数の画像サンプルデータから欠陥画像サンプルの誤った画像サンプルデータを検出する方法であって、テスト中の画像サンプルデータはさらなる画像サンプルデータに関してテストされ、
第１の種類のテストは、テスト中の前記画像サンプルデータが割り当てられる色と同じ色に割り当てられるさらなる画像サンプルデータに関して実行され、
第２の種類のテストは、テスト中の前記画像サンプルデータが割り当てられる色と異なる色に割り当てられるその上さらなる画像サンプルデータに関して実行されることを特徴とする方法。
【請求項２】
前記画像サンプルデータは、前記画像サンプルに対応する画素の値を備えることを特徴とする請求項１に記載の方法。
【請求項３】
テスト中の前記画像サンプルデータの閾値に関しての比較、特にノイズレベルの最大値との比較が行われることを特徴とする請求項１又は請求項２に記載の方法。
【請求項４】
前記第１または第２の種類のテストは、最大値の比較に基づいていることを特徴とする請求項１に記載の方法。
【請求項５】
前記画像サンプルデータは、前記画像サンプルデータのオフセットと、閾値と分散とが定義されるスタックに配置されることを特徴とする請求項1乃至請求項４のいずれか１つに記載の方法。
【請求項６】
前記閾値は、前記分散および前記オフセットの和として定義されることを特徴とする請求項３に記載の方法。
【請求項７】
テストは、前記分散に関して少なくとも２つの画像サンプルデータの異なる値の比較を備えることを特徴とする請求項５または請求項６に記載の方法。
【請求項８】
様々な分散値が、様々なモードに関する前記分散に対して定義され、特にスナップショットモードに関する第１の分散値と、ビデオモードに関する第２の分散値に対して定義される、ことを特徴とする請求項５乃至７のいずれかに記載の方法。
【請求項９】
前記第１または第２の種類のテストは、ノイズレベル補正を考慮に入れることを特徴とする請求項１乃至請求項８のいずれか１つに記載の方法。
【請求項１０】
前記第１または第２のテストは基本的に、前記画像サンプルデータの１次元アレイまたは２次元アレイにおける隣接比較に基づいていることを特徴とする請求項１乃至請求項９のいずれか１つに記載の方法。
【請求項１１】
前記その上さらなる第２の種類のテストは、最も近い隣接比較、２番目に近い隣接比較、さらなる隣接比較からなるグループから選択される少なくとも１つのテストを含むことを特徴とする請求項１乃至請求項１０に記載の方法。
【請求項１２】
第３のテストとして、もっともらしさのテストが行われ、特に、もっともらしさのテストは以前のおよび／又は次のテストを考慮に入れることを特徴とする請求項１乃至請求項１１のいずれか１つに記載の方法。
【請求項１３】
リアルタイムの実行によって、特にディフェクトメモリの使用を回避することを特徴とする請求項１から請求項１２のいずれか１つに記載の方法。
【請求項１４】
前記同一の色に割り当てられる前記画像サンプルデータに関するテストと、前記異なる色に割り当てられる前記画像サンプルデータに関するテストとを区別するために、カラーパラメータが適用されることを特徴とする請求項１乃至請求項１３のいずれか１つに記載の方法。
【請求項１５】
画像処理の方法であって、
光学系により、特に赤色、緑色、または青色の様々な色を検出し、複数の画像サンプルとしての画像を感知するように適合される画像色センサに、画像が供給され、
画像サンプルデータは、前記画像センサのそれぞれ１つの画像サンプルから読み出され、前記画像サンプルデータは、特に赤色、緑色、または青色の色情報を備え、
前記画像サンプルデータは、画像信号において、前記画像センサから信号プロセッサへ転送され、
前記信号プロセッサは、前記画像信号からビデオ出力を引き出し、欠陥画像サンプルの誤った画像サンプルデータが複数の画像サンプルデータから検出および補正され、
それにより、画像サンプルデータは、誤った画像サンプルデータを検出するためにテストされ、誤った画像サンプルデータは、誤った画像サンプルデータを補正画像サンプルデータによって置き換えることにより補正される、画像処理の方法において、
前記複数の画像サンプルデータは、第１の色に割り当てられる第１の数の画像サンプルデータと、第２の色に割り当てられる少なくとも第２の数の画像サンプルデータとを備え、
テスト中の前記画像サンプルデータに対して、検出は、
テスト中の前記画像サンプルデータを閾値と比較する工程と、
テスト中の前記画像サンプルデータが割り当てられる色と同一の色に割り当てられるさらなる画像サンプルデータに関して第１の種類のテストを実行する工程と、
テスト中の前記画像サンプルデータが割り当てられる色と異なる色に割り当てられるその上さらなる画像サンプルデータに関して第２の種類のテストを実行する工程と、
その上さらなる画像サンプルデータの以前のテストおよび／又は次のテストを考慮に入れる、第３の種類のテストとしてもっともらしさのテストを実行する工程と、を備えることを特徴とする方法。
【請求項１６】
検出および補正のために、シフトレジスタと、閾値計算と、メモリとが設けられることを特徴とする請求項１乃至請求項１５に記載の方法。
【請求項１７】
前記補正は、補間を備えることを特徴とする請求項１５または請求項１６に記載の方法。
【請求項１８】
１ビット線メモリ又は２ビット線メモリが設けられることを特徴とする請求項１６に記載の方法。
【請求項１９】
前記画像センサからの読み出しは、逐次読み出しであることを特徴とする請求項１５に記載の方法。
【請求項２０】
画像信号からビデオ出力を引き出すプロセッサデバイスであって、光電画像センサおよびモニタに接続可能なメモリと、処理ユニットと、インターフェイスとを備え、
請求項１乃至請求項１４のいずれかに記載の検出方法を実行するように適合されることを特徴とするプロセッサデバイス。
【請求項２１】
請求項１５乃至２０のいずれかに記載の画像処理の方法を実行するように適合された、光学系と、光電画像センサと、プロセッサデバイスを備えることを特徴とする画像装置システム。
【請求項２２】
前記光電画像センサは、
ＣＭＯＳ画像装置と、ＣＣＤ画像装置と、電荷転送画像装置と、電荷注入素子と、バケットブリケード画像装置と、ＲＧＢベイヤー画像センサと、からなるグループから選択されるセンサによって形成されることを特徴とする請求項２１に記載の画像装置システム。
【請求項２３】
計算機システムまたはプロセッサデバイスのためのプログラムプロダクトであって、媒体に格納可能であると共に、前記計算機システムまたは前記プロセッサデバイスによって読み出し可能であるプログラムプロダクトにおいて、
ソフトウェアのコード部を備え、前記プロダクトが前記計算機システムまたは前記プロセッサデバイスにおいて実行される場合、前記ソフトウェアのコード部は、前記計算機システムまたは前記プロセッサデバイスに、請求項１乃至２０のいずれか１つに記載の検出方法を実行させる、特に請求項２１のプロセッサデバイス、若しくは、請求項２２または請求項２３に記載の画像システムにおいて実行させる、ことを特徴とするプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像サンプルデータから誤った画像サンプルデータを検出する方法に関する。また本発明は、光学系により、様々な色を検出し、複数の画像サンプルとしての画像を感知するために用いられる画像カラーセンサに画像が供給される、画像処理の方法に関し、画像サンプルデータは、画像センサのそれぞれ１つの画像サンプルから読み出され、画像サンプルデータは、色情報を備え、画像信号において、画像センサから信号プロセッサへ転送され、信号プロセッサは、画像信号からビデオ出力を引き出し、欠陥画像サンプルの誤った画像サンプルデータが、複数の画像サンプルデータから検出および補正され、それにより、画像サンプルデータは、誤った画像サンプルデータを検知するためにテストされ、誤った画像サンプルデータは、誤った画像サンプルデータを補正された画像サンプルデータによって置き換えることにより、補正される。さらに、本発明は、プロセッサシステムと、画像装置システムと、計算機システムのためのプログラムプロダクトに関する。
【背景技術】
【０００２】
近年の固体カメラにおいて、様々な光電画像センサが使用可能である。このような画像センサはたとえば、電荷転送画像装置（charge transfer imager）、電荷結合素子（CCD: charge coupled device）、バケットブリゲード画像装置（bucket-brigade imager）、電荷注入素子（CID: charge injection device）またはＣＭＯＳ（相補型金属酸化物半導体: complementary metal-oxide semiconductor）画像装置に基づく検出器であってよい。
【０００３】
このような光電画像センサは、好ましくはＣＭＯＳ画像装置または電荷転送画像装置であるが、集積回路技術によって従来のように製造され、画素または画像サンプルと呼ばれる個別の素子のアレイを基本的に構成し、複数の個別の画像サンプルによって画像をサンプリングすることができる。一般的に、ＣＭＯＳ画像装置が使用される。しかしながら、電荷転送型の画像装置を使用することは、ノイズ性能においていくつかの利点をもたらす。画像センサは、各画像サンプルに対して読み出されることが可能であり、各画像サンプルに対する画像サンプルデータを備えるアナログ信号を供給する。アナログ信号はまた、各画像サンプルに対する画像サンプルデータを備えるデジタル信号に変換可能である。このようなデジタル信号はさらに、さらなるデジタル信号処理（DSP: digital signal processing）により有利に処理される。
【０００４】
ひとたび上述の電荷転送装置の個別の素子である画素または画像サンプルが欠陥となると、これは、欠陥画像の誤った画像サンプルデータとなってしまう。結果として、これは上述の光電画像センサによって再生される目に見える点や線となってしまう。
【０００５】
従来の方法は、画像を分析し、光電画像センサの欠陥素子の位置を記憶し、続いてメモリに記録および格納された欠陥画像サンプルに割り当てられた、誤った画像サンプルデータを補正することによって、欠陥画像サンプルの誤った画像データを取り除こうとする。従って、従来の方法は、単にオフライン処理において、メモリに予め記録されたいくつかの種類の情報または較正を使用することにより、単に画像サンプルデータの補正を行うことのできる方法と見なすことができる。光電画像センサの画像サンプルの欠陥のある状態は、様々な使用環境、たとえば温度、電圧または隣接する画像サンプルの使用に依存するため、上述の従来の欠陥画像サンプルの位置を記録する方法またはいくつかの種類の較正する方法は、信頼できない。
【０００６】
さらに、このような従来の方法は、メモリおよび誤った画像サンプルデータの中間的な記録に基づくが、処理性能の損失に結びつき得る。一般的に、座標ベースの画素修正アルゴリズムは、専用に設計されたハードウェアで動作する。このことは一般的に、マイクロプロセッサを必要としないことを意味するが、補正アルゴリズムは、通常、ＤＳＰ（デジタル信号プロセッサ:digital signal processor）機能またはデジタル信号処理を実行するモジュールの一部である。従って、なお処理性能の損失が、従来の方法によりもたらされる。
【０００７】
欧州特許公開第１，００３，３３２号（EP1003332A2）において、ディフェクトメモリ（defect-memory）の使用に依存する電子画像システムの欠陥を補正する方法が提案されている。画像サンプルデータの中間的な記録ために、または、欠陥画像サンプル位置の格納のために、メモリをこのように使用することは、処理性能の実質的な損失になり得るとともにリアルタイルの適用において使用することができない。
【０００８】
米国特許第４，２５３，１２０号において、電荷転送画像装置のシリアル出力が信号処理手段によって処理される場合の電荷転送画像装置を備える欠陥検出システムが提案され、隣接するピクチャーサンプルに関して、ある対照的な特性を呈するシリアル出力信号のそれぞれ１枚のピクチャーサンプルを、スプリアスとして示す欠陥検出手段を有する。これは、スプリアスサンプルが、隣接するサンプルから得る補間された値によって修正されることを可能にする。米国特許第４，２５３，１２０号の教示は、画像装置の低コスト解決策に向けられており、画像装置を持つ固定カメラの実際の使用中、画像装置の欠陥素子によって形成されたスプリアス信号のリアルタイム検出が可能である。
【０００９】
しかしながら、上記提案された欠陥画像サンプルの誤った画像サンプルデータの検出に対する構想は、単純な対照的な特性に依存しており、典型的には、単なる白黒画像装置には好都合である。このような画像装置のすべての画素は、画素が特定の色を持っているか否かの区別がなされないという意味において、同様にみなされる。米国特許第４，２５３，１２０号の教示は、１つのサンプルピクチャーに対して予想される補間された値の範囲外にある実際の値を持つどんなピクチャーサンプルもスプリアスとして示すことを提案する。前述した予想される補間された値の範囲は、その１枚のピクチャーサンプルに対して隣接するピクチャーサンプルのそれぞれの値から決定される。このアプローチは、上述した特定の対照的な特性を提供するために適用される。しかしながら、補間は、画素の色にかかわりなく行われる。カラー画像装置は、輝度、色、輪郭およびコントラストにおける異なった特性の異なった色平面を提供するため、米国特許第４，２５３，１２０号の教示は、カラーセンサやカラー画像装置には適合しない。
【００１０】
米国特許第４，２５３，１２０号の教示により、様々な異なる色を備える画像が、処理されるとすると、異なる色の画素までが同様にみなされ、これは結果的に、ただ品質の劣る処理画像に結びついてしまうであろう。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ここで、本発明が役割を持ち、その目的は、欠陥画像サンプルの誤った画像サンプルデータを検出する方法および画像処理方法を提供することであり、さらに、色情報を備える画像サンプルデータに対する画像処理を改善するために適合されるプロセッサデバイス、画像システムおよびプログラムプロダクトを提供する。特にカラーセンサ、具体的にはＲＧＢ（Red, Green, Blue）ベイヤー（Bayer）画像センサの画像サンプルデータのリアルタイム画像処理が効果的な方法で実行可能である。
【００１２】
序章で述べたような誤った画像サンプルデータの検出方法により達成される目的の方法について、本発明により、複数の画像サンプルデータは、第１の色に割り当てられる第１の数の画像サンプルデータと、第２の色に割り当てられる少なくとも第２の数の画像サンプルデータとを備え、テスト中の画像サンプルデータは、さらなる画像サンプルデータに関してテストされ、
第１の種類のテストは、テスト中の画像サンプルデータが割り当てられる同一の色に割り当てられる画像サンプルデータに関して実行され、
第２の種類のテストは、テスト中の前記画像サンプルデータが割り当てられる色と異なる色に割り当てられるその上さらなる画像サンプルデータに関して実行される。
【課題を解決するための手段】
【００１３】
最も好ましい構成において、第１の工程において、テスト中の画像サンプルデータは、閾値と比較される。特に、閾値はノイズレベルの最大値である。画像サンプルデータがこのレベルより低い場合、それぞれの画像サンプルは、欠陥とはみなされず、画像サンプルデータは黒レベルにおける、妨害にはならない何かとみなされる。そうでなければ黒における画像の目立つスミアリング（smearing）があるであろう。画像サンプルデータは、閾値テストにおいて、意味があるかどうかについてテストされる信号電圧として提供可能である。
【００１４】
好ましい構成において、もっともらしさのテストが第３の種類のテストとして実行可能であり、もっともらしさのテストは、特に、それ以前のテストおよび／又は次のテストを考慮に入れる。特に、第３の種類のテストは、電荷転送素子アレイの画像サンプルの以前の行からの画像サンプルデータの情報を考慮に入れることができる。もっとも好ましくは、同一の列の以前の行または、その前の列または、テスト中の列の後の列のいずれかにおいて、なんらかの補正があるかどうか、チェックすることができる。
【００１５】
一般に、画像サンプルは、電荷転送素子またはＣＭＯＳ（相補型金属酸化物半導体 （CMOS: complementary metal-oxide semiconductor-imager））画像装置などの光電画像センサのアレイの個別の素子に相当する。このような個別の素子は、通常、画素と呼ばれる。同様に、画像サンプルデータは、画素値、特に１つの電圧値を備える。
【００１６】
本発明は、カラー画像センサ、特にＲＧＢ（Red, Green, Blue）センサから画像データの画像処理をする好適な方法および装置を提供する要望からなされた。カラーセンサ、特にＲＧＢ（Red, Green, Blue）ベイヤー（Bayer）センサの一部である画素のアレイにおいて、各画素は、特定の色に割り当てられ、特に特定の色を検知するように配置されている。ＲＧＢベイヤーセンサでは、第１の種類の画素は緑色に割り当てられ、第２の種類の画素は、赤色、そして第３の種類の画素は、青色に割り当てられる。各色の画素は、アレイにおけるそれぞれの色の特定のパターンに従って配置される。ＲＧＢベイヤーセンサの最も小さい２×２の画素アレイは、２つの緑画素と、１つの赤画素と、１つの青画素と、を備える。特定の色の画素のパターンの複数の画素はまた、色平面とよばれる。異なる色平面を備える画像は、各色平面における画像サンプルデータを備える。従って、主な提案は、様々な異なる色平面に割り当てられる画像サンプルデータを取り扱う様々な可能性を提供することである。処理のために、各色平面の画像サンプルデータは、各色の画素のパターンをそれぞれ感知可能な空間フィルタによって別々に供給される。この方法に含まれる空間フィルタは、使用するカラーセンサのカラーフィルタパターンを利用する。本発明は、カラーセンサによる誤った画像サンプルデータを検出する方法が、第１および第２の色平面に関してしてテストを行うことにより著しく改善することを実現した。
【００１７】
光学系、画像センサまたは他の画像に関する装置の空間周波数反応をもたらす変調伝達関数は、単一の画素を削除することができない。従って、画像の一部である小さなまたは細い特徴であって、欠陥画素によらない特徴でさえ、異なる色平面に存在するべきである。従って、異なる色平面に関するテストは、色のついた画像の真の特徴と欠陥画素を区別するための単純で信頼できる測定を提供する。たとえ異なる色平面からのすべてのデータが好ましく同一とみなされ、チェックと設定が必要な色平面はなくても、状態は、同一の色平面またはさらなる異なる色平面の、さらなる画像サンプルデータから得られる。後者に関して、必要ならば、同一のまたは他の色平面のさらなる画像サンプルデータの補正も考慮に入れる。第１の色平面において行われる第１の種類のテストが誤ったデータを示す場合、第２の種類のテストが第２の色平面において一貫性チェックとして有利に実行される。これは、提案された方法を特に信頼できるものにする。またこれは、カラーセンサの画像サンプルデータの画像処理を効果的に達成させる。特に、このような構成は、リアルタイム処理に関するＲＧＢ画像装置に対して、好ましく最適化される。
【００１８】
この実行中の欠陥画素の検出および補正方法の開発の、最も重要な利点は、
・座標ベースアルゴリズムが使用される場合、製造ラインにおける費用のかかる較正サイクルを解決すること。
・欠陥画素の量および位置は、１００％安定ではない。ときには新しい欠陥画素が現れ、ときには存在する欠陥画素が消える。このような状況でも、提案される方法は、信頼できる結果を達成する。
・欠陥画素を格納するために追加のメモリサポートが必要でない。
このような利点は、従属する方法の請求項においてさらに解説されるように連続的に発展する構成により、いっそう改善される。
【００１９】
好ましい構成において、その上さらなるテストは、最も近い隣接する比較、２番目に近い隣接する比較、およびさらなる隣接する比較からなるグループから選択される少なくとも１つのテストを含む。一般に、テスト中の画像サンプルデータは、その最も近い位置、テスト中の画像サンプルデータの横方向、縦方向、および／又は斜め方向に隣合うデータに関して、テスト可能である。さらなるテストは２番目に近い位置、最も近い画像サンプルデータに隣接するさらなる画像サンプルデータに関してさらなるテストが実行可能である。隣接するデータの階層内で高い関連を持つさらなる画像サンプルデータのテストに関して、さらなる隣接テストがまた、行われてもよい。
【００２０】
このようなテストは、特にテスト中の画像サンプルデータとさらなる画像サンプルデータの比較であって良い。
【００２１】
また、このようなテストは、テスト中の画像サンプルデータと異なる色を持つさらなる画像サンプルデータとの間での単なるテストを含む。このようなテストは、最も有利には、画像サンプルデータの１つの色平面内、すなわち同一の色に割り当てられた画像サンプルデータがテストされるように実行される。さらに、画像サンプルデータは、同色だけれども異なる色平面内でテストされてもよい。さらにまた、異なる色平面の画像サンプルデータは、テスト中の画像サンプルデータと組み合わせてテストされてもよい。
【００２２】
続いて発展した構成において、少なくとも１つのテスト、たとえば閾値テスト又は、いくつかの隣接テストのうちの１つ、つまり少なくとも第１の種類または第２の種類のテストは、ノイズレベルの補正を考慮に入れる。このようなノイズレベルの補正は、オフセットに関する補正を含んでよい。さらに、このような補正は、因子補正を含む。特に、画像サンプルデータは、ノイズオフセットによって削減され、光子ショットノイズを考慮にいれる因子で増大する。このようなノイズレベル補正は、各色平面に関して有利に適合される。具体的には、ノイズレベル補正がそれぞれの色平面に適用され、特にオフセットおよび／又は因子に関して適用されることが有利である。
【００２３】
好ましい構成において、テストは基本的に、２次元の画像サンプルデータアレイにおける１次元の隣接比較に基づいている。このような測定は、信号処理回数を増すとともに、リアルタイムでの実行を考慮に入れる。これによりディフェクトメモリの使用は、有利に回避される。さらに、テストの一つ、特に第１のテストは、有利には最大値比較に基づいている。
【００２４】
それにもかかわらず、目的に合う場合は、２次元テストおよび最大値比較以外の比較、たとえば平均値比較が行われてよい。
【００２５】
さらに発展させた構成において、オフセット、閾値および分散などの、上述の提案された方法のパラメータが、スタックにおいて複数の画像サンプルデータを配置することにより得られる。閾値は、分散およびオフセットの和として定義されてもよい。
【００２６】
好ましい構成は、分散に関して少なくとも２つの画像サンプルデータの異なる値の比較を備える。さらに変化した分散値は、カメラの様々なモードに関しての分散に対して定義される。特に、スナップショットモードに関する第１の分散値と、ビデオモードに関する第２の分散値が定義される。
【００２７】
有利には、たとえばノイズレベルを考慮に入れるカラーパラメータは、同一の色に割り当てられる画像サンプルデータに関するテストと、異なる色または異なる色平面に割り当てられる画像サンプルデータに関するテストを区別するために適用される。
【００２８】
さらに方法に関しては、目的は、序説で述べられた画像処理の方法により達成され、本発明に従って、複数の画像サンプルデータは、第１の色に割り当てられる第１の数の画像サンプルデータと、第２の色に割り当てられる少なくとも第２の数の画像サンプルデータとを備え、テスト中の画像サンプルデータに対して、検出は、
テスト中の画像サンプルデータを閾値と比較する工程と、
テスト中の画像サンプルデータが割り当てられる色と同一の色に割り当てられるさらなる画像サンプルデータに関して、第１の種類のテストを行う工程と、
テスト中の画像サンプルデータが割り当てられる色と異なる色に割り当てられるその上さらなる画像サンプルデータに関して、第２の種類のテストを実行する工程と、
その上さらなる画像サンプルデータの以前のテストおよび／又は次のテストを考慮に入れる、第３の種類のテストとして、もっともらしさのテストを実行する工程と、と備える。
【００２９】
続いて発展した構成は、従属した方法の請求項においてさらに説明される。
【００３０】
誤った画像サンプルデータの補正に関して、このようなデータは、補正が補間を含む、補正された画像サンプルデータによって置換え可能である。
【００３１】
特に、検出および補正のために、シフトレジスタと、閾値計算と、メモリとが設けられてよい。もっとも好ましくは、１ビット線メモリ又は２ビット線メモリが設けられる。このような方法は、信号処理を向上させる。画像センサからの読み出しは、もっとも好ましくは、逐次読み出しであってよい。
【００３２】
提案された方法は、ＲＧＢベイヤーセンサにもっとも有利に適用される。
【００３３】
プロセッサデバイスの目的に関して、本発明は、画像信号からビデオ出力を引き出し、メモリと処理ユニットとインターフェイスとを備えるプロセッサデバイスをもたらす。特に、上記に提案されたような検出の方法を実現するために、画像センサに接続可能なインターフェイスおよびモニタに接続可能なインターフェリスが適合する。
【００３４】
本発明はまた、上記に提案されたような方法を実現するために適合された光学系と、光電画像センサと、プロセッサデバイスとを備える画像システムに結びつく。特に、このような画像システムは、ＣＭＯＳ（相補型金属酸化物半導体：complementary metal-oxide semiconductor）またはＣＣＤ（電荷結合素子：charge coupled device）またはＣＩＤ（電荷注入素子：charge injection device）画像センサを備え、特にＲＧＢ（Red, Green, Blue）ベイヤー（Bayer）センサを備える。
【００３５】
特に、本発明は、計算機システムのためのプログラムプロダクトに結びつき、計算機システムは、プロダクトが計算システムにおいて実行される場合、計算機システムに提案された検出方法を実行させるソフトウェアのコード部を備える計算システムによって読み出される媒体に格納される。特に、プロダクトは、提案されたようなプロセッサデバイスまたは画像システムにおいて実行可能である。好ましいアルゴリズムは、詳細な説明において示される。
【００３６】
本発明は、添付の図面を参照して詳細に説明される。詳細な説明は、本発明の好ましい実施形態としてみなされたものを図示し、説明する。もちろん、形式上または詳細における様々な修正と変更が、本発明の要旨から逸脱することなく容易になされることが可能である。従って、本発明は、ここに示され、述べられる正確な形式および詳細に限定されず、またここに開示され、この後にクレームされる本発明の全体を欠くものに限定されない。さらに、本発明を開示する説明、図面および請求項で述べられる特色は、単一でも、組み合わせても、本発明にとって非常に重要なものである。
【発明を実施するための最良の形態】
【００３７】
信号処理の提案された方法において、最も重要なことは、良い画素における画像情報を阻害しないようにするために、補正段階とは異なる検出段階に適用される。さらに、センサにおいて故障していない画素は補正されるのが望ましく、つまり、ポジティブな偏差のみが補正されるのが望ましい。また有利には、補正されるべき一群の欠陥画素がない。故障した画素または一群の欠陥画素がある場合、このような欠陥は、素早く効果的に設定されて、リアルタイム処理の必要性の理由となる付加的な手段により取り扱われる。このような仕組みはまた、ＣＭＯＳ（相補型金属酸化物半導体：complementary metal-oxide semiconductor）センサに適用可能である。
【００３８】
好ましい実施形態は、欠陥検出の段階と欠陥補正の段階に分割可能である。欠陥検出に対して、特にσ分散計算が適切に行われ、画像サンプルデータの異なる色平面を有利に考慮に入れるのが望ましい。
【００３９】
欠陥検出に関しては、画像サンプルデータのスタック、つまり画素の値が初めに供給される。好ましい実施形態において、最初のいくつかの大きな画素値に対するスナップショットモードにおいて、すべての黒の列または可能性のある行または少なくともそのどちらかにおいて検索が行われる。図１に示されるように、これらの値は降順にスタック１に配置される。これらの値のいくつかは、リークする（leaking）画素５（図１の挿入図）によるが、残りの値は、閾値３と呼ばれるノイズレベル３の最大値に極めて近い。さらに、黒オフセットレジスタレベル（ＢＯＲ）は、オフセット２として示され、ユーザプログラムされることができる。故に、閾値３とオフセット２（黒オフセットレジスタレベル、ＢＯＲ）の間の差は、ノイズ４の分布を良好に推定する。ノイズ４の分布は、擬似分散σと呼ばれる。ノイズ（σ）４の分布に対して選択されるスタック１のレベルは、プログラム可能である。
【００４０】
以下に、詳細な設計とタイミングを、さらに図解する。
【００４１】
図２において、行または列のどちらかに配置されたいくつかの画素が、図２の第１のライン６に番号をつけて示され、その参照番号が、図２の第２のライン７に示される。緑色に割り当てられる画素をＧ画素とよび、赤色に割り当てられる画素をＲ画素、さらに（図示せず）青色に割り当てられる画素をＢ画素と呼ぶ。テスト中の画素８は、Ｇ０と呼ぶ。
【００４２】
好ましい実施形態は、図３のフローチャートに図解され、計算機システムのためのプログラムプロダクトのそれぞれのアルゴリズムのフローチャートをも説明することができる。
【００４３】
フローチャートは、好ましい方法の実施形態のＡ’，Ｂ’，Ｃ’およびＤ’の４つの部分を説明する。
【００４４】
第１の部分Ａ’でテストが行われ、信号がノイズ擬似分散（σ＝３）で補正された黒オフセットレジスタレベル（ＢＯＲ＝２）より高いかどうかを確認する。第１のチェックは、信号（すなわち考慮中の画像サンプルデータの電圧）が意味を持つかどうかを確認する。特に、信号が黒ノイズレベル（ＢＯＲ）より低い場合、補正は必要でなく、画素は欠陥とみなされない。終了（exit）なされるのは、黒レベルにおける、妨害にならない何かが考慮に入れられるからであり、そうなければ、黒に画像の目立つスミアリングが出るだろう。
【００４５】
第２の部分Ｂ’で、テスト中の画素が同一の色平面の隣接する画素よりも高い値を持つかどうかを確認するために、テストが行われる。そして、もしそれが低ければ、その環境に良く適合していることを意味するので、終了がなされる。この工程において、光子ショットノイズ（Ｄ０＊（ｍａｘ（Ｇｉ）−ＢＯＲ）および付加的に、黒の全体のノイズ４（σ）が考慮に入れられる（Ｄ０＊（ｍａｘ（Ｇｉ）−ＢＯＲ）＋σ））。ＢＯＲレベル２が信号ビデオをシフトするのに使用されることが示されており、１に信号の一部を利用する場合、１は、ゼロではなく、ＢＯＲレベル２を参照しなければならない。これが、“ｍａｘ（Ｇｉ）−ＢＯＲ”が使われる理由である。実験結果は、Ｄ０の有利な値を１２．５％として示す。画像装置によって検出された光のゲインおよび特性に依存する、ある条件において、Ｄ０のより小さい値は、良い結果を出すことも可能である。このような理由により、さらに６．２５％のプログラム可能な値が提案される。
【００４６】
Ｃ’と呼ばれる第３の部分で、特にＣ’−1，Ｃ’−３，Ｃ’1およびＣ’３において、テスト中の画素Ｇ０が同一の色平面における隣接する画素より高い値を持つかどうか、また異なる色平面の隣接する画素の中でステップ変移があるかどうかを確認するために、テストが行われる。
【００４７】
テスト中の画素が細い線（または小さな特徴）に相当し、欠陥でない場合、シーン（scene）からの光がいくつかが、異なる色平面におけるすぐ隣の画素に向けられるかもしれず、それにより、ステップ変移がもたらされるかもしれない可能性がかなりある。
【００４８】
このようなステップ変移が、他の色平面において見つかる場合、画素は欠陥として検出されない。この決定をするために、信号間の差がノイズ４（σ）を超えているべきである。これは、図３において“Ｒｉ−Ｒｊ＞０”によってテストされる。指数ｉ，ｊは、図３および４に示されるように、１、−１、３または−３をとることができる。
【００４９】
図４を参照すると、ノイズ４（σ）が計算される方法については、通常、実際のノイズの分散の３倍から６倍の間の値になる。従って、Ｒｉ−Ｒｉ＞０であれば、図１で説明されたように、ＲｉとＲｊの双方とも、黒オフセットレジスタレベル２（ＢＯＲ）より低い値になることは不可能である。この例は、図４に図解される。図４で説明されるそれぞれの場合において、Ｒｉ，Ｒｉの値のうち少なくとも１つが、黒オフセットレジスタレベル（ＢＯＲ）を越えている。Ｒｉ−Ｒｉの値の差は、矢印によって示される。
【００５０】
図５は、プロセッサデバイスまたは信号プロセッサの装置の好ましい実施形態の設計仕様を示したものであり、設計仕様は、図１で説明したように、σ計算部を備えている。
【００５１】
図５に示されるように、欠陥は、いったん発見されると、補正される。このような補正は、欠陥画像サンプルデータと、補間された画像サンプルデータを置き換えることにより、このましく実行可能である。このような補間は、アレイの１次元の補間における隣接を考慮に入れる。それでもやはり、２次元の補間もまた有利に可能である。
【００５２】
さらに、シフトレジスタおよび中間メモリが、好ましくは１×５１２のサイズで設けられる。
【００５３】
次に、図５を参照して、σ計算を詳細に説明する。
【００５４】
原則として、センサに対して２つの作動モードがあり、それらは、（１）スナップショットモードまたは（２）ビデオモードである。双方のモードに対して、特定のタイミングの波形および特定のσｉ（ｉ＝１，２）が供給される。スナップショットモードに対しては、σ１値が供給可能である。ビデオモードに対しては、σ２値が供給可能である。“ｓｎａｐｓｈｏｔ”ビットは、２つのモードを区別するために使用される。
Ｓｎａｐｓｈｏｔ＝１−＞スナップショットモード
Ｓｎａｐｓｈｏｔ＝０−＞ビデオモード
【００５５】
閾値レベルとして使用されるスタックにおける位置は、３ビットのレジスタ“Ｎ＿ｌａｒｇｅｓｔ”によって特定される。
【００５６】
スナップショットモードにおいて、黒画素の可用性は、入力パルス“ｓｎａｐ＿ｋｐ”によって検出される。
ｓｎａｐ−ｋｐ＝１−＞入力データはσ計算に使用される。
ｓｎａｐ−ｋｐ＝０−＞入力データはσ計算に使用されない。
【００５７】
ビデオモードでは、入力“ｋｐ”がスナップショットモードでの“ｓｎａｐ＿ｋｐ”として同一の目的を果たす。入力“ｃｌｋ”および“ｒｓｔ”は、それぞれクロックおよびリセットに関する。さらに、入力“ｒ＿ｄｐｃ＿ｐａｒａｍ”“ｇｒａｙ＿ｍｅｍ＿ａｄｄ”，“ｄｉ”および“ｂｏｒ”が供給され、さらに出力“ｄｏ”が出力される。
【００５８】
“ｓｎａｐｓｈｏｔ”および“Ｎ＿ｌａｒｇｅｓｔ”は、制御レジスタにおいてプログラムされる。
【表１】
2005531974.tif 000003
【００５９】
スナップショットモードにおいて、σ１値はアクティブな画素が読み込まれる前に使用可能であるが、ビデオモードでは、１つのフレームの最後にσ２値が計算され、次のフレームで使用される。双方のモードにおいて、スタックは、図１に示される新しいフレームごとのはじめにリセットされる。従って、σｉの正しい更新と計算のために、３つの入力が必要である。
１．ｎｅｗ＿ｆｒａｍｅ＝１−＞スタックをリセットする
２．ｅｎｄ＿ｆｒａｍｅ＝１−＞フレームの最後に印をつけ、ビデオモードにおいてσを更新するために用いられる
３．ｅｎｄ＿ｂｌａｃｋ＿ｒｏｗｓ＝１−＞スナップショットモードにおいて黒列の最後に印をつける
【００６０】
信号“ｅｎｄ＿ｆｒａｍｅ”および“ｅｎｄ＿ｂｌａｃｋ＿ｒｏｗｓ”は、互いに排他的に１つの特定の作動モードでのみ生成される。
【００６１】
スナップショットモードでは、σ１のために使用される黒列の初めと終わりは、２つの３ビットのレジスタ“Ｓｒｏｗ”（列の初め）および“Ｅｒｏｗ”（列の終わり）によって特定され、１つのレジスタに含まれることが可能である。
【表２】
2005531974.tif 000004
【００６２】
図５の設計仕様において、欠陥画素検出および補正は、次のように適合される。欠陥画素検出に、より柔軟性を与えるために、プログラム可能な選択肢は、次のバイトに含まれる。
【表３】
2005531974.tif 000005
【００６３】
“ＮｕｍＮｅｉ”（隣接の数）は、同一の色平面の隣接テストＢ’を行うために考慮に入れるべき隣接の数を定義する。
“ＮｕｍＮｅｉ”の値：０→２  左に２  右に２隣接
１→３  左に３  右に３隣接
“ＮｕｍＮｅｉ”のデフォルト値：０
【００６４】
Ｄ１．２，Ｄ１．１は、上記で説明したように異なる色平面、すなわち工程の異なるサイズに対してＤの異なる値を持つために使用される。例として、Ｄ１．２，Ｄ１．１のいくつかの値が次の表に示される。
【表４】
2005531974.tif 000006
【００６５】
｛Ｄ１．２，Ｄ１．１｝のデフォルト値は、｛１０｝であり、Ｄ＝１２．５％ということを意味する。Ｄ０は、同一の色平面において隣接テストをするために使用される。
Ｄ０の値：１→１２．５％
０→６．２５％
Ｄ０のデフォルト値：１
【００６６】
“ＥｎＭｅｍ”は、非常に細い線の補正を避けるために以前の行から利用できる情報をさらに得るために使用される。
“ＥｎＭｅｍ”の値：１→以前の行の情報を使用
０→以前の行の情報を使用しない
“ＥｎＭｅｍ”のデフォルト値：１
【００６７】
“ＥｍＣｏｒ”ｈａ，画素補正を可能にするため、もしくは無効にするために使用される。
“ＥｎＣｏｒ”の値：１→補正アルゴリズムを使用
０→補正アルゴリズムを使用しない
“ＥｎＣｏｒ”のデフォルト値：１
【００６８】
“Ｃｏｒ＿ａｖｇ”は、画素が補正される方法を示すために使用される。
“Ｃｏｒ＿ａｖｇ”の値：１→隣接の平均を使用
０→最大の隣接を使用
“Ｃｏｒ＿ａｖｇ”のデフォルト値：１
【００６９】
要約すると、リアルタイム画素補正アルゴリズムは、誤った画像サンプルデータと呼ばれる画素アレイからの故障した画素または妨げられた画素からの画素情報の実行中の補正に対して提案されてきた。このアルゴリズムは、ＣＣＤおよびＣＭＯＳ画像装置に使用することができる。
【図面の簡単な説明】
【００７０】
図面の中の図の説明として
【図１】図１は、降順における黒い列画素値のスタックである。
【図２】図２は、テスト中の列である。
【図３】図３は、欠陥サンプルの誤った画像サンプルデータの検出方法の好ましい実施形態のフローチャートである。
【図４】図４は、Ｒｉ−Ｒｊ＞σ、ＲｉおよびＲｊは共に図３で述べられた黒のオフセットレジスタレベル以下である場合を示す。
【図５】図５は、プロセッサデバイスまたは信号プロセッサの好ましい実施形態の設計仕様である。
【符号の説明】
【００７１】
１  スタック
２  黒オフセットレジスタレベル（ＢＯＲ）、ユーザプログラム
３  閾値＝ノイズレベルの最大値
４  擬似分散
σ＝閾値−ＢＯＲ＝ノイズの分布
５  リーカ（leaker）
６  画素番号
７  画素名
８  テスト中の画素
９  Ｇｉ−緑色に割り当てられる画素
１０  Ｒｉ−赤色に割り当てられる画素
Ａ’  意味テスト
Ｂ’  同一の色の隣接テスト
Ｃ’  異なる色の隣接テスト
Ｃ’−１，Ｃ’１  最も近い‐隣接‐比較
Ｃ’−３，Ｃ’３  ２番目に近い−隣接−比較
Ｄ’  補正テスト
【図１】
2005531974.tif 000007
【図２】
2005531974.tif 000008
【図３】
2005531974.tif 000009
【図４】
2005531974.tif 000010
【図５】
2005531974.tif 000011
【国際調査報告】
2005531974.tif 000012
2005531974.tif 000013
2005531974.tif 000014