(57)【特許請求の範囲】
【請求項１】
自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置であって、
（ｎ／３）×（ｍ／３）のサイズを有するブロックが、９個集合することにより構成されるフィルタであって（ｎ、ｍは画素数で６以上の３の倍数）、上記（ｎ／３）×（ｍ／３）のサイズを有するブロックのそれぞれが画素データを積分するものとして構成され、なおかつ、２次微分を行うハイパスフィルタとして構成されるｎ×ｍラプラシアンフィルタを用いて、上記欠陥領域を検出する対象となる被検査画像における上記欠陥領域を顕在化させるフィルタリング処理手段であり、
上記ｎ×ｍラプラシアンフィルタによるフィルタリング処理を、（ｎ／３）×（ｍ／３）のサイズを有するフィルタで、フィルタを構成する全ての重み係数が等しい値に設定された第１フィルタによるフィルタリング処理と、（ｎ／３）×（ｍ／３）のサイズを有するブロックが９個集合することにより形成されるフィルタで、９個のブロックのうち中央に位置する中央ブロックの中央の重み係数と、上記中央ブロックを取り囲む８つのブロックのそれぞれにおける中央の重み係数との和が０となるように設定された第２フィルタによるフィルタリング処理と、に分けて行うフィルタリング処理手段と、
上記フィルタリング処理手段により、上記欠陥領域が顕在化された被検査画像を、複数のブロックに分割するブロック分割手段と、
上記ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出手段とを備え、
上記ブロック加算値の外れ値があるかを統計的処理により判定することで上記欠陥領域の有無を判定する欠陥領域有無判定手段に対して、上記ブロック加算値を出力することを特徴とする欠陥検出装置。
【請求項２】
上記ブロック分割手段は、隣り合うブロック同士を重ね合わせるように、上記被検査画像を複数のブロックに分割するものであることを特徴とする請求項１に記載の欠陥検出装置。
【請求項３】
上記欠陥領域有無判定手段が、自身の内部に設けられていることを特徴とする請求項１または２のいずれか１項に記載の欠陥検出装置。
【請求項４】
上記欠陥領域有無判定手段が、自身の外部に設けられていることを特徴とする請求項１または２のいずれか１項に記載の欠陥検出装置。
【請求項５】
上記欠陥領域有無判定手段は、上記ブロック分割手段が分割した複数のブロックのそれぞれについて上記ブロック加算値算出手段により求められる上記ブロック加算値毎に、統計的に外れ値であるかを判定するものであることを特徴とする請求項１ないし４のいずれか１項に記載の欠陥検出装置。
【請求項６】
上記欠陥領域有無判定手段は、上記ブロック分割手段が分割した複数のブロックのそれぞれについて上記ブロック加算値算出手段により求められる上記ブロック加算値のうち、最大の値をとるブロック加算値について、統計的に外れ値であるかを判定するものであることを特徴とする請求項１ないし４のいずれか１項に記載の欠陥検出装置。
【請求項７】
上記ブロック加算値の外れ値があるか否かの判定を、上記ブロック分割手段により上記被検査画像が分割されたブロックの個数および統計的な有意水準により決定された判定閾値と、判定対象となるブロック加算値との大小比較により行うことを特徴とする請求項１ないし６のいずれか１項に記載の欠陥検出装置。
【請求項８】
上記ブロック加算値の外れ値があるか否かの判定を、上記欠陥領域が無いことの基準となる良品画像について求められた上記ブロック加算値を統計的に処理して得られる判定閾値と、判定対象となるブロック加算値との大小比較により行うことを特徴とする請求項１ないし６のいずれか１項に記載の欠陥検出装置。
【請求項９】
上記被検査画像が、イメージセンサデバイスから得られるものであることを特徴とする請求項１ないし８のいずれか１項に記載の欠陥検出装置。
【請求項１０】
請求項１ないし８のいずれか１項に記載の欠陥検出装置を備えることを特徴とするイメージセンサデバイス。
【請求項１１】
請求項１ないし９のいずれか１項に記載の欠陥検出装置を備えることを特徴とするイメージセンサモジュール。
【請求項１２】
請求項１ないし９のいずれか１項に記載の欠陥検出装置を備えることを特徴とする画像処理装置。
【請求項１３】
請求項１ないし９のいずれか１項に記載の欠陥検出装置を備えることを特徴とするデジタル画像品質テスタ。
【請求項１４】
自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置に外部接続されているデジタル画像品質テスタであって、
上記欠陥検出装置は、
（ｎ／３）×（ｍ／３）のサイズを有するブロックが、９個集合することにより構成されるフィルタであって（ｎ、ｍは画素数で６以上の３の倍数）、上記（ｎ／３）×（ｍ／３）のサイズを有するブロックのそれぞれが画素データを積分するものとして構成され、なおかつ、２次微分を行うハイパスフィルタとして構成されるｎ×ｍラプラシアンフィルタを用いて、上記欠陥領域を検出する対象となる被検査画像における上記欠陥領域を顕在化させるフィルタリング処理手段であり、
上記ｎ×ｍラプラシアンフィルタによるフィルタリング処理を、（ｎ／３）×（ｍ／３）のサイズを有するフィルタで、フィルタを構成する全ての重み係数が等しい値に設定された第１フィルタによるフィルタリング処理と、（ｎ／３）×（ｍ／３）のサイズを有するブロックが９個集合することにより形成されるフィルタで、９個のブロックのうち中央に位置する中央ブロックの中央の重み係数と、上記中央ブロックを取り囲む８つのブロックのそれぞれにおける中央の重み係数との和が０となるように設定された第２フィルタによるフィルタリング処理と、に分けて行うフィルタリング処理手段と、
上記フィルタリング処理手段により、上記欠陥領域が顕在化された被検査画像を、複数のブロックに分割するブロック分割手段と、
上記ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出手段とを備えるものであり、
上記ブロック加算値算出手段から入力される上記ブロック加算値を統計的に処理し、ブロック加算値の外れ値があるかを判定することで、上記欠陥領域の有無を判定する欠陥領域有無判定手段を備えていることを特徴とするデジタル画像品質テスタ。
【請求項１５】
上記欠陥検出装置が、自身の外部に設けられていることを特徴とする請求項１４に記載のデジタル画像品質テスタ。
【請求項１６】
自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置であって、
（ｎ／３）×（ｍ／３）のサイズを有するブロックが、９個集合することにより構成されるフィルタであって（ｎ、ｍは画素数で６以上の３の倍数）、上記（ｎ／３）×（ｍ／３）のサイズを有するブロックのそれぞれが画素データを積分するものとして構成され、なおかつ、２次微分を行うハイパスフィルタとして構成されるｎ×ｍラプラシアンフィルタを用いて、上記欠陥領域を検出する対象となる被検査画像における上記欠陥領域を顕在化させるフィルタリング処理手段を備え、
上記フィルタリング処理手段は、
上記ｎ×ｍラプラシアンフィルタによるフィルタリング処理を、（ｎ／３）×（ｍ／３）のサイズを有するフィルタで、フィルタを構成する全ての重み係数が等しい値に設定された第１フィルタによるフィルタリング処理と、（ｎ／３）×（ｍ／３）のサイズを有するブロックが９個集合することにより形成されるフィルタで、９個のブロックのうち中央に位置する中央ブロックの中央の重み係数と、上記中央ブロックを取り囲む８つのブロックのそれぞれにおける中央の重み係数との和が０となるように設定された第２フィルタによるフィルタリング処理と、に分けて行うことを特徴とする欠陥検出装置。
【請求項１７】
ある画素の画素データがその周囲の画素データに比べて突出した値となる点欠陥を上記被検査画像から除去する点欠陥除去手段に外部接続されており、
上記フィルタリング処理手段は、点欠陥が除去された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理を実行することを特徴とする請求項１６に記載の欠陥検出装置。
【請求項１８】
上記被検査画像を縮小する画像縮小手段に外部接続されており、
上記フィルタリング処理手段は、縮小された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理を実行することを特徴とする請求項１６に記載の欠陥検出装置。
【請求項１９】
ある画素の画素データが、その周囲の画素データに比べて突出した値となる点欠陥を、上記被検査画像から除去する点欠陥除去手段を備えており、
上記フィルタリング処理手段は、点欠陥が除去された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理を実行することを特徴とする請求項１６に記載の欠陥検出装置。
【請求項２０】
上記被検査画像を縮小する画像縮小手段を備えており、
上記フィルタリング処理手段は、縮小された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理を実行することを特徴とする請求項１６に記載の欠陥検出装置。
【請求項２１】
請求項１６ないし２０のいずれか１項に記載の欠陥検出装置を備えることを特徴とするイメージセンサデバイス。
【請求項２２】
請求項１６ないし２０のいずれか１項に記載の欠陥検出装置を備えることを特徴とするイメージセンサモジュール。
【請求項２３】
請求項１６ないし２０のいずれか１項に記載の欠陥検出装置を備えることを特徴とする画像処理装置。
【請求項２４】
請求項１６ないし２０のいずれか１項に記載の欠陥検出装置を備えることを特徴とするデジタル画像品質テスタ。
【請求項２５】
自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出方法であって、
（ｎ／３）×（ｍ／３）のサイズを有するブロックが、９個集合することにより構成されるフィルタであって（ｎ、ｍは画素数で６以上の３の倍数）、上記（ｎ／３）×（ｍ／３）のサイズを有するブロックのそれぞれが画素データを積分するものとして構成され、なおかつ、２次微分を行うハイパスフィルタとして構成されるｎ×ｍラプラシアンフィルタを用いて、上記欠陥領域を検出する対象となる被検査画像における上記欠陥領域を顕在化させるフィルタリング処理ステップであり、
上記ｎ×ｍラプラシアンフィルタによるフィルタリング処理を、（ｎ／３）×（ｍ／３）のサイズを有するフィルタで、フィルタを構成する全ての重み係数が等しい値に設定された第１フィルタによるフィルタリング処理と、（ｎ／３）×（ｍ／３）のサイズを有するブロックが９個集合することにより形成されるフィルタで、９個のブロックのうち中央に位置する中央ブロックの中央の重み係数と、上記中央ブロックを取り囲む８つのブロックのそれぞれにおける中央の重み係数との和が０となるように設定された第２フィルタによるフィルタリング処理と、に分けて行うフィルタリング処理ステップと、
上記フィルタリング処理ステップにより、上記欠陥領域が顕在化された被検査画像を、複数のブロックに分割するブロック分割ステップと、
上記ブロック分割ステップにより分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出ステップと、
上記ブロック加算値の外れ値があるかを統計的処理により判定することで上記欠陥領域の有無を判定する欠陥領域有無判定ステップとを備えていることを特徴とする欠陥検出方法。
【請求項２６】
自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出方法であって、
（ｎ／３）×（ｍ／３）のサイズを有するブロックが、９個集合することにより構成されるフィルタであって（ｎ、ｍは画素数で６以上の３の倍数）、上記（ｎ／３）×（ｍ／３）のサイズを有するブロックのそれぞれが画素データを積分するものとして構成され、なおかつ、２次微分を行うハイパスフィルタとして構成されるｎ×ｍラプラシアンフィルタを用いて、上記欠陥領域を検出する対象となる被検査画像における上記欠陥領域を顕在化させるフィルタリング処理ステップであり、
上記ｎ×ｍラプラシアンフィルタによるフィルタリング処理を、（ｎ／３）×（ｍ／３）のサイズを有するフィルタで、フィルタを構成する全ての重み係数が等しい値に設定された第１フィルタによるフィルタリング処理と、（ｎ／３）×（ｍ／３）のサイズを有するブロックが９個集合することにより形成されるフィルタで、９個のブロックのうち中央に位置する中央ブロックの中央の重み係数と、上記中央ブロックを取り囲む８つのブロックのそれぞれにおける中央の重み係数との和が０となるように設定された第２フィルタによるフィルタリング処理と、に分けて行うフィルタリング処理ステップを備えていることを特徴とする欠陥検出方法。
【請求項２７】
ある画素の画素データが、その周囲の画素データに比べて突出した値となる点欠陥を、上記被検査画像から除去する点欠陥除去ステップを備えており、
上記フィルタリング処理ステップは、点欠陥が除去された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理を実行するステップであることを特徴とする請求項２６に記載の欠陥検出方法。
【請求項２８】
上記被検査画像を縮小する画像縮小ステップを備えており、
上記フィルタリング処理ステップは、縮小された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理を実行するステップであることを特徴とする請求項２６に記載の欠陥検出方法。
【請求項２９】
請求項２５または２６に記載の欠陥検出方法をコンピュータに実行させることを特徴とする欠陥検出プログラム。
【請求項３０】
請求項２９に記載の欠陥検出プログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像における欠陥領域の有無を短時間で判定できるとともに、コンパクトな回路構成で実現できる欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
デジタル画像の品質を検査する際、画素データが不均一に変化する領域である欠陥領域の有無を判定することは非常に重要である。特に近年では、デジタルスチルカメラやカメラ内蔵携帯電話など、イメージセンサデバイスの需要の裾野が広がっている。それに伴い、イメージセンサデバイスの高品質化が大きく求められており、イメージセンサデバイスから得られるデジタル画像（イメージセンサ画像）に発生する欠陥領域として、シミ欠陥・ムラ欠陥を検査工程において検出することへの要求が高まっている。
【０００３】
つまり、イメージセンサデバイスは良品であっても、画素座標に対して画素データ（画素値）が緩やかに変化しているシェーディングという成分と、ノイズ成分とによって、画像データが一定値となることはない。特に、イメージセンサ画像において点欠陥や、シミ欠陥・ムラ欠陥が存在すると、それぞれの欠陥に応じて画素データが複雑に変化する。このような観点から、シミ欠陥・ムラ欠陥を検査する必要がある。
【０００４】
さらに、イメージセンサデバイスの画素数が増加しているにも関わらず、携帯電話など製品サイクルが短いものに対しては、デバイス納期が短くなっているため、検査時間の短縮化が強く求められている。
【０００５】
従来、イメージセンサ画像のシミ欠陥・ムラ欠陥の検査は検査員の目視により行われているが、検査員の主観的判断に頼った検査となるため、検査員間の検査基準のばらつきや、検査時の体調により、検査結果が一定にならないといった問題や、シミ欠陥・ムラ欠陥の定量化が難しいという問題がある。そこで近年は、シミ欠陥・ムラ欠陥を定量化し、それらを検出する検査装置が開発されており自動化も進み始めている。
【０００６】
ここで、「シミ欠陥」「ムラ欠陥」の意味について説明しておく。さらに、イメージセンサ画像に発生する「点欠陥」についても説明する。
【０００７】
「点欠陥」とは、イメージセンサ画像における１つの画素データが、その周囲の画素データに比べて、著しく大きな差があり突出した値となる状態を意味する。また、「シミ欠陥」とは、ある領域における複数の画素データのそれぞれが、周囲の画素データに対して、点欠陥における差分よりも小さな差がある状態を意味する。さらに、「ムラ欠陥」とは、シミ欠陥の画素よりもさらに画素データ差が小さい複数の画素が、シミ欠陥よりも広い領域に集まった状態を意味する。
【０００８】
上述の「点欠陥」、「シミ欠陥」、および「ムラ欠陥」を模式的に示したものが図２１である。図２１に示すように、被検査画像１００内においては、点欠陥１１０が面積の小さな部分として発生し、シミ欠陥１２０の面積がやや大きな部分として発生し、ムラ欠陥１３０が面積の大きな部分として発生している。なお、「被検査画像」とは、シミ欠陥やムラ欠陥を検出するために取得されるイメージセンサ画像のサンプルを意味する。
【０００９】
次に、「シェーディング」の意味について説明する。「シェーディング」とは、ムラ欠陥よりも更に広い領域で画素データが緩やかに変化し、イメージセンサ画像の上下左右の終端部分に向かって画素データが小さくなっていく状態を意味する。シェーディングは、画像中央の画素に対して、画像端の画素の感度低下が原因で発生するものである。
【００１０】
たとえば、被検査画像１００が図２２に示すように得られており、この被検査画像１００内に、シミ欠陥１２０が発生しているといる。このとき、図２２に示すように、シェーディング１４０は、被検査画像１００の上下左右の終端部分に向かって画素データが小さくなっていく部分として発生する。
【００１１】
ところで、上述したとおり、近年は、シミ欠陥・ムラ欠陥を定量化し、それらを検出する検査装置が開発されており自動化も進み始めている。その技術の一例として、下記非特許文献１に記載された技術をあげることができる。
【００１２】
非特許文献１に記載された技術は、図２３のフローチャートに示すように、大別すると欠陥顕在化処理（ステップ１００、以下単にステップを「Ｓ」と記載する）、および欠陥領域抽出処理（Ｓ２００）の２工程からなる。なお、図２３のフローによりシミ欠陥やムラ欠陥が判定される被検査画像は、輝度変化および色変化のない白色光あるいは単色光を、イメージセンサデバイスに照射することにより得られた画像である。
【００１３】
欠陥顕在化処理（Ｓ１００）は、被検査画像におけるシミ欠陥・ムラ欠陥を顕在化させるため、シェーディング成分、ノイズ成分、および点欠陥成分の除去のフィルタを用いる処理である。具体的に説明すると、欠陥顕在化処理は、図２３に示すように、画像縮小処理（Ｓ１１０）と、シェーディング補正処理（Ｓ１２０）と、平滑化フィルタを用いるノイズ除去処理（Ｓ１３０）、点欠陥除去フィルタを用いる点欠陥除去処理（Ｓ１４０）と、ラプラシアンフィルタを用いるエッジ検出処理（Ｓ１５０）とからなる。これらの欠陥顕在化処理（Ｓ１００）を構成する各処理の詳細については、後述する。
【００１４】
欠陥領域抽出処理（Ｓ２００）は、画素データを２値化する処理（Ｓ２１０）と、Ｓ２１０で２値化された被検査画像に対して凹凸ノイズ除去を行う処理（Ｓ２２０）と、欠陥領域の候補に識別番号を付ける処理（Ｓ２３０、ラベリング処理ともいう）と、Ｓ２３０で識別番号が付与されたすべての箇所に対して特徴量（シミ面積やコントラスト、輝度勾配など）を計算する処理（Ｓ２４０）と、Ｓ２４０で計算された特徴量に基づき、欠陥候補の良否判定を行う処理（Ｓ２５０）とからなる。これらの欠陥領域抽出処理（Ｓ２００）を構成する各処理の詳細については、後述する。
【００１５】
次に、上述した欠陥顕在化処理（Ｓ１００）および欠陥領域抽出処理（Ｓ２００）を構成する各処理の詳細を、順番に説明する。
【００１６】
画像縮小処理（Ｓ１１０）は、画像の縦横サイズを小さくする処理である。これにより、被検査画像のデータ量が削減されるとともに、シミ欠陥・ムラ欠陥を強調させることができる。
【００１７】
シェーディング補正処理（Ｓ１２０）は、シェーディング成分を被検査画像から除去するために、シェーディングによる画素データの低下を、各画素データを加工することによって補正する処理である。シェーディング補正処理は、たとえば、注目画素を中心とする３×３画素のマトリクス内に存在する９画素について、画素データの平均値を求め、注目画素の画素データを当該平均値で除算した値を注目画素の画素データとすることで行われる。
【００１８】
ノイズ除去処理（Ｓ１３０）は、たとえば平滑化フィルタを用いることで被検査画像のノイズを除去する処理である。ここで、平滑化フィルタとは、画像の高周波成分がカットされノイズを除去することができるフィルタを意味する。たとえば、図２４（ａ）に示すように、注目画素を中心とした３×３領域の９個の画素データの平均値を求め、該平均値を注目画素の画素データとするフィルタが、平滑化フィルタに相当する。
【００１９】
点欠陥除去処理（Ｓ１４０）は、点欠陥除去フィルタを用いて、被検査画像における点欠陥を除去する処理を意味する。ここで、点欠陥除去フィルタとは、たとえば、注目画素を中心とする３×３領域の９個の画素について、画素データの中央値、最大値、最小値を求め、注目画素の画素データが最大値（最小値）なら、注目画素の画素データを中央値に置き換えるフィルタを意味する。
【００２０】
エッジ検出処理（Ｓ１５０）は、たとえばラプラシアンフィルタを用いてシミ欠陥・ムラ欠陥のエッジを顕在化する処理である。ここで、ラプラシアンフィルタとは、画像の濃淡変化のエッジを抽出するためのフィルタである。すなわち、図２４（ｂ）に示すように、注目画素の画素データを４倍した値から、上下左右の画素（４近傍の画素）の画素データを引き、それを注目画素の画素データとするフィルタが、ラプラシアンフィルタに相当する。
【００２１】
なお、図２４（ａ）および図２４（ｂ）に示したフィルタに用いられる演算式を、図２５に示す。一般にフィルタ処理を行う場合、処理可能な画像の範囲を考慮することが必要である。例えばサイズが３×３のフィルタは、隣り合う画素が存在しない画像端の画素については処理することができないので、各画素を走査するためのループの初期値と最終値に注意が必要となる。
【００２２】
２値化処理（Ｓ２１０）は、被検査画像の画素データを、所定の閾値と大小判断して「０」または「１」の２値データに変換する処理である。その目的は、情報量減少と、幾何学的な形状抽出・面積計算を容易にすることにある。なお、２値データが「１」または「０」のいずれであるのかを判断するための閾値は、画像全面について一定値、あるいは領域毎に設定する。
【００２３】
そして、Ｓ２１０の２値化処理で２値化された被検査画像の凹凸ノイズが、Ｓ２２０のノイズ除去処理で除去される。当該ノイズ除去処理は、膨張・収縮処理や孤立点除去などで行われる。
【００２４】
ここで、膨張・収縮処理について説明する。膨張・収縮処理とは、２値画像において、注目図形の周囲に存在する微小な凹凸のノイズを消去するための画像処理方法である。特に、膨張処理においては、注目画素の近傍に存在する画素（近傍画素）のうち、１つでも画素データが「１」の画素があれば、注目画素の画素データを「１」とする。また、収縮処理においては、近傍画素のうち１つでも画素データが「０」の画素があれば、その注目画素の画素データを「０」とする。なお、膨張処理および収縮処理は、組み合わせて使用されることが多い。膨張処理→収縮処理という過程により、図形中の小さな凹ノイズが消去され、収縮処理→膨張処理という過程により、小さな凸ノイズが消去される。
【００２５】
図２６を用いて、膨張・収縮処理により、２値化処理後の被検査画像１５０からノイズが除去されるまでの過程について説明する。まず、被検査画像１５０において、３つのノイズ画素１５１が存在するとする。このノイズ画素１５１は、被検査画像１５０に対して収縮処理を施した被検査画像１５２に対して、さらに膨張処理を施して被検査画像１５３とする過程において、除去される。なお、図２６においては、画素データが「１」の画素を白抜きされた四角で示しており、画素データが「０」の画素を網掛けされた四角で示している。
【００２６】
また、孤立点除去処理とは、たとえば、２値画像において、注目画素の画素データが０（１）でその周辺の８画素の画素データが１（０）の場合、その注目画素の画素データを周辺８画素の画素データと置き換える処理を意味する。
【００２７】
次に、Ｓ２３０のラベリング処理について説明する。ラベリング処理とは、画像中の連続した図形をグループ分けし、識別番号付けする処理を意味する。ラベリング処理は、通常、画像の全画素をスキャンしながら、各画素の連結状態を判断しつつ、各画素にラベル番号付けすることで行われる。なお、ラベリング処理においては、別グループの属するものとスキャン初期に判断された図形が、スキャン後に連続した１つの図形であると判明することがあるので、ラベリング処理は通常逐次型で行う必要がある。
【００２８】
たとえば、図２７に示すように、被検査画像１６０の画素データが設定されていたとする。この場合、被検査画像１６０内には、画素データ「１」が連続する部分として、図形１６１・１６２・１６３という３つの図形が存在する。この被検査画像１６０に対してラベリング処理を行うと、図２７に示すように、図形１６１・１６２・１６３のそれぞれに対して、識別番号ａ・ｂ・ｃのいずれかが付与される。
【００２９】
上述のラベリング処理が終了したら、識別番号が付与されたすべての箇所に対して特徴量（シミ面積やコントラスト、輝度勾配など）が計算され（Ｓ２４０）、Ｓ２４０で計算された特徴量に基づき、欠陥候補の良否判定が行われる（Ｓ２５０）。
【００３０】
たとえば図２７に示すように被検査画像に対してラベリング処理が行われたら、図形１６１・１６２・１６３が欠陥候補となる。この欠陥候補のそれぞれに対して、Ｓ２４０では特徴量を計算する。たとえば、特徴量としてのシミ面積は、画素データがが「１」の画素数を数えることで求められる。
【非特許文献１】フラットパネルディスプレイの画質検査アルゴリズム(横河技法Vol.47 No.3,2003)
【発明の開示】
【発明が解決しようとする課題】
【００３１】
しかしながら、上記非特許文献１に記載された従来技術では、イメージセンサ画像の画素数が大きくなるに従って、シミ欠陥・ムラ欠陥を顕在化させる複数回のフィルタ処理、識別番号付け処理の時間が膨大になり、その結果、イメージセンサデバイスのテスト時間が長大になるという課題がある。
【００３２】
さらに、良否判定のための特徴量であるコントラストや輝度勾配などを計算するために、原画像あるいは縮小画像が必要となり、それを記憶しておくメモリのために回路構成が大きくなってしまうという課題がある。
【００３３】
また、回路構成が大きくなってしまうという課題は、以下の原因によっても生じる。すなわち、従来技術では、シミ欠陥・ムラ欠陥を検出するために、複数回のフィルタ処理を行っている。したがって、イメージセンサデバイスやイメージセンサモジュール内部のＤＳＰ部、または画像処理専用装置としてのハードウェアに、従来の画像処理方法を実装すると、ハードウェアの回路構成が大きくなってしまう。
【００３４】
上述した２つの課題、すなわち（１）イメージセンサデバイスのテスト時間が長大になる、（２）回路構成が大きくなるという課題は、非特許文献１に記載された従来技術をイメージセンサ画像の検査に適用した場合に限らず、一般的なデジタル画像に欠陥領域があるか検査するために用いる場合にも発生する。つまり、非特許文献１に記載された従来技術を用いて、一般的なデジタル画像に欠陥領域があるか否かを検査すると、（１）欠陥領域の有無の判定時間が長くなる、（２）回路構成が大きくなるという２つの課題が発生する。
【００３５】
本発明は、上記従来技術の問題点に鑑みなされたものであって、デジタル画像における欠陥領域の有無を短時間で判定できるとともに、コンパクトな回路構成で実現できる欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００３６】
本発明の欠陥検出装置は、上記従来の課題を解決するため、自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置であって、上記欠陥領域を検出する対象となる被検査画像を、複数のブロックに分割するブロック分割手段と、上記ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出手段とを備え、上記ブロック加算値の外れ値があるかを統計的処理により判定することで上記欠陥領域の有無を判定する欠陥領域有無判定手段に対して、上記ブロック加算値を出力することを特徴としている。
【００３７】
上記構成によれば、ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値に基づいて、欠陥領域の有無が欠陥領域有無判定手段における統計的処理により判定される。
【００３８】
ここで、「欠陥領域」とは、イメージセンサデバイスから得られるデジタル画像や、液晶表示装置等のデジタル画像表示装置に表示されるデジタル画像に発生する、シミ欠陥やムラ欠陥が相当する。また、「統計的処理」とは、一般的な統計解析における外れ値検定処理を意味する。
【００３９】
そして、本発明では、ブロック分割を行うことにより、欠陥領域の有無を判定するために必要なデータ量を削減することができるので、欠陥領域の有無の判定を短時間で行うことができる。
【００４０】
また、欠陥領域の有無を判定するために欠陥領域有無判定手段が用いるブロック加算値は、被検査画像やその縮小画像をメモリに記憶しておくことなく求められるものである。よって、本発明の欠陥検出装置をハードウェアに実装した際の回路構成をコンパクトにすることができる。
【００４１】
さらに、上記構成の欠陥検出装置は、上記ブロック分割手段が、隣り合うブロック同士を重ね合わせるように、上記被検査画像を複数のブロックに分割するものであることが好ましい。
【００４２】
すなわち、隣り合うブロックを重ね合わせずに被検査画像を複数のブロックに分割した場合、欠陥領域が隣接するブロックにまたがって発生する場合がある。このような場合、欠陥領域が、異なる２つのブロックにおけるブロック加算値に分散されて影響を与えるために、欠陥領域の有無を適切に判定できない場合がある。
【００４３】
しかしながら、上記構成によれば、ブロック分割手段が、隣り合うブロック同士を重ね合わせるように被検査画像を複数のブロックに分割するので、欠陥領域を１つのブロック内に確実に収めることができる。これにより、欠陥領域の影響が異なる２ブロックのブロック加算値に影響を与えることを防止できるので、欠陥領域を感度良く検出することができる。
【００４４】
さらに、上記構成の欠陥検出装置は、上記欠陥領域有無判定手段が、自身の内部に設けられていてもよい。
【００４５】
上記構成によれば、欠陥領域有無判定手段が欠陥検出装置の内部に設けられているので、ブロック分割手段によるブロック分割処理、ブロック加算値算出手段によるブロック加算値算出処理、および欠陥領域有無判定手段による判定処理を、欠陥検出装置単独で行うことが可能となる。よって、上記構成の欠陥検出装置を用いるだけで、欠陥領域の有無の判定を行うことが可能となる。
【００４６】
また、上記欠陥領域有無判定手段は、欠陥検出装置の外部に設けられていてもよい。
【００４７】
上記構成によれば、欠陥領域有無判定手段が欠陥検出装置の外部に設けられているので、ブロック加算値の外れ値があるかを判定する統計的処理を外部の装置に実行させることができる。これにより、欠陥検出装置は、ブロック分割手段によるブロック分割処理と、ブロック加算値算出手段によるブロック加算値算出処理だけを実現すればよいので、ハードウェアに実装した際の回路構成をコンパクトにすることができる。
【００４８】
さらに、上記構成の欠陥検出装置は、上記欠陥領域有無判定手段が、上記ブロック分割手段が分割した複数のブロックのそれぞれについて上記ブロック加算値算出手段により求められる上記ブロック加算値毎に、統計的に外れ値であるかを判定するものであることが好ましい。
【００４９】
上記構成によれば、ブロック分割手段が分割した複数のブロックのそれぞれについてブロック加算値算出手段により求められるブロック加算値毎に、統計的に外れ値であるかが判定されるので、被検査画像内における全てのブロックについて、欠陥領域の有無が欠陥領域有無判定手段により判定される。よって、欠陥領域の有無を精度良く行うことができる。
【００５０】
また、上記構成の欠陥検出装置は、上記欠陥領域有無判定手段が、上記ブロック分割手段が分割した複数のブロックのそれぞれについて上記ブロック加算値算出手段により求められる上記ブロック加算値のうち、最大の値をとるブロック加算値について、統計的に外れ値であるかを判定するものであってもよい。
【００５１】
上記構成によれば、ブロック加算値の最大値についてだけ、統計的に外れ値であるか否かを判定するので、ブロック分割手段が分割したブロックの全てについて求められるブロック加算値について統計的に外れ値であるかは判定しない。よって、簡易な処理により短時間でデジタル画像における欠陥領域の有無を判断できる。
【００５２】
また、上記構成の欠陥検出装置は、上記ブロック加算値の外れ値があるか否かの判定を、上記ブロック分割手段により上記被検査画像が分割されたブロックの個数および統計的な有意水準により決定された判定閾値と、判定対象となるブロック加算値との大小比較により行うことが好ましい。
【００５３】
上記構成によれば、判定閾値を統計的に求めるので、ブロック加算値が外れ値か否かの判定を的確に行うことができる。したがって、欠陥領域の有無の判定をより的確におこなうことができる。
【００５４】
また、上記構成の欠陥検出装置は、上記ブロック加算値の外れ値があるか否かの判定を、上記欠陥領域が無いことの基準となる良品画像について求められた上記ブロック加算値を統計的に処理して得られる判定閾値と、判定対象となるブロック加算値との大小比較により行ってもよい。
【００５５】
上記構成によれば、良品画像を準備するだけで判定閾値を求めることができるので、簡易な処理により判定閾値を求めることができる。よって、ブロック加算値の外れ値があるか否かの判定をより簡易な処理により行うことができるので、より短時間で欠陥領域の有無の判定を行うことができる。
【００５６】
さらに、上記被検査画像は、イメージセンサデバイスから得られるものであることが好ましい。
【００５７】
上記構成によれば、特に欠陥領域を検出する必要性が高い、イメージセンサデバイスから得られるデジタル画像について、欠陥領域の有無を判定することができる。
【００５８】
また、上記構成の欠陥検出装置は、イメージセンサデバイス内に設けられてもよいし、イメージセンサデバイス内に設けられてもよいし、画像処理装置内に設けられてもよいし、デジタル画像品質テスタ内に設けられてもよい。
【００５９】
なお、「イメージセンサデバイス」とは、ＣＭＯＳセンサ、ＣＣＤ等の撮像素子を意味する。また、「イメージセンサモジュール」とは、ＣＭＯＳセンサ、ＣＣＤ等の撮像素子にレンズを実装し、制御用のＤＳＰやクロックジェネレータ等を搭載したモジュールを意味する。したがって、イメージセンサデバイスは、イメージセンサモジュールに含まれるものであるといえる。
【００６０】
また、「デジタル画像品質テスタ」とは、その文言どおり、デジタル画像の品質を検査するテスタを意味している。デジタル画像品質テスタで検査されるデジタル画像は、イメージセンサデバイス等の半導体デバイスから得られるものであってもよいし、液晶パネル等のデジタル画像表示装置に入出力されるデジタル画像であってもよい。
【００６１】
本発明のデジタル画像品質テスタは、上記従来の課題を解決するために、自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置に外部接続されているデジタル画像品質テスタであって、上記欠陥検出装置は、上記欠陥領域を検出する対象となる被検査画像を、複数のブロックに分割するブロック分割手段と、上記ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出手段とを備えるものであり、上記ブロック加算値算出手段から入力される上記ブロック加算値を統計的に処理し、ブロック加算値の外れ値があるかを判定することで、上記欠陥領域の有無を判定する欠陥領域有無判定手段を備えていることを特徴としている。
【００６２】
上記構成によれば、ブロック分割手段により分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値に基づいて、欠陥領域の有無が欠陥領域有無判定手段における統計的処理により判定される。
【００６３】
そして、本発明では、ブロック分割を行うことにより、欠陥領域の有無を判定するために必要なデータ量を削減することができるので、欠陥領域の有無の判定を短時間で行うことができる。
【００６４】
また、欠陥領域の有無を判定するために欠陥領域有無判定手段が用いるブロック加算値は、被検査画像やその縮小画像をメモリに記憶しておくことなく求められるものである。よって、本発明の欠陥検出装置をハードウェアに実装した際の回路構成をコンパクトにすることができる。
【００６５】
さらに、上記構成のデジタル画像品質テスタは、上記欠陥検出装置が、自身の外部に設けられていることが好ましい。
【００６６】
上記構成によれば、欠陥検出装置がデジタル画像品質テスタの外部に設けられているので、ブロック分割手段によるブロック分割処理と、ブロック加算値算出手段によるブロック加算値算出処理を、デジタル画像品質テスタの外部において実行することができる。これにより、デジタル画像品質テスタは、ブロック加算値の外れ値があるかを判定する統計的処理だけを行えばよいので、より短時間で欠陥領域の有無の判定を行うことができる。
【００６７】
本発明の欠陥検出装置は、上記従来の課題を解決するために、自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出装置であって、（ｎ／３）×（ｍ／３）のサイズを有するブロックが、９個集合することにより構成されるフィルタであって（ｎ、ｍは画素数で３の倍数）、上記（ｎ／３）×（ｍ／３）のサイズを有するブロックのそれぞれが画素データを積分するものとして構成され、なおかつ、２次微分を行うハイパスフィルタとして構成されるｎ×ｍラプラシアンフィルタを用いて、上記欠陥領域を検出する対象となる被検査画像における上記欠陥領域を顕在化させるフィルタリング処理手段を備えていることを特徴としている。
【００６８】
従来技術においては、欠陥領域を検出する際、まず、シェーディング除去処理、ノイズ成分除去処理、およびエッジ検出処理を実行することで、欠陥領域を顕在化させることが行われていた。しかしながら、これらの処理においては、複数回のフィルタ処理を行うので、従来技術の画像処理方法を実装すると、欠陥領域の有無の判定時間が長くなるとともに、ハードウェアの回路構成が大きくなってしまう。
【００６９】
しかしながら、上記構成によれば、ｎ×ｍラプラシアンフィルタが２次微分を行うハイパスフィルタとして構成されている。したがって、シェーディング成分より高次のエッジを検出することができるとともに、シェーディング成分自体は除去することができる。
【００７０】
さらに、ｎ×ｍラプラシアンフィルタは、（ｎ／３）×（ｍ／３）のサイズを有するブロックが、９個集合することにより構成されている。この（ｎ／３）×（ｍ／３）のサイズを有するブロックのそれぞれが、画素データを積分するので、ノイズ成分を除去することが可能である。
【００７１】
よって、従来、複数回のフィルタにより行われていたシェーディング除去、ノイズ成分低減、およびエッジ検出を、ｎ×ｍラプラシアンフィルタを用いて同時に行うことができる。したがって、より短時間かつコンパクトな回路構成で、欠陥領域の有無の判定を行うことができる。
【００７２】
さらに、上記構成の欠陥検出装置において、上記フィルタリング処理手段は、上記ｎ×ｍラプラシアンフィルタによるフィルタリング処理を、（ｎ／３）×（ｍ／３）のサイズを有するフィルタで、フィルタを構成する全ての重み係数が等しい値に設定された第１フィルタによるフィルタリング処理と、（ｎ／３）×（ｍ／３）のサイズを有するブロックが９個集合することにより形成されるフィルタで、９個のブロックのうち中央に位置する中央ブロックの中央の重み係数と、上記中央ブロックを取り囲む８つのブロックのそれぞれにおける中央の重み係数との和が０となるように設定された第２フィルタによるフィルタリング処理と、に分けて行うことが好ましい。
【００７３】
上記構成によれば、ｎ×ｍラプラシアンフィルタによる演算処理を低減することが可能となる。たとえば、ｎ＝９、ｍ＝９の場合、９×９ラプラシアンフィルタによる演算処理は、被検査画像の画素数をＮとすると８１Ｎ回の積和演算が必要であるが、上記第１フィルタおよび第２フィルタによる２段階のフィルタ処理により、積和演算の回数を１８Ｎ回までに低減することができる。さらに、第１フィルタおよび第２フィルタによれば、ｎ×ｍラプラシアンフィルタと同様のフィルタリング処理を行うことができる。よって、より短時間に欠陥領域の有無を判定することが可能となる。
【００７４】
さらに、上記構成の欠陥検出装置は、ある画素の画素データがその周囲の画素データに比べて突出した値となる点欠陥を上記被検査画像から除去する点欠陥除去手段に外部接続されており、上記フィルタリング処理手段は、点欠陥が除去された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理を実行することが好ましい。
【００７５】
上記構成によれば、点欠陥除去手段により点欠陥が除去された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理が行われ、欠陥領域が顕在化される。すなわち、潜在的に欠陥領域となりうる点欠陥が、フィルタリング処理を行う前に被検査画像から取り除かれており、点欠陥が欠陥領域として検出されることを防止できる。これにより、欠陥領域の検出精度を向上させることができる。
【００７６】
また、点欠陥除去手段による点欠陥除去処理は、欠陥検出装置の外部で行われるので、欠陥検出装置はｎ×ｍラプラシンアンフィルタによるフィルタリング処理だけを行えばよく、欠陥検出装置における処理が複雑化することを防止することができる。
【００７７】
さらに、上記構成の欠陥検出装置は、上記被検査画像を縮小する画像縮小手段に外部接続されており、上記フィルタリング処理手段が、縮小された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理を実行することが好ましい。
【００７８】
上記構成によれば、被検査画像が画像縮小手段により縮小されるので、被検査画像のデータ量が削減されるとともに、被検査画像内に存在する欠陥領域を強調させることができる。
【００７９】
また、画像縮小手段による画像縮小処理は、欠陥検出装置の外部で行われるので、欠陥検出装置はｎ×ｍラプラシンアンフィルタによるフィルタリング処理だけを行えばよく、欠陥検出装置における処理が複雑化することを防止することができる。
【００８０】
さらに、上記構成の欠陥検出装置は、ある画素の画素データが、その周囲の画素データに比べて突出した値となる点欠陥を、上記被検査画像から除去する点欠陥除去手段を備えており、上記フィルタリング処理手段が、点欠陥が除去された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理を実行する構成であってもよい。
【００８１】
上記構成によれば、点欠陥除去手段により点欠陥が除去された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理が行われ、欠陥領域が顕在化される。すなわち、潜在的に欠陥領域となりうる点欠陥が、フィルタリング処理を行う前に被検査画像から取り除かれており、点欠陥が欠陥領域として検出されることを防止できる。これにより、欠陥領域の検出精度を向上させることができる。
【００８２】
さらに、上記構成の欠陥検出装置は、上記被検査画像を縮小する画像縮小手段を備えており、上記フィルタリング処理手段は、縮小された被検査画像に対してｎ×ｍラプラシアンフィルタによるフィルタリング処理を実行することが好ましい。
【００８３】
上記構成によれば、被検査画像が画像縮小手段により縮小されるので、被検査画像のデータ量が削減されるとともに、被検査画像内に存在する欠陥領域を強調させることができる。
【００８４】
なお、上記構成の欠陥検出装置は、イメージセンサデバイスに設けられてもよいし、デジタル画像品質テスタに設けられてもよい。
【００８５】
また、本発明の欠陥検出方法は、自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出方法であって、上記欠陥領域を検出する対象となる被検査画像を、複数のブロックに分割するブロック分割ステップと、上記ブロック分割ステップにより分割された各ブロックについて、ブロック内に存在する画素の画素データを加算した値であるブロック加算値を算出するブロック加算値算出ステップと、上記ブロック加算値の外れ値があるかを統計的処理により判定することで上記欠陥領域の有無を判定する欠陥領域有無判定ステップとを備えていることを特徴としている。
【００８６】
また、本発明の欠陥検出方法は、自身の周囲の領域に比べて画素データが不均一に変化する領域である欠陥領域を、デジタル画像内から検出する欠陥検出方法であって、（ｎ／３）×（ｍ／３）のサイズを有するブロックが、９個集合することにより構成されるフィルタであって（ｎ、ｍは画素数で３の倍数）、上記（ｎ／３）×（ｍ／３）のサイズを有するブロックのそれぞれが画素データを積分するものとして構成され、なおかつ、２次微分を行うハイパスフィルタとして構成されるｎ×ｍラプラシアンフィルタを用いて、上記欠陥領域を検出する対象となる被検査画像における上記欠陥領域を顕在化させるフィルタリング処理ステップを備えていることを特徴としている。
【００８７】
上記構成の欠陥検出方法によれば、各ステップにおいて本発明の欠陥検出装置と同様の処理が実現されているので、本発明の欠陥検出装置と同様の作用効果を得ることができる。
【００８８】
なお、コンピュータに上記欠陥検出方法を実行させる欠陥検出プログラムにより、コンピュータを用いて本発明の欠陥検出方法と同様の作用効果を得ることができる。さらに、上記欠陥検出プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記欠陥検出プログラムを実行させることができる。
【発明の効果】
【００８９】
本発明によれば、デジタル画像に発生する欠陥領域の有無を、短時間かつコンパクトな回路構成で判定することができる。
【発明を実施するための最良の形態】
【００９０】
〔１．装置の基本構成〕
本発明の欠陥検出装置に係る一実施形態について、図１を用いて説明する。図１に示すように、本実施形態の欠陥検出装置１は、画像縮小部（画像縮小手段）２と、点欠陥除去部（点欠陥除去手段）３と、フィルタリング部（フィルタリング処理手段）４と、ブロック分割部（ブロック分割手段）５と、ブロック加算値算出部（ブロック加算値算出手段）６と、統計処理部（欠陥領域有無判定手段）７と、良否判定部（欠陥領域有無判定手段）８と、メモリ９とを備えている。
【００９１】
画像縮小部２は、被検査画像の縦横サイズを小さくして、被検査画像を縮小する処理を行うものである。これにより、被検査画像のデータ量が削減されるとともに、被検査画像内に存在するシミ欠陥・ムラ欠陥を強調させることができる。
【００９２】
点欠陥除去部３は、たとえば点欠陥除去フィルタを用いて、被検査画像における点欠陥を除去する処理を行うものである。点欠陥除去フィルタの詳細については上述したとおりである。
【００９３】
なお、上述の画像縮小部２および点欠陥除去部３は、必ずしも欠陥検出装置１の内部に設けられている必要はなく、欠陥検出装置１の外部の装置に設けてもよい。たとえば、欠陥検出装置１の外部装置としてのイメージセンサデバイスやデジタル画像品質テスタに、画像縮小部２または点欠陥除去部３を設けてもよい。
【００９４】
フィルタリング部４は、ｎ×ｍラプラシアンフィルタ（詳細は後述する）を用いて、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出を行うものであり、欠陥検出装置１を特徴付ける１つの要素である。フィルタリング部４における処理の詳細に関しては、後述する。
【００９５】
ブロック分割部５は、被検査画像をメッシュ状に分割して、複数のブロックを生成するものであり、欠陥検出装置１を特徴付けるもう１つの要素である。上記ブロックは、正方形でも長方形でも良く、さらには各ブロックの面積が同じならば、そのブロックの形状は問わない。なお、ブロックサイズの決定方法については後述する。
【００９６】
ブロック加算値算出部６は、ブロック分割部５により分割された複数のブロックのそれぞれについて、ブロック内の全ての画素についての画素データを加算した値であるブロック加算値を求めるものである。
【００９７】
統計処理部７は、シミ欠陥やムラ欠陥が存在するブロックを検出するべく、ブロック加算値算出部６にて算出されたブロック加算値を統計処理するものである。つまり、ブロック内にシミ欠陥・ムラ欠陥などの異常があれば、その欠陥が存在するブロックのブロック加算値は統計的に外れた値となる。そこで、統計処理部７は、複数ブロックのそれぞれについて求められたブロック加算値の最大値・平均値・標準偏差を求めるという統計処理を行う。
【００９８】
良否判定部８は、ブロック加算値の最大値に対して外れ値判定を行い、そのブロック加算値が外れ値か否かを判定することで、被検査画像そのものの良否を判定し、その結果を外部に出力するものである。外れ値の判定は、次の式（１）で行う。
【００９９】
評価値（最大値）＝（最大値−平均値）／標準偏差≧判定閾値  …式（１）
なお、式（１）における最大値、平均値、標準偏差は、統計処理部７により求められたブロック加算値に関するものである。また、良否判定部８が判定閾値を決定する方法については後述する。
【０１００】
さらに、良否判定部８においては、ブロック分割部５により分割された複数のブロックのそれぞれについて、シミ欠陥・ムラ欠陥が含まれているかどうかを判定してもよい。この場合、良否判定部８は、下記の式（２）を用いて、各ブロックにシミ欠陥・ムラ欠陥が含まれているかどうかを判定する。
【０１０１】
評価値＝（各ブロックのブロック加算値−平均値）／標準偏差≧判定閾値  …式（２）
で判定する。
【０１０２】
なお、式（２）における平均値、標準偏差は、統計処理部７により求められたブロック加算値に関するものである。また、判定閾値を決定する方法については後述する。
【０１０３】
また、上述の統計処理部７および良否判定部８は、必ずしも欠陥検出装置１の内部に設けられている必要はなく、欠陥検出装置１の外部の装置に設けてもよい。たとえば、欠陥検出装置１の外部装置としてのイメージセンサデバイスやデジタル画像品質テスタに、統計処理部７または良否判定部８を設けてもよい。
【０１０４】
メモリ９は、欠陥検出装置１における各種処理に必要なフィルタ、パラメータ、演算結果を記憶するものである。たとえば、メモリ９は、フィルタリング部４において用いるｎ×ｍラプラシアンフィルタ、ブロック加算値算出部６にて求められるブロック加算値、統計処理部７にて求められるブロック加算値の平均値等、および良否判定部８から出力される良否判定結果を記憶する。
【０１０５】
以上の構成により、欠陥検出装置１は、被検査画像内に存在するシミ欠陥あるいはムラ欠陥を検出することで、被検査画像の良否を判定する。特に、本実施形態の欠陥検出装置１において特徴的であるのは、
（１）フィルタリング部４において、ｎ×ｍラプラシアンフィルタを用いて、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出を同時に行っているという点、および、
（２）ブロック分割部５において、被検査画像をメッシュ状に分割して、複数のブロックを生成するという点にある。
【０１０６】
つまり、従来技術においては、欠陥顕在化処理において複数回のフィルタ処理を行っていたので、イメージセンサデバイスのテスト時間が長大になるという課題があった。この課題に対して、本実施形態の欠陥検出装置１は、ｎ×ｍラプラシアンフィルタを用いて、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出を同時に行っている。これにより、被検査画像の良否判定に伴う演算量を低減し、テスト時間を大幅に短縮することが可能となっている。
【０１０７】
また、イメージセンサデバイスのテスト時間が長大になるという従来の課題は、本実施形態の欠陥検出装置１では、ブロック分割部５において、被検査画像をメッシュ状に分割して、複数のブロックを生成するという点からも解決されている。つまり、ブロック分割することにより、被検査画像の良否判定に必要なデータ量が低減され、テスト時間を大幅に短縮することが可能とされている。
【０１０８】
また、本実施形態の欠陥検出装置１を特徴付けるフィルタリング部４およびブロック分割部５のいずれの構成においても、原画像や縮小画像をメモリに記憶しておく必要がない。したがって、本実施形態の欠陥検出装置１は、メモリに必要な記憶容量を低減し、回路構成を小さくすることができるという利点がある。
【０１０９】
特に、本実施形態の欠陥検出装置１は、ｎ×ｍラプラシアンフィルタを用いて、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出を同時に行う。これにより、本実施形態の欠陥検出装置１は、フィルタ処理を実行する回数が従来よりも低減されており、小さな回路構成にて実現することができる。
【０１１０】
〔２．処理フローの概要〕
次に、本実施形態の欠陥検出装置１により実現される欠陥検出方法のフローについて、図２を用いて説明する。
【０１１１】
図２に示すように、本実施形態の欠陥検出方法は、大別すると欠陥顕在化処理（Ｓ１０）および欠陥領域抽出処理（Ｓ２０）の２工程からなる。より具体的に説明すると、欠陥顕在化処理（Ｓ１０）は、画像縮小部２により実行される画像縮小処理（Ｓ１１）と、点欠陥除去部３により実行される点欠陥除去処理（Ｓ１２）と、フィルタリング部４により実行されるフィルタリング処理（Ｓ１３）とからなる。また、欠陥領域抽出処理（Ｓ２０）は、ブロック分割部５により実行されるブロック分割処理（Ｓ２１）と、ブロック加算値算出部６により実行されるブロック加算値算出処理（Ｓ２２）と、統計処理部７により実行される統計処理（Ｓ２３）と、良否判定部８により実行される良否判定処理（Ｓ２４）とからなる。
【０１１２】
これらの欠陥検出方法を構成する各処理のうち、Ｓ１３のフィルタリング処理と、Ｓ２１のブロック分割処理により、本実施形態の欠陥検出方法は特徴付けられる。そこで、先ず、フィルタリング処理およびブロック分割処理の詳細について説明する。
【０１１３】
〔３．フィルタリング処理の詳細〕
Ｓ１３のフィルタリング処理は、上述したとおり、フィルタリング部４により実行されるものであり、ｎ×ｍラプラシアンフィルタを用いて、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出が同時に行われる。
【０１１４】
まず、「ｎ×ｍラプラシアンフィルタ」の意味について説明する。ｎ×ｍラプラシアンフィルタとは、２次微分を行うハイパスフィルタである。また、ｎとｍは、画素数で３の倍数である。すなわち、図３に示すように、ｎ×ｍラプラシアンフィルタ１０は、（ｎ／３）×（ｍ／３）のサイズを有するブロック（１０ａ〜１０ｉ）が、９個集合することにより構成されている。
【０１１５】
つまり、図３に示すｎ×ｍラプラシアンフィルタ１０は、中央のブロック１０ｅについて重み係数「４」が設定されており、このブロック１０ｅに隣接するブロック１０ｂ・１０ｄ・１０ｆ・１０ｈについて重み係数「−１」が設定されているが、重み係数はこれ以外の値に設定してもよい。要は、中央のブロック１０ｅの重み係数と、中央ブロックの周囲に存在する８つのブロック（１０ａ・１０ｂ・１０ｃ・１０ｄ・１０ｆ・１０ｇ・１０ｈ・１０ｉ）の重み係数との和が０となっていればよい。さらに、周囲に存在する８つのブロックの重み係数は、均等あるいは上下左右対称に設定されていることが好ましい。
【０１１６】
また、図３に示すｎ×ｍラプラシアンフィルタ１０は、左上に配置されたブロック１０ａ、右上に配置されたブロック１０ｃ、左下に配置されたブロック１０ｇ、および右下に配置されたブロック１０ｉについて、重み係数が０に設定されている。
【０１１７】
さらに、ｎ＝９、ｍ＝９の場合におけるｎ×ｍラプラシアンフィルタ（９×９ラプラシアンフィルタ）の構成について、図４を用いて説明する。図４に示すように、９×９ラプラシアンフィルタ１１は、３×３のサイズを有するブロック（１１ａ〜１１ｉ）が９個集合することで構成される。
【０１１８】
この９×９ラプラシアンフィルタ１１においては、中央のブロック１１ｅを構成する９つの重み係数が全て「４」に設定されている。また、このブロック１１ｅに隣接するブロック１１ｂ・１１ｄ・１１ｆ・１１ｈについては、各ブロックを構成する９つの重み係数が全て「−１」に設定されている。さらに、残りのブロック１１ａ・１１ｃ・１１ｇ・１１ｉについては、９つの重み係数が全て「０」に設定されている。
【０１１９】
図５に、９×９ラプラシアンフィルタ１１について用いられる演算式を示す。なお、９×９ラプラシアンフィルタのように、サイズが９×９のフィルタは、フィルタ処理の対象となる画像における端部付近のように、上下左右に４画素分の距離内に画素が存在しない領域については演算を行うことができない。よって、フィルタリング処理の際には、各画素を走査するためのループの初期値と最終値に注意が必要となる。
【０１２０】
そして、上述のｎ×ｍラプラシアンフィルタを用いることで、シェーディング除去、ノイズ成分低減、およびシミ欠陥のエッジ検出が同時に行われる。この理由について以下に説明する。
【０１２１】
（理由１）ｎ×ｍラプラシアンフィルタは２次微分を行うハイパスフィルタである。したがって、シェーディング成分より高次のエッジを検出することができるとともに、シェーディング成分自体は除去することができる。
【０１２２】
（理由２）ｎ×ｍラプラシアンフィルタは、（ｎ／３）×（ｍ／３）のサイズを有するブロックが、９個集合することにより構成されている。この（ｎ／３）×（ｍ／３）のサイズを有するブロックのそれぞれは、画素データを積分するので、ノイズ成分を除去することが可能である。
【０１２３】
なお、経験的に、シミ欠陥・ムラ欠陥の大きさに対して、３×３ラプラシアンフィルタよりもサイズが大きいラプラシアンフィルタの方が、欠陥の検出感度がよい。特にコントラスト差が小さいシミ欠陥などについては、サイズが大きなラプラシアンフィルタの方が検出感度がよくなる。
【０１２４】
〔４．ｎ×ｍラプラシアンフィルタの変形例〕
上述のｎ×ｍラプラシアンフィルタを用いると、１つの注目画素についてフィルタ演算後の画素データを得るために、注目画素を中心としたｎ×ｍ個の画素についての画素データを用いて、積和演算をする必要がある。たとえば、９×９ラプラシアンフィルタでは、被検査画像の画素数をＮとすると合計８１Ｎ回の積和演算を行うことになる。
【０１２５】
なお、本実施形態においては、乗算１回および加算１回を、積和演算１回とみなしているが、厳密な意味においては、フィルタ係数が「０」に設定されている画素については、乗算および加算が不要になるので、積和演算が全く行われないといえる。また、フィルタ係数が「１」に設定されている画素については、乗算が不要になるが、加算は必要であるので、１回の積和演算が行われないといえる。
【０１２６】
これを考慮すると、図４の９×９フィルタを用いる場合、合計４５Ｎ回の積和演算を行うことになる。
【０１２７】
このｎ×ｍラプラシアンフィルタの積和演算の回数は、２種類のフィルタを準備してフィルタ演算を２段階に分けることで低減することができる。たとえば、９×９ラプラシアンフィルタの積和演算の回数は、図６（ａ）に示す第１フィルタ１２と、図６（ｂ）に示す第２フィルタ１３とを準備することで低減することができる。
【０１２８】
ここで、第１フィルタ１２は、図６（ａ）に示すように、３×３のサイズを有しており、フィルタを構成する９つの重み係数が全て「１」に設定されているフィルタである。また、第２フィルタ１３は、９×９のサイズを有している構成であり、３×３のサイズを有するブロック（１３ａ〜１３ｉ）が９個集合することで構成される。
【０１２９】
さらに、第２フィルタ１３の中央に位置するブロック１３ｅにおいては、中央の重み係数だけが「４」に設定されており、その周囲の８つの重み係数は全て「０」に設定されている。また、ブロック１３ｅに隣接するブロック１３ｂ・１３ｄ・１３ｆ・１３ｈのそれぞれについては、中央の重み係数だけが「−１」に設定されており、その周囲の８つの重み係数は全て「０」に設定されている。残りのブロック１３ａ・１３ｃ・１３ｇ・１３ｉについては、９つの重み係数が全て「０」に設定されている。
【０１３０】
そして、９×９ラプラシアンフィルタと同様の積和演算は、上記構成の第１フィルタ１２および第２フィルタ１３を用いて２段階のフィルタ演算を行うことにより実現することができる。ここで、第１フィルタ１２および第２フィルタ１３による演算は、９画素の積和演算を２回実施する形式となるので、合計１８Ｎ回の積和演算で終了させることができる。このようにして、９×９ラプラシアンフィルタによる演算回数を低減させることができる。なお、第１フィルタ１２および第２フィルタ１３について用いられる演算式を、図７に示す。
【０１３１】
なお、ｎ×ｍラプラシアンフィルタの演算回数も、第１フィルタ１２および第２フィルタ１３と同様に２種類のフィルタを設けることで低減させることができる。
【０１３２】
つまり、第１フィルタとして、（ｎ／３）×（ｍ／３）のサイズを有するフィルタで、フィルタを構成する全ての重み係数が、「１」等の等しい値に設定されたものを準備する。また、第２フィルタとして、（ｎ／３）×（ｍ／３）のサイズを有するブロックが９個集合することにより形成されるフィルタを準備する。そして、第２フィルタの重み係数については、第２フィルタの中央ブロック（９個のブロックのうち中央に位置するブロック）における中央の重み係数と、中央ブロックを取り囲む８つのブロックのそれぞれにおける中央の重み係数との和が、０となるように設定し、さらにそれ以外の重み係数は０に設定する。なお、中央のブロックを取り囲む８つのブロックのそれぞれにおける中央の重み係数は、均等にあるいは上下左右対称に設定されることが好ましい。
【０１３３】
ただし、ｎ＝６， ｍ＝６の場合には、第１フィルタは２×２のサイズになる一方、第２フィルタは６×６のサイズになる。そうすると、「ブロックの中央の重み係数」が存在しなくなる。
【０１３４】
この場合は、第２フィルタにおいて、中央ブロックにおける中心に最も近い重み係数と、中央ブロックを取り囲む８つのブロックのそれぞれにおける中心に最も近い重み係数との和が、０となるように設定し、さらにそれ以外の重み係数は０に設定すればよい。
【０１３５】
〔５．ブロック分割処理の詳細〕
次に、ブロック分割部５（図１）により実行されるブロック分割処理（図２のＳ２１参照）について説明する。
【０１３６】
たとえば、図８に示すように、被検査画像２０が、横７３画素×縦４３画素のサイズであるとする。この場合、被検査画像２０は、たとえば、１ブロックが５×５画素の領域を有するよう、複数のブロックに分割することが可能である。
【０１３７】
また、ブロックの形状は、正方形でも長方形でもよいし、更には面積が均一ならその形状は問わない。さらに、１ブロックのサイズによっては、被検査画像を左上から順に分割していくと、被検査画像の端においてブロックに含まれない画素が存在する場合がる。その場合は、図８の破線に示すように、画像の端にあわせるようにブロック分割を行えばよい。さらには、ブロックの分割は、特に左上から順でなくてもよく、被検査画像の全画素を含むように分割できればよい。
【０１３８】
さらに、ブロックサイズは、画像の総画素数、欠陥検出感度、良否判定部８の判定結果にノイズが与える影響、または演算量などから、適切な値を設定する。
【０１３９】
つまり、各ブロックのサイズを大きくすると、良否判定部８の判定結果にノイズが与える影響を削除できるが、シミ欠陥・ムラ欠陥の検出感度が低下する。一方、各ブロックのサイズを小さくすると、ノイズ成分や、点欠陥除去部３が除去しきれていない点欠陥成分が検出されてしまうが、シミ欠陥・ムラ欠陥の検出感度が向上する。このようなトレードオフ関係を考慮して、ブロックサイズを適切に設定すればよい。なお、トレードオフ関係を表１に示す。
【０１４０】
【表１】
0004657869.tif 000002
【０１４１】
このように、決定されたブロックサイズに基づいて、ブロック分割部５は被検査画像を複数のブロックに分割し、ブロック加算値算出部６は、分割された各ブロックについてブロック加算値を算出する。図９に、ブロック加算値を演算するための式を示す。
【０１４２】
また、図１０（ａ）に示すように、シミ欠陥がブロックの境界にまたがるように分布して発生する場合がある。この場合、隣接する２ブロックのそれぞれにおけるブロック加算値の双方にシミ欠陥が影響を与え、欠陥検出の感度が低下する可能性がある。
【０１４３】
しかしながら、図１０（ｂ）に示すように、隣り合うブロック同士を重ね合わせるように分割することで、欠陥検出感度の低下を抑えることができる。つまり、現在のブロックと、次の列のブロックまたは次の行のブロックとが重なり合うように、順次ブロックを分割する。これにより、シミ欠陥の影響を１つのブロック内に収められることができ、シミ欠陥が２ブロックのブロック加算値に影響を与えることを防止できる。
【０１４４】
さらに、ブロック分割処理が、従来のラベリング処理よりも好適な理由について、以下に説明する。従来技術では、ラベリング処理を行う前の工程である２値化処理やノイズ除去処理に多くの工数が必要である。また、従来技術における２値化処理の閾値によっては、実際の欠陥領域だけでなく、欠陥顕在化処理で十分に除去できていない点欠陥成分やノイズ成分もシミ欠陥・ムラ欠陥の候補となり、２値化するための閾値の決め方が難しい。この問題に対し、従来技術では膨張・収縮処理などで２値画像の凹凸のノイズを除去するが、その際に程度が小さいシミ欠陥・ムラ欠陥の候補も除去してしまう可能性がある。
【０１４５】
それに対して、本実施形態のようにブロック分割処理を行うことで、扱うデータ数を大幅に小さくすることが可能となり、良否判定処理を高速に行うことができる。また、ブロック分割処理によれば、２値化処理とは異なり、欠陥のない領域に関する情報を落とすことなく、画像の領域全体について欠陥が存在し得る可能性をブロック加算値により定量評価し、欠陥のない領域と欠陥のある領域との相対比較で良否判定をするため、目視による欠陥領域の検査との相関が高い。
【０１４６】
〔６．良否判定処理の詳細〕
次に、良否判定部８（図１）により実行される良否判定処理（図２のＳ２４参照）について説明する。先ず、良否判定部８は、上述したとおり、判定閾値を用いてブロック加算値の最大値が外れ値か否かを判定する。この判定閾値を決定する方法を以下に説明する。
【０１４７】
図１１は、ブロック加算値の分布を示すヒストグラムの一例である。図１１において、横軸はブロック加算値、縦軸はブロック数を表している。被検査画像が良品のイメージセンサデバイスから得られた画像であれば、欠陥顕在化処理（Ｓ１０）で除去できなかったノイズ成分が支配的となり、ブロック加算値の分布は正規分布に近い形を示す。
【０１４８】
そこで、ブロック加算値の平均および標準偏差を、統計処理部７（図１参照）により求めるとともに、以下の式に基づき判定閾値を良否判定部８により決定する。
【０１４９】
判定閾値＝平均＋ａ×標準偏差  （ａは定数）
そして、判定閾値よりも大きいブロック加算値が存在する場合、良否判定部８は、被検査画像にシミ欠陥・ムラ欠陥が存在し、被検査画像が不良であると判定する。
【０１５０】
なお、上記定数ａは、基準となる良品画像を１つまたは複数個用意し、各良品画像についてブロック加算値を求め、
ａ＝（ブロック加算値の最大値−ブロック加算値の平均値）／ブロック加算値の標準偏差
として決定してもよい。
【０１５１】
または、スミルノフ・グラブス棄却検定を用いて、データ数ｎと棄却域α（＝０．０１など）から、定数ａを決定してもよい。なお、スミルノフ・グラブス棄却検定とは、同じ母集団からのサンプルデータに対して、統計的な外れ値を検定する方法である。この方法を用いると、有意水準（棄却域ともいう、通常、０．０１, ０．０５の値がよく用いられる）とサンプルデータ数を決定することで、検定対象のデータが外れ値か否かを決める閾値を一意的に決定することができる。
【０１５２】
なお、良否判定に用いられる値（評価値）は、標準偏差で正規された値となっているので、判定閾値は、絶対値でなく、標準偏差に対する倍率（定数ａ）を考慮した値として設定されている。このように判定閾値を設定することで、被検査画像間の輝度ばらつきに影響されない良否判定が可能となる。
【０１５３】
次に、良否判定処理のフローについて説明する。被検査画像から生成されるブロック毎に良否判定を行う場合のフローを図１２に示す。
【０１５４】
先ず、良否判定部８は、被検査画像内で良否判定処理が未だ行われていないブロックを１つ選択し（Ｓ３０）、選択されたブロックにおける評価値を求める（Ｓ３１）。なお、評価値は、下式に基づき求められる。
【０１５５】
評価値＝（選択されたブロックにおけるブロック加算値−平均値）／標準偏差
そして、良否判定部８は、評価値と判定閾値とを比較し（Ｓ３２）、評価値が判定閾値以上ならば、被検査画像が不良であると判定し、そのブロックの座標と評価値をメモリに書き込む（Ｓ３３）。
【０１５６】
一方、評価値が判定閾値未満であれば、良否判定部８は、被検査画像が良好であると判定し、まだ良否判定の処理が行われていないブロック（未処理ブロック）があるか否かを判断する（Ｓ３４）。未処理ブロックがあるようであれば、Ｓ３０の処理に戻る。
【０１５７】
Ｓ３４の判断において未処理ブロックがないと判断された場合、被検査画像における欠陥の有無をメモリに書き込む（Ｓ３５）。Ｓ３５では、Ｓ３３でメモリに書き込んだか否かで画像の良否判定を行ってもよいし、Ｓ３３で書き込んだ評価値をさらに判定して、その被検査画像の品質のランクを求めて、メモリに書き込む処理を行っても良い。
【０１５８】
この被検査画像の品質のランクを求める処理について、具体的な説明を行う。品質のランクを求めるためには、評価値と判定閾値との差の大きさに応じて、複数のランクを設定することが可能である。たとえば、評価値と判定閾値との差の大きさについて、「大」・「中」・「小」という３段階の基準を設けるとともに、被検査画像の品質ランクについても「不良程度大」・「不良程度中」・「不良程度小」という３段階の基準を設けてもよい。または、判定閾値を複数設けることで、被検査画像の品質ランクを評価してもよい。
【０１５９】
また、良否判定処理は、上述したように被検査画像から生成される各ブロックについて行うもの以外に、ブロック加算値の最大値に基づいて行うことも可能である。この場合の処理フローについて、図１３を用いて説明する。
【０１６０】
まず、良否判定部８は、評価値を下式に基づき求める（Ｓ４０）。
【０１６１】
評価値＝（ブロック加算値の最大値−ブロック加算値の平均値）／標準偏差
そして、良否判定部８は、Ｓ４０にて求められた評価値と判定閾値との大小比較を行い（Ｓ４１）、Ｓ４２またはＳ４３にてその判定結果をメモリに書き込む。
【０１６２】
〔７．実際の画像を用いた説明〕
以下、上記構成の欠陥検出装置１によりシミ欠陥が検出されるまでの過程について、実際の画像を図面に示しながら説明する。
【０１６３】
まず、図１４（ａ）に示すように被検査画像が設定されており、その被検査画像内のＡ部分にシミ欠陥が発生しているとする（Ａ部分を拡大した図である図１４（ｂ）参照）。
【０１６４】
図１４（ｂ）のＡ部分における画素データを３次元的に表示すると、図１４（ｃ）に示すグラフのようになる。すなわち、図１４（ｃ）に示すように、シミ欠陥が発生している領域だけ、画素データが増加している。
【０１６５】
図１５（ａ）に、図１４（ｂ）に示す画像に対して、９×９ラプラシンアンフィルタによるフィルタリング処理を実行した後の画像を示す。また、図１５（ｂ）に、９×９ラプラシアンフィルタによりフィルタリング処理された後の画像の画素データを３次元的に表示したグラフを示す。図１４（ｃ）のグラフと図１５（ｂ）のグラフとを比較すると、図１５（ｂ）のグラフにおいては、シミ欠陥以外の領域で画素データが一定となっており、さらに、シミ欠陥領域と、それ以外の領域とにおいて、画素データの差がはっきりとでていることがわかる。このことから、９×９ラプラシアンフィルタを用いることで、図１４（ｂ）の画像のシェーディングが除去されるとともに、ノイズ成分も除去され、さらにシミ欠陥のエッジ検出も実現できることがわかる。
【０１６６】
さらに、図１５（ａ）に示す画像に対してブロック分割処理を行い、さらに各ブロックについてブロック加算値を求めた後の画像を、図１６（ａ）に示す。さらに、図１６（ａ）に示す画像におけるブロック加算値を、３次元的に表示したグラフを図１６（ｂ）に示す。図１６（ｂ）に示すように、シミ欠陥の領域においては、ブロック加算値が他の領域に比べて大きくなっている。この図１６（ｂ）に示す画像については、最終的に、図１６（ｃ）に示すように、欠陥領域が抽出される。
【０１６７】
また、図１４（ａ）に示す被検査画像に対して、本実施形態の欠陥検出方法により求められたブロック加算値の分布を図１７（ａ）に示す。さらに、図１７（ａ）のヒストグラムを統計処理し、ブロック加算値に関する最小値・最大値・平均値・標準偏差を求めた結果を図１７（ｂ）に示す。この図１７（ａ）に示すヒストグラム、および図１７（ｂ）に示す統計処理の結果に基づき、図１７（ｃ）に示すように判定閾値が設定される。
【０１６８】
〔８．実装例〕
次に、本実施形態の欠陥検出装置を用いるイメージセンサデバイスの検査システムの構成例をいくつか説明する。
【０１６９】
先ず、図１８に示すように、イメージセンサデバイス本体およびＤＳＰ部を有するイメージセンサモジュールと、イメージセンサデバイスのテスタ（デジタル画像品質テスタ）とから構成される検査システムを想定する。イメージセンサデバイス本体は、光源からの光を受光するものである。また、ＤＳＰ部は、ＲＧＢ分離部と、ＣＰＵ部と、複数のメモリとを備えている。これらのＤＳＰ部を構成する要素は、一般的なイメージセンサモジュールに設けられたＤＳＰ部を構成する要素と変わらないので、詳細な説明は省略する。
【０１７０】
図１８に示す検査システムの構成例においては、本実施形態の欠陥検出装置１がＤＳＰ部の内部に設けられている。このように、本実施形態の欠陥検出装置１は、イメージセンサモジュール内に実装することが可能である。このように、欠陥検出装置１を実装することのメリットとしては、以下の点を挙げることができる。
【０１７１】
・イメージセンサモジュール毎に演算・判定機能を持たせることができ、シミ欠陥・ムラ欠陥のパラレル処理が可能である
・イメージセンサモジュールから、デジタル画像品質テスタまたは画像処理装置へ画像データを転送する時間がなくなるため、検査時間の短縮が可能になる。
【０１７２】
さらに、欠陥検出装置１にて実行されるブロック加算値の標準偏差を求める演算では、二乗演算を行う過程が存在する。その演算をハードウェア化するのが厳しい場合は、欠陥検出装置１におけるブロック分割処理までをハードウェア実装し、その後の統計処理と良否判定処理とをデジタル画像品質テスタで行うことで、テスタ自体を簡素化することができる。
【０１７３】
なお、図１８に示す実装例におけるイメージセンサモジュールは、「イメージセンサデバイス」であってもよい。つまり、イメージセンサデバイスの一例であるＣＭＯＳセンサにおいては、当該ＣＭＯＳセンサ自体にＤＳＰ部が含まれている場合がある。
【０１７４】
このようなイメージセンサデバイスについては、その内部に設けられているＤＳＰ部に、本実施形態の欠陥検出装置１を設けることが可能である。このようにイメージセンサデバイス内のＤＳＰ部に欠陥検出装置１を設ける実装例は、図１８に示す実装例の変更態様としてとらえることができる。
【０１７５】
また、本実施形態の欠陥検出装置１は、イメージセンサモジュールの外部に実装することも可能である。つまり、図１９に示すように、たとえばＲＧＢ分離部、ＣＰＵ部、および複数のメモリを有する画像処理装置内に、本実施形態の欠陥検出装置１を実装することも可能である。
【０１７６】
なお、図１９に示す実装例においては、イメージセンサモジュールに含まれるイメージセンサデバイス（図示せず）から、画像処理装置内のメモリに被検査画像を入力してもよい。
【０１７７】
さらに、本実施形態の欠陥検出装置１は、デジタル画像品質テスタの内部に実装することも可能である。つまり、図２０に示すように、デジタル画像品質テスタ内に設けられた画像処理部に、本実施形態の欠陥検出装置１およびＲＧＢ分離部を設けることも可能である。
【０１７８】
なお、図２０に示す実装例においては、イメージセンサモジュールに含まれるイメージセンサデバイス（図示せず）から、デジタル画像品質テスタ内の画像処理部に被検査画像を入力してもよい。
【０１７９】
〔９．本実施形態の欠陥検出方法の演算量〕
本実施形態の欠陥検出方法における演算量と、従来技術における演算量とを定量的に比較した結果を以下に記載する。
【０１８０】
先ず、被検査画像の画素数をＮ、画像縮小率をａとしたうえで、従来技術における画像走査回数を見積もると以下のようになる。
【０１８１】
〔欠陥顕在化処理を構成する各処理の画像走査回数〕
・画像縮小処理…Ｎ
・シェーディング補正処理…３＊３＊Ｎ／（ａ＊ａ）
（各画素に対して３×３フィルタによる演算を実行した場合）
・ノイズ除去処理（平滑化フィルタ使用）…３＊３＊Ｎ／（ａ＊ａ）
・点欠陥除去処理…３＊３＊Ｎ／（ａ＊ａ）
・エッジ検出処理（ラプラシアンフィルタ使用）…３＊３＊Ｎ／（ａ＊ａ）
【０１８２】
〔欠陥領域抽出処理を構成する各処理の画像走査回数〕
・２値化処理…Ｎ／（ａ＊ａ）
・２値画像に対するノイズ除去処理…（３＊３＊Ｎ／（ａ＊ａ））＊３
（少なく見積もっても画像を３回走査する）
・ラベリング処理…Ｎ／（ａ＊ａ）
（少なく見積もっても画像を１回走査する）
・特徴量としてシミ面積を計算する処理…Ｎ／（ａ＊ａ）
・良否判定処理…欠陥領域抽出処理全体の画像走査回数から見ると微小な回数。
【０１８３】
一方、ブロック分割サイズ（画素数）をｂとすると、本実施形態の欠陥検出方法における画像走査回数は、以下のように見積もることができる。
【０１８４】
〔欠陥顕在化処理を構成する各処理の画像走査回数〕
・画像縮小処理…Ｎ
・点欠陥除去処理…３＊３＊Ｎ／（ａ＊ａ）
・フィルタリング処理…（３＊３＊Ｎ／（ａ＊ａ））＊２
９×９ラプラシアンフィルタによるフィルタリング処理を２段階に分けて行った場合（図６（ａ）および図６（ｂ）参照）
【０１８５】
〔欠陥領域抽出処理を構成する各処理の画像走査回数〕
・ブロック分割および加算値算出処理…Ｎ／（ａ＊ａ）
・統計処理…Ｎ／（ａ＊ａ＊ｂ＊ｂ）
・良否判定処理…Ｎ／（ａ＊ａ＊ｂ＊ｂ）。
【０１８６】
以上の画像走査回数について、Ｎ=４００万（画素）、画像縮小率ａ＝２、ブロック分割サイズ（画素数）ｂ＝４０を代入すると、以下のようになる。
【０１８７】
〔従来技術〕
・欠陥顕在化処理        …    ４０Ｍ
・欠陥領域抽出処理      …    ３０Ｍ
合計                        ７０Ｍ
【０１８８】
〔本実施形態の欠陥検出方法〕
・欠陥顕在化処理        …    ３１Ｍ
・欠陥領域抽出処理      …    １．００１Ｍ
合計                        ３２．００１Ｍ
このように、本実施形態の欠陥検出方法によれば、従来技術における欠陥顕在化処理とほぼ同様の画像走査回数により、被検査画像の良否判定を行うことができるといえる。
【０１８９】
〔１０．補足〕
さらに、本実施形態の欠陥検出装置により実行される欠陥検出方法は、コンピュータにて実行されるプログラムを記録したコンピュータ読み取り可能な記録媒体に、プログラムとして記録することもできる。この結果、本実施形態の欠陥検出方法を行うプログラムを記録した記録媒体を持ち運び自在に提供することができる。
【０１９０】
記録媒体としては、マイクロコンピュータで処理が行われるために図示しないメモリ、たとえばＲＯＭのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。
【０１９１】
いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。この場合、ダウンロード用のプログラムは予め本体装置に格納されているものとする。
【０１９２】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスクやハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１９３】
また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め受信機に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。
【産業上の利用可能性】
【０１９４】
本発明によれば、デジタル画像における欠陥領域の有無を、短時間かつコンパクトな回路構成で判定できる。特に、本発明は、高品質化が求められているイメージセンサデバイスの品質検査に好適である。さらに、本発明は、イメージセンサデバイスの出力画像だけでなく、液晶パネルを代表するフラットパネルに表示されるデジタル画像の検査にも応用が可能である。
【図面の簡単な説明】
【０１９５】
【図１】本発明の欠陥検出装置の一実施形態に係る構成を示すブロック図である。
【図２】本発明の欠陥検出方法の一実施形態を示すフローチャートである。
【図３】図１の欠陥検出装置が用いるｎ×ｍラプラシアンフィルタの一構成例を示す図である。
【図４】図１の欠陥検出装置が用いる９×９ラプラシアンフィルタの一構成例を示す図である。
【図５】図４の９×９ラプラシアンフィルタに用いられる演算式を示す図である。
【図６】図６（ａ）は、図４の９×９ラプラシアンフィルタによるフィルタリング処理を２段階に分けて実行する際に用いる第１フィルタの構成例を示す図であり、図６（ｂ）は、図４の９×９ラプラシアンフィルタによるフィルタリング処理を２段階に分けて実行する際に用いる第２フィルタの構成例を示す図である。
【図７】図６に示す第１フィルタおよび第２フィルタについて用いられる演算式を示す図である。
【図８】図１の欠陥検出装置により被検査画像を複数のブロックに分割した状態を示す図である。
【図９】図１の欠陥検出装置のブロック分割部がブロック加算値を求めるために用いる演算式を示す図である。
【図１０】図１０（ａ）は、シミ欠陥がブロックの境界にまたがるように分布して発生している状態を示す図であり、図１０（ｂ）は、図１のブロック分割部により隣り合うブロック同士を重ね合わせるように分割する状態を示す図であり。
【図１１】図１の欠陥検出装置のブロック加算値算出部により求められるブロック加算値の分布を示すヒストグラムの一例である。
【図１２】図１の欠陥検出装置における良否判定部が、被検査画像から生成されるブロック毎に良否判定を行う場合のフローチャートである。
【図１３】図１の欠陥検出装置における良否判定部が、ブロック加算値の最大値に基づいて良否判定を行う場合のフローチャートである。
【図１４】図１４（ａ）は、被検査画像の一例を示す図であり、図１４（ｂ）は、図１４（ａ）のＡ部分を拡大した画像の図であり、図１４（ｃ）は、図１４（ｂ）のＡ部分における画素データを３次元的に表示したグラフである。
【図１５】図１５（ａ）は、図１４（ｂ）に示す画像に対して、９×９ラプラシンアンフィルタによるフィルタリング処理を実行した後の画像の図であり、図１５（ｂ）は、図１５（ａ）に示す画像の画素データを３次元的に表示したグラフである。
【図１６】図１６（ａ）は、図１５（ａ）に示す画像のブロック加算値を求めた後の画像を示す図であり、図１６（ｂ）は、図１６（ａ）に示す画像におけるブロック加算値を、３次元的に表示したグラフであり、図１６（ｃ）は、図１６（ｂ）に示す画像の欠陥領域を抽出した状態を示す図である
【図１７】図１７（ａ）は、図１４（ａ）に示す被検査画像に対して、本発明の欠陥検出方法により求められたブロック加算値の分布を示すヒストグラムであり、図１７（ｂ）は、図１７（ａ）のヒストグラムを統計処理し、ブロック加算値に関する最小値・最大値・平均値・標準偏差を求めた結果を示す図であり、図１７（ｃ）は、図１７（ｂ）に示す統計処理の結果に基づき設定された判定閾値を示す図である。
【図１８】図１の欠陥検出装置を用いるイメージセンサデバイスの検査システムの構成例を示す図である。
【図１９】図１の欠陥検出装置を用いるイメージセンサデバイスの検査システムに係る他の構成例を示す図である。
【図２０】図１の欠陥検出装置を用いるイメージセンサデバイスの検査システムに係るさらに他の構成例を示す図である。
【図２１】デジタル画像に発生する「点欠陥」、「シミ欠陥」、および「ムラ欠陥」を模式的に示した図である。
【図２２】デジタル画像に発生するシェーディングを示す図である。
【図２３】従来の欠陥検出方法を示すフローチャートである。
【図２４】図２４（ａ）は、平滑化フィルタの一例を示す図であり、図２４（ｂ）は、ラプラシアンフィルタの一例を示す図である。
【図２５】図２４（ａ）および図２４（ｂ）に示したフィルタに用いられる演算式を示す図である。
【図２６】膨張・収縮処理により、２値化処理後の被検査画像１５０からノイズが除去されるまでの過程を説明するための図である。
【図２７】従来の欠陥検出方法に用いられるラベリング処理を説明するための図である。
【符号の説明】
【０１９６】
１  欠陥検出装置
２  画像縮小部（画像縮小手段）
３  点欠陥除去部（点欠陥除去手段）
４  フィルタリング部（フィルタリング処理手段）
５  ブロック分割部（ブロック分割手段）
６  ブロック加算値算出部（ブロック加算値算出手段）
７  統計処理部（欠陥領域有無判定手段）
８  良否判定部（欠陥領域有無判定手段）
１０  ｎ×ｍラプラシアンフィルタ
１２  第１フィルタ
１３  第２フィルタ
【図１】
0004657869.tif 000003
【図２】
0004657869.tif 000004
【図３】
0004657869.tif 000005
【図４】
0004657869.tif 000006
【図５】
0004657869.tif 000007
【図６】
0004657869.tif 000008
【図７】
0004657869.tif 000009
【図８】
0004657869.tif 000010
【図９】
0004657869.tif 000011
【図１０】
0004657869.tif 000012
【図１１】
0004657869.tif 000013
【図１２】
0004657869.tif 000014
【図１３】
0004657869.tif 000015
【図１７】
0004657869.tif 000016
【図１８】
0004657869.tif 000017
【図１９】
0004657869.tif 000018
【図２０】
0004657869.tif 000019
【図２１】
0004657869.tif 000020
【図２３】
0004657869.tif 000021
【図２４】
0004657869.tif 000022
【図２５】
0004657869.tif 000023
【図２６】
0004657869.tif 000024
【図２７】
0004657869.tif 000025
【図１４】
0004657869.tif 000026
【図１５】
0004657869.tif 000027
【図１６】
0004657869.tif 000028
【図２２】
0004657869.tif 000029