(57)【要約】【課題】  誤検出を防ぎ、シミ欠陥以外の欠陥を検出することなく、コントラストの低いシミ欠陥を正確かつ高精度に自動検出するシミ欠陥の検出方法及びその検出装置を提供する。【解決手段】  検査対象の画面を撮像する工程と、撮像により取り込まれた画像から、予め作成しておいた背景画像との差をとる工程と、その背景差分画像の平坦化処理を行う工程と、その平坦化画像から複数段階の縮小画像を作成する工程と、前記縮小画像のそれぞれに対して４つの２次元微分フィルタを用いて欠陥強調のためのフィルタ処理を行う工程と、前記フィルタ処理結果に基づく輝度差（コントラスト）の最小値と、予め設定された階段状のシミ検出閾値とを比較してシミ欠陥を検出する工程とを有する。【選択図】        図２
2005249415.tif 000002
【特許請求の範囲】
【請求項１】
検査対象の画面を撮像する工程と、
撮像により取り込まれた画像から、予め作成しておいた背景画像との差をとる工程と、
その背景差分画像の平坦化処理を行う工程と、
その平坦化画像から複数段階の縮小画像を作成する工程と、
前記縮小画像のそれぞれに対して４つの２次元微分フィルタを用いて欠陥強調のためのフィルタ処理を行う工程と、
前記フィルタ処理結果に基づく輝度差（コントラスト）の最小値と、予め設定された階段状のシミ検出閾値とを比較してシミ欠陥を検出する工程と、
を有することを特徴とするシミ欠陥の検出方法。
【請求項２】
前記４つの２次元微分フィルタは、中央領域とその周辺領域の平均輝度の差（コントラスト）を求めるものであって、縦方向の成分のみでシミ欠陥を検出するフィルタ、横方向の成分のみでシミ欠陥を検出するフィルタ、＋４５度方向の成分のみでシミ欠陥を検出するフィルタ、および−４５度方向の成分のみでシミ欠陥を検出するフィルタからなり、これら４つのフィルタ処理結果のうち平均輝度差（コントラスト）の最小値を前記階段状のシミ検出閾値とを比較してシミ欠陥を検出することを特徴とする請求項１記載のシミ欠陥の検出方法。
【請求項３】
前記フィルタ処理は、明欠陥、暗欠陥の両方に対して行われることを特徴とする請求項１または２記載のシミ欠陥の検出方法。
【請求項４】
シミ欠陥が検出された画像の全画素の輝度値の統計データを計算する工程と、
その統計データをもとに計算して閾値を決定し欠陥候補を抽出する工程と、
前記欠陥候補について、前記階段状のシミ検出閾値が複数上下に設定されたランク判定テーブルを用いてランク判定を行う工程と、
をさらに有することを特徴とする請求項１乃至３のいずれかに記載のシミ欠陥の検出方法。
【請求項５】
前記抽出された欠陥候補について、欠陥候補の特性値を求めるｂｌｏｂ処理を行い、ｂｌｏｂ処理により求められた欠陥候補の特性値と前記輝度統計データに基づいて評価値を算出する工程をさらに有することを特徴とする請求項４記載のシミ欠陥の検出方法。
【請求項６】
取り込み画像のデータは、１２ビット階調以上であることを特徴とする請求項１乃至５のいずれかに記載のシミ欠陥の検出方法。
【請求項７】
前記背景画像は、同一の光学系および同一の撮像系により撮像された複数の画像を平均化したものであることを特徴とする請求項１乃至６のいずれかに記載のシミ欠陥の検出方法。
【請求項８】
前記背景差分画像をもとに、前記検査対象の画面を含む画像から表示エリアを抽出し、この表示エリアに幾何学的変形を施して長方形にする工程をさらに有することを特徴とする請求項１乃至７のいずれかに記載のシミ欠陥の検出方法。
【請求項９】
検査対象の画面を撮像する撮像手段と、
前記撮像手段により取り込まれた画像の画像処理手段とを備え、
前記画像処理手段は、複数段階に縮小された縮小画像に対して欠陥強調処理を行うための４つの２次元微分フィルタと、
シミ欠陥を検出するための閾値を階段状に設定した閾値テーブルとを有することを特徴とするシミ欠陥の検出装置。
【請求項１０】
前記４つの２次元微分フィルタは、中央領域とその周辺領域の平均輝度の差（コントラスト）を求めるものであって、縦方向の成分のみでシミ欠陥を検出するフィルタ、横方向の成分のみでシミ欠陥を検出するフィルタ、＋４５度方向の成分のみでシミ欠陥を検出するフィルタ、および−４５度方向の成分のみでシミ欠陥を検出するフィルタからなることを特徴とする請求項９記載のシミ欠陥の検出装置。
【請求項１１】
前記２次元微分フィルタは、３ｎ×３ｎ画素の領域からなり、フィルタ構成数値として、中央領域を２、縦方向、横方向、＋４５度方向、および−４５度方向の周辺領域を−１、そのほかの領域を０とするフィルタであることを特徴とする請求項９または１０記載のシミ欠陥の検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、液晶パネル等の検査工程において、画面のシミ欠陥を自動的に検出するシミ欠陥の検出方法及びその検出装置に関する。
【背景技術】
【０００２】
液晶表示装置等の画面に現れる欠陥の中の一つにシミ欠陥と呼ばれるものがある。シミ欠陥とは、表示画面のある領域が他の領域と輝度の差がある状態であり、ある程度狭い範囲で、周りに比べて明るい部分や暗い部分がある状態である。しかし、厳密な定義はなく欠陥サイズの小さいムラ欠陥あるいはシミ欠陥と呼ばれている。かかるムラ欠陥もしくはシミ欠陥は画質を落とすものであるから、表示体の外観検査の対象となっている。従来は人による目視検査が普通であったが、最近では自動検査が行われるようになってきている。ムラ欠陥もしくはシミ欠陥に対する自動的な検査方法には既に多くの提案があり、例えば、特許文献１がある。
特許文献１は、点状ムラの検出方法に関するものであり、撮像により得られた２次元画像のある座標に位置する画素からＸ軸方向へＷｘ（Ｗｘは１以上の整数）、Ｙ軸方向へＷｙ（Ｗｙは１以上の整数）画素の占める領域に位置する全画素の平均輝度値と、該領域の周辺部の、該領域からＤ（Ｄは１以上の整数）画素外側に位置する幅Ｈ（Ｈは１以上の整数）画素のドーナツ状領域に位置する全画素の平均輝度値を求め、これらの平均輝度値の差を、予め設定したムラ検出の閾値と比較してムラ欠陥を検出する方法である。
【０００３】
【特許文献１】特開２００１−２４３３４７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の検出方法では、点状ムラの外周部付近で、検出処理により発生する、検出すべき点状ムラの成分とは逆方向成分を検出することがある。例えば、白い点状ムラを検出しようとする場合に黒い点状ムラの成分も検出することがあり、このような逆方向成分の検出により誤検出をする可能性がある。
また、同じ画面上に存在するスジ状の欠陥を検出したくない場合において、コントラストが低いものを検出しようとするときに、点状ムラと同時にスジ状欠陥も検出してしまうため、検出精度があげられないといった問題点がある。
【０００５】
本発明は、上記のような問題点に鑑みてなされたものであり、誤検出を防ぎ、シミ欠陥以外の欠陥を検出することなく、コントラストの低いシミ欠陥を正確かつ高精度に自動検出するシミ欠陥の検出方法及びその検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係るシミ欠陥の検出方法は、検査対象の画面を撮像する工程と、撮像により取り込まれた画像から、予め作成しておいた背景画像との差をとる工程と、その背景差分画像の平坦化処理を行う工程と、その平坦化画像から複数段階の縮小画像を作成する工程と、前記縮小画像のそれぞれに対して４つの２次元微分フィルタを用いて欠陥強調のためのフィルタ処理を行う工程と、前記フィルタ処理結果に基づく輝度差（コントラスト）の最小値と、予め設定された階段状のシミ検出閾値とを比較してシミ欠陥を検出する工程と、
を有することを特徴とする。
【０００７】
本発明では、コントラストの低い、あるいはサイズの大きいシミ欠陥から小さいシミ欠陥まで検出できるようにするために、まず、検査対象の画面を撮像し、その画像から背景画像との差をとって検査対象以外によって生じる輝度変化を除去した背景差分画像を作成する。さらに、この背景差分画像の平坦化処理を行い、その平坦化画像から複数段階にわたって画像サイズを縮小する画像縮小処理を行う。この画像縮小処理により、大小様々なシミ欠陥も縮小され、その結果複数の縮小画像のどれかに、フィルタ処理により検出可能なサイズの欠陥として存在することとなる。ついで、縮小画像のそれぞれに対して４つの２次元微分フィルタにより欠陥強調のためのフィルタ処理を行い、そのフィルタ処理結果に基づく輝度差（コントラスト）の最小値と、予め設定された階段状のシミ検出閾値とを比較することによって、逆方向成分の誤検出を防ぎ、コントラストの低いシミ欠陥でも正確かつ高精度に検出することができる。
【０００８】
また、本発明のシミ欠陥の検出方法によれば、前記４つの２次元微分フィルタは、中央領域とその周辺領域の平均輝度の差（コントラスト）を求めるものであって、縦方向の成分のみでシミ欠陥を検出するフィルタ、横方向の成分のみでシミ欠陥を検出するフィルタ、＋４５度方向の成分のみでシミ欠陥を検出するフィルタ、および−４５度方向の成分のみでシミ欠陥を検出するフィルタからなり、これら４つのフィルタ処理結果のういち平均輝度差（コントラスト）の最小値を前記階段状のシミ検出閾値とを比較してシミ欠陥を検出するものである。
【０００９】
このような４つ（４方向）の２次元微分フィルタでシミ欠陥の強調処理を行うことにより、逆方向成分を減少させることができるため、誤検出を防ぐことが可能となる。
【００１０】
本発明のシミ欠陥の検出方法において、前記フィルタ処理は、明欠陥、暗欠陥の両方に対して行われる。
【００１１】
シミ欠陥には明欠陥（白シミ欠陥）と暗欠陥（黒シミ欠陥）があるので、この両方の欠陥を検出可能とするものである。なお、画像処理ではプラスの値しか取り扱うことができないので、暗欠陥（黒シミ欠陥）の検出の際にはオフセット値として１２ビットの４０９６の半値２０４８を加えることでプラスの値となるように調整している。
【００１２】
また、本発明のシミ欠陥の検出方法は、シミ欠陥が検出された画像の全画素の輝度値の統計データを計算する工程と、その統計データをもとに計算して閾値を決定し欠陥候補を抽出する工程と、前記欠陥候補について、前記階段状のシミ検出閾値が複数上下に設定されたランク判定テーブルを用いてランク判定を行う工程とを、さらに有することを特徴とする。
【００１３】
この構成により、シミ欠陥を抽出するための閾値が、シミ欠陥が検出された画像の全画素の輝度値の統計データを計算することにより、自動的に決定される。そして、欠陥候補が抽出された場合には、階段状のシミ検出閾値が複数上下に設定されたランク判定テーブルを用いてランク判定することにより、製品の等級化が可能となる。
【００１４】
また、本発明のシミ欠陥の検出方法は、前記抽出された欠陥候補について、欠陥候補の特性値を求めるｂｌｏｂ処理を行い、ｂｌｏｂ処理により求められた欠陥候補の特性値と前記輝度統計データに基づいて評価値を算出する工程をさらに有する。
【００１５】
さらにこのように構成することにより、抽出された欠陥候補について、客観的な評価値を算出することが可能となる。
【００１６】
また、本発明のシミ欠陥の検出方法において、取り込み画像のデータは、１２ビット階調以上とするのが好ましい。
このような高解像度の画像データを用いることにより、シミ欠陥検出精度が向上することになる。また、欠陥候補のランク判定及び評価値の精度も向上する。
【００１７】
また、前記背景画像は、同一の光学系および同一の撮像系により撮像された複数の画像を平均化したものを用いるのがよい。
背景画像は、検査対象以外によって生じる輝度変化を除去し、検査対象の欠陥を抽出するためにつくられる。従って、背景画像は検査対象以外によって生じる輝度変化のみの画像であり、同一の光学系および同一の撮像系により、できるだけ欠陥の少ない表示画面を複数撮像し、それらの撮像された複数の画像を平均化することによって、画像内にランダムに存在する検査対象の欠陥部分の成分は弱められ、画像内に常に同じ位置に存在する、スクリーンや照明、もしくはレンズ特性等検査対象以外によって生じる輝度変化のみが残る背景画像が得られる。
【００１８】
また、前記背景差分画像をもとに、前記検査対象の画面を含む画像から表示エリアを抽出し、この表示エリアに幾何学的変形を施して長方形にする工程をさらに有する。
検査しようとする画像は検査対象の画面を撮像した画像から背景画像の差を取った背景差分画像を基にして作成されるので、検査対象の画面が例えばプロジェクタによりスクリーン上に投射された画像であるような場合には、その画像にスクリーンの縁部分が入っていたり、表示エリアの部分がスクリーンに対して斜めになっていたりすることがある。そこで、背景差分画像をもとに、検査対象の画面を含む画像から表示エリアを抽出し、この表示エリアに幾何学的変形を施して長方形にすることにより、上記のような画像の歪み、変形等を補正することができる。
【００１９】
本発明のシミ欠陥の検出装置は、検査対象の画面を撮像する撮像手段と、前記撮像手段により取り込まれた画像の画像処理手段とを備え、前記画像処理手段は、複数段階に縮小された縮小画像に対して欠陥強調処理を行うのための４つの２次元微分フィルタと、シミ欠陥を検出するための閾値を階段状に設定した閾値テーブルとを有することを特徴とする。
【００２０】
このように構成することによって、誤検出を防ぎ、コントラストに低いシミ欠陥でも正確かつ高精度に検出することが可能となる。
【００２１】
また、前記４つの２次元微分フィルタは、中央領域とその周辺領域の平均輝度の差（コントラスト）を求めるものであって、縦方向の成分のみでシミ欠陥を検出するフィルタ、横方向の成分のみでシミ欠陥を検出するフィルタ、＋４５度方向の成分のみでシミ欠陥を検出するフィルタ、および−４５度方向の成分のみでシミ欠陥を検出するフィルタからなる。
【００２２】
本発明では、このように構成された４つの２次元微分フィルタを用いてシミ欠陥を検出することに特徴がある。
具体的には、前記２次元微分フィルタは、３ｎ×３ｎ画素の領域からなり、フィルタ構成数値として、中央領域を２、縦方向、横方向、＋４５度方向、および−４５度方向の周辺領域を−１、そのほかの領域を０とするフィルタである。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
図１は本発明の実施の形態の一例を示すシミ欠陥検出装置の構成図である。
この実施形態では、例えば、検査対象の画面１０をプロジェクタ１によるＴＦＴ素子を用いた液晶パネル（液晶ライトバルブともいう）２の画面としている。検査を行う場合には、プロジェクタ１によりスクリーン３に画像４を投影する。画像４はパターンジェネレータ５により所定のパターンを液晶パネル２に与えることによって描写される。撮像手段として例えばＣＣＤカメラ６により画像４を撮像し、その画像信号を図示しないＡ／Ｄ変換器によりアナログ信号からデジタル信号に変換して検査装置本体であるコンピュータ７に取り込む。このとき、画像データはＡ／Ｄ変換器により画素毎に例えば、黒を“０”、白を“４０９５”とする１２ビットのデータで４０９６階調の輝度値であらわされる。さらにコンピュータ７は画像メモリに取り込まれた画像４の画像データを後述する方法により処理することにより、明・暗欠陥ごとにシミ欠陥を検出する。欠陥検出にあたっては複数の縮小サイズによる縮小画像と欠陥強調のための２次元微分フィルタによりフィルタ処理を行う。そのうえでさらに、検出画像内の輝度情報の統計処理を行い、その統計データをもとに欠陥候補を抽出するための閾値を決定して欠陥候補を抽出し、抽出された欠陥候補についてランク判定を行うとともに定量的な評価を行うための評価値が演算される。これらの検査結果は表示装置８に表示される。
【００２４】
図２はシミ欠陥検出処理に用いられるフローチャート、図３は入力画像からシミ欠陥検出画像に至るまでの各段階における画像処理後の画像の模式図である。このシミ欠陥の検出処理は画像処理手段である上記のコンピュータ７に組み込まれた検査プログラムに従って自動的に行われる。図２および図３に従って処理手順を説明する。
【００２５】
（１）画像の入力
上述のように検査すべき画面を撮像してその画像データをコンピュータ７に取り込む。例えば、図３（ａ）は撮像時の入力画像である。この図に示すように、撮像時の入力画像１１にはスクリーン３の縁部分３１を含んでいたり、また画面部分に対応する表示エリア画像１２が正確に長方形でなくスクリーン３に対して斜めに歪んでいたりすることがある。これは、スクリーン３と撮像手段のＣＣＤカメラ６とが厳密に平行でなかったり、またプロジェクタ１の投射レンズ特性やＣＣＤカメラ６のレンズ特性などにより歪みを起こしたりすることに起因するものである。また、上記のように間接的撮像でなく、液晶パネル等の画像を直接撮像した場合でも入力画像の歪みや変形等が生じる場合がある。もちろん、上記のような縁部分３１が入らないように撮像手段や検査対象の画面を正確にセットして撮像した場合、例えば撮像手段の視野内に検出対象の画面部分全体が収まるように視野が正確にセットされている場合には、この表示エリア抽出処理および以下に述べる補正処理は省略することが可能であり、撮像により取り込まれた画像が直接、原画像となる。
【００２６】
（２）背景画像差分処理（ステップＳ１）
背景画像の差分処理とは、上記の入力画像１１から、図３（ｂ）に示すような予め作成しておいた背景画像１３を減算する処理である。この背景画像１３は、例えば欠陥の少ない液晶パネルを本発明の装置構成（同一光学系および同一撮像系からなる構成）で２０枚程度撮像して、そのサンプル画像を平均化したものである。背景画像１３はコンピュータ７のメモリに記憶されている。
この背景画像１３を入力画像１１から減算することによって、入力画像１１に含まれている検査対象以外のスクリーンや撮像手段の照明、プロジェクタ１の投射レンズ特性等によって生じる明るさの変化を除去することができる。また、この差分処理では、輝度データがマイナスの値とならないようにオフセット値として２０４８（４０９６×１／２）を加えている。
背景画像差分処理の結果、図３（ｃ）に示すような背景差分画像１４が得られる。そして、もしあるとすれば、この背景差分画像１４の中にサイズやコントラストの異なるシミ欠陥２０あるいはサイズの比較的大きいムラ欠陥２１や、その他の欠陥（スジ状欠陥、点欠陥等）が存在することになる。
【００２７】
（３）表示エリア抽出処理（ステップＳ２）
表示エリアの抽出とは、上記の背景差分画像１４から検査対象の画面部分のみを抽出することをいう。またこのとき、画面部分に対応する表示エリア画像１２が正確に長方形でなくスクリーン３に対して斜めに歪んだりしているような場合には、この表示エリア画像に幾何学的変形を施して正確な長方形になるように補正する。この補正された表示エリア画像がここでは実際の検査対象となる検査画像１５である（図３（ｄ）参照）。
幾何学的変形による画像の補正処理は、前記スクリーン３の縁部分３１を含まない表示エリア画像１２をその四隅の座標をパターンマッチング処理により検出し、その座標が長方形の四隅の座標に合致するように座標変換することにより行う。
このときに設定する長方形のサイズを、例えば１２００×１０００画素サイズとすることで、検査画像１５の画像サイズは１２００×１０００画素となる。このサイズについては、特に固定しているわけではなく、ＣＣＤカメラの画素サイズと同等か、それに近いサイズで設定すればよい。
【００２８】
（４）平坦化処理（ステップＳ３）
検査画像１５には、表示エリア全体に生じる大きな輝度変化、すなわち人間が見てもそれほど問題にならないような広い範囲にわたって明るいところや暗いところがあるといった明るさの変化や、上記のようにサイズの比較的大きいムラ欠陥２１などが含まれるおそれがあるので、これらを検出対象から除外するために、検査画像１５に対して平坦化処理を行う。この平坦化処理によって、照度ムラのような大きな明るさの変化やサイズの大きいムラ欠陥は除去されるので、本発明で検出しようとする比較的小さいサイズのシミ欠陥やコントラストの異なるシミ欠陥のみが残った図３（ｅ）に示すような平坦化画像１６が得られる。
なお、平坦化処理とは、平滑化フィルタを用いた処理、あるいはモフォロジ処理などによって平滑化する処理である。
【００２９】
（５）画像サイズ縮小処理（ステップＳ４〜Ｓ８）
シミ欠陥のサイズは小さいといってもその中でも様々な大きさのものがあり、またシミ欠陥のコントラストについても高いものや低いものなど様々である。
後述する２次元微分フィルタによるシミ検出処理は、所定のサイズのシミ欠陥しか強調できないので、平坦化画像１６内に存在する様々なサイズのシミ欠陥に対応させるために、平坦化画像１６から複数段階にわたって画像サイズを縮小する処理を行う。ここでは、元画像1200×1000ピクセルの平坦化画像１６から、１／２（600×500ピクセル）、１／４（300×250ピクセル）、１／８（150×125ピクセル）、１／１６（75×62ピクセル）、１／３２（38×31ピクセル）の５段階に縮小した５枚の縮小画像を作成している。
画像サイズの縮小方法は、図４に示すように、元画像の４画素分の輝度データの平均値を新たな画像の１画素に割り付けることにより１／２サイズに縮小する。この方法を繰り返すことにより、画像サイズを１／２ずつ縮小することができる。
このように平坦化画像１６の画像サイズを次第に縮小していくことによって、縮小画像のどれかに、２次元微分フィルタで強調できるサイズのシミ欠陥が存在することになる。
【００３０】
（６）２次元微分フィルタによるシミ検出処理（ステップＳ９〜Ｓ１３）
次に、各縮小画像に対して空間フィルタとして２次元微分フィルタを使用してシミ欠陥のコントラストを強調する。このシミ検出処理では白シミと黒シミの検出を行う。これ以降、白シミと黒シミの検出結果に基づいて、それぞれ同じ処理工程をたどる。
【００３１】
ここで、この２次元微分フィルタ２２の定義を図５に示す。すなわち、２次元微分フィルタ２２は、ｎ画素×ｎ画素の９つの領域を用いて定義する。つまり、全体が３ｎ×３ｎ画素をもつ領域で構成される（但し、ｎは整数）。そして、中央のＥの領域が、検出対象の平均輝度を求める領域となり、Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｉの各領域が、周辺領域の平均輝度を計算する領域となる。ここで、ｎの値は検出したい対象のサイズに合わせて選択する。例えば、ｎを３と設定した場合のフィルタ構成数値と画素との対応を図６に示す。
このように構成された２次元微分フィルタ２２により、Ｅの領域の平均輝度値とその周囲の領域（Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｉ）の平均輝度値を比較して、その輝度差（コントラスト）でＥの領域にシミがあるかどうかを判断する。このフィルタ処理では、白シミと黒シミの２種類の検出処理を行う。以降それぞれの縮小画像に対して、４つの２次元微分フィルタ２２を用いて、縦方向、横方向、＋４５度方向、−４５度方向の白と黒のシミ欠陥検出を行う。
【００３２】
いま、Ｅの領域の平均輝度値をＥavrとおくと、４つの２次元微分フィルタ２２により以下のように処理される。
（ａ）白シミの場合
１．縦方向成分のみで輝度差（コントラスト）を検出するフィルタの計算式
Ｓ１＝Ｅavr／（（Ｂavr＋Ｈavr）／２）               ・・・（式１）
２．横方向成分のみで輝度差（コントラスト）を計算するフィルタの計算式
Ｓ２＝Ｅavr／（（Ｄavr＋Ｆavr）／２）               ・・・（式２）
３．＋４５度方向成分のみで輝度差（コントラスト）を検出するフィルタの計算式
Ｓ３＝Ｅavr／（（Ｃavr＋Ｇavr）／２）               ・・・（式３）
４．縦方向成分のみで輝度差（コントラスト）を検出するフィルタの計算式
Ｓ４＝Ｅavr／（（Ａavr＋Ｉavr）／２）               ・・・（式４）
（ｂ）黒シミの場合
１．縦方向成分のみで輝度差（コントラスト）を検出するフィルタの計算式
Ｓ１＝２−（Ｅavr／（（Ｂavr＋Ｈavr）／２））       ・・・（式５）
２．横方向成分のみで輝度差（コントラスト）を検出するフィルタの計算式
Ｓ２＝２−（Ｅavr／（（Ｄavr＋Ｆavr）／２））       ・・・（式６）
３．縦方向成分のみで輝度差（コントラスト）を検出するフィルタの計算式
Ｓ３＝２−（Ｅavr／（（Ｃavr＋Ｇavr）／２））       ・・・（式７）
４．縦方向成分のみで輝度差（コントラスト）を検出するフィルタの計算式
Ｓ４＝２−（Ｅavr／（（Ａavr＋Ｉavr）／２））       ・・・（式８）
なお、画像処理ではプラスの値しか取り扱うことができないため、黒シミの場合は、計算値が白シミと同じレベルの正の値となるようにしている。
そして、実際に求めるべき、処理結果Ｓは以下の式で求められる。
Ｓ＝Ｍｉｎ（Ｓ１，Ｓ２，Ｓ３，Ｓ４）                ・・・（式９）
この（式９）で求められたＳ１からＳ４のうち、Ｓの最小値と後述するシミ検出閾値とを比較して、シミ欠陥検出を行う。
【００３３】
また、上記（式１）から（式４）の４つの式を、フィルタの構成数値に置き換えた結果を、図７の（ａ）から（ｄ）に示す。
同様に、図５のｎが３以上の場合でも、Ｅの中央領域を数値の２で構成し、その周辺領域を−１、それ以外の領域を０の数値で構成することで、上記４つのフィルタを構成することができる。
【００３４】
ここで、上述の２次元微分フィルタ２２を用いる理由を説明する。この種のシミ欠陥を検出するためには、通常、図８に示すようなＴｏｐｈａｔフィルタを用いて欠陥の強調処理を行うのが一般的である。
図９は人工的に作製した、白シミと黒シミの疑似欠陥部のプロファイルデータを模式的にあらわしたものである。この疑似欠陥部に対し、Ｔｏｐｈａｔフィルタを適用した結果の画像を図１０に、そのプロファイルデータを図１１に示す。また、同じ疑似欠陥部に対し、上記２次元微分フィルタ２２を適用した結果の画像を図１２に、そのプロファイルデータを図１３に示す。
【００３５】
Ｔｏｐｈａｔフィルタをかけた場合、白シミ疑似欠陥部および黒シミ疑似欠陥部のいずれも強調効果が現れている。しかしそれと同時に、白シミ疑似欠陥部と黒シミ疑似欠陥部の周囲データで、シミの成分とは符号が逆の成分がデータとして存在している。この逆方向の成分が強調の悪影響として、同時に検出される部分である。
一方、２次元微分フィルタ２２をかけた場合、本来の白シミ疑似欠陥部および黒シミ疑似欠陥部のみが正確に検出できていることがわかる。そのため、例えばスジ状の欠陥が存在していても、この２次元微分フィルタ２２を用いれば、スジ状欠陥は検出されないのである。
したがって、従来のようにＴｏｐｈａｔフィルタを適用した場合にはシミ以外の部分やスジ状欠陥も同時に検出されてしまうが、この２次元微分フィルタ２２を用いれば、シミのみが検出されるため、誤検出を防ぐと同時に、シミ欠陥検出の精度が向上することになる。
【００３６】
図３（ｆ）は、縮小画像に上記の２次元微分フィルタ２２によるフィルタ処理を行ったときの検出画像１７を模式的に示したものである（但し、わかりやすくするために画像サイズは同じサイズで図示してある。実際には縮小サイズである）。
上記のような２次元微分フィルタ２２を用いたフィルタ処理を行うことにより、本来の白シミ、黒シミの欠陥２０のみを正確かつ高精度に検出することができる。
なお、図３（ｆ）で欠陥の強調がなされていないサイズのシミ欠陥については、何段階かに縮小されることで強調可能なサイズとなった他の縮小画像において同様のフィルタ処理で欠陥が強調されることになる。
【００３７】
（７）統計計算（ステップＳ１４〜Ｓ１８）
次に、上記検出画像１７内の各画素の輝度値に基づく統計データの計算を行う。統計データの計算では、画像全体での輝度値の平均値Ｌave、標準偏差σ、最大値Ｌmax、最小値Ｌminを求める。これら４つの輝度統計データは後述する欠陥候補の抽出やｂｌｏｂ処理で抽出された欠陥候補の特性値を算出する際に必要となる。
【００３８】
（８）チェック１：欠陥候補の有無の判定（ステップＳ１９）
ここでは上述のように、（式９）によるＳの最小値と図１４の欠陥面積およびコントラストに基づく閾値テーブル２５とを比較して、上記検出画像１７内に白シミ欠陥や黒シミ欠陥の候補があるかどうか、１回目のチェックを行う。すなわち、最小値Ｓが階段状のシミ検出閾値を超えていれば白シミあるいは黒シミ欠陥があると判定し、最小値Ｓが階段状のシミ検出閾値以下であれば白シミ、黒シミの欠陥は無いと判定する。そして、欠陥候補が皆無であれば、この段階でその製品は良品と判定され、検査を終了する。
【００３９】
（９）ｂｌｏｂ処理（ステップＳ２０〜Ｓ２４）
上記チェック１で検出画像１７内に欠陥候補があると判定された場合には、別に閾値を用いて欠陥候補を抽出し、ｂｌｏｂ処理を行って欠陥候補の特性値を計算する。ｂｌｏｂとは、画像内に存在する特定範囲の値を持った「かたまり」のことであり、ここでは例えば、検出画像１７内の全画素の平均輝度値Ｌaveと標準偏差σを用いて、次式のように白シミ閾値および黒シミ閾値を決定する。
白シミ閾値：Ｌave＋ａ１×σ
黒シミ閾値：Ｌave−ａ２×σ
ここに、ａ１，ａ２は、ある決められた定数である。
そして、上記の白シミ閾値以上の領域、もしくは黒シミ閾値以下の領域であるものが欠陥候補となる。従って、白シミ閾値と黒シミ閾値を用いて２値化処理で欠陥候補を抽出し、その抽出された領域に対して画像処理の手法であるｂｌｏｂ処理を行って、欠陥候補の特性値を計算する。
ここでは欠陥候補の特性値として、領域の重心位置Ｘ，Ｙ座標と、シミ欠陥候補の面積S（n）、並びに、白シミの欠陥候補であれば領域内の輝度の最大値（Ｌmax（n））、黒シミの欠陥候補であれば領域内の輝度の最小値（Ｌmin（n））を求める。
【００４０】
（１０）チェック２：ランク判定および評価値の計算（ステップＳ２５）
この２回目（つまり最終的な）チェックにおいて、上記ｂｌｏｂ処理により抽出された欠陥候補の面積とコントラスト（輝度）を用いて、製品のランク判定と欠陥の程度を定量化するため評価値計算を行う。
【００４１】
ここで、上記のシミ検出閾値について説明する。図１４はシミ検出閾値の一例を示したものである。このシミ検出閾値は、横軸をシミ欠陥面積、縦軸をコントラスト（輝度）とする、階段状の折れ線で形成された閾値線２４から構成されており、このような閾値線２４を持つテーブルを以降、閾値テーブル２５と呼ぶものとする。なお、閾値テーブル２５はコンピュータ７のメモリに記憶されている。
そして、上述の（式９）により求められたＳ１からＳ４のうち、Ｓの最小値がシミ検出閾値を超えているとき（閾値線２４より上側にある場合）は不良品、最小値Ｓがシミ検出閾値以下のとき（閾値線２４より下側にある場合）のみ良品と判定される。例えば、図１４中の★印の検査品は、面積が４０ピクセル、コントラストが１．０３７の場合であり、閾値線２４より上側にあるので、不良品と判定される。
【００４２】
この閾値判定テーブル２５は、次のようにして作成される。 
まず、疑似シミ欠陥作成プログラムを用いて、欠陥が全く無い液晶パネルに疑似シミ欠陥を表示させ、その表示を図１に示した同じ装置に投入する。このプログラムは、画面上に円状のシミを擬似的に作成するプログラムで、欠陥輝度、面積、座標を自由に設定することができる。その投影された表示を、検査員に検査してもらい、「不良品に近い（つまり、良品と不良品の境）」と判断されたら、ＣＣＤカメラでその表示を撮像する。そして疑似シミ欠陥の条件（欠陥輝度、面積、座標）を幾つか振って、同様にＣＣＤカメラで撮像する。それらの撮像された画像に、シミ強調フィルタ（前述の２次元微分フィルタ２２）をかけた場合、検出結果は図１５のような山型となる。図１５は、それぞれの縮小画像で検出できた疑似欠陥のコントラストを結んだものを、同一グラフ内にプロットしたものである。なお、図１５では、簡単のため１／２、１／４、１／８の３つの縮小画像に対する検出出力を示したものであるが、実際にはさらに１／１６、１／３２の計５つの縮小画像に対する検出出力があらわされることになる。
この山型の検出曲線を良品・不良品の閾値とし、上側が不良品、下側が良品のコントラスト値となる。
【００４３】
また、図１６は検出曲線が山型になることを説明するためのもので、疑似シミ欠陥部のコントラストは変えずに面積だけを変化させてフィルタ処理を行った結果を示したものである。この図に示すように、検出結果は欠陥サイズによって変化し、欠陥サイズがフィルタ２２のＥ領域に重なり合ったときに出力がもっとも大きくなる。
【００４４】
ところで、閾値は、通常、１つのフィルタ処理につき、１つの閾値を用いるのが一般的である。グラフ上で各フィルタ処理にそれぞれ１つの閾値を設定する場合は、図１７の折れ線のような閾値になってしまう。これでは、本来良品と判定されるべき製品も不良品とされる割合が高くなる。
【００４５】
そこで、閾値を多数設定することで、過検出となる部分を減らすことができる。例えば、図１８に示すように、１つの検出曲線について６段階の閾値を設け、図１４に示したような階段状の折れ線で形成されるシミ検出閾値としている。また、閾値を何段階に設定するかは、検査コストと検査精度のバランスを考慮して決められる。図１８では６段階の場合であるが、このシミ検出閾値は次のようにして作成される。
各山型の検出曲線に対し、隣接検出曲線との交点間の距離（最初と最後の検出曲線については、曲線の始点と交点間、曲線の終点と交点間の距離）をそれぞれ６等分し、各分割線（点線で示す直線）と各検出曲線との交点において階段状の折れ線となるようにシミ検出閾値（閾値線２４）を作成する。
【００４６】
（ａ）ランク判定
例えば、図１９に示すように、良品側に複数段階の閾値線２４ａ、２４ｂ、２４ｃを設定したランク判定テーブル２６を用いて製品のランク付けを行う。すなわち、抽出された欠陥候補の面積およびコントラストが例えば、閾値線２４ａと２４ｂの間にあれば、その製品は低級のランクＣに位置づけされ、閾値線２４ｂと２４ｃの間にあれば、その製品は、中級のランクＢに、また閾値線２４ｃ以下にあれば、高級のランクＡに位置づけられる。なお、ランク判定テーブル２６は上記の閾値テーブル２５としても用いることができる。
【００４７】
このように、製品のランク判定と評価値によって、製品の適正かつ客観的な等級化が可能となる。例えば、液晶パネルをＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー別に、プロジェクタのライトバルブとして使用する場合に、比視感度は緑のとき（波長λ＝５５５ｎｍのとき）が最も高いので、緑のライトバルブのランクを設定する閾値が最も厳しく他の場合よりも小さい値に設定される。つまり、ランクＡがＧ（緑）、ランクＢがＲ（赤）、ランクＣがＢ（青）、ランクＤが不良品となる。
【００４８】
この実施形態は、以上のように構成されているので、液晶パネル等の表示デバイスの画面に存在するシミ欠陥を欠陥サイズの大小にかかわらず、またコントラストの高低にかかわらず、高精度に自動的に検出することができ、かつ、シミ欠陥を個々に定量的に評価することができる。
また、輝度統計データに基づいてシミ欠陥を評価するものであるので、製品や部品の品質データを収集・分析することにより、品質管理に役立てることができ、更なる品質の向上を目指した手法を構築することも可能となる。
【００４９】
本発明は、前記のようなＴＦＴ素子を用いた液晶パネルに限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、有機ＥＬディスプレイ、ＤＭＤ（ダイレクト・ミラー・デバイス）などの表示体部品、ならびにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施の形態によるシミ欠陥検出装置の構成図。
【図２】シミ欠陥の検出処理を示すフローチャート。
【図３】入力画像からシミ欠陥検出画像に至るまでの各画像の模式図。
【図４】画像サイズの縮小方法の説明図。
【図５】本発明における２次元微分フィルタの定義を示す図。
【図６】２次元微分フィルタの定義領域とフィルタ構成数値の対応を示した図。
【図７】（式１）から（式４）をフィルタ構成数値に置き換えた結果の構成図。
【図８】Ｔｏｐｈａｔフィルタの一例を示す図。
【図９】白シミ、黒シミの疑似欠陥部のプロファイルデータの模式図。
【図１０】疑似欠陥部に対しＴｏｐｈａｔフィルタを適用した結果の画像図。
【図１１】疑似欠陥部のプロファイルデータをあらわした図。
【図１２】疑似欠陥部に対し２次元微分フィルタを適用した結果の画像図
【図１３】疑似欠陥部のプロファイルデータをあらわした図。
【図１４】シミ検出閾値の一例を示す図。
【図１５】シミ検出結果を示すグラフ。
【図１６】欠陥サイズにより検出曲線が山型になることを示すグラフ。
【図１７】従来のシミ検出閾値のグラフ。
【図１８】本発明におけるシミ検出閾値の作成方法を示す説明図。
【図１９】ランク判定テーブルを示す図。
【符号の説明】
【００５１】
１  プロジェクタ、２  液晶パネル、３  スクリーン、４  画像、５  パターンジェネレータ、６  ＣＣＤカメラ、７  コンピュータ、８  表示装置、１０  検査対象画面、１１  入力画像、１２  表示エリア画像、１３  背景画像、１４  背景差分画像、１５  検査画像、１６  平坦化画像、１７  検出画像、２０  シミ欠陥、２１  ムラ欠陥、２２  ２次元微分フィルタ、２４  閾値線、２５  閾値テーブル、２６  ランク判定テーブル、３１  スクリーンの縁部分
【図１】
2005249415.tif 000003
【図２】
2005249415.tif 000004
【図３】
2005249415.tif 000005
【図４】
2005249415.tif 000006
【図５】
2005249415.tif 000007
【図６】
2005249415.tif 000008
【図７】
2005249415.tif 000009
【図８】
2005249415.tif 000010
【図９】
2005249415.tif 000011
【図１０】
2005249415.tif 000012
【図１１】
2005249415.tif 000013
【図１２】
2005249415.tif 000014
【図１３】
2005249415.tif 000015
【図１４】
2005249415.tif 000016
【図１５】
2005249415.tif 000017
【図１６】
2005249415.tif 000018
【図１７】
2005249415.tif 000019
【図１８】
2005249415.tif 000020
【図１９】
2005249415.tif 000021