(57)【要約】【課題】  高精度にシミ欠陥を検出することを可能にしたシミ欠陥の検出方法及びその検出装置を提供する。【解決手段】  検査画像のシミ欠陥の強調のためのフィルタ処理を行う工程と、前記フィルタ処理された検査画像に基づいてシミ欠陥の有無を検出し又はシミ欠陥の程度を評価する工程とを備える。前記フィルタ処理は、縦方向の成分の輝度差を求めるための第１のフィルタと、横方向の成分の輝度差を求めるための第２のフィルタと、＋４５度の成分の輝度差を求めるための第３のフィルタと、−４５度の成分の輝度差を求めるための第４のフィルタとによってそれぞれ畳み込み演算を行って、その演算結果の絶対値が最小値を示すフィルタの値を輝度値とする画像を生成する。【選択図】        図２
2005140655.tif 000002
【特許請求の範囲】
【請求項１】
検査画像のシミ欠陥強調のためのフィルタ処理を行う工程と、
前記フィルタ処理された検査画像に基づいてシミ欠陥の有無を検出し又はシミ欠陥の程度を評価する工程とを備え、
前記フィルタ処理は、前記検査画像の複数の方向において対象画素とその外周部周辺の画素との輝度差を求め、そして、前記輝度差の絶対値が最小の値となる方向の輝度差又は前記絶対値が相対的に小さな値となる方向の輝度差の値を輝度値とする画像を生成することを特徴とするシミ欠陥の検出方法。
【請求項２】
前記フィルタ処理は、縦方向の成分の輝度差を求めるための第１のフィルタと、横方向の成分の輝度差を求めるための第２のフィルタと、＋４５度の成分の輝度差を求めるための第３のフィルタと、−４５度の成分の輝度差を求めるための第４のフィルタとによってそれぞれ畳み込み演算を行って、その演算結果の絶対値が最小値を示すフィルタの値を輝度値とする画像を生成することを特徴とする請求項１記載のシミ欠陥の検出方法。
【請求項３】
撮像された検査対象の画面の画像を取り込んで、その取り込まれた画像から、予め作成しておいた背景画像との差をとり背景差分画像を作成する工程と、
前記背景差分画像の平坦化処理を行う工程と、
前記平坦化画像から複数段階の縮小画像を作成する工程と
を更に備え、
前記縮小画像のそれぞれを検査画像として前記フィルタ処理を行うことを特徴とする請求項１又は２記載のシミ欠陥の検出方法。
【請求項４】
前記シミ欠陥の有無を検出し又シミ欠陥の程度を評価する工程は、
前記フィルタ処理後における画像内の各画素の輝度値の統計データを求める工程と、
前記輝度統計データに基づいて閾値を決定し、前記閾値に基づいて欠陥候補を抽出する工程と
を有することを特徴とする請求項１乃至３の何れかに記載のシミ欠陥の検出方法。
【請求項５】
前記の撮像された検査対象の画面の画像のデータは、１２ビットの４０９６階調以上のデータであることを特徴とする請求項３又は４記載のシミ欠陥の検出方法。
【請求項６】
前記背景画像は、同一の光学系および同一の撮像系により撮像された複数の画像を平均化したものであることを特徴とする請求項３乃至５の何れかに記載のシミ欠陥の検出方法。
【請求項７】
前記背景差分画像を平坦化処理する前に、前記背景差分画像の表示エリアを抽出し、この表示エリアに幾何学的変形を施して長方形にする工程を更に有することを特徴とする請求項４乃至６の何れかに記載のシミ欠陥の検出方法。
【請求項８】
前記閾値を明欠陥及び暗欠陥に対応してそれぞれ求めることを特徴とする請求項４乃至７のいずれかに記載のシミ欠陥の検出方法。
【請求項９】
前記閾値を前記輝度統計データの平均値及び標準偏差を用いて求めることを特徴とする請求項８記載のシミ欠陥の検出方法。
【請求項１０】
前記欠陥候補の特性値をＢｌｏｂ処理によって求め、前記欠陥候補の特性値と前記輝度統計データとに基づいて評価値を算出する工程を更に有することを特徴とする請求項４乃至９の何れかに記載のシミ欠陥の検出方法。
【請求項１１】
前記欠陥候補の評価値を明欠陥及び暗欠陥に対応してそれぞれ求めることを特徴とする請求項４乃至１０の何れかに記載のシミ欠陥の検出方法。
【請求項１２】
前記欠陥候補の評価値を、前記輝度統計データの平均値及び標準偏差と、欠陥候補の最大輝度及び最小輝度とを用いて求めることを特徴とする請求項１０又は１１の何れかに記載のシミ欠陥の検出方法。
【請求項１３】
前記欠陥候補の評価値の大きさによって製品の良品ランクの分類をすることを特徴とする請求項１０乃至１２の何れかに記載のシミ欠陥の検出方法。
【請求項１４】
検査対象の画面を撮像する撮像手段と、
請求項１乃至１３の何れかの処理を行う演算手段と、
前記演算手段の結果を出力する出力手段と
を備えたことを特徴とするシミ欠陥の検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、液晶パネル等の検査工程において画面のシミ欠陥を自動的に検出するシミ欠陥の検出方法及びその検出装置に関する。
【背景技術】
【０００２】
液晶表示装置等の画面に現れる欠陥の中の一つにシミ欠陥と呼ばれるものがある。シミ欠陥とは、表示画面のある領域が他の領域と輝度の差がある状態であり、ある程度狭い範囲で、周りに比べて明るい部分や暗い部分がある状態をいう。しかし、厳密な定義はなく欠陥サイズの小さいムラ欠陥又はシミ欠陥と呼ばれている（以下、単にシミ欠陥と称する。）。このようなシミ欠陥は、画質を落とすことになるので、表示体の外観検査の対象となっている。従来は人による目視検査が普通であったが、最近では自動検査が行われるようになってきている。このシミ欠陥に対する自動的な検査方法についても、多くの提案があり、例えば次のような検査方法がある。
【０００３】
例えばシミ欠陥の平均輝度とその外周の平均輝度値との差をとり、その輝度差をシミ検出閾値と比較して検出する方法がある（例えば特許文献１）
【特許文献１】特開平２００１−２４３４７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の検出方法（特許文献１）では、検出処理（フィルタ処理）より、点状ムラの周辺部付近で、検出すべきシミ欠陥の成分とは逆方向成分が発生し（後述の図２５参照）、これを誤検出する可能性がある（例えば白いシミ欠陥の場合には黒いシミ欠陥を検出）。また、同じ画面上に存在するスジ状欠陥を検出したくない場合において、コントラストが低いものを検出する場合には、シミ欠陥と同時にスジ状欠陥も検出してしまうために、検出精度を上げられないという問題点がある。
【０００５】
本発明は、上記のような問題点に鑑みてなされたものであり、高精度にシミ欠陥を検出することを可能にしたシミ欠陥の検出方法及びその検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明に係るシミ欠陥の検出方法は、検査画像のシミ欠陥強調のためのフィルタ処理を行う工程と、前記フィルタ処理された検査画像に基づいてシミ欠陥の有無を検出し又はシミ欠陥の程度を評価する工程とを備え、前記フィルタ処理は、前記検査画像の複数の方向において対象画素とその外周部周辺の画素との輝度差を求め、そして、前記輝度差の絶対値が最小の値となる方向の輝度差又は前記絶対値が相対的に小さな値となる方向の輝度差の値を輝度値とする画像を生成する。シミ欠陥強調のためのフィルタ処理においてシミ欠陥とその外周部周辺の平均輝度との輝度差を求める際に、前記検査画像の複数の方向において対象画素とその外周部周辺の画素との輝度差の差の絶対値が最小の値となる方向の輝度差又は絶対値が相対的に小さな値となる方向の輝度差の値を輝度値とする画像を生成するようにしたので、外周部周辺の欠陥の影響を排除することができ、シミ欠陥を高精度に検出することが可能になっている。また、上記のフィルタ処理によりスジ欠陥が背景として排除されることになるので、スジ欠陥をシミ欠陥として検出することがなくなり、この点からもシミ欠陥を高精度に検出することが可能になっている。
【０００７】
本発明に係るシミ欠陥の検出方法において、前記フィルタ処理は、縦方向の成分の輝度差を求めるための第１のフィルタと、横方向の成分の輝度差を求めるための第２のフィルタと、＋４５度の成分の輝度差を求めるための第３のフィルタと、−４５度の成分の輝度差を求めるための第４のフィルタとによってそれぞれ畳み込み演算を行って、その演算結果の絶対値が最小値を示すフィルタの値を選択し、それにオフセット値として２０４８（４０９６×１／２）を加えた値を輝度値とする画像を生成する。前記のような４個のフィルタの内、外周部周辺の欠陥の影響を受けないようなフィルタの値を採用して画像を生成するようにしたので、シミ欠陥を高精度に検出することが可能になっている。また、オフセット値を加えることで、白シミ欠陥、黒シミ欠陥の両方を検出できるようにしている。
【０００８】
本発明に係るシミ欠陥の検出方法は、撮像された検査対象の画面の画像を取り込んで、その取り込まれた画像から、予め作成しておいた背景画像との差をとり背景差分画像を作成する工程と、前記背景差分画像の平坦化処理を行う工程と、前記平坦化画像から複数段階の縮小画像を作成する工程とを更に備え、前記縮小画像のそれぞれを検査画像として前記フィルタ処理を行う。本発明では、コントラストの低い、あるいはサイズの大きいシミ欠陥から小さいシミ欠陥まで検出できるようにするために、まず、検査対象の画面を撮像し、その画像から背景画像との差をとって検査対象以外によって生じる輝度変化を除去した背景差分画像である検査画像を作成する。そして、この検査画像の平坦化処理を行い、その平坦化画像から複数段階にわたって画像サイズを縮小する画像サイズ縮小処理を行う。この縮小処理により、検査画像内の大小様々なシミ欠陥も縮小され、その結果、複数の縮小画像のどれかに、検出可能なサイズの欠陥として存在することとなる。次に、縮小画像のそれぞれに対して欠陥強調のためのフィルタ処理を行うことによって、シミ欠陥のコントラストが強調される。従って、欠陥サイズの大小、あるいはコントラストの高低にかかわらず、シミ欠陥を高精度に検出することができる。
【０００９】
本発明に係るシミ欠陥の検出方法において、前記シミ欠陥の有無を検出し又シミ欠陥の程度を評価する工程は、前記フィルタ処理後における画像内の各画素の輝度値の統計データを求める工程と、前記輝度統計データに基づいて閾値を決定し、前記閾値に基づいて欠陥候補を抽出する工程とを備えている。シミ欠陥の有無を判断し、欠陥候補の抽出を行うための閾値が、検出画像内の各画素の輝度値の統計データを計算することにより、その輝度統計データに基づいて自動的に決定されるので、検査対象の画像に応じて最適な閾値が得られ、これによりシミ欠陥を高精度に検出することができる。
【００１０】
本発明に係るシミ欠陥の検出方法において、前記の撮像された検査対象の画面の画像のデータは、１２ビットの４０９６階調以上のデータである。このような高解像度の画像データを用いることにより、前記輝度統計データの精度が上がるため、欠陥検出精度の更なる向上を図ることが可能となる。また、後述する欠陥候補の評価値の精度も向上する。
【００１１】
本発明に係るシミ欠陥の検出方法において、前記背景画像は、同一の光学系および同一の撮像系により撮像された複数の画像を平均化したものである。背景画像は、検査対象以外によって生じる輝度変化を除去し、検査対象の欠陥を抽出するためにつくられる。従って、背景画像は検査対象以外によって生じる輝度変化のみの画像であり、同一の光学系及び同一の撮像系により、できるだけ欠陥の少ない表示画面を複数撮像し、それらの撮像された複数の画像を平均化することによって、画像内にランダムに存在する検査対象の欠陥部分の成分は弱められ、画像内に常に同じ位置に存在する、スクリーンや照明、レンズ特性等検査対象以外によって生じる輝度変化のみが残る背景画像が得られる。
【００１２】
本発明に係るシミ欠陥の検出方法は、前記背景差分画像を平坦化処理する前に、前記背景差分画像の表示エリアを抽出し、この表示エリアに幾何学的変形を施して長方形にする工程を更に備えている。検査画像が例えば検査対象の画面が例えばプロジェクタによりスクリーン上に投射された画像であるような場合には、その画像にスクリーンの縁部分が入っていたり、表示エリアの部分がスクリーンに対して斜めになっていたりすることがある。そこで、検査画像を作成する場合には、検査対象の画面を含む画像から表示エリアを抽出し、この表示エリアに幾何学的変形を施して長方形にすることにより、上記のような画像の歪み、変形等を補正することができる。
【００１３】
本発明に係るシミ欠陥の検出方法は、前記閾値を明欠陥及び暗欠陥に対応してそれぞれ求める。白シミ欠陥と黒シミ欠陥の両方を検出できるようにするために、欠陥候補の閾値は、明欠陥及び暗欠陥に対応して決定する。例えば、明欠陥を抽出するための白シミ閾値は、平均輝度データ＋ａ１×標準偏差、暗欠陥を抽出するための黒シミ閾値は、平均輝度データ−ａ２×標準偏差なる計算式より求めることができる。計算式のａ１、ａ２は、ある決められた定数である。
【００１４】
本発明に係るシミ欠陥の検出方法は、前記閾値を前記輝度統計データの平均値及び標準偏差を用いて求める。従って、欠陥候補を客観的・定量的に評価することができ、かつ、正確な評価を行うことができる。
【００１５】
本発明に係るシミ欠陥の検出方法は、前記欠陥候補の特性値をＢｌｏｂ処理によって求め、前記欠陥候補の特性値と前記輝度統計データとに基づいて評価値を算出する工程を更に備えている。欠陥候補の特性値をｂｌｏｂ処理によって求め、この特性値と前記統計データに基づいて所定の式により欠陥候補の評価値を算出するため、欠陥候補の程度を定量的に評価することができる。
【００１６】
本発明に係るシミ欠陥の検出方法は、前記欠陥候補の評価値を、明欠陥及び暗欠陥に対応してそれぞれ求める。前記欠陥候補の評価値が明欠陥及び暗欠陥の両方に対して得られる。
【００１７】
本発明に係るシミ欠陥の検出方法は、前記欠陥候補の評価値を、前記輝度統計データの平均値及び標準偏差と、欠陥候補の最大輝度及び最小輝度とを用いて求める。
【００１８】
本発明に係るシミ欠陥の検出方法は、前記欠陥候補の評価値の大きさによって製品の良品ランクの分類をする。従って、シミ欠陥を製品（部品を含む。以下、同じ。）別に客観的に評価することができ、シミ欠陥のランク付け、製品の等級化が可能となる。なお、これらの統計データは品質管理に活用することができる。
【００１９】
本発明に係るシミ欠陥の検出装置は、検査対象の画面を撮像する撮像手段と、上記の処理を行う演算手段と、前記演算手段の結果を出力する出力手段とを備えたものである。演算手段は例えばコンピュータにより構成される。このコンピュータに前記の各処理を行う検査プログラムを組み込むことによってシミ欠陥を自動的に検査することができる。    
【発明を実施するための最良の形態】
【００２０】
実施形態１．
図１は本発明の実施形態１に係るシミ欠陥検出装置の構成図である。この実施形態１では、例えば、検査対象の画面１０をプロジェクタ１によるＴＦＴ素子を用いた液晶パネル（液晶ライトバルブともいう）２の画面としている。検査を行う場合には、プロジェクタ１によりスクリーン３に画像４を投射する。画像４はパターンジェネレータ５により所定のパターンを液晶パネル２に与えることによって描写される。撮像手段として例えばＣＣＤカメラ６により画像４を撮像し、その画像信号をＡ／Ｄ変換器（図示せず）によりアナログ信号からデジタル信号に変換してコンピュータ７に取り込む。このとき、画像データはＡ／Ｄ変換器により画素毎に例えば、黒を“０”、白を“４０９５”とする１２ビットのデータで４０９６階調の輝度値で表される。コンピュータ７は画像メモリ（図示せず）に取り込まれた画像４の画像データを後述する方法により処理することにより、明・暗欠陥ごとにシミ欠陥を検出する。欠陥検出にあたっては複数の縮小サイズによる縮小画像とシミ欠陥強調のためのフィルタ処理（シミ欠陥検出処理）を行ったうえで、検出画像内の輝度情報の統計処理を行い、その統計データをもとに欠陥候補を抽出するための閾値を決定して欠陥候補を抽出し、さらに、抽出された欠陥候補について定量的に評価する評価値を演算して求める。これらの検査結果は出力手段としての表示装置８に表示される。
【００２１】
図２は図１のコンピュータ７が本発明の演算手段として行うシミ欠陥検出処理の処理経過を示したフローチャートであり、これはコンピュータ７の記憶装置（図示せず）に格納された検査プログラムによって自動的に行われる。図３及び図４は上記の処理過程における画像の遷移を示した説明図である。
【００２２】
（１）背景画像の差分処理（ステップＳ１）
背景画像の差分処理とは、撮像時の入力画像から予め作成しておいた背景画像を減算する処理である。例えば、図３（ａ）は撮像時の入力画像２１、（ｂ）は背景画像２２であり、（ｃ）は背景差分画像２３である。背景画像２２は、例えば液晶パネルを用いずに本実施形態１の装置構成（同一光学系および同一撮像系からなる構成）で例えば２０枚程度撮像して、その画像を平均化処理したものであり、コンピュータ７の記憶装置（図示せず）に予め記憶されている。この背景画像２２を入力画像２１から減算することによって、入力画像２１に含まれている検査対象以外のスクリーンや撮像手段の照明、プロジェクタ１の投射レンズ特性等によって生じる明るさの変化を除去した背景差分画像２３が得られる。なお、この差分処理では、輝度データがマイナスの値とならないようにオフセット値として２０４８（４０９６×１／２）を加えている。
【００２３】
（２）表示エリア抽出処理（ステップＳ２）
表示エリアの抽出処理とは、背景差分画像２３から検査対象の画面部分のみを抽出する処理をいう。例えば、図３（ｄ）は表示エリアを抽出した後の補正画像２４である。図３（ａ）（ｃ）に示されるように、撮像時の入力画像２１及び背景差分画像２３にはスクリーン３の縁部分２１ａ，２３ａを含んでいたり、また画面部分に対応する表示エリア画像２１ｂ，２３ｂが正確に長方形でなくスクリーン３に対して斜めに歪んでいたりすることがある。これは、スクリーン３と撮像手段のＣＣＤカメラ６とが厳密に平行でなかったり、またプロジェクタ１の投射レンズ特性やＣＣＤカメラ６のレンズ特性などにより歪みを起こしたりすることに起因するものである。また、上記のように間接的撮像でなく、液晶パネル等の画像を直接撮像した場合でも入力画像の歪みや変形等が生じる場合がある。もちろん、上記のような縁部分２１ａ，２３ａが入らないように撮像手段や検査対象の画面を正確にセットして撮像した場合、例えば撮像手段の視野内に検出対象の画面部分全体が収まるように視野が正確にセットされている場合には、この表示エリア抽出処理は省略することが可能であり、撮像により取り込まれた画像を検査対象の画像とすることができる。
【００２４】
また、背景差分画像２３が図３（ｃ）のように歪んだりしているような場合には、同図（ｄ）に示されるように、画面部分の画像２３ｂのみを抽出し、これに幾何学的変形を施して正確な長方形になるように補正した補正画像２４を作成する。この補正画像２４がここでは実際の検査対象の原画像となる。幾何学的変形による画像の補正処理は、前記スクリーン３の縁部分２３ａを含まない画像２３ｂをその四隅の座標をパターンマッチング処理により検出し、その座標が長方形の四隅の座標に合致するように座標変換することにより行う。このときに設定する長方形のサイズを、例えば１２００×１０００画素サイズとすることで、補正画像２４の画像サイズは１２００×１０００画素となる。このサイズについては、特に固定しているわけではなく、ＣＣＤカメラの画素サイズと同等か、それに近いサイズで設定すればよい。
【００２５】
（３）平坦化処理（ステップＳ３）
上記の補正画像２４には、表示エリア全体に生じる大きな輝度変化、すなわち人間が見てもそれほど問題にならないような広い範囲にわたって明るいところや暗いところがあるといった明るさの変化や、上記のようにサイズの比較的大きいムラ欠陥などが含まれるおそれがあるので、これらを検出対象から除外するために、補正画像２４に対して平坦化処理を行う。この平坦化処理によって、照度ムラのような大きな明るさの変化やサイズの大きいムラ欠陥は除去される。例えば図４（ａ）は補正画像２４の例を示した図であり、この補正画像２４に例えばシミ欠陥３０やサイズの比較的大きいムラ欠陥３１が含まれているとすると、これらは平均化処理により、図４（ｂ）に示されるように、比較的小さいサイズのシミ欠陥やコントラストの異なるシミ欠陥のみが残った平坦化画像２５が得られる。なお、平坦化処理とは、平滑化フィルタを用いた処理、あるいはモフォロジ処理などによって平滑化する処理である。
【００２６】
（４）画像サイズ縮小処理（ステップＳ４〜Ｓ８）
シミ欠陥のサイズは小さいといってもその中でも様々な大きさのものがあり、また、シミ欠陥のコントラストについても高いものや低いものなど様々である。後述するフィルタは、所定のサイズのシミ欠陥しか強調できないので、平坦化画像２５内に存在する様々なサイズのシミ欠陥に対応させるために、平坦化画像２５の画像サイズを複数段階にわたって縮小する処理を行う。ここでは、元画像1200×1000ピクセルの平坦化画像２５から、１／２（600×500ピクセル）、１／４（300×250ピクセル）、１／８（150×125ピクセル）、１／１６（75×62ピクセル）、１／３２（38×31ピクセル）の５段階に縮小した５枚の縮小画像をそれぞれ作成する。
【００２７】
図５は画像サイズの縮小方法の説明図である。画像サイズの縮小方法は、図５（ａ）に示されるように、元画像の４画素分の輝度データの平均値を新たな画像の１画素に割り付けることにより１／２サイズに縮小する。この方法を繰り返すことにより、図５（ｂ）に示されるように、１／２、１／４、１／８、１／１６、１／３２の縮尺サイズの各画像を得る。なお、本実施形態１においてはこれらの縮小された画像を検査画像として後述のシミ検出処理をそれぞれ行う。
【００２８】
（５）シミ検出処理（ステップＳ９〜Ｓ１３）
このシミ検出処理は、上記のように縮小された画像にシミがあるかどうかについての判断しやくするための前処理（シミ欠陥強調処理）をするものであり、次の述べるようなフィルタを用いて処理する。なお、この処理は縮小された各画像に対してそれぞれ行われる。
【００２９】
図６はこのシミ検出処理において用いられるフィルタの概念図である。このフィルタはＮ画素×Ｎ画素の９つの領域（Ａ〜Ｉ）により定義される。このフィルタでは、Ｅの領域が検出対象の領域となり、Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｉの領域が、背景輝度を計算する領域となる。ここで、Ｎの値は検出したい対象のサイズに合わせて選択する。この例では、縮小画像を用いてサイズに対応するため、Ｎをシミ検出のための最小構成である「３」に設定している。
【００３０】
図７はＮを「３」と設定した場合のフィルタの構成図である。このフィルタのＥの領域の輝度とその周囲の領域（Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｉ）の輝度とを比較して、その輝度差に基づいてＥの領域にシミがあるかどうかを判断するための前処理を行う。このフィルタにおいて、例えばＥ領域の平均輝度値をＥavrとし、Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｉの各領域の平均輝度を、Ａavr、Ｂavr、Ｃavr、Ｄavr、Ｆavr、Ｇavr、Ｈavr、Ｉavrとすると、次の４つの式により演算処理する。
（１）縦方向成分のみで輝度差を検出するフィルタの計算式
Ｆ1 = Ｅavr − (Ｂavr ＋ Ｈavr ) /２            …（式１）
（２）横方向成分のみで輝度差を検出するフィルタの計算式
Ｆ2 = Ｅavr − (Ｄavr ＋ Ｆavr ) /２            …（式２）
（３）＋４５度方向の成分のみの輝度差を検出するの計算式
Ｆ3 = Ｅavr − (Ｃavr ＋ Ｇavr ) /２            …（式３）
（４）−４５度方向の成分のみの輝度差を検出するの計算式
Ｆ4 = Ｅavr − (Ａavr ＋ Ｉavr ) /２            …（式４）
【００３１】
図８〜図１１は、（式１）〜（式４）をフィルタの構成数値に置き換えたものを示した図である。図８のフィルタＦ１は縦方向成分の輝度差を検出し、図９のフィルタＦ２は横方向成分の輝度差を検出し、図１０のフィルタＦ３は＋４５度方向の成分の輝度差を検出し、図１１のフィルタＦ４は−４５度方向の成分の輝度差を検出する。これらのフィルタＦ１〜Ｆ４によりそれぞれ畳み込み演算を行ってシミ欠陥を強調した画素値を求める。例えば或る画素について４個のフィルタによりそれぞれ畳み込み演算をして、その値を例えばＦ１、Ｆ２、Ｆ３、Ｆ４とすると、実際に求めるべき処理結果Ｆは次式により求める。即ち、絶対値｜Ｆ１｜，｜Ｆ２｜、｜Ｆ３｜、｜Ｆ４｜の内の最小値となるフィルタを出し、そのフィルタによる値をその画素の値として採用する。
（５）Ｆ＝Min（｜F1｜，｜F2｜、｜F3｜、｜F4｜）      …（式５）
【００３２】
図１２は上記の（式１）〜（式５）の処理を具体的に説明するための説明図である。ここでは例えば図７の「Ｉ」の領域に欠陥があった場合について説明する。欠陥が白シミの場合にはＩの領域が「１００」の値を示し、それ以外の領域は「５０」の値を示すものとする。また、欠陥が黒シミの場合にはＩの領域が「１０」の値を示し、それ以外の領域は「５０」の値を示すものとする。このような状態において、白シミの場合には｜F4｜＝２５となり、黒シミの場合には｜F4｜＝２０となり、それ以外のフィルタは「０」の値を示す。このような場合には、フィルタF1，F2、F3の何れかをフィルタとして採用し、その採用されたフィルタによる値にオフセット値として２０４８（４０９６×１／２）を加えた値を対象となる画素の画素値として採用する。このようにシミ欠陥を強調処理する際に、対象となる画素の周辺部に欠陥があった場合にその欠陥の影響を受けないようようにしてフィルタ処理を行う。また、このシミ欠陥を強調処理においては次の述べるようにスジ欠陥を背景として処理してスジ欠陥を抹消する。
【００３３】
図１３は画像にスジ欠陥があった場合の説明図である。スジ欠陥として例えばＢ、Ｅ、Ｈの領域に欠陥があった場合には、図１３に示されるように、フィルタＦ１の絶対値が必然的に最小値（図示の例では｜F1｜＝０）を示すことになるので、このフィルタＦ１の値が画素値として採用されることになる。このフィルタＦ１によるフィルタ処理は、スジ欠陥を背景として処理するので、スジ欠陥はこの段階で抹消され、スジ欠陥が欠陥として検出されるおそれがなくなる。
【００３４】
図１４は上記の演算処理の詳細を示したフローチャートであり、図１５はフィルタ処理後の画像の画素値を採用する際の説明図である。なお、ここでは縮小された平坦化画像２５（以下、単に平坦化画像２５という）の各画素を各フィルタＦ1〜Ｆ4により予め畳み込み演算しておく例について説明する。
まず、平坦化画像２５の各画素値についてフィルタＦ１により畳み込み演算を行ってフィルタＦ１による処理後の画像２６（Ｆ１）を生成する（ステップＳ１０１）。同様にして、フィルタＦ２，Ｆ３，Ｆ４により畳み込み演算を行ってフィルタＦ２，Ｆ３，Ｆ４による処理後の画像２６（Ｆ２），画像２６（Ｆ３）、画像２６（Ｆ４）をそれぞれ生成する（ステップＳ１０２〜Ｓ１０４）。ここで、画像の横方向をＸ方向とし、縦方向をＹ方向とするものとする。そして、計数値Ｙ＝１と設定し（ステップＳ１０５）、計数値Ｘ＝１と設定して（ステップＳ１０６）、画像２６（Ｆ１〜Ｆ４）の画素を特定する。そして、これらの画像２６（Ｆ１〜Ｆ４）の画素値をそれぞれｃ１、ｃ２、ｃ３、ｃ４とすると、上記の（式５）を演算して、Min（｜ｃ1｜，｜ｃ2｜、｜ｃ3｜、｜ｃ4｜）により絶対値の最小値を求めて、それにオフセット値として２０４８（４０９６×１／２）を加えた値を画素値とする画像２７を生成する。ここで、最小値が例えば｜ｃ1｜であった場合には、画像２７の該当する画素にｃ１＋２０４８の値を画素値として格納する（図１５参照）。次に、Ｘ＝Ｎ（画像のＸ方向の端部に相当する画素の座標）であるかどうかを判断し（ステップＳ１０８）、一致していなければ、Ｘ＝Ｘ＋１として（ステップＳ１０９）、対象となる画素をＸ方向に１個移動させる。そして、上記の処理（ステップＳ１０７）を行う。このような処理をＸ＝Ｎとなるまで繰り返す（１行分の処理を行う）。次に、Ｙ＝Ｙ＋１とし（ステップＳ１１０）、対象画素を次の行に移行させて上記の処理（ステップＳ１０６〜１１０）を繰り返し、次に、Ｙ＞Ｍ（画像のＹ方向の端部に相当する画素の座標）であるかどうかを判断し（ステップＳ１１１）、Ｙ＞Ｍであれば、１画面分の処理が終了してシミ検出処理がなされた画像２７が生成されたものとして処理を終了する。
【００３５】
（６）統計計算（ステップＳ１４〜Ｓ１８）
次に、上記の画像２７内の各画素の輝度値に基づく統計データの計算を行う。統計データの計算では、画像全体での輝度値の平均値Ｌave、標準偏差σ、最大値Ｌmax、最小値Ｌminを求める。これら４つの輝度統計データから、白シミ、黒シミの閾値を、例えば次のように決定する。
白シミ閾値：Ｌave＋ａ１×σ
黒シミ閾値：Ｌave−ａ２×σ
ここで、ａ１、ａ２は、ある決められた定数である。
従って、白シミ、黒シミを検出するための閾値を、画像２７内の輝度データを統計計算することにより、その輝度統計データに基づいて自動的に決定することができる。そのため、閾値が人為的・試行錯誤的でなく、客観的・相対的なものとなる。
【００３６】
（７）チェック１：欠陥候補の有無の判定（ステップＳ１９）
そして、上記の画像２７内に白シミ欠陥や黒シミ欠陥の候補があるかどうかを、上記閾値に基づいて１回目のチェックを行う。すなわち、統計データの計算で求めた輝度値の最大値Ｌmaxが白シミ閾値を超えていれば、画像１７内に白シミ欠陥があると判定し、輝度値の最小値Ｌminが黒シミ閾値以下であれば、画像２７内に黒シミ欠陥があると判定する。もし、欠陥候補が皆無であれば、この段階でその製品は良品と判定され、検査を終了する。
【００３７】
（８）ブロブ（Ｂｌｏｂ）処理（ステップＳ２０〜Ｓ２４）
上記チェック１で画像２７内に欠陥候補があると判定された場合には、その閾値を用いて欠陥候補を抽出し、ブロブ処理を行って欠陥候補の特性値を計算する。ブロブ（Ｂｌｏｂ）とは、画像内に存在する特定範囲の値を持った「かたまり」のことであり、ここでは白シミ閾値以上の領域、又は黒シミ閾値以下の領域があるものが欠陥候補となる。従って、白シミ閾値と黒シミ閾値を用いて２値化処理で欠陥候補を抽出し、その抽出された領域に対して画像処理の手法であるブロブ（Ｂｌｏｂ）処理を行って、欠陥候補の特性値を計算する。ここでは欠陥候補の特性値として、領域の重心位置Ｘ，Ｙ座標と、白シミ欠陥候補であれば領域内の輝度の最大値（Ｌmax(n)）、黒シミ欠陥の候補であれば領域内の輝度の最小値（Ｌmin(n)）を求める。
【００３８】
（９）チェック２：評価値の計算（ステップＳ２５）
この２回目（つまり最終的な）チェックにおいて、欠陥候補として抽出された欠陥候補に対して、欠陥の程度を定量化するため評価値計算を行う。評価値は、（上記）縮小された画像毎に求められた輝度統計データ（平均値Ｌave(i)、標準偏差σ(i)、ｉは縮小画像の画面番号）とＢｌｏｂ処理により求められた特性値（最大値Ｌmax(n)、最小値Ｌmin (n)、ｎはＢｌｏｂ番号）を用いて、次式により評価値を計算する。
白シミ：
Ｅv(n)＝ｋ(i)×（Ｌmax(n)−Ｌave (i)）／σ(i)
黒シミ：
Ｅv(n)＝ｋ(i)×（Ｌave (i)−Ｌmin(n)）／σ(i)
但し     ｋ(i)＝縮小画面係数             i＝画面番号
Ｌmax(n)＝欠陥候補の最大輝度       n＝Blob番号
Ｌmin(n)＝欠陥候補の最小輝度
Ｌave＝画像全体の平均輝度
σ＝画像全体の輝度の標準偏差
これらの計算式により評価値を求めることにより、欠陥候補として抽出された白シミ欠陥、黒シミ欠陥を、座標位置、個数（Blob番号）と共に、客観的なデータで定量的に評価することができ、白シミ欠陥、黒シミ欠陥の有無を判断するだけではなく、欠陥の程度に基づくランクを決定することができる。従って、シミ欠陥の検出精度が高いものとなる。
【００３９】
この評価値に対し、ランク分類するための閾値は、製品の良品ランク毎に何段階かに設定することができる。これによりシミ欠陥の良品内のランク（等級）付けや製品の等級化が可能となる。例えば、液晶パネルをＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー別に、プロジェクタのライトバルブとして使用する場合に、比視感度は緑のとき（波長λ＝５５５ｎｍのとき）が最も高いので、緑のライトバルブのランクを設定する閾値が最も厳しく他の場合よりも小さい値に設定される。
【００４０】
本実施形態１は、以上のように構成されているので、液晶パネル等の表示デバイスの画面に存在するシミ欠陥を欠陥サイズの大小にかかわらず、またコントラストの高低にかかわらず、高精度に自動的に検出することができ、かつ、シミ欠陥を個々に定量的に評価することができる。また、輝度統計データに基づいてシミ欠陥を評価するものであるので、製品や部品の品質データを収集・分析することにより、品質管理に役立てることができ、更なる品質の向上を目指した手法を構築することも可能となる。また、フィルタによる強調処理を行う際に、利用するフィルタを画素毎に適宜選択するようにしたので、対象となる画素の周囲の影響を過度に受けることがなく、欠陥検出の精度を高めることが可能になっている。
【００４１】
また、検査画像の複数の方向において対象画素とその外周部の周辺の画素との輝度差を求めるようにして、輝度差の絶対値が最小の値となる方向の輝度差の値を輝度値とする画像を生成するようにしたので、対象となる画素の周囲の影響を過度に受けることがなく、欠陥検出の精度を高めることが可能になっている。また、スジ欠陥が仮にあったとしてもそれは上述のように背景として処理されることになるので、スジ欠陥をシミ欠陥として検出するおそれがない。
【００４２】
実施形態２．
図１６〜図１９はフィルタの他の構成例である。図１６は上記の（式１）に対応するフィルタであり、図１７は上記の（式２）に対応するフィルタであり、図１８は上記の（式３）に対応するフィルタであり、図１９は上記の（式４）に対応するフィルタである。本発明のフィルタの具体的な構成は、これらの例に限定されるものではなく、その構成値は適宜変更し得るものである。
【００４３】
実施形態３．
なお、本発明の検査対象は、上記のようなＴＦＴ素子を用いた液晶パネルに限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、有機ＥＬディスプレイ、ＤＭＤ（ダイレクト・ミラー・デバイス）などの表示体部品、ならびにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。また、本発明において用いられるフィルタは上記の実施形態１及び２に示されたものに限定されず、本発明の目的の範囲内に適宜変更される。また、上記の実施形態１においては、４個のフィルタの絶対値が最小値を示すものを採用する例について説明したが、必ずしも最小値である必要はなく、これは外部周辺の欠陥の影響を受けないようにするための処理であることから、相対的に小さな値例えば２番目に小さな値を示すものを採用してもよい。
【００４４】
また、上記の実施形態１においては、検査対象の画像を複数段階に縮小して、同じ大きさのフィルタを適用する例について説明したが、その逆に、検査対象の画像を縮小せずに、複数段階の大きさのフィルタを用意しておいて適用するようにしてもよい。また、上記の実施形態１においては、検査対象となる液晶パネルの画像をプロジェクタにより拡大して表示して、その拡大された画像を撮像して検査する方法が採用されているが、液晶パネルの画像を直接撮像して検査するようにしてもよい。
【実施例】
【００４５】
図２０は擬似欠陥画像を示した図であり、図２１は図２０の画像の中の擬似シミを設定したＹ座標の位置でのラインプロファイルを示した図である。
図２２は上記の実施形態１のフィルタにより処理された画像２７を示した図であり、図２３は図２２の画像の中の擬似シミを設定したＹ座標の位置でのラインプロファイルを示した図である。
図２４は比較例として、先行技術（例えば特許文献１）のフィルタにより処理された画像を示した図であり、図２５は図２４の画像の中の擬似シミを設定したＹ座標の位置でのラインプロファイルを示した図である。
図２２及び図２３と図２４及び図２５とを対比すると、図２２及び図２３の例においては、検出すべきシミの成分とは逆方向成分がほとんどないが、図２４及び図２５においては、逆方向成分Ａ，Ｂが大きく現れており、前者が高精度にシミを検出することができることが分かる。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態１によるシミ欠陥検出装置の構成図。
【図２】シミ欠陥の検出処理を示すフローチャート。
【図３】入力画像から表示エリア抽出後の画像に至るまでの各画像の模式図。
【図４】平均化処理の前後の各画像の模式図。
【図５】画像サイズの縮小方法の説明図。
【図６】本実施形態１において用いられるフィルタの構成図。
【図７】図６のフィルタにおいてＮを３としたときのフィルタの構成図。
【図８】（式１）に対応したフィルタの構成図。
【図９】（式２）に対応したフィルタの構成図。
【図１０】（式３）に対応したフィルタの構成図。
【図１１】（式４）に対応したフィルタの構成図。
【図１２】（式１）〜（式５）の処理の説明図。
【図１３】スジ欠陥があったときの処理の説明図。
【図１４】検出画像を得るための処理過程を示したフローチャート。
【図１５】検出画像を得るための処理の説明図。
【図１６】（式１）に対応したフィルタの他の構成図。
【図１７】（式２）に対応したフィルタの他の構成図。
【図１８】（式３）に対応したフィルタの他の構成図。
【図１９】（式４）に対応したフィルタの他の構成図。
【図２０】擬似欠陥画像を示した図。
【図２１】擬似欠陥中の擬似シミを設定した位置でのラインプロファイル。
【図２２】実施形態１のフィルタにより処理された画像を示した図。
【図２３】図２２の擬似シミの位置でのラインプロファイル。
【図２４】従来フィルタにより処理された画像を示した図。
【図２５】図２４の擬似シミの位置でのラインプロファイル。
【符号の説明】
【００４７】
１  プロジェクタ、２  液晶パネル、３  スクリーン、４  画像、５  パターンジェネレータ、６  ＣＣＤカメラ、７  コンピュータ、８  表示装置、１０  検査対象画面、２１  入力画像、２２  背景画像、２３  背景差分画像、２４  表示エリア抽出後の補正画像、２５  平均化画像、２６（Ｆ1〜Ｆ4）  各フィルタ処理による画像、２７  画像、３０  シミ欠陥、３１  ムラ欠陥。
【図１】
2005140655.tif 000003
【図２】
2005140655.tif 000004
【図３】
2005140655.tif 000005
【図４】
2005140655.tif 000006
【図５】
2005140655.tif 000007
【図６】
2005140655.tif 000008
【図７】
2005140655.tif 000009
【図８】
2005140655.tif 000010
【図９】
2005140655.tif 000011
【図１０】
2005140655.tif 000012
【図１１】
2005140655.tif 000013
【図１２】
2005140655.tif 000014
【図１３】
2005140655.tif 000015
【図１４】
2005140655.tif 000016
【図１５】
2005140655.tif 000017
【図１６】
2005140655.tif 000018
【図１７】
2005140655.tif 000019
【図１８】
2005140655.tif 000020
【図１９】
2005140655.tif 000021
【図２０】
2005140655.tif 000022
【図２１】
2005140655.tif 000023
【図２３】
2005140655.tif 000024
【図２５】
2005140655.tif 000025
【図２２】
2005140655.tif 000026
【図２４】
2005140655.tif 000027