(57)【要約】【課題】画像処理により不均一性（ムラ）領域を自動検出する際に、検査工程の省力化、高速化を図り、最終製品であるフラットパネルディスプレイのコストダウンを達成する。【解決手段】カメラにより撮像されたフラットパネルディスプレイの発光状態の入力画像に対して前処理部（２１）、欠陥候補抽出部（２２）、判定部（２３）による画像処理を施す自動ムラ検出装置であって、前処理部（２１）は、画素構造の影響を入力画像から除去することなく、入力画像からノイズ成分を除去し、欠陥候補抽出部（２２）は、輝度ヒストグラムの分布に基づいて第１の閾値を算出して第１の２値化画像を生成し、第１の２値化画像に対して所定サイズの注目ブロック内で白画素比率を算出し、各画素について算出された比率に対して所定の第２の閾値を用いることで、輝度の不均一性候補領域となる第２の２値化画像を生成する。【選択図】図１
2014119362.tif 000002
【特許請求の範囲】
【請求項１】
カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、前記入力画像に対して前処理を行う前処理部、前記前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および前記欠陥候補抽出部により抽出された前記ムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、ムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出装置であって、
前記前処理部は、前記フラットパネルディスプレイが有する画素構造の影響を前記入力画像から除去することなく、前記入力画像からカメラノイズおよび背景ノイズを除去し、後段の前記欠陥候補抽出部に出力し、
前記欠陥候補抽出部は、
前記前処理部の出力画像に対して輝度ヒストグラムを算出し、
算出した前記輝度ヒストグラムの分布に基づいて第１の閾値を算出し、
前記前処理部の出力画像に対して前記第１の閾値を用いることで第１の２値化画像を生成し、
前記第１の２値化画像に対して、所定サイズの注目ブロック内で白画素の比率を算出する処理を、１画素毎に前記注目ブロックを移動させながら実行し、各画素について算出された前記比率に対して所定の第２の閾値を用いることで、前記ムラ候補領域となる第２の２値化画像を生成する
フラットパネルディスプレイの自動ムラ検出装置。
【請求項２】
請求項１に記載のフラットパネルディスプレイの自動ムラ検出装置において、
前記欠陥候補抽出部は、
前記第２の２値化画像に対して収縮／膨張処理を実行することで孤立点除去および領域連結を行った後、白または黒の閉領域を抽出し、
抽出した前記閉領域をラベリングすることで、前記ムラ候補領域をさらに絞り込み、後段に出力する
フラットパネルディスプレイの自動ムラ検出装置。
【請求項３】
請求項１または２に記載のフラットパネルディスプレイの自動ムラ検出装置において、
前記判定部は、前記欠陥候補抽出部により算出された前記ムラ候補領域のそれぞれの領域について、輝度値あるいはコントラスト比に基づくパラメータを算出して所定の評価値と比較することで、前記ムラ候補領域の真偽判定を行う
フラットパネルディスプレイの自動ムラ検出装置。
【請求項４】
カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、前記入力画像に対して前処理を行う前処理部、前記前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および前記欠陥候補抽出部により抽出された前記ムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、ムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出方法であって、
前記前処理部において、前記フラットパネルディスプレイが有する画素構造の影響を前記入力画像から除去することなく、前記入力画像からカメラノイズおよび背景ノイズを除去し、後段の前記欠陥候補抽出部に出力するステップと、
前記欠陥候補抽出部において、
前記前処理部の出力画像に対して輝度ヒストグラムを算出するステップと、
算出した前記輝度ヒストグラムの分布に基づいて第１の閾値を算出するステップと、
前記前処理部の出力画像に対して前記第１の閾値を用いることで第１の２値化画像を生成するステップと、
前記第１の２値化画像に対して、所定サイズの注目ブロック内で白画素の比率を算出する処理を、１画素毎に前記注目ブロックを移動させながら実行し、各画素について算出された前記比率に対して所定の第２の閾値を用いることで、前記ムラ候補領域となる第２の２値化画像を生成するステップと
を備えるフラットパネルディスプレイの自動ムラ検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フラットパネルディスプレイの製造工程で生じる輝度や色の不均一性（ムラ）を、画像データに基づく演算処理を行うことで自動検出するためのフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法に関する。
【背景技術】
【０００２】
近年、様々な種類のフラットパネルディスプレイが開発され、製品化されている。このようなフラットパネルディスプレイの画質を低下させる欠陥の一つとして、輝度や色の不均一性（ムラ）がある。
【０００３】
生産現場におけるムラの検査は、従来、検査員により目視で行われていた。しかしながら、多くの時間、検査人員、費用が必要とされるため、検査の自動化が望まれており、一部自動化が進んでいる。
【０００４】
このような自動化の方法の一例として、発光したフラットパネルをカメラで撮影し、画像処理によってムラの検出を行う技術が開発され、検査工程において利用されるようになってきている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】大谷哲也他、「フラットパネルディスプレイの画質検査アルゴリズム」、横河技法、ｖｏｌ．４７  Ｎｏ．３（２００３）
【非特許文献２】大津展之、「判別および最小２乗基準に基づく自動しきい値選定法」、電子通信学会論文誌Ｄ、Ｖｏｌ．６３、Ｎｏ．４、ｐｐ３４９〜３５６、１９８０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術には、以下のような課題がある。
このような自動検査は、まだまだ性能は十分でなく、特定の点欠陥や線欠陥以外の様々な欠陥に対応できるものではなかった。
【０００７】
従来の画像処理による欠陥検査の一般的な流れは、大別すると、以下の３つの部分に分けられる。
（１）前処理部（フィルタ等によるノイズ除去、画素構造除去、背景画像予測除去等）
（２）欠陥候補抽出部（欠陥に係わる特徴量を計算、２値化、ラベリングすることで、候補を抽出）
（３）判定部（経験に基づいた判断ルールで欠陥部分を特定、表示）
【０００８】
それぞれの画像処理部分では、検出対象となる欠陥の種類や撮影環境などに応じた複数の異なる処理が採用されるが、概ね複雑な処理になることが多く、安定的に検出性能が得られるとはいえなかった。
【０００９】
ここで、具体的に、前処理部において生じる問題について説明する。フラットパネルディスプレイの欠陥は、輝度（明暗）の微妙な変化となって見えることが多い。しかしながら、フラットパネルディスプレイは、固定画素構造のパネルであるため、画素単位の構造がカメラ撮影による画像に明暗として写り、そのままでは、フラットパネルディスプレイの欠陥を検出する妨げになることがある。
【００１０】
問題を避けるためには、所定の帯域を通過するフィルタをかけることで、画素構造を見えなくし、ディスプレイの各画素に表示された明暗情報のみを取り出すことを行わなければならない。しかしながら、フィルタをかけることによって、本来検出すべき欠陥の特徴をもなまらせてしまうことになり、以降の欠陥検出処理が難しくなるという新たな問題が生じる。
【００１１】
また、検出対象となる欠陥の種類やパネルの種類によって、帯域通過フィルタの特性や以降の欠陥検出処理アルゴリズムを微妙に調整する必要があり、さらに作業工程が増えるという問題も誘発する。
【００１２】
また、フィルタサイズの大きいローパスフィルタなどで背景画像予測を行い、入力画像から減算することで、ムラ部分の強調とともに、ノイズと分離し、ある閾値で２値化することで、ムラの検出を行うことが考えられる。しかしながら、このような検出に当たっては、フィルタのサイズを大きくして十分なローパス効果を実現しないと、ムラの検出性能に影響することとなる。このため、ハードウェアの負担が増大するとともに、ソフトウェアの処理時間が長くなるという問題も生じ、最終製品であるフラットパネルディスプレイのコスト高への影響が生じる。
【００１３】
本発明は、前記のような課題を解決するためになされたものであり、フラットパネルディスプレイの検査工程において、画像処理により不均一性（ムラ）領域を自動検出する際に、検査工程の省力化、高速化を図り、最終製品であるフラットパネルディスプレイのコストダウンを達成することのできるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係るフラットパネルディスプレイの自動ムラ検出装置は、カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、入力画像に対して前処理を行う前処理部、前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および欠陥候補抽出部により抽出されたムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、ムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出装置であって、前処理部は、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去することなく、入力画像からカメラノイズおよび背景ノイズを除去し、後段の欠陥候補抽出部に出力し、欠陥候補抽出部は、前処理部の出力画像に対して輝度ヒストグラムを算出し、算出した輝度ヒストグラムの分布に基づいて第１の閾値を算出し、前処理部の出力画像に対して第１の閾値を用いることで第１の２値化画像を生成し、第１の２値化画像に対して、所定サイズの注目ブロック内で白画素の比率を算出する処理を、１画素毎に注目ブロックを移動させながら実行し、各画素について算出された比率に対して所定の第２の閾値を用いることで、ムラ候補領域となる第２の２値化画像を生成するものである。
【００１５】
また、本発明に係るフラットパネルディスプレイの自動ムラ検出方法は、カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、入力画像に対して前処理を行う前処理部、前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および欠陥候補抽出部により抽出されたムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、ムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出方法であって、前処理部において、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去することなく、入力画像からカメラノイズおよび背景ノイズを除去し、後段の欠陥候補抽出部に出力するステップと、欠陥候補抽出部において、前処理部の出力画像に対して輝度ヒストグラムを算出するステップと、算出した輝度ヒストグラムの分布に基づいて第１の閾値を算出するステップと、前処理部の出力画像に対して第１の閾値を用いることで第１の２値化画像を生成するステップと、第１の２値化画像に対して、所定サイズの注目ブロック内で白画素の比率を算出する処理を、１画素毎に注目ブロックを移動させながら実行し、各画素について算出された比率に対して所定の第２の閾値を用いることで、ムラ候補領域となる第２の２値化画像を生成するステップとを備えるものである。
【発明の効果】
【００１６】
本発明によれば、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去する処理を不要とすることで前処理部を大幅にカットし、欠陥候補抽出部で画素構造を積極的に利用した手法を採用することにより、検査工程の省力化、高速化を図り、最終製品であるフラットパネルディスプレイのコストダウンを達成することのできるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１におけるフラットパネルディスプレイの自動ムラ検出装置の全体構成図である。
【図２】本発明の実施の形態１における画像処理部による一連処理を示したフローチャートである。
【図３】本発明の実施の形態１における画像処理部による具体的な処理画像を示した説明図である。
【図４】従来の画像処理部による一連処理を示したフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明のフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法の好適な実施の形態につき図面を用いて説明する。
なお、本願発明は、任意のパターンで発光したフラットパネルディスプレイのカメラ撮像画像をコンピュータに取り込み、画像処理によって自動的にムラを検出する手法において、以下のような手段を有することを技術的特徴とするものである。
（特徴１）前処理部において、背景ノイズ除去後、例えば大津の手法（例えば、非特許文献２参照）によって輝度ヒストグラムから閾値を算出して、その閾値と比較することで２値化を行う第１の２値化手段
（特徴２）第１の２値化処理手段による２値化処理結果において、所定のブロック内の白の画素の比率を算出する手段
（特徴３）算出した比率を所定の閾値と比較して２値化する第２の２値化手段
【００１９】
さらに、以下の技術的特徴を有することもできる。
（特徴４）第２の２値化処理手段による２値化処理結果を、オープニング（収縮／膨張）処理またはクロージング（膨張／収縮）処理によって整形することで欠陥候補領域を特定し、不均一性（ムラ）領域の判定を行う手段
【００２０】
実施の形態１．
図１は、本発明の実施の形態１におけるフラットパネルディスプレイの自動ムラ検出装置の全体構成図である。図１に示した本実施の形態１におけるフラットパネルディスプレイの自動ムラ検出装置は、カメラ１０、画像処理部２０、および表示部３０を備えて構成され、検査対象であるフラットパネルディスプレイ（以下、「検査パネル１」と称す）の自動ムラ検出を行う。
【００２１】
画像処理部２０は、カメラ１０で撮像された検査パネル１の発光状態に対して画像処理を施すことで、ムラが発生している領域を特定し、表示部３０に特定した場所を表示させることができる。そして、この画像処理部２０は、前処理部２１、欠陥候補抽出部２２、および判定部２３を備えて構成されている。
【００２２】
前処理部２１は、後段の欠陥候補抽出部２２による処理を行うために、カメラ１０で撮像された画像の補正処理を行う部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・拡大／縮小処理
・幾何学的補正
・シェーディング補正
・ノイズ除去（平滑化フィルタ、メディアンフィルタ等）
・画素構造除去
・背景画像予測除去
【００２３】
また、欠陥候補抽出部２２は、前処理部２１を経た画像に対して、ムラに相当する欠陥部分の候補領域を抽出する部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・エンハンス処理
・エッジ検出（ラプラシアンフィルタ、ソーベルフィルタ等）
・第１の特徴量計算
・２値化
・孤立点除去
・膨張／収縮処理
・ラベリング
【００２４】
さらに、判定部２３は、欠陥候補抽出部２２により抽出された候補領域について、ムラであるか否かを最終判断する部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・第２の特徴量計算
・識別（閾値判定、分類等）
【００２５】
次に、フローチャートおよび説明図を用いて、本実施の形態１における自動ムラ検出方法について具体的に説明する。図２は、本発明の実施の形態１における画像処理部２０による一連処理を示したフローチャートである。また、図３は、本発明の実施の形態１における画像処理部２０による具体的な処理画像を示した説明図である。さらに、図４は、従来の画像処理部による一連処理を示したフローチャートである。
【００２６】
まず始めに、ステップＳ２０１において、カメラ１０により撮影された検査パネル１の画像が、前処理部２１に入力画像（図３（ａ）参照）として入力される。前処理部２１は、詳細を図示しないが、入力画像に対してカメラノイズ除去を施した後、さらに、背景画像を予測して背景ノイズ除去後の画像を生成する（図３（ｂ）参照）。
【００２７】
次に、ステップＳ２１１において、欠陥候補抽出部２２は、前処理部２１により生成された背景ノイズ除去後の画像に対して、ヒストグラム処理を実行し、背景ノイズ除去後の画像の輝度の度数分布を求める。
【００２８】
次に、ステップＳ２１２において、欠陥候補抽出部２２は、輝度の度数分布のバランスから２値化に最適な閾値を求める手法としてよく知られている、例えば大津の手法を使用して、次段の閾値処理で使用する第１の閾値ＴＨ１を算出する。
【００２９】
次に、ステップＳ２１３において、欠陥候補抽出部２２は、前処理部２１により生成された背景ノイズ除去後の画像の各画素に対して、ステップＳ２１２で算出された第１の閾値ＴＨ１との比較を行うことで、白（１）と黒（０）に２値化された第１の２値化画像を生成する（図３（ｃ）参照）。
【００３０】
次に、ステップＳ２１４において、欠陥候補抽出部２２は、ステップＳ２１３で生成された第１の２値化画像に対して、所定の注目ブロック内で白（１）画素を計数し、注目ブロックの全画素数との比率を計算する。当該比率は、例えば、１５×１５画素からなる注目ブロックを１画素毎に移動しながら計算される。
【００３１】
次に、ステップＳ２１５において、欠陥候補抽出部２２は、ステップＳ２１４により各画素について計算された白画素比率を、所定の第２の閾値ＴＨ２と比較することで、白（１）黒（０）に２値化された第２の２値化画像を生成する（図３（ｄ）参照）。
【００３２】
ここで、第２の閾値ＴＨ２について、さらに説明を加える。輝度の明るい欠陥を検出する場合には、欠陥候補抽出部２２は、ＴＨ２をＴＨ２Ｈに置き換え、白画素比率がＴＨ２Ｈ以上の場合には白（１）、白画素比率がＴＨ２Ｈ未満の場合には黒（０）に２値化することで、白領域が輝度の明るい欠陥に対応した２値化画像を生成する。
【００３３】
一方、輝度の暗い欠陥を検出する場合には、欠陥候補抽出部２２は、ＴＨ２をＴＨ２Ｌに置き換え、白画素比率がＴＨ２Ｌ以上の場合には白（１）、白画素比率がＴＨ２Ｌ未満の場合には黒（０）に２値化することで、黒領域が輝度の暗い欠陥に対応した２値化画像を生成する。
【００３４】
次に、ステップＳ２１６において、欠陥候補抽出部２２は、ステップＳ２１５で生成された第２の２値化画像に対して、オープニング／クロージング処理として、孤立点除去や領域連結を実行する。
【００３５】
次に、ステップＳ２１７において、欠陥候補抽出部２２は、ステップＳ２１６によるオープニング／クロージング処理後の２値化画像の中から、白または黒の閉領域として識別される領域を抽出することで、欠陥部の候補領域を抽出する。
【００３６】
さらに、ステップＳ２１８において、欠陥候補抽出部２２は、ステップＳ２１７により抽出された欠陥部の候補領域をラベリングすることにより、欠陥候補画像とすることができる。
【００３７】
そして、最後に、ステップＳ２２１において、判定部２３は、ステップＳ２１８で生成された欠陥候補画像に関し、経験に基づいた判断ルールで欠陥部分およびその属性を特定し、結果を表示部３０に表示する。
【００３８】
より具体的には、判定部２３は、ステップＳ２１８により特定された不均一性（ムラ）領域候補の各領域内で、輝度値やコントラスト比やＳＥＭＵ値等のパラメータを演算する（ここで、「ＳＥＭＵ」とは、ＳＥＭＩ（Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  Ｅｑｕｉｐｍｅｎｔ  ａｎｄ  Ｍａｔｅｒｉａｌｓ  Ｉｎｔｅｒｎａｔｉｏｎａｌ）において、ムラの測定単位として定義されたものであり、「ＳＥＭＩ  ＭＵＲＡ」の略称に相当する）。さらに、判定部２３は、ステップＳ２１８で生成された欠陥候補画像を表示部３０に表示させるとともに、演算で求めた各パラメータを各候補領域に対応させて表示させることができる。
【００３９】
この結果、検査者は、表示内容に基づいた総合的な判断をすることで、不均一性（ムラ）領域の真偽判定を行うことができる。また、検査者の経験に基づいて、各パラメータからムラの発生の有無を判定するための評価値をあらかじめ設定しておくことで、判定部２３は、演算で求めた各パラメータを各評価値と比較することによって、自動ムラ判定を行うことも可能である。
【００４０】
図４は、従来の画像処理部による一連処理を示したフローチャートであり、図２に示した本実施の形態１の画像処理部による一連処理を示したフローチャートとの対比を説明する。図４に示したように、従来技術における前処理部２１は、固定画素構造を有するフラットパネルディスプレイの画素単位の構造がカメラ撮影による画像に明暗として写るため、所定の帯域を通過させるフィルタリング処理により、画素構造を除去していた（図４のステップＳ４０２参照）。
【００４１】
しかしながら、発明が解決しようとする課題として上述したように、フィルタをかけることによって、本来検出すべき欠陥の特徴をもなまらせてしまうことになり、以降の欠陥検出処理が難しくなるという問題が生じていた。さらに、検出対象となる欠陥の種類やパネルの種類によって、帯域通過フィルタの特性や以降の欠陥検出処理アルゴリズムを微妙に調整する必要があり、さらに作業工程が増えるという問題もあった。
【００４２】
これに対して、本実施の形態１における画像処理部２０は、画素構造の除去処理を前処理部２１によって行うことなく、欠陥候補抽出部２２において、パネルの画素構造を積極的に利用して、２種類の２値化処理による簡単なロジックおよびハードウェアで欠陥部分の特徴を抽出している。さらに、オープニング／クロージング処理、およびラベリング処理による簡単なロジックおよびハードウェアで、欠陥部分の特徴をより高精度に抽出している。
【００４３】
この結果、高速に、本来の欠陥を高精度に抽出することができ、検査工程の省力化、高速化を実現することで、最終製品であるフラットパネルディスプレイのコストダウンを達成することができる。なお、本実施の形態１における自動ムラ検出方法は、スポット状の欠陥や、ある程度の面積を持った欠陥の検査に対して特に有効である。
【００４４】
以上のように、実施の形態１によれば、画素構造の除去処理を前処理によって行うことなく、パネルの画素構造を積極的に利用して、欠陥候補領域の抽出を行うことができる。この結果、検査工程の省力化、高速化を実現できるとともに、最終製品であるフラットパネルディスプレイのコストダウンを達成することができるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることができる。
【符号の説明】
【００４５】
１  検査パネル、１０  カメラ、２０  画像処理部、２１  前処理部、２２  欠陥候補抽出部、２３  判定部、３０  表示部。
【図１】
2014119362.tif 000003
【図２】
2014119362.tif 000004
【図３】
2014119362.tif 000005
【図４】
2014119362.tif 000006