(57)【要約】【課題】表示装置（表示パネルの種類）、表示状況の違い（特にカラー表示）に依存した処理を行わなくても検査を行えるような画像処理方法等を得る。【解決手段】表示パネル１００を撮像した画像に基づいて、画像処理装置１０が表示画面を構成する各画素の中心位置の座標値を算出し、中心位置の座標値に基づいて、良と判断した画素の輝度のデータを選択する。そして、選択した輝度のデータを処理してマハラノビスの距離を算出するための単位空間を作成する。そして、被検査対象の表示パネル１００について、画素毎にマハラノビスの距離を算出し、各画素のマハラノビスの距離及び中心位置の座標に基づいて、表示パネル１００を評価する。【選択図】        図１
2004206498.tif 000002
【特許請求の範囲】
【請求項１】
被検査対象となる表示画面を撮像した画像に基づいて、前記表示画面を構成する各画素の基準となる座標値を算出する工程と、
前記基準となる座標値に基づいて、良と判断した画素の輝度のデータを選択する工程と、
前記選択した輝度のデータを処理してマハラノビスの距離を算出するための単位空間を作成する工程と
を有することを特徴とする画像処理方法。
【請求項２】
被検査対象となる表示画面を撮像した画像に基づいて、前記表示画面を構成する各画素の基準となる座標値を算出する工程と、
前記基準となる座標値に基づいて、前記各画素の輝度のデータを選択する工程と、
前記選択した輝度のデータを処理して前記画素毎にマハラノビスの距離を算出する工程と、
前記各画素のマハラノビスの距離及び中心位置の座標に基づいて、前記表示画面を評価する工程と
を有することを特徴とする画像処理方法。
【請求項３】
前記各画素の輝度のデータを選択した後に、前記基準となる座標値と前記選択した輝度のデータとを前記画素毎に関連づけて記憶する工程をさらに有することを特徴とする請求項１又は２記載の画像処理方法。
【請求項４】
前記基準となる座標値を算出する工程は、
パターンマッチングを行って、あらかじめ定めたパターンと合致するものと判断した前記画素をあらかじめ設定した数だけ検出する工程と、
検出した前記画素に基づいて算出した近似直線に基づいて、前記各画素を表す輝度のデータを仮決定する工程と、
仮決定した前記各画素を表す輝度のデータに基づいて、各行及び各列の輝度が最大となる座標を算出する工程と、
算出した座標に基づいて行方向及び列方向の近似直線を算出して、交点の座標値をその画素の前記中心の座標値を前記基準の座標値とする工程と
からなることを特徴とする請求項１〜３のいずれかに記載の画像処理方法。
【請求項５】
前記表示画面中の前記画素の位置とその画素に対応するマハラノビスの距離との関係を表示装置に表示させる処理を行うことを特徴とする請求項２記載の画像処理方法。
【請求項６】
表示画面を撮像した画像に基づいて、光の３原色となる波長帯域毎に分けた画像を作成し、
前記波長帯域毎に分けたそれぞれの画像から輝度のデータを選択し、処理することを特徴とする請求項１又は２記載の画像処理方法。
【請求項７】
被検査対象の表示画面を評価するための画像処理方法において、
前記表示画面の各画素から発せられる光を、複数の波長領域に分離したときのそれぞれの輝度のデータを処理してマハラノビスの距離を算出し、前記表示画面の良否を判断することを特徴とする画像処理方法。
【請求項８】
前記画素を光の３原色となる波長領域に分離し、さらに２次元の位置に分解し、各波長領域及び各位置において得られた複数の輝度のデータを、ある方向に基づいて各位置の輝度のデータを並べるように変換して処理し、マハラノビスの距離を算出することを特徴とする請求項７記載の画像処理方法。
【請求項９】
良画素と判断した複数の画素をサンプルとして用い、マハラノビスの距離を算出するための単位空間を作成することを特徴とする請求項７記載の画像処理方法。
【請求項１０】
画像処理を行うための基準の範囲を分解し、さらに光を複数の波長領域に分離して得られた輝度のデータを任意に選択した順に処理し、マハラノビスの距離を算出することを特徴とする画像処理方法。
【請求項１１】
前記基準の範囲の中心の位置を算出することを特徴とする請求項１０記載の画像処理方法。
【請求項１２】
人間の眼の分解能に基づいて前記基準の範囲を分解することを特徴とする請求項１０記載の画像処理方法。
【請求項１３】
画面の構成単位である画素を、前記基準の範囲とすることを特徴とする請求項１０〜１２のいずれかに記載の画像処理方法。
【請求項１４】
被検査対象に表示された画面を撮像手段が撮像して得られたデータを処理し、前記被検査対象の表示画面の良否を検査するための画像処理装置において、
前記被記検査対象の画面を構成する画素毎に基準となる座標値をデータとして算出し、必要なデータを選択する画素取得手段と、
良画素のサンプルによってあらかじめ得られたデータの平均値及び標準偏差に基づいて、前記画素取得手段が選択したデータを基準化した基準化値をデータとして算出する基準化値データ演算手段と、
前記基準化値に基づいて、前記検査対象の画面を構成する画素毎にマハラノビスの距離をデータとして算出する距離演算手段と、
画素毎の基準となる座標値のデータ及び前記マハラノビスの距離のデータに基づいて前記被検査対象に表示された画面の良否を判断する検査判断手段と
を備えたことを特徴とする画像処理装置。
【請求項１５】
前記良画素のサンプルによってあらかじめ得られたデータを基準化し、各データの相関関係に基づく相関行列の逆行列を算出しておき、
前記距離演算手段は、前記逆行列の各要素及び前記基準化値に基づいて前記マハラノビスの距離を算出することを特徴とする請求項１４記載の画像処理装置。
【請求項１６】
直交展開演算手段及び直交変数演算手段をさらに備え、
前記良画素のサンプルによってあらかじめ得られたデータを基準化し、シュミットの直交展開を利用してそれぞれのデータに基づいて回帰係数及び残差成分の分散に基づく値を算出しておき、
前記直交展開演算手段は、前記基準化値データに基づいて撮像手段が撮像して得られたデータについて算出した残差成分の値をデータとして算出し、
前記直交変数演算手段は、前記直交展開演算手段が算出した前記残差成分の値及び前記分散に基づく値により直交変数の値をデータとして算出し、
前記距離演算手段は、前記直交変数の値のデータに基づいてマハラノビスの距離を算出することを特徴とする請求項１４記載の画像処理装置。
【請求項１７】
前記撮像手段の撮像により得られるデータのデータ量を、人間の眼の分解能に基づいて決定することを特徴とする請求項１４記載の画像処理装置。
【請求項１８】
前記画素取得手段は、前記基準となる座標値のデータと選択した前記必要なデータとを前記画素毎に関連づけて記憶装置に記憶させることを特徴とする請求項１４記載の画像処理装置。
【請求項１９】
被検査対象に表示された画面を撮像した撮像手段から送信された、光の３原色となる波長領域に分離した輝度を表す信号に基づいて輝度値データを作成する輝度値データ取得手段をさらに備えたことを特徴とする請求項１４記載の画像処理装置。
【請求項２０】
単位空間と算出した画素毎のマハラノビスの距離との関係を表すグラフ及び前記表示画面を撮像した画像を表示装置に表示させるための処理をし、選択された前記グラフ上の点に基づいて、前記点と対応する前記画像中の画素を前記表示装置に区別表示させるための処理をする表示処理手段をさらに有することを特徴とする請求項１４記載の画像処理装置。
【請求項２１】
被検査対象となる表示画面を撮像した画像に基づいて、前記表示画面を構成する各画素の基準となる座標値を算出させ、
前記基準となる座標値に基づいて、良と判断した画素を表す輝度のデータを選択させ、
前記選択した輝度のデータを処理してマハラノビスの距離を算出するための単位空間を作成させる
ステップをコンピュータに行わせることを特徴とする画像処理方法のプログラム。
【請求項２２】
被検査対象となる表示画面を撮像した画像に基づいて、前記表示画面を構成する各画素の基準となる座標値を算出させ、
前記基準となる座標値に基づいて、前記各画素の輝度のデータを選択させ、
前記選択させた輝度のデータを処理させて前記画素毎にマハラノビスの距離を算出させ、
前記各画素のマハラノビスの距離及び中心位置の座標に基づいて、前記表示画面を評価させる
ステップをコンピュータに行わせることを特徴とする画像処理方法のプログラム。
【請求項２３】
前記表示画面中の前記画素の位置とその画素に対応するマハラノビスの距離との関係を表示装置に表示させるステップをコンピュータにさらに行わせることを特徴とする請求項２２記載の画像処理方法のプログラム。
【請求項２４】
被検査対象に表示された画面を撮像手段が撮像して得られたデータを処理させ、前記被検査対象の表示画面の良否を検査させるための画像処理方法のプログラムにおいて、
前記表示画面の各画素から発せられる光を、複数の波長領域に分離したときのそれぞれの輝度のデータを処理させ、前記表示画面の良否を判断させるステップをコンピュータに行わせることを特徴とする画像処理方法のプログラム。
【請求項２５】
輝度のデータの処理は、
光の３原色となる波長領域に分離された前記画素を、さらに２次元の位置に分解させ、各波長領域及び各位置において得られた複数の輝度のデータを、ある方向に基づいて各位置の輝度のデータを並べるように変換して処理させ、マハラノビスの距離を算出させることを特徴とする請求項２４記載の画像処理方法のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は例えば被検査対象の表示画面に生ずる欠陥の有無を検査をする際の画像処理に関するものである。特にフルカラー等の表示画面に適用するためのものである。
【０００２】
【従来の技術】
現在、例えば液晶パネル等、様々な種類の表示装置がある。各表示装置の表示部分は画素の集まりで構成される。ここで、各画素における発光量のバランスがとれていれば表示画面は一様である。しかし、実際には画素全体にわたって品質管理を行うのが困難であるため、表示部分の全ての画素のバランスをとることは難しい。発光量のバランスが崩れると、画面上に発生する点欠陥、シミ、むら等等の面系の欠陥（以下、これらを欠陥という）の原因となってしまう。当然、画素数が多くなるほど（大きな画面になるほど）欠陥が発生する確率は高くなる。また、プロジェクタ等のように表示部分が拡大されて投影される（画素も拡大される）場合には、発生した欠陥が人間の眼に映りやすくなる。
【０００３】
通常、表示装置を製品として出荷する前の段階で、その表示部分であるパネルが良又は不良であるかどうかの検査（以下、良否判断という）がなされる。従来は、検査員がパネルを直接目視又は投影面に投影した表示画面を目視してパネルの良否を判断していた。しかし、検査員によって欠陥が発生しているかどうかの判断基準に個人差があるし、同じ検査員でもその時の状況（体調等）により判断に差が生じる場合がある。そこで、このような欠陥の有無を客観的、自動的に検出し、良否判断を行うための装置等も提案されている（例えば特許文献１参照）。
【０００４】
【特許文献１】
特開平１１−２５７９３７号公報
【０００５】
【発明が解決しようとする課題】
ただ、表示装置（パネル）の種類（例えばプラズマ、有機ＥＬ等）、表示方法等の違いによって、その画面の良否判断の検査の基準が異なる。また、画素の表示階調が異なることによっても基準が異なる。このように表示装置の種類の違い、同じ表示装置でも表示状況の違いに応じて基準が異なるので、その判断処理の方法もその度に異なるものとなり不便であった。しかも、これらの基準は、欠陥のある画面（画素）とはどのようなものであるかを基準とするものであり、日々厳しくなる基準に伴って検査する（判断する）項目も追加され、多くなっていく傾向にあった。また、欠陥によって、大きさ、周りとの輝度差等も異なり、これらを把握できることもその判断にとって重要となる。特にカラー画像となると、混色による色味が要素として加わりますます複雑になる。
【０００６】
本発明はこのような問題点を解決するためになされたものであり、表示装置（パネルの種類）、表示状況の違いに依存した処理を行わなくても検査を行えるような画像処理方法等を得ることを目的とするものである。特に、カラー表示画面についての検査を確立しようとするものである。
【０００７】
【課題を解決するための手段】
本発明に係る画像処理方法は、被検査対象となる表示画面を撮像した画像に基づいて、表示画面を構成する各画素の基準となる座標値を算出する工程と、基準となる座標値に基づいて、良と判断した画素の輝度のデータを選択する工程と、選択した輝度のデータを処理してマハラノビスの距離を算出するための単位空間を作成する工程とを有するものである。
本発明においては、撮像手段における受光素子の間隔（ピッチ）又はその整数倍と被検査対象の画素の間隔との不一致による画素単位での検査における精度の低下を防ぎ、画素毎にできるだけ正確に分割して切り出しを行えるように、まず、各画素の基準となる座標値を算出する。その上で、例えば基準となる座標値を算出する際に行ったパターンマッチング等の方法で見つけだした理想の輝度パターンに近いと判断した良画素について、その画素部分を撮像して得られた輝度のデータを選択する。場合によっては、全てのデータのうち一部のデータを選択する。一部のデータの選択の仕方は任意であるが、各画素共通して同じ部分のデータを選択する必要がある。そして、選択した輝度のデータを処理し、マハラノビスの距離を算出するための単位空間を作成する。したがって、撮像手段における画素ピッチ又はその整数倍と表示画面における画素ピッチとのずれが生じていたとしても、表示画面の画像から各画素の輝度のデータを正確に切り出し（選択）することができる。そのため、理想の形に近い画素に基づいて、画素の良否を判断する基準となる単位空間を作成することができ、画素を単位として有効に表示画面の評価検査を行うことができる。
【０００８】
また、本発明に係る画像処理方法は、被検査対象となる表示画面を撮像した画像に基づいて、表示画面を構成する各画素の基準となる座標値を算出する工程と、基準となる座標値に基づいて、各画素の輝度のデータを選択する工程と、選択した輝度のデータを処理して画素毎にマハラノビスの距離を算出する工程と、各画素のマハラノビスの距離及び中心位置の座標に基づいて、表示画面を評価する工程とを有するものである。
本発明においては、撮像手段における受光素子の間隔（ピッチ）又はその整数倍と被検査対象の画素の間隔との不一致による画素毎の検査の精度の低下を防ぎ、画素毎にできるだけ正確に分割して切り出しを行えるように、まず、各画素の基準となる座標値を算出する。そして、基準となる座標値に基づいて、その画素部分を撮像して得られた輝度のデータを選択する。場合によっては、全てのデータのうち一部のデータを選択する。そして、選択した輝度のデータを処理し、マハラノビスの距離を算出し、各画素のマハラノビスの距離及び中心位置の座標に基づいて、画素の良否を判断し、表示画面を評価する。したがって、撮像手段における画素ピッチ又はその整数倍と表示画面における画素ピッチとのずれが生じていたとしても、表示画面の画像から各画素の輝度のデータを正確に切り出し（選択）することができ、画素を単位として有効に表示画面の評価検査を行うことができる。また、基準となる座標値を算出しているので、マハラノビスの距離と画素の位置との対応関係を把握することができ、例えば、距離を構成している画素の集まり具合等から表示画面に生じるシミ、むら等の面欠陥を有効に判断することもできる。
【０００９】
また、本発明に係る画像処理方法は、各画素の輝度のデータを選択した後に、基準となる座標値と選択した輝度のデータとを画素毎に関連づけて記憶する工程をさらに有するものである。
本発明においては、表示画面における画素の位置関係とその画素の輝度とを関連づけて記憶する。したがって、輝度のデータに基づいて算出されるマハラノビスの距離と基準となる座標値の関連付けが行いやすくなる。
【００１０】
また、本発明に係る画像処理方法において、基準となる座標値を算出する工程は、パターンマッチングを行って、あらかじめ定めたパターンと合致するものと判断した画素をあらかじめ設定した数だけ検出する工程と、検出した画素に基づいて算出した近似直線に基づいて、各画素を表す輝度のデータを仮決定する工程と、仮決定した各画素を表す輝度のデータに基づいて、各行及び各列の輝度が最大となる座標を算出する工程と、算出した座標に基づいて行方向及び列方向の近似直線を算出して、交点の座標値をその画素の中心の座標値を基準の座標値とする工程とからなる。
本発明においては、撮像した表示画面を構成する各画素の基準となる座標値の算出について、パターンマッチングを行って合致すると判断したものが設定した数だけ検出されると、その基準となる座標値に基づいて近似直線を算出し、各画素の基準となる座標値を仮決定する。そして、画素の中心が最も輝度が高いとの仮定に基づき、各行及び各列の輝度が最大となる座標を算出して、その近似直線を算出し、その交点を、基準の座標値となる中心の座標値とする。したがって、より正確な基準となる座標値を算出することができ、基準となる座標値からあらためて輝度のデータを選択することにより、より正確に各画素部分の切り出し（選択）を行うことができる。
【００１１】
また、本発明に係る画像処理方法は、表示画面中の画素の位置とその画素に対応するマハラノビスの距離との関係を表示装置に表示させる処理を行う。
本発明においては、操作者による表示画面検査の評価支援を行うため、例えば、マハラノビスの距離のグラフ及び表示画面を撮像した画像を表示装置に表示させ、グラフ上の選択された点と対応する画像中の画素を区別表示させる視覚的な処理を行う。したがって、操作者は表示画面を評価しやすくなる。
【００１２】
また、本発明に係る画像処理方法は、表示画面を撮像した画像に基づいて、光の３原色となる波長帯域毎に分けた画像を作成し、波長帯域毎に分けたそれぞれの画像から輝度のデータを選択し、処理する。
本発明においては、特にカラー表示された画面を処理するため、表示画面を撮像した画像に基づいて、光の３原色となる波長帯域毎に分けた画像を作成し、波長帯域毎に分けたそれぞれの画像から輝度のデータを選択し、処理する。したがって、カラー表示画面において、輝度に基づくパターン認識の方法を確立することができ、自動的に表示画面の良否を判断して評価を行うことができる。特に波長帯域毎に分けた画像から得られた輝度のデータを一度にまとめて処理して１つのマハラノビスの距離を算出することもでき、評価を行いやすくできる。
【００１３】
また、本発明に係る画像処理方法は、被検査対象の表示画面を評価するための画像処理方法において、表示画面の各画素から発せられる光を、複数の波長領域に分離したときのそれぞれの輝度のデータを処理してマハラノビスの距離を算出し、表示画面の良否を判断するものである。
本発明においては、例えばコンピュータのような処理手段により、表示画面を複数の波長領域に分け、得られたデータに基づいて画素毎にマハラノビスの距離を算出し、例えばあらかじめ良画素について算出されているマハラノビスの距離の距離差に基づいて画面の良否判断を行う。これにより、複数の波長領域に分離した輝度のデータに基づいて、画素の良否の基準を最終的にマハラノビスの距離だけで判断することができる。また、距離の比較対象をあらかじめ定めた良画素のサンプルにしておくことで、良画素を基準とした画素の良否を行い、また、画面の良否判断を自動的に行うことができる。しかも、マハラノビスの距離の分布具合により、表示画面のグレード（品質）についても判断し、検査することができる。また、例えば、音、光、温度等の物理量によって得られたデータを、画像処理して表示させた表示画面にも適用することができ、音、光、温度等の物理量を計測するためのセンサ等についても、例えば良品を基準とした検査を行うことができる。
【００１４】
また、本発明に係る画像処理方法は、画素を光の３原色となる波長領域に分離し、さらに２次元の位置に分解し、各波長領域及び各位置において得られた複数の輝度のデータを、ある方向に基づいて各位置の輝度のデータを並べるように変換して処理し、マハラノビスの距離を算出するものである。
本発明においては、画素を光の３原色となる波長領域に分離した上で、さらに２次元の位置に分解し、各波長領域及び各位置において得られた複数の輝度のデータに基づいてマハラノビスの距離を算出する。したがって、カラー表示画面において、輝度に基づくパターン認識の方法を確立することができ、自動的に表示画面の良否を判断して評価を行うことができる。
【００１５】
また、本発明に係る画像処理方法は、良画素と判断した複数の画素をサンプルとして用い、マハラノビスの距離を算出するための単位空間を作成する。
本発明においては、良画素を基準とするため、良と判断した画素をサンプルとして単位空間を作成する。これにより、良画素とのマハラノビスの距離の違いにより、画素の良否を判断することができる。
【００１６】
また、本発明に係る画像処理方法は、画像処理を行うための基準の範囲を分解し、さらに光を複数の波長領域に分離して得られた輝度のデータを任意に選択した順に処理し、マハラノビスの距離を算出するものである。
本発明においては、少なくともマハラノビスの距離を実用的に適用できるデータ量が得られるような範囲、分解数により、基準の範囲を分解して得られたデータの全部又は一部を、所望のパターン認識を行うために任意に選択し、選択した順に処理を行うことにより、所望する方向性をもってパターン認識を行い、マハラノビスの距離を算出する。これにより、画像処理を行ってマハラノビスの距離を行うに際し、パターン認識の方向性を定める（特徴付けを行う）ことができる。
【００１７】
また、本発明に係る画像処理方法は、基準の範囲の中心の位置を算出する。
本発明においては、全体の画像から正確に基準の範囲部分による処理が行えるように、また、全体の画像における基準の範囲の位置を特定できるように基準の範囲の中心の位置を算出する。したがって、基準の範囲におけるマハラノビスの距離の精度を高めることができる。
【００１８】
また、本発明に係る画像処理方法は、人間の眼の分解能に基づいて基準の範囲を切り出し（選択）する。
本発明においては、例えば人間の眼に合わせた画像処理を行ってマハラノビスの距離を算出するため、人間の眼が有する分解能で切り出し（選択）を行う。そこで、人間の眼の分解能に基づいて基準の範囲を切り出し（選択）する。したがって、人間の眼に合わせた精度をもって画像処理を行うことができる。
【００１９】
また、本発明に係る画像処理方法は、画面の構成単位である画素を、基準の範囲とする。
本発明においては、画素を基準の範囲とし画像処理を行う。したがって、画面を構成する画素を単位とした画像処理を確立することができる。
【００２０】
また、本発明に係る画像処理装置は、被検査対象に表示された画面を撮像手段が撮像して得られたデータを処理し、被検査対象の表示画面の良否を検査するための画像処理装置において、被記検査対象の画面を構成する画素毎に基準となる座標値をデータとして算出し、必要なデータを選択する画素取得手段と、良画素のサンプルによってあらかじめ得られたデータの平均値及び標準偏差に基づいて、画素取得手段が選択したデータを基準化した基準化値をデータとして算出する基準化値データ演算手段と、基準化値に基づいて、検査対象の画面を構成する画素毎にマハラノビスの距離をデータとして算出する距離演算手段と、画素毎の基準となる座標値のデータ及びマハラノビスの距離のデータに基づいて被検査対象に表示された画面の良否を判断する検査判断手段とを備えたものである。
本発明においては、画素取得手段が、被記検査対象の画面を構成する画素毎に基準となる座標値を算出した上で、画素を単位とした評価を行うために必要なデータを選択する。このデータとは例えば輝度のデータであるが、複数の輝度のデータで画素が表されている場合には、輝度のデータを全部選択してもよいし、一部だけを選択するようにしてもよい。基準化値データ演算手段が、選択したデータを基準化する。基準化値データ演算手段が基準化した基準化値データに基づいて、距離演算手段が画素毎にマハラノビスの距離を算出する。したがって、画素の良否の基準を最終的にマハラノビスの距離だけで判断することができる。また、画像取得手段により、基準となる座標値を決定した後に、あらためて必要なデータを選択するようにしたので、各画素の必要なデータを正確に選択することができ、マハラノビスの距離の精度を高めることができる。
【００２１】
また、本発明に係る画像処理装置は、良画素のサンプルによってあらかじめ得られたデータを基準化し、各データの相関関係に基づく相関行列の逆行列を算出しておき、距離演算手段は、逆行列の各要素及び基準化値に基づいてマハラノビスの距離を算出するものである。
本発明においては、サンプルに基づく単位空間の演算過程で各データの相関関係を算出し、それに基づく相関行列、さらにその逆行列を算出する。距離演算手段は、逆行列の各要素及び基準化値に基づいてマハラノビスの距離を算出する。これにより、逆行列を演算する過程で相関関係を算出するので、データ間の相関関係を把握することが容易である。
【００２２】
また、本発明に係る画像処理装置は、直交展開演算手段及び直交変数演算手段をさらに備え、良画素のサンプルによってあらかじめ得られたデータを基準化し、シュミットの直交展開を利用してそれぞれのデータに基づいて回帰係数及び残差成分の分散に基づく値を算出しておき、直交展開演算手段は、基準化値データに基づいて撮像手段が撮像して得られたデータについて算出した残差成分の値をデータとして算出し、直交変数演算手段は、直交展開演算手段が算出した残差成分の値及び分散に基づく値により直交変数の値をデータとして算出し、距離演算手段は、直交変数の値のデータに基づいてマハラノビスの距離を算出するものである。
本発明においては、直交展開演算手段が基準化値データに基づいて残差成分の値を算出する。直交変数演算手段が、残差成分の値及び分散に基づく値により直交変数の値を算出する。距離演算手段が、直交変数の値のデータに基づいてマハラノビスの距離を算出する。これにより、マハラノビスの距離を算出する際の演算量及びその際に一時的に演算値を記憶させる記憶量（メモリ）を減らすことができる。また、回帰係数及び残差成分の分散を算出する際に、マハラノビスの距離に影響を与える項目順に算出しておくことで、残差成分の値、直交変数の値又はマハラノビスの距離を算出する際に、演算を切り上げて、距離算出速度（良否判断までの時間短縮）を優先させることもできる。
【００２３】
また、本発明に係る画像処理装置は、撮像手段の撮像により得られるデータのデータ量を、人間の眼の分解能に基づいて決定する。
本発明においては、人間の眼が輝度等の差を判別できる視角（分解能）と同じ分解能で被検査対象を撮像するためのデータ量（撮像手段の画素数）を決定した上で、その後、各手段が処理を行うようにする。これにより、検査対象の種類に関係なく人間の眼の分解能に基づいた検査を行うことができる。
【００２４】
また、本発明に係る画像処理装置の画素取得手段は、基準となる座標値のデータと選択した必要なデータとを画素毎に関連づけて記憶装置に記憶させる。
本発明においては、画素取得手段が、基準となる座標値のデータとマハラノビスの距離を算出するために必要となる選択したデータとを画素毎に関連づけて記憶装置に記憶させる。したがって、データに基づいて算出されるマハラノビスの距離と基準となる座標値の関連付けが行いやすくなる。
【００２５】
また、本発明に係る画像処理装置は、被検査対象に表示された画面を撮像した撮像手段から送信された、光の３原色となる波長領域に分離した輝度を表す信号に基づいて輝度値データを作成する輝度値データ取得手段をさらに備えたものである。
本発明においては、光の３原色となる波長領域に分離した輝度の信号を輝度値データとして処理できる輝度値データ取得手段を備える。したがって、画像処理装置単体での検査、リアルタイムでの検査を行うことができる。
【００２６】
また、本発明に係る画像処理装置は、単位空間と算出した画素毎のマハラノビスの距離との関係を表すグラフ及び表示画面を撮像した画像を表示装置に表示させるための処理をし、選択されたグラフ上の点に基づいて、点と対応する画像中の画素を表示装置に区別表示させるための処理をする表示処理手段をさらに有するものである。
本発明においては、操作者による表示画面検査の評価支援を行うため、表示処理手段が、マハラノビスの距離のグラフ及び表示画面を撮像した画像を表示装置に表示させ、グラフ上の選択された点と対応する画像中の画素を区別表示させる。したがって、操作者は視覚的に表示画面を評価しやすくなる。
【００２７】
また、本発明に係る画像処理方法のプログラムは、被検査対象となる表示画面を撮像した画像に基づいて、表示画面を構成する各画素の基準となる座標値を算出させ、基準となる座標値に基づいて、良と判断した画素を表す輝度のデータを選択させ、選択した輝度のデータを処理してマハラノビスの距離を算出するための単位空間を作成させるステップをコンピュータに行わせるものである。
本発明においては、撮像手段における受光素子の間隔（ピッチ）又はその整数倍と被検査対象の画素の間隔との不一致による画素単位での検査における精度の低下を防ぎ、画素毎にできるだけ正確に分割して切り出しを行えるように、被検査対象となる表示画面を撮像した画像に基づいて、コンピュータに各画素の基準となる座標値を算出させる。そして、例えば基準となる座標値を算出する際に行ったパターンマッチング等の方法で見つけだした理想の輝度パターンに近いと判断した良画素について、その画素部分を撮像して得られた輝度のデータを選択させる。場合によっては、全てのデータのうち一部のデータを選択する。一部のデータの選択の仕方は任意であるが、各画素共通して同じ部分のデータを選択する必要がある。そして、選択した輝度のデータを処理させ、マハラノビスの距離を算出するための単位空間を作成させる。したがって、撮像手段における画素ピッチ又はその整数倍と表示画面における画素ピッチとのずれが生じていたとしても、表示画面の画像から各画素の輝度のデータを正確に切り出し（選択）させることができる。そのため、理想の形に近い画素に基づいて、画素の良否を判断する基準となる単位空間を作成することができ、画素を単位として有効に表示画面の評価検査を行うことができる。
【００２８】
また、本発明に係る画像処理方法のプログラムは、被検査対象となる表示画面を撮像した画像に基づいて、表示画面を構成する各画素の基準となる座標値を算出させ、基準となる座標値に基づいて、各画素の輝度のデータを選択させ、選択させた輝度のデータを処理させて画素毎にマハラノビスの距離を算出させ、各画素のマハラノビスの距離及び中心位置の座標に基づいて、表示画面を評価させるステップをコンピュータに行わせるものである。
本発明においては、撮像手段における受光素子の間隔（ピッチ）又はその整数倍と被検査対象の画素の間隔との不一致による画素毎の検査の精度の低下を防ぎ、画素毎にできるだけ正確に分割して切り出しを行えるように、被検査対象となる表示画面を撮像した画像に基づいて、コンピュータに各画素の基準となる座標値を算出させる。そして、基準となる座標値に基づいて、その画素部分を撮像して得られた輝度のデータを選択させる。場合によっては、全てのデータのうち一部のデータを選択させる。そして、選択した輝度のデータを処理させ、マハラノビスの距離を算出させて各画素のマハラノビスの距離及び中心位置の座標に基づいて、画素の良否を判断させ、表示画面を評価させる。したがって、撮像手段における画素ピッチ又はその整数倍と表示画面における画素ピッチとのずれが生じていたとしても、表示画面の画像から各画素の輝度のデータを正確に切り出し（選択）させることができ、画素を単位として有効に表示画面の評価検査を行わせることができる。また、基準となる座標値が算出されているので、マハラノビスの距離と画素の位置との対応関係を把握させることができ、例えば、距離を構成している画素の集まり具合等から表示画面に生じるシミ、むら等の面欠陥を有効に判断させることもできる。
【００２９】
また、本発明に係る画像処理方法のプログラムは、表示画面中の画素の位置とその画素に対応するマハラノビスの距離との関係を表示装置に表示させるステップをコンピュータにさらに行わせるものである。
本発明においては、操作者による表示画面検査の評価支援を行うため、例えば、マハラノビスの距離のグラフ及び表示画面を撮像した画像を表示装置に表示させ、グラフ上の選択された点と対応する画像中の画素を区別表示させる視覚的な処理をコンピュータに行なわせる。したがって、操作者は表示されたグラフ等に基づいて表示画面を評価しやすくなる。
【００３０】
また、本発明に係る画像処理方法のプログラムは、被検査対象に表示された画面を撮像手段が撮像して得られたデータを処理させ、被検査対象の表示画面の良否を検査させるための画像処理方法のプログラムにおいて、表示画面の各画素から発せられる光を、複数の波長領域に分離したときのそれぞれの輝度のデータを処理させ、表示画面の良否を判断させるステップをコンピュータに行わせるものである。
本発明においては、表示画面を複数の波長領域に分けることによって得られたデータに基づいて画素毎にマハラノビスの距離を算出させ、例えばあらかじめ良画素について算出されているマハラノビスの距離の距離差に基づいて画面の良否判断をコンピュータに行わせる。したがって、複数の波長領域に分離した輝度のデータに基づいて、画素の良否の基準を最終的にマハラノビスの距離だけで判断することができる。また、距離の比較対象をあらかじめ定めた良画素のサンプルにしておくことで、良画素を基準とした画素の良否を行い、また、画面の良否判断を自動的に行うことができる。しかも、マハラノビスの距離の分布具合により、表示画面のグレード（品質）についても判断し、検査することができる。また、例えば、音、光、温度等の物理量によって得られたデータを、画像処理して表示させた表示画面にも適用することができ、音、光、温度等の物理量を計測するためのセンサ等についても、例えば良品を基準とした検査を行うことができる。
【００３１】
また、本発明に係る画像処理方法のプログラムにおいて、輝度のデータの処理は、光の３原色となる波長領域に分離された画素を、さらに２次元の位置に分解させ、各波長領域及び各位置において得られた複数の輝度のデータを、ある方向に基づいて各位置の輝度のデータを並べるように変換して処理させ、マハラノビスの距離を算出させるものである。
本発明においては、光の３原色となる波長領域に分離された画素を、さらに２次元の位置に分解させ、各波長領域及び各位置において得られた複数の輝度のデータに基づいてマハラノビスの距離を算出させる。したがって、カラー表示画面において、輝度に基づくパターン認識の方法を確立することができ、自動的に表示画面の良否を判断させて評価を行わせることができる。
【００３２】
【発明の実施の形態】
実施形態１．
図１は本発明の第１の実施の形態に係る画像処理装置を中心とするシステムの構成を示すブロック図である。図１において、１０は画像処理装置である。画像処理装置１０は、処理手段１、入力手段２、表示手段３及び記憶手段４で構成される。
【００３３】
１は処理手段である。処理手段１は、演算処理部分となるパネル画素取得部１Ａ、平均・標準偏差演算部１Ｂ、基準化値データ演算部１Ｃ、直交展開演算部１Ｄ、直交変数演算部１Ｅ、距離演算部１Ｆ、検査判断手段となる検査判断部１Ｇ、輝度値データ取得部１Ｈ及び表示処理部１Ｉで構成される。
【００３４】
パネル画素取得部１Ａは、表示パネル１００を構成する画素毎の基準の座標値となる中心の座標値を算出し、その値に基づいて表示パネル１００を撮像した画像から各画素の切り出しを行う。ここで切り出しとは、送信される輝度値のデータ（以下、これを輝度値データという）を画素毎に分け、必要なデータを選択（抽出）することである。平均・標準偏差演算部１Ｂは、輝度値データに基づいて、その平均値と標準偏差とを演算処理する。基準化値データ演算部１Ｃは、輝度値データ並びに平均・標準偏差演算部１Ｂが算出した平均値及び標準偏差に基づいて基準化値を算出し、データ（以下、これを基準化値データという）の作成処理をする。
【００３５】
直交展開演算部１Ｄは、サンプルのパネル画素による基準化値に基づいて直交展開を行い、後述する回帰係数、残差成分の値（以下、残差成分値という）及びその残差成分の分散に基づく値（以下、分散という）を算出し、これをデータとする。また、実際に表示パネル１００を検査する場合には、算出した回帰係数及び分散のデータを利用して、表示パネル１００に基づく基準化値データにより残差成分値を算出し、これをデータとする。直交変数演算部１Ｅは、直交展開演算部１Ｄが算出した残差成分値のデータに基づいて、直交変数の値（以下、直交変数値という）を算出し、これをデータとする。
【００３６】
距離演算部１Ｆは、直交変数値のデータに基づいて、表示パネル１００の各画素についてマハラノビスの距離（又はその平方距離。本明細書ではこれらを含めて距離という）を算出し、これをデータとする。検査判断部１Ｇは、距離演算部１Ｆが算出したマハラノビスの距離のデータに基づいて、画面（画素）の良否を判断する。輝度値データ取得部１Ｈは、カメラ２０から送信される信号に基づいて輝度値を判断し、輝度値データを作成する。また、表示処理部１Ｉは、算出した各種データを操作者が判断等を行いやすいように、表示手段３にグラフ、表等の形式で表示させるための処理を行い、表示信号を送信する。また、表示パネル１００を撮像した画像等を表示手段３に表示させるための処理を行う。処理手段１の各部の処理の詳細については後述する。また、ここでは特に図示はしないが、後述するように、撮像画素数を決定し、カメラ２０にその撮像画素で撮像させるための処理を行う部を設けるようにしてもよい。
【００３７】
入力手段２は、操作者が入力する指示、各種データ等を、例えば電気信号に変換して処理手段１に送信する。表示手段３は、表示処理部１Ｉからの表示信号に基づいて、検査結果その他操作者に示すデータ（情報）を記号、画像等で表示する。記憶手段４は、処理手段１が演算途中、演算後に算出したデータを一時的に又は長期的に記憶する。
【００３８】
２０は撮像手段となるカメラである。カメラ２０は、例えばＣＣＤ等の複数の受光素子で構成されており、各受光素子は受光量を、例えば電気信号に変換する。本実施の形態は、カラー画像の処理を行って表示パネル１００の良否判断を行うため、カメラ２０はカラー画像の撮像を行えるものとし、例えばダイクロイックミラー等により複数の波長領域の光（ここでは、光の３原色となる３種類の波長領域の光（赤、青、緑））に分離できるものとする。ダイクロイックミラーとは、特定の波長領域の光を抽出できるミラーである。したがって、モノクロに比べて３倍分の輝度値データを含む信号がカメラ２０から送信されることになる。信号は画像処理装置１の輝度値データ取得部１Ｈに送信され、輝度値データとして作成処理されるものとする。なお、処理手段１に信号を送信する際にインターフェイスとなる手段を介する場合もあるが、ここでは省略している。１００は被検査対象となる表示パネルである。実際には、パネル全体を撮像できないので複数回に分けて撮像することになるが、ここでは、撮像したパネルの部分を表示パネル１００ということにする。また、被検査対象である表示パネル１００は、図で用いている表示パネルはプロジェクタ用の液晶パネルであるが、特にこの種のぱねるに限定するものではなく、他の種類（例えばプラズマ、有機ＥＬ等）のパネル等でもよい。
【００３９】
本実施の形態は、表示パネル等のパネル画素単位での検査方法を確立したものである。そして、それを特にカラー表示がなされるパネルに適用しようとするものである。カメラ２０で撮像する際、人間の視力に基づく眼の分解能による画素数（本実施の形態では最終的にこの数の３倍がカメラ２０から送信される信号に含まれる輝度値データの数となる）での撮像を行う。そして、撮像した画像から画素毎に中心の座標値を算出した上で、輝度値データを選択してより正確に画素毎の輝度値データを得る。その輝度値データに基づいて演算を行い、特殊なパターン認識技術であるＭＴ（マハラノビス・タグチ）法に基づいてマハラノビスの距離をパネルを構成する画素毎に算出する。そして、そのマハラノビスの距離の分布に基づいて表示パネル（画面）の良否判断を行う。その際、算出して記憶手段４に記憶しておいた各画素の中心の座標値とマハラノビスの距離とを利用して判断する。ここで、画素毎では有効にマハラノビスの距離を算出できるだけの精度の輝度値データが得られなければ、複数画素を１組として処理する場合もある。
【００４０】
このように人間の眼の分解能を基準として、表示パネル１００を検査するために必要な輝度値データ数を決定することで、表示パネルの種類、方法等に依存しない基準を確立することができる。また、良画素を単位空間とするマハラノビスの距離の差を基準として、画素の良、不良の度合いを数値化し、不良画素の基準を増減することで良否判断を行うのではなく、良画素であるための基準を広狭して良否判断を行う。しかも、パネルを構成する各画素の中心の座標値を算出して画素毎の輝度値データを正確に選択し、その座標値とマハラノビスの距離を関連づけることにより、例えば、良画素の分布から外れた画素のパネル上における分布を把握することができ、シミ、むら等、大きさを有する面欠陥に対応することができる。
【００４１】
ここで、処理手段１を構成する各部をそれぞれ別個の手段（ハードウェア）として構成してもよいが、本実施の形態では、処理手段１を例えばＣＰＵ（Central Prosessing Unit）を中心とするコンピュータ等のような演算処理手段で構成するものとする。そして、各部の処理手順をあらかじめプログラム化したものを演算処理手段が実行し、そのプログラムに基づく処理を行うことで、上述した各部の機能を実現する。
【００４２】
また、本実施の形態では画像処理装置１の輝度値データ取得部１Ｈがカメラ２０から入力された信号に基づく輝度の判断処理を行っているが、別の装置にこの処理を行わせるようにしてもよい。また、平均・標準偏差演算部１Ｂは、マハラノビスの距離を算出する際の基準となる単位空間の作成時にしか用いない。
【００４３】
次に本実施の形態に係る画像処理の方法について説明する。その前段階として、表示パネル１００を検査するために必要なデータ数（つまり、表示パネル１００を撮像するカメラ２０の画素数）を決定する。以下、被検査対象である表示パネルが有する画素をパネル画素といい、表示パネル１００を直撮するカメラ２０が有するそれぞれの受光素子が表す画素を撮像画素という。
【００４４】
カメラ２０の撮像画素数決定に際しては人間の視力に注目する。その際には、視力検査の際に用いるランドルト氏環を用いる。このように計算した結果、人間の眼の分解能と同じ分解能で８５ｍｍ×５５ｍｍの表示パネルを検査する際、カメラ２０に必要な撮像画素数は約３８０万画素となる。複数回に分けて撮像する場合、これだけの画素数を撮像するための受光素子がカメラ２０に搭載されていなくてもよい。
【００４５】
ここで、本実施の形態では、１つのパネル画素を９×９（＝８１）の受光素子で受光できるようにする。したがって、輝度値データ取得部１Ｈにおいて、１つのパネル画素当たり８１×３＝２４３の輝度値のデータが得られる。このように、分解能及びパネル画素の大きさから、マハラノビスの距離を有効に算出するのに必要な輝度値データ数を確保することで、１つのパネル画素に注目することができる。ただ、基準とする範囲が小さかったり、分解能が低かったりした場合には、通常マハラノビスの距離を有効に算出するのに必要なデータ数を確保できるだけの範囲（大きさ。ここでは複数のパネル画素を基準とする）を確保したり、分解能を高めたり（ここでは視力の基準を上げる）する必要がある。
【００４６】
図２は表示パネル１００を表す図である。パネルを構成しているのがパネル画素である。図２（ａ）ではＸ方向（水平方向）及びＹ方向（垂直方向）にそれぞれ１２画素ずつのパネル画素が並んでいる。そして、図２（ｂ）では、各パネル画素の中心の座標値が２次元で与えられている。カメラ２０は、表示パネル１００を撮像する。カメラ２０では、ダイクロイックミラーで分離された、赤、緑、青を表す３種類の波長帯域の画像について、輝度値データを含む信号を送信する。
【００４７】
図３は赤、青、緑をそれぞれ構成する波長領域の光に分けた画像である。図３（ａ）、図３（ｂ）、図３（ｃ）は、それぞれ赤、青、緑の波長領域の輝度パターンを表している。以下、各画像をＲ画像、Ｇ画像、Ｂ画像とし、総称してＲＧＢ画像ということにする。本実施の形態では、それぞれの波長領域による輝度値データを用いるため、ダイクロイックミラーで、光の３原色である赤、青、緑の３つの波長領域を分離して得られる輝度値データをそのまま用いる。ここでＲ画像の輝度値データをＲデータ、Ｇ画像の輝度値データをＧデータ、そしてＢ画像の輝度値データをＢデータとする。
【００４８】
図４は各パネル画素の中心の座標値算出処理の方法を表す図である。次に撮像画像に基づいて各パネル画素の中心位置の座標を算出する。撮像画素とパネル画素とはピッチが違う（撮像画素のピッチがパネル画素の整数倍でない）ことから、撮像画像の全面において、パネル画素の中心と撮像画素とが必ず一致しているとは限らない。そこで、各パネル画素の中心位置の座標を算出し、その中心座標に最も近い撮像画素の上下及び左右４画素分ずつ（つまり９×９となる）をそのパネル画素を表す撮像画素とする。
【００４９】
ＲＧＢ画像は１つの撮像画像を波長帯域別に分離したものであり、各位置での輝度値の違いを除けばそのパターンは同じである。そこで、ここでは、例としてＲの画像を用いて中心座標を算出することにする。また、ＲＧＢ画像ではなく、図２のような波長領域を分離する前の画像に基づいて中心位置の座標を算出するようにしてもよい。
【００５０】
まず、図４（ａ）のように、典型的なパネル画素の輝度パターンを表すサンプル画像（ここでは、垂直方向及び水平方向にそれぞれ２つずつのパネル画素の画像とする）をあらかじめ設定しておき、表示パネル１００の撮像画像とのパターンマッチングを行う。同じ撮像画像であっても、それぞれの波長領域で輝度パターン（輝度値）が異なったりするので、サンプル画像は、用いる画像に応じた輝度パターン（ここではＲ画像を用いるのでＲの輝度パターン（Ｒデータ）に応じたもの）を有するものを用いるようにする。ここで、サンプル画像を４画素分の画像としたのは、例えば表示パネル１００とカメラ２０との傾きによって生じるθずれを判断できるようにするためである。θずれを起こしている場合には、各パネル画素の有効な切り出しを行うことができない。１画素分のサンプル画像ではパターンマッチングだけではθずれを判断することは困難であるから、４画素分でサンプル画像を構成し、θずれが生じていない又は許容できる範囲内の状態で有効な検査が行えるようにする。
【００５１】
パネル画素取得部１Ａは、パターンマッチングを行ってマッチングしたと判断できるポイントを、例えば１０ポイント判断した時点でパターンマッチングを中止する。図４（ｂ）で黒点を付した枠部分がマッチングしたものと判断したポイントである。ここで、サンプル画像を全く同じ輝度パターンでマッチングする画像はほとんどないと考えられるので、通常、あらかじめマッチングしたものと判断できる輝度パターンの範囲を任意に定めておくようにする。図４（ｂ）でマッチングしたと判断した部分について、マッチングの程度を高い順に並べたのが図４（ｃ）の表である。
【００５２】
そして、１０ポイントのそれぞれの座標値を用いて近似直線を算出する。ここで、座標値に基づく近似直線の算出方法としては、例えば最小二乗法等がある。ただ、特にこの方法に限定するものではない。パネル画素間のピッチは一定であるはずなので、最も左上にあるポイントを基点にして近似直線に基づいて各パネル画素の仮の中心座標の値を算出する。前述したようにパネル画素と撮像画素とのピッチ（間隔）が異なっている場合に、この座標をそのまま中心座標として決定してしまうとずれが生じる可能性が高いので、ここでは仮の中心座標としておき、さらに計算を行って中心座標を決定する。
【００５３】
図５は中心座標の座標値の算出方法の概念を表す図である。次に仮の中心座標を中心とした９×９の撮像画素の切り出しを行う。そして、パネル画素の中心部分が最も高輝度となる部分であると仮定した上で、水平方向及び垂直方向に対して、各輝度値に基づいて近似曲線を計算し、最大値を算出する。ここでは２次関数の近似曲線を計算し、最大値を算出するようにする。ただ、近似曲線として例えばベジエ曲線、スプライン曲線等の関数を利用してもよいし、特にこの方法に限定するものではない。算出した最大値について、近似直線を水平方向及び垂直方向に対して計算し、それらの直線の交点をそのパネル画素の中心座標とする。これを全てのパネル画素について行い、各パネル画素の中心座標を算出する。そして、算出した各パネル画素の中心座標を例えば記憶手段４に記憶しておく。
【００５４】
図６は切り出し位置の指定方法を表す図である。あらかじめ切り出し方向と切り出し位置とをファイルとして設定しておく。また、例えばプログラム等のような実行手順として設定してもよい。ここでは各パネル画素を９×９の撮像画素で表すものとし、パネル画素における撮像画素のそれぞれの位置（座標）を（１，１）、（１，２）、…、（９，９）で表すことにする。切り出し位置の指定は、例えば、画素中心位置（切り出し位置も含む）を“２”、切り出し位置を“１”切り出しを行わない位置を“０”とする。パネル画素取得部１Ａはこの設定に基づいて、各パネル画素の切り出しを行う。実際には、撮像画素による輝度は、エリアではなく点で与えられているので、中心座標から最も近い撮像画素（つまり、含まれるエリアにおける点）が画素中心位置となる。
【００５５】
ここで、図６（ａ）では、９×９の全ての画素の切り出しを指定していることになる。また、図６（ｂ）は、２、４、６、８行目の撮像画素以外の撮像画素について切り出しを行うように指定している。この切り出し方法及び切り出し位置の設定は非常に重要なものとなる。というのは、例えば、２次元でのパターン認識を考える場合には、通常、縦（ｙ方向）又は横（ｘ方向）からのアプローチが考えられるが、この方向の選択により、そのパターン認識の方向が確定され、検査に反映されることになるからである。本実施の形態では、図６（ａ）のように横方向（左側から右側）に全ての画素の切り出しを行うこととする。そして、Ｒ画像、Ｇ画像及びＢ画像からそれぞれ切り出し方向で設定された順に切り出しを行った各パネル画素の輝度値データを中心座標と対応させて記憶手段４に記憶しておく。ここで、本実施の形態では、全てのパネル画素について中心座標を算出した後で各パネル画素の切り出しを行ったが、中心座標算出の度に切り出しを行い、対応させて記憶手段４に記憶させるようにしてもよい。
【００５６】
図７は１つのパネル画素の輝度値の分布を３次元から２次元に展開した図である。図７（ａ）はＲ画像、Ｇ画像、Ｂ画像について、あらかじめ設定された切り出し方向に基づいて切り出した輝度値データ（Ｒデータ、Ｇデータ、Ｂデータ）を展開した図を表している。図７（ｂ）はそれらをＲデータ、Ｇデータ、Ｂデータの順に並べたものである（以下、Ｒ画像の（１，１）をＲ（１，１）、…、Ｂ画像の（９，９）をＢ（９，９）として表す）。このように、ｘ座標、ｙ座標、輝度値の３次元（項目）（位置関係としては２次元）として得られるデータを（ｘ座標，ｙ座標）と輝度値という２次元（位置関係としては１次元）のデータとして扱う（変換する）。ここではＲデータ、Ｇデータ、Ｂデータの順に並べているが、並べ方は特にこの順に限らない。また、位置及び輝度値を次元として扱ったが、位置、輝度値だけでなく、様々な項目（次元）を扱うこともできる。
【００５７】
このように、展開することによって３次元で表されていたデータを図７のように２次元で表す。次に各パネル画素について、サンプルで取得した画素群（単位空間）との間のマハラノビスの距離（Mahalanobis Distance）を算出する。ここで、マハラノビスの距離を算出する前に、まず、本実施の形態における単位空間の作成方法について説明する。
【００５８】
単位空間を形成する際の画素のサンプルとして、理想形状（任意に定めることができる）に近く、良画素と判断したパネル画素を選ぶ。事前に行ったパターンマッチングによりマッチングしたと判断したパネル画素を選択するようにしてもよい。本実施の形態では約１０００の良画素と判断したパネル画素に基づいて単位空間が形成されるものとする。ここで、本実施の形態では輝度が最も高くなる電圧における輝度値データを単位空間の計算のためのデータとして取得する。また、ある電圧（輝度）については良好であっても、他の電圧では不良となる画面がある。従来は、電圧の違いによっても良否判断が異なることもあったが、ここでは、同じ電圧の良画素との違いをみることになるので、同じ単位空間を利用した各電圧での良画素のマハラノビスの距離を把握しておくことで、同一空間、同一方法での良否判断を行うことができる。
【００５９】
サンプルとなるパネル画素について取得した輝度値データについて、平均・標準偏差演算部１Ｂは、パネル画素毎に平均値と標準偏差を算出する。算出した平均値及び標準偏差に基づいて、基準化値データ演算部１Ｃは、各パネル画素の各撮像画素の輝度値のデータについて基準化値を算出して基準化値データとする。具体的には輝度値と平均値との差を標準偏差で割った値が基準価値となる。これにより、全ての輝度値のデータを１を中心として均等に分布する基準化値データに変換することができる。
【００６０】
直交展開演算部１Ｄは、基準化値データに基づいて、例えば、Ｒ（１，２）の基準化値の残差成分値を、Ｒ（１，２）の基準化値、Ｒ（１，１）の残差成分値及び回帰係数で表す。また、Ｒ（１，３）の基準化値の残差成分値を、Ｒ（１，３）の基準化値、Ｒ（１，１）の残差成分値、Ｒ（１，２）の残差成分値及びそれぞれの回帰係数で表す。また、Ｇ（１，１）の基準化値の残差成分値を、Ｇ（１，１）の基準化値、Ｒ（１，１）、…、Ｒ（９，９）の残差成分値及びそれぞれの回帰係数で表す。これを本実施の形態ではＲ（１，１）、…、Ｒ（１，９）、Ｒ（２，１）、…の順にＢ（９，９）まで行う。ここでＲ（１，１）については、残差成分値は基準化値と同じになる。残差成分とは、ある項目（ここでは、Ｒ（１，２）の輝度値とする）のある（パネル画素の）基準化値の成分のうち、それ以前の項目（ここでは、Ｒ（１，１）の輝度値となる）と独立する（直交する）成分のことである。つまり、それ以前の項目の残差成分と関係する部分（回帰部分）を除き、それらで表せない成分がそのパネル画素のその項目（位置）での残差成分となる。また、ある項目での回帰係数は、その項目の基準化値、それ以前の項目の残差成分値、それ以前の項目の残差成分の分散により算出される係数である。分散はサンプルにおいて算出された残差成分の自乗の和に基づいて算出される値である。これを繰り返していくと、例えばＲ（９，９）の残差成分値は、Ｒ（１，１）、…、Ｒ（９，８）の残差成分値によって表されることになる。ここで、本実施の形態ではＲ（１，１）、…、Ｒ（９，９）、Ｇ（１，１）、…の順に行っているが、順序を変えて行っても最終的には同じ結果（マハラノビスの距離）が得られると考えられる。したがって、マハラノビスの距離に影響を与える重要項目（例えば位置）順に回帰係数及び分散を確定することもできる。
【００６１】
次に実際に表示パネル１００の検査に基づく輝度値データの処理について説明する。カメラ２０から送信された信号に基づいて、輝度値データ取得部１Ｈは輝度値データを取得する。本実施の形態では、全てのパネル画素において９×９の輝度値データが取得できるものとして説明する。ここで、単位空間を構成するサンプルのパネル画素を９×９の撮像画素分の輝度値データに基づいて算出したので、演算の関係上、検査を行う場合も表示パネル１００のパネル画素につき同じ撮像画素数にする方が都合がよい。例えば、表示パネル１００のパネル画素ピッチがサンプルの画素ピッチと異なる場合や、それによって表示される投影面のサイズが異なる場合には、カメラ２０と表示パネル１００との間の距離を変更することにより、パネル画素につき９×９の撮像画素数の関係と人間の眼の分解能の関係を保つようにする。
【００６２】
直交展開演算部１Ｄは、回帰係数及び分散に基づいて表示パネル１００の各輝度値データに基づく残差成分値を算出する。そして、直交変数演算部１Ｅは、直交展開演算部１Ｄが算出した残差成分値及び分散に基づいて直交変数を算出する。具体的には残差成分値を分散の平方根で割った値が直交変数値となる。
【００６３】
距離演算部１Ｆは、算出した直交変数値に基づいてパネル画素のマハラノビスの距離（Ｄ2 ）を算出し、データとする。これを全てのパネル画素について行う。具体的には各直交変数値の自乗の和を項目数（本実施の形態では２４３となる）で割ったものがマハラノビスの距離となる。なお、ここで、単位空間を構成するサンプルの輝度値（基準化値）のデータに基づいて算出したマハラノビスの距離の平均は、理論的には１となる。
【００６４】
図８は算出したマハラノビスの距離を縦軸とし、輝度値を横軸としたグラフである。ここで、前述したように、サンプルは輝度値が最も高い位置に分布している。例えば、表示パネル等では印加する電圧によって表示階調を調節している。そのため、印加する電圧によって表示階調（輝度値）には違いが生ずるが、画素の形状、大きさや得られる輝度値データ数に違いがなければ、印加する電圧に関わらず、新たな単位空間を作成しなくてもマハラノビスの距離算出により、その電圧における基準を作り出し、検査（評価）を行うことができる。これにより、最も時間と手間が費やされる単位空間作成をあらためて行う必要がない。また、複数の電圧とその電圧に対するマハラノビスの距離を算出することにより、電圧とその電圧に対するマハラノビスの距離との関係を補完して導き出すことができる。ここではサンプルによる分布を単位空間という。サンプルのマハラノビスの距離の距離は１前後となり、その平均は前述したように１である。したがって本実施の形態では分布の距離を１とする。
【００６５】
ここで、図８はマハラノビスの距離と輝度を次元とした２次元のグラフで構成しているが、良否判断は、実際にはマハラノビスの距離に基づいてのみ行われる。図８に示すように、印加する電圧によって同じ表示パネル１００でもマハラノビスの距離が異なる。また、表示パネルに表示する画像（輝度値）によっても異なる。また、パネルの種類によっても異なる。条件が異なれば単位空間とのマハラノビスの距離も異なる。ここで重要なことは、被検査対象の画面の良否は、単位空間と間の距離差ではなく、同条件における良画素（又はその分布）が基準となり、それとの距離差によって判断されるということである。
【００６６】
したがって、実際には被検査対象を検査する前段階で、検査で用いられる条件での良画素のサンプルについて単位空間とのマハラノビスの距離（良画素の分布）を算出しておいてから検査を行い、同条件での良画素（分布）との距離差に基づいた判断を行う。良否の判断基準となる距離差の値については任意に定めることができる。
【００６７】
図９は良画素及び不良画素のマハラノビスの距離の分布を表す図である。検査判断部１Ｇは、各パネル画素について算出したマハラノビスの距離に基づいて表示パネル１００の良否を判断する。図８に示すように、点欠陥、シミ、むら等の欠陥ではその現れ方が異なるが、マハラノビスの距離だけで良画素との比較を行い、良否を判断することができる。また、検査条件が異なったとしてもマハラノビスの距離による算出方法は同じであり、同条件の良画素との距離差により良否を判断することができる。良否判断を行うための数値等の算出方法については、例えば、不良のパネル画素の各中心座標に基づいて、各パネル画素間の距離を求めた上で分散等を算出する方法等、様々な方法が考えられる。また、良否判断の基準となる閾値は、パネルの種類、要求されるグレード（品質の高さ）によって任意に定めることができる。
【００６８】
また、例えば、シミ、むらのような複数の不良のパネル画素が密集して生じる欠陥の場合、各パネル画素は、良画素との距離差よりもパネル画素の密集の程度が問題となる。例えば、本実施の形態では、各パネル画素の中心座標とマハラノビスの距離とが関連づけて記憶手段４に記憶されている。そこで、不良と判断した（良画素の分布中にはない）パネル画素の中心座標に基づいて、検査判断部１Ｇはそれらのパネル画素がある範囲内に一定数以上存在しているものと判断すれば、表示パネル１００が不良であると判断する。
【００６９】
表示処理部１Ｉは、距離演算部１Ｆが算出したマハラノビスの距離に基づいて、表示処理を行い、例えば図９のようなグラフを表示手段３に表示させる。また、検査判断部１Ｇの判断に基づいた表示処理を行い、判断結果を表示手段３に表示させる。また、他の部が処理した処理結果に基づいて表示手段３に表示させるようにしてもよい。
【００７０】
以上のように第１の実施の形態によれば、人間の眼の分解能に基づいて処理すべき輝度値データのデータ数（量）を算出するようにしたので、被検査対象となるパネルの種類に関係なく、人間の目の分解能に基づいた検査を行うことができる。また、パネル画素取得部１Ａが、各パネル画素の中心の座標値を算出し、その座標値に基づいて、各画素の切り出しを行うようにしたので、また、この中心の座標値と算出した各パネル画素のマハラノビスの距離と関連づけておくことで、シミ、むら等の欠陥の発見を行う際に役立てることができる。そして、距離演算部１Ｆがパネル画素毎にマハラノビスの距離を算出するようにし、検査判断部１Ｇが距離差に基づいた画面（画素）の良否判断を行うようにしたので、良否判断の基準をマハラノビスの距離だけの数値にすることができ、良画素を基準とする判断を行うことができる。そのため、良画素との距離差により不良の度合いを数値化することができ、各装置（製品）のグレード（品質）も判断することができ、ランク分けを行うこともできる。特に、カラー表示画面において、赤、青、緑の３つの波長領域に分けた輝度値データにより、マハラノビスの距離を算出するようにしたので、カラー表示画面の評価を適切に行うことができる。特にそれぞれの波長領域の輝度値データを１つに結合して、１つの画素について１つのマハラノビスの距離での評価（判断）を行うことができ、評価しやすくなる。もちろん、赤、青、緑のそれぞれについてマハラノビスの距離を算出し、評価を行うこともできる。この場合には、どの色により不良画素となったかを判断することもできる。
【００７１】
実施形態２．
図１０は選択したパネル画素と撮像画像との関係を表す図である。上述の実施の形態では、検査判断部１Ｇだけが良否判断を判断するようにした。本実施の形態では、検査判断部１Ｇだけでなく、作業者が良否判断をする際の支援を行えるようにしたものである。そのため、表示処理部１Ｉがグラフ表示等、作業者が視覚的に判断しやすいような表示を行うための表示処理をする。例えば、図８のようなマハラノビスの距離のグラフ及び図２のような撮像画像を表示手段３に表示させ、グラフ上にプロットされた任意の点を１又は複数選択できるようにして、選択した点が、撮像画像中のどこに位置する点であるかを表示するため、選択した点にに対応するパネル画素を他と識別できるように撮像画像中に表示するようにしたものである。図１０では、選択した点は、パネル画素上に黒点を重ねて表示し、選択した点を識別するようにしている。これにより、作業者は例えば不良と判断されたパネル画素の位置を認識することができるので、その分布を把握することができ、特にシミ、むら等の欠陥の発見を容易に行うことができる。
【００７２】
また、２次元で表される各パネル画素の中心座標及びマハラノビスの距離に基づいて、表示パネル１００における各パネル画素の位置とマハラノビスの距離の関係を３次元のグラフとして表示手段３に表示させるための処理を表示処理部１Ｉに行わせるようにしてもよい。
【００７３】
実施形態３．
上述の第１の実施の形態では、演算量を少なくするために、マハラノビス・タグチ・シュミット（ＭＴＳ）と呼ばれる、シュミットの直交展開を利用したマハラノビスの距離の算出方法を用いた。本発明はこれに限定されるものではなく、相関行列及びその逆行列を算出し、その要素及び基準化値に基づいてマハラノビスの距離を算出するようにしてもよい。この方法では、撮像画素間の相関係数を算出することになるので相関関係を把握しやすいという利点がある。
【００７４】
実施形態４．
上述の実施の形態は被検査対象物である表示パネル１００をカメラ２０で撮像し、マハラノビスの距離を算出して良否判断を行った。本発明ではこれに限定されるものではなく、被検査対象が発生させる物理量を色の変化として表すことができれば、様々な被検査対象の検査をマハラノビスの距離を利用して行うことができる。また、この方法を応用すれば、逆にカメラ２０のようなカラー撮像手段の撮像画素の検査も、マハラノビスの距離を利用して行うこともできる。さらに、撮像手段だけでなく、サーモグラフィを利用した温度センサをはじめ、音響センサ等の手段についても、例えばセンシング状態を画像化し、検査することもできる。
【図面の簡単な説明】
【図１】画像処理装置を中心とするシステムの構成図である。
【図２】表示パネル１００を撮像した図である。
【図３】赤、青、緑を構成する波長領域の光に分けた画像である。
【図４】各パネル画素の中心座標算出処理の概念を表す図である。
【図５】中心座標の座標値の算出方法の概念を表す図である。
【図６】切り出し位置の指定方法を表す図である。
【図７】１つのパネル画素の輝度値の分布を２次元に展開した図である。
【図８】マハラノビスの距離と輝度値のグラフである。
【図９】良画素及び不良画素の距離の分布を表す図である。
【図１０】選択したパネル画素と撮像画像との関係を表す図である。
【符号の説明】
１  処理手段、１Ａ  パネル画素取得部、１Ｂ  平均・標準偏差演算部、１Ｃ基準化値データ演算部、１Ｄ  直交展開演算部、１Ｅ  直交変数演算部、１Ｆ距離演算部、１Ｇ  検査判断部、１Ｈ  輝度値データ取得部、１Ｉ  表示処理部、２  入力手段、３  表示手段、４  記憶手段、１０  画像処理装置、２０  カメラ、１００  表示パネル
【図１】
2004206498.tif 000003
【図２】
2004206498.tif 000004
【図３】
2004206498.tif 000005
【図４】
2004206498.tif 000006
【図５】
2004206498.tif 000007
【図６】
2004206498.tif 000008
【図７】
2004206498.tif 000009
【図８】
2004206498.tif 000010
【図９】
2004206498.tif 000011
【図１０】
2004206498.tif 000012