(57)【要約】【課題】超解像処理に要する演算量を削減する。【解決手段】本発明の制御装置６は、ｎ枚の撮像画像データから生成された第１高解像度画像データ（ｈ１→ｎ）と、処理対象画像データ（ｘｎ＋１）との位置合わせ後の差分を示す比較画像データ（ｋｎ＋１）を生成する比較画像生成部１２ｂと、上記ｎ枚の撮像画像データ及び処理対象画像データから生成される第２高解像度画像データ（ｈ１→ｎ＋１）と上記第１高解像度画像データとの差分に相当する画像更新データ（ｇｎ＋１）と予め定められた定数との積に上記比較画像データを加算してなる数式（８）の値が予め定められた値より小さくなるまで繰り返し演算を行うことによって上記画像更新データを生成し、該生成した画像更新データと上記第１高解像度画像データとを加算して第２高解像度画像データを生成する画像更新部１２ｃと備えているので超解像処理に要する演算量を削減することができる。【選択図】図１
2009071383.tif 000002
【特許請求の範囲】
【請求項１】
１つの撮像対象を撮像して得られた複数の画像データに基づいて、当該画像データよりも解像度の高い高解像度画像データを生成する画像処理装置において、
ｎ枚の画像データから生成された第１高解像度画像データと、上記撮像対象を撮像して得られた、上記画像データとは異なる処理対象画像データとの位置合わせ後の差分を示す比較画像データを生成する比較画像生成手段と、
上記ｎ枚の画像データ及び処理対象画像データから生成される第２高解像度画像データと上記第１高解像度画像データとの差分に相当する画像更新データと予め定められた定数との積に上記比較画像データを加算してなる数式の値が予め定められた値より小さくなるまで繰り返し演算を行うことによって上記画像更新データを生成する画像更新データ生成手段と、
上記生成した画像更新データと上記第１高解像度画像データとを加算して第２高解像度画像データを生成する画像更新手段とを備えていることを特徴とする画像処理装置。
【請求項２】
１つの撮像対象を撮像して得られた複数の画像データに基づいて、当該画像データよりも解像度の高い高解像度画像データを生成する画像処理装置において、
ｎ枚の画像データから生成された第１高解像度画像データと、上記ｎ枚の画像データの中から選択された処理対象画像データとの位置合わせ後の差分を示す比較画像データを生成する比較画像生成手段と、
上記処理対象画像データ以外の画像データから生成される第２高解像度画像データと上記第１高解像度画像データとの差分に相当する画像更新データと予め定められた定数との積に上記比較画像データを加算してなる数式の値が予め定められた値より小さくなるまで繰り返し演算を行うことによって上記画像更新データを生成する画像更新データ生成手段と、
上記生成した画像更新データと上記第１高解像度画像データとを加算して第２高解像度画像データを生成する画像更新手段とを備えていることを特徴とする画像処理装置。
【請求項３】
１つの撮像対象を撮像して得られた複数の画像データに基づいて、当該画像データよりも解像度の高い高解像度画像データを生成する画像処理装置において、
ｎ枚の画像データから生成された第１高解像度画像データと、上記撮像対象を撮像して得られた、上記画像データとは異なる第１処理対象画像データとの位置合わせ後の差分と、上記第１高解像度画像データと、上記ｎ枚の画像データの中から選択された第２処理対象画像データとの位置合わせ後の差分と、の差を示す比較画像データを生成する比較画像生成手段と、
上記ｎ枚の画像データから上記第２処理対象画像データを除き、上記第１処理対象画像データを加えた画像データから生成される第２高解像度画像データと上記第１高解像度画像データとの差分に相当する画像更新データと予め定められた定数との積に上記比較画像データを加算してなる数式の値が予め定められた値より小さくなるまで繰り返し演算を行うことによって上記画像更新データを生成する画像更新データ生成手段と、
上記生成した画像更新データと上記第１高解像度画像データとを加算して第２高解像度画像データを生成する画像更新手段とを備えていることを特徴とする画像処理装置。
【請求項４】
請求項１から３の何れか１項に記載の画像処理装置と、
撮像対象を撮像して画像データを生成する撮像装置と、
上記画像処理装置が生成した第２高解像度画像データに基づいて上記撮像対象の欠陥検査を行う検査装置とを含む検査システム。
【請求項５】
１つの撮像対象を撮像して得られた複数の画像データに基づいて、当該画像データよりも解像度の高い高解像度画像データを生成する画像処理装置の画像処理方法において、
ｎ枚の画像データから生成された第１高解像度画像データと、上記撮像対象を撮像して得られた、上記画像データとは異なる処理対象画像データとの位置合わせ後の差分を示す比較画像データを生成する比較画像生成ステップと、
上記ｎ枚の画像データ及び処理対象画像データから生成された第２高解像度画像データと上記第１高解像度画像データとの差分に相当する画像更新データと予め定められた定数との積に上記比較画像データを加算してなる数式の値が予め定められた値より小さくなるまで繰り返し演算を行うことによって上記画像更新データを生成する画像更新データ生成ステップと、
上記生成した画像更新データと上記第１高解像度画像データとを加算して第２高解像度画像データを生成する画像更新ステップとを含むことを特徴とする画像処理方法。
【請求項６】
請求項１から３の何れか１項に記載の画像処理装置を動作させるための画像処理プログラムであって、コンピュータを上記各手段として機能させるための画像処理プログラム。
【請求項７】
請求項６に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の低解像度画像から高解像度画像を生成する画像処理装置等に関する。
【背景技術】
【０００２】
表示装置等の検査を自動的に行う自動検査装置では、一般的に、エリアセンサ等の撮像装置を用いて検査対象を撮像して得られた検査画像を、所定のアルゴリズムで処理して欠陥検出等を行っている。そのため、自動検査装置においては、検査画像の解像度が高いほど詳細な検査が可能となるため、解像度の高い画像が撮像できる高解像度の撮像装置が求められる。
【０００３】
しかしながら、例えば、検査対象が液晶表示パネルである場合、近年の液晶表示パネルのパネルサイズ大型化に伴い、液晶表示パネルの表示画素数は飛躍的に増大しているため、最新のエリアセンサを用いても検査に十分な解像度は得られなくなってきている。そのため、検査装置においては、超解像処理やイメージシフト処理等によって、複数の低解像度画像から１枚の高解像度画像を生成する高解像度化処理を行う手法や、撮像装置の台数を増やして十分な解像度で撮像する手法が用いられる。
【０００４】
前者の高解像度化手法は、後者の複数台の撮像装置を用いる手法と比較すると、１）撮像時間が多くかかる、２）高解像度化画像生成のための画像処理が必要である等のデメリットもあるが、１）検査装置のコストが安くなる、２）メンテナンス性が良い等のメリットがある。
【０００５】
近年、国内工場に導入する検査装置に対するコストダウンの要求の高まりや、海外への展開にはさらに安価な検査装置が求められるという背景から、コストダウンが可能であるというメリットを有する高解像度化手法の研究が多く行われている。高解像度化手法は、位置ずれのある複数の低解像度画像から、１つの高解像度画像を生成する手法であり、大きく分類してイメージシフト処理と超解像処理との２種類に分けられる。
【０００６】
イメージシフト処理は、生成される高解像度画像において、撮像された低解像度画像の画素に対応する画素を、その低解像度画像の画素の輝度値に基づいて高解像度画像にマッピングする手法である。
【０００７】
一方、超解像処理は、複数の低解像度画像より１つの高解像度画像を推定する処理であり、例えば、ＭＬ（Maximum-likelihood）法、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection On to Convex Set）法など、様々な超解像処理方法が提案されている。
【０００８】
ＭＬ法とは、高解像度画像から推定された低解像度画像の画素値と、実際に観測された画素値との二乗誤差を評価関数とし、この評価関数を最小化するような高解像度画像を推定画像とする方法である。つまり、ＭＬ法とは、最尤推定の原理に基づく超解像処理方法である。
【０００９】
また、ＭＡＰ法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。つまり、ＭＬ法とは、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。
【００１０】
そして、ＰＯＣＳ法とは、高解像度画像と低解像度画像との画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。
【００１１】
これらの超解像処理は、まず、高解像度画像を仮定し、そして仮定した高解像度画像から、撮像装置のカメラモデルから得られる点広がり関数（ＰＳＦ関数）に基づき、全ての低解像度画像の画素について、その画素値を推定し、その推定値と観測された画素値(観測値)との差が小さくなるような高解像度画像を探索するという処理を有している。そのため、これらの超解像処理は、再構成型超解像処理方法と呼ばれている。
【００１２】
イメージシフト処理では、低解像度画像の全画素を高解像度画像の画素にマッピングする必要があるため、低解像度画像の撮像位置及び撮像枚数は固定である。これに対して、超解像処理では、低解像度画像の撮像位置は既知であればよく、使用する低解像度画像の枚数にも制限はない。
【００１３】
超解像処理で行われる画素値の推定処理は繰返し演算であるため、概して超解像処理はイメージシフト処理と比較すると計算コストが高くなり、超解像処理に要する時間もそれに伴い長くなってしまう。そのため、超解像処理に要する演算量を減らし、超解像処理に要する時間を短縮することが求められている。例えば、下記の特許文献１では、高解像度画像を生成するために使用する低解像度の枚数を削減することにより計算コストを減少させている。
【００１４】
具体的には、特許文献１では、時刻ｋにおける低解像度の入力画像データ列｛Ｌｋ｝から、超解像度画像データ列｛ｚｋ｝を推定する超解像処理を行っている。ここで、特許文献１では、時刻ｋにおける超解像度画像データ列｛ｚｋ｝を推定する超解像処理に用いるデータとして、時刻ｋの前後それぞれａ枚の低解像度画像データＬｌ（ｋ−ａ≦ｌ≦ｋ+ａ）と、１フレーム前の結果画像データｚｋ−１とを用いている。
【００１５】
すなわち、従来の一般的な超解像処理では、ｚｋの推定には、１番目からｋ番目までの合計ｋ枚の低解像度画像を使用していたところを、特許文献１では、時刻ｋ−１に生成した画像データｚｋ−１を用いることにより、使用する低解像度画像の枚数を（ｋ−ａ）〜（ｋ＋ａ）の合計（２ａ＋１）枚に削減しており、これにより計算コストを低減している。なお、この超解像処理方法では、Ｎ枚の低解像度画像から生成された新規高解像度画像と、Ｍ枚（Ｎ≦Ｍ）の低解像度画像とＬ枚(Ｌ≧１)の高解像度画像とから生成された新規高解像度画像とは必ずしも一致しない。
【特許文献１】特開２００７−５２６７２号公報（２００７年３月１日公開）
【発明の開示】
【発明が解決しようとする課題】
【００１６】
このように、特許文献１の超解像処理方法によれば、超解像処理に必要な画像の枚数を削減し、計算コストを低減することができる。しかしながら、特許文献１に記載の超解像処理方法では、依然として超解像処理に使用される画像の枚数は多く、演算量も多い。
【００１７】
すなわち、超解像処理では、処理に使用する低解像度画像の枚数が多くなると、演算量は増大し、超解像処理に要する時間もそれに伴って長くなってしまうという問題があり、演算量を抑制するために撮像画像の枚数を減らした場合には、所望の復元精度を有する高解像度画像が得られないことがあるという問題がある。
【００１８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、超解像処理に要する演算量を低減し、かつ従来法と同等の復元精度を有する高解像度画像を生成することのできる画像処理装置等を実現することにある。
【課題を解決するための手段】
【００１９】
本発明の画像処理装置は、上記の課題を解決するために、１つの撮像対象を撮像して得られた複数の画像データに基づいて、当該画像データよりも解像度の高い高解像度画像データを生成する画像処理装置において、ｎ枚の画像データから生成された第１高解像度画像データと、上記撮像対象を撮像して得られた、上記画像データとは異なる処理対象画像データとの位置合わせ後の差分を示す比較画像データを生成する比較画像生成手段と、上記ｎ枚の画像データ及び処理対象画像データから生成される第２高解像度画像データと上記第１高解像度画像データとの差分に相当する画像更新データと予め定められた定数との積に上記比較画像データを加算してなる数式の値が予め定められた値より小さくなるまで繰り返し演算を行うことによって上記画像更新データを生成する画像更新データ生成手段と、上記生成した画像更新データと上記第１高解像度画像データとを加算して第２高解像度画像データを生成する画像更新手段とを備えていることを特徴としている。
【００２０】
また、本発明の画像処理方法は、上記の課題を解決するために、１つの撮像対象を撮像して得られた複数の画像データに基づいて、当該画像データよりも解像度の高い高解像度画像データを生成する画像処理装置の画像処理方法において、ｎ枚の画像データから生成された第１高解像度画像データと、上記撮像対象を撮像して得られた、上記画像データとは異なる処理対象画像データとの位置合わせ後の差分を示す比較画像データを生成する比較画像生成ステップと、上記ｎ枚の画像データ及び処理対象画像データから生成された第２高解像度画像データと上記第１高解像度画像データとの差分に相当する画像更新データと予め定められた定数との積に上記比較画像データを加算してなる数式の値が予め定められた値より小さくなるまで繰り返し演算を行うことによって上記画像更新データを生成する画像更新データ生成ステップと、上記生成した画像更新データと上記第１高解像度画像データとを加算して第２高解像度画像データを生成する画像更新ステップとを含むことを特徴としている。
【００２１】
上記の構成によれば、第１高解像度化画像データと処理対象画像データとの２枚の画像データに対する演算にて、ｎ枚の画像データに処理対象画像データを加えた（ｎ＋１）枚の画像データに対応する第２高解像度画像データを得ることができる。これにより、超解像処理に要する演算量を減らすことができ、その結果として超解像処理の所要時間を短縮することが可能になる。
【００２２】
また、上記の構成では、ｎ枚の画像データを反映する第１高解像度化画像データを用いるので、２枚の画像データに対する演算で（ｎ＋１）枚の画像データの全てを用いて生成した画像データと同等の解像度を有する第２高解像度画像データを生成することができる。
【００２３】
なお、上記の構成において、差分とは画像データの対応する位置、言い換えれば撮像対象の同じ位置を示す画素における輝度値の差分を示している。また、ｎは２以上の自然数である。そして、上記繰り返し演算としては、例えば最急降下法等の公知の繰り返し演算法を適用することができる。また、第１高解像度画像データと処理対象画像データとは画像の解像度が異なるので、位置合わせを行う際に第１高解像度画像データを低解像度化する処理を施すようにしてもよい。
【００２４】
また、本発明の他の画像処理装置は、上記の課題を解決するために、１つの撮像対象を撮像して得られた複数の画像データに基づいて、当該画像データよりも解像度の高い高解像度画像データを生成する画像処理装置において、ｎ枚の画像データから生成された第１高解像度画像データと、上記ｎ枚の画像データの中から選択された処理対象画像データとの位置合わせ後の差分を示す比較画像データを生成する比較画像生成手段と、上記処理対象画像データ以外の画像データから生成される第２高解像度画像データと上記第１高解像度画像データとの差分に相当する画像更新データと予め定められた定数との積に上記比較画像データを加算してなる数式の値が予め定められた値より小さくなるまで繰り返し演算を行うことによって上記画像更新データを生成する画像更新データ生成手段と、上記生成した画像更新データと上記第１高解像度画像データとを加算して第２高解像度画像データを生成する画像更新手段とを備えていることを特徴としている。
【００２５】
上記の構成によれば、第１高解像度化画像データと処理対象画像データとの２枚の画像データに対する演算にて、ｎ枚の画像データから処理対象画像データを除いた（ｎ−１）枚の画像データに対応する第２高解像度画像データを得ることができる。これにより、超解像処理に要する演算量を減らすことができ、その結果として超解像処理の所要時間を短縮することが可能になる。
【００２６】
また、上記の構成によれば、超解像処理に不適切なデータ（例えば、ピントがずれたデータ）等を、処理対象画像データとすることにより、画像処理に用いる画像データから除去することができる。これにより、画像データをより正確に反映させた第２高解像度画像データを取得することが可能になる。
【００２７】
そして、本発明のさらに他の画像処理装置は、上記の課題を解決するために、１つの撮像対象を撮像して得られた複数の画像データに基づいて、当該画像データよりも解像度の高い高解像度画像データを生成する画像処理装置において、ｎ枚の画像データから生成された第１高解像度画像データと、上記撮像対象を撮像して得られた、上記画像データとは異なる第１処理対象画像データとの位置合わせ後の差分と、上記第１高解像度画像データと、上記ｎ枚の画像データの中から選択された第２処理対象画像データとの位置合わせ後の差分と、の差を示す比較画像データを生成する比較画像生成手段と、上記ｎ枚の画像データから上記第２処理対象画像データを除き、上記第１処理対象画像データを加えた画像データから生成される第２高解像度画像データと上記第１高解像度画像データとの差分に相当する画像更新データと予め定められた定数との積に上記比較画像データを加算してなる数式の値が予め定められた値より小さくなるまで繰り返し演算を行うことによって上記画像更新データを生成する画像更新データ生成手段と、上記生成した画像更新データと上記第１高解像度画像データとを加算して第２高解像度画像データを生成する画像更新手段とを備えていることを特徴としている。
【００２８】
上記の構成によれば、第１高解像度化画像データと第１及び第２処理対象画像データとの３枚の画像データに対する演算にて、ｎ枚の画像データから第２処理対象画像データを除き、第１処理対象画像データを加えたｎ枚の画像データに対応する第２高解像度画像データを得ることができる。これにより、超解像処理に要する演算量を減らすことができ、その結果として超解像処理の所要時間を短縮することが可能になる。
【００２９】
また、上記の構成によれば、第１処理対象画像データを反映すると共に、第２処理対象画像データの寄与を除外した第２高解像度画像データを生成することができる。例えば、ピントがずれた画像データや、ｎ枚の画像データのうち最も始めに撮像された（最も古い）画像データを第２処理対象画像データとし、最新に撮像された画像データを第１処理対象画像データとすればよい。これにより、常に最新のｎ枚の画像データを反映させた第２高解像度画像データを生成することができる。
【００３０】
そして、本発明の検査システムは、上記の課題を解決するために、上記画像処理装置と、撮像対象を撮像して画像データを生成する撮像装置と、上記画像処理装置が生成した第２高解像度画像データに基づいて上記撮像対象の欠陥検査を行う検査装置とを含むことを特徴としている。
【００３１】
上記の構成によれば、撮像装置が生成した画像データが画像処理装置にて高解像度化されて第２高解像度画像データが生成される。そして、検査装置は、第２高解像度画像データを解析することによって撮像対象の欠陥を検出する。これにより、撮像装置が撮像対象の欠陥検出に十分な解像度を有していなくとも、撮像対象の欠陥を精度よく検出することが可能となる。
【００３２】
また、上記の検査システムでは、撮像装置が生成した画像データを順次画像処理装置に供給するようにし、画像処理装置は、順次供給される画像データのうち、最後に（最も新しく）供給された画像データを処理対象画像データ（あるいは第１処理対象画像データ）として、順次高解像度画像データを更新することが好ましい。
【００３３】
上記の構成によれば、撮像対象の撮像と第２高解像度化画像データの生成とが平行して行われる。したがって、画像処理装置に、所定枚数の画像データの全てを供給した後でそれら全ての画像データを反映させた高解像度画像データを生成する従来法と比べて、所定枚数の画像データを反映させた第２高解像度化画像データが生成されるまでの時間を短縮することができる。
【００３４】
なお、上記検査装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記検査装置の各手段として動作させることにより、上記検査装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００３５】
以上のように、本発明の画像処理装置は、ｎ枚の画像データから生成された第１高解像度画像データと、上記撮像対象を撮像して得られた、上記画像データとは異なる処理対象画像データとの位置合わせ後の差分を示す比較画像データを生成する比較画像生成手段と、上記ｎ枚の画像データ及び処理対象画像データから生成される第２高解像度画像データと上記第１高解像度画像データとの差分に相当する画像更新データと予め定められた定数との積に上記比較画像データを加算してなる数式の値が予め定められた値より小さくなるまで繰り返し演算を行うことによって上記画像更新データを生成する画像更新データ生成手段と、上記生成した画像更新データと上記第１高解像度画像データとを加算して第２高解像度画像データを生成する画像更新手段とを備えている構成である。
【００３６】
また、本発明の画像処理方法は、以上のように、ｎ枚の画像データから生成された第１高解像度画像データと、上記撮像対象を撮像して得られた、上記画像データとは異なる処理対象画像データとの位置合わせ後の差分を示す比較画像データを生成する比較画像生成ステップと、上記ｎ枚の画像データ及び処理対象画像データから生成された第２高解像度画像データと上記第１高解像度画像データとの差分に相当する画像更新データと予め定められた定数との積に上記比較画像データを加算してなる数式の値が予め定められた値より小さくなるまで繰り返し演算を行うことによって上記画像更新データを生成する画像更新データ生成ステップと、上記生成した画像更新データと上記第１高解像度画像データとを加算して第２高解像度画像データを生成する画像更新ステップとを含む構成である。
【００３７】
したがって、第１高解像度化画像データと処理対象画像データとの２枚の画像データに対する演算にて、ｎ枚の画像データに処理対象画像データを加えた（ｎ＋１）枚の画像データに対応する第２高解像度画像データを得ることができ、超解像処理に要する演算量を減らすことができる。
【００３８】
また、上記の構成では、ｎ枚の画像データを反映する第１高解像度化画像データを用いるので、２枚の画像データに対する演算で（ｎ＋１）枚の画像データの全てを用いて生成した画像データと同等の解像度を有する第２高解像度画像データを生成することができる。
【発明を実施するための最良の形態】
【００３９】
〔実施の形態１〕
本発明の一実施形態について図１〜図９に基づいて説明すると以下の通りである。まず、図２に基づいて本実施形態の検査システムの概要について説明する。検査システム１は、液晶パネルＰを検査対象とし、図示のように、フレーム２、パネルコントローラ３、撮像装置４、ステージ５、制御装置６、及びモニタ７を含む構成である。なお、ここでは、図２の上下方向をＺ軸方向、左右方向をＸ軸方向、奥行き方向をＹ軸方向とする。
【００４０】
液晶パネルＰは、パネルコントローラ３の制御に従ってバックライトの点灯や表示パターンの切り替え等を行うことによって、予め定められた画像を表示する表示パネルであり、画像の表示面が撮像装置４に対向するようにフレーム２に固定されている。すなわち、検査システム１は、液晶パネルＰが正常に点灯するか否かを検査するシステムである。なお、同図では表現されていないが、画像表示面は、同図のＹ軸方向に奥行きを有し、Ｙ−Ｚ平面に平行な面となっている。検査システム１は、液晶パネルＰに限られず様々な物品を検査対象とすることができる。
【００４１】
撮像装置４は、液晶パネルＰを撮像する装置であり、筐体４ａ、レンズ４ｂ、固体撮像素子４ｃ、及びアクチュエータ４ｄを備えている。レンズ４ｂは、筐体４ａの内部に入る光（液晶パネルＰの像）を固体撮像素子４ｃの撮像面上に結像させる。そして、固体撮像素子４ｃは、複数の撮像素子からなり、光学的に結像した液晶パネルＰの像を、空間的に離散させてサンプリングし、それらの像を画像信号に変換する。固体撮像素子４ｃとしては、例えばＣＣＤ（Charge Coupled Devices）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を適用することができる。なお、本実施形態では、撮像装置４がエリアセンサであることを想定しているが、ラインセンサであっても構わない。
【００４２】
アクチュエータ４ｄは、固体撮像素子４ｃの位置を変化させることにより、液晶パネルＰの撮像位置を変化させる。具体的には、アクチュエータ４ｄは筐体４ａの内壁に固定されており、固体撮像素子４ｃはアクチュエータ４ｄによって支持されている。そのため、アクチュエータ４ｄが固体撮像素子４ｃを変位させることによって、固体撮像素子４ｃは筐体４ａに対して相対的に変位し、液晶パネルＰの撮像位置もそれに伴って変位する。
【００４３】
なお、ここでは、アクチュエータ４ｄは、液晶パネルＰとレンズ４ｂとを結ぶ光軸に対して垂直な平面において固体撮像素子４ｃを２次元的に移動させることを想定しているが、この移動は回転を含む３次元の移動であってもよい。アクチュエータ４ｄとしては、例えば、ピエゾアクチュエータやステッピングモータ等を使用することができる。本実施形態では、ピエゾアクチュエータを用いることを想定している。
【００４４】
また、撮像装置４は、液晶パネルＰの画像表示面と対向するようにステージ５上に固定されている。すなわち、本実施形態では、撮像装置４と液晶パネルＰとの相対位置は固定されており、アクチュエータ４ｄによって固体撮像素子４ｃを移動させることにより、液晶パネルＰの画像を撮像することを想定している。なお、ステージ５及び／またはフレーム２を移動させることによって、撮像装置４と液晶パネルＰとの相対位置を変化させながら液晶パネルＰの画像を撮像するようにしてもよい。
【００４５】
制御装置６は、撮像装置４の制御を行う撮像制御部１１、撮像装置４が撮像した画像を記憶する撮像画像保存部１３、及び撮像装置４が撮像した画像データを高解像度化する超解像処理部１２等を備えている。すなわち、検査システム１では、制御装置６の制御に基づいて撮像装置４が液晶パネルＰの撮像を行い、液晶パネルＰを撮像して得られた画像データは制御装置６の撮像画像保存部１３に格納されて、超解像処理部１２が超解像処理を実行するようになっている。また、図示していないが、制御装置６は、超解像処理によって高解像度化された画像データを用いて液晶パネルの欠陥検査を行う構成を備えている。
【００４６】
モニタ７は、撮像装置４が取得した撮像画像や、当該撮像画像から生成された高解像度画像及びそれらの画像を用いて検査された欠陥検査画像等を表示する。なお、モニタ７は、画像を表示できるものであればよく、液晶、有機ＥＬ、ＣＲＴ（Cathode Ray Tube）等、様々な表示装置を適用することができる。
【００４７】
〔制御装置の構成〕
続いて、制御装置６の構成について、図３に基づいて説明する。図３は、制御装置６の要部構成を示すブロック図である。図示のように、制御装置６は、撮像制御部１１、超解像処理部（画像処理装置）１２、撮像画像保存部１３、高解像度画像保存部１４、欠陥検査処理部（欠陥検査装置）１５、欠陥検査画像保存部１６、及び画像出力制御部１７を備えている。
【００４８】
撮像制御部１１は、撮像装置４に制御信号を送ることによって固体撮像素子４ｃによる撮像（露光）のタイミング（撮像開始時間、露光時間の長さ等）を制御する撮像タイミング制御部１１ａに指示し、予め定められたタイミングで液晶パネルＰの撮像を開始させる。なお、本実施形態では、撮像タイミング制御部１１ａは、撮像装置４に送る信号の電圧を変化させることにより撮像タイミングの制御を行うことを想定している。また、撮像タイミング制御部１１ａは、アクチュエータ４ｄの移動開始のタイミングや移動速度、移動距離等の制御を行うアクチュエータ制御部１１ｂに指示し、撮像装置４が備える固体撮像素子４ｃの露光時間に応じて固体撮像素子４ｃを移動させる。
【００４９】
そして、撮像制御部１１は、撮像装置４の固体撮像素子４ｃによってサンプリングされた液晶パネルＰの撮像画像データを、当該撮像画像データを取得したときの撮像位置（固体撮像素子４ｃの位置）と対応付けた撮像画像データ１３ａとして撮像画像保存部１３に格納する。
【００５０】
なお、詳細については後述するが、超解像処理では、液晶パネルＰの１つの表示画素に対する固体撮像素子４ｃの割り当てが整数でない複数枚の撮像画像データに基づいて高解像度画像データを生成する。そのため、アクチュエータ４ｄによって少しずつ位置をずらしながら液晶パネルＰを撮像して複数枚の撮像画像データを取得する必要があると共に、各撮像画像データの撮像位置も取得しておく必要がある。
【００５１】
超解像処理部１２は、撮像画像保存部１３に格納された撮像画像データ１３ａを高解像度化して高解像度画像データを生成する超解像処理を行う。具体的には、超解像処理部１２は、撮像画像保存部１３に格納された撮像画像データ１３ａと高解像度画像保存部１４に格納された高解像度画像データ１４ａとに予め定められた処理を施して、新規の高解像度画像データ１４ａを生成し、該生成した高解像度画像データ１４ａを高解像度画像保存部１４に格納する。なお、超解像処理部１２が実行する超解像処理の詳細については後に詳しく説明する。
【００５２】
欠陥検査処理部１５は、高解像度画像保存部１４に格納された高解像度画像データ１４ａを取得し、取得した高解像度画像データ１４ａに予め定められた処理を施して欠陥検査画像データを生成する。そして、欠陥検査処理部１５は、上記生成した欠陥検査画像データを用いて液晶パネルＰの欠陥の種類を判定する。
【００５３】
欠陥の種類の判定には、例えばフェレ径比を用いることができる。すなわち、検査対象である液晶パネルＰの欠陥には、画素を構成するカラーフィルタの破れ等によって生じる微小な欠陥と、画素を駆動する回路の故障によって生じる画素サイズの欠陥とがある。ここで、上記微小な欠陥は、小さな円形で観測されるのに対し、上記画素サイズの欠陥は、画素と同等のサイズ及び細長い形状で観測される。そのため、欠陥の形状によって欠陥を分類することが可能であり、その判定を行う際にフェレ径比を用いる。
【００５４】
欠陥検査処理部１５は、液晶パネルＰの欠陥種類を判定できた場合には、判定に用いた欠陥検査画像データと欠陥の種類の判定結果等とを対応付けたデータを欠陥検査画像データ１６ａとして欠陥検査画像保存部１６に格納する。一方、欠陥の種類が判定できなかった場合には、欠陥検査処理部１５は、撮像制御部１１に指示して液晶パネルＰの撮像を実行させる。これにより、欠陥検査に使用する高解像度画像データの解像度がさらに向上することになり、液晶パネルＰの欠陥を正確に検出することが可能になる。なお、欠陥検査処理部１５が実行する欠陥検査処理の詳細については後に説明する。
【００５５】
画像出力制御部１７は、欠陥検査画像保存部１６に格納された欠陥検査画像データ１６ａを取得し、当該欠陥検査画像データ１６ａが示すデータをモニタ７に表示する。これにより、検査システム１のユーザは、液晶パネルＰの欠陥を示す画像や欠陥の種類等を容易に確認することができる。
【００５６】
〔検査システムにおける処理の流れ〕
続いて、以上の構成を備える検査システム１における処理の流れについて図４に基づいて説明する。図４は、検査システム１における処理の一例を示すフローチャートである。まず、フレーム２に液晶パネルＰが固定されると、制御装置６の撮像制御部１１の指示に従って撮像装置４が液晶パネルＰの撮像を行う（Ｓ１）。撮像によって得られた撮像画像データ１３ａは、撮像装置４が撮像を行う度に、順次撮像画像保存部１３に格納される（Ｓ２）。
【００５７】
そして、超解像処理部１２は、撮像画像保存部１３に新たに撮像画像データ１３ａが保存されると、超解像処理を実行し、超解像処理の実行時に高解像度画像保存部１４に格納されている高解像度画像データ１４ａと、撮像画像保存部１３に格納されている撮像画像データとに基づいて新規の高解像度画像データ１４ａを生成する（Ｓ３）。続いて、超解像処理部１２は、生成した新規高解像度画像データ１４ａを高解像度画像保存部１４に格納する（Ｓ４）。
【００５８】
なお、ここでは、新規の高解像度画像データ１４ａの生成に、撮像画像保存部１３に格納されている撮像画像データの中から選択した１枚の撮像画像データを使用する例について説明するが、複数枚の撮像画像データ（撮像画像データ群）を使用することもできる。
【００５９】
なお、撮像を開始して最初の１枚目の撮像画像データ１３ａが撮像画像保存部１３に格納されたときには、超解像処理部１２は、予め高解像度画像保存部１４に格納されている灰色画像データ等の任意の画像データを高解像度画像データとして、新規の高解像度画像データ１４ａを生成する。
【００６０】
ここで、欠陥検査処理部１５は、高解像度画像保存部１４に新たに高解像度画像データ１４ａが格納されたことを確認すると、高解像度画像データ１４ａに基づいて欠陥検査画像データを生成し、該生成した欠陥画像データを解析して液晶パネルＰの欠陥の有無等を判定する欠陥検査処理を実行する（Ｓ５）。続いて、欠陥検査処理部１５は、使用した欠陥検査画像データで欠陥の種類を識別できたか否かを判定する（Ｓ６）。
【００６１】
欠陥の種類が識別可能であれば（Ｓ６でＹｅｓ）、欠陥検査処理部１５は、上記使用した欠陥検査画像データを検出した欠陥の種類等と対応付けた欠陥検査画像データ１６ａとして欠陥検査画像保存部１６に格納する（Ｓ７）。そして、欠陥検査画像保存部１６に格納された欠陥検査画像データ１６ａは、画像出力制御部１７によってモニタ７に表示されることになる（Ｓ８）。
【００６２】
一方、欠陥の種類が識別可能でなければ（Ｓ６でＮｏ）、欠陥検査処理部１５は、撮像処理部に指示して液晶パネルＰの画像を撮像させる。これにより、撮像画像データ格納部に撮像画像データがさらに追加されることになり、その結果、追加された撮像画像データに基づいて再度超解像処理が実行される。これにより、追加の撮像画像データを反映させることによってさらに高解像度化された高解像度画像データ１４ａに基づいて、再度欠陥の種別の再判定が行われることになる。
【００６３】
なお、同図には示していないが、Ｓ１からＳ６のループを予め定められた回数繰り返しても欠陥の種類を特定できない場合には、欠陥検査処理部１５は、液晶パネルＰが欠陥を有していないと判断して処理を終了する。
【００６４】
ここで、撮像画像データの枚数が少ない状態では、欠陥検査に十分な解像度を有する高解像度画像データが得られないことが予想される。そこで、予め定められた枚数の撮像画像データが得られるまでＳ１〜Ｓ４を繰り返して実行し、予め定められた枚数の撮像画像データが得られた後に、Ｓ５に進んで欠陥検査処理を行うようにしてもよい。これにより、欠陥検査に十分な解像度を有していないと予想される高解像度画像データの欠陥検査処理を省略して、検査に要する時間を短縮することができる。
【００６５】
〔超解像処理を行う目的〕
超解像処理部１２が実行する超解像処理について説明する前に、ここでは検査システム１で超解像処理を行う目的について説明する。まず、検査システム１で検出する液晶パネルＰの欠陥及び該欠陥の検出方法について図５に基づいて説明する。図５は、液晶パネルＰが有する表示画素の配置の一例を示す図である。
【００６６】
図示のように、液晶パネルＰは、例えば、Ｒ画素２１ｂ、Ｇ画素２１ｃ、Ｂ画素２１ｄの３色の画素から構成される表示画素２１ａを有している。これらＲＧＢの各画素は、液晶パネルＰの画像表示面に一定の周期（例えばＲＧＢ−ＲＧＢ−ＲＧＢ…の順）で繰り返して配列している。本実施形態において、液晶パネルＰが欠陥を有している状態とは、これらのＲＧＢの画素が正常に点灯しない状態を指している。
【００６７】
正常に点灯しない画素を検出する方法としては、例えば隣接する同色画素の輝度差と予め定められた閾値とを比較する方法が挙げられる。すなわち、同色の画素が正常に点灯した場合には、その輝度はほぼ等しくなるので、同色の画素の輝度差が閾値を越えている場合には欠陥が生じていると判断することができる。
【００６８】
図示の例では、Ｒ画素２１ｂに隣接する同色画素はＲ画素２１ｅである。これらＲ画素２１ｂの輝度とＲ画素２１ｅの輝度とを比較し、その輝度の差が予め定められた閾値よりも大きい場合に、Ｒ画素２１ａ及びＲ画素２１ｅの少なくとも一方が正常に点灯しない欠陥画素であると判断することができる。
【００６９】
欠陥検査処理部１５は、撮像装置４が液晶パネルＰを撮像して得られた撮像画像データを用いて液晶パネルＰの全画素の検査を行い、欠陥画素を検出することを想定している。したがって、撮像画像データは、液晶パネルＰの各画素における輝度値の値を正確に反映している必要がある。
【００７０】
次に、撮像画像データが液晶パネルＰの各画素における輝度値の値を正確に反映するための条件について、図６に基づいて説明する。図６（ａ）〜（ｃ）は、液晶パネルＰの画素と撮像装置４の固体撮像素子４ｃとの対応関係を示す図である。なお、同図（ａ）〜（ｃ）では点線で示される各四角形が固体撮像素子４ｃを構成する各撮像素子を表している。
【００７１】
撮像画像データが液晶パネルＰの各画素における輝度値の値を正確に反映するためには、ＲＧＢの画素が固体撮像素子４ｃを構成する複数の撮像素子のうち、それぞれ別の撮像素子によって撮像されることが望ましい。これは、複数の画素を１つの撮像素子で撮像した場合には、各画素の輝度値の正確な値を特定することが難しくなるためである。
【００７２】
また、撮像素子の境界と画素の境界とを完全に一致させることは困難であるため、撮像画像データが液晶パネルＰの各画素における輝度値の値を正確に反映するためには、ＲＧＢの画素と撮像素子との位置ずれを考慮して、１つの画素に複数の撮像素子が割り当てられるようにすることが望ましい。
【００７３】
同図（ａ）は、位置ずれも考慮して、欠陥検出に十分な撮像素子が割り当てられている状態を示している。図示のように、液晶パネルＰの１つの表示画素に対して、少なくとも６×６の撮像素子が割り当てられている。これにより、各画素に十分な撮像素子が割り当てられることになり、液晶パネルＰの各画素の輝度値を正確に反映させた撮像画像データを得ることができる。
【００７４】
しかしながら、実際には、同図（ａ）に示すような撮像素子の割り当てを実現することは、液晶パネルＰの表示画素数や撮像装置４の解像度等の問題により難しい。
【００７５】
同図（ｂ）は、液晶パネルＰの表示画素数が１９２０×１０８０程度である場合に、１１００万画素のＣＣＤセンサを用いた撮像装置４によって液晶パネルＰを撮像したときの液晶パネルＰの画素と撮像装置４の固体撮像素子４ｃとの対応関係を示している。図示のように、１つの表示画素に対する撮像素子の割り当ては２×２程度になっており、この条件下では、液晶パネルＰの各画素の輝度値を正確に反映させた撮像画像データを得ることが難しいことがわかる。
【００７６】
そして、同図（ｃ）は、液晶パネルＰの表示画素数が１９２０×１０８０程度である場合に、１６００万画素のＣＣＤセンサを用いた撮像装置４によって液晶パネルＰを撮像したときの液晶パネルＰの画素と撮像装置４の固体撮像素子４ｃとの対応関係を示している。図示のように、１つの表示素子に対して２．３×２．３程度の撮像素子が割り当てられている。このように、同図（ｂ）と比べて撮像装置４の解像度を向上させた場合であっても、依然として液晶パネルＰの各画素の輝度値を正確に反映させた撮像画像データを得ることが難しいことがわかる。
【００７７】
以上のように、撮像装置４の解像度を向上させる方法では、液晶パネルＰの各画素の輝度値を正確に反映させた撮像画像データを得ることは難しい。そこで、同図（ｂ）（ｃ）に示すような、表示画素に対する撮像素子の割り当てが十分ではない撮像画像データに超解像処理を施すことによって、例えば同図（ａ）に示すような高解像度の画像を生成することが必要となる。
【００７８】
〔超解像処理部が実行する超解像処理の原理〕
次に、超解像処理部１２における超解像処理の原理について説明する。〔背景技術〕で述べたように、超解像処理は、生成される高解像度画像に対して定義される評価関数の最適化問題として定式化される。つまり、再構成型超解像処理は、「推定された低解像度画像」と「観測された観測画像」との二乗誤差に基づく評価関数（誤差項）の最適化問題に帰着される。
【００７９】
ここでは、まず、撮像画像保存部１３に格納された撮像画像データがｎ枚である場合について考える。この場合には、超解像処理に用いられる高解像度化評価関数は例えば下記数式（１）で表され、超解像処理はこの評価関数Ｉ１→ｎを最小化する処理として表現される。
【００８０】
【数１】
2009071383.tif 000003
【００８１】
上記数式（１）において、ｈ１→ｎは、高解像度画像データをベクトルで表現したものである。また、ｙ１→ｎは、１番目からｎ番目までの全ての撮像画像データをベクトルで表現したものである。ｙ１→ｎは、下記数式（２）で表され、数式（２）においてｘｉ（ｉ＝１〜ｎ）は、個々の撮像画像データをベクトルで表現したものである。
【００８２】
Ｂ１→ｎは、高解像度画像データをそれぞれの撮像画像データの撮像位置に位置合わせした後、撮像装置４のカメラモデルから得られる点広がり関数（ＰＳＦ関数）のカーネルを畳み込んで低解像度化する処理を行列として表現したものであり、下記数式（３）で表される。数式（３）において、Ａｉ（ｉ＝１〜ｎ）は、個々の撮像画像データに対する高解像度画像データからの変換、すなわち高解像度画像データｈ１→ｎを撮像画像データｘｉに対して位置合わせ及び低解像度化する処理を表す行列である。
【００８３】
そして、数式（１）において、Ｃは高解像度画像データの特性を示す事前確率情報を表す行列を、αは拘束の強さを表す拘束パラメータを表している。また、１〜ｎは、ｎ枚の撮像画像データのそれぞれを表す番号であり、Ｔは行列の転置を表している。
【００８４】
なお、上記「推定された低解像度画像」とは、推定された高解像度画像データに光学劣化関数を乗じて低解像度化した画像を指す。この例では、推定された高解像度画像データが下記の数式（１）におけるｈ１→ｎであり、光学劣化関数がＡｎ（Ｂ１→ｎの成分）であるから、「推定された低解像度画像」は、Ａｎ×ｈ１→ｎに対応する。また、上記「観測された観測画像」は、同数式のｘｎ（ｙ１→ｎの成分）に対応している。
【００８５】
【数２】
2009071383.tif 000004
【００８６】
【数３】
2009071383.tif 000005
【００８７】
ここで、上記数式（１）の評価関数を最小化する処理は、評価関数Ｉ１→ｎのｈ１→ｎに対する勾配を０とする処理に相当する。この処理を数式で表すと下記数式（４）のようになる。すなわち、撮像画像データがｘ１〜ｘｎまでのｎ枚である場合には、数式（４）の値を０に近付けるようなｈ１→ｎがｘ１〜ｘｎまでのｎ枚の撮像画像データに基づいた高解像度画像となる。
【００８８】
【数４】
2009071383.tif 000006
【００８９】
一方、撮像画像保存部１３に新たに撮像画像データｘｎ＋１が格納され、撮像画像保存部１３に格納された撮像画像データがｘ１〜ｘｎ＋１までのｎ＋１枚となった場合には、この超解像処理は、下記数式（５）で表される評価関数を最小化する処理として表現される。
【００９０】
【数５】
2009071383.tif 000007
【００９１】
解像度画像がｘ１〜ｘｎまでのｎ枚の場合と同様に、数式（５）で表される評価関数を最小化する処理は、評価関数Ｉ１→ｎ＋１のｈ１→ｎ＋１に対する勾配を求めてその勾配を０とする処理に相当し、この処理を数式で表すと下記数式（６）のようになる。したがって、撮像画像データがｘ１〜ｘｎ＋１までのｎ＋１枚の場合には、下記数式（６）をゼロに近付けることによって高解像度画像ｈ１→ｎ＋１を求める処理が超解像処理に相当することになる。
【００９２】
【数６】
2009071383.tif 000008
【００９３】
この数式（６）を変形すると下記数式（７）が得られる。そして、上記数式（４）と上記数式（７）との差をとると下記数式（８）の１行目に示す数式が得られ、この数式を（ｈ１→ｎ＋１−ｈ１→ｎ）で整理すると下記数式（８）の２行目に示す数式が得られる。さらに、数式（８）の２行目に示す数式において、（ｈ１→ｎ＋１−ｈ１→ｎ＝ｇｎ＋１）と置くことで、数式（８）＝ｆ（ｇｎ＋１）と表している（数式（８）の３行目）。
【００９４】
【数７】
2009071383.tif 000009
【００９５】
【数８】
2009071383.tif 000010
【００９６】
数式（８）、すなわちｆ（ｇｎ＋１）をゼロに近付けるｇｎ＋１は、下記数式（９）によって漸近的に求めることができる。上記のように、ｇｎ＋１は高解像度画像データｈ１→ｎ＋１とｈ１→ｎとの差分であるから、求めたｇｎ＋１に高解像度画像データｈ１→ｎを加算することにより、高解像度画像データｈ１→ｎ＋１を求めることができる。なお、数式（９）において、ｇｎ，ｋは、繰り返し演算における画像更新データｇｎのｋ回目の値を表すベクトルである。数式（９）におけるαは、最急降下法における収束速度をコントロールするものである。数式（９）におけるαは、数式（１）及び（４）〜（８）におけるαと同じ値としてもよいし、異なる値としてもよい。
【００９７】
【数９】
2009071383.tif 000011
【００９８】
超解像処理部１２は、以上のような原理に基づき、ｘ１〜ｘｎまでのｎ枚の撮像画像データから生成された高解像度画像データｈ１→ｎから、ｘ１〜ｘｎ＋１までｎ＋１枚の撮像画像データに対応する高解像度画像データｈ１→ｎ＋１を求める。超解像処理部１２のより詳細な構成、及び超解像処理部１２が実行する超解像処理の具体的な処理内容について、図１、図７、及び図８に基づいて説明する。
【００９９】
〔超解像処理部の詳細〕
図１は、超解像処理部１２の要部構成を示すブロック図である。図示のように、超解像処理部１２は、画像位置合わせ部１２ａと、比較画像生成部（比較画像生成手段）１２ｂと、画像更新部（画像更新データ生成手段、画像更新手段）１２ｃとを備えている。
【０１００】
画像位置合わせ部１２ａは、撮像画像データと高解像度画像データとの位置合わせを行う。そして、画像位置合わせ部１２ａは、位置合わせ後の高解像度画像データを擬似的に低解像度化する。
【０１０１】
具体的には、画像位置合わせ部１２ａは、まず高解像度画像データに対する撮像画像データの相対位置を算出する。ここで、検査システム１では、上述のように、撮像画像データの撮像位置は撮像制御部１１によって取得され、撮像画像データはその撮像位置と対応付けた撮像画像データ１３ａとして撮像画像保存部１３に格納されることを想定している。したがって、画像位置合わせ部１２ａは、この撮像画像保存部１３に格納されている撮像画像データ１３ａに基づいて高解像度画像データに対する撮像画像データの相対位置を算出することができる。なお、撮像画像データの撮像位置が既知でない場合には、パターンマッチングや輝度差分に基づくレジストレーション手法によって、高解像度画像データに対する撮像画像データの相対位置を検出してもよい。
【０１０２】
そして、画像位置合わせ部１２ａは、上記算出した高解像度画像データに対する撮像画像データの相対位置に基づいて、高解像度画像データをそれぞれの撮像画像データの撮像位置に位置合わせした後、撮像装置４のカメラモデルから得られる点広がり関数（ＰＳＦ関数）のカーネルを畳み込んで低解像度化する処理を示す行列Ｂ１→ｎを算出する。画像位置合わせ部１２ａは、このようにして算出した行列Ｂ１→ｎを比較画像生成部１２ｂに出力する。
【０１０３】
比較画像生成部１２ｂは、行列Ｂ１→ｎを受け取ると、高解像度画像データｈ１→ｎと撮像画像データｘｎ＋１とのそれぞれに重みを乗じて差分を計算し、比較画像データｋｎ＋１を生成する。比較画像データは、下記の数式（１０）で表されるデータである。
【０１０４】
【数１０】
2009071383.tif 000012
【０１０５】
なお、高解像度画像データｈ１→ｎに乗じる重み、及び撮像画像データｘｎ＋１に乗じる重みは、上記受け取った行列Ｂ１→ｎから算出することができる。また、ｘｎ＋１及びｈ１→ｎは、それぞれ撮像画像保存部１３及び高解像度画像保存部１４から読み出すことができる。したがって、比較画像生成部１２ｂは、比較画像データｋｎ＋１の値を数値で算出することができる。比較画像生成部１２ｂは、このようにして算出した値を画像更新部１２ｃに出力する。
【０１０６】
ここで、数式（８）と数式（１０）とを比較すればわかるように、数式（１０）は、数式（８）の２行目において、（ｈ１→ｎ＋１−ｈ１→ｎ）が係っていない定数項である。すなわち、数式（８）は、（ｈ１→ｎ＋１−ｈ１→ｎ）をｇｎ＋１とおくことにより、ｆ（ｇｎ＋１）＝β×ｇｎ＋１＋ｋｎ＋１と表すことができる。すなわち、比較画像生成部１２ｂは、ｆ（ｇｎ＋１）の定数項を求める処理を行う。
【０１０７】
なお、βは、数式（８）の２行目における（ｈ１→ｎ＋１−ｈ１→ｎ）の係数である。ここで、数式（８）に示すように、βはＢ１→ｎ、Ａｉ、Ｃ、およびαで表される。上述のように、Ｂ１→ｎは高解像度画像データをそれぞれの撮像画像データの撮像位置に位置合わせした後、低解像度化する処理を行列として表現したものであり、Ａｉ（ｉ＝１〜ｎ）は高解像度画像データｈ１→ｎを撮像画像データｘｉに対して位置合わせ及び低解像度化する処理を表す行列であり、Ｃは高解像度画像データの特性を示す事前確率情報を表す行列を表し、αは拘束の強さを表す拘束パラメータを表している。これらのパラメータは、超解像処理を行うときの条件によって決定される定数であるから、βの値も超解像処理を行うときの条件に応じた値に予め定められることになる。
【０１０８】
画像更新部１２ｃは、画像位置合わせ部１２ａから受け取ったＢ１→ｎと、比較画像生成部１２ｂから受け取った比較画像データｋｎ＋１とを用い、数式（８）の絶対値が予め定められた値よりも小さくなるまで数式（９）で示す繰返し演算を行い、画像更新データｇｎ＋１を算出する。そして、画像更新部１２ｃは、数式（８）、すなわちｆ（ｇｎ＋１）の絶対値が予め定められた値よりも小さくなったときの画像更新データｇｎ＋１を高解像度画像データｈ１→ｎに加算して、新規の高解像度画像データであるｈ１→ｎ＋１を生成する。
【０１０９】
すなわち、超解像処理部１２では、画像更新データｇｎ＋１と予め定められた定数βとの積に比較画像データｋｎ＋１を加算してなる数式ｆ（ｇｎ＋１）の絶対値が予め定められた値よりも小さくなるまで繰返し演算することによって画像更新データｇｎ＋１を求め、該求めた画像更新データｇｎ＋１を高解像度画像データｈ１→ｎに加算して、新規の高解像度画像データであるｈ１→ｎ＋１を生成する。
【０１１０】
なお、上記予め定められた値は、要求される高解像度化の精度に応じて適宜変更することができる。例えば、より高い精度の高解像度化が要求される場合には、上記予め定められた値を小さく設定すればよく、高解像度化精度は余り要求されないが、迅速な処理速度が要求される場合には、上記予め定められた値を大きく設定すればよい。すなわち、上記予め定められた値は、超解像処理の精度を決定するための値であり、超解像処理に要求される様々な条件に合わせて適宜設定することができる値である。
【０１１１】
続いて、超解像処理部１２における超解像処理の流れについて、図７に基づいて説明する。図７は、超解像処理の一例を示すフローチャートである。なお、図７のフローチャートは、ｘ１〜ｘｎまでのｎ枚の撮像画像データに基づいて生成された高解像度画像データｈ１→ｎが高解像度画像保存部１４に格納された状態からの処理の流れを示している。
【０１１２】
ここで、ｎ＋１番目の撮像画像データであるｘｎ＋１が撮像画像保存部１３に格納されると、画像位置合わせ部１２ａは、撮像画像保存部１３から撮像画像データｘｎ＋１を取得する（Ｓ１１）と共に、高解像度画像保存部１４から高解像度画像データｈ１→ｎを取得する（Ｓ１２）。なお、Ｓ１１とＳ１２とは順序が入れ替わってもよいし、同時に行ってもよい。
【０１１３】
続いて、画像位置合わせ部１２ａは、上記取得した高解像度画像データｈ１→ｎの位置を撮像画像データｘｎ＋１に合わせ、かつ高解像度画像データｈ１→ｎを擬似的に低解像度化させる行列Ｂ１→ｎを生成し（Ｓ１３）、生成した行列Ｂ１→ｎを比較画像生成部１２ｂに送る。
【０１１４】
次に、比較画像生成部１２ｂは、行列Ｂ１→ｎを受け取ると、撮像画像保存部１３から撮像画像データｘｎ＋１を取得すると共に、高解像度画像保存部１４から高解像度画像データｈ１→ｎを取得する。そして、比較画像生成部１２ｂは、行列Ｂ１→ｎから算出した重みを、それぞれ撮像画像データｘｎ＋１及び高解像度画像データｈ１→ｎに乗じて数式（１０）で示される比較画像データｋｎ＋１を生成する（Ｓ１３）。そして、比較画像生成部１２ｂは、上記生成した比較画像データｋｎ＋１の値を画像更新部１２ｃに送る。
【０１１５】
比較画像データｋｎ＋１の値を受け取った画像更新部１２ｃは、Ｂ１→ｎ及び比較画像データｋｎ＋１の値を数式（８）に代入して画像更新データｇｎ＋１の値を算出する（Ｓ１５）。続いて、画像更新部１２ｃは、ｆ（ｇｎ＋１）の絶対値が予め定められた値よりも小さいか否かを判定する（Ｓ１６）。ｆ（ｇｎ＋１）の絶対値が予め定められた値以上である場合（Ｓ１６でＮｏ）には、画像更新部１２ｃは、数式（９）を用いて演算を行い、画像更新データｇｎ＋１を更新し（Ｓ１７）、再度Ｓ１６でｆ（ｇｎ＋１）の絶対値が予め定められた値よりも小さいか否かを判定する。
【０１１６】
一方、ｆ（ｇｎ＋１）の絶対値が予め定められた値より小さいと判定した場合（Ｓ１６でＹｅｓ）には、画像更新部１２ｃは、画像更新データｇｎ＋１を高解像度画像保存部１４に格納されている高解像度画像データｈ１→ｎに加算して新規の高解像度画像データｈ１→ｎ＋１を生成し（Ｓ１８）、該生成した高解像度画像データｈ１→ｎ＋１を高解像度画像保存部１４に格納する。
【０１１７】
なお、上記の例では、数式（９）を用いて、最急降下法により繰り返し演算を行う例を示したが、繰り返し演算には、最急降下法に限られず公知の演算手法を適宜使用することができる。
【０１１８】
〔本実施形態の超解像処理の利点〕
以上のように、超解像処理部１２では、１番目からｎ番目までの撮像画像データから生成した高解像度画像データｈ１→ｎと、新規に追加された撮像画像データｘｎ＋１とに基づいて、１番目からｎ＋１番目までの撮像画像データに対応する新規の高解像度画像データｈ１→ｎ＋１を生成する超解像処理を行う。これを図面で表すと図８のようになる。
【０１１９】
図８は、撮像画像データと高解像度画像データとの関係を示す図である。図示のように、１番目からｎ番目までの撮像画像データに対応する高解像度画像データは高解像度画像データｈ１→ｎであり、１番目からｎ＋１番目までの撮像画像データに対応する撮像画像データから高解像度画像データｈ１→ｎ＋１である。
【０１２０】
ここで、従来の超解像処理では、撮像画像データが１番目からｎ＋１番目までのｎ＋１枚である場合には、例えば数式（１）で示すような高解像度化評価関数を用い、１番目からｎ＋１番目までの撮像画像データの全てもしくは一部を使用して高解像度画像データｈ１→ｎ＋１を求めていた。
【０１２１】
そのため、繰返し演算の毎に誤差項の演算として超解像処理に用いる全撮像画像データの総画素数分の演算が必要であり、計算コストが高いという問題があった。また、従来の超解像処理では、１番目からｎ＋１番目までの撮像画像データが全て揃った状態で高解像度画像データｈ１→ｎ＋１を求めるという手順を踏んでいたので、ｎ＋１番目の撮像画像データが取得されるまでは超解像処理は行われていなかった。
【０１２２】
そこで、本実施形態では、１番目からｎ番目までの撮像画像データから高解像度画像データｈ１→ｎを求める高解像度評価関数である数式（１）から数式（４）を求めている。同様に、１番目からｎ＋１番目までの撮像画像データから高解像度画像データｈ１→ｎ＋１を求める高解像度評価関数である数式（５）から数式（６）を求めている。
【０１２３】
ここで、上記のように、数式（４）は１番目からｎ番目までの撮像画像データから高解像度画像データｈ１→ｎを求める数式であり、数式（６）は１番目からｎ＋１番目までの撮像画像データから高解像度画像データｈ１→ｎ＋１を求める数式である。したがって、数式（４）と数式（６）との差から導かれる数式は、高解像度画像データｈ１→ｎ＋１とｈ１→ｎとの差分である画像更新データｇｎ＋１と、高解像度画像データｈ１→ｎとｘ１＋ｎとの差分である比較画像データｋｎ＋１とで表される数式（８）となる。
【０１２４】
本実施形態の超解像処理では、この数式（８）を用いているので、１枚の高解像度画像データｈ１→ｎと１枚の撮像画像データｘｎ＋１とを用いて１番目からｎ＋１番目までの撮像画像データに対応する高解像度画像ｈ１→ｎ＋１データを求めることができる。
【０１２５】
具体的には、本実施形態の超解像処理では、高解像度画像データｈ１→ｎとｘ１＋ｎとの位置合わせ後の差分である比較画像データｋｎ＋１を求めている。そして、求めた比較画像データｋｎ＋１を上記数式（８）に代入することにより、数式（８）は、画像更新データｇｎ＋１を変数とし、比較画像データｋｎ＋１を定数項とする関数ｆ（ｇｎ＋１）として表現される。
【０１２６】
この関数ｆ（ｇｎ＋１）を用いることにより、繰返し演算の度に必要な誤差項の演算は、１枚の高解像度画像データｈ１→ｎの総画素数分の演算となっている。そのため、超解像処理に用いる全撮像画像データの総画素数が高解像度画像データｈ１→ｎの総画素数より多い場合には、超解像処理の計算コストを軽減することができる。
【０１２７】
また、本実施の形態の超解像処理において、繰返し演算により求めるのは、高解像度画像データｈ１→ｎを更新するための画像更新データｇｎ＋１である。したがって、新規に追加された撮像画像データｘｎ＋１によって高解像度画像データｈ１→ｎがほとんど更新されない場合、つまりｎ枚の撮像画像データから生成される高解像度画像データｈ１→ｎとｎ＋１枚の撮像画像データから生成される高解像度画像データｈ１→ｎ＋１とがほぼ等しい場合には、繰返し演算の回数は大きく減少する。
【０１２８】
例えば、本実施形態の検査対象である液晶パネルＰのように、動きがない対象物を撮像して得られた撮像画像データの高解像度化を行う場合には、高解像度画像データｈ１→ｎと高解像度画像データｈ１→ｎ＋１との差は小さく、繰り返し演算の回数を少なく抑えることができる。
【０１２９】
また、高解像度画像データｈ１→ｎと高解像度画像データｈ１→ｎ＋１との差は小さいほど繰り返し演算の回数が少ない本実施形態の超解像処理は、検査システム１のように、撮像画像データが時系列で順次追加される場合に特に好適であるといえる。
【０１３０】
この理由としては、撮像画像データの枚数がある程度増加すると、高解像度画像データの変化の幅は小さくなってゆくことが挙げられる。すなわち、本実施形態の超解像処理では、撮像画像データが時系列で順次追加される度に超解像処理を実行するので、超解像処理の開始時には超解像処理に使用する撮像画像データの枚数が少ないため繰り返し演算の回数が多いが、超解像処理の終了に近づくにつれて繰り返し演算の回数が少なくなる。そして、本実施形態の超解像処理では、撮像画像データの取得と超解像処理とが平行して行われる。その結果、撮像開始から超解像処理の終了までの時間を短く抑えることができる。
【０１３１】
〔欠陥検査処理部における処理〕
次に、欠陥検査処理部１５における処理の詳細について図９に基づいて説明する。図９は、欠陥検査処理部１５の要部構成を示すブロック図である。図示のように、欠陥検査処理部１５は、コントラスト画像生成部１５ａと、二値化画像生成部１５ｂと、欠陥種類判定部１５ｃとを備えている。
【０１３２】
コントラスト画像生成部１５ａは、高解像度画像保存部１４から取得した高解像度画像データからコントラスト画像データを生成する。なお、コントラスト画像データとは、処理画像データ（ここでは高解像度画像データ）と参照画像データとの比較を行うための画像データであり、処理画像データと参照画像データとの各画素における輝度値の差分を示すデータである。なお、本実施形態の検査対象である液晶パネルＰは、同一形状の画素の繰返しパターンを有するので、処理画像データ内におけるある画素に対して、該画素の輝度値と該画素に隣接する同色の画素の輝度値との平均値を参照画像データの輝度値とみなすことができる。したがって、コントラスト画像データにおける各画素の輝度値は、例えば隣接する同色画素同士の輝度値の差分を計算する方法にて算出することができる。
【０１３３】
二値化画像生成部１５ｂは、コントラスト画像生成部１５ａが生成したコントラスト画像データを予め定められた閾値を用いて二値化して、二値化画像データを生成する。なお、上記予め定められた閾値は、撮像画像データ全体における輝度の偏差等から算出すればよい。
【０１３４】
欠陥種類判定部１５ｃは、二値化画像データにおける欠陥部の大きさ、フェレ径比等に基づいて欠陥の種類を判定する。そして、欠陥種類判定部１５ｃは、処理の対象となった高解像度画像データと、欠陥の種類と、フェレ径比等の欠陥の特徴量とを組み合わせた欠陥検査画像データ１６ａを欠陥検査画像保存部１６に格納する。
【０１３５】
以上の構成を備える欠陥検査処理部１５が実行する処理の一例について、以下説明する。まず、高解像度画像保存部１４に新しく高解像度画像データが追加されると、コントラスト画像生成部１５ａは、高解像度画像保存部１４から上記追加された高解像度画像データを取得する。そして、コントラスト画像生成部１５ａは、上記取得した高解像度画像データからコントラスト画像データを生成し、生成したコントラスト画像データを二値化画像生成部１５ｂに送る。
【０１３６】
次に、コントラスト画像データを受け取った二値化画像生成部１５ｂは、受け取ったコントラスト画像データを二値化して二値化画像データを生成し、生成した二値化画像データを欠陥種類判定部１５ｃに送る。
【０１３７】
そして、二値化画像データを受け取った欠陥種類判定部１５ｃは、受け取った二値化データに基づいて欠陥の種類を判定する。欠陥の種類の判定ができなかった場合には、欠陥種類判定部１５ｃは、撮像制御部１１に指示して液晶パネルＰの画像をさらに撮像させる。一方、欠陥の種類が判定できた場合には、判定した欠陥の種類、特徴量、位置等のデータと処理の対象となった高解像度画像データとを組み合わせた欠陥検査画像データ１６ａを欠陥検査画像保存部１６に格納する。
【０１３８】
以上のように、本実施形態の検査システム１では、液晶パネルＰを撮像した撮像画像データが超解像処理部１２によって高解像度化され、撮像画像データが高解像度化された高解像度画像データに基づいて液晶パネルＰの欠陥検査が行われる。したがって、液晶パネルＰの欠陥検査に十分な解像度の画像データに基づいて正確に欠陥検査を行うことができる。
【０１３９】
また、検査システム１では、撮像画像データが追加される度に超解像処理が実行されるので、液晶パネルＰの撮像が全て終了した後で超解像処理を行う従来法と比べて、撮像開始から超解像処理の終了までの時間を短縮することができる。
【０１４０】
さらに、検査システム１では、生成した高解像度画像データを用いても欠陥の種類が判別できない場合に、自動的に液晶パネルＰの撮像が行われ、撮像画像データが追加される。これにより、高解像度画像データの解像度を欠陥の判別に必要な程度まで高めて正確に欠陥検査を行うことが可能になる。
【０１４１】
〔実施の形態２〕
上記実施形態では、１番目からｎ番目までの撮像画像データに対応する高解像度画像データｈ１→ｎと、新規に追加されたｎ＋１番目の撮像画像データｘｎ＋１とに基づいて、１番目からｎ＋１番目までの撮像画像データに対応する高解像度画像データｈ１→ｎ＋１を求める態様を示した。
【０１４２】
本実施形態では、１番目からｎ番目までの撮像画像データに対応する高解像度画像データｈ１→ｎを生成した後、１番目からｎ番目までの撮像画像データの中から任意の１枚を除いたｎ−１枚の撮像画像データから高解像度画像データｈ１→ｎ−１を生成する。換言すると、本実施形態では、高解像度画像データｈ１→ｎから、任意の１枚の撮像画像データに関する情報を排除した高解像度画像データｈ１→ｎ−１を生成する。
【０１４３】
これにより、超解像処理に不適切なデータ（例えば、ピントがずれたデータ）や、撮像画像データが反映されていない１枚目の高解像度画像データｈ１等を、超解像処理に用いる撮像画像データから除去することができ、より正確な高解像度画像を取得することが可能になる。
【０１４４】
本実施形態について図１０に基づいてより詳しく説明する。なお、上記実施形態と同一の構成については同一の参照番号を付し、その説明を省略する。図１０は、撮像画像データと高解像度画像データとの関係を示す図である。図示のように、１番目からｎ番目までの撮像画像データに対応する高解像度画像データは高解像度画像データｈ１→ｎであり、１番目からｎ−１番目までの撮像画像データに対応する撮像画像データから高解像度画像データｈ１→ｎ−１である。
【０１４５】
本実施形態の検査システム１では、制御装置６の超解像処理部１２は、１枚の高解像度画像データｈ１→ｎと１枚の撮像画像データｘｎ（除去対象の撮像画像データ）とを用いて比較画像データｋｎを求める。そして、超解像処理部１２は、上記求めた比較画像データｋｎと画像更新データｇｎとに基づいて高解像度画像データｈ１→ｎ−１を求める。
【０１４６】
すなわち、本実施形態の超解像処理部１２では、入力されるデータが高解像度画像データｈ１→ｎと撮像画像データｘｎとなり、そのため比較画像データがｋｎとなり、画像更新データがｇｎとなっている点を除けば上記実施形態と同様の処理を行う。したがって、ここでは、まず上記実施形態と本実施形態との相違点である数式、すなわち比較画像データｋｎと画像更新データｇｎとを求めるプロセスについて説明する。
【０１４７】
〔比較画像データｋｎ及び画像更新データｇｎを求めるプロセス〕
まず、高解像度画像データｈ１→ｎを算出する処理は、上記〔超解像処理部１２が実行する超解像処理の原理〕で説明したように、上記数式（４）をゼロに近付ける処理に相当する。同様に、高解像度画像データｈ１→ｎ−１を算出する処理は、下記の数式（１１）をゼロに近付ける処理として表される。
【０１４８】
【数１１】
2009071383.tif 000013
【０１４９】
数式（４）と数式（１１）との差分を計算すると下記数式（１２）が得られる。このｆ（ｇｎ）で表される数式（１２）をゼロに近付ける処理が本実施形態における超解像処理である。
【０１５０】
【数１２】
2009071383.tif 000014
【０１５１】
上記実施形態と同様に、上記数式（１２）において（ｈ１→ｎ−ｈ１→ｎ−１）が係っていない項が比較画像データｋｎとなるので、ｋｎは下記の数式（１３）のように求まる。
【０１５２】
【数１３】
2009071383.tif 000015
【０１５３】
〔超解像処理の流れ〕
続いて、本実施形態の超解像処理の流れについて説明する。本実施形態の超解像処理では、まず、画像位置合わせ部１２ａが、高解像度画像データｈ１→ｎを除去対象の撮像画像データｘｎと位置合わせし、低解像度化するための行列Ｂ１→ｎを求めて画像更新部１２ｃに送る。なお、除去対象の撮像画像データｘｎは、検査システム１のユーザが制御装置６に設けられた入力部に予め定められた入力操作を行うことによって指定され、ｎ番目の撮像画像データに限られない。
【０１５４】
続いて、行列Ｂ１→ｎを受け取った比較画像生成部１２ｂは、数式（１３）で示される比較画像データｋｎに、撮像画像保存部１３及び高解像度画像保存部１４からそれぞれ取得したｘｎ、ｈ１→ｎ、及び行列Ｂ１→ｎから算出した重みを代入して数式（１３）の値を算出する。そして、比較画像生成部１２ｂは、上記算出した数式（１３）の値、すなわち比較画像データｋｎの値を画像更新部１２ｃに送る。
【０１５５】
比較画像データｋｎを受け取った画像更新部１２ｃは、ｋｎを数式（１２）、すなわちｆ（ｇｎ）に代入し、その絶対値が予め定められた値よりも小さくなるまで繰返し演算を行う。そして、画像更新部１２ｃは、ｆ（ｇｎ）の絶対値が予め定められた値よりも小さくなったときの画像更新データｇｎを高解像度画像データｈ１→ｎから減算して、新規の高解像度画像データであるｈ１→ｎ−１を生成する。
【０１５６】
以上の処理により、本実施形態の超解像処理部１２では、高解像度画像データｈ１→ｎから撮像画像データｘｎの情報を排除した新規の高解像度画像データであるｈ１→ｎ−１を生成することができる。
【０１５７】
〔実施の形態３〕
本実施形態では、ｎ＋１番目の撮像画像データが格納された場合に、２番目からｎ番目までのｎ枚の撮像画像データに基づいて超解像処理を行う。換言すると、本実施形態では、新規に高解像度画像データを生成するときに、最も新しい撮像画像データｘｎ＋１を加えると共に、最も古い撮像画像データｘ１を忘却する。
【０１５８】
これにより、超解像処理に用いる撮像画像データの中で、最も古い撮像画像データが忘却、すなわち排除されるので、最も新しい撮像画像データをより強く反映させた高解像度画像データを得ることが可能になる。
【０１５９】
本実施形態について図１１に基づいてより詳しく説明する。なお、上記実施形態と同一の構成については同一の参照番号を付し、その説明を省略する。図１１は、撮像画像データと高解像度画像データとの関係を示す図である。図示のように、１番目からｎ番目までの撮像画像データに対応する高解像度画像データは高解像度画像データｈ１→ｎであり、２番目からｎ＋１番目までの撮像画像データに対応する撮像画像データから高解像度画像データｈ２→ｎ＋１である。
【０１６０】
本実施形態の検査システム１では、制御装置６の超解像処理部１２は、１枚の高解像度画像データｈ１→ｎと、１枚の撮像画像データｘｎ＋１と、１番目の撮像画像データｘ１（除去対象の撮像画像データ）とを用いて比較画像データｋｎ’を求める。そして、超解像処理部１２は、上記求めた比較画像データｋｎ’と画像更新データｇｎ＋１’とに基づいて高解像度画像データｈ２→ｎ＋１を求める。
【０１６１】
すなわち、本実施形態では比較画像データｋｎ’及び画像更新データｇｎ＋１’が上記実施形態とは異なっている。そこで、これらの数式を求めるプロセスについて以下説明する。
【０１６２】
〔比較画像データｋｎ’及び画像更新データｇｎ＋１’を求めるプロセス〕
まず、高解像度画像データｈ１→ｎを算出する処理は、上記〔超解像処理部が実行する超解像処理の原理〕で説明したように、上記数式（４）をゼロに近付ける処理に相当する。同様に、高解像度画像データｈ２→ｎ＋１を算出する処理は、下記の数式（１４）をゼロに近付ける処理として表される。
【０１６３】
【数１４】
2009071383.tif 000016
【０１６４】
数式（４）と数式（１４）との差分を計算すると下記数式（１５）が得られる。このｆ（ｇｎ＋１’）で表される数式（１５）をゼロに近付ける処理が本実施形態における超解像処理である。
【０１６５】
【数１５】
2009071383.tif 000017
【０１６６】
そして、上記実施形態と同様に、上記数式（１５）において（ｈ２→ｎ＋１−ｈ１→ｎ）が係っていない項が比較画像データｋｎとなるので、比較画像データｋｎ’が下記の数式（１６）のように求まる。数式（１６）を展開すればわかるように、比較画像データｋｎ’は、撮像画像データｘｎ＋１と高解像度画像データｈ１→ｎとの位置合わせ後の差分と、撮像画像データｘ１と高解像度画像データｈ１→ｎとの位置合わせ後の差分と、の差で表されている。
【０１６７】
【数１６】
2009071383.tif 000018
【０１６８】
〔超解像処理の流れ〕
続いて、本実施形態の超解像処理の流れについて説明する。本実施形態の超解像処理では、撮像画像データｘｎ＋１が撮像画像保存部１３に格納されると、画像位置合わせ部１２ａは、高解像度画像データｈ１→ｎを新規に追加された撮像画像データｘｎ＋１と位置合わせし、低解像度化するための行列Ｂ１→ｎを求めて比較画像生成部１２ｂに送る。
【０１６９】
続いて、行列Ｂ１→ｎを受け取った比較画像生成部１２ｂは、数式（１６）で示される比較画像データｋｎ’に、高解像度画像データｈ１→ｎと、最も古い（最初に格納された）撮像画像データｘ１と、行列Ｂ１→ｎから求めた重みとを代入して比較画像データｋｎ’の値を算出する。そして、比較画像生成部１２ｂは、上記生成した比較画像データｋｎ’の値を画像更新部１２ｃに送る。
【０１７０】
比較画像データｋｎ’の値を受け取った画像更新部１２ｃは、数式（１５）、すなわちｆ（ｇｎ＋１’）の絶対値が予め定められた値よりも小さくなるまで繰返し演算を行い、画像更新データｇｎ＋１’を算出する。具体的には、画像更新部１２ｃは、ｆ（ｇｎ＋１’）の絶対値が予め定められた値よりも大きい場合には、最急降下法によってｇｎ＋１’の値を更新し、ｆ（ｇｎ＋１’）の絶対値が予め定められた値よりも小さくなったときの画像更新データｇｎ＋１’を高解像度画像データｈ１→ｎに加算して、新規の高解像度画像データであるｈ２→ｎ＋１を生成する。
【０１７１】
以上の処理により、本実施形態の超解像処理部１２では、新規の撮像画像データの追加と、従来保持していた撮像画像データの排除とを同時に行い、常に最新のｎ枚の撮像画像データに基づいて高解像度画像データを生成することができる。
【０１７２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１７３】
また、上記実施形態では、超解像処理を行う超解像処理部１２と、各種データを読み出し可能に記憶する撮像画像保存部１３、高解像度画像保存部１４、及び欠陥検査画像保存部１６と、欠陥検査を行う欠陥検査処理部１５とが、制御装置６に含まれている構成を示したが、これらの各構成の一部または全部は、それぞれ別体として構成することもできる。
【０１７４】
最後に、制御装置６の各ブロック、特に撮像制御部１１、超解像処理部１２、及び欠陥検査処理部１５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１７５】
すなわち、制御装置６は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである制御装置６の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記制御装置６に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１７６】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１７７】
また、制御装置６を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１７８】
本発明によれば、超解像処理に要する演算量を削減することができるので、製品の欠陥を検査する装置に限られず、画像データの高解像度化を行う様々な装置に適用できる。また、高解像度化の対象は、静止画像に限られず動画像についても同様に高解像度化することが可能である。
【図面の簡単な説明】
【０１７９】
【図１】本発明の実施形態を示すものであり、超解像処理部の要部構成を示すブロック図である。
【図２】本発明の実施形態を示すものであり、検査システムの概要を示す図である。
【図３】上記検査システムが備える制御装置の要部構成を示すブロック図である。
【図４】上記検査システムにおける処理の一例を示すフローチャートである。
【図５】上記検査システムの検査対象である液晶パネルが有する表示画素の配置の一例を示す図である。
【図６】上記液晶パネルの画素と上記検査システムの撮像装置が有する固体撮像素子との対応関係を示す図であり、同図（ａ）は欠陥検出に十分な撮像素子が割り当てられている状態を示し、同図（ｂ）は液晶パネルの表示画素数が１９２０×１０８０程度で、撮像装置が１１００万画素のＣＣＤセンサである場合の画素と固体撮像素子との対応関係を示し、同図（ｃ）は液晶パネルの表示画素数が１９２０×１０８０程度で、撮像装置が１６００万画素のＣＣＤセンサである場合の画素と固体撮像素子との対応関係を示している。
【図７】上記超解像処理部が実行する超解像処理の一例を示すフローチャートである。
【図８】上記検査システムで使用する撮像画像データと高解像度画像データとの関係を示す図である。
【図９】上記制御装置が備える欠陥検査処理部の要部構成を示すブロック図である。
【図１０】上記とは別の本発明の実施形態における撮像画像データと高解像度画像データとの関係を示す図である。
【図１１】本発明のさらに別の実施形態における撮像画像データと高解像度画像データとの関係を示す図である。
【符号の説明】
【０１８０】
１    検査システム
４    撮像装置
６    制御装置
１１    撮像制御部
１２    超解像処理部（画像処理装置）
１２ａ  画像位置合わせ部
１２ｂ  比較画像生成部（比較画像生成手段）
１２ｃ  画像更新部（画像更新データ生成手段、画像更新手段）
１３    撮像画像保存部
１４    高解像度画像保存部
１５    欠陥検査処理部（欠陥検査装置）
【図１】
2009071383.tif 000019
【図２】
2009071383.tif 000020
【図３】
2009071383.tif 000021
【図４】
2009071383.tif 000022
【図５】
2009071383.tif 000023
【図６】
2009071383.tif 000024
【図７】
2009071383.tif 000025
【図８】
2009071383.tif 000026
【図９】
2009071383.tif 000027
【図１０】
2009071383.tif 000028
【図１１】
2009071383.tif 000029