(57)【要約】【課題】撮像画像データに含まれるノイズ成分の影響を低減して超解像処理を行う。【解決手段】本発明の超解像処理部１２は、複数の撮像画像データに基づいて生成された、当該撮像画像データよりも解像度の高い高解像度画像データと、上記複数の撮像画像データのそれぞれからノイズ成分を除去したノイズ除去画像データとの誤差を示す評価関数の値が小さくなるように上記高解像度画像データを更新する更新処理を、上記誤差が予め定めた閾値以下となるまで繰り返す画像更新部１２ｃを備え、画像更新部１２ｃは、上記各撮像画像データのそれぞれから、当該撮像画像データに含まれるノイズ成分を示すノイズ画像データを引くことによって上記ノイズ除去画像データを生成すると共に、上記誤差が小さくなるように上記各ノイズ画像データを更新するので、超解像処理におけるノイズ成分の影響を低減することができる。【選択図】図１
2009181508.tif 000002
【特許請求の範囲】
【請求項１】
複数の原画像データに基づいて生成された、当該原画像データよりも解像度の高い高解像度画像データと、上記複数の原画像データのそれぞれからノイズ成分を除去したノイズ除去画像データとの誤差が小さくなるように上記高解像度画像データを更新する更新処理を、上記誤差が予め定めた閾値より小さくなるまで繰り返し行う画像処理装置であって、
上記更新処理を行うときに、上記各原画像データのそれぞれから、当該原画像データに含まれるノイズ成分を示すノイズ画像データを引くことによって上記ノイズ除去画像データを生成するノイズ除去手段と、
上記更新処理において上記誤差が上記閾値以上である場合に、上記誤差が小さくなるように上記ノイズ画像データを更新するノイズ画像更新手段とを備えていることを特徴とする画像処理装置。
【請求項２】
上記ノイズ画像データは、上記原画像データよりも解像度が高い画像データであり、
上記ノイズ画像データを上記複数の各原画像データに位置合わせすると共に、上記ノイズ画像データを原画像データと同じ解像度に変換して複数の位置合わせノイズ画像データを生成する位置合わせノイズ画像データ生成手段を備え、
上記ノイズ除去手段は、上記複数の原画像データのそれぞれから、当該原画像データと位置合わせをして生成された上記位置合わせノイズ画像データを引くことによって上記ノイズ除去画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記ノイズ画像データは、上記各原画像データに含まれるノイズの位置を示すために予め設定されているノイズ基底成分データと、各ノイズの位置におけるノイズ強度との積の和で表されることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記ノイズ画像データは、上記原画像データを取得するために用いた撮像装置のカメラモデルから得られる点広がり関数によって量子化誤差として打ち切られる周波数成分の集合であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
請求項１から４の何れか１項に記載の画像処理装置と、
撮像対象を撮像して上記複数の原画像データを取得する撮像装置と、
上記画像処理装置が生成した高解像度画像データに基づいて上記撮像対象の欠陥検査を行う検査装置とを含む検査システム。
【請求項６】
複数の原画像データに基づいて生成された、当該原画像データよりも解像度の高い高解像度画像データと、上記複数の原画像データのそれぞれからノイズ成分を除去したノイズ除去画像データとの誤差が小さくなるように上記高解像度画像データを更新する更新処理を、上記誤差が予め定めた閾値より小さくなるまで繰り返し行う画像処理装置の画像処理方法であって、
上記更新処理を行うときに、上記各原画像データのそれぞれから、当該原画像データに含まれるノイズ成分を示すノイズ画像データを引くことによって上記ノイズ除去画像データを生成するノイズ除去ステップと、
上記更新処理において上記誤差が上記閾値以上である場合に、上記誤差が小さくなるように上記ノイズ画像データを更新するノイズ画像更新ステップとを含むことを特徴とする画像処理方法。
【請求項７】
請求項１から５の何れか１項に記載の画像処理装置を動作させるための画像処理プログラムであって、コンピュータを上記各手段として機能させるための画像処理プログラム。
【請求項８】
請求項７に記載の画像処理プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の低解像度画像から高解像度画像を生成する画像処理装置等に関し、特に再構成型超解像処理に関する。
【背景技術】
【０００２】
高精細な画像（動画像または静止画像）を撮像するための撮像装置や、自動で検査対象物の欠陥検査を行う自動検査装置等においては、撮像対象（または検査対象物）の細部まで鮮明に撮像する必要がある。そして、細部まで鮮明な撮像を行うためには、解像度の高い画像が撮像できる高解像度の撮像装置が求められる。
【０００３】
しかしながら、撮像対象を撮像した画像を高精細な表示装置に出力する場合、及び検査対象物の細部に対してより詳細に検査を実施する場合等には、最新のエリアセンサを用いても十分な解像度を得ることができなくなってきている。
【０００４】
そのため、超解像処理やイメージシフト処理等によって、複数の低解像度画像から１枚の高解像度画像を生成する高解像度化処理を行うことによって必要な解像度の画像を取得する手法や、撮像装置の台数を増やし、撮像装置一台当たりの撮像面積を小さくすることによって必要な解像度の画像を取得する手法が用いられている。
【０００５】
前者の高解像度化手法は、後者の複数台の撮像装置を用いる手法と比較すると、１）撮像時間が多くかかる、２）高解像度化画像生成のための画像処理が必要である等のデメリットもあるが、１）撮像装置、例えばカメラのコストが安くなる、２）メンテナンス性が良い等のメリットがある。
【０００６】
本発明は、上記高解像度化手法に関するものである。高解像度化手法は、位置ずれのある複数の低解像度画像から、１つの高解像度画像を生成する手法であり、大きく分類してイメージシフト処理と超解像処理との２種類に分けられる。
【０００７】
イメージシフト処理は、生成される高解像度画像において、撮像された低解像度画像の画素に対応する画素を、その低解像度画像の画素の輝度値に基づいて高解像度画像にマッピングする手法である。
【０００８】
一方、超解像処理は、複数の低解像度画像より１つの高解像度画像を推定する処理であり、例えば、ＭＬ（Maximum-likelihood）法、ＭＡＰ（Maximum A Posterior）法や、ＰＯＣＳ（Projection On to Convex Set）法など、様々な超解像処理方法が提案されている。
【０００９】
ＭＬ法とは、高解像度画像から推定された低解像度画像の画素値と、実際に観測された画素値との二乗誤差を高解像度化の評価関数とし、この評価関数を最小化するような高解像度画像を推定画像とする方法である。つまり、ＭＬ法とは、最尤推定の原理に基づく超解像処理方法である。
【００１０】
また、ＭＡＰ法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。つまり、ＭＬ法とは、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。
【００１１】
そして、ＰＯＣＳ法とは、高解像度画像と低解像度画像との画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高解像度画像を得る超解像処理方法である。
【００１２】
これらの超解像処理は、まず、高解像度画像を仮定し、そして仮定した高解像度画像から、撮像装置のカメラモデルから得られる点広がり関数（ＰＳＦ関数：point spread function）に基づき、全ての低解像度画像の画素について、その画素値を推定し、その推定値と観測された画素値（観測値）との差が小さくなるような高解像度画像を探索するという処理を有している。そのため、これらの超解像処理は、再構成型超解像処理方法と呼ばれている。
【００１３】
イメージシフト処理では、低解像度画像の全画素を高解像度画像の画素にマッピングする必要があるため、低解像度画像の撮像位置及び撮像枚数は固定である。これに対して、超解像処理では、低解像度画像の撮像位置は既知であればよく、使用する低解像度画像の枚数にも制限はない。なお、超解像処理で行われる画素値の推定処理は繰返し演算であるため、概して超解像処理はイメージシフト処理と比較すると計算コストが高くなる。
【００１４】
ここで、従来の超解像処理の原理について説明する。上述のように、超解像処理は、生成される高解像度画像に対して定義される評価関数の最適化問題として定式化される。つまり、再構成型超解像処理は、「推定された低解像度画像」と「観測された観測画像」との二乗誤差に基づく評価関数（誤差項）の最適化問題に帰着される。
【００１５】
なお、超解像処理は、未知数の非常に大きな最適化計算であるため、その評価関数の最適化には例えば最急降下法などの繰返し計算法がよく利用される。このとき、繰返し毎に、評価関数と当該評価関数の高解像度画像に対する微分とを計算する必要がある。
【００１６】
また、高解像度画像データの特性が既知である場合には、その高解像度画像データの特性に基づく評価関数（拘束項）を評価関数（誤差項）に付加してもよい。例えば、高解像度画像データのエッジ成分が小さいことが予めわかっている場合には、高解像度画像データにラプラシアンフィルタを乗じた画像データに基づく評価関数（拘束項）を付加すればよい。これにより、高解像度画像データのエッジ成分が小さいということを超解像処理に反映させることができるので、高解像度化の精度を向上させることができる。
【００１７】
以下では、従来の超解像処理方法の詳細について説明する。なお、ここでは、ｎ枚の撮像画像データから１枚の高解像度画像データを生成することを想定している。この場合には、超解像処理に用いる評価関数は例えば下記数式（１）で表され、超解像処理はこの評価関数を最小化する処理として表現される。
【００１８】
【数１】
2009181508.tif 000003
【００１９】
上記数式（１）は、ＭＡＰ法と呼ばれる超解像処理手法にて使用される評価関数である。数式（１）は、上記のように誤差項と拘束項とから成る数式であり、誤差項にはＢｎ、ｈ、及びｙｎの文字が含まれ、拘束項にはｗ、Ｌ、及びｈの文字が含まれている。ＭＡＰ法では、この数式（１）が最小化されるように演算を行うことによって、高解像度画像データを生成する。
【００２０】
ｈはｎ枚の撮像画像データから生成される高解像度画像データをベクトルで表現したものであり、ｙｎはｎ枚全ての撮像画像データをベクトルで表現したものである。ｙｎは、下記数式（２）で表され、数式（２）においてｘｉ（ｉ＝１〜ｎ）は、１枚目からｎ枚目までの各撮像画像データをベクトルで表現したものである。
【００２１】
なお、画像データのベクトル表現は、画像データの構成要素を一列に並べた１行のベクトルとして表現したものを指す。例えば、画像データを構成する要素のサイズが横Ｗ×縦Ｈである場合には、当該画像データは、１行×（Ｗ×Ｈ）列のベクトルとして表現される。
【００２２】
Ｂｎは、高解像度画像データをそれぞれの撮像画像データの撮像位置に位置合わせした後、上記撮像画像データを取得するために用いた撮像装置のカメラモデルから得られる点広がり関数（ＰＳＦ関数）のカーネルを畳み込んで低解像度化する処理を行列として表現したものであり、下記数式（３）で表される。
【００２３】
【数２】
2009181508.tif 000004
【００２４】
【数３】
2009181508.tif 000005
【００２５】
数式（３）において、Ｍｉ（ｉ＝１〜ｎ）は、高解像度画像データを撮像画像データの撮像位置に位置合わせをした後、撮像画像データの各撮像素子の位置に相当する画素の輝度値をサンプリングするための行列である。したがって、Ｍｉを乗じることによって、高解像度画像データは、撮像画像データの撮像位置に位置合わせされると共に、解像度（要素数）が撮像画像データと同じになる。そして、数式（１）において、ＣはカメラモデルのＰＳＦを畳み込んで高解像度画像データをぼかす処理を表す行列である。Ｃを乗じることによって、高解像度画像データに光学ボケの影響が加味される。
【００２６】
したがって、高解像度画像データｈにＢｎを畳み込むことによって、高解像度画像データは、撮像画像データに位置合わせされると共に低解像度化され、さらに光学ボケの影響が反映された画像データＢｎｈとなる。ここでは、この画像データＢｎｈを擬似低解像度画像データと呼ぶ。擬似低解像度画像データＢｎｈと撮像画像データｙｎとの差分が、数式（１）における誤差項である。
【００２７】
一方、上記数式（１）における拘束項は、高解像度画像データの事前確率情報を表す行列Ｌと高解像度画像データｈと拘束項の強さを表すパラメータであるｗとで表されている。このような拘束項を高解像度化評価関数に組み込むことにより、高解像度画像データの事前確率情報を反映させて、より高精度な超解像処理を行うことができる。
【００２８】
このような評価関数（数式（１））を用いた従来の超解像処理方法について図９に基づいて説明する。図９は、従来の超解像処理方法を説明するための図である。超解像処理は、ｎ枚の撮像画像データと該ｎ枚の撮像画像データから推定される高解像度画像データとの差分が所定の値より小さくなるまで繰り返し演算を行うことによって行われる。
【００２９】
したがって、超解像処理は、ｎ枚の撮像画像データとの差異が小さい高解像度画像データを生成する処理と表現することができ、ｎ枚の撮像画像データとの差異が小さいほど、ｎ枚の撮像画像データをより正確に反映した精度の高い高解像度画像データであると言える。
【００３０】
図示のように、超解像処理では、まず、高解像度画像データを光学劣化シミュレートして得られた擬似低解像度画像データから、入力された撮像画像データが減算されて、差分画像データが生成される。なお、光学劣化シミュレートとは、高解像度画像データと撮像画像データとの差分を計算するために行う処理であり、高解像度画像データを撮像画像データに位置合わせすると共に、高解像度画像データの解像度を撮像画像データと同等にし、さらに撮像画像データを取得するために用いた撮像装置のカメラモデルから得られる点広がり関数を乗じて複数の擬似低解像度画像データを生成する（擬似的に低解像度化する）処理である。
【００３１】
すなわち、図９における擬似低解像度画像データは数式（１）のＢｎｈに対応しており、撮像画像データはｙｎに対応している。そして、差分画像データは（Ｂｎｈ−ｙｎ）に対応している。このようにして算出した差分画像データを数式（１）に代入することにより、評価関数の値を算出することができる。
【００３２】
ここで、上述のように、超解像処理では、評価関数の値が小さいほど高解像度化が高精度に行われたことを示している。そこで、超解像処理では、評価関数と予め定めた閾値とを比較し、評価関数の値が閾値よりも小さい場合に、十分な精度の高解像度画像データが生成されたと判断して超解像処理を終了する。
【００３３】
一方、評価関数の値が閾値以上である場合には、高解像度画像データの高解像度化精度が十分ではないと判断して高解像度画像データの更新を行う。高解像度画像データは、評価関数の値が小さくなるように更新される。この処理には、例えば最急降下法のような公知の繰り返し演算法を適用することができる。
【００３４】
そして、超解像処理では、このようにして求めた新たな高解像度画像データを光学劣化シミュレートし、撮像画像データとの差分をとって差分画像データを生成する。この繰り返しにより、所望の高解像度化精度を有する高解像度画像データを生成するようになっている。
【００３５】
ところで、下記の特許文献１に記載されているように、超解像処理に用いる撮像画像データには、ノイズ成分が含まれている。ノイズ成分が含まれる原因としては、例えば下記の（ｉ）〜（ｉｉｉ）が挙げられる。
（ｉ）撮像素子の素子ごとの感度ばらつき
（ｉｉ）同一撮像素子における撮像ごと輝度値の変動
（ｉｉｉ）撮像後のデータ転送によってランダムに発生するノイズ
このようなノイズ成分を含む撮像画像データを用いて超解像処理を行った場合に生成される高解像度画像データは、当然のことながらノイズ成分の影響を含むものとなってしまい、その結果Ｓ／Ｎが低下してしまうという問題がある。
【００３６】
ノイズ成分の影響を軽減させる方法としては、下記の特許文献２に記載されているような、撮像画像データの情報を拘束項として組み込む方法が提案されている。また、下記の特許文献３に記載されているように、平滑化処理によって高周波のノイズ成分の影響を除去する方法も提案されている。
【特許文献１】特開２００２−２４７４５４号公報（２００２年８月３０日公開）
【特許文献２】特開２００６−３０９６４９号公報（２００６年１１月９日公開）
【特許文献３】特開２００６−２０３７１７号公報（２００６年８月３日公開）
【発明の開示】
【発明が解決しようとする課題】
【００３７】
しかしながら、上記特許文献２に記載の方法では、拘束項を追加することにより、ノイズの影響は軽減されるものの、シグナル（高解像度画像データの出力）も相対的に低下してしまうので、Ｓ／Ｎを大幅に向上させることは難しい。また、上記特許文献３に記載の方法においても、撮像画像データの撮像対象が高周波成分を含んでいる場合には、この高周波成分がノイズ成分と共に除去されてしまうので、Ｓ／Ｎを大幅に向上させることは難しい。
【００３８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、撮像画像データに含まれるノイズ成分の影響を低減して高精度に超解像処理を行うことができる画像処理装置等を実現することにある。
【課題を解決するための手段】
【００３９】
本発明の画像処理装置は、上記の課題を解決するために、複数の原画像データに基づいて生成された、当該原画像データよりも解像度の高い高解像度画像データと、上記複数の原画像データのそれぞれからノイズ成分を除去したノイズ除去画像データとの誤差が小さくなるように上記高解像度画像データを更新する更新処理を、上記誤差が予め定めた閾値より小さくなるまで繰り返し行う画像処理装置であって、上記更新処理を行うときに、上記各原画像データのそれぞれから、当該原画像データに含まれるノイズ成分を示すノイズ画像データを引くことによって上記ノイズ除去画像データを生成するノイズ除去手段と、上記更新処理において上記誤差が上記閾値以上である場合に、上記誤差が小さくなるように上記ノイズ画像データを更新するノイズ画像更新手段とを備えていることを特徴としている。
【００４０】
また、本発明の画像処理方法は、上記の課題を解決するために、複数の原画像データに基づいて生成された、当該原画像データよりも解像度の高い高解像度画像データと、上記複数の原画像データのそれぞれからノイズ成分を除去したノイズ除去画像データとの誤差が小さくなるように上記高解像度画像データを更新する更新処理を、上記誤差が予め定めた閾値より小さくなるまで繰り返し行う画像処理装置の画像処理方法であって、上記更新処理を行うときに、上記各原画像データのそれぞれから、当該原画像データに含まれるノイズ成分を示すノイズ画像データを引くことによって上記ノイズ除去画像データを生成するノイズ除去ステップと、上記更新処理において上記誤差が上記閾値以上である場合に、上記誤差が小さくなるように上記ノイズ画像データを更新するノイズ画像更新ステップとを含むことを特徴としている。
【００４１】
上述のように、複数の原画像データに基づいて生成された高解像度画像データと、上記複数の原画像データとの誤差が小さくなるように上記高解像度画像データを更新する更新処理を、上記誤差が予め定めた閾値より小さくなるまで繰り返し行うことによって、所望の高解像度化精度の高解像度画像データを生成することは、従来から行われている。
【００４２】
具体的には、高解像度画像データは、以下のようにして更新される。すなわち、高解像度画像データと原画像データとの差分画像データを生成し、生成した差分画像データを予め定めた評価関数に代入して、上記高解像度画像データと原画像データとの誤差を示す評価値を算出し、該算出した評価値と上記閾値とを比較する。そして、上記評価値が閾値以上である場合に、例えば最急降下法等の公知の繰り返し演算手法を用いて、上記評価値が小さくなるように高解像度画像データを更新する。
【００４３】
ここで、上記本発明の構成によれば、原画像データの代わりに、原画像データから当該原画像データのノイズ成分を示すノイズ画像データを差し引いて生成されたノイズ除去画像データを用いている。
【００４４】
すなわち、上記本発明の構成では、高解像度画像データと、上記複数の原画像データのそれぞれからノイズ成分を除去したノイズ除去画像データとの誤差が小さくなるように更新処理が行われる。
【００４５】
したがって、原画像データに含まれるノイズ成分が高解像度画像データの更新に与える影響を軽減して、原画像データの被写体の形状及び色彩を正確に反映させた高精細な高解像度画像データを生成することが可能になる。
【００４６】
なお、より具体的には、本発明では、高解像度画像データとノイズ除去画像データとの差分画像データを生成し、生成した差分画像データを予め定めた評価関数に代入して、上記高解像度画像データとノイズ除去画像データとの誤差を示す評価値を算出し、該算出した評価値と上記閾値とを比較する。そして、上記評価値が閾値以上である場合に、例えば最急降下法等の公知の繰り返し演算手法を用いて、上記評価値が小さくなるように高解像度画像データを更新する。
【００４７】
また、ノイズ画像データは、高解像度画像データとノイズ除去画像データとの誤差、すなわち高解像度画像データとノイズ除去画像データとを評価関数に代入して求めた評価関数の値である評価値が予め定めた閾値以上である場合に、誤差が小さくなるように更新される。
【００４８】
したがって、本発明の構成によれば、高解像度画像データが複数の原画像データが高解像度画像データに正確に反映されるように更新されると共に、ノイズ画像データも複数の原画像データが高解像度画像データに正確に反映されるように更新される。
【００４９】
これにより、ノイズ画像データについても、複数の原画像データが反映された画像データへと更新されるので、更新されたノイズ画像データを用いることによって、複数の原画像データに含まれるノイズ成分を選択的に除去することができる。その結果、原画像データに含まれるノイズ成分の影響を低減して非常に精度の高い高解像度画像データを生成することが可能になる。
【００５０】
なお、上記複数の原画像データは、撮像対象を少しずつ、ずれた位置で撮像して得られたものである。複数の異なる撮像位置で撮像対象の同一部位を撮像して得られる原画像データを用いることによって、個々の原画像データよりも解像度の高い高解像度画像データを生成することができる。
【００５１】
高解像度画像データを生成するための原画像データの撮像方法は、公知の方法を適用することができ、特に限定されない。例えば、撮像対象の被撮像面に対し、撮像装置の撮像素子が配列している平面が平行となる状態にて、上記被撮像面に平行な第１方向に上記撮像素子の１画素の１／Ｎピッチで撮像位置をＮ回移動させて撮像し、さらに上記被撮像面に平行、かつ上記第１方向に垂直な第２方向に１／Ｎピッチで撮像位置をＮ回移動させて撮像して得られるＮ２枚の画像データを上記複数の原画像データとして使用することができる。
【００５２】
なお、Ｎは、正の数であり、高解像度化の倍率によって決定される。例えば、原画像データを２倍に高解像度化する場合には、Ｎを２以上とすればよく、原画像データを１０倍に高解像度化する場合には、Ｎを１０以上とすればよい。Ｎは、必要に応じて適宜設定することができる。ただし、撮像方法及び撮像枚数は、上記の例に限られず、Ｎ２枚よりも少ない原画像データを用いてＮ倍に高解像度化した高解像度画像データを生成することもできる。
【００５３】
また、例えばレジストレーション等の位置合わせ手法を用いる場合には、任意の枚数の原画像データを用いて、任意の高解像度化倍率の高解像度画像データを生成することができる。この場合には、Ｎ２枚よりも少ない原画像データを用いて、当該原画像データのＮ倍の解像度を有する高解像度画像データを生成することもできる。
【００５４】
また、上記閾値は、要求される高解像度化の精度に応じて適宜変更することができる。例えば、より高い精度の高解像度化が要求される場合には、上記閾値を小さく設定すればよく、高解像度化精度は余り要求されないが、迅速な処理速度が要求される場合には、上記閾値を大きく設定すればよい。すなわち、上記閾値は、高解像度化の精度を決定するための値であり、生成される高解像度画像データに要求される様々な条件に合わせて適宜設定することができる。
【００５５】
さらに、高解像度画像データの特性が既知である場合には、その高解像度画像データの特性に基づく拘束項を考慮して誤差を求めるようにしてもよい。拘束項を考慮に入れることにより、高解像度画像データの特性を反映させてより高精度な高解像度画像データを生成することが可能になる。具体的には、上記評価関数に拘束項を付加した関数を用いて上記誤差（評価値）を求めるようにすればよい。
【００５６】
また、高解像度画像データの更新と、ノイズ画像データの更新とは、同じ回数だけ行う必要はない。ノイズ画像データの更新回数を高解像度画像データの更新回数よりも少なくした場合には、演算量を減らすことができる。
【００５７】
また、上記ノイズ画像データは、上記原画像データよりも解像度が高い画像データであり、上記ノイズ画像データを上記複数の各原画像データに位置合わせすると共に、上記ノイズ画像データを原画像データと同じ解像度に変換して複数の位置合わせノイズ画像データを生成する位置合わせノイズ画像データ生成手段を備え、上記ノイズ除去手段は、上記複数の原画像データのそれぞれから、当該原画像データと位置合わせをして生成された上記位置合わせノイズ画像データを引くことによって上記ノイズ除去画像データを生成することが好ましい。
【００５８】
上記の構成によれば、原画像データよりも解像度が高い、すなわちノイズの位置及び形状をより正確に反映させたノイズ画像データを用いている。したがって、原画像データのノイズ成分をより正確に除去することが可能になる。
【００５９】
なお、上記ノイズ画像データは、上記各原画像データに含まれるノイズの位置を示すために予め設定されているノイズ基底成分データと、各ノイズの位置におけるノイズの強度との積の和で表されるものであってもよい。
【００６０】
撮像装置は、撮像対象を原画像データとして取り込むための複数の撮像素子を備えているが、この撮像素子の撮像感度には、ばらつきが生じている場合がある。そして、このばらつきが原画像データにノイズ成分が含まれる要因の１つになっている。
【００６１】
このような撮像素子毎の感度ばらつきは、撮像素子の特性等によって決まるので、原画像データにおけるノイズの発生位置は、予め取得することが可能である。したがって、予め取得したノイズの発生位置をノイズ基底成分とすることができる。
【００６２】
なお、ノイズの発生位置は、予め取得することが可能であるが、本発明のように、複数の原画像データを使用する場合には、同じ撮像装置の同じ撮像素子で撮像対象の像を取り込んだとしても、撮像の度ごとに取り込まれる像の輝度値が変動してしまうので、ノイズの強度を予め求めておくことは難しい。
【００６３】
そこで、上記構成では、ノイズ画像データをノイズ基底成分データと、各ノイズの位置におけるノイズの強度との積の和で表している。そして、上記のように、上記誤差（評価値）が予め定めた閾値以上である場合には、ノイズ画像データは上記誤差が小さくなるように更新されるようになっている。
【００６４】
したがって、上記の構成によれば、実際の原画像データの輝度値を反映させて、より精度の高いノイズ画像データを生成することができ、これにより高解像度化の精度を一層向上させることができる。
【００６５】
なお、〔背景技術〕で説明したように、原画像データ（撮像画像データ）におけるノイズには、例えば（ｉ）撮像素子の素子ごとの感度ばらつき、（ｉｉ）同一撮像素子における撮像ごと輝度値の変動のような、撮像装置に由来する要因によって発生するもの、及び（ｉｉｉ）撮像後のデータ転送によってランダムに発生するノイズがある。
【００６６】
これら（ｉｉ）及び（ｉｉｉ）のノイズが原画像データ中で発生するパターンについても、（ｉ）のノイズと同様に、原画像データを取得するために用いた撮像装置の特性等に基づいて予め求めておくことができる。したがって、このようなノイズについても、予め取得したノイズの発生位置をノイズ基底成分として求めておくことができる。
【００６７】
また、上記ノイズ画像データは、上記原画像データを取得するために用いた撮像装置のカメラモデルから得られる点広がり関数によって量子化誤差として打ち切られる周波数成分の集合であってもよい。
【００６８】
超解像処理では、高解像度画像からボケ画像を生成するために、撮像装置の理想的なカメラモデルから得られる点広がり関数（ＰＳＦ関数）が用いられることがある。この点広がり関数を画像データに乗じることによって生じるボケ画像データには、予め定めた値より大きい周波数成分のみが含まれている。一方、上記予め定めた値以下の周波数成分は、量子化誤差として打ち切られるので、ボケ画像データには含まれない。
【００６９】
ここで、原画像データは、高解像度化の対象となる画像データであるから、比較的解像度は低いものとなっている。そのため、原画像データにおいては、点広がり関数によって量子化誤差として打ち切られる周波数成分は、反映されないと考えられる。
【００７０】
したがって、点広がり関数によって量子化誤差として打ち切られる周波数成分が、原画像データに含まれている場合には、その周波数成分は撮像対象の撮像によって得られたものではなく、ノイズによって生じたものであると考えられる。
【００７１】
ここで、上記の構成によれば、点広がり関数によって量子化誤差として打ち切られる周波数成分をノイズ画像データとして原画像データから除去している。そして、ノイズ画像データは、評価関数の値が予め定めた閾値以上である場合には、ノイズ画像データは評価関数の値が小さくなるように更新されるようになっている。
【００７２】
したがって、上記の構成によれば、実際の原画像データの輝度値を反映させて、より精度の高いノイズ画像データを生成することができ、これにより高解像度化の精度を一層向上させることができる。
【００７３】
さらに、上記画像処理装置と、撮像対象を撮像して上記複数の原画像データを取得する撮像装置と、上記画像処理装置が生成した高解像度画像データに基づいて上記撮像対象の欠陥検査を行う検査装置とを含む検査システムであれば、ノイズの影響を除去した高解像度画像データを用いて欠陥検査を行うことができるので、より正確な欠陥判定を行うことが可能になる。
【００７４】
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置の各手段として動作させることにより、上記画像処理装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
【発明の効果】
【００７５】
以上のように、本発明の画像処理装置は、更新処理を行うときに、各原画像データのそれぞれから、当該原画像データに含まれるノイズ成分を示すノイズ画像データを引くことによってノイズ除去画像データを生成するノイズ除去手段と、上記更新処理において誤差が閾値以上である場合に、上記誤差が小さくなるように上記ノイズ画像データを更新するノイズ画像更新手段を備えている構成である。
【００７６】
また、本発明の画像処理方法は、以上のように、更新処理を行うときに、各原画像データのそれぞれから、当該原画像データに含まれるノイズ成分を示すノイズ画像データを引くことによってノイズ除去画像データを生成するノイズ除去ステップと、上記更新処理において誤差が閾値以上である場合に、上記誤差が小さくなるように上記ノイズ画像データを更新するノイズ画像更新ステップとを含む構成である。
【００７７】
したがって、複数の原画像データに含まれるノイズ成分を選択的に除去することができるので、原画像データに含まれるノイズ成分の影響を低減して非常に精度の高い高解像度画像データを生成することが可能になる。
【発明を実施するための最良の形態】
【００７８】
本発明の一実施形態について図１〜図６に基づいて説明すると以下の通りである。まず、図２に基づいて本実施形態の撮像システムの概要について説明する。図示のように、撮像システム１は、撮像対象Ｐを撮像対象とし、フレーム２、撮像装置４、ステージ５、制御装置６、及びモニタ７を含む構成である。なお、ここでは、図２の上下方向をＺ軸方向、左右方向をＸ軸方向、奥行き方向をＹ軸方向とする。
【００７９】
撮像対象Ｐは、撮像装置４の被写体であり、その被撮像面が撮像装置４に対向するようにフレーム２に固定されている。すなわち、撮像システム１では、撮像対象Ｐの被撮像面が撮像装置４にて撮像されるようになっている。なお、撮像対象Ｐは、どのようなものであってもよく、人物や動植物等を撮像対象Ｐとしてもよい。
【００８０】
詳細については後述するが、撮像システム１によれば撮像装置４にて撮像して得られた撮像画像データ（原画像データ）を精度よく高解像度化して高精細な高解像度画像データを生成することができる。したがって、撮像システム１は、例えば撮像対象Ｐを撮像して得られた撮像画像データから生成された高解像度画像データに基づいて撮像対象Ｐの欠陥の有無を検査する検査システムに用いても良い。すなわち、撮像システム１と、撮像システム１にて生成された高解像度画像データに基づいて撮像対象Ｐの欠陥の有無を検査する検査装置とを備える検査システムについても本発明の範疇に入る。
【００８１】
撮像装置４は、撮像対象Ｐを撮像する装置であり、筐体４ａ、レンズ４ｂ、固体撮像素子４ｃ、及びアクチュエータ４ｄを備えている。レンズ４ｂは、筐体４ａの内部に入る光（撮像対象Ｐの像）を固体撮像素子４ｃの撮像面上に結像させる。そして、固体撮像素子４ｃは、複数の撮像素子からなり、光学的に結像した撮像対象Ｐの像を、空間的に離散させてサンプリングし、それらの像を画像信号に変換する。固体撮像素子４ｃとしては、例えばＣＣＤ（Charge Coupled Devices）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を適用することができる。なお、本実施形態では、撮像装置４がエリアセンサであることを想定しているが、ラインセンサであっても構わない。
【００８２】
アクチュエータ４ｄは、固体撮像素子４ｃの位置を変化させることにより、撮像対象Ｐの撮像位置を変化させる。具体的には、アクチュエータ４ｄは筐体４ａの内壁に固定されており、固体撮像素子４ｃはアクチュエータ４ｄによって支持されている。そのため、アクチュエータ４ｄが固体撮像素子４ｃの位置を変位させることによって、固体撮像素子４ｃの位置は筐体４ａに対して相対的に変位し、撮像対象Ｐを撮像する撮像位置もそれに伴って変位する。
【００８３】
なお、ここでは、アクチュエータ４ｄは、撮像対象Ｐとレンズ４ｂとを結ぶ光軸に対して垂直な平面（図示の例ではＹＺ平面）において固体撮像素子４ｃを２次元的に移動させることを想定しているが、この移動は回転を含む３次元の移動であってもよい。アクチュエータ４ｄとしては、例えば、ピエゾアクチュエータやステッピングモータ等を使用することができる。本実施形態では、ピエゾアクチュエータを用いることを想定している。
【００８４】
また、撮像装置４は、撮像対象Ｐの被撮像面と対向するようにステージ５上に固定されている。すなわち、本実施形態では、撮像装置４と撮像対象Ｐとの相対位置は固定されており、アクチュエータ４ｄによって固体撮像素子４ｃを移動させることにより、撮像対象Ｐの画像を撮像することを想定している。なお、ステージ５及び／またはフレーム２を移動させることによって、撮像装置４と撮像対象Ｐとの相対位置を変化させながら撮像対象Ｐの画像を撮像するようにしてもよい。
【００８５】
制御装置６は、撮像装置４の制御を行う撮像制御部１１、撮像装置４が撮像した撮像画像データを記憶する撮像画像保存部１３、及び上記撮像画像データを高解像度化して高解像度画像データを生成する超解像処理部１２等を備えている。
【００８６】
すなわち、撮像システム１では、制御装置６の制御に基づいて撮像装置４が撮像対象Ｐの撮像を行い、撮像対象Ｐを撮像して得られた撮像画像データは制御装置６の撮像画像保存部１３に格納されるようになっている。そして、超解像処理部１２が上記撮像画像データを用いて超解像処理を行い、撮像画像データよりも解像度の高い高解像度画像データを生成する。
【００８７】
モニタ７は、撮像装置４が取得した撮像画像データや、当該撮像画像データから生成された高解像度画像データ等を表示する。モニタ７は、画像を表示できるものであればよく、液晶、有機ＥＬ、ＣＲＴ（Cathode Ray Tube）等、様々な表示装置をモニタ７として適用することができる。
【００８８】
〔制御装置の構成〕
続いて、制御装置６の構成について、図３に基づいて説明する。図３は、制御装置６の要部構成を示すブロック図である。図示のように、制御装置６は、撮像制御部１１、超解像処理部（画像処理装置）１２、撮像画像保存部１３、高解像度画像保存部１４、画像出力制御部１７、及びノイズ画像保存部１８を備えている。
【００８９】
撮像制御部１１は、撮像装置４に制御信号を送ることによって、固体撮像素子４ｃによる撮像（露光）のタイミング（撮像開始時間、露光時間の長さ等）を制御する撮像タイミング制御部１１ａに指示し、予め定められたタイミングで撮像対象Ｐの撮像を開始させる。
【００９０】
なお、本実施形態では、撮像タイミング制御部１１ａは、撮像装置４に送る制御信号の電圧を変化させることにより撮像タイミングの制御を行うことを想定している。また、撮像タイミング制御部１１ａは、アクチュエータ４ｄの移動開始のタイミングや移動速度、移動距離等の制御を行うアクチュエータ制御部１１ｂに指示し、撮像装置４が備える固体撮像素子４ｃの露光時間に応じて固体撮像素子４ｃを移動させる。
【００９１】
そして、撮像制御部１１は、撮像装置４の固体撮像素子４ｃによってサンプリングされた撮像対象Ｐの撮像画像データを、当該撮像画像データを取得したときの撮像位置（固体撮像素子４ｃの位置）と対応付けた撮像画像データ１３ａとして撮像画像保存部１３に格納する。
【００９２】
なお、超解像処理では、撮像対象Ｐの１つの表示画素に対する固体撮像素子４ｃの割り当てが整数でない複数枚の撮像画像データに基づいて高解像度画像データを生成する。そのため、アクチュエータ４ｄによって少しずつ位置をずらしながら撮像対象Ｐを撮像して複数枚の撮像画像データを取得する必要があると共に、各撮像画像データの撮像位置も取得しておく必要がある。
【００９３】
具体的には、上記複数枚の撮像画像データは、撮像対象Ｐの被撮像面に対し、固体撮像素子４ｃが配列している平面が平行となる状態にて、上記被撮像面に平行な第１方向（例えば図２のＺ軸方向）に上記撮像素子の１画素の１／Ｎピッチで撮像位置をＮ回移動させて撮像を行う処理を、上記被撮像面に平行、かつ上記第１方向に垂直な第２方向（例えば図２のＹ軸方向）に１／Ｎピッチで撮像位置をＮ回移動させて行うことによって得られるＮ２枚の画像データである。そして、以上のようにして撮像したＮ２枚の撮像画像データのそれぞれについて当該撮像画像データを撮像した撮像位置を記録しておく。
【００９４】
なお、Ｎは、正の数であり、高解像度化の倍率によって決定される。例えば、撮像画像データを２倍に高解像度化する場合には、Ｎ＝２とすればよく、撮像画像データを１０倍に高解像度化する場合には、Ｎ＝１０とすればよい。Ｎは、必要に応じて適宜設定することができる。
【００９５】
超解像処理部１２は、撮像画像保存部１３に格納された撮像画像データ１３ａを高解像度化して高解像度画像データを生成する超解像処理を行う。具体的には、超解像処理部１２は、撮像画像保存部１３に格納された撮像画像データ１３ａと、高解像度画像保存部１４に格納された高解像度画像データ１４ａと、ノイズ画像保存部１８に格納されたノイズ画像データ１８ａとに基づいて、新規の高解像度画像データ１４ａを生成し、生成した高解像度画像データ１４ａを高解像度画像保存部１４に格納する。なお、超解像処理部１２が実行する超解像処理の詳細については後に詳しく説明する。
【００９６】
画像出力制御部１７は、高解像度画像保存部１４に格納された高解像度画像データ１４ａを取得してモニタ７に表示する。これにより、撮像システム１のユーザは、撮像対象Ｐの画像等を容易に確認することができる。
【００９７】
〔撮像システムにおける処理の流れ〕
続いて、以上の構成を備える撮像システム１における処理の流れについて図４に基づいて説明する。図４は、撮像システム１における処理の一例を示すフローチャートである。まず、フレーム２に撮像対象Ｐが固定されると、制御装置６の撮像制御部１１の指示に従って撮像装置４が撮像対象Ｐの撮像を行う。撮像によって得られた撮像画像データ１３ａは、撮像画像保存部１３に格納される（Ｓ１）。
【００９８】
超解像処理部１２は、撮像画像保存部１３に撮像画像データ１３ａが保存されると、超解像処理を実行する（Ｓ２）。具体的には、超解像処理部１２は、超解像処理の実行時に高解像度画像保存部１４に格納されている高解像度画像データ１４ａと、撮像画像保存部１３に格納されている撮像画像データと、ノイズ画像保存部１８に格納されているノイズ画像データ１８ａとに基づいて新規の高解像度画像データ１４ａを生成する。そして、超解像処理部１２は、生成した新規高解像度画像データ１４ａを高解像度画像保存部１４に格納する（Ｓ３）。
【００９９】
なお、高解像度画像データの初期値はどのようなものであってもよいが、例えば画像データの全面が灰色の灰色画像データを用いることができる。また、撮像画像データ１３ａから任意の１枚を選択し、選択した撮像画像データに補間処理を施すことによって画像サイズを高解像度画像データに引き伸ばした画像データを用いてもよい。
【０１００】
そして、画像出力制御部１７は、高解像度画像保存部１４に高解像度画像データ１４ａが格納されたことを受けて、上記格納された高解像度画像データ１４ａをモニタ７に表示する（Ｓ４）。
【０１０１】
〔本発明の超解像処理の原理〕
次に、本発明の超解像処理の原理について説明する。本発明の超解像処理においても、従来の超解像処理と同様に、「推定された低解像度画像」と「観測された観測画像」との二乗誤差に基づく評価関数（誤差項）を最適化することで高解像度画像データを生成するが、本発明の超解像処理では、使用する評価関数が従来の超解像処理と異なっている。
【０１０２】
具体的には、本発明の超解像処理では、評価関数として下記の数式（４）を用いることによってノイズの影響を除去している。本発明の超解像処理の原理について、以下説明する。
【０１０３】
【数４】
2009181508.tif 000006
【０１０４】
上記数式（４）は、本発明の超解像処理で使用する評価関数の一例を示している。上記数式（４）と従来の評価関数である数式（１）とを比較すると、誤差項にαＮｎＫｚの項が追加されている点が異なっている。なお、上記数式（４）には、拘束項が含まれているが、高解像度画像データの特性を予め取得できない場合には、拘束項を省略してもよい。しかしながら、評価関数が拘束項を含んでいることにより、より高精度な超解像処理を行うことが可能になるので、拘束項を含んでいることが好ましい。
【０１０５】
このαＮｎＫｚの項は、撮像画像データのノイズ成分を示しており、上記数式（４）では、撮像画像データｙｎからαＮｎＫｚを引くことで撮像画像データｙｎのノイズ成分が除去されるようになっている。ここでは、撮像画像データｙｎからαＮｎＫｚを引いて得られる画像データをノイズ除去画像データ（ｙｎ−αＮｎＫｚ）と呼ぶ。
【０１０６】
ノイズ成分を示すαＮｎＫｚの項において、Ｋは、ノイズ基底成分データを表す行列である。また、ｚは、任意のベクトルであり、ここではｚをノイズ合成ベクトルと呼ぶ。そして、ここでは、行列Ｋの各列成分にｚの要素を掛けて、足し合わせたＫｚをノイズ画像データと呼ぶ。行列Ｋの設定方法については後述する。
【０１０７】
また、Ｎｎは、ノイズ画像データを各撮像画像データの撮像位置に位置合わせをした後、撮像画像データの各撮像素子の位置におけるノイズ画像データの画素の輝度値をサンプリングするための行列である。Ｎｎは上述の行列Ｍｉを用いて下記の数式（５）のように表すことができる。したがって、Ｎｎを乗じることによって、ノイズ画像データは、撮像画像データの撮像位置に位置合わせされると共に、解像度（要素数）が撮像画像データと同じになる。そして、αはノイズ画像データを撮像画像データから減算する際の重みを表している。
【０１０８】
【数５】
2009181508.tif 000007
【０１０９】
次に、ノイズ基底成分データを表す行列Ｋを求める方法について説明する。Ｋは、ノイズの基底成分を示すものであるから、例えば、行数が高解像度画像データの画素数であり、列数が基底成分の数である行列として表現することができる。この場合には、Ｋの各列成分が高解像度画像データにおけるノイズ画像データの基底成分を表すことになる。各列の基底成分は、空間領域のデータまたは周波数領域のデータとして表現することができる。
【０１１０】
例えば、ノイズの出現箇所及び形状が既知である場合には、基底成分を空間領域で表すことができる。この場合には、推定されるノイズ画像データＫｚは、個々の基底成分の線形和、すなわちＫと任意のノイズ合成ベクトルｚとの積として表される。これを数式で表現すると、下記の数式（６）のようになる。
【０１１１】
【数６】
2009181508.tif 000008
【０１１２】
上記数式（６）において、ｋ１〜ｋｎは、ノイズ基底成分データＫを構成する基底成分要素であり、ｋ１〜ｋｎの値によって、ノイズの出現箇所及び形状が表現される。すなわち、ノイズ基底成分データＫは、撮像画像データに含まれるノイズの位置を示している。なお、ここでは、ｋ１〜ｋｎのそれぞれは、高解像度画像データと同じ解像度（要素数）であることを想定している。また、上記数式（６）において、ｚ１〜ｚｎは、ノイズ合成ベクトルｚを構成する要素であり、各位置におけるノイズの強度を示している。
【０１１３】
ノイズ合成ベクトルｚをノイズ基底成分データＫに乗じることによって、ノイズ画像データは、ノイズ基底成分要素ｋ１〜ｋｎとノイズ合成ベクトルの要素ｚ１〜ｚｎとの積の和として表される。
【０１１４】
ここで、〔背景技術〕で説明したように、ノイズの発生の要因としては、例えば（ｉ）撮像素子の素子ごとの感度ばらつき（ｉｉ）同一撮像素子における撮像ごと輝度値の変動、が挙げられる。これらの要因によって発生するノイズは、撮像画像データにおいて常に同じ位置で観察されることになる。例えば、マトリクス状に撮像素子が配列した撮像装置を用いた場合であって、奇数列の撮像素子と偶数列の撮像素子とで撮像感度が異なっている場合を考える。この場合には、この撮像装置で撮像した全ての撮像画像データは、奇数列の画素と偶数列の画素とで、撮像素子の感度差に由来する輝度差を含んだ画像データとなる。
【０１１５】
このように、ノイズ画像データとして、撮像画像データと同じ解像度のものを用いることもできる。この場合には、撮像画像データとノイズ画像データとの位置合わせを行う必要はなく、また解像度を合わせる必要もないので、数式（４）において、Ｎｎを省略して演算を簡略化することができる。
【０１１６】
なお、本実施形態で示す例のように、ノイズ画像データを高解像度画像データと同じ解像度にする場合には、例えば撮像素子の特性から求めた、撮像画像データと同解像度のノイズ画像データを、補間処理や引き伸ばし処理によって高解像度化したものを用いればよい。
【０１１７】
一方、周波数領域でノイズを定義する場合には、例えばカメラモデルのＰＳＦからノイズ基底成分データＫを求めることができる。すなわち、高解像度画像データをＰＳＦでぼかした（行列Ｃを掛け合わせた）場合に、輝度階調の量子化誤差として打ち切られる高周波成分は、解像度の低い撮像画像データでは表現されないと考えられる。したがって、このような高周波成分が撮像画像データに現れている場合には、この成分をノイズ成分とみなすことができる。
【０１１８】
この場合には、カメラモデルのＰＳＦを畳み込んで画像をぼかすための行列Ｃ、及びノイズ基底成分データＫに関して下記の数式（７）が成り立つ。なお、数式（７）において、ｅは要素が全て１のベクトルである。したがって、数式（７）を満たすノイズ画像データＫｚは、ＰＳＦでぼかした（行列Ｃを掛け合わせた）場合に、その要素が全て１以下となり、そのため輝度階調の量子化誤差として打ち切られる。
【０１１９】
【数７】
2009181508.tif 000009
【０１２０】
上記数式（７）の両辺にＣ−１を掛けることによって、Ｋｚ≦Ｃ−１ｅとの関係式が得られる。したがって、全ての要素が０から１の範囲にあるベクトルであるｚ’を用いることにより、ノイズ画像データＫｚを下記の数式（８）のように定義することができる。すなわち、この場合には、数式（４）等においてＫｚの代わりにＣ−１ｚ’を用いることができる。
【０１２１】
【数８】
2009181508.tif 000010
【０１２２】
以上のように、空間領域でのデータとして表現するか、または周波数領域でのデータとして表現するかによってその値は異なっているが、ノイズ基底成分データは、超解像処理を行う前に予め求めることができる。
【０１２３】
しかしながら、ノイズ合成ベクトルｚ及びｚ’は、未知数であるため、超解像処理を行う際に求める必要がある。すなわち、本発明の超解像処理では、数式（４）で示される評価関数に、高解像度画像データｈと、ノイズ合成ベクトルｚとの２つの未知数が含まれていることになる。
【０１２４】
したがって、本発明の超解像処理では、従来の超解像処理の工程に加えて、ノイズ合成ベクトルｚまたはｚ’を求める処理が必要になる。以下では、高解像度画像データｈ及びノイズ合成ベクトルｚの導出方法の一例について説明する。なお、以下ではノイズ合成ベクトルｚを導出する例について説明するが、ノイズ合成ベクトルがｚ’であっても導出方法は同じである。
【０１２５】
上述のように、超解像処理は、評価関数の値を最小化する処理であり、この処理は、この評価関数の高解像度画像データｈ及びノイズ合成ベクトルｚに対する勾配を０に近づける処理に相当する。すなわち、ノイズ合成ベクトルｚは、高解像度画像データｈと同様にして算出することができる。これを数式で表すと、それぞれ下記の数式（９）及び（１０）のようになる。なお、数式（９）及び（１０）におけるＴは、行列の転置を表している。
【０１２６】
【数９】
2009181508.tif 000011
【０１２７】
【数１０】
2009181508.tif 000012
【０１２８】
数式（９）を満たす高解像度画像データｈ、及び数式（１０）を満たすノイズ合成ベクトルｚは、公知の繰り返し演算法にて求めることができる。例えば、繰り返し演算に最急降下法を用いた場合には、下記の数式（１１）にて数式（９）を満たす高解像度画像データｈを漸近的に求めることができる。
【０１２９】
また、同様に、下記の数式（１２）にて数式（１０）を満たすノイズ合成ベクトルｚを漸近的に求めることができる。なお、下記数式（１１）及び（１２）におけるβは、最急降下法における収束速度をコントロールするものであり、両数式に同じ値のβを適用してもよいし、異なる値のβを適用してもよい。
【０１３０】
【数１１】
2009181508.tif 000013
【０１３１】
【数１２】
2009181508.tif 000014
【０１３２】
〔本発明の超解像処理の流れ〕
評価関数として数式（４）を用いる本発明の超解像処理方法について図５に基づいて説明する。図５は、本発明の超解像処理方法を説明するための図である。図示のように、本発明の超解像処理では、図９に示す従来の超解像処理の工程に加えて、位置合わせノイズ画像データを生成するための工程（図５の右側のループ）が追加されている。これにより、撮像画像データからノイズ成分を除去して高精度な超解像処理を行うことが可能になっている。
【０１３３】
本発明の超解像処理では、図示のように、擬似低解像度画像データから、撮像画像データから位置合わせノイズ画像データを引いて得られるノイズ除去画像データを差し引くことによって、差分画像データが生成されている。すなわち、擬似低解像度画像データは数式（４）のＢｎｈに相当し、撮像画像データはｙｎに相当し、位置合わせノイズ画像データはαＮｎＫｚに相当し、ノイズ除去画像データは（ｙｎ−αＮｎＫｚ）に相当する。したがって、差分画像データは｛Ｂｎｈ−（ｙｎ−αＮｎＫｚ）｝と表されることになる。
【０１３４】
なお、ここでは、図示のように、ノイズ画像データが高解像度、１枚の画像データであることを想定している。そのため、低解像度、ｎ枚の画像データである撮像画像データとの差分を直接計算することはできない。そこで、ノイズ画像データに行列Ｎｎを乗じることによって、撮像画像データと同じ解像度、同じ撮像位置のｎ枚の位置合わせノイズ画像データを生成し、各撮像画像データから、当該撮像画像データに位置合わせして生成された位置合わせノイズ画像データを引くことによって、撮像画像データとノイズ画像データとの差分であるノイズ除去画像データを生成している。
【０１３５】
同様に、高解像度画像データは、高解像度、１枚の画像データであるから、低解像度、ｎ枚の画像データである撮像画像データとの差分を直接計算することはできない。そこで、高解像度画像データに行列Ｂｎを乗じることによって、各撮像画像データに位置合わせされ、低解像度化された擬似低解像度画像データを生成する。そして、各ノイズ除去画像データから、当該ノイズ除去画像データの元データとなる撮像画像データに位置合わせして生成された擬似低解像度画像データを引くことによって差分画像データを生成している。
【０１３６】
なお、ノイズ画像データとして、各撮像画像データと、枚数、撮像位置、及び解像度が等しいものを用いた場合には、位置合わせノイズ画像データを生成する必要はなく、この場合には、各撮像画像データと各ノイズ画像データとの差分を直接計算すればよい。また、画像データの差分計算は、差分計算の対象となる画像データにおいて互いに対応する位置の画素、すなわち撮像対象Ｐ上の同じ位置を示す画素の画素値を減算することによってなされる。
【０１３７】
ここで、上述のように、超解像処理では、評価関数の値、すなわち評価値が小さいほど高解像度化が高精度に行われたことを示している。そこで、本発明の超解像処理においても、評価値と予め定めた閾値とを比較し、評価値が閾値よりも小さい場合に、十分な精度の高解像度画像データが生成されたと判断して超解像処理を終了する。
【０１３８】
一方、評価値が閾値以上である場合には、高解像度画像データの高解像度化精度が十分ではないと判断して、高解像度画像データの更新を行うと共にノイズ画像データの更新を行う。高解像度画像データ及びノイズ画像データは、評価関数の値が小さくなるように更新される。高解像度画像データ及びノイズ画像データの更新には、公知の繰り返し演算手法を適宜用いることができるが、例えば、上記数式（１１）を用いることで高解像度画像データを更新することができ、上記数式（１２）を用いることでノイズ画像データを更新することができる。
【０１３９】
そして、本発明の超解像処理では、更新後の高解像度画像データから擬似低解像度画像データを生成すると共に、更新後のノイズ画像データから位置合わせノイズ画像データを生成して差分画像データを生成する。この繰り返しにより、所望の高解像度化精度を有する高解像度画像データを生成するようになっている。
【０１４０】
本発明の超解像処理方法は、以上のようにして、撮像画像データからノイズの影響を除去しており、これによって高解像度画像データのＳ／Ｎを向上させている。本実施形態の制御装置６では、超解像処理部１２によって、以上のような超解像処理方法が実行されるようになっている。以下では、超解像処理部１２のより詳細な構成、及び超解像処理部１２が実行する超解像処理の具体的な処理内容について、図１及び図６に基づいて説明する。
【０１４１】
〔超解像処理部の詳細〕
図１は、超解像処理部１２の要部構成を示すブロック図である。図示のように、超解像処理部１２は、高解像度画像位置合わせ部１２ａと、ノイズ画像位置合わせ部（位置合わせノイズ画像生成手段）１２ｂと、画像更新部（ノイズ除去手段、ノイズ画像更新手段）１２ｃとを備えている。
【０１４２】
高解像度画像位置合わせ部１２ａは、高解像度画像データを各撮像画像データに位置合わせして、各撮像画像データに対応する位置合わせ高解像度画像データを生成する。そして、高解像度画像位置合わせ部１２ａは、上記位置合わせ高解像度画像データを擬似的に低解像度化して、擬似低解像度画像データを生成する。
【０１４３】
具体的には、高解像度画像画像位置合わせ部１２ａは、まず高解像度画像データに対する撮像画像データの相対位置を算出する。ここで、撮像システム１では、上述のように、撮像画像データの撮像位置は撮像制御部１１によって取得され、撮像画像データをその撮像位置と対応付けた撮像画像データ１３ａとして撮像画像保存部１３に格納することを想定している。
【０１４４】
したがって、高解像度画像画像位置合わせ部１２ａは、この撮像画像保存部１３に格納されている撮像画像データ１３ａに基づいて、各撮像画像データの高解像度画像データに対する相対的な撮像位置を算出することができる。なお、撮像画像データの撮像位置が既知でない場合には、パターンマッチングや輝度差分に基づくレジストレーション手法によって、高解像度画像データに対する撮像画像データの相対的な撮像位置を検出してもよい。
【０１４５】
そして、高解像度画像画像位置合わせ部１２ａは、上記算出した高解像度画像データに対する撮像画像データの相対的な撮像位置に基づいて、高解像度画像データをそれぞれの撮像画像データの撮像位置に位置合わせした後、撮像装置４のカメラモデルから得られる点広がり関数（ＰＳＦ関数）のカーネルを畳み込んで低解像度化する処理を示す行列Ｂｎを算出する。
【０１４６】
すなわち、高解像度画像データｈに行列Ｂｎを乗じることによって、高解像度画像データｈが、各撮像画像データｙｎに位置合わせされ、撮像画像データｙｎと同じ解像度に低解像度化された擬似低解像度画像データＢｎｈが生成されることになる。
【０１４７】
高解像度画像画像位置合わせ部１２ａは、このようにして算出した行列Ｂｎを高解像度画像保存部１４に格納されている高解像度画像データに乗じて擬似低解像度画像データＢｎｈを算出し、該算出した擬似低解像度画像データＢｎｈを画像更新部１２ｃに出力する。
【０１４８】
ノイズ画像位置合わせ部１２ｂは、撮像画像データとノイズ画像データとの撮像位置及び解像度の少なくとも一方が異なっている場合に、ノイズ画像データを各撮像画像データに位置合わせする処理及びノイズ画像データの解像度を撮像画像データに合わせる処理の少なくとも一方を行い、位置合わせノイズ画像データを生成する。
【０１４９】
本実施形態では、撮像画像データよりも解像度の高い（高解像度画像データと同じ撮像位置及び同じ解像度の）１枚のノイズ画像データを用いることを想定しているので、ノイズ画像位置合わせ部１２ｂは、ノイズ画像データに位置合わせ及び低解像度化処理を施して、各撮像画像データに対応する複数枚の位置合わせノイズ画像データを生成する。
【０１５０】
具体的には、ノイズ画像位置合わせ部１２ｂは、ノイズ画像データを各撮像画像データの撮像位置に位置合わせをした後、撮像画像データの各撮像素子の位置におけるノイズ画像データの画素の輝度値をサンプリングするための行列であるＮｎを求める。なお、Ｎｎを求める具体的な方法は、高解像度画像画像位置合わせ部１２ａがＢｎを求める場合と同様である。
【０１５１】
なお、本実施形態のように、ノイズ画像データの解像度及び撮像位置を高解像度画像データと同じにした場合には、行列Ｎｎの構成要素であるＭ１〜Ｍｎを行列Ｂｎの構成要素であるＭ１〜Ｍｎと同じ値となる。したがって、ノイズ画像位置合わせ部１２ｂは、演算を行って行列Ｎｎを求めなくとも、高解像度画像画像位置合わせ部１２ａが算出したＭ１〜Ｍｎを用いて行列Ｎｎとすることができる。
【０１５２】
そして、ノイズ画像画像位置合わせ部１２ａは、このようにして算出した行列Ｎｎをノイズ画像保存部１８に格納されているノイズ画像データに乗じ、さらに重みαを乗じて位置合わせノイズ画像データαＮｎＫｚを算出し、該算出した位置合わせノイズ画像データαＮｎＫｚを画像更新部１２ｃに出力する。
【０１５３】
画像更新部１２ｃは、複数の各撮像画像データから上記位置合わせノイズ画像データを引いてノイズ除去画像データを生成すると共に、高解像度画像データから、上記生成したノイズ除去画像データを引いて差分画像データ生成し、該生成した差分画像データを用いて評価関数の値を算出する。そして、画像更新部１２ｃは、評価関数の値が予め定めた閾値以上である場合に、高解像度画像データ及びノイズ画像データを更新する更新処理を、上記評価関数の値が閾値より小さくなるまで繰り返し行う。
【０１５４】
具体的には、画像更新部１２ｃは、撮像画像保存部１３から取得した撮像画像データｙｎから位置合わせノイズ画像データαＮｎＫｚを引いてノイズ除去画像データ（ｙｎ−αＮｎＫｚ）を生成し、高解像度画像位置合わせ部１２ａから受け取った擬似低解像度画像データＢｎｈから上記ノイズ除去画像データを引いて差分画像データ（Ｂｎｈ−ｙｎ＋αＮｎＫｚ）を算出する。
【０１５５】
そして、画像更新部１２ｃは、上記算出した差分画像データを評価関数に代入して評価関数の値、すなわち評価値を求め、評価関数の値が予め定めた閾値より小さいか否かを判断する。閾値より小さい場合には、画像更新部１２ｃは、超解像処理の終了を欠陥検査処理部１５に伝達して処理を終了する。一方、評価値が予め定めた閾値以上である場合には、画像更新部１２ｃは、上記求めた差分画像データに基づいて高解像度画像データ及びノイズ画像データの更新を行う。
【０１５６】
なお、上記閾値は、要求される高解像度化の精度に応じて適宜変更することができる。例えば、より高い精度の高解像度化が要求される場合には、上記閾値を小さく設定すればよく、高解像度化精度は余り要求されないが、迅速な処理速度が要求される場合には、上記閾値を大きく設定すればよい。すなわち、上記閾値は、超解像処理の精度を決定するための値であり、超解像処理に要求される様々な条件に合わせて適宜設定することができる。
【０１５７】
〔超解像処理の流れ〕
続いて、超解像処理部１２における超解像処理の流れについて、図６に基づいて説明する。図６は、超解像処理の一例を示すフローチャートである。なお、図６のフローチャートは、図４のフローチャートにおけるＳ２の処理に対応している。
【０１５８】
超解像処理に用いるｎ枚の撮像画像データｙｎが撮像画像保存部１３に格納されると、超解像処理部１２は、格納された撮像画像データｙｎを取得する（Ｓ１１）。超解像処理部１２が取得した撮像画像データｙｎは、高解像度画像位置合わせ部１２ａ及びノイズ画像位置合わせ部１２ｂに送られる。
【０１５９】
撮像画像データｙｎを受け取った高解像度画像位置合わせ部１２ａは、高解像度画像保存部１４に格納されている高解像度画像データｈを取得し、取得した高解像度画像データｈをそれぞれの撮像画像データｙｎの撮像位置に位置合わせした後、撮像装置４のカメラモデルから得られるＰＳＦ関数のカーネルを畳み込んで低解像度化する処理を示す行列Ｂｎを算出する。そして、高解像度画像位置合わせ部１２ａは、高解像度画像データｈに上記算出したＢｎを乗じて擬似低解像度画像データＢｎｈを生成する（Ｓ１２）。高解像度画像位置合わせ部１２ａは、生成した擬似低解像度画像データＢｎｈを画像更新部１２ｃに送る。
【０１６０】
また、撮像画像データｙｎを受け取ったノイズ画像位置合わせ部１２ｂは、ノイズ画像保存部１８に格納されているノイズ画像データＫｚを取得し、取得したノイズ画像データＫｚをそれぞれの撮像画像データｙｎの撮像位置に位置合わせ及び低解像度化して、位置合わせノイズ画像データαＮｎＫｚを生成する（Ｓ１３）。
【０１６１】
なお、ノイズ画像データＫｚのノイズ基底成分Ｋは予め求めておいた値を利用するが、ノイズ合成ベクトルｚは、図５に示すような繰り返し演算にて更新されてゆくので、その初期値はどのような値であってもよい。例えば、ノイズ画像データＫｚの全面が黒色の黒色画像となるようにノイズ合成ベクトルｚの初期値を設定してもよい。
【０１６２】
そして、ノイズ画像位置合わせ部１２ｂは、生成した位置合わせノイズ画像データαＮｎＫｚを画像更新部１２ｃに送る。なお、図示の例では、Ｓ１２の後にＳ１３の処理を行うようになっているが、先にＳ１３の処理を行うようにしてもよいし、Ｓ１２の処理とＳ１３の処理とを同時に行ってもよい。
【０１６３】
擬似低解像度画像データＢｎｈと位置合わせノイズ画像データαＮｎＫｚとを受け取った画像更新部１２ｃは、撮像画像データｙｎからノイズ画像データαＮｎＫｚを差し引いてノイズ除去画像データを生成する。そして、擬似低解像度画像データＢｎｈから、上記ノイズ除去画像データ（ｙｎ−αＮｎＫｚ）を差し引くことにより、差分画像データ（Ｂｎｈ−ｙｎ＋αＮｎＫｚ）を生成する（Ｓ１４）。
【０１６４】
続いて、画像更新部１２ｃは、上記生成した差分画像データを上記数式（４）に代入して評価関数の値（評価値）Ｅを求める（Ｓ１５）。そして、画像更新部１２ｃは、上記求めた評価値Ｅと、予め定めた閾値とを比較する（Ｓ１６）。評価値Ｅが閾値よりも小さい場合（Ｓ１６でＹｅｓ）には、画像更新部１２ｃは、超解像処理の終了を欠陥検査処理部１５に伝達して処理を終了する。
【０１６５】
一方、評価値Ｅが閾値以上である場合（Ｓ１６でＮｏ）には、画像更新部１２ｃは、評価値Ｅの値に基づいて高解像度画像データｈ及びノイズ画像データＫｚを更新する（Ｓ１７）。具体的には、画像更新部１２ｃは、上記数式（１１）を用いて繰り返し演算を行うことにより、高解像度画像データｈを更新し、更新後の高解像度画像データｈを高解像度画像保存部１４に格納されている高解像度画像データｈに上書きする。また、画像更新部１２ｃは、上記数式（１２）を用いて繰り返し演算を行うことにより、ノイズ画像データＫｚを更新し、更新後のノイズ画像データＫｚをノイズ画像保存部１８に格納されているノイズ画像データＫｚに上書きする。
【０１６６】
画像更新部１２ｃは、更新した高解像度画像データｈ及びノイズ画像データＫｚを上書き保存すると、高解像度画像データｈ及びノイズ画像データＫｚが更新されたことを高解像度画像位置合わせ部１２ａ及びノイズ画像位置合わせ部１２ｂに伝達する。この伝達を受けると、高解像度画像位置合わせ部１２ａ及びノイズ画像位置合わせ部１２ｂは、再び擬似低解像度画像データＢｎｈ及び位置合わせノイズ画像データαＮｎＫｚの生成を行う（Ｓ１２、１３）。
【０１６７】
このように、超解像処理部１２が行う超解像処理方法によれば、評価値が閾値以上である場合には、高解像度画像データｈと共にノイズ画像データＫｚが更新されるようになっている。したがって、上記超解像処理方法によれば、撮像画像データに含まれるノイズをより正確に反映させたノイズ画像データＫｚに基づいて超解像処理を行うことができるので、撮像画像データに含まれるノイズ成分の影響を低減して高精度な超解像処理を行うことが可能になる。
【０１６８】
なお、上記のフローチャートは、本発明の一実施形態を示すものであり、本発明の超解像処理はこの実施形態の処理内容に限定されない。例えば、上記のフローチャートでは、高解像度画像データの更新と、ノイズ画像データの更新とを同じ回数だけ行う態様を示しているが、更新回数は必ずしも同じである必要はない。ノイズ画像データの更新回数を高解像度画像データの更新回数よりも少なくした場合には、超解像処理の演算量を減らすことができる。
【実施例】
【０１６９】
以下では、本発明が従来技術に対してどの程度有利な効果を奏するかについて、図７及び図８に基づいて説明する。図７（ａ）は、本実施例における超解像処理の対象である処理対象画像データ３１を示す図である。処理対象画像データ３１は、上記実施形態における撮像対象Ｐに相当するものであり、図示のように、明部３１ａがマトリクス状に配列したデータである。ここでは、縦３×横３に配列した９つの明部３１ａのうち、中央の明部３１ｂは、他の明部３１ａよりも輝度値が高いことを想定している。
【０１７０】
本実施例では、処理対象画像データ３１を実際に撮像装置で撮像する代わりに、処理対象画像データ３１を光学劣化させると共に、撮像によって生じるノイズを乗じることによって、処理対象画像データ３１を撮像装置にて撮像して得られるものと同等の撮像画像データを生成している。
【０１７１】
具体的には、まず、処理対象画像データ３１を図７（ｂ）に示す撮像素子の割当で撮像することに相当するＰＳＦで光学劣化させた。同図（ｂ）は、処理対象画像データ３１に対する各撮像素子の位置を示す図である。同図において、破線３２で囲まれた各領域３２ａが１つの撮像素子の位置を示している。このようにして、光学劣化させることにより、破線３２で示す撮像素子の割り当てで撮像した場合と同等の画像データを生成することができる。
【０１７２】
次に、このようにして生成した画像データに対して図７（ｃ）に示す市松模様状に感度ばらつきを乗じた。図７（ｃ）は、処理対象画像データに乗じた感度のばらつきを示す図である。図示のように、感度ばらつきパターン３３は、同図（ｂ）に示す領域３２ａのそれぞれについて、斜線が施された領域３３ａと斜線が施されていない領域３３ｂとが交互に配置されたパターンとなっている。ここでは、領域３３ａには−ｎ［％］の感度のばらつきが生じており、領域３３ｂには＋ｎ［％］の感度のばらつきが生じていることを想定している。
【０１７３】
そして、以上のようにして生成した画像データにさらにノイズを乗じた後、各撮像素子の位置でサンプリングを行ったものを撮像画像データとした。なお、ここでは上記ＰＳＦとして、撮像素子のサイズに対して標準偏差が０．５６倍のＧａｕｓｓｉａｎ型のＰＳＦを用いた。また、上記ノイズとして、輝度の標準偏差が１．４３のＧａｕｓｓｉａｎノイズを用いた。
【０１７４】
本実施例では、従来の超解像処理方法、従来法による超解像処理の後に平滑化処理を行う方法、及び本発明の超解像処理方法、の３通りの方法を用いて、以上のようにして生成した撮像画像データを縦方向３倍、横方向３倍に高解像度化し、高解像度画像データを生成した。なお、本発明の超解像処理方法では、数式（４）におけるノイズ画像データに乗じる重みαの値として２を用いた。
【０１７５】
上記のようにして生成した高解像度画像データにおける、Ｓ／Ｎと撮像感度のばらつきとの関係を図８に示す。図示のように、従来の超解像処理方法は、３通りの方法の中で最もＳ／Ｎが低い。これに対し、従来法による超解像処理の後に平滑化処理（スムージング）を行う方法によれば、従来の超解像処理方法と比べてＳ／Ｎが向上している。そして、本発明の超解像処理方法によれば、従来法による超解像処理の後に平滑化処理を行う方法よりもさらにＳ／Ｎが向上していることが分かる。
【０１７６】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１７７】
また、上記実施形態では、超解像処理を行う超解像処理部１２と、各種データを読み出し可能に記憶する撮像画像保存部１３、高解像度画像保存部１４、ノイズ画像保存部１８、及び欠陥検査画像保存部１６と、欠陥検査を行う欠陥検査処理部１５とが、制御装置６に含まれている構成を示したが、これらの各構成の一部または全部は、それぞれ別体として構成することもできる。さらに、上記実施形態では、高解像度画像位置合わせ部１２ａとノイズ画像位置合わせ部１２ｂとを別体に構成する例を示したが、これらを統合して１つの構成要素としてもよい。
【０１７８】
なお、本実施形態では、固体撮像素子を用いて撮像された撮像画像データに対して直接に超解像処理を施す例を示したが、処理の対象となる画像は、予め撮像されたデータであってもよい。すなわち、本発明では、任意の撮像装置で撮像した撮像画像データを超解像処理部１２に供給することによって、ノイズの影響が低減された高精細な高解像度画像データを生成することができる。
【０１７９】
なお、本発明は、以下のように表現することもできる。すなわち、本発明の画像処理装置は、第１の解像度を有する複数の第１画像データ（撮像画像データ）を、上記第１の解像度よりも高い第２の解像度の第２画像データ（高解像度画像データ）に変換する画像処理装置であって、上記第１画像データの予め定められた基準位置に対する位置合わせデータを生成する画像位置合わせ手段と、上記処理対象の画像データに含まれる撮像ノイズの構成成分を表すノイズ基底成分データを生成するノイズ基底成分生成手段とを備え、上記第１画像データから、上記ノイズ基底成分データを組み合わせて推定されるノイズを取り除いたノイズ除去画像データと、上記第２画像データとの位置合わせ後の差分を計算する数式（評価関数）の値が所定の値よりも小さくなるまで繰返し演算を行うことによって、上記第２画像データを生成する高解像度画像生成手段を備えていることを特徴としている。
【０１８０】
また、上記ノイズ基底成分データは、上記第１画像データの撮像に用いた撮像装置のレンズの結像及び固体撮像素子による離散化等により決定される光学劣化関数を乗じた場合に、予め定められた値以下となる周波数成分の集合として表現されることが好ましい。
【０１８１】
そして、上記ノイズ基底成分データは、上記第２画像データ上での上記第１画像データの画素サイズよりも小さいパターンの画像データの集合として表現されるものであってもよい。
【０１８２】
また、本発明は、以下のように表現することもできる。すなわち、本発明の画像処理装置は、撮像装置を用いて１つの撮像対象を撮像して得られた複数の撮像画像データに基づいて、当該撮像画像データよりも解像度の高い高解像度画像データを生成する画像処理装置であって、高解像度画像データを格納する高解像度画像保存部と、上記撮像装置で撮像を行うことによって上記複数の各撮像画像データに生じるノイズ成分を示すノイズ画像データを格納するノイズ画像保存部と、上記高解像度画像保存部に格納されている高解像度画像データを上記複数の各撮像画像データに位置合わせすると共に、上記撮像画像データと同じ解像度に変換し、さらに上記撮像装置のカメラモデルから得られる点広がり関数を乗じて複数の擬似低解像度画像データを生成する擬似低解像度画像生成手段と、上記複数の撮像画像データのそれぞれについて、当該撮像画像データと位置合わせをして生成された擬似低解像度画像データ及びノイズ画像データを引くことにより、複数の差分画像データを生成する差分画像生成手段と、上記生成された複数の差分画像データに基づいて、上記高解像度画像データと上記複数の撮像画像データとの誤差を示す評価関数の値を算出すると共に、上記評価関数の値が予め定めた閾値以上である場合に、当該評価関数の値が小さくなるように高解像度画像データ及びノイズ画像データを更新して、それぞれを上記高解像度画像保存部及び上記ノイズ画像保存部に格納する画像更新手段とを備えていることを特徴としている。
【０１８３】
上記の構成によれば、高解像度画像データ及びノイズ画像データは、評価関数の値が予め定めた閾値以上である場合に、評価関数の値が小さくなるように更新される。すなわち、評価関数の値が予め定めた閾値以上である場合には、高解像度画像データ及びノイズ画像データが、複数の撮像画像データが高解像度画像データに正確に反映されるように更新される。
【０１８４】
そして、更新された高解像度画像データ及びノイズ画像データに基づいて、再度評価関数の値が算出され、評価関数の値が予め定めた閾値以上であれば、高解像度画像データ及びノイズ画像データは、再度更新される。このような処理の繰り返しにより、高解像度画像データ及びノイズ画像データは、評価関数の値が予め定めた閾値よりも小さくなるまで更新されることになる。
【０１８５】
したがって、評価関数の値が予め定めた閾値よりも小さくなったときには、高解像度画像格納部には、複数の撮像画像データを正確に反映させた高解像度画像データが格納されていることになる。
【０１８６】
また、ノイズ画像データも、高解像度画像データと同様に更新されるので、上記の構成によれば、複数の撮像画像データを正確に反映させたノイズ画像データに基づいて評価関数の値が算出される。
【０１８７】
これにより、複数の撮像画像データに含まれるノイズ成分を選択的に除去することができるので、撮像画像データに含まれるノイズ成分の影響を低減して非常に精度の高い高解像度画像データを生成することが可能になる。
【０１８８】
最後に、制御装置６の各ブロック、特に撮像制御部１１、超解像処理部１２、及び欠陥検査処理部１５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１８９】
すなわち、制御装置６は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである制御装置６の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記制御装置６に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１９０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１９１】
また、制御装置６を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１９２】
本発明によれば、撮像画像データに含まれるノイズ成分の影響を低減して超解像処理を行うことができるので、製品の欠陥を検査する装置に限られず、画像データの高解像度化を行う様々な装置に適用できる。また、高解像度化の対象は、静止画像に限られず動画像についても同様に高解像度化することが可能である。
【図面の簡単な説明】
【０１９３】
【図１】本発明の実施形態を示すものであり、超解像処理部の要部構成を示すブロック図である。
【図２】本発明の実施形態を示すものであり、撮像システムの概要を示す図である。
【図３】上記撮像システムが備える制御装置の要部構成を示すブロック図である。
【図４】上記撮像システムにおける処理の一例を示すフローチャートである。
【図５】本発明の超解像処理方法を説明するための図である。
【図６】上記超解像処理部にて実行される超解像処理の一例を示すフローチャートである。
【図７】同図（ａ）は本発明の実施例における超解像処理の対象である処理対象画像データを示す図であり、同図（ｂ）は処理対象画像データに対する各撮像素子の位置を示す図であり、同図（ｃ）は処理対象画像データに乗じた感度のばらつきを示す図である。
【図８】従来の超解像処理方法、従来法による超解像処理の後に平滑化処理を行う方法、及び本発明の超解像処理方法のそれぞれを用いて生成した３通りの高解像度画像データにおける、Ｓ／Ｎと撮像感度のばらつきとの関係を示す図である。
【図９】従来の超解像処理方法を説明するための図である。
【符号の説明】
【０１９４】
１    撮像システム
４    撮像装置
１２    超解像処理部（画像処理装置）
１２ａ  高解像度画像位置合わせ部
１２ｂ  ノイズ画像位置合わせ部（位置合わせノイズ画像生成手段）
１２ｃ  画像更新部（ノイズ除去手段、ノイズ画像更新手段）
１３    撮像画像保存部
１４    高解像度画像保存部
１８    ノイズ画像保存部
【図１】
2009181508.tif 000015
【図２】
2009181508.tif 000016
【図３】
2009181508.tif 000017
【図４】
2009181508.tif 000018
【図５】
2009181508.tif 000019
【図６】
2009181508.tif 000020
【図７】
2009181508.tif 000021
【図８】
2009181508.tif 000022
【図９】
2009181508.tif 000023