(57)【要約】【課題】低い計算コストでボケ除去画像を生成する。【解決手段】本発明の画像処理方法は、現時点の推定値１８６に含まれる第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素について非局所的重みを算出するステップ１９０と、上記第１画素の画素値を、該第１画素に対応する位置のリサンプリング画像１８２の画素の画素値と、ステップ１９０で算出した非局所的重みと、上記画素群に含まれる各画素の画素値とを用いて新しい現時点の推定値１９６を生成するステップとを含むので、ボケ除去に先立って個別にノイズ除去を行うシステムと比較して、低い計算コストでノイズの影響を抑えたボケ除去画像を生成することができる。【選択図】図１１
2010198599.tif 000002
【特許請求の範囲】
【請求項１】
一定の周期の繰り返しパターンを有する基準画像を用いて処理対象画像を更新することによって、該処理対象画像のボケを除去する画像処理方法であって、
上記処理対象画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、
上記第１画素の画素値を、該第１画素に対応する位置の上記基準画像の画素の画素値と、上記重み設定工程で決定した重みと、上記画素群に含まれる各画素の画素値とを用いて更新する更新工程とを含むことを特徴とする画像処理方法。
【請求項２】
上記基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
上記複数の低解像度画像の空間解像度は、それぞれ同一であることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
上記基準画像は、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して生成されたものであることを特徴とする請求項２または３に記載の画像処理方法。
【請求項５】
上記基準画像は、露光時間の異なる複数の低解像度画像を合成して生成されたものであり、
上記基準画像における上記第１画素に対応する位置の画素の画素値に、該画素値の信頼度を示す信頼度数値を対応付けする工程をさらに含み、
上記更新工程では、上記信頼度数値に基づいて上記第１画素の画素値を更新することを特徴とする請求項２に記載の画像処理方法。
【請求項６】
上記処理対象画像の初期値を、上記基準画像とすることを特徴とする請求項１に記載の画像処理方法。
【請求項７】
上記重み設定工程では、
上記第１画素に近接する画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素のそれぞれについて、該画素に近接する画素よりなる第２近接画素群を設定し、
上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することを特徴とする請求項１に記載の画像処理方法。
【請求項８】
上記重み設定工程では、上記第１近接画素群及び上記第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
異なる露光時間で撮像された複数の低解像度画像を用いて処理対象画像を更新することによって、該処理対象画像のボケを除去する画像処理方法であって、
上記複数の低解像度画像を合成して、該低解像度画像よりも解像度の高い基準画像を生成する合成工程と、
上記合成工程で生成した基準画像に含まれる第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、
上記信頼度設定工程で設定された信頼度数値と、上記第１画素の画素値と、上記処理対象画像において上記第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことを特徴とする画像処理方法。
【請求項１０】
上記複数の低解像度画像の空間解像度は、それぞれ同一であることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
上記局所変動の値は、上記対応画素の画素値と、該対応画素に隣接する４つの画素の画素値との差分を用いて算出されることを特徴とする請求項９に記載の画像処理方法。
【請求項１２】
上記合成工程では、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して上記基準画像を生成することを特徴とする請求項９に記載の画像処理方法。
【請求項１３】
上記更新工程では、全変動ノルムに基づく拘束項を含むコスト関数を最小化することによって、処理対象画像を更新することを特徴とする請求項９に記載の画像処理方法。
【請求項１４】
一定の周期の繰り返しパターンを有する基準画像のノイズを除去する画像処理方法であって、
上記基準画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、
上記重み設定工程で設定した重みを、上記画素群に含まれる各画素の画素値に適用して更新する更新工程とを含むことを特徴とする画像処理方法。
【請求項１５】
上記基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程を含むことを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
上記複数の低解像度画像には、撮像時の露光時間が異なるものが含まれることを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
上記複数の低解像度画像の空間解像度は、それぞれ同一であることを特徴とする請求項１５に記載の画像処理方法。
【請求項１８】
上記合成工程では、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して上記基準画像を生成することを特徴とする請求項１５に記載の画像処理方法。
【請求項１９】
上記重み設定工程では、
上記第１画素に近接する画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素のそれぞれについて、該画素に近接する画素よりなる第２近接画素群を設定し、
上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することを特徴とする請求項１４に記載の画像処理方法。
【請求項２０】
上記重み設定工程では、第１近接画素群及び第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出することを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
上記更新工程で更新された画素値を有するノイズ除去画像を用いて処理対象画像を更新することによって、該処理対象画像からボケを除去したボケ除去画像を生成するために、
上記ノイズ除去画像に含まれるノイズ除去第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、
上記信頼度設定工程で設定された信頼度数値と、上記ノイズ除去第１画素の画素値と、上記処理対象画像において上記ノイズ除去第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことを特徴とする請求項１４に記載の画像処理方法。
【請求項２２】
一定の周期の繰り返しパターンを有する基準画像からノイズを除去したノイズ除去画像を生成する画像処理方法であって、
上記基準画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、
上記重み設定工程で設定した重みを用いて、上記画素群に含まれる各画素の画素値を組み合わせることによって、上記ノイズ除去画像において上記第１画素に対応する対応位置の画素の画素値を更新する更新工程とを含むことを特徴とする画像処理方法。
【請求項２３】
上記ノイズ除去画像の初期値を、上記基準画像とすることを特徴とする請求項２２に記載の画像処理方法。
【請求項２４】
上記重み設定工程では、
上記ノイズ除去画像において、上記第１画素に対応する位置の画素に近接する画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素に対応する位置の画素に近接する画素よりなる第２近接画素群を設定し、
上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することを特徴とする請求項２２に記載の画像処理方法。
【請求項２５】
上記重み設定工程では、第１近接画素群及び第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出することを特徴とする請求項２２に記載の画像処理方法。
【請求項２６】
上記基準画像は、該基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程で生成されたものであることを特徴とする請求項２２に記載の画像処理方法。
【請求項２７】
上記複数の低解像度画像には、撮像時の露光時間が異なるものが含まれることを特徴とする請求項２６に記載の画像処理方法。
【請求項２８】
上記複数の低解像度画像の空間解像度は、それぞれ同一であることを特徴とする請求項２６に記載の画像処理方法。
【請求項２９】
上記基準画像は、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して生成されたものであることを特徴とする請求項２６に記載の画像処理方法。
【請求項３０】
上記更新工程で更新された画素値を有するノイズ除去画像を用いてボケ除去対象画像を更新することによって、該ボケ除去対象画像からボケを除去したボケ除去画像を生成するために、
上記ノイズ除去画像に含まれるノイズ除去第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、
上記信頼度設定工程で設定された信頼度数値と、上記ノイズ除去第１画素の画素値と、上記ボケ除去対象画像において上記ノイズ除去第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことを特徴とする請求項２２に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および画像処理システムに関するものであり、特に、ノイズ除去およびボケ除去に関するものである。
【背景技術】
【０００２】
従来から、複数の低解像度画像から高解像度画像を構成する超解像技術が用いられている。低解像度画像は、限られた解像度の、または、望ましい解像度より低い空間解像度のカメラまたはセンサーシステムによって撮像される。超解像技術は、このようにして得られた低解像度画像から、より解像度の高い高解像度画像を生成する技術である。
【０００３】
ここで、低解像度画像は、低解像度画像を得るための画像撮像処理に内在する、１または複数種類の劣化の影響を受けることが多い。画質劣化の一般的な種類には、ボケ、ノイズ、および非線形性が含まれる。ボケは、低解像度画像において、高周波細部（high-frequency detail）がカットされることによって生じる。また、ボケは、カメラの光学素子、画像センサ、および他の要因に起因して生じる。ノイズは、画像センサ、システム電子機器、アナログ・デジタル変換、および他の要因によって引き起こされるランダムな信号変化の一態様である。
【０００４】
このため、より高精度な高解像度画像を生成するためには、このような劣化の影響を低減させることが重要となる（例えば、下記の特許文献１−５参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６４７００９７号明細書
【特許文献２】米国特許出願公開第２００８／０１３７９７８号明細書（２００８年６月１２日公開）
【特許文献３】米国特許出願公開第２００７／０２１７７１３号明細書（２００７年９月２０日公開）
【特許文献４】米国特許出願公開第２００８／０２５３６７８号明細書（２００８年１０月１６日公開）
【特許文献５】国際公開第２００５／１２２０８６号パンフレット（２００５年１２月２２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来は、ノイズやボケの影響を低い計算コストで低減させることが困難であった。例えば、従来は、複数の低解像度画像のそれぞれについて、個別にノイズ除去が行われており、これは高解像度画像生成に要する計算コストを増大させるものであった。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、低い計算コストでノイズやボケ等を除去した画像を生成する画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像処理方法は、一定の周期の繰り返しパターンを有する基準画像を用いて処理対象画像を更新することによって、該処理対象画像のボケを除去する画像処理方法であって、上記処理対象画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記第１画素の画素値を、該第１画素に対応する位置の上記基準画像の画素の画素値と、上記重み設定工程で決定した重みと、上記画素群に含まれる各画素の画素値とを用いて更新する更新工程とを含むことを特徴としている。
【０００９】
上記の構成において、基準画像は、一定の周期の繰り返しパターンを有しており、この基準画像を用いて更新される処理対象画像も同じ周期の繰り返しパターンを有することとなる。このため、第１画素からこの周期分だけ離れた位置の画素の画素値は、理論上、第１画素と同一となる。すなわち、これらの画素の画素値が相違している場合には、例えばボケ等の要因によって、何れかの画素の画素値が異常な値となっていることが考えられる。
【００１０】
そこで、上記の構成によれば、第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを適用して第１画素の画素値を更新している。これにより、低い計算コストでこれらの画素のボケを除去することができる。無論、ここで適用する重みは、第１画素の画素値との差が大きいほど、その画素値の更新への寄与を小さくするような重みとなる。
【００１１】
また、上記画像処理方法は、上記基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程を含むことが好ましい。
【００１２】
上記の構成によれば、複数の低解像度画像に基づいて処理対象画像が更新されることになる。つまり、更新によって生成される画像は、上記低解像度画像よりも解像度が高く、かつボケが除去された画像となる。すなわち、上記の構成によれば、低解像度画像の高解像度化及びボケ除去を行うことができる。なお、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い画像を生成する方法としては、従来から用いられている方法を適用することもできる。
【００１３】
また、上記複数の低解像度画像の空間解像度は、それぞれ同一であることが好ましい。
【００１４】
上記の構成によれば、複数の低解像度画像を合成する際の演算が簡略となる。なお、各低解像度画像の空間解像度は、誤差等の影響により多少変動することも考えられるが、このような変動は、上記「同一」の範囲に含まれるものとする。
【００１５】
また、上記基準画像は、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して生成されたものであることが好ましい。
【００１６】
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。
【００１７】
また、上記基準画像は、露光時間の異なる複数の低解像度画像を合成して生成されたものであり、上記基準画像における上記第１画素に対応する位置の画素の画素値に、該画素値の信頼度を示す信頼度数値を対応付けする工程をさらに含み、上記更新工程では、上記信頼度数値に基づいて上記第１画素の画素値を更新することが好ましい。
【００１８】
上記の構成によれば、基準画像として、露光時間の異なる複数の低解像度画像を合成して生成された画像を用いている。これにより、露光時間の等しい低解像度画像を用いた場合と比べて、基準画像のダイナミックレンジを拡大することができ、更新によって生成される画像のダイナミックレンジも拡大することができる。
【００１９】
さらに、上記の構成によれば、基準画像の画素値に信頼度数値を対応付けし、この信頼度数値を用いて処理対象画像の更新を行う。このように、信頼度を更新に反映させることによって、生成される画像の精度を高めることができる。
【００２０】
なお、信頼度は、例えば画素値に基づいて設定することもできる。例えば、ある画素の画素値が、その画素の取りうる値の上限に近い場合には、露光過多で白とびした画素である可能性がある。同様に、画素値がその画素の取りうる値の下限に近い場合には、露光不測で黒つぶれした画素である可能性がある。
【００２１】
このような画素は、撮像した対象物の形状等を正確に示すものとは言えないため、このような画素の画像更新に対する寄与は低下させることが望ましい。つまり、上限値または下限値に近い画素の信頼度を低く設定するという方法が考えられる。無論、信頼度の設定方法は、この例に限られない。
【００２２】
また、上記画像処理方法では、上記処理対象画像の初期値を、上記基準画像とすることが好ましい。
【００２３】
ここで、処理対象画像は、更新工程で更新されることによって、基準画像との誤差が小さくなるように更新されるため、処理対象画像の初期値は特に限定されない。しかし、処理対象画像と基準画像との誤差が大きい場合には、更新回数が増え、演算処理の負担が増大する。そこで、上記構成では、処理対象画像の初期値として、基準画像を適用している。これにより、更新回数を少なくし、演算処理の負担を軽減することができる。
【００２４】
また、上記重み設定工程では、上記第１画素の近傍の画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素のそれぞれについて、該画素の近傍の画素よりなる第２近接画素群を設定し、上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することが好ましい。
【００２５】
ここで、処理対象画像に含まれる各画素の画素値が全て正常であると仮定すると、処理対象画像は基準画像と同じ周期性を有するので、対応する第１近接画素群の各画素の画素値と第２近接画素群の各画素の画素値とは同じ値となり、画素値差分はゼロとなる。逆に言えば、異常な値の画素値が含まれていた場合には、画素値差分は大きくなる。すなわち、画素値差分は、処理対象画像に含まれる画素の画素値の正否を判断する判断材料となりうる。
【００２６】
そこで、上記の構成によれば、画素値差分を用いて重みを設定している。これにより、重みの信頼性を高め、生成される画像の精度を高めることができる。なお、当然のことながら、重みは、画素値差分が大きい画素値ほど更新への寄与が小さくなるように設定される。
【００２７】
例えば、上記重み設定工程では、上記第１近接画素群及び上記第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出してもよい。
【００２８】
これにより、画素値差分の大小に応じた重みを設定することができる。なお、上記の重み算出は、「画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値」をｘとすれば、ｅｘを重みとして算出することを指す。また、言い換えれば、ｅｘｐ（ｘ）を重みとして算出することを指す。なお、ｅは自然対数の底である。
【００２９】
また、本発明の他の画像処理方法は、上記課題を解決するために、異なる露光時間で撮像された複数の低解像度画像を用いて処理対象画像を更新することによって、該処理対象画像のボケを除去する画像処理方法であって、上記複数の低解像度画像を合成して、該低解像度画像よりも解像度の高い基準画像を生成する合成工程と、上記合成工程で生成した基準画像に含まれる第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、上記信頼度設定工程で設定された信頼度数値と、上記第１画素の画素値と、上記処理対象画像において上記第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことを特徴としている。
【００３０】
上記の構成によれば、露光時間の異なる複数の低解像度画像を合成して生成された基準画像を用いている。これにより、露光時間の等しい低解像度画像を用いた場合と比べて、基準画像のダイナミックレンジを拡大することができ、更新によって生成される画像のダイナミックレンジも拡大することができる。
【００３１】
また、上記の構成によれば、基準画像の画素値に信頼度数値を対応付けし、この信頼度数値を用いて処理対象画像の更新を行う。このように、信頼度を更新に反映させることによって、生成される画像の精度を高めることができる。
【００３２】
ここで、上記更新工程において更新の対象となる処理対象画像の対応画素の画素値が適正な値であるか否かは、対応画素の画素値と、対応画素の近傍に位置する画素の画素値との差、すなわち対応画素の近傍領域における局所変動の値に基づいて判断することもできる。
【００３３】
そこで、上記の構成によれば、局所変動の値を用いて処理対象画像の更新を行い、局所変動の値を更新に反映させている。これにより、更新工程における画素値更新の精度を高めることができる。
【００３４】
また、上記複数の低解像度画像の空間解像度は、それぞれ同一であることが好ましい。
【００３５】
上記の構成によれば、複数の低解像度画像を合成する際の演算が簡略となる。
【００３６】
また、上記局所変動の値は、上記対応画素の画素値と、該対応画素に隣接する４つの画素の画素値との差分を用いて算出されてもよい。
【００３７】
つまり、対応画素の近傍領域の局所変動とは、対応画素の画素値の、対応画素に隣接する４つの画素の画素値に対する変動の程度を示すものであってもよい。無論、局所変動の算出方法は、この例に限られず、例えば対応画素の画素値と、対応画素に隣接する８つの画素の画素値との差分を用いて算出してもよい。
【００３８】
また、上記合成工程では、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して上記基準画像を生成することが好ましい。
【００３９】
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。
【００４０】
また、上記更新工程では、全変動ノルムに基づく拘束項を含むコスト関数を最小化することによって、処理対象画像を更新することが好ましい。
【００４１】
すなわち、局所変動を用いた画素値の更新は、全変動ノルムに基づく拘束項をコスト関数に含めることで実現してもよい。
【００４２】
また、本発明のさらに他の画像処理方法は、上記課題を解決するために、一定の周期の繰り返しパターンを有する基準画像のノイズを除去する画像処理方法であって、上記基準画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記重み設定工程で設定した重みを、上記画素群に含まれる各画素の画素値に適用して更新する更新工程とを含むことを特徴としている。
【００４３】
上記の構成において、基準画像は、一定の周期の繰り返しパターンを有しているため、第１画素からこの周期分だけ離れた位置の画素の画素値は、理論上、第１画素と同一となる。すなわち、これらの画素の画素値が相違している場合には、例えばノイズの発生等の要因によって、何れかの画素の画素値が異常な値となっていることが考えられる。
【００４４】
そこで、上記の構成によれば、第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを適用している。これにより、低い計算コストでこれらの画素に生じているノイズを除去することができる。無論、ここで適用する重みは、第１画素の画素値との差が大きいほど、その画素値を小さく補正するような重みとなる。
【００４５】
また、上記画像処理方法は、上記基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程を含むことが好ましい。
【００４６】
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。つまり、上記画像処理方法で生成されるノイズ除去画像は、上記低解像度画像よりも解像度が高く、かつノイズが除去された画像となる。すなわち、上記の構成によれば、低解像度画像の高解像度化及びノイズ除去を行うことができる。
【００４７】
また、上記複数の低解像度画像には、撮像時の露光時間が異なるものが含まれることが好ましい。
【００４８】
上記の構成によれば、露光時間の等しい低解像度画像を用いた場合と比べて、基準画像のダイナミックレンジを拡大することができ、更新工程における更新によって生成される画像のダイナミックレンジも拡大することができる。
【００４９】
また、上記複数の低解像度画像の空間解像度は、それぞれ同一またはほぼ等しいことが好ましい。
【００５０】
上記の構成によれば、複数の低解像度画像を合成する際の演算が簡略となる。
【００５１】
また、上記合成工程では、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して上記基準画像を生成することが好ましい。
【００５２】
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。
【００５３】
また、上記重み設定工程では、上記第１画素に近接する画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素のそれぞれについて、該画素に近接する画素よりなる第２近接画素群を設定し、上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することが好ましい。
【００５４】
上述のように、画素値差分は、画像に含まれる画素の画素値の正否を判断する判断材料となりうる。そこで、上記の構成によれば、画素値差分を用いて重みを設定している。これにより、重みの信頼性を高め、生成される画像の精度を高めることができる。
【００５５】
例えば、上記重み設定工程では、第１近接画素群及び第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出してもよい。
【００５６】
これにより、画素値差分の大小に応じた重みを設定することができる。
【００５７】
また、上記画像処理方法では、上記更新工程で更新された画素値を有するノイズ除去画像を用いて処理対象画像を更新することによって、該処理対象画像からボケを除去したボケ除去画像を生成するために、上記ノイズ除去画像に含まれるノイズ除去第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、上記信頼度設定工程で設定された信頼度数値と、上記ノイズ除去第１画素の画素値と、上記処理対象画像において上記ノイズ除去第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことが好ましい。
【００５８】
上記の構成によれば、ノイズを除去したノイズ除去画像を用いて処理対象画像を更新している。このため、更新後の画素値に対するノイズの影響を低減して、高精度な画像を生成することができる。
【００５９】
また、本発明のさらに他の画像処理方法は、上記課題を解決するために、一定の周期の繰り返しパターンを有する基準画像からノイズを除去したノイズ除去画像を生成する画像処理方法であって、上記基準画像に含まれる第１画素から上記一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記重み設定工程で設定した重みを用いて、上記画素群に含まれる各画素の画素値を組み合わせることによって、上記ノイズ除去画像において上記第１画素に対応する対応位置の画素の画素値を更新する更新工程とを含むことを特徴としている。
【００６０】
上記の構成において、基準画像は、一定の周期の繰り返しパターンを有しているため、第１画素からこの周期分だけ離れた位置の画素の画素値は、理論上、第１画素と同一となる。すなわち、これらの画素の画素値が相違している場合には、例えばノイズの発生等の要因によって、何れかの画素の画素値が異常な値となっていることが考えられる。
【００６１】
そこで、上記の構成によれば、第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定している。そして、この重みを用いて上記画素群に含まれる各画素の画素値を組み合わせているので、低い計算コストでこれらの画素に生じているノイズを除去することができる。なお、重みを用いて画素値を組み合わせる方法としては、例えば各画素値の重み付け平均をとる方法が挙げられる。無論、ここで適用する重みは、第１画素の画素値との差が大きいほど、その画素値を小さく補正するような重みとなる。
【００６２】
なお、上記ノイズ除去画像の初期値は、上記基準画像とすることが好ましい。
【００６３】
これにより、更新回数を少なくし、演算処理の負担を軽減することができる。
【００６４】
また、上記重み設定工程では、上記ノイズ除去画像において、上記第１画素に対応する位置の画素に近接する画素よりなる第１近接画素群を設定すると共に、上記第１画素群に含まれる画素に対応する位置の画素に近接する画素よりなる第２近接画素群を設定し、上記第１画素群に含まれる各画素の重みを、該画素に対応する第２近接画素群に含まれる各画素の画素値と、上記第１画素群に含まれる各画素の画素値との差分である画素値差分を用いて算出することが好ましい。
【００６５】
上述のように、画素値差分は、画像に含まれる画素の画素値の正否を判断する判断材料となりうる。そこで、上記の構成によれば、画素値差分を用いて重みを設定している。これにより、重みの信頼性を高め、生成される画像の精度を高めることができる。
【００６６】
また、上記重み設定工程では、第１近接画素群及び第２近接画素群に含まれる各画素について、上記画素値差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで算出することが好ましい。
【００６７】
これにより、画素値差分の大小に応じた重みを設定することができる。
【００６８】
また、上記基準画像は、該基準画像よりも空間解像度が低い複数の低解像度画像を合成することによって上記基準画像を生成する合成工程で生成されたものであることが好ましい。
【００６９】
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。つまり、上記画像処理方法で生成されるノイズ除去画像は、上記低解像度画像よりも解像度が高く、かつノイズが除去された画像となる。すなわち、上記の構成によれば、低解像度画像の高解像度化及びノイズ除去を行うことができる。
【００７０】
また、上記複数の低解像度画像には、撮像時の露光時間が異なるものが含まれることが好ましい。
【００７１】
上記の構成によれば、露光時間の等しい低解像度画像を用いた場合と比べて、基準画像のダイナミックレンジを拡大することができ、生成されるノイズ除去画像のダイナミックレンジも拡大することができる。
【００７２】
また、上記複数の低解像度画像の空間解像度は、それぞれ同一またはほぼ等しいことが好ましい。
【００７３】
上記の構成によれば、複数の低解像度画像を合成する際の演算が簡略となる。
【００７４】
また、上記基準画像は、上記複数の低解像度画像のそれぞれについて、低解像度画像と、該低解像度画像の動き演算子の逆数と、該低解像度画像のダウンサンプリング演算子の逆数とを乗じて得た値を合算して生成されたものであることが好ましい。
【００７５】
上記の構成によれば、複数の低解像度画像を合成して、該低解像度画像よりも空間解像度の高い基準画像を生成することができる。
【００７６】
また、上記画像処理方法では、上記更新工程で更新された画素値を有するノイズ除去画像を用いてボケ除去対象画像を更新することによって、該ボケ除去対象画像からボケを除去したボケ除去画像を生成するために、上記ノイズ除去画像に含まれるノイズ除去第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、上記信頼度設定工程で設定された信頼度数値と、上記ノイズ除去第１画素の画素値と、上記ボケ除去対象画像において上記ノイズ除去第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含むことが好ましい。
【００７７】
上記の構成によれば、ノイズを除去したノイズ除去画像を用いてボケ除去対象画像を更新している。このため、更新後の画素値へのノイズの影響を低減して、高精度な画像を生成することができる。
【００７８】
本発明における、上述したおよび他の目的、特徴、および利点は、添付した図面とともに、下記に示す本発明の詳細な説明（実施の形態）を参照することによって、より容易に理解されるだろう。
【発明の効果】
【００７９】
以上のように、本発明の画像処理方法は、処理対象画像に含まれる第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記第１画素の画素値を、該第１画素に対応する位置の上記基準画像の画素の画素値と、上記重み設定工程で決定した重みと、上記画素群に含まれる各画素の画素値とを用いて更新する更新工程とを含む構成である。
【００８０】
また、本発明の他の画像処理方法は、複数の低解像度画像を合成して、該低解像度画像よりも解像度の高い基準画像を生成する合成工程と、上記合成工程で生成した基準画像に含まれる第１画素について、画素値の信頼度を示す信頼度数値を設定する信頼度設定工程と、上記信頼度設定工程で設定された信頼度数値と、上記第１画素の画素値と、上記処理対象画像において上記第１画素に対応する位置の対応画素の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する更新工程とを含む構成である。
【００８１】
そして、本発明のさらに他の画像処理方法は、基準画像に含まれる第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記重み設定工程で設定した重みを、上記画素群に含まれる各画素の画素値に適用して更新する更新工程とを含む構成である。
【００８２】
また、本発明のさらに他の画像処理方法は、基準画像に含まれる第１画素から一定の周期分離れた位置に存在する画素からなる画素群に含まれる各画素に重みを設定する重み設定工程と、上記重み設定工程で設定した重みを用いて、上記画素群に含まれる各画素の画素値を組み合わせることによって、上記ノイズ除去画像において上記第１画素に対応する対応位置の画素の画素値を更新する更新工程とを含む構成である。
【００８３】
したがって、低い計算コストで処理対象画像のボケを除去し、または低い計算コストで基準画像のノイズを除去することができる。
【図面の簡単な説明】
【００８４】
【図１】画像撮像モデルの典型例を示す図である。
【図２】１つ以上の低解像度画像からリサンプリング画像を形成し、リサンプリング画像の画素の信頼性に基づく重みマトリクスを生成し、ボケ画像を繰り返し推定することを含む、本発明に係る典型的な実施形態を示すチャート図である。
【図３】局所変動および正規化を用いたボケ除去を含む、本発明に係る典型的な実施形態を示すチャート図である。
【図４】ボケ除去の前にノイズ除去を含む、本発明に係る典型的な実施形態を示すチャート図である。
【図５】空間の繰り返しパターンを示す画像の一例を表す図である。
【図６】繰り返しパターン、ならびに、当該繰り返しパターンの縦および横の周期を示す図である。
【図７】中央画素の近傍画素を示す図である。
【図８】中央画素の近傍画素、および、関連する画素のパッチを示す図である。
【図９】非局所的な重みの決定、および、入力画像についての非局所的な重み付けされた平均を含む、本発明に係る典型的な実施形態を示すチャート図である。
【図１０】ノイズが除去された画像の繰り返し推定値を漸進的に改良する、非局所的な重みの決定を含む、本発明に係る典型的な実施形態を示すチャート図である。
【図１１】非局所的な正規化拘束項を含む、本発明に係る典型的な実施形態を示すチャート図である。
【図１２】非局所的な正規化拘束項、および、ダイナミックレンジの拡張を含む、本発明に係る典型的な実施形態を示すチャート図である。
【発明を実施するための形態】
【００８５】
本発明に係る実施形態は、上記図面を参照することによって最も明らかとなるだろう。以下の説明において、同様の部材には同様の符号を付している。上述した図面は、この詳細な説明の一部として明白に取り入れられる。
【００８６】
本明細書で記述され、また、図面に図示されている本発明の要素は、様々な異なる構成に改作されてもよく、また、設計されてもよいことは、容易に理解できるだろう。すなわち、本発明の方法およびシステムに係る実施形態について下記に示すより詳細な説明は、本発明の範囲を限定するものではなく、本発明についての現在における好ましい実施形態の代表に過ぎない。
【００８７】
本発明に係る実施形態の要素は、ハードウェア、ファームウェア、および／またはソフトウェアにおいて実現される。本明細書において開示する実施形態では、これらの形態のうち１つのみについて説明するが、当業者が任意の形態においてこれらの要素を実現し得ることは明らかであり、このようにして実現されたものも本発明の範囲に含まれる。
【００８８】
以下の説明において、画像は、例えば、Ｘなどの、マトリクス／ベクトルの概念を用いて表されてもよいし、または同等に、例えば、Ｘ（ｉ，ｊ）もしくはＸなどの、画素値の２次元離散配列として表されてもよい。演算子は、例えば、Ｈなどの、マトリクス／ベクトルの概念を用いて表されてもよいし、または同等に、例えばＨ（ｉ，ｊ）で表されたフィルタなどの、２次元演算子として表されてもよい。なお、畳み込みは、＊で表す。
【００８９】
本発明に係る一実施形態は、１または複数の低解像度画像から高解像度画像を生成する方法およびシステムを含んでいる。低解像度画像は、限られた解像度の、または、望ましい解像度より低い空間解像度のカメラまたはセンサーシステムによって撮像される。一般に、高解像度画像の生成に用いられる低解像度画像は、同一の撮像対象を同一のカメラまたはセンサーシステムで撮像して得られたものであるから、各低解像度画像の空間解像度は、それぞれ同一となるか、またはほぼ等しくなる。低解像度画像は、低解像度画像を得るための画像撮像処理に内在する、１または複数種類の劣化の影響を受けることが多い。画質劣化の一般的な種類には、ボケ、ノイズ、および非線形性が含まれる。ボケは、低解像度画像において、高周波細部（high-frequency detail）がカットされることによって生じる。また、ボケは、カメラの光学素子、画像センサ、および他の要因に起因して生じる。ノイズは、画像センサ、システム電子機器、アナログ・デジタル変換、および他の要因によって引き起こされるランダムな信号変化の一態様である。典型的な非線形性には、飽和率（saturation）および他の要素が含まれる。
【００９０】
（撮像処理モデル）
図１は、ｉ番目の低解像度画像を撮像するための典型的な撮像処理モデル１０を示している。Ｘで表される、理想的な高解像度画像１２は、レンズおよびセンサのボケにより劣化する（ステップ１４）。なお、ステップ１４における、レンズおよびセンサのボケは、ＨＰＳＦで表される点広がり関数（point-spread-function）の組み合わせによって表される。次に、劣化した画像１５は、Ｍｉで表されるセンサ動きによる劣化（動き演算子）の影響を受ける（ステップ１６）。この結果として劣化した画像１７は、続いて、ダウンサンプリングされる（ステップ１８）。なお、ダウンサンプリング演算子は、Ｄｉで表される。次に、Ｖｉで表される付加的なノイズが、ダウンサンプリングされた画像１９に追加される（ステップ２０）。その結果、ｉ番目に撮像された低解像度画像２２は、付加的なノイズを含むこととなる。図１に示される撮像処理モデル１０は、下記式（１）によって表される。
【００９１】
【数１】
2010198599.tif 000003
【００９２】
上記式（１）において、ｉ番目に撮像された低解像度画像２２は、Ｙｉで表される。
【００９３】
本発明に係る一実施形態において、ダウンサンプリング演算子および動き演算子は既知のものであってもよい。ダウンサンプリング演算子および動き演算子が既知である場合には、観測された低解像度画像を１つのリサンプリング画像に組み込むことによって、ダウンサンプリング処理およびセンサ動きの影響を無視できる。リサンプリング画像Ｙresampledは、下記式（２）によって表される。
【００９４】
【数２】
2010198599.tif 000004
【００９５】
上記式（２）において、Ｖは、アップサンプリングされ、動き補償されたノイズ場を示す。また、上記式（２）において、
【００９６】
【数３】
2010198599.tif 000005
【００９７】
は、ｉ番目の低解像度画像２２の撮像に関するセンサ動き演算子の逆関数を示し、
【００９８】
【数４】
2010198599.tif 000006
【００９９】
は、ｉ番目の低解像度画像２２の撮像に関するダウンサンプリング演算子の逆関数を示す。リサンプリング画像Ｙresampledは、カメラのボケＨＰＳＦおよびノイズＶによって、さらに劣化する。
【０１００】
（ボケ除去）
本発明に係る一実施形態は、リサンプリング画像Ｙresampledから、ＨＰＳＦで表されるボケの影響を除去する方法およびシステムを含んでいる。理想的な高解像度画像の推定値は、
【０１０１】
【数５】
2010198599.tif 000007
【０１０２】
と表され、以下の式（３）のように定式化されたコスト関数の最小化によって計算される。
【０１０３】
【数６】
2010198599.tif 000008
【０１０４】
なお、上記式（３）において、Φ（Ｘ）は、下記式（４）によって求められる。
【０１０５】
【数７】
2010198599.tif 000009
【０１０６】
上記式（４）において、Ｃ（Ｘ）は正規化項であり、また、安定化項、拘束項である。式（４）に示すように、高解像度画像は、リサンプリング画像との誤差が小さくなるように更新される。なお、リサンプリング画像は、低解像度画像からリサンプリングした画像であり、ボケを含んでおり、現時点の推定値Ｘとリサンプリング画像との差分を直接求めることはできない。このため、式（４）では、現時点の推定値ＸにボケＨＰＳＦを乗じてリサンプリング画像との差分を取っている。
【０１０７】
本発明に係る一実施形態では、Ｘの推定値を繰り返し計算するために、繰り返し最小化法（iterative minimization methods）を用いてもよい。この実施形態では、最急降下法を用いて、コスト関数の勾配方向の反対方向に、現時点の推定値を更新することによって、現時点の推定値から次の推定値を、繰り返し毎に生成してもよい。ここで、現時点の推定値は、
【０１０８】
【数８】
2010198599.tif 000010
【０１０９】
によって示され、次の推定値は、
【０１１０】
【数９】
2010198599.tif 000011
【０１１１】
によって示される。一実施形態では、初期推定値は、リサンプリング画像に直接的に基づいている。つまり、初期推定値としてリサンプリング画像を適用することもできる。ここで、初期推定値は、
【０１１２】
【数１０】
2010198599.tif 000012
【０１１３】
によって示され、下記式（５）によって決定される。
【０１１４】
【数１１】
2010198599.tif 000013
【０１１５】
一実施形態では、上記式（４）において、λ＝０であるとき、Ｘの推定値は、最小（ＬＳ）解に制約されなくてもよい。この実施形態では、繰り返しの最小化法は、下記式（６）によって与えられる。
【０１１６】
【数１２】
2010198599.tif 000014
【０１１７】
上記式（６）において、βは、ステップサイズ、または、更新重みである。一実施形態において、更新重みβは一定であってもよい。他の実施形態では、繰り返し毎に、更新重みβの最適値が計算されてもよい。この実施形態において、更新重みβの最適値は、現時点の最急降下方向を与えるコスト関数を最小化する値である。本発明に係る一実施形態は、共役勾配最小化法に従って改善された降下方向の計算を含んでいる。他の実施形態では、当業者に知られた他の最小化法を用いてもよい。
【０１１８】
一実施形態では、λ＞０のとき、正規化拘束項（regularization constraint）は、チーホノフ‐ミラー（Tikhonov-Miller）解法に従って、Ｌ２ノルムと組み合わされた線形高域通過フィルタに基づいていてもよい。ここで、正規化拘束項は、
【０１１９】
【数１３】
2010198599.tif 000015
【０１２０】
により示される。一実施形態において、線形高域通過フィルタは、Ｌにより示される２次元ラプラシアンフィルタを含んでいてもよい。この実施形態において、正規化拘束項は下記式（７）に従って決定される。
【０１２１】
【数１４】
2010198599.tif 000016
【０１２２】
一実施形態は、最急降下法を用いた下記式（８）による繰り返し最小化を含んでいてもよい。
【０１２３】
【数１５】
2010198599.tif 000017
【０１２４】
上記式（８）において、βは、ステップサイズ、または、更新重みである。一実施形態は、小さい局所的な空間ウィンドウにおける隣接した画素の重み付けを含む離散ラプラシアンフィルタを含んでいてもよい。
【０１２５】
（ボケ除去：正規化拘束項の他の例）
本発明に係る他の実施形態において、正規化拘束項は全変動（Total Variation；ＴＶ）ノルムに基づいていてもよい。この実施形態において、ＴＶノルムは、勾配振幅のＬ１ノルムとして計算され、正規化拘束項は、下記式（９）に従って決定される。
【０１２６】
【数１６】
2010198599.tif 000018
【０１２７】
上記式（９）において、典型的な離散変形は下記式（１０）によって決定される。
【０１２８】
【数１７】
2010198599.tif 000019
【０１２９】
上記式（１０）において、（ｉ，ｊ）は画素の位置であり、Ｄｉ，ｊ（Ｘ）は下記式（１１）によって与えられる。
【０１３０】
【数１８】
2010198599.tif 000020
【０１３１】
上記式（１１）において、Ｓは、画素の位置（ｉ，ｊ）に近接する局所的近傍を示す。
【０１３２】
一実施形態において、画素の位置（ｉ，ｊ）における局所変動Ｄｉ，ｊ（Ｘ）は、局所的近傍である、隣接した４つの近傍画素を用いて定義されてもよい。この実施形態において、Ｓ＝｛（１，０）、（０，１）、（−１，０）、（０，−１）｝である。他の実施形態において、局所変動は、局所的近傍である、隣接した８つの近傍画素を用いて定義されてもよい。さらなる他の実施形態では、他の局所的近傍が用いられてもよい。最急降下法に基づく最小化を用いるにあたり、一実施形態は、下記式（１２）および式（１３）による繰り返し更新を含んでいてもよい。
【０１３３】
【数１９】
2010198599.tif 000021
【０１３４】
上記式（１２）において、＊は畳み込みを示す。
【０１３５】
【数２０】
2010198599.tif 000022
【０１３６】
αｉ，ｊ，ｌ，ｍは、局所的近傍Ｓのためのデータ適応重みを含んでいる。他の実施形態では、最適化最急降下、共役勾配、および他の最小化アプローチを用いた最小化に準じた繰り返し更新を含んでもよい。
【０１３７】
（ボケ除去：異なる露光時間の利用）
本発明に係る他の実施形態は、複数の異なる露光時間を用いて撮像された複数の低解像度画像から形成されたリサンプリング画像Ｙresampled（基準画像）から、ＨＰＳＦで表されるボケの影響を除去する方法およびシステムを含んでもよい。この実施形態において、リサンプリング画像は、下記式（１４）によって形成される。
【０１３８】
【数２１】
2010198599.tif 000023
【０１３９】
上記式（１４）において、τｉは、ｉ番目に撮像された低解像度画像の露光時間であって、全ての画像（ｉ＝１，・・・，Ｉ）における最大露光時間に基づくものである。このτｉによって、異なる露光時間で撮像された低解像度画像を用いてリサンプリング画像を生成することができる。
【０１４０】
一実施形態では、Ｗにより示される対角重みマトリクスは、リサンプリング画像Ｙresampledに関連付けて定義される。ここで、対角（diagonal）における入力Ｗ（ｉ，ｊ）は、リサンプリング画像Ｙresampledにおける画素（ｉ，ｊ）の信頼度に相当する。つまり、対角重みマトリクスＷは、リサンプリング画像Ｙresampledの各画素について、その画素値の信頼度を示すものである。一実施形態において、信頼度の値は０．０から１．０の間であり、０．０に近い値は、１．０に近い値の信頼度よりも、低い信頼度を有するデータサンプルを示す。ただし、他の実施形態では、他の値が用いられてもよい。ここで、最大画素値または最大画素値に近い画素値を有する画素は、白とびまたは黒つぶれが発生した画素である可能性が高い。このため、一実施形態では、このような画素の寄与を低下させるために、０．０に近い信頼度の値が割り当てられる。
【０１４１】
一実施形態では、ダイナミックレンジの拡大を含むコスト関数は、下記式（１５）によって与えられる。
【０１４２】
【数２２】
2010198599.tif 000024
【０１４３】
上記式（１５）において、Ｗは、信頼度の値を含む重みマトリクスである。一実施形態は、最急降下法に基づく最小化およびＴＶ拘束項を用い、下記式（１６）による繰り返し更新を含んでいてもよい。つまり、式（９）に示す、全変動ノルムに基づく拘束項を含むコスト関数を最小化することによって、高解像度画像（処理対象画像）を更新してもよい。つまり、式（１６）による演算は、信頼度数値と、リサンプリング画像（基準画像）における位置（ｉ，ｊ）の画素（第１画素）の画素値と、処理対象画像における位置（ｉ，ｊ）の画素（対応画素）の画素値と、該対応画素の近傍領域における局所変動の値とを用いて、上記対応画素の画素値を更新する処理に相当する。
【０１４４】
【数２３】
2010198599.tif 000025
【０１４５】
上記式（１６）において、＊は畳み込みを示す。リサンプリング画像には、低解像度画像の露光時間が反映される。コスト関数は、重みマトリクスを含んでいてもよい。ここで、上記のように、式（１６）は、右辺第２項にＷ（ｉ，ｊ）が含まれている点を除けば式（１２）と同じである。つまり、式（１６）を用いた演算によれば、局所変動の値を用いて処理対象画像が更新され、更新された処理対象画像を用いて局所変動の値も更新される。
【０１４６】
この実施形態について、図２および図３を参照して説明する。まず、複数の低解像度画像を受信し（ステップ３０）、低解像度画像からリサンプリング画像が形成される（ステップ３２：合成工程）。ステップ３２では、リサンプリング画像は、上述したように、下記式（１７）によって形成される。
【０１４７】
【数２４】
2010198599.tif 000026
【０１４８】
重みマトリクスは、リサンプリング画像に基づいて生成され（ステップ３４：信頼度設定工程）、ボケが除去された画像の初期推定値が形成される（ステップ３６）。一実施形態において、初期推定値は、リサンプリング画像に基づいている。つまり、リサンプリング画像を初期推定値としてもよい。更新推定値は、ＴＶ拘束項および最小化処理を用いて生成される（ステップ３８：更新工程、式（１６）参照）。繰り返し終了状態であるか否かが調べられ（ステップ４０）、終了状態であれば、先に生成した推定値をボケ除去画像４１として出力して繰り返し処理は終了される（ステップ４２）。終了状態でなければ、先に生成した推定値４３を用いて新しい推定値が生成される（ステップ３８）。なお、繰り返しの終了は、例えば、生成した推定値とリサンプリング画像との誤差が、予め定めた閾値以下であるか否かに応じて判断することもできる。
【０１４９】
図３は、ＴＶ拘束項、および、信頼度重みマトリクスを含む、本発明の典型的な実施形態における繰り返しの一例を示す図である。ボケ演算子は、ＨＰＳＦにより示される既知の点広がり関数５４、Ｙresampledにより示されるリサンプリング画像（基準画像）５２、Ｗにより示される重みマトリクス（信頼度数値）５０、および、
【０１５０】
【数２５】
2010198599.tif 000027
【０１５１】
により示される現時点の推定値（処理対象画像）５６を用いて適用される（ステップ５８）。なお、リサンプリング画像５２および重みマトリクス５０は、図２に示す処理で生成されたものを用いてもよい。局所変動は、現時点の推定値５６を用いて計算される（ステップ６０、式（１１）参照）。正規化演算子（ＴＶ拘束項）は、ステップ６０において計算された局所変動、および現時点の推定値５６を用いて適用される（ステップ６２）。更新方向は、ボケ処理および正規化処理の結果を用いて計算され（ステップ６４）、推定値５６は、新しい推定値６６が生成されることで更新される（更新工程）。
【０１５２】
ボケ除去における主要な問題の１つは、ノイズが増幅される可能性があることである。ノイズは、撮像画像データにそもそも内在しているものであり、ボケの除去においてノイズを無視することは、高解像度画像の有用性が減少するという結果を招く。ボケの除去における正規化項、安定化項、または拘束項の利用は、撮像画像データにおけるノイズを制御または抑制し、また、ノイズの増幅を防ぐ方法の一つである。全変動の拘束項は、ノイズを制御するのに効果的である。しかしながら、この拘束項は、多くの正規化拘束項と同様に、局所的に作用し、少量のボケを再び取り込む可能性がある。拘束の強さは、ノイズが増幅する危険性とボケとのバランスをとるように適切に選択すればよい。
【０１５３】
（ボケ除去に先立つノイズ除去）
本発明に係る実施形態は、図４に示すように、ボケの除去（ステップ７６）に先立って、複数の低解像度画像７０を組み合わせること（ステップ７２、合成工程）によって形成されたリサンプリング画像７３のノイズを除去すること（ステップ７４）を含む。ノイズが除去された画像（ノイズ除去画像）７５は、ボケの除去が行われ（ステップ７６）、高解像度画像の最終的な推定値（ボケ除去画像）７８を形成する。一実施形態は、本明細書で記述する、ボケを除去する方法およびシステムに先だって適用される、周知のノイズ除去法を含んでいてもよい。他の実施形態は、後述する、本発明に係るシステムおよび方法によるノイズ除去を含んでいてもよい。
【０１５４】
本発明に係る一実施形態は、ボケが再び取り込まれる可能性を減少させるようにノイズ除去の能力を改善した、ノイズ除去およびノイズ抑制のための方法およびシステムを含んでいてもよい。また、この実施形態は、非局所的な手段（non-local means）を含んでいてもよい。
【０１５５】
一実施形態は、非局所的な手段の決定を制限するために、画像データにおける繰り返しパターンについての予め取得された情報を利用してもよい。画像データが繰り返しパターンを示す典型例は、特定のテストパターンを表示するように制御されたＬＣＤ（液晶ディスプレイ）パネルを撮像した画像である。結果として得られる画像は、ＬＣＤ画素およびサブ画素の配列を含む。画像において視認されるＬＣＤ画素のパターンは、カメラおよびＬＣＤパネルのセットアップにおける厳格な制御のために非常に均一である。このような画像８０の一例を図５に示す。図５に示される典型的な画像８０について図６に示す。図６に示すように、画像８０は、あるパターンと次のパターンとの間が一定の周期で、縦および横に繰り返される、ＬＣＤ画素のパターンを含んでいる。画像８０は、ｌｘで示される横の周期８４と、ｌｙで示される縦の周期８６とを繰り返すパターン８２を含んでいる。本発明に係る一実施形態では、画像８０における各画素に、極めて類似性が高く、それ故ノイズ除去のための優れた候補を表す、画像の異なる領域における画素が配置されている。
【０１５６】
一部の画像は、白とびや黒つぶれを含んでおり、これらはＬＣＤパネルにおける画素欠陥に相当する。これらの（サブ）画素欠陥は、規則的なパターンにおける例外であり、画像８０を用いてＬＣＤパネルの画素欠陥を検出するためには、これらの例外パターンが、ノイズ除去の後も保持されなければならない。しかし、通常のノイズ除去技術を適用した場合には、このようなＬＣＤパネルの欠陥パターンの視認性を減退させてしまう。これに対し、本発明に係る一実施形態は、この問題を避けることができるデータ適応重みを含んでいる。
【０１５７】
本発明に係る実施形態は、追加的なボケを取り込むことがないため、多くの既存のノイズ除去技術よりも有利である。ボケを除去する前に、本発明に係る実施形態によりノイズを除去することで、ノイズのパワーを減少させることができる。これにより、ボケを除去するときに、正規化拘束の強さを減少させることが可能になる。これは、正規化に起因するボケの危険性を減少させ、さらに、正規化が適用される場合に起こり得る他の影響の危険性を減少させる。
【０１５８】
（ノイズ除去：非繰り返し方法）
本発明に係る一実施形態は、画像のノイズ除去のための、非繰り返し方法およびシステムを含んでいてもよい。この実施形態は、非局所的な近傍画素と、データ適応重みとを用いた、重み付け平均化を含んでいてもよい。この実施形態において、画像は画素毎に処理され、また、処理の対象となる画素（例えば、位置（ｉ，ｊ）における画素）は、中央画素と見なされる。近傍インデックス集合は、下記のように表される。
【０１５９】
【数２６】
2010198599.tif 000028
【０１６０】
上記において、０は処理される中央画素を表し、また、他のインデックス値はノイズ除去において利用される近傍画素を表すものとして定義される。中央画素の周囲における画素のパッチ（第１近接画素群）が定義され、同様に、近傍画素の周囲における画素のパッチ（第２近接画素群）が定義される。パッチサイズは、（２Ａ＋１）×（２Ｂ＋１）画素と定義される（Ａ、Ｂは任意の正数）。なお、他のパッチサイズが用いられてもよい。近傍インデックス集合Ｎは、近傍画素に加えて、近傍パッチについて表すものであってもよい。
【０１６１】
ｎ番目の近傍画素は、画像において、Ｌｎ個の画素によって縦に、かつ、Ｍｎ個の画素によって横にオフセットされる。つまり、ｎ番目の近傍画素は、Ｌｎ個の画素の幅だけ縦方向にオフセットされ、Ｍｎ個の画素の幅だけ横方向にオフセットされる。なお、Ｍｎ、Ｌｎは、理論上、中央画素と同じ画素値を有すると考えられる画素の位置を特定するものである。つまり、一定の周期の繰り返しパターンを有する画像において、中央画素からこの周期分離れた位置の画素は、中央画素と同じ画素値を有すると考えられる。このため、近傍画素をこの周期分だけオフセットして中央画素の画素値と比較することにより、中央画素の画素値の適否を判断することができる。本発明に係る一実施形態では、これらのオフセットは、１つの方向ベクトル（パターン反復方向ベクトル）を用いて定義されてもよい。他の実施形態では、２つの方向ベクトルを用いて定義されてもよい。これらの実施形態において、１つまたは２つの方向ベクトルは、画像平面において、パターンが１つのみの方向に沿って繰り返しされるか、または２つの方向に沿って繰り返しされるか、のいずれであるかによって決まる。第１の方向ベクトルは、ｒ＝〔ｒｘ，ｒｙ〕Ｔと定義される。また、第２の方向ベクトルは、ｓ＝〔ｓｘ，ｓｙ〕Ｔと定義される。図５および図６に示す典型的な画像８０について、図７に示すように、中央画素（第１画素、ノイズ除去第１画素）９０に対して、第１方向ベクトルはｒ＝〔ｌｘ，０〕Ｔ（９１）と定義され、第２方向ベクトルはｓ＝〔０，ｌｙ〕Ｔ（９３）と定義される。近傍画素に対するオフセットは、下記式（１８）によって、方向ベクトルの線形整数結合（linear integer combinations）として定義される。
【０１６２】
【数２７】
2010198599.tif 000029
【０１６３】
上記式（１８）において、ｐｎおよびｑｎは整数である。したがって、縦および横のオフセットは、Ｍｎ＝ｐｎｓｘ＋ｑｎｒｘおよびＬｎ＝ｐｎｓｙ＋ｑｎｒｙの各々によって決定される。
例えば、８つの最近傍オフセット画素は下記式（１９）を用いて決定される。
【０１６４】
【数２８】
2010198599.tif 000030
【０１６５】
図７は、中央画素９０と、下記式（２０）により示されるオフセットされた８つの最も近接した近傍画素（画素群に含まれる画素）９２、９４、９６、９８、１００、１０２、１０４、１０６とを示す図である。
【０１６６】
【数２９】
2010198599.tif 000031
【０１６７】
本発明に係る一実施形態において、近傍は、１つまたは２つの方向ベクトルによって定義された、規則的な格子上に配置された画素に限定される。画像パターンが１つの方向のみに繰り返される場合、１つの方向ベクトルのみが必要とされる。
【０１６８】
本発明に係る一実施形態では、（ｉ，ｊ）に配置された画素（中央画素）のｎ番目の近傍画素に対するノイズ除去重みは、下記式（２１）によって表される。
【０１６９】
【数３０】
2010198599.tif 000032
【０１７０】
上記式（２１）において、ｈはノイズ除去強度に関するパラメータであり、ｈの値が大きい程、ノイズ除去強度がより高いことを示す。この実施形態において、ノイズ除去重みは、中央パッチにおける対応画素と近傍画素との間における画素値の差に基づいていてもよい。また、本発明に係る他の実施形態では、指数関数ｅｘｐを形成する代替の関数を用いてもよい。さらに、本発明に係る一実施形態では、重みは、数学の定式（mathematical formulation）を用いて決定されてもよく、他の実施形態では、ルックアップテーブルなどのような、事前に計算されるマッピング用のデータを用いて決定されてもよい。
【０１７１】
図８は、画像１２０の典型例を示す図である。図８には、典型的な中央画素（第１画素、ノイズ除去第１画素）１３１、および中央画素１３１に関する画素のパッチ（第１近接画素群）１２１が示されている。また、図８には、８つの近傍画素（画素群に含まれる画素）１３２〜１３９、およびそれらに関連するパッチ（第２近接画素群）１２２〜１２９が示されている。
【０１７２】
本実施形態は、図９に表されている。非局所的重み（重み）１５４は、入力画像（基準画像）１５０から計算される（ステップ１５２：重み設定工程）。ステップ１５２では、例えば式（２１）を用いて演算が行なわれる。非局所的重み１５４は、入力画像１５０の非局所的重み付け平均化（ステップ１５６：更新工程）において、入力画像１５０からノイズを除去したノイズ除去画像１５８を形成するために用いられる。このノイズ除去画像１５８の形成には、例えば、後述の式（２２）を用いることができる。本発明に係る一実施形態では、式（２１）、（２２）に示すように、入力画像１５０は、複数の低解像度画像から形成されたリサンプリング画像であってもよい。
【０１７３】
以上のように、本発明に係る一実施形態では、重みは、中央画素に関する近傍画素に対して決定され、中央画素のノイズ除去値は、下記式（２２）によって決定される。そして、このようにして求めたノイズ除去値を有する画素で構成されるノイズ除去画像をリサンプリング画像として用いて、ボケ除去画像を生成してもよい。ボケ除去画像の生成には、例えば、式（１５）（１６）を用いてもよい。これにより、ノイズの影響を低減させた精度の高いボケ除去画像を生成することができる。
【０１７４】
【数３１】
2010198599.tif 000033
【０１７５】
（ノイズ除去：繰り返し方法）
本発明に係る一実施形態は、非局所的な近傍画素およびデータ適応重みを用いて、ノイズを繰り返し除去することを含んでいる。この実施形態では、下記式（２３）により表される、ノイズ除去画像についての現時点の推定値を用いて、繰り返し推定値の各々における重みが決定される。
【０１７６】
【数３２】
2010198599.tif 000034
【０１７７】
現時点の重み推定値と、下記式（２４）に含まれるリサンプリング画像とから、更新されたノイズ除去推定値が生成される。式（２４）に示すように、更新されたノイズ除去推定値は、現時点の重み推定値を用いて、リサンプリング画像（基準画像）の中央画素（位置（ｉ，ｊ）の画素）を基準としてパターン反復方向ベクトルで特定される位置の画素よりなる画素群に含まれる各画素の画素値を組み合わせることによって、現時点のノイズ除去推定値（処理対象画像）を更新することで算出される。
【０１７８】
【数３３】
2010198599.tif 000035
【０１７９】
この実施形態において、ノイズ除去重みは、繰り返しが進むにつれて、継続的に改善される。
【０１８０】
本発明に係る一実施形態では、初期推定値は、直接、リサンプリング画像に基づいている。つまり、初期推定値としてリサンプリング画像を適用することもできる。この実施形態において、初期推定値は、
【０１８１】
【数３４】
2010198599.tif 000036
【０１８２】
と表され、下記式（２５）によって決定される。
【０１８３】
【数３５】
2010198599.tif 000037
【０１８４】
本実施形態は、図１０に表される。この実施形態では、非局所的重み（重み）１６４が、リサンプリング画像（基準画像）１６０から計算される（ステップ１６２）。ステップ１６２では、例えば式（２１）を用いて演算が行なわれる。そして、リサンプリング画像１６０に非局所的重み付け平均化（ステップ１６６）を施して、初期ノイズ除去画像推定値（ノイズ除去画像）１６８を生成する。次の繰り返しでは、現時点のノイズ除去画像推定値１６８から、非局所的重み（重み）１７２が計算される（ステップ１７０、重み設定工程）。ステップ１７０では、例えば式（２３）を用いて演算が行なわれる。現時点のノイズ除去画像推定値に基づく非局所的重み１７２とリサンプリング画像１６０とに、リサンプリング画像１６０の非局所的重み平均化（ステップ１６６）を施すことによって、新たなノイズ除去画像推定値１６８が生成される（更新工程）。この更新工程では、例えば式（２４）を用いて演算が行なわれる。
【０１８５】
繰り返しの一回目には、ノイズ除去重みは、入力画像（リサンプリング画像１６０）から計算される。一方、繰り返しの二回目には、ノイズ除去重みは、前回の繰り返し推定値（ノイズ除去画像推定値１６８）の出力に基づいて計算される。したがって、ノイズ除去重みは、繰り返しによって改善される。
【０１８６】
上述した、ノイズを繰り返し除去する機構は、勾配降下法を用いて連続して最小化されるコスト関数を導入することによって、間接的に導かれる。コスト関数は下記式（２６）によって定義されてもよい。
【０１８７】
【数３６】
2010198599.tif 000038
【０１８８】
上記式（２６）において、ノイズ除去重みは、
【０１８９】
【数３７】
2010198599.tif 000039
【０１９０】
と表され、下記式（２７）によって定義される。
【０１９１】
【数３８】
2010198599.tif 000040
【０１９２】
ノイズ除去のための繰り返し勾配降下アルゴリズムは、
【０１９３】
【数３９】
2010198599.tif 000041
【０１９４】
に関する。
【０１９５】
【数４０】
2010198599.tif 000042
【０１９６】
の勾配（導関数）を決定することによって構成される。
【０１９７】
他のコスト関数が、下記式（２８）によって定義されてもよい。
【０１９８】
【数４１】
2010198599.tif 000043
【０１９９】
勾配を決定することによって、ノイズ除去のための、繰り返し勾配降下アルゴリズムが与えられる。
【０２００】
ノイズ除去の推定値は、依然としてボケを含んでいるので、引き続きボケ除去が行われてもよい。一実施形態において、ボケの除去は、当業者に既知の方法を含んでいてもよい。他の実施形態において、ボケの除去は、コスト関数の最小化および正規化を利用した、本発明の実施形態によるボケの除去を含んでいてもよい。例えば、上記のようにして求めたノイズ除去値を有する画素で構成されるノイズ除去画像をリサンプリング画像として用いて、ボケ除去画像を生成してもよい。そして、ボケ除去画像の生成には、例えば、式（１５）（１６）を用いてもよい。これにより、ノイズの影響を低減させた精度の高いボケ除去画像を生成することができる。
【０２０１】
（ノイズ除去：非局所的な正規化拘束項の利用）
本発明に係る一実施形態は、複数の低解像度観測画像に対応する高解像度画像における繰り返しパターンに基づいた、非局所的な正規化拘束項を利用した、ボケ除去のための方法およびシステムを含んでいてもよい。ここでは、非局所的な正規化拘束項を用いて高解像度画像（処理対象画像）のボケを除去する画像処理方法について説明する。なお、ここでは、ボケ除去の基準となるリサンプリング画像（基準画像）が、複数の低解像度画像から生成された高解像度画像である例について説明するが、これに限られない。つまり、ここで説明するノイズ除去方法におけるリサンプリング画像は、一定の周期の繰り返しパターンを有するものであればよく、特に限定されない。なお、これは上述の各実施形態においても同様であり、リサンプリング画像は、必ずしも複数の低解像度画像から生成された高解像度画像である必要はない。本発明に係る一実施形態は、非局所的な正規化拘束項を含んでおり、これによりノイズ抑制を改善する。ボケ除去に先立って個別にノイズ除去を行うシステムと比較して、非局所的正規化拘束項を含む本発明に係る一実施形態は、計算コストが低くなるという利点を有する。
【０２０２】
理想的な高解像度画像の推定値は、
【０２０３】
【数４２】
2010198599.tif 000044
【０２０４】
と表され、下記式（２９）により定式化されたコスト関数の最小化によって計算されて、ボケの除去とノイズの除去とが同時に行われる。
【０２０５】
【数４３】
2010198599.tif 000045
【０２０６】
上記式（２９）では、下記式（３０）が与えられる。
【０２０７】
【数４４】
2010198599.tif 000046
【０２０８】
また、上記式（３０）において、
【０２０９】
【数４５】
2010198599.tif 000047
【０２１０】
は、中央画素パッチと非局所的近傍パッチとの類似度に基づいたデータ適応ノイズ除去重みである。より詳細には、データ適応ノイズ除去重みは、中央画素パッチに含まれる各画素の画素値と、非局所的近傍パッチに含まれる各画素の画素値とが、ノイズが全く発生していないと仮定した場合に同一またはほぼ同一となることを利用して求めたものであり、下記式（３１）によって与えられる。なお、式（３１）におけるＭｎ、Ｌｎは、式（１８）のＭｎ、Ｌｎと同じものである。つまり、式（３１）を用いた演算は、中央画素のパッチ（第１近接画素群）及び非局所的近傍における画素のパッチ（第２近接画素群）に含まれる各画素について画素値の差分を算出し、該算出した各値を２乗して合算し、さらにノイズ除去強度を示すパラメータを乗じた値の指数をとることで重みを算出する処理に相当する。
【０２１１】
【数４６】
2010198599.tif 000048
【０２１２】
コスト関数を最小化するための繰り返し更新方程式は、勾配降下法を用いて決定される。本発明に係る一実施形態では、繰り返し更新は、下記式（３２）によって実現される。
【０２１３】
【数４７】
2010198599.tif 000049
【０２１４】
上記式（３２）において、＊は畳み込みを示す。式（３２）を用いた演算は、更新後の高解像度画像の（ｉ，ｊ）に位置する画素（第１画素）の画素値を、更新前の高解像度画像の（ｉ，ｊ）に位置する画素（第１画素に対応する位置のリサンプリング画像（基準画像）の画素）の画素値と、上記式（３１）で算出した重みと、上記画素群に含まれる各画素の画素値とを用いて更新する処理に相当する。
【０２１５】
図１１は、複数の低解像度観測に関する高解像度画像における、繰り返しパターンに基づいた非局所的な正規化拘束項を含む、本発明に係る典型的な実施形態における繰り返しの一例を示す図である。ボケ演算子は、既知の点広がり関数１８４、リサンプリング画像（基準画像）１８２、および現時点の推定値（処理対象画像）１８６を用いて適用される（ステップ１８８）。ここで、既知の点広がり関数はＨＰＳＦにより表され、リサンプリング画像はＹresampledにより表され、現時点の推定値は、
【０２１６】
【数４８】
2010198599.tif 000050
【０２１７】
と表される（式（２９）参照）。非局所的重み（重み）は、現時点の推定値１８６を用いて計算される（ステップ１９０：重み設定工程、式（３１）参照）。非局所的正規化演算子は、ステップ１９０にて計算された非局所的重みと現時点の推定値１８６とを用いて適用される（ステップ１９２、式（３０）参照）。更新方向は、ボケ工程と正規化工程との結果を用いて計算され（ステップ１９４）、推定値１８６は、新しい現時点の推定値１９６を生成することによって更新される（更新工程、式（３２）参照）。
【０２１８】
（ノイズ除去：異なる露光時間の利用）
本発明に係る一実施形態では、リサンプリング画像Ｙresampledは、複数の異なる露光時間で撮像された複数の低解像度画像から形成される。なお、リサンプリング画像の生成に用いる複数の低解像度画像は、その撮像時の露光時間がそれぞれ同一であってもよい。しかし、異なる露光時間の低解像度画像を合成してリサンプリング画像を生成した場合には、リサンプリング画像のダイナミックレンジを拡張することができるという利点がある。この実施形態において、リサンプリング画像は、下記式（３３）によって決定される。
【０２１９】
【数４９】
2010198599.tif 000051
【０２２０】
上記式（３３）において、τｉは、ｉ番目に撮像された低解像度画像の露光時間であって、全ての画像（ｉ＝１，・・・，Ｉ）についての最大の露光時間に基づいている。
【０２２１】
一実施形態では、リサンプリング画像Ｙresampledに関して、対角重みマトリクスＷが定義され、対角上の入力Ｗ（ｉ，ｊ）は、リサンプリング画像Ｙresampledにおける画素（ｉ，ｊ）の信頼度に相当する。一実施形態において、信頼度の値は、０．０から１．０の間であり、０．０に近い値は、１．０に近い値の信頼度よりも、低い信頼度を有するデータサンプルを示す。他の実施形態では、他の値が用いられてもよい。一実施形態では、最大画素値または最大画素値に近い画素値を有する画素は、０．０に近い信頼度の値を割り当てられる。
【０２２２】
理想的な高解像度画像について、
【０２２３】
【数５０】
2010198599.tif 000052
【０２２４】
で示される推定値は、ボケ除去とノイズ除去とを同時に実現するために定式化されたコスト関数の最小化によって計算される。ダイナミックレンジ拡張のための計算式は下記式（３４）によって与えられる。
【０２２５】
【数５１】
2010198599.tif 000053
【０２２６】
上記式（３４）において、下記式（３５）が与えられる。
【０２２７】
【数５２】
2010198599.tif 000054
【０２２８】
また、上記式（３５）において、
【０２２９】
【数５３】
2010198599.tif 000055
【０２３０】
は、中央画素パッチに含まれる各画素の画素値と、非局所的近傍パッチに含まれる各画素の画素値との類似度に基づいた、データ適応ノイズ除去重みであり、下記式（３６）によって与えられる。
【０２３１】
【数５４】
2010198599.tif 000056
【０２３２】
コスト関数を最小化するための繰り返し更新方程式は、勾配降下法を用いて決定される。本発明に係る一実施形態における繰り返し更新は、下記式（３７）によって構成される。
【０２３３】
【数５５】
2010198599.tif 000057
【０２３４】
上記式（３７）において、＊は畳み込みを示し、Ｗ（ｉ，ｊ）は信頼度の重みを示す。
【０２３５】
図１２は、それぞれ異なる露光時間で撮像された複数の低解像度観測画像に対応する高解像度画像における、繰り返しパターンに基づいた非局所的な正規化拘束項を含む、本発明に係る一実施形態における繰り返しの一例を示す図である。ボケ演算子は、既知の点広がり関数２０４、リサンプリング画像２０２、信頼度の重み２００、および現時点の推定値２０６を用いて適用される（ステップ２０８）。ここで、既知の点広がり関数はＨＰＳＦと表され、リサンプリング画像はＹresampledと表され、信頼度の重みはＷと表され、現時点の推定値は
【０２３６】
【数５６】
2010198599.tif 000058
【０２３７】
と表される（式（３４）参照）。非局所的重みは、現時点の推定値２０６を用いて計算される（ステップ２１０、式（３６）参照）。非局所的正規化演算子は、ステップ２１０にて計算された非局所的重みと現時点の推定値２０６とを用いて適用される（ステップ２１２、式（３５）参照）。更新方向は、ボケ演算および正規化演算の結果を用いて計算され（ステップ２１４）、推定値２０６は、新しい現時点の推定値２１６を生成することによって更新される（式（３７）参照）。
【０２３８】
以上のように、本発明に係る一実施形態は、入力画像から、ノイズおよびボケのいずれもが除去された画像を繰り返し推定する方法およびシステムを含んでいる。典型的な実施形態は、現時点の画像推定値を用いた、非局所的な重み（non-local weights）の計算を含んでおり、非局所的な重み、現時点の推定値、および入力画像を用いて、新たな画像推定値を生成する。この実施形態において、高解像度画像は、低解像度画像の組み合わせから成る入力画像から推定されてもよい。
【０２３９】
また、本発明に係る他の一実施形態は、非局所的な重みを用いて、画像のノイズを除去する方法およびシステムを含んでいる。この実施形態において、高解像度画像は、低解像度画像の組み合わせから成る入力画像から推定されてもよい。
【０２４０】
そして、本発明に係るさらなる他の一実施形態は、非局所的な重みを用いて、画像のノイズを繰り返し除去する方法およびシステムを含んでいる。この実施形態において、高解像度画像は、低解像度画像の組み合わせから成る入力画像から推定されてもよい。
【０２４１】
また、本発明に係るさらなる他の一実施形態は、局所的拘束項を用いた、画像のボケを繰り返し除去する方法およびシステムを含んでいる。
【０２４２】
以上のように、本発明の画像形成方法は、以下の工程（ａ）〜工程（ｃ）を含むことを特徴としている。
【０２４３】
工程（ａ）；１つの第１画像について、水平成分及び垂直成分より成るパターン反復方向ベクトルを決定する工程、工程（ｂ）；再構成画像の第１画素について、該再構成画像の第１画素群に関連した複数の第１重みを決定する工程、ここで、１）上記第１画素群は、その各画素が、水平方向における第１画素からの水平成分の画素値の近接整数と、垂直方向における第１画素からの垂直成分の画素値の近接数とから特定されるものであり、２）上記第１画素群は、その各画素が、関連する画素値を含むものであり、３）上記第１重みは、上記再構成画像を用いて決定されるものである、工程（ｃ）；上記再構成画像の上記第１画素に関連した位置の上記第１画像における画素の画素値に基づいて、上記再構成画像における上記第１画素に関連した第１画素値を更新するとともに、上記複数の第１重みを用いて上記第１画素群における関連する上記画素値同士の組み合わせを更新する工程。
【０２４４】
また、上記画像形成方法では、Ａ）上記第１画像は、第２画像と、第３画像とを合成する工程によって生成されたものであり、Ｂ）上記第１画像は、上記第２画像の第２空間解像度よりも大きく、且つ、上記第３画像の第３空間解像度よりも大きい第１空間解像度を有していることが好ましい。
【０２４５】
そして、上記画像形成方法では、上記第２空間解像度と上記第３空間解像度とは、ほぼ等しいことが好ましい。
【０２４６】
また、上記第２画像と上記第３画像との合成は、Ａ）上記第２画像に対応する第１逆動き演算子と、Ｂ）上記第３画像に対応する第２逆動き演算子と、Ｃ）上記第２画像に対応する第１逆ダウンサンプリング演算子と、Ｄ）上記第３画像に対応する第２逆ダウンサンプリング演算子と、含むことが好ましい。
【０２４７】
さらに、Ａ）上記再構成画像の上記第１画素の位置に対応した上記第１画像の位置において、上記第１画像の画素値の信頼度数値を対応付けし、Ｂ）１）第２画像と第３画像とを合成する上記工程は、上記第２画像を撮像したときの露光時間である第１露光時間と、上記第３画像を撮像したときの第２露光時間とに基づいており、２）上記更新は、さらに、上記信頼度数値に基づいて行われるものであってもよい。
【０２４８】
また、上記再構成画像を上記第１画像に初期化する工程をさらに含むことが好ましい。
【０２４９】
そして、複数の第１重みを決定する工程は、上記第１画素群および上記第１画素における第２画素に対して、画素値差分を算出する工程をさらに含み、該画素値差分とは、上記第１画素に近接する第１近傍における画素群と、上記第２画素に近接する第２近傍の画素群との、画素値の差分であることが好ましい。
【０２５０】
また、Ａ）上記差分を二乗する工程と、Ｂ）上記二乗された差分を加算する工程と、Ｃ）上記二乗され加算された差分を第１パラメータに基づいて調整する工程と、Ｄ）上記二乗され加算され調整された差分の指数をとる工程とをさらに含むことが好ましい。
【０２５１】
そして、本発明の画像形成方法は、以下の工程（ａ）〜工程（ｃ）を含むことを特徴とする。すなわち、工程（ａ）；第１画像を撮像したときの第１露光時間と、第２画像を撮像したときの第２露光時間とを用いて該第１画像と該第２画像とを合成することによって、該第１画像の第１空間解像度よりも大きく、且つ、該第２画像の２空間解像度よりも大きい空間解像度を有する合成画像を生成する工程、工程（ｂ）；上記合成画像における第１画素に信頼度数値を対応付ける工程、工程（ｃ）；上記信頼度数値に基づき、再構成画像において、上記合成画像における上記第１画素に対応する位置の第１画素値と、上記合成画像における上記第１画素に対応付けられた値と、上記位置に隣接した領域における上記再構成画像の局所変動の値とを更新する工程。
【０２５２】
また、上記第１空間解像度と上記第２空間解像度とは、ほぼ等しいことが好ましい。
【０２５３】
そして、上記領域は、４つの隣接する画素からなることが好ましい。
【０２５４】
また、上記合成画像を生成する工程では、Ａ）上記第１画像に対応する第１逆動き演算子と、Ｂ）上記第２画像に対応する第２逆動き演算子と、Ｃ）上記第１画像に対応する第１逆ダウンサンプリング演算子と、Ｄ）上記第２画像に対応する第２逆ダウンサンプリング演算子とを含むことが好ましい。
【０２５５】
そして、上記更新する工程では、全変動ノルムに基づいた第１拘束項を含んだ第１コスト関数の最小化を含むことが好ましい。
【０２５６】
また、本発明の画像形成方法は、以下の工程（ａ）〜工程（ｃ）を含むことを特徴としている。すなわち、工程（ａ）；１つの第１画像に関して、水平成分及び垂直成分を含んだパターン反復方向ベクトルを決定する工程、工程（ｂ）；上記第１画像における第１画素に対して、上記第１画像における第１画素群に関連した複数の第１重みを決定する工程であって、上記第１画素群は、その各画素が、水平方向における第１画素からの水平成分の画素値における近接整数と、垂直方向における第１画素からの垂直成分の画素値における近接数とから特定されるものであり、且つ、該各画素は関連する画素値を含むものであり、工程（ｃ）；上記第１画像における上記第１画素に対応する位置にて、上記複数の第１重みを用いて上記第１画素群の対応する画素値を合成することによって、ノイズ除去された画像における第１ノイズ除去画素値を決定する工程。
【０２５７】
そして、Ａ）上記第１画像は、第２画像と、第３画像とを合成する工程によって生成されるものであり、Ｂ）上記第１画像は、上記第２画像の第２空間解像度よりも大きく、且つ、上記第３画像の第３空間解像度よりも大きい第１空間解像度を有していることが好ましい。
【０２５８】
また、第２画像と第３画像とを合成する上記工程では、上記第２画像を撮像したときの第１露光時間と、上記第３画像を撮像したときの第２露光時間とを用いることが好ましい。
【０２５９】
そして、上記第２空間解像度と上記第３空間解像度とは、ほぼ等しいことが好ましい。
【０２６０】
また、上記第２画像と上記第３画像との合成は、Ａ）上記第２画像に対応する第１逆動き演算子と、Ｂ）上記第３画像に対応する第２逆動き演算子と、Ｃ）上記第２画像に対応する第１逆ダウンサンプリング演算子と、Ｄ）上記第３画像に対応する第２逆ダウンサンプリング演算子とを含むことが好ましい。
【０２６１】
そして、複数の第１重みを決定する工程は、上記第１画素群および上記第１画素における第２画素に対して、画素値差分を算出する工程をさらに含み、該画素値差分とは、上記第１画素に近似する第１隣接における対応する画素群と、上記第２画素に近似する第２隣接との差分であることが好ましい。
【０２６２】
また、Ａ）上記差分を二乗する工程と、Ｂ）上記二乗された差分を加算する工程と、Ｃ）上記二乗され加算された差分を第１パラメータに基づいて調整する工程と、Ｄ）上記二乗され加算され調整された差分の指数をとる行程とをさらに含むことが好ましい。
【０２６３】
さらに、Ａ）上記ノイズ除去画素と信頼度数値とを関連付ける工程と、Ｂ）上記信頼度数値に基づいて、上記ノイズ除去画像における上記第１ノイズ除去画素に対応する位置の、再構成画像における第１画素値と、上記ノイズ除去画像における上記第１ノイズ除去画素に対応する値と、上記第１ノイズ除去画素に対応する上記位置に隣接した領域における上記再構成画像の局所変動の値とを更新する工程とを含む構成であってもよい。
【０２６４】
また、本発明の画像形成方法は、以下の工程（ａ）〜工程（ｃ）を含むことを特徴とする。すなわち、工程（ａ）；１つの第１画像に関して、水平成分及び垂直成分を含んだパターン反復方向ベクトルを決定する工程、工程（ｂ）；上記第１画像の第１画素に関して、第１画像の第１画素群に対応する複数の第１重みを決定する工程、ここで、１）上記第１画素群は、その各画素が、水平方向における第１画素からの水平成分の画素値における近接整数と、垂直方向における第１画素からの垂直成分の画素値における近接数とから特定されるものであり、２）上記第１画素群は、その各画素が、関連する画素値を含むものであり、３）上記重みは、上記第１画像に対応付けられたノイズ除去画像を用いて決定されるものである、工程（ｃ）；上記第１重みを用いて上記第１画素群の関連する画素値を合成することによって、上記ノイズ除去画像の、上記第１画像の第１画素に対応する位置に存在する第１ノイズ除去画素の値を更新する工程。
【０２６５】
そして、上記ノイズ除去画像を上記第１画像に初期化する工程をさらに含むことが好ましい。
【０２６６】
また、複数の第１重みを決定する工程は、上記複数の第１画素群からの上記第１画像における第２画素位置に対応する上記ノイズ除去画像における第２画素に対して、且つ、上記第１画像における上記第１画素に対応する上記ノイズ除去画像における第１画素位置に対して、画素値差分を算出する工程をさらに含み、該画素値差分とは、上記ノイズ除去画像における上記第１画素位置に近似する第１近傍における対応する画素群と、上記ノイズ除去画像における上記第２画素位置に近似する第２隣接との差分であることが好ましい。
【０２６７】
そして、Ａ）上記差分を二乗する工程と、Ｂ）上記二乗された差分を加算する工程と、Ｃ）上記二乗され加算された差分を第１パラメータに基づいて調整する工程と、Ｄ）上記二乗され加算され調整された差分の指数をとる工程とをさらに含むことが好ましい。
【０２６８】
また、Ａ）上記第１画像は、第２画像と、第３画像とを合成する工程によって生成されるものであり、Ｂ）上記第１画像は、上記第２画像の第２空間解像度よりも大きく、且つ、上記第３画像の第３空間解像度よりも大きい第１空間解像度を有していることが好ましい。
【０２６９】
そして、第２画像と第３画像とを合成する上記工程では、上記第２画像を撮像したときの第１露光時間と、上記第３画像を撮像したときの第２露光時間とを用いることが好ましい。
【０２７０】
また、上記第２空間解像度と上記第３空間解像度とは、ほぼ等しいことが好ましい。
【０２７１】
そして、上記第２画像と上記第３画像との合成は、Ａ）上記第２画像に対応する第１逆動き演算子と、Ｂ）上記第３画像に対応する第２逆動き演算子と、Ｃ）上記第２画像に対応する第１逆ダウンサンプリング演算子と、Ｄ）上記第３画像に対応する第２逆ダウンサンプリング演算子とを含むことが好ましい。
【０２７２】
さらに、Ａ）上記ノイズ除去画素と信頼度数値とを対応付ける工程と、Ｂ）上記信頼度数値に基づいた上記ノイズ除去画像における上記第１ノイズ除去画素に対応する位置にて再構成画像における第１画素値と、上記ノイズ除去画像における上記第１ノイズ除去画素に対応する値と、上記第１ノイズ除去画素に対応する上記位置に隣接した領域における上記再構成画像の局所変動の値とを更新する工程とを含むことが好ましい。
【０２７３】
上述した説明において採用された用語や表現は、説明のための用語として用いられるものであり、何ら限定を伴うものではない。また、ここで説明された特徴に相当するもの、またはその一部を除いて、これらの用語および表現の使用において何ら意図はない。本発明の範囲は、以下の請求項によってのみ定義され、限定されるものであることは明らかである。
【産業上の利用可能性】
【０２７４】
画像の高解像度化を行う装置に好適に適用できる。例えば、液晶表示パネルの品質検査を行う検査装置では、液晶表示パネルのカラーフィルタを撮像した高解像度の画像が必要となるため、このような検査装置における、カラーフィルタを撮像した画像の高解像度化等に好適に適用できる。
【符号の説明】
【０２７５】
５０  重みマトリクス（信頼度数値）
５２  リサンプリング画像（基準画像）
５４  現時点の推定値（処理対象画像）
７０  低解像度画像
７３  リサンプリング画像（基準画像）
７５  ノイズが除去された画像（ノイズ除去画像）
７８  最終的な推定値（ボケ除去画像）
９０  中央画素（第１画素、ノイズ除去第１画素）
９２、９４、９６、９８、１００、１０２、１０４、１０６  近傍画素（画素群に含まれる画素）
１２１  パッチ（第１近接画素群）
１２２〜１２９  パッチ（第２近接画素群）
１３１  中央画素（第１画素、ノイズ除去第１画素）
１３２〜１３９  近傍画素（画素群に含まれる画素）
１５０  入力画像（基準画像）
１５４  非局所的重み（重み）
１５８  ノイズ除去画像
１６０  リサンプリング画像（基準画像）
１６４  非局所的重み（重み）
１６８  ノイズ除去画像推定値（ノイズ除去画像）
１７２  非局所的重み（重み）
１８２  リサンプリング画像（基準画像）
１８６、１９６  現時点の推定値（処理対象画像）
【図１】
2010198599.tif 000059
【図２】
2010198599.tif 000060
【図３】
2010198599.tif 000061
【図４】
2010198599.tif 000062
【図８】
2010198599.tif 000063
【図９】
2010198599.tif 000064
【図１０】
2010198599.tif 000065
【図１１】
2010198599.tif 000066
【図１２】
2010198599.tif 000067
【図５】
2010198599.tif 000068
【図６】
2010198599.tif 000069
【図７】
2010198599.tif 000070