(57)【要約】【課題】ノイズの発散の問題を回避でき、オリジナル画像から超解像画像を生成できる画像処理方法、画像処理装置、及び画像処理プログラムを提供する。【解決手段】この画像処理方法は、オリジナル画像Ｏの画素数以上の画素数を有する理想画像ＩをＰＳＦによって畳み込み演算して予測画像Ｐを生成する第１のステップと、予測画像Ｐからオリジナル画像Ｏを差分処理してエラー画像Ｅを生成する第２のステップと、エラー画像Ｅを係数α（０＜α＜１）で乗算したＰＳＦによって逆畳み込み演算し、理想画像Ｉから当該逆畳み込み演算後の画像を差分処理して差分画像Ｄを生成する第３のステップと、を備え、差分画像Ｄを新たな理想画像Ｉとして上記ステップを複数回繰り返して超解像画像ＳＲを得る。【選択図】図１
2019144807.tif 000002
【特許請求の範囲】
【請求項１】
オリジナル画像から超解像画像を生成する画像処理方法であって、
前記オリジナル画像の画素数以上の画素数を有する理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第１のステップと、
前記予測画像から前記オリジナル画像を差分処理してエラー画像を生成する第２のステップと、
前記エラー画像を係数α（０＜α＜１）で乗算した点拡がり関数によって逆畳み込み演算し、前記理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第３のステップと、を備え、
前記差分画像を新たな理想画像として前記第１のステップ〜前記第３のステップを複数回繰り返して超解像画像を得る画像処理方法。
【請求項２】
前記第１のステップでは、前記オリジナル画像に基づいて初回の理想画像を生成する請求項１記載の画像処理方法。
【請求項３】
前記第１のステップでは、前記オリジナル画像の各画素の画素値の平均値を初回の理想画像の各画素の画素値とする請求項１又は２記載の画像処理方法。
【請求項４】
前記第１のステップ〜前記第３のステップを１０回以上繰り返す請求項１〜３のいずれか一項記載の画像処理方法。
【請求項５】
前記第１のステップ〜前記第３のステップの繰り返しを行う度に前記第３のステップで用いる前記係数αを徐々に小さくしていく請求項１〜４のいずれか一項記載の画像処理方法。
【請求項６】
前記第１のステップでは、前記理想画像の画素数を前記オリジナル画像の画素数の奇数倍とする請求項１〜５のいずれか一項記載の画像処理方法。
【請求項７】
前記オリジナル画像から前記第１のステップ〜前記第３のステップを複数回繰り返したときに生成される前記エラー画像を差分処理して修正オリジナル画像を生成する第４のステップを更に備える請求項１〜６のいずれか一項記載の画像処理方法。
【請求項８】
前記修正オリジナル画像を新たなオリジナル画像とし、前記第１のステップ〜前記第３のステップを複数回繰り返して超解像画像を得る請求項７記載の画像処理方法。
【請求項９】
オリジナル画像から超解像画像を生成する画像処理部を備えた画像処理装置であって、
前記画像処理部は、
前記オリジナル画像の画素数以上の画素数を有する理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第１の処理部と、
前記予測画像から前記オリジナル画像を差分処理してエラー画像を生成する第２の処理部と、
前記エラー画像を係数α（０＜α＜１）で乗算した点拡がり関数によって逆畳み込み演算し、前記理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第３の処理部と、を有し、
前記差分画像を新たな理想画像として前記第１の処理部〜前記第３の処理部の各処理を複数回繰り返して超解像画像を得る画像処理装置。
【請求項１０】
前記第１の処理部は、前記オリジナル画像に基づいて初回の理想画像を生成する請求項９記載の画像処理装置。
【請求項１１】
前記第１の処理部は、前記オリジナル画像の各画素の画素値の平均値を初回の理想画像の各画素の画素値とする請求項９又は１０記載の画像処理装置。
【請求項１２】
前記画像処理部は、前記第１の処理部〜前記第３の処理部の各処理を１０回以上繰り返す請求項９〜１１のいずれか一項記載の画像処理装置。
【請求項１３】
前記画像処理部は、前記第１の処理部〜前記第３の処理部の各処理を繰り返し行う度に前記第３の処理部で用いる前記係数αを徐々に小さくしていく請求項９〜１２のいずれか一項記載の画像処理装置。
【請求項１４】
前記第１の処理部では、前記理想画像の画素数を前記オリジナル画像の画素数の奇数倍とする請求項９〜１３のいずれか一項記載の画像処理装置。
【請求項１５】
前記画像処理部は、前記オリジナル画像から前記第１の処理部〜前記第３の処理部の各処理を複数回繰り返したときに生成される前記エラー画像を差分処理して修正オリジナル画像を生成する第４の処理部を更に備える請求項９〜１４いずれか一項記載の画像処理装置。
【請求項１６】
前記画像処理部は、前記修正オリジナル画像を新たなオリジナル画像とし、前記第１の処理部〜前記第３の処理部の各処理を複数回繰り返して超解像画像を得る請求項１５記載の画像処理装置。
【請求項１７】
オリジナル画像から超解像画像を生成する画像処理プログラムであって、
前記オリジナル画像の画素数以上の画素数を有する理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第１の処理と、
前記予測画像から前記オリジナル画像を差分処理してエラー画像を生成する第２の処理と、
前記エラー画像を係数α（０＜α＜１）で乗算した点拡がり関数によって逆畳み込み演算し、前記理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第３の処理と、
前記差分画像を新たな理想画像として前記第１の処理〜前記第３の処理の各処理を複数回繰り返して超解像画像を得る処理と、をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。
【背景技術】
【０００２】
超解像技術は、動画や静止画などの画像の解像度を高める画像処理技術であり、テレビなどの分野のほか、デジタルカメラ、半導体露光装置、光学顕微鏡といった各種分野への応用が期待されている（例えば非特許文献１，２参照）。超解像技術の方式としては、例えば学習型方式、再構成型方式などが挙げられる。学習型超解像技術は、解析画像から推定した劣化画像をデータベース化し、取得画像をデータベースと照合して劣化前の画像を特定する手法である。また、再構成型方式は、複数の低解像画像を基に高解像度画像を推定する手法である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】W.T.Freeman, T.R.Jones and E.C. Pasztor "Exapple-BasedSupper-resolution"IEEE Computer Graphics and Applucations, 22,2,Pages 56-65 (2002)
【非特許文献２】S.C.Park, M.K.Park and M.G.Kang:"Super-Resolution ImageReconstruction: A Technical Overview" IEEE Signal Processing Magazine 20,3Pages21-36 (2003)
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像の解像度を向上させる技術としては、デコンボリューションと呼ばれる手法が知られている。デコンボリューションは、装置に起因する画像のボケ（点拡がり関数）を取得画像から除去する手法である。一般的なデコンボリューションは、取得した取得画像の輝度値をフーリエ変換し、これを点拡がり関数のフーリエ変換値で除算することによってオリジナル画像を求めるものである。しかしながら、実際に取得される取得画像にはノイズが含まれるため、この手法を超解像技術に適用しようとしても、ノイズの発散が問題となる。
【０００５】
本開示は、上記課題の解決のためになされたものであり、ノイズの発散の問題を回避でき、オリジナル画像から超解像画像を生成できる画像処理方法、画像処理装置、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示は、オリジナル画像から超解像画像を生成する画像処理方法であって、オリジナル画像の画素数以上の画素数を有する理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第１のステップと、予測画像からオリジナル画像を差分処理してエラー画像を生成する第２のステップと、エラー画像を係数α（０＜α＜１）で乗算した点拡がり関数によって逆畳み込み演算し、理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第３のステップと、を備え、差分画像を新たな理想画像として第１のステップ〜第３のステップを複数回繰り返して超解像画像を得る。
【０００７】
この画像処理方法では、第１のステップ〜第３のステップのループで得られた差分画像を新たな理想画像として第１のステップ〜第３のステップの次のループを実行する。このループを繰り返し実行することで、エラーが最小化するように理想画像が徐々に修正され、理想画像を真の値に近づけることができる。また、理想画像の画素数は、オリジナル画像の画素数以上となっている。したがって、オリジナル画像から超解像画像を生成することが可能となる。また、この処理では、オリジナル画像のノイズは理想画像とは無関係であるため、ノイズの発散の問題も回避できる。
【０００８】
また、第１のステップでは、オリジナル画像に基づいて初回の理想画像を生成してもよい。これにより、初回の理想画像がオリジナル画像から大きく乖離してしまうことを防止できる。
【０００９】
また、第１のステップでは、オリジナル画像の各画素の画素値の平均値を初回の理想画像の各画素の画素値としてもよい。これにより、初回の理想画像がオリジナル画像から大きく乖離してしまうことをより確実に防止できる。
【００１０】
また、この画像処理方法では、第１のステップ〜第３のステップを１０回以上繰り返してもよい。これにより、十分な解像度を有する超解像画像を得ることができる。
【００１１】
また、この画像処理方法では、第１のステップ〜第３のステップの繰り返しを行う度に第３のステップで用いる係数αを徐々に小さくしていってもよい。これにより、エラーが最小化するような理想画像の修正を好適に実行できる。
【００１２】
また、第１のステップでは、理想画像の画素数をオリジナル画像の画素数の奇数倍としてもよい。これにより、画素中心からの対称性を確保でき、デコンボリューション処理の実行が容易なものとなる。
【００１３】
また、この画像処理方法は、オリジナル画像から第１のステップ〜第３のステップを複数回繰り返したときに生成されるエラー画像を差分処理して修正オリジナル画像を生成する第４のステップを更に備えていてもよい。第４ステップの実行により、オリジナル画像からノイズが除去された修正オリジナル画像を得ることができる。
【００１４】
また、修正オリジナル画像を新たなオリジナル画像とし、第１のステップ〜前記第３のステップを複数回繰り返して超解像画像を得てもよい。これにより、ノイズが除去された超解像画像を得ることが可能となる。
【００１５】
また、本開示は、オリジナル画像から超解像画像を生成する画像処理部を備えた画像処理装置であって、画像処理部は、オリジナル画像の画素数以上の画素数を有する理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第１の処理部と、予測画像からオリジナル画像を差分処理してエラー画像を生成する第２の処理部と、エラー画像を係数α（０＜α＜１）で乗算した点拡がり関数によって逆畳み込み演算し、理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第３の処理部と、を有し、差分画像を新たな理想画像として第１の処理部〜第３の処理部の各処理を複数回繰り返して超解像画像を得る。
【００１６】
この画像処理装置では、第１の処理部〜第３の処理部の各処理のループで得られた差分画像を新たな理想画像として第１の処理部〜第３の処理部の各処理の次のループが実行される。このループが繰り返し実行されることで、エラーが最小化するように理想画像が徐々に修正され、理想画像を真の値に近づけることができる。また、理想画像の画素数は、オリジナル画像の画素数以上となっている。したがって、オリジナル画像から超解像画像を生成することが可能となる。また、この処理では、オリジナル画像のノイズは理想画像とは無関係であるため、ノイズの発散の問題も回避できる。
【００１７】
また、第１の処理部は、オリジナル画像に基づいて初回の理想画像を生成してもよい。これにより、初回の理想画像がオリジナル画像から大きく乖離してしまうことを防止できる。
【００１８】
また、第１の処理部は、オリジナル画像の各画素の画素値の平均値を初回の理想画像の各画素の画素値としてもよい。これにより、初回の理想画像がオリジナル画像から大きく乖離してしまうことをより確実に防止できる。
【００１９】
また、画像処理部は、第１の処理部〜第３の処理部の各処理を１０回以上繰り返してもよい。これにより、十分な解像度を有する超解像画像を得ることができる。
【００２０】
また、画像処理部は、第１の処理部〜第３の処理部の各処理を繰り返し行う度に第３の処理部で用いる係数αを徐々に小さくしていってもよい。これにより、エラーが最小化するような理想画像の修正を好適に実行できる。
【００２１】
また、第１の処理部では、理想画像の画素数をオリジナル画像の画素数の奇数倍としてもよい。これにより、画素中心からの対称性を確保でき、デコンボリューション処理の実行が容易なものとなる。
【００２２】
また、画像処理部は、オリジナル画像から第１の処理部〜第３の処理部の各処理を複数回繰り返したときに生成されるエラー画像を差分処理して修正オリジナル画像を生成する第４の処理部を更に備えていてもよい。第４処理部での処理の実行により、オリジナル画像からノイズが除去された修正オリジナル画像を得ることができる。
【００２３】
また、画像処理部は、修正オリジナル画像を新たなオリジナル画像とし、第１の処理部〜第３の処理部の各処理を複数回繰り返して超解像画像を得てもよい。これにより、ノイズが除去された超解像画像を得ることが可能となる。
【００２４】
また、本開示は、オリジナル画像から超解像画像を生成する画像処理プログラムであって、オリジナル画像の画素数以上の画素数を有する理想画像を点拡がり関数によって畳み込み演算して予測画像を生成する第１の処理と、予測画像からオリジナル画像を差分処理してエラー画像を生成する第２の処理と、エラー画像を係数α（０＜α＜１）で乗算した点拡がり関数によって逆畳み込み演算し、理想画像から当該逆畳み込み演算後の画像を差分処理して差分画像を生成する第３の処理と、差分画像を新たな理想画像として第１の処理〜第３の処理の各処理を複数回繰り返して超解像画像を得る処理と、をコンピュータに実行させる。
【００２５】
この画像処理プログラムを実行したコンピュータでは、第１の処理〜第３の処理の各処理のループで得られた差分画像を新たな理想画像として第１の処理〜第３の処理の各処理の次のループが実行される。このループが繰り返し実行されることで、エラーが最小化するように理想画像が徐々に修正され、理想画像を真の値に近づけることができる。また、理想画像の画素数は、オリジナル画像の画素数以上となっている。したがって、オリジナル画像から超解像画像を生成することが可能となる。また、この処理では、オリジナル画像のノイズは理想画像とは無関係であるため、ノイズの発散の問題も回避できる。
【発明の効果】
【００２６】
本開示によれば、ノイズの発散の問題を回避でき、オリジナル画像から超解像画像を生成できる。
【図面の簡単な説明】
【００２７】
【図１】画像処理装置の一実施形態を示す概略構成図である。
【図２】図１に示した画像処理装置の動作の一例を示すフローチャートである。
【図３】デコンボリューション処理の一例を示すフローチャートである。
【図４】デコンボリューション処理の１ｓｔループにおける画像例を示す図である。
【図５】エラー画像の逆畳み込み演算の一例を示す図である。
【図６】デコンボリューション処理の２ｎｄループ〜２９ｔｈループにおける画像例を示す図である。
【図７】デコンボリューション処理の３０ｔｈループにおける画像例を示す図である。
【図８】ノイズ除去処理の一例を示すフローチャートである。
【図９】ノイズ除去処理における画像例を示す図である。
【図１０】オリジナル画像の修正演算の一例を示す図である。
【図１１】画像処理プログラム及びその記録媒体の一例を示すブロック図である。
【図１２】画像処理装置の変形例を示す概略構成図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら、本発明の一側面に係る画像処理方法、画像処理装置、及び画像処理プログラムの好適な実施形態について詳細に説明する。
【００２９】
図１は、画像処理装置の一実施形態を示す概略構成図である。同図に示す画像処理装置１は、サンプルＳについて取得したオリジナル画像に基づいて、ノイズが除去された超解像画像を生成する装置として構成されている。ここでの超解像画像とは、オリジナル画像の解像度よりも高い解像度（分解能）を有する画像であり、光学限界を超えた解像度を有する画像に限られない。サンプルＳとしては、特に制限はないが、例えばヒトや動物等の生体組織、光デバイスや電子デバイスといった各種デバイスなどが挙げられる。
【００３０】
画像処理装置１は、図１に示すように、カメラ２と、コンピュータ３とを備えて構成されている。カメラ２は、イメージセンサ４と、画像制御部５とを有している。イメージセンサ４は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の１次元或いは２次元センサである。イメージセンサ４は、対物レンズ６を通して結像光学系７で結像したサンプルＳからの光Ｌを撮像し、撮像結果に基づくデジタル信号を画像制御部５に出力する。サンプルＳからの光Ｌは、サンプルＳの種類によって異なるが、例えばサンプルＳから発生する蛍光等の発光、サンプルＳでの反射光或いは透過光などである。
【００３１】
画像制御部５は、イメージセンサ４からのデジタル信号に基づく画像処理を実行する。画像制御部５は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いはＦＰＧＡ（field-programmable gate array）等によって構成されている。画像制御部５は、イメージセンサ４から受け取ったデジタル信号に基づいてデジタル画像を生成し、生成したデジタル画像に所定の画像処理を加えた上でコンピュータ３に出力する。以下の説明では、カメラ２からコンピュータ３に出力されたデジタル画像を「オリジナル画像」と称する。
【００３２】
コンピュータ３は、カメラ２から出力されるデジタル画像に対して画像処理を行い、ノイズが除去された超解像画像を生成する装置である。コンピュータ３は、有線又は無線により、カメラ２と相互に通信可能に接続されている。コンピュータ３は、例えばＲＡＭ、ＲＯＭ等のメモリ、及びＣＰＵ等のプロセッサ、通信インターフェイス、ハードディスク等の格納部を備えて構成されている。かかるコンピュータとしては、例えばパーソナルコンピュータ、マイクロコンピュータ、クラウドサーバ、スマートデバイス（スマートフォン、タブレット端末など）などが挙げられる。
【００３３】
コンピュータ３には、モニタ等の表示装置８及びキーボード、マウス、タッチパネル等の入力装置９が接続されている。表示装置８には、コンピュータ３で処理された各種画像等が表示される。また、入力装置９からは、ユーザの操作に基づいて、動作の開始、条件設定といった各種入力情報がコンピュータ３に対して送信される。
【００３４】
コンピュータ３は、カメラ２から入力されたオリジナル画像に基づいて、ノイズが除去された超解像画像を生成する画像処理部１１を有している。画像処理部１１は、ＦＰＧＡのような集積回路によって構成されていてもよい。画像処理部１１は、第１の処理部１２と、第２の処理部１３と、第３の処理部１４と、第４の処理部１５とを有している。第１の処理部１２、第２の処理部１３、及び第３の処理部１４は、画像処理の第１ステージとして、デコンボリューション処理を実行する。また、第４の処理部１５は、画像処理の第２ステージとして、デコンボリューション処理実行の後にノイズ除去処理を実行する。
【００３５】
以下、画像処理部１１による処理を含めた画像処理装置１の動作について説明する。
【００３６】
図２は、画像処理装置１の動作の一例を示すフローチャートである。同図に示すように、画像処理装置１では、まず、カメラ２によるサンプルＳの撮像が行われる（ステップＳ０１）。カメラ２では、サンプルＳのデジタル画像がオリジナル画像Ｏ（図４参照）として生成され、当該オリジナル画像がコンピュータ３に出力される（ステップＳ０２）。
【００３７】
オリジナル画像Ｏが入力されたコンピュータ３では、画像処理の第１ステージとして、デコンボリューション処理が実行される（ステップＳ０３）。デコンボリューション処理では、第１の処理部１２、第２の処理部１３、及び第３の処理部１４での各処理がこの順番に複数回繰り返し実行される。デコンボリューション処理の繰り返し数は、１０回以上であることが好ましく、本実施形態では３０回である。デコンボリューション処理の実行後、画像処理の第２ステージとして、第４の処理部１５によるノイズ除去処理が実行される（ステップＳ０４）。ノイズ除去処理の実行後、デコンボリューション処理が再実行される（ステップＳ０５）。
【００３８】
デコンボリューション処理の１ｓｔループでは、図３及び図４に示すように、まず、第１の処理部１２において、オリジナル画像Ｏに基づく理想画像Ｉが生成される（ステップＳ１１：第１のステップ）。理想画像Ｉは、オリジナル画像Ｏの画素数以上の画素数を有する画像である。デコンボリューション処理の１ｓｔループでは、例えばオリジナル画像Ｏを構成する各画素の画素値（輝度値）の平均値が初回の理想画像Ｉの各画素の画素値とされる。この場合、初回の理想画像Ｉは、各画素の画素値が一定の一様な画像となる。
【００３９】
初回の理想画像Ｉは、オリジナル画像Ｏの各画素の画素値に基づいて生成されることが好ましいが、オリジナル画像Ｏに基づかず、予め設定された画素値を各画素値とした一様な画像であってもよい。また、理想画像Ｉの画素数は、最終的に得られる超解像画像の画素数を決定するパラメータとなる。理想画像Ｉの画素数は、画像処理部１１での処理速度等を考慮し、オリジナル画像Ｏの画素数の奇数倍（例えば３倍若しくは５倍程度）であることが好ましい。理想画像Ｉの画素数は、オリジナル画像Ｏの画素数以上の画素数を有していればよく、オリジナル画像Ｏの画素数の整数倍であってもよい。
【００４０】
理想画像Ｉの生成後、第１の処理部１２において、点拡がり関数（Point spread function：以下「ＰＳＦ」と称す）によって理想画像Ｉの畳み込み演算がなされ、予測画像Ｐが生成される（ステップＳ１２：第１のステップ）。ＰＳＦは、レンズ等の光学素子が有するパラメータである。本処理で用いられるＰＳＦは、使用する対物レンズ６等のＰＳＦに基づいて、シミュレーションによって算出される。
【００４１】
予測画像Ｐの生成後、第２の処理部１３において、予測画像Ｐからオリジナル画像Ｏを差分する差分処理がなされ、エラー画像Ｅが生成される（ステップＳ１３：第２のステップ）。次に、第３の処理部１４において、エラー画像Ｅに基づく差分画像Ｄの生成がなされる（ステップＳ１４：第３のステップ）。ここでは、まず、係数α（０＜α＜１）で乗算したＰＳＦによってエラー画像Ｅの逆畳み込み演算がなされる。αは、デコンボリューション処理のループ数が増加するほど徐々に小さい値となる。
【００４２】
差分画像Ｄの生成のための演算は、例えば下記の式（１）及び式（２）で表される（図５参照）。式（１）及び式（２）において、ｉは画素全体、ｋはＰＳＦの定義域全体（＝Ｗ）、Ｉｎｉは入力画素値（理想画像Ｉの画素値）、Ｏｕｔｉは出力画素値（差分画像Ｄの画素値）、αは係数、σｋはＰＳＦ、Ｅｒｉ＋ｋはエラー画像Ｅの画素値、Ｌｏｏｐはデコンボリューション処理のループ数である。
【数１】
2019144807.tif 000003
…（１）
【数２】
2019144807.tif 000004
…（２）
【００４３】
差分画像Ｄの生成の後、画像処理部１１により、デコンボリューション処理の繰り返し数が予め定められた所定回数に到達したか否かの判断がなされる（ステップＳ１５）。ここでは、デコンボリューション処理のループ数が３０回に到達した場合は処理が終了し、デコンボリューション処理のループ数が３０回に満たない場合は、ステップＳ１１〜ステップＳ１５の各処理が再実行される。２ｎｄループ〜２９ｔｈループでは、図６に示すように、直前のループで得られた差分画像Ｄを新たな理想画像ＩとしてステップＳ１１〜ステップＳ１５の各処理が再実行される。３０ｔｈループでは、図７に示すように、最終的に差分画像Ｄが得られる。この差分画像Ｄがオリジナル画像Ｏから生成された超解像画像ＳＲとなる。
【００４４】
上記デコンボリューション処理では、ノイズは、理想画像Ｉとは無関係であるため、デコンボリューション処理を十分なループ数で繰り返したとしても、エラー画像Ｅにノイズが残存し得る。このため、デコンボリューション処理の実行後に、ノイズ除去処理を実行することが好適である。
【００４５】
ノイズ除去処理では、図８及び図９に示すように、第４の処理部１５において、上述したデコンボリューション処理で得られたエラー画像Ｅによるオリジナル画像Ｏの差分処理がなされる（ステップＳ２１：第４のステップ）。ここでは、例えばデコンボリューション処理の３０ｔｈループで得られたエラー画像Ｅが用いられ、オリジナル画像Ｏからエラー画像Ｅを差分処理することにより修正オリジナル画像ＯＣが生成される（ステップＳ２２：第４のステップ）。
【００４６】
この修正オリジナル画像ＯＣは、ステップＳ０５におけるデコンボリューション処理の再実行（図２参照）の際に元のオリジナル画像Ｏと置き換えられる。すなわち、ステップＳ０５では、修正オリジナル画像ＯＣを新たなオリジナル画像として、ステップＳ１１〜ステップＳ１５の各処理が複数回繰り返し実行される。これにより、ステップＳ０３で得られる超解像画像ＳＲに対して、ノイズが除去され且つ更に解像度の高い超解像画像を得ることができる。なお、ノイズ除去処理及びノイズ除去処理後のデコンボリューション処理は、複数回繰り返し実行される態様であってもよい。
【００４７】
オリジナル画像Ｏの修正のための演算は、例えば下記の式（３）及び式（４）で表される（図１０参照）。式（３）及び式（４）において、ｉは画素全体、Ｉｎｉは入力画素値（オリジナル画像Ｏの画素値）、Ｏｕｔｉは出力画素値（修正オリジナル画像ＯＣの画素値）、Ｅｒｉはエラー画像Ｅの画素値、Ｌｏｏｐはノイズ除去処理のループ数、ａｂｓ（Ｅｒ）はエラー強度の絶対値、Ｓ．Ｄ．はエラー強度の標準偏差、Ｌｅｖｅｌは修正レベルである。この例では、Ｌｅｖｅｌは、ノイズ除去処理のループ数が増加するほど徐々に小さい値となる。
【数３】
2019144807.tif 000005
…（３）
【数４】
2019144807.tif 000006
…（４）
【００４８】
図１１は、画像処理プログラム及びその記録媒体の一例を示すブロック図である。同図の例では、画像処理プログラム２１は、メインモジュール２２と、画像処理モジュール２３とを備えている。また、画像処理モジュール２３は、第１の処理モジュール２４と、第２の処理モジュール２５と、第３の処理モジュール２６と、第４の処理モジュール２７とを有している。画像処理プログラム２１の実行によってコンピュータで実現される機能は、上述した画像処理部１１の機能と同様である。画像処理プログラム２１は、例えばＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等のコンピュータ読み取り可能な記録媒体２８によって提供される。画像処理プログラム２１は、半導体メモリによって提供されてもよく、ネットワークを介し、搬送波に重畳されたコンピュータデータ信号として提供されてもよい。
【００４９】
以上説明したように、この画像処理方法では、デコンボリューション処理のループで得られた差分画像Ｄを新たな理想画像Ｉとしてデコンボリューション処理の次のループを実行する。このループを繰り返し実行することで、エラーが最小化するように理想画像Ｉが徐々に修正され、理想画像Ｉを真の値に近づけることができる。また、理想画像Ｉの画素数は、オリジナル画像Ｏの画素数以上となっている。したがって、オリジナル画像Ｏから超解像画像ＳＲを生成することが可能となる。また、この処理では、オリジナル画像Ｏのノイズは理想画像Ｉとは無関係であるため、ノイズの発散の問題も回避できる。
【００５０】
また、本実施形態では、デコンボリューション処理の第１のステップにおいて、オリジナル画像Ｏに基づいて初回の理想画像Ｉを生成している。具体的には、オリジナル画像Ｏの各画素の画素値の平均値を初回の理想画像Ｉの各画素の画素値としている。これにより、初回の理想画像Ｉがオリジナル画像Ｏから大きく乖離してしまうことを防止できる。
【００５１】
また、本実施形態では、デコンボリューション処理の第１のステップ〜第３のステップを１０回以上繰り返している。これにより、十分な解像度を有する超解像画像を得ることができる。また、本実施形態では、デコンボリューション処理の第１のステップ〜第３のステップの繰り返しを行う度に第３のステップで用いる係数αを徐々に小さくしている。これにより、エラーが最小化するような理想画像の修正を好適に実行できる。
【００５２】
また、本実施形態では、デコンボリューション処理の第１のステップにおいて、理想画像Ｉの画素数をオリジナル画像Ｏの画素数の奇数倍としている。これにより、画素中心からの対称性を確保でき、デコンボリューション処理の実行が容易なものとなる。
【００５３】
また、本実施形態では、ノイズ除去処理として、オリジナル画像Ｏから第１のステップ〜第３のステップを複数回繰り返したときに生成されるエラー画像Ｅを差分処理して修正オリジナル画像ＯＣを生成する第４のステップを実行する。この第４ステップの実行により、オリジナル画像Ｏからノイズが除去された修正オリジナル画像ＯＣを得ることができる。また、本実施形態では、修正オリジナル画像ＯＣを新たなオリジナル画像とし、デコンボリューション処理を複数回繰り返して超解像画像を得てもよい。これにより、ノイズが除去された超解像画像を得ることが可能となる。
【００５４】
本開示は、上記実施形態に限られるものではない。例えば上記実施形態では、コンピュータ３側に画像処理部１１が設けられた画像処理装置１を例示したが、図１２に示す画像処理装置３１のように、カメラ２側に画像処理部１１が設けられた構成を採用してもよい。また、画像処理装置は、画像処理部１１を有するカメラ若しくはコンピュータを有する顕微鏡として構成されていてもよい。また、デコンボリューション処理（ステップＳ０３）を実行した後のノイズ除去処理（ステップＳ０４）及びデコンボリューション処理（ステップＳ０５）は、省略してもよい。この場合であっても、オリジナル画像Ｏに基づいて十分な解像度の超解像画像ＳＲを生成することが可能である。
【符号の説明】
【００５５】
１，３１…画像処理装置、１１…画像処理部、１２…第１の処理部、１３…第２の処理部、１４…第３の処理部、１５…第４の処理部、Ｏ…オリジナル画像、Ｉ…理想画像、Ｐ…予測画像、Ｅ…エラー画像、Ｄ…差分画像、ＳＲ…超解像画像、ＯＣ…修正オリジナル画像。
【図１】
2019144807.tif 000007
【図２】
2019144807.tif 000008
【図３】
2019144807.tif 000009
【図４】
2019144807.tif 000010
【図５】
2019144807.tif 000011
【図６】
2019144807.tif 000012
【図７】
2019144807.tif 000013
【図８】
2019144807.tif 000014
【図９】
2019144807.tif 000015
【図１０】
2019144807.tif 000016
【図１１】
2019144807.tif 000017
【図１２】
2019144807.tif 000018