(57)【要約】【課題】劣化画像から原画像の性質を推定する精度を向上させ、撮像画像の劣化が激しい場合でも精度良く復元画像を求めることができるようにする。【解決手段】撮像により得られた劣化画像ｇを複数の周波数帯域成分に分割してウェーブレット変換画像ｇ１，ｇ２，・・・，ｇＭを生成し、各ウェーブレット変換画像ｇ１，ｇ２，・・・，ｇＭを低周波数帯域成分から高周波数帯域成分へと段階的に用いて中間復元画像ｈ１＋ｈ２，ｈ１＋ｈ２＋ｈ３，・・・を順次生成していき、最終的に全周波数帯域成分を含む復元画像ｈを生成するようにすることにより、画質劣化の影響が小さい低周波数帯域成分から精度良く中間復元画像を求め、その精度の良い中間復元画像を用いて原画像ｆの推定パラメータを精度良く求めることができるようにして、劣化画像ｇの画質劣化が激しい場合でも、精度良く復元画像ｈを求めることができるようにする。【選択図】        図１
2009087185.tif 000002
【特許請求の範囲】
【請求項１】
撮像により得られた劣化画像を複数の周波数帯域成分に分割する周波数帯域分割手段と、
上記周波数帯域分割手段により分割された複数の周波数帯域成分の劣化画像を低周波数帯域成分から高周波数帯域成分へと段階的に合成する劣化画像合成手段と、
上記周波数帯域分割手段により分割された複数の周波数帯域成分のうち最低周波数帯域成分の劣化画像および、上記劣化画像合成手段により生成された画像であって上記最低周波数帯域成分とそれより一段階高周波側の周波数帯域成分とを含む合成劣化画像を用いて、上記最低周波数帯域成分および当該最低周波数帯域より一段階高周波側の周波数帯域成分の性質を表す中間推定パラメータを求める中間パラメータ推定手段と、
上記劣化画像合成手段により生成された画像であって上記最低周波数帯域成分とそれより一段階高周波側の周波数帯域成分とを含む合成劣化画像および上記中間パラメータ推定手段により求められた上記中間推定パラメータを用いて、上記最低周波数帯域成分および当該最低周波数帯域より一段階高周波側の周波数帯域成分を含む中間復元画像を生成する中間復元画像生成手段と、
上記中間復元画像生成手段により生成された上記中間復元画像および、上記劣化画像合成手段により生成された画像であって上記中間復元画像が有する周波数帯域成分とそれより一段階更に高周波側の周波数帯域成分とを含む合成劣化画像を用いて、全周波数帯域成分の性質を表す推定パラメータを求めるパラメータ推定手段と、
上記劣化画像合成手段により生成された画像であって上記中間復元画像が有する周波数帯域成分とそれより一段階更に高周波側の周波数帯域成分とを含む合成劣化画像および上記パラメータ推定手段により求められた上記推定パラメータを用いて、上記全周波数帯域成分を含む復元画像を生成する復元画像生成手段とを備えたことを特徴とする画像復元装置。
【請求項２】
上記中間復元画像生成手段により生成された上記中間復元画像および、上記劣化画像合成手段により生成された画像であって上記中間復元画像が有する周波数帯域成分とそれより一段階更に高周波側の周波数帯域成分とを含む合成劣化画像を用いて、上記中間復元画像が有する周波数帯域成分およびそれより一段階更に高周波側の周波数帯域成分の性質を表す上位中間推定パラメータを求める上位中間パラメータ推定手段と、
上記劣化画像合成手段により生成された画像であって上記中間復元画像が有する周波数帯域成分とそれより一段階更に高周波側の周波数帯域成分とを含む合成劣化画像および上記上位中間パラメータ推定手段により求められた上記上位中間推定パラメータを用いて、上記中間復元画像が有する周波数帯域成分およびそれより一段階更に高周波側の周波数帯域成分を含む上位中間復元画像を生成する上位中間復元画像生成手段とを備え、
上記パラメータ推定手段は、請求項１に記載の処理に代えて、上記上位中間復元画像生成手段により生成された上記上位中間復元画像および、上記劣化画像合成手段により生成された画像であって上記上位中間復元画像が有する周波数帯域成分とそれより一段階更に高周波側の周波数帯域成分とを含む合成劣化画像を用いて、全周波数帯域成分の性質を表す推定パラメータを求め、
上記復元画像生成手段は、請求項１に記載の処理に代えて、上記劣化画像合成手段により生成された画像であって上記上位中間復元画像が有する周波数帯域成分とそれより一段階更に高周波側の周波数帯域成分とを含む合成劣化画像および上記上位中間パラメータ推定手段により求められた上記上位中間推定パラメータを用いて、上記全周波数帯域成分を含む復元画像を生成することを特徴とする請求項１に記載の画像復元装置。
【請求項３】
撮像により得られた劣化画像を複数の周波数帯域成分に分割する第１のステップと、
上記複数の周波数帯域成分のうち最低周波数帯域成分の劣化画像および、上記最低周波数帯域成分とそれより一段階高周波側の周波数帯域成分とを含む合成劣化画像を用いて、上記最低周波数帯域成分および当該最低周波数帯域より一段階高周波側の周波数帯域成分の性質を表す中間推定パラメータを求める第２のステップと、
上記最低周波数帯域成分とそれより一段階高周波側の周波数帯域成分とを含む合成劣化画像および上記中間推定パラメータを用いて、上記最低周波数帯域成分および当該最低周波数帯域より一段階高周波側の周波数帯域成分を含む中間復元画像を生成する第３のステップと、
上記中間復元画像および、上記中間復元画像が有する周波数帯域成分とそれより一段階更に高周波側の周波数帯域成分とを含む合成劣化画像を用いて、全周波数帯域成分の性質を表す推定パラメータを求める第４のステップと、
上記中間復元画像が有する周波数帯域成分とそれより一段階更に高周波側の周波数帯域成分とを含む合成劣化画像および上記推定パラメータを用いて、上記全周波数帯域成分を含む復元画像を生成する第５のステップとを有することを特徴とする画像復元方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像復元装置および方法に関し、特に、撮像時の手ブレやピンボケ等の影響により撮像画像が劣化した場合、その劣化画像から、手ブレやピンボケ等の影響のない画像を推定して復元する画像復元装置および方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラや携帯電話に搭載されているカメラなどの撮像装置で景色や人物を撮影する際に、手ブレやピンボケ、レンズ収差によるボケ等の影響により、画質の劣化した画像（以下、「劣化画像」と称する）が得られる場合がある。このような劣化画像から、劣化のない画像（以下、「原画像」と称する）を推定して原画像に近い画像（以下、「復元画像」と称する）を復元するために、種々の画像復元アルゴリズムが考えられている。
【０００３】
デジタル信号処理による画像復元アルゴリズムの１つに、撮像された劣化画像に対応する原画像の性質を仮定し、その性質に基づき画像復元を行うアルゴリズムがある。その代表的なものに、カルマンフィルタによる画像復元アルゴリズムがある（例えば、特許文献１の段落番号[００３４]参照）。
【特許文献１】特開２００６−１０１４４７号公報
【０００４】
カルマンフィルタを使用した画像復元アルゴリズムでは、劣化画像に対して復元処理を行う前に原画像の性質を推定する必要がある。すなわち、まず原画像の性質を表す推定パラメータを算出し、その後に当該推定パラメータを用いて画像復元処理を行う必要がある。ここで、原画像の性質を推定する方法として、次の２つが存在する。
１．多数の画像を用いて、原画像の性質を統計的に事前に求めておく。
２．劣化画像から原画像の性質を推定する。
【０００５】
ところが、１つ目の方法では、事前に統計的性質を求めておいた画像しか復元の対象にできないので、撮影対象が限定されてしまうという欠点がある。一方、２つ目の方法では、撮影対象が限定されないという利点があるが、劣化の程度が激しいと原画像と劣化画像との差が大きくなるため、原画像の性質を精度よく推定できない（原画像の推定パラメータを精度よく算出できない）。そのため、復元画像の推定精度が悪くなってしまうという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、このような問題を解決するために成されたものであり、劣化画像から原画像の性質を推定する精度を向上させ、撮像画像の劣化が激しい場合でも精度良く復元画像を求めることができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するために、本発明では、撮像により得られた劣化画像を複数の周波数帯域成分に分割する。そして、周波数分割された劣化画像を低周波数帯域成分から高周波数帯域成分へと段階的に用いて該当する周波数帯域成分の原画像の性質を順次推定しながら中間復元画像を生成し、最終的に中間復元画像から原画像の性質を推定して、これにより求められた推定パラメータを用いて、全周波数帯域成分を含む復元画像を生成するようにしている。
【発明の効果】
【０００８】
上記のように構成した本発明によれば、撮像により得られた画像の劣化が激しい場合でも、低周波領域では高周波領域に比べて劣化の影響が小さいので、低周波数帯域成分から中間推定パラメータを求めて中間復元画像を生成することで、精度良く中間復元画像を求めることができる。そして、このようにして求めた精度の良い中間復元画像を用いて原画像の推定パラメータが求められるので、原画像の推定パラメータを精度良く求めることができ、精度良く復元画像を求めることができる。以上より、撮像画像の劣化が激しい場合でも劣化画像から原画像の性質を推定する精度が向上し、精度良く復元画像を求めることができるようになる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態を図面に基づいて説明する。ただし、本実施形態では、手ブレにより画質劣化が生じた劣化画像から、劣化のない原画像を推定して当該原画像に近い復元画像を生成する場合を例にとって説明する。以下では、撮像により得られた元の劣化画像をｇ、原画像をｆ、復元画像をｈと記す。なお、本実施形態の画像復元装置が実施されるデジタルカメラのシャッタ速度が比較的速くて手ブレが等速直線運動（手ブレ量をＬ、手ブレ方向をθ）であるとし、ジャイロセンサ等により手ブレ量Ｌおよび手ブレ方向θは測定可能であるとする。
【００１０】
図１は、本実施形態による画像復元装置１００の機能構成例を示すブロック図である。図１に示すように、本実施形態の画像復元装置１００は、ウェーブレット変換部１、変換画像合成部２、システムパラメータ推定部３、観測ノイズ推定部４および画像復元部５を備えて構成されている。
【００１１】
ウェーブレット変換部１は、本発明の周波数帯域分割手段に相当するものであり、撮像により得られた劣化画像ｇを複数の周波数帯域成分にＭ分割する（Ｍは２以上の任意の整数）。以下では、ウェーブレット変換により生成されたＭ個の周波数帯域成分の劣化画像（以下、「ウェーブレット変換画像」と称する）を低周波数帯域から高周波数帯域へ順にｇ１，ｇ２，・・・，ｇＭと記す。また、各ウェーブレット変換画像ｇ１，ｇ２，・・・，ｇＭの周波数帯域に対応して、原画像ｆの各周波数帯域成分をｆ１，ｆ２，・・・，ｆＭ、復元画像ｈの各周波数帯域成分をｈ１，ｈ２，・・・，ｈＭと記す。
【００１２】
この場合、以下の式が成り立つ。
ｇ＝ｇ１＋ｇ２＋・・・＋ｇＭ
ｆ＝ｆ１＋ｆ２＋・・・＋ｆＭ
ｈ＝ｈ１＋ｈ２＋・・・＋ｈＭ
ここで、＋の記号は合成処理を表す。すなわち、周波数分割されたＭ個のウェーブレット変換画像ｇ１，ｇ２，・・・，ｇＭを全て合成すると元の劣化画像ｇになることを示している。
【００１３】
変換画像合成部２は、本発明の劣化画像合成手段に相当するものであり、ウェーブレット変換部１により分割されたＭ個のウェーブレット変換画像ｇ１，ｇ２，・・・，ｇＭを低周波数帯域成分から高周波数帯域成分へと段階的に合成する。具体的には、変換画像合成部２は、ｇ１＋ｇ２、ｇ１＋ｇ２＋ｇ３、・・・、ｇ１＋ｇ２＋ｇ３＋・・・＋ｇＭという（Ｍ−１）個の合成劣化画像を生成する。
【００１４】
以下に詳しく説明するが、本実施形態の特徴は、周波数分割した複数のウェーブレット変換画像ｇ１，ｇ２，・・・，ｇＭを用いて低周波数帯域から高周波数帯域へと段階的に原画像ｆの該当する周波数帯域成分の性質を推定しながら（推定パラメータを求めながら）、カルマンフィルタにより復元画像ｈを生成することである。カルマンフィルタによる画像復元方法では、システムモデルおよび観測モデルから成る状態空間モデルを定義し、当該状態空間モデルに基づいて復元画像ｈを求める。
【００１５】
ここで、カルマンフィルタを用いた画像復元方法の公知のアルゴリズムを説明する。画像復元の処理は、手ブレ方向θの１ライン毎に行う。例えば図２に示すように、手ブレ方向θが水平方向であるとし、原画像ｆおよび劣化画像ｇにおける手ブレ方向θの１ライン上の各画素値をそれぞれｘｎ，ｙｎとした場合、状態空間モデルのシステムモデルおよび観測モデルをそれぞれ次の（式１）および（式２）のように定義する。
【００１６】
【数１】
2009087185.tif 000003
【００１７】
なお、手ブレ方向θが水平方向でも垂直方向でもない斜め方向の場合、手ブレ方向θの１ライン上の各画素値は、当該ライン上の位置の周囲にある複数画素の画素値から補間演算によって求める。あるいは、手ブレ方向θが水平方向となるように劣化画像ｇの全体をθだけ回転させ、回転した劣化画像ｇを用いて復元画像ｈを求めた後、当該復元画像ｈをθだけ逆回転させるようにしても良い。
【００１８】
システムモデルでは、図３に示すように、原画像ｆ上の或る範囲内にある隣接した複数の画素値（以下、「基準画素値」と称する）から、他の範囲内にある隣接した複数の画素値（以下、「推定画素値」と称する）を推定する。具体的には、システムモデルは、基準画素値の行列Ｘｎ−１に予測パラメータ行列Ａを乗算してシステムノイズ行列Ｗｎを加算することにより、推定画素値の行列Ｘｎを求めるモデルとなっている。
【００１９】
また、観測モデルは、原画像ｆの各画素値を表す行列Ｘｎに既知のボケ関数行列Ｃを乗算して観測ノイズνｎを加算することにより、劣化画像ｇの画素値ｙｎを求めるモデルとなっている。
【００２０】
上述のシステムモデルにおける予測パラメータ行列Ａおよびシステムノイズ行列Ｗｎが、原画像ｆの性質を推定するための推定パラメータである。カルマンフィルタによる画像復元方法では、これらの推定パラメータを求め、求めた推定パラメータを用いて原画像ｆの各画素値Ｘｎを逐次的に推定することにより、復元画像ｈを求める。 
【００２１】
以上がカルマンフィルタを用いた画像復元方法の公知のアルゴリズムである。これに対して本実施形態では、システムモデルにおいて、仮想的な原画像ｆ（劣化画像ｇ）の代わりに、最低周波数帯域のウェーブレット変換画像ｇ１または低周波数帯域から高周波数帯域へと段階的に復元した中間復元画像ｈ１，ｈ２，・・・，ｈＭ−１を用いて予測パラメータ行列Ａおよびシステムノイズ行列Ｗｎを求める。また、観測モデルにおいて、劣化画像ｇの代わりにウェーブレット変換画像ｇ１，ｇ２，・・・，ｇＭを用いて観測ノイズνｎを求める。
【００２２】
なお、手ブレ量Ｌが２画素分（Ｌ＝２）の場合、上述した（式１）および（式２）はそれぞれ次の（式３）および（式４）のように表される。この場合は、予測パラメータα，βと、システムノイズｗと、観測ノイズνとの４つの推定パラメータを求め、これらの推定パラメータから復元画像ｈを求めることになる。以下では説明の簡略化のため、Ｌ＝２とした場合の例について説明する。
【００２３】
【数２】
2009087185.tif 000004
【００２４】
図１に示すシステムパラメータ推定部３は、（式３）に示すシステムモデルに基づいて、予測パラメータα，βおよびシステムノイズｗを求める。このときシステムパラメータ推定部３は、最初の段階では最低周波数帯域のウェーブレット変換画像ｇ１を用いて予測パラメータα１，β１およびシステムノイズｗ１を求める。次の段階では、システムパラメータ推定部３は、当該予測パラメータα１，β１およびシステムノイズｗ１等に基づき復元した１つ目の中間復元画像ｈ１＋ｈ２を用いて予測パラメータα２，β２およびシステムノイズｗ２を求める。
【００２５】
更に次の段階において、システムパラメータ推定部３は、予測パラメータα２，β２およびシステムノイズｗ２等に基づき復元した２つ目の中間復元画像ｈ１＋ｈ２＋ｈ３を用いて予測パラメータα３，β３およびシステムノイズｗ３を求める。システムパラメータ推定部３はこの動作を繰り返し行っていくことにより、最終的に、復元画像ｈを得るために必要な予測パラメータαＭ−１（＝α），βＭ−１（＝β）およびシステムノイズｗＭ−１（＝ｗ）を求める。
【００２６】
観測ノイズ推定部４は、（式４）に示す観測モデルに基づいて、観測ノイズνを求める。このとき観測ノイズ推定部４は、最初の段階では最低周波数帯域のウェーブレット変換画像ｇ１とそれより一段階高周波側のウェーブレット変換画像ｇ２との合成劣化画像ｇ１＋ｇ２を用いて観測ノイズν１を求める。次の段階では、観測ノイズ推定部４は、更に一段階高周波側のウェーブレット変換画像ｇ３も合成した合成劣化画像ｇ１＋ｇ２＋ｇ３を用いて観測ノイズν２を求める。
【００２７】
更に次の段階において、観測ノイズ推定部４は、更に一段階高周波側のウェーブレット変換画像ｇ４も合成した合成劣化画像ｇ１＋ｇ２＋ｇ３＋ｇ４を用いて観測ノイズν３を求める。観測ノイズ推定部４はこの動作を繰り返し行っていくことにより、最終的に、復元画像ｈを得るために必要な観測ノイズνＭ−１（＝ν）を求める。
【００２８】
画像復元部５は、以上のようにしてシステムパラメータ推定部３および観測ノイズ推定部４において段階的に求められた各推定パラメータを用いて、中間復元画像ｈ１，ｈ２，・・・，ｈＭ−１を段階的に求めていき、最終的には復元画像ｈを求める。
【００２９】
最初の段階で画像復元部５は、システムパラメータ推定部３により求められた最初の予測パラメータα１，β１およびシステムノイズｗ１と、観測ノイズ推定部４により求められた最初の観測ノイズν１とを（式３）および（式４）に適用することにより、変換画像合成部２により生成された合成劣化画像ｇ１＋ｇ２から１つ目の中間復元画像ｈ１＋ｈ２を求める。ここで求めた中間復元画像ｈ１＋ｈ２はシステムパラメータ推定部３に入力される。
【００３０】
次の段階において、画像復元部５は、システムパラメータ推定部３により求められた２つ目の予測パラメータα２，β２およびシステムノイズｗ２と、観測ノイズ推定部４により求められた２つ目の観測ノイズν２とを（式３）および（式４）に適用することにより、変換画像合成部２により生成された合成劣化画像ｇ１＋ｇ２＋ｇ３から２つ目の中間復元画像ｈ１＋ｈ２＋ｈ３を求める。ここで求めた中間復元画像ｈ１＋ｈ２＋ｈ３はシステムパラメータ推定部３に入力される。
【００３１】
画像復元部５はこの動作を繰り返し行っていくことにより、最終的に、変換画像合成部２により生成された合成劣化画像ｇ１＋ｇ２＋・・・＋ｇＭから最終的な復元画像ｈ１＋ｈ２＋・・・＋ｈＭ＝ｈを求める。このようにして画像復元部５により求められた復元画像ｈが最終生成画像として、画像復元装置１００から外部に出力される。
【００３２】
図４は、図１に示したシステムパラメータ推定部３、観測ノイズ推定部４および画像復元部５の機能を詳細に分解して示した例を示すブロック図である。ここでは一例として、劣化画像ｇを３つの周波数帯域に分割した場合（Ｍ＝３）を例にとって説明する。なお、この図４において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付している。
【００３３】
図４において、ウェーブレット変換部１は、入力された劣化画像ｇを３個の周波数帯域成分に分割することにより、３個のウェーブレット変換画像ｇ１，ｇ２，ｇ３を生成する。変換画像合成部２は、ウェーブレット変換部１により分割された３個のウェーブレット変換画像ｇ１，ｇ２，ｇ３を低周波数帯域成分から高周波数帯域成分へと段階的に合成する。具体的には、変換画像合成部２は、ｇ１＋ｇ２およびｇ１＋ｇ２＋ｇ３という２個の合成劣化画像を生成する。
【００３４】
中間システムパラメータ推定部３−１は、ウェーブレット変換部１により分割された３個の周波数帯域成分のうち、最低周波数帯域成分の劣化画像であるウェーブレット変換画像ｇ１を用いて、最低周波数帯域成分とそれより一段階高周波側の周波数帯域成分とを含む中間画像ｆ１＋ｆ２の性質を表す中間推定パラメータである予測パラメータα１，β１およびシステムノイズｗ１を求める。
【００３５】
また、中間観測ノイズ推定部４−１は、変換画像合成部２により生成された合成劣化画像であって最低周波数帯域成分とそれより一段階高周波側の周波数帯域成分とを含む合成劣化画像ｇ１＋ｇ２を用いて、観測ノイズν１を求める。なお、中間システムパラメータ推定部３−１および中間観測ノイズ推定部４−１によって本発明の中間パラメータ推定手段が構成される。
【００３６】
中間画像復元部５−１は、本発明の中間復元画像生成手段に相当するものであり、中間システムパラメータ推定部３−１および中間観測ノイズ推定部４−１により求められた予測パラメータα１，β１、システムノイズｗ１および観測ノイズν１を用いて、最低周波数帯域成分とそれより一段階高周波側の周波数帯域成分とを含む中間復元画像ｈ１＋ｈ２を生成する。
【００３７】
システムパラメータ推定部３−２は、中間画像復元部５−１により生成された中間復元画像ｈ１＋ｈ２を用いて、全周波数帯域成分を含む原画像ｆ１＋ｆ２＋ｆ３＝ｆの性質を表す推定パラメータである予測パラメータα２（＝α），β２（＝β）およびシステムノイズｗ２（＝ｗ）を求める。
【００３８】
また、観測ノイズ推定部４−２は、変換画像合成部２により生成された画像であって合成劣化画像ｇ１＋ｇ２が有する周波数帯域成分とそれより一段階更に高周波側の周波数帯域成分とを含む合成劣化画像ｇ１＋ｇ２＋ｇ３を用いて（ウェーブレット変換する前の劣化画像ｇを用いても良い）、観測ノイズν２（＝ν）を求める。なお、システムパラメータ推定部３−２および観測ノイズ推定部４−２によって本発明のパラメータ推定手段が構成される。
【００３９】
画像復元部５−２は、本発明の復元画像生成手段に相当するものであり、システムパラメータ推定部３−２および観測ノイズ推定部４−２により求められた予測パラメータα，β、システムノイズｗおよび観測ノイズνを用いて、全周波数帯域成分を含む復元画像ｈ１＋ｈ２＋ｈ３＝ｈを生成する。
【００４０】
なお、図４ではＭ＝３の場合の例を示したが、Ｍ＝４の場合は、中間画像復元部５−１とシステムパラメータ推定部３−２および観測ノイズ推定部４−２との間に、もう１組の中間システムパラメータ推定部、中間観測ノイズ推定部および中間画像復元部が挿入される。この間に挿入された中間システムパラメータ推定部および中間観測ノイズ推定部によって本発明の上位中間パラメータ推定手段が構成され、挿入された中間画像復元部によって本発明の上位中間復元画像生成手段が構成される。
【００４１】
この場合、上位中間パラメータ推定手段の中間システムパラメータ推定部は、中間画像復元部５−１により生成された中間復元画像ｈ１＋ｈ２を用いて、中間復元画像ｈ１＋ｈ２が有する周波数帯域成分とそれより一段階更に高周波側の周波数帯域成分を含む上位中間画像ｆ１＋ｆ２＋ｆ３の性質を表す予測パラメータα２，β２およびシステムノイズｗ２を求める。
【００４２】
また、上位中間パラメータ推定手段の観測ノイズ推定部は、変換画像合成部２により生成された画像であって合成劣化画像ｇ１＋ｇ２が有する周波数帯域成分とそれより一段階更に高周波側の周波数帯域成分とを含む合成劣化画像ｇ１＋ｇ２＋ｇ３を用いて、観測ノイズν２を求める。
【００４３】
上位中間復元画像生成手段に相当する中間画像復元部は、上述のようにして求められた予測パラメータα２，β２、システムノイズｗ２および観測ノイズν２を用いて、中間復元画像ｈ１＋ｈ２が有する周波数帯域成分およびそれより一段階更に高周波側の周波数帯域成分を含む上位中間復元画像ｈ１＋ｈ２＋ｈ３を生成する。
【００４４】
そして、システムパラメータ推定部３−２は、上位中間画像復元部により生成された上位中間復元画像ｈ１＋ｈ２＋ｈ３を用いて、全周波数帯域成分を含む原画像ｆ１＋ｆ２＋ｆ３＋ｆ４＝ｆの性質を表す推定パラメータである予測パラメータα３（＝α），β３（＝β）およびシステムノイズｗ３（＝ｗ）を求める。
【００４５】
また、観測ノイズ推定部４−２は、変換画像合成部２により生成された合成劣化画像ｇ１＋ｇ２＋ｇ３＋ｇ４を用いて（ウェーブレット変換する前の劣化画像ｇを用いても良い）、観測ノイズν３（＝ν）を求める。
【００４６】
さらに、画像復元部５−２は、システムパラメータ推定部３−２および観測ノイズ推定部４−２により求められた予測パラメータα，β、システムノイズｗおよび観測ノイズνを用いて、全周波数帯域成分を含む復元画像ｈ１＋ｈ２＋ｈ３＋ｈ４＝ｈを生成する。
【００４７】
一方、Ｍ＝２の場合は、システムパラメータ推定部３−２、観測ノイズ推定部４−２および画像復元部５−２は不要で、中間画像復元部５−１より出力される復元画像ｈ１＋ｈ２が最終的な成果物である復元画像ｈとなる。この場合にウェーブレット変換部１は、撮像により得られた劣化画像ｇを２つの周波数帯域成分に分割する。システムパラメータ推定部３−１および観測ノイズ推定部４−１は、低周波数帯域成分のウェーブレット変換画像ｇ１および変換画像合成部２により生成された合成劣化画像ｇ１＋ｇ２（劣化画像ｇでも良い）を用いて、全周波数帯域成分の性質を表す推定パラメータα，β，ｗ，νを求める。そして、中間画像復元部５−１は、以上のようにして求められた推定パラメータα，β，ｗ，νを用いて、全周波数帯域成分を含む復元画像ｈを生成する。
【００４８】
次に、上記のように構成した本実施形態による画像復元装置１００の動作を説明する。図５は、本実施形態による画像復元装置１００の動作例を示すフローチャートである。なお、この図５のフローチャートは、手ブレ量Ｌ＝２、周波数分割数Ｍ＝３の場合の動作例（図４に示した画像復元装置１００の動作例）を示している。
【００４９】
図５において、ウェーブレット変換部１は、入力された劣化画像ｇをウェーブレット変換により３個の周波数帯域成分に分割する（ステップＳ１）。また、変換画像合成部２は、ウェーブレット変換部１により分割された３個のウェーブレット変換画像ｇ１，ｇ２，ｇ３を用いて、２つの合成劣化画像ｇ１＋ｇ２，ｇ１＋ｇ２＋ｇ３を生成する（ステップＳ２）。
【００５０】
次に、中間システムパラメータ推定部３−１は、ウェーブレット変換部１により生成された最低周波数帯域成分のウェーブレット変換画像ｇ１を用いて、中間画像ｆ１＋ｆ２の性質を表す中間推定パラメータである予測パラメータα１，β１およびシステムノイズｗ１を求める。また、中間観測ノイズ推定部４−１は、変換画像合成部２により生成された合成劣化画像ｇ１＋ｇ２を用いて、中間推定パラメータである観測ノイズν１を求める（ステップＳ３）。
【００５１】
そして、中間画像復元部５−１は、中間システムパラメータ推定部３−１および中間観測ノイズ推定部４−１により求められた中間推定パラメータα１，β１，ｗ１，ν１を用いて、（式３）および（式４）から中間復元画像ｈ１＋ｈ２を求める（ステップＳ４）。
【００５２】
次に、システムパラメータ推定部３−２は、中間画像復元部５−１により生成された中間復元画像ｈ１＋ｈ２を用いて、全周波数帯域成分を含む原画像ｆの性質を表す予測パラメータα，βおよびシステムノイズｗを求める。また、観測ノイズ推定部４−２は、変換画像合成部２により生成された合成劣化画像ｇ１＋ｇ２＋ｇ３を用いて、観測ノイズνを求める（ステップＳ５）。
【００５３】
そして、画像復元部５−２は、システムパラメータ推定部３−２および観測ノイズ推定部４−２により求められた推定パラメータα，β，ｗ，νを用いて、（式３）および（式４）から全周波数帯域成分を含む復元画像ｈを生成する（ステップＳ６）。
【００５４】
以上詳しく説明したように、本実施形態の画像復元装置１００では、撮像により得られた劣化画像ｇを複数の周波数帯域成分に分割してウェーブレット変換画像ｇ１，ｇ２，・・・，ｇＭを生成する。そして、各ウェーブレット変換画像ｇ１，ｇ２，・・・，ｇＭを低周波数帯域成分から高周波数帯域成分へと段階的に用いて原画像の性質を順次推定しながら中間復元画像ｈ１＋ｈ２，ｈ１＋ｈ２＋ｈ３，・・・を順次生成し、最終的に全周波数帯域成分を含む復元画像ｈを生成するようにしている。
【００５５】
このように構成した本実施形態によれば、撮像により得られた劣化画像ｇの劣化の程度が激しい場合でも、低周波数帯域成分だけを取り出してみれば劣化の影響が小さいので、低周波数帯域成分から中間推定パラメータを求めて中間復元画像を生成することで、精度良く中間復元画像を求めることができる。そして、このようにして求めた精度の良い中間復元画像を用いて原画像ｆの推定パラメータが求められるので、原画像ｆの推定パラメータを精度良く求めることができる。これにより、撮像された劣化画像ｇの画質劣化が激しい場合でも、当該劣化画像ｇから原画像ｆの性質を推定する精度を向上させることができ、精度良く復元画像ｈを求めることができる。
【００５６】
なお、上記実施形態では、デジタルカメラのシャッタ速度が比較的速くて手ブレが直線運動である場合を例にとって説明したが、手ブレが直線運動でない場合にも公知技術を応用することにより適用が可能である。例えば図６に示すように−４５°、９０°、４５°および０°方向の画像復元処理を順次行うことにより、画像復元を行うことが可能である。
【００５７】
また、上記実施形態では、手ブレにより画質劣化が生じた劣化画像ｇから原画像ｆを推定して復元画像ｈを生成する例について説明したが、ピンボケやレンズ収差によるボケ等の影響により画質が劣化した画像から復元画像ｈを生成する場合にも同様に適用可能である。
【００５８】
また、上記実施形態では、劣化画像ｇを複数の周波数帯域成分に分割するための処理としてウェーブレット変換を用いる例について説明したが、本発明はこれに限定されるものではない。例えば、フーリエ変換などの処理を用いて周波数分割することも可能である。
【００５９】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００６０】
【図１】本実施形態による画像復元装置の機能構成例を示すブロック図である。
【図２】原画像および劣化画像における手ブレ方向の１ライン上の各画素値を示す図である。
【図３】システムモデルの説明図である。
【図４】図１に示したシステムパラメータ推定部、観測ノイズ推定部および画像復元部の機能を詳細に分解して示した例を示すブロック図である。
【図５】本実施形態による画像復元装置の動作例を示すフローチャートである。
【図６】手ブレ方向が直線運動でない場合の画像復元方法を説明するための図である。
【符号の説明】
【００６１】
１  ウェーブレット変換部
２  変換画像合成部
３  システムパラメータ推定部
４  観測ノイズ推定部
５  画像復元部
３−１  中間システムパラメータ推定部
４−１  中間観測ノイズ推定部
５−１  中間画像復元部
３−２  システムパラメータ推定部
４−２  観測ノイズ推定部
５−２  画像復元部
【図１】
2009087185.tif 000005
【図２】
2009087185.tif 000006
【図３】
2009087185.tif 000007
【図４】
2009087185.tif 000008
【図５】
2009087185.tif 000009
【図６】
2009087185.tif 000010