(57)【要約】【課題】画像中の動きボケを減らす方法および装置。【解決手段】動きボケ画像中の動きボケを減らす方法は、この動きボケ画像のボケ・パラメータの関数として、この動きボケ画像に基づいて、推測画像をぼけさせることを含む。このボケ推測画像を、この動きボケ画像と比較して、誤差画像を生成する。この誤差画像をぼけさせ、また、この推測画像中のエッジに基づいて、正則化画像を形成する。この誤差画像、この正則化画像、この推測画像を組み合わせ、それにより、この推測画像を更新し、かつ、動きボケについて補正する。それぞれが、各自のボケ・パラメータを持つ複数の動きボケ画像を用いて、動きボケの補正された画像を生成する方法も提供される。【選択図】図１
2007188493.tif 000002
【特許請求の範囲】
【請求項１】
動きボケ画像中の動きボケを減らす方法であって、
前記動きボケ画像のボケ・パラメータの関数として、前記動きボケ画像に基づいて、推測画像をぼけさせるステップと、
前記ボケ推測画像を、前記動きボケ画像と比較して、誤差画像を生成するステップと、
前記誤差画像をぼけさせるステップと、
前記推測画像中のエッジに基づいて、正則化画像を形成するステップと、
前記誤差画像、前記正則化画像、前記推測画像を組み合わせ、それにより、前記推測画像を更新し、かつ、動きボケについて補正するステップと、を含むことを特徴とする方法。
【請求項２】
前記正則化画像を形成するステップが、
前記推測画像から水平エッジ画像と垂直エッジ画像を構築するステップと、
前記水平エッジ画像と前記垂直エッジ画像を合計し、それにより、前記正則化画像を形成するステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記合計するステップの間に、前記水平エッジ画像と前記垂直エッジ画像に重みを付けるステップを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記重みを付けるステップが、動きボケ方向の推定値に基づいていることを特徴とする請求項３に記載の方法。
【請求項５】
前記合計するステップの前に、前記水平エッジ画像と前記垂直エッジ画像を正規化するステップを含むことを特徴とする請求項２に記載の方法。
【請求項６】
全変動正則化に対して、前記水平エッジ画像と前記垂直エッジ画像を正規化するステップを含むことを特徴とする請求項２に記載の方法。
【請求項７】
Ｔｉｋｈｏｎｏｖ−Ｍｉｌｌｅｒ正則化に対して、前記水平エッジ画像と前記垂直エッジ画像を正規化するステップを含むことを特徴とする請求項２に記載の方法。
【請求項８】
前記推測画像が、前記動きボケ画像であることを特徴とする請求項１に記載の方法。
【請求項９】
前記更新された推測画像をノイズ・フィルタリングするステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記ノイズ・フィルタリングするステップが、
前記更新された推測画像のウェーブレット分解を行うステップと、
前記ウェーブレット分解の最大周波数スケールのノイズ分散を計算するステップと、
前記計算されたノイズ分散に基づいて、前記ウェーブレット分解の係数値を調整するステップと、
前記調整された係数値に基づいて、ノイズ・フィルタリングされた更新された推測画像を構築するステップと、を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記推測画像をぼけさせるステップ、比較するステップ、誤差画像をぼけさせるステップ、形成するステップ、組み合わせるステップ、ノイズ・フィルタリングするステップが、反復的に行われることを特徴とする請求項９に記載の方法。
【請求項１２】
前記推測画像をぼけさせるステップ、比較するステップ、誤差画像をぼけさせるステップ、形成するステップ、組み合わせるステップ、ノイズ・フィルタリングするステップが、しきい回数だけ反復的に行われることを特徴とする請求項１１に記載の方法。
【請求項１３】
前記ノイズ・フィルタリングするステップが、反復ごとに行われることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記ノイズ・フィルタリングするステップが、少なくとも１回の反復の間、飛ばされることを特徴とする請求項１２に記載の方法。
【請求項１５】
それぞれが、各自のボケ・パラメータを持つ複数の動きボケ画像を用いて、動きボケの減らされた画像を生成する方法であって、
前記動きボケ画像に基づいて、推測画像を確立するステップと、
前記それぞれのボケ・パラメータの関数として、前記推測画像から複数のボケ推測画像を形成するステップと、
それぞれのボケ推測画像を、前記動きボケ画像のそれぞれと比較して、それぞれの誤差画像を生成するステップと、
前記推定されたボケ方向、および前記ボケ範囲のそれぞれの関数として、前記誤差画像をぼけさせるステップと、
前記推測画像中のエッジに基づいて、正則化画像を形成するステップと、
前記誤差画像、前記正則化画像、前記推測画像を組み合わせ、それにより、前記推測画像を更新し、かつ、動きボケについて補正するステップと、を含むことを特徴とする方法。
【請求項１６】
前記確立するステップが、前記動きボケ画像を平均して、前記推測画像を確立するステップを含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記組み合わせるステップが、前記誤差画像に重みを付け、かつ前記誤差画像を組み合わせるステップを含むことを特徴とする請求項１５に記載の方法。
【請求項１８】
それぞれの誤差画像に重みを付けるステップが、前記誤差画像に対応する前記動きボケ画像中に推定された動きボケ範囲に基づいていることを特徴とする請求項１７に記載の方法。
【請求項１９】
前記重みを付けるステップが、前記誤差画像に非線形分散されることを特徴とする請求項１８に記載の方法。
【請求項２０】
前記複数のボケ推測画像を形成するステップ、比較するステップ、ぼけさせるステップ、正則化画像を形成するステップ、組み合わせるステップが、反復的に行われることを特徴とする請求項１５に記載の方法。
【請求項２１】
前記複数のボケ推測画像を形成するステップ、比較するステップ、ぼけさせるステップ、正則化画像を形成するステップ、組み合わせるステップが、しきい回数だけ反復的に行われることを特徴とする請求項２０に記載の方法。
【請求項２２】
前記確立するステップが、前記平均するステップの前に、前記複数の動きボケ画像を整合するステップをさらに含むことを特徴とする請求項１６に記載の方法。
【請求項２３】
前記複数の動きボケ画像が、同一のボケ方向を共用することを特徴とする請求項２２に記載の方法。
【請求項２４】
動きボケ画像中の動きボケを減らす装置であって、
前記動きボケ画像のボケ・パラメータの関数として、前記動きボケ画像に基づいて、推測画像をぼけさせる推測画像ボケ発生モジュールと、
前記ボケ推測画像を前記動きボケ画像と比較して、誤差画像を生成する比較器と、
前記誤差画像をぼけさせる誤差画像ボケ発生モジュールと、
前記推測画像中のエッジに基づいて、正則化画像を形成する正則化モジュールと、
前記誤差画像、前記正則化画像、前記推測画像を組み合わせ、それにより、前記推測画像を更新し、かつ、動きボケについて補正する画像結合装置と、を備えることを特徴とする装置。
【請求項２５】
前記更新された推測画像からのノイズをフィルタリングするノイズ・フィルタをさらに備えることを特徴とする請求項２４に記載の装置。
【請求項２６】
前記ノイズ・フィルタが、
前記更新された推測画像のウェーブレット分解を行う分解器と、
前記ウェーブレット分解の最大周波数スケールのノイズ分散を計算する計算器と、
前記計算されたノイズ分散に基づいて、前記ウェーブレット分解の係数値を調整するしきい値処理装置と、
前記調整された係数値に基づいて、ノイズ・フィルタリングされた更新された推測画像を構築する構築装置と、を備えることを特徴とする請求項２５に記載の装置。
【請求項２７】
前記推測画像をぼけさせるステップ、比較するステップ、誤差画像をぼけさせるステップ、形成するステップ、組み合わせるステップ、ノイズ・フィルタリングするステップが、反復的に行われることを特徴とする請求項２５に記載の装置。
【請求項２８】
それぞれが、各自のボケ・パラメータを持つ複数の動きボケ画像を用いて、動きボケの減らされた画像を生成する装置であって、
前記動きボケ画像に基づいて、推測画像を確立する推測画像生成装置と、
前記それぞれのボケ・パラメータの関数として、前記推測画像から複数のボケ推測画像を形成する推測画像ボケ発生モジュールと、
それぞれのボケ推測画像を、前記動きボケ画像のそれぞれと比較して、それぞれの誤差画像を生成する比較器と、
前記推定されたボケ方向、および前記ボケ範囲のそれぞれの関数として、前記誤差画像をぼけさせる誤差画像ボケ発生モジュールと、
前記推測画像中のエッジに基づいて、正則化画像を形成する正則化モジュールと、
前記誤差画像、前記正則化画像、前記推測画像を組み合わせ、それにより、前記推測画像を更新し、かつ、動きボケについて補正する画像結合装置と、を備えることを特徴とする装置。
【請求項２９】
前記推測画像生成装置が、前記動きボケ画像を平均して、前記推測画像を確立することを特徴とする請求項２８に記載の装置。
【請求項３０】
前記複数のボケ推測画像を形成するステップ、比較するステップ、ぼけさせるステップ、正則化画像を形成するステップ、組み合わせるステップが、反復的に行われることを特徴とする請求項２８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２００６年１月１３日出願の米国仮特許出願第６０／７５８，７１２号の３５Ｕ．Ｓ．Ｃ．１１９（ｅ）のもとでの恩恵を請求する。この米国仮特許出願の内容は、参照によって、本明細書中に組み入れられている。
【０００２】
本発明は、一般に画像処理に関し、詳細には、画像中の動きボケ（動きブレ、motion blur）を減らす方法および装置に関する。
【背景技術】
【０００３】
動きボケは、デジタルビデオカメラまたはデジタルカメラを用いて画像を取り込んでいる間に発生するかもしれない、撮影技術分野でよく知られている問題である。動きボケは、画像取込みプロセスの間に、振動などのカメラの動きにより引き起こされる。歴史的にみても、実際のカメラの動きを推定する演繹的（推測的）な測定が得られるときだけ、動きボケを補正することができた。このような演繹的な測定は、普通は得られず、その結果、他の技法を生み出して、取り込まれた画像中の動きボケについて補正したことが理解されよう。
【０００４】
例えば、取り込まれた動きボケ画像に固有の属性に基づいて、カメラ動きパラメータ（すなわち、ボケの方向とボケの範囲）を推定する方法が、本出願の譲受人に譲渡された「ＭＯＴＩＯＮ ＢＬＵＲ ＣＯＲＲＥＣＴＩＯＮ（動きボケ補正）」と称する同時係属中の米国特許出願第１０／８２７，３９４号に開示されている。この米国仮特許出願の内容は、参照によって、本明細書中に組み入れられている。これらの方法では、カメラ動きパラメータが推定されると、この推定されたカメラ動きパラメータを用いてボケ補正を行って、カメラの動きの影響を後退させ（reverse）、それにより、この画像のボケを補正する。
【０００５】
カメラの動きの影響を後退させて、動きボケ画像をボケ補正する方法が知られている。例えば、Ｂｉｅｍｏｎｄ氏らが著した「Ｉｔｅｒａｔｉｖｅ Methods for Image Deblurring（画像のボケを除去する反復解法）」と称する刊行物（ＩＥＥＥ会報、１９９０年５月、第７８巻、第５号）は、カメラの動きの影響を後退させて、推定されたカメラ動きパラメータに基づいて、取り込まれた画像中のボケについて補正する逆フィルタ技法（inverse filter technique）を開示している。この技法の間、推定されたカメラ動きパラメータにより構築された動きボケ・フィルタの逆数（inverse）を、このボケ画像に直接に施す。
【０００６】
あいにく、Ｂｉｅｍｏｎｄ氏らのボケ補正技法は、欠点を免れない。このボケ画像を、この動きボケ・フィルタの逆数で畳み込むと、過度のノイズ増幅がもたらされることもある。さらに、Ｂｉｅｍｏｎｄ氏らが開示している復元方程式（restoration equation）に関しては、このボケ発生距離の整数倍にて、正のスパイクを持つ誤差寄与項（error contribution term）が、ボケ画像中のエッジなどの高コントラスト構造物で畳み込まれるときに増幅されて、好ましくないリンギングをもたらす。リンギングは、画像中の鋭いエッジの近くにハローおよび／またはリングが出現することであり、これは、画像のボケ除去が不良条件の逆問題であるという事実に関連する。Ｂｉｅｍｏｎｄ氏らの刊行物は、これらの鋭利な領域をさらに弱く調整し、また、充分に滑らかである領域内でノイズ増幅を抑制するように、この画像の局所エッジ成分に基づいてリンギング効果を減らすことを論じている。しかしながら、このような手法では、リンギング・ノイズは、エッジを含む局所領域内になおも残る場合がある。
【０００７】
逆フィルタを利用する他のボケ補正技法が考察されてきた。例えば、Ｄｅｎｔｉｎｇｅｒ氏らに付与された米国特許第６，１６６，３８４号は、放射線撮影システムでの画像のボケ発生を最小限に抑える方法および装置を開示している。高解像度信号を発生させるために、信号対雑音比（ＳＮＲ）が低い周波数にて、ノイズを除去する。解析モジュールは、ただ１つのパラメータを用いて逆フィルタリングとノイズ正則化（noise regularization）を制御するような周波数応答を持つフィルタを使用して、その信号の周波数が高くなると、ノイズ正則化が、そのフィルタの周波数応答を減らすようにしている。さらに具体的に言えば、このフィルタは、上記のただ１つのパラメータにより制御される逆フィルタリング部分とノイズ正則化部分とを含む。このノイズと信号のスペクトルは、正確に知られてはいないと考えられる。このボケ発生は、直線推移不変プロセスとしてモデル化されるものであって、オリジナル画像を公知のボケ発生関数（blurring function）で畳み込むこととして表現できる。このフィルタの正則化部分は、低ＳＮ比の領域内でのノイズ増大を防止するために、周波数が高くなると、このフィルタの周波数応答を減らす。
【０００８】
反復手法を用いて、ボケ補正された画像を生成する様々な技法も提案されてきた。一般に、これらの反復技法の間、推測画像は、これらの推定されたカメラ動きパラメータを用いて、動きボケが発生する。また、この推測画像は、動きボケ推測画像と、取り込まれたボケ画像との差に基づいて、更新される。このプロセスは、所定の回数だけ反復して行われるか、あるいは、この推測画像が充分にボケ補正されるまで行われる。これらのカメラ動きパラメータが推定されるために、この推測画像中のボケは、この反復プロセスの間、上記の動きボケ推測画像と、上記の取り込まれたボケ画像との誤差がゼロまで減少するときに、減らされる。上記の反復問題は、以下の通り、等式（１）により、公式で著すことができる。
【０００９】
【数１】
2007188493.tif 000003
ここで、
Ｉ（ｘ，ｙ）は、取り込まれた動きボケ画像である。
ｈ（ｘ，ｙ）は、動きボケ発生関数である。
Ｏ（ｘ，ｙ）は、動きボケ画像Ｉ（ｘ，ｙ）に対応するボケ無し画像である。
ｎ（ｘ，ｙ）は、ノイズである。
Ａ（×）Ｂは、ＡとＢの畳込み（convolution）を表している。
【００１０】
上の説明から理解されるように、画像ボケ補正の目標は、取り込まれたボケ画像Ｉ（ｘ，ｙ）が与えられることによって、ボケ無し画像Ｏ（ｘ，ｙ）の推定（復元された）画像Ｏ'（ｘ，ｙ）を生成することである。等式（１）において、動きボケ発生関数ｈ（ｘ，ｙ）は、これらの推定されたカメラ動きパラメータから知られるものと考えられる。ノイズが無視される場合には、復元された画像Ｏ'（ｘ，ｙ）と、ボケ無し画像Ｏ（ｘ，ｙ）との誤差Ｅ（ｘ，ｙ）は、以下の通り、等式（２）により定義できる。
【００１１】
【数２】
2007188493.tif 000004
【００１２】
反復の動きボケ補正処置が改善をもたらす一方で、過度のリンギングやノイズも、なお問題となることもある。これらの問題は、一部、この動きボケ補正問題の不良条件の性質によるだけでなく、動きボケ・パラメータの推定誤差と、デコンボリューション（deconvolution）の間のノイズ増幅にもよる。さらに、どんな実際的な実施においても、補正反復の回数が、性能の関係により制限されるために、受け入れられるソリーションへの集中は、達成しがたいことが多い。
【００１３】
ウェーブレット分解のボケ補正法だけでなく、他の反復ボケ補正法も提案されてきた。例えば、Ａｄｅｌｓｏｎ氏らに付与された米国特許第５，５２６，４４６号は、マルチスケール画像分解プロセスにおいて、入力画像を一組の変換係数に変換することで、ノイズ成分を減らし、かつ入力画像をシャープ化するノイズ低減システムを開示している。それぞれの変換係数は、その値、および、関係する向き、位置、またはスケールの変換係数の値に基づいて、修正される。再構成プロセスは、向上した画像を生成する。向上は、それぞれの変換係数の適切な修正を可能にするために、関係する変換係数と局所的向きを考慮に入れている。変換係数は、それが、修正される変換係数から（ｘ，ｙ）だけ移されるか、異なるスケールのものであるか、あるいは、異なる向きのものであるときに、関係がある。それぞれの変換係数は、解析段階の間に得られた入力画像の統計的性質に基づいて、修正される。この解析段階の間、この入力画像は、ノイズを加え、かつ／または、この入力画像をぼけさせ、かつ／または、この入力画像の空間解像度（spatial resoluton）を低下させることで、人工的に劣化させる。次に、この劣化した画像の変換係数と、劣化してない画像の変換係数を、多くの位置、スケール、向きに関して比較して、対応する変換係数を推定する。
【００１４】
Ｂｅｒｋｎｅｒ氏らに付与された米国特許出願公開第２００３／００８６６２３号は、量子化アーチファクト（人工物）を除去し、また、ボケの除去を介し、ウェーブレットのシャープ化とスムージング（平滑化）を用いて、量子化された係数を得ることで、圧縮画像を向上させる方法および装置を開示している。ウェーブレット領域内での実際のノイズ・フィルタリングは、これらの係数にハードしきい値処理（hard-thresholding）か、ソフトしきい値処理（soft-thresholding）のいずれかを施し、次に、それらのしきい値処理された係数を修正して、この画像をシャープ化するか、あるいは、スムージングすることで、行われる。一実施形態では、シャープ化またはスムージングは、これらのウェーブレット係数に、レベル依存パラメータを乗算することで、行われる。符号化の間、使用される量子化方式と、使用される逆ウェーブレット変換に関する情報を使用して、まず最初に特徴づけ、次に、この逆ウェーブレット変換を用いて、再構成の間に算出されたそれぞれのLow-Low（ＬＬ）成分の量子化ノイズを除去する。
【００１５】
Ｓｏｗａ氏に付与された米国特許出願公開第２００３／０２０２７１３号は、圧縮のアーチファクトを帯びたデジタル画像を向上させるデジタル画像向上方法を開示している。この方法は、公知の離散コサイン変換（すなわち、ＪＰＥＧまたはＭＰＥＧ）圧縮方式に頼っており、圧縮の間、量子化の公知パラメータを使用する。変換係数は、このデジタル画像に変換を施すことで、算出される。次に、これらの変換係数にフィルタを施す。この画像のフィルタリングされた変換係数に基づいて逆変換するときに、量子化からの実際のパラメータを使用して、制約行列（constraint matrix）を形成する。この処置は、向上した出力画像を提供するために、所定の回数だけ反復的に繰り返される。
【００１６】
Ｃｈａｎａｓ氏らに付与された米国特許出願公開第２００４／０２４７１９６号は、このボケ発生の全部または一部について補正される変換画像を計算することで、デジタル画像中のボケについて補正する方法を開示している。この方法は、補正される画像ゾーンを選択することと、画像ゾーンが補正されるたびに、定様式情報および特性ノイズ・データに基づいて、向上プロファイルを構築することを含む。補正は、それぞれの画像ゾーンの向上プロファイルの関数として変換画像ゾーンを得て、それらの変換画像ゾーンを組み合わせて、その変換画像を得ることで、行われる。
【００１７】
Ｍａｓｔｅｒ氏らに付与された米国特許出願公開第２００４／０２６８０９６号は、デジタル画像中のボケ発生を減らす方法を開示している。低域フィルタを用いて、この画像に線形フィリタリングを行って高周波ノイズを抑制し、また、形態論的フィルタ（morphologic filter）およびメディアン・フィルタを用いて、この画像に非線形フィルタリングを行って、この画像中のひずみを減らす。次に、マルチレート・フィルタ・バンクを使用して、ウェーブレット・ベースのひずみ低減を行う。ウェーブレット・ベースのひずみ低減の間、離散ウェーブレット変換は、画像エネルギーを、振幅の大きい少数の離散ウェーブレット変換係数に押し込む（compact）。このノイズのエネルギーは、振幅の小さい多数の離散ウェーブレット変換係数に分散させ、また、ノイズ、および他のひずみは、調整可能なしきい値フィルタを用いて除去される。
【００１８】
Ｘｕ氏らに付与された米国特許出願公開第２００５／００７４０６５号と米国特許出願公開第２００５／００９４７３１号は、三次元ウェーブレット変換を使用するビデオ符号化システムを開示している。この三次元ウェーブレット変換は、動きへのビデオ符号化システムの感受性を低下させ、それにより、その結果として得られるビデオ再生中の動きボケを除去するオブジェクト・ベースの符号化をサポートしている。この三次元ウェーブレット変換は、時間軸方向の運動軌道を使用して、さらに効率的なウェーブレット分解を得、また、低ビットレート符号化に対する動きボケ・アーチファクトを除去する。
【００１９】
Ｌｅｗｉｎ氏らに付与された米国特許出願公開第２００５／００７４１５２号は、非直線的にサンプリングされた（non-rectilinearly-sampled）ｋ空間データから磁気共鳴画像を再構成する方法を開示している。この方法の間、サンプリングされたｋ空間データは、直線のｋ空間格子（k-space grid）上に分散され、また、逆フーリエ変換が、この分散データに施される。この逆変換データの選択部分はゼロにセットされ、次に、この逆変換データのうち、これらのゼロにされた部分と、残りの部分は、その選択部分に関連する格子点にて、順方向変換される（forward transformed）。この変換されたデータを、分散されたｋ空間データに代えて、更新されたデータの格子を生成し、次に、その更新されたデータを逆変換する。これらの工程は、上記更新された逆変換データと、上記逆変換された分散データとの差が充分小さくなるまで、繰り返される。
【００２０】
Ｇｏｒｉｎｅｖｓｋｙ氏に付与された米国特許出願公開第２００５／０１４７３１３号は、シストリック・アレイ・プロセッサを用いて、画像のボケを除去する反復解法を開示している。データは、それぞれの処理論理ブロックを、あらかじめ定められた数の隣接する処理論理ブロックと相互結合することで、処理論理ブロック間で順次に交換され、その後で、このボケ除去画像をアップロードする。これらの処理論理ブロックは、このボケ除去画像と、直前のボケ除去画像推定値のフィードバックを用いて、ボケ画像予測誤差のフィードバックを通じて、このボケ画像の反復的更新を実現する。それにより、画像更新は、反復的に発生する。
【００２１】
Ｔｒｉｍｅｃｈｅ氏らに付与された米国特許出願公開第２００６／００１３４７９号は、画像モデルにおいて色成分を復元する方法を開示している。ボケ劣化関数は、点広がり関数（point-spread function）を測定し、かつ、擬似逆フィルタリング（pseudo-inverse filtering）を使用し、その間、周波数低域フィルタを使用してノイズを制限することで、決定される。いくつかの画像を処理して、この点広がり関数の平均推定値を得る。この入力画像と、シミュレートされた再ボケ画像（re-blurred）との間のエネルギーは、反復的に最小限に抑えられ、また、スムージング動作は、その出力の高域フィルタリングされたものから成る正則化項を含むことで、行われる。
【００２２】
【特許文献１】米国特許第６１６６３８４号明細書
【特許文献２】米国特許第５５２６４４６号明細書
【特許文献３】米国特許出願公開第２００３／００８６６２３号明細書
【特許文献４】米国特許出願公開第２００３／０２０２７１３号明細書
【特許文献５】米国特許出願公開第２００４／０２４７１９６号明細書
【特許文献６】米国特許出願公開第２００４／０２６８０９６号明細書
【特許文献７】米国特許出願公開第２００５／００７４０６５号明細書
【特許文献８】米国特許出願公開第２００５／００９４７３１号明細書
【特許文献９】米国特許出願公開第２００５／００７４１５２号明細書
【特許文献１０】米国特許出願公開第２００５／０１４７３１３号明細書
【特許文献１１】米国特許出願公開第２００６／００１３４７９号明細書
【非特許文献１】Ｂｉｅｍｏｎｄ氏ら著「Ｉｔｅｒａｔｉｖｅ Methods for Image Deblurring」（ＩＥＥＥ会報、１９９０年５月、第７８巻、第５号）
【発明の開示】
【発明が解決しようとする課題】
【００２３】
上述のものなどの反復解法やウェーブレット分解法は、動きボケ・フィルタを用いるボケの直接反転（direct reversal）にまさるいくつかの利点をもたらすが、ノイズ増幅やリンギングを減らすために、改善が望まれることが理解されよう。それゆえ、本発明の目的は、画像中の動きボケを減らす新規な方法および装置を提供することである。
【課題を解決するための手段】
【００２４】
一面により、動きボケ画像中の動きボケを減らす方法であって、上記動きボケ画像のボケ・パラメータの関数として、上記動きボケ画像に基づいて、推測画像をぼけさせることと、上記ボケ推測画像を、上記動きボケ画像と比較して、誤差画像を生成することと、上記誤差画像をぼけさせることと、上記推測画像中のエッジに基づいて、正則化画像を形成することと、上記誤差画像、上記正則化画像、上記推測画像を組み合わせ、それにより、上記推測画像を更新し、かつ、動きボケについて補正することと、を含む方法が提供されている。
【００２５】
一実施形態では、この正則化画像を形成する処置は、この推測画像から水平エッジ画像と垂直エッジ画像を構築する処置と、この水平エッジ画像と垂直エッジ画像を合計し、それにより、この正則化画像を形成する処置とを含む。この水平エッジ画像と垂直エッジ画像に重みを付ける処置は、この合計する処置の間に行われることがある。このような重みを付ける処置は、動きボケ方向の推定値に基づく。この水平エッジ画像と垂直エッジ画像は、合計する前に正規化される。
【００２６】
要望があれば、この更新された推測画像をノイズ・フィルタリングすることがある。ノイズ・フィルタリングの間、この更新された推測画像のウェーブレット分解を行い、また、このウェーブレット分解の最大周波数スケールのノイズ分散を計算する。このウェーブレット分解の係数値は、この計算されたノイズ分散に基づいて調整され、また、ノイズ・フィルタリングされた更新された推測画像は、これらの調整された係数値に基づいて、構築される。このような推測画像をぼけさせる処置、比較する処置、誤差画像をぼけさせる処置、形成する処置、組み合せる処置は、反復的に行われることがある。
【００２７】
他の面により、それぞれが、各自のボケ・パラメータを持つ複数の動きボケ画像を用いて、動きボケの減らされた画像を生成する方法であって、上記動きボケ画像に基づいて、推測画像を確立することと、上記それぞれのボケ・パラメータの関数として、上記推測画像から複数のボケ推測画像を形成することと、それぞれのボケ推測画像を、上記動きボケ画像のそれぞれと比較して、それぞれの誤差画像を生成することと、推定されたボケ方向、およびボケ範囲のそれぞれの関数として、上記誤差画像をぼけさせることと、上記推測画像中のエッジに基づいて、正則化画像を形成することと、上記誤差画像、上記正則化画像、上記推測画像を組み合わせ、それにより、上記推測画像を更新し、かつ、動きボケについて補正することと、を含む方法が提供されている。
【００２８】
一実施形態では、上記確立する処置は、上記動きボケ画像を平均する処置を含む。上記組み合わせる処置は、上記誤差画像に重みを付け、かつ上記誤差画像を組み合わせる処置を含む。それぞれの誤差画像に重みを付ける処置は、この誤差画像に対応する動きボケ画像中に推定された動きボケ範囲に基づいており、また、この重みを付ける処置は、これらの誤差画像に非線形分散されることがある。
【００２９】
他の面により、動きボケ画像中の動きボケを減らす装置であって、上記動きボケ画像のボケ・パラメータの関数として、上記動きボケ画像に基づいて、推測画像をぼけさせる推測画像ボケ発生モジュールと、上記ボケ推測画像を上記動きボケ画像と比較して、誤差画像を生成する比較器と、上記誤差画像をぼけさせる誤差画像ボケ発生モジュールと、上記推測画像中のエッジに基づいて、正則化画像を形成する正則化モジュールと、上記誤差画像、上記正則化画像、上記推測画像を組み合わせ、それにより、上記推測画像を更新し、かつ、動きボケについて補正する画像結合装置（image combiner）と、を備える装置が提供されている。
【００３０】
他の面により、それぞれが、各自のボケ・パラメータを持つ複数の動きボケ画像を用いて、動きボケの減らされた画像を生成する装置であって、上記動きボケ画像に基づいて、推測画像を確立する推測画像生成装置と、上記それぞれのボケ・パラメータの関数として、上記推測画像から複数のボケ推測画像を形成する推測画像ボケ発生モジュールと、それぞれのボケ推測画像を、上記動きボケ画像のそれぞれと比較して、それぞれの誤差画像を生成する比較器と、推定されたボケ方向、およびボケ範囲のそれぞれの関数として、上記誤差画像をぼけさせる誤差画像ボケ発生モジュールと、上記推測画像中のエッジに基づいて、正則化画像を形成する正則化モジュールと、上記誤差画像、上記正則化画像、上記推測画像を組み合わせ、それにより、上記推測画像を更新し、かつ、動きボケについて補正する画像結合装置と、を備える方法が提供されている。
【００３１】
他の面により、動きボケ画像中の動きボケを減らすコンピュータ・プログラムであって、上記動きボケ画像のボケ・パラメータの関数として、上記動きボケ画像に基づいて、推測画像をぼけさせるコンピュータ・プログラム・コードと、上記ボケ推測画像を上記動きボケ画像と比較して、誤差画像を生成するコンピュータ・プログラム・コードと、上記誤差画像をぼけさせるコンピュータ・プログラム・コードと、上記推測画像中のエッジに基づいて、正則化画像を形成するコンピュータ・プログラム・コードと、上記誤差画像、上記正則化画像、上記推測画像を組み合わせ、それにより、上記推測画像を更新し、かつ、動きボケについて補正するコンピュータ・プログラム・コードと、を含むコンピュータ・プログラムを織り込んだコンピュータ読取り可能媒体が提供されている。
【００３２】
他の面により、それぞれが、各自のボケ・パラメータを持つ複数の動きボケ画像を用いて、動きボケの減らされた画像を生成するコンピュータ・プログラムであって、上記動きボケ画像に基づいて、推測画像を確立するコンピュータ・プログラム・コードと、上記それぞれのボケ・パラメータの関数として、上記推測画像から複数のボケ推測画像を形成するコンピュータ・プログラム・コードと、それぞれのボケ推測画像を、上記動きボケ画像のそれぞれと比較して、それぞれの誤差画像を生成するコンピュータ・プログラム・コードと、推定されたボケ方向、およびボケ範囲のそれぞれの関数として、上記誤差画像をぼけさせるコンピュータ・プログラム・コードと、上記推測画像中のエッジに基づいて、正則化画像を形成するコンピュータ・プログラム・コードと、上記誤差画像、上記正則化画像、上記推測画像を組み合わせ、それにより、上記推測画像を更新し、かつ、動きボケについて補正するコンピュータ・プログラム・コードと、を含むコンピュータ・プログラムを織り込んだコンピュータ読取り可能媒体が提供されている。
【００３３】
このボケを減らす方法および装置は、いくつかの利点をもたらす。特に、正則化項を追加すると、デコンボリューションの間のノイズ増幅が抑制され、かつ、リンギングのアーチファクトが減らされる。直線の等速度運動の場合には、この正則化項中の水平エッジと垂直エッジへの重み付けは、動きボケの決定された方向に基づいており、それにより、ボケ補正の間、動きのない方向でのエッジの好ましくないボケ発生を減らす。複数の動きボケ画像を用いて、動きボケの補正された出力画像を生成すると、単一画像のボケを補正する公知の方法と比較すると、向上した動きボケ補正結果がもたらされる。
【発明を実施するための最良の形態】
【００３４】
次に、添付図面を参照して、実施形態をさらに充分に説明する。
【００３５】
以下の説明では、画像中の動きボケを減らす方法、装置、および、そのような動きボケを減らすコンピュータ・プログラムを織り込んだコンピュータ読取り可能媒体が開示されている。これらの方法および装置は、パーソナル・コンピュータ、例えばデジタルカメラ、カメラ一体型ＶＴＲ、またはビデオ機能付きの電子装置などのデジタル画像またはビデオ取込み装置、あるいは、他のコンピューティング・システム環境を含む（ただし、それらには限定されない）処理装置によって実行されるコンピュータ実行命令を含むソフトウェア・アプリケーションで実施されることがある。このソフトウェア・アプリケーションは、スタンドアロン（独立型）デジタルビデオ・ツール、組込み機能として実行するか、あるいは、他の利用できるデジタル画像／ビデオ・アプリケーションに組み入れられて、これらのデジタル画像／ビデオ・アプリケーションの機能を向上させることがある。このソフトウェア・アプリケーションは、ルーチン、プログラム、オブジェクト・コンポーネント、データ構造などを含むプログラム・モジュールを含むことがあり、また、コンピュータ読取り可能な媒体に格納されるコンピュータ読取り可能プログラム・コードとして具現されることがある。このコンピュータ読取り可能媒体は、後でコンピュータシステムで読み取られるデータを格納できる任意のデータ記憶装置である。コンピュータ読取り可能媒体の例は、例えば、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、磁気テープ、光データ記憶装置を含む。このコンピュータ読取り可能なプログラム・コードはまた、このコンピュータ読取り可能なプログラム・コードを格納して、分散されるやり方で実行するように、結合されたコンピュータシステムを含むネットワーク上に分散されることもある。次に、図１〜図４を参照して、実施形態を説明する。
【００３６】
ここで、図１に移って、例えばデジタルカメラ、デジタルビデオカメラ、もしくはそれらに類するものなどの画像取込み装置により取り込まれた画像中の動きボケを減らす方法が示されている。この方法の間、動きボケ画像を取り込む（ステップＳ１００）ときに、そのＹチャネル輝度画像を抽出し、また、その取り込まれた画像中の動きボケの方向および範囲を推定する（ステップＳ２００）。次に、この推定された動きボケ・パラメータ（すなわち、この推定されたボケ方向とボケ範囲）を使用して、この取り込まれた画像中の動きボケを減らし（ステップＳ３００）、それにより、動きボケの補正された画像を生成する。
【００３７】
これらの動きボケ・パラメータは、よく知られている技法を用いて推定されることがある。例えば、露光の間に、画像取込み装置中のジャイロ・ベースのシステムから入力データを得て、かつ処理して、動きボケ方向と動きボケ範囲の推定値を計算することがある。別法として、例えば前述の米国特許出願第１０／８２７，３９４号に記載されるように、この取り込まれた動きボケ画像に固有の属性を用いるブラインド動き推定（blind motion estimation）を使用して、この動きボケ方向と動きボケ範囲を得ることがある。この米国仮特許出願の内容は、参照によって、本明細書中に組み入れられている。
【００３８】
図２は、この取り込まれた画像の推定された動きボケ方向と動きボケ範囲を用いて、この動きボケの補正された画像を生成している（ステップＳ３００）間に実行されるステップを示す流れ図である。当初、以下の等式（３）により表わされるように、この取り込まれた画像Ｉ（ｘ，ｙ）に等しい初期推測画像Ｏ0（ｘ，ｙ）を確立する（ステップＳ３１０）。
【００３９】
【数３】
2007188493.tif 000005
ここで、ｎは、反復カウント数であり、この場合はゼロ（０）である。
【００４０】
次に、この推定されたボケ方向とボケ範囲に基づいて、点広がり関数（ＰＳＦ）すなわち「動きボケ・フィルタ」を作り出す（ステップＳ３１２）。画像取込みの間の動きが、直線的に、かつ等速度にて行われていると考えられるような点広がり関数を作り出す方法が、よく知られている。これらの方法は、本明細書中では、さらに詳しくは説明されない。次に、ＰＳＦの生成の後で、ＰＳＦを用いて推測画像をぼけさせて（ステップＳ３１４）、また、このボケ推測画像と、この取り込まれた入力画像との差を求めることで、誤差画像を計算する（ステップＳ３１６）。次に、この誤差画像をＰＳＦで畳み込んで、ボケ誤差画像を形成する（ステップＳ３１８）。次に、正則化画像を形成する（ステップＳ３２０）。
【００４１】
この正則化画像を形成している間、以下の等式（４）と等式（５）により表わされるように、推測画像Ｏn-1に基づいて、水平エッジ画像Ｏhと垂直エッジ画像Ｏｖをそれぞれ計算することで、正則化項が得られる。
【００４２】
【数４】
2007188493.tif 000006
【００４３】
【数５】
2007188493.tif 000007
ここで、Ｄは下記の式で表されるＳｏｒｂｅｌ微分演算子である。
【００４４】
【数６】
2007188493.tif 000008
【００４５】
【数７】
2007188493.tif 000009
上に示されるＳｏｂｅｌ微分演算子は、画像のエッジ応答を決定するときに使用に適した公知の高域フィルタである。
【００４６】
次に、水平エッジ画像Ｏhと垂直エッジ画像Ｏｖを正規化する。ｐノルム正則化を達成し、それにより、シャープ化またはスミージングの範囲を制御するために、正規化するやり方が選択できる。特に、１と２との間の値を持つ変数ｐを選択し、次に、その変数ｐを使用して、以下のルーチンにより、正規化された水平エッジ画像と垂直エッジ画像を計算する。
【００４７】
ｐが２でない場合であって、
ｐ＝１である場合には、
【００４８】
【数８】
2007188493.tif 000010
【００４９】
【数９】
2007188493.tif 000011
ｐ＝１でない場合には、
【００５０】
【数１０】
2007188493.tif 000012
【００５１】
【数１１】
2007188493.tif 000013
【００５２】
次の場合に、終了する。
ｐ値が１に等しければ、全変動正則化に一致する正規化が得られるが、しかるに、ｐ値が２に等しければ、Ｔｉｋｈｏｎｏｖ−Ｍｉｌｌｅｒ正則化に一致する正規化が得られるものとする。ｐ値が１と２の間にある場合には、全変動正則化のものと、Ｔｉｋｈｏｎｏｖ−Ｍｉｌｌｅｒ正則化のものとの間に正則化強さが得られる。この正則化強さは、ときには、過剰シャープ化または過剰スムージングの結果を避けるのに役立つ。このｐ値は、ユーザで選択できるか、あるいは、デフォルト値にセットされることがある。
【００５３】
画像取込みの間の画像取込み装置の動きが直線で、かつ等速度であるという前提を用いて、ボケ・パラメータの推定が試みられてきた場合には、以下の等式（６）により表わされるように、動きボケの推定直線方向により、この正規化された水平エッジ画像Ｏhと垂直エッジ画像Ｏｖに重みを付け、かつ、これら２つの画像を合計して、向き選択の正則化画像Ｌを形成する。
【００５４】
【数１２】
2007188493.tif 000014
【００５５】
画像取込みの間の画像取込み装置の動きが直線でないか、または等速度でないかもしれないことをボケ・パラメータの推定が考慮に入れている場合には、動きボケの推定直線方向により、この正則化画像Ｌには重みを付けない。もっと適切に言えば、この正則化画像Ｌは、以下の等式（７）により表わされるように、方向の重み付けなしに形成される。
【００５６】
【数１３】
2007188493.tif 000015
【００５７】
次に、以下の等式（８）により表わされるように、正則化画像Ｌと、このボケ誤差画像を組み合わせて、正則化された残留画像Ｒを形成する（ステップＳ３２２）。
【００５８】
【数１４】
2007188493.tif 000016
ここで、ｈ＊（ｘ，ｙ）＝ｈ（−ｘ，−ｙ）
ηは、この正則化パラメータである。
【００５９】
正則化パラメータηは、更新された推測画像中のリンギング・アーチファクトを充分減らすのに求められる正則化の大きさに基づいて選択されるものとする。ステップＳ３２２における正則化残留画像Ｒの形成の後で、以下の等式（９）により、この正則化残留画像Ｒと推測画像Ｏn-1を組み合わせて、それにより、更新された推測画像Ｏnを得る（ステップＳ３２４）。
【００６０】
【数１５】
2007188493.tif 000017
ここで、αは、反復ステップ・サイズである。
【００６１】
反復ステップ・サイズαは、反復ごとに求められる補正の大きさに基づいて選択されるものとする。また、反復ステップ・サイズαは、一部、動きボケ補正プロセスの間に実行される反復の回数によって決まることになる。
【００６２】
更新された推測画像Ｏnが生成されている場合には、現時点の反復の間に、このウェーブレット領域内でのノイズ・フィルタリングが行われるかどうか決定する（ステップＳ３２６）。これは、フィルタリング・パラメータの値をチェックすることで達成される。この実施形態におけるフィルタリング・パラメータは、ノイズ・フィルタリングを実行すべきかどうか、またノイズ・フィルタリングを何度、行うべきか、ユーザに設定できるようにすることで、制御動作を可能にするユーザ選好セッティングである。例えば、このフィリタリング・パラメータは、ゼロ（０）に等しい値を持つ場合もある。そのような場合、ノイズ・フィルタリングはいっさい行わない。別法として、このフィリタリング・パラメータは、１に等しい値を持つ場合もある。そのような場合、ノイズ・フィルタリングは、あらゆる反復の間、行われる。さらに他の別法では、このフィリタリング・パラメータは、２に等しい値を持つ場合もある。そのような場合、ノイズ・フィルタリングは、１つおきの反復で行われるといった具合である。もちろん、要望があれば、このフィリタリング・パラメータは、デフォルト値にセットできる。
【００６３】
このウェーブレット領域内でのノイズ・フィルタリングが、現時点の反復の間、行われる場合には、以下の等式（１０）により、更新された推測画像ＯnのＪレベル冗長ウェーブレット分解を算出する（ステップＳ３２８）。
【００６４】
【数１６】
2007188493.tif 000018
【００６５】
次に、以下の等式（１１）〜等式（１３）により、分解Ｗ1（ｘ，ｙ）のもっとも細かいスケールの係数（すなわち、最大周波数）を用いて、ノイズ分散σの初期値を計算する。
【００６６】
【数１７】
2007188493.tif 000019
【００６７】
【数１８】
2007188493.tif 000020
【００６８】
【数１９】
2007188493.tif 000021
ここで、ｍｅｄ｛｝は、分解Ｗ1（ｘ，ｙ）の中央値を戻すメジアン関数である。
【００６９】
計算されたノイズ分散σを用いて、以下の等式（１４）により、Ｗj（ｘ，ｙ）のウェーブレット係数に、局所ソフトしきい値処理を施す。
【００７０】
【数２０】
2007188493.tif 000022
ここで、ｍjは、位置（ｘ，ｙ）での局所平均である。σjは、位置（ｘ，ｙ）での局所分散である。さらに、Ｔｒ（ｘ）＝｛ｘ；ｘ＞０、０；それ以外｝
【００７１】
次に、以下の等式（１５）により、局所重み付きＷｅｉｎｅｒフィルタを、ＣJ（ｘ，ｙ）、すなわちこのウェーブレット分解のＬＬ帯域に施す。
【００７２】
【数２１】
2007188493.tif 000023
【００７３】
次に、更新された推測画像Ｏnを、Ｗj（ｘ，ｙ）のソフトしきい値処理されたウェーブレット係数と、ＷｅｉｎｅｒフィルタリングされたＬＬ帯域ＣJ（ｘ，ｙ）から再構成する。
【００７４】
次に、更新された推測画像Ｏn中のピクセルの輝度は、以下の等式（１６）により、０〜２５５に入るように、必要に応じて調整される（ステップＳ３３０）。
【００７５】
【数２２】
2007188493.tif 000024
【００７６】
これらのピクセルの輝度が必要に応じて調整された後で、次にステップＳ３３２において、この動きボケの補正された画像として、更新された推測画像Ｏnを出力すべきか、あるいは、ステップＳ３１４に戻るべきかどうか決定する。この実施形態において、反復を続けるべきであるかどうかの判断は、しきい回数を超えた反復回数に基づいている。これ以上、反復が行われることがなければ、更新された推測画像Ｏnは、この動きボケの補正された画像として出力される（ステップＳ３３４）。
【００７７】
ｐノルム正則化と、ウェーブレット領域内でのノイズ・フィルタリングを含むボケ補正法は、計算が複雑であり、それにより、費用がかかることが理解されよう。性能（すなわち、速度）を向上させるために、いくつかの事例では、このウェーブレット領域内でのノイズ・フィルタリングは、数回の反復の間、飛ばされるか、あるいは、全部省略されることがある。この実施形態において、このウェーブレット領域内でのノイズ・フィルタリングを飛ばすか、または省略する判断は、このフィルタリング・パラメータに基づいている。もちろん、ノイズ・フィルタリングを飛ばすか、または省略することで、動きボケ補正の全体速度と、所望／所要のノイズ除去の大きさとの間にトレードオフがもたらされる。例えば、この入力画像が、高い信号対雑音比（すなわち、例えば３０ｄＢ以上）を持つ場合には、ウェーブレット領域のノイズ・フィルタリングはまったく実行する必要がないかもしれない。
【００７８】
さらに、いくつかの実施例では、ｐノルムのｐ値を１に限定することが有利であることもある。結果として、性能（すなわち、速度）が増すが、比較的にまれな場合にのみ、動きボケ補正品質が著しく劣化する。例えば、一回の反復の間、このウェーブレット領域内でのノイズ・フィルタリングを完全に無効にし、かつ、ｐノルムのｐ値を１に等しくセットすることで、３×３のマスク（すなわち、Ｓｏｂｅｌ微分演算子）を用いての画像の４回の畳込みと、ＰＳＦ（すなわち、推測画像のボケ発生と、誤差画像のボケ発生）を用いての画像の２回の畳込みだけが行われる。
【００７９】
直線で、等速度の動きの場合には、正則化は、動きボケ方向に基づいている。それゆえ、不必要な補正や過剰補正が減らされる。したがって、入力画像中の高コントラスト・データ量に応じて、高コントラスト画像構造を用いての畳込みの間、誤差によるリンギングが減らされる。なぜなら、その正則化の大きさが、その推定された動きボケ方向に合わされるからである。有利には、リンギングの低減は、動きボケ補正の作業に対して相補的である。なぜなら、エッジが動き方向に次第に平行になるには、動きボケ補正が次第に少なくなることが必要であるからである。
【００８０】
ステップＳ３１４〜ステップＳ３３０は、しきい回数だけ実行されるものとして表わされるとはいえ、この反復回数を限定する他の基準は、共同して、または代わりとして使用できるものとする。例えば、この反復プロセスは、この取り込まれた画像と、このボケ推測画像との間の誤差の大きさが、しきいレベル以下に下がるか、あるいは、次の反復において、しきい値の大きさ以上も変化できなくなるまで、進むことがある。別法として、この反復回数は、同等とみなされる他の基準に基づくことがある。
【００８１】
更新された推測画像の信号対雑音比がしきいレベルよりも大きい場合にのみ、反復の間、このウェーブレット領域内でのノイズ・フィルタリングを実行することも可能である。
この水平エッジ画像と垂直エッジ画像を得るＳｏｂｅｌ微分演算子の代わりとして、他の適切なエッジ検出器／高域フィルタを使用できることが、通常の当業者には明らかになろう。
【００８２】
取り込まれた画像中の動きボケを減らす方法は、さらに一般的には、同一シーンの複数の動きボケ画像を用いて、ボケの補正された出力画像を生成する作業に適用されることがある。Ａｌｅｘ Ｒａｖ−Ａｃｈａ氏とＳｈｍｕｅｌ Ｐｅｌｅｇ氏が著した「Ｔｗｏ Ｍｏｔｉｏｎ−Ｂｌｕｒｒｅｄ Ｉｍａｇｅｓ Ａｒｅ Ｂｅｔｔｅｒ Ｔｈａｎ Ｏｎｅ（２つの動きボケ画像は、１つの動きボケ画像よりも優れている）」と称する刊行物（Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓ、２００５年、第２６巻、ｐ．３１１−３１７）において、動きボケの補正された画像を得るために、異なる動きボケ方向をそれぞれが持っている同一シーンの複数の動きボケ画像を処理することが有利である得ることが明らかにされた。
【００８３】
ここで、図３に移って、例えば、デジタルカメラ、デジタルビデオカメラ、もしくはそれらに類するものなどの画像取込み装置により取り込まれた複数の画像を用いて、ボケの補正された出力画像を生成する方法が示されている。この方法の間、同一シーンの動きボケ画像を取り込む（ステップＳ５００）ときに、それぞれの取り込まれた画像中の動きボケの方向と範囲を推定する（ステップＳ６００）。次に、動きボケ補正用に、これらの取り込まれた画像中の特徴を正確に合わせるために、また、これらの取り込まれた画像のそれぞれが、各自の動きボケ範囲により、ぼけているので、それらの取り込まれた画像間の一致が「ファジー」であるという理由で、これらの取り込まれた動きボケ画像を、互いに整合する（ステップＳ７００）。公知のＭａｔｌａｂ画像整合アルゴリズムを使用して、これらの条件のもとに、画像の整合を達成することがある。
【００８４】
これらの取り込まれた画像が整合されると、次に、それらの推定された動きボケ・パラメータ（すなわち、推定されたボケ方向と、それぞれのボケ範囲）を使用して、動きボケを減らした動きボケの補正された出力画像を生成する（ステップＳ８００）。
【００８５】
ステップＳ８００において動きボケの補正された出力画像を生成するために実行されるステップは、図４により良く示されている。まず最初に、以下の等式（１７）により、整合された画像Ｉmの平均値として、推測画像Ｏ0を確立する（ステップＳ８１０）。
【００８６】
【数２３】
2007188493.tif 000025
【００８７】
次に、それぞれの整合された画像Ｉm中の動きボケ方向とボケ範囲のそれぞれの推定に基づいて、それぞれの整合された画像Ｉmに対して、点広がり関数（ＰＳＦ）を作り出す（ステップＳ８１２）。ＰＳＦの生成の後で、これらのＰＳＦのそれぞれを用いて、推測画像Ｏ0をぼけさせることで、複数のボケ推測画像を形成する（ステップＳ８１４）。次に、これらのボケ推測画像と、それぞれの整合された画像との差として、誤差画像を形成する（ステップＳ８１６）。次に、それぞれの誤差画像を、対応するＰＳＦで畳み込むことで、それぞれの誤差画像をぼけさせて（ステップＳ８１８）、それぞれのボケ誤差画像を形成する。次に、重み付き残留画像Ｒは、これらのボケ誤差画像に重みを付けて、かつこれらのボケ誤差画像を合計することで、形成される。この重み付けは、その対応する整合された画像中のボケのそれぞれの範囲に基づく（ステップＳ８２０）ものであって、以下の等式（１８）により表わされる。
【００８８】
【数２４】
2007188493.tif 000026
【００８９】
ここで、式
【００９０】
【数２５】
2007188493.tif 000027
ｌmは、整合された画像ｍ中のボケの推定範囲であり、また、ｑは、ｍ個の整合された画像の重み付き寄与の非線形性に合わせて調整するパラメータであり、さらに、ｈ＊（ｘ，ｙ）＝ｈ（−ｘ，−ｙ）である。
【００９１】
次に、重み付き残留画像Ｒが形成されている場合には、この推測画像に基づいて、水平エッジ画像Ｏhと垂直エッジ画像Ｏｖをそれぞれ計算し、また、上述の通り、ｐ＝１のｐノルム値を用いて、この水平エッジ画像Ｏhと垂直エッジ画像Ｏｖを正規化することで、正則化画像Ｌを形成する（ステップＳ８２２）。次に、等式（７）により、この正規化された水平エッジ画像Ｏhと垂直エッジ画像Ｏｖを組み合わせる。
【００９２】
次に、以下の等式（１９）により、正則化画像Ｌ、重み付き残留画像Ｒ、および、この推測画像を組み合わせて、更新された推測画像Ｏnを形成する（ステップＳ８２４）。
【００９３】
【数２６】
2007188493.tif 000028
ここで、αは、反復ステップ・サイズであり、また、ηは正則化パラメータである。
【００９４】
次に、更新された推測画像Ｏn中のピクセルの輝度は、等式（１６）により、０〜２５５に入るように、必要に応じて調整される（ステップＳ３３０）。
【００９５】
次に、更新された推測画像Ｏnのピクセルの輝度が必要に応じて調整された後で、この更新された推測画像Ｏnを、動きボケの補正された画像として出力すべきか、あるいは、ステップＳ８１４に戻るべきかどうか、ステップＳ８２８において判定する。反復を続けるべきであるかどうかの判断は、しきい回数を超えた反復回数に基づいている。上述の通り、代替基準が用いられることもある。これ以上、反復が行われることがなければ、更新された推測画像Ｏnは、この動きボケの補正された画像として出力される（ステップＳ８３０）。
【００９６】
ｐノルムのｐ値が１にセットされ、かつ、このウェーブレット領域内でノイズのフィルタリングがない場合には、複数の取り込まれた画像を用いて動きボケについて補正する方法は、ただ１つの取り込まれた画像を用いて動きボケについて補正する方法と同様であることが理解できる。しかしながら、複数の取り込まれた画像を用いる動きボケ補正の間、異なるｐノルムの値を使用でき、また、結果としてもたらされる処理費用が受け入れられる場合には、このウェーブレット領域内でのノイズ・フィルタリングを実行できるものとする。
【００９７】
動きボケ補正を簡単にするために、ボケを起こす動きは、一般に、直線で、かつ等速度であると考えられることがわかっている。しかしながら、動きボケ補正は、動きボケ範囲と動きボケ方向の初期推定に大きく左右されるために、動きボケ範囲と動きボケ方向の推定が不正確であると、不十分な動きボケ補正結果がもたらされることもある。有利には、上述の方法を、さらに複雑な画像取込み装置の動きを表す点広がり関数（ＰＳＦ）に使用することもある。このような場合には、等式（６）により表わされる向き選択の正則化画像は、直線で、等速度の動きの状況に最適であることに留意されたい。複雑な動きの状況では、等式（７）により表わされるような正則化画像を使用すべきである。
【００９８】
本発明の特定の実施形態が、上に説明されてきたが、併記の特許請求の範囲により定められる本発明の精神および範囲から逸脱しなければ、変形および変更を実行できることが、当業者には理解されよう。
【図面の簡単な説明】
【００９９】
【図１】動きボケ画像を取り込み、その取り込まれた画像において、動きボケ範囲と動きボケ方向を推定し、しかも、その取り込まれた画像中の動きボケについて補正するステップを示す流れ図。
【図２】動きボケ範囲と動きボケ方向の推定値を用いて、取り込まれた画像中の動きボケを補正するステップをより良く示す流れ図。
【図３】複数の動きボケ画像を取り込み、取り込まれたそれぞれの画像に対して、ボケ方向とボケ範囲を推定し、しかも、それらの取り込まれた画像を用いて、ボケの補正された出力画像を生成するステップを示す流れ図。
【図４】取り込まれた複数の画像を用いて、ボケの補正された出力画像を形成するステップをより良く示す流れ図。
【符号の説明】
【０１００】
ステップＳ１００…画像を取り込む。
ステップＳ２００…取り込まれた画像中の動きボケの方向および範囲を推定する。
ステップＳ３００…取り込まれた画像、動きボケの推定された方向および範囲を用いて、画像中の動きボケを補正する。
ステップＳ３１０…推測画像を確立する。
ステップＳ３１２…ボケ方向とボケ範囲の推定値を用いて、点広がり関数（ＰＳＦ）を作り出す。
ステップＳ３１４…ＰＳＦを用いて、推測画像をぼけさせる。
ステップＳ３１６…取り込まれた画像と、ボケ推測画像との間の誤差を決定する。
ステップＳ３１８…ＰＳＦを用いて、誤差画像をぼけさせる。
ステップＳ３２０…正則化画像を形成する。
ステップＳ３２２…ボケ誤差画像と正則化画像を組み合わせて、正則化された残留画像を形成する。
ステップＳ３２４…推測画像と正則化された残留画像を組み合わせて、推測画像を更新する。
ステップＳ３２６…ウェーブレット領域内でノイズをフィルタリングするか？。
ステップＳ３２８…更新された推測画像のウェーブレット分解、ソフトしきい値処理、および再構成を行う。
ステップＳ３３０…更新された推測画像の輝度を調整する。
ステップＳ３３２…何度も繰り返すか？。
ステップＳ３３４…ボケの補正された画像を出力する。
ステップＳ５００…同一シーンの複数の画像を取り込む。
ステップＳ６００…それぞれの取り込まれた画像中の動きボケの方向および範囲を推定する。
ステップＳ７００…取り込まれた画像を整合する。
ステップＳ８００…これらの整合された画像、動きボケのそれぞれの推定された方向および範囲を用いて、動きボケを補正した出力画像を形成する。
ステップＳ８１０…整合された動きボケ入力画像の平均値として、推測画像を確立する。
ステップＳ８１２…それぞれのボケ方向とボケ範囲を用いて、それぞれの入力画像に対して、点広がり関数（ＰＳＦ）を作り出す。
ステップＳ８１４…推測画像とＰＳＦを用いて、複数のボケ推測画像を形成する。
ステップ８１６…それぞれの入力画像と、その対応するボケ推測画像との誤差を決定する。
ステップＳ８１８…対応するＰＳＦを用いて、誤差画像をぼけさせる。
ステップＳ８２０…ボケのそれぞれの範囲に基づいて重みの付けられたボケ誤差画像を用いて、残留画像（Residual）を形成する。
ステップＳ８２２…正則化画像を形成する。
ステップＳ８２４…ボケ誤差画像の重み付き組み合わせを、この正則化画像と組み合わせて、この推測画像を更新する。
ステップＳ８２８…何度も繰り返すか？。
ステップＳ８３０…ボケの補正された画像を出力する。
【図１】
2007188493.tif 000029
【図２】
2007188493.tif 000030
【図３】
2007188493.tif 000031
【図４】
2007188493.tif 000032