(57)【要約】【課題】劣化画像を復元する装置等における処理量を低減し、好適な復元画像を得る劣化画像復元方法、劣化画像復元装置、及び、プログラムを提供すること。【解決手段】一の画像が所定の劣化過程により劣化した劣化画像が入力される劣化画像入力ステップと、前記劣化画像と前記一の画像との間の二乗誤差を最小化する反復式を所定の反復回数により展開して得られる、前記劣化画像を復元するフィルタ処理のフィルタ係数を記憶手段から読み出す係数読出ステップと、前記劣化画像に対し前記フィルタ係数による前記フィルタ処理を行うことにより前記劣化画像の復元画像を取得する復元画像取得ステップと、を有する劣化画像復元装置。【選択図】図６
2010061541.tif 000002
【特許請求の範囲】
【請求項１】
所定の劣化過程により劣化した劣化画像を入力する劣化画像入力ステップと、
前記劣化画像と復元画像を前記劣化過程により劣化させた画像との間の二乗誤差を最小化する反復式を所定の反復回数に応じて展開した、前記劣化画像を復元するフィルタ処理のフィルタ係数を記憶手段から読み出す係数読出ステップと、
前記劣化画像に対し前記フィルタ係数による前記フィルタ処理を行うことにより前記劣化画像の復元画像を取得する復元画像取得ステップと、
を有する劣化画像復元方法。
【請求項２】
前記フィルタ処理は、前記フィルタ係数のうち前記劣化画像中の局所領域に対応するフィルタ係数により行われる局所的なフィルタ処理を、前記劣化画像が有する画素毎に該画素を中心とする局所領域毎の畳み込み演算により行う請求項１記載の劣化画像復元方法。
【請求項３】
前記局所的なフィルタ処理に用いられるフィルタ係数は、前記局所領域毎に正規化したフィルタ係数である請求項２記載の劣化画像復元方法。
【請求項４】
前記記憶手段に、異なる前記所定の反復回数のそれぞれに対応するフィルタ係数が保持されている場合に、
前記係数読出ステップにおいて、前記劣化画像の劣化度に基づいて、一つの所定の反復回数に対応するフィルタ係数を読み出す請求項１ないし３何れか一項に記載の劣化画像復元方法。
【請求項５】
所定の劣化過程により劣化した劣化画像を入力する画像入力手段と、
前記劣化画像と復元画像を前記劣化過程により劣化させた画像との間の二乗誤差を最小化する反復式を所定の反復回数に応じて展開した、前記劣化画像を復元するフィルタ処理のフィルタ係数が格納された記憶手段と、
前記劣化画像に対し前記フィルタ係数による前記フィルタ処理を行うことにより前記劣化画像の復元画像を取得する復元画像取得手段と、
を有する劣化画像復元装置。
【請求項６】
コンピュータに、
所定の劣化過程により劣化した劣化画像を入力する劣化画像入力ステップと、
前記劣化画像と復元画像を前記劣化過程により劣化させた画像との間の二乗誤差を最小化する反復式を所定の反復回数に応じて展開して得られる、前記劣化画像を復元するフィルタ処理のフィルタ係数を記憶手段から読み出す係数読出ステップと、
前記劣化画像に対し前記フィルタ係数による前記フィルタ処理を行うことにより前記劣化画像の復元画像を取得する復元画像取得ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、劣化画像復元方法、劣化画像復元装置、及び、プログラムに関する。
【背景技術】
【０００２】
従来から、劣化した画像を復元する画像復元技術として、一般化逆フィルタを用いる方法、及び、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法（Ｌａｎｄｗｅｂｅｒ法ともいう）等がある（非特許文献１参照）。両方法とも、劣化過程が既知であるとして、劣化過程により劣化させたものと入力画像の二乗誤差が最小となるように、求めたい復元画像を決定する。
【０００３】
一般化逆フィルタは、二乗誤差が最小となる条件を解いた結果、逆行列を計算することになる。そのままでは計算困難なことも多いので、離散フーリエ変換を施し周波数空間上で計算を行い、再び実空間に戻す。これは、周波数空間上では逆行列演算が除算となることによる。
【０００４】
Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法は、反復法により初期解から徐々に真の解へ収束させていくことにより、二乗誤差が最小となる復元画像を得る。例えば、特開２００２−３００４５９号公報（特許文献１）では、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法をベースとし、局所的な畳み込み演算を行うことにより、大規模な行列計算をする必要が無く省メモリな構成が示されている。
【０００５】
【特許文献１】特開２００２−３００４５９号公報
【非特許文献１】Ｍ．Ｒ．Ｂａｎｈａｍ  ａｎｄ  Ａ．Ｋ．Ｋａｔｓａｇｇｅｌｏｓ，“Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｒｅｓｔｏｒａｔｉｏｎ”，ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ，ｐｐ．２４−４１，１９９７
【非特許文献２】Ｊ．Ｂｉｅｍｏｎｄ，Ｒ．Ｌ．Ｌａｇｅｎｄｉｊｋ，Ｒ．Ｍ．Ｍｅｒｓｅｒｅａｕ，“Ｉｔｅｒａｔｉｖｅ  ｍｅｔｈｏｄｓ  ｆｏｒ  ｉｍａｇｅ  ｄｅｂｌｕｒｒｉｎｇ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ，Ｖｏｌｕｍｅ  ７８，Ｉｓｓｕｅ  ５，Ｐａｇｅ（ｓ）：８５６−８８３，Ｍａｙ  １９９０
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、一般化逆フィルタは一回の処理で復元画像を求めることができるが、大規模な行列演算が必要となるため、計算量が多いという課題がある。また、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法は反復解法であるため、望ましい復元結果を得るためには、数回から数十回程度の反復が必要となる。これは、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法をベースとしている特許文献１に記載の画像復元装置等でも同様である。反復回数が増えれば計算量が増加し、装置等による実現が困難となる。
【０００７】
本発明は、上記の点に鑑み、劣化画像を復元する装置等における処理量を低減し、好適な復元画像を得る劣化画像復元方法、劣化画像復元装置、及び、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の劣化画像復元方法は所定の劣化過程により劣化した劣化画像を入力する劣化画像入力ステップと、前記劣化画像と復元画像を前記劣化過程により劣化させた画像との間の二乗誤差を最小化する反復式を所定の反復回数に応じて展開した、前記劣化画像を復元するフィルタ処理のフィルタ係数を記憶手段から読み出す係数読出ステップと、前記劣化画像に対し前記フィルタ係数による前記フィルタ処理を行うことにより前記劣化画像の復元画像を取得する復元画像取得ステップと、を有する。
【０００９】
なお、上記課題を解決するため、本発明は、上記劣化画像復元方法を実現する劣化画像復元装置、及び、上記劣化画像復元方法をコンピュータに実行させるためのプログラムとしてもよい。
【発明の効果】
【００１０】
本発明の劣化画像復元方法、劣化画像復元装置、及び、プログラムによれば、劣化画像を復元する装置等における処理量を低減し、好適な復元画像を得る劣化画像復元方法、劣化画像復元装置、及び、プログラムを提供することが可能になる。
【発明を実施するための最良の形態】
【００１１】
以下、本実施の形態を図面に基づき説明する。
【００１２】
〔実施の形態〕
図１は、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法による劣化画像を復元する劣化画像復元装置１０の機能構成を示すブロック図である。図１の劣化画像復元装置１０は、画像の劣化である「ボケ」を補正する機能を有する。劣化画像復元装置１０は、ボケ再現部１１、ボケ補正部１２、判定部１３、及び、フレームメモリ１４を有する。
【００１３】
ボケ再現部１１は、入力画像に対し所定の画像劣化を加える。所定の画像劣化とは、例えば、カメラのレンズボケ等による画像の変化である。カメラのレンズボケによる画像の変化は、例えば、点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ（以下、「ＰＳＦ」という。））によって表される。
【００１４】
図２は、ガウス関数により近似的に表現されたＰＳＦの図である。ガウス関数によるＰＳＦは、次式（１）により表される。
【数１】
2010061541.tif 000003
なお、Ｑは、正規化定数である。また、自然数ｒ≧１は、ＰＳＦの半径である。σ＞０は、ガウス関数の標準偏差であり、ボケの大きさを示す。
【００１５】
ボケ補正部１２は、ボケ再現部１１による劣化を加えられた画像と、入力画像との間の二乗誤差が最小になるように補正を行う。判定部１３は、ボケ再現部１１とボケ補正部１２とによるボケの再現とボケの補正とが、所定の反復回数を超えているか否かを判定する。所定の反復回数を超えていない場合には、ボケ補正部１２によりボケの補正が行われた画像を、フレームメモリ１４に格納させる。所定の反復回数を超えている場合には、ボケ補正部１２によりボケの補正が行われた画像を、復元画像として出力させる。
【００１６】
本実施の形態では、画像の劣化課程をモデルにより実現することにより、ボケの補正を行う。以下、画像の劣化過程のモデル化と、その劣化課程によるボケの補正について、説明する。
【００１７】
入力画像を列ベクトルとして、ベクトル状に並べたものをｙとする。例えば、画像の水平方向の画素値を垂直方向に1画素ずつずらしながら順につなげれば、画像を列ベクトルで表現できる。画像の大きさを横Ｍ１画素、縦Ｍ２画素とすると、ｙは、Ｍ１×Ｍ２サイズの列ベクトルとなる。
【００１８】
また、劣化画像復元装置１０の出力となる復元画像をｘと表す。ｘもＭ１×Ｍ２サイズの列ベクトルとなる。復元画像を劣化させそれにノイズをのせたものが入力画像になる、と考えると画像の劣化過程は次式（２）のモデル化をすることができる。
【００１９】
【数２】
2010061541.tif 000004
【００２０】
なお、Ｈは点応答関数で、復元画像の各点に関してＰＳＦを並べたものであり、（（Ｍ１×Ｍ２）×（Ｍ１×Ｍ２））サイズの行列である。またｎはノイズである。
【００２１】
ボケ補正部１２が行うボケ補正は、復元画像を劣化させたものと入力画像との二乗誤差が最小となるように復元画像を選ぶことであり、次式（３）で表される最小二乗問題として定式化できる。
【００２２】
【数３】
2010061541.tif 000005
また、式（３）は、以下のように書き直すことができる。
【００２３】
【数４】
2010061541.tif 000006
【００２４】
ここで、ｘＴはｘの転置を表す。式（４）を解くことにより、劣化過程が与えられたときに、入力画像に最も近いと思われる復元画像が得られる。式（４）の最適性必要条件は、式（４）をｘに関して微分することにより得られる次式（５）で表される。
【００２５】
【数５】
2010061541.tif 000007
式（５）を、ｘに関して解くと、式（６）が得られる。式（６）が、一般化逆フィルタの式である。式（５）に対して勾配法を構成すると式（７）が得られる。
【００２６】
【数６】
2010061541.tif 000008
式（７）を離散化すると、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法の方程式である式（８）及び式（９）が得られる。
【００２７】
【数７】
2010061541.tif 000009
式（８）及び式（９）において、上付数字は、反復回数（以下、「イテレーション」ともいう。）を表し、α＞０は、ステップサイズを表す。式（８）及び式（９）を、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法による反復数式という。なお、式（８）及び式（９）は、非特許文献２の８６７ページ、（７４）式と同等である。
【００２８】
一般化逆フィルタは、最適性必要条件を満たすｘを、逆行列を計算することにより直接求める。一方、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法は、入力画像を初期解として反復解法により逐次的に解を更新し、それを繰り返すことにより最適性必要条件を満たすｘを求める方法である。
【００２９】
一般化逆フィルタによる復元画像を求める処理は、ノイズの無い場合には、一回の処理で理想的な復元画像を求めることができるが、ノイズのある場合には、復元画像にノイズが発散してしまい望ましい画像を得ることができない。
【００３０】
それに対してＲｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法では、反復を途中で止めることができるため、復元画像にノイズを発散させないことが可能である。したがって、完全な復元ではなくてある程度の復元にはなるものの、ノイズが発散しない望ましい画像を得ることができる。しかし、反復処理が必須であるため計算量が多くなってしまうという課題がある。
【００３１】
本実施の形態では、式（８）及び式（９）を、初期解ｘ（０）＝ｙに関して再帰的に展開し、一つ以上の所定のイテレーションにおける解ｘ（ｎ）と入力画像ｙとの関係式を求める。
【００３２】
以下では、実際に展開を行うことによりフィルタリング係数を導く。ｎ＝１のときは、式（８）及び式（９）より、入力画像ｙとの関係式である次式（１０）が導かれる。
【００３３】
【数８】
2010061541.tif 000010
ここでＩは単位行列である。
次にｎ＝２、及び、ｎ＝３についても同様に、それぞれ、次式（１１）、及び、式（１２）が得られる。
【００３４】
【数９】
2010061541.tif 000011
ｎ＝４以降についても同様に再帰的な展開により、所定のイテレーションｎにおける復元画像ｘ（ｎ）と入力画像ｙとの関係式を導くことができる。
【００３５】
これらの関係式は、点応答関数が決まると一意に決定できるため、事前に計算しておくことが可能である。つまり入力画像ｙに前記関係式を計算すると任意のイテレーションにおける解ｘ（ｎ）が1回の処理で計算できる。また、入力画像ｙとこれらの関係式の計算は、フィルタリングとして定式化できる。よって任意のイテレーションにおける前記関係式に相当するフィルタ係数を、ルックアップテーブル（以下、「ＬＵＴ」という。）に格納しておくことにより、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法による画像復元は、入力画像ｙに対するフィルタリング演算として実現できる。任意のイテレーションの画像復元を１回のフィルタリング処理で実現できるため大きな計算量削減効果が期待できる。
【００３６】
なお、これらの関係式については規則性があり、次式（１３）のように2項定理によって定式化することができる。
【００３７】
【数１０】
2010061541.tif 000012
【００３８】
ここで、Ｘ（ｎ）を復元行列とする。Ｘ（ｎ）ｙは、一回の畳み込み処理であるから、これにより1回の処理でnイテレーションの処理が可能となる。しかし、復元行列Ｘ（ｎ）は、（（Ｍ１×Ｍ２）×（Ｍ１×Ｍ２））の行列であり、ｘ（ｎ）のある一画素を処理する畳み込み演算は（Ｍ１×Ｍ２）個の積和演算、すなわち、画面全体の積和演算となる。これは、非常に大きな計算量である。
【００３９】
本実施の形態では、さらに上式（１３）による処理を、画面全体の処理から局所処理へと発展させる。そうすることにより画面全体の畳み込みから、局所領域の畳み込みとなり、局所的なフィルタリングが実現できる。
【００４０】
任意の画素位置（ｉ，ｊ）Ｔを中心とした局所矩形領域（以下、「ローカルカーネル」という。）内の入力画像を列ベクトルとしてベクトル状に並べたものをｙｉとする。例えば、ローカルカーネル内で、画像の水平方向の画素値を垂直方向に1画素ずつずらしながら順につなげれば、画像を列ベクトルで表現できる。同様に、画素位置（ｉ，ｊ）Ｔのローカルカーネル内の復元画像をｘｉ（ｎ）とする。同様に、点応答関数は、画素位置（ｉ，ｊ）Ｔのローカルカーネル内で生成したものをＨｉとする。ローカルカーネルは、例えば、（（２Ｌ＋１），（２Ｌ＋１））サイズの正方領域とする。
【００４１】
このとき、ｙｉとｘｉ（ｎ）とは、（（２Ｌ＋１）＊（２Ｌ＋１））の列ベクトル、Ｈｉは、（（２Ｌ＋１）＊（２Ｌ＋１）×（２Ｌ＋１）＊（２Ｌ＋１））の行列である。このとき、画素位置（ｉ，ｊ）Ｔのローカルカーネルの復元行列は、次式（１４）となる。
【００４２】
【数１１】
2010061541.tif 000013
【００４３】
さらに、画素位置（ｉ，ｊ）Ｔの復元画素ｘｉ（ｎ）に関するフィルタリングを行う場合には、復元行列Ｘｉ（ｎ）全体は必要無く、復元画素ｘｉ（ｎ）に相当する部分、すなわち、復元行列Ｘｉ（ｎ）の第Ｌ＋１行のデータがあれば良い。復元行列Ｘｉ（ｎ）の第Ｌ＋１行のデータを取り出し、元のローカルカーネルの画素配置と同じように並べ直した行列をｗｉ（ｎ）とし、これを復元フィルタ係数とする。
【００４４】
復元フィルタ係数を使うと、復元フィルタリングは次式（１５）となる。
【数１２】
2010061541.tif 000014
ここでｙｉは画素位置（ｉ，ｊ）Ｔの入力画素、＊＊はフィルタ係数ｗｉ（ｎ）を使ったローカルカーネルに対する畳み込み演算を表す。
【００４５】
図３は、ローカルカーネルによる復元フィルタリングを説明する図である。図３（ａ）は、画面全体の処理を説明する図であり、式（１４）に示す行列演算の図である。なお、図中、「画面」を「フレーム」と表記する。
【００４６】
図３（ｂ）は、ローカルカーネルに対応する復元行列を説明する図である。図３（ｂ）では、図３（ａ）における復元画素ｘｉ（ｎ）に相当する、復元行列Ｘｉ（ｎ）の第Ｌ＋１行のデータからなる復元行列が示されている。図３（ｃ）は、図３（ｂ）の行列演算を、復元画素毎のフィルタリング処理として表記したものであり、式（１５）に対応する。
【００４７】
図４は、式（１３）による復元行列から得られる復元フィルタ係数が、ＬＵＴに格納された、劣化画像復元装置の機能構成を示すブロック図である。図４の劣化画像復元装置２００は、復元フィルタリング部２１０、及び、ＬＵＴ保持部２９０を有する。
【００４８】
復元フィルタリング部２１０は、入力される入力画像に対し、ＬＵＴ保持部２９０に格納された復元フィルタ係数を用いて、劣化画像の復元を行う。ＬＵＴ保持部２９０は、所定のイテレーションにおける復元フィルタ係数を保持する。
【００４９】
なお、図中、ステップＳ２１は、ボケ再現部１１による所定の入力画像に対する画像を劣化させる処理であり、ステップＳ２２は、ステップＳ２１において劣化された画像に対する所定のイテレーションにおける復元行列及び復元フィルタ係数を生成する処理である。ステップＳ２１とステップＳ２２の処理とが、入力画像の復元に先んじて行われることにより、ＬＵＴ保持部２９０に保持する復元フィルタ係数が取得され、ＬＵＴ保持部２９０に保持される。
【００５０】
図５は、復元フィルタ係数における打ち切り誤差の補正を説明する図である。図５において、復元フィルタ係数ｗ（ｎ）のうち、ローカルカーネルｋに対応する部分を用いてフィルタリング処理を行った場合に、打ち切り誤差ｃ１及びｃ２が生じる。より詳細には、本来画像全体処理において復元行列が持っていた、中心から外れた領域の振幅成分が、ローカルカーネルに限定してしまうことによって残ったものが、打ち切り誤差ｃ１及びｃ２である。打ち切り誤差ｃ１及びｃ２が残ったままだとフィルタ係数の総和が1とはならず、フィルタリングの結果がずれてきてしまう。
【００５１】
そこで、復元フィルタ係数ｗｉ（ｎ）の和をＱとすると、打ち切り誤差ｃは、ｃ＝１−Ｑで表され、次式（１６）となる。また、打ち切り誤差ｃを用いる復元フィルタ係数の補正は、例えば、次式（１７）で表される。
【００５２】
【数１３】
2010061541.tif 000015
【００５３】
なお、ωｊは、復元フィルタ係数ｗｉ（ｎ）の、ｊ番目の要素である。式（１７）のように復元フィルタ係数の全要素に補正する他に、復元フィルタ係数内で振幅が最大のものに対して、ローカルカーネル全体に対応する打ち切り誤差補正係数を適用することにより補正してもよい。
【００５４】
打ち切り誤差を補正した復元フィルタ係数ｗｉ（ｎ）‘によるローカルカーネル内の入力画像ｙｉに対するフィルタリングは、次式（１８）で表される。
【００５５】
【数１４】
2010061541.tif 000016
【００５６】
図６は、図４の復元フィルタリング部２１０における処理の詳細を説明するフロー図である。図６では、劣化した入力画像ｙに対し、復元処理が行われることにより、出力画像ｘが得られる。
【００５７】
図６では、各処理に先んじて、入力画像ｙが、劣化画像復元装置に入力される。ステップＳ１０１では、出力画像の変数ｘが定義される。例えば、出力画像ｘに対応するデータ領域がメモリ上に確保される。ステップＳ１０１に続いてステップＳ１０２に進み、ＬＵＴ保持部２９０から復元フィルタ係数ｗが読み出される。
【００５８】
ステップＳ１０２に続くステップＳ１０３からステップＳ１０７では、ステップＳ１０２で取得された復元フィルタ係数ｗにより、入力画像ｙに対する復元画像ｘを取得する処理が行われる。
【００５９】
ステップＳ１０２に続くステップＳ１０３では、入力画像の一画面に対する復元処理が開始される。ここでは、画面内の画素位置（ｉ，ｊ）が初期化される。ステップＳ１０３に続いてステップＳ１０４に進み、一の画素に対するローカルカーネルによる復元フィルタリング処理のループが開始される。
【００６０】
より詳細には、例えば、ローカルカーネルの半径をＬとし、画面の横方向に、−Ｌ≦ｋ≦Ｌ，画面の縦方向に、−Ｌ≦ｌ≦Ｌの範囲の入力画素ｙによるフィルタリング処理が行われる。そこで、ステップＳ１０３に続くステップＳ１０４では、ローカルカーネルの中心画素ｘ（ｉ，ｊ）の値を０に初期化する。
【００６１】
ステップＳ１０４に続いてステップＳ１０５に進み、次式（１９）による復元フィルタリング処理が行われる。より詳細には、ローカルカーネル内の各入力画素に対して復元フィルタリング係数を乗じた値が演算され、既に演算されている値に加算される。
ｘ（ｉ，ｊ）＋＝ｗ（ｋ，ｌ）＊ｙ（ｉ＋ｋ，ｊ＋ｉ）・・・・（１９）
【００６２】
ステップＳ１０５に続いてステップＳ１０６に進み、ローカルカーネル内の全ての入力画素ｙに対する式（１９）の演算が行われている場合には、ステップＳ１０７に進み、行われていない場合には、ステップＳ１０４に戻って処理を繰り返す。ステップＳ１０６に続くステップＳ１０７では、処理中の一画面内の全画素に対し、ローカルカーネルによる復元処理が行われたか否かが判断される。全画素に対する復元処理が終了している場合には、処理を終了し、出力画像ｘを出力する。一方、復元処理が終了していない画素が残っている場合には、ステップＳ１０３に戻って処理を繰り返す。
【００６３】
なお、ステップＳ１０４からステップＳ１０６の処理において、ローカルカーネルの端が、画面の外に存在する場合には、画面の外の画素値は、画面内の画素のミラーリング処理により取得されてもよく、また、所定の画素値を用いてもよい。
【００６４】
以上のように本実施の形態によれば、任意のイテレーションの画像復元処理を、一回のフィルタリング処理として実現できるため、計算量を大幅に削減できる。
【００６５】
図７は、一以上のイテレーションのそれぞれに対応する復元フィルタ係数を用いる劣化画像復元装置３００を説明する図である。図４の劣化画像復元装置２００では、所定の回数の反復復元処理を、1回のフィルタリング処理で等価に実現する。これにより少ない計算量で復元性能を高めることができる。しかしながら、等価に実現するイテレーションを大きくし過ぎるとノイズの影響も大きくなり望ましい復元画像とならなくなってしまうことがある。
【００６６】
図７の劣化画像復元装置３００は、一つ以上複数のイテレーションを実現した復元フィルタ係数を用意しておき、ノイズ量を推定し、推定されたノイズ量に応じて前記複数の復元フィルタ係数からいずれか一つを選択し復元フィルタリングを行う。
【００６７】
劣化画像復元装置３００は、復元フィルタリング部３１０、ノイズ量推定部３２０、セレクタ３３０、ＬＵＴ保持部３９０ａ、ＬＵＴ保持部３９０ｂ、ＬＵＴ保持部３９０ｃ、及び、ＬＵＴ保持部３９０ｄを有する。
【００６８】
ＬＵＴ保持部３９０ａないし３９０ｄは、各々、異なるイテレーションに対応する復元フィルタ係数を保持する。図中では、ｎ＝１、５、１０、Ｎを、それぞれ、ＬＵＴ保持部３９０ａないし３９０ｄが保持する復元フィルタ係数のイテレーションとしている。
【００６９】
ノイズ量推定部３２０は、劣化された入力画像のノイズ量を、ローカルカーネルに対応する矩形領域毎に推定する。セレクタ３３０は、ノイズ量推定部３２０により推定されたノイズ量に基づいて、ＬＵＴ保持部３９０ａないし３９０ｄのうち、一のＬＵＴ保持部から、復元フィルタ係数を取得する。
【００７０】
より詳細には、次のように、復元フィルタ係数を取得するＬＵＴ保持部を決定する。イテレーションが小さいものは、復元性能も小さいがノイズを大きく増幅しない。またイテレーションが大きいものは、復元性能は高いがノイズも大きく増幅してしまう。そこで推定されたノイズ量が大きい場合にはイテレーションが小さい復元フィルタを選択し、推定されたノイズ量が小さい場合にはイテレーションが大きい復元フィルタを選択する。なお、ノイズ量の値とイテレーションの値との対応は、例えば、複数の所定のノイズ量の値を閾値とすることにより、各々、対応づけるとよい。このようにすることにより、復元性能とノイズ増幅のバランスを取ることが可能となる。
【００７１】
復元フィルタリング部３１０は、入力画像に対し、セレクタ３３０により取得された復元フィルタ係数による処理を行い、出力画像を出力する。
【００７２】
なお、図中、ステップＳ３１は、ボケ再現部１１による所定の入力画像に対する画像を劣化させる処理であり、ステップＳ３２は、ステップＳ３１において劣化された画像に対する異なる複数のイテレーションにおける復元行列及び復元フィルタ係数を生成する処理である。ステップＳ３１とステップＳ３２の処理とが、入力画像の復元に先んじて行われることにより、ＬＵＴ保持部３９０ａないし３９０ｄのそれぞれに保持される、異なるイテレーションに対応する復元フィルタ係数が取得される。
【００７３】
図８は、劣化画像復元装置１００のハードウェア構成を示したブロック図である。図８に示すように、劣化画像復元装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１、操作部１０２、表示部１０３、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０４、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０５、信号入力部１０６、及び、記憶部１０７を有し、各部はバス１０８により接続されている。
【００７４】
ＣＰＵ１０１は、ＲＡＭ１０５の所定領域を作業領域として、ＲＯＭ１０４等に予め記憶された各種プログラムとの協働により各種処理を実行し、劣化画像復元装置１００を構成する各部の動作を統括的に制御する。ＣＰＵ１０１は、また、ＲＯＭ１０４等に予め記憶されたプログラムとの協働により、本実施形態に係る劣化画像復元方法を実行する。
【００７５】
操作部１０２は、各種入力キー等を備え、ユーザーから操作入力された情報を入力信号として受け付け、その入力信号をＣＰＵ１０１に出力する。
【００７６】
表示部１０３は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等の表示手段により構成され、ＣＰＵ１０１からの表示信号に基づいて、各種情報を表示する。なお、表示部１０３は、操作部１０２と一体的にタッチパネルを構成する態様としてもよい。
【００７７】
ＲＯＭ１０４は、劣化画像復元装置１００の制御に係るプログラムや各種設定情報等を書き換え不可能に記憶する。ＲＡＭ１０５は、例えば、ＳＤＲＡＭ等の記憶手段であって、ＣＰＵ１０１の作業エリアとして機能し、バッファ等の役割を果たす。
【００７８】
信号入力部１０６は、動画像や音声を電気信号に変換し、映像信号としてＣＰＵ１０１に出力するものである。信号入力部１０６は、放送番組受信機（チューナー）等を用いるとよい。
【００７９】
記憶部１０７は、磁気的又は光学的に記録可能な記憶媒体を有し、信号入力部１０６を介して取得された映像信号、又は、図示しない通信部やＩ／Ｆ（インターフェース）等を介して外部から入力される映像信号等のデータを記憶する。
【００８０】
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。
【図面の簡単な説明】
【００８１】
【図１】Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法による劣化画像を復元する機能構成を示すブロック図である。
【図２】ガウス関数により近似的に表現されたＰＳＦの図である。
【図３】ローカルカーネルによる復元フィルタリングを説明する図である。
【図４】復元フィルタ係数がＬＵＴに格納された機能構成を示すブロック図である。
【図５】打ち切り誤差の補正を説明する図である。
【図６】復元フィルタリング部における処理の詳細を説明するフロー図である。
【図７】一以上のイテレーションのそれぞれに対応する復元フィルタ係数を用いる機能構成を説明する図である。
【図８】劣化画像復元装置のハードウェア構成を示したブロック図である。
【符号の説明】
【００８２】
１０    劣化画像復元装置
１１    ボケ再現部
１２    ボケ補正部
１３    判定部
１４    フレームメモリ
１００    劣化画像復元装置
１０２    操作部
１０３    表示部
１０６    信号入力部
１０７    記憶部
１０８    バス
２００    劣化画像復元装置
２１０    復元フィルタリング部
２９０    ＬＵＴ保持部
３００    劣化画像復元装置
３１０    復元フィルタリング部
３２０    ノイズ量推定部
３３０    セレクタ
３９０ａ  ＬＵＴ保持部
３９０ｂ  ＬＵＴ保持部
３９０ｃ  ＬＵＴ保持部
３９０ｄ  ＬＵＴ保持部
【図１】
2010061541.tif 000017
【図２】
2010061541.tif 000018
【図３】
2010061541.tif 000019
【図４】
2010061541.tif 000020
【図５】
2010061541.tif 000021
【図６】
2010061541.tif 000022
【図７】
2010061541.tif 000023
【図８】
2010061541.tif 000024