(57)【要約】【課題】  画像における画像劣化を復元処理する際に、違和感を抑え、自然な画像を生成すること。【解決手段】  本発明の画像復元方法は、読み込まれた画像を複数の領域に分割する領域分割工程と、複数の領域ごとに、画像劣化に関する評価値を算出する算出工程と、画像に対して、画像劣化を軽減する復元処理を行い、復元処理における復元強度の異なる複数の画像を生成する生成工程と、評価値に基づいて、復元強度の異なる複数の画像を合成して合成画像を生成する合成工程とを備える。【選択図】      図１
2010016470.tif 000002
【特許請求の範囲】
【請求項１】
読み込まれた画像を複数の領域に分割する領域分割工程と、
前記複数の領域ごとに、画像劣化に関する評価値を算出する算出工程と、
前記画像に対して、前記画像劣化を軽減する復元処理を行い、前記復元処理における復元強度の異なる複数の画像を生成する生成工程と、
前記評価値に基づいて、前記復元強度の異なる複数の画像を合成して合成画像を生成する合成工程と
を備えることを特徴とする画像復元方法。
【請求項２】
請求項１に記載の画像復元方法において、
前記生成工程では、前記復元処理のための設定値に基づいて決まる所定の関数の値を最大または最小にすることで前記復元処理を行う
ことを特徴とする画像復元方法。
【請求項３】
請求項１または請求項２に記載の画像復元方法において、
前記生成工程では、読み込まれた前記画像に依存して、前記復元強度に関わる設定値を変更することにより、前記復元強度の異なる複数の画像を生成する
ことを特徴とする画像復元方法。
【請求項４】
請求項１または請求項２に記載の画像復元方法において、
前記復元処理により生成した画像を複数の領域に分割する第２の領域分割工程と、
前記第２の領域分割工程において分割された前記複数の領域ごとに、画像劣化に関する第２の評価値を算出する第２の算出工程とを備え、
前記生成工程では、前記第２の評価値に基づいて、前記復元強度に関わる設定値を変更することにより、前記復元強度の異なる複数の画像を生成する
ことを特徴とする画像復元方法。
【請求項５】
請求項１に記載の画像復元方法において、
前記画像劣化は、少なくとも撮像レンズの焦点ズレによるボケを含む
ことを特徴とする画像復元方法。
【請求項６】
請求項１に記載の画像復元方法において、
前記画像劣化は、少なくとも読み込まれた前記画像を拡大することで生じるボケを含む
ことを特徴とする画像復元方法。
【請求項７】
請求項１に記載の画像復元方法において、
前記合成工程では、前記評価値に基づいて、予め定められた複数の領域ごとに、前記復元強度の異なる複数の画像から部分画像を取得し、取得した複数の前記部分画像を合成することにより前記合成画像を生成する
ことを特徴とする画像復元方法。
【請求項８】
請求項７に記載の画像復元方法において、
前記合成工程では、１つの前記部分画像を、前記復元強度の異なる複数の画像のうち少なくとも２つの画像から、前記評価値に基づく重み付け加算の手法を用いて取得する
ことを特徴とする画像復元方法。
【請求項９】
請求項７に記載の画像復元方法において、
前記合成工程では、１つの前記部分画像を、前記復元強度の異なる複数の画像のうち何れか１つの画像から取得する
ことを特徴とする画像復元方法。
【請求項１０】
請求項１に記載の画像復元方法において、
前記算出工程では、読み込まれた前記画像に含まれるエッジの分布に基づいて、前記評価値を算出する
ことを特徴とする画像復元方法。
【請求項１１】
請求項２に記載の画像復元方法において、
前記生成工程では、ベイズ統計を用いて前記復元処理を行う
ことを特徴とする画像復元方法。
【請求項１２】
請求項１から請求項１１の何れか１項に記載の画像復元方法の各工程を、コンピュータに実行させることを特徴とする画像復元プログラム。
【請求項１３】
画像のデータを読み込む入力部と、
前記画像を複数の領域に分割する領域分割部と、
前記複数の領域ごとに、画像劣化に関する評価値を算出する算出部と、
前記画像に対して、前記画像劣化を軽減する復元処理を行い、前記復元処理における復元強度の異なる複数の画像を生成する生成部と、
前記評価値に基づいて、前記復元強度の異なる複数の画像を合成して合成画像を生成する合成部と
を備えることを特徴とする画像復元装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復元方法、画像復元プログラムおよび画像復元装置に関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置で撮像した画像から、撮像レンズの焦点ズレによって生じたボケ等を除去し復元する手法として、画像からエッジ成分を抽出して、このエッジ成分を元の画像に割合を変えながら付加してエッジ強調を行うことで、鮮明にする手法が知られている。
【０００３】
一方、上記手法とは異なる画像を復元する方法の開発も盛んに行われている。例えば、非特許文献１では、Super-ResolutionおよびDemosaicingに基づいたモデルを、非特許文献２では、ベイズ理論に基づいたモデルを用いて決まる関数が、最小となるときであるとして復元処理を行う手法をそれぞれ開示している。これらの手法は、ボケた画像はボケの無い理想画像がボカされて生じるものであると言う仮定と、モデルにより得られるコスト関数とを用いて、ボケ画像から元画像を予測する手法である。
【非特許文献１】S. Farsiu, M. Elad, and P. Milanfar, IEEE Trans. 'Multi-Frame Demosaicing and Super-Resolution of Color Images', Image Processing, Vol.15, No.1, pp. 141-159, Jan. 2006
【非特許文献２】G. K. Chantas, N. P. Galatsanos, and A. C. Likas, 'Bayesian Restoration Using a New Nonstationary Edge-Preserving Image Prior', IEEE Trans. Image Process, Vol.15, No.10, pp.2987-2997, 2006
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術である画像のエッジ成分を元の画像に割合を変えながら付加して復元する手法は、強いエッジ強調をする場合にはノイズが目立ってしまう。
【０００５】
一方、非特許文献１や非特許文献２の画像復元方法では、元の画像に含まれる画像劣化（ボケやノイズ）の強度を予測することが必要になる。しかし、基準とするある領域に合わせて復元強度を予測すると、その領域以外の部分において過度な復元処理を行ってしまったり、逆に十分な復元処理が行われない場合がある。このような場合には、復元処理後の画像が違和感のある画像となってしまう。
【０００６】
上記従来技術が有する問題に鑑み、本発明の目的は、画像における画像劣化を復元処理する際に、違和感を抑え、自然な画像を生成することができる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像復元方法は、読み込まれた画像を複数の領域に分割する領域分割工程と、前記複数の領域ごとに、画像劣化に関する評価値を算出する算出工程と、前記画像に対して、前記画像劣化を軽減する復元処理を行い、前記復元処理における復元強度の異なる複数の画像を生成する生成工程と、前記評価値に基づいて、前記復元強度の異なる複数の画像を合成して合成画像を生成する合成工程とを備える。
【０００８】
この発明のプログラムは、この発明の各工程を、コンピュータに実行させる。
【０００９】
この発明の画像復元装置は、画像のデータを読み込む入力部と、前記画像を複数の領域に分割する領域分割部と、前記複数の領域ごとに、画像劣化に関する評価値を算出する算出部と、前記画像に対して、前記画像劣化を軽減する復元処理を行い、前記復元処理における復元強度の異なる複数の画像を生成する生成部と、前記評価値に基づいて、前記復元強度の異なる複数の画像を合成して合成画像を生成する合成部とを備える。
【発明の効果】
【００１０】
本発明によれば、画像における画像劣化を復元処理する際に、違和感を抑え、自然な画像を生成することができる。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明の一の実施形態に係る画像復元方法をコンピュータ１０へ適用した場合の概念図である。
【００１２】
図１に示すコンピュータ１０は、ＣＰＵ１、記憶部２、入出力インタフェース（入出力Ｉ／Ｆ）３およびバス４から構成され、ＣＰＵ１、記憶部２および入出力Ｉ／Ｆ３は、バス４を介して情報伝達可能に接続される。また、コンピュータ１０には、入出力Ｉ／Ｆ３を介して、画像処理の途中経過や処理結果を表示する出力装置２０、ユーザからの入力を受け付ける入力装置３０がそれぞれ接続される。出力装置２０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置３０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。
【００１３】
ＣＰＵ１は、入力装置３０で受け付けたユーザからの指示に基づいて、記憶部２に記憶されている画像復元プログラムを読み込み、記憶部２に記憶されている画像の復元処理を行う。ＣＰＵ１は、その画像の復元処理の結果を、出力装置２０に表示する。ＣＰＵ１には、一般的な中央演算装置を用いることができる。
【００１４】
記憶部２は、被写体が撮像された画像のデータだけでなく、その画像における画像劣化を復元処理するための画像復元プログラム等を記録する。記憶部２に記憶される画像データやプログラム等は、バス４を介して、ＣＰＵ１から適宜参照することができる。記憶部２には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、図１の記憶部２は、コンピュータ１０に組み込まれているが、外付けの記憶装置でも良い。この場合、記憶部２は、入出力Ｉ／Ｆ３を介してコンピュータ１０に接続される。
【００１５】
本実施形態における画像の復元処理の手法は、ベイズ理論に基づいた手法を用いる。以下に、ベイズ統計、確率モデル、最急降下法および目的関数について簡単に説明する。
【００１６】
復元処理の対象の画像をｇおよび復元処理後の画像をｆとすると、両画像は次の式（１）のように関係付けることができる。
【００１７】
ｇ＝Ｈｆ＋ｎ  …式（１）
式（１）のｎは、画像に付加されるホワイトノイズである。なお、画像ｇ、画像ｆおよびホワイトノイズｎは、一次元ベクトルで表される。また、Ｈは、ボカシフィルタ行列を表す。本実施形態では、復元処理の対象の画像ｇに応じて、復元処理に用いる実際のボケ関数等も変化するため、次式（２）の関数に示すように、汎用的なボカシフィルタを用いて復元処理を行う。
【００１８】
【数１】
2010016470.tif 000003
なお、式（２）のパラメータσは、フィルタ強度（ボケの復元強度）を示す。また、フィルタ強度は、復元処理におけるボカシ半径とも言い換えることができる。
【００１９】
一方、ベイズ統計とは、例えば、ある２つの事象Ａ、Ｂがあるときに、事象Ａが生じたときに事象Ｂが生じる確率が、事象Ｂが生じたときに事象Ａが生じる確率を用いて次式（３）のように表される関係をいう。
【００２０】
Ｐ（Ｂ｜Ａ）＝Ｐ（Ｂ）・Ｐ（Ａ｜Ｂ）÷Ｐ（Ａ）  …式（３）
式（３）により、本実施形態における画像ｇから画像ｆを求めるということを、画像ｆがあるとき、画像ｇになる確率を用いて表すことができる。この確率は、ベイズ統計および非特許文献２のモデルに基づいて求めることができる。
【００２１】
本実施形態では、上述した式（１）から式（３）に基づいて目的関数を求め、この関数の値が最小となる画像ｆを求める。
【００２２】
ところで、式（２）におけるパラメータσを大きくすると、復元処理の対象の画像ｇにおいてボケている部分の復元効果も大きくなる。しかし、その一方で、パラメータσを大きくすると、復元処理の対象の画像ｇにおいてある程度ピントの合っている部分では、画像の過剰補正が起こってしまう場合がある。すなわち、ある程度ピントの合っている部分において過度な復元処理が行われてしまうことになる。
【００２３】
そこで、式（２）におけるパラメータσを小さくすると、復元処理の対象の画像ｇにおいてある程度ピントの合っている部分では適度な復元処理が行われるが、復元処理の対象の画像ｇにおいてボケている部分では復元効果が小さくなり、十分な復元処理が行われない場合がある。
【００２４】
このような問題は、復元処理の対象の画像ｇにおけるピントの合い具合（ボケ具合）が局所的に異なる場合に発生する。例えば、復元処理の対象の画像ｇが、図２に示すように、手前に人物Ｐが存在し、奥に樹木Ｔが存在する画像である場合、撮影時の撮影条件（絞り、焦点距離など）によっては、人物Ｐ近辺の領域と樹木Ｔ近辺の領域とでピントの合い具合が異なる。このような画像ｇに対して、人物Ｐを基準として復元処理を行うと、樹木Ｔに関しては過度な復元処理が行われるか、または、十分な復元処理が行われない。逆に、樹木Ｔを基準として復元処理を行うと、人物Ｐに関しては過度な復元処理が行われるか、または、十分な復元処理が行われない。
【００２５】
そこで、本実施形態では、復元処理の対象の画像ｇに合わせた復元処理を行い、違和感を抑えた自然な画像を生成する。
【００２６】
本実施形態に係る画像復元方法の処理の手順について、図３のフローチャートを参照しながら説明する。
【００２７】
ユーザが、入力装置３０を用いて、画像復元プログラムのコマンドを入力、または、そのプログラムのアイコンをダブルクリックすることにより、プログラムの起動命令を出す。ＣＰＵ１は、その命令を入出力Ｉ／Ｆ３を通じて受け付け、記憶部２に記憶されている画像復元プログラムを実行する。その結果、図３のステップＳ１０からの処理が行われる。なお、本実施形態では、記憶部２にあらかじめ復元処理の対象となる、電子カメラ等で被写体を撮像した画像が記憶されているものとする。
【００２８】
ステップＳ１０：ＣＰＵ１は、ユーザの指示に基づいて、復元処理によって、少なくとも電子カメラ等の撮像レンズの焦点ズレによるボケや、撮像素子において生じたノイズ等による画像劣化を軽減したい画像（以下、画像ｇ）を、記憶部２より読み込む。図４は、読み込まれた画像ｇの一例を示す。
【００２９】
ステップＳ１１：ＣＰＵ１は、ステップＳ１０で読み込んだ画像ｇを予め定められた複数の領域に分割する。例えば、ＣＰＵ１は、画像ｇを１０〜２０ｐｉｘｅｌ四方の領域に分割する。なお、この分割数は、入力装置３０などを介したユーザ操作により指定可能としても良い。また、画像ｇの画素数に応じて、ＣＰＵ１がその都度分割数を決定する構成としても良い。また、画像ｇの撮影時の撮影情報（合焦位置、絞り、焦点距離）などに応じて、ＣＰＵ１がその都度分割数を決定する構成としても良い。
【００３０】
以下では、説明のため、図４に示すように画像ｇを縦横にそれぞれ６等分することにより、領域Ａ１〜領域２４の計２４の領域に分割したものとして説明する。
【００３１】
ステップＳ１２：ＣＰＵ１は、ステップＳ１１で分割した領域ごとにエッジ判定値Ｅ（エッジ判定値Ｅ１〜Ｅ２４）を算出する。エッジ判定値Ｅとは、画像劣化に関する一評価値である。ＣＰＵ１は、ステップＳ１１で分割した領域ごとに公知技術と同様にエッジの分布を求め、求めたエッジの分布からエッジ判定値Ｅを求める。エッジの分布は、例えば、画像ｇのコントラストや画像ｇにおけるボケ量に基づいて求めることができる。また、エッジ判定値Ｅに代えて、画像劣化の程度や傾向を示す他の評価値を用いても良い。
【００３２】
図５は、ステップＳ１１で分割した領域ごとに算出したエッジ判定値Ｅの一例である。図５において、色が暗い（黒に近い）領域ほどエッジ判定値Ｅが大きく、色が明るい（白に近い）領域ほどエッジ判定値Ｅが小さいことを示す。また、エッジ判定値Ｅが大きいほどピントが合っていることを示し、エッジ判定値Ｅが小さいほどピントが合っていない（ボケが大きい）ことを示す。図５の例では、背景の山並みの部分に最もピントが合っていて、手前に存在する人物の部分のボケが最も大きい。
【００３３】
ステップＳ１３：ＣＰＵ１は、式（２）のパラメータσを変化させてｎ枚の復元画像を生成する。ＣＰＵ１は、予め定められた間隔（例えば、０．５間隔）でパラメータσを変化させて画像ｇに対する復元処理をｎ回行い、画像ｇからｎ枚の復元画像を生成する。なお、図６に示すように、生成したｎ枚の画像を復元画像Ｉ１〜Ｉｎと称する。復元画像Ｉ１〜Ｉｎは、それぞれ異なるパラメータσ（σ１〜σｎ）を用いて行われた復元処理により生成された画像である。また、復元画像Ｉ１〜Ｉｎは、フィルタ強度（ボケの復元強度）が異なる画像である。
【００３４】
なお、パラメータσを変化させる間隔および生成する復元画像の枚数（上述の例ではｎ枚）は、予め定められていても良いし、入力装置３０などを介したユーザ操作により指定可能としても良い。また、ステップＳ１２で算出したエッジ判定値Ｅに応じて、ＣＰＵ１がその都度決定する構成としても良い。例えば、エッジ判定値Ｅの最大値と最小値との差分に基づいて、パラメータσを変化させる範囲を決定し、決定した範囲において所定の枚数の復元画像を生成するようにパラメータσを変化させる間隔を決定しても良い。
【００３５】
また、復元処理において、画像ｇの画素の外周上にある画素と他の領域にある画素との扱いを揃えるために、画像ｇの画素の外周に新たに画素を付加してから復元処理を行っても良い。
【００３６】
ステップＳ１４：ＣＰＵ１は、ステップＳ１２で算出したエッジ判定値Ｅに基づいて、ステップＳ１３で生成した復元画像を合成する。
【００３７】
ＣＰＵ１は、まず、ステップＳ１１で分割した領域ごとに、ステップＳ１２で算出したエッジ判定値Ｅに基づいて、ステップＳ１３で生成したｎ枚の復元画像から１枚の画像を選択する。ＣＰＵ１は、領域Ａ１については、エッジ判定値Ｅ１に基づいて、復元画像Ｉ１〜Ｉｎのうち１枚の画像を選択する。例えば、エッジ判定値Ｅ１により画像ｇの領域Ａ１における画像劣化の程度を推測し、その画像劣化を最も適当なフィルタ強度（ボケの復元強度）で復元していると見なすことができる復元画像を選択する。ＣＰＵ１は、同様の処理を領域Ａ２〜Ａ２４について行い、領域ごとに復元画像Ｉ１〜Ｉｎのうち１枚の画像を選択する。
【００３８】
なお、復元画像Ｉ１〜Ｉｎのうち選択されない（後の合成に使用されない）画像があっても良い。例えば、図６の例では、復元画像Ｉ３に基づく部分画像ｉ３は、領域Ａ２〜Ａ２４の何れにおいても選択されない（後の合成に使用されない）。
【００３９】
また、この選択処理を簡単にするため、エッジ判定値Ｅの値とパラメータσの値とを関連付けたテーブルなどを用意しても良い。また、領域ごとに復元画像Ｉ１〜Ｉｎのうち１枚の画像を選択する際に、ステップＳ１０で読み込んだ画像ｇも選択の対象としても良い。すなわち、画像ｇにおいて、十分にピントが合っている領域については、復元画像Ｉ１〜Ｉｎではなく、元画像である画像ｇを選択して後述する合成に用いても良い。
【００４０】
上記したように、領域ごとに、エッジ判定値Ｅに基づいてｎ枚の復元画像から１枚の画像を選択すると、ＣＰＵ１は、図６に示すように、ステップＳ１３で生成した復元画像Ｉ１〜Ｉｎから、それぞれ部分画像ｉ（ｉ１〜ｉｎ）を取得する。そして、ＣＰＵ１は、取得した部分画像を合成し、合成画像を生成する。
【００４１】
ステップＳ１５：ＣＰＵ１は、ステップＳ１４で生成した合成画像を画像ｆとして記憶部２に記録して復元処理を終了する。
【００４２】
このように本実施形態は、処理対象の画像ｇを複数の領域に分割し、複数の領域ごとに、画像劣化に関する評価値を算出する。そして、画像ｇに対して、画像劣化を軽減する復元処理を行い、復元処理における復元強度の異なる複数の画像を生成する。そして、算出した評価値に基づいて、復元強度の異なる複数の画像を合成して合成画像を生成することによって、復元処理の際に、違和感を抑え、自然な画像を生成することができる。
≪本実施形態に関する補足事項≫
本実施形態では、ベイズ理論に基づいた目的関数を最小にする方法で画像の復元処理を行ったが、本発明はこれに限定されない。例えば、特許文献１のDemosaicingとSuper-Resolutionとから求まるコスト関数を最小にするなど、公知の他の手法による復元処理を用いて行っても良い。
【００４３】
また、本実施形態では、ステップＳ１３において複数枚の復元画像を生成する際に、予め定められた間隔（例えば、０．５間隔）でパラメータσを変化させて画像ｇに対する復元処理をｎ回行い、合成の対象となる複数枚の復元画像を画像ｇから生成する例を挙げた。しかし、所定の条件で生成した復元画像に対して、ステップＳ１１で説明した領域分割およびステップＳ１２で説明したエッジ判定値Ｅの算出を行い、後の合成にさらに最適化した復元画像を生成する構成としても良い。例えば、ＣＰＵ１は、ステップＳ１３において所定の条件で復元画像を１枚のみ生成し、生成した復元画像に対して、ステップＳ１１で説明した領域分割およびステップＳ１２で説明したエッジ判定値Ｅの算出を行う。そして、算出したエッジ判定値Ｅをもとに、領域Ａ１〜Ａ２４の全ての領域において、所定の閾値以上のエッジ判定値Ｅが得られているか否かを判定する。そして、得られていない場合には、パラメータσを変化させて、１枚目の復元画像とはフィルタ強度（ボケの復元強度）が異なる２枚目の復元画像を生成する。そして、２枚目の復元画像に対して、同様に領域分割およびエッジ判定値Ｅの算出を行い、算出したエッジ判定値Ｅをもとに、領域Ａ１〜Ａ２４の全ての領域において、所定の閾値以上のエッジ判定値Ｅが得られているか否かを判定する。そして、得られていない場合には、パラメータσを変化させて、１枚目および２枚目の復元画像とはフィルタ強度（ボケの復元強度）が異なる３枚目の復元画像を生成する。ＣＰＵ１は、領域Ａ１〜Ａ２４の全ての領域において、所定の閾値以上のエッジ判定値Ｅが得られるまで同様の処理を繰り返すことにより、ステップＳ１４で合成画像を生成する際に、領域Ａ１〜Ａ２４の全ての領域において、ある程度のフィルタ強度（ボケの復元強度）で復元していると見なすことができる復元画像を選択することができる。そして、領域ごとに選択した復元画像から合成画像を生成することにより、全体に同程度のエッジ判定値Ｅを有する自然な画像を生成することができる。なお、このような構成とする場合には、後述する重み付け加算を行う必要はない。
【００４４】
また、本実施形態では、ステップＳ１４において合成画像を生成する際に、１つの領域については、１枚の復元画像（復元画像Ｉ１〜Ｉｎのうち１枚の画像）から部分画像を取得する例を挙げたが、２枚以上の画像を選択し、重み付け加算する構成としても良い。例えば、エッジ判定値Ｅによって、ある領域Ａにおける画像劣化の程度を推測したときに、２枚の復元画像の中間画像が、最も適当なフィルタ強度（ボケの復元強度）で復元処理を行った画像であると見なすことができる場合には、２枚の画像をエッジ判定値Ｅに基づいて重み付け加算し、上述した部分画像として用いることにより、より適した部分画像を用いて合成画像を生成することができる。
【００４５】
また、本実施形態のステップＳ１３において複数枚の復元画像を生成する際に、ステップＳ１１で分割した領域ごとに生成する構成としても良い。ただし、この場合には、ステップＳ１３において説明したように、画像ｇの画素の外周上にある画素と他の領域にある画素との扱いを揃えるために、画像ｇの画素の外周に新たに画素を付加してから復元処理するのが好ましい。
【００４６】
また、本実施形態では、ステップＳ１１における領域分割時の領域の大きさと、ステップＳ１４における合成画像生成時の領域の大きさとが同一である例を示したが、両者は必ずしも同一でなくても良い。一般的に、領域分割時の領域が小さすぎるとエッジ判定値Ｅの算出精度が低下する傾向がある。一方、合成画像生成時に選択する部分画像の大きさが大きすぎると合成画像の画質が劣る傾向がある。そこで、例えば、ステップＳ１１における領域分割時の領域の大きさを、ステップＳ１４における合成画像生成時の領域の大きさのＮ倍（ただし、Ｎは自然数）とすることにより、ステップＳ１１における領域分割時の領域の大きさと、ステップＳ１４における合成画像生成時の領域の大きさとが同一でなくても、本実施形態と同様の処理を行い、本実施形態と同様の効果を得ることができる。
【００４７】
また、ステップＳ１１において説明した領域分割時の分割数および領域の形状は一例であり、この例以外の分割数および領域の形状を採用しても良い。例えば、均等分割せずに、撮影情報などに応じて局所的に領域の大きさを変えても良い。また、複数の領域の周辺部において、重なり部分を持たせて領域分割を行っても良い。
【００４８】
また、本実施形態のステップＳ１４で説明した復元画像の合成時に、部分画像の境界に調整処理を施しても良い。例えば、境界が自然な表現となるように部分画像の外周上の画素の画素値を調整したり、合成画像に対して、境界を平滑化する処理などを行っても良い。
【００４９】
また、本実施形態では、復元処理が施される画像ｇとして、電子カメラ等の撮像装置によって撮像された画像としたが、本発明はこれに限定されない。例えば、平滑化処理によって取得された画像でも良い。また、低解像度画像を１より大きな拡大率で拡大した結果、少なくともその拡大によって生じたボケを有することとなった画像でも良い。
【００５０】
また、本実施形態では、復元処理におけるボカシフィルタとして式（２）の例ではガウス型フィルタを拡張したものを用いたが、本発明はこれに限定されない。例えば、井戸型フィルタ等を適宜選択して行っても良い。または、実際の撮像装置における光学系によるボカシの影響をボカシフィルタとして評価したものを用いることも好適である。
【００５１】
また、本発明は、低解像度画像の高精細化処理に対しても適用可能である。例えば、電子ビデオカメラ等で撮像される動画ファイルは、撮像素子の画素値の一部を間引いて高速に読み出しすることで作成される。したがって、動画の１コマの画像は、一般的に静止画像と比較して低解像度であり、その画像を引き伸ばして印刷してもぼやけたものになる。そこで、引き伸ばす際に、本発明による画像の復元処理を行えば、鮮明な画像で印刷が可能となる。また、防犯カメラ等で撮影された画像の高精細化に用いることも可能である。なお、この場合には、少なくとも画像を拡大することで生じるボケを考慮して行う必要がある。
【００５２】
また、本発明に係る画像復元方法における各工程を実現するためのプログラムを備え、撮像した画像を復元または低解像度画像を高精細化する画像復元装置に対しても適用可能である。
【００５３】
また、本発明に係る画像復元方法における各工程を実現するためのプログラムを備え、撮像した画像を復元または低解像度画像を高精細化する画像復元装置としてコンピュータを機能させることに対しても適用可能である。
【００５４】
また、本発明に係る画像復元方法における各工程を実現するためのコンピュータプログラムを記憶する記録媒体に対しても適用可能である。
【００５５】
また、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文には何ら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【図面の簡単な説明】
【００５６】
【図１】本発明の一の実施形態に係る画像復元方法をコンピュータ１０へ適用した場合の概念図
【図２】画像ｇの一例を示す図
【図３】本発明の一の実施形態に係る復元処理における手順を示すフローチャート
【図４】本発明の一の実施形態に係る画像の分割例を示す図
【図５】本発明の一の実施形態に係るエッジ判定値Ｅの一例を示す図
【図６】本発明の一の実施形態に係る処理の模式図
【符号の説明】
【００５７】
１  ＣＰＵ、２  記憶部、３  入出力Ｉ／Ｆ、４  バス、１０  コンピュータ、２０  出力装置、３０  入力装置
【図１】
2010016470.tif 000004
【図２】
2010016470.tif 000005
【図３】
2010016470.tif 000006
【図４】
2010016470.tif 000007
【図５】
2010016470.tif 000008
【図６】
2010016470.tif 000009