(57)【要約】【課題】画像復元装置において、画像復元処理をより容易に実施できるようにする。【解決手段】境界検出部１０により、被写界深度拡大光学系２０１を通して所定のボケを与えるように形成した光学像２０３を撮像して得られた原画像Ｇｏ中の任意の隣接する領域のボケた境界Ｈを検出し、強度分布取得部２０により、ボケた境界Ｈの強度分布を求め、復元フィルタ作成部３０により、この強度分布と、ボケた境界Ｈの復元目標とする目標境界の強度分布とから、ボケた境界Ｈを表す画像を目標境界を表す画像に復元するための復元フィルタＦを作成し、画像復元部４０により、復元フィルタＦを原画像Ｇｏに作用させて、前記原画像Ｇｏよりもボケの少ない復元画像Ｇｆａを得る。【選択図】図１
2011150635.tif 000002
【特許請求の範囲】
【請求項１】
被写界深度拡大光学系を通して所定のボケを与えるように形成した光学像を撮像して得られた原画像に復元フィルタを作用させて、前記原画像を、該原画像よりもボケの少ない画像に復元する画像復元方法であって、
前記原画像中の任意の隣接する領域のボケた境界を検出し、
該ボケた境界の強度分布を求め、
該強度分布と、該ボケた境界の復元目標とする目標境界の強度分布とから、前記ボケた境界を表す画像を前記目標境界を表す画像に復元するための復元フィルタを作成し、
前記復元フィルタを用いて前記復元を行うことを特徴とする画像復元方法。
【請求項２】
被写界深度拡大光学系を通して所定のボケを与えるように形成した光学像を撮像して得られた原画像に復元フィルタを作用させて、前記原画像を、該原画像よりもボケの少ない画像に復元する画像復元装置であって、
前記原画像中の任意の隣接する領域のボケた境界を検出する境界検出手段と、
前記ボケた境界から、前記被写界深度拡大光学系を通して形成されるであろう、前記所定のボケが付与された劣化点像の強度分布を求める強度分布取得手段と、
前記劣化点像の強度分布とこの劣化点像の復元目標とする目標点像の強度分布とから、前記劣化点像を前記目標点像に復元するための復元フィルタを作成する復元フィルタ作成手段と、
前記復元フィルタを用いて前記復元を行う画像復元手段とを備えたことを特徴とする画像復元装置。
【請求項３】
前記被写界深度拡大光学系が、位相変調板を有するものであり、この位相変調板を通して前記光学像を形成するものであることを特徴とする請求項２記載の画像復元装置。
【請求項４】
前記境界検出手段が、互に異なる複数の前記境界を検出するものであり、
前記強度分布取得手段が、各境界毎に、前記劣化点像の強度分布を求めるものであり、
前記復元フィルタ作成手段が、複数の前記劣化点像の強度分布のうちの最も劣化の少ない強度分布を用いて前記復元フィルタを作成するものであることを特徴とする請求項２または３記載の画像復元装置。
【請求項５】
前記境界検出手段が、互に異なる複数の前記境界を検出するものであり、
前記強度分布取得手段が、各境界毎に、前記劣化点像の強度分布を求めるものであり、
前記復元フィルタ作成手段が、複数の前記劣化点像の強度分布を平均化してなる強度分布を用いて前記復元フィルタを作成するものであることを特徴とする請求項２または３記載の画像復元装置。
【請求項６】
前記境界検出手段、前記強度分布取得手段、前記復元フィルタ作成手段、および前記画像復元手段それぞれが、前記原画像中の周辺領域および中央領域それぞれについて、個別に処理を実施するものであることを特徴とする請求項２または３記載の画像復元装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像復元方法および装置に関し、詳しくは、被写界深度拡大光学系を通して得られたボケが与えられた原画像に復元フィルタを作用させて、原画像を、この原画像よりもボケの少ない画像に復元する画像復元方法および装置に関するものである。
【背景技術】
【０００２】
従来より、被写界深度の深い画像が得られる車載用の撮像装置や携帯電話用の撮像装置が知られている。また、被写界深度の深い画像を得る他の手法として、例えば、被写界深度拡大光学系を採用した撮像レンズを用いる手法が知られている。
【０００３】
この手法は、被写界深度拡大光学系を通して、被写体の撮影距離や撮影画角によらず一定のボケが与えられるように形成した光学像を撮像して得られた原画像に復元フィルタを作用させて、その原画像を、この原画像よりもボケの少ない画像に復元しようとするものである。なお、このように復元された復元画像は、原画像よりもボケの少ない画像、すなわち、例えば、原画像よりもコントラストの高い画像とすることができる。したがって、このようにして得られる復元画像は、被写界深度の深い撮像レンズで撮像して得られるような画像となる。
【０００４】
この手法によれば、撮像レンズの開口を絞るような操作をすることなく、すなわち受光光量を減少させることなく近距離から遠距離に亘って鮮明に被写体を表す画像を得ることができる。
【０００５】
なお、復元フィルタは、被写界深度拡大光学系を通して点光源を撮像して得た画像中のその点光源を表すボケた点像（以後、劣化点像ともいう）の強度分布と、この劣化点像の復元目標値となる目標点像（例えば、理想的な点像）の強度分布とから求めることができる（特許文献１、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４５１５７号公報
【非特許文献】
【０００７】
【非特許文献１】小松進一著、題名「小特集  多機能化するイメージング技術の最新動向とその応用/  ２．多機能化するカメラ/  ２−２撮像システムの被写界深度を拡大するＷａｔｅｒｆｒｏｎｔ  Ｃｏｄｉｎｇ  技術/  〜物理的な仕掛けと最近の動向〜」、映像情報メディア学会誌 Ｖｏｌ.６３、Ｎｏ３、ｐｐ.２７９〜２８３（２００９）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、被写界深度拡大光学系を採用した撮像レンズは、機種に応じて光学特性が異なるので、その機種毎に劣化点像の強度分布が異なり、さらに、同一機種の撮像レンズであっても個体差により光学特性が異なることがある。そのため、被写界深度拡大光学系を通した点光源の撮像で得られる画像中の劣化点像の強度分布もその個体差に応じて異なるもととなる。
【０００９】
したがって、撮像レンズ毎に、点光源を撮影して得られた劣化点像の強度分布から復元フィルタを求める必要がある。そのような場合には、撮像レンズ毎に、点光源を撮影して復元フィルタを求める工程を製造工程に追加しなければならないという問題がある。なお、撮像レンズに個体差が生じないように撮像レンズを高精度で製作（加工・組立・調整）することも考えられるが、そのようにして製作された撮像レンズの装置コストは大幅に増大するため現実的ではない。
【００１０】
また、例えば、被写界深度拡大光学系を通して得られた原画像を通信回線を介して転送し、この原画像が転送された場所において画像復元処理を施す場合には、この原画像とともにこの原画像を撮影した撮像レンズに対応する復元フィルタをも転送する必要がある。さらに、転送された原画像と復元フィルタとを照合して、この原画像に対して正しく復元フィルタを適用する処理が煩雑になるという問題もある。
【００１１】
上記のようなことにより、被写界深度拡大光学系を通して得られた原画像に対し画像復元処理を施して復元画像を得るための処理の負担を低減したいという要請がある。
【００１２】
本発明は、上記事情に鑑みてなされたものであり、画像復元処理をより容易に実施することができる画像復元方法および装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１３】
本発明の画像復元方法は、被写界深度拡大光学系を通して所定のボケを与えるように形成した光学像を撮像して得られた原画像に復元フィルタを作用させて、その原画像を、この原画像よりもボケの少ない画像に復元する画像復元方法であって、原画像中の任意の隣接する領域のボケた境界を検出し、このボケた境界の強度分布を求め、この強度分布と、そのボケた境界の復元目標とする目標境界の強度分布とから、ボケた境界を表す画像を目標境界を表す画像に復元するための復元フィルタを作成し、この復元フィルタを用いて前記復元を行うことを特徴とするものである。
【００１４】
本発明の画像復元装置は、被写界深度拡大光学系を通して所定のボケを与えるように形成した光学像を撮像して得られた原画像に復元フィルタを作用させて、その原画像を、この原画像よりもボケの少ない画像に復元する画像復元装置であって、原画像中の任意の隣接する領域のボケた境界を検出する境界検出手段と、このボケた境界から、被写界深度拡大光学系を通して形成されるであろう、所定のボケが付与された劣化点像の強度分布を求める強度分布取得手段と、劣化点像の強度分布とこの劣化点像の復元目標とする目標点像の強度分布とから、劣化点像を目標点像に復元するための復元フィルタを作成する復元フィルタ作成手段と、この復元フィルタを用いて前記復元を行う画像復元手段とを備えたことを特徴とするものである。
【００１５】
前記被写界深度拡大光学系は、通常よりも被写界深度を深くした光学系で、例えば位相変調板を有し、この位相変調板を通して光学像を形成するものとすることができる。
【００１６】
前記境界検出手段は、原画像中に存在する任意の隣接する領域間の、ボケた境界を検出するものであって、対象の境界は複数でもよい。すなわち、互に異なる複数の境界を検出するものとすることができ、強度分布取得手段は、各ボケた境界毎に、劣化点像の強度分布を求めるものとすることができ、復元フィルタ作成手段は、複数の劣化点像の強度分布うちの最も劣化の少ない強度分布を用いて、あるいは複数の劣化点像の強度分布を平均化してなる強度分布を用いて復元フィルタを作成するものとすることができる。
【００１７】
前記境界検出手段、強度分布取得手段、復元フィルタ作成手段、および画像復元手段それぞれは、原画像中の周辺領域および中央領域それぞれについて、個別に処理を実施するものとすることができる。
【００１８】
なお、原画像中の任意の隣接する領域は、互に撮影距離が異なる被写体を表す領域であってもよいし、撮影距離が同じ被写体を表す領域、例えば同一平面上に隣接して配置された複数の領域からなる被写体を表す領域であってもよい。
【００１９】
また、前記被写界深度拡大光学系は、前記位相変調板を用いることなく所定のボケを与えるように光学像を形成するものであってもよい。例えば、位相変調板等を含まない通常の撮像レンズであっても、所定のボケが付与された光学像を形成するものは、被写界深度拡大光学系である。さらに、製作誤差等により、所定のボケが付与された光学像を形成する光学系となった撮像レンズであっても、その撮像レンズは被写界深度拡大光学系である。このように、本発明においては、所定のボケが付与された光学像を形成する光学系を被写界深度拡大光学系として規定する。
【００２０】
前記「所定のボケを与えるように形成した光学像」は、この光学像を撮像して得られる原画像に復元フィルタを作用させたときに、原画像を、この原画像よりもボケの少ない画像に復元できるように形成されたものである。すなわち、この所定のボケは、画像復元処理を正しく適用できるボケである。
【００２１】
前記所定のボケは、原画像中のいずれの領域についても一定であることが望ましい。すなわち、原画像中の劣化点像やボケた境界の強度分布が一定となることが望ましい。しかしながら、そのような場合に限らず、原画像中において与えられたボケが一定ではなくバラツキがあったとしても、このボケの生じた原画像に復元フィルタを作用させたときに、原画像中のいずれの領域についても、原画像をこの原画像よりもボケの少ない画像に復元できるようなボケであれば、与えられたボケにバラツキがあってもよい。
【００２２】
なお、「原画像を、その原画像よりもボケの少ない画像に復元する」とは、原画像中のいずれの領域についても、この原画像を構成する劣化点像の強度分布の広がりを小さくすることを意味するものであり、このように劣化点像の強度分布の広がりを小さくすることにより、原画像中のボケた境界を表す画像を、よりボケの少ない目標境界と同等の境界を表す画像に復元することができる。
【発明の効果】
【００２３】
本発明の画像復元方法および装置によれば、原画像中の任意の隣接する領域のボケた境界を検出し、このボケた境界の強度分布を求め、この強度分布と、そのボケた境界の復元目標とする目標境界の強度分布とから、ボケた境界を表す画像を目標境界を表す画像に復元するための復元フィルタを作成し、この復元フィルタを用いて復元を行うようにしたので、原画像に対する画像復元処理をより容易に実施することができる。
【００２４】
すなわち、一般的な被写体の撮影において、点光源が撮影されることは稀であるが、互に隣接する領域の境界はごく普通に撮影される。むしろ、このような境界が存在しない被写体を撮影することの方が稀である。したがって、一般に、原画像に作用させる復元フィルタとして、この原画像中の任意の隣接する領域のボケた境界から作成したものを使用するのがよい。
【００２５】
そのため、撮像レンズ毎に被写界深度拡大光学系の特性が異なり、各撮像レンズ毎に復元フィルタを用意する必要があったとしても、各撮像レンズを通して得られる原画像から復元フィルタを作成してこの原画像に対し画像復元処理を施すことができる。したがって、復元フィルタの作成だけのために点光源の撮影等を行うことなく、より容易に復元フィルタを取得することができるので原画像に対する画像復元処理をより容易に実施することができる。
【００２６】
また、被写界深度拡大光学系を通して得られた原画像を通信回線を介して転送し、この原画像が転送された場所において画像復元処理を実施するような場合であっても、この原画像とともに復元フィルタを転送する必要がなく、原画像が転送された場所においてこの原画像自身から復元フィルタを作成して画像復元処理を行うことができるので、原画像に対する画像復元処理をより容易に実施することができる。
【００２７】
また、被写界深度拡大光学系を、位相変調板を有するものとし、この位相変調板を通して光学像を形成するものとすれば、より確実に所定のボケが付与された光学像を形成することができ、画像復元処理の効果をより確実に享受することができる。
【００２８】
なお、境界検出手段を、互に異なる複数の境界を検出するものとし、強度分布取得手段を、各ボケた境界毎に、強度分布を求めるものとし、復元フィルタ作成手段を、複数のボケた境界のうちの最もボケの少ない境界の強度分布を用いて、または複数のボケた境界の強度分布を平均化してなる強度分布を用いて復元フィルタを作成するものとすれば、画像復元処理をより確実に実施することができる。
【００２９】
また、境界検出手段、強度分布取得手段、復元フィルタ作成手段、および画像復元手段それぞれを、原画像中の周辺領域および中央領域それぞれについて、個別に処理を実施するものとすれば、光学像に所定のボケを与える被写界深度拡大光学系の特性が、この受光面上の周辺領域と中央領域とで違っていたとしても、画像復元処理を確実に実施することができる。すなわち、周辺領域を表す原画像中のボケた境界から作成した復元フィルタをこの周辺領域に作用させて画像復元処理を実施し、中央領域を表す原画像中のボケた境界から作成した復元フィルタをこの中央領域に作用させて画像復元処理を実施することができるので、画像復元処理を確実に実施することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態によるの画像復元装置の概略構成を示す概念図
【図２】被写界深度拡大光学系を通して形成された光学像を撮像して得た原画像を示す図
【図３】劣化点像の強度分布を示す図
【図４】目標点像の強度分布を示す図
【図５】画像復元装置を構成する各部で扱う値やデータについて記載した図
【図６】復元フィルタを作成するために使用される原画像中の境界を示す図
【図７】劣化点像の強度分布を示す図
【図８】原画像中の境界のボケ状態を表す濃度分布を示す図
【図９】復元されるべき境界を表す画像の濃度分布を示す図、
【図１０】目標点像の強度分布を示す図
【図１１】原画像に復元フィルタを作用させて復元された復元画像を示す図
【図１２Ａ】画像復元処理における復元の強さを示す図であって弱い復元を示す図
【図１２Ｂ】画像復元処理における復元の強さを示す図であって通常の復元を示す図
【図１２Ｃ】画像復元処理における復元の強さを示す図であって強い復元を示す図
【図１３】原画像中の３つの境界を示す図
【図１４】３つの境界それぞれのボケ状態を表す各劣化点像の強度分布を示す図
【図１５】中央領域中の境界、および周辺領域中の境界を示す図
【図１６】復元フィルタを用いて復元された復元画像を示す図
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態について、図面を用いて説明する。図１は本発明の画像復元装置の概略構成を示す概念図、図２は被写界深度拡大光学系を通して形成された光学像を撮像して得た画像データの表す原画像を示す図、図３は縦軸Ｅに光強度、横軸Ｘ−Ｙに受光面上における１方向の位置を示す座標軸からなる座標面上に劣化点像Ｐｒの強度分布Ｊｒを示す図、図４は縦軸Ｅに光強度、横軸Ｘ−Ｙに受光面上における１方向の位置を示す座標軸からなる面上に目標点像Ｐｆの強度分布Ｊｆを示す図である。
【００３２】
図１に示す本発明の第１の実施の形態による画像復元装置１００は、被写界深度拡大光学系からなる撮像レンズ２１０を通して所定のボケを与えるように形成した被写体２０１の光学像２０３を撮像して得た原画像Ｇｏを表す原画像データＤｏに復元フィルタＦを作用させて、この原画像Ｇｏを表す原画像データＤｏを、原画像Ｇｏよりもボケの少ない画像（以後、復元画像Ｇｆという）を表す復元画像データＤｆに復元するものである。
【００３３】
なお、光学像２０３に付与される所定のボケ、すなわちこの光学像２０３を撮像して得られる原画像Ｇｏに生じている所定のボケは、撮像レンズ２１０に対する被写体の位置によらず、すなわち、撮影距離や撮影画角によらず同様に生じる一定のボケである。復元フィルタＦを原画像データＤｏに作用させることにより、原画像Ｇｏを、この原画像Ｇｏよりもボケの少ない復元画像Ｇｆに復元すること、すなわち補正することができる。
【００３４】
被写体２０１を表す光学像２０３は、撮像レンズ２１０を通して撮像素子２２０の受光面２２２上に形成され、撮像素子２２０がこの受光面２２２上に形成された光学像２０３を撮像して得た原画像データＤｏを出力する。原画像データＤｏの表す原画像Ｇｏは、受光面２２２上に形成された所定のボケの生じた光学像２０３を表すものとなる。
【００３５】
撮像素子２２０から出力された原画像データＤｏは、画像復元装置１００に入力される前に、バッファ２３０に一時的に保存される。
【００３６】
この画像復元装置１００は、原画像Ｇｏ中の任意の隣接する領域のボケた境界を検出する境界検出部と、ボケた境界の強度分布を求める強度分布取得部と、ボケた境界の強度分布と、ボケた境界の強度分布の復元目標とする目標境界の強度分布とから、ボケた境界を表す画像を目標境界を表す画像に復元するための復元フィルタを作成する復元フィルタ作成部と、復元フィルタを用いて復元を行う画像復元部とを備たものである。
【００３７】
より具体的には、上記強度分布取得部を、境界のボケ状態を表すこのボケた境界の強度分布から、被写界深度拡大光学系を通して形成されたであろう、所定のボケが付与された劣化点像の強度分布を求めるものとする。また、復元フィルタ作成手段を、上記ボケた境界の強度分布から求めた劣化点像の強度分布と、この「ボケた境界の強度分布の復元目標とする目標境界の強度分布」に対応する上記「劣化点像の復元目標とする目標点像の強度分布」とから、「ボケた境界を表す画像に対応する劣化点像を表す画像」を「目標境界を表す画像に対応する目標点像を表す画像」に復元するための復元フィルタを作成するものとする。
【００３８】
図示のように、画像復元装置１００は、バッファ２３０を経由して入力された原画像データＤｏの表す原画像Ｇｏ中の特定の領域と他の領域との境界Ｈ（図２参照）を検出する境界検出部１０と、この境界Ｈのボケ状態から、撮像レンズ２１０を通して形成されるであろう、ボケの生じている劣化点像Ｐｒの強度分布Ｊｒ（図３参照）を求める強度分布取得部２０と、劣化点像Ｐｒの強度分布Ｊｒとこの劣化点像Ｐｒの復元目標とする目標点像Ｐｆの強度分布Ｊｆとから（図４参照）、劣化点像Ｐｒを目標点像Ｐｆに復元する復元フィルタＦを作成する復元フィルタ作成部３０と、復元フィルタＦを原画像データＤｏに作用させて、原画像Ｇｏよりもボケの少ない復元画像Ｇｆを表す復元画像データＤｆを得る画像復元部４０とを備えている。
【００３９】
上記目標点像Ｐｆは、劣化点像Ｐｒよりもボケが少なく、この目標点像Ｐｆの強度分布Ｊｆの方が劣化点像Ｐｒの強度分布Ｊｒよりも急峻な強度変化を示し、強度分布の広がりが小さい。
【００４０】
なお、画像復元部４０は、復元フィルタＦを原画像Ｇｏを表す原画像データＤｏに作用させて、上記所定のボケが生じている原画像Ｇｏを、この原画像Ｇｏよりもボケが少ない復元画像Ｇｆに復元するものである。
【００４１】
すなわち、多数の劣化点像から構成される原画像Ｇｏに対して復元フィルタＦを作用させることにより、各劣化点像を、その劣化点像の強度分布よりも急峻で広がりの小さい点像（目標点像）に復元することができ、これにより、その復元された多数の点像（目標点像）から構成されるボケの少ない復元画像Ｇｆを生成することができる。なお、画像復元処理によって復元される復元画像Ｇｆは、被写界深度の深い撮像レンズで撮像して得られるような画像となる。
【００４２】
ここでは、通常よりも結像の焦点深度を深くした被写界深度拡大光学系である撮像レンズ２１０は、位相変調板２１２を有するものであり、位相変調板２１２を通して所定のボケを付与した被写体２０１の光学像２０３を形成するものである。
【００４３】
なお、撮像レンズ２１０は、位相変調板２１２を有するものに限らず、被写界深度拡大光学系としての作用を有するものであればどのように構成されたものであってもよい。
【００４４】
すなわち、撮像レンズ２１０は、この撮像レンズ２１０を通して被写体２０１の光学像２０３を受光面２２２上に形成したときに、撮像レンズ２１０から被写体２０１までの距離（撮影距離）や撮影画角にかかわらず光学像２０３に一定のボケを生じさせるものであり、かつ、このボケは復元フィルタを用いて回復可能なものである。
【００４５】
被写体２０１としては、撮像レンズ２１０までの距離（撮影距離）が近い順に領域Ｒ２′、領域Ｒ５′、領域Ｒ４′からなる各被写体が配されている。さらにその後方に、撮影距離が一致する被写体である領域Ｒ１′および領域Ｒ３′が配されている。
【００４６】
なお、図１に示すこれらの領域Ｒ１′〜領域Ｒ５′は、図２に示す原画像Ｇｏ中の領域Ｒ１〜領域Ｒ５に対応するものである。
【００４７】
上述の、「所定のボケを生じさせるように形成した光学像２０３を撮像して得られた原画像データＤｏに復元フィルタＦを作用させて、原画像データＤｏの表す原画像Ｇｏを、この原画像Ｇｏよりもボケが少ない状態に回復させてなる復元画像Ｇｆを表す復元画像データＤｆを得る」という手法については、例えば、上記非特許文献１、特許文献１等を参照することができる。
【００４８】
このように、所定のボケを与えた光学像を形成する手法、および、単に、この光学像を撮像して得られる原画像に復元フィルタを作用させて、原画像を、この原画像よりもボケの少ない画像に復元する手法は従来より知られている。
【００４９】
以下、画像復元装置１００を用いた画像復元処理の種々の実施例について説明する。
【００５０】
図５は画像復元装置を構成する各部で扱う値やデータについて記載した図である。
【００５１】
＜＜原画像中の１つの境界から求めた劣化点像の強度分布のみから復元フィルタを作成する場合＞＞
図６は復元フィルタを作成するために使用される原画像Ｇｏ中の境界Ｈ１２を示す図、図７はこのボケた境界Ｈ１２に対応する劣化点像Ｐｒ１２の強度分布Ｊｒ１２を示す図、図８は原画像Ｇｏ中の境界Ｈ１２のボケ状態を表す濃度分布Ｎｂ１２を示す図、図９は復元されるべき境界を表す画像の濃度分布Ｎｆｏを示す図、図１０はこの復元されるべき境界に対応する目標点像Ｐｆｏの強度分布Ｊｆｏを示す図、図１１は原画像に復元フィルタＦａを作用させて復元された復元画像Ｇｆを示す図である。
【００５２】
原画像Ｇｏ中の１つの境界Ｈ１２から求めた劣化点像Ｐｒ１２の強度分布Ｊｒ１２（図７参照）のみから復元フィルタＦａを生成し画像復元処理を実施する場合について以下に説明する。
【００５３】
はじめに、境界検出部１０が、撮像レンズ２１０を通して形成された所定のボケの生じた光学像２０３を撮像して得た原画像Ｇｏを表す原画像データＤｏをバッファ２３０から入力する。
【００５４】
境界検出部１０は、原画像データＤｏの表す原画像Ｇｏ中に存在する境界を探索し、特定の領域Ｒ１と他の領域Ｒ２とを区別する１つの境界Ｈ１２を検出する。ここでは、検出された境界のうち、境界のエッジが最も急峻である（２つの領域に係るボケた境界の濃度変化の勾配が最大である）と推測される境界Ｈ１２が選択されたものとする。
【００５５】
なお、境界を検出する手法、および境界のエッジが最も急峻であると推測される境界を選択する手法については従来より知られている手法を適用することができる。
【００５６】
次に、強度分布取得部２０が、境界Ｈ１２のボケ状態から、撮像レンズ２１０を通して形成されるであろう所定のボケが生じている劣化点像Ｐｒ１２の強度分布Ｊｒ１２を求める。
【００５７】
境界Ｈ１２のボケ状態は、図６中に示す破線Ｓｗ内の濃度分布を図中矢印Ｙ方向に平滑化してなる濃度分布Ｎｂ１２（図８参照）として示すことができる。なお、この破線Ｓｗ内の濃度分布は、受光面２２２上に形成される光学像２０３の輝度分布に対応するものである。また、上記濃度分布のＹ方向への平滑化には、濃度分布を加算平均したり積分したりする手法を採用することができる。
【００５８】
次に、濃度分布Ｎｂ１２から劣化点像の強度分布を求める。
【００５９】
劣化点像の強度分布は、以下に示す概念式（１）から求めることができる。
【００６０】
劣化点像＝原画像／復元画像・・・（１）
したがって、「劣化点像Ｐｒ１２の強度分布Ｊｒ１２＝境界Ｈ１２のボケ状態を表す画像の濃度分布Ｎｂ１２／復元されるべき境界を示す画像の濃度分布Ｎｆｏ」で示される式に具体的な値を適用することにより、劣化点像Ｐｒ１２の強度分布Ｊｒ１２を求めることができる。
【００６１】
ここでは、図９に示すように、復元されるべき境界Ｈ１２を示す画像の濃度分布は、画像の濃度が境界Ｈ１２を境にして急峻に変化するものとする。すなわち、復元されるべき境界は、ダレのない略理想的な境界とする。また、ここでは、原画像Ｇｏ中のどの境界についても、復元目標とする境界は、上記と同様のダレのない略理想的な境界とする。
【００６２】
なお、劣化点像Ｐｒ１２の強度分布Ｊｒ１２は、境界Ｈ１２のボケ状態を表す画像の濃度分布Ｎｂ１２を微分して求めることもできる。
【００６３】
次に、復元フィルタ作成部３０が、劣化点像Ｐｒ１２の強度分布Ｊｒ１２とこの劣化点像Ｐｒ１２の復元目標とする目標点像Ｐｆｏの強度分布Ｊｆｏ（図１０参照）とから、その劣化点像Ｐｒ１２を目標点像Ｐｆｏに復元するための復元フィルタＦａを求める。
【００６４】
この復元フィルタは、以下に示す概念式（２）から求めることができる。
【００６５】
復元フィルタ＝目標点像／劣化点像・・・（２）
したがって、「復元フィルタＦａ＝目標点像Ｐｆｏの強度分布Ｊｆｏ／劣化点像Ｐｒ１２の強度分布Ｊｒ１２」で示される式に具体的な値を適用することにより復元フィルタＦａを求めることができる。
【００６６】
目標点像Ｐｆｏは、劣化点像Ｐｒ１２をよりボケの少ない点像となるように復元するときの目標値である。目標点像Ｐｆｏの強度分布Ｊｆｏは、劣化点像Ｐｒの強度分布Ｊｒよりも急峻な強度変化を示し、強度分布の広がりが小さい。
【００６７】
ここで、目標点像Ｐｆｏの強度分布Ｊｆｏは、シュミレーションによって定めることもできるが、上記復元されるべき境界を示す画像の濃度分布Ｎｆｏを微分して求めることもできる。また、ここでは、原画像Ｇｏ中のどの境界についても、復元目標とする境界は同等であるとする。
【００６８】
最後に、画像復元部４０が、復元フィルタＦａを原画像データＤｏに作用させて、復元画像Ｇｆａ（図１１参照）を表す復元画像データＤｆａを得る。
【００６９】
復元画像は、以下に示す概念式（３）から求めることができる。
【００７０】
復元画像＝原画像×復元フィルタ・・・（３）
したがって、「復元画像Ｇｆａを表す復元画像データＤｆａ＝原画像Ｇｏを表す原画像データＤｏ×復元フィルタＦａ」で示される式に具体的な値を適用することにより上記復元画像Ｇｆａを表す復元画像データＤｆａを求めることができる。
【００７１】
このように画像復元処理が施された画像Ｇｆａは、図１１に示すように、どのような撮影距離および撮影画角で撮像され取得された領域（領域Ｒ１〜領域Ｒ５）についても原画像Ｇｏよりもボケが少ない画像に復元することができ各領域間の境界が明確となる。
【００７２】
次に、原画像Ｇｏに対して画像復元処理を施す際の復元処理の強さを調節する場合について説明する。
【００７３】
図１２Ａ〜１２Ｃそれぞれは、縦軸にＭＴＦの値（コントラスト値）、横軸に空間周波数を示す座標上に、被写体２０１を表す原画像Ｇｏに画像復元処理を施して得られた復元画像がどれだけ被写体２０１（被写体２０１のコントラスト）を正しく再現するようになったかを示すＭＴＦ特性図である。
【００７４】
図１２Ａ〜１２Ｃ中の曲線Ｋｏは、撮像レンズ２１０を通して受光面２２２上に形成された被写体２０１を表す光学像２０３を撮像して得られた原画像Ｇｏに対応するＭＴＦ曲線であって、この原画像Ｇｏがどれだけ被写体２０１（被写体２０１のコントラスト）を正しく再現しているのかを示すＭＴＦ曲線である。
【００７５】
図１２Ａ中の線Ｔａは、原画像Ｇｏに画像復元処理を施してこの原画像Ｇｏを弱く復元したときに得られる復元画像に対応するＭＴＦ曲線であって、この復元画像がどれだけ被写体２０１（被写体２０１のコントラスト）を正しく再現するものであるのかを示すＭＴＦ曲線である。
【００７６】
図１２Ｂ中の線Ｔｂは、原画像Ｇｏに画像復元処理を施してこの原画像Ｇｏを通常の強さで復元したときに得られる復元画像に対応するＭＴＦ曲線であって、この復元画像がどれだけ被写体２０１（被写体２０１のコントラスト）を正しく再現するものであるのかを示すＭＴＦ曲線である。
【００７７】
図１２Ｃ中の線Ｔｃは、原画像Ｇｏに画像復元処理を施してこの原画像Ｇｏを強く復元したときに得られる復元画像に対応するＭＴＦ曲線であって、この復元画像がどれだけ被写体２０１（被写体２０１のコントラスト）を正しく再現するものであるのかを示すＭＴＦ曲線である。
【００７８】
ここで、例えば、復元の強さを調節して原画像Ｇｏに画像復元処理を施す場合に、境界検出部１０で検出された、「境界を表す上記原画像Ｇｏ中の領域」に対して通常よりも強く復元する画像復元処理を施して（図１２Ｃ参照）、その境界を表す画像のコントラストを強調し、これとともに、「原画像Ｇｏ中の上記境界を表す領域以外の領域」に対して通常よりも弱く復元する画像復元処理を施して（図１２Ａ参照）、その領域を表す画像中のノイズの強調を抑制してなる復元画像を作成することができる。
【００７９】
また、例えば、原画像Ｇｏ中の全領域を通常の強さで復元する画像復元処理を施して（図１２Ｂ参照）、画像全体を一定の強さで復元してなる復元画像を作成するようにしてもよい。
【００８０】
なお、上述の説明においては、検出された境界のうち、境界のエッジが最も急峻であると推測される境界を表す画像を用いて復元フィルタを生成する場合について説明したが、上記検出された境界のうち、最も輝度の高い領域に含まれる境界を採用して復元フィルタを生成するようにしてもよい。
【００８１】
さらに、被写界深度拡大光学系を通して形成される点像（劣化点像）が、非回転対象（dowskiタイプ）の強度分布を有するものであっても、あるいは回転対象の強度分布を有するものであってもであっても、上記境界を表す画像を用いて復元フィルタを生成する本発明の手法を適用することができる。
【００８２】
＜＜原画像中の３つの境界それぞれから求めた劣化点像の強度分布のうちの、最も劣化の少ない１つの強度分布を用いて復元フィルタを生成する場合＞＞
図１３は復元フィルタを作成するために使用される原画像Ｇｏ中の３つの境界Ｈ１２、Ｈ２３、Ｈ５１を示す図、図１４は境界Ｈ１２、Ｈ２３、Ｈ５１それぞれのボケ状態を表す各劣化点像Ｐｒ１２、Ｐｒ２３、Ｐｒ５１の強度分布Ｊｒ１２、Ｊｒ２３、Ｊｒ５１を示す図である。
【００８３】
原画像中の３つの境界それぞれから求めた劣化点像の強度分布のうちの、最も劣化の少ない１つの劣化点像の強度分布を用いて復元フィルタを生成し画像復元処理を実施する場合について説明する。
【００８４】
なお、以下に続く説明においては、上述の１つの境界のみを用いて画像復元処理を実施するときの説明と重複する説明は省略する。
【００８５】
図１３に示すように、原画像中の３つの境界は、領域Ｒ２と領域Ｒ３との境界であるＸ方向に延びる境界Ｈ２３、領域Ｒ５と領域Ｒ１との境界であるＹ方向に延びる境界Ｈ５１、および上述の領域Ｒ１と領域Ｒ２との境界であるＹ方向に延びる境界Ｈ１２とする。
【００８６】
図１４に示すように、境界Ｈ１２のボケ状態から劣化点像Ｐｒ１２の強度分布Ｊｒ１２を、境界Ｈ２３のボケ状態から劣化点像Ｐｒ２３の強度分布Ｊｒ２３を、境界Ｈ５１のボケ状態から劣化点像Ｐｒ５１の強度分布Ｊｒ５１をそれぞれ求める。
【００８７】
なお、劣化点像Ｐｒ１２の強度分布Ｊｒ１２、および劣化点像Ｐｒ５１の強度分布Ｊｒ５１は、上述のように求めることができる。境界Ｈ２３のボケ状態から劣化点像Ｐｒ２３の強度分布Ｊｒ２３を求める場合には、図６中の矢印Ｘ方向に境界Ｈ２３の濃度分布を平滑化してこの境界Ｈ２３の濃度分布を求め、その濃度分布から劣化点像Ｐｒ２３の強度分布Ｊｒ２３を求める。
【００８８】
これらの劣化点像の中で、最も劣化の少ないと推定されるもの、すなわち目標点像Ｐｆｏの強度分布Ｊｆｏに近いものが、境界Ｈ１２のボケ状態から求めた劣化点像Ｐｒ１２であれば、この劣化点像Ｐｒ１２の強度分布Ｊｒ１２と目標点像Ｐｆｏの強度分布Ｊｆｏとを用いて復元フィルタＦｂを生成する。
【００８９】
例えば、目標点像の強度分布に対して各劣化点像の強度分布を最小二乗法を用いて当てはめたときに残差平方和が最小となるものを、最も劣化の少ない劣化点像とすることができる。
【００９０】
そして、復元フィルタＦｂを原画像Ｇｏを表す原画像データＤｏに作用させて画像復元処理を実施し、復元画像Ｇｆｂを表す復元画像データＤｆｂを得る。
【００９１】
＜＜原画像中の３つの境界それぞれから求めた３種類の劣化点像の強度分布を加算平均してなる強度分布を用いて復元フィルタを生成する場合＞＞
原画像中の３つの境界それぞれから求めた３種類の劣化点像の強度分布を加算平均してなる強度分布を用いて復元フィルタを生成し画像復元処理を実施する場合について説明する。
【００９２】
図１３、図１４を参照して説明した上述の劣化点像Ｐｒ１２の強度分布Ｊｒ１２と、劣化点像Ｐｒ２３の強度分布Ｊｒ２３と、劣化点像Ｐｒ５１の強度分布Ｊｒ５１とを加算平均して強度分布Ｊｒｍ（図５参照）を得る。
【００９３】
この加算平均してなる強度分布Ｊｒｍと目標点像Ｐｆｏの強度分布Ｊｆｏとを用いて復元フィルタＦｃを生成する。
【００９４】
そして、復元フィルタＦｃを原画像Ｇｏを表す原画像データＤｏに作用させて画像復元処理を実施することにより、復元画像Ｇｆｃを表す復元画像データＤｆｃを得る。
【００９５】
＜＜原画像中の周辺領域および中央領域それぞれについて個別に処理を実施する場合＞＞
原画像Ｇｏ中に定めた中央領域Ｑ１、周辺領域Ｑ２それそれぞれについて個別に画像復元処理を実施する場合について説明する。
【００９６】
図１５は、復元フィルタを作成するために使用される中央領域Ｑ１中の境界Ｑｈ５１、および周辺領域Ｑ２中の境界Ｑｈ３４を示す図、図１６は作成された復元フィルタを用いて復元した復元画像Ｇｆｄを示す図である。
【００９７】
原画像Ｇｏの中心位置Ｃを中心とする一定半径の円Ｍｃによってこの原画像Ｇｏを区画し、円Ｍｃの内側（中心位置Ｃの側）を中央領域Ｑ１とし、円Ｍｃの外側を周辺領域Ｑ２とする。なお、原画像Ｇｏの中心位置Ｃは、原画像Ｇｏを示す四角形状からなる領域の、この四角形状における２つの対角線の交わる位置である。
【００９８】
ここで、周辺領域Ｑ２の面積は、中央領域Ｑ１の面積の１／２倍以上、かつ、２倍以下とする。
【００９９】
はじめに、境界検出部１０が、中央領域Ｑ１中の境界Ｑｈ５１と周辺領域Ｑ２中の境界Ｑｈ３４とを検出する。
【０１００】
強度分布取得部２０が、中央領域Ｑ１に属する境界Ｑｈ５１について上記と同様に劣化点像Ｐｈ５１の強度分布Ｊｈ５１を求め、復元フィルタ作成部３０が、この強度分布Ｊｈ５１と目標点像Ｐｆｏの強度分布Ｊｆｏとを用いて復元フィルタＦｄ１を作成する。
【０１０１】
また、強度分布取得部２０が、周辺領域Ｑ２に属する境界Ｑｈ３４について上記と同様に劣化点像Ｐｈ３４の強度分布Ｊｈ３４を求め、復元フィルタ作成部３０が、この強度分布Ｊｈ３４と目標点像Ｐｆｏの強度分布Ｊｆｏとを用いて復元フィルタＦｄ２を作成する。
【０１０２】
そして、画像復元部４０が、原画像Ｇｏ中の中央領域Ｑ１については復元フィルタＦｄ１を作用させて画像復元処理を実施し復元画像データＤｆｄ１を得る。また、この画像復元部４０が、原画像Ｇｏ中の周辺領域Ｑ２については復元フィルタＦｄ２を作用させて画像復元処理を実施し復元画像データＤｆｄ２を得る。
【０１０３】
さらに、画像復元部４０が、復元画像データＤｆｄ１と復元画像データＤｆｄ２を合成し、原画像Ｇｏを復元してなる復元画像Ｇｆｄを表す復元画像データＤｆｄを得る。
【０１０４】
上記のように、受光面上の中央領域Ｑ１に形成される光学像のボケ状態と、受光面上の周辺領域Ｑ２に形成される光学像のボケ状態とが異なる場合には、原画像Ｇｏ中の中央領域Ｑ１については、中央領域Ｑ１に属する境界Ｑｈ５１から復元フィルタＦｄ１を求め、この復元フィルタＦｄ１を中央領域Ｑ１にのみ作用させるように画像復元処理を実施して中央領域Ｑ１を表す復元画像データＤｆｄ１を得る。これとともに、原画像Ｇｏ中の周辺領域Ｑ２については、周辺領域Ｑ２に属する境界Ｑｈ３４から復元フィルタＦｄ２を求め、この復元フィルタＦｄ２を周辺領域Ｑ２にのみ作用させるように画像復元処理を実施して復元画像データＤｆｄ２を得るようにすることが有効である。
【０１０５】
被写界深度拡大光学系である撮像レンズは、本来、撮影距離や撮影画角によらず一定のボケ状態をなすように被写体の光学像を受光面上に形成するものである。そのようにすれば、この一定のボケ状態をなす光学像を撮像して得られた原画像に対して、この原画像中のいずれの領域についても同じ復元フィルタを作用させて画像復元処理を実施することにより、その原画像を、この原画像よりもボケの少ない画像となるように復元（補正）することができる。
【０１０６】
しかしながら、製造上の都合等によりそのような完全な被写界深度拡大光学系としての特性が得られない撮像レンズを用いるとき、すなわち、原画像中にボケ状態が互に異なる複数の領域が存在するようなときには、各領域毎に互いに異なる復元フィルタを適用して画像復元処理を実施することが望ましいが、そのような場合に限らず、原画像中のいずれの領域についても同じ復元フィルタを適用して画像復元処理を実施するようにしてもよい。
【０１０７】
本発明の画像復元方法は、被写界深度拡大光学系を通して所定のボケを与えるように形成した光学像を撮像して得られた原画像に復元フィルタを作用させて、前記原画像を、該原画像よりもボケの少ない画像に復元する画像復元方法であって、原画像中の任意の隣接する領域のボケた境界を検出し、そのボケた境界から、被写界深度拡大光学系を通して形成されたであろう、所定のボケが付与された劣化点像の強度分布を求め、その劣化点像の強度分布とこの劣化点像の復元目標とする目標点像の強度分布とから、劣化点像を目標点像に復元するための復元フィルタを作成し、この復元フィルタを用いて前記復元を行うものとすることができる。
【０１０８】
本発明の画像復元装置は、被写界深度拡大光学系を通して所定のボケを与えるように形成した光学像を撮像して得られた原画像に復元フィルタを作用させて、その原画像を、この原画像よりもボケの少ない画像に復元する画像復元装置であって、原画像中の任意の隣接する領域のボケた境界を検出する境界検出手段と、このボケた境界の強度分布を求める強度分布取得手段と、このボケた境界の強度分布と、そのボケた境界の復元目標とする目標境界の強度分布とから、ボケた境界を表す画像を目標境界を表す画像に復元するための復元フィルタを作成する復元フィルタ作成手段と、この復元フィルタを用いて復元を行う画像復元手段とを備えたものとすることができる。
【０１０９】
前記被写界深度拡大光学系は、通常よりも被写界深度を深くした光学系で、例えば位相変調板を有し、この位相変調板を通して光学像を形成するものとすることができる。
【０１１０】
前記境界検出手段は、互に異なる複数の境界を検出するものとすることができ、強度分布取得手段は、各ボケた境界毎に、強度分布を求めるものとすることができ、前記復元フィルタ作成手段は、複数のボケた境界のうちの最もボケの少ない境界の強度分布を用いて復元フィルタを作成するものとすることができる。
【０１１１】
前記境界検出手段は、互に異なる複数の境界を検出するものとすることができ、前記強度分布取得手段は、各ボケた境界毎に、強度分布を求めるものとすることができ、復元フィルタ作成手段は、複数のボケた境界の強度分布を平均化してなる強度分布を用いて復元フィルタを作成するものとすることができる。
【０１１２】
前記境界検出手段、強度分布取得手段、復元フィルタ作成手段、および画像復元手段それぞれは、原画像中の周辺領域および中央領域それぞれについて、個別に処理を実施するものとすることが望ましい。
【０１１３】
以上、本発明による画像復元方法および装置の好ましい実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、発明の要旨を変更しない限りにおいて、種々変更することが可能である。
【符号の説明】
【０１１４】
１０    境界検出部
２０    強度分布取得部
３０    復元フィルタ作成部
４０    画像復元部
２０１    被写界深度拡大光学系
２０３    光学像
Ｆ    復元フィルタ
Ｈ    境界
Ｇｏ    原画像
Ｄｏ    原画像Ｇｏを表す画像データ
Ｇｆ    復元画像
Ｄｆ    復元画像Ｇｆを表す画像データ
Ｐｒ    劣化点像
Ｊｒ    劣化点像Ｐｒの強度分布
Ｐｆ    目標点像
Ｊｆ    目標点像Ｐｆの強度分布
【図１】
2011150635.tif 000003
【図３】
2011150635.tif 000004
【図４】
2011150635.tif 000005
【図５】
2011150635.tif 000006
【図７】
2011150635.tif 000007
【図８】
2011150635.tif 000008
【図９】
2011150635.tif 000009
【図１０】
2011150635.tif 000010
【図１２Ａ】
2011150635.tif 000011
【図１２Ｂ】
2011150635.tif 000012
【図１２Ｃ】
2011150635.tif 000013
【図１４】
2011150635.tif 000014
【図２】
2011150635.tif 000015
【図６】
2011150635.tif 000016
【図１１】
2011150635.tif 000017
【図１３】
2011150635.tif 000018
【図１５】
2011150635.tif 000019
【図１６】
2011150635.tif 000020