(57)【要約】【課題】入力画像のうち撮像による劣化によってＭＴＦが大きく低下した周波数成分をも良好に復元できるようにする。【解決手段】画像処理方法は、撮像により生成された入力画像からレンジブロック画像２０１を抽出し、撮像によりレンジブロック画像に生じた劣化を示す劣化関数２０４ａを取得し、入力画像または他の画像から少なくとも１つの第１のドメインブロック画像２０２ａを取得し、第１のドメインブロック画像に対して劣化関数を適用して第２のドメインブロック画像２０５ａを生成し、第２のドメインブロック画像とレンジブロック画像との相関を算出し、該相関に応じて、第１のドメインブロック画像のうちレンジブロック画像に対応する対応ドメインブロック画像２０６ｂを選択し、該対応ドメインブロック画像を用いて出力画像を生成する。【選択図】図５
2015115733.tif 000002
【特許請求の範囲】
【請求項１】
撮像により生成された入力画像からレンジブロック画像を抽出し、
前記撮像により前記レンジブロック画像に生じた劣化を示す劣化関数を取得し、
前記入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得し、
前記第１のドメインブロック画像に対して前記劣化関数を適用して第２のドメインブロック画像を生成し、
前記第２のドメインブロック画像と前記レンジブロック画像との相関を算出し、
前記相関に応じて、前記第１のドメインブロック画像のうち前記レンジブロック画像に対応する対応ドメインブロック画像を選択し、
前記対応ドメインブロック画像を用いて出力画像を生成することを特徴とする画像処理方法。
【請求項２】
前記劣化関数は、前記撮像に用いられた撮像装置の種類、前記撮像時における前記撮像装置の光学系の状態、前記入力画像の色成分および前記入力画像における前記レンジブロック画像の抽出位置のうち少なくとも１つ以上を変数とすることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第１のドメインブロック画像のサイズを、前記劣化関数と、該ドメインブロック画像に対応する劣化関数であるドメイン劣化関数との関係から決定することを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記相関の算出において、前記レンジブロック画像における周辺側の領域の重みを、該周辺側の領域よりも中心側の領域の重みに比べて小さくすることを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
【請求項５】
前記出力画像の生成において、前記対応ドメインブロック画像における周辺側の領域を除いた該周辺側の領域よりも中心側の領域を用いることを特徴とする請求項１から４のいずれか一項に記載の画像処理方法。
【請求項６】
前記周辺側の領域を、前記劣化関数に応じて決定することを特徴とする請求項４または５に記載の画像処理方法。
【請求項７】
前記レンジブロック画像のサイズと形状を、前記劣化関数に基づいて決定することを特徴とする請求項１から６のいずれか一項に記載の画像処理方法。
【請求項８】
前記入力画像に対して歪曲収差を補正するための画像処理を、前記相関の算出よりも前に行うことを特徴とする請求項１から７のいずれか一項に記載の画像処理方法。
【請求項９】
撮像により生成された入力画像からレンジブロック画像を抽出する手段と、
前記撮像により前記レンジブロック画像に生じた劣化を示す劣化関数を取得する手段と、
前記入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得する手段と、
前記第１のドメインブロック画像に対して前記劣化関数を適用して第２のドメインブロック画像を生成する手段と、
前記第２のドメインブロック画像と前記レンジブロック画像との相関を算出する手段と、
前記相関に応じて、前記第１のドメインブロック画像のうち前記レンジブロック画像に対応する対応ドメインブロック画像を選択する手段と、
前記対応ドメインブロック画像を用いて出力画像を生成する手段とを有することを特徴とする画像処理装置。
【請求項１０】
撮像を行う撮像手段と、
請求項９に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項１１】
コンピュータに画像処理を実行させるコンピュータプログラムとしての画像処理プログラムであって、
前記画像処理は、
撮像により生成された入力画像からレンジブロック画像を抽出し、
前記撮像により前記レンジブロック画像に生じた劣化を示す劣化関数を取得し、
前記入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得し、
前記第１のドメインブロック画像に対して前記劣化関数を適用して第２のドメインブロック画像を生成し、
前記第２のドメインブロック画像と前記レンジブロック画像との相関を算出し、
前記相関に応じて、前記第１のドメインブロック画像のうち前記レンジブロック画像に対応する対応ドメインブロック画像を選択し、
前記対応ドメインブロック画像を用いて出力画像を生成することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により生成された画像に対して高画質化のための画像処理を行う技術に関する。
【背景技術】
【０００２】
撮像装置により生成された画像には、該撮像装置の光学系の収差、回折およびデフォーカスや撮像装置の手振れによる像振れ等に起因する画質の低下、すなわち劣化が生じる。このような劣化が生じた画像（以下、劣化画像ともいう）を補正して高画質化する方法として、ウィナーフィルタ等の逆フィルタを劣化画像に適用する方法がある。ただし、逆フィルタを用いる補正方法では、劣化によってＭＴＦ(Modulation Transfer Function)が大きく低下した周波数成分を良好に補正（復元）することが難しい。
【０００３】
そこで、特許文献１には、光学系に、結像する光の波面を変形させる位相板等の光波面変調素子(Wavefront Coding Optical Element)を挿入することにより、被写界深度方向に対するＭＴＦの低下を軽減する手法が開示されている。また、非特許文献１には、レンジブロック画像とドメインブロック画像に同一の逆フィルタを適用してぼけ補正を行い、その後フラクタル符号化を利用して画像の画素数を増加させる手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開WO2007/074649号公報
【非特許文献】
【０００５】
【非特許文献１】Y.Chen,et al.,“Image superresolution using fractal coding”,  Opt.Eng.January 2008/Vol.47(1)017007
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１にて開示された手法は、デフォーカス領域におけるＭＴＦの低下を軽減するものであり、合焦領域ではその効果を得られない。つまり、被写界深度の拡大は可能であるが、収差等によってＭＴＦが大きく低下した周波数成分を復元するものではない。さらに、撮像時に光波面変調素子を挿入する特殊な光学系が必要となるため、既に撮像された画像を補正することはできない。
【０００７】
また、非特許文献１にて開示された手法は、従来の逆フィルタを用いた手法によってぼけ補正を行う。このため、ぼけによる劣化が大きく、低周波数成分までＭＴＦが大きく低下している場合は充分なぼけ補正効果が得られない。また、逆フィルタを適用した画像にリンギングが生じ、レンジブロック画像と相似なドメインブロック画像を正しく求められない場合がある。
【０００８】
本発明は、入力画像のうち撮像による劣化によってＭＴＦが大きく低下した周波数成分をも良好に復元できるようにした画像処理技術を提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面としての画像処理方法は、撮像により生成された入力画像からレンジブロック画像を抽出し、撮像によりレンジブロック画像に生じた劣化を示す劣化関数を取得し、入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得し、第１のドメインブロック画像に対して劣化関数を適用して第２のドメインブロック画像を生成し、第２のドメインブロック画像とレンジブロック画像との相関を算出し、該相関に応じて、第１のドメインブロック画像のうちレンジブロック画像に対応する対応ドメインブロック画像を選択し、該対応ドメインブロック画像を用いて出力画像を生成することを特徴とする。
【００１０】
また、本発明の他の一側面としての画像処理装置は、撮像により生成された入力画像からレンジブロック画像を抽出する手段と、撮像により前記レンジブロック画像に生じた劣化を示す劣化関数を取得する手段と、入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得する手段と、第１のドメインブロック画像に対して劣化関数を適用して第２のドメインブロック画像を生成する手段と、第２のドメインブロック画像とレンジブロック画像との相関を算出する手段と、該相関に応じて、第１のドメインブロック画像のうちレンジブロック画像に対応する対応ドメインブロック画像を選択する手段と、該対応ドメインブロック画像を用いて出力画像を生成する手段とを有することを特徴とする。
【００１１】
なお、撮像を行う撮像手段と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【００１２】
さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに画像処理を実行させるコンピュータプログラムである。そして、画像処理は、撮像により生成された入力画像からレンジブロック画像を抽出し、撮像によりレンジブロック画像に生じた劣化を示す劣化関数を取得し、入力画像または他の画像から少なくとも１つの第１のドメインブロック画像を取得し、第１のドメインブロック画像に対して劣化関数を適用して第２のドメインブロック画像を生成し、第２のドメインブロック画像とレンジブロック画像との相関を算出し、該相関に応じて、第１のドメインブロック画像のうちレンジブロック画像に対応する対応ドメインブロック画像を選択し、該対応ドメインブロック画像を用いて出力画像を生成することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、入力画像のうち撮像による劣化によってＭＴＦが大きく低下した周波数成分をも良好に復元された高画質の出力画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例１である画像処理方法を実行する撮像装置のブロック図。
【図２】上記撮像装置の外観図。
【図３】実施例１（および実施例２，３）における画像処理を示すフローチャート。
【図４】実施例１（および実施例２，３）におけるレンジブロック画像とドメインブロック画像の取得を説明する図。
【図５】実施例１〜３における相関算出用ドメインブロック画像の取得方法を説明する図。
【図６】実施例１〜３における劣化関数と、レンジブロック画像および相関算出用ドメインブロック画像との関係を示す図。
【図７】実施例２である画像処理システムの構成を示すブロック図。
【図８】実施例２である画像処理システムの外観図。
【図９】実施例３である撮像装置の構成を示すブロック図。
【図１０】実施例３における撮像装置の外観図。
【図１１】実施例３における撮像装置の構成を示す図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施例について、図面を参照しつつ説明する。
【００１６】
ここでは、具体的な実施例の説明に先だって、実施例で行う画像処理としてのぼけ補正処理の流れについて説明する。ぼけ補正処理では、まず撮像過程で生じたぼけ（劣化）によって周波数成分が失われた入力画像を取得する。次に、該入力画像から、レンジブロック画像（第１のレンジブロック画像）と呼ばれる部分画像領域を抽出する。ここで、撮像によってレンジブロック画像に生じたぼけを示す関数である劣化関数は既知であるとする。
【００１７】
次に、少なくとも１つのドメインブロック画像（第１のドメインブロック画像）を取得する。このドメインブロック画像は、入力画像から抽出してもよいし他の画像から取得してもよい。以下の説明において、ドメインブロック画像を取得する入力画像または他の画像をドメインブロック取得画像ともいう。
【００１８】
そして、ドメインブロック画像をレンジブロック画像と同サイズにリサイズし、リサイズ後のドメインブロック画像に劣化関数を適用して、劣化ドメインブロック画像（第２のドメインブロック画像）を生成する。
【００１９】
次に、劣化ドメインブロック画像とレンジブロック画像との相関を算出する。このとき、相関が高いと判定された劣化ドメインブロック画像の元となったドメインブロック画像（第３のドメインブロック画像）は、ぼけが生じる前のレンジブロック画像に相当すると考えることができる。このため、このドメインブロック画像によって、劣化したレンジブロック画像を置換することで、ぼけ補正を行うことができる。以上の処理を、入力画像のうち補正対象領域に含まれる全てのレンジブロック画像に対して実行することにより、該補正対象領域におけるぼけが補正された出力画像を生成することができる。
【実施例１】
【００２０】
図１には、本発明の実施例１であるぼけ補正処理を行う撮像装置１００の構成を示している。また、図２には、該撮像装置１００の外観を示している。
【００２１】
画像取得部（撮像手段）１０１は、不図示の結像光学系（撮像光学系）と撮像素子とを有する。撮像素子は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal-Oxide Semiconductor)等の光電変換素子である。撮像時に画像取得部１０１に入射した光は結像光学系によって集光され、撮像素子でアナログ電気信号へと変換される。該アナログ電気信号は、Ａ／Ｄコンバータ１０２でデジタル信号（以下、デジタル撮像信号という）に変換され、該デジタル撮像信号は画像処理部１０３に入力される。
【００２２】
画像処理部１０３は、デジタル撮像信号に対して所定の画像処理を行うことにより画像を生成する。そして、この画像を入力画像として、撮像によって失われた周波数成分を復元するためのぼけ補正処理を行う。ぼけ補正処理の概略は前述した通りであり、後にその詳細を説明する。記憶部１０４には、ぼけ補正処理にて使用する劣化関数と、状態検知部１０９で取得された撮像時における画像取得部１０１の状態を示す撮像条件情報とが記憶されている。
【００２３】
劣化関数は、画像取得部１０１の結像光学系の収差、回折およびデフォーカスや、撮像時における撮像装置の手振れ等の振れに起因する像振れを関数により表すものである。また、撮像条件情報は、結像光学系における絞り値、フォーカスレンズの位置（撮像距離）、ズームレンズの位置（焦点距離）等を含む。状態検知部１０９は、システムコントローラ１０７から撮像条件情報を得てもよいし、制御部１０８から得てもよい。
【００２４】
画像処理部１０３にて処理が行われた後の画像（出力画像）は、画像記録媒体１０６に所定のフォーマットで保存される。この際、同時に撮像条件情報を保存してもよい。また、既に画像記録媒体１０６に保存されている画像を読み出して、同様に画像処理部１０３でぼけ補正処理を行ってもよい。
【００２５】
画像記録媒体１０６に保存された画像は、液晶ディスプレイ等の表示部１０５にて表示される。
【００２６】
システムコントローラ１０７は、撮像素子、画像処理部１０３および表示部１０５の動作を制御したり、画像記録媒体１０６に対する画像の記憶および読み出しを制御したりする。制御部１０８は、結像光学系の機械的な駆動をシステムコントローラ１０７からの指示に応じて制御する。
【００２７】
次に、図３のフローチャート、図４および図５を用いて、画像処理部１０３が行うぼけ補正処理について詳細に説明する。この処理は、画像処理用コンピュータである画像処理部１０３が、コンピュータプログラムとしての画像処理プログラムに従って実行する。
【００２８】
ステップＳ１０１では、画像処理部１０３は、画像取得部１０１からのデジタル撮像信号に対して所定の画像処理を行うことで入力画像を取得（生成）する。この入力画像は、撮像過程で生じた劣化としてのぼけによって被写体空間（原画像）に比べて情報が減少している。すなわち、少なくとも一部の周波数成分が失われている。
【００２９】
ステップＳ１０２では、画像処理部１０３は、入力画像のうちぼけ補正処理を行う補正対象領域からレンジブロック画像（第１のレンジブロック画像）を抽出する。補正対象領域は、入力画像の全域でもよいし、ぼけが強い一部または複数の部分領域であってもよい。図４（Ａ）は入力画像の一部を示しており、例えば３×３画素の矩形領域をレンジブロック画像２０１として抽出する。ただし、レンジブロック画像のサイズ（画素数）や形状および抽出位置はこれに限定されない。また、入力画像から複数のレンジブロック画像を抽出する際は、各レンジブロック画像の一部が互いに重なるようにしてもよい。
【００３０】
レンジブロック画像から直流成分（信号の平均値）を減算してもよい。ぼけ補正処理は、ぼけが生じる前のレンジブロック画像と相似な構造を有するドメインブロック画像を見つけることで行う。しかし、被写体空間の構造と撮像装置１００の露出とに相関性はなく、入力画像の明るさに相当する直流成分に該露出が支配的に影響している。このため、相関の算出時にレンジブロック画像の明るさ成分は除去されていても問題がない。さらに、探索する相似形状は、レンジブロック画像とドメインブロック画像の自由度が小さいほど見つけやすくなる。これは単純に両画像の取り得る信号分布のパターンが少ないためである。このため、ドメインブロック画像にも同様に明るさ成分の除去を行うことで、相関の高い相似形状を見つけやすくすることができる。
【００３１】
以下、式を用いた処理の説明も併せて行う。実際には入力画像、レンジブロック画像およびドメインブロック画像はＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）等の複数の色信号を有するが、以下では簡単のために各画像が単色の色信号を有するものとする。複数の色信号を考慮する場合は、それぞれに対して同様の処理を行えばよい。また、ある色（例えばＧ）の画像から抽出したレンジブロック画像に対応する相似形状を探索する際に、他のチャンネル（例えば、ＲやＢ）からドメインブロック画像を取得してもよい。レンジブロック画像の総画素数をｎＲ画素とし、各画素の信号値を成分とした信号値ベクトルをＲとするとき、直流成分を減算した後のベクトルΡは、以下の式（１）で表される。
【００３２】
【数１】
2015115733.tif 000003
【００３３】
ただし、ｒａｖｅはレンジブロック画像の平均信号値であり、Ｅは各成分が１であるｎＲ次元ベクトルである。ｒａｖｅは均一の重み付けで算出してもよいし、加重平均として算出してもよい。
【００３４】
次に、ステップＳ１０３では、画像処理部１０３は、抽出したレンジブロック画像に対応した劣化関数を記憶部１０４から取得する。図５にレンジブロック画像２０１に対応した劣化関数２０４ａを示す。レンジブロック画像に対応した劣化関数は、前述したように、撮像によってレンジブロック画像２０１に生じたぼけを関数で示すものである。ぼけには画像取得部１０１で発生した収差、回折、デフォーカスまたは撮像時の像振れ等が含まれる。収差、回折およびデフォーカスによるぼけを示す劣化関数は、画像取得部１０１の設計値や測定値から算出されて記憶部１０４に保存されている。また、像振れによるぼけを示す劣化関数は、例えば、ジャイロセンサを搭載した状態検知部１０９が撮像時における撮像装置１００の動き（振れ）を検知することで得られる。劣化関数は、ＰＳＦ(Point Spread Function)やＯＴＦ(Optical Transfer Function)等の形で表現される。
【００３５】
なお、デフォーカスによるぼけの補正を行うために、撮像装置１００に被写体空間の距離情報を取得する測距部を設けてもよい。
【００３６】
レンジブロック画像に対応した劣化関数を取得するためには、入力画像を取得するための撮像時の撮像条件情報や、レンジブロック画像の抽出位置等を使用する。また、劣化関数は、画像の色成分（ＲＧＢ）に対してそれぞれ用意される。これは、例えば収差による周波数成分の劣化を補正したい場合に、画像取得部１０１のズームや絞りの状態、像高、波長等を変数として収差の影響が変化するためである。ただし、該変数の中に劣化関数への影響が小さいものがある場合、その変数は劣化関数の決定から除外してもよい。
【００３７】
続いてステップＳ１０４では、画像処理部１０３は、ドメインブロック取得画像からドメインブロック画像（第１のドメインブロック画像）を取得する。前述したように、ドメインブロック取得画像は、入力画像であってもよいし、他の画像であってもよい。ただし、被写体空間のフラクタル性を利用するという観点から、ドメインブロック取得画像は、入力画像と同じ又は類似の被写体が存在している画像が望ましい。例えば、入力画像から取得する場合は、図４（Ａ）に示すように６×６画素の矩形領域をドメインブロック画像２０２ａとして抽出する。ただし、ドメインブロック画像のサイズ（レンジブロック画像に対する画素数の倍率）や形状および抽出位置はこれに限定されない。
【００３８】
次に、ステップＳ１０５では、画像処理部１０３は、図５に示すように、ドメインブロック画像に対するリサイズ（サイズ変換）と等長変換を行い、変換ドメインブロック画像２０３ａを生成する。等長変換は、レンジブロック画像との相関算出候補を増やすために行い、リサイズはレンジブロック画像との相関を算出するために行う。ただし、これらの処理は必ずしも必須ではない。例えば、相関を算出するためには、レンジブロック画像をドメインブロック画像に合わせてリサイズしてもよい。また、レンジブロック画像から直流成分を減算している場合は、ドメインブロック画像からも直流成分を減算する。
【００３９】
ドメインブロック画像の総画素数をｎＤとし、信号値ベクトルをＤとするとき、直流成分を減算した信号ベクトルΔは以下の式（２）で表される。
【００４０】
【数２】
2015115733.tif 000004
【００４１】
ただし、σはｎＤ画素を有する画像のｎＲ画素を有する画像へのリサイズを示す。リサイズには、バイリニア補間やバイキュービック補間等を用いることができる。また、δａｖｅはドメインブロック画像の平均信号値であり、εは等長変換を示す。等長変換には、恒等変換、回転変換、反転変換等を含む。ここでは、計算負荷を軽減するためにリサイズ後に等長変換を行う場合について説明しているが、これらの順番は逆でもよい。
【００４２】
次に、ステップＳ１０６では、画像処理部１０３は、図５に示すように、変換ドメインブロック画像２０３ａに対して劣化関数２０４ａを適用する。これにより、相関算出用ドメインブロック画像としての劣化ドメインブロック画像（第２のドメインブロック画像）２０５ａを生成する。変換ドメインブロック画像に対して劣化関数を適用する際に、例えば劣化関数がＰＳＦである場合はこれを変換ドメインブロック画像に重畳し、ＯＴＦである場合は変換ドメインブロック画像をフーリエ変換した結果とＯＴＦとの積をとればよい。図５には、変換ドメインブロック画像２０３ａに劣化関数２０４ａを重畳して劣化ドメインブロック画像２０５ａを得る例を示している。
【００４３】
ここでは、リサイズおよび等長変換を行った後に劣化関数２０４ａを適用する場合について説明しているが、これらの順番は逆でもよい。この場合、劣化関数２０４ａに対してσおよびεとは逆の変換を行って得た劣化関数を、ドメインブロック画像２０２ａに適用する。
【００４４】
次に、ステップＳ１０７では、レンジブロック画像と劣化ドメインブロック画像との相関を算出する。相関の算出手法として、両画像の対応画素間における信号差（ベクトルの各成分の差）の絶対値和を求める方法がある。この場合の相関算出式ｆは、以下の式（３）で表される。
【００４５】
【数３】
2015115733.tif 000005
【００４６】
ただし、ρｉは式（１）で表される信号ベクトルΡのｉ番目の成分であり、δｉは式（２）で表される信号ベクトルΔのｉ番目の成分であり、ｗｉはｉ番目の成分の重みを示す。
【００４７】
この際、信号ベクトルΔと信号ベクトルΡの相関が最も高くなるように、コントラストを調整してもよい。つまり、｜Ρ−ｃΔ｜が最小となるようなｃを決めてもよい。ｃは最小二乗法から、以下の式（４）で表される。
【００４８】
【数４】
2015115733.tif 000006
【００４９】
式（３）の相関算出式においてコントラストの調整を考慮する場合は、｜ρｉ−δｉ｜を｜ρｉ−ｃδｉ｜とすればよい。
【００５０】
相関を算出する他の手法として、ＳＳＩＭ(Structure Similarity)を使用してもよい。ＳＳＩＭは、以下の式（５）で表される。
【００５１】
【数５】
2015115733.tif 000007
【００５２】
ただし、Ｌ，Ｃ，Ｓはそれぞれ、明るさ、コントラスト、その他の構造に関する評価関数であり、０〜１の値をとる。それぞれの値が１に近いほど、比較する２つの画像が近いことを意味する。α，β，γは、各評価項目の重みを調整するパラメータである。α＝０とすれば直流成分（明るさ）の差し引かれた相関算出が行われ、これにより式（１）で表したような演算を行う必要がなくなる。また、β＝０とすれば、交流成分のスカラー倍（コントラストの調整）を相関算出時に考慮する必要がなくなり、式（４）で表した演算を行う必要がなくなる。
【００５３】
また、相関の算出に複数の手法を用いてもよい。この場合、各手法によって相関の値を求め、それらの加重平均や線型和等から最終的な相関を決めればよい。
【００５４】
さらに、レンジブロック画像に劣化関数の逆フィルタ（逆関数）を適用して得られた復元レンジブロック画像（第２のレンジブロック画像）と変換ドメインブロック画像（リサイズおよび等長変換後の第１のドメインブロック画像）との相関を算出してもよい。
【００５５】
次に、ステップＳ１０８では、画像処理部１０３は、ステップＳ１０７で求めた相関が所定の条件を満たしているか否かを判定する。所定の条件を満たしている、つまりレンジブロック画像と劣化ドメインブロック画像との相関が所定の閾値より高い場合は、そのドメインブロック画像をレンジブロック画像に対応した対応ドメインブロック画像（第３のドメインブロック画像）として選択する。そして、ステップＳ１０９に進む。ドメインブロック取得画像としての入力画像から図４（Ｂ）に示すように選択された対応ドメインブロック画像２０６ｂは、ぼけが発生する前のレンジブロック画像に相当する。所定の閾値より相関が高くない場合は、画像処理部１０３はステップＳ１０４に戻り、新たなドメインブロック画像を取得する。また、ステップＳ１０５に戻って、新たな等長変換を行って相関を算出し直してもよい。
【００５６】
ステップＳ１０９では、画像処理部１０３は、対応ドメインブロック画像を用いてレンジブロック画像のぼけを補正する。例えば、対応ドメインブロック画像にリサイズと等長変換を行って得た変換対応ドメインブロック画像を生成し、この変換対応ドメインブロック画像によってレンジブロック画像を置換すればよい。このとき、式（１），（２）および（４）を用いて相関を算出した場合は、以下の式（６）で表される信号ベクトルΓで信号ベクトルＲを置き換えればよい。
【００５７】
【数６】
2015115733.tif 000008
【００５８】
また、対応ドメインブロック画像を参考画像として用いる学習型超解像等の手法を用いてレンジブロック画像のぼけ補正を行ってもよい。
【００５９】
次に、ステップＳ１１０では、画像処理部１０３は、入力画像における所定の補正対象領域内で抽出した全てのレンジブロック画像に対するぼけ補正処理が終了したか否かを判定する。全てのレンジブロック画像に対するぼけ補正処理が終了した場合はステップＳ１１１に進み、そうでなければステップＳ１０２に戻って新たなレンジブロック画像を抽出する。
【００６０】
ステップＳ１１１では、画像処理部１０３は、補正対象領域でのぼけが補正された出力画像を生成する。出力画像に対して、さらにアンシャープマスク等の鮮鋭化を行ってもよい。
【００６１】
以上のぼけ補正処理により、入力画像のうち画像取得部１０１で発生したぼけにより失われた周波数成分を復元した出力画像を得ることができる。
【００６２】
次に、より良好なぼけ補正処理を行うために考慮した方が望ましい条件について説明する。
【００６３】
第１の条件は、ステップＳ１０４にて画像処理部１０３が取得するドメインブロック画像のサイズに関する条件である。ドメインブロック画像のサイズは、該ドメインブロック画像に対応した劣化関数（以下、ドメイン劣化関数ＦＤと称する）とレンジブロック画像に対応した劣化関数（以下、レンジ劣化関数という）との関係から決定することが望ましい。ドメインブロック画像はＣＧ(Computer Graphics)である場合を除いて、何らかの撮像装置で取得されているため、少なからず収差や回折によるぼけが存在している。本実施例では、変換ドメインブロック画像（リサイズおよび等長変換後の第１のドメインブロック画像）を用いてレンジブロック画像のぼけを補正するため、変換ドメインブロック画像はレンジブロック画像よりＭＴＦが高くなければならない。言い換えれば、変換ドメインブロック画像に存在しているぼけ、つまりはドメイン劣化関数が大きいと良好なぼけ補正処理を行えない。
【００６４】
このため、ドメインブロック画像をリサイズした際のドメイン劣化関数、つまり、σ（ＦＤ）のサイズがレンジ劣化関数のサイズより小さいことが望ましい。ここで、サイズとは劣化関数の拡がりを表すパラメータであり、劣化関数の値が所定値以上になっている領域や、劣化関数全域の積分値に対してある割合以上の劣化関数の値が含まれる領域等と定めればよい。このような条件を満たすようにドメインブロック画像のサイズを決定することで、ぼけ補正処理に無関係な計算を減らすことができる。
【００６５】
第２の条件は、ステップＳ１０７で相関を算出する際の条件である。レンジブロック画像における周辺側の領域は、該周辺側の領域よりも中心側の領域に対して相関の重み（式（３）のｗｉ）が小さいことが望ましい。図６を用いて、その理由を説明する。図６（Ａ）には、図４（Ｂ）に示した入力画像のうちレンジブロック画像２０１およびその近傍を示す。また、図６（Ｂ）には、図４（Ｂ）に示した対応ドメインブロック画像２０６ｂにリサイズおよび等長変換を行って得られた変換対応ドメインブロック画像２０３ｂを示している。ここで、レンジブロック画像２０１に対応するレンジ劣化関数２０４ｂが、図６（Ａ），（Ｂ）中の一点鎖線で表されるようなＰＳＦであったとする。
【００６６】
図６（Ａ），（Ｂ）から分かるように、レンジブロック画像２０１と変換対応ドメインブロック画像２０３ｂのそれぞれの外側の領域は一般に全く異なる信号値をとる。これは、変換対応ドメインブロック画像２０３ｂの外側の領域における信号値をゼロとした場合でも同様である。しかし、上記一点鎖線で示すように、レンジブロック画像２０１と変換対応ドメインブロック画像２０３ｂには、これらの画像の外側からもレンジ劣化関数２０４ｂの影響を受けるため、各ブロック画像には誤差が重畳される。そして、該誤差は、レンジブロック画像２０１における周辺側の領域ほど大きくなる。したがって、相関算出時の周辺側の領域の重みを中心側の領域の重みよりも小さくすることが望ましい。例えば、レンジブロック画像の中心から周辺端に向かうほど重みを小さくすればよい。これにより、対応ドメインブロック画像をより高精度に選択することができる。
【００６７】
より望ましくは、レンジブロック画像２０１における周辺側の領域を、レンジ劣化関数から決定するとよい。これにより、さらに対応ドメインブロック画像を正確に選択できるようになる。例えば図６（Ａ）に示す場合は、レンジ劣化関数２０４ｂのサイズが３×３画素相当であるため、レンジブロック画像２０１のうちその外側の領域からのレンジ劣化関数２０４ｂの影響を受けない中心側の領域２０７を除いた部分を周辺側の領域とすればよい。レンジ劣化関数が、図５に示すレンジ劣化関数２０４ｂのように非対称形状である場合は、周辺側の領域もこれに合わせて非対称形状な領域とすることが望ましい。
【００６８】
第３の条件は、ステップＳ１０９でのぼけ補正に関する条件である。ぼけ補正は、対応ドメインブロック画像（変換対応ドメインブロック）からその周辺側の領域を除いた中心側の領域のみを用いることが望ましい。これは先の図６（Ｂ）を用いた説明と同様であり、変換対応ドメインブロック画像２０３ｂの周辺側の領域にはレンジブロック画像２０１との誤差が生じている。このため、より正確なぼけ補正を行うためには、変換対応ドメインブロック画像２０３ｂから周辺側の領域を除去した中心側の領域を用いることが望ましい。変換対応ドメインブロック画像の全体を用いなくても、ステップＳ１０２でレンジブロック画像を互いに重なり合うように抽出すれば、入力画像全体のぼけ補正を行うこともできる。
【００６９】
さらに望ましくは、変換対応ドメインブロック画像から除去する周辺側の領域を、レンジ劣化関数から決定するとよい。これも先の説明と同様の理由による。
【００７０】
第４の条件は、ステップＳ１０２で抽出するレンジブロック画像のサイズおよび形状に関する条件である。レンジブロック画像のサイズおよび形状は、レンジ劣化関数に基づいて決定するとよい。レンジ劣化関数と同程度のサイズや形状とすることで、補正に必要な情報の欠損や補正とは無関係な情報の混入を防ぐことができる。
【００７１】
以上ができるだけ良好なぼけ補正を行うための条件であるが、上述したぼけ補正処理に、歪曲収差の画像処理による補正（電子歪曲収差補正）を併用してもよい。この場合は、ステップＳ１０６にて変換ドメインブロック画像２０３ａに対して適用するレンジ劣化関数から歪曲収差成分を除去しておく必要がある。また、電子歪曲収差補正は、ステップＳ１０７よりも先に実行することが望ましい。これは、ぼけ補正処理後では残存している歪曲収差の正確な値が分からなくなるためである。
【００７２】
また、ステップＳ１０３で取得するレンジ劣化関数は複数種類あってもよい。この場合、複数のレンジ劣化関数に対してステップＳ１０６からＳ１０９の処理を行い、最も適切と評価される補正結果を選んで出力画像の生成に使用する。例えば、被写体空間の距離情報を用いずにデフォーカスによるぼけを補正する場合、複数のデフォーカス量に対応したレンジ劣化関数を取得し、ステップＳ１０６からＳ１０９の処理を実行する。そして、そこで得られた画像の中から、最もデフォーカスが補正されているものを選択すれば、目的の出力画像を得ることができる。デフォーカス補正の判定基準としては、例えば、輝度やコントラストが最も高い画像を選択する手法がある。
【００７３】
本実施例によれば、被写体空間を撮像する過程で生じたぼけによりＭＴＦが大きく低下した周波数成分をも良好に復元された出力画像を生成することが可能な撮像装置を実現することができる。
【実施例２】
【００７４】
図７には、本発明の実施例２である画像処理装置３０２を含む画像処理システムの構成を示している。また、図８には、該画像処理システムの外観を示している。
【００７５】
撮像装置３０１で取得された入力画像は、通信部３０３を介してコンピュータにより構成される画像処理装置３０２に入力される。該入力画像とその撮像条件情報は記憶部３０４に記憶され、画像補正部（画像処理部）３０５で実施例１で説明したぼけ補正処理が行われる。ぼけ補正処理後の出力画像は、通信部３０３を介して表示装置３０６、記録媒体３０７および出力装置３０８の少なくとも１つに出力される。表示装置３０６は、液晶ディスプレイやプロジェクタ等であり、出力画像を表示する。ユーザは表示装置３０６により表示された処理途中の画像を確認しながら作業を行うこともできる。記録媒体３０７は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等である。出力装置３０８は、プリンタ等である。画像処理装置３０２は、必要に応じて現像処理やその他の画像処理を行う機能を有していてもよい。
【００７６】
画像処理装置３０２内の画像補正部３０５で行われるぼけ補正処理は、実施例１にて図３を用いて説明したものと基本的に同じである。ただし、ステップＳ１０１では、画像補正部３０５は、撮像装置３０１での撮像により生成された入力画像を取得する。また、ステップＳ１０３では、画像補正部３０５は、撮像装置３０１に対応する劣化関数を、予め複数の撮像装置のそれぞれに対応する劣化関数を記憶した記憶部４０５から取得する。この際、画像処理装置３０２に接続されている撮像装置３０１の種類も劣化関数を決定する変数とする。また、撮像条件情報は、入力画像と同一のファイル内に保存されていてもよいし、撮像装置３０１から読み出してもよい。
【００７７】
本実施例によれば、撮像装置によって被写体空間を撮像する過程で生じたぼけによりＭＴＦが大きく低下した周波数成分をも良好に復元された出力画像を生成することが可能な画像処理装置を実現することができる。
【実施例３】
【００７８】
図９には、本発明の実施例３である撮像システムの構成を示している。また、図１０には、該撮像システムの外観を示している。
【００７９】
コンピュータとしてのサーバー４０３は、通信部４０４を有し、ネットワーク４０２を介して撮像装置４０１と接続されている。撮像装置４０１で撮像が行われると、該撮像により生成された入力画像が自動的または手動によってサーバー４０３に送信される。サーバー４０３内の記憶部４０５には、該入力画像とその撮像条件情報が記憶される。その後、サーバー４０３内の画像処理部４０６は、入力画像に対して実施例１で説明したぼけ補正処理を行い、出力画像を生成する。出力画像は撮像装置４０１に送信されたり、記憶部４０５に記憶されたりする。
【００８０】
ここで、本実施例における撮像装置４０１はいわゆる多眼撮像装置である。すなわち、図１１に示すように、互いに焦点距離が異なる４種類の結像光学系が４つずつ配列されている。結像光学系４１０ａ〜４１０ｄは広角レンズであり、結像光学系４２０ａ〜４２０ｄは標準レンズである。また、結像光学系４３０ａ〜４３０ｄが中望遠レンズであり、結像光学系４４０ａ〜４４０ｄが望遠レンズである。ただし、結像光学系の種類や数、配置はこれに限定されない。また、各結像光学系に対応する撮像素子は、それぞれ画素数が異なっていてもよい。
【００８１】
サーバー４０３内の画像処理部４０６で行われるぼけ補正処理は、実施例１にて図３を用いて説明したものと基本的に同じである。ただし、ステップＳ１０１では、画像処理部４０６は、撮像装置４０１で生成された画像のうち、１つの結像光学系を通した撮像により生成された画像を入力画像として取得する。ただし、撮像装置４０１から異なる結像光学系を通した撮像により生成された画像を順次取得し、入力画像を変えながら図３に示したぼけ補正処理を繰り返して全ての入力画像に対してぼけ補正を行ってもよい。
【００８２】
ステップＳ１０４では、画像処理部４０６はドメインブロック画像を取得する。この際、ドメインブロック画像を、入力画像からだけでなく、撮像装置４０１の他の結像光学系を通した撮像により得られた画像からも抽出する。撮像装置４０１の結像光学系は、それぞれ視点および画角において違いがあるものの、全て共通の被写体を撮像するために用いられている。このため、それらの画像からドメインブロック画像を抽出することで、ぼけ補正の効果をより高めることができる。特に、入力画像が広角レンズである結像光学系４１０ａ〜４１０ｄを通した撮像により得られた画像である場合は、より望遠側の結像光学系を通した撮像により得られた画像からドメインブロック画像を抽出することで、高いぼけ補正効果が得られる。望遠側は撮像倍率が大きく、より細かい構造が画像に含まれるためである。
【００８３】
本実施例によれば、多眼撮像装置によって被写体空間を撮像する過程で生じたぼけによりＭＴＦが大きく低下した周波数成分をも良好に復元された出力画像を生成することが可能な撮像システムを実現することができる。
【００８４】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００８５】
撮像により劣化した画像を良好に復元できる画像処理装置や撮像装置を提供できる。
【符号の説明】
【００８６】
１０３  画像処理部
２０１  レンジブロック画像
２０２ａ  ドメインブロック画像
２０３ａ  変換ドメインブロック画像
２０３ｂ  変換対応ドメインブロック画像
２０４ａ，２０４ｂ  劣化関数
２０５ａ  劣化ドメインブロック画像
２０６ｂ  対応ドメインブロック画像
３０２  画像処理装置
【図１】
2015115733.tif 000009
【図２】
2015115733.tif 000010
【図３】
2015115733.tif 000011
【図４】
2015115733.tif 000012
【図５】
2015115733.tif 000013
【図６】
2015115733.tif 000014
【図７】
2015115733.tif 000015
【図８】
2015115733.tif 000016
【図９】
2015115733.tif 000017
【図１０】
2015115733.tif 000018
【図１１】
2015115733.tif 000019