"撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第1の画像から第2の画像を生成する画像処理方法であって、前記第1の画像および該第1の画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、前記画像回復フィルタを用いて前記第1の画像に対して画像回復処理を行うステップと、前記画像回復処理が行われた前記第1の画像から前記第2の画像を生成するステップとを有することを特徴とする画像処理方法。前記撮像装置において、前記光学素子アレイは、前記撮影光学系の結像位置に配置されており、前記撮像素子は、前記光学素子アレイに関して前記撮影光学系の射出瞳と共役な位置に配置されており、前記第1の画像は、前記射出瞳の像が前記撮像素子によって光電変換されることにより生成された画像であることを特徴とする請求項1に記載の画像処理方法。前記撮像装置において、前記光学素子アレイは、前記撮影光学系の結像位置から離れた位置に配置され、該結像位置と共役な位置に配置された前記撮像素子上に前記撮影光学系からの光を結像させ、前記第1の画像は、前記撮影光学系の空中像が前記撮像素子によって光電変換されることにより生成された画像であることを特徴とする請求項1に記載の画像処理方法。撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第1の画像から第2の画像を生成する画像処理装置であって、前記第1の画像および該第1の画像を生成した際の前記撮像装置における撮影条件に関する情報を得る入力部と、前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るフィルタ取得部と、前記画像回復フィルタを用いて前記第1の画像に対して画像回復処理を行う処理部と、前記画像回復処理が行われた前記第1の画像から前記第2の画像を生成する画像生成部とを有することを特徴とする画像処理装置。撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置であって、請求項4に記載の画像処理装置を有することを特徴とする撮像装置。コンピュータに、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第1の画像から第2の画像を生成させる画像処理プログラムであって、前記第1の画像および該第1の画像を生成した際の前記撮像装置における撮影条件に関する情報を得るステップと、前記撮影条件に関する情報と前記撮影光学系および前記光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、前記画像回復フィルタを用いて前記第1の画像に対して画像回復処理を行うステップと、前記画像回復処理が行われた前記第1の画像から前記第2の画像を生成するステップとを有することを特徴とする画像処理プログラム。しかしながら、収差はマイクロレンズアレイだけでなく、撮影光学系にも存在する。ここにいう撮影光学系の収差は、球面収差、コマ収差、像面湾曲および非点収差等である。これらの収差は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。また、これらの収差は、光学的には、点像分布関数PointSpreadFunction:PSFにより表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる撮影光学系に収差がある場合、例えば図1中の点Aを通った光線の撮像素子102上での到達位置が本来の位置からずれることになる。図4aは、撮影光学系に収差が存在しない場合を示しており、撮影光学系からの光線はそれぞれが本来到達すべき撮像素子102上の位置画素に到達している。一方、図4bは、撮影光学系にコマ収差が存在する場合を示しており、撮影光学系からの光線はそれぞれが本来到達すべき位置に到達せず、非対称で複雑なずれを有する。他の収差についても同様に、撮影光学系からの光線を本来到達すべき位置からずれた位置に到達させる。このような撮像素子上での光線の位置ずれは、特に角度情報に誤差を与えることになり、良好な精度での再構成画像の生成を困難とする。図1に示したように、撮像素子は撮影光学系101の結像位置から離れた位置に配置されるため、撮影光学系で発生したコマ収差が拡大されて撮像素子上での光線の位置ずれとなって現れる。さらに、撮像素子上での光線の位置ずれは、マイクロレンズアレイの収差によっても同様に発生する。特許文献1にて開示された方法により、マイクロレンズアレイの収差の影響を低減することは可能ではある。しかし、実際にはマイクロレンズアレイは光軸方向においては1枚のレンズにより構成されることが多く、光学的な手法により十分に収差の影響を低減することは困難である。本発明は、撮影光学系およびマイクロレンズアレイで発生する収差の影響を十分に低減して、良好な精度で再構成画像を生成できるようにした画像処理技術を提供する。本発明の一側面としての画像処理方法は、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第1の画像から第2の画像を生成する。該方法は、第1の画像および該第1の画像を生成した際の撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、画像回復フィルタを用いて第1の画像に対して画像回復処理を行うステップと、画像回復処理が行われた第1の画像から第2の画像を生成するステップとを有することを特徴とする。また、本発明の他の一側面としての画像処理装置は、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第1の画像から第2の画像を生成する。該装置は、第1の画像および該第1の画像を生成した際の撮像装置における撮影条件に関する情報を得る入力部と、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るフィルタ取得部と、画像回復フィルタを用いて第1の画像に対して画像回復処理を行う処理部と、画像回復処理が行われた第1の画像から第2の画像を生成する画像生成部とを有することを特徴とする。なお、上記画像処理装置を有する撮像装置も本発明の他の一側面を構成する。さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、撮影光学系からの光を光学素子アレイを通して撮像素子に導く撮像装置を用いて生成された第1の画像から第2の画像を生成させる。該プログラムは、第1の画像および該第1の画像を生成した際の撮像装置における撮影条件に関する情報を得るステップと、撮影条件に関する情報と撮影光学系および光学素子アレイのそれぞれの光学伝達関数とに応じた画像回復フィルタを得るステップと、画像回復フィルタを用いて第1の画像に対して画像回復処理を行うステップと、画像回復処理が行われた第1の画像から第2の画像を生成するステップとを有することを特徴とする。本発明によれば、撮影光学系および光学素子アレイで発生した収差の影響を十分に低減した第1の画像から、光線の位置や角度の情報を精度良く取得することができる。このため、第1の画像から、例えば任意のフォーカス位置や視点方向から見たときの画像としての第2の画像再構成画像を良好な精度で生成することができる。以下、本発明の実施例について図面を参照しながら説明する。まず、以下に説明する実施例にて用いる用語の定義と画像回復処理について説明する。入力画像入力画像は、撮像装置において光学系本実施例では、撮影光学系およびマイクロレンズアレイ等の光学素子アレイにより形成された被写体像を光電変換した撮像素子からの出力を用いて生成されたデジタル画像である。このデジタル画像は、レンズや光学フィルタ等の光学素子を含む光学系の収差を含む光学伝達関数OTFにより劣化した画像である。撮像素子は、CMOSやCCD等の光電変換素子により構成される。撮影光学系は、曲率を有するミラー反射面を含んでもよい。また、光学系は、撮像装置に対して着脱交換が可能であってもよい。撮像装置において、撮像素子および該撮像素子の出力を用いてデジタル画像入力画像を生成する信号処理回路により撮像系が構成される。入力画像の色成分は、例えばRGB色成分の情報を有している。色成分の扱いとしては、これ以外にもLCHで表現される明度、色相および彩度や、YCbCrで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、XYZ,Lab,Yuv,JChを用いることが可能であり、さらに色温度を用いることも可能である。入力画像や回復画像出力画像には、入力画像を生成した際の撮像装置における光学系の焦点距離や絞り値、さらに撮影距離等の撮影条件に関する情報以下、撮影条件情報というを付帯することができる。また、入力画像を補正するための各種の補正情報も付帯することができる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、該画像処理装置にて画像回復処理を行う場合には、入力画像に撮影条件情報や補正情報を付帯することが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。光学伝達関数OTF点像分布関数PSFをフーリエ変換して得られる光学伝達関数OpticalTransferFunction:OTFは、収差の周波数成分情報であり、複素数で表される。光学伝達関数OTFの絶対値、すなわち振幅成分をMTFModulationTransferFunctionといい、位相成分をPTFPhaseTransferFunctionという。MTFおよびPTFはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。ReOTFおよびImOTFはそれぞれ、OTFの実部および虚部を表す。PTF=tan-1ImOTF/ReOTFこのように、光学系の光学伝達関数OTFは、画像の振幅成分と位相成分に劣化を与えるため、結像位置での像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばRGBの色成分として取得することで発生する。したがって、RGB間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。よって、正確には倍率色収差は単なる平行シフトの色ずれではなく、例えばGチャンネルといったある色チャンネルの像の広がりにも影響している。画像回復処理光学伝達関数OTFの振幅MTFの劣化と位相PTFの劣化を補正する方法として、光学系の光学伝達関数OTFの情報を用いて補正するものが知られている。この方法は画像回復や画像復元と呼ばれており、以下、本明細書では、この光学系の光学伝達関数OTFの情報を用いて画像の劣化を補正する処理を、画像回復処理または回復処理と記す。撮像装置により生成された入力画像劣化画像をgx,yとし、元の画像劣化していない画像をfx,yとし、光学伝達関数OTFのフーリエペアである点像分布関数PSFをhx,yとする場合、以下の式が成り立つ。ただし、はコンボリューション畳み込み積分または積和を示し、x,yは入力画像上の座標位置を示す。gx,y=hx,yfx,yこの式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Hは点像分布関数PSFhをフーリエ変換したものであり、光学伝達関数OTFに相当する。G,Fはそれぞれ、g,fをフーリエ変換したものである。u,vは2次元周波数面での座標、すなわち周波数を示す。Gu,v=Hu,vFu,v撮像装置により生成された劣化画像から元の画像を得るためには、以下のように、上記式の両辺をHで除算すればよい。Gu,v/Hu,v=Fu,vFu,v、すなわちGu,v/Hu,vを逆フーリエ変換して実面に戻すことで、元の画像fx,yに相当する回復画像が得られる。ここで、H-1を逆フーリエ変換したものをRとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像fx,yに相当する回復画像を得ることができる。gx,yRx,y=fx,yRx,yが画像回復フィルタである。入力画像が2次元であるとき、一般に画像回復フィルタも該2次元画像の各画素に対応したタップセルを有する2次元フィルタとなる。また、一般に画像回復フィルタのタップ数セル数が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、撮影光学系の収差の特性等に応じて実現可能なタップ数を設定する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各3タップ程度のエッジ強調フィルタハイパスフィルタ等とは全く異なる。また、画像回復フィルタは、光学伝達関数OTFに基づいて生成されるため、劣化画像入力画像における振幅成分と位相成分の劣化をともに高精度に補正することができる。また、実際の入力画像にはノイズ成分が含まれる。このため、上記のように光学伝達関数OTFの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して撮影光学系のMTF振幅成分を全周波数にわたって1に戻すようにMTFを持ち上げるためである。撮影光学系による振幅劣化であるMTFは1に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にMTFを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。したがって、ノイズ成分がある入力画像からは鑑賞用画像として良好な回復画像が得られない。これを式で示すと以下のように表せる。Nはノイズ成分を表す。Gu,v=Hu,vFu,vNu,vGu,v/Hu,v=Fu,vNu,v/Hu,vこの点については、例えば、式1に示すウィナーフィルタのように画像信号とノイズ信号の強度比SNRに応じて回復度合いを制御する方法が知られている。Mu,vはウィナーフィルタの周波数特性を示し、|Hu,v|は光学伝達関数OTFの絶対値MTFを示す。この方法は、周波数ごとに、MTFが小さいほど回復ゲインを抑制し、MTFが大きいほど回復ゲインを強くするものである。一般に、撮影光学系のMTFは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。画像回復フィルタを図5および図6を用いて説明する。画像回復フィルタは、撮影光学系の収差特性や要求される画像回復精度に応じてタップ数が決められる。図5では、例として、11×11タップの2次元画像回復フィルタを示している。図5では、各タップ内の値係数値を省略しているが、この画像回復フィルタの1つの断面を図6に示す。画像回復フィルタの各タップ内の値の分布が、収差によって空間的に広がった信号値PSFを、理想的には元の1点に戻す役割を果たす。画像回復処理では、画像回復フィルタの各タップの値が、入力画像における各タップに対応する各画素に対してコンボリューション畳み込み積分や積和ともいうされる。コンボリューションの処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップの値係数値との積をとり、その総和を中心画素の信号値として置き換える。画像回復処理の実空間と周波数空間での特性を図7および図8を用いて説明する。図7のaは画像回復前のPSFを示し、bは画像回復後のPSFを示している。また、図8のMのaは画像回復前のMTFを示し、Mのbは画像回復後のMTFを示している。さらに、図8のPのaは画像回復前のPTFを示し、Pのbは画像回復後のPTFを示している。画像回復前のPSFは非対称な広がりを持っており、この非対称性によりPTFは周波数に対して非直線的な値を持つ。画像回復処理は、MTFを増幅し、PTFを零に補正するため、画像回復後のPSFは対称で、かつ鮮鋭になる。画像回復フィルタの作成法については、撮影光学系の光学伝達関数OTFの逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。例えば、ウィナーフィルタを用いる場合、式1を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。また、光学伝達関数OTFは、同じ撮影条件であっても撮影光学系の像高画像上での位置に応じて変化するので、画像回復フィルタは像高に応じて変更して使用される。以下、本発明の具体的な実施例について説明する。図9には、本発明の実施例1である撮像装置の構成を示している。撮像装置は、不図示の被写体からの光は、撮影光学系101に入射する。撮影光学系101から射出した光は、マイクロレンズアレイ101cを通って撮像素子102に導かれる。撮像素子102は、撮影光学系101とマイクロレンズアレイ101cにより形成された光学像を光電変換し、アナログ撮像信号を出力する。アナログ撮像信号は、A/Dコンバータ103によりデジタル撮像信号に変換され、画像処理部104に入力される。画像処理部104は、デジタル撮像信号に対して各種画像処理を行って第1の画像としての入力画像を生成し、さらに該入力画像に対して画像回復処理を行う。画像処理部104は、状態検知部107から、入力画像を生成した際における撮像装置の撮影条件に関する情報以下、撮影条件情報というを取得する。撮影条件情報とは、絞り値、撮影距離および撮影光学系がズームレンズである場合の焦点距離等を含む。状態検知部107は、システムコントローラ110から直接、撮影条件情報を取得してもよいし、撮影光学系に関する撮影条件情報については撮影光学系制御部から取得してもよい。画像処理部104は、撮影条件情報に応じた画像回復フィルタを得る。具体的には、記憶部108に予め記憶された複数の画像回復フィルタから撮影条件情報に応じた画像回復フィルタを選択したり、記憶された画像回復フィルタを用いて撮影条件情報に応じた画像回復フィルタを新たに生成したりする。また、画像処理部104は、記憶部108に予め記憶された複数の光学伝達関数OTFから撮影条件情報に応じた光学伝達関数を選択したり、記憶された光学伝達関数を用いて撮影条件情報に応じた画像回復フィルタを新たに生成したりしてもよい。さらに、画像処理部104は、記憶された光学伝達関数を用いて撮影条件情報に応じた光学伝達関数を新たに作成し、その光学伝達関数をフーリエ変換することにより画像回復フィルタを生成してもよい。そして、画像処理部104は、入力画像に対して、取得した画像回復フィルタを用いて画像回復処理を行い、さらに画像回復処理後の画像回復画像を用いて画像再構成処理を行う。ここでの具体的な処理については後述する。画像処理部104は、入力部、情報取得部、フィルタ取得部、処理部および画像生成部を含む画像処理装置に相当する。画像処理部104での画像再構成処理により生成された第2の画像としての出力画像は、画像記録媒体109に所定のフォーマットで保存される。また、出力画像は、LCD等により構成される表示部105に表示される。以上の一連の処理は、システムコントローラ110の制御下で行われる。また、撮影光学系101の機械的な駆動後述するフォーカス機構、ズーム機構および開口絞りの駆動はシステムコントローラ110からの制御信号を受けた撮影光学系制御部106によって制御される。撮影光学系101に含まれる開口絞り101aは、その絞り開口径を増減させて絞り値Fナンバーを変化させる。なお、後述する光線の位置と角度の情報LightFieldを取得する際には、大きな光線の角度の情報を取得するために、開口絞り101aを開放絞り開口径等の大きい絞り開口径に固定してもよい。また、本実施例の撮像装置では、画像処理部104による画像再構成処理によって入力画像を生成した後のFナンバーの制御が可能である。このため、絞り開口径の小さな焦点深度の深い出力画像は、入力画像を生成するための撮像後に生成することができる。主レンズ群101bは、1枚または複数枚のレンズにより構成され、変倍レンズやフォーカスレンズを含む。撮像装置は、変倍レンズを光軸方向に移動させて変倍を行うズーム機構と、フォーカスレンズを光軸方向に移動させてピント調節を行うフォーカス機構とを有する。フォーカス機構には、オートフォーカスAFを行うためにフォーカスレンズを移動させるアクチュエータを含むAF機構や、不図示のフォーカス操作リングの手動操作よってフォーカスレンズを移動させるマニュアルフォーカス機構を含む。なお、本実施例の撮像装置では、画像処理部104による画像再構成処理により入力画像の生成のための撮像を行った後に、フォーカス位置調整リフォーカスされた出力画像の生成が可能である。このため、フォーカス機構を含まなくてもよい。ただし、光線の位置と角度の情報量は有限であるため、撮像時のフォーカスレンズ位置に対する出力画像中でのフォーカス位置調整範囲も有限となる。したがって、撮影光学系101の光学的なフォーカス機構を動作させて、基準被写体にピントを合わせた状態で入力画像を生成するための撮像を行うことで、主要被写体の前後の位置に対するリフォーカスを良好に行うことができる。マイクロレンズアレイ101cは、撮影光学系101と撮像素子102との間に配置される。マイクロレンズアレイ101cは、例えば、図10に示すように、2次元配列された複数のマイクロレンズ101dにより構成されている。各マイクロレンズ101dは、円形の開口を有している。図10では、説明のためにマイクロレンズ101dの数を7×7としているが、実際のマイクロレンズアレイでは、数百×数百や数千×数千といった多数のマイクロレンズを有する。また、マイクロレンズ101dは、固体レンズ、液体レンズ、液晶レンズおよび回折光学素子等、屈折力が可変である光学素子を含めて様々な光学素子により形成することができる。また、マイクロレンズ101dのレンズ面の形状は、入射面と射出面のうち少なくとも一方が球面や非球面等の曲面であってもよいし、入射面と射出面のうち一方が平面であってもよい。図9に示す撮影光学系101、マイクロレンズアレイ101cおよび撮像素子102の具体的な構成を図1に示す。図1は、主レンズ群101bおよび開口絞り101aにより構成される撮影光学系101の結像位置に、マイクロレンズアレイ101cを配置し、その後方被写体側とは反対側に撮像素子102を配置した構成を示す。撮像素子102は、マイクロレンズアレイ101cに関して撮影光学系101の射出瞳と共役な位置に配置されている。先にも説明したように、マイクロレンズアレイ101cは、例えば点Aのような被写体空間のある1点を通る光線群と、点Aの近傍の点を通る光線とが撮像素子102上で混ざらないようにするセパレータの役割を有する。図1から分かるように、実線で示した点Aからの上線、主光線および下線はそれぞれ、撮像素子102上の互いに異なる画素で受光されるため、点Aを通る光線群を光線の角度ごとに分離して取得することができる。破線で示した別の点を通る光線についても同様である。また、マイクロレンズアレイ101cの各マイクロレンズは、撮影光学系101の射出瞳の像を撮像素子102上に結像させている。このため、撮像素子102上では、その一部を拡大した図11に示すように、各マイクロレンズから見た撮影光学系101の射出瞳の像が2次元状に配列するように形成される。図11では、1つの円形像がおよそ11×11画素により取得されているので、例えば点Aを通る光線群の角度情報を11×11の角度分解能で取得していることになる。また、撮影光学系101には、ローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよい。ただし、ローパスフィルタ等の光学伝達関数OTFの特性に影響を与える光学素子を挿入する場合には、画像回復フィルタの作成においてその考慮が必要になる。また、赤外カットフィルタを挿入する場合においても、分光波長の点像分布関数PSFの積分値であるRGBチャンネルの各PSF、特にRチャンネルのPSFに影響するため、画像回復フィルタの作成においてその考慮が必要になる。図12には、本実施例における画像処理方法の手順を示している。この画像処理方法は、コンピュータにより構成される画像処理部104が、コンピュータプログラムとしての画像処理プログラムに従って実行する。ステップS11では、画像処理部104は、入力画像以下、撮影画像ともいうを生成することで取得する。ここでいう撮影画像とは、図11に示した撮影光学系101の射出瞳の像を光電変換して得られる画像である。次にステップS12では、画像処理部104は、撮像装置が撮影画像を生成した際の撮影条件情報を得る。そして、撮影条件に応じた適した画像回復フィルタを得る。具体的には、前述したように、記憶部108に予め記憶された複数の画像回復フィルタから撮影条件情報に応じた画像回復フィルタを選択したり、記憶された画像回復フィルタを用いて撮影条件情報に応じた画像回復フィルタを新たに生成したりする。画像回復フィルタを新たに生成するには、例えば、離散的に選択された焦点距離、絞り値および撮影距離等の撮影条件に応じた画像回復フィルタのデータを予め記憶部108にメモリに記憶しておく。そして、実際の撮影条件が記憶部108に記憶された撮影条件と異なるときは、記憶された撮像条件のうち実際の撮像条件に近い複数の撮像条件に対応する画像回復フィルタを用いた補間演算により実際の撮影条件に対応する画像回復フィルタを生成する。これにより、予めメモリに記憶させる画像回復フィルタのデータ量を削減することができる。補間処理の方法としては、バイリニア補間線形補間やバイキュービック補間等が挙げられるが、どのような方法であってもよい。また、撮影画像内での位置により画像回復フィルタを変更する場合にも、同様に、撮影画像内での離散的な特定位置に対して予め保持された画像回復フィルタ群から、それらの特定位置の間の位置に対応する画像回復フィルタを補間処理により生成する。なお、記憶部108に予め保持するデータを、画像回復フィルタではなく、PSF、OTF、MTFおよびPTF等、画像回復フィルタを生成する元となるデータとして、このデータから撮影条件に応じた画像回復フィルタを演算により生成してもよい。次にステップS13では、画像処理部104は、ステップS12で得た画像回復フィルタを用いて、撮影画像に対して画像回復処理を行い、画像回復処理後の撮影画像としての回復画像を得る。図13には、1つのマイクロレンズが、撮影光学系101の射出瞳の像を撮像素子102上に結像させる様子を示している。また、図14aは、図13に示したマイクロレンズに収差がない場合の理想的な射出瞳像の断面を示している。しかし、実際には、図14bに示すように、マイクロレンズにて色収差や非対称収差が発生する。図14b中の実線および破線は、撮影画像の2つの色成分を表している。図14cには、マイクロレンズの光学伝達関数OTFに基づいて生成した画像回復フィルタを用いて、図14bに示す劣化画像を回復処理した結果の回復画像を示している。回復画像は、色収差および非対称収差が補正され、かつ尖鋭化される。画像回復フィルタの設計にあたっては、回復度合い回復ゲインを高く設計するほど回復画像は図14aに示す理想的な画像に近づく。しかし、尖鋭化とともにノイズも増幅してしまうため、回復度合いを適宜調整することで、画像の尖鋭化とノイズ量とのバランスを適切に設定することができる。この結果、図14cに示すような回復画像が得られる。また、図4bから分かるように、撮影光学系の収差も光線の位置と角度の情報を劣化させる要因となり得る。すなわち、マイクロレンズが無収差であっても、撮影光学系の射出瞳に収差が発生しているためである。したがって、この場合、図14bに示す劣化画像に含まれる光線の位置と角度の情報は、撮影光学系とマイクロレンズの収差によって劣化している。これを補正するためには、撮影光学系のOTFとマイクロレンズのOTFとに基づいて画像回復フィルタを生成し、劣化画像に対して画像回復処理を行うことで、撮影光学系とマイクロレンズの収差による劣化を良好に補正した回復画像が得られる。上述した画像回復処理は、収差により広がりをもったPSFを理想的には点像に補正する処理である。しかし、図14aに示す理想的な画像とは、撮影光学系の結像位置から離れた位置で捉えられるデフォーカス画像である。このため、画像回復フィルタの生成方法が、一般的な画像回復処理とは異なる。すなわち、本実施例で用いる画像回復フィルタは、式2に基づいて生成される。Ru,vは画像回復フィルタの周波数特性を示し、Hu,vは光学伝達関数OTFを示す。rHu,vは回復後の目標とするOTFを示し、Cは回復度合いの制御パラメータである。被写体が点像である場合、被写体の周波数特性はHu,vであるので、これにRu,vを掛けた式3は、回復後のOTFを示している。式3において、C=0として最大の回復度合いとしたとき、回復後のOTFは目標とするrHu,vとなる。回復度合いが最大に満たない場合にも、目標とするrHu,vに近づいていくことが分かる。式1に示した従来のウィナーフィルタを用いると、光線の位置と角度の情報を取得するために取得したデフォーカス画像をピントが合った点像に補正してしまうため、目的の情報を取得することができなくなってしまう。また、式3でrHu,vを実部のみとし、さらにu,vの周波数空間で0,0に対して回転対称とすることで、位相が補正され、振幅が回転対称になるため、回復後の画像の非対称性を除去することができる。位相のみが補正された状態では、像の広がりは点対称になるが回転対称にはならない。さらに、振幅が回転対称に補正されることで、像も回転対称となる。また、式4に示した画像回復フィルタを用いることで、位相の劣化のみを補正することもできる。ここで、ステップS13にて画像回復処理により補正された回復画像は、撮像装置の記憶部108に一時的に保存され、以下のステップS14にて記憶部108から読み出される。ただし、以下の方法によれば、回復画像を記憶部108に一時的に保存しなくてもよい。まず、撮影画像の一部の領域に対して画像回復処理を行い、該処理を受けた領域に対して画像再構成処理を行って出力画像の一部の領域を生成する。次に、撮影画像における画像回復処理を行う領域を変更して、同様に出力画像の一部の領域を生成する。これを撮影画像の全体に対する画像回復処理と画像再構成処理が終了するまで繰り返すことで、出力画像の全体を生成することができる。この方法によれば、記憶部108の容量が小さい場合でも、その容量が不足することなく出力画像を生成することができる。次にステップS14では、画像処理部104は、ステップS13にて生成された回復画像に対して画像再構成処理を実行する。画像再構成処理の具体的な方法については、非特許文献1に記載されている通りである。概要としては、撮影画像の取得後のフォーカス位置、Fナンバーおよび視点の変更等、出力画像の目的に応じて撮像素子102上の位置に変換された各光線の位置と角度ごとの強度を再配置する。なお、1つの撮影画像から、フォーカス位置、Fナンバーおよび視点等が互いに異なる複数の出力画像を生成することもできる。すなわち、撮影画像として各光線の位置と角度の情報を取得することで、あたかも撮影条件を変えて取得したような複数の出力画像を生成することができる。図2および図3には、本発明の実施例2である撮像装置の撮影光学系101、マイクロレンズアレイ101cおよび撮像素子102の配置を2種類示している。撮像装置全体の構成は、図9に示した構成と同じである。図2では、マイクロレンズアレイ101cを撮影光学系101主レンズ群101bの結像位置よりも後方に配置し、撮影光学系101にて結像した光をマイクロレンズアレイ101cの各マイクロレンズにより撮像素子102上に再結像させる。これにより、点Aを通る光線群を光線の角度ごとに分離して取得することができる。図15には、図2に示す構成において、1つのマイクロレンズが撮影光学系101の空中像を撮像素子102上に再結像させる様子を示している。また、図3では、マイクロレンズアレイ101cを撮影光学系101主レンズ群101bの結像位置よりも前方に配置し、撮影光学系101からの光をマイクロレンズアレイ101cの各マイクロレンズにより撮像素子102上に結像させる。これにより、点Aを通る光線群を光線の角度ごとに分離して取得することができる。図2および図3のいずれにおいても、マイクロレンズアレイ101cは、撮影光学系101の結像位置から離れた位置に配置され、該結像位置と共役な位置に配置された撮像素子102上に撮影光学系101からの光を結像させる。ただし、図2では各マイクロレンズは撮影光学系101の実像を再結像させるのに対し、図3では各マイクロレンズは撮影光学系101の虚像を結像させる。図2や図3に示す構成では、マイクロレンズは撮影光学系101の空中像を撮像素子102上に再結像させるため、撮像素子102上には撮影光学系101の空中像が繰り返し配列されることになる。撮像素子102上にて繰り返される像は、それらを形成する光線の角度が少しずつ異なっているため、実施例1とは画像再構成処理の再配置パターンが異なるものの、同様に画像再構成処理を行うことができる。図2および図3に示す構成のいずれにおいても、マイクロレンズは撮影光学系101の空中像を撮像素子102上に結像させる。このため、撮像素子102上には、その一部を拡大した図11に示すように、各マイクロレンズにより再結像された撮影光学系101の空中像が2次元状に配列する。隣り合うマイクロレンズのそれぞれにより撮像素子102上に再結像される空中像は互いにオーバーラップする部分を含み、そのオーバーラップ部分が撮像素子102上の位置に応じてシフトしていく。2つのマイクロレンズにより再結像される空中像のうちオーバーラップする部分は、被写体の同一点を互いに異なる2つの角度から撮影することで得られる像に相当する。角度分解能については、図2および図3に示したように、ある点Aからの光線群をいくつのマイクロレンズで分離するかによって決定される。例えば、図2および図3に示す一断面では、点Aからの光線群を4分割して様子を示している。本実施例における画像処理方法の手順は、実施例1で図12を用いて説明した手順と同様である。ただし、ステップS11で取得する撮影画像は、図11を用いて説明したように、撮影光学系101の空中像を各マイクロレンズで再結像した像を光電変換して得られた画像である。また、本実施例における画像回復処理の概要は、実施例1でも用いた図14a~bに示す通りである。ただし、本実施例においては、図14aは、図15に示したマイクロレンズに収差がない場合の理想的な射出瞳像の断面を示す。なお、本実施例では、撮像素子102上に形成される像は被写体の実像であるため、撮像素子102上への像形成についてはマイクロレンズを撮影光学系101の一部と考えてOTFを生成し、画像回復フィルタを生成することができる。具体的には、撮影光学系101のOTFとマイクロレンズのOTFとを掛け合わせることで、光学系全体のOTFを生成することができる。実施例1,2では、画像処理方法を使用する画像処理装置を搭載した撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の撮影画像入力画像を、該撮像装置から有線/無線通信を介して、または他のパーソナルコンピュータからインターネット等の回線を介して取得する。撮影画像が記録された画像記録媒体を介して該撮影画像を取得してもよい。そして、撮影画像を取得したパーソナルコンピュータは、画像処理プログラムによって画像回復処理を行い、その結果得られた回復画像を出力する。以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。"