"メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得手段と、前記画像取得手段により取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成手段と、を備え、前記再構成画像生成手段は、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、1以上の仮想的なサブイメージを用いて、前記再構成画像のデータを生成する、ことを特徴とする画像処理装置。複数の前記仮想的なサブイメージの集合体からなる補間ライトフィールド画像のデータを1以上生成する補間ライトフィールド画像生成手段をさらに備え、前記再構成画像生成手段は、前記ライトフィールド画像のデータに加えて、前記補間ライトフィールド画像生成手段により生成された1以上の前記補間ライトフィールド画像のデータを用いて、前記再構成画像のデータを生成する、ことを特徴とする請求項1に記載の画像処理装置。前記補間ライトフィールド画像生成手段は、前記ライトフィールド画像内の隣接するサブイメージの間に、前記仮想的なサブイメージを配置させるように、前記補間ライトフィールド画像のデータを生成する、ことを特徴とする請求項2に記載の画像処理装置。前記ライトフィールド画像内の前記隣接するサブイメージにおいて、対応する前記マイクロレンズによる光線の結像位置と、前記サブイメージの中心位置との距離差を、視差として算出する視差算出手段を更に備え、前記補間ライトフィールド画像生成手段は、前記視差算出手段により算出された前記視差に基づいて、前記仮想的なサブイメージを配置させるように、前記補間ライトフィールド画像のデータを生成する、ことを特徴とする請求項3に記載の画像処理装置。前記視差算出手段は、前記ライトフィールド画像内の前記隣接するサブイメージについて、所定単位の領域毎にパターンマッチングを行い、当該パターンマッチングの結果を用いて、前記視差を算出する、ことを特徴とする請求項4に記載の画像処理装置。前記所定単位の領域は、前記サブイメージを構成する一部の画素の集合体からなるブロックである、ことを特徴とする請求項5に記載の画像処理装置。前記所定単位の領域は、前記ライトフィールド画像の所定ラインにおける、サブイメージ内の一部の画素の集合体からなる領域である、ことを特徴とする請求項5に記載の画像処理装置。メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータに対して、画像処理を施す画像処理装置が実行する画像処理方法であって、前記ライトフィールド画像のデータを取得する画像取得ステップと、前記画像取得ステップにおいて取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成ステップと、を含み、前記再構成画像生成ステップにおいては、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、仮想的な1以上のサブイメージを用いて、前記再構成画像のデータを生成する、ことを特徴とする画像処理方法。メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置を制御するコンピュータに、前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得機能、前記画像取得機能により取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成機能、を実現させるためのプログラムであって、前記再構成画像生成機能は、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、仮想的な1以上のサブイメージを用いて、前記再構成画像のデータを生成する、ことを特徴とするプログラム。しかしながら、特許文献1に記載のプレノプティックカメラより再構成画像のデータが生成されると、空間方向に周期的なノイズが生ずる場合がある。このため、当該ノイズを低減する手法が求められている状況である。本発明は、このような状況に鑑みてなされたものであり、プレノプティックカメラと呼ばれる撮像装置により撮像されたライトフィールド画像から、再構成画像が生成される場合に生ずるノイズを低減させることを目的とする。上記目的を達成するため、本発明の一態様の画像処理装置は、メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得手段と、前記画像取得手段により取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成手段と、を備え、前記再構成画像生成手段は、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、1以上の仮想的なサブイメージを用いて、前記再構成画像のデータを生成する、ことを特徴とする。本発明によれば、プレノプティックカメラと呼ばれる撮像装置により再構成画像のデータが生成される場合に生ずるノイズを低減することができる。以下、本発明の実施形態について、図面を用いて説明する。図1は、本発明に係る画像処理装置の一実施形態である撮像装置のハードウェアの構成を示すブロック図である。撮像装置1は、CPUCentralProcessingUnit11と、ROMReadOnlyMemory12と、RAMRandomAccessMemory13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。CPU11、ROM12、及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。撮像部16は、メインレンズ31と、マイクロレンズアレイ32と、撮像素子33と、を備えている。なお、撮像部16のさらなる詳細については、図2を参照して後述する。入力部17は、図示せぬシャッタ釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。出力部18は、モニタやスピーカ等により構成され、各種画像や各種音声を出力する。記憶部19は、ハードディスクやDRAMDynamicRandomAccessMemory等で構成され、後述するライトフィールド画像や再構成画像等、各種画像のデータを記憶する。通信部20は、インターネットを含むネットワークを介して他の装置図示せずとの間で行う通信を制御する。ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア22が適宜装着される。ドライブ21によってリムーバブルメディア22から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア22は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。図2は、このような図1の構成を有する撮像装置のうち、光学系の構成例を示す模式図である。撮像装置1の光学系においては、被写体たる物体面obからみて、メインレンズ31と、マイクロレンズアレイ32と、撮像素子33と、がその順番で配置されている。マイクロレンズアレイ32においては、N個Nは2以上の任意の整数値のマイクロレンズ32-1乃至32-Nの各々が規則的に連続して繰り返して配置されている。メインレンズ31は、光源から射出された光束を集光して、所定の面Maに結像させ、マイクロレンズアレイ32に入射させる。なお、以下、メインレンズ31により結像される面Maを、メインレンズ結像面Maと呼ぶ。マイクロレンズアレイ32内のマイクロレンズ32-iiは、1乃至Nの範囲内の整数値は、物体面obからメインレンズ31を介して入射されてくる光束を入射方向毎に集光して、撮像素子33の上にサブイメージを結像させる。即ち、撮像素子33においては、複数のマイクロレンズ32-1乃至32-Nの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。撮像素子33は、例えばCMOSComplementaryMetalOxideSemiconductor型の光電変換素子等から構成される。撮像素子33には、メインレンズ31からマイクロレンズアレイ32を介して被写体像図2の例では、物体面obの像が入射される。そこで、撮像素子33は、被写体像を光電変換撮像して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号として図示せぬAFEAnalogFrontEndに順次供給する。AFEは、このアナログの画像信号に対して、A/DAnalog/Digital変換処理等の各種信号処理を施す。各種信号処理によって、ディジタル信号が生成され、ライトフィールド画像のデータとしてAFEからCPU11図1等に適宜提供される。ここで、撮像装置1が、物体面obを撮像した結果得られるライトフィールド画像のデータから、再構成画像のデータを生成する場合を考える。この場合、撮像装置1は、任意の距離にある面の1点を注目点に設定すると、当該注目点からの光がメインレンズ31及びマイクロレンズアレイ32を介して撮像素子33内の何れの画素に分配されるのかを算出する。なお、以下、再構成対象の面、即ち、注目点が設定される面を、再構成面と呼ぶ。そして、撮像装置1は、分配された画素に対応する、ライトフィールド画像のデータ内の画素値を積分することにより、再構成画像のうち、注目点に対応する画素の画素値を推定演算する。撮像装置1は、このような推定演算を、再構成画像の各画素毎に実行することにより、再構成画像のデータを生成する。しかしながら、このような再構成画像の各画素の推定演算以下、再構成の演算と呼ぶは、特許文献1等の従来の技術では、撮像により得られたライトフィールド画像のデータのみが用いられて実行されていた。このため、空間周波数の高い物体領域が再構成面に実在しないと、再構成画像の領域のうち、理想的には通常の撮像装置により撮像された場合と同様に自然なボケとなるべき領域において、周期的なノイズが生ずる場合がある。そこで、本発明人らは、当該ノイズを低減すべく、撮像により得られたライトフィールド画像のデータから、補間ライトフィールド画像のデータを生成する手法を発明した。以下、かかる手法を、補間ライトフィールド画像生成手法と呼ぶ。以下、このような補間ライトフィールド画像生成手法について、補間ライトフィールド画像のデータとは如何なるデータであるのか、また、生成された補間ライトフィールド画像のデータを用いて如何にしてノイズを低減させるのかについて等も含めて説明する。なお、以下、断りのない限り、単に距離という場合、それは、光軸axに平行な方向の距離を意味するものとする。また、レンズのうち光軸axが通過する点を主点と呼ぶ。メインレンズ31、マイクロレンズアレイ32個々のマイクロレンズ32-i、及び撮像素子33の配置が固定されている場合において、とある光線が撮像素子33内の何れの画素に到達するのかは、その光源がメインレンズ31の主点からみて何れの位置に存在するかによって決定付けられる。そこで、以下、説明の簡略上、光源が物体面obの上であって、メインレンズ31の光軸ax上に存在する場合について考える。図2に示すように、光源図2の例では物体面obの中心からの距離a1の位置にメインレンズ31の主点が存在する場合、メインレンズ31の主点から結像面Maまでの距離b1は、ガウスの結像公式を用いて、次の式1のように求められる。b1=a1×f1/a1-f11式1において、f1は、メインレンズ31の焦点距離を示している。ここで、メインレンズ31の結像面Maからマイクロレンズ32-iの主点までの距離が、a2であるものとする。また、マイクロレンズ32-iの主点から、当該マイクロレンズ32-iに入射された光線が射出されて結像される位置までの距離が、b2であるものとする。この場合、距離a2と距離b2との関係は、式2のように示される。b2=a2×f2/a2-f22式2において、f2は、マイクロレンズ32-iの焦点距離を示している。なお、図2においては、説明の簡略上、撮像素子33が、マイクロレンズ32-iの主点から距離b2の位置に丁度配置されているが、これは例示に過ぎない。即ち、撮像素子33は、実際には、マイクロレンズ32-iの主点から距離b2の位置に丁度配置されている必要はなく、その位置から多少前後して配置されてもよい。光源からの光線のうち、メインレンズ31の主点を通り光軸axに平行な光線rayは、マイクロレンズアレイ32のうち、当該光線rayが通過するマイクロレンズ32-rrは、1乃至Nのうち、当該光線rayが通過するものに付されている番号を示す整数値によって作られたサブイメージの中心Aに結像する。一方、光源からの光線のうち、光軸axが通過するマイクロレンズ32-rに隣接するマイクロレンズ32-iiは、rを除く何れかの整数値に到達した光線は、そのマイクロレンズ32-iが作るサブイメージの中心位置マイクロレンズ32-iの主点に対応する位置から一定間隔だけ離間した位置以下、結像位置と呼ぶに結像する。そこで、以下、光源からメインレンズ31を介してマイクロレンズ32-iに入射された光線が当該マイクロレンズ32-iから射出されて結像される面、即ち当該マイクロレンズ32-iによるサブイメージが形成される面図2の例では撮像素子33の撮像面における、当該サブイメージの中心位置と、当該マイクロレンズ32-iによる光線の結像位置との距離差を、以下視差と呼ぶ。視差は、図2にあわせてPaと記述するものとすると、次の式3のように表わされる。Pa=d×b2/a23式3において、dは、隣接する2つのマイクロレンズ32-r,32-i間のピッチを示している。なお、上述の式3で表わされる視差Paの関係は、光軸axから離間した位置において隣接する2つのマイクロレンズ32-k,32-k1kは、1乃至N-1のうち、rを除く何れかの整数値の間でも幾何的に成立する。このため、視差Paは、光軸axからの距離に依存せず一定になる。詳細については図5を参照して後述するが、この視差Paは、撮像により実際に得られているライトフィールド画像のデータから算出可能である。また、詳細については図6や図7を参照して後述するが、この視差Paに基づいて、補間ライトフィールド画像のデータが作成される。ここで、補間ライトフィールド画像とは、マイクロレンズアレイ32内の領域のうち、マイクロレンズ32-iが実際には配置されていない領域複数のマイクロレンズ32-i間のつなぎ目等に仮想的なマイクロレンズが配置されたと想定した場合に、実際に得られているライトフィールド画像の撮像時点と同一状態で撮像されたならば得られると推定されるライトフィールド画像をいう。以上説明したように、補間ライトフィールド画像生成手法の一例として、撮像により実際に得られたライトフィールド画像のデータを用いて、視差Paを算出し、当該視差Paに基づいて、補間ライトフィールド画像のデータを予測演算する手法を採用することができる。本実施形態でも、当該手法が採用されている。従って、本実施形態の撮像装置1は、このような補間ライトフィールド画像生成手法に従って1以上の補間ライトフィールド画像のデータを生成することができる。さらに、本実施形態の撮像装置1は、これらの1以上の補間ライトフィールド画像のデータを、再構成画像のデータの生成に必要な再構成の演算を行う際に用いることができる。この場合、撮像装置1は、1以上の補間ライトフィールド画像のデータから、マイクロレンズ32-iが実際には配置されていない領域に到達した光線を推定することができる。その結果、撮像装置1は、注目点からの光が、このようにして推定された領域から撮像素子33内の何れの画素に分配されるのかを算出することもできる。従って、撮像装置1は、この算出結果を、注目点に対応する画素値の推定演算における補間情報として用いることで、従来よりもノイズが低減された再構成画像のデータを生成することができる。なお、この場合のノイズの低減の度合いは、補間ライトフィールド画像の補間位置や補間枚数によって変化するため、設計者等は、所望の低減の度合いとなるように、これらの補間位置や補間枚数を適宜調整するとよい。図3は、このような本発明に係る補間ライトフィールド画像生成手法を適用した場合に得られる再構成画像と、従来の技術を適用した場合により得られる再構成画像とを比較する図である。図3の左上方には、撮像により得られたライトフィールド画像41が示されている。その左方には、当該ライトフィールド画像41の一部について、サブイメージ51が判別できる程度までに拡大された拡大図41Lが示されている。当該ライトフィールド画像41は、メインレンズ31の前方から近い順に、Aと表示されたカード、Bと表示されたカード、及びCと表示されたカードが一定距離ずつ離間してそれぞれ配置された様子が撮像されたものである。図3に示すように、当該ライトフィールド画像41の撮像時点では、Bと表示されたカードにほぼ合焦していることがわかる。このため、本例では、Cと表示されたカードに合焦したような再構成画像が得られるように、再構成の演算が行われている。図3の右上方には、従来の技術を適用した場合に得られる再構成画像42が示されている。即ち、撮像により得られたライトフィールド画像41のデータのみを用いて再構成の演算が行われた結果として、再構成画像42のデータが生成されている。再構成画像42には、領域52等において、空間方向に周期的なノイズが生じていることがわかる。これに対して、図3の右下方には、本発明に係る補間ライトフィールド画像生成手法を適用した場合に得られる再構成画像44が示されている。即ち、撮像により得られたライトフィールド画像41のデータに加えて、本発明に係る補間ライトフィールド画像生成手法に従って生成された3枚の補間ライトフィールド画像43-1乃至43-3のデータを用いて再構成の演算が行われた結果として、再構成画像44のデータが生成されている。再構成画像44には、空間方向の周期的なノイズはほぼ生じておらず、Cと表示されたカードに合焦し、それ以外のAやBと表示されたカードの各像は、ボケた像本来このようになるべき理想的な像となっていることがわかる。以上説明したように、本実施形態の撮像装置1は、撮像されたライトフィールド画像のデータから、1以上の補間ライトフィールド画像のデータを生成し、撮像されたライトフィールド画像及び1以上の補間ライトフィールド画像の各データに基づいて再構成画像のデータを生成することができる。このような一連の処理を、以下、再構成画像生成処理と呼ぶ。図4は、このような再構成画像生成処理の実行機能を発揮するための、図1の撮像装置1の機能的構成例を示す機能ブロック図である。再構成画像生成処理が実行される場合には、図4に示すように、CPU11において、ライトフィールド画像取得部71と、光学情報取得部72と、フィルタ部73と、視差算出部74と、補間ライトフィールド画像生成部75と、再構成画像生成部76と、表示制御部77と、が機能する。以下、これらのライトフィールド画像取得部71乃至表示制御部77の各機能について、再構成画像生成処理の流れの説明の中で、あわせて説明する。図5は、図2の機能的構成を有する図1の撮像装置が実行する再構成画像生成処理の流れの一例を説明するフローチャートである。再構成画像生成処理は、撮像されたライトフィールド画像のデータが予め得られていることを前提として、ユーザの入力部17に対する所定操作により再構成画像の生成が指示されると、開始される。ステップS21において、ライトフィールド画像取得部71は、予め撮像されたライトフィールド画像のデータを取得する。ステップS22において、光学情報取得部72は、後段の処理ステップS23以降の処理において必要となる光学系情報を取得する。光学系情報とは、ライトフィールド画像が撮像された時点における情報であって、メインレンズ31、マイクロレンズ32-i、及び撮像素子33の各々に関する各種情報や、これらの位置関係を示す情報をいう。具体的には本実施形態では、光学系情報として、次のA乃至Jの情報が取得されるものとする。Aメインレンズ31の焦点距離Bメインレンズ31の有効径C各マイクロレンズ32-iの焦点距離D各マイクロレンズ32-iの有効径E撮像素子33の画素サイズF各マイクロレンズ32-iのピッチGメインレンズ31とマイクロレンズアレイ32の位置関係Hマイクロレンズアレイ32と撮像素子33の位置関係Iメインレンズ31とマイクロレンズアレイ32の平行度Jマイクロレンズアレイ32と撮像素子33の平行度これらの光学系情報が取得されると、ステップS23以降の処理において、ライトフィールド画像内のサブイメージ領域と非サブイメージ領域との判別図8参照や、撮像装置1の内部の光線の振舞い等を演算することが可能になる。ステップS23において、フィルタ部73は、撮像されたライトフィールド画像自体に含まれるノイズを低減させる目的で、ライトフィールド画像の全てのサブイメージのデータに対してローパスフィルタを適用する。ここで、フィルタ部73は、ローパスフィルタの窓枠内にサブイメージ領域外の画素を含まないように、当該ローパスフィルタを用いたフィルタ処理を実行する。サブイメージ領域に、非サブイメージ領域の情報がノイズとして含まれてしまうことを防止するためである。なお、サブイメージ領域と非サブイメージ領域については、図8を参照して後述する。ステップS24において、視差算出部74は、ステップS23の処理でローパスフィルタがそれぞれ適用されたサブイメージのデータのうち、隣接するサブイメージのデータ間でパターンマッチングを行うことで、視差Paを算出する。なお、パターンマッチングや視差Paの算出に関する具体的な手法については、図6を参照して後述する。ステップS25において、補間ライトフィールド画像生成部75は、ステップS24の処理で算出された視差Paに基づいて、1以上の補間ライトフィールド画像のデータを生成する。なお、補間ライトフィールド画像生成手法の具体例については、図7や図8を参照して後述する。ステップS26において、再構成画像生成部76は、ステップS21の処理で取得されたライトフィールド画像のデータ、及びステップ25の処理で生成された1以上の補間ライトフィールド画像の各データを用いて、再構成画像のデータを生成する。なお、このような処理を、以下、再構成処理と呼ぶ。再構成処理の詳細については図9を参照して後述する。ステップS27において、表示制御部77は、ステップS26の処理でデータとして生成された再構成画像を、出力部18のモニタに表示させる。これにより、再構成画像生成処理は終了となる。次に、このような再構成画像生成処理のうちステップS24に適用される、視差Paの算出手法の一例について、図6を参照して説明する。図6は、視差の算出手法の一例を説明する図である。具体的には、隣接するサブイメージ間でパターンマッチングを行うことによって、視差Paを算出する手法として、2つの異なる例が図6A,図6Bにそれぞれ示されている。図6Aの例では、視差算出部74は、隣接するサブイメージ81,82について、ブロック単位でSADやSSD等の相違度を演算することによって、パターンマッチングを行う。即ち、視差算出部74は、例えば左方のサブイメージ81のブロック91をテンプレートとして用いて、右方のサブイメージ82内でラスタスキャンすることによって、右方のサブイメージ82内における比較対象のブロック同図中にはブロック92が図示との相違度を演算する。具体的には、視差算出部74は、テンプレートと比較対象との各ブロック内の対応位置の各画素値の差分を用いて、SADやSSD等の相違度を演算する。そして、視差算出部74は、テンプレートブロック91との相違度が最小となるブロック同図中ではブロック92を抽出し、テンプレートと抽出したブロックとの空間的な位置ズレを、視差Paとして算出する。この図6Aに示す手法は、同図に示すように、1つのサブイメージ内にデプスが一定の物体しか存在しない場合に有効になる。一方、図6Bの例では、視差算出部74は、隣接するサブイメージ111,112について、ライン単位で相違度を演算することによって、パターンマッチングを行う。なお、正確には、ライトフィールド画像のライン全体ではなく、サブイメージ111内の一部分と、サブイメージ112内の一部分との相違度が演算される。ただし、以下、説明の簡略上、所定ラインのうち、サブイメージ111又は112内の一部分を、単にラインと呼ぶ。即ち、視差算出部74は、例えば左方のサブイメージ111のライン121Uをテンプレートとして用いて、右方のサブイメージ112内でラスタスキャンすることによって、比較対象のライン同図中にはライン122Uが図示との相違度を演算する。そして、視差算出部74は、テンプレートライン121Uとの相違度が最小となるライン同図中ではライン122Uを抽出し、テンプレートと抽出したラインとの空間的な位置ズレを、視差PaLとして算出する。ここで、同図に示すように、テンプレートは、1つのライン121Uに特に限定されず、複数ラインとすることができる。本例では、上述のライン121Uに加えて、ライン121Dもまたテンプレートとして採用されている。即ち、視差算出部74は、例えば左方のサブイメージ111のライン121Dをさらにテンプレートとして用いて、右方のサブイメージ112内でラスタスキャンすることによって、比較対象のライン同図中にはライン122Dが図示との相違度を演算する。そして、視差算出部74は、テンプレートライン121Dの相違度が最小となるライン同図中ではライン122Dを抽出し、テンプレートと抽出したラインとの空間的な位置ズレを、視差PaSとして算出する。ここで、視差PaLと視差PaSとはその値長さが異なっていることがわかる。このように、図6Bの例を採用することで、ライン毎に異なる視差Paを用いることが可能にある。図7は、このような視差Paを用いた補間ライトフィールド画像生成手法の具体例について説明する図である。同図中横方向は、ライトフィールド画像の水平方向を示しており、以下、X方向と呼ぶ。一方、同図中縦方向は、ライトフィールド画像の垂直方向を示しており、以下、Y方向と呼ぶ。図7の左方には、図2の位置関係を保って撮像されたライトフィールド画像201が示されている。即ち、ライトフィールド画像201内の9つの円はサブイメージを示しており、サブイメージ内の黒い四角は、光軸ax上に存在する光源物体面obの中心に存在する光源の像を示している。なお、サブイメージ及び光源の像については、後述する他の画像についても同様である。補間ライトフィールド画像生成部75は、視差Paに基づいて、撮像されたライトフィールド画像201に対してX方向の位置に仮想的なサブイメージを補間した、X方向の補間ライトフィールド画像202のデータを生成する。即ち、ライトフィールド画像内のX方向に隣接するサブイメージの間に仮想的なサブイメージが配置された、X方向の補間ライトフィールド画像202のデータが生成される。また、補間ライトフィールド画像生成部75は、視差Paに基づいて、撮像されたライトフィールド画像201に対してY方向の位置に仮想的なサブイメージを補間した、Y方向の補間ライトフィールド画像203のデータを生成する。即ち、ライトフィールド画像内のY方向に隣接するサブイメージの間に仮想的なサブイメージが配置された、Y方向の補間ライトフィールド画像203のデータが生成される。そして、補間ライトフィールド画像生成部75は、X方向の補間ライトフィールド画像202とY方向の補間ライトフィールド画像203との各データのうち少なくとも一方を用いて、撮像されたライトフィールド画像201に対してXY方向45度斜め方向の位置に仮想的なサブイメージを補間した、XY方向の補間ライトフィールド画像204のデータを生成する。即ち、ライトフィールド画像内のXY方向に隣接するサブイメージの間に仮想的なサブイメージが配置された、XY方向の補間ライトフィールド画像204のデータが生成される。なお、補間される仮想的なサブイメージの位置は、図7の例では、X方向、Y方向、又はXY方向に隣接するサブイメージ間の中間位置とされているが、特に図7の例に限定されず、任意の方向の任意の位置でよい。さらに、補間ライトフィールド画像の枚数も、図7の例では各方向に1つずつとされているが、特に図7の例に限定されず、各方向毎に任意の個数でよい。次に、図8を参照して、このような補間ライトフィールド画像内の、仮想的なサブイメージ以下、補間サブイメージと呼ぶの生成手法の一例について説明する。図8は、補間サブイメージの生成手法の一例を説明する図である。具体的には、図8には、X方向に隣接するサブイメージ301,302の間の所定位置を補間位置として、当該補間位置に1つの補間サブイメージのデータを生成する場合の手順の一例が示されている。なお、黒い四角の像311は、図2に示す光軸ax上に存在する光源物体面obの中心に存在する光源の像を示している。先ず、ステップS51において、補間ライトフィールド画像生成部75は、隣接するサブイメージ301,302の各データの中心位置を合わせる。次に、ステップS52において、補間ライトフィールド画像生成部75は、算出済みの視差Paに応じた距離だけ、サブイメージ301,302の各データを移動させる。なお、この時の移動方向は、2つのサブイメージ301,302についてそれぞれ逆向きであり、移動量は補間位置によって変化するが、2つのサブイメージ301,302の移動量の合計が視差Paと等しくなるようにする。換言すると、図8に示すように、黒い四角の像311の配置位置が一致するように、サブイメージ301,302の各データが移動される。次に、ステップS53において、補間ライトフィールド画像生成部75は、移動後の2つのサブイメージ301,302の各データを合成する。ここで、補間ライトフィールド画像生成部75は、2つのサブイメージ301,302が重なる領域312については、サブイメージ301,302の各画素値の平均値を採用し、重ならない領域については、元のサブイメージ301又は302の画素値をそのまま採用する。次に、ステップS54において、補間ライトフィールド画像生成部75は、ステップS53の処理で合成した領域のうち、補間位置を中心に形成されるサブイメージと同一形状の領域321図8中点線の領域321を、サブイメージ領域として判定し、それ以外の領域322を非サブイメージ領域として判定する。即ち、補間ライトフィールド画像生成部75は、サブイメージ領域321と非サブイメージ領域322とに区分する。次に、ステップS55において、補間ライトフィールド画像生成部75は、非サブイメージ領域322のデータを削除することでサブイメージ領域321のデータを残すことで、補間サブイメージ331のデータを生成する。なお、最終的に得られた補間サブイメージ331は、図8の例では真円となっているが、2つのサブイメージ301,302の移動量の割合によっては、真円とはならずに一部が欠けてしまう場合がある。このような場合、補間ライトフィールド画像生成部75は、欠けてしまった領域に対して画素値を割り当てることによって、補間サブイメージ331のデータを真円のデータとすればよい。この場合の欠けてしまった領域に対して画素値を割り当てる手法は、特に限定されず、近傍画素の画素値を補間するようにする手法や、再構成の際に参照しない領域として登録する手法等を採用することができる。次に、このようにして生成された1以上の補間ライトフィールド画像の各データを用いて再構成画像のデータを生成する処理、即ち、図5のステップS26の再構成処理の詳細について説明する。図9は、図5のステップS26の再構成処理の詳細な流れを示すフローチャートである。ステップS61において、CPU11の再構成画像生成部76は、ライトフィールド画像のデータを取得する。ステップS62において、再構成画像生成部76は、1以上の補間ライトフィールド画像のデータを取得する。ステップS63において、再構成画像生成部76は、撮像装置1のメインレンズ31の前方の所定距離の位置にある面を、再構成面として設定する。ステップS64において、再構成画像生成部76は、再構成面の1点を、再構成注目画素に設定する。ステップS65において、再構成画像生成部76は、ライトフィールド画像及び1以上の補間ライトフィールド画像から、分配画素範囲を算出する。分配画素範囲とは、再構成注目画素からの光がメインレンズ31及びマイクロレンズアレイ32を介して分配される、撮像素子33内の画素の範囲であり、従来はライトフィールド画像内の画素の範囲であった。これに対して、本実施形態では、ライトフィールド画像のみならず、1以上の補間ライトフィールド画像を含む画素の範囲内から、分割画素範囲が算出されるため、従来のライトフィールド画像のみから選択された分割画素範囲を用いて生成された再構成画像が表示された場合と比較して、空間方向の周期的なノイズは低減される。ステップS66において、再構成画像生成部76は、分配画素範囲内の各画素の画素値を積分する。ステップS67において、再構成画像生成部76は、ステップS66の処理の結果得られる積分値を、再構成注目画素の画素値に設定する。ステップS68において、再構成画像生成部76は、再構成面の全点が再構成注目画素に設定されたか否かを判定する。再構成面の各点のうち再構成注目画素に未だ設定されていない点が存在する場合、ステップS68においてNOであると判定されて、処理はステップS64に戻され、それ以降の処理が繰り返される。即ち、再構成面の各点が再構成注目画素に順次設定され、その都度、ステップS64乃至S68のループ処理が繰り返し実行されて、再構成注目画素の画素値が設定される。このようにして、再構成面の各点に対応する各画素の画素値がそれぞれ設定されることによって、再構成画像のデータが生成される。これにより、図9のステップS68においてNOであると判定されて、処理はステップS27に進む。ステップS27において、CPU11は、再構成画像を出力部208から表示出力する。以上説明したように、本実施形態に係る撮像装置1は、メインレンズ31、複数のマイクロレンズ32-iからなるマイクロレンズアレイ32、及び撮像素子33を含む光学系を有している。また、撮像装置1は、ライトフィールド画像取得部71と、補間ライトフィールド画像生成部75と、再構成画像生成部76と、を備えている。ライトフィールド画像取得部71は、撮像装置1により撮像された結果得られる、複数のマイクロレンズ32-iの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する。補間ライトフィールド画像生成部75は、複数の仮想的なサブイメージの集合体からなる補間ライトフィールド画像のデータを1以上生成する。再構成画像生成部76は、ライトフィールド画像のデータ及び1以上の補間ライトフィールド画像のデータを用いて、再構成画像のデータを生成する。このようにしてデータとして生成された再構成画像が表示された場合、従来のようにライトフィールド画像のデータのみから生成された再構成画像が表示された場合と比較して、空間方向の周期的なノイズは低減される。なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態では、再構成画像のデータを生成する際に、ライトフィールド画像のデータと共に、補間ライトフィールド画像のデータが用いられたが、特にこれに限定されない。即ち、上述のノイズの低減効果は、再構成の演算の際に用いられるサブイメージの個数を増やせば奏することが可能である、このためには、仮想的なサブイメージが存在すれば足り、補間ライトフィールド画像のデータという形態で用いる必要は特にない。つまり、再構成画像生成部76が、ライトフィールド画像に含まれる複数のサブイメージに加えて、1以上の仮想的なサブイメージを用いて、再構成画像のデータを生成できる構成であれば足りる。例えば、上述の実施形態では、再構成画像のデータを生成する際に用いられるライトフィールド画像のデータは、撮像装置1自身により撮像されたものが採用されたが、特にこれに限定されない。即ち、撮像装置1は、別の撮像装置1又は従来の別のプレノプティックカメラにより撮像されたライトフィールド画像のデータを用いて、再構成画像のデータを生成するようにしてもよい。換言すると、本発明は、撮像機能を有する撮像装置1のみならず、撮像機能を有しなくとも、一般的な画像処理機能を有する電子機器一般に適用することができる。例えば、本発明は、パーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図4の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4の例に限定されない。また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア22により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア22は、例えば、磁気ディスクフロッピディスクを含む、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROMCompactDisk-ReadOnlyMemory,DVDDigitalVersatileDisk等により構成される。光磁気ディスクは、MDMini-Disk等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。[付記1]メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得手段と、前記画像取得手段により取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成手段と、を備え、前記再構成画像生成手段は、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、1以上の仮想的なサブイメージを用いて、前記再構成画像のデータを生成する、を備えることを特徴とする画像処理装置。[付記2]複数の前記仮想的なサブイメージの集合体からなる補間ライトフィールド画像のデータを1以上生成する補間ライトフィールド画像生成手段をさらに備え、前記再構成画像生成手段は、前記ライトフィールド画像のデータに加えて、前記補間ライトフィールド画像生成手段により生成された1以上の前記補間ライトフィールド画像のデータを用いて、前記再構成画像のデータを生成する、ことを特徴とする付記1に記載の画像処理装置。[付記3]前記補間ライトフィールド画像生成手段は、前記ライトフィールド画像内の隣接するサブイメージの間に、前記仮想的なサブイメージを配置させるように、前記補間ライトフィールド画像のデータを生成する、ことを特徴とする付記2に記載の画像処理装置。[付記4]前記ライトフィールド画像内の前記隣接するサブイメージにおいて、対応する前記マイクロレンズによる光線の結像位置と、前記サブイメージの中心位置との距離差を、視差として算出する視差算出手段を更に備え、前記補間ライトフィールド画像生成手段は、前記視差算出手段により算出された前記視差に基づいて、前記仮想的なサブイメージを配置させるように、前記補間ライトフィールド画像のデータを生成する、ことを特徴とする付記3に記載の画像処理装置。[付記5]前記視差算出手段は、前記ライトフィールド画像内の前記隣接するサブイメージについて、所定単位の領域毎にパターンマッチングを行い、当該パターンマッチングの結果を用いて、前記視差を算出する、ことを特徴とする付記4に記載の画像処理装置。[付記6]前記所定単位の領域は、前記サブイメージを構成する一部の画素の集合体からなるブロックである、ことを特徴とする付記5に記載の画像処理装置。[付記7]前記所定単位の領域は、前記ライトフィールド画像の所定ラインにおける、サブイメージ内の一部の画素の集合体からなる領域である、ことを特徴とする付記5に記載の画像処理装置。[付記8]メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータに対して、画像処理を施す画像処理装置が実行する画像処理方法であって、前記ライトフィールド画像のデータを取得する画像取得ステップと、前記画像取得ステップにおいて取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成ステップと、を含み、前記再構成画像生成ステップにおいては、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、仮想的な1以上のサブイメージを用いて、前記再構成画像のデータを生成する、ことを特徴とする画像処理方法。[付記9]メインレンズ、複数のマイクロレンズからなるマイクロレンズアレイ、及び撮像素子を光学系に備える撮像装置を制御するコンピュータに、前記撮像装置により撮像された結果得られる、前記複数のマイクロレンズの各々により生成される複数のサブイメージの集合体からなるライトフィールド画像のデータを取得する画像取得機能、前記画像取得機能により取得された前記ライトフィールド画像のデータを用いて、前記撮像装置から所定位置の面の像を再構成画像として、前記再構成画像のデータを生成する再構成画像生成機能、を実現させるためのプログラムであって、前記再構成画像生成機能は、前記ライトフィールド画像に含まれる前記複数のサブイメージに加えて、仮想的な1以上のサブイメージを用いて、前記再構成画像のデータを生成する、ことを特徴とするプログラム。"