第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間手段と、前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、前記再構成された画像を表す情報を出力する画像情報出力手段と、を備える、ことを特徴とする画像再構成装置。前記補間手段は、前記取得された情報で表される前記第1サブ画像の画素値と前記第2サブ画像の画素値とに基づいて前記第1サブ画像と前記第2サブ画像との視差を特定し、前記特定された視差に対する前記第1サブ画像と前記第3サブ画像との視差の比率が、前記第1サブレンズと前記第2サブレンズとの距離に対する前記第1サブレンズと第3サブレンズとの距離の比率となるように、前記第3サブ画像を補間する、ことを特徴とする請求項1に画像再構成装置。前記補間手段は、前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出手段と、前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、及び前記第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、前記エピポーラ画像を構成する前記第1画素列における第1画素を通過する複数の直線から、前記第2画素列を構成する複数の画素の内で前記第1画素によって表される前記被写体上の点と同じ点を表す第2画素を通過する直線を、前記第1画素の画素値と当該第2画素の画素値との相違に基づいて推定する直線推定手段と、前記第3画素列を構成する複数の画素の内で、前記推定された直線が通過する画素を、前記第1画素及び前記第2画素によって表される前記被写体上の点と同じ点を表す画素と推定する画素推定手段と、前記推定された画素の画素値を、前記第1画素の画素値に基づいて決定する画素値決定手段と、を有する、ことを特徴とする請求項1又は2に記載の画像再構成装置。前記補間手段は、前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出手段と、前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、前記抽出された前記第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、前記エピポーラ画像を構成する前記第3画素列上の所定の画素を通過する複数の直線から、前記被写体上の同じ点を表す前記第1画素列上の第1画素と、前記第2画素列上の第2画素とを通過する直線を、前記第1画素の画素値と前記第2画素の画素値との相違に基づいて推定する直線推定手段と、前記所定の画素の画素値を、前記推定された直線が通過する前記第1画素の画素値と前記第2画素の画素値とに基づいて決定する画素値決定手段と、を有する、ことを特徴とする請求項1又は2に記載の画像再構成装置。前記直線推定手段は、前記第1画素の画素値と前記第2画素の画素値との相違が所定の閾値よりも小さい場合に、前記第1画素と前記第2画素とを通過する直線を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定し、前記画素値決定手段は、前記第3画素列を構成する画素を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する場合には、当該直線が通過する前記第1画素の画素値及び前記第2画素の画素値に基づいて当該画素の画素値を決定せず、前記被写体上の同じ点を表す複数の画素を通過する直線であると推定された直線が当該画素を通過する場合には、当該直線が通過する前記第1画素列上の画素の画素値及び前記第2画素列上の画素の画素値に基づいて当該画素の画素値を決定する、ことを特徴とする請求項3又は4に記載の画像再構成装置。前記再構成手段は、前記第3画素列を構成する複数の画素の内で、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する画素の画素値を前記被写体の画像への再構成に利用しない、ことを特徴とする請求項5に記載の画像再構成装置。第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得ステップと、前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間ステップと、前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得ステップと、前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成ステップと、前記再構成された画像を表す情報を出力する画像情報出力ステップと、を含むことを特徴とする画像再構成方法。コンピュータに、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得機能、前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間機能、前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得機能、前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成機能、前記再構成された画像を表す情報を出力する画像情報出力機能、を実現させることを特徴とする画像再構成プログラム。ここで、特許文献1のカメラを構成するマイクロレンズアレイLA11で結像されるそれぞれの画像には、マイクロレンズのレンズピッチ2drなどに応じた視差が生じる。この視差によって、画像OBの再構成に必要な画素がレンズアレイ画像から抜けてつまり、画素抜けが生じてしまうため、図23のNz部に示すような周期的に画像の明暗が変化するノイズが再構成画像OBに生じてしまうという問題があった。本発明は、このような点に鑑みてなされたものであり、その目的とするところは、従来よりもノイズが少ない再構成画像をレンズアレイ画像から再構成できる画像再構成装置、画像再構成方法、及び画像再構成プログラムを提供することにある。上記目的を達成するため、本発明の観点に係る画像再構成装置は、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間手段と、前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、前記再構成された画像を表す情報を出力する画像情報出力手段と、を備える、ことを特徴とする。本発明によれば、ノイズが少ない再構成画像をレンズアレイ画像から再構成できる。以下、本発明の実施形態に係る画像再構成装置210について、添付図面を参照しつつ説明する。本発明の実施形態に係る画像再構成装置210は、図1aに示すようなデジタルカメラ1に搭載されている。画像再構成装置210は、デジタルカメラ1で撮像された1枚の画像から、任意の距離にピントを合わせた画像を再構成する。デジタルカメラ1は、図1aに示すように、撮像部100、本発明に係る画像再構成装置210で構成されるデータ処理部200、及びインタフェース部I/F部と図示する300から構成される。撮像部100は、デジタルカメラ1の撮像動作を行う部分であり、光学装置110及びイメージセンサ120で構成されている。光学装置110は、図22に示すような、メインレンズLMと、メインレンズLMで結像された光学像をさらに結像するレンズアレイLA11と、不図示の絞り機構及びシャッタ機構を含み、撮像に係る光学的動作を行う。レンズアレイLA11は、図2に示すようなサブレンズ以下、マイクロレンズというL11からLMNを縦方向につまり、副走査方向に2drピッチでM個、横方向につまり、主走査方向に2drピッチでN個配列されている。図1aのイメージセンサ120は、例えば、CCDChargeCoupledDevice:電荷結合素子やCMOSComplementallyMetalOxideSemiconductor:相補型金属酸化物半導体などの撮像素子から構成される。イメージセンサ120は、光学装置110のレンズアレイLA11によって集光された入射光に応じた電気信号を生成し、生成した電気信号をデータ処理部200に出力する。データ処理部200は、撮像部100によって生成されたアナログ電気信号を信号処理することで、レンズアレイLA11で結像された、図3に示すようなレンズアレイ画像以下、ライトフィールド画像ともいうLF11を示すデジタルデータつまり、画像データを生成し、生成した画像に対して各種の画像処理を行う。データ処理部200は、画像再構成装置210、画像処理部220、記憶部230、及び画像出力部240から構成される。画像再構成装置210は、例えば、図1bに示すようなCPUCentralProcessingUnit210a、RAMRandomAccessMemory210b、ROMReadOnlyMemory210c、及びI/Oポート210dを備えるLSILargeScaleIntegrationで構成される。CPU210aは、ROM210cに保存されたプログラムに従ってソフトウェア処理を実行することで、画像再構成装置210を含むデジタルカメラ1の各部を制御つまり、全体制御する。RAM210bは、CPU210aによるプログラムの実行時において、処理対象とする情報データを一時的に記憶する。I/Oポート210dは、画像再構成装置210と接続する各部とCPU210aとの間でデータの入出力を行う。画像処理部220は、例えば、バッファメモリ、ADAnalogDigitalコンバータ、及び画像処理用のプロセッサで構成される。画像処理部220のADコンバータは、イメージセンサ120から出力されたアナログ電気信号をデジタル信号に変換する。その後、画像処理部220のプロセッサは、いわゆる現像処理を行うことで、例えば、JPEGJointPhotographicExpertsGroupやビットマップなどの画像データを生成し、生成した画像データを記憶部230へ保存する。記憶部230は、例えば、DRAMDynamicRandomAccessMemoryやフラッシュメモリなどの記憶装置から構成され、画像処理部220によって生成された画像データや、画像再構成装置210によって生成された画像データなどを記憶する。画像出力部240は、例えば、液晶表示コントローラやRGB信号の生成回路などから構成され、画像再構成装置210から出力された画像データや、記憶部230に記憶された画像データをRGB信号などに変換した後に、RGB信号を後述する表示部320などに出力する。インタフェース部300は、デジタルカメラ1とその使用者つまり、ユーザあるいは外部装置とのインタフェースに係る構成であり、外部インタフェース部310、表示部320、及び操作部330で構成される。外部インタフェース部310は、例えば、USBUniversalSerialBusコネクタやビデオ出力端子などから構成され、外部のコンピュータ装置に対する画像データの出力、外部のモニタ装置に対する画像の表示出力、記録媒体からのプログラムのアップロード、画像データの読み出し、及び記録媒体への画像データの書き込み等を行う。表示部320は、例えば、液晶表示装置や有機ELElectroLuminescenceディスプレイなどから構成される。表示部320は、デジタルカメラ1を操作するために必要な種々の画面や、画像出力部240からの画像信号RGB信号などに基づいて各種画像等を表示する。操作部330は、デジタルカメラ1の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ1のユーザによる操作に応じた操作信号を生成し、生成した操作信号を画像再構成装置210に入力する。画像再構成装置210の制御部210は、図4に示すような画像再構成処理を実行することで、図5aに示すような画像情報取得部211、補間部212、距離情報取得部214、再構成部215、及び画像情報出力部216として機能する。尚、図5aの補間部212は、図5bに示すような抽出部212a、生成部212b、直線推定部212c、画素推定部212d、及び画素値決定部212eを有する。図4の画像再構成処理を開始すると、図5aの距離情報取得部214は、各種の設定値を取得する設定値取得処理を実行するステップS01。具体的には、距離情報取得部214は、ユーザが操作する図1の操作部330から、デジタルカメラ1とメインレンズLMがピントを合わせるピント位置との距離を表す距離情報を取得する。尚、デジタルカメラ1とピント位置との距離は、図22のメインレンズLMからピント位置までの被写体距離であるとして説明を行う。また、距離情報取得部214は、図1aの記憶部230から予め定められた内部パラメタつまり、デジタルカメラ1によって定まる定数を表す各種情報を取得する。ステップS01の後に、画像情報取得部211は、図1の記憶部230から、撮像されたライトフィールド画像LF11を表す画像データを読み出すステップS02。ここで、ライトフィールド画像LF11について説明を行う。図3のライトフィールド画像LF11は、図2のレンズアレイLA11を構成するマイクロレンズL11からLMNでそれぞれ結像されたサブ画像以下、サブイメージというS11からSMNで構成される。このサブイメージS11からSMNには、それぞれ視差が生じている。具体例として、サブイメージSmn但し、m=1からM、n=1からN-1とサブイメージSmn1との視差について説明する。図2に示すように、サブイメージSmnを結像したレンズLmnの中心は、サブイメージSmn1を結像したレンズLmn1の中心から、主走査方向につまり、s軸方法にレンズピッチ2drだけ離れた点である。すなわち、図6に示すように、レンズLmn1で決まる光学中心Omn1は、レンズLmnで決まる光学中心Omnからレンズピッチ2drだけ主走査方向につまり、世界座標系のx軸方向に離れた点である。このため、光学中心Omnと、光学中心Omn1と、被写体OJ上の点Pとで定まるエピポーラ面OmnOmn1Pは、主走査方向つまり、x軸方向に平行なuv画像座標系のu軸に平行である。このu軸に平行なエピポーラ面OmnOmn1P上には、当該被写体OJ上の点PがサブイメージSmnとして表された点Pmnと、サブイメージSmn1として表された点Pmn1とが存在する。この点Pmnと点Pmn1とのuv画像座標系における差異が視差である。つまり、サブイメージSmnにおけるエピポーラ面OmnOmn1P上の画素列以下、画素ラインというと、サブイメージSmn1におけるエピポーラ面OmnOmn1P上の画素ラインとでは、視差は、主走査方向つまり、u軸方向にのみ生じる。図4のステップS02の後に、図5aの補間部212は、図7に示すようなエピポーラ画像ES生成処理を実行するステップS03。ここで、エピポーラ画像ES生成処理とは、ステップS02で読み出された画像データで表されるライトフィールド画像LF11から、図8aに示すようなエピポーラ画像ES11からESMKを生成する処理をいう。ここで、図9に示すように、ライトフィールド画像LF11のst画像座標系のs方向つまり、主走査方向が、ライトフィールド画像LF11のサブイメージS11からSMNにおけるuv画像座標系のu軸方向と平行であり、t方向つまり、副走査方向がv軸方向と平行であるとする。このとき、サブイメージSm1からSmNのs方向の画素数つまり、ピクセル数がLであり、t方向の画素数がKであるとする但し、通常、画素数がKとLとは、同じ値である。このため、s方向に平行なエピポーラ面以下、エピポーラS面というに対して、t座標値が小さい面ほど小さい番号kk=1からKを割り振る。この場合に、図8aのエピポーラ画像ESmk但し、m=1からM、k=1からKは、図9に示すようなライトフィールド画像LF11のサブイメージSm1からSmNにおけるk番目のエピポーラS面上の画素ラインを、s座標値が小さい画素ラインほど小さい段数となるようにt方向に並べた画像つまり、段数が大きい画素ラインほど、s座標値が大きくなるように並べた画像となる。図7のエピポーラ画像ES生成処理を開始すると、図5aの補間部212が有する抽出部212aは、変数mの値を値1で初期化するステップS31。次に、抽出部212aは、変数mの値が値M以下副走査方向に並んだマイクロレンズの数以下であるか否かを判別するステップS32。このとき、変数mの値が値M以下であると判別するとステップS32;Yes、抽出部212aは、変数kの値を値1で初期化するステップS33。次に、抽出部212aは、変数kの値が値K以下副走査方向のサブイメージの画素数以下であるか否かを判別するステップS34。このとき、変数kの値が値K以下であると判別するとステップS34;Yes、抽出部212aは、変数nの値を値1で初期化するステップS35。次に、抽出部212aは、変数nの値が値N以下主走査方向に並んだマイクロレンズの数以下であるか否かを判別するステップS36。このとき、変数nの値が値N以下であると判別するとステップS36;Yes、抽出部212aは、サブイメージSmnからk番のエピポーラS面上の画素ラインを抽出し、図5bの生成部212bは、抽出された画素ラインをn段目としたエピポーラ画像ESmkを生成するステップS37。次に、抽出部212aは、変数nの値を値1だけインクリメントした後にステップS38、ステップS36から上記処理を繰り返す。ステップS36において、変数nの値が値Nより大きいと判別するとステップS36;No、抽出部212aは、変数kの値を値1だけインクリメントした後にステップS39、ステップS34から上記処理を繰り返す。ステップS34において、変数kの値が値Kより大きいと判別するとステップS34;No、抽出部212aは、変数mの値を値1だけインクリメントした後にステップS40、ステップS32から上記処理を繰り返す。ステップS32において、変数mの値が値Mより大きいと判別するとステップS32;No、抽出部212aは、エピポーラ画像ES生成処理を終了する。ここで、エピポーラ画像ES生成処理の実行によって生成されたエピポーラ画像ESmk但し、m=1からM、k=1からKについて、図10を参照しながら説明する。エピポーラ画像ESmkは、サブイメージSm1からSmNにおけるk番目のエピポーラS面上の画素ラインを、図10に示すようにN段並べたものであり、n段目但し、n=1からNの画素ラインは、サブイメージSmnから抽出されたものである。ここで、サブイメージSmn但し、n=1からN-1とサブイメージSmn1との視差は、図6に示した光学中心Omnと光学中心Omn1との距離つまり、マイクロレンズLmnとマイクロレンズLmn1とのレンズピッチ2drと、光学中心Omn及び光学中心Omn1から被写体OJ上の点Pまでの距離つまり、被写体距離と、その他の内部パラメタとで定まる。また、図2に示したように、マイクロレンズLm1からLmNは、それぞれ主走査方向にレンズピッチ2drで並んでおり、マイクロレンズLm1からLmNの中心つまり、光学中心は、それぞれ被写体OJ上の点Pまで略同一の距離だけ離れており、その他の内部パラメタは変化しない。これらのため、同一のエピポーラS面におけるサブイメージSmnとサブイメージSmn1との視差は、同一のエピポーラS面におけるサブイメージSmn-1とサブイメージSmnとの視差と略同一である。よって、サブイメージSmn-1、Smn、及びSmn1に、被写体OJ上の点Pを写した点Pmn-1、Pmn、及びPmn1がある場合には、図10に示すように、エピポーラ画像ESmkのn-1段目の画素ラインにおける点Pmn-1を表す画素のu座標値と、n段目の画素ラインにおける点Pmnを表す画素のu座標値との差異が、当該点Pmnのu座標値と、n1段目の画素ラインにおける点Pmn1を表す画素のu座標値との差異に略一致する。このため、これらの点Pmn-1、点Pmn、及び点Pmn1は、エピポーラ画像ESmkにおいてそれぞれ同一直線上に存在する。次に、図11に示すように、レンズアレイLA11のレンズピッチ2drをH等分したピッチ2dr/Hだけ、レンズアレイLA11の位置からs方向に移動した位置にレンズアレイLA11と同様のレンズ構成を有するレンズアレイLA12を配置したと仮定する。同様に、ピッチ2×2dr/Hだけ、レンズアレイLA11の位置からs方向に移動した位置にレンズアレイLA11と同様のレンズ構成を有するレンズアレイLA13を配置したと仮定し、以下同様に、レンズアレイLA1Hまでを配置したと仮定する。この場合、レンズアレイLA11のマイクロレンズLmn但し、m=1からM、n=1からN-1と、レンズアレイLA11のマイクロレンズLmn1との間に、レンズアレイLA12のマイクロレンズLmn、レンズアレイLA13のマイクロレンズLmn、及びレンズアレイLA1HのマイクロレンズLmnというH-1個のマイクロレンズが、s方向に順に等間隔で補間される。ここで、サブイメージS11からSMNのs方向の画素数がLであるため、配置が仮定されるレンズアレイLA12からLA1Hでそれぞれ結像されるライトフィールド画像LF12からLF1Hは、図12に示すように、ライトフィールド画像LF11をs方向へL/H、2×L/H、H-1×L/Hだけそれぞれシフトさせた位置に結像される。つまり、撮像されたライトフィールド画像LF11のサブイメージSmn但し、m=1からM、n=1からN-1と、ライトフィールド画像LF11のサブイメージSmn1との間に、ライトフィールド画像LF12のサブイメージSmn、ライトフィールド画像LF13のサブイメージSmn、及びライトフィールド画像LF1HのサブイメージSmnというH-1個のサブイメージがs方向に順に等間隔で補間される。このため、H-1個のサブイメージを補間するための処理について以下、説明する。図4のステップS03の後に、補間エピポーラ画像CES生成処理を実行するステップS04。この処理は、図13に示すように、図10のエピポーラ画像ESmk但し、m=1からM、k=1からKにおけるライトフィールド画像LF11のサブイメージSmn但し、n=1からN-1のk番目の画素ラインが格納された段と、ライトフィールド画像LF11のサブイメージSmn1のk番目の画素ラインが格納された段との間の段に、H-1個の段を挿入する。この挿入されたH-1個の段には、段数が少ない順に、ライトフィールド画像LF12のサブイメージSmnのk番目の画素ライン、ライトフィールド画像LF13のサブイメージSmnのk番目の画素ライン、ライトフィールド画像LF1HのサブイメージSmnのk番目の画素ラインであって、未だ画素値が決定されていないH-1個の画素の列が格納されている。このH-1個の画素ラインが挿入された画像を、補間エピポーラ画像CESmkという。ここで、ライトフィールド画像LF1h但し、h=1からH-1のサブイメージSmnのk番目の画素ラインと、ライトフィールド画像LF1h1のサブイメージSmnのk番目の画素ラインとの視差は、レンズアレイLA1hのマイクロレンズLmnとレンズアレイLA1h1のマイクロレンズLmnとのレンズピッチ2dr/Hと、これらマイクロレンズLmnから被写体OJ上の点Pまでの距離つまり、被写体距離と、内部パラメタとで定まる。このレンズピッチと点Pまでの距離と内部パラメタとは一定であるため、変数hが1からH-1までのどの値であっても、ライトフィールド画像LF1hのサブイメージSmnのk番目の画素ラインと、ライトフィールド画像LF1h1のサブイメージSmnのk番目の画素ラインとの視差は略一定である。ここで、図13に示すように、ライトフィールド画像LF11のサブイメージSmn及びSmn1に、被写体OJ上の点Pを写した点Pmn及びPmn1がある場合には、補間されるライトフィールド画像LF12のサブイメージSmn、及びライトフィールド画像LF1HのサブイメージSmnに、被写体OJ上の点Pを写した点P12mn、点P13mn、点P1Hmn以下、これらを点Pmnの対応点というが存在する。ここで、上記のように視差が略一定であるので、補間エピポーラ画像CESmkにおける点Pmnを表す画素のu座標値と点P12mnを表す画素のu座標値との差異、点P12mnを表す画素のu座標値と点P13mnを表す画素のu座標値との差異、及び点P1Hmnを表す画素のu座標値と点Pmn1を表す画素のu座標値との差異がそれぞれ略一致する。このため、これらの点Pmn、点P12mn、点P1Hmn、及び点Pmn1は、補間エピポーラ画像CESmkにおいてそれぞれ同一直線上に存在する。この直線を、以下、対応画素直線という。対応画素直線は、当該直線が通過する画素と、u座標軸v座標軸でも良いとが成す角度θとで特定される。ここで、被写体OJ上の点Pが異なれば、マイクロレンズLmnから被写体OJ上の点Pまでの距離が異なるので、点Pを写した点Pmn、点P12mn、点P13mn点P1Hmn、及びPmn1のu座標値の差異つまり、視差が異なる。このため、対応画素直線の角度θは、当該直線が通過する画素で表される被写体OJ上の点Pによって異なる角度となる。よって、図4のステップS04の後に、図5bの直線推定部212cは、補間エピポーラ画像CESmkの対応画素直線の角度を推定する、図14に示すような角度S推定処理を実行するステップS05。図14の角度S推定処理を開始すると、直線推定部212cは、変数mの値を値1で初期化するステップS41。次に、直線推定部212cは、変数mの値が値M以下であるか否かを判別するステップS42。このとき、変数mの値が値M以下であると判別するとステップS42;Yes、直線推定部212cは、変数kの値を値1で初期化するステップS43。次に、直線推定部212cは、変数kの値が値K以下であるか否かを判別するステップS44。このとき、変数kの値が値K以下であると判別するとステップS44;Yes、直線推定部212cは、変数nの値を値1で初期化するステップS45。次に、直線推定部212cは、変数nの値が値N以下であるか否かを判別するステップS46。このとき、変数nの値が値N以下であると判別するとステップS46;Yes、直線推定部212cは、変数lの値を値1で初期化するステップS47。次に、直線推定部212cは、変数lの値が値L以下であるか否かを判別するステップS48。このとき、変数lの値が値L以下であると判別するとステップS48;Yes、直線推定部212cは、図13に示した補間エピポーラ画像CESmkにおける、ライトフィールド画像LF11のサブイメージSmnのk番目の画素列のl番目の画素つまり、u座標値がl番目に小さい画素E11nlを通る角度θの直線EPLの評価値Lineθを、以下の式1を用いて算出するステップS49。この評価値は、画素E11nlを通る角度θの直線EPL上の画素qが、画素E11nlと相違している程度を表す指標である。但し、EPIは、画素E11nlを通る直線上の画素の集合であり、qは、当該集合の要素であり、Qは、当該集合の要素数であり、Iqは、要素qつまり、当該直線上の画素の画素値であり、I11nlは、画素E11nlの画素値である。尚、上記式1において、画素E11nlの画素値I11nlと、直線上の画素qの画素値Iqとの差の絶対値の総和を、直線上の画素数Qで除算するのは、直線の角度が相違すると、直線上の画素qの数が相違するためであるつまり、正規化するためである。直線推定部212cは、複数の角度θについて評価値Lineθを算出した後に、最も小さい評価値の算出に用いられた角度θを最適角度θとする。次に、直線推定部212cは、最適角度θを、画素E11nlを通過する対応画素直線の角度と推定する。ここで、上述したように、画素E11nlで表される点Pまでの距離つまり、被写体距離が異なれば、画素E11nlを通過する対応画素直線の角度θが異なるので、最適角度θは、被写体距離つまり、奥行き情報を示す指標として機能する。また、評価値Lineθは、対応画素直線の角度θが角度θであることがどの程度妥当であるかを表す指標値として機能する。このため、図14のステップS49の後に、直線推定部212cは、評価値Lineθが予め定められた閾値th以上であるか否か判別するステップS50。このとき、直線推定部212cは、評価値Lineθが予め定められた閾値th以上であると判別するとステップS50;Yes、図1aの記憶部230が記憶する、図15の推定角度Sテーブルへ、補間エピポーラ画像CESmkを識別する情報以下、補間エピポーラ画像IDというと、対応画素直線が通る画素E11nl識別する情報以下、画像IDというと、推定角度θを表す情報とを対応付けて保存するステップS51。尚、補間エピポーラ画像IDは、変数mの値及び変数kの値で表される。また、画像IDは、変数nの値及び変数lの値で表される。また、閾値thを表す情報は、記憶部230に予め記憶されている。この閾値thは、当業者が実験により最適な値に定めることができる。また、閾値thは、ユーザに操作された操作部330から出力される信号に基づいて、ユーザによって指定された値に設定されても良い。図14のステップS50において、直線推定部212cは、評価値Lineθが予め定められた閾値thより小さいと判別するとステップS50;No、図15の推定角度Sテーブルへ推定角度θを表す情報を保存せず、推定角度θが不明であることを表す情報と、補間エピポーラ画像IDと、画像IDとを対応付けて保存する。複数のサブイメージSmkにおける複数の画素が同じ被写体OJ上の点Pを表すとしても、当該点Pが、被写体OJにおけるコントラストが十分高い領域にあれば、点Pを表すこれらの画素の画素値の差異が所定値よりも小さくなることは少ない。これに対して、当該点Pが、例えば、白い壁などのコントラストが十分高くない領域にあると、当該領域にある異なる複数の点であっても、これらの点を表す画素の画素値の差異は、所定値よりも小さくなる。このため、直線推定部212cは、評価値Lineθが予め定められた閾値thより小さいと判別すると、画素E11nlを通過する角度θの直線が、被写体OJ上の同じ点Pを表す複数の画素を通過する直線でない可能性があると判断し、図15の推定角度Sテーブルへ推定角度θが不明であることを表す情報を保存する。その後、又はステップS51の後に、直線推定部212cは、変数lの値を値1だけインクリメントした後にステップS52、ステップS48から上記処理を繰り返す。ステップS48において、変数lの値が値Lより大きいと判別するとステップS48;No、抽出部212aは、変数nの値を値1だけインクリメントした後にステップS53、ステップS46から上記処理を繰り返す。ステップS46において、変数nの値が値Nより大きいと判別するとステップS46;No、抽出部212aは、変数kの値を値1だけインクリメントした後にステップS54、ステップS44から上記処理を繰り返す。ステップS44において、変数kの値が値Kより大きいと判別するとステップS44;No、抽出部212aは、変数mの値を値1だけインクリメントした後にステップS55、ステップS42から上記処理を繰り返す。ステップS42において、変数mの値が値Mより大きいと判別するとステップS42;No、抽出部212aは、角度S推定処理を終了する。図4のステップS05の後に、対応画素直線であると推定された直線以下、推定直線というに基づいて、補間されるライトフィールド画像LF1h但し、h=2からHの画素値を決定する、図16に示すような画素S補間処理が実行されるステップS06。図5bの画素推定部212dは、図14のステップS41からステップS48と同様の処理を実行するステップS61からステップS68。ステップS68において、変数lの値が値L以下であると判別するとステップS68;Yes、画素推定部212dは、図15の推定角度Sテーブルから、補間エピポーラ画像CESmkの補間エピポーラ画像IDつまり、変数mの値及び変数kの値と、画素E11nlの画像IDつまり、変数nの値及び変数lの値とに対応付けられた推定角度θを表す情報を取得するステップS69。次に、画素推定部212dは、推定角度θを表す情報を取得したか否かつまり、変数m、変数k、変数n、及び変数lの値に対応した推定角度θを表す情報が保存されているか否かを判別するステップS70。このとき、画素推定部212dは、推定角度θを表す情報を取得したと判別するとステップS70;Yes、変数hを値2で初期化するステップS71。次に、画素推定部212dは、変数hの値が値H以下であるか否かを判別するステップS72。このとき、変数hの値が値H以下であると判別するとステップS72;Yes、画素推定部212dは、ライトフィールド画像LF1hのサブイメージSmnの画素列と、推定直線との交点に基づき対応画素を推定するステップS73。具体的には、図17に示すように、画素推定部212dは、補間エピポーラ画像CESmkにおける、補間されたライトフィールド画像LF1hのサブイメージSmnのk番目の画素列を構成するl番目の画素の中心点をChlとする。画素推定部212dは、この中心点Ch1からChLを通るu軸と平行な直線以下、補間画素ラインというと、対応画素直線とが交わる点CPhを特定する。その後、画素推定部212dは、交点CPhを挟む2つの中心点Chaと中心点Chbを特定する。画素推定部212dは、2つの中心点Chaと中心点Chbをそれぞれ中心とする画素E1hnaと画素E1hnbとを、画素E11nlで表される点Pnmの対応点P1hmnを表す画素であるとそれぞれ推定する。図16のステップS73の後に、図5bの画素値決定部212eは、画素E11nlの画素値I11nlに基づき、ステップS73で特定された対応画素E1hnaと画素E1hnbの画素値を決定するステップS74。具体的には、画素値決定部212eは、特定された中心点Chaから交点CPhまでの距離rhaと、中心点Chbから交点CPhまでの距離rhbとを算出する。次に、画素値決定部212eは、以下の式2及び3をそれぞれ用いて、対応画素E1hnaの画素値I1hnaに加算する値ΔI1hnaと、対応画素E1hnbの画素値I1hnbに加算する値ΔI1hnbを決定する。ΔI1hna=rhb/rharhb×I11nl2ΔI1hnb=rha/rharhb×I11nl3但し、rhb/rharhbと、rha/rharhbとは、重み付け係数である。その後、画素値決定部212eは、図1の記憶部230から、補間されたライトフィールド画像以下、補間ライトフィールド画像というLF1hを構成する画素の画素値が保存された、図18に示すような補間画素テーブルを参照する。この補間画素テーブルには、補間ライトフィールド画像LF1hを構成する画素ラインで構成された補間エピポーラ画像CESmk但し、m=1からM、k=1からKの補間エピポーラ画像IDと、当該画素ラインを構成する画素の画素IDと、当該画素の画素値を表す情報とが対応付けられて保存されている。このため、画素値決定部212eは、変数mの値及び変数kの値で表される補間エピポーラ画像IDと、変数nの値及び特定された値aとで表される対応画素E1hnaの画素IDとに対応付けられた画素値I1hnaを表す情報を取得する。次に、画素値決定部212eは、画素値I1hnaに対して加算値ΔI1hnaを加算した値を、対応画素E1hnaの画素値I1hnaと再決定する。同様に、画素値決定部212eは、補間エピポーラ画像IDと、対応画素E1hnbの画素IDとに対応付けられた画素値I1hnbを表す情報を取得する。次に、画素値決定部212eは、画素値I1hnbに対して加算値ΔI1hnbを加算した値を、対応画素E1hnbの画素値I1hnbと再決定するステップS74。尚、補間画素テーブルに保存された画素値I1hnl但し、n=1からN、l=1からLの一例であるR値、G値、及びB値は、画素S補間処理の開始時に全て値0で初期化されている。その後、画素値決定部212eは、決定した画素値I1hnaを表す情報で、補間エピポーラ画像IDと、対応画素E1hnaの画素IDとに対応付けられた情報を更新する。同様に、画素値決定部212eは、決定した画素値I1hnbを表す情報で、補間エピポーラ画像IDと、対応画素E1hnbの画素IDとに対応付けられた情報を更新するステップS75。その後、画素推定部212dは、変数hの値を値1だけインクリメントした後にステップS76、ステップS72から上記処理を繰り返す。ステップS70において、推定角度θを表す情報を取得しなかったと判別した場合ステップS70;No、又はステップS72において、変数hの値が値Hより大きいと判別した場合ステップS72;No、画素推定部212dは、図14のステップS52からステップS55と同様の処理を実行した後にステップS77からステップS80、画素S補間処理の実行を終了する。図4のステップS06の後に、補間部212は、画素値I1hnl但し、h=2からH、n=1からN、l=1からLが決定された補間エピポーラ画像CESmk但し、m=1からM、k=1からKに基づいて、補間ライトフィールド画像LF12からLF1Hを生成する補間ライトフィールド画像S生成処理を実行するステップS07。その後、補間部212は、生成した補間ライトフィールド画像LF12からLF1Hをそれぞれ表す画像データを、図1の記憶部230へ保存する。以上の処理により、レンズアレイLA11で結像されたライトフィールド画像LF11に基づいて、レンズアレイLA12からLA1Hが配置された場合に結像される、図12に示すような補間ライトフィールド画像LF12からLF1Hが生成された。以降の処理では、レンズアレイLA11のレンズピッチ2drをI等分したピッチ2dr/Iだけ、レンズアレイLA11の位置からt方向に移動した位置にレンズアレイLA11と同様のレンズ構成を有するレンズアレイLA21を配置したと仮定する。同様に、レンズアレイLA31からレンズアレイLAI1までを配置したと仮定し、レンズアレイLA21からレンズアレイLAI1でそれぞれ結像される補間ライトフィールド画像LF21からLFI1が、撮像されたライトフィールド画像LF11に基づいて生成される。その後、レンズアレイLA22からレンズアレイLAI2の配置を仮定し、補間ライトフィールド画像LF22からLFI2が補間ライトフィールド画像LF12に基づいて生成される。同様に、レンズアレイLA23からレンズアレイLAIHの配置を仮定し、補間ライトフィールド画像LF23からLFIHが生成される。図4のステップS07の後に、補間部212は、変数hの値を値1で初期化するステップS08。次に、補間部212は、変数hの値が値H以下であるか否かを判別するステップS09。このとき、補間部212は、変数hの値が値H以下であると判別するとステップS09;Yes、ステップS02と同様に、図1の記憶部230から、ライトフィールド画像LF1hの画像データを読み出すステップS10。次に、補間部212は、ステップS03と同様のエピポーラ画像ET生成処理を実行するステップS11。このエピポーラ画像ES生成処理は、ステップS10で読み出された画像データで表されるライトフィールド画像LF1hから、図8bに示すようなエピポーラ画像ET11からETNLを生成する処理をいう。具体的には、補間部212は、図9に示すように、t方向に平行なエピポーラ面以下、エピポーラT面というに対して、s座標値が小さい面ほど小さい番号ll=1からLを割り振る。この場合に、図8bのエピポーラ画像ETnl但し、n=1からN、l=1からLは、図9に示すようなライトフィールド画像LF1hのサブイメージS1nからSMnにおけるl番目のエピポーラT面上の画素ラインを、t座標値が小さい画素ラインほど小さい段数となるようにs方向に並べた画像つまり、段数が大きい画素ラインほど、t座標値が大きくなるように並べた画像となる。図4のステップS11の後に、ステップS04と同様に、補間部212は、補間エピポーラ画像CET生成処理を実行するステップS12。この処理は、図19に示すように、エピポーラ画像ETnl但し、n=1からN、l=1からLにおけるライトフィールド画像LF1hのサブイメージSmn但し、m=1からM-1のl番目の画素ラインが格納された段と、ライトフィールド画像LF1hのサブイメージSm1nのl番目の画素ラインが格納された段との間の段に、I-1個の段を挿入する。この挿入されたI-1個の段には、段数が少ない順に、ライトフィールド画像LF2hのサブイメージSmnのl番目の画素ライン、ライトフィールド画像LF3hのサブイメージSmnのl番目の画素ライン、ライトフィールド画像LFIhのサブイメージSmnのl番目の画素ラインであって、未だ画素値が決定されていないI-1個の画素の列が格納されている。このI-1個の画素ラインが挿入された画像を、補間エピポーラ画像CETnlという。図4のステップS12の後に、図5bの直線推定部212cは、ステップS05と同様に、補間エピポーラ画像CETmlの対応画素直線の角度を推定する角度T推定処理を実行するステップS13。次に、図5bの画素推定部212d及び画素値決定部212eで、ステップS13において推定された推定直線に基づいて、補間ライトフィールド画像LFih但し、i=2からIの画素値を決定する画素T補間処理が実行されるステップS14。その後に、補間部212は、ステップS14において、画素値Iihmk但し、i=2からI、m=1からM、k=1からKが決定された補間エピポーラ画像CETnl但し、n=1からN、l=1からLに基づいて、補間ライトフィールド画像LF2hからLFIhを生成する補間ライトフィールド画像T生成処理を実行するステップS15。その後、補間部212は、変数hの値を値1だけインクリメントした後に、ステップS09から上記処理を繰り返す。ステップS09において、変数hの値が値Hより大きいと判別されるとステップS09;No、図5aの再構成部215は、ステップS01で取得された距離情報で表される距離だけ離れたピント位置にピントを合わせたつまり、事後フォーカスしたメインレンズLMで結像される被写体の画像つまり、再構成画像OBを、ライトフィールド画像LF11からLFIHに基づいて生成する、図20に示すような再構成画像生成処理を実行するステップS17。図20の再構成画像生成処理を開始すると、再構成部215は、再構成画像OBを構成する全ての画素に対して、以下のステップS82などの処理を実行したか否かを判別するステップS81。このとき、再構成部215は、全ての画素を処理した訳ではないと判別するとステップS81;No、再構成画像OBを構成する複数の画素の内で、未処理の画素を注目画素とするステップS82。次に、再構成部215は、変数hの値を値1で初期化するステップS83。次に、再構成部215は、変数hの値が値H以下であるか否かを判別するステップS84。このとき、再構成部215は、変数hの値が値H以下であると判別するとステップS84;Yes、変数iの値を値1で初期化するステップS85。次に、再構成部215は、変数iの値が値I以下であるか否かを判別するステップS86。このとき、再構成部215は、変数iの値が値I以下であると判別するとステップS86;Yes、変数mの値を値1で初期化するステップS87。次に、再構成部215は、変数mの値が値M以下であるか否かを判別するステップS88。このとき、再構成部215は、変数mの値が値M以下であると判別するとステップS88;Yes、変数nの値を値1で初期化するステップS89。次に、再構成部215は、変数nの値が値N以下であるか否かを判別するステップS90。このとき、再構成部215は、変数nの値が値N以下であると判別するとステップS90;Yes、図22に示すような注目画素の位置PSから光が発せられた場合に、当該光がレンズアレイLAihのマイクロレンズLmnを通過して撮像素子面EIへ到達するまでの軌跡を特定し、特定された軌跡を辿る光が撮像素子面EIに到達した到達点PEmnに在る撮像素子を特定するステップS91。具体的には、図22に示すようなX軸方向における注目画素の位置PSと光軸OAとの距離をxとし、到達点PEmnと光軸OAとの距離をx’’mnとする。ここで、ステップS01で取得された内部パラメタには、メインレンズLMの焦点距離fML、メインレンズLMからマイクロレンズアレイLAihまでの距離c1、マイクロレンズアレイLAihから撮像素子面IEまでの距離c2、及びレンズピッチ2drに基づいて算出される光軸OAからマイクロレンズLmnの主点までの距離dが含まれている。また、ステップS01で取得された距離情報で表される距離は、メインレンズLMからピント位置までの被写体距離a1である。よって、再構成部215は、焦点距離fML及び被写体距離a1を以下の式4に用いて、メインレンズLMからメインレンズLMの結像面までの距離b1を算出する。次に、再構成部215は、被写体距離a1と、上記式4を用いて算出された距離b1を以下の式5に用いて、光軸OAからメインレンズLMの結像点PFまでの距離x’を算出する。その後、再構成部215は、メインレンズLMからマイクロレンズアレイLAihまでの距離c1と、上記の式4を用いて算出された距離b1とを以下の式6に用いて、メインレンズLMの結像面からマイクロレンズLmnまでの距離a2を算出する。a2=c1-b16次に、再構成部215は、光軸OAからマイクロレンズLmnの主点までの距離d、上記の式5を用いて算出された距離x’、マイクロレンズアレイLAihから撮像素子面IEまでの距離c2、及び上記の式6を用いて算出された距離a2を以下の式7に用いて、到達点PEmnと光軸OAとの距離x’’mnを算出する。尚、図22のZ軸方向の計算式4及び6は、ガウスの結像公式から導かれる。また、X軸方法の計算式5及び7は、三角形の相似関係から導かれる。上記式5及び7では、記号x、x’、及びx’’を用いて、X軸方向における注目画素の位置PSと光軸OAとの距離、光軸OAからメインレンズLMの結像点PFまでの距離、及び到達点PEmnと光軸OAとの距離を算出した。これと同様に、上記式5及び7において記号y、y’、及びy’’を用いることで、X軸及びZ軸の双方に垂直なY軸方向における、注目画素の位置PSと光軸OAとの距離、光軸OAからメインレンズLMの結像点PFまでの距離、及び到達点PEmnと光軸OAとの距離を算出できる。図20のステップS91の後に、再構成部215は、特定された到達点PEmnに在るイメージセンサつまり、撮像素子120に対応するライトフィールド画像LFihのサブイメージSmn上の画素を特定し、特定された画素の画素値を取得するステップS92。その後、再構成部215は、注目画素の画素値に、取得された画素値を加算するステップS93。尚、注目画素の画素値の一例であるR値、G値、及びB値は、再構成画像生成処理の開始時に値0に初期化されている。その後、再構成部215は、変数nの値を値1だけインクリメントした後にステップS94、ステップS90から上記処理を繰り返す。ステップS90において、変数nの値が値Nより大きいと判別するとステップS90;No、再構成部215は、変数mの値を値1だけインクリメントした後にステップS95、ステップS88から上記処理を繰り返す。ステップS88において、変数mの値が値Mより大きいと判別するとステップS88;No、再構成部215は、変数iの値を値1だけインクリメントした後にステップS96、ステップS86から上記処理を繰り返す。ステップS86において、変数iの値が値Iより大きいと判別するとステップS86;No、再構成部215は、変数hの値を値1だけインクリメントした後にステップS97、ステップS84から上記処理を繰り返す。ステップS84において、変数hの値が値Hより大きいと判別するとステップS84;No、再構成部215は、ステップS81から上記処理を繰り返すステップS81において、再構成部215は、全ての画素を処理したと判別するとステップS81;Yes、再構成画像生成の実行を終了する。図4のステップS17の後に、図5aの画像情報出力部216は、ステップS17で再構成された再構成画像OBの画像データを、図1aの表示部320へ出力した後にステップS18、画像再構成処理の実行を終了する。尚、画像情報出力部216は、図1aの外部I/F部310を介して、記録媒体へ再構成画像OBの画像データを格納してもよく、また、他の装置へ再構成画像OBの画像データを出力しても良い。これらの構成によれば、レンズアレイLA11のマイクロレンズLmn但し、m=1からM、n=1からN-1とマイクロレンズLmn1との間の位置に、マイクロレンズアレイLA1h但し、h=2からHを構成するマイクロレンズLmnが配置されると仮定すると、マイクロレンズアレイLA11のマイクロレンズLmnとマイクロレンズLmn1とのレンズピッチ2drよりも、マイクロレンズアレイLA11のマイクロレンズLmnと、配置が仮定されたマイクロレンズアレイLA1hのマイクロレンズLmnとのピッチの方が短くなる。このため、マイクロレンズアレイLA11のマイクロレンズLmn及びLmn1でそれぞれ結像されるライトフィールド画像LF11のサブイメージSmnとサブイメージSmn1との視差よりも、ライトフィールド画像LF11のサブイメージSmnと、補間ライトフィールド画像LF1hのサブイメージSmnとの視差の方が小さくなる。すなわち、これらの構成によれば、ライトフィールド画像LF11のサブイメージSmnとサブイメージSmn1との間に、より視差の少ないライトフィールド画像LF1hのサブイメージSmnを補間できる。このため、再構成画像OBのために必要な画素抜けした画素を補間できるので、従来よりも周期的なノイズが少ない再構成画像OBを再構成できる。また、2つのレンズでそれぞれ結像される画像の視差は、当該2つのレンズのピッチに応じて変化する。このため、これらの構成によれば、ライトフィールド画像LF11のサブイメージSmnとサブイメージSmn1との視差に対するライトフィールド画像LF11のサブイメージSmnと補間ライトフィールド画像LF1h但し、h=2からHのサブイメージSmnとの視差の比率が、レンズアレイLA11のマイクロレンズLmnとマイクロレンズLmn1との距離に対するレンズアレイLA11のマイクロレンズLmnと配置が仮定されるレンズアレイLA1hのマイクロレンズLmnとの距離の比率となるようにライトフィールド画像LF1hのサブイメージSmnを補間する。このため、従来よりも精度良くライトフィールド画像LF1hのサブイメージSmnを補間できるので、従来よりもノイズの少ない再構成画像OBを再構成できる。また、エピポーラ平面上には、被写体OJ上の点Pと、当該点Pがラインフィールド画像LF11のサブイメージSmnに写された点Pmnと、ラインフィールド画像LF11のサブイメージSmn1に写された点Pmn1とが存在する。また、点Pmnを表す画素の画素値と、点Pmn1を表す画素の画素値とは、通常、略同一の画素値である。このため、これらの構成によれば、画素値の相違に基づいて同じ点を表す異なる画像上の画素を精度良く推定できるので、同じ点を表す画素つまり、点Pmnを表す画素と点Pmn1を表す画素とを通過する直線を従来よりも精度良く推定できる。また、上記エピポーラ平面上には、点Pmn及び点Pmn1の他に、被写体OJ上の点Pが補間ラインフィールド画像LF1h但し、h=2からHのサブイメージSmnに写された点P1hmnが存在する。さらに、レンズアレイLA1hのマイクロレンズLmnは、レンズアレイLA11のマイクロレンズLmnとマイクロレンズLmn1との間に配置されると仮定されるので、エピポーラ平面上において、点P1hmnは、点Pmnと点Pmn1との間に位置する。このため、これらの構成によれば、推定された直線が通過する点Pmnと点Pmn1との間にある画素を、点Pを表す画素として推定するので、従来よりも精度良く点Pを表す画素を推定できる。またこれらの構成によれば、図14のステップS50において、評価値Lineθが予め定められた閾値thより小さいと判別されるとステップS50;No、画素E11nlを通過する角度θの直線が、被写体OJ上の同じ点Pを表す複数の画素を通過する直線でない可能性があると判断し、図15の推定角度Sテーブルへ推定角度θが不明であることを表す情報を保存する。また、図16のステップS70において、推定角度Sテーブルから推定角度θが取得されないと、画素E11nlと同じ被写体OJ上の点Pを表した画素つまり、対応画素の画素値を決定しない。このため、従来よりも精度良くライトフィールド画像LF1hを補間できるので、ノイズの少ない再構成画像を生成できる。本実施形態において、図5aの補間部212は、図4のステップS02からステップS07の処理において、撮像されたライトフィールド画像LF11に基づいて補間ライトフィールド画像LF12からLF1Hを生成してから、変数hを値1とし、ステップS10からステップS16において、補間ライトフィールド画像LF21からLFI1をライトフィールド画像LF11に基づいて生成するとして説明した。またその後、補間部212は、変数hを値2としてからステップS10からステップS16の処理を繰り返すことで、補間ライトフィールド画像LF12からLF1Hに基づいて補間ライトフィールド画像LFih但し、i=2からI、h=2からHを生成するとして説明した。しかし、これに限定される訳ではなく、補間部212は、補間ライトフィールド画像LF12からLF1H及びLF21からLFI1を生成した後に、ステップS02からステップS07の処理を繰り返すことで、補間ライトフィールド画像LF21からLFI1に基づいて補間ライトフィールド画像LFih但し、i=2からI、h=2からHを生成しても良い。また、補間部212は、補間ライトフィールド画像LF12からLF1H及びLF21からLFI1を生成した後に、補間ライトフィールド画像LF1hの各画素と但し、h=2からH、補間ライトフィールド画像LFi1の対応する各画素と但し、i=2からIを足して値2で除算した値を、補間ライトフィールド画像LFihの各画素の画素値とすることで、補間ライトフィールド画像LFihを生成しても良い。具体例として、補間部212は、補間ライトフィールド画像LF12の各画素と、補間ライトフィールド画像LF21の対応する各画素とを足して値2で除算した値を、補間ライトフィールド画像LF22の各画素の画素値とする例を挙げることができる。また他の具体例として、補間部212は、補間ライトフィールド画像LF13の各画素と、補間ライトフィールド画像LF21の対応する各画素とを足して値2で除算した値を、補間ライトフィールド画像LF23の各画素の画素値とする例を挙げることができる。<変形例>本実施形態において、図5bの直線推定部212cは、図17に示すように、補間エピポーラ画像CESmk但し、m=1からM、k=1からKを構成するライトフィールド画像LF11の画素E11nl但し、n=1からN、l=1からLを通る複数の直線から、対応画素直線と推定される直線を特定するとして説明した。また、図5bの画素値決定部212eは、対応画素直線と推定された直線つまり、推定直線と、中心点Ch1からChLを通る補間画素ラインとの交点CPhに基づいて決定された画素E1hnaの画素値I1hnaと画素E1hnbの画素値I1hnbとを画素E11nlの画素値に基づいて決定するとして説明した。しかし、直線推定部212cは、図21に示すように、補間エピポーラ画像CESmkを構成する補間ライトフィールド画像LF1hの画素E1hnlを通る複数の直線から、対応画素直線と推定される直線を特定する構成を採用できる。この構成において、直線推定部212cは、画素E1hnlを通る角度θの直線EPLの評価値Lineθを、以下の式8及び9を用いて算出し、算出した評価値を最小にする最適角度θを特定する。但し、EPIは、画素E1hnlを通る直線上の画素の集合であり、qは、当該集合の要素であり、Qは、当該集合の要素数であり、Iqは、要素qの画素値である。また、画素値決定部212eは、上記の式9で算出された最適角度θの平均画素値Averageθを画素E1hnlの画素値I1hnlとして決定しても良い。さらに、再構成部215は、最適角度θの評価値Lineθが閾値thより小さい場合には、当該最適角度θで特定される直線が通過する画素の画素値を画像OBの再構成に使用しないとしても良い。本実施形態の変形例によれば、補間ライトフィールド画像LF1hの画素E1hnlを通る推定直線上の画素の画素値Iqに基づいて画素E1hnlの画素値を決定するため、本実施形態よりも少ない計算量で精度良く画素E1hnlの画素値を決定できる。また、最適角度θの評価値Lineθが閾値thより小さい場合には、当該最適角度θで特定される直線が通過する画素の画素値を画像OBの再構成に使用しないため、ノイズの少ない画像OBを生成できる。本発明の実施形態及び変形例は、それぞれ互いに組み合わせることができる。尚、本実施形態又は本実施形態の変形例を実現するための構成を予め備えた画像再構成装置210として提供できることはもとより、プログラムの適用により、既存の画像再構成装置を本実施形態又は本実施形態の変形例に係る画像再構成装置210として機能させることもできる。すなわち、本実施形態又は本実施形態の変形例で例示した画像再構成装置210による各機能構成を実現させるための画像再構成プログラムを、既存の画像再構成装置を制御するコンピュータCPUなどが実行できるように適用することで、本実施形態又は本実施形態の変形例に係る画像再構成装置210として機能させることができる。このようなプログラムの配布方法は任意であり、例えば、メモリカード、CD-ROM、又はDVD-ROMなどの記録媒体に格納して配布できる他、インタネットなどの通信媒体を介して配布することもできる。また、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。つまり、本発明のいくつかの実施形態を説明したが、上述した実施形態は本発明を説明するためのものであり、本発明の範囲を限定するものではない。本発明の範囲は、実施形態ではなく、特許請求の範囲に記載された発明とその均等の範囲を含む。以下に本願出願の当初の特許請求の範囲に記載された発明を付記する。付記1第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間手段と、前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、前記再構成された画像を表す情報を出力する画像情報出力手段と、を備える、ことを特徴とする画像再構成装置。付記2前記補間手段は、前記取得された情報で表される前記第1サブ画像の画素値と前記第2サブ画像の画素値とに基づいて前記第1サブ画像と前記第2サブ画像との視差を特定し、前記特定された視差に対する前記第1サブ画像と前記第3サブ画像との視差の比率が、前記第1サブレンズと前記第2サブレンズとの距離に対する前記第1サブレンズと第3サブレンズとの距離の比率となるように、前記第3サブ画像を補間する、ことを特徴とする付記1に画像再構成装置。付記3前記補間手段は、前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出手段と、前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、及び前記第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、前記エピポーラ画像を構成する前記第1画素列における第1画素を通過する複数の直線から、前記第2画素列を構成する複数の画素の内で前記第1画素によって表される前記被写体上の点と同じ点を表す第2画素を通過する直線を、前記第1画素の画素値と当該第2画素の画素値との相違に基づいて推定する直線推定手段と、前記第3画素列を構成する複数の画素の内で、前記推定された直線が通過する画素を、前記第1画素及び前記第2画素によって表される前記被写体上の点と同じ点を表す画素と推定する画素推定手段と、前記推定された画素の画素値を、前記第1画素の画素値に基づいて決定する画素値決定手段と、を有する、ことを特徴とする付記1又は2に記載の画像再構成装置。付記4前記補間手段は、前記取得された情報で表される前記第1サブ画像と前記第2サブ画像とから同一のエピポーラ平面上の第1画素列と第2画素列とを抽出する抽出手段と、前記抽出された前記第1画素列、前記第3サブ画像の前記エピポーラ平面上の第3画素列、前記抽出された前記第2画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、前記エピポーラ画像を構成する前記第3画素列上の所定の画素を通過する複数の直線から、前記被写体上の同じ点を表す前記第1画素列上の第1画素と、前記第2画素列上の第2画素とを通過する直線を、前記第1画素の画素値と前記第2画素の画素値との相違に基づいて推定する直線推定手段と、前記所定の画素の画素値を、前記推定された直線が通過する前記第1画素の画素値と前記第2画素の画素値とに基づいて決定する画素値決定手段と、を有する、ことを特徴とする付記1又は2に記載の画像再構成装置。付記5前記直線推定手段は、前記第1画素の画素値と前記第2画素の画素値との相違が所定の閾値よりも小さい場合に、前記第1画素と前記第2画素とを通過する直線を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定し、前記画素値決定手段は、前記第3画素列を構成する画素を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する場合には、当該直線が通過する前記第1画素の画素値及び前記第2画素の画素値に基づいて当該画素の画素値を決定せず、前記被写体上の同じ点を表す複数の画素を通過する直線であると推定された直線が当該画素を通過する場合には、当該直線が通過する前記第1画素列上の画素の画素値及び前記第2画素列上の画素の画素値に基づいて当該画素の画素値を決定する、ことを特徴とする付記3又は4に記載の画像再構成装置。付記6前記再構成手段は、前記第3画素列を構成する複数の画素の内で、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する画素の画素値を、前記被写体の画像への再構成に利用しない、ことを特徴とする付記5に記載の画像再構成装置。付記7第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得ステップと、前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間ステップと、前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得ステップと、前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成ステップと、前記再構成された画像を表す情報を出力する画像情報出力ステップと、を含むことを特徴とする画像再構成方法。付記8コンピュータに、第1サブレンズと第2サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得機能、前記取得された情報で表されるレンズアレイ画像を構成する第1サブ画像と第2サブ画像とに基づいて、前記第1サブ画像を結像させた第1サブレンズと前記第2サブ画像を結像させた第2サブレンズとの間に第3サブレンズを配置した場合に当該第3サブレンズが結像させる第3サブ画像を補間する補間機能、前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得機能、前記補間された第3サブ画像と、前記取得された情報で表される第1サブ画像と第2サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成機能、前記再構成された画像を表す情報を出力する画像情報出力機能、を実現させることを特徴とする画像再構成プログラム。