"複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得部と、前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、を備えることを特徴とする補間画像生成装置。前記判別部は、前記実画素の信頼度が高い順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、ことを特徴とする請求項1に記載の補間画像生成装置。前記判別部は、前記実画素が、より手前に存在する被写体の部位に対応する実画素から順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、ことを特徴とする請求項1に記載の補間画像生成装置。前記実画素抽出部は、前記実画素のそれぞれについて対応する実画素を、エピポーラプレーン画像上で、直線上の実画素間の画素値が互いに異なる程度である誤差値に基づいて直線検出することで抽出する、ことを特徴とする請求項1乃至3のいずれか一項に記載の補間画像生成装置。前記実画素抽出部は、異なる検出基準を用いて複数回繰り返して直線検出し、直線検出が完了した実画素を、次回以降の繰り返し処理において直線検出の誤差値の算出対象から除外する、ことを特徴とする請求項4に記載の補間画像生成装置。前記実画素抽出部は、前記誤差値が所定の閾値以下であることを前記直線検出の検出基準とし、直線検出を繰り返すにつれて当該閾値を大きくする、ことを特徴とする請求項5に記載の補間画像生成装置。前記実画素抽出部は、より先の繰り返し処理で直線検出された実画素の信頼度がより高くなるように前記実画素の信頼度を算出する、ことを特徴とする請求項5又は6に記載の補間画像生成装置。前記実画素抽出部は、前記実画素抽出部が検出した直線と前記エピポーラプレーン画像の法線とが成す角度の大きさに基づいて、前記信頼度を算出する、ことを特徴とする請求項4乃至6のいずれか一項に記載の補間画像生成装置。メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数の撮影画像を取得する画像取得部と、前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、前記複数のマイクロレンズの光学中心に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、前記画像取得部が取得した複数の画像と、前記補間画像生成部が生成した補間画像と、から、新たにフォーカスされた画像を再構成する再構成手段と、前記再構成された画像の情報を出力する画像情報出力手段と、を備えることを特徴とする再構成画像生成装置。複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得ステップと、前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出ステップと、各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出ステップと、前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義ステップと、前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出ステップと、前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別ステップと、前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成ステップと、を含むことを特徴とする補間画像生成方法。コンピュータに、複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得機能、前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出機能、各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出機能、前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義機能、前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出機能、前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別機能、前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成機能、を実現させることを特徴とするプログラム。ライトフィールド画像では、隣り合うサブ画像の間に、両画像を取得した視点のずれ視差に対応した画素抜けが発生する。この画素抜けは、ライトフィールド画像から新たな画像を再構成した際に周期的なノイズの原因となる。上記問題を解決するため、特許文献1は、2つのサブ画像の間に、両サブ画像に対応する視点の間に位置する視点から撮影されたと推定される補間画像を生成し、この補間画像を用いて画素抜けを補間することを提案している。しかし、特許文献1は、補間画像を用いて再構成することを提案するだけで、補間画像を生成する方法を開示していない。本発明は、上記事情に鑑みてなされたものであり、複数の視点から被写体を撮影した複数の画像からノイズの少ない再構成画像を生成するための補間画像を生成する技術を提供することを第1の目的とする。また、本発明は、高品質の画像を再構成する技術を提供することを第2の目的とする。上記目的を達成するため、本発明に係る補間画像生成装置は、複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得部と、前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、を備えることを特徴とする。本発明によれば、複数の視点から被写体を撮影した複数の画像からノイズの少ない再構成画像を生成するための補間画像を生成できる。また、本発明を用いれば、高品質の画像を再構成できる。以下、本発明を実施するための形態に係る補間画像生成装置及び再構成画像生成装置を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。実施形態1実施形態1に係る補間画像生成装置30は、図1に示すデジタルカメラ1に搭載されている。デジタルカメラ1は、i被写体を撮影して画像を得る機能、ii同一の被写体を複数の視点から撮影して得られた複数の画像サブ画像間の視点のずれ視差によって生じる情報抜けギャップを埋めるための補間画像を生成する機能、iiiサブ画像と補間画像とを用いて、任意の再構成画像を生成する機能、等を備える。補間画像生成装置30は、これらの機能のうち、補間画像を生成する機能を担当する。デジタルカメラ1は、図1に示すように、撮像部10と、補間画像生成装置30を含む情報処理部20と、記憶部40と、インターフェース部I/F部50と、から構成される。デジタルカメラ1は、このような構成により、外部からの光線情報を取得して、光線情報を表す画像を表示する。撮像部10は、光学装置110と、イメージセンサ120と、から構成され、撮像動作を行う。光学装置110は、図2に示すように、シャッタ111と、絞り112と、メインレンズMLと、マイクロレンズアレイLAと、から構成され、外部からの光線をメインレンズMLによって捉え、各サブレンズSLの光学中心を視点として得られる光学像をイメージセンサ120に投影する。イメージセンサ120は、光学装置110が投影した光学像を電気信号に変換して情報処理部20に伝達するもので、例えば、CCDChargeCoupledDeviceやCMOSComplementallyMatalOxideSemiconductorなどの撮像素子と、撮像素子が生成した電気信号を情報処理部20に伝達する伝達部と、から構成される。シャッタ111は、イメージセンサ120への外部光の入射と遮蔽を制御する。絞り112は、イメージセンサ120に入射する光の光量を制御する。メインレンズMLは、一又は複数の凸レンズから構成され、被写体OBの光を光学像としてメインレンズMLとマイクロレンズアレイLAとの間の仮想的な結像面IP上に結像させる。マイクロレンズアレイLAは、平面上に格子状に配置されたM×N個のサブレンズマイクロレンズSLから構成される。マイクロレンズアレイLAは、メインレンズMLが結像面IP上に結像させた光学像を、それぞれのサブレンズSLの光学中心を視点として観測した光学像として、イメージセンサ120を構成するイメージセンサの撮像面IE上に結像する。メインレンズMLが成す平面と撮像面IEが成す平面とから構成される空間をライトフィールドと呼ぶ。撮像部10は、上記構成により、ライトフィールドを通過する全ての光線の情報を含んだライトフィールド画像を撮影する。ブロック状の被写体OBを撮影したライトフィールド画像LFの一例を図3に示す。このライトフィールド画像LFは、格子状に配置されたM×N個のサブレンズSLのそれぞれに対応する画像サブ画像S、S11~SMNから構成されている。例えば、左上のサブ画像S11は、被写体を左上から撮影した画像に相当し、右下のサブ画像SMNは被写体を右下から撮影した画像に相当する。第i行のサブ画像横の一列のサブ画像Si1~SiNは、メインレンズMLが結像した像を、マイクロレンズアレイLAの第i行の横に並んだサブレンズSLで結像したステレオ画像に相当する。同様に、第j列のサブ画像縦の一列のサブ画像S1j~SMjは、メインレンズMLが結像した像を、マイクロレンズアレイLAの第j列の縦に並んだサブレンズSLで撮影したステレオ画像に相当する。なお、各サブ画像Sはグレースケール画像であり、サブ画像を構成する各画素は画素値スカラー値を持つ。図1に示す情報処理部20は、物理的にはCPUCentralProcessingUnitと、RAMRandomAccessMemoryと、内部バスと、I/Oポートと、から構成され、画像処理部210、補間画像生成装置30、画像再構成部220、撮像制御部230、として機能する。画像処理部210は、イメージセンサ120から電気信号を取得し、取得した電気信号を記憶部40の撮像設定記憶部410に記憶されている撮像設定情報に基づいて画像データに変換する。画像処理部210は、画像データと撮像設定情報とを補間画像生成装置30に伝達する。撮像設定情報は、ライトフィールド画像の各サブ画像に対応する視点サブレンズSLの光学中心の位置情報、メインレンズMLのフォーカスについての情報、絞りF値の情報、イメージセンサ120の設定情報、等を含む。補間画像生成装置30は、画像処理部210で生成された画像データと記憶部40から読み出された撮像設定情報とから、画像処理部210が生成した画像ライトフィールド画像を構成するサブ画像を補間する補間画像を生成する。なお、補間画像生成装置30の構成及び補間画像の生成方法については、後述する。補間画像生成装置30は、生成した補間画像の画像データ及び補間画像の設定情報を、画像処理部210から伝達されたライトフィールド画像の画像データ及び撮像設定情報と共に画像再構成部220に伝達する。画像再構成部220は、補間画像生成装置30から伝達されたライトフィールド画像と補間画像とを用いて記憶部40の再構成設定記憶部420に記憶された再構成設定に合致する再構成画像を生成する。なお、再構成画像の生成方法は、例えば、特許文献1に例示されている方法を使用する等、任意である。画像再構成部220は、生成した再構成画像を記憶部40の画像記憶部430に記憶する。撮像制御部230は、記憶部40の撮像設定記憶部410に記憶された撮像設定情報に基づいて撮像部10を制御する。記憶部40は、RAMRandom-AccessMemory等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成される。主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、情報処理部20の作業領域として用いられる。外部記憶装置は、後述する処理を情報処理部20に行わせるための制御プログラムと情報とをあらかじめ記憶し、これらの制御プログラムや情報を情報処理部20の指示に従って主記憶装置に伝達する。また、情報処理部20の指示に従って、情報処理部20の処理に基づく情報とインターフェース部50から伝達された情報とを記憶する。記憶部40は、機能的には、撮像設定記憶部410と、再構成設定記憶部420と、画像記憶部430と、から構成される。撮像設定記憶部410は、撮像設定情報を記憶する。撮像設定情報は、マイクロレンズアレイLAを構成する各サブレンズSLの位置情報と、マイクロレンズアレイLAとイメージセンサ120の撮像面IEとの距離と、メインレンズMLとマイクロレンズアレイLAとの距離と、露光時間を特定する情報と、を含む。撮像設定情報は、インターフェース部50の操作部530から入力された撮像のF値、シャッタ速度、拡大率、等の撮像パラメータをさらに含む。撮像設定記憶部410は、撮像設定情報のうち、撮像パラメータを撮像制御部230に伝達する。また、撮像設定記憶部410は、撮像部10の物理特性を示す情報と撮像設定情報とを画像処理部210に伝達する。再構成設定記憶部420は、操作部530から入力された再構成設定情報を記憶する。再構成設定情報は、再構成処理の具体的内容を示す情報と再構成パラメータとから構成される。ここでは、ライトフィールド画像LFをリフォーカスした画像を再構成する場合について説明する。このとき、再構成設定情報はリフォーカスする旨の情報と、新たな画像のフォーカス点とレンズとの距離を特定する情報と、を含む。画像記憶部430は、画像再構成部220が再構成した画像を記憶する。画像記憶部430は、インターフェース部50のI/O部510と表示部520とに、記憶した画像を伝達する。インターフェース部図ではI/F部と記述する50は、デジタルカメラ1とその使用者ユーザあるいは外部装置とのインターフェースに係る構成であり、I/O部510と、表示部520と、操作部530と、から構成される。I/O部Input/Output部510は、物理的にはUSBUniversalSerialBusコネクタやビデオ出力端子と、入出力制御部と、から構成される。I/O部510は記憶部40に記憶された情報を外部のコンピュータに出力し、外部から伝達された情報を記憶部40に伝達する。表示部520は、液晶表示装置や有機ELElectroLuminescenceディスプレイ等から構成され、撮像設定記憶部410や再構成設定記憶部420に記憶される設定情報を入力するための画面や、デジタルカメラ1を操作するための画面を表示する。また、表示部520は、画像記憶部430に記憶された画像を表示する。操作部530は、例えばデジタルカメラ1に備えられた各種ボタンや表示部520に備えられたタッチパネルと、各種ボタンやタッチパネルに行われた操作の情報を検出して記憶部40と情報処理部20とに伝達する制御部によって構成され、ユーザ操作により入力された情報を入力する。次に、補間画像生成装置30の構成について、図4を参照して説明する。補間画像生成装置30は、図4aに示すように情報処理部31と、主記憶部32と、外部記憶部33と、操作部34と、表示部35と、入出力部36と、内部バス37と、から構成される。情報処理部31は、CPUCentralProcessingUnitと、RAMRandomAccessMemoryから構成される。主記憶部32は、記憶部40の主記憶装置と同様の物理構成を持つ。外部記憶部33は、記憶部40の外部記憶装置と同様の物理構成を持ち、プログラム38を記憶している。操作部34は、操作部530と同様の物理構成を持つ。表示部35は、表示部520と同様の物理構成を持つ。入出力部36は、IO部510と同様の物理構成を持つ。内部バス37は、主記憶部32と、外部記憶部33と、操作部34と、表示部35と、入出力部36と、を接続する。主記憶部32と、外部記憶部33と、操作部34と、表示部35と、入出力部36と、内部バス37と、はデジタルカメラ1の情報処理部20の内部回路と、記憶部40と、インターフェース部50と、によって実現される機能ブロックであってもよい。補間画像生成装置30は、外部記憶部33に記憶されたプログラム38及びデータを主記憶部32にコピーして、情報処理部31が、主記憶部32を使用してプログラム38を実行することにより、後述する補間画像生成処理を実行する。補間画像生成装置30は、上記のような物理構成により、図4bに示すように、入力部310と、情報処理部320と、記憶部330と、操作部340と、出力部350と、として機能する。入力部310は、画像処理部210から、ライトフィールド画像LFを取得する画像取得部311と、そのライトフィールド画像LFを取得したときの撮像設定情報を取得する画像設定取得部312と、から構成される。情報処理部320は、画像取得部311が取得したライトフィールド画像LFと、画像設定取得部312が取得したそのライトフィールド画像LFの撮像設定情報と、補間設定記憶部332に記憶された補間設定と、に基づき、補間画像を生成する。情報処理部320は、生成した補間画像を画像取得部311が取得した画像と共に記憶部330の補間情報記憶部333に記憶する。記憶部330は、工場出荷時に記憶された設定情報と、操作部340を用いてユーザが入力した入力情報と、情報処理部320の処理結果と、を記憶する。記憶部330は、情報処理部320から要求された情報を情報処理部320に伝達する。また、記憶部330は、記憶した情報を出力部350に伝達する。情報処理部320は、下記する処理を実行することにより、EPI生成部321、角度推定部322、補間画像設置部323、対応検出部324、対応評価部325、画素値加算部326、として機能する。EPI生成部321は、入力部310の画像取得部311からライトフィールド画像LFを、画像設定取得部312からそのライトフィールド画像LFの撮像設定情報を、それぞれ受け取ると、EPIEpipolarPlaneImage、エピポーラプレーン画像を生成する。EPI生成部321は、生成したEPIを角度推定部322と、補間画像設置部323と、に伝達する。ここで、EPI生成部321がライトフィールド画像LFから生成するEPIについて、図5を参照して説明する。理解を容易にするために、ここでは図5aのように横X軸方向に並んだ4つサブレンズSL1~SL4で、無限遠に存在する背景Bと、レンズサブレンズSL1~SL4からZ軸方向に距離zだけ離れた物体Aと、を撮影したライトフィールド画像LFからEPIを生成する場合について説明する。なお、背景Bは互いに異なる画素に対応する部分B1~B25から構成されるとする。また、物体Aは互いに異なる画素に対応する部分A1~A7から構成されるとする。サブレンズSL1~SL4は、それぞれイメージセンサ120の撮像面IE上にサブ画像S1~S4を結像させる。言い換えると、サブ画像S1~S4は、それぞれ被写体をサブレンズSL1~SL4の光学中心を視点として撮影した画像である。サブ画像S1~S4は、図5bに示すように、それぞれ縦V軸方向にv個、横U軸方向にuここでは25とする個の画素が格子状に並んで構成されている。サブレンズSL1~SL4の光学中心は、それぞれ距離視差d1~d3ずつ離れている。ここでは視差d1~d3は同じ値dであるとする。視差dの値は、マイクロレンズアレイLAを用いて撮影する場合はマイクロレンズアレイLAの物理的な構成によって定まる。視差dの値は撮像設定情報に含まれる。サブ画像S1~S4の縦V軸方向は被写体空間のY軸方向に、横U軸方向は被写体空間のX軸方向に、それぞれ相当する。サブ画像S1~S4の同じ行例えばi行目の各画素列は、同一のエピポーラ平面に対応する画素列である。エピポーラ平面とは、被写体の注目点と、被写体を撮影する2つの視点と、の三点が形成する平面である。あるエピポーラ平面に対応する画素列を、対応する視点の順番に配置した画像が、EPIである。以下、EPIを構成する実際に撮影された画像実画像の各列を実画素列と、実画素列の各画素を実画素と表記する。なお、EPIは、図5の例ではサブ画像S1~S4から、サブ画像のV軸方向の画素列の数V個だけ定義できる。図5cは、図5bのサブ画像S1~S4のi行目の各画素列を順に並べて生成したEPIを示す。ここで、EPIの縦方向図5cのX軸は、被写体空間図5aのX軸に対応する。また、EPIの横方向図5cのU軸は、サブ画像図5aのU軸に対応する。EPIのU軸方向の各列を構成する画素に、画素ナンバここでは1~25を割り当てる。EPIの各行は、X軸方向に、対応する視差d1~d3に対応する間隔で配置される。なお、視差d1~d3が略同一である場合は、各行間を隣接して配置しても良い。図5cのEPIの各画素内には、その画素に対応する被写体の部分を示す符号A1~A7,B1~B25が記載されている。例えば、物体Aの部分A1に対応する画素は、実画素列1R1では画素ナンバ7の画素に現れ、実画素列2R2では画素ナンバ10の画素に現れる。実画素列1と実画素列2とにおける画素ナンバの差Δ1は3である。各EPIの行間実画素列1R1と実画素列2R2との間、実画素列2R2と実画素列3R3との間、実画素列3R3と実画素列4R4との間で生じる画素ナンバの差ΔΔ1~Δ3をその被写体のEPI視差と呼ぶ。視差d=d1=d2=d3が等しい場合はEPI視差Δ1~Δ3も等しい。実画素列1R1~実画素列4R4が、対応するサブレンズSL1~SL4の間の視差d1~d3に対応する間隔で配置されているため、同一の被写体に対応するEPI上の画素は、EPI上で直線上に並ぶ。具体的には、例えば物体Aの右端A7の部分に対応する画素は、図5cの直線LA7上に並ぶ。ここで、直線LA7を、被写体部分A7のEPI直線と呼ぶ。EPI直線は、対応する被写体が近いほどEPIのX軸に対して大きな角度を持つ。これは、被写体例えばA7が近くにあればあるほど、被写体A7からレンズL1~L4に進入する光の角度が視差d1~d3により大きく変化するため、対応する画素の位置画素ナンバが互いに大きくU軸方向にずれるためである。一方、例えば被写体が背景BのようにレンズL1~L4から十分離れた場所にある場合は、光はレンズL1~L4に略平行に進入するため、対応する画素の位置画素ナンバはU軸方向で変化せず、EPI直線LB1のように、EPIのX軸に対して平行となる。被写体上のある点Qに対応するEPI直線LQとX軸との交差角度θQは、点Qとサブレンズとの間の距離zq、視差d、マイクロレンズアレイLAと撮像面IEとの距離、撮像素子間の距離、等によって定まる。EPI視差Δ=Δ1=Δ2=Δ3が大きいと、EPIの各行で大きな情報のギャップ画素抜けが存在することとなる。この画素抜け情報ギャップは画像の再構成を行った際のノイズの原因となる。そこで、本実施形態では、サブ画像の間に仮想的な補間画像を生成して、EPIの実画素間列の間に配置して再構成画像の生成に用いて画素抜けによるノイズを低減する。図4bに戻って、EPI生成部321は生成したEPIを角度推定部322と、補間画像設置部323と、に伝達する。サブ画像Sが横にN個、縦にM個存在しており、それぞれの実画像が縦にV個の画素列、横にU個の画素列で構成されている場合、EPIは合計でVNUM個定義できる。EPI生成部321は、MN個のサブ画像Sからなるライトフィールド画像LFを取得すると、上記VNUM個のEPIをすべて生成する。角度推定部322は、EPI生成部321からEPIを伝達されると、EPI上の各実画素について、補間設定記憶部332に記憶された補間設定を用いて、EPI直線がX軸と成す角度θを推定する。補間設定の情報は、生成する補間画像の数、補間画像を設置する相対位置、角度推定に用いられるパラメータ、等を含む。補間設定は、操作部340を用いてユーザが定義し、補間設定記憶部332に記憶されている。補間設定は、工場出荷時にあらかじめ補間設定記憶部332に記憶されている情報であってもよい。処理対象となる実画素についてEPI直線がX軸と交差する角度θを推定する処理の概要を説明する。注目実画素を画素PxlRx、uと表記する。Rxは注目実画素が実画素列Rxx列目の実画素列の画素であること、uは注目実画素が実画素列Rx中のu番目の画素であることを意味する。そして、注目実画素PxlRx、uを通過するX軸となす角が角度θである直線をLineθと表記する。実画素列2R2の画素ナンバ16の画素PxlR2、16を注目実画素とした角度θを推定する処理の例を図6に示す。図6は、画素PxlR2、16に対して定義された、複数のθに対応する複数の直線Lineθを示している。そして、各直線Lineθ上にあるR1~R4の実画素について、PxlRx、uの直線LineθがEPI直線である確からしさの評価値Cを直線上に存在する画素値の差に基づいて算出する。評価値Cは式1に基づいて算出される。評価値Cの値C値が小さいほど直線Lineθ上の実画素の画素値の誤差が小さく、その直線上の画素が対応する信頼度が高い。評価値Cの信頼度がもっとも高くなる角度θを導出して、その実画素について推定されたEPI直線の角度θとする。式1のIは注目画素の画素値、EPIはLine上にある注目画素以外の各画素を表すパラメータ、Ikは直線上にある注目実画素以外の各画素の画素値、Kは直線上にある注目実画素以外の画素の数である。なお、評価値Cは、式1に限らず、直線Lineθ上の各画素の画素値の誤差が大きいほど解が大きくなる任意の算出式を用いて算出してもよい。たとえば、評価値Cは、注目実画素の画素値と直線上の画素値の差を二乗して加算し、Kで除算する式を用いて算出されてもよい。なお、直線Lineθ上に存在する画素は、以下の処理により抽出される。1Lineθと各画素列の中心線との交点Pcを求める。2交点Pcが画素列の画素Aの中心と画素Bの中心の中間にある場合、画素Aと画素Bのうち中心が交点Pcと近い画素がその画素列においてLineθ上に存在する画素として選択される。3交点Pcが画素Aの中心である場合、画素Aがその画素列においてLineθ上に存在する画素として選択される。4交点Pcが画素列から外れている場合図6の例では、画素ナンバ1又は画素ナンバ25の外側にある場合、その画素列にはLineθ上の画素は存在しない。図4bに示す角度推定部322は、評価値Cの信頼度が最も高い角度θをその画素の推定EPI直線とし、そのC値が所定の閾値以下であればその角度θを後述する実画素情報リストに登録する。例えば、図6の注目実画素PxlR2、16に対応する被写体A7に対応する画素はLineθ2上に存在するため、角度θ2が画素R2、16に登録される。このとき、EPI直線を推定することが困難な画素がある。例えば、図6の画素PxlR4、13に対応する被写体は、図5に示す背景Bの部分B13である。B13に対応する画素は、物体Aが無ければ、X軸に対して平行な角度0のEPI直線PxlR4、16のLine0上に存在するはずである。しかし、B13は、実画素列1~3では物体Aに隠れてしまっているため、画素PxlR4、13に対応する画素は実画素列1~3には存在しない。そのためEPI直線を推定することが出来ない。また、例えば、画素PxlR4、8に対応する被写体は、背景Bの部分B8である。部分B8に対応する画素は、実画素列2~3ではPxlR4、8のLineθ0上に存在するが、実画素列1では物体Aに隠れているため存在しない。このため、PxlR1、8の画素値によっては、直線Line0を正しく推定できず、角度0とは異なる角度θがPxlR4、8について登録されてしまう可能性がある。そこで補間画像生成装置30は、繰り返して推定処理を行い、信頼度が高い推定直線が得られた画素を、次の繰り返しにおける推定処理で処理対象から排除して推定処理を行う。この処理について、図7を参照して説明する。まず、図7で斜線又は網目で示された実画素は、EPI上の実画素列1~4のすべてに対応する実画素が存在するため、ノイズの影響を考えなければ、高い信頼度小さいC値のEPI直線を推定することができる。一度目の推定処理を、C値が予め信頼度が高くなるように小さい数値に設定された閾値以下で有る場合に限り角度θを登録するという条件で実行する。その結果、対応関係が確実な画素斜線の画素及び網掛け線の画素についてだけEPI直線が推定され、角度θが登録される。そして、次回以後のループでは、計算対象から角度θが登録された実画素を排除する。次に、一度目の推定処理で角度θが登録されなかった実画素だけを用いて、2度目の推定処理を行う。このとき、閾値が一度目の推定処理と同一であっても、式1の計算対象となる画素が減少しているため、2回目の推定では楕円で示された画素について角度θを推定することができる。例えば、2度目の推定処理でPxlR4、7の直線を推定する際には、PxlR1,7の画素値は計算対象から排除される。そのため、PxlR4、7の画素値とPxlR1,7の画素値の差は式1において加算されないため、角度0をPxlR1,7の画素値に影響を受けず、正しくEPI直線を推定することができる。以後、同様の動作を角度θが登録されなかった実画素だけを用いて順次実行する。本実施形態によれば、各直線について評価値Cを算出し、評価値Cが小さい直線を推定EPI直線とすることで、各実画素に対応する実画素をEPI上で簡便に推定することができるという効果が得られる。また、一度角度θが登録された画素を次回以降の角度θ推定処理で比較対象から排除することで、対応関係が確かなオクリュージョンによって遮蔽されていない被写体に対応する画素から順に角度θを登録し、さらにオクリュージョンによって遮蔽されている被写体に対応する画素の対応関係を、遮蔽している被写体に対応する画素の影響を受けずに推定することができる。ある画素に何度目の推定処理で角度θが登録されたかによって、その画素に対応する被写体がオクリュージョンによって遮蔽されている程度を評価することができる。少ない処理回数で角度θが登録された画素ほど、対応する被写体がオクリュージョンによって遮蔽されている可能性が低いと評価できる。そこで、角度θが何回目の処理イテレーションで登録されたか、その回数イテレーション数を、その画素の角度θの評価値ITとして画素と対応付けて記憶する。なお、図7で黒く塗りつぶされたPxlR4、13のように、対応する画素が無く角度の推定ができない所定の閾値閾値の最大値より小さいC値を持つEPI直線を推定できない画素もある。このような画素については角度θを空値NULLとして記憶する。ノイズによってC値が閾値より低い直線を検出できなかった場合も同様である。図4bに示す角度推定部322は、各画素について、推定されたEPI直線の角度θと、EPI直線の推定過程で算出されるその直線の評価値ITイテレーション数と、を対応づけて登録した実画素情報リストを生成し、実画素情報記憶部331に記憶する。ここで、実画素情報記憶部331に記憶される実画素情報リストについて、図8を参照して説明する。実画素情報リストは、実画素列上の各画素について、推定されたEPI直線の角度θと、角度θの評価値IT角度θが登録されたイテレーション数と、を対応づけて記憶する。実画素IDは、その行に登録されている画素を一意に表す識別子である。実画素列IDは、その行に登録されている画素がどの実画素列の画素であるかを示す。画素ナンバは、その行に登録されている画素の画素ナンバを示す。例えば、ある行の実画素列IDが01、画素ナンバが1であることは、その行が、画素列R1の1番目の画素PxlR1、1の角度θと評価値ITを登録していることを示す。θは、その行の実画素について推定されたEPI直線のX軸との角度θである。θが0であることは、その画素に対応する被写体が、レンズから無限遠と同一視できる程度に遠くに存在すると推測されることを意味する。一方、θが大きいことは、その画素に対応する被写体が、レンズに近い位置に存在することを示す。θは、0からカメラの性質によって定まる最大値θmaxまでのいずれかの値を取る。なお、θmaxの値は、撮像設定記憶部410に記憶されている。評価値ITは、その画素に登録された角度θが何回目のイテレーションで登録されたかを示す数値である。この数値が小さいほど、その画素に登録された角度θは信頼度が高い。図4bにもどって説明を続ける。補間画像設置部323は、EPI生成部321からEPIを伝達されると、補間設定記憶部332が記憶する補間設定情報に基づいて、EPI上に補間画像の画素列を定義する。ここで、EPI上に定義される補間画像の画素列について、図9を参照して説明する。EPI生成部321から伝達されたEPIには、撮影された画像の画素列が視差に対応する間隔で配置されている。図9では、上述の例に沿って、実画素列1~4EPIの第1行、第4行、第7行、第10行が、視差dに対応する間隔で配置されている例を示す。補間画像設置部323は、補間設定情報に基づき、実画素列の間に所定数の補間画素列を配置する。ここでは、補間設定情報により、実画素列の間に補間画素列を2列ずつ均等に挿入すると定義されているものとする。この場合、補間設定情報に従って、EPI上に補間画像の画素列補間画素列1~6、V1~V6EPIの第2行、第3行、第5行、第6行、第8行、第9行を挿入する。補間画像設置部323は実画素列と実画素列との間に補間画素列を挿入する。このとき挿入される補間画素列の各画素補間画素の画素値はゼロである。この処理は、サブレンズSL1~SL4実レンズの間に仮想的なレンズ補間レンズを設置し、補間レンズから得られると推測される画像の画素列のひな形をEPI上に配置することと等しい。例えば、図9の補間画素列1は、実画像S1に対応するレンズSL1と、実画像S2に対応するサブレンズSL2と、の間に存在する補間レンズSLV1から得られると推定される仮想的なサブ画像補間画像SV1のv行目の画素列である。補間レンズSLV1は、サブレンズSL1~SL4がなす直線上であって、サブレンズSL1から仮想視差dv=d1/3だけ離れた位置に存在する。補間画素列を挿入するEPI上の位置及び挿入する画素列の数は、補間設定によって適宜定めることが出来る。例えば、実画素列1から仮想視差dv1=d1/5だけ離れた補間画像の補間画素列1と、仮想視差dv2=d1/2だけ離れた補間画素列2を、実画像S1の実画素列1と実画像S2の実画素列2の間に挿入しても良い。また、実画素列1と実画素列2の間に3つの補間画素列を挿入し、実画素列2と実画素列3の間には補間画素列を挿入しない、といった設定も可能である。図4bに戻って説明を続ける。補間画像設置部323は、補間画素列を挿入したEPIを、対応検出部324に伝達する。対応検出部324は、伝達されたEPIの各実画素について、その画素と対応する補間画素を抽出する。対応検出部324は、EPI上の各実画素について、その実画素と、その画素について登録された推定EPI直線上の補間画素と、を対応する画素の集合として検出する。この処理は、信頼度が高い登録された評価値ITが小さい実画素から順に行われる。各画素の集合に対して、実画素の評価値ITをその対応関係の信頼度評価値ITrとする。対応検出部324は、実画素一つと、その実画素に対応する補間画素の集合と、その対応の評価値ITrと、を示す情報以下、対応情報と記すを抽出すると、当該対応情報を対応評価部325に伝達する。対応評価部325は、対応検出部324から対応情報を伝達されると、その対応関係の確からしさを評価する。この評価は、その対応の評価値ITrと、補間情報記憶部333に記憶された後述する補間画素リストに基づいて行われる。具体的な評価方法は後述する。対応評価部325は、一つの対応情報について対応の確からしさの評価が完了すると、対応情報と評価結果とを画素加算値部326に伝達する。画素値加算部326は、伝達された対応情報と評価結果とに基づき、EPI画像の補間画素に画素値を加算する。そして、加算結果を補間情報記憶部333に記憶された補間画素リストに記憶する。ここで、補間情報記憶部333に記憶される補間画素リストについて、図10を参照して説明する。補間画素リストは、EPI上の各補間画素を一意に示す補間画素ID補間画素列IDと画素ナンバーと、その補間画素の現在までの画素値と、その補間画素に実画素の画素値が加算された回数加算回数と、その補間画素の評価値ITrと、を対応づけて記憶している。一度も画素値が加算されていない場合は、画素値と評価値ITrはNULLである。ここで、補間画素の評価値ITrは、その画素に対応する実画素それまでにその補間画素に画素値を加算した実画素のうち、もっとも評価値ITが小さいもっとも信頼度の高い実画素の評価値である。ここで、対応検出部324、対応評価部325,画素値加算部326、が行う補間画素値加算処理の概要を、図11を参照して説明する。図11では、その補間画素に画素値が加算された回数を補間画素列の補間画素内の数値で示す。なお、加算回数0の表記は省略している。まず、対応検出部324が、図11aで斜線で示された実画素PxlR1,7を注目実画素とし、実画素情報記憶部331に記憶されている実画素情報リストから登録されている角度θを読み込み、角度θに基づいて対応する補間画素推定されたEPI直線上の補間画素としてPxlV1、8、PxlV2、9、PxlV3、11、...を検出する。次に、対応評価部325は、PxlR1、7とPxlV1、8との対応の確からしさを評価する。即ち、PxlV1、8の両隣の画素に、PxlR1,7より評価値ITが低いより信頼度が高い実画素から画素値がすでに加算されているか否かを、補間画素リストを参照して判別する。両隣の画素により評価値ITが低い実画素から画素値が加算されていない場合、対応は確かであると推定する。図11aの場合、PxlV1、8の両隣PxlV1、7とPxlV1、9には未だ画素値が加算されていないので、対応評価部325はPxlR1、7とPxlV1、8との対応は確かであると判別する。そして、画素値加算部326がPxlV1、8にPxlR1、7の画素値を加算する。具体的には、補間画素リストのPxlR1、7の行の加算回数をインクリメントし、画素値を加算する。さらに、その行の評価値がNULLであれば、評価値ITrに実画素PxlR1,7の評価値ITを登録する。すでに画素値が一度以上加算されている場合、次の式2を用いて算出された数値を加算後の数値として登録する。このとき、V’は更新後の画素値、Vは更新前の画素値、Valは注目実画素の画素値、tはインクリメント前の加算回数である。以下、注目実画素PxlR1、7について抽出されたその他の補間画素PxlV2、9、PxlV3、11...についても同様に判別処理加算処理が行われる。注目実画素PxlR1,7について処理が終わると、次の注目実画素が選択され、同様に対応する補間画素に画素値が追加される。次の注目実画素がPxlR2、10が注目実画素であった場合の処理結果を図11bに示す。さらに処理が進み、n回目のステップで背景Bの部分B9に対応する画素PxlR2、9が注目実画素に選ばれた場合の処理を図11cに示す。PxlR2,9に登録されたθ値は0であり、対応する補間画素の候補としてPxlV1,9、PxlV2,9、PxlV3,9...が抽出される。図11bでは、PxlR2,10の画素値がPxlV1,8、PxlV2,9、PxlV3,11、に加算されている。対応評価部325は、このPxlR2、9と補間画素PxlV1,9、PxlV2、9、PxlV3、9のそれぞれについて、対応の確からしさを評価する。即ち、抽出された対応候補画素のそれぞれに隣接する補間画素が、すでにより小さい評価値ITを持つ実画素の画素値が加算されている補間画素注目実画素より小さいITrを持つ補間画素である図11cの×で示された画素か否かを判別する。隣接する画素の両方が、注目実画素より小さいITrを持つ補間画素例えばPxlV1,9は、オクリュージョンによって遮蔽されている被写体に対応する画素オクリュージョン画素であると推定される。そのため、その補間画素は注目実画素PxlR2、9とは対応しないと判別して、画素値を加算しない。一方、隣接する補間画素の少なくとも一方のITrが、注目実画素のIT以上の場合にはPxlV2,9及びPxlV3,9、その補間画素はオクリュージョン画素でないとの推定のもと、注目実画素PxlR2、9の画素値が加算される。このとき、隣接する補間画素の一方のみに、より評価値ITの小さい実画素の画素値がすでに加算されている場合も、実画素PxlR2、9の画素値を加算する。このような補間画素はオクリュージョンによって対応する被写体が隠れるエッジ部分に該当すると考えられる。エッジ部分により遠方の被写体に対応する画素の画素値を加算することにより、エッジを丸めることが出来る。オクリュージョン画素か否かを、隣接する補間画素により評価値ITの小さい信頼度が高い実画素の画素値が登録されているか否かによって判別することにより、簡便にオクリュージョン画素か否かを判別して、ライトフィールド画像の奥行き情報を保持した補間画像を生成することが出来る。なお、ここでは隣接する補間画素の双方により評価値ITの小さい実画素の画素値が加算されている場合に限り、その補間画素をオクリュージョン画素であると判別した。しかし、オクリュージョン画素であるか否か判別する基準はこれに限られない。例えば、隣接する画素の少なくとも一つにより評価値の小さい実画素の画素値が加算されている場合にその補間画素をオクリュージョン画素であると判別しても良い。このような判別方法によれば、より厳密に実画素と補間画素の対応を判定することができる。また、隣接する画素でなく、その補間画素そのものにより評価値ITが小さい実画素の画素値がすでに加算されている場合に、その画素をオクリュージョン画素であると判別しても良い。画素値加算処理が終わり、補間情報記憶部333に登録された補間画素リストが更新されると、画素値加算部326は、現在の注目実画素について処理が終了したことを対応検出部324に伝達する。そして、対応検出部324は、次の実画素について対応を検出し、同様に処理を続行する。すべての実画素について上記処理が行われると、そのEPI画像について、補間画像の生成が終わる。EPI生成部321が生成したすべてのEPIについて、補間画像を生成し終えると、出力部350が外部装置に補間済みのEPI補間画像と実画像を出力する。そして、補間画像生成装置30は処理を終了する。次に、上記構成を有する補間画像生成装置30が、補間画像を生成する処理を、図12~図19を参照して説明する。補間画像生成装置30の情報処理部320は、入力部310がライトフィールド画像LF及び撮像設定情報を取得すると、図12に示す補間画像生成処理を開始する。補間画像生成処理が開始されると、入力部310からEPI生成部321に当該ライトフィールド画像LFと当該撮像設定情報が伝達されるステップS101。EPI生成部321は、取得したライトフィールド画像LFと、撮像設定情報と、から図5cに示すEPIを生成するステップS102。EPI生成部321は、生成されたEPIの数Jを算出し、併せてそれぞれのEPIを1~Jまでの数値でナンバリングする。また、カウンタjに1を代入するステップS103。次に、EPI生成部321は、j番目のEPIにフォーカスする。ステップS105~ステップS108は、フォーカスされたEPIについて実行されるステップS104。j番目のEPIについて、角度推定部322は、角度θ登録処理を実行するステップS105。角度θ登録処理については後述する。角度θ登録処理が終了し、j番目のEPIの各実画素に角度θが登録され、実画素情報記憶部331に実画素情報リストが記憶されると、図9に示すように補間画像設置部323がj番目のEPIに補間画素列を挿入するステップS106。補間画素列の挿入が終了すると、対応検出部324、対応評価部325、画素値加算部326、が図11に示した画素値加算処理を行うステップS107。画素値加算処理画素値加算処理1については後述する。画素値加算処理が終わると、そのEPIについては処理を終了する。そしてjとJを比較して、未処理のEPIが残っているか判別するステップS108。jがJ未満であって、未処理のEPIが残っている場合ステップS108;NO、jをインクリメントしステップS109、ステップS104~ステップS108の処理が繰り返す。一方、jがJ以上であって、未処理のEPIが残っていない場合ステップS108;YES、情報処理部320は補間画像生成処理を終了する。補間画像生成処理を終了すると、出力部350は補間情報記憶部333に記憶された、補間画像と実画像とを画像再構成部220に伝達する。その後の処理については後述する。次に、角度θ登録処理ステップS105を、図13を参照して詳細に説明する。角度θ登録処理では、まず角度推定部322が変数を初期化するステップS201。具体的にはitに1を、カウンタnに1を、thに最初の閾値TH0を代入する。また、EPI上の実画素の数Nと、総イテレーション回数ITmaxを取得する。ここで、ITmaxとTH0は、補間設定記憶部332に記憶された数値である。ITmaxとTH0とは、実験等によって求められ予め初期設定で定められた数値であって良いし、ユーザが入力した任意の数値であってもよい。また、角度推定部322は、ステップS201でEPI上の実画素を、1~Nの数でナンバリングする。ステップS201が終わると、次に角度推定部322はn番目の画素を選択して注目実画素とするステップS202。そして、角度推定部322は、実画素情報記憶部331に記憶された実画素情報リストを参照し、注目実画素にすでに角度θが登録されているか否か判別するステップS203。すでに登録されている場合はステップS203;YES、角度推定部322はその実画素については処理を終了する。即ち、nをインクリメントしステップS209、ステップS202にもどる。注目実画素にまだ角度θが登録されていない場合ステップS203;NO、角度推定部322は注目実画素について角度θ推定処理を行うステップS204。角度θ推定処理については後述する。角度θ推定処理が終わり、注目実画素に推定された角度θと、角度θの評価値Cが算出されると、次に角度推定部322は角度θの評価値Cが閾値thがより大きいか判別するステップS205。角度θの評価値Cが閾値thより大きい場合ステップS205;YES、その角度θは、今回のイテレーションにおいて十分な信頼度を持たないので、その画素について今回のイテレーションでは角度θを登録しない。即ち、nをインクリメントしステップS209、ステップS202にもどる。一方、角度θの評価値Cが閾値th以下の場合ステップS205;NO、角度推定部322は注目実画素にその角度θと、評価値IT=現在のイテレーション回数itと、を実画素情報記憶部331の実画素情報リストに登録するステップS206。そして、次に角度推定部322はnがN以上であるか判別するステップS207。nがN未満の場合ステップS207;NO、現在のイテレーションで未処理の実画素があるので、角度推定部322はnをインクリメントしステップS209、ステップS202にもどる。一方、nがN以上の場合ステップS207;YES、このイテレーションでは全ての実画素について処理済みなので、次に角度推定部322はイテレーション回数が終了したか判別するステップS208。即ちitがITmax未満の場合ステップS208;NO、まだ所定のイテレーション回数を終えていないので、itをインクリメントし、nを初期化し、thを新たな閾値THitに更新するステップS210。そして、処理をS202から繰り返す。このとき、閾値thの更新ルールは、補間設定記憶部332に記憶された補間設定によって定まる。閾値thは、イテレーションを繰り返すほど大きくなる直線の判別基準が甘くなる。ここでは、THitは現在のthに所定の差Δthを加算した数値であるとする。なお、ここでは新たなイテレーションで必ず閾値thを更新するとしたが、イテレーションを繰り返す場合に閾値を更新する方法はこれに限られない。そのイテレーションで新たな実画素に角度θが登録された場合は、次のθ推定処理においてその登録された画素を排除して推定処理が行われるため、次のイテレーションで同じ閾値thを利用しても新たな実画素に角度θが登録される可能性がある。そのため、現在のイテレーションで新たな実画素に角度θが登録されていた場合、THitは現在のthと同じであってよい。一方、itがITmax以上の場合ステップS208;YES、所定のイテレーション回数を終えたので、角度推定部322は角度θ登録処理を終了する。次に、角度θ登録処理のステップS204で実行される角度θ推定処理について、図14を参照して説明する。角度推定部322は、角度θ推定処理を開始するとまず変数の初期化を行うステップS301。即ち、カウンタmに1を、注目実画素について推定された角度角度θ推定処理の答えとなる角度θである角度変数θansとその現在までの評価値をあらわす変数maxに空値NULLを、現在の処理対象となる角度を示す変数θmに初期値θ0を代入する。また、角度θ推定処理の繰り返し回数Mを抽出する。Mとθ0は、補間設定記憶部332に記憶された数値である。Mとθ0とは、実験等によって求められ予め初期設定で定められた数値であって良いし、ユーザが入力した任意の数値であってもよい。ここでは、θ0は設計上の最大角度であるθmaxとする。ステップS301が終わると、角度推定部322は次にEPI上の実画素であって、注目実画素を通る角度θmの直線上に存在し、かつ未だ角度θが登録されていない画素を抽出するステップS302。そして、角度推定部322はステップS302で抽出した画素の画素値を式1に用いて注目実画素を通る直線Lineθmの評価値Cを求める。角度推定部322は、次にステップS303で算出した評価値Cが、以前のループで注目実画素に対して算出された評価値Cのうち最も小さい値であるか、即ち、その直線Lineθmが注目実画素のもっとも確からしい直線か否かを変数maxと評価値Cを比較して判別するステップS304。なお、maxの値がNULLだった場合、NULLは無限大として計算する。max≧評価値Cであった場合ステップS304;NO、θmは現時点で注目実画素の最も確からしい直線の角度であるので、変数maxにステップS303で算出した評価値Cを、変数θansにθmを代入するステップS305。一方、max<評価値Cであった場合ステップS304;YES、注目実画素にはより確からしい角度θがすでに登録されているため、角度θmを登録せず、ステップS305をスキップする。次に、角度推定部322は所定の繰り返し回数が終わったか、mとMを比較して判別するステップS306。m≧Mであった場合ステップS306;YES、所定の繰り返し回数M回処理が終わったため、角度推定部322は角度θ推定処理を終了し、θansを注目実画素の推定角度とし、maxの値をその評価値Cとして角度θ登録処理のステップS205を開始する。一方、m<Mであった場合、ステップS306;NO、まだ所定の繰り返し回数処理が終わっていないので、角度推定部332はカウンタmをインクリメントし、θmをθ’に更新してステップS302から処理を繰り返す。ここで、θmの更新ルールは補間設定記憶部332に記憶された設定に従う。ここでは、θ’は、更新前のθmに所定の数値Δθを減算した値とする。次に、図12に示す補間画像生成処理の画素値加算処理ステップS107の第1の具体例画素値加算処理1を図15を参照して説明する。画素値加算処理1では、まず対応検出部324が変数を初期化するステップS401。ステップS401において、対応検出部324は、現在のイテレーション回数を示す変数it2と、カウンタ変数kと、に1を代入する。また、EPI上の実画素の数Nと画素値加算処理1の総イテレーション回数ITmaxとを取得する。また、角度θ登録処理で登録された実画素のナンバリング情報を取得する。ここで、各実画素のナンバは、その実画素が実画素情報記憶部331に記憶された実画素情報リストの何行目に登録されているかによって定まる。ここで、実画素の数Nは角度θ登録処理で抽出された実画素の数Nである。また、総イテレーション回数ITmaxは、角度θ登録処理で抽出したITmaxと同じである。初期化が終わると、対応検出部324はk番目の実画素を選択して注目実画素とするステップS402。具体的には、実画素情報リストのk行目に登録されている実画素の情報を抽出して、その実画素を注目実画素とする。次に、対応検出部324は注目実画素に角度θが登録されているか否か判別するステップS403。即ち、実画素情報リストのk行目の角度θの値がNULLで無いか判別し、NULLであった場合は注目実画素に角度θが登録されていないと判別するステップS403;NO。そして、その画素については処理を終了してステップS406にジャンプする。一方、実画素情報リストのk行目の角度θがNULLで無く、注目実画素に角度θが登録されている場合はステップS403;YES、次に対応検出部324は注目実画素の評価値ITと現在のイテレーション回数it2とを比較するステップS404。注目実画素の評価値ITと現在のイテレーション回数it2が異なる場合ステップS404;NO、その実画素は今回のイテレーションにおいて処理対象ではないため、対応検出部324はその画素については処理を終了する。即ち、対応検出部324はステップS406にジャンプする。一方注目実画素の評価値ITが現在のイテレーション回数it2と等しい場合はステップS404;YES、対応検出部324は注目実画素に基づく補間処理を実行するステップS405。ステップS405で実行される処理については後述する。ここで、注目実画素の評価値ITは、注目実画素の角度θが角度θ登録処理図14の何回目のイテレーションで登録されたかを示す数値である。このように、イテレーション回数it2と等しい評価値ITを持つ実画素に基づいて補間処理を実行し、イテレーションを繰り返すことは、評価値が小さくオクリュージョンによる対応関係の齟齬が発生している可能性がより小さいと推測される実画素から補間処理を実行することである。注目実画素に基づく補間処理ステップS405が終わると、対応検出部324は未処理の実画素が残っているか否か判別するステップS406。具体的には、kがN以上であるか判別し、N未満であった場合はステップS406;NO、対応検出部324はそのイテレーションで未処理の実画素があると判別する。そして、kをインクリメントしステップS407、次の実画素を注目実画素としてステップS402から処理を繰り返す。一方、kがN以上で、そのイテレーションで全ての実画素について処理したと判別するとステップS406;YES、対応検出部324はそのイテレーションを終了する。そして、it2とITmaxを比較して、イテレーションが所定の回数ITmaxだけ繰り替えされたか判別するステップS408。it2がITmax未満であるときステップS408;NO、所定のイテレーション回数だけ処理を繰り返していないと判別し、対応検出部324は次のイテレーションに移行する。具体的には、対応検出部324はit2をインクリメントし、kに1を代入しステップS409、処理をステップS402から繰り返す。一方、it2がITmax以上の場合ステップS408;YES、対応検出部324は画素値加算処理1を終了する。次に、画素値加算処理1のステップS405で実行される注目実画素に基づく補間処理について図16を参照して説明する。注目実画素に基づく補間処理では、まず対応検出部324が実画素情報記憶部331の実画素情報リストからその注目実画素の角度θを抽出する。そして、抽出した角度θに基づき、注目実画素の推定EPI直線Lineθを定義し、EPI直線上にある補間画素を抽出するステップS501。次に、対応検出部324は抽出した補間画素の数Iを取得し、カウンタ変数iに1を代入するステップS502。さらに、対応検出部324はステップS502で抽出した各補間画素を1からIまでナンバリングする。対応検出部324がステップS502を終えると、次に対応評価部325が補間情報記憶部333に記憶された補間画素リストを参照し、i番目の補間画素に隣接する補間画素を抽出するステップS503。即ち、対応評価部325はi番目の補間画素の補間画素列IDIDiと画素ナンバNiを補間画素リストから抽出し、補間画素列IDがIDi、画素ナンバがNi1の補間画素とNi-1の補間画素とを抽出する。そして、対応評価部325は、i番目の補間画素が、オクリュージョン画素であるか否か判別するステップS504。オクリュージョン画素か否かは、ステップS503で抽出した隣接する補間画素の双方に、前回までのイテレーションで画素値が加算されたか隣接する補間画素に、現在のイテレーション回数it2より小さい評価値ITrが補間画素リストに登録されているか否かによって判別される。隣接する二つの補間画素の両方にit2より小さい評価値ITrが登録されている場合、i番目の補間画素はオクリュージョン画素であり、注目実画素とは対応しないと推測できる。即ち、i番目の補間画素は注目実画素が対応する被写体より前方にある被写体に対応する画素であると推測できる。そのため、対応評価部325はi番目の補間画素がオクリュージョン画素であると判別するとステップS504;YES、画素値加算部326に画素値の加算を指示せず、ステップS506にジャンプする。一方、i番目の補間画素がオクリュージョン画素で無いと判別するとステップS504;NO、i番目の補間画素は注目実画素と対応するとの推測に基づき、対応評価部325はi番目の補間画素に注目実画素値を加算することを画素値加算部326に伝達する。画素値加算部326は、i番目の補間画素の画素値を、式2に基づいて加算し、加算した画素値を補間画素リストのi番目の補間画素に対応する行に登録するステップS505。また、ステップS505では、画素値加算部326は現在のイテレーション回数it2が登録された評価値ITr以下であった場合は、it2をその行の新たな評価値ITrとして登録する。画素値加算部326が注目実画素の画素値を補間画素に加算して補間画素リストを更新すると、対応検出部324はステップS501で抽出した補間画素全てについて処理が終わったか否か、iとIを比較して判別するステップS506。iがI以上で、全ての抽出された補間画素について上記処理が終わったと判別するとステップS506;YES、対応検出部324は注目実画素に基づく補間処理を終える。一方、iがI未満であり、未処理の補間画素が残っていると判別するとステップS506;NO、対応検出部324はiをインクリメントしステップS507、次の補間画素についてステップS503から処理を繰り返す。全ての画素について補間画像の加算処理を終了すると、そのEPIについて補間画像の生成が終了したとの判断の元、注目実画素に基づく補間処理を終了する。補間画像生成装置30は、上述の一連の処理により補間画像を生成する。補間画像生成装置30は、上記処理を繰り返して実行することにより、補間画像を実画素に対して平面的に生成する。この平面的な補間画像の生成処理について、図17を参照して説明する。まず、図17において円で示された実画像実11~実12...から、縦横に第1段階のEPIの集合を生成するEPI縦11、EPI縦21...、EPI横11、EPI横21...。横方向のEPIの集合EPI横11、EPI横21、...はそれぞれV個のEPIからなり、マイクロレンズアレイLAの縦方向のサブレンズの数M個だけ定義できる。すなわち、横方向のEPIがVM個定義できる。同様に、縦方向のEPIがNU個定義できる。よって、EPIは合計でVMNU個定義できる。補間画像生成装置30は、実画像を用いてまずVMNU個の正方形で示した第1段階の補間画像を生成する図17a。なお、正方形の内部の数字が1であることは、正方形が第1段階の補間画像であることを示す。次に、第1段階の補間画像を仮想的な実画像として、第2段階のEPI郡を生成するEPI縦12、EPI縦22、EPI縦32...。そして、第2段階の補間画像を生成する図17b。なお、正方形の内部の数字が2であることは、その正方形が第2段階の補間画像であることを示す。このように、2段階に分けて平面的に補間画像を生成することにより、本実施形態の補間画像生成装置30は、被写体をとらえる平面的なサンプリング数をレンズや撮像素子を増やすことなく仮想的に上昇させることができる。なお、ここでは第2段階の補間画像を、縦方向のEPI集合を用いて生成したが、第2段階のEPIの生成方法はこれに限られない。第2段段階のEPIは横方向のEPI集合を用いて生成してもよい。また、縦方向に生成した生成した中間段階の補間画像と、横方向に生成した中間段階の補間画像と、を平均して生成した補間画像を第2段階の補間画像としても良い。上記したすべての補間画像を生成すると、補間画像生成装置30は画像再構成部220に生成した画像と、実レンズと補間レンズの位置情報と、を画像再構成部220に出力して処理を終了する。実施形態1に係る補間画像生成装置30は、上記の処理によりオクリュージョンが起こっていると推定される補間画素の画素値を、より手前の被写体に対応すると推定される実画素のみに基づいて決定することができるため、オクリュージョンに対応した補間画像を生成することが出来る。また、実施形態1に係る補間画像生成装置30は、角度θを登録する閾値をイテレーションごとに可変させ、角度θの推定基準を最初は厳しく、後になるほど甘くする。これにより、初期のイテレーションではオクリュージョンが起こっていない、対応関係が確実な画素に角度θを登録し、後のイテレーションではオクリュージョンやノイズで対応関係が不確かな画素でも対応関係を定義する。そのため、補間画素に対応すると推定される実画素が複数あった場合に、より対応関係が確実な実画素を選別し、選別した実画素の画素値に基づいて補間画素の画素値を決定することができる。次いで、補間画像生成装置30が生成したライトフィールド画像LF補間済みのEPIから、画像再構成部220が画像を再構成する処理を、図18、図19を用いて説明する。ここでは、ライトフィールド画像LFから、メインレンズMLから距離a1の地点にリフォーカスした画像を再構成することとする。画像再構成部220は、補間画像生成装置30から補間済みのEPIと実レンズ及び補間レンズの位置情報とを伝達されると、図18に示す再構成画像生成処理を実行する。図18の再構成画像生成処理を開始すると、画像再構成部220はまず初期化処理を行うステップS601。ステップS601では、画像再構成部220が記憶部40の再構成設定記憶部420から、再構成画像の設定を取得する。このとき、再構成画像の設定はリフォーカスの距離a1の情報を含む。また、撮像設定記憶部410から、撮像設定情報を取得する。さらに、カウンタ変数であるlとpとに1を代入する。さらに、画素pp番目の画素に画素値が加算された回数を表す変数tpに0を代入する。さらに、補間画像の実レンズと補間レンズの合計数Lと、再構成画像の総画素数Pとを取得する。また、再構成画像の各画素を、1~Pまでの数でナンバリングする。さらに、実レンズと補間レンズとをまとめて1~Cまでの数でナンバリングする。上記の初期化処理ステップS601を終えると、画像再構成部220は取得した画像からl番目のレンズレンズlに対応するサブ画像Sを選択するステップS602。次に、画像再構成部220は再構成画像上の注目画素pに対応する位置PSから光が発せられた場合に、当該光がマイクロレンズアレイLAに含まれるサブレンズlを通過して撮像面IEへ到達するまでの軌跡レンズl対応するl番目のサブレンズの位置情報を用いて特定し、特定された軌跡を辿る光が撮像素子の表面IEに到達した到達点PEに在るサブ画像上の画素を特定するステップS603。具体的には、図19に示すX軸方向における注目画素のOB上の対応する位置PSと光軸OAとの距離をxとし、到達点PEと光軸OAとの距離をx’’とする。ここで、ステップS601で取得された撮像設定には、メインレンズMLの焦点距離fML、メインレンズMLからマイクロレンズアレイLAまでの距離c1、マイクロレンズアレイLAから撮像面IEまでの距離c2が含まれている。また、及びレンズ位置情報に基づいて算出される光軸OAからレンズlの光学中心までの距離dを算出する。なお、ステップS601で取得された距離情報で表される距離は、メインレンズMLからピント位置までの被写体距離a1である。画像再構成部220は、焦点距離fML及び被写体距離a1を以下の式3に用いて、メインレンズMLからメインレンズの結像面IPまでの距離b1を算出する。次に、画像再構成部220は、被写体距離a1と、上記式3を用いて算出された距離b1を以下の式4に用いて、光軸OAからメインレンズMLの結像点PFまでの距離x’を算出する。その後、画像再構成部220は、メインレンズMLからマイクロレンズアレイLAまでの距離c1と、上記の式3を用いて算出された距離b1とを以下の式5に用いて、メインレンズMLの結像面からl番目のレンズまでの距離a2を算出する。a2=c1-b15次に、画像再構成部230は、光軸OAからl番目のレンズLの主点までの距離d、上記の式4を用いて算出された距離x’、マイクロレンズアレイLAから撮像素子の表面IEまでの距離c2、及び上記の式3を用いて算出された距離a2を以下の式6に用いて、到達点PEと光軸OAとの距離x’’を算出する。尚、Z軸方向の計算式3及び5は、ガウスの結像公式から導かれる。また、X軸方法の計算式4及び6は、三角形の相似関係から導かれる。上記式4及び6では、記号x、x’、及びx’’を用いて、X軸方向における注目画素の位置PSと光軸OAとの距離、光軸OAからメインレンズMLの結像点PFまでの距離、及び到達点PEと光軸OAとの距離を算出した。これと同様に、上記式5及び7において記号y、y’、及びy’’を用いることで、X軸及びZ軸の双方に垂直なY軸方向における、注目画素の位置PSと光軸OAとの距離、光軸OAからメインレンズMLの結像点PFまでの距離、及び到達点PEと光軸OAとの距離を算出できる。到達点PEが定まると、レンズlに対応するサブ画像上のPEに対応する対応画素が定まる。そして、図18のステップS603で対応画素が定まると、画像再構成部220は特定された画素の画素値を取得する。そして、画像再構成部220はPEに対応する画素値が存在する対応する画素がサブ画像上に存在し、かつ画素値がNULLでないか否か判別するステップS604。対応する画素値が無い場合ステップS604;NO、そのサブ画像については再構成画像の画素pに画素値を追加しない。補間画素の画素値がNULLである場合に画素値を追加しないことで、ノイズやオクリュージョンにより対応がはっきりしない補間画素の画素値の情報を再構成画像から排除することができる。一方、対応する画素値が有る場合ステップS604;YES、再構成画像の画素pに対応画素の画素値を加算する。このとき、加算後の画素値Vp’は、式7を用いて算出する。なお、Vpは加算前のp画素の値、VPEは対応画素の画素値、tpはそれまで画素pに画素値が加算された回数である。ステップS605では、さらにtpをインクリメントする。尚、再構成画像の注目画素pの画素値は、再構成画像生成処理の開始時に値0に初期化されている。その後、画像再構成部220は、lとLを比較して、全てのレンズに対応するサブ画像について加算処理が終了したか判別するステップS606。lがL未満である場合ステップS606;NO、未処理のサブ画像が存在すると判別して、画像再構成部220は、lをインクリメントしステップS607、次のレンズについてステップS602から処理を繰り返す。一方、lがL以上で、全てのレンズに対応するサブ画像について処理が終了したと判別するとステップS606;YES、次に画像再構成部220はpとPを比較して再構成画像上の全ての画素を処理したか判別するステップS608。pがP未満である場合ステップS608;NO、未処理の画素が存在すると判別して、画像再構成部220は、次の画素について処理を実行する。即ち、pをインクリメントし、lに1を代入し、tpに0を代入しステップS609、ステップS602から処理を繰り返す。一方、pがP以上であり、全ての画素について処理が終了したと判別するとステップS608;YES、次に画像再構成部220は再構成画像生成処理を終了するその後、デジタルカメラ1は再構成された再構成画像OBの画像データを、図1の表示部520へ出力する。尚は、図1のI/O部510を介して、記録媒体へ再構成画像OBの画像データを格納してもよく、また、他の装置へ再構成画像OBの画像データを出力しても良い。実施形態1に係るデジタルカメラ1は、マイクロレンズアレイLAを用いて撮影することにより、略同一の間隔で格子状に配置された視点から、M×N個のサブ画像を同時に、一つの光学デバイスで撮影することが出来る。デジタルカメラ1は補間画像生成装置30が生成した補間画像を用いて、従来よりノイズの少ない再構成画像を生成することができる。実施形態2次に、本発明の実施形態2について説明する。実施形態2は、画素値加算処理において、登録された角度θが大きい実画素を優先して、補間画素に画素値を加算することを特徴とする。実施形態2に係るデジタルカメラ1及び補間画像生成装置30は、実施形態1に係るデジタルカメラ1と同様の構成を持つ。実施形態2に係る補間画像生成装置30は、図12に示した補間画像生成処理を実行する。ここで、実施形態2に係る補間画像生成装置30は、補間画像生成処理のステップS107で画素値加算処理1ではなく画素値加算処理2を実行する。図12に示す補間画像生成処理のステップS106が終わると、対応検出部324が画素値加算処理2を開始する。対応検出部324と、対応評価部325と、画素値加算部326と、が実行する画素値加算処理2について、図20を参照して説明する。画素値加算処理2では、まず対応検出部324が変数を初期化するステップS701。即ち、対応検出部324はステップS701で現在のイテレーション回数を示す変数it3に1を代入する。また、そのイテレーションで処理対象となる角度を表す変数θit3に初期値θ0として実画素情報リストに登録されている角度θのうち最大の数値を代入するステップS701。登録されている角度θがより大きい実画素が、よりデジタルカメラ1に近い場所に存在する被写体に対応する画素であり、補間画素により優先的に加算されるべき実画素であると推定できる。そこで、実施形態2では、登録されている角度θが大きい実画素を先のイテレーションで処理することにより、オクリュージョン画素においてより手前の被写体に対応する実画素の画素値のみを加算するように処理する。即ち、ステップS701において、対応検出部324が図8に示す実画素情報リストを登録されている角度θで降順値が大きい順にソートする。そして、ソート後の実画素情報リストに登録された実画素を、上から順に下記処理を実行する。このとき、角度θがNULLである画素は除外する。また、画素値加算処理2の総イテレーション回数IT3を取得する。このとき、IT3は実画像情報リストに登録されている角度θの列に登録されている数値の数である。例えば、実情報リストの角度θの列に0が5つ、10が3つ、20が4つ登録されているとする。このとき、角度θの列には0、10、20、の三つの数値が登録されているため、IT3は3である。初期化が終わると、対応検出部324は実画素情報リストに登録された実画素から、角度θの列の数値が現在のイテレーションで処理対象となる角度θit3である実画素を抽出するステップS702。次に、対応検出部324はステップS702で抽出した実画素の数Pを抽出し、カウンタ変数pit3に1を代入するステップS703。また、抽出した実画素に、1~Pまでナンバリングを行う。そして、対応検出部324は抽出した実画素のうち、pit3番目の実画素画素pit3を注目実画素とするステップS704。注目実画素を決定すると、対応検出部324は図16に示した注目実画素に基づく補間処理を実施形態1と同様に実行するステップS705。注目実画素画素pit3に基づく補間処理が終わると、対応検出部324はステップS702で抽出された画素のうち、未処理の実画素が残っていないか否か判別する。具体的には、pit3がPit3以上であるか判別し、Pit3未満であった場合はステップS706;NO、対応検出部324はそのイテレーションで未処理の実画素があると判別する。そして、pit3をインクリメントしステップS707、次の実画素を注目実画素としてステップS704から処理を繰り返す。一方、pit3がPit3以上であり、そのイテレーションで抽出された全ての実画素について処理したと判別するとステップS706;YES、対応検出部324はそのイテレーションを終了する。そして、it3とIT3を比較して、イテレーションが所定の回数IT3だけ繰り替えされたか判別するステップS708。it3がIT3未満であるときステップS708;NO、所定の回数イテレーションを行っていないと判別し、対応検出部324は次のイテレーションに移行する。具体的には、対応検出部324はit3をインクリメントし、θit3にθ’を代入して更新しステップS709、処理をステップS702から繰り返す。このとき、θ’は実画素情報リストに登録された角度θのうち、直前のθit3の次に大きい値である。一方、it3がIT3以上の場合ステップS708;YES、対応検出部324は画素値加算処理2を終了する。画素値加算処理2が終わると、図12にもどってステップS108と同様の処理が行われ、補間画像がすべてのEPIについて生成され、補間画像生成装置30は補間画像生成処理を終了する。そして、デジタルカメラ1は補間画像生成装置30が生成した補間画像を用いて、実施形態1と同様に再構成画像を生成する。上記のように、実施形態2では、画素値加算処理2において角度θが大きい順にイテレーション処理を実行する。そして、図16の注目実画素に基づく補間処理のステップS504において、i番目の補間画素がオクリュージョン画素であるか、前回までのイテレーションで両隣の補間画素に画素値が追加されているか否かで判別する。即ち、角度θが大きい実画素に対応付けられた画素値を加算された補間画素にはさまれた補間画素をオクリュージョン画素と判別し、その補間画素に対しては角度θがより小さい実画素の画素値を加算しない。実施形態2に係る補間画像生成装置30を用いれば、オクリュージョン画素により手前にある被写体に隠蔽されると推定される画素の画素値を加算しないで、補間画像を生成することができる。そのため、ライトフィールド画像からオクリュージョンに対応した補間画像を生成することが出来る。また、実施形態2に係るデジタルカメラ1は、補間画像生成装置30が生成した補間画像を用いて、従来よりノイズの少ない再構成画像を生成することができる。<変形例>以上に本発明の実施形態1及び2について説明したが、本発明の実施形態はこれに限定されるものではなく、例えば以下のような変形が可能である。上記した実施形態1及び実施形態2では、直線上にある画素を抽出するに当たって、直線と画素列との交点にもっとも近い場所に中心点がある画素を当該直線上にある判別して画素を抽出した。しかし、本発明において、直線上にある画素を抽出する方法はこれに限らない。その他の抽出方法として、直線と画素列との交点が、二つの画素の中心点の間にある場合、当該二つの画素を線上にあるとして抽出する方法も可能である。また、実施形態1及び実施形態2においては、各実画素についてそれぞれ角度θを推定した。そのため、例えば画素1に角度θが推定された場合に、画素1のLineθの線上にある画素2についても再度角度θを推定する。しかし、本発明に係る角度θ登録方法はこれに限られず、一つの画素に角度θが推定された場合に、その画素のLineθ上の画素全てに一度に角度θを登録する処理も可能である。この構成によれば、角度θ推定処理をより高速に行うことができる。また、上記実施例では、画像をグレースケール画像であるとして説明したが、本発明の処理対象となる画像はグレースケール画像に限らない。例えば、画像は各画素にRレッド、Gグリーン、Bブルー、の三つの画素値が定義されたRGB画像であってよい。この場合、画素値をRGBのベクトル値とし、画素値間の差を計算する場合はベクトル計算によって差を求めても良い。また、R、G、B、の各値をそれぞれ独立したグレースケール画像として、それぞれ上記処理を行っても良い。この構成によれば、カラー画像についても補間画像を生成し、また、当該補間画像を用いて従来よりノイズの少ない再構成画像を生成することができる。また、上記実施例では、情報処理部20等はデジタルカメラ1の一部であったが、情報処理部20と記憶部40とインターフェース部50とは、デジタルカメラとは独立した物理構成で実現されても良い。また、補間画像生成装置30はデジタルカメラ1の情報処理部20の一部であったが、補間画像生成装置30は、情報処理部20とは独立した物理構成で実現されても良い。このとき、補間画像生成装置30が取得するライトフィールド画像LFは、撮像部10のマイクロレンズアレイLAによって取得された画像に限らない。補間画像生成装置30が取得する画像は、複数のカメラによって同時に異なる視点から取得された画像であってもよく、一つのカメラによって異なる視点から順次取得された画像であっても良い。また、ライトフィールド画像LFを構成する各サブ画像間の視差は、各画像と視差との情報を撮像設定として得られる場合は、同じでなくても良い。また、補間画像生成装置30はライトフィールド画像ではなく他機器が生成したEPIを取得して、EPIから補間画像を生成する構成であってよい。なお、情報処理部20と記憶部40とインターフェース部50と等から構成されるデジタルカメラ1のための処理を実行する中心となる部分、あるいは情報処理部320、記憶部330、出力部350、等から構成される補間画像生成装置30のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体フレキシブルディスク、CD-ROM、DVD-ROM等に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するデジタルカメラの情報処理部や補間画像生成装置を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで情報処理部や補間画像生成装置を構成してもよい。また、デジタルカメラの情報処理部や補間画像生成装置の機能を、OSオペレーティングシステムとアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。付記1複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得部と、前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、を備えることを特徴とする補間画像生成装置。付記2前記判別部は、前記実画素の信頼度が高い順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、ことを特徴とする付記1に記載の補間画像生成装置。付記3前記判別部は、前記実画素が、より手前に存在する被写体の部位に対応する実画素から順に判別処理を実行し、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補が当該実画素と対応するか否かを、当該実画素の信頼度と、前回までの判別処理で当該補間画素の候補に隣接する補間画素に対応すると判別された実画素に定義された信頼度と、を比較し当該比較結果に基づいて判別する、ことを特徴とする付記1に記載の補間画像生成装置。付記4前記実画素抽出部は、前記実画素のそれぞれについて対応する実画素を、エピポーラプレーン画像上で、直線上の実画素間の画素値が互いに異なる程度である誤差値に基づいて直線検出することで抽出する、ことを特徴とする付記1乃至3のいずれか一つに記載の補間画像生成装置。付記5前記実画素抽出部は、異なる検出基準を用いて複数回繰り返して直線検出し、直線検出が完了した実画素を、次回以降の繰り返し処理において直線検出の誤差値の算出対象から除外する、ことを特徴とする付記4に記載の補間画像生成装置。付記6前記実画素抽出部は、前記誤差値が所定の閾値以下であることを前記直線検出の検出基準とし、直線検出を繰り返すにつれて当該閾値を大きくする、ことを特徴とする付記5に記載の補間画像生成装置。付記7前記実画素抽出部は、より先の繰り返し処理で直線検出された実画素の信頼度がより高くなるように前記実画素の信頼度を算出する、ことを特徴とする付記5又は6に記載の補間画像生成装置。付記8前記実画素抽出部は、前記実画素抽出部が検出した直線と前記エピポーラプレーン画像の法線とが成す角度の大きさに基づいて、前記信頼度を算出する、ことを特徴とする付記4乃至6のいずれか一つに記載の補間画像生成装置。付記9メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数の撮影画像を取得する画像取得部と、前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出し、さらに各実画素について、抽出された対応実画素との信頼度を算出する実画素抽出部と、前記複数のマイクロレンズの光学中心に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義部と、前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出部と、前記補間画素抽出部が抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別部と、前記判別部が補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成部と、前記画像取得部が取得した複数の画像と、前記補間画像生成部が生成した補間画像と、から、新たにフォーカスされた画像を再構成する再構成手段と、前記再構成された画像の情報を出力する画像情報出力手段と、を備えることを特徴とする再構成画像生成装置。付記10複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得ステップと、前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出ステップと、各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出ステップと、前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義ステップと、前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出ステップと、前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別ステップと、前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成ステップと、を含むことを特徴とする補間画像生成方法。付記11コンピュータに、複数の視点から被写体を撮影した複数の撮影画像を取得する画像取得機能、前記複数の撮影画像を構成する画素である実画素のそれぞれについて、当該実画素が含まれる撮影画像とは異なる撮影画像の、被写体の同一の部位に対応すると推定される実画素を、当該実画素の対応実画素として抽出する対応実画素抽出機能、各実画素について、抽出された対応実画素との信頼度を算出する信頼度算出機能、前記複数の視点に含まれない新たな視点に対応する補間画像のひな形を定義するひな形定義機能、前記実画素のそれぞれについて、補間画像のひな形を構成する画素である補間画素から、当該実画素が対応する被写体の部位に対応すると推定される補間画素の候補を、当該実画素を撮影した視点の位置と、当該実画素の対応実画素を撮影した視点の位置と、前記新たな視点の位置と、に基づいて抽出する補間画素抽出機能、前記抽出した実画素に対応する補間画素の候補のそれぞれが当該実画素と対応するか否かを、当該実画素の信頼度又は当該補間画素の候補に隣接する補間画素が対応する実画素の信頼度に基づいて判別する判別機能、前記補間画素の候補が実画素と対応すると判別した場合に、当該補間画素の画素値を当該実画素の画素値に基づいて更新することにより、前記補間画像を生成する補間画像生成機能、を実現させることを特徴とするプログラム。"