"撮影レンズを含む撮影光学系と、前記撮影レンズを介して入射される被写体の光学像を光電変換して画像信号を出力する撮像素子とを含む撮像装置において、前記撮像素子の画素欠陥の情報および前記撮像素子の各画素への前記光学像の入射角度を決定するための情報を記憶する記憶手段と、前記画像信号から再構成像を生成する像生成位置を設定する像生成位置設定手段と、前記撮像素子の各画素に入射する前記被写体の光学像の光束を前記撮影レンズの特定の瞳領域からの光束に制限する瞳分割手段と、前記像生成位置設定手段で設定された像生成位置と前記撮像素子の各画素への前記光学像の入射角度を決定するための前記情報とに基づいて、前記像生成位置に対応する前記画像信号のシフト量を前記瞳領域ごとに決定して前記画像信号をシフトする像シフト手段と、前記画素欠陥の情報に従って、欠陥画素の画像信号を前記像シフト手段から得られた前記欠陥画素以外の画素の画像信号を用いて補正する欠陥補正手段と、前記欠陥補正手段で補正された画像信号から前記像生成位置に対応する画像を生成する像生成手段と、を備えたことを特徴とする撮像装置。前記記憶手段は、次式に定める閾値を記憶し、前記補正手段は、前記像生成位置設定手段で設定された像生成位置を前記閾値と比較し、その比較の結果に従って前記画像信号の補正方法を変更することを特徴とする請求項1に記載の撮像装置。前記欠陥補正手段は、前記像生成位置が前記閾値以下である場合には、前記像シフト手段の出力を用いて前記欠陥画素の画像信号を補正し、前記像生成位置が前記閾値よりも大きい場合には、前記像シフト手段の出力以外の画像信号を用いて前記欠陥画素の画像信号を補正することを特徴とする請求項2に記載の撮像装置。前記欠陥補正手段は、前記像シフト手段から得られた画像信号から位置および角度の相関を計算し、前記計算された相関に基づいて前記像シフト手段から得られた前記画像信号を用いて前記画素欠陥の画像信号を補正することを特徴とする請求項1に記載の撮像装置。前記欠陥補正手段は、前記計算された角度の相関値が前記計算された位置の相関値以下である場合には、角度方向の補間処理により前記欠陥画素の画像信号を補正し、前記計算された角度の相関値が前記計算された位置の相関値より大きい場合には、位置方向の補間処理により前記欠陥画素の画像信号を補正することを特徴とする請求項4に記載の撮像装置。前記像シフト手段によるシフトを受けていない画像信号から異なる瞳領域に対応する画像信号の差分を計算する相関計算手段を備え、前記像生成位置設定手段は、前記相関計算手段の相関計算の結果に基づいて前記像生成位置を設定することを特徴とする請求項1乃至3のいずれか一項に記載の撮像装置。前記記憶手段は、次式に定める閾値を記憶し、前記像生成位置設定手段は、前記閾値の範囲内で前記像生成位置を設定する手段を有することを特徴とする請求項4または5に記載の撮像装置。前記瞳分割手段は前記撮像素子の受光面に配置されたレンズアレイであり、前記マイクロレンズアレイは、前記撮像素子の受光面に形成されている複数の画素を各マイクロレンズに対応して複数の画素グループに分割し、前記マイクロレンズは対応する画素グループの各画素を前記撮影レンズの異なる瞳領域からの光束に対応させることを特徴とする請求項1乃至7のいずれか一項に記載の撮像装置。撮影レンズを含む撮影光学系と、前記撮影レンズを介して入射される被写体の光学像を光電変換して画像信号を出力する撮像素子と、前記撮像素子の各画素に入射する前記被写体の光学像の光束を前記撮影レンズの特定の瞳領域からの光束に制限する瞳分割手段と、前記撮像素子の画素欠陥の情報および前記撮像素子の各画素への前記光学像の入射角度を決定するための情報を記憶する記憶手段とを含む撮像装置の制御方法において、前記画像信号から再構成像を生成する像生成位置を設定する像生成位置設定ステップと、前記像生成位置設定ステップで設定された像生成位置と前記撮像素子の各画素への前記光学像の入射角度を決定するための前記情報とに基づいて、前記像生成位置に対応する前記画像信号のシフト量を前記瞳領域ごとに決定して前記画像信号をシフトする像シフトステップと、前記画素欠陥の情報に従って、欠陥画素の画像信号を前記像シフトステップで得られた前記欠陥画素以外の画素の画像信号を用いて補正する欠陥補正ステップと、前記欠陥補正ステップで補正された画像信号から前記像生成位置に対応する画像を生成する像生成ステップと、を備えたことを特徴とする制御方法。コンピュータを、撮影レンズを含む撮影光学系と、前記撮影レンズを介して入射される被写体の光学像を光電変換して画像信号を出力する撮像素子と、前記撮像素子の各画素に入射する前記被写体の光学像の光束を前記撮影レンズの特定の瞳領域からの光束に制限する瞳分割手段と、前記撮像素子の画素欠陥の情報および前記撮像素子の各画素への前記光学像の入射角度を決定するための情報を記憶する記憶手段とを含む撮像装置の制御方法において、前記画像信号から再構成像を生成する像生成位置を設定する像生成位置設定手段、前記像生成位置設定手段により設定された像生成位置と前記撮像素子の各画素への前記光学像の入射角度を決定するための前記情報とに基づいて、前記像生成位置に対応する前記画像信号のシフト量を前記瞳領域ごとに決定して前記画像信号をシフトする像シフト手段、前記画素欠陥の情報に従って、欠陥画素の画像信号を前記像シフト手段から得られた前記欠陥画素以外の画素の画像信号を用いて補正する欠陥補正手段、および前記欠陥補正手段で補正された画像信号から前記像生成位置に対応する画像を生成する像生成手段として機能させるためのプログラム。請求項10のプログラムを記録したコンピュータが読み取り可能な記録媒体。コンピュータを、請求項1乃至8のいずれか一項に記載の撮像装置の各手段として機能させるプログラム。コンピュータを、請求項1乃至8のいずれか一項に記載の撮像装置の各手段として機能させるプログラムを格納した記憶媒体。しかしながら、上述の特許文献1に開示された従来技術では、異なる瞳領域を通過した光束を取得するため撮像系を構成する撮像素子に画素欠陥が存在する場合に、必ずしも適切な画像が得られない場合がある。すなわち特許文献1では、撮像後においてピント位置を変化させた像を得ることができるが、画素欠陥が存在する場合には欠陥部の影響を排除した画像を得る方法は開示されていない。非特許文献1では、画像の単純な相関に基づいて補間処理を行っているために、特許文献1の撮像系を構成する撮像素子に対しては適切な補間を行えない場合がある。そこで、本発明の目的は、異なる瞳領域を通過した光束の情報を取得できる撮像素子においても、画素欠陥の影響を低減した高品位な画像を得ることを可能にする撮像装置を提供することである。上記本件発明の目的を達成するため、本件発明の撮像装置は、撮影レンズを含む撮影光学系と、撮影レンズを介して入射される被写体の光学像を光電変換して画像信号を出力する撮像素子とを含む撮像装置であって、さらに撮像素子の画素欠陥の情報および撮像素子の各画素への光学像の入射角度を決定するための情報を記憶する記憶手段と、画像信号から再構成画像を生成する像生成位置を設定する像生成位置設定手段と、撮像素子の各画素に入射する被写体の光学像の光束を撮影レンズの特定の瞳領域からの光束に制限する瞳分割手段と、像生成位置設定手段で設定された像生成位置と撮像素子の各画素への光学像の入射角度を決定するための情報とに基づいて、像生成位置に対応する画像信号のシフト量を瞳領域ごとに決定して画像信号をシフトする像シフト手段と、画素欠陥の情報に従って、欠陥画素の画像信号を像シフト手段から得られた欠陥画素以外の画素の画像信号を用いて補正する欠陥補正手段と、欠陥補正手段で補正された画像信号から像生成位置に対応する画像を生成する像生成手段とを備える。本発明によれば、異なる瞳領域を通過した光束を取得するため撮像系を構成する撮像素子に画素欠陥が存在する場合にも、画素欠陥の影響を低減した高品位な画像を得ることを可能にした撮像装置を達成することが可能となる。以下に、本発明の好ましい実施の形態を、添付の図面を参照して詳細に説明する。以下、図1から図6を参照して、本発明の第1の実施例に係わる撮影装置について説明する。図1は、本発明に係わる撮影装置としてのデジタルカメラおよびレンズからなるカメラシステムの構成を示すブロック図である。本カメラシステムは、異なる瞳領域を通過した光束を取得するため撮像系を含み、本件発明が目的とする画素欠陥の補正機能を有する。カメラ101およびレンズ102撮影レンズからなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系103、撮像素子106を含み、画像処理系は、画像処理部107を含む。また、記録再生系は、メモリ手段108、表示手段109を含み、制御系は、カメラシステム制御回路105、操作検出部110、およびレンズシステム制御回路112、レンズ駆動手段113を含む。レンズ駆動手段113は、撮影光学系103に含まれる焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。撮像系は、被写体からの光光学像を、撮影光学系103を介して撮像素子106の撮像面に結像する光学処理系である。撮影素子106表面受光面にはマイクロレンズが格子状に配置され、いわゆるマイクロレンズアレイ以下MLAを形成している。MLAは本実施例において、複数の画素を各マイクロレンンズに対応して複数の画素グループに分割する瞳分割手段を構成する。MLAの機能や配置の詳細については図2を用いて後述するが、この瞳分割手段があるために、撮影素子106からピント評価量/適当な露光量が得られるので、この情報に基づいて適切に撮影光学系103が調整される。これにより、適切な光量の物体光を撮像素子106に露光することおよび撮像素子106近傍で被写体像が結像することが可能となる。画像処理部107は、内部にA/D変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を画像処理により生成することができる。また、本発明の要部である、像シフト手段、像生成手段、コントラスト評価手段、相関計算手段等を含めることもできる。本実施例ではこれらの要素はカメラシステム制御内に制御プログラムとして構成されている。メモリ手段108は実際にデータを記憶する記憶部だけでなく、記録に必要な処理回路を備えている。メモリ手段108は、記録部へ出力を行うとともに、表示手段9に出力する像を生成、保存する。また、メモリ手段108は、予め定められた方法を用いて画像、動画、音声などの圧縮も行う。カメラシステム制御回路105は撮像の際のタイミング信号などを生成して出力する。外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出回路110が検出して、撮像素子106の駆動、画像処理部107の動作、メモリ手段108の圧縮処理などを制御する。さらにカメラシステム制御回路105は、表示手段109によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態をも制御する。制御系の光学系の調整動作について説明する。カメラシステム制御回路105には画像処理部107が接続されており、撮像素子106からの信号に基づいて撮影条件に適切な焦点位置、絞り位置を求める。カメラシステム制御回路105は、電気接点111を介してレンズシステム制御回路112に指令を送信し、レンズシステム制御回路112は指令に従いレンズ駆動手段113を適切に制御する。さらにレンズシステム制御回路112には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動手段113を介してブレ補正レンズを適切に制御する。図2は、本実施例における撮影光学系の要部を説明する図である。同図において、第1図と同じ要素は同じ符号を付して示す。図1のカメラシステムに本発明を適用するためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する構成が必要である。本実施例では、角度情報の取得のために撮影光学系103の結像面近傍にMLAを配置するとともに、MLAを構成する1つのレンズに対して複数の画素を対応させている。図2aは撮像素子106とMLA200の対応関係を模式的に示す図である。図2bは撮像素子の画素とMLAとの対応を模式的に示す図である。図2cはMLA200によってMLA下に設けられた画素が特定の瞳領域と対応づけられることを示す概念図である。図2aに示すように撮像素子106上にはMLA200が設けられており、MLA200の前側主点は撮影光学系103の結像面近傍になるように配置されている。図2aは撮影装置の側面図と、MLA200の正面図を示しており、MLA200のレンズが撮像素子106上の画素を覆うように配置されている。なお、図2aではMLA200を構成する各マイクロレンズを見やすくするために大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。実際の大きさについては図2bを用いて説明する。図2bは図2aのMLA200の正面図の一部を拡大した図である。図2bに示す格子状の枠は、撮像素子106の各画素を示している。一方、MLA200を構成する各マイクロレンズは太い円220a,220b,220c,220dで示した。図2bから明らかなようにマイクロレンズ1つに対して複数の画素が割り当てられており、図2bの例では、5行x5列=25個の画素が1つのマイクロレンズに対して設けられている。すなわち各マイクロレンズのおおきさは画素のおおきさの5倍x5倍の大きさである。図2cは撮像素子106を、マイクロレンズ光軸を含み撮像素子の長手方向X方向が図の横方向になるように切断したときの一つのマイクロレンズについての切断面を示す図である。図2cの221、222、223、224、225は撮像素子106の画素1つの光電変換部を示している。一方、図2cの上方に示した図は撮影光学系3の射出瞳面を示している。実際には、図2cの下方に示した撮像素子の図と方向を合わせると、射出瞳面X-Y面は図2cの紙面垂直方向y方向と平行になるが、説明のために投影方向を変化させている。また、図2cにおいては説明を簡単にするために、1次元の投影/信号処理について説明する。即ち、瞳分割が231-235だけの一次元であり、対応する画素配列も、例えば図2bの321a-325aだけの一次元とする。この仮定は、図5の説明においても適用する。実際の装置においては、これを容易に2次元に拡張することができる。図2cの画素221、222、223、224、225は図2bの221a、222a、223a、224a、225aとそれぞれ対応する位置関係にある。図2cに示すように、マイクロレンズ200によって各画素は撮影光学系103の射出瞳面上の特定の領域と共役になるように設計されている。図2cの例では画素221と領域231が、画素222と領域232が、画素223と領域233が、画素224と領域234が、画素225と領域235がそれぞれ対応している。すなわち画素221には撮影光学系103の射出瞳面上の領域231を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子106上の位置関係から角度の情報を取得することが可能となる。ここで以後の説明を簡単にするために記号を導入する。図2cに示すように、撮像素子106の画素ピッチをΔx、角度分解能をΔθとする。さらに角度の分割数をNθ図2の例ではNθ5とする。画素ピッチは撮像素子106の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数Nθで決定される。すなわち、撮像系の物理的な構造撮像素子106およびMLA200の構造のみによってこれらのパラメータは決定される。本実施例に示した撮影光学系を利用して、撮像素子106の信号から欠陥を適当に処理された画像を得る処理について図3、図4及び図5を用いて説明する。図3は本実施例のカメラシステムにおける画像の再構成動作のフローチャートを示す図である。図3aは画像再構成動作の全体を、図3bは欠陥補正手段の動作を、図3cは像シフト手段の動作を、図3dは像生成手段の動作を、図3eは相関計算手段の動作それぞれのフローチャートを示す図である。図3aから各ステップ順に説明する。ステップS301は画像取得動作の開始を示している。例えば、図1に示す操作検出部110が撮影者からの特定の動作を検出した時例えばレリーズボタンの押下などが該当する。ステップS302では、撮像素子106を適当な時間露光した後、撮像信号を読み出してA/D変換することにより画像信号を取得する。露光時間などの撮像条件は、図示しない測光手段などからの情報に従ってカメラシステム制御回路105が設定するものとする。ステップS303では、相関計算手段を動作させて相関計算の結果を得る。相関計算手段からはピント評価値に関する情報が得られる。動作の詳細は図3eを用いて後述する。ステップS304では、設定されたエリア相関計算手段の説明で後述するが、ステップS362での評価枠に対応する毎にピント位置像生成位置を決定する。後述する相関計算手段から得られるピント評価値が最も良くなる位置をピント位置として決定して設定する像生成位置設定手段。ここでいう良いというのは、後述するステップS366での相関計算式による値が小さい場合を良い状態とする。ただし、ここでのピント位置とは、現在のピント位置からの相対的なピントずれを示すものである。すなわち、現在のピント位置でピントが合っている被写体のピント位置を0とし、それよりも前や後ろにあるピント位置がそれぞれプラスマイナスの符号を持った値として得られる。さらには、ピント位置は被写体側での深さではなく像面側での結像面の位置を示すものとして得られる。ステップS305では欠陥補正手段を動作させ、その補正の結果を得る。欠陥補正手段の動作の詳細は図3bのフローチャートを用いて後述する。ステップS306では像シフト手段を動作させて、像生成のための像シフトの結果を得る。この時の像生成位置はいくつかの方法が考えられる。たとえば、ステップS304で求めた各エリアのピント位置と被写体認識結果を総合してピント位置を与える方法などが考えられる。このようにすることで被写体として認識された物体に対してピントを合わせることが出来る。別の方法としては、ユーザー指定の位置を与えることが出来る。このようにすることで、いわゆるマニュアルフォーカスを実現することが出来る。像シフト手段の動作の詳細は図3cのフローチャートを用いて後述する。ステップS307では像生成手段を動作させ、像生成の結果を得る。像生成手段の動作の詳細は図3dのフローチャートを用いて後述する。ステップS308では、記録用画像フォーマットへの変換や圧縮などの記録に必要な処理を生成された画像信号に施したのちにメモリ手段108に記録する。ステップS309において、上述した画像信号の取得から記録までの一連の動作を終了する。図3bのフローチャートを用いて欠陥補正手段の動作の詳細を説明する。ステップS371は欠陥補正手段の動作開始を示している。ステップS372はメモリ手段108から欠陥情報及び定数であるdmaxを取得する。ここでdmaxとは、像生成手段によって適切な再構成像が得られる像生成位置の範囲を示す値であり、次式で与えられる。ただしdmaxは正常に画像の構成を行える閾値を、Nθは瞳分割数を、Δxは撮像素子106の画素ピッチを、Δθは角度分解能を示している。図2で説明したように、これらの値は撮影条件などによらず、撮像装置1の物理的な構造によって決定される。そのため、予め計算されたdmaxの値をメモリ手段108に格納しておき、ステップS372およびステップS373において読み出して用いれば良い。欠陥情報とは画素欠陥に関する情報であり、具体的には白とび輝度飽和値になってしまう現象や黒つぶれ輝度値が0として得られてしまう現象が発生している画素のアドレスに関する情報である。このように、画素欠陥によって生じた異常な輝度値を出力する画素を欠陥画素と呼ぶことにする。被写体によらず白とびや黒つぶれが発生するような欠陥画素は現像に用いることができないので、通常は非特許文献1に示されたような方法で処理がなされてきた。本実施例でも、場合に応じてステップS374からステップS380でそのような処理がなされる。またこのような画素は少数で且つ移動することが無いため、欠陥情報をメモリ手段108に格納しておきステップS372およびステップS373によって読み出して用いれば良い。ステップS374からステップS380はループを形成しており、すべての欠陥画素に対して処理がなされる。ステップS375はステップS304で決定されたピント位置の絶対値とdmaxの絶対値の比較を行う。ピント位置の絶対値がdmaxの絶対値である閾値以下の場合にはステップS377に進み、その他の場合はステップS376に進む。ステップS376では公知の技術によって欠陥画素の補間処理が施される。すなわち欠陥画素以外の画素から取得された画像信号に対して、特段の処理を施す前に欠陥画素の縦方向または横方向の相関を計算し、相関が高い方向の補間処理を行う。図3bでは、これを撮像画像での補間処理像シフト手段の出力以外の画像信号を用いた補間処理と図示した。この補間を式で示すと以下のようになる。数2では非常に基本的な補間の考え方を式で示した。ここでは、欠陥画素のアドレスをijとしてアドレスijでの輝度値をXijで示している。数2では|Xi1j-Xi1jと|Xij1-Xij1を比較しているが、これが横方向と縦方向で相関が高い方向を判断することに対応している。自然画における被写体像はランダムパターンとはことなる特徴を持っている。エッジ方向では輝度が急峻に変化するが、エッジが無い方向には比較的平坦な輝度分布を持つことが多い。この特徴を利用して|Xi1j-Xi1jと|Xij1-Xij1の小さい方向には輝度分布が平坦であることを仮定して補間処理を施している。さらに高度な処理方法が提案されているが、ここでは基礎的な考え方のみを提示する。ステップS376では従来技術によって欠陥補正がなされるために、本発明を用いることの積極的な効果が得られる訳ではない。しかしながら、ステップS375でピント位置の絶対値とdmaxの絶対値の判断を行っているために得られる効果がある。それは、欠陥画素がdmaxよりもピントが外れた被写体像を捉えていることが分かっているのでS375でNOと判断された場合、簡単な補間処理によって像を再構成しても影響が無いということである。つまり、ステップS307で施される像生成手段の動作において、当該欠陥画素が重篤な影響リンギングの発生に寄与しないことを示している。再構成像が得られる範囲であるdmaxよりもピントが外れているということは再構成された像においてもピントがぼけているので、高周波の被写体像の情報は欠落した状態で像が得られる。このような現像においては数2のような簡単な補間処理によっても相当程度に良い補間値を得ることが可能となるここで、ボケによってXijで捉えるべき輝度の情報が広がって周辺画素に漏れ出ているためである。このことと高周波成分がカットされていることは同義である。ステップS377では現在処理を行っている欠陥画素位置でピントが合うように像シフト手段を動作させてその結果を得る。即ち、画像信号は、図5の再構成面における像シフトは完了しているが、縦方向の加算を行ってSiを求める処理は行っていない状態にある。像シフト手段の動作の詳細は図3cを用いて後述する。ステップS378では、ステップS377から得られた像シフトの結果に基づいて補間処理を行う。これをシフト画像での補間処理として図3bに図示した。具体的には、ステップS377での像シフト手段の動作の結果、現在処理を行っている画像の欠陥画素の位置ではピントがあった状態にある。この状態では良く知られているように、通過する瞳位置によらず同じ情報が得られる。これは同じ被写体上の1点から出た光線が、現像された画像で1つの点に結像しているためである。この場合には、明らかに他の瞳領域を通過した情報から補間を行うことが適切である。図4を用いて後述する相関計算を参照すればより理解がしやすいここでも図4を用いて簡単な説明を行うが、図4の詳細な説明は後述する。。図4では、図4bはピントがあった状態を示しているが、この場合、異なる瞳領域を通過した情報の輝度値の分布AiおよびBiは類似の形状をしている。例えば、画素Akが欠陥画素の場合、図4bのBjの対応する画素の輝度値をコピーすることによって適切な処理がなされる。図4は、図を煩雑にしない為に2つの瞳通過領域の情報を図示している。なお、瞳分割数が多い時には欠陥ではない画素からの情報がより多く得られるので、コピーではなく他の適当な補間方法を用いることもできる。例としては正常画素の輝度値の平均値や分散などを利用することが考えられる。ステップS379までの処理によって、ピントが合っている面での情報前述した様に通過した瞳領域によらず同じ情報が得られている、または相関が良い=類似性が高い情報を活用して補間処理がなされるので、欠陥画素に対して適切な補間処理がなされる。結果として、像の再構成においても高品位な画像を得ることが可能となる。ステップS380において、本欠陥補正ルーチンの呼び出し元のステップS305に戻る。図3cを用いて像シフト手段の動作の詳細を説明する。ステップS321は像シフト手段の動作開始を示している。ステップS322からステップS326はループを形成している。ステップS322では瞳分割数に応じた数だけループ計算が実行される。例えば、図2に示した例では、撮影光学系103の射出瞳が25に分割されていたので、25のそれぞれの瞳位置に応じた計算がなされる。図5を用いて後述するように、同じ再構成面であっても入射角度が異なると射出瞳が十分遠い場合には、通過する瞳領域が異なることとほぼ同義再構成のために像をシフトさせる量が異なる。これを適切に反映させるためのループである。ステップS323ではステップS324からのデータをもとに、評価位置に対応する各瞳領域での像シフト量を計算する。ステップS324には、各画素とMLAとの対応関係が保存されており、各画素がどの瞳領域の光線を受光しているかが分かる情報が格納されている。ステップS325では、ステップS323で得た情報に基づいて同じ入射角の光線を得ている同じ瞳領域からの光線を得ている画素をシフトさせる。同じ入射角の光線を得ている画素は例えば図2の225aと225bが該当するとする。このような画素がMLA200を構成するマイクロレンズの数だけ存在している。像シフト手段につては、図5を用いてさらに具体的に説明する。後述ステップS327において、本像シフト手段の呼び出し元のステップS304またはステップS377に戻る。図3dを用いて像生成手段の動作の詳細を説明する。ステップS331は、像生成手段の動作開始を示している。ステップS332では、ステップS335での加算の結果のデータを記憶する領域を初期化0で埋めるする。この時のデータ領域の大きさはMLA200の数量分あれば良く、データの諧調は元のデータの諧調と瞳分割数の積を格納できるだけあれば都合がよい。例えばデータが8bitで瞳分割数が25の場合、13bit8bitlog225あればデータの桁あふれを考慮する必要が無い。ステップS333からステップS338はループを形成している。ステップS333ではMLA200を構成するマイクロレンズの数だけループ計算が実行される。例えば、図2に示した例では、撮像素子の画素数÷25瞳分割数がマイクロレンズの数となる。ステップS334からステップS337はループも形成している。ステップS334では、瞳分割数だけループ計算が実行される。例えば、図2に示した例では、射出瞳が25に分割されているので、25のそれぞれの瞳位置からの光束が処理される。ステップS335では加算すべき瞳領域であるかの判断がなされる。すなわちユーザーの設定に応じて加算すべき領域を変化させて意図に沿った画像を提供する。一般的に加算する瞳領域を増やすと、S/Nに優れて焦点深度の浅い画像となる、減らすとその反対になる。ステップS336では加算がなされる。シフト量が画素の整数倍でない場合は、加算S336において、適当に内分されながら加算する。例えば、重なっている面積に応じて適当に加算すればよい。像生成手段は、図5を用いてさらに具体的に説明する。後述ステップS339において、本像生成手段の呼び出し元のステップS307に戻る。図3eを用いて相関計算手段の動作の詳細を説明する。ステップS361は相関計算手段の動作開始を示している。ステップS362では、評価を行う評価点の数と、評価枠例えば評価点を中心とする枠の大きさを設定する。評価点は、撮影条件やレンズ102の種類などに応じて適宜設定される。また、評価枠は大きすぎると距離の異なる被写体の像を同時に評価するいわゆる遠近競合が発生してしまう。ここでの評価枠は、相関がノイズなどに負けずに適切に計算できる範囲で可能な限り小さくすることが好ましい。そのようにすることで欠陥補正を行う場合のピント位置検出が適切に行われる。ステップS363からステップS369はループを形成している。ステップS363では、ステップS362で決定された評価点の数に対応した評価値を得るように繰り返し演算を行う。ステップS364からステップS367はループを形成している。ステップS364では、ステップS362で決定された評価枠に含まれる画素について相関計算を行う。ステップS365では画素AiまたはBiが欠陥であるか否かを判断する。ここで、Aiは特定の瞳領域を通過したi番目の画素の輝度を示している。BiはAiとは異なる瞳領域を通過したi番目の画素の輝度を示している。例えば図2において、画素222に対応する画素のみを並べたものをAi、画素224に対応する画素のみを並べたものをBiとすれば良い。どの瞳領域の画素を選択するかは、基線長の長さ、瞳面のケラレ状況、等によって決定すればよい。ステップS365において、欠陥であると判断された画素の場合には相関計算に用いるのは適当ではないのでステップS367に進み、欠陥ではない場合はステップS366に進む。相関計算は例えばステップS366にあるようにΣ|AiBi|で計算すればよい。なお、本発明において相関計算を用いる意義は欠陥画素のピント位置を知ることであり、ここで示した相関計算の式は一例であり発明の本質ではない。上記のように設定することで、異なる瞳領域を通過した像の相関を計算でき、いわゆる位相差AFに基づく評価量を得ることができる。ステップS368では、得られた相関値を評価量として格納する。上記に示したΣ|AiBi|という評価式においては、相関値が小さくなった個所が最もピント状態が良い個所に対応している。ここでは差分絶対値を加算する方法で相関計算を行ったが、最大値を加算する方法、最小値を加算する方法、差分2乗値を加算する方法など他の計算方法によって相関計算を行っても良い。ステップS369において、相関計算手段の呼び出し元のステップS307に戻る。ここで説明した相関計算手段での評価に対応する輝度値の分布の例を図4に示す。図4a、図4b、図4cはこの順にピント位置が変化したときの輝度値の分布を示しており、横軸は画素位置を、縦軸は輝度値を示している。また前述した様に、図2において画素222に対応する画素のみを並べたものをAi、画素224に対応する画素のみを並べたものをBiとして図示した。相関計算手段においては例えば次のような式で評価が行われる。ここでCは相関の評価量であり、SADSumofAbsoluteDifferenceと呼ばれる相関演算方法における相関評価値である。しかし、これは相関評価方法の一例であり、他の相関演算方法、例えばSSDSumofSquaredDifferenceによる評価であってもかまわない。図3eでは、qはステップS364からステップS367のループで繰り返し処理の対象となる画素として表現されている。数3によると、qに応じてAiおよびBiは対応する画素がずらされながら相関の計算を施される。これは、図5に示されるように隣接する画素列をずらしながらそれらの相関をとることに相当する。これを図4では縦に並べて表現している。すなわち図4aではAiのピークがBiのピークよりも左側に位置しているが、図4bで一致し、図4cではAiのピークがBiのピークよりも右側に位置している。これがピント位置を変化させた場合の異なる瞳領域を通過した像のふるまいである。ピントがあった状態は図4bに表現されているが、この時は通過する瞳領域によらず同じ情報が得られる。これは、図4bでAiとBiが重なっていることに対応し、AiとBiは概略一致する。なお、あわない分はノイズ成分や被写体の光の拡散特性の違いなどによる。図4で特定の画素Akが欠陥である場合を考えると、図4bにおいてAkと対応する画素Bjの値を利用してAkの欠陥を処理すれば良い。ここで注意すべきなのは、Bjは必ずしも撮影した状態ではAkの隣接した画素ではないということである。数3から明らかなようにq0の場合は、BjはAkの近傍に存在したと考えられるが、その他の場合は必ずしも隣接画素ではない。一方で、ピントが合うように像を再構成した場合は、BjはAkの近傍に存在する。このような画素を特定して欠陥補正手段で活用するのである。本実施例では画素を特定して記録する必要はなく、ピントがあう位置が特定されればAkと対応する画素は自ずと定まるので、ピント位置を記憶することにしている。次に図5を用いて像シフトおよび像生成を模式的に示し、像の再構成によるコントラスト計算の有用性について述べる。図5において、まず図5bは実際に撮像素子106が存在して画像を取得した面を、図5aは図5bよりも物体側の再構成面再構成面1とするを、図5cは図5bよりも物体側から遠い側の再構成面再構成面2とするをそれぞれ示す。なお、上述のよういに、図5においては、説明を明瞭かつ簡潔にするために瞳分割方向および画素配列をそれぞれ一次元としている。図5bにおいて、X1i、X2i、X3i、X4i、X5i、はそれぞれ瞳領域1、2、3、4、5を通過してマイクロレンズXiに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半はマイクロレンズの番号を示している。物理的な位置との関係においては、X1iは図2cの221領域から得られるデータを、X2iは図2cの222領域から得られるデータを、以下添え字の3、4、5は領域223、224、225に対応していることを示している。取得面での画像を生成するためには、図5bにあるように、マイクロレンズXiに入射したデータを加算すればよい。具体的には、SiX1IX2iX3iX4iX5iでXiに入射した光の角度方向の積分値を得ることができる。これをすべてのマイクロレンズについて行なうことにより通常のカメラと同様の像が生成される。次に再構成面1での像の生成方法を考える。図2で説明したように、本実施例の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはX1iのように瞳領域の添え字が1のものは図5の右側の図において541に示すような角度で入射しているとする。以下瞳領域の添え字2,3,4,5はそれぞれ542,543,544,545に対応しているとする。この時再構成面1でのマイクロレンズXiに入射した光束は、取得面においては、Xi2からXi2に分散して入射していることになる。より具体的には、X1i2、X2i1、X3i、X4i1、X5i2に分散している。Xiに限らず再構成面1での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良いことが分かる。再構成面1での像を生成するためには、瞳領域の添え字が1のものは右に2画素シフト、瞳領域の添え字が2のものは右に1画素シフト、瞳領域の添え字が3のものはシフトなしとする。さらに、瞳領域の添え字が4のものは左に1画素シフト、瞳領域の添え字が5のものは左に2画素シフトすることで入射角度に応じたシフトを与えることができる。その後図5aの縦方向に加算することで再構成面1でのデータを得ることができる。具体的には、SiX1i2X2i1X3iX4i1X5i2で再構成面1において、Xiに入射した光の角度方向の積分値を得ることができる。これにより再構成面での画像が得られる。ここで、再構成面1において、Xiに輝点があったとすると、取得面においてはX1i2、X2i1、X3i、X4i1、X5i2に分散していわゆるボケ状態にある。しかしながら、上述した再構成面1での像を生成すると、再びXiに輝点が生成されコントラストの高い像が得られる。すなわち像を再構成してコントラストを計算することで、いわゆるコントラストAFを行うことが可能となる。また、図5cから分かるように、再構成面2においても再構成面と全く同様に像を生成することができる。再構成面を配置する方向が異なると物体に対して反対側という意味シフトさせる方向を反転させれば良いだけである。図6を用いて図2の撮像系における仮想的な結像面での像の再構成の例を説明する。図6は物体被写体からの光線が撮像素子106上に結像する状態を模式的に示した図である。図6aは図2で説明した光学系の結像状態に対応しており、撮影光学系103の結像面近傍にMLA200が配置されている例である。図6bは撮影光学系103の結像面よりも物体寄りにMLA200を配置された時の結像状態を示し図である。図6cは撮影光学系103の結像面よりも物体から遠い側にMLA200を配置したときの結像状態を示す図である。図6において、106は撮像素子を、200はMLAを、231から235は図2で用いた瞳領域を、651は物体平面を、651a,651bは物体上の適当な点を、652は撮影光学系の瞳平面をそれぞれ示す。また、661、662、671,672,673,681,682,683,684はMLA上の特定のマイクロレンズをそれぞれ示している。図6bおよびcに示した6aは仮想的な結像面に位置する撮像素子を、200aは仮想的な結像面に位置するMLAを示している。これらは、図6aとの対応関係を明確にするために参考に示した。また、物体上の点651aから出て瞳平面上の領域231および233を通過する光束を実線で、物体上の点651bから出て瞳平面上の領域231および233を通過する光束を破線で図示した。図6aの例では、図2でも説明したように、撮影光学系103の結像面近傍にMLA200を配置することで、撮像素子106と撮影光学系の瞳平面652が共役の関係にある。さらに、物体平面651とMLA200が共役の関係にある。このため物体上の点651aから出た光束はマイクロレンズ661に、651bを出た光束はマイクロレンズ662に到達し、領域231から235それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図6bの例では、マイクロレンズ200で撮影光学系3からの光束を結像させ、その結像面に撮像素子106を設ける。このように配置することで、物体平面651と撮像素子106は共役の関係にある。物体上の点651aから出で瞳平面上の領域231を通過した光束はマイクロレンズ671に到達し、物体上の点651aから出で瞳平面上の領域233を通過した光束はマイクロレンズ672に到達する。物体上の点651bから出で瞳平面上の領域231を通過した光束はマイクロレンズ672に到達し、物体上の点651bから出で瞳平面上の領域233を通過した光束はマイクロレンズ673に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、撮像素子の異なる位置にそれぞれ結像する。これらを、仮想的な撮像面106a上の位置に並べなおせば、図6aと同様の情報を得ることができる。すなわち、通過した瞳領域入射角度と撮像素子上の位置の情報を得ることができ、瞳分割手段としての機能が達成される。図6cの例では、マイクロレンズ200で撮影光学系3からの光束を再結像させ一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる、その結像面に撮像素子6を設ける。このように配置することで、物体平面651と撮像素子106は共役の関係にある。被写体上の点651aから出で瞳平面上の領域231を通過した光束はマイクロレンズ682に到達し、被写体上の点651aから出で瞳平面上の領域233を通過した光束はマイクロレンズ681に到達する。被写体上の点651bから出で瞳平面上の領域231を通過した光束はマイクロレンズ684に到達し、被写体上の点651bから出で瞳平面上の領域233を通過した光束はマイクロレンズ683に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図6bと同様に、仮想的な撮像面106a上の位置に並べなおせば、図6aと同様の情報を得ることができる。すなわち、通過した瞳領域入射角度と撮像素子上の位置の情報を得ることができ、瞳分割手段としての機能が達成される。図6ではMLA位相変調素子を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報瞳の通過領域を制限することと等価を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスクゲイン変調素子を撮影光学系の光路中に挿入する方法も利用できる。以上に説明したように、本実施例によると、撮像素子において異なる瞳領域を通過した光束の情報をもとに、画素欠陥を含む撮像素子を利用した場合においても、画素欠陥の影響提供を低減した高品位な画像を得ることが出来る。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。以下、図7を参照して、本発明の第2の実施例に係わるカメラシステムの構成を説明する。なお、本実施例においてもカメラシステムの装置構成自体は図1に示す構成と同じであるので、ここでの説明は省略する。図7は本実施例に係わる撮影画像を得るための動作のフローチャートを示す。図7aはカメラシステム全体の動作、図7bは予備現像動作、図7cは欠陥補正手段の動作それぞれのフローチャ-トを示している。なお、図7において、第1の実施例と同様の動作を行うステップについては図3と同じ番号を付して示す。本実施例では、検出されたピント位置がdmaxの範囲であるかどうかに従って補間方法を変更した第1実施例に対し、ピント位置がdmaxの範囲内であるとして像シフトを行い予備現像、シフトされた画素値の相関に応じて補間方向を決定する。図7aの各ステップを順に説明する。なお、図3のフローチャートと同じステップは同じ符号を付して示し、ここでの説明は基本的に省略する。ステップS301は画像取得動作の開始を示している。ステップS302では、撮像素子106を適当な時間だけ露光した後、撮像信号を読み出してA/D変換することにより画像データを取得する。ステップS703では第1の実施例とは異なり予備現像動作を行う。予備現像に関しては図7bを用いて後述する。ステップS705では欠陥補正手段を動作させる。本実施例における欠陥補正手段については図7cを用いて後述する。ステップS306からステップS309は第1の実施例と同じ動作を行なう。すなわち、ステップS306で像シフト手段を動作させ、ステップS307で像生成手段を動作させ、ステップS308で記録処理を行った後に、ステップS309で終了する。図7bを用いて予備現像動作について説明する。ステップS711で予備現像動作が開始し、ステップS712に進む。ステップS712からステップS714はループを形成しており、設定された複数の位置において画像の生成=現像が行われる。現像を行う位置は、第1の実施例に示したdmaxの範囲内に複数設定する方法などが考えられる像生成位置設定手段。ステップS713では、複数設定されたうちの現在の現像位置に対応するように像シフト手段が動作する。この動作は、第1の実施例で説明した動作である。ステップS714までの動作によって複数の位置でのシフト画像が生成されることになる。像生成手段によって加算されていないので、現像すべき位置に画素をずらした状態になっている。図5と対応させると、図5の再構成面における像シフトは完了しているが、縦方向の加算を行ってSiを求める処理は行っていない状態にある。ステップS715において、予備現像ルーチンの呼び出し元のステップS703に戻る。図7cを用いて本実施例における欠陥補正手段について説明する。ステップS371は欠陥補正手段の動作開始を示している。ステップS372およびステップS373は欠陥情報をメモリ手段108から読みだす操作を示している。第1の実施例で述べたように、欠陥情報は固定的なため記憶しておいてここで用いる。ステップS374からステップS379はループを形成しており、すべての欠陥画素に対して本実施例の補間処理を行うことを示している。ステップS770では、角度光線の入射角度および位置画素値の相関を計算する。図5の記号を使ってここで角度の相関と位置の相関を定義する。piはそれぞれ角度と位置に対応する添え字である。ここでは角度、位置ともに説明のために1次元で示しているが、実際のカメラでは2次元で考えれば良い。この場合簡単に拡張を行うことが出来る。たとえば角度の添え字をpq、位置の添え字をijとすると以下のように書くことが出来る。数4および数5では隣接する角度マイクロレンズ、位置方向に相関を計算した。このような計算方法を用いると簡易に相関を求めることが可能であるとともに、位置の相関と角度の相関を同じ次元で扱うことが出来るというメリットがある。なお、相関の演算方法は上記に限るものではなく、その他の方法によっても良い。たとえば、角度の相関は数6によると、欠陥以外の画素の値がどの程度類似しているかを知ることが出来る。さらには数6を加算数で割って正規化すれば位置の相関と同じ次元で扱うことが出来る。ステップS775では角度の相関と位置の相関の比較を行う。角度の相関値が位置の相関値以下の場合にはステップS778に進み、角度の相関が位置の相関より大きい場合にはステップS776に進む。ステップS776では位置方向での補間処理がなされる。これは実施例1のステップS376と同じ処理になり数2によって処理される。ステップS778では角度方向での補間処理がなされる。これは次式によって与えられる。すなわち隣接する角度の情報がある場合は両側の情報を活用し、両側には情報が存在しない場合は隣接する他方の情報を活用して補間を行う。ステップS379までの処理によって、相関が良い=類似性が高い情報を活用して補間処理がなされるので、欠陥画素に対して適切な補間処理がなされる。結果として高品位な画像を得ることが可能となる。ステップS380において、欠陥補正ルーチンの呼び出し元のステップS305に戻る。以上した本実施例によっても、異なる瞳領域を通過した光束の情報が得られる撮像素子を利用した場合において、当該撮像素子が画素欠陥を含んでいても、その影響を低減した高品位な画像を得ることが出来る。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、図3及び図7に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいうコンピュータシステムとは、OSや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた場合である。このプログラムの指示に基づき、機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本件発明に含まれる。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリRAMのように、一定時間プログラムを保持しているものも含む。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する伝送媒体は、インターネット等のネットワーク通信網や電話回線等の通信回線通信線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル差分プログラムであっても良い。また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。"