"撮影レンズの瞳の異なる位置を透過する光束を受光する画素を有する撮像素子と、各画素で光電変換された信号に基づいて瞳分割方式の焦点検出を行う演算手段と、前記撮像素子の欠陥画素情報を記憶する欠陥画素記憶手段と、前記欠陥画素記憶手段の出力に対し周辺画素の像信号から補間を行う欠陥画素補間手段と、を有することを特徴とする撮像装置。撮影レンズの瞳の異なる位置を透過する光束を受光する画素を有する撮像素子と、前記撮像素子の欠陥画素情報を記憶する欠陥画素記憶手段と、前記欠陥画素記憶手段の出力に対し周辺画素の像信号から補間を行う欠陥画素補間手段と、前記撮影レンズの異なる瞳位置に対応する画素で光電変換された信号に基づいて瞳位置に対応した複数の視差のある画像を作る画像処理手段と、を有することを特徴とする撮像装置。前記欠陥画素補間手段は、欠陥画素に対し瞳分割方向とは異なる方向にある画素からの信号により前記欠陥画素の信号を補間することを特徴とする請求項1又は2に記載の撮像装置。前記欠陥画素補間手段は、欠陥画素に対し瞳分割方向の垂直方向にある画素からの信号により前記欠陥画素の信号を補間することを特徴とする請求項1~3のいずれかに記載の撮像装置。前記欠陥画素補間手段は、欠陥画素の同一マイクロレンズ内にある瞳分割方向とは異なる方向にある画素からの信号により前記欠陥画素の信号を補間することを特徴とする請求項3に記載の撮像装置。前記欠陥画素補間手段は、欠陥画素の同一マイクロレンズ内にある瞳分割方向の垂直方向にある画素からの信号により前記欠陥画素の信号を補間することを特徴とする請求項4に記載の撮像装置。従来、通常の画像の撮像において画素に欠陥があった場合、欠陥画素の直前の同色画素からの置き換え前置補間を行う撮像装置が提案されている。また、特許文献4の撮像装置では欠陥画素の周囲画素により算出されるエッジ強度指標値に基づき選択される補間方向に基づき選択された周囲画素から欠陥画素の補正値を算出する撮像装置が提案されている。しかし、位相差検出による焦点検出を行う場合、同様の方法では像の位相差情報が損なわれ相関演算に誤差が生じ、正確な焦点検出を行うことができないという欠点がある。本発明は、上記の問題点に鑑みてなされたものであり、撮像素子が欠陥画素を有する場合でも相関情報の損なわない補間を実現することを目的とする。本発明の一側面としての撮像装置は、撮影レンズの瞳の異なる位置を透過する光束を受光する画素を有する撮像素子と、各画素で光電変換された信号に基づいて瞳分割方式の焦点検出を行う演算手段と、前記撮像素子の欠陥画素情報を記憶する欠陥画素記憶手段と、前記欠陥画素記憶手段の出力に対し周辺画素の像信号から補間を行う欠陥画素補間手段と、を有することを特徴とする。本発明の更なる目的又はその他の特徴は、以下、添付図面を参照して説明される好ましい実施例によって明らかにされるであろう。本発明によれば、撮像素子が欠陥画素を有する場合でも相関情報の損なわない補間を実現することが可能となる。以下、本発明の好ましい実施例について図面を参照しながら説明する。図1は、本発明の好適な実施の形態に係るカメラシステムの構成図である。10はイメージセンサ撮像素子であり、デジタルスチルカメラ1撮像装置の撮影レンズ5の予定結像面に配置されている。イメージセンサ10は、撮影レンズ5の瞳の異なる位置を透過する光束を受光する複数の画素を同一マイクロレンズ内に有している。デジタルスチルカメラ1は、デジタルスチルカメラ1の全体を制御するCPU20、イメージセンサ10を駆動制御する制御手段であるイメージセンサ制御回路21を備える。デジタルスチルカメラ1はまた、イメージセンサ10で撮像した画像信号を画像処理する画像処理手段24、画像処理手段24で画像処理された画像を表示する表示手段である液晶表示素子9とそれを駆動する液晶表示素子駆動回路25を備える。デジタルスチルカメラ1はまた、液晶表示素子9に表示された被写体像を観察するための接眼レンズ3、イメージセンサ10で撮像された画像を記録するメモリ回路22を備える。メモリ回路22はまた、イメージセンサ10が有する欠陥画素に関する情報欠陥画素情報を記憶する欠陥画素記憶手段としての機能も備えている。デジタルスチルカメラ1はまた、画像処理手段24で画像処理された画像をデジタルスチルカメラ1の外部に出力するためのインターフェース回路23を備える。撮影レンズ5は、デジタルスチルカメラ1に対して着脱可能であり、便宜上2枚のレンズ5a、5bで図示しているが、実際には多数枚のレンズで構成されている。撮影レンズ5は、デジタルスチルカメラ1のCPU20から送られてくる焦点調節情報を電気接点26を介してレンズCPU50で受信し、その焦点調節情報に基づいて撮影レンズ駆動機構51によって合焦状態に調節される。また、53は撮影レンズ5の瞳近傍に配設された絞り装置であり、絞り駆動機構52によって所定の絞り値に絞り込まれるように構成されている。また、CPU20は、イメージセンサ10からの出力に基づいて撮影レンズ5の焦点状態を算出する演算手段や、後述する欠陥画素に対し周辺画素の像信号から補間を行う欠陥画素補間手段としての機能も備えている。次に、撮像と焦点検出との双方とを行うためのイメージセンサについて説明する。図2は、イメージセンサ10を用いて瞳分割方式の焦点検出を行う方法の原理説明図であり、図3は、イメージセンサ10の1画素の断面図である。イメージセンサ10は撮影レンズ5の予定結像面に配置されている。また、イメージセンサ10の1画素は2つの光電変換部101α、101βとから構成されており、各光電変換部の撮影レンズ側に形成されたマイクロレンズ130によって光電変換部101α、101βは撮影レンズ5の瞳と略結像関係になるように設定されている。ここで、光電変換部101αは撮影レンズ5の瞳の図中上方を透過する光束Lαを受光し、光電変換部101βは撮影レンズ5の瞳の図中下方を透過する光束Lβを受光する。焦点検出時は、光電変換部101α及び光電変換部101βの光電荷を転送ゲート120α及び120βを介して異なるタイミングでフローティングディフュージョン部121に個別に出力し、イメージセンサ10の外部に読み出す。さらに複数の画素の各光電変換部からの出力より撮影レンズの異なる瞳位置を透過した光束による像が生成される。撮影レンズの異なる瞳位置を透過した光束より生成される像を用いて焦点検出を行う方法は特開平5-127074号公報等により公知の技術である。一方、通常撮影時は、光電変換部101αと光電変換部101βの光電荷は転送ゲート120α及び120βを同時にONすることにより、同じタイミングでフローティングディフュージョン部121へ出力をされ、画素内で加算して出力するように構成されている。図4は、撮像素子であるイメージセンサ10のカラーフィルタおよびマイクロレンズを示した平面図である。図中1マスが1マイクロレンズを示している。1マスの中に書かれたRGBの文字は、カラーフィルタの色相を表している。図5は、図4のイメージセンサ10の一部平面図であり、図4の図中で点線で囲った領域の1マイクロレンズ内撮像素子の構成を示した図である。図中1マスが1マイクロレンズを示し、その中をa~cの4分割した画素で構成され、それぞれの画素は、撮影レンズの瞳の異なる位置を透過する光束を受光する。通常の画像を撮像する場合はa~dの4画素を加算し、1マイクロレンズに対し1画素の信号として扱うことで通常の画像の撮像が可能になる。実線で囲まれたGaとGc、破線で囲まれたGbとGdをそれぞれ加算しSAn、SBn信号とし、一次元方向瞳分割方向に連結したSA信号とSB信号の位相差を求めることで撮影レンズの焦点を検出することができる。ここでは、瞳分割方向は水平方向になる。図6は瞳分割方向に各画素の信号を1ライン分連ね、撮影レンズの瞳を左右に分割した光束で得られる一対の1次元像図5で示したSA信号とSB信号を示している。この一対の1次元像の位相差を検出することにより撮影レンズの焦点を演算する。本実施例においては、上記一対の1次元像は、G画素とB画素、またはG画素とR画素の信号から成る。なお、上記一対の1次元像は、1ライン全ての画素の信号から取得するのに限らず、1ライン中の一部の信号から取得してもよい。また、G画素とB画素あるいはG画素とR画素を足し合わせ1画素の信号として、上記一対の1次元像を構成してもよい。更には、ベイヤ配列を構成する2つのG画素、B画素、R画素の4画素を足し合わせ1画素の信号として上記一対の1次元像を構成してもよい。上記の瞳分割方式を用いてすなわち撮影レンズ5の瞳の異なる領域を透過した光束による像を用いて、撮影レンズの焦点状態を検出する方法は、例えば特開2001-124984号公報に記載されている手法を用いている。次に、欠陥画素に対する欠陥画素補間を行う方法について図7において説明する。SB3のb画素が欠陥であった場合、欠陥画素補間手段としてのCPU20は、その瞳分割方向に対し垂直方向にあるSB3_U、SB3_Dの信号の平均出力によって補間を行う。瞳分割方向に対し垂直方向からの信号によって補間を行うため、位相差情報を損なうことがなく、焦点検出精度を悪化させることはない。なお、補間方法については上記に限定されず、SB3_U及びSB3_Dのいずれかの信号を使用してもよい。あるいは、SB3_Uのb画素又はSB3_Dのb画素の信号のいずれか、またはそれらを合成した信号より生成した信号を使用してもよい。上記実施例では瞳分割方向とは垂直方向にある画素信号からの補間としているが、瞳分割方向以外の方向からの補間としても、位相情報を大きく損なうことはない。例えば、瞳分割方向とは異なる方向における、欠陥画素の近傍、かつ、同色画素からの信号により欠陥画素の信号を補間することができる。欠陥画素の近傍の画素周辺画素とは、例えば図7の瞳分割方向において欠陥画素を含むマイクロレンズに最も近いマイクロレンズ内における欠陥画素と同色の2つの画素SB2のb画素、SA3のa画素の間の範囲A内にある画素のことを指す。より好ましくは、欠陥画素の近傍の画素とは、瞳分割方向とは異なる方向にあり、欠陥画素を含むマイクロレンズに最も近いマイクロレンズ内における欠陥画素と同色の画素である。また、上述した実施例では欠陥画素を含むマイクロレンズとは異なるマイクロレンズを透過した画素からの信号を欠陥画素補間に使用する例について挙げた。しかし、SB3のGbに欠陥があった場合、欠陥画素を含むマイクロレンズと同一マイクロレンズ内にある瞳分割方向とは異なる方向にあるGd画素からの信号により置き換えて欠陥画素補間を行ってもよい。また、SB3_Uのb画素、SB3_Dのb画素、SB3のd画素の信号を合成して、補間に使用する信号を生成しても良い。また、上述した実施例では、瞳分割方向が水平方向の場合について説明したが、瞳分割方向を垂直方向にしてもよい。また、水平方向と垂直方向を切り換えるようにしてもよい。図8において、瞳分割方向が垂直方向の場合を示す。例えば、SA7のGb画素が欠陥であった場合、その瞳分割方向に対し垂直方向にあるSA7_U、SA7_Dの信号の平均出力によって補間を行う。瞳分割方向に対し垂直方向からの信号によって補間を行うため、位相差情報を損なうことがなく、焦点検出精度を悪化させることはない。なお、補間方法については上記に限定されず、SA7_U及びSA7_Dのいずれかの信号を使用してもよい。あるいは、SA7_Uのb画素又はSA7_Dのb画素の信号のいずれか、またはそれらを合成した信号より生成した信号を使用してもよい。なお、欠陥画素を含むマイクロレンズと同一マイクロレンズ内にある瞳分割方向とは異なる方向にあるGa画素からの信号により置き換えて欠陥画素補間を行ってもよい。また、SA7_Uのb画素、SA7_Dのb画素、SA7のa画素の信号を合成した信号より、補間に使用する信号を生成しても良い。また、同一マイクロレンズ内に瞳分割方向とは異なる方向にある画素が更に複数ある場合、同一マイクロレンズ内にある瞳分割方向とは異なる方向にある画素からの信号により補間を行ってもよい。例えば、図9に示すようにSBn内のG8が欠陥であった場合、同一マイクロレンズ内にある瞳分割方向とは異なる方向にあるG7およびG9画素からの信号により補間を行ってもよい。また、本実施例では瞳分割方向とは異なる方向にある同色画素からの補間としているが、瞳分割方向とは異なる方向にある異色画素からの信号により、欠陥画素周辺での色比にあわせて補間を行ってもよい。この場合も上述したように、欠陥画素の近傍、かつ、異色画素からの信号により欠陥画素周辺での色比に合わせて欠陥画素の信号を補間することが好ましい。本実施例によれば、撮像素子が欠陥画素を有する場合でも相関情報の損なわない補間を実現し、精度良く撮影レンズの焦点状態を検出することが可能となる。本実施例は、本発明のカメラシステムを用いて立体映像を生成及び表示させるというものである。本実施例のカメラシステムの構成は、実施例1のカメラシステムと同じである。このため、本実施例において実施例1と共通する構成要素には、実施例1と同符号を付する。また、立体映像を生成及び表示する方法は、例えば特許文献1に記載の方法を使用することができる。特許文献1では全ての右側検出器の出力から第1の映像を生じ、全ての左側検出器の出力から第2の映像を生じさせ、表示される2つの映像の視差から立体映像を表示させる提案がなされている。本実施例では、図1のデジタルスチルカメラ1の構成図において、瞳分割されたそれぞれ撮像素子の出力を画像処理手段24において視差のある画像に処理を行う。つまり、本実施例において画像処理手段24は、撮影レンズ5の異なる瞳位置に対応する画素で光電変換された信号に基づいて、瞳位置に対応した複数の視差のある画像を作ることができる。立体映像を表示させる場合における欠陥画素に対する欠陥画素補間を行う方法ついて図7を用いて説明する。SB3のb画素が欠陥であった場合、欠陥画素補間手段としてのCPU20は、その瞳分割方向視差方向とも言える。に対し垂直方向にあるSB3_U、SB3_Dの信号の平均出力によって補間を行う。瞳分割方向に対し垂直方向からの信号によって補間を行うため、視差情報を損なうことがなく立体映像を表示することができる。なお、補間方法については上記に限定されず、実施例1で述べた別の方法を用いてもよい。本実施例では瞳分割方向とは垂直方向にある画素信号からの補間としているが、瞳分割方向以外の方向からの補間としても、視差情報を大きく損なうことはない。瞳分割方向以外の方向からの補間方法も実施例1で述べた方法を用いることができる。また本実施例では欠陥画素とは異なるマイクロレンズを透過した画素からの信号を欠陥画素補間に使用する例について挙げた。しかし、SB3のGbに欠陥があった場合、欠陥画素を含むマイクロレンズと同一マイクロレンズ内にある瞳分割方向とは異なる方向にあるGd画素からの信号により置き換えて欠陥画素補間を行ってもよい。また、同一マイクロレンズ内に瞳分割方向とは異なる方向にある画素が更に複数ある場合、同一マイクロレンズ内にある瞳分割方向とは異なる方向にある画素からの信号により補間を行ってもよい。例えば、図9に示すようにSBn内のG8が欠陥であった場合、同一マイクロレンズ内にある瞳分割方向とは異なる方向にあるG7およびG9画素からの信号により補間を行ってもよい。また、本実施例では瞳分割方向とは異なる方向にある同色画素からの補間としているが、瞳分割方向とは異なる方向にある異色画素からの信号により、欠陥画素周辺での色比にあわせて補間を行ってもよい。本実施例によれば、撮像素子が欠陥画素を有する場合でも相関情報の損なわない補間を実現し、精度良く立体映像を生成及び表示させることが可能となる。以下、本発明の好適な実施の形態に係るイメージセンサ10の構成を図3を用いて説明する。図3は、イメージセンサ10の一部断面図であり、図5のイメージセンサの一部平面図の中に示した点線で囲った領域の断面図である。図中右側の画素は、撮影レンズ5の片側の瞳領域を受光可能な第1の画素を示し、図中左側の画素は、撮影レンズ5のもう片方の一部の瞳領域からの光束を受光可能な第2の画素を示している。117はP型ウェル、118はゲート絶縁膜であるSiO2膜である。126α及び126βは表面P層であり、n層125α及び125βと共に光電変換部101α及び101βを構成している。また、120α及び120βは光電変換部101α及び101βに蓄積された光電荷をフローティングディフュージョン部121へ転送するための転送ゲートである。さらに、129はカラーフィルタ、130はマイクロレンズで、マイクロレンズ130は撮影レンズ5の瞳とイメージセンサ10の光電変換部101α及び101βとが共役になるような形状及び位置に形成されている。またフローティングディフュージョン部121を挟んで、光電変換部101α,101βがそれぞれ形成されており、更に各光電変換部101α,101βで発生した光電荷は、それぞれ転送ゲート120α、120βを介して転送される。以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。上記実施例では、レンズ交換型のデジタルスチルカメラについて説明したが、本発明は、レンズ一体型のデジタルスチルカメラやビデオカメラ等の撮像装置光学機器にも適用することができる。"