"入射光の光電変換を行う光電変換領域を有する2種類の画素の組を複数組備える画素ブロックが配列された撮像面であって、前記2種類の画素の一方の画素は前記光電変換領域の受光面の中心位置に対して第一の方向にずれた位置に設けられた第一の開口部を通して入射した入射光を受光し、前記2種類の画素の他方の画素は前記光電変換領域の受光面の中心位置に対して前記第一の方向とは反対側の第二の方向にずれた位置に設けられた第二の開口部を通して入射した入射光を受光し、前記第一の開口部及び第二の開口部の前記中心位置に対するずれ量が前記2種類の画素の組毎に異なるように形成されている撮像面と、各前記光電変換領域の上方に形成された複数色のカラーフィルタを有するカラーフィルタアレイであって、同じ前記画素ブロック内の前記光電変換領域の上方に形成された前記カラーフィルタは同一色を有しているカラーフィルタアレイと、を備えることを特徴とする固体撮像装置。請求項1記載の固体撮像装置と、前記撮像面に被写体像を結像させる光学系と、複数の撮影モードの中から1つの撮影モードを選択する選択手段と、前記選択手段により選択された撮影モードで予め定められた1以上の組に含まれる前記2種類の画素の一方の画素からの出力信号によって構成される第一の視点画像と、当該2種類の画素の他方の画素からの出力信号によって構成される第二の視点画像とを含む視差画像を生成する画像生成手段と、を備えることを特徴とするデジタルカメラ。前記画素ブロックは2組の前記2種類の画素を有し、前記複数の撮影モードには少なくとも第1撮影モード及び第2撮影モードが含まれており、前記画像生成手段は、前記選択手段により前記第1撮影モードが選択された状態にて、前記2組の中から前記ずれ量が大きい一方の組の前記2種類の画素からの出力信号により第1視差画像を生成し、前記選択手段により前記第2撮影モードが選択された状態にて、前記2組の中から前記ずれ量が小さい他方の組の前記2種類の画素からの出力信号により第2視差画像を生成することを特徴とする請求項2記載のデジタルカメラ。前記複数の撮影モードには、さらに第3撮影モードが含まれており、前記画像生成手段は、前記選択手段により前記第3撮影モードが選択された状態にて、前記一方の組及び他方の組の各々の前記一方の画素からの出力信号を加算または平均した信号と、前記一方の組及び他方の組の各々の前記他方の画素からの出力信号を加算または平均した信号とに基づき、第3視差画像を生成することを特徴とする請求項3記載のデジタルカメラ。前記選択手段により前記第1撮影モードが選択された状態にて、前記一方の組の前記2種類の画素から前記画像生成手段へ出力信号を出力させ、前記第2撮影モードが選択された状態にて、前記他方の組の前記2種類の画素から前記画像生成手段へ出力信号を出力させ、前記第3撮影モードが選択された状態にて、全ての組の前記2種類の画素から前記画像生成手段へ出力信号を出力させる信号出力制御手段、を備えることを特徴とする請求項4記載のデジタルカメラ。前記光学系に含まれ、当該光学系の光軸方向に移動自在なズームレンズと、前記ズームレンズを広角端と望遠端との間で移動させるレンズ移動機構であって、前記ズームレンズのレンズ位置を、前記撮像面に入射する入射光の入射角度が大きくなる前記広角端側の第1領域内と、前記撮像面に入射する入射光の入射角度が小さくなる前記望遠端側の第2領域内とにセットするレンズ移動機構とを備え、前記選択手段は、前記レンズ位置が前記第1領域内にある状態にて前記第1撮影モードを選択し、前記レンズ位置が前記第2領域内にある状態にて前記第2撮影モードを選択することを特徴とする請求項5記載のデジタルカメラ。前記レンズ移動機構は、前記ズームレンズを前記第1領域と前記第2領域との間の第3領域内にセット可能であり、前記選択手段は、前記レンズ位置が前記第3領域内にある状態にて前記第3撮影モードを選択することを特徴とする請求項6記載のデジタルカメラ。全ての組の前記2種類の画素から出力された出力信号を記憶する記憶手段を備え、前記画像生成手段は、前記選択手段により選択された撮影モードに対応する組に含まれる前記2種類の画素の出力信号を前記記憶手段から取得することを特徴とする請求項4記載のデジタルカメラ。前記画素ブロックには、2組の前記2種類の画素が正方行列状に配列されていることを特徴とする請求項3ないし8いずれか1項記載のデジタルカメラ。前記第一の開口部及び第二の開口部は、前記撮像面の上方に設けられた遮光膜に形成されていることを特徴とする請求項2ないし9いずれか1項記載のデジタルカメラ。ところで、視差画像を立体視したときの立体感は視差画像の視差量によって変わる。ここで、視差量とは視差画像を立体視したときの立体感の指標となる値であり、例えば、L,R視点画像の対応点のずれ量などで表される。視差量が大きいほど立体感が強くなり、逆に視差量が小さいほど立体感が弱くなる。1組の撮影レンズ及び固体撮像装置で取得された視差画像の視差量は固定されているが、適切な立体感で立体視可能な視差画像の視差量は個々のユーザによって異なる。このため、視差画像の立体視時にユーザによっては立体感が強調されすぎて目の疲労を感じたり、あるいは逆に立体感が感じられなかったりするという問題が生じる。本発明の目的は、個々のユーザの好みに応じた立体感で立体視可能な視差画像を取得可能な固体撮像装置及びこの固体撮像装置を備えるデジタルカメラを提供することを目的とする。上記目的を達成するため、本発明の固体撮像装置は、入射光の光電変換を行う光電変換領域を有する2種類の画素の組を複数組備える画素ブロックが配列された撮像面であって、前記2種類の画素の一方の画素は前記光電変換領域の受光面の中心位置に対して第一の方向にずれた位置に設けられた第一の開口部を通して入射した入射光を受光し、前記2種類の画素の他方の画素は前記光電変換領域の受光面の中心位置に対して前記第一の方向とは反対側の第二の方向にずれた位置に設けられた第二の開口部を通して入射した入射光を受光し、前記第一の開口部及び第二の開口部の前記中心位置に対するずれ量が前記2種類の画素の組毎に異なるように形成されている撮像面と、各前記光電変換領域の上方に形成された複数色のカラーフィルタを有するカラーフィルタアレイであって、同じ前記画素ブロック内の前記光電変換領域の上方に形成された前記カラーフィルタは同一色を有しているカラーフィルタアレイと、を備えることを特徴とする。また、本発明のデジタルカメラは、請求項1記載の固体撮像装置と、前記撮像面に被写体像を結像させる光学系と、複数の撮影モードの中から1つの撮影モードを選択する選択手段と、前記選択手段により選択された撮影モードで予め定められた1以上の組に含まれる前記2種類の画素の一方の画素からの出力信号によって構成される第一の視点画像と、当該2種類の画素の他方の画素からの出力信号によって構成される第二の視点画像とを含む視差画像を生成する画像生成手段と、を備えることを特徴とする。前記画素ブロックは2組の前記2種類の画素を有し、前記複数の撮影モードには少なくとも第1撮影モード及び第2撮影モードが含まれており、前記画像生成手段は、前記選択手段により前記第1撮影モードが選択された状態にて、前記2組の中から前記ずれ量が大きい一方の組の前記2種類の画素からの出力信号により第1視差画像を生成し、前記選択手段により前記第2撮影モードが選択された状態にて、前記2組の中から前記ずれ量が小さい他方の組の前記2種類の画素からの出力信号により第2視差画像を生成することが好ましい。前記複数の撮影モードには、さらに第3撮影モードが含まれており、前記画像生成手段は、前記選択手段により前記第3撮影モードが選択された状態にて、前記一方の組及び他方の組の各々の前記一方の画素からの出力信号を加算または平均した信号と、前記一方の組及び他方の組の各々の前記他方の画素からの出力信号を加算または平均した信号とに基づき、第3視差画像を生成することが好ましい。前記選択手段により前記第1撮影モードが選択された状態にて、前記一方の組の前記2種類の画素から前記画像生成手段へ出力信号を出力させ、前記第2撮影モードが選択された状態にて、前記他方の組の前記2種類の画素から前記画像生成手段へ出力信号を出力させ、前記第3撮影モードが選択された状態にて、全ての組の前記2種類の画素から前記画像生成手段へ出力信号を出力させる信号出力制御手段、を備えることが好ましい。前記光学系に含まれ、当該光学系の光軸方向に移動自在なズームレンズと、前記ズームレンズを広角端と望遠端との間で移動させるレンズ移動機構であって、前記ズームレンズのレンズ位置を、前記撮像面に入射する入射光の入射角度が大きくなる前記広角端側の第1領域内と、前記撮像面に入射する入射光の入射角度が小さくなる前記望遠端側の第2領域内とにセットするレンズ移動機構とを備え、前記選択手段は、前記レンズ位置が前記第1領域内にある状態にて前記第1撮影モードを選択し、前記レンズ位置が前記第2領域内にある状態にて前記第2撮影モードを選択することが好ましい。前記レンズ移動機構は、前記ズームレンズを前記第1領域と前記第2領域との間の第3領域内にセット可能であり、前記選択手段は、前記レンズ位置が前記第3領域内にある状態にて前記第3撮影モードを選択することが好ましい。全ての組の前記2種類の画素から出力された出力信号を記憶する記憶手段を備え、前記画像生成手段は、前記選択手段により選択された撮影モードに対応する組に含まれる前記2種類の画素の出力信号を前記記憶手段から取得することが好ましい。前記画素ブロックには、2組の前記2種類の画素が正方行列状に配列されていることが好ましい。また、前記第一の開口部及び第二の開口部は、前記撮像面の上方に設けられた遮光膜に形成されていることが好ましい。本発明の固体撮像装置及びデジタルカメラは、画素ブロック内に、第一の開口部及び第二の開口部からそれぞれ入射した入射光を別個に受光する2種類の画素の組を複数組設けて、さらに光電変換領域の受光面の中心位置に対する第一の開口部及び第二の開口部のずれ量が2種類の画素の組毎に異なるようにしたので、各組の2種類の画素からの出力信号に基づき視差量の異なる複数種類の視差画像データを生成することができる。その結果、個々のユーザの好みに応じた立体感で立体視可能な視差画像データが得られる。[第1実施形態]図1に示すように、デジタルカメラ10のCPU11は、シャッタボタンや各種操作ボタンを含む操作部選択手段12からの制御信号に基づき、図示しないメモリから読み出した各種プログラムやデータを逐次実行して、デジタルカメラ10の各部を統括的に制御する。デジタルカメラ10は、右視点で撮像されたR視点画像データ第一の視点画像と左視点で撮像されたL視点画像データ第二の視点画像とを含む2視点の視差画像データを取得する、いわゆる単眼3Dカメラである。デジタルカメラ10は、視差量大の視差画像データ以下、第1視差画像データというを取得する第1撮影モードと、視差量小の視差画像データ以下、第2視差画像データというを取得する第2撮影モードと、視差量中の視差画像データを取得する第3撮影モード以下、第3視差画像データというとを有している。各撮影モードの切り替えは操作部12で行われる。レンズユニット13には、本発明の光学系に相当するズームレンズ14及びフォーカスレンズ15の他に、メカシャッタ16などが組み込まれている。ズームレンズ14は、ズーム機構17により駆動され、撮影光軸O1に沿って広角端と望遠端との間で前後移動される。フォーカスレンズ15は、フォーカス機構18により駆動され、撮影光軸O1に沿って前後移動される。メカシャッタ16は、イメージセンサ20への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部図示は省略を有する。メカシャッタ16は、可動部を各位置に移動させることによって、各レンズ14,15からイメージセンサ20へと至る光路を開放/遮断する。なお、メカシャッタ16には、イメージセンサ20に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ16、ズーム機構17、及びフォーカス機構18は、レンズドライバ21を介してCPU11によって動作制御される。レンズユニット13の背後にはCMOS型のイメージセンサ20が配置されている。イメージセンサ20は、各レンズ14,15からの被写体光を電気的な信号に変換して出力する。CMOSドライバ23は、CPU11の制御の下でイメージセンサ20の駆動を制御する。画像処理回路画像生成手段22は、イメージセンサ20から入力される信号に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施してR,L視点画像データを生成する。また、画像処理回路22は、位相差方式によるレンズユニット13の焦点検出用のR,L焦点検出用画像データの生成も行う。AF検出部26は、L,R焦点検出用画像データに基づき、被写体にレンズユニット13のピントを合致させるためのフォーカス調整量を求める。圧縮伸長処理回路29は、画像処理回路22で処理されたR,L視点画像データに対して圧縮処理を施して1つの視差画像データにまとめる。また、圧縮伸長処理回路29は、メディアI/F30を介してメモリカード31から得られた圧縮画像データに対して伸長処理を施す。メディアI/F30は、メモリカード31に対する画像データの記録及び読み出しなどを行う。表示部32はスルー画像や再生画像などを表示する。この表示部32としては、R視点画像データ及びL視点画像データに基づき立体画像の観察が可能な各種モニタが用いられる。なお、立体画像の表示方式は、レンチキュラ方式、視差バリア方式、パララックスバリア方式、アナグリフ方式、フレームシーケンシャル方式、ライトディレクション方式などの周知の各種方式を用いてよい。図2に示すように、イメージセンサ20の撮像面20a上には、正方行列状に画素が配列されている。全画素は、正方行列状に配列された4個の画素で構成される画素ブロック毎に分けられている。各画素ブロック上にはカラーフィルタが設けられている。カラーフィルタの色の種類は緑色、青色、赤色の3種類であるので、各画素ブロックはカラーフィルタを透過する色の入射光を選択的に受光する。このため、イメージセンサ20には、緑色Gの入射光を選択的に受光する画素ブロック34Gと、青色Bの入射光を選択的に受光する画素ブロック34Bと、赤色Rの入射光を選択的に受光する画素ブロック34Rとが設けられている。撮像面20a上には、GB画素ブロック行36と、RG画素ブロック行37とが列方向に交互に形成されている。GB画素ブロック行36には、画素ブロック34Gと画素ブロック34Bとが行方向に繰り返し配列されている。RG画素ブロック行37には、画素ブロック34Rと画素ブロック34Gとが行方向に繰り返し配列されている。画素ブロック34Gには、図中左上に配置された第1画素G1Rと、図中右上に配置された第2画素G2Lと、図中左下に配置された第3画素G3Rと、図中右下に配置された第4画素G4Lとが設けられている。画素ブロック34Bには、G画素ブロック34Gと基本的に同じ配列パターンで配列された第1画素B1Rと第2画素B2Lと第3画素B3Rと第4画素B4Lとが設けられている。また、画素ブロック34Rには、G画素ブロック34Gと基本的に同じ配列パターンで配列された第1画素R1Rと第2画素R2Lと第3画素R3Rと第4画素R4Lとが設けられている。第1画素G1Rと第2画素G2L、第3画素G3Rと第4画素G4L、第1画素B1Rと第2画素B2L、第3画素B3Rと第4画素B4L、第1画素R1Rと第2画素R2L、第3画素R3Rと第4画素R4Lは、それぞれ本発明の2種類の画素に相当するものであり、いわゆる位相差画素位相差検出用画素または焦点検出用画素ともいうである。各画素はそれぞれ特定の方向からの入射光に対して感度が高くなる。符号にRが付されている画素は右斜め上からの入射光に対して感度が高くなる。また、符号にLが付されている画素は左斜め上からの入射光に対して感度が高くなる。第1画素G1Rと第2画素G2Lは第3画素G3Rと第4画素G4Lよりも入射角度の大きい入射光に対して感度が高くなる。同様に、第1画素B1Rと第2画素B2Lは第3画素B3Rと第4画素B4Lよりも入射角度の大きい入射光に対して感度が高くなり、第1画素R1Rと第2画素R2Lは第3画素R3Rと第4画素R4Lよりも入射角度の大きい入射光に対して感度が高くなる。以下、各画素の感度が高くなる入射光の入射角度を最適入射角度という。イメージセンサ20には、図示は省略するが、個々の画素ごとに画素回路が設けられている。画素回路は、各画素のPDにそれぞれ蓄積された信号電荷を増幅して信号電圧として出力する。また、イメージセンサ20には、図示は省略するが、各画素の画素回路を駆動するための複数の駆動線と、各画素の信号電圧を読み出すための複数の信号線とが設けられている。信号線に読み出された信号電圧は、図示しない出力回路やアンプを経て出力信号として画像処理回路22に出力される。図3ないし図6に示すように、p型シリコンで形成された半導体基板40Psubの表層には、イメージセンサ20の各画素をそれぞれ構成するn型層のPD41が形成されている。また、半導体基板40内には、図示は省略するが、上記の画素回路、駆動線、及び信号線などが設けられている。半導体基板40上には、例えば酸化シリコンSiO2で形成された光透過性の絶縁膜43が設けられている。絶縁膜43上には、例えばタングステンで形成された遮光膜44が設けられている。遮光膜44には、第1偏心開口第一の開口部46aと第2偏心開口第二の開口部46bと第3偏心開口第一の開口部46cと第4偏心開口第二の開口部46dとが設けられている。第1偏心開口46aは、第1画素G1R,B1R,R1RのPD41上にそれぞれ形成されている。第2偏心開口46bは、第2画素G2L,B2L,R2LのPD41上にそれぞれ形成されている。第3偏心開口46cは、第3画素G3R,B3R,R3RのPD41上にそれぞれ形成されている。第4偏心開口46dは、第4画素G4L,B4L,R4LのPD41上にそれぞれ形成されている。図7に示すように、第1偏心開口46a及び第3偏心開口46cは、その下方のPD41の受光面の中心に対して図中左方向にずれた位置に形成されている。以下、PD41の受光面の中心に対するずれの大きさをずれ量という。第1偏心開口46aのずれ量は、第3偏心開口46cのずれ量よりも大きくなる。各画素G1R,B1R,R1R,G3R,B3R,R3RのPD41の略右半分の領域以下、単に右領域というは遮光膜44で覆われ、逆に略左半分の領域以下、単に左領域というの一部が露呈する。なお、ここでいう下方とは、カラーフィルタから画素ブロックに向かって離間する側をいうものである。第2偏心開口46b及び第4偏心開口46dは、その下方のPD41の受光面の中心に対して図右方向にずれた位置に形成されている。さらに、第2偏心開口46bのずれ量は、第4偏心開口46dのずれ量よりも大きくなる。各画素G2L,B2L,R2L,G4L,B4L,R4LのPD41の左領域は遮光膜44で覆われ、逆に右領域の一部が露呈する。なお、第1偏心開口46a及び第2偏心開口46bのずれ量は同じ大きさであり、第3偏心開口46cのずれ量及び第4偏心開口46bのずれ量も同じ大きさである。図3ないし図6に戻って、遮光膜44上には、表面が平坦な光透過性の平坦化層48が設けられている。平坦化層48上にはカラーフィルタアレイ50が設けられている。カラーフィルタアレイ50は、緑色のカラーフィルタ50Gと、青色のカラーフィルタ50Bと、赤色のカラーフィルタ50Rとで構成されている。カラーフィルタ50Gは、第1~第4画素G1R,G2L,G3R,G4LのPD41上に形成されている。カラーフィルタ50Bは、第1~第4画素B1R,B2L,B3R,B4LのPD41上に形成されている。カラーフィルタ50Rは、第1~第4画素R1R,R2L,R3R,R4LのPD41上に形成されている。これにより、第1~第4画素G1R,G2L,G3R,G4LのPD41には緑色の入射光が入射する。第1~第4画素B1R,B2L,B3R,B4LのPD41には青色の入射光が入射する。第1~第4画素R1R,R2L,R3R,R4LのPD41には赤色の入射光が入射する。カラーフィルタアレイ50上には、各PD41の上方位置にそれぞれマイクロレンズ52が設けられている。なお、図中の符号O2はマイクロレンズ52の光軸である。なお、ここでいう上方とは、画素ブロックからカラーフィルタに向かって離間する側をいうものである。第1画素G1R,B1R,R1R及び第3画素G3R,B3R,R3R以下、単にR-位相差画素G1R~R3Rという上のマイクロレンズ52に図中左斜め方向から入射した入射光54Lは、遮光膜44により遮光される。このため、入射光54Lは、R-位相差画素G1R~R3RのPD41の右領域には集光されない。逆にマイクロレンズ52に図中右斜め方向から入射した入射光54Rは、マイクロレンズ52により第1偏心開口46a及び第3偏心開口46cを介して、R-位相差画素G1R~R3RのPD41の左領域に集光される。これにより、R-位相差画素G1R~R3Rは入射光54Rに対して感度が高くなる。この際に、第1偏心開口46aは、第3偏心開口46cよりも図中左方向にずれた位置に形成されている。このため、第1画素G1R,B1R,R1Rへの入射光54Rの最適入射角度ααは絶対値は、第3画素G3R,B3R,R3Rへの入射光54Rの最適入射角度ββは絶対値よりも大きくなる。第2画素G2L,B2L,R2L及び第4画素G4L,B4L,R4L以下、単にL-位相差画素G2L~R4Lという上のマイクロレンズ52に入射した入射光54Rは、遮光膜44により遮光される。このため、入射光54Rは、L-位相差画素G2L~R4LのPD41の左領域には集光されない。逆にマイクロレンズ52に入射した入射光54Lは、マイクロレンズ52により第2偏心開口46b及び第4偏心開口46dを介して、L-位相差画素G2L~R4LのPD41の右領域に集光される。これにより、L-位相差画素G2L~R4Lは入射光54Lに対して感度が高くなる。また、第2偏心開口46bのずれ量は第1偏心開口46aのずれ量と同じ大きさであり、第4偏心開口46bのずれ量は第3偏心開口46cのずれ量と同じ大きさである。このため、第2画素G2L,B2L,R2Lへの入射光54Lの最適入射角度はαとなり、第4画素G4L,B4L,R4Lへの入射光54Lの最適入射角度はβとなる。図8に示すように、CPU11は、図示しないROMから読み出した各種プログラムを逐次実行することで、AF制御部56及び信号出力制御部57として機能する。AF制御部56は、AF検出部26が求めたフォーカス調整量に基づき、レンズドライバ21を介しフォーカス機構18を駆動してAF処理を実行する。信号出力制御部57は、CMOSドライバ23を介して、イメージセンサ20の個々の画素からの出力信号の出力/出力停止を制御する。信号出力制御部57は、第1撮影モード時には第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lから出力信号を出力させる。信号出力制御部57は、第2撮影モード時には第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lから出力信号を出力させる。そして、信号出力制御部57は、第3撮影モード時には全画素から出力信号を出力させる。画像処理回路22は、第1撮影モード時には第1画素G1R,B1R,R1Rからの出力信号に基づきR視点画像データを生成し、第2画素G2L,B2L,R2Lからの出力信号に基づきL視点画像データを生成する。また、画像処理回路22は、第2撮影モード時には第3画素G3R,B3R,R3Rからの出力信号に基づきR視点画像データを生成し、第4画素G4L,B4L,R4Lからの出力信号に基づきL視点画像データを生成する。最適入射角度α>最適入射角度βであるので、第1撮影モード時に生成されるR,L視点画像の視差量は、第2撮影モード時に生成されるR,L視点画像の視差量よりも大きくなる。図9に示すように、画像処理回路22は、第3撮影モード時には第1画素G1R,B1R,R1Rからの出力信号と、第3画素G3R,B3R,R3Rからの出力信号とを混合または平均した信号に基づきR視点画像データを生成する。また、画像処理回路22は、第2画素G2L,B2L,R2Lからの出力信号と、第4画素G4L,B4L,R4Lからの出力信号とを混合または平均した信号に基づきL視点画像データを生成する。第3撮影モード時に生成されるR,L視点画像データは、いわゆる画素混合により生成された画像データ、あるいは第1及び第2撮影モード時に取得される画像データを平均化した画像データとなる。このため、第3撮影モード時に生成されるR,L視点画像データの視差量は、第1撮影モード時に生成されるR,L視点画像データの視差量と、第2撮影モード時に生成されるR,L視点画像データの視差量とのほぼ中間の値となる。なお、各撮影モード時に生成されたR視点画像データL視点画像データでも可は、一定タイミングで表示部32へ出力される。これにより、表示部32にスルー画像が表示される。画像処理回路22は、各撮影モード時に撮像面20aの例えば中央領域に含まれる画素からの出力信号に基づき、R焦点検出用画像データとL焦点検出用画像データとを生成する。具体的に,第1撮影モード時に画像処理回路22は、中央領域に含まれる第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lからの出力信号に基づき、R焦点検出用画像データ、L焦点検出用画像データを生成する。第2撮影モード時に画像処理回路22は、中央領域に含まれる第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lからの出力信号に基づき、R焦点検出用画像データ、L焦点検出用画像データを生成する。また、第3撮影モード時に画像処理回路22は、第1撮影モードあるいは第2撮影モード時と同様にして、R,L焦点検出用画像データを生成する。なお、R,L焦点検出用画像データとして、R,L視点画像データを用いてもよい。次に、図10を用いて上記構成のデジタルカメラ10の作用について説明を行う。操作部12にてデジタルカメラ10が第1撮影モード、第2撮影モード、第3撮影モードのいずれかに設定されると、CPU11はレンズドライバ21を介してメカシャッタ16の動作を制御するとともに、CMOSドライバ23を介してイメージセンサ20を駆動する。所定のシャッタ速度でメカシャッタ16が開閉され、イメージセンサ20の各画素のPD41に信号電荷が蓄積する。信号出力制御部57は、第1撮影モードが設定されている場合に、CMOSドライバ23を介して、第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lの画素回路に信号出力指令を発する。これにより、第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lの各PD41にそれぞれ蓄積された信号電荷が信号電圧として読み出され、各信号電圧はそれぞれ出力信号として画像処理回路22へ出力される。画像処理回路22は、第1画素G1R,B1R,R1Rからの出力信号に基づきR視点画像データを生成するとともに、第2画素G2L,B2L,R2Lからの出力信号に基づきL視点画像データを生成する。R視点画像データは一定タイミングで表示部32へ出力される。これにより、表示部32にスルー画像が表示される。また、画像処理回路22は、撮像面20aの中央領域に含まれる第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lからの出力信号に基づき、R焦点検出用画像データ、L焦点検出用画像データを生成する。R焦点検出用画像とL焦点検出用画像とは、レンズユニット13の合焦状態に応じて左右方向にシフトする。R,L焦点検出用画像データはAF検出部26に出力される。AF検出部26は、R,L焦点検出用画像データを解析して、R焦点検出用画像とL焦点検出用画像とのずれ方向及び両画像間のずれ量を検知することでレンズユニット13のフォーカス調整量デフォーカス量ともいうを求める。このフォーカス調整量に基づき、AF制御部56はレンズドライバ21を制御して、フォーカス機構18によりフォーカスレンズ15を駆動することで焦点調節を行う。なお、このような位相差AF処理については、例えば特許第2959142号、特開2009-128892号、特開2007-158597号などに詳細に説明されているので、ここでは説明を省略する。以下、操作部12で撮影指示がなされるまで、上述の処理が繰り返し実行される。操作部12で撮影指示がなされると、第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lから1フレーム分の出力信号が画像処理回路22へ出力され、画像処理回路22にてR,L視点画像データが生成される。R,L視点画像データは、圧縮伸張処理回路29にて1つの第1視差画像データに圧縮された後、メディアI/F30を経由してメモリカード31に記録される。第1視差画像データは、最適入射角度が大きく形成された第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lからの出力信号に基づき生成される。従って、第1~第3視差画像データの中で第1視差画像データの視差量が最も大きくなる。このため、ユーザが表示部32等で第1視差画像データに基づくR,L視点画像を立体視した状態にて、立体感が強調された立体画像を観察することができる。操作部12にて撮影モードが第2撮影モードに設定されると、信号出力制御部57は、CMOSドライバ23を介して、第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lの画素回路に信号出力指令を発する。これにより、第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lからの出力信号が画像処理回路22へ出力される。画像処理回路22は、第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lからの出力信号に基づきR視点画像データ、L視点画像データを生成する。また、画像処理回路22は、撮像面20aの中央領域に含まれる第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lからの出力信号に基づき、R焦点検出用画像データ、L焦点検出用画像データをそれぞれ生成してAF検出部26に送る。これにより、位相差AF処理が実行される。操作部12で撮影指示がなされると、第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lから1フレーム分の出力信号が画像処理回路22へ出力され、画像処理回路22にてR,L視点画像データが生成される。R,L視点画像データは、第1撮影モード時と同様に1つの第2視差画像データに圧縮された後にメモリカード31に記録される。第2視差画像データは、最適入射角度が小さく形成された第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lからの出力信号に基づき生成される。従って、第1~第3視差画像データの中で第2視差画像データの視差量が最も小さくなる。このため、ユーザが表示部32等で第2視差画像データに基づくR,L視点画像を立体視した状態にて、立体感が弱い立体画像が観察される。この場合には目の疲労が抑えられる。操作部12にて撮影モードが第3撮影モードに設定されると、信号出力制御部57は、CMOSドライバ23を介して、イメージセンサ20の全画素の画素回路に信号出力指令を発する。これにより、全画素からの出力信号が画像処理回路22へ送られる。画像処理回路22は、図9に示したように各画素からの出力信号を混合または平均した信号に基づき、R視点画像データ及びL視点画像データをそれぞれ生成する。また、画像処理回路22は、第1撮影モード時または第2撮影モード時と同様にして、R,L焦点検出用画像データを生成してAF検出部26へ送る。これにより、位相差AF処理が実行される。操作部12で撮影指示がなされると、イメージセンサ20の全画素から1フレーム分の出力信号が画像処理回路22へ出力され、画像処理回路22にてR,L視点画像データが生成される。R,L視点画像データは、第1撮影モード時と同様に1つの第3視差画像データに圧縮された後にメモリカード31に記録される。第3視差画像データは、第1及び第3画素からの出力信号と、第2及び第4画素からの出力信号とを混合または平均した信号に基づき生成される。従って、第1~第3視差画像データの中で第3視差画像データの視差量の大きさは中となる。このため、ユーザが表示部32等で第3視差画像データに基づくR,L視点画像を立体視した状態にて、第1撮影モード時よりは立体感が弱いが第2撮影モード時よりは立体感が強調された立体画像が観察される。以下同様に、第1撮影モードが選択された状態にて視差量大の第1視差画像データが生成記録され、第2撮影モードが選択された状態にて視差量小の第2視差画像データが生成記録され、さらに第3撮影モードが選択された状態にて視差量中の第3視差画像データが生成記録される。これにより、個々のユーザの好みに応じた立体感で立体視可能な視差画像データが得られる。上記第1実施形態では、遮光膜44に第1~第4偏心開口46a~46dを形成することで、R-位相差画素G1R~R3Rが入射光54Rに対して感度が高くなり、かつL-位相差画素G2L~R4Lが入射光54Lに対して感度が高くなる。このように遮光膜44に第1~第4偏心開口46a~46dを形成する代わりに、マイクロレンズの形状配置を変えてもよい第2及び第3実施形態も同様。例えば、図11及び図12に示すイメージセンサ60では、平坦化層48上に第1マイクロレンズ62aと第2マイクロレンズ62bと第3マイクロレンズ62cと第4マイクロレンズ62dとが設けられている。第1マイクロレンズ62aは、第1画素G1R,B1R,R1RのPD41上に形成されている。第2マイクロレンズ62bは、第2画素G2L,B2L,R2LのPD41上に形成されている。第3マイクロレンズ62cは、第3画素G3R,B3R,R3RのPD41上に形成されている。第4マイクロレンズ62dは、第4画素G4L,B4L,R4LのPD41上に形成されている。第1及び第3マイクロレンズ62a,62cは、その下方のPD41の中心に対して図中右方向にずれた位置に形成されている。さらに、第1マイクロレンズ62aのずれ量は、第3マイクロレンズ62cのずれ量よりも大きくなる。第1及び第3マイクロレンズ62a,62cは、その下方のPD41に対して入射光54Rを集光させる。この際に、第1マイクロレンズ62aの方が第3マイクロレンズ62cよりも入射角度の大きい入射光54RをPD41に集光させることができる。このため、第1画素G1R,B1R,R1Rへの入射光54Rの最適入射角度αは、第3画素G3R,B3R,R3Rへの入射光54Rの最適入射角度βよりも大きくなる。第2及び第4マイクロレンズ62b,62dは、その下方のPD41の中心に対して図中左方向にずれた位置に形成されている。さらに、第2マイクロレンズ62bのずれ量は、第4マイクロレンズ62dのずれ量よりも大きくなる。なお、第2マイクロレンズ62bのずれ量は第1マイクロレンズ62aのずれ量と同じ大きさであり、第4マイクロレンズ62dのずれ量は第3マイクロレンズ62cのずれ量と同じ大きさである。第2及び第4マイクロレンズ62b,62dは、その下方のPD41に対して入射光54Lを集光させる。さらに、第2マイクロレンズ62bの方が第4マイクロレンズ62dよりも入射角度の大きい入射光54LをPD41に集光させることができる。このため、第2画素G2L,B2L,R2Lへの入射光54Lの最適入射角度αは、第4画素G4L,B4L,R4Lへの入射光54Lの最適入射角度βよりも大きくなる。[第2実施形態]次に、図13を用いて本発明の第2実施形態のデジタルカメラ65について説明を行う。上記第1実施形態では、操作部12により第1~第3撮影モードの切り替えが行われるが、デジタルカメラ65ではズームレンズ14のレンズ位置に応じて各撮影モードの切り替えが行われる。デジタルカメラ65は、CPU11がモード切替制御部選択手段66として機能する点を除けば、第1実施形態のデジタルカメラ10と基本的には同じ構成であり、上記第1実施形態と機能構成上同一のものについては同一符号を付してその説明は省略する。モード切替制御部66は、ズームレンズ14のレンズ位置以下、単にレンズ位置というに応じてデジタルカメラ65の撮影モードを切り替える。モード切替制御部66は、ズームレンズ14が移動可能な広角端Wと望遠端Tとの間を3つの領域図14~図16参照に分けて、レンズ位置がいずれの領域内にあるのかに応じて撮影モードの切り替えを行う。図14に示すように、モード切替制御部66は、レンズ位置が広角端W側の第1領域A1内にある状態にて、撮影モードを第1撮影モードに切り替える。一般にレンズ位置が広角端W側にあるときは、ズームレンズ14を透過して撮像面20aに入射する入射光54R,54Lの入射角度θ1が大きくなる。このような場合は、第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lに入射する入射光54R,54Lの光量が増加し、逆に第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lに入射する入射光54R,54Lの光量が減少する。このため、レンズ位置が第1領域A1内にあるときは、第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lからの出力信号に基づき、良好な第1視差画像データを取得することができる。また、逆に第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lからの出力信号によって良好な視差画像データを生成することはできない。従って、レンズ位置が第1領域A1内にあるときは第1撮影モードが設定される。図15に示すように、モード切替制御部66は、レンズ位置が望遠端T側の第2領域A2内にある状態にて、撮影モードを第2撮影モードに切り替える。一般にレンズ位置が望遠端T側にあるときは、ズームレンズ14を透過して撮像面20aに入射する入射光54R,54Lの入射角度θ2は小さくなる。このような場合は、第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lに入射する入射光54R,54Lの光量が減少し、逆に第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lに入射する入射光54R,54Lの光量が増加する。このため、レンズ位置が第2領域A2内にあるときは、第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lからの出力信号に基づき、良好な第2視差画像データを取得することができる。また、逆に第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lからの出力信号によって良好な視差画像データを生成することはできない。従って、レンズ位置が第2領域A2内にあるときは第2撮影モードが設定される。図16に示すように、モード切替制御部66は、レンズ位置が第1領域A1と第2領域A2との間の第3領域A3内にある状態にて、撮影モードを第3撮影モードに切り替える。レンズ位置が広角端Wと望遠端Tとのほぼ中間にあるときは、ズームレンズ14を透過して撮像面20aに入射する入射光54R,54Lの入射角度θ3が、θ1>θ3>θ2となる。このような場合には、各第1~第4画素に入射する入射光54R,54Lの光量に大きな差は生じない。このため、レンズ位置が第3領域A3内にあるときは、全画素からの出力信号に基づき、良好な第3視差画像データを取得することができる。従って、レンズ位置が第3領域A3内にあるときは第3撮影モードが設定される。このようにデジタルカメラ65では、レンズ位置に応じて撮影モードを切り替えることにより、常に良好な視差画像データを取得することができる。[第3実施形態]次に、図17を用いて本発明の第3実施形態のデジタルカメラ70について説明を行う。上記第1実施形態では、撮影モードに応じてイメージセンサ20の個々の画素からの出力信号の出力/出力停止を切り替えているが、デジタルカメラ70では撮影モードの種類に関わらず、イメージセンサ20の全画素からの出力信号の出力を行う。デジタルカメラ70は、画像処理回路22にメモリ71が設けられ、かつCPU11が信号出力制御部57の代わりに画像生成制御部72として機能する点を除けば、第1実施形態のデジタルカメラ10と基本的には同じ構成である。このため、上記第1実施形態と機能構成上同一のものについては同一符号を付してその説明は省略する。メモリ71には、操作部12にて撮影指示がなされた状態にてイメージセンサ20の全画素から出力された1フレーム分の出力信号が一時的に記憶される。画像生成制御部72は、撮影モードの種類に応じて画像処理回路22によるR,L視点画像データの生成を制御する。画像生成制御部72は、第1撮影モードには画像処理回路22を制御して、メモリ71からの第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lの出力信号の読み出しと、R,L視点画像データの生成を実行させる。また、画像生成制御部72は、第2撮影モードには画像処理回路22を制御して、メモリ71からの第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lの出力信号の読み出しと、R,L視点画像データの生成を実行させる。そして、画像生成制御部72は、第3撮影モードには画像処理回路22を制御して、メモリ71から全画素の出力信号の読み出しと、R,L視点画像データの生成を実行させる。図18を用いて上記構成のデジタルカメラ70の作用について説明を行う。操作部12にてデジタルカメラ70が第1~第3撮影モードのいずれかに設定されると、イメージセンサ20の全画素からの出力信号が画像処理回路22へ出力される。そして、上記第1実施形態の例えば第3撮影モード時と同様に、位相差AF処理が実行される。操作部12で撮影指示がなされると、イメージセンサ20の全画素から1フレーム分の出力信号が画像処理回路22へ出力されてメモリ71に格納される。CPU11の画像生成制御部72は、第1撮影モード時には画像処理回路22に対して第1視差画像生成指令を発する。この指令を受けた画像処理回路22は、メモリ71から第1画素G1R,B1R,R1R及び第2画素G2L,B2L,R2Lの出力信号を読み出して、R,L視点画像データを生成する。また、画像生成制御部72は、第2撮影モード時には画像処理回路22に対して第2視差画像生成指令を発する。この指令を受けた画像処理回路22は、メモリ71から第3画素G3R,B3R,R3R及び第4画素G4L,B4L,R4Lの出力信号を読み出して、R,L視点画像データを生成する。さらに、画像生成制御部72は、第3撮影モード時には画像処理回路22に対して第3視差画像生成指令を発する。この指令を受けた画像処理回路22は、メモリ71から全画素の出力信号を読み出して、R,L視点画像データを生成する。以下、第1実施形態と同様にして、第1~第3撮影モード時にはそれぞれ第1視差画像データ、第2視差画像データ、第3視差画像データ生成される。撮影モードを選択することで、ユーザは好みの立体感で立体視可能な視差画像データを取得することができるので、第1実施形態で説明した効果と同様の効果が得られる。上記各実施形態では、カラーフィルタアレイ50,92が緑色、青色、赤色のカラーフィルタを有しているが、カラーフィルタの色は特に限定されず、例えば黄色、マゼンタ色、シアン色のカラーフィルタを有していてもよい。また、カラーフィルタアレイ50,7150,92が4色以上のカラーフィルタで構成されていてもよい。この場合に、第4及び第5実施形態では、各色の位相差画素の最適入射角度が異なるように形成すればよい。上記第1~第3実施形態では、各画素ブロック34G,34B,34Bに2組の位相差画素が設けられているが、3組以上の位相差画素が設けられていてもよい。また、上記各実施形態では、各画素ブロックが右斜め上からの入射光に対して感度が高くなる画素と、左斜め上からの入射光に対して感度が高くなる画素とで構成される2種類の画素の組を複数組有している。この際に各画素ブロックが、上記2種類の画素以外に、例えば通常画素や、右左斜め上とは異なる方向からの入射光に対して感度が高くなる位相差画素を含む3種類以上の画素の組を複数組有していてもよい。上記各実施形態では、CMOS型のイメージセンサについて説明したが、CCD型のイメージセンサに対しても本発明を適用することができる。"