"複数の画素が二次元アレイ状に配列形成され奇数行又は偶数行の一方の画素行で構成される第1群画素と奇数行又は偶数行の他方の画素行で構成される第2群画素とが水平方向及び垂直方向に1/2画素ピッチずらして配置された半導体基板と、前記第1群画素に積層されたベイヤ配列のカラーフィルタ及び前記第2群画素に積層されたベイヤ配列のカラーフィルタを備える撮像素子であって、前記第1群画素の各々の画素と該画素に対して斜めに隣接し該画素と同色の前記カラーフィルタが積層された前記第2群画素に属する画素とをペア画素とし、該ペア画素のうち水平方向及び垂直方向に2n1n=1,2,...個間隔に対応するペア画素を位相差検出画素で構成した撮像素子。請求項1に記載の撮像素子であって、前記第1群画素に含まれる前記位相差検出画素は右眼用の画像又は左眼用の画像の一方を取得し、前記第2群画素に含まれる前記位相差検出画素は右眼用画像又は左眼用の画像の他方を取得する構成とした撮像素子。請求項1又は請求項2に記載の撮像素子であって、n=1であることを特徴とする撮像素子。請求項1乃至請求項3のいずれか1項に記載の撮像素子と、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を前記第1群画素の画素行と前記第2群画素の画素行とから交互に読み出す撮像素子駆動手段とを備える撮像装置。請求項4に記載の撮像装置であって、平面動画像の撮像時には前記位相差検出画素以外の前記ペア画素の撮像画像信号を、前記撮像素子駆動手段が前記第1群画素の画素行と前記第2群画素の画素行とから交互に読み出す撮像装置。請求項5に記載の撮像装置であって、前記位相差検出画素以外の前記ペア画素の撮像画像信号のうち、いずれか1方の画素の撮像画像信号を用いて、又は、2つの画素の撮像画像信号の加算平均値を用いて、前記平面動画像を生成する画像処理手段を備える撮像装置。請求項5に記載の撮像装置であって、撮影シーンが暗い場合には、前記位相差検出画素以外の前記ペア画素の撮像画像信号の両方を加算して前記平面動画像を生成する画像処理手段を備える撮像装置。請求項7に記載の撮像装置であって、撮影シーンが更に暗い場合、前記画像処理手段は、前記位相差検出画素以外の前記ペア画素のうち近接する同色のペア画素を構成する複数の画素の撮像画像信号を加算して前記平面動画像を生成する撮像装置。請求項4乃至請求項8のいずれか1項に記載の撮像装置であって、前記平面動画像を前記立体動画像と同時に撮像する撮像装置。請求項4乃至請求項8のいずれか1項に記載の撮像装置であって、前記位相差検出画素は前記撮像素子のうちアスペクト比16:9の範囲に配置され、前記平面動画像は、前記撮像素子の水平方向の画素間引きをせずに垂直方向の画素間引きだけを行い、アスペクト比16:9の画像とする撮像装置。請求項4乃至請求項10のいずれか1項に記載の撮像装置であって、高精細平面静止画像の撮像時には、前記撮像素子の全画素から撮像画像信号を読み出すと共に前記位相差検出画素の撮像画像信号を補正して高精細平面静止画像を生成する撮像装置。本発明の目的は、3Dの動画撮影と2Dの動画撮影の両方を好適に処理できる撮像素子及びこの撮像素子に搭載した撮像装置を提供することにある。本発明の撮像素子は、複数の画素が二次元アレイ状に配列形成され奇数行又は偶数行の一方の画素行で構成される第1群画素と奇数行又は偶数行の他方の画素行で構成される第2群画素とが水平方向及び垂直方向に1/2画素ピッチずらして配置された半導体基板と、前記第1群画素に積層されたベイヤ配列のカラーフィルタ及び前記第2群画素に積層されたベイヤ配列のカラーフィルタを備える撮像素子であって、前記第1群画素の各々の画素と該画素に対して斜めに隣接し該画素と同色の前記カラーフィルタが積層された前記第2群画素に属する画素とをペア画素とし、該ペア画素のうち水平方向及び垂直方向に2n1n=1,2,...個間隔に対応するペア画素を位相差検出画素で構成したことを特徴とする。本発明の撮像装置は、上記の撮像素子と、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を前記第1群画素の画素行と前記第2群画素の画素行とから交互に読み出す撮像素子駆動手段とを備えることを特徴とする。本発明の撮像装置は、平面動画像を撮像する時、前記位相差検出画素以外の前記ペア画素の撮像画像信号を前記撮像素子駆動手段が前記第1群画素の画素行と前記第2群画素の画素行とから交互に読み出す。本発明によれば、1つの撮像素子で高品質な立体動画像と平面動画像の両方を撮像することが可能となる。以下、本発明の一実施形態について、図面を参照して説明する。図1は、本発明の一実施形態に係る撮像装置の外観斜視図である。この単眼の撮像装置デジタルカメラ10は、カメラ筐体11の前部に、撮影レンズ12を収納するレンズ鏡筒13が沈胴可能に取り付けられている。カメラ筐体11の上面右端部にはシャッタレリーズボタン14が設けられており、カメラ筐体11の背部には、図1では図示しない液晶表示部図2の表示部28が設けられている。図2は、図1に示す撮像装置10の機能ブロック構成図である。この撮像装置10は、撮影レンズ12と、撮影レンズ12の背部に置かれその結像面に配置されたCMOS型の固体撮像素子21とを備える。撮影レンズ12及び固体固体撮像素子21は、後述のシステム制御部CPU29からの指示によって駆動される。固体撮像素子21は、本実施形態ではCMOS型のイメージセンサであるが、CCD型やその他の形式の固体撮像素子でも良い。本実施形態の撮像装置10は更に、固体撮像素子21から出力されるデジタルの撮像画像信号を取り込み補間処理やホワイトバランス補正,RGB/YC変換処理等を行うデジタル信号処理部26と、撮像画像信号をJPEG形式などの画像データに圧縮したり逆に伸長したりする圧縮/伸長処理部27と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部28と、デジタルカメラ全体を統括制御するシステム制御部CPU29と、フレームメモリ等の内部メモリ30と、JPEG画像データ等を格納する記録メディア32との間のインタフェース処理を行うメディアインタフェースI/F部31と、これらを相互に接続するバス40とを備える。更に、システム制御部29には、ユーザからの指示入力を行う操作部33が接続され、システム制御部29からの指示によって発光するフラッシュ25が接続される。撮像装置10は、被写体の高精細な2D静止画像や,高精細静止画像に比べて解像度を落とした2Dの動画像や3Dの動画像を、ユーザの操作部33からの選択指示に基づいて撮影し、これらの選択指示に基づいて、固体撮像素子21の駆動制御や画像処理を行う。図3は、固体撮像素子21の表面模式図であり、画素配列と各画素上のカラーフィルタ配列を示している。斜めに45度傾けた個々の正方形2が、半導体基板上に形成された各画素光電変換素子を示しており、その上に記載されたR=r,G=g,B=bは、各画素2上に積層された三原色カラーフィルタの色R,r=赤、G,g=緑、B,b=青を示している。信号読出回路や垂直走査回路,水平走査回路等は、通常のCMOS型イメージセンサと同じで良いため、図示は省略している。本実施形態の固体撮像素子21は、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチづつずらして配置されている。偶数行の画素行だけ見ると各画素2は正方格子配列され、その上に、三原色のカラーフィルタがベイヤ配列され、奇数行の画素行だけ見ても各画素2は正方格子配列され、その上に、三原色のカラーフィルタがベイヤ配列されている。偶数行の各画素上のカラーフィルタを大文字のRGBで示し、奇数行の各画素上のカラーフィルタを小文字のrgbで示している。偶数行または奇数行の一方図示する例では偶数行の各画素を、以下、A群或いは第1群画素ともいい、偶数行または奇数行の他方図示する例では奇数行の各画素を、B群或いは第2群画素ともいうことにする。図示する様に、A群画素,B群画素共に、夫々カラーフィルタ配列がベイヤ配列のため、斜めに最隣接するA群画素とB群画素とは同色画素となり、これがペア画素を構成する。本実施形態の固体撮像素子21は、全画素ペアのうち、離散的,周期的位置に存在するペア画素を位相差検出画素のペア画素としている。位相差検出画素焦点検出用画素ともいわれる。とは、瞳分割したペア画素のことをいい、図示する例では、ペア画素の一方と他方とで遮光膜開口2a,2bを夫々の画素中心に対して反対方向に偏心させて構成される。通常の画素位相差検出画素でない画素には、図示省略したマイクロレンズの下部に、図3の左上に点線矩形枠で記載した様に、当該画素の受光面と略同一の大きさの遮光膜開口1が開口されている。これに対し、位相差検出画素のペア画素の遮光膜開口2a,2bは、遮光膜開口1より小さく、図示する例では遮光膜開口2aは開口1に対して左半分しか開口せず、遮光膜開口2bは開口1に対して右半分しか開口しない構成となっている。なお、図3では遮光膜開口1を1箇所だけ図示しているが、他の通常画素にも設けられている図が煩雑になるため、図示は省略している。。なお、この実施形態では、マイクロレンズは位相差検出画素にも積層される。遮光膜開口2aの開口中心位置は、当該画素の中心に対して左側に偏心し、遮光膜開口2bの開口中心位置は、当該画素の中心に対して右側に偏心して設けられている。図1に示す様に、固体撮像素子21の前段にはレンズ12が配置されており、このレンズ12を通ることで、遮光膜開口2aを通って画素に受光される光は、レンズ12の左側からの光すなわち被写体を左眼で見た方向から来た光が主となり、遮光膜開口2bを通って画素に受光される光は、レンズ12の右側からの光すなわち被写体を右眼で見た方向から来た光が主となる。即ち、位相差検出画素を構成する各ペア画素のうち遮光膜開口2aを持つ画素の撮像画像信号が被写体を左眼で見た画像となり、遮光膜開口2bを持つ画素の撮像画像信号が被写体を右眼で見た画像となる。このため、両者を組み合わせることで、被写体の立体画像を再生することができる。図3で例示した瞳分割方法は、遮光膜開口2a,2bを偏心させて構成したが、この他にも、例えば特開2007―281296号公報に記載されている様に、ペア画素に共通に1つの楕円形等のマイクロレンズを搭載し、ペア画素の各々の画素への入射角を異ならせる構成とすることでも良い。本実施形態の位相差検出画素のペア画素は、垂直方向,水平方向共に、3ペア毎に1ペアを位相差検出画素ペアとしているが、5ペア毎に1ペアを位相差検出画素ペアとしても良い。一般的には、2n1ペア毎n=1,2,...に1ペアを位相差検出画素ペアとする。この様に、位相差検出画素ペアの配置位置を決めることで、位相差検出画素ペアのカラーフィルタ配列もR,G,Bの三原色を有したベイヤ配列となる。図4は、図3に示す固体撮像素子21で立体動画像を撮像するときに撮像画像信号を読み出すペア画素を示しており、水平,垂直共に2n1ペア毎の画素間引き読み出しにより、図に太線枠で示す位相差検出画素ペアの各々の画素が検出した撮像画像信号だけを読み出す。撮影は、例えばローリングシャッタ駆動で行い、固体撮像素子21から撮像画像信号を読み出す場合には、A群画素→B群画素→A群画素→B群画素→......と、水平ライン順に読み出す。そして、遮光膜開口2aを搭載した画素の撮像画像信号を左眼で見た被写体の画像データとして画像処理し、遮光膜開口2bを搭載した画素の撮像画像信号を右眼で見た被写体の画像データとして画像処理し、画像処理後の被写体画像を関連付けて、各フレーム毎の撮像画像データをメモリに記録することで、被写体の立体動画像を記録することができる。勿論、立体の静止画像としても記録できる。固体撮像素子21から読み出した左眼用の撮像画像信号や右眼用の撮像画像信号は、夫々、ベイヤ配列画素から読み出された信号となるため、上記画像処理は、既存のベイヤ配列用の画像処理エンジンを使用することができ、低コスト化を図ることができる。図5は、位相差検出画素ペアで被写体の立体画像を撮像できる原理を説明する図である。位相差検出画素ペアが水平方向に所要間隔で並び、遮光膜開口2aを通して得られた撮像画像信号の変化を信号fxとし、遮光膜開口2bを通して得られた撮像画像信号の変化を信号gxとする。信号fxと信号gxとは、同一水平線上の同一被写体からの入射光を受光した結果得られるもので、互いに水平方向にずれた同一波形となり、両者間のズレ量が位相差量となる。この位相差量は、被写体までの距離に応じた視差であり、この位相差量を持った右眼用撮像画像信号及び左眼用撮像画像信号を固体撮像素子21から読み出すことで、被写体の立体画像を生成することが可能となる。次に、撮像装置10を用いて2Dの動画像を撮影する場合を説明する。前述した様に、この撮像装置10では、3Dの動画像を撮影することができるが、ユーザによっては2Dの動画像を好む場合もある。また、再生するモニタやテレビジョン受像機が3D画像再生用では無く、2D画像にしか対応しない場合もある。あるいは、3Dの動画像と2Dの動画像を同時に両方撮影することが要求されることもある。そこで、本実施形態の撮像装置10では、3Dのみならず2Dの動画像の撮影機能も搭載している。図6は、2Dの動画像を撮影する第1実施形態の説明図である。勿論、固体撮像素子21は同じため、図6に示す画素配列,カラーフィルタ配列は、図3,図4と同じである。本実施形態では、図6に示す太線黒枠で囲った通常画素を、2Dの動画像撮影時に用いる。図6の太線黒枠で囲った画素ペアは、図4の太線黒枠で囲った位相差検出画素ペアの水平方向に隣接する画素であり、通常画素のペアである。本実施形態では、通常画素ペアの各々の画素が検出した撮像画像信号の加算平均値を用いて、動画像を生成する。加算平均値を用いることで、S/Nが向上する。3Dの動画像と2Dの動画像とを両方共に撮影する場合、本実施形態では、水平方向に隣接する画素を用いて3Dの動画像と2Dの動画像とを同時に撮影することができる。2D動画像を生成するデータとして上記の加算平均値を用いるため、その各画素位置はペア画素の加算重心位置となり、3D画像の各画素位置に最も近い位置となる。このため、同じ画像で同じ解像度の3D動画像と2D動画像とが得られる。また、固体撮像素子21から3D動画像データと2D動画像データとを同一水平ラインから読み出すことができるため、短時間で3D動画像と2D動画像とを同時に読み出すことが可能となる。2D動画像データの画像処理も、3D動画像の画像処理と同様に、読み出した撮像画像信号のカラー配列がベイヤ配列であるため、ベイヤ配列用の画像処理エンジンを使用することができ、低コスト化を図ることが可能となる。図7は、第2実施形態に係る2D動画像撮影を行うときの処理手順を示すフローチャートである。図6の実施形態では、通常画素ペアの加算平均値を用いて2D動画像を生成したが、これに限るものではなく、ペア画素の一方の画素の撮像画像信号だけを用いて2D動画像を生成しても、ペア画素の両方の撮像画像信号を固体撮像素子外部で信号加算して2D動画像を生成しても良い。いずれとするかは、撮影シーンの明るさで決めるのが良い。本実施形態では、ステップS1で撮影シーンの明るさを判定し、明るさが所定の閾値α以上の場合にはステップS2に進み、ペア画素の一方の画素の撮像画像信号を採用し、あるいはペア画素の2つ画素の撮像画像信号の加算平均値を採用してステップS4に進む。ステップS1の判定の結果、シーンの明るさが閾値α未満で暗い場合には、高感度化を図るためにステップS3に進み、ペア画素の2つの画素の撮像画像信号を加算してステップS4に進み、ステップS4で、2D動画像データを生成してこの処理を終了する。なお、3D動画像と2D動画像とを同時に撮影するのではなく、2D動画像だけを撮影する場合には、ダイナミックレンジの広い動画像を撮影することも可能である。画素の信号読出回路に印加するリセット信号や読出信号のタイミング等を調整することで、A群画素の露光時間に対してB群画素の露光時間を短くして撮影を行い、ペア画素の一方A群画素と他方B群画素で露光時間を変えてやれば、両者の撮像画像信号を加算することで、ダイナミックレンジの広い2D動画像を得ることができる。図8~図10は、本発明の第3実施形態に係る2D動画像用の撮像画像信号を固体撮像素子21から読み出す方法を示す図である。図7の実施形態では、撮影シーンが暗く低照度の場合にはペア画素の2画素加算を行って高感度化を図った。しかし、撮影シーンが更に暗い場合には、画素加算数を更に増やす必要がある。この画素加算数を増やすときの加算対象画素位置を示す図が図8~図10である。即ち、撮影シーンが通常の明るさの場合には、図6で説明したペア画素の加算平均値や一方の画素の撮像画像信号だけを用いて2D動画像を生成するが、更に撮影シーンが暗い場合には、図8に示すように、例えば楕円で示す画素位置の画像データとして、楕円で示す位相差検出画素位置の水平方向左右に隣接する同色2つの通常画素ペア太線黒枠で示すの計4画素の撮像画像信号を加算して、楕円中心位置の画像データとする。更に暗い場合には、8画素加算や10画素加算を行う。8画素加算を行う場合、4つのペア画素位置は、例えば図9に示す位置とする。即ち、楕円で示す位相差検出画素位置の画像データとして、上下左右にある4つの同色通常画素ペアの撮像画像信号を加算対象として選択する。10画素加算を行う場合は、8画素加算に加えて、楕円で示す位相差検出画素も加算する。位相差検出画素は、左眼と右眼の加算なので、ペアで加算すると、通常画素と同じ様に使える。更に暗い場合には、16画素加算か18画素加算を行う。16画素加算を行う8つのペア画素位置を図10に示す。即ち、楕円で示す位相差検出画素位置の画像データとして、図9の上下左右の他に、斜め方向の4ペア画素の撮像画像信号を加える。18画素加算を行う場合は、16画素加算に加えて、上記と同様に楕円で示す位相差検出画素ペアも加算する。図10では1つの位相差検出画素位置に対する8つのペア画素位置だけを示しているが、各々の位相差検出画素位置用の8つのペア画素位置をとると、全ての通常画素ペアが加算対象として選択されることになる。即ち、全ての通常画素の撮像画像信号を利用して2D動画像を生成するため、偽色やジャギー等の画質劣化要因を抑えることが可能となる。図11は、第4実施形態に係る2D動画像用の撮像画像信号を固体撮像素子からの読み出す方法を説明する図である。第2,第3実施形態では、3D動画像と同じ解像度の2D動画像を生成する場合について述べたが、3D動画像とは別に、水平解像度を増やした2D動画像が欲しい場合がある。例えば、アスペクト比16:9のHD画質の動画像が欲しい場合がある。撮像装置10で撮影する画像のアスペクト比は、通常は4:3であるが、動画像をアスペクト比16:9の大型テレビジョン受像機の大画面で観賞したい場合がある。この様な場合、次の第4実施形態の読み出し方法を採用すれば良く、撮像装置10のメニュー画面で選択する。図11において、太線黒枠で示した通常画素のペア画素を選択して2D画像用の撮像画像信号を読み出す。この場合、水平ラインでは画素間引きはせずに、垂直ラインは、位相差検出画素が存在する水平ラインを読まずに画素間引きする。撮影は、例えばローリングシャッタ駆動で行い、固体撮像素子21から撮像画像信号を読み出す場合には、A群画素→B群画素→A群画素→B群画素→......と、水平ライン順に読み出す。上述した実施形態と同様に、ペア画素の夫々の撮像画像信号を加算平均した値を採用して、ペア画素位置の信号を1画素の信号として使用する。この様に画素間引きすることで、加算平均した結果の撮像画像信号のカラー配列はベイヤ配列となり、ベイヤ配列用の画像処理エンジンを使用することが可能となる。次に第5の実施形態について説明する。第5の実施形態では、ペア画素の加算平均値を用いて2D動画像データを生成するのではなく、図7で説明したのと同様に、ペア画素のうちの一方の画素を選択して2D動画像データを生成したり、ペア画素の2画素加算を行って2D動画像データを生成する。画素加算は、固体撮像素子21から撮像画像信号を読み出した後に、図2のデジタル信号処理部26で演算するのが良い。これにより、2D動画像データの生成速度が向上し、または、高感度な2D動画像データを得ることが可能となる。図12は、第6実施形態に係る2D動画像用の撮像画像信号読出方法を示す図である。本実施形態でも、位相差検出画素が存在する水平ラインについては信号読出は行わず、その他の通常画素しか存在しない水平ラインは読み出す。そして、本実施形態は、撮影シーンが暗く、上述した第5実施形態の2画素加算でも感度が不足する場合に、図12に示す様に、非読出ラインを垂直方向に挟む同色の2組のペア画素を4画素加算する。図12では、ペア画素を楕円で囲み、画素加算するペア画素の楕円を線で結んで示している。これにより、高感度且つHD画質の2D動画像を撮影することが可能となる。図13は、画素加算数を、撮影シーンの明るさに応じて可変制御する処理手順を示すフローチャートである。先ず、撮影シーンの明るさが第1閾値α1より明るいか否かを判定し、明るい場合にはステップS12に進み、図11で説明した様に、ペア画素の一方の画素の撮像画像信号だけを採用し、或いは、ペア画素の撮像画像信号の加算平均値を採用する。そして、次のステップS13に進み、採用した撮像画像信号を用いてHD画質の2D動画像を生成し、この処理を終了する。ステップS11の判定の結果、明るさが第1閾値α1より暗い場合には、次にステップS14に進み、α1より暗い第2閾値α2より撮影シーンが明るいか否かを判定する。第2閾値α2より明るい場合には、ステップS14からステップS15に進み、ペア画素の2画素の撮像画像信号を加算して、ステップS13に進む。ステップS14の判定の結果、撮影シーンの明るさが第2閾値α2より暗い場合には、ステップS16に進み、図12で説明した撮像画像信号の4画素加算を行い、ステップS13に進む。以上により、撮影シーンの明るさが明るい場合でも暗い場合でも所要範囲内の感度でHD画質の2D動画像を撮影することが可能となる。この固体撮像素子21を用いて高精細な2Dの静止画像を撮影する場合には、全画素の夫々の撮像画像信号を読み出す。固体撮像素子21からは、画素配列撮像画像信号の配列が縦横それぞれ半ピッチずれた2枚のベイヤ配列の画像A群画素による撮像画像と、B群画素による撮像画像が取得できるため、この2枚の画像データを用いて高精細な2Dの静止画像を生成することができる。この場合、位相差検出画素の遮光膜開口2a,2bは、通常画素の遮光膜開口1より狭いため感度が低い。そこで、位相差検出画素の撮像画像信号を、周囲の通常画素のデータを用いて補間演算して補正したり、あるいは、位相差検出画素の撮像画像信号に対して図2のデジタル信号処理部26が行う増幅処理の増幅率を、通常画素の撮像画像信号に対する増幅率より高くして補正する。静止画像を撮像するとき、A群画素とB群画素の露光時間を同じ時間としてペア画素の撮像画像信号を加算し被写体画像を生成すると、正方配列の2枚の画像として高精細な被写体画像を生成することができる。A群画素とB群画素をペア画素間で画素加算すると、信号配列は1枚の正方配列となり高感度な画像を生成できる。また、静止画像データを画像処理する場合、本実施形態の固体撮像素子21ではカラーフィルタ配列の基本がベイヤ配列であるため、ベイヤ配列用の画像処理エンジンを使用でき、低コスト化を図ることができる。この場合も、上記と同様に、位相差検出画素の撮像画像信号を補正する必要がある。固体撮像素子21を用いてダイナミックレンジの広い高精細実画素数の1/2の画素数な静止画像を撮影することも可能である。各画素の信号読出回路に印加するリセット信号や読出信号のタイミング等を調整し、A群画素の露光時間に対してB群画素の露光時間を短くして撮影を行う。そして、全画素から撮像画像信号を読み出し、ペア画素の撮像画像信号を加算することで、撮像画像のダイナミックレンジが広くなる。この場合も、上記と同様に、位相差検出画素の検出信号を補正する必要がある。以上の様に、上述した実施形態によれば、3D画像を撮像する場合には、位相差検出画素の撮像画像信号だけを用いて画像処理し、静止画像でない2D画像を撮像する場合には、位相差検出画素以外の通常画素の撮像画像信号だけを用いて画像処理するため、両者を一緒に撮像し、両者を固体撮像素子21から読み出してから、画像処理にて区別し、別々の画像データとして記録メディアに保存することができる。また、2D動画像を撮像する場合には、撮影シーンの明るさに応じて画素加算数を制御できるため、所要感度の動画像を生成することができる。また、上述した実施形態の様に、画素加算する場合に、加算重心位置を位相差検出画素の位置とすることで、画面内の位相差ムラを無くすことができ、高品質な動画像を得ることが可能となる。尚、アスペクト比4:3の受光面の撮像素子を用いてアスペクト比16:9の3D動画像を撮像する場合、この受光面のうちアスペクト比16:9の範囲にだけ位相差検出画素ペアを配置しておけば良い。以上述べた様に、実施形態の撮像素子は、複数の画素が二次元アレイ状に配列形成され奇数行又は偶数行の一方の画素行で構成される第1群画素と奇数行又は偶数行の他方の画素行で構成される第2群画素とが水平方向及び垂直方向に1/2画素ピッチずらして配置された半導体基板と、前記第1群画素に積層されたベイヤ配列のカラーフィルタ及び前記第2群画素に積層されたベイヤ配列のカラーフィルタを備える撮像素子であって、前記第1群画素の各々の画素と該画素に対して斜めに隣接し該画素と同色の前記カラーフィルタが積層された前記第2群画素に属する画素とをペア画素とし、該ペア画素のうち水平方向及び垂直方向に2n1n=1,2,...個間隔に対応するペア画素を位相差検出画素で構成したことを特徴とする。これにより、静止画像,動画像を画像処理するときの画像処理エンジンとして、ベイヤ配列用のものが使用可能となる。また、実施形態の撮像素子は、前記第1群画素に含まれる前記位相差検出画素は右眼用の画像又は左眼用の画像の一方を取得し、前記第2群画素に含まれる前記位相差検出画素は右眼用画像又は左眼用の画像の他方を取得する構成としたことを特徴とする。また、実施形態の撮像素子は、n=1とすることを特徴とする。これにより、撮像素子の画素数に対して3D動画像の画素数を最大にすることができる。また、実施形態の撮像装置は、上記の撮像素子と、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を、前記第1群画素の画素行と前記第2群画素の画素行とから交互に読み出す撮像素子駆動手段とを備えることを特徴とする。これにより、第1群画素と第2群画素の露光時間のずれを最小に抑えることができ、後処理もサイドバイサイドで簡単となる。また、実施形態の撮像装置は、平面動画像の撮像時には前記位相差検出画素以外の前記ペア画素の撮像画像信号を、前記撮像素子駆動手段が前記第1群画素の画素行と前記第2群画素の画素行とから交互に読み出すことを特徴とする。これにより、位相差画素の影響を避けて2D動画像を生成することが可能となる。また、実施形態の撮像装置は、前記位相差検出画素以外の前記ペア画素の撮像画像信号のうち、いずれか1方の画素の撮像画像信号を用いて、又は、2つの画素の撮像画像信号の加算平均値を用いて、前記平面動画像を生成する画像処理手段を備えることを特徴とする。これにより、迅速に2D動画像を得ることができ、また、S/Nの良好な2D動画像が得られる。また、実施形態の撮像装置では、撮影シーンが暗い場合には、前記位相差検出画素以外の前記ペア画素の撮像画像信号の両方を加算して前記平面動画像を生成する画像処理手段を備えることを特徴とする。これにより、高感度な2D動画像を得ることができる。また、実施形態の撮像装置は、撮影シーンが更に暗い場合、前記画像処理手段は、前記位相差検出画素以外の前記ペア画素のうち近接する同色のペア画素を構成する複数の画素の撮像画像信号を加算して前記平面動画像を生成することを特徴とする。これにより、更に高感度な2D動画像を撮像することが可能となる。また、実施形態の撮像装置は、前記平面動画像を前記立体動画像と同時に撮像することを特徴とする。これにより、2種類の動画像を短時間に撮像することが可能となる。また、実施形態の撮像装置の前記位相差検出画素は前記撮像素子のうちアスペクト比16:9の範囲に配置され、前記平面動画像が、前記撮像素子の水平方向の画素間引きをせずに垂直方向の画素間引きだけを行い、アスペクト比16:9の画像とすることを特徴とする。これにより、アスペクト比16:9のテレビジョン受像機による大画面の動画を撮像可能となる。また、実施形態の撮像装置は、高精細平面静止画像の撮像時には、前記撮像素子の全画素から撮像画像信号を読み出すと共に前記位相差検出画素の撮像画像信号を補正して高精細平面静止画像を生成することを特徴とする。位相差検出画素の周囲には通常の画素が配置されているため、補正が容易且つ確実にでき、高精細な静止画像を取得可能となる。以上述べた実施形態によれば、ユーザの要求に応える動画像を短時間且つ低コストに取得することが可能となる。"