複数の画素を有する撮像素子であって、各画素が、前記撮像素子より被写体よりに配置された光学系の異なる射出瞳領域を通過した複数の光束をそれぞれ受光して電荷を蓄積する複数の光電変換部と、前記複数の光電変換部の間を分離する分離領域と、前記分離領域の電位を、複数の電位のいずれかに選択的に設定する設定手段とを有し、前記複数の光電変換部から、蓄積された電荷に応じた信号を独立に読み出し可能であることを特徴とする撮像素子。前記複数の電位は、前記複数の画素間を分離する分離領域の電位を基準電位とした場合に、前記基準電位よりも高い第1電位と、前記基準電位よりも低い第2電位と、前記基準電位と前記第1電位との間の第3電位とを含むことを特徴とする請求項1に記載の撮像素子。前記設定手段は、前記複数の光電変換部をリセットする間は前記第1電位に設定し、前記複数の光電変換部に電荷蓄積中は前記第3電位に設定し、前記複数の光電変換部から信号を読み出す間は前記第2電位に設定することを特徴とする請求項2に記載の撮像素子。前記設定手段は、前記複数の光電変換部に電荷蓄積中に前記第1電位に設定することを特徴とする請求項2に記載の撮像素子。複数の画素を有する撮像素子であって、各画素が、前記撮像素子より被写体よりに配置された光学系の異なる射出瞳領域を通過した複数の光束をそれぞれ受光して電荷を蓄積する複数の光電変換部と、前記複数の光電変換部の間を分離する第1の分離領域と、前記各画素と、該画素に隣接する画素との間を分離する第2の分離領域とを有し、前記第1の分離領域の電位が前記第2の分離領域の電位よりも高く、且つ、前記複数の光電変換部のリセット電位よりも低く、前記複数の光電変換部から、蓄積された電荷に応じた信号を独立に読み出し可能であることを特徴とする撮像素子。請求項1乃至5のいずれか1項に記載の撮像素子と、前記複数の光電変換部から独立に読み出された電荷に基づく信号を用いて、位相差方式の焦点検出を行う焦点検出手段とを有し、前記焦点検出手段は、前記複数の光電変換部の少なくともいずれかが飽和している場合に、該光電変換部を含む画素の複数の光電変換部から読み出された信号を、前記焦点検出に用いないことを特徴とする撮像装置。前記複数の光電変換部から読み出された信号を画素毎に加算して、画像信号を生成する生成手段を更に有することを特徴とする請求項6に記載の撮像装置。ところが、画像用の信号を得るために複数のPDの信号を画素毎に加算する場合に、PDの感度や入射光量に差があると、適切な画像が得られないことがある。このような場合について図13、図14を用いて説明する。図13aは、従来の撮像素子の画素の断面構造を示した図、図13bは、半導体層のポテンシャル電位を模式的に示した図である。図13aにおいて、1401はマイクロレンズ、1402はカラーフィルタ、1403は画素内のスイッチを駆動する配線や電源などの配線である。また、半導体基板1404上にp型半導体領域1405が形成され、その中にn型領域を形成する。この領域がPDを形成する。ここではPD1406とPD1407が形成されている。1408は隣接する画素との間を分離する分離領域、1409は同じ画素内に形成されたPD間ここではPD1406とPD1407との間を分離する分離領域である。上述した構造を有する撮像素子において、感度や入射光量の差により片側のPDが飽和した時、飽和したPDで発生した電荷は、ポテンシャルVwの障壁を乗り越えて、同じ画素内の別のPDや、隣接する画素のPDに漏れてしまう。さらには、PDとPDの電荷を読み出す領域との間に存在する、不図示の転送スイッチのゲート電極下のポテンシャル障壁を乗り越え、PDの電荷を読み出す領域にも漏れることがある。従来は、この分離領域1408、1409のポテンシャルの大きさポテンシャル障壁の高さについて考慮されていないため、通常は、大部分が隣接する画素のPDやPDの電荷を読み出す領域に漏れることが想定される。このように、分離領域1409のポテンシャルが、飽和したPDで発生する電荷が同じ画素内の別のPDに漏れないようなポテンシャルの場合は、画像用の信号を得るために2つのPDの信号を加算すると、図14で示すような出力となる。図14は、2つのPD1406、1407各々の出力特性と、2つのPD1406、1407の信号を加算した出力特性の一例を示す。PDに光が当たると、光電変換によって、ある感度をもって電荷が発生し、蓄積される。図14では説明のため、PD1406の方がPD1407より感度が高い、及び/または、光が多く入射しているものとする。PD1406、1407への入射光の光量が範囲1501の間は、PD1406の方がPD1407よりも出力が大きいが、PD1406は飽和していないため、PD1406とPD1407の出力を加算しても適切な出力が得られている。ところが、PD1406が飽和し、PD1407が飽和していない場合、PD1406の出力は、飽和以上の出力が得られないのに対し、PD1407は、入射光の光量に応じた適正な出力が得られる。そのため、PD1406が飽和した時点からは、加算出力は、PD1407の出力に応じて変化するようになる。結果として、加算出力特性は、PD1406が飽和した点から折れ曲がるようなニー特性を持つことになる。この現象は、PD1406が飽和した後に発生した電荷が、PD1407以外に漏れ込む時に、顕著に表れる。本発明は上記問題点を鑑みてなされたものであり、1画素内において、複数の光電変換部それぞれで発生する電荷の移動を制御できるように、光電変換部間を分離する分離領域のポテンシャル障壁の高さを変えられるようにすることを目的とする。また、1画素内のいずれかの光電変換部が飽和した場合に、隣接する画素への電荷の漏れを抑制することを更なる目的とする。上記目的を達成するために、複数の画素を有する本発明の撮像素子は、各画素が、前記撮像素子より被写体よりに配置された光学系の異なる射出瞳領域を通過した複数の光束をそれぞれ受光して電荷を蓄積する複数の光電変換部と、前記複数の光電変換部の間を分離する分離領域と、前記分離領域の電位を、複数の電位のいずれかに選択的に設定する設定手段とを有し、前記複数の光電変換部から、蓄積された電荷に応じた信号を独立に読み出し可能であることを特徴とする。また、複数の画素を有する本発明の撮像素子は、各画素が、前記撮像素子より被写体よりに配置された光学系の異なる射出瞳領域を通過した複数の光束をそれぞれ受光して電荷を蓄積する複数の光電変換部と、前記複数の光電変換部の間を分離する第1の分離領域と、前記各画素と、該画素に隣接する画素との間を分離する第2の分離領域とを有し、前記第1の分離領域の電位が前記第2の分離領域の電位よりも高く、且つ、前記複数の光電変換部のリセット電位よりも低く、前記複数の光電変換部から、蓄積された電荷に応じた信号を独立に読み出し可能であることを特徴とする。本発明によれば、1画素内において、複数の光電変換部それぞれで発生する電荷の移動を制御できるように、光電変換部間を分離する分離領域のポテンシャル障壁の高さを変えることができる。また、1画素内のいずれかの光電変換部が飽和した場合に、隣接する画素への電荷の漏れを抑制することができる。以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。まず、本実施の形態における撮像素子の構成について、図1~3を用いて説明する。図1は、本実施の形態における撮像素子の概略構成を示す図である。図1において撮像素子100は、複数の画素が行列状に配置されて成る画素部101と、画素部101における行を選択する垂直選択回路102、画素部101における列を選択する水平選択回路104を有する。更に、画素部101の画素のうち、垂直選択回路102によって選択される画素の信号を読み出す読み出し回路103を含み、また、各回路の動作モードなどを外部から決定するためのシリアルインターフェイス105を含んでいてもよい。読み出し回路103は、信号を蓄積するメモリ、ゲインアンプ、A/D変換器などを列毎に有する。なお、撮像素子100は、図示された構成要素以外にも、例えば、垂直選択回路102、水平選択回路104、読み出し回路103等にタイミングを提供するタイミングジェネレータ或いは制御回路等を備えてもよい。典型的には、垂直選択回路102は、画素部101の行を順に選択して読み出し回路103に読み出す。水平選択回路104は、読み出し回路103に読み出された複数の画素の信号を列毎に順に選択する。図2は、撮像素子100の画素部101を構成する画素の概略構成を示す図である。201は画素を表す。1つの画素は、1つのマイクロレンズ202と、光電変換部である2つのフォトダイオードPD203、204を有する。PD203、204は、不図示の撮像レンズの異なる射出瞳領域を通過した光束を受光し、その光に応じた電荷を発生させて、蓄積する機能を備えている。205、206はPD203、204各々で発生し蓄積された電荷を、読み出し領域207に転送するための転送スイッチである。この構成により、PD203、204から独立に電荷を読み出すことができる。208は1つの画素201内におけるPD203とPD204とを分離するために形成される分離領域のポテンシャル電位を制御するポテンシャル制御スイッチである。なお、ポテンシャル制御スイッチ208によるポテンシャルの制御については、詳細に後述する。なお、画素201は、図示された構成要素以外にも、例えば、読み出し領域207の信号を読み出し回路103に読み出すための増幅部、行を選択する選択スイッチ、読み出し領域207の信号をリセットするリセットスイッチなどを備える。図2では説明のため2つの画素を図示したが、このような画素201を行列状に配置することで画素部101を形成する。また、図2においては、画素201が2つのPDPD203とPD204を有する例を示しているが、本発明において、PDは2つ以上であればいくつでもよく、例えば、4つのPD、9つのPDなどを有していてもよい。また、PDは左右方向に2つ並べて配置されているが、並べる方法はこれに限らず、例えば、上下方向に並べて配置してもよい。また、画素部101において、PDが異なる方法で並ぶ画素が混在していてもよく、例えば、上下方向に並ぶ画素と左右方向に並ぶ画素が、混在していてもよい。図3~図5は、図2に示す破線A-B間の断面構造とポテンシャルを模式的に示す図である。図3aは、本発明の実施形態の画素の断面構造を示す図、図3bは、図3aに示す断面のポテンシャルを示す図である。図3aにおいて、301はカラーフィルター、302は画素内のスイッチを駆動する配線や電源などの配線である。半導体基板303上にp型領域304が形成され、その中にn型領域を形成する。この領域がPD203、204を形成する。305は隣接する画素との間画素間を分離するための分離領域第2の分離領域、307は同じ画素内に形成されたPD203とPD204との間を分離する分離領域第1の分離領域である。306はポテンシャル制御スイッチ208のゲート電極である。本発明では、ポテンシャル制御スイッチ208によって、1つの画素内に構成された複数のPDの間の分離領域のポテンシャルの高さを制御する。本実施の形態では、ポテンシャル制御スイッチ208のゲート電極306に印加する電圧を、3値L、M、Hレベルで駆動することにより、分離領域307のポテンシャルをVl、Vm、Vhに選択的に設定することができる。ここで、Lレベルは、分離領域307のポテンシャル障壁の高さを、分離領域305のポテンシャルVwと等しいか、または、ポテンシャルVwより高い状態Vlに制御する電圧であり、例えば、-1Vである。Hレベルは、分離領域307のポテンシャル障壁の高さをPDのポテンシャルに近づけ、ポテンシャル障壁が無くなる状態Vhに制御する電圧であり、例えば5Vである。Mレベルは、分離領域307のポテンシャルの高さを、ポテンシャルVwより少し低く、且つ、ポテンシャルVhより十分高い状態に制御する電圧であり、例えば1Vである。ゲート電極306に印加する電圧とポテンシャルの関係を、図3~図5を用いてさらに詳細に説明する。図3は、ゲート電極306にLレベルの電圧が印加されている時の様子を模式的に示している。図3bに示すように、分離領域305のポテンシャルはVw基準電位であり、分離領域307のポテンシャルはVl第2電位である。PD203とPD204の間は、ポテンシャルVlの障壁によって分離された状態となる。図4は、ゲート電極306にHレベルの電圧が印加されている時の様子を模式的に示している。図4aの401は、ゲート電極306にHレベルの電圧が印加されることにより、ゲート電極306下部の半導体層である分離領域307に形成されたチャネル領域である。図4bに示すように、ゲート電極306にHレベルの電圧が印加され、分離領域307のポテンシャルがVh第1電位となってチャネル領域401が形成されたことにより、ポテンシャル障壁が無くなり、PD203とPD204は結合した状態となる。図5は、ゲート電極306にMレベルの電圧が印加されている時の様子を模式的に示している。図5aに示すように、この時、ゲート電極306下部の半導体層である分離領域307には、Mレベルの電圧が印加されることによりチャネル領域501が形成されるが、チャネル領域501は、チャネル領域401よりも小さい。この場合、分離領域307のポテンシャルはVm第3電位となり、ポテンシャルVw基準電位より少し低く、ポテンシャルVh第1電位より十分高い。本実施の形態では、撮像素子の蓄積期間中に、ゲート電極306にMレベルの電圧を印加して、分離領域307のポテンシャルVmの高さを、ポテンシャルVwより少し低く、ポテンシャルVhより十分高い状態に制御する。次に、分離領域307のポテンシャルをポテンシャルVmに制御した場合に同じ画素の2つのPD203、204から得られる出力及びこれらの加算出力の特性について、図6、図7を用いて説明する。図6は、2つのPD203、204各々の出力特性と、PD203、204の信号を加算した出力特性の一例を示す。また、図7は、図5bのポテンシャル構造と発生した電荷の動きを模式的に示す図である。PD203、204に光が当たると、光電変換によって、ある感度をもって電荷が発生し、蓄積される。図6では説明のため、PD203の方がPD204より感度が高い、及び/または、光が多く入射しているものとする。PD203、204への入射光の光量が範囲601の間は、PD203の方がPD204よりも出力が大きいが、PD203は飽和していないため、PD203とPD204の出力を加算しても適切な出力が得られている。この様子を図7aに示している。範囲602は、PD203が飽和して、PD204が飽和しない入射光の光量の範囲を示している。この時、図7bで示すように、PD203で発生した電荷はポテンシャルVmの障壁を乗り越え、PD204に移動する。この場合、範囲602においては、PD204の出力は、PD204で発生した電荷と、飽和したPD203で発生した電荷を加算した電荷量となる。このように、ポテンシャルVmをポテンシャルVwより低く制御することで、飽和したPD203で発生した電荷を、同一の画素のPD204に漏れ込ませることができる。これにより、飽和したPD203で発生した電荷が隣接する画素へ漏れることを防ぐことができるとともに、入射光が範囲602の間においても、PD203とPD204の加算出力は、範囲601の間と同様に適切な出力となる。また、PD203、204各々で発生した電荷がポテンシャルVm以下の場合には、PD203、204それぞれから得られる出力を位相差方式の焦点検出に用いることができる。範囲603においては、PD203、204共に飽和しているので、加算出力も飽和する。なお、PD203、204はポテンシャルVmで規定される電荷量で飽和するが、両方のPDが飽和すると、図7cに示すように、ポテンシャルVwまで電荷を蓄積できることとなる。従って、実際の加算出力の飽和は少し増えることとなる。なお、ポテンシャルVmをポテンシャルVwより低くしておくことで、上述の範囲602では、飽和したPD203で発生した電荷を、同じ画素内のPD204に漏れこませることができると説明した。但し、そのためには、詳細には説明しないが、転送スイッチ205、206のゲート電極下のポテンシャルをポテンシャルVmより高くしていることは自明である。上述したように電荷蓄積時に分離領域307のポテンシャルを制御することによって、感度や入射光量の差により片側のPDが飽和した場合に、隣接する画素への電荷の漏れを抑制することができるとともに、より適切な画像信号を得ることができる。また、画素内のすべてのPDが飽和していない場合に、各PDから読み出された信号を、位相差方式の焦点検出に用いることができる。次に、本発明の撮像素子100の駆動方法について、図8~図10を用いて詳細に説明する。図8は、画素部101の1画素分の構成を示す等価回路図である。ここでは1つの画素201のみ示しているが、画素部101を構成する他の画素も同様の構成を有する。また、1列分の読み出し回路のみ示したが、読み出し回路は列毎に複数配置されて、読み出し回路103を構成する。図8に示すように、画素201におけるPD203、204は、ポテンシャル制御スイッチ208と接続している。ポテンシャル制御スイッチ208は、ポテンシャル制御信号φPDによって駆動され、前述したように、PD203とPD204の間の分離領域307のポテンシャルの高さを制御することができる。転送スイッチ205、206は、各々転送パルス信号φTX1、φTX2によって駆動され、PD203、204が生成した信号電荷を、読み出し領域207に転送する。リセットスイッチ801は、リセットパルス信号φRESによって駆動され、リセット電位VDDを読み出し領域207に供給可能な構成となっている。読み出し領域207はPD203、204から、転送された電荷を保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。増幅部802は、読み出し領域207に保持した電荷に基づく電圧信号を増幅し、画素信号として出力する。ここでは一例として、MOSトランジスタと定電流源804を用いたソースフォロワ回路を示している。選択スイッチ803は、垂直選択パルス信号φSELによって駆動され、増幅部802で増幅された信号が、垂直出力線805に出力される。垂直出力線805に出力された信号は、読み出し回路103で読み出されたのち、さらに後段の回路へ出力される。図9は、本実施の形態における撮像素子100の駆動方法の一例を示すタイミングチャートである。図9では、ローリングシャッタによる駆動方法を示している。なお、図9では、ある行n行目とその次の行n1行目のみの駆動信号を示しているが、このような駆動が、垂直選択回路102によって順次選択された行毎に行われて、画素部101から信号が読み出される。図9において、期間T1は、PD203のリセット期間であり、転送パルス信号φTX1、リセットパルス信号φRESが印加されて、PD203はリセット電位VDDにリセットされる。期間902は、PD204のリセット期間であり、転送パルス信号φTX2、リセットパルス信号φRESが印加されて、PD204はリセット電位VDDにリセットされる。なお、図9に示す例では、φPDには常にMレベルの電圧が印加されている。期間T3は、n行目のPD203の蓄積期間、期間T4は、n行目のPD204の蓄積期間である。蓄積期間T3、T4では、PD203、204に、各々入射した光に応じて光電変換された電荷が蓄積される。上述したように、ポテンシャル制御信号φPDにはMレベルの電圧が印加されており、PD203とPD204の間の分離領域307のポテンシャルの高さは、分離領域305のポテンシャルVwより少し低い状態Vmとなるように制御される。この制御によって、同じ画素の2つのPD203、204から各々のPDの出力を取得した後、それらを加算して撮像信号を得る時、感度や入射光量の差により、片側のPDが飽和していても、適切な撮像信号を得ることができる。また、PD203、204が共に飽和していない場合には、それぞれから得られた信号を位相差方式の焦点検出用の信号として用いることができる。期間T5は、n行目の読み出し期間であり、垂直選択パルス信号φSELが印加され、選択された行毎に信号が読み出される。読み出し期間T5において、まず期間T6にリセットパルス信号φRESが印加され、読み出し領域207はリセット電位VDDにリセットされる。そして、読み出し領域207のリセット電位は、垂直出力線805を介して読み出し回路103に出力され保持される。次に、期間T7において、転送パルス信号φTX1が印加されて、PD203に蓄積されていた電荷が読み出し領域207に転送される。そして、PD203の信号電位が、垂直出力線805を介して、読み出し回路103に出力され保持される。読み出し回路103では、リセット電位と信号電位の差分が、PD203の信号として出力される。さらに、期間T6、T7と同様にして、期間T8において、読み出し領域207のリセット電位が読み出し回路103に出力され保持され、期間T9において、PD204の信号電位が、読み出し回路103に出力され保持される。読み出し回路103では、リセット電位と信号電位の差分が、PD204の信号として出力される。期間T10は、n1行目の読み出し期間であり、読み出し期間T5と同様にして、n1行目の各画素の各PDの信号が出力される。図10は、本発明の撮像素子100の別の駆動方法を示すタイミングチャートである。図10では、メカニカルシャッタを用いた場合の駆動方法を示している。なお、図10ではある行n行目とその次の行n1行目のみの駆動信号を示しているが、このような駆動が、垂直選択回路102によって順次選択された行毎に行われて、画素部101から信号が読み出される。図10において、期間T11はリセット期間であり、転送パルス信号φTX1、φTX2、リセットパルス信号φRES、ポテンシャル制御信号φPDが印加されて、PD203、204はリセット電位VDDにリセットされる。図10では、期間T11において、ポテンシャル制御信号φPDにはHレベルの電圧が印加されるとしたが、この期間のポテンシャル制御信号φPDに印加される電圧はMレベルでも、Lレベルでもよい。期間T12は蓄積期間であり、この期間に、メカニカルシャッタが開くことで撮像素子100は露光状態となり、PD203、204では、入射した光に応じて光電変換された電荷が蓄積される。そして、メカニカルシャッタが閉じることで、蓄積期間が終了する。期間T13では、ポテンシャル制御信号φPDにMレベルの電圧が印加されて、PD203とPD204の間の分離領域307のポテンシャルの高さは、分離領域305のポテンシャルVwより少し低い状態Vmとなるように制御される。この駆動によって、同じ画素の2つのPD203、204から各々のPDの出力を取得した後、それらを加算して撮像信号を得る時、感度や入射光量の差により、片側のPDが飽和していても、適切な撮像信号を得ることができる。また、PD203、204が共に飽和していない場合には、それぞれから得られた信号を焦点検出用の信号として用いることができる。期間T13の後、行毎の読み出し走査が行われるが、この時ポテンシャル制御信号φPDにLレベルの電圧を印加することで、暗電流として発生するノイズを抑制することが可能となる。期間T14は、n行目の読み出し期間であり、垂直選択パルス信号φSELが印加され、選択された行毎に信号が読み出される。読み出し期間T14において、まず期間T15にリセットパルス信号φRESが印加され、読み出し領域207はリセット電位VDDにリセットされる。そして、読み出し領域207のリセット電位は、垂直出力線805を介して読み出し回路103に出力され保持される。次に、期間T16において、転送パルス信号φTX1が印加されて、PD203に蓄積されていた電荷が読み出し領域207に転送される。そして、PD203の信号電位が、垂直出力線805を介して、読み出し回路103に出力され保持される。読み出し回路103では、リセット電位と信号電位の差分が、PD203の信号として出力される。さらに、期間T15、T16と同様にして、期間T17において、読み出し領域207のリセット電位が読み出し回路103に出力され保持され、期間T18において、PD204の信号電位が、読み出し回路103に出力され保持される。読み出し回路103では、リセット電位と信号電位の差分が、PD204の信号として出力される。期間T19は、n1行目の読み出し期間であり、読み出し期間T14と同様にして、n1行目の各画素のPDの信号が出力される。図11は、上述した撮像素子を有する撮像装置の概略構成を示すブロック図である。図1において、1101はフォーカスレンズを含み、更にはズームレンズ、絞りなどで構成される光学系、1102は、後述するAF制御部1109から出力される光学系駆動情報に応じて光学系1101を制御信号により制御する光学系駆動部である。100は、図1~図10を参照して上述した撮像素子、1104は、撮像素子100からPD203、204それぞれから出力された信号に対し、画素毎に加算して画像信号を生成する処理を含む演算処理を施す信号演算部生成手段である。1108はカメラ信号処理部で、信号演算部1104から得られた画像信号に対し、色変換、ホワイトバランス補正、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行い、不図示の記録装置や表示装置に処理後の画像信号を出力する。1105は位相差算出部焦点検出手段で、撮像素子100から出力される瞳分割された画像信号から位相差方式の焦点調節を行うための位相差評価値を算出する。1109はAF制御部で、位相差算出部1105で算出された位相差評価値を基に、光学系1101のフォーカスレンズ位置を制御するための光学系駆動情報を算出する。すなわち、位相差算出部1105及びAF制御部1109により、公知の位相差方式の焦点調節制御が行われる。次に、図11に示す撮像装置の本実施の形態における撮影処理について、図12のフローチャートを参照して説明する。図12aは、本実施の形態における焦点検出と画像取得の処理の流れを示すフローチャートである。S101では、不図示のレリーズボタン等の操作によりユーザーが撮影開始の操作を行う。S102では、光学系1101を駆動して、被写体にレンズの焦点を合わせる。但し、撮影開始直後、最初のS102では、焦点検出がまだ行われておらず、フォーカスレンズの駆動量を取得できないため、フォーカスレンズは駆動させなくてもよい。あるいは、不図示の別の焦点検出部から取得した信号によってフォーカスレンズを駆動させてもよい。S103及びS104では、図9または図10を参照して説明したようにして撮像素子100を駆動し、電荷の蓄積及び読み出しを行う。より詳しくは、S103では、撮像素子100が光学系1101によって結像された光を受光し、各画素のPD203、204では、入射した光量に応じた電荷が蓄積される。この時、ポテンシャル制御スイッチ208のゲート電極306には、Mレベルの電圧を印加することで、画素のポテンシャルは図5bに示す状態となる。S104では、各画素のPD203、204に蓄積された電荷をそれぞれ読み出す。次に、S105において、位相差算出部1105は、各画素のPD203から出力された信号と、各画素のPD204から出力された信号とを用いて、公知の位相差検出方式による焦点検出処理を行う。ここで、本実施の形態においては、電荷蓄積中はポテンシャル制御スイッチ208のゲート電極306に、Mレベルの電圧を印加しているため、画素によっては、一方のPDが飽和し、余剰電荷が他方のPDに漏れ込んでいる可能性がある。このように、片側のPDが飽和した状態、つまり図7bで示す状態の時、飽和していない方のPDの信号には、飽和したPDで発生した電荷が混在することになる。従って、本実施の形態では、少なくとも1つのPDが飽和している画素から得られる信号は、焦点検出を行うためには信頼性が低いため、焦点検出処理には用いない。このように、S105では、少なくとも1つのPDが飽和している画素から得られる信号以外の信号を用いて焦点検出処理を行い、検出された位相差に従って、S102では、次のフレームを撮影するためにフォーカスレンズが駆動される。一方、S106では、PD203、204から読み出された信号を画素毎に加算することで、画像信号を生成する。本実施の形態の撮像素子100の駆動方法によれば、このS106で、同じ画素の2つのPD203、204の出力を加算して撮像信号を得る時、感度や入射光量の差により片側のPDが飽和していても、適切な撮像信号を得ることができる。そして、S107では、取得された画像信号を撮像装置の表示部に表示、及び記録媒体への記録処理を行い、処理を終了する。このように、本実施の形態によれば、撮像素子100から得られる焦点検出用の信号を、撮像用の信号としても用いることができる。つまり、S103、S104における信号電荷の蓄積と読み出しは、焦点検出用の信号取得と、撮像用の信号取得の両方を兼ねている。従って、特に、静止画の連写撮影、ライブビュー撮影、動画撮影など、被写体に合焦状態を維持しながら高速に表示記録することが求められる機能に、効果的である。これまで、撮像素子100からの信号を用いて、焦点検出と画像取得の両方を可能にした駆動方法について説明した。ここで、撮像素子100を用いた別の駆動方法として、別の焦点検出部から取得した信号によって撮像レンズを駆動させてもよい。あるいは、撮像レンズの焦点調節をユーザーが手動で行ってもよい。つまり、本発明の撮像素子を、撮影画像の取得に特化して駆動させることもできる。図12bは、本発明の撮像素子を用いた撮像装置で、別の焦点検出部による焦点検出と、撮影画像取得の処理の流れを示すフローチャートの一例である。S201では、不図示のレリーズボタン等の操作によりユーザーが撮影開始の操作を行う。S202では、不図示の別の焦点検出部から取得した信号によってフォーカスレンズを駆動させる。あるいは、ユーザーによる手動の焦点調節を行う場合には、レンズを駆動させなくてもよい。S203では、撮像素子100が光学系1101によって結像された光を受光し、各画素のPD203、204では、入射した光量に応じた電荷が蓄積される。この時、ポテンシャル制御スイッチ208のゲート電極306には、Hレベルの電圧を印加することで、画素のポテンシャルは図4bに示す状態となる。図4bに示すポテンシャルの状態では、ゲート電極306下部の半導体層である分離領域307にも電荷が蓄積されるため、1画素あたりの蓄積可能な電荷量は、図5bに示すポテンシャル構造よりも多い。つまり、本発明の撮像素子100を、撮影画像の取得に特化して使用する駆動方法においては、蓄積期間中のゲート電極306に、Hレベルの電圧を印加することで、図12aに示す駆動方法に対して、より良好な撮影画像を取得することが可能となる。S204では、PD203、204に蓄積された電荷を読み出す。ここで、PD203、204は画素毎に結合されているので、S204では、PDからは、直接、画素毎の画像信号が読み出されることになるため、PD203、204の信号を画素毎に加算する必要が無い。そして、S205では、取得した画像信号を表示部に表示、及び記録媒体への記録処理を行う。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、前述の実施形態では、ゲート電極306が構成するポテンシャル制御スイッチ208は、MOSトランジスタであったが、接合型電界効果トランジスタとしてもよい。