光学系の射出瞳の異なる領域を通った光束をそれぞれ受光する2次元に配置された複数の光電変換部をそれぞれ含む、複数の分割画素を有し、前記分割画素毎に、第1の瞳分割方向及び該第1の瞳分割方向に垂直な第2の瞳分割方向に前記光電変換部を分けて、生成された電荷を加算読み出し可能な撮像素子と、前記撮像素子から読み出した電荷から得られた画素毎の画像信号に基づいて、前記撮像素子の領域を複数に分割した分割領域毎に画像のエッジの方向を判定する判定手段と、前記判定手段により前記分割領域毎に判定されたエッジの方向に基づいて、前記分割領域毎に、前記第1の瞳分割方向と前記第2の瞳分割方向の何れかを決定する決定手段と、前記決定手段により決定された前記第1の瞳分割方向または前記第2の瞳分割方向に分割して、前記各分割画素の加算読み出しを行い、対の画像信号を出力するように前記撮像素子を制御する読み出し制御手段と、前記読み出し制御手段による制御により前記各分割画素から出力された対の画像信号の位相差に基づいて、焦点調節を行う焦点調節手段とを有することを特徴とする撮像装置。前記判定手段は、エッジの方向として、前記第1の瞳分割方向に垂直な第1の方向と、前記第2の瞳分割方向に垂直な第2の方向のいずれかであるかを判定することを特徴とする請求項1に記載の撮像装置。前記決定手段は、前記エッジの方向が前記第1の方向である場合に、前記第1の瞳分割方向を決定し、前記エッジの方向が前記第2の方向である場合に、前記第2の瞳分割方向を決定することを特徴とする請求項2に記載の撮像装置。前記決定手段は、前記エッジの方向がより水平に近い場合に、前記第1の瞳分割方向を決定し、前記エッジの方向がより垂直に近い場合に、前記第2の瞳分割方向を決定することを特徴とする請求項1に記載の撮像装置。前記撮像素子を構成する全画素を、前記分割画素で構成したことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。前記撮像素子は、1つの光電変換部をそれぞれ含む複数の画素と、離散的に配置された複数の前記分割画素とから構成されていることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。前記対の画像信号を、前記分割画素毎に加算する加算手段を更に有することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。光学系の射出瞳の異なる領域を通った光束をそれぞれ受光する2次元に配置された複数の光電変換部をそれぞれ含む、複数の分割画素を有し、前記分割画素毎に、第1の瞳分割方向及び該第1の瞳分割方向に垂直な第2の瞳分割方向に前記光電変換部を分けて、生成された電荷を加算読み出し可能な撮像素子を有する撮像装置の制御方法であって、判定手段が、前記撮像素子から読み出した電荷から得られた画素毎の画像信号に基づいて、前記撮像素子の領域を複数に分割した分割領域毎に画像のエッジの方向を判定する判定工程と、決定手段が、前記判定工程で前記分割領域毎に判定されたエッジの方向に基づいて、前記分割領域毎に、前記第1の瞳分割方向と前記第2の瞳分割方向の何れかを決定する決定工程と、読み出し制御手段が、前記決定工程で決定された前記第1の瞳分割方向または前記第2の瞳分割方向に分割して、前記各分割画素の加算読み出しを行い、対の画像信号を出力するように前記撮像素子を制御する読み出し制御工程と、焦点調節手段が、前記読み出し制御工程による制御により前記各分割画素から出力された対の画像信号の位相差に基づいて、焦点調節を行う焦点調節工程とを有することを特徴とする撮像装置の制御方法。しかしながら、特許文献1に記載された構成では、焦点調節時に、4分割された領域の内、縦または横に2分割された領域を加算処理して読み出す。そのため、例えば、横に2分割した場合、合焦対象となる主被写体が水平線や浅い角度の斜め線の時に、位相差が出にくく、主被写体に対して、最適な位相差方式の焦点調節が行えないことがある。本発明は上記問題点を鑑みてなされたものであり、それぞれが複数の光電変換部を含み、瞳分割方向を切り替え可能な、複数の画素を有する撮像素子を用いた撮像装置において、少ないシステム負荷で、焦点調節の精度を上げることを目的とする。上記目的を達成するために、本発明の撮像装置は、光学系の射出瞳の異なる領域を通った光束をそれぞれ受光する2次元に配置された複数の光電変換部をそれぞれ含む、複数の分割画素を有し、前記分割画素毎に、第1の瞳分割方向及び該第1の瞳分割方向に垂直な第2の瞳分割方向に前記光電変換部を分けて、生成された電荷を加算読み出し可能な撮像素子と、前記撮像素子から読み出した電荷から得られた画素毎の画像信号に基づいて、前記撮像素子の領域を複数に分割した分割領域毎に画像のエッジの方向を判定する判定手段と、前記判定手段により前記分割領域毎に判定されたエッジの方向に基づいて、前記分割領域毎に、前記第1の瞳分割方向と前記第2の瞳分割方向の何れかを決定する決定手段と、前記決定手段により決定された前記第1の瞳分割方向または前記第2の瞳分割方向に分割して、前記各分割画素の加算読み出しを行い、対の画像信号を出力するように前記撮像素子を制御する読み出し制御手段と、前記読み出し制御手段による制御により前記各分割画素から出力された対の画像信号の位相差に基づいて、焦点調節を行う焦点調節手段とを有する。本発明によれば、それぞれが複数の光電変換部を含み、瞳分割方向を切り替え可能な、複数の画素を有する撮像素子を用いた撮像装置において、少ないシステム負荷で、焦点調節の精度を上げることができる。以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。図1は、本発明の実施の形態における撮像装置の概略構成を示すブロック図である。図1において、101は、ズームレンズ、絞り、フォーカスレンズのうち少なくとも1つ以上から構成される光学系である。102は、後述するAF制御部110から出力されるフォーカス情報や、後述するシステム制御部111の光学系駆動情報に応じて光学系101を制御する光学系駆動部である。103は、被写体像を光電変換により電気信号に変換して、画像信号として出力する撮像素子である。本実施の形態においては、後述するように、各画素は、光学系101の射出瞳の異なる領域を通過した光束をそれぞれ受光する、複数のフォトダイオード光電変換部を有し、後述するように瞳分割された画像信号を出力する。なお、撮像素子103の構成は、図2及び図3を参照して詳細に後述する。104は、後述する指示情報生成部108から出力される画素毎の瞳分割指示情報や、システム制御部111からの撮像素子駆動情報に応じて、撮像素子103を制御する撮像素子駆動部である。なお、撮像素子駆動部104は、撮像素子103のいわゆる電子シャッタ機能により、必要な露光時間となるように制御信号により制御することができる。105は加算信号処理部で、撮像素子103から出力される瞳分割された画像信号を画素毎に加算し、表示/記録用の加算画像信号を生成する。106はカメラ信号処理部で、加算信号処理部105から得られた加算画像信号に対して、例えば、色変換、ホワイトバランス、ガンマ補正等の既知の画像処理や、解像度変換処理、画像圧縮処理等の画像処理を行い、表示/記録用の映像信号を生成する。107は画像解析部で、加算信号処理部105から得られた加算画像信号から指示情報生成部108に渡す被写体情報を生成する。108は指示情報生成部で、画像解析部107で得られた被写体情報に基づいて、撮像素子103に対する、画素毎の瞳分割方向を示す瞳分割指示情報を生成する。109は位相差算出部で、撮像素子103から出力される瞳分割された画像信号から位相差方式の焦点調節を行うための位相差評価値を算出する。110はAF制御部で、位相差算出部109で算出された位相差評価値を基に、光学系101のフォーカスレンズ位置を制御するためのフォーカス情報を算出する。111は撮像装置全体を制御するシステム制御部である。システム制御部111は、ユーザ指示や撮影シーン検出、被写体検出などから得られる撮影情報に基づいて、光学系駆動部102へはズームや絞りなどの光学系101の駆動情報を、撮像素子駆動部104へは露光時間などの撮像素子103の駆動情報を渡す。図2は、図1に示す撮像素子103の回路構成の一例を示す図である。撮像素子103の各画素は、水平2つ、垂直2つの計4つのフォトダイオードが、1つのマイクロレンズを共有する構成を有する。以下、この4つのフォトダイオードからなる画素を、分割画素と呼ぶ。図2は説明の簡略化のため、左上端4つの分割画素の構造のみを示しているが、実際には、多数の分割画素が2次元に配置されている。図2において、瞳分割方向指示入力104-1、水平同期信号HD入力104-2、垂直同期信号VD入力104-3、指示情報更新信号入力104-4は、撮像素子駆動部104から出力される。204はタイミング信号発生回路TG、205は第1のバッファ、207は第2のバッファ、209は画素読み出し共通制御信号バス、210は画素読み出し制御修正回路である。211は画素読み出し制御信号バスである。また、212はマイクロレンズを共有する4つのフォトダイオードから成る分割画素を示し、212-1は第1のフォトダイオード、212-2は第2のフォトダイオード、212-3は第3のフォトダイオード、212-4は第4のフォトダイオードである。そして、画素読み出し制御信号バス211は、各分割画素212の第1~第4のフォトダイオード212-1~4の読み出しを制御する第1~第4の読み出し制御信号211-1、211-2、211-3、211-4で構成される4つの制御信号を供給する。また、213は分割画素212における行読み出し制御信号線、214はリセット信号線である。215は列読み出し信号線、216は水平駆動制御信号線、217は水平読み出し回路、103-1は第1の出力端子、103-2は第2の出力端子である。図3は、図2の分割画素212の回路構成例を示すものである。図3において、305は第1の画素読み出しトランジスタ、306は第2の画素読み出しトランジスタ、307は第3の画素読み出しトランジスタ、308は第4の画素読み出しトランジスタである。また、また、309はフローティングディフュージョン部、310は画素リセットトランジスタ、311は行読み出しトランジスタ、312は画素ソースフォロワ、313は電源線である。ここで、上記構成を有する分割画素212の加算読み出し手順について、図4を参照して説明する。図4aに示すタイミングチャートは、水平方向に瞳分割する場合の分割画素212の駆動制御を説明する図である。まず、期間t31及び期間t32において、第1の画素読み出し制御信号211-1と第2の画素読み出し制御信号211-2を順にHighとする。これにより、第1の画素読み出しトランジスタ305と第2の画素読み出しトランジスタ306が順に導通する。その結果、第1のフォトダイオード212-1と第2のフォトダイオード212-2に蓄積された電荷が順次フローティングディフュージョン309に溜められて、電荷の加算が行われる。次に、期間t33において、行読み出し制御信号線213をHighとする。これにより、行読み出しトランジスタ311が導通し、画素ソースソースフォロワ312でフローティングディフュージョン309に溜められた加算電荷が電圧変換され、列読み出し信号線215を介して出力される。次に、期間t34において、画素リセット制御信号214をHighとする。これにより、画素リセットトランジスタ310が導通し、フローティングディフュージョン309の電荷が0にリセットされる。そして、期間t35及び期間36において、第3の画素読み出し制御信号211-3と第4の画素読み出し制御信号211-4を順にHighとする。これにより、第3の画素読み出しトランジスタ307と第4の画素読み出しトランジスタ308が順に導通する。その結果、第3のフォトダイオード212-3と第4のフォトダイオード212-4に蓄積された電荷が順次フローティングディフュージョン309に溜められて、電荷の加算が行われる。次に、期間t37において、期間t33と同様に、行読み出し制御信号線213をHighとすることで、フローティングディフュージョン309に溜められた加算電荷が電圧変換され、列読み出し信号線215を介して出力される。最後に、期間t38において、画素リセット制御信号214及び、全ての画素読み出し制御信号をHighとする。これにより、画素リセットトランジスタ310及び、全ての画素読み出しトランジスタが導通し、全てのフォトダイオード及びフローティングディフュージョン309の蓄積電荷はすべて0にリセットされ、次の読み出し駆動に対して、改めて光電荷の蓄積を行う。以上のようにして加算読み出しを行うことで、水平方向に瞳分割された左右画像の画像信号が読みだされる。図4bは、垂直方向に瞳分割する場合の、分割画素212の駆動制御のタイミングチャートである。なお、図4bの動作は、期間t31、t32、t35、t36における、第1~第4の画素読み出し制御信号211-1~4をHighとする組み合わせが、図4aのタイミングチャートと異なるだけである。そのため、図4bの詳細説明は省略する。図4aに示す動作との差異としては、図4bでは、期間t32及び期間t33において、第1の画素読み出し制御信号211-1と第3の画素読み出し制御信号211-3を順次Highとなるようにする。そして、期間t36及び期間t37において、第2の画素読み出し制御信号211-2と第4の画素読み出し制御信号211-4が順次Highになるようにした点にある。以上のようにして加算読み出しを行うことで、垂直方向に瞳分割された上下画像の画像信号が読みだされる。なお、電圧変換された加算電荷は、水平読み出し回路217に入力される。本実施の形態の水平読み出し回路217は、先に読み出された画素信号と、後に読み出された画素信号を同時に読み出すように駆動することができる。従って、第1の出力端子103-1からは、左信号、もしくは上信号が出力され、第2の出力端子103-2からは、右信号、もしくは下信号が順次出力される。ここで、画像信号に基づく位相差評価値の算出方法について説明する。図5は、図2のS-S’間の断面を模式的に示したものである。601は、像側から見た撮像レンズの射出瞳を示したものである。合焦時の撮像レンズの結像面606から射出瞳601までの距離を射出瞳位置と呼び、図示していないレンズの絞りよりも後方結像面側にあるレンズ群の曲率や絞りとの位置関係などによりその位置は変化する。また、当然ながら絞りの径によって大きさは変化する。604、605はそれぞれマイクロレンズ607によって射出瞳位置に投影された第1及び第2のフォトダイオード212-1、212-2、及び、第3及び第4のフォトダイオード212-3、212-4の射出瞳である。第1及び第2のフォトダイオード212-1、212-2へは、射出瞳605を通る光束603が入るように設計され、第3及び第4のフォトダイオード212-3、212-4へは、射出瞳604を通る光束602が入るように設計される。また、撮像素子103を構成する他の分割画素についても同様に設計されており、各分割画素の第1及び第2のフォトダイオード212-1、212-2からは、撮像レンズの射出瞳601のうち右側の605の領域で見た像が得られる。同様に、各分割画素の第3及び第4のフォトダイオード212-3、212-4からは、撮像レンズの射出瞳601のうち左側の604の領域で見た像が得られる。光束602によって撮像素子103上で得られる像をA像、光束603によって撮像素子103上で得られる像をB像とすると、合焦状態によっては画像信号上に視差を含んだ信号が得られる。図6は、前ピン状態での画像信号の一例として、第3及び第4のフォトダイオード212-3、212-4で得られる像をA像702、第1及び第2のフォトダイオード212-1、212-2で得られる像をB像701として示している。位相差検出方式による被写体までの距離情報は、A像702とB像701の相対関係と像間の距離703、及び、そのフォーカス位置における結像面から射出瞳までの距離から算出される。位相差算出部109は、被写体までの距離情報を、算出した位相差評価値として、AF制御部110へ渡す。位相差算出部109からの位相差評価値に基づいて、AF制御部110は目標フォーカス位置を決定し、現在のフォーカス位置からの移動方向及び移動量をフォーカス情報として、光学系駆動部102に渡す。なお、上記説明では、水平方向に瞳分割して読み出された画像信号右画像と左画像から位相差評価値を算出する場合を示したが、垂直方向に瞳分割して読み出された画像信号上画像と下画像においても同様に実施可能であるため、説明を割愛する。次に、本実施の形態における瞳分割方向指示情報の生成方法について説明する。本実施の形態における撮像装置では、撮像素子103から出力された画像信号を複数の分割領域に分割し、分割した分割領域毎に、分割画素の瞳分割方向を決定する。画像解析部107は、加算信号処理部105から出力される加算画像信号に対して画像解析を行い、指示情報生成部108に入力するための被写体情報を生成する。本実施の形態における被写体情報とは、図7に示すように、所定のサイズに分割された分割領域501毎の被写体の画像のエッジ方向の情報である。分割領域は、分割領域アドレスijで識別されるものとし、図7に示す例では、i0~7、j0~6の整数である。加算画像信号のアドレスxyとは、下記の関係式1が成り立つ。なお、iとxは、水平方向のアドレスであり、jとyは垂直方向のアドレスである。xi×HSIZExyj×VSIZEy...1ここで、x’とy’は、各分割領域内における加算画素信号の水平方向及び垂直方向のアドレスであり、HSIZE及びVSIZEは分割領域の水平方向及び垂直方向のサイズを示す。画像解析部107には、分割領域アドレスijと加算画像信号のアドレスxyとが共に入力される。まず、画像解析部107による分割領域毎の被写体情報被写体の画像のエッジ方向の情報の生成方法について説明する。図8は、画像解析部107の構成を示すブロック図である。図8において、401は、加算信号処理部105が生成した加算画像信号から水平方向の勾配値を算出する水平微分フィルタであり、403は、水平方向の勾配値を絶対値化する絶対値化部である。402は、加算画像信号から垂直方向の勾配値を算出する垂直微分フィルタであり、404は、垂直方向の勾配値を絶対値化する絶対値化部である。405は、画素毎の水平方向の勾配値の絶対値と垂直方向の勾配値の絶対値の大小判定を行う大小判定部である。406は、分割領域毎に含まれる画素毎の大小判定結果の統計をとる分割領域統計部である。407は、分割領域の統計情報とその周囲の分割領域の統計情報に基づいて、分割領域のエッジ方向を判定するエッジ方向判定部である。408は、分割領域の統計情報を記憶する記憶部である。図9は。画像解析部107による、着目分割領域ijのエッジ方向決定処理を示す図9のフローチャートである。加算画像信号は分割領域単位で入力され、分割領域毎に統計処理を行うので、分割領域単位の処理設定を初期化するS11。次に、加算画像信号は、水平方向の水平微分フィルタ401、及び垂直方向の垂直微分フィルタ402に入力され、加算画素信号毎に勾配値が算出される。この微分フィルタは、例えば、既知のSobelフィルタで構成することができる。加算画素信号毎に求められた水平方向、及び垂直方向の勾配値は、それぞれ絶対値化部403、404に入力され、絶対値化されるS12。絶対値化された加算画素毎の水平方向及び垂直方向の勾配値は、大小判定部405で大小判定が行われ、水平方向の勾配値の絶対値が垂直方向の勾配値の絶対値より大きければ0、そうでなければ1を判定情報として出力するS13。大小判定部405から出力される判定情報は、分割領域統計部406に入力される。分割領域統計部406は、まず、判定情報が着目分割領域内の加算画像信号のものであるかを判定するS14でYES。分割領域統計部406には、判定情報と同時に加算画像信号のアドレスが入力されるので、加算画像信号アドレスxyが、着目分割領域ij内であれば、着目分割領域の判定情報とみなす。なお、着目領域内か否かの判定は、下記式2によって表現される。i×HSIZE≦x<×HSIZEj×VSIZE≦y<×VSIZE...2分割領域統計部406は、判定情報である0と1、各々の出現個数をカウントする、カウンタC0とカウンタC1で構成される。入力画素の判定情報が0であればカウンタC0を1増加し、判定情報が1であればカウンタC1を1増加するS15。着目分割領域内の加算画素信号の判定情報が全て入力されるとS14でNO、分割領域統計部406は、カウンタC0とカウンタC1の値を統計情報として出力する。統計情報は、カウンタC0>カウンタC1であれば、着目分割領域の水平方向の勾配が大きい、つまりエッジ方向は垂直であることを示す。そうでなければ、着目分割領域の垂直方向の勾配が大きい、つまりエッジ方向は水平であることを示す。図10は、分割領域統計部406により求められた、着目分割領域502の統計情報から推定されるエッジ方向の一例を示す図である。図10aは、着目分割領域502における統計情報を示しており、カウンタC0>カウンタC1である。この場合、図10bに示すように、着目分割領域502のエッジ方向は垂直であることを示している。しかしながら、本実施の形態では、着目分割領域のエッジ方向を、着目分割領域の統計情報からだけではなく、着目分割領域の周囲の分割領域の統計情報も用いて決定する。分割領域統計部406から出力される統計情報は、エッジ方向判定部407と記憶部408に入力される。記憶部408は例えばSRAMで構成され、分割領域毎の統計情報を全て保持する。そして、入力される着目分割領域アドレスより、その周囲8方向の分割領域それぞれの統計情報を、エッジ方向判定部407に出力するS16。エッジ方向判定部407は、着目分割領域ijの統計領域と、記憶部408に予め記憶された周囲8方向の分割領域の統計情報とを用いて、最終的な着目分割領域ijのエッジ方向判定を行うS17。ここでは、着目分割領域ijのカウンタC0の値C0ij及び周囲の分割領域のカウンタC0の値を、以下の式3により重み付け合成し、その合成値C0’を着目分割領域ijの最終的な水平方向の勾配情報とする。同様に着目分割領域ijのカウンタC1の値C1ij及び周囲の分割領域のカウンタC1の値を、以下の式4により重み付け合成し、その合成値C1’を着目分割領域ijの最終的な垂直方向の勾配情報とする。そして、合成値C0’と合成値C1’の大小比較を行い、合成値C0’>合成値C1’であれば、着目分割領域ijのエッジ方向は垂直第1の方向であると判定し、被写体情報を0として出力する。合成値C0’>合成値C1’でなければ、エッジ方向は水平第2の方向であると判定し、被写体情報を1として出力するS17。図11は、着目分割領域502で求められた統計情報と、その周囲の分割領域503の統計情報から決定したエッジ方向の一例を示す図である。図11aは、着目分割領域502、及びその周囲の着目分割領域群503の統計情報を示しており、式3及び式4に基づいて合成値を算出すると、合成値C1’>合成値C0’である。そのため、図11bに示すように、合成値の関係から、エッジ方向判定部407は、着目分割領域502のエッジ方向は水平であると判定する。そして、指示情報生成部108は、エッジ方向判定部407から出力された被写体情報が0、即ち、エッジ方向が垂直第1の方向の場合、対応する分割領域に含まれる各分割画素の瞳分割方向を水平方向第1の瞳分割方向とする。そして、瞳分割方向指示情報として0を出力する。また、エッジ方向判定部407から出力された被写体情報が1、即ち、エッジ方向が水平第2の方向の場合、対応する分割領域に含まれる各分割画素の瞳分割方向を垂直方向第2の瞳分割方向とする。そして、瞳分割方向指示情報として1を出力する。何れの場合も、分割領域アドレスを加算画像信号アドレスに変換することで、各分割画素の瞳分割方向を指定することができる。このようにして指示情報生成部108から出力された瞳分割方向指示情報は、撮像素子駆動部104へは、行毎に入力され、位相差算出部109へは、分割領域毎に入力される。位相差算出部109に渡す瞳分割方向指示情報は、現在読み出されている画像信号に対するものであるため、メモリなどの記憶部に分割領域毎の瞳分割指示情報を記憶させ、撮像素子103に設定される瞳分割方向指示情報とタイミングを合わせる必要がある。なお、上述した例では、着目分割領域のエッジ方向を、着目分割領域とその周辺分割領域のエッジ方向とから判定したが、着目分割領域のエッジ方向からのみに基づいて決定しても良い。その場合、エッジ方向判定部407は分割領域統計部406から出力されるカウンタC0及びカウンタC1の大小関係に基づいて、エッジ方向が垂直第1の方向であるか、水平第2の方向であるかを決定すればよい。図12は、加算画像信号に対して、全分割領域にエッジ方向判定を行った結果の一例を示す図である。上述したようにして、分割領域毎に被写体の主要なエッジ方向を決定し、エッジ方向に適した瞳分割を行うことができるので、より精度の高い位相差評価値を得ることができ、ひいては、より精度の高い焦点調節処理を行うことができる。次に、上述したようにして得られた瞳分割指示情報を撮像素子駆動部104に設定するタイミングについて図13のタイミングチャートを参照して説明する。図2に示す瞳分割方向指示入力104-1には、指示情報生成手段かから出力された分割画素毎の瞳分割方向指示情報が0または1のディジタル信号として入力される。上述したように、0は水平方向の瞳分割を指定し、1は垂直方向の瞳分割を指定する。n行目の瞳分割方向指示情報は、水平駆動期間t2においてn-1行目の画像信号を読み出している間に、分割画素毎に入力され、第1のバッファ205にそれぞれ保持される。次に、瞳分割方向指示情報は、図13のn行目の水平ブランキング期間t3の初期において、指示情報更新信号入力104-4からの更新指示によって、第2のバッファ207へ保持される。これにより、1行分の瞳分割方向指示情報が同時に参照可能となり、画素読み出し制御修正回路210に入力される。水平同期信号入力104-2と垂直同期信号入力104-3から入力された水平同期信号HDと垂直同期信号VDは、タイミング信号発生回路204に入力される。そして、これらの信号を基にして、タイミング信号発生回路204により、画素読み出し共通制御信号バス209及び行読み出し制御信号線213への制御信号が生成される。画素読み出し共通制御信号バス209の信号は、画素読み出し制御信号バス211の元となる制御信号である。図3で示したように、画素読み出し制御信号バス211は、各分割画素のフォトダイオードの読み出し制御信号211-1、211-2、211-3、211-4で構成される4つの制御信号を供給するバスである。これらは、画素読み出し制御修正回路210に入力され、1行分の瞳分割方向指示情報に従い、各修正回路210毎に、画素読み出し共通制御信号バス209の制御信号を修正する動作をする。本実施の形態では、瞳分割方向指示情報が0水平方向の場合は、画素読み出し共通制御信号バス209の信号をそのまま通過させ、図3aで説明したような電荷の加算が行われるように分割画素からの読み出しを制御する。一方、瞳分割方向指示情報が1垂直方向の場合は、画素読み出し共通制御信号バス209の信号を修正し、図3bで説明したような電荷の加算が行われるように分割画素からの読み出しを制御する。そして、水平駆動期間t4において、瞳分割方向指示情報に応じて瞳分割されたn行目の信号を読み出す。また、この水平駆動期間t4に、次のn1行目の瞳分割指示情報を第1のバッファ205にそれぞれ保持しておく。以上の動作を繰り返すことにより、1垂直同期期間内の画像信号の読み出し処理が終了する。以上説明したように、本実施の形態における撮像素子103において、第1の出力端子103-1からは、入力された瞳分割方向指示情報に応じて、左画像または上画像が出力され、第2の出力端子103-2からは右画像または下画像が出力される。このようにして撮像素子103から得られた瞳分割された対の画像信号は、位相差算出部109へ入力される一方、加算信号処理部105へも入力され、カメラ信号処理部106や、画像解析部107に入力する加算画像信号が生成される。即ち、加算信号処理部105は、第1の出力端子103-1と第2の出力端子103-2から出力される、左画像信号と右画像信号、もしくは上画像信号と下画像信号を加算して、加算画像信号を生成する。次に、本実施の形態のフォーカス情報生成処理について、図14のフローチャートを参照して説明する。まず、位相差算出部109より、指示情報生成部108から分割領域毎に入力された瞳分割方向指示情報に従って、図6で説明したようにして、分割領域毎に水平方向または垂直方向の位相差評価値を取得するS21。次に、焦点調節の対象となる被写体の有無を判定するS22。なお、焦点調節の対象となる被写体の有無の判定方法としては、例えば、顔検出などの既知の被写体検出処理などがある。被写体検出処理では、焦点調節の対象となる被写体の有無判定と、その位置及びサイズ情報を算出する。焦点調節の対象となる被写体が存在する場合はS22でYES、その位置とサイズ情報とから、その被写体が存在する分割領域群をフォーカス情報取得に用いる分割領域として設定するS23。一方、焦点調節の対象となる被写体が存在しなかった場合は、例えば、画面中央などの、予め設定された分割領域群をフォーカス情報取得に用いる分割領域として設定するS24。そして、AF制御部110は、S23またはS24で指定された分割領域群の位相差評価値の最大値を被写体までの距離情報とし、フォーカス情報を算出する。上記の通り本実施の形態によれば、撮像素子103の各画素の複数のフォトダイオードそれぞれから独立に読み出す場合と比較して、読み出す信号数を半減することで、システム負荷を低減することができる。また、被写体のエッジ方向に合わせて、分割領域毎に瞳分割方向を変えて画像信号を出力することができるため、合焦対象の被写体に適した位相差評価値を得ることができ、位相差方式の焦点調節制御の精度を高めることができる。なお、上述した実施の形態では、全ての画素が4つのフォトダイオードにより構成されているものとして説明したが、本発明はこれに限るものではなく、例えば、撮像素子103の画面内において、通常の画素の中に離散的に配置してもよい。また、上述した実施の形態では、各分割領域のエッジ方向が水平であるか垂直であるかを判定してから、判定結果に基づいて瞳分割方向を決定する場合について説明した。しかしながら、本発明はこれに限るものではなく、カウンタC0とカウンタC1との値をもってエッジ方向とし、これらの値に基づいて、瞳分割方向を決定しても良い。また、エッジ方向の判定方法は上述したものに限るものではなく、エッジ方向が判定できるのであれば、どのような方法を用いても構わない。そして、エッジ方向の傾斜の度合いに基づいて、効果的な位相差を得ることができる瞳分割方向を決定するようにすればよい。すなわち、エッジ方向がより水平に近ければ、瞳分割方向を垂直とし、エッジ方向がより垂直に近ければ、瞳分割方向を水平とすればよい。