結像光学系からの光束を第1および第2の光束に分割する光束分割手段と、二次元状に配置された複数の撮像画素と、前記複数の撮像画素の間に第1方向に配列された複数の焦点検出画素とを有し、前記第1の光束を受光する第1の撮像素子と、二次元状に配置された複数の撮像画素と、前記複数の撮像画素の間に第2方向に配列された複数の焦点検出画素とを有し、前記第2の光束を受光する第2の撮像素子と、前記第1の撮像素子から前記第1方向と同方向に信号を読み出す第1の読出手段と、前記第2の撮像素子から前記第2方向と同方向に信号を読み出す第2の読出手段と、前記第1の読出手段が前記第1の撮像素子の焦点検出画素から読み出した信号と前記第2の読出手段が前記第2の撮像素子の焦点検出画素から読み出した信号とに基づいて、前記結像光学系の焦点調節状態を検出する焦点検出手段と、を備え、前記第1の撮像素子では前記複数の焦点検出画素が前記第1の光束による前記第1の撮像素子上の被写体像に対して所定の方向に配列され、前記第2の撮像素子では前記複数の焦点検出画素が前記第2の光束による前記第2の撮像素子上の被写体像に対して前記所定の方向と直交する方向に配列されることを特徴とする焦点検出装置。結像光学系からの光束を第1および第2の光束に分割する光束分割手段と、前記第1の光束を受光し、複数の撮像画素が二次元状に配置された第1の撮像素子と、前記第2の光束を受光し、複数の撮像画素が二次元状に配置された第2の撮像素子と、前記第1の撮像素子を第1方向に走査して信号を読み出す第1の読出手段と、前記第2の撮像素子を第2方向に走査して信号を読み出す第2の読出手段と、前記第1の読出手段によって読み出された信号のうち前記第1の撮像素子の前記第1方向に配列された複数の撮像画素からの信号と、前記第2の読出手段によって読み出された信号のうち前記第2の撮像素子の前記第2方向に配列された複数の撮像画素からの信号とに基づいて、前記結像光学系の焦点調節状態を検出する焦点検出手段と、を備え、前記第1方向は前記第1の光束による前記第1の撮像素子上の被写体像を所定方向に走査する方向であり、前記第2方向は前記第2の光束による前記第2の撮像素子上の被写体像を前記所定方向と異なる方向に走査する方向であることを特徴とする焦点検出装置。結像光学系からの光束を第1および第2の光束に分割する光束分割手段と、前記第1の光束を受光する第1の撮像素子と、前記第2の光束を受光する第2の撮像素子と、前記第1の撮像素子を第1方向に走査して信号を読み出す第1の読出手段と、前記第2の撮像素子を第2方向に走査して信号を読み出す第2の読出手段と、前記第1方向は前記第1の光束による前記第1の撮像素子上の被写体像を所定方向に走査する方向であり、前記第2方向は前記第2の光束による前記第2の撮像素子上の被写体像を前記所定方向と異なる方向に走査する方向であることを特徴とする焦点検出装置。請求項1から3のいずれか一項に記載の焦点検出装置において、前記第1方向と前記第2方向とは互いに直交する関係にあることを特徴とする焦点検出装置。請求項4に記載の焦点検出装置において、前記第1の撮像素子において前記第1方向と同方向に配置された画素の個数は、前記第2の撮像素子において前記第2方向に直交する方向に配置された画素の個数と等しく、前記第1の撮像素子において前記第1方向に直交する方向に配置された画素の個数は、前記第2の撮像素子の前記第2方向と同方向に配された画素の個数と等しいことを特徴とする焦点検出装置。請求項4または5に記載の焦点検出装置において、前記第1の撮像素子は、前記第2の撮像素子と電気的特性が等しいことを特徴とする焦点検出装置。請求項1から6のいずれか一項に記載の焦点検出装置を備える撮像装置。位相差検出方式やコントラスト検出方式によるオートフォーカス処理にあっては、撮像素子上の隣接した二つの画素からの出力信号に基づいてデフォーカス量やコントラスト評価値などの各種算出処理が行われる。このとき、各種算出処理の処理対象である2画素が隣接する方向と、撮像素子上の各画素から信号を読み出す走査方向とが異なる場合がある。たとえば、2画素が撮像素子の垂直方向に並んでいるときに、走査方向が撮像素子の水平方向であることがある。各種算出処理等を行う場合、撮像素子から読み出した出力信号に関する情報は、メモリ等の記憶装置に記憶される。走査方向が水平方向の撮像素子において垂直方向に並んだ2画素から読み出した信号に基づいて各種算出処理を行う場合、処理に用いる2画素に関する情報がメモリ等において連続して記憶されないため、各種算出処理等におけるメモリ等の制御が煩雑となる。本発明の一実施形態による焦点検出装置は、結像光学系からの光束を第1および第2の光束に分割する光束分割手段と、二次元状に配置された複数の撮像画素と、複数の撮像画素の間に第1方向に配列された複数の焦点検出画素とを有し、第1の光束を受光する第1の撮像素子と、二次元状に配置された複数の撮像画素と、複数の撮像画素の間に第2方向に配列された複数の焦点検出画素とを有し、第2の光束を受光する第2の撮像素子と、第1の撮像素子から第1方向と同方向に信号を読み出す第1の読出手段と、第2の撮像素子から第2方向と同方向に信号を読み出す第2の読出手段と、第1の読出手段が第1の撮像素子の焦点検出画素から読み出した信号と第2の読出手段が第2の撮像素子の焦点検出画素から読み出した信号とに基づいて、結像光学系の焦点調節状態を検出する焦点検出手段と、を備え、第1の撮像素子では複数の焦点検出画素が第1の光束による第1の撮像素子上の被写体像に対して所定の方向に配列され、第2の撮像素子では複数の焦点検出画素が第2の光束による第2の撮像素子上の被写体像に対して所定の方向と直交する方向に配列されることを特徴とする。また、本発明の別の一実施形態による焦点検出装置は、結像光学系からの光束を第1および第2の光束に分割する光束分割手段と、第1の光束を受光し、複数の撮像画素が二次元状に配置された第1の撮像素子と、第2の光束を受光し、複数の撮像画素が二次元状に配置された第2の撮像素子と、第1の撮像素子を第1方向に走査して信号を読み出す第1の読出手段と、第2の撮像素子を第2方向に走査して信号を読み出す第2の読出手段と、第1の読出手段によって読み出された信号のうち第1の撮像素子の第1方向に配列された複数の撮像画素からの信号と、第2の読出手段によって読み出された信号のうち第2の撮像素子の第2方向に配列された複数の撮像画素からの信号とに基づいて、結像光学系の焦点調節状態を検出する焦点検出手段と、を備え、第1方向は第1の光束による第1の撮像素子上の被写体像を所定方向に走査する方向であり、第2方向は第2の光束による第2の撮像素子上の被写体像を所定方向と異なる方向に走査する方向であることを特徴とする。さらに、本発明の別の一実施形態による焦点検出装置は、結像光学系からの光束を第1および第2の光束に分割する光束分割手段と、第1の光束を受光する第1の撮像素子と、第2の光束を受光する第2の撮像素子と、第1の撮像素子を第1方向に走査して信号を読み出す第1の読出手段と、第2の撮像素子を第2方向に走査して信号を読み出す第2の読出手段と、第1方向は第1の光束による第1の撮像素子上の被写体像を所定方向に走査する方向であり、第2方向は第2の光束による第2の撮像素子上の被写体像を所定方向と異なる方向に走査する方向であることを特徴とする。そして、本発明の別の一態様による実施形態は、上記の焦点検出装置を備える撮像装置である。二つの撮像素子を有し、各撮像素子に対して焦点検出処理における各種算出処理における2画素の並び方向が焦点検出信号の読み出し方向と一致するため、記憶された焦点検出信号に基づいて速やかに各種算出処理を実行することができ、メモリの制御が容易となる。図1は、本発明の一実施態様による撮像装置について、その構成を例示するブロック図である。図1に示す撮像装置1は、一眼レフカメラであって、レンズ鏡筒100とカメラボディ200とを備える。レンズ鏡筒100は、カメラボディ200に交換可能に装着されている。レンズ鏡筒100の内部には、複数の撮影レンズ2a~2cを含む結像光学系2と、レンズ駆動モータ8と、絞り部材9とが設けられている。撮影レンズ2bは、レンズ駆動モータ8により駆動される焦点調節レンズである。カメラボディ200の内部には、ハーフミラー3と、第1撮像素子4と、第2撮像素子5と、MCUマイクロコントローラユニット6と、電子ビューファインダ7とを備える。ハーフミラー3は、レンズ鏡筒100の結像光学系2を通過した結像光束を分割し、第1撮像素子4と第2撮像素子5とに結像光束を導く。第1撮像素子4および第2撮像素子5は、CCDイメージセンサやCMOSイメージセンサなどから構成される。第1撮像素子4および第2撮像素子5は、それぞれ撮像画素と、位相差検出方式によるオートフォーカス用の焦点検出画素とを有する。図2は、位相差検出方式による焦点検出画素を有する第1撮像素子4の平面図である。図2aに示すように第1撮像素子4には、焦点検出画素が第1方向44に沿って配置された焦点検出画素列41が複数設けられている。図2bは、焦点検出画素列41周辺の拡大図である。焦点検出画素列41には、一対の焦点検出画素42aおよび42bが直線状に交互に配列されている。また、焦点検出画素列41の上下には、緑画素43a、赤画素43b、青画素43cという3種類の撮像画素43がベイヤ配列で二次元状に配置されている。図3は撮像画素43の一構成を示す正面図である。図3に示すように、撮像画素43はマイクロレンズ430、光電変換部431、不図示の色フィルタから構成される。色フィルタは、緑G、赤R、青Bの3種類からなり、それぞれの分光感度は図5に示す特性となっている。図2bの緑画素43aは緑Gの色フィルタを有し、赤画素43bは赤Rの色フィルタを有し、青画素43cは青Bの色フィルタを有する。図4は焦点検出画素42a、42bの構成を示す正面図である。図4aに示すように焦点検出画素42aは、マイクロレンズ430と光電変換部421aから構成される。また、図4bに示すように焦点検出画素42bは、マイクロレンズ430と光電変換部421bから構成される。焦点検出画素42aおよび焦点検出画素42bには、光量損失を防ぐために色フィルタは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と赤外カットフィルタ不図示の分光特性を総合した分光特性図6参照、すなわち図5に示す緑画素、赤画素、および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素、および青画素の感度の光波長領域を包括している。図7は、位相差検出方式による焦点検出画素を有する第2撮像素子5の平面図である。図7aに示すように第2撮像素子5には、焦点検出画素が第2方向54に沿って配置された焦点検出画素列51が複数設けられている。図7bは、焦点検出画素列51周辺の拡大図である。焦点検出画素列51には、一対の焦点検出画素52aおよび52bが直線状に交互に配列されている。また、焦点検出画素列51の左右には、緑画素53a、赤画素53b、青画素53cという3種類の撮像画素53がベイヤ配列で二次元状に配置されている。焦点検出画素52aおよび52bは、焦点検出画素42aおよび42bを90度回転した構成となる。焦点検出画素52aは、焦点検出画素42aと同一の電気特性を有し、焦点検出画素52bは、焦点検出画素42bと同一の電気特性を有する。撮像画素53は、撮像画素43と同一の構成で、その電気的特性も同一である。第1撮像素子の第1方向に配列されている画素撮像画素および焦点検出画素の個数と第2撮像素子の第2方向に直交する方向に配列されている画素の個数とは同数である。また、第1撮像素子の第1方向に直交する方向に配列されている画素の個数と第2撮像素子の第2方向に直交する方向に配列されている画素の個数とは同数である。撮像画素43、53の光電変換部431は、マイクロレンズ430により所定の絞り開口径たとえば、F1.0の光束をすべて受光するような形状に設計される。一方、焦点検出画素の一対の光電変換部421a、421bは、マイクロレンズ430により所定の絞り開口径たとえば、F2.8の光束をすべて受光するような形状に設計される。第1撮像素子4の撮像画素43により撮像された被写体像は、電子ビューファインダ7を介して観察可能である。図8は、電子ビューファインダ7上に表示される撮像画面の一例を示すである。図8aには、電子ビューファインダ7上の撮像画面70に被写体像71が表示されている。撮像画面70内の被写体像71において、図2に示した第1撮像素子4の第1方向44は、被写体像71の水平方向72に対応する。第2撮像素子5に結像する被写体像も、図8aに示す被写体像71と同様である。図7に示した第2撮像素子5の第2方向54は被写体像71の垂直方向73に対応する。したがって、第1撮像素子4の第1方向44と第2撮像素子5の第2方向54とは、被写体像71上において直交関係にある。図8bは、撮像画面70の平面図である。図8bに示すように、撮像画面70上は、複数の焦点検出エリア74が設定されている。複数の焦点検出エリア74は、第1撮像素子4の焦点検出画素列41と第2撮像素子5の焦点検出画素列51との交点に対応する位置に設定される。MCU6は、ボディCPU6aとメモリ6bとを含み、第1撮像素子4の各画素から出力信号を読み出す第1読み出し処理と、第2撮像素子5の各画素から出力信号を読み出す第2読み出し処理と、被写体像を撮像する撮像処理と、結像光学系2の焦点調節状態を検出する焦点検出処理とを含む各種処理を実行する。第1読み出し処理では、MCU6は、第1撮像素子4を第1方向44と同方向に走査し、各焦点検出素子列41に含まれる各焦点検出画素42a、42bと、各撮像画素43とからそれぞれ出力される焦点検出信号や撮像信号を読み出す。読み出された焦点検出信号や撮像信号はメモリ6bに記憶される。また、第2読み出し処理では、MCU6は、第2撮像素子5を第2方向54と同方向に走査し、各焦点検出素子列51に含まれる各焦点検出画素52a、52bと、各撮像画素53とからそれぞれ出力される焦点検出信号や撮像信号を読み出す。読み出した焦点検出信号や撮像信号はメモリ6bに記憶される。メモリ6bに記憶された焦点検出信号は焦点検出処理で用いられる。一方、メモリ6bに記憶された撮像信号は、撮像処理に用いられる。なお、焦点検出エリア74における撮像画像は、それぞれの周囲の撮像画像により補間される。焦点検出処理において、ボディCPU6aは、第1撮像素子4上で隣り合う焦点検出画素42aおよび42bから読み出された焦点検出信号をメモリ6bへ記憶したら、それらの焦点検出信号に基づいて公知の方法でデフォーカス量を算出する。また、同様にボディCPU6aは、第2撮像素子5上で隣り合う焦点検出画素52aおよび52bから読み出された焦点検出信号をメモリ6bへ記憶したら、それらの焦点検出信号に基づいて公知の方法でデフォーカス量を算出する。このように、第1撮像素子4および第2撮像素子5から焦点検出信号を読み出す方向がデフォーカス量の算出に必要な焦点検出画素の並び方向と一致しているため、読出し後すぐにデフォーカス量の算出処理が行え、メモリ6bの利用効率がよい。図9は、ボディCPU6aが実行する焦点検出処理に関するフローチャートの一例である。不図示の操作部材によりカメラボディ200の電源がオンされると、MCU6のボディCPU6aは図9の処理を開始しステップS100の処理を開始する。ステップS100では、ボディCPU6aは、第1読み出し処理と第2読み出し処理の実行を開始する。ステップS110とステップS111は、ボディCPU6aにより並列処理される。ステップS110は、第1読み出し処理に関するものであって、ボディCPU6aは、第1撮像素子4から撮像信号と焦点検出信号とを読み出す。ステップS111は、第2読み出し処理に関するものであって、ボディCPU6aは、第2撮像素子5から撮像信号と焦点検出信号とを読み出す。ステップS120とステップS121は、ボディCPU6aにより並列処理される。ステップS120は、第1読み出し処理に関するものであって、ボディCPU6aは、ステップS110で読み出した撮像信号および焦点検出信号をメモリ6bへ記憶する。ステップS121は、第2読み出し処理に関するものであって、ボディCPU6bは、ステップS120で読み出した撮像信号および焦点検出信号をメモリ6bへ記憶する。ステップS130とステップS131は、ボディCPU6aにより並列処理される。ステップS130は、第1読み出し処理に関するものであって、ボディCPU6aは、ステップS120でメモリ6aに記憶した焦点検出信号に基づいてデフォーカス量を算出する。ステップS131は、第2読み出し処理に関するものであって、ボディCPU6aは、ステップS121でメモリ6aに記憶した焦点検出信号に基づいてデフォーカス量を算出する。ステップS140では、ボディCPU6aは、撮像画面70上のすべての焦点検出エリア74について、ステップS130およびステップS131でデフォーカス量を算出したか否かを判定する。ボディCPU6aは、すべての焦点検出エリア74についてデフォーカス量の演算を行ったらステップS150へ処理を進め、そうでない場合は次の焦点検出信号を読み出すため、処理をステップS110およびS111に戻す。ステップS150では、ボディCPU6aは、ステップS130およびステップS131で算出したすべてのデフォーカス量に基づいて、結像光学系2が焦点調節状態となったか否かを判定する。たとえば、ボディCPU6aは、ステップS130およびステップS131で算出したすべてのデフォーカス量の平均値を算出し、そのデフォーカス量の平均値が所定値以下か否かを判定する。デフォーカス量の平均値が所定値以下である場合は焦点調節状態にあるものとし、ステップS160に処理を進める。ステップS160では、ボディCPU6aは、結像光学系2が焦点調節状態にあると判定されたデフォーカス量をレンズ鏡筒100側へ送信し、レンズ駆動モータ8を制御させて撮影レンズ2bの位置を調節させる。以上で説明した実施の形態によれば、以下の作用効果が得られる。撮像装置1は、ハーフミラー3を備え、結像光学系を通過した結像光束を分割し、各分割光束を第1撮像素子4および第2撮像素子5へ導く。第1撮像素子4には、複数の撮像画素43が二次元状に配置され、複数の撮像画素43の間には第1方向44に焦点検出画素42aおよび42bが直線状に配列され焦点検出画素列41を成している。第2撮像素子5には、複数の撮像画素53が二次元状に配置され、複数の撮像画素53の間には第2方向54に焦点検出画素52aおよび52bが直線状に配列され焦点検出画素列51を成している。MCU6のボディCPU6aは、第1撮像素子4から第1方向44と同方向に信号を読み出す第1読み出し処理と、第2撮像素子5から第2方向54と同方向に信号を読み出す第2読み出し処理とを実行する。そして、ボディCPU6aは、第1読み出し処理により第1撮像素子4の焦点検出画素列41から読み出した焦点検出信号と第2読み出し処理により第2撮像素子5の焦点検出画素列51から読み出した焦点検出信号とに基づいて、結像光学系2の焦点調節状態を検出する図9のステップS130、S131、S140、およびS150。なお、第1撮像素子4における第1方向44は、第1撮像素子4上に結像する被写体像の水平方向72と同方向である。そして、第2撮像素子5における第2方向54は、第2撮像素子5上に結像する被写体像の水平方向72とは異なる垂直方向73と同方向である。このように、焦点検出画素が配列される方向と焦点検出画素から焦点検出信号を読み出す方向とが同方向であるため、読み出された後メモリ6bに記憶された後速やかにデフォーカス量の算出に用いることができるため、メモリの制御が容易となる。以上で説明した実施形態は、以下のように変形して実施できる。上記の実施形態では、第1撮像素子および第2撮像素子から読み出される信号に基づいて位相差検出方式の焦点検出処理を実行することとしたが、焦点検出処理方法は、位相差検出方式だけに限定しない。たとえば、コントラスト検出方式の焦点検出処理により結像光学系2の焦点調節状態を検出することにしてもよい。すなわち上記の実施形態では、第1撮像素子4は、位相差検出方式の焦点検出素子として利用できるように、二次元状に配列された撮像画素43の間に焦点検出画素列41が配列されているものとした。このような第1撮像素子4の代わりに撮像画素43だけの撮像素子を利用することにしてもよい。また、第2撮像素子5についても同様に、二次元状に配列された撮像画素53の間に焦点検出画素列51が配列されているものとしたが、撮像画素53だけの撮像素子を利用してもよい。以上で説明した各実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。