"光学系を通過する第1光束および前記第1光束よりも光量の小さな第2光束を、複数の画素によりそれぞれ受光し、第1信号および前記第1信号よりも信号レベルの小さい第2信号として蓄積する撮像素子と、前記撮像素子から前記第1信号および前記第2信号を読み出す読み出し手段と、前記読み出し手段により読み出された前記第2信号を記憶する記憶手段と、前記記憶手段により記憶されている前記第2信号の内の、前記読み出し手段によって最新に読み出された信号を含む複数の信号を加算する加算手段と、前記読み出し手段によって最新に読み出された前記第1信号と前記加算手段により加算された前記複数の信号とに基づき前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。請求項1に記載の撮像装置において、前記加算手段は、前記複数の信号を1信号ずつ累積的に加算して得られる加算信号の信号レベルと、前記読み出し手段によって最新に読み出された前記第1信号の信号レベルとが略等しくなるまで、前記複数の信号を1信号ずつ累積的に加算することを特徴とする撮像装置。光学系を通過する第1光束および第2光束を、複数の画素によりそれぞれ受光し、第1信号および第2信号として蓄積する撮像素子と、前記撮像素子から前記第1信号および前記第2信号を読み出す読み出し手段と、前記読み出し手段により読み出された前記第1信号および前記第2信号を記憶する記憶手段と、前記記憶手段により記憶されている前記第1信号および前記第2信号の内の、前記読み出し手段によって最新に読み出された信号を含む複数の信号をそれぞれ相異なる加算回数で加算する加算手段と、前記加算手段により加算された前記複数の信号に基づき前記光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする撮像装置。請求項3に記載の撮像装置において、前記加算手段は、前記第2信号の内の前記複数の信号を累積的に加算して得られる第1加算信号の信号レベルと、前記第1信号の内の前記複数の信号を累積的に加算して得られる第2加算信号の信号レベルとが略等しくなるまで、1信号ずつ累積的に加算することを特徴とする撮像装置。請求項1~4のいずれか1項に記載の撮像装置において、前記撮像素子には、前記複数の画素と、前記複数の画素とは形状の異なる光電変換部を有する他の画素とが配置されることを特徴とする撮像装置。請求項5に記載の撮像装置において、前記撮像素子には、前記光学系による画面内に設定される焦点検出エリアに対応して前記複数の画素が所定の画素配列に従って配置され、前記複数の画素の周りに前記他の画素が配置されることを特徴とする撮像装置。請求項6に記載の撮像装置において、前記焦点検出エリアは前記画面内の複数の位置に設定され、前記撮像素子は、前記複数の位置に設定された前記焦点検出エリアのそれぞれに対応した画素配列に従って前記複数の画素が配置され、前記加算手段は、前記画素配列ごとに独立して前記複数の信号を加算することを特徴とする撮像装置。請求項1乃至7のいずれか1項に記載の撮像装置において、前記光学系により形成される被写体像の動きを検出する動き検出手段をさらに備え、前記加算手段は、前記動き検出手段により前記被写体像の前記動きが検出された場合には、前記複数の信号を加算する際の加算回数を制限することを特徴とする撮像装置。しかしながら撮像装置において電荷蓄積型の撮像素子を用いた場合には、信号中のショットノイズは蓄積電荷量電子数の平方根に比例する。そのため、上記のように一対の像信号に光量比に応じたゲイン補正を行っただけでは、単に信号が増幅されるだけであって、SN比信号対ノイズ比自体は改善されない。すなわち一方の像の光量が他方の像に比較して小さい場合には、光量の小さな方の像信号のノイズの影響により焦点検出に誤差を生じるという問題があった。1請求項1に記載の発明による撮像装置は、光学系を通過する第1光束および第1光束よりも光量の小さな第2光束を、複数の画素によりそれぞれ受光し、第1信号および第1信号よりも信号レベルの小さい第2信号として蓄積する撮像素子と、撮像素子から第1信号および第2信号を読み出す読み出し手段と、読み出し手段により読み出された第2信号を記憶する記憶手段と、記憶手段により記憶されている第2信号の内の、読み出し手段によって最新に読み出された信号を含む複数の信号を加算する加算手段と、読み出し手段によって最新に読み出された第1信号と加算手段により加算された複数の信号とに基づき光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。2請求項3に記載の発明による撮像装置は、光学系を通過する第1光束および第2光束を、複数の画素によりそれぞれ受光し、第1信号および第2信号として蓄積する撮像素子と、撮像素子から第1信号および第2信号を読み出す読み出し手段と、読み出し手段により読み出された第1信号および第2信号を記憶する記憶手段と、記憶手段により記憶されている第1信号および第2信号の内の、読み出し手段によって最新に読み出された信号を含む複数の信号をそれぞれ相異なる加算回数で加算する加算手段と、加算手段により加算された複数の信号に基づき光学系の焦点調節状態を検出する焦点検出手段とを備えることを特徴とする。本発明によれば、撮像装置における焦点検出誤差を低減できる。---第1の実施の形態---本発明の第1の実施の形態による撮像装置をデジタルスチルカメラに適用した例を説明する。図1は本実施の形態の構成を示す。本実施の形態のデジタルスチルカメラ201は交換レンズ202とカメラボディ203とから構成され、交換レンズ202はマウント部204によりカメラボディ203に装着される。交換レンズ202はレンズ駆動制御装置206、ズーミング用レンズ208、レンズ209、フォーカシング用レンズ210、絞り211などを備えている。レンズ駆動制御装置206は、マイクロコンピューターとメモリなどの周辺部品から構成される。レンズ駆動制御装置206は、フォーカシング用レンズ210と絞り211の駆動制御、絞り211、ズーミング用レンズ208およびフォーカシング用レンズ210の状態検出などを行う。レンズ駆動制御装置206は、後述するボディ駆動制御装置214に対するレンズ情報の送信とカメラ情報の受信などを行う。カメラボディ203は撮像素子212、ボディ駆動制御装置214、液晶表示素子駆動回路215、液晶表示素子216、接眼レンズ217、メモリカード219などを備えている。撮像素子212には後述する画素が二次元状に配列されており、交換レンズ202の予定結像面に配置されて交換レンズ202により結像される被写体像を撮像する。なお、詳細を後述するが撮像素子212の所定の焦点検出位置には焦点検出用画素が配列される。ボディ駆動制御装置214はマイクロコンピューターとメモリなどの周辺部品から構成される。ボディ駆動制御装置214は、撮像素子212からの画像信号の読み出し、画像信号の補正、交換レンズ202の焦点調節状態の検出、レンズ駆動制御装置206からのレンズ情報の受信とカメラ情報デフォーカス量の送信、デジタルスチルカメラ201全体の動作制御などを行う。ボディ駆動制御装置214およびレンズ駆動制御装置206は、マウント部204の電気接点部213を介して互いに通信を行い、各種情報の授受を行う。液晶表示素子駆動回路215は、液晶ビューファインダーEVF:電気的ビューファインダーの液晶表示素子216を駆動する。撮影者は接眼レンズ217を介して液晶表示素子216に表示された像を観察することができる。メモリカード219はカメラボディ203に脱着可能であり、画像信号を格納記憶する可搬記憶媒体である。交換レンズ202を通過して撮像素子212上に形成された被写体像は、撮像素子212により光電変換され、その出力はボディ駆動制御装置214へ送られる。ボディ駆動制御装置214は、撮像素子212上の焦点検出画素の出力データに基づいて所定の焦点検出位置におけるデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置206へ送る。また、ボディ駆動制御装置214は、撮像素子212の出力に基づいて生成した画像信号をメモリカード219に格納するとともに、画像信号を液晶表示素子駆動回路215へ送り、液晶表示素子216に画像として表示させる。カメラボディ203には不図示の操作部材シャッターボタン、焦点検出位置の設定部材などが設けられている。これらの操作部材からの操作状態信号をボディ駆動制御装置214が検出し、ボディ駆動制御装置214は、検出結果に応じた動作撮像動作、焦点検出位置の設定動作、画像処理動作の制御を行う。レンズ駆動制御装置206はレンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放F値などに応じて変更する。具体的には、レンズ駆動制御装置206は、レンズ208、210の位置と絞り211の絞り位置とをモニターし、モニター情報に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからモニター情報に応じたレンズ情報を選択する。レンズ駆動制御装置206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、このレンズ駆動量に基づいてフォーカシング用レンズ210を不図示のモーター等の駆動源により合焦点へと駆動する。図2は、交換レンズ202の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子212上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域焦点検出エリア、焦点検出位置の一例を示す。この例では、矩形の撮影画面100上の中央および左右周辺の3カ所に焦点検出エリア101、102および103が配置される。長方形で示す焦点検出エリア101、102および103の長手方向に、焦点検出画素が直線的に配列される。図3は撮像素子212の詳細な構成を示す正面図であり、撮像素子212上の上述した焦点検出エリア101近傍を拡大したものである。図において、縦横画素配列の行および列は図2の撮影画面100の縦横に対応している。撮像素子212は撮像用の撮像画素310と焦点検出用の焦点検出画素312、313とから構成され、焦点検出エリア101には焦点検出画素312、313が交互に水平方向に配列されている。焦点検出画素312、313は、撮像画素310の青色フィルタBを有する画素および緑色フィルタを有する画素Gが配置されるべき行に直線的に配置されている。なお図示を省略するが、焦点検出エリア102,103の近傍の構成も図3に示す構成と同様である。図3に示すように、撮像画素310はマイクロレンズ10、光電変換部11、マイクロレンズ10と光電変換部11との間に配置される色フィルタから構成される。色フィルタは赤R、緑G、青Bの3種類からなり、それぞれの色に対応する分光感度を有している。撮像素子212には、このような各色フィルタを備えた撮像画素310がベイヤー配列されている。図3に示すように、焦点検出画素312はマイクロレンズ10と光電変換部12とから構成される。光電変換部12はマイクロレンズ10の垂直2等分線に左辺を略接する長方形状である。また、図3に示すように、焦点検出画素313はマイクロレンズ10と光電変換部13とから構成される。光電変換部13はマイクロレンズ10の垂直2等分線に右辺を略接する長方形状である。光電変換部12および13はマイクロレンズ10を重ね合わせて表示した場合、左右水平方向に並んでおり、マイクロレンズ10の垂直2等分線に関して対称な形状をしている。焦点検出画素312および焦点検出画素313は、水平方向すなわち光電変換部12および13の並び方向に交互に配置される。焦点検出画素312および313には光量をかせぐために色フィルタが配置されていない。そのため、焦点検出画素312および313は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルタ不図示の分光感度特性とを総合した分光感度特性を示す。すなわち焦点検出画素312および313は、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性を示す。高い感度を示す光波長領域は、緑画素、赤画素および青画素の各々において各色フィルターが高い感度を示す光波長領域を包括している。撮像用画素310の光電変換部11は、マイクロレンズ10により最も明るい交換レンズの射出瞳例えばF1.0を通過する光束をすべて受光するような形状に設計される。一方、焦点検出画素312、313の光電変換部12、13は、マイクロレンズ10により交換レンズの射出瞳の所定の領域例えばF2.8を通過する光束をすべて受光するような形状に設計される。図4は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。焦点検出画素312および313において、光電変換部12および13の前方にマイクロレンズ10が配置され、マイクロレンズ10により光電変換部12および13が前方に投影される。光電変換部12および13は半導体回路基板29上に形成されるとともに、その上にマイクロレンズ10が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。光電変換部12はマイクロレンズ10の光軸の片側に配置される。光電変換部13はマイクロレンズ10の光軸の片側で、かつ光電変換部12の反対側に配置される。図4には、交換レンズの光軸91、マイクロレンズ10a、10b、10cおよび10d、光電変換部12a、13a、12bおよび13b、焦点検出画素312a、313a、312bおよび313b、ならびに焦点検出光束72,73、82および83が表されている。図4において、射出瞳90は、図1の交換レンズ202の予定結像面に配置されたマイクロレンズ10a、10b、10cおよび10dの前方へ距離dの位置に設定されている。距離dは、マイクロレンズ10a、10b、10cおよび10dの曲率および屈折率、ならびにマイクロレンズ10a、10b、10cおよび10dとそれぞれに対応する光電変換部12a、13a、12bおよび13bとの間の距離などに応じて決まる。この距離を以下では測距瞳距離と呼ぶ。また、領域92は、マイクロレンズ10a、10cにより光電変換部12a、12bが投影されて定まる領域であり、以下では測距瞳と呼ぶ。領域93は、マイクロレンズ10b、10dにより光電変換部13a、13bが投影されて定まる領域であり、以下では測距瞳と呼ぶ。なお、図ではわかりやすくするために測距瞳92、93を楕円領域で示しているが、実際は光電変換部12a、13a、12bおよび13bの形状が拡大投影された形状となる。図4では、隣接する4画素画素312a、312b、313a、313bを模式的に例示するが、その他の画素においても光電変換部はそれぞれ対応した測距瞳から各マイクロレンズに到来する光束を受光する。なお、焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。マイクロレンズ10a~10dは交換レンズの予定結像面近傍に配置されている。マイクロレンズ10a~10dによりその背後に配置された光電変換部12a、12b、13a、13bの形状が、マイクロレンズ10a~10dから測距瞳距離dだけ離間した射出瞳90上に投影され、その投影形状は測距瞳92,93を形成する。すなわち、投影距離dにある射出瞳90上で各画素の光電変換部の投影形状測距瞳92,93が一致するように、各画素における光電変換部の投影方向が決定されている。光電変換部12aは測距瞳92を通過し、マイクロレンズ10aに向かう光束72によりマイクロレンズ10a上に形成される像の強度に対応した信号を出力する。光電変換部12bは測距瞳92を通過し、マイクロレンズ10cに向かう光束82によりマイクロレンズ10c上に形成される像の強度に対応した信号を出力する。光電変換部13aは測距瞳93を通過し、マイクロレンズ10bに向かう光束73によりマイクロレンズ10b上に形成される像の強度に対応した信号を出力する。光電変換部13bは測距瞳92を通過し、マイクロレンズ10dに向かう光束83によりマイクロレンズ10d上に形成される像の強度に対応した信号を出力する。上述したような2種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳92および測距瞳93に対応した一対の出力グループにまとめることによって、測距瞳92および測距瞳93を各々通過する一対の焦点検出光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理相関演算処理、位相差検出処理を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面の偏差デフォーカス量が算出される。なお、上述した説明では測距瞳は絞り開口によって制限されていない状態として説明を行ったが、実際には測距瞳は絞り開口によって制限された形状と大きさになる。図5は撮影光学系の射出瞳距離と焦点検出位置像高とに応じて一対の焦点検出光束に非対称なケラレが生じることを説明するための図である。また図6は縦軸に焦点検出画素の信号値、横軸に焦点検出画素配列上の位置をとった場合の一対の焦点検出画素の信号波形実線および破線のグラフである。図5において、撮影光軸91上にある焦点検出エリア101に属する焦点検出画素312,313については、撮影光学系の射出瞳の位置が測距瞳距離d以外の位置にあっても、焦点検出画素312,313が受光する焦点検出光束272、273は光軸91に対して射出瞳により対称に制限される。そのため、焦点検出画素312,313が出力する一対の像信号の信号レベルは図6aに示すように揃っている。一方画面周辺の像高が高い位置に配置された焦点検出エリア102に属する焦点検出画素312,313については、撮影光学系の射出瞳の距離によって焦点検出画素312,313が受光する焦点検出光束282、283の射出瞳による制限のされ方が異なる。そのため、焦点検出画素312,313が出力する一対の像信号の信号レベルは図6bに示すように異なってしまう。例えば撮影光学系の射出瞳が測距瞳距離dより短い距離d1にあった場合、焦点検出光束283より焦点検出光束282の方がケラレが少ないので、図6bの実線受光光量が少ないが焦点検出画素313の信号となり、破線受光光量が多いが焦点検出画素312の信号となる。反対に撮影光学系の射出瞳が測距瞳距離dより長い距離d2にあった場合、焦点検出光束282より焦点検出光束283の方がケラレが少ないので、図6bの実線受光光量が少ないが焦点検出画素312の信号となり、破線受光光量が多いが焦点検出画素313の信号となる。光軸に対して焦点検出エリア102と反対側にある焦点検出エリア103に関しては、焦点検出エリア102と一対の焦点検出光束のケラレ方が逆になる。すなわち撮影光学系の射出瞳が測距瞳距離dより短い距離d1にあった場合、焦点検出画素313の信号レベルが焦点検出画素312の信号レベルに比較して小さくなり、撮影光学系の射出瞳が測距瞳距離dより長い距離d2にあった場合、焦点検出画素312の信号レベルが焦点検出画素313の信号レベルに比較して小さくなる。図7は、図1に示すデジタルスチルカメラ201のボディ内部の詳細な構成を示す図である。図1に示すボディ駆動制御装置214は、撮像素子212の駆動制御を行う撮像素子駆動制御回路214a、撮像素子212が出力する画像信号を画像データにAD変換するAD変換回路214b、画像データを一時的に保持する内部メモリ214c、ならびにカメラボディの全体的な動作制御、レンズ駆動制御装置206との通信および焦点検出演算を行うボディCPU214dから構成される。撮像素子駆動制御回路214aは、撮像素子212の露光時間の制御、画像信号の読出し制御を行うとともに、画像信号の読出しに同期させてAD変換回路214bを動作させ、内部メモリ214cに画像データを格納させる。また、液晶表示素子駆動回路215を制御して内部メモリ214cに周期的に格納される画像データを液晶表示素子216に表示させ、その表示を周期的にリフレッシュさせる。撮像素子駆動制御回路214aはボディCPU214dに対し、内部メモリ214cに画像データが格納されるタイミング信号および焦点検出画素の画像データの有効または無効を指定する情報を送る。なお、焦点検出画素の画像データの有効または無効の判定は、焦点検出画素において所定の蓄積時間で蓄積した画像データを有効と判定する。ボディCPU214dは撮像素子駆動制御回路214aに対し、撮像素子212を周期的に動作させるか、単発的に動作させるかなどの動作制御情報、撮像素子212の撮像画素および焦点検出画素の露光時間に関する情報不図示の測光センサーの出力に応じて決定されるを送る。撮像素子駆動制御回路214aはそれらの情報を受け、撮像素子212の動作形態を変更して画像信号の読出しを行うとともに、撮像画素および焦点検出画素の露光時間および画像信号の増幅度を制御する。ボディCPU214dは、内部メモリ214cに格納された焦点検出画素の画像データが有効である場合にはこれを読み出し、後述する焦点検出演算を行って焦点検出を行う。また、シャッターレリーズ部材不図示が操作されると、撮像素子駆動制御回路214aを制御して撮像素子212に撮像動作を行わせ、画像データを内部メモリ214cに取り込ませるとともに、この画像データに対して補正やフォーマット変換を施してメモリカード219に格納させる。撮像素子駆動制御回路214aは、ボディCPU214dの制御にしたがって、シャッターレリーズがなされていない期間は、撮像素子212を周期動作例えば30画面/秒または60画面/秒させて電気的にファインダー表示するとともに、撮像時は撮像素子212を単発動作させて撮像動作を行わせる。したがって、非撮像時においてボディCPU214dは内部メモリ214cに有効な焦点検出画素の画像データが格納されるのを待って焦点検出動作を行うとともに、ファインダー表示は周期的にリフレッシュされることになる。図8は、図1に示すデジタルスチルカメラ201の動作を示すフローチャートである。ボディCPU214dはカメラの電源が投入されるとこの動作を繰り返し実行する。ステップS100で電源がオンされるとステップS110へ進み、撮像素子駆動制御回路214aに対し指令を出し、撮像素子212に周期動作を開始させる。続くステップS120では、測光センサー不図示により測光した被写界輝度に応じて自動的に決定された表示用絞り値、すなわち周期的に画像信号を読み出した場合に画像信号が表示に適したレベルになるような絞り値、あるいは操作部材不図示によりユーザーが手動で設定した撮影絞り値に応じた絞り制御情報をレンズ駆動制御装置206へ送り、絞り開口径を撮影絞り値に設定する。また、撮影絞り値、被写界輝度、最新動作時の画像データのレベル平均値に応じて撮像画素および焦点検出画素の露光時間および信号増幅度を更新し、更新された情報を撮像素子駆動制御回路214aへ送る。なお、電源オン直後は最新動作時の画像データのレベル平均値がないので、予め定められたレベル値を用いる。ステップS130で、最新の焦点検出画素の画素データが内部メモリ214cに格納された旨の通知が撮像素子駆動制御回路214aから発せられるのを待機する。ステップS140において内部メモリ214cから焦点検出画素の画像データを読み出し、ユーザーにより指定された焦点検出エリアの一対の焦点検出画素のデータの平均値の比平均値大/平均値小を算出する。なお、平均値の代わりに最大値を用いてもよい。該比が所定閾値例えば1.4以上であるかを調べ、比が所定閾値を越えていない場合はステップS141の加算処理をスキップしてステップS150に進む。比が所定閾値を越えている場合すなわちケラレが大きく、光量比バランスが大きく崩れているは、ステップS141にて加算処理詳細後述を行って一つのデータの信号レベルを揃えた後に、ステップS150に進む。ステップS150では、ユーザーにより指定された焦点検出エリアの一対の焦点検出画素のデータに基づいて、特開2008-85738号公報に開示されている像ズレ検出演算処理相関演算処理を行い、像ズレ量を演算し、さらにデフォーカス量を算出する。ステップS160で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内か否かを調べる。合焦近傍でないと判定された場合はステップS170へ進み、デフォーカス量をレンズ駆動制御装置206へ送信し、交換レンズ202のフォーカシングレンズ210を合焦位置に駆動させる。その後、ステップS120へ戻り、上記動作を繰り返す。なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置206へスキャン駆動命令を送信し、交換レンズ202のフォーカシングレンズ210を無限から至近の間でスキャン駆動させ、ステップS120へ戻って上記動作を繰り返す。一方、合焦近傍であると判定した場合はステップS180へ進み、シャッターボタン不図示の操作によりシャッターレリーズがなされたか否かを判定し、なされていないと判定された場合は、ステップS120へ戻って上記動作を繰り返す。シャッターレリーズがなされたと判定された場合はステップS190へ進み、レンズ駆動制御装置206へ絞り制御情報を送信し、交換レンズ202の絞り値を撮影絞り値にする。撮影絞り値、被写界輝度、最新動作時の画像データのレベル平均値に応じて、撮像画素と焦点検出画素で同一の露光時間および信号増幅度を決定し、決定された情報を撮像素子駆動制御回路214aへ送る。ステップS200において、絞り制御が終了した時点で撮像素子212に単発の撮像動作を行わせ、内部メモリ214cから撮像素子212の撮像画素および全ての焦点検出画素から画像データを読み出す。ステップS210では焦点検出画素列の各画素位置の画素データを焦点検出画素のデータおよび周囲の撮像画素のデータに基づいて補間する。ステップS220では撮像画素のデータおよび補間されたデータからなる画像データをメモリカード219に保存し、ステップS110へ戻って上記動作を繰り返す。次に、本実施の形態の撮像素子の構成および動作について詳細に説明する。図9は撮像素子212の動作フロー概念図である。図10に示すように、簡単のため撮像素子212は4画素×4画素4行4列とし、2個の焦点検出画素が3行目の2列目および3列目に1個ずつ配置されるものとして説明する。図9は周期動作時の動作フローである。撮像素子212はCMOSイメージセンサーで、撮像画素からの画像信号の読出しはローリングシャッター方式で行われる。各行において、撮像画素の光電変換部の電荷蓄積露光とそれに続く読出しとがシーケンシャルに交互に行われる。撮像画素の画像信号の読出しは1行目、2行目、3行目、4行目の順で行われ、この読出し動作が所定の周期で繰り返し行われる。読み出された撮像画素の画像データは液晶表示素子216への画像表示に利用される。また、読み出された焦点検出画素の画像データは内部メモリ214cに過去複数回の読出し分記憶され、加算後の画像データのレベルが焦点検出演算に適したレベルとなるように、最新の所定回数分の画像データが加算され、加算された画像データに基づいて焦点検出演算が行われる。このような動作シーケンスを行うことにより、液晶表示素子216のリフレッシュ周期を一定に保ちながら、確実に焦点検出を行うことが可能になる。なお、撮像画素については、低輝度時の電荷蓄積時間は読出し周期が維持できるまでの時間で制限し、不足分は画像信号の増幅度を調整することによりカバーする。図10は撮像素子212の回路構成を示す図である。図9に示す動作フローに対応した4画素×4画素の撮像素子の回路構成であり、2個の焦点検出画素312、313が3行目の2列目と3列目に配置され、その他は撮像画素310である。信号保持部502は1行分の画素の画像信号を一時的保持するバッファであり、垂直信号線501に出力されている画像信号を垂直走査回路503が発する制御信号ΦHにしたがってラッチする。撮像画素310および焦点検出画素312、313の電荷蓄積は、蓄積制御回路504が発する制御信号ΦR1~ΦR4により行ごとに独立に制御される。撮像画素310および焦点検出画素312、313からの画像信号の出力は、垂直走査回路503が発する制御信号ΦS1~ΦS4により行ごとに独立に制御される。制御信号により選択された画素の画像信号は、垂直信号線501に出力される。信号保持部502に保持された画像信号は、水平走査回路505が発する制御信号ΦV1~ΦV4により順次出力回路506へ転送され、出力回路506で設定された増幅度で増幅されて外部に出力される。図11は、図17に示す撮像画素および焦点検出画素の詳細な回路図である。光電変換部はフォトダイオードPDで構成される。PDに蓄積された電荷は、浮遊拡散層フローティングディフュージョン:FDに蓄積される。FDは増幅MOSトランジスタAMPのゲートに接続されており、AMPはFDに蓄積された電荷の量に応じた信号を発生する。FD部はリセットMOSトランジスタ510を介して電源電圧Vddに接続されている。制御信号ΦRnΦR1~ΦR4、ΦRaによりリセットMOSトランジスタ510がオンすると、FDおよびPDに溜まった電荷がクリアされリセット状態になる。AMPの出力は行選択MOSトランジスタ512を介して垂直出力線501に接続されており、制御信号ΦSnΦS1~ΦS4により行選択MOSトランジスタ512がオンすると、AMPの出力が垂直出力線501に出力される。なお、図11に示す回路構成においては、画像信号の読み出しの際のリセットにより画像信号が破壊される。図12は、図10に示す撮像素子212の動作タイミングチャートである。1行目の撮像画素310は垂直走査回路503が発する制御信号ΦS1により選択され、選択された撮像画素310の画像信号は垂直信号線501に出力される。制御信号ΦS1と同期して発せられる制御信号ΦHにより垂直信号線501に出力された1行目の画像信号は、信号保持部502に一時的に保持される。信号保持部502に保持された1行目の撮像画素310の画像信号は、水平走査回路505から順次発せられる制御信号ΦV1~ΦV4にしたがって出力回路506へ転送され、出力回路506で設定された増幅度で増幅された外部に出力される。1行目の撮像画素310の画像信号の信号保持部502への転送が終了した時点で、蓄積制御回路504より発せられる制御信号ΦR1により1行目の撮像画素310がリセットされ、1行目の撮像画素310の次の電荷蓄積が開始される。1行目の撮像画素310の画像信号の出力回路506からの出力が終了した時点で、2行目の撮像画素310は垂直走査回路503が発する制御信号ΦS2により選択され、選択された撮像画素310の画像信号は垂直信号線501に出力される。以下、同様にして2行目の撮像画素310の画像信号の保持および撮像画素310のリセット、画像信号の出力が行われる。続いて3行目の撮像画素310と焦点検出画素312、313の画像信号の保持および撮像画素のリセット、撮像画素310と焦点検出画素312、313の画像信号の出力が行われる。続いて4行目の撮像画素310の画像信号の保持および撮像画素のリセット、撮像画素310の画像信号の出力が行われる。その後再び1行目に戻り、上記動作が繰り返される。1行目の撮像画素310の画像信号の電荷保持タイミングから、次回の1行目の撮像画素310の画像信号の電荷保持タイミングまでの周期Tsは、一定に制御される。撮像画素310および焦点検出画素312、313の電荷蓄積時間Ti露光時間は、画素のリセットタイミングから画像信号の保持タイミングまでの時間となる。制御信号ΦR1~ΦR4のパルス幅を変更することによって、撮像画素310および焦点検出画素312、313の電荷蓄積時間Ti露光時間を調整することが可能である。図13により、図8のステップS141にて行われる画像データの加算処理を説明する。図13において、上部に画像信号の読出しの時間経過を示す。画像信号の読出しは所定周期Tsで繰り返し行われ、読み出された最新の画像データにより表示がリフレッシュされる。nは最新の読出しサイクルを表し、n-1は前回の読出しサイクル、n-2は前々回の読出しサイクルを表す。各回に読み出された画像信号は内部メモリ214c図7参照にスタックして記憶される。n回目の画像信号の読出しで読み出された焦点検出画素の画像信号は、焦点検出画素信号nとして記憶される。焦点検出画素信号nが内部メモリ214cに格納された時点において、加算処理が可能になる。図6b、cを参照して加算処理の様子を説明する。図6bにおいて焦点検出画素312の信号レベル平均値Ma0が低い実線とし、この信号波形が図6cの一番下の画素信号A1である。iまず、最新の焦点検出画素312の画素信号nと前回の焦点検出画素312の画素信号n-1とを互いに加算する。加算後の画素信号A2の平均値Ma1で焦点検出画素313の画素信号nの平均値Mbを除算する。除算値比が所定閾値例えば1を越えているか否かを調べ、越えていない場合は加算信号A2を焦点検出画素312の画素信号として採用する。ii超えている場合は、さらに前々回の焦点検出画素312の画素信号n-2を加算信号A2に加算する。加算後の画素信号A3の平均値Ma2で焦点検出画素312の画素信号nの平均値Mbを除算する。除算値比が所定閾値を越えているか否かを調べる。3除算値比が所定閾値を越えていない場合は、上記加算処理を、加算した焦点検出画素312の画素信号の平均値Makで焦点検出画素313の画素信号nの平均値Mbを除算した値が所定閾値を下回るまで繰り返す。図6cにおいては、焦点検出画素312の画素信号n-3まで加算した加算信号A4において上記条件を満足し、加算信号A4の平均値Ma3と焦点検出画素313の画素信号nの平均値Mbとの差が少なくなる。なお、所定回数過去の画素信号と加算しても、加算した焦点検出画素312の画素信号の平均値Makで焦点検出画素313の画素信号nの平均値Mbを除算した値が所定閾値を下回らない場合は加算処理を打ち切り、その時の加算画素信号を焦点検出画素313の画素信号として採用する。また、平均値Ma0が平均値Mbに比べて極端に低いような場合は、複数回過去に遡って、焦点検出画素312の画素信号複数回分を加算した加算信号を用いて、上述した除算値比が所定閾値例えば1を越えているか否かを判定しても良い。あるいは、平均値の代わりに、最大値や、最大値と最小値との差コントラストを用いてもよい。焦点検出画素313の信号レベル平均値が焦点検出画素312の信号レベル平均値に比較して低い場合には、焦点検出画素313の画素信号に対して上述の加算処理を施す。以上のような加算処理を行うことは、擬似的に電荷蓄積時間を延長したことと等価であり、加算信号は増加した電荷量電子数を反映したものとなる。従って加算信号のSN比信号対ノイズ比は改善され、単に信号レベルが小さな焦点検出画素信号を後処理で増幅する場合に比較して焦点検出誤差を小さくすることができる。---変形例---1上述した実施の形態の加算処理においては過去に記憶した焦点検出画素信号をそのまま加算していたが、このような加算処理では加算信号の平均値をもう一方の焦点検出画素信号の平均値に厳密に揃えることはできない場合が考えられる。そこで加算信号の平均値がもう一方の焦点検出画素信号の平均値を下回っている場合には上述の加算処理を継続するとともに、加算後の加算信号の平均値がもう一方の焦点検出画素信号の平均値を上回ることが予想される場合は、最後に加算する過去の焦点検出画素信号に1以下の係数を乗じて加算することにより、加算信号の平均値をもう一方の焦点検出画素信号の平均値に厳密に揃えることが可能になる。2上述した実施の形態の加算処理においては平均値が比較的小さな焦点検出画素信号にのみ加算処理を行っていたが、本発明はこれに限定されることはなく、もう一方の焦点検出画素信号に対しても加算処理を施す場合一対の焦点検出画素に対して加算回数が異なるにおいても適用することができる。例えば低輝度高感度=信号増幅率が大きいにおいて図6bのような信号波形が得られた場合、加算処理により実線の信号波形の信号レベルを破線の信号波形の信号レベルに揃えるだけではSN比が不足してしまう場合がある。そのため、実線の信号の加算処理と同時に破線の信号の加算処理も行うことにより、SN比の高い信号レベルが揃った一対の焦点検出画素信号を得ることができる。この場合、元の一対の焦点検出画素信号の信号レベルに相違があるので、一対の焦点検出画素信号において加算回数が異なることになる。3上述した実施の形態の加算処理においては、加算信号の平均値ともう一方の焦点検出画素信号の平均値との関係に応じて加算処理の継続または打ち切りの判定をしている。しかし、焦点検出画素信号の他の特性例えば最大値、コントラストなどに応じて加算処理の継続または打ち切りの判定をするようにしてもかまわない。4上述したように加算処理を行うことは、一対の焦点検出画素の電荷蓄積時間を異ならせたことに相当するので、被写体が移動している場合や手ぶれが生じている場合には焦点検出誤差につながる虞がある。そこで被写体の動きを検出する動き検出装置により検出された動き量が所定閾値を越えた場合には加算処理を禁止するようにしたり、撮像装置のブレを検出するブレ検出装置により検出されたブレ量が所定閾値を越えた場合には加算処理を禁止するようにしてもよい。動き検出装置は、ボディ駆動制御装置214が、例えば、連続する複数の画像フレームに基づき画像処理により被写体の動きを検出することによって、あるいは過去の連続する焦点検出結果、すなわちデフォーカス量に基づいて被写体の動きを検出することによって実現される。ブレ検出装置は、デジタルスチルカメラ201に加速度センサーを設け、ボディ駆動制御装置214が、その加速度センサーから入力される信号に基づいてブレ検出を行うことによって実現される。高輝度低感度=信号増幅率が小さい時には信号レベルが小さくてもSN比が高い。そのため、輝度検出装置例えば、外部測光センサーにより検出された輝度が所定輝度以上の場合には加算処理を禁止するようにしたり、信号増幅率が所定値以下の場合には加算処理を禁止するようにしてもよい。また動きのある被写体を撮影するためのカメラの撮影モード例えば、スポーツモードやシャッター速度優先モードなどに応じて加算処理を禁止するようにしてもよい。また焦点検出画素信号のSN比の低下による焦点検出誤差の重要性は合焦近傍において高まるので、焦点調節状態が合焦近傍デフォーカス量の絶対値が所定閾値以下の場合のみ加算処理許可するようにしてもよい。また上述のように所定条件に応じて加算処理を禁止する代わりに、所定条件に応じて加算処理の加算回数の上限を制限するようにしてもよい。加算処理であまりに古い画素信号が加算対象になると、加算処理の打ち切りが判定される前に、加算対象の画素信号が表す被写体が動いてしまっている可能性があるためである。5上述した実施の形態は、次のように変形することもできる。図14は本変形例の撮像素子212Aの詳細な構成を示す正面図である。図3に示す撮像素子212には、一対の焦点検出画素312、313が配列されていた。それらの焦点検出画素の各々は、1つのマイクロレンズのもとに一対の光電変換部の一方または他方のみを有する。これに対し図14に示す撮像素子212Aでは、焦点検出画素が1つのマイクロレンズのもとに一対の光電変換部を両方とも有する。図14は撮像素子212A上のひとつの焦点検出エリア近傍を拡大した図であり、縦横は図2に示す撮像画面の縦横と対応している。この変形例の撮像素子212Aは、撮像用の撮像画素310と焦点検出用の焦点検出画素311とから構成される。焦点検出画素311はマイクロレンズ10、一対の光電変換部12,13から構成される。光電変換部12、13は、マイクロレンズ10により交換レンズの射出瞳の所定の領域たとえばF2.8を通過する光束をすべて受光するような形状に設計される。図15は、図14に示す焦点検出画素311を用いた瞳分割方式の焦点検出方法を説明する図である。なお、基本原理は図3に示す一対の焦点検出画素312、313を用いた瞳分割方式の焦点検出方法と同様である。また、図15では、光軸91上にある焦点検出画素マイクロレンズ10aと一対の光電変換部12a、13aとからなると、隣接する焦点検出画素マイクロレンズ10bと一対の光電変換部12b、13bとからなるとを模式的に例示するが、その他の焦点検出画素においても一対の光電変換部はそれぞれ一対の測距瞳92,93から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳92,93の並び方向、すなわち一対の光電変換部の並び方向と一致させる。マイクロレンズ10a、10bは光学系の予定結像面近傍に配置されており、光軸91上に配置されたマイクロレンズ10aによりその背後に配置された一対の光電変換部12a、13aの形状が、マイクロレンズ10a、10bから投影距離dだけ離間した射出瞳90上に投影され、その投影形状は測距瞳92,93を形成する。光軸91から離間して配置されたマイクロレンズ10bによりその背後に配置された一対の光電変換部12b、13bの形状が、投影距離dだけ離間した射出瞳90上に投影され、その投影形状は測距瞳92,93を形成する。すなわち、投影距離dにある射出瞳90上で各焦点検出画素の光電変換部の投影形状測距瞳92,93が一致するように各画素の投影方向が決定されている。一対の光電変換部12aおよび13aならびに一対の光電変換部12bおよび13bは、半導体回路基板29上に形成される。光電変換部12aは測距瞳92を通過し、マイクロレンズ10aに向かう焦点検出光束72によってマイクロレンズ50上に形成される像の強度に対応した信号を出力する。光電変換部13aは測距瞳93を通過し、マイクロレンズ10aに向かう焦点検出光束73によってマイクロレンズ10a上に形成される像の強度に対応した信号を出力する。光電変換部12bは測距瞳92を通過し、マイクロレンズ10bに向かう焦点検出光束82によってマイクロレンズ10b上に形成される像の強度に対応した信号を出力する。光電変換部13bは測距瞳93を通過し、マイクロレンズ10bに向う焦点検出光束83によってマイクロレンズ10b上に形成される像の強度に対応した信号を出力する。上記のような焦点検出画素311を直線状に多数配置し、各画素の一対の光電変換部12、13の出力を測距瞳92および測距瞳93に対応した出力グループにまとめることによって、測距瞳92と測距瞳93を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。6上述した実施の形態は、次のように変形することもできる。図16は撮像素子の変形例の回路構成を示す概念図である。図10に示す撮像素子の回路構成概念図ではCMOSの回路構成例を示し、画像信号はローリングシャッター方式で読み出されている。これに対し図16に示す撮像素子の回路構成概念図では、CCDの回路構成例を示し、画像信号は全画素同時露光方式で読み出される。図16において、撮像素子は4画素×4画素のレイアウトになっており、焦点検出画素312、313は2画素が3行目の2列目と3列目に配置され、その他は撮像画素310である。撮像画素310ならびに焦点検出画素312および313は制御回路551の制御のもとに全画素同一タイミングで電荷蓄積され、蓄積された電荷は全画素同時に垂直レジスタ552に転送される。垂直レジスタ552に転送された電荷は1行ごとに水平レジスタ553に転送される。水平レジスタ553に転送された1行分の画像信号は水平レジスタ553により出力回路554に転送され、外部出力される。1行分の水平レジスタ553の転送が終了すると、垂直レジスタ552が水平レジスタ方向に1行分転送され、水平レジスタ553は転送された1行分の画像信号を外部出力する。以上の動作を繰り返して4行分の画像信号を外部へ出力する。図17は、図16に示す撮像素子の周期動作時の動作フローである。全画素において、電荷蓄積と垂直レジスタ552への転送は同時に行われる。いったん蓄積された電荷を垂直レジスタ552へ転送すると次回の電荷蓄積が可能になる。画像信号の読出し外部出力は4行目、3行目、2行目、1行目の順で行われ、この読出し動作が所定の周期で繰り返し行われる。読み出された撮像画素310の画像データは、液晶表示素子216での画像表示に利用される。また、焦点検出画素312、313の画像データは、過去複数回の読出し分とともに内部メモリに記憶され、加算後の画像データのレベルが焦点検出演算に適したレベルとなるように、最新の所定回数分の画像データが加算され、加算された画像データに基づいて焦点検出演算が行われる。撮像素子をCMOSイメージセンサーで構成した場合には、ローリングシャッター読出し方式に起因した焦点検出画素の電荷蓄積タイミングの誤差によって、移動被写体に対する焦点検出や手ぶれ時の焦点検出の際に誤差が生ずる可能性がある。撮像素子をCCDイメージセンサーで構成した場合には、焦点検出画素の電荷蓄積の同時性が保証されるので、CMOSイメージセンサーで生じていたような焦点検出誤差をなくすことができる。7上述した実施の形態は、次のように変形することもできる。図18は本変形例の撮像装置の構成を示す。図1に示す撮像装置では、撮像素子212を焦点検出用と撮像用に兼用した例を示したが、この変形例の撮像装置201Aでは、図18に示すように撮像専用の撮像素子212Bを設け、本発明に係わる撮像素子212Cは焦点検出と液晶表示素子216での画像表示とに用いる。図18において、カメラボディ203には撮影光束を分離するハーフミラー221が配置され、透過側に撮像専用の撮像素子212Bが配置され、反射側に焦点検出兼画像表示に用いられる撮像素子212Cが配置される。撮影前は撮像素子212Cの出力に応じて、焦点検出および画像表示が行われる。レリーズ時は撮像専用の撮像素子212Bの出力に応じた画像データが生成される。なお、ハーフミラー221を全反射ミラーとし、撮影時は撮影光路から退避するようにしてもよい。撮像素子212Bおよび撮像素子212Cの配置を逆にして、反射側に撮像専用の撮像素子212Bを配置し、透過側に焦点検出兼画像表示用の撮像素子212Cを配置してもよい。8上述した実施の形態では、マイクロレンズを用いた瞳分割方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、再結像瞳分割方式の焦点検出にも適用可能である。ここで、図19を参照して再結像瞳分割方式の焦点検出動作を説明する。図19には、交換レンズの光軸191、コンデンサレンズ110,120、絞りマスク111、121、絞り開口112,113、122,123、再結像レンズ114、115、124,125、焦点検出用のイメージセンサーCCD116、126が示されている。また、図19には、焦点検出用光束132,133、142,143、交換レンズの予定結像面の前方へ距離d5の位置に設定された射出瞳190が示されている。ここで、距離d5は、コンデンサレンズ110,120の焦点距離、およびコンデンサレンズ110,120と絞り開口112,113、122,123との間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。コンデンサレンズ110,120により投影された絞り開口112,122の領域192を、以下では測距瞳と呼ぶ。同様に、コンデンサレンズ110,120により投影された絞り開口113,123の領域193を、以下では測距瞳と呼ぶ。コンデンサレンズ110、絞りマスク111、絞り開口112,113、再結像レンズ114、115およびイメージセンサー116が、一つの位置で焦点検出を行う再結像方式の瞳分割型位相差検出の焦点検出ユニットを構成する。図19においては、光軸191上にある焦点検出ユニットと光軸外にある焦点検出ユニットとを模式的に例示している。複数の焦点検出ユニットを組み合わせることによって、図2に示す3箇所の焦点検出位置101~103において再結像方式の瞳分割位相差検出で焦点検出を行う焦点検出装置を実現することができる。コンデンサレンズ110からなる焦点検出ユニットは、交換レンズの予定結像面近傍に配置されたコンデンサレンズ110と、その背後に配置されたイメージセンサー116と、一対の再結像レンズ114および115と、一対の再結像レンズの近傍図では前面に配置された一対の絞り開口112および113を有する絞りマスク11とから構成される。一対の再結像レンズ114および115は、コンデンサレンズ110とイメージサンサ116との間に配置され、予定結像面近傍に結像された1次像をイメージセンサー116上に再結像する。イメージセンサー116は、複数の光電変換部が直線に沿って密に配置されたラインセンサーであり、光電変換部の配置方向は一対の測距瞳の分割方向=絞り開口の並び方向と一致させる。このイメージセンサー116からは、イメージセンサー116上に再結像された一対の像の強度分布に対応した情報が出力される。この情報に対して像ズレ検出演算処理相関処理、位相差検出処理を施すことによって、いわゆる瞳分割型位相差検出方式再結像方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面の偏差デフォーカス量が算出される。イメージセンサー116は再結像レンズ114、115により予定結像面上に投影されており、デフォーカス量像ズレ量の検出精度は、像ズレ量の検出ピッチ再結像方式の場合は予定結像面上に投影された光電変換部の配列ピッチにより決まる。コンデンサレンズ110は、絞りマスク111の絞り開口112、113を射出瞳190上に領域192、193として投影している。領域192,193を測距瞳と呼ぶ。すなわち、イメージセンサー116上に再結像される一対の像は射出瞳190上の一対の測距瞳192,193を通過する光束によって形成される。射出瞳190上の一対の測距瞳192,193を通過する光束132、133を焦点検出用光束と呼ぶ。このような再結像瞳分割方式においても、測距瞳の口径蝕によってイメージセンサー上に形成される一対の像のバランス崩れが生ずるので、イメージセンサーの出力信号を処理する際に本発明を適用することができる。9撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラに限定されることはない。例えばレンズ一体型のデジタルスチルカメラあるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用することができる。10上述した実施の形態および変形例は、互いに組合せてもよい。"