(57)【要約】【課題】位相差情報を取得する場合に、複数の目的に適合した画素信号の読み出しを行いつつも、フレームレートの低下を抑制することができる撮像装置を提供する。【解決手段】１つのマイクロレンズと、１つのマイクロレンズに対応して配置された複数の光電変換部とを有する単位画素が行列状に複数配置された画素領域を有する撮像素子と、画素領域を複数の分割領域に分割する分割部と、複数の分割領域のそれぞれの画素について、複数の光電変換部の信号を第１の数にグループ分けして信号を読み出す第１のモードで信号を読み出す第１の画素とするか、複数の光電変換部を第１の数よりも多い第２の数にグループ分けして信号を読み出す第２のモードで信号を読み出す第２の画素とするかを設定する設定部とを備え、設定部は、複数の分割領域のそれぞれについて、第１の画素の数に対する第２の画素の数の割合を異ならせる。【選択図】  図７
2019062386.tif 000002
【特許請求の範囲】
【請求項１】
１つのマイクロレンズと、該１つのマイクロレンズに対応して配置された複数の光電変換部とを有する単位画素が行列状に複数配置された画素領域を有する撮像素子と、
前記画素領域を複数の分割領域に分割する分割手段と、
前記複数の分割領域のそれぞれの画素について、前記複数の光電変換部の信号を第１の数にグループ分けして信号を読み出す第１のモードで信号を読み出す第１の画素とするか、前記複数の光電変換部を前記第１の数よりも多い第２の数にグループ分けして信号を読み出す第２のモードで信号を読み出す第２の画素とするかを設定する設定手段と、を備え、
前記設定手段は、前記複数の分割領域のそれぞれについて、前記第１の画素の数に対する前記第２の画素の数の割合を異ならせることを特徴とする撮像装置。
【請求項２】
前記第１の数は１であり、前記第２の数は２であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記分割領域の画素は、前記行列状の配列の行単位で前記第１の画素または前記第２の画素に設定され、前記第２の画素に設定される行の周期が前記複数の分割領域ごとに異なることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記複数の分割領域は第１の分割領域と第２の分割領域の２つの分割領域を含み、前記第１の分割領域は、前記画素領域の全体に対応し、前記第２の分割領域は、前記画素領域の一部に対応することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記第２の分割領域は、焦点検出領域であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第２の画素は、焦点検出のための信号を出力することを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
前記第１の分割領域の信号に基づいてデフォーカスマップを作成し、前記第２の分割領域の信号に基づいて、オートフォーカスを行うことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第１の分割領域における前記第１の画素の数に対する前記第２の画素の数の割合は、前記第２の分割領域における前記第１の画素の数に対する前記第２の画素の数の割合よりも小さいことを特徴とする請求項４乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１の分割領域における前記第２の画素に設定される行の周期は、前記第２の分割領域における前記第２の画素に設定される行の周期よりも大きいことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記撮像素子から出力する信号の順序を、前記行列状の画素の配列の順序と異ならせる変更手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記変更手段は、前記撮像素子から、前記第２の画素の信号よりも前記第１の画素の信号を先に出力させることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記変更手段は、前記撮像素子から、前記第１の画素の信号よりも前記第２の画素の信号を先に出力させることを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
前記複数の分割領域が互いに重なる領域において、同じ行がそれぞれの分割領域において重複して前記第２の画素に設定されている場合には、前記重複して前記第２の画素に設定されている画素の信号を一度だけ読み出すことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記一度だけ読み出された信号は、前記第２の画素の信号を用いる、前記複数の分割領域での異なる演算に共通に使用されることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記第１の画素の信号を用いて前記第２の画素の信号を補正する補正手段をさらに備えることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
【請求項１６】
１つのマイクロレンズと、該１つのマイクロレンズに対応して配置された複数の光電変換部とを有する単位画素が行列状に複数配置された画素領域を有する撮像素子を備える撮像装置を制御する方法であって、
前記画素領域を複数の分割領域に分割する分割工程と、
前記複数の分割領域のそれぞれの画素について、前記複数の光電変換部の信号を第１の数にグループ分けして信号を読み出す第１のモードで信号を読み出す第１の画素とするか、前記複数の光電変換部を前記第１の数よりも多い第２の数にグループ分けして信号を読み出す第２のモードで信号を読み出す第２の画素とするかを設定する設定工程と、を有し、
前記設定工程では、前記複数の分割領域のそれぞれについて、前記第１の画素の数に対する前記第２の画素の数の割合を異ならせることを特徴とする撮像装置の制御方法。
【請求項１７】
請求項１６に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１６に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における撮像素子の駆動技術に関するものである。
【背景技術】
【０００２】
現在、デジタルカメラなどの撮像装置においては、撮像素子から得られた情報に基づいて種々の演算処理が行われている。特に、撮像素子から得られる被写体の位相差情報を用いてオートフォーカス（ＡＦ）を行う技術はよく知られている。その際に精度の高い焦点検出を可能にする読み出しと、低消費電力かつ高速な読み出しの両立を実現するために、撮像素子の読み出しに関して種々の手法が提案されている。
【０００３】
特許文献１では、単一画素に複数の光電変換部を配置し、全画素の中の一部の画素で複数の光電変換部の信号を独立に取得できるように読み出し、残りの画素では単一画素の光電変換部の信号を合成してから読み出す方法が提案されている。このように読み出すことによって、取得に時間がかかる位相差情報は必要な領域のみで読み出されることとなり、動作時間の短縮、消費電力の削減を図ることができる。
【０００４】
特許文献２では、撮像素子を複数の領域に分割し、焦点検出を行う必要がある第１の領域では位相差情報を取得する読み出し方を行うことが開示されている。そして、第２の領域では消費電力を削減するために第１の領域における読み出しよりも、間引き率を大きくして読み出す。このような制御を行うことによって、消費電力を抑制することができる。
【０００５】
特許文献３では、被写体の空間周波数に基づいて読み出し方法を切り替える手法が開示されている。このような制御を行うことで、高周波被写体に対しては精密なピント合わせが可能になるとともに、低周波被写体の撮影時は消費電力を抑制することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−２１１８３３号公報
【特許文献２】特開２０１５−７９１６２号公報
【特許文献３】特開２０１５−１６５２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
現在、撮像素子から得られる被写体の位相差情報は様々な場面での利用が考えられている。一例として、ＡＦ用演算への利用の他に、画面全体の位相差情報から画面全体の被写体の深度情報の分布であるデフォーカスマップ（以下ＤＥＦ−ＭＡＰと表記する）を作成するための利用などが挙げられる。このように、位相差情報を複数の異なる目的（ここではＡＦ用とＤＥＦ−ＭＡＰ用）で利用するとき、必要となる位相差情報の性質が異なる場合がある。
【０００８】
例えばＤＥＦ−ＭＡＰの作成では、画面全体の位相差情報が必要であるのに対して、ＡＦ情報の取得では、着目部分のみの位相差情報が取得できればよい。また、ＤＥＦ−ＭＡＰの応用として被写体の類別を行う場合などは、位相差情報の解像度はそれほど必要とされないのに対して、ＡＦ情報の取得では高解像度で位相差情報を読み出すことが要求される。
【０００９】
上記の従来技術では、画素全体の中の一部の画素群から位相差情報を読み出す場合、１フレームの中で上記の複数の性質を同時に満たすように読み出すことができなかった。また、画素全体から位相差情報を読み出した場合には、上記の複数の機能を利用することができるものの、フレームレートの低下を避けることができない。
【００１０】
本発明は上述した課題に鑑みてなされたものであり、その目的は、位相差情報を取得する場合に、複数の目的に適合した画素信号の読み出しを行いつつも、フレームレートの低下を抑制することができる撮像装置を提供することである。
【課題を解決するための手段】
【００１１】
本発明に係わる撮像装置は、１つのマイクロレンズと、該１つのマイクロレンズに対応して配置された複数の光電変換部とを有する単位画素が行列状に複数配置された画素領域を有する撮像素子と、前記画素領域を複数の分割領域に分割する分割手段と、前記複数の分割領域のそれぞれの画素について、前記複数の光電変換部の信号を第１の数にグループ分けして信号を読み出す第１のモードで信号を読み出す第１の画素とするか、前記複数の光電変換部を前記第１の数よりも多い第２の数にグループ分けして信号を読み出す第２のモードで信号を読み出す第２の画素とするかを設定する設定手段と、を備え、前記設定手段は、前記複数の分割領域のそれぞれについて、前記第１の画素の数に対する前記第２の画素の数の割合を異ならせることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、位相差情報を取得する場合に、複数の目的に適合した画素信号の読み出しを行いつつも、フレームレートの低下を抑制することができる撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。
【図２】撮像素子内の画素配置図、及び回路ブロック図。
【図３】単位画素の回路図、及び読み出し回路の１列分の回路図。
【図４】ＡＤ変換回路の回路図。
【図５】撮像素子の第１の駆動モードの動作例を示すタイミングチャート。
【図６】撮像素子の第２の駆動モードの動作例を示すタイミングチャート。
【図７】撮像素子の領域の分割例、及び駆動モードの組み合わせ例を示す図。
【図８】第２の実施形態における１フレームの動作に要するシステム全体の所要時間の例を示す図。
【図９】第２の実施形態における撮像素子の回路ブロック図。
【図１０】第２の実施形態における１フレームの動作に要するシステム全体の所要時間の短縮例を示す図。
【図１１】第３の実施形態における読み出し設定例を示す図。
【図１２】第４の実施形態における画像処理例と読み出し設定例を示す図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１５】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。図１において、第１レンズ１００は撮影光学系１２０の先端に配置されている。絞り１０１は、その開口径を調節することで撮影時の光量調節を行う。第２レンズ１０２、第３レンズ１０３は、後述のフォーカスアクチュエータ１１６によって駆動され、光軸方向に進退することにより、撮影光学系１２０の焦点を調節する。
【００１６】
フォーカルプレーンシャッタ１０４は、静止画撮影時に露光秒時を調節する。光学的ローパスフィルタ１０５は撮影画像の偽色やモアレを低減するために用いられる。撮像素子１０６は、撮影光学系１２０で形成された被写体の光学像を電気信号に光電変換する。撮像素子１０６は、後述するＣＰＵ１０９によって制御される。
【００１７】
ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１０７は画像処理を行う。ＤＳＰ１０７は撮像素子１０６で撮影された画像データの、補正・圧縮等の処理を行う。また、後述するＡ像データとＢ像データの分離機能や、画像信号を用いた相関演算を行う相関演算機能を有する。ＲＡＭ１０８は、撮像素子１０６からの出力データを保持する信号保持手段の機能と、ＤＳＰ１０７で処理された画像データを記憶する画像データ記憶手段の機能と、後述のＣＰＵ１０９が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能をＲＡＭ１０８を用いて実現する構成であるが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また本実施形態では、ＲＡＭ１０８は、ＤＳＰ１０７、ＣＰＵ１０９の外部に配置されているが、その一部または全部の機能をＤＳＰ１０７やＣＰＵ１０９に内蔵する構成であってもよい。
【００１８】
ＣＰＵ１０９は、撮像装置の動作を統括的に制御する。ＣＰＵ１０９は撮像装置の各部を制御するためのプログラムを実行する。また、ＤＳＰ１０７から出力される相関演算の結果を用いて、後述のフォーカス駆動回路１１５を制御し、撮影光学系１２０の焦点を調節する機能も有する。表示部１１０は、撮影した静止画像や動画像およびメニュー等の表示を行う。操作部１１１は、撮影命令や撮影条件等の設定をＣＰＵ１０９に対して行う。記録媒体１１２は、静止画データ及び動画データを記録する着脱可能な記録媒体である。ＲＯＭ１１３は、ＣＰＵ１０９が各部の動作を制御するためにロードして実行するプログラムを格納する。
【００１９】
シャッター駆動回路１１４は、フォーカルプレーンシャッタ１０４を駆動制御する。フォーカス駆動回路１１５は、撮影光学系１２０の焦点位置を変更する焦点位置変更手段であり、ＣＰＵ１０９の出力に基づいてフォーカスアクチュエータ１１６を制御し、第２レンズ１０２及び第３レンズ１０３を光軸方向に進退駆動して焦点調節を行なう。絞り駆動回路１１７は、絞りアクチュエータ１１８を制御して絞り１０１の開口を制御する。
【００２０】
次に、撮像素子１０６の構成について、図２を参照しながら説明する。撮像素子１０６の単位画素が行列状に配列された画素アレイ（画素領域）を図２（ａ）に示す。図２（ａ）において、画素アレイ２００には、単位画素２０１が行列方向に複数配置されている。それぞれの単位画素２０１は、マイクロレンズ２０２を有する。それぞれの単位画素２０１は、単一のマイクロレンズ２０２下に、光電変換手段としての２つのフォトダイオード（ＰＤ）２０３ａ，２０３ｂを有する。この構成をとることによってＰＤ２０３ａ，２０３ｂは瞳分割構成を取ることになり、この２つのＰＤ２０３ａ，２０３ｂには、同一被写体の、位相差を持った別々の像が入射されることになる。この同一被写体の、位相差を持った別々の２像をＡ像、Ｂ像と呼ぶことにし、ＰＤ２０３ａはＡ像用光電変換部、ＰＤ２０３ｂはＢ像用光電変換部を構成するものとする。
【００２１】
次に撮像素子１０６の回路構成を、図２（ｂ）を参照して説明する。画素アレイ２００には、水平方向に（ｍ＋１）個、垂直方向に（ｎ＋１）個の複数の単位画素２０１が配置されている。垂直走査回路制御部２０４は、２０５ａで示されている第１の読み出し設定及び２０５ｂで示されている第２の読み出し設定を設定することができる。垂直走査回路２０６は、画素にパルスを送ることで画素信号を転送する。垂直走査回路制御部２０４は、プログラムされた読み出し設定に基づいて、垂直走査回路２０６を制御する。タイミングジェネレータ（ＴＧ）２０７は、ＣＰＵ１０９によってプログラムされた設定に従って、各回路ブロックに読み出しに必要な制御パルスを供給する。なお、本実施形態では、ＴＧ２０７は撮像素子１０６に内蔵されているが、撮像素子１０６の外部に配置される構成でも構わない。
【００２２】
各単位画素２０１で光電変換された画素信号は、前述のように垂直走査回路２０６から供給される駆動信号によって、垂直出力線２０８へと行毎に出力される。ある行の画素信号の取得に際して、垂直走査回路２０６が後述する第１の駆動モード、または第２の駆動モードのどちらで画素信号を読み出すかは、垂直走査回路制御部２０４によって制御される。定電流源２０９は、後述する画素アンプ用トランジスタ３０３と組み合わされてソースフォロワ回路を形成する。読み出し回路２１０は、各列の垂直出力線２０８からの出力を増幅する機能を有する。ＡＤ変換回路（ＡＤＣ）２１１は、読み出し回路２１０の出力をデジタル信号へ変換する。ＡＤＣ２１１によって変換された画像信号は、水平走査回路２１２によって順に選択されて、出力部２１３で後述する処理を施され撮像素子１０６の外部へデジタル信号として出力される。
【００２３】
図３（ａ）は、単位画素２０１の詳細な回路構成を説明する図である。図３（ａ）において、ＰＤ２０３ａとＰＤ２０３ｂは前述した同一マイクロレンズ下で単位画素２０１を構成するＰＤである。Ａ像用の転送スイッチＴｘＡ（３００ａ）は信号φｔｘａによって制御され、Ｂ像用の転送スイッチＴｘＢ（３００ｂ）は信号φｔｘｂによって制御される。この信号φｔｘａ、φｔｘｂをＨｉｇｈ（以下ＨｉｇｈをＨと記す）にすることによって、光電変換部に蓄積された電荷をフローティングディフュージョン部（ＦＤ）３０１に転送することができる。この転送スイッチのＯＮ／ＯＦＦは独立に制御することができるため、Ａ像用の信号とＢ像用の信号は独立に転送することができる。リセットスイッチ３０２はＦＤ３０１を初期化するためのスイッチであり、信号φｐｒｅｓによって制御される。画素アンプ用トランジスタ３０３は、セレクトスイッチ３０４、及び垂直出力線２０８を介して定電流源２０９に接続されている。セレクトスイッチ３０４の入力信号φｓｅｌがＨになると、画素アンプ用トランジスタ３０３は定電流源２０９と接続され、画素アンプを形成する。ＦＤ３０１はこの画素アンプに接続されているため、ＰＤ２０３ａ、ＰＤ２０３ｂからＦＤ３０１に転送された電荷は、この画素アンプによって電荷量に応じた電圧値に変換され、垂直出力線２０８に画素信号として出力されることになる。
【００２４】
読み出し回路２１０について、図３（ｂ）を参照しながら詳細に説明する。垂直出力線２０８に出力された画素信号は、クランプ容量３０５を通じて演算増幅器３０８の反転入力端子に入力される。演算増幅器３０８の非反転入力端子には基準電圧Ｖｒｅｆが入力されている。スイッチ３０７は、フィードバック容量３０６を短絡するためのスイッチであり、信号φｃｆｓによって制御される。
【００２５】
ＡＤＣ２１１の構成とその駆動について、図４を参照しながら詳細に説明する。比較器４００には、読み出し回路２１０の出力とランプ信号生成回路４０１からのランプ信号が入力される。ランプ信号生成回路４０１の出力レベルは、ＴＧ２０７から端子４０２を介して入力される信号φａｄｃｒｅｓがＬｏｗ（以下ＬｏｗをＬと記す）になると時間の経過とともに大きくなる。そして、その信号レベルが読み出し回路２１０から出力される信号のレベルを上回った時に、比較器４００の出力はＬからＨに切り替わる。比較器４００の出力はラッチ選択回路４０４に接続されている。そして、ＴＧ２０７から端子４０３を介して入力される信号φｓｓｅｌがＬの時はＮ信号用ラッチ４０８、φｓｓｅｌがＨの時はＳ信号用ラッチ４０９に入力される。Ｎ信号用ラッチ４０８、Ｓ信号用ラッチ４０９はＴＧ２０７からそれぞれ端子４０５、４０６を介して入力される信号φｎｒｅｓ、φｓｒｅｓがＨになるとリセットされ、Ｌの時にラッチとして次のように動作する。
【００２６】
まずφｓｓｅｌがＬの時、Ｎ信号用ラッチ４０８は比較器４００の出力がＬからＨに切り替わった瞬間のカウンタ４０７の出力をラッチする。このカウンタ値が、読み出し回路２１０の出力のデジタル値を表現する値となっている。このラッチ４０８はＮ信号用ラッチなので、ノイズ信号をデジタル変換した結果を、ラッチ４０８に保持するように制御される。次にφｓｓｅｌがＨの時は、比較器４００の出力はラッチ４０９に接続され、先に説明したラッチ４０８と同様の動作を行うことによって、読み出し回路２１０の出力をデジタル値へ変換する。このラッチ４０８はＳ信号用ラッチなので、光信号とノイズ信号が加算された信号をデジタル変換した結果を、ラッチ４０８に保持するように制御される。ラッチ４０８，４０９の出力は、列選択回路４１０に接続されており、水平走査回路２１２からの信号φｈｓｒ＿ｉ（ｉは列番号０〜ｍ）によって次に説明するように出力部２１３へと出力される。
【００２７】
第ｉ列の列選択回路４１０は、信号φｈｓｒ＿ｉがＬの時はＯＦＦ状態であり、出力部２１３から切断されているが、φｈｓｒ＿ｉがＨの時にＯＮ状態となり、当該列のＮ信号用ラッチとＳ信号用ラッチの出力を、出力部２１３に出力する。
【００２８】
水平走査回路２１２は、全てのφｈｓｒ＿ｉがＬの時に、ＴＧ２０７から端子４１１を介して入力される信号φｈｓｒの立ち上がりエッジを検出すると、φｈｓｒ＿０をＨにする。その後、φｈｓｒ＿ｉがＨの時にφｈｓｒの立ち上がりエッジを検出すると、φｈｓｒ＿ｉをＬにし、φｈｓｒ＿（ｉ＋１）をＨにする。そして、φｈｓｒ＿ｍがＨの時にφｈｓｒの立ち上がりエッジを検出すると、全てのφｈｓｒ＿ｉをＬにする。このようにして水平走査回路２１２は第０列目から第ｍ列目までのラッチの出力を順次出力部２１３に出力し、水平走査を行う。出力部２１３は、Ｎ信号用ラッチ４０８の出力を、Ｓ信号用ラッチ４０９の出力から減算してから外部に出力する機能を持つ。
【００２９】
続いて、第１の駆動モード（位相差を検出できないモード）と第２の駆動モード（位相差を検出できるモード）のそれぞれの動作について、撮像素子１０６の画像信号の読み出し動作例を示すタイミングチャートである図５、図６を用いて説明する。
【００３０】
図５のタイミングチャートを用いて、第１の駆動モードによって１行の画素信号を取得する方法について詳細に説明する。
【００３１】
時刻ｔ５０１の以前から、信号φｐｒｅｓがＨであり、ＦＤ３０１はリセットされている。続いて時刻ｔ５０１で信号φｔｘａ、φｔｘｂをＨとすることで、ＰＤ２０３ａ，２０３ｂをリセットする。時刻ｔ５０２で信号φｔｘａ、φｔｘｂをＬとすることで、ＰＤ２０３ａ，２０３ｂの電荷蓄積を開始する。蓄積時間は、この時点から信号が読み出される時点までであり、図中の時刻ｔ５０２から時刻ｔ５１１までの間である。時刻ｔ５０３で信号φｓｅｌをＨにすることによって画素アンプ用トランジスタ３０３を定電流源２０９に接続し、画素アンプを動作状態とする。時刻ｔ５０４で信号φｐｒｅｓをＬとすることによって、ＦＤ３０１のリセットを解除する。リセットが解除されると、ＦＤ３０１の信号は垂直出力線２０８にノイズ信号（以下Ｎ信号と表記する）として読み出され、読み出し回路２１０へと出力される。
【００３２】
読み出し回路２１０において、時刻ｔ５０５で信号φｃｆｓをＬとすることで、演算増幅器３０８における基準電圧Ｖｒｅｆの出力バッファ状態を解除し、読み出し回路２１０のＮ信号を演算増幅器３０８から出力する。この時、ＡＤＣ２１１に内蔵される比較器４００への読み出し回路２１０からの入力は、図中５００で示されるように立ち上がり始める。そして時刻ｔ５０６で信号φａｄｃｒｅｓをＬとすることによって、ランプ信号生成回路４０１とカウンタ４０７のリセットを解除し、また同時に信号φｎｒｅｓもＬとすることによって、ラッチ４０８のリセットを解除し、ＡＤ変換動作を開始する。ランプ信号生成回路４０１から比較器４００へ入力されるランプ信号は図中５０１で示されており、カウンタ４０７の値は図中５０２に示されている。ランプ信号は時刻ｔ５０７で読み出し回路からの入力５００よりも大きくなり、この時、比較器４００の出力はＬからＨへと立ち上がる。信号φｓｓｅｌは時刻ｔ５０７でＬになっているため、ラッチ選択回路４０４ではＮ信号用ラッチ４０８が選択されており、比較器の出力はラッチ４０８へと入力されている。ラッチ４０８は時刻ｔ５０７でのカウンタ４０７の出力をラッチする。ここではその値を図中５０３で示したようにＮとする。こうして、時刻ｔ５０７においてラッチ４０８の値はＮとなる。時刻ｔ５０８でランプ信号５０１とカウンタ値５０２はどちらも最大値となり、そのタイミングで信号φａｄｃｒｅｓをＨにしてＮ信号のＡＤ変換動作を終了する。
【００３３】
時刻ｔ５０９では、信号φｔｘａ，φｔｘｂをＨにして、ＰＤ２０３ａ，２０３ｂで変換された光電荷をＦＤ３０１に転送する。ＦＤ３０１に蓄えられた信号成分の電荷は、垂直出力線２０８、演算増幅器３０８を通じて、読み出し回路２１０から信号成分＋ノイズ成分（以下Ｓ＋Ｎ信号と表記する）の信号として、比較器４００へ入力される。入力５００は時刻ｔ５０９から増加し始める。時刻ｔ５１０では、信号φｓｓｅｌをＨにすることによって、ラッチ選択回路４０４で選択されるラッチを、Ｓ信号用ラッチ４０９へと切り替える。時刻ｔ５１１で信号φｔｘａ，φｔｘｂをＬにして光電荷の転送を終えた後、時刻ｔ５１２まで読み出し回路２１０の出力の安定を待つ。時刻ｔ５１２で信号φａｄｃｒｅｓと信号φｓｒｅｓをＬにすることによってＳ＋Ｎ信号のＡＤ変換動作を開始する。このＳ＋Ｎ信号は、ＰＤ２０３ａ，２０３ｂに蓄積された光電荷を変換した画素信号（Ｓ信号）と、読み出し回路２１０の列ごとのばらつきに起因するオフセット信号などのノイズ信号（前述のＮ信号）を含む。このＳ＋Ｎ信号から、Ｎ信号を差し引くことにより、Ｓ＋Ｎ信号に含まれるノイズ成分をキャンセルすることができ、画素信号成分であるＳ信号のみを得ることができる。
【００３４】
Ｓ＋Ｎ信号のＡＤ変換の動作はＮ信号のＡＤ変換と同様に行われ、時刻ｔ５１３で比較器４００の出力がＬからＨに立ち上がり、ラッチ４０９の出力は、その時点でのカウンタ４０７の値Ｓ＋Ｎに変化する。ここではその値を図中５０４で示したようにＳ＋Ｎとする。こうして、時刻ｔ５１７においてラッチ４０９の値はＳ＋Ｎとなる。このラッチ４０９の出力がＳ＋Ｎ信号のＡＤ変換値となる。時刻ｔ５１４で信号φａｄｃｒｅｓはＨとなり、ＡＤ変換動作は終了する。
【００３５】
時刻ｔ５１５で、信号φｈｓｒの立ち上がりエッジが水平走査回路２１２へ入力される。すると、水平走査回路からの出力が全てＬの状態から、信号φｈｓｒ＿０だけがＨとなり、第０列目の水平選択回路４１０のスイッチが接続され、ラッチ４０８，４０９が出力部２１３に接続される。出力部２１３では、ラッチ４０９の出力値であるＳ＋Ｎ信号のデジタル値から、ラッチ４０８の出力値であるＮ信号のデジタル値を減算し、Ｓ信号のみのデジタル値を得る。そして、その値を撮像素子１０６の外部に出力する。このようにして第０列からＳ信号のデジタル値を出力した後、信号φｈｓｒにもう一度パルスを入力すると、信号φｈｓｒ＿１だけがＨになり、同様の動作で第１列からＳ信号のデジタル値が出力される。こうして順次行方向にＳ信号を読み出していき、第０列から第ｍ列までの信号を読み出す。この水平走査は時刻ｔ５１６で終了する。
【００３６】
時刻ｔ５１７では、各パルスを初期状態へ戻して画素の状態を初期化する。信号φｐｒｅｓをＨにすることにより、ＦＤ３０１を初期化する。信号φｃｆｓをＨにすることにより、演算増幅器３０８の出力を基準電圧Ｖｒｅｆの出力バッファ状態とする。信号φｓｓｅｌをＬに戻すことによって、ラッチ選択用回路４０４がＮ信号用ラッチ４０８を選択するようにする。信号φｎｒｅｓ，φｓｒｅｓをＨにすることにより、ラッチ４０８，４０９の出力をリセットする。時刻ｔ５１８で信号φｐｓｅｌをＬにし、行の選択状態を解除する。以上が第１の駆動モードにおける読み出し動作である。
【００３７】
次に、図６のタイミングチャートを用いて、第２の駆動モードによって１行の画素信号を取得する方法について詳細に説明する。なお、図６のタイミングチャートの動作は、図５のタイミングチャートの動作と同様である部分も多いので、違う部分に着目して説明する。
【００３８】
時刻ｔ６０１から時刻ｔ６０８までは、図５のタイミングチャートの時刻ｔ５０１から時刻ｔ５０８の動作と全く同様に動作する。ここまでの動作で、Ｎ信号用ラッチ４０８にはＮ信号のデジタル値６００が保持されるようになる。時刻ｔ６０９では、信号φｔｘａをＨにして、ＰＤ２０３ａで変換された光電荷をＦＤ３０１に転送する。図５のタイミングチャートで時刻ｔ５０９でＨにした信号φｔｘｂは、ここではＬのままにしておく。こうすることによって、Ａ像用光電変換部の信号のみをＦＤ３０１に転送することができる。その後時刻ｔ６１６までは図５のタイミングチャートの時刻ｔ５１６までと同様の動作で水平転送までを終了する。この時、Ｓ信号用ラッチ４０９から出力される画素信号はＡ像信号＋ノイズ信号６０１である。そのため、出力部２１３においてＮ信号のデジタル値６００を差し引くことによって、この水平転送によって単位画素２０１中のＡ像用の光電変換部であるＰＤ２０３ａの信号のみを撮像素子１０６の外部に読み出すことができる。
【００３９】
時刻ｔ６１７では、信号φｓｒｅｓをＨにする。この動作によってＳ信号用ラッチ４０９がリセットされ、もう一度新たにＳ信号用ラッチ４０９を用いたＡＤ変換動作を行うことが可能になる。時刻ｔ６１８では、信号φｔｘａ，φｔｘｂをＨにして、ＰＤ２０３ｂで変換された光電荷をＦＤ３０１に転送する。この動作によって、ＦＤ３０１では、ＰＤ２０３ａの光電荷と、ＰＤ２０３ｂの光電荷を加算することができる。ＦＤ３０１にはこの時既に、時刻ｔ６０９から時刻ｔ６１１で転送されたＰＤ２０３ａの光電荷が保持されている。そのため、信号φｔｘｂのみをＨにすることで、ＰＤ２０３ｂの信号をＦＤ３０１に転送し、ＦＤ３０１でＰＤ２０３ａの光電荷とＰＤ２０３ｂの光電荷を加算してもよい。本実施形態では、Ａ＋Ｂ像信号転送時の回路状態を、第１の駆動モードと同一にするためにφｔｘａもＨにするように動作させた。以上の動作によって、単位画素下の光電変換部の電荷を全てＦＤ３０１に転送することができる。
【００４０】
時刻ｔ６１９から時刻ｔ６２６の動作は、図５のタイミングチャートの時刻ｔ５１１から時刻ｔ５１９の動作と同様のものである。この時、Ｓ信号用ラッチ４０９から出力される画素信号はＡ＋Ｂ像信号＋Ｎ信号６０２であるため、出力部２１３においてＮ信号のデジタル値６００を差し引くことによって、単位画素内の全ての光電変換部の信号を撮像素子１０６の外部に読み出すことができる。以上が、第２の駆動モードによる読み出し動作である。
【００４１】
以上、図５のタイミングチャートを用いて第１の駆動モードの例を、図６に示したタイミングチャートを用いて第２の駆動モードの例を示した。以上の例によれば、第１の駆動モードでは単位画素下の２つのＰＤ２０３ａ，２０３ｂの出力を合成した信号（Ａ＋Ｂ像信号と称する）を読み出している。これに対し、第２の駆動モードでは単位画素下の２つのＰＤのうち、まずＡ像信号を読み出し、ついでＡ＋Ｂ像信号を読み出している。例えばＤＳＰ１０８で、第２の駆動モードによって得られたＡ＋Ｂ像からＡ像を差し引くことによって、Ｂ像信号を分離することができる。そして、これらのＡ像信号とＢ像信号の位相差を検出することにより、撮影光学系１２０のデフォーカス量を検出することができる。
【００４２】
以上説明した様に、第１の駆動モードでは単位画素下の光電変換部の信号を合成して読み出しているのに対して、第２の駆動モードによれば単位画素下の光電変換部の信号を独立に読み出すことができている。そのため、第２の駆動モードは第１の駆動モードよりも、単位画素の信号を多く瞳分割して読み出していることになる。ここでは、第１の駆動モードの単位画素の読み出しを１分割（分割なし）とすれば、第２の駆動モードは２分割に光電変換部をグループ分けしての読み出しということになる。
【００４３】
このように、第２の駆動モードで単位画素下にある複数の光電変換部の信号を分割して読み出すと、位相差情報を得ることができる一方で、第１の駆動モードによる読み出しと比較して読み出し時間が延びる。そのため、画像のフレームレートを確保するためには、第２の駆動モードでの読み出し行数は必要最小限に抑える必要がある。そこで、本実施形態では、位相差情報の使用目的に応じて画面を第１の領域と第２の領域に分割し、それぞれの領域で別々に、第２の駆動モードによって画像信号を取得する画素群を設定する。
【００４４】
図７（ａ）に画面を第１の領域と第２の領域（分割領域）に分割する例を示した。領域７００は画面全体を示し、例えば画素アレイ２００全体である。７０１は焦点検出枠（焦点検出領域）であり、焦点検出枠７０１内の被写体情報に基づいて、ＤＳＰ１０７は相関演算を行う。先に説明した様に、この焦点検出枠が含まれる領域では精度よく焦点検出を行いたいため、位相差情報を解像度よく読み出す必要がある。また、焦点検出枠７０１が含まれない領域では、これも先に説明した様にデフォーカスマップ（ＤＥＦ−ＭＡＰ）作成のため、位相差情報は低解像度で全面を読み出せばよい。そこで、ドットで示した領域と斜線で示した領域の両方を第１の領域７０２とし、斜線の領域のみを第２の領域７０３とする。また、領域７００において第１の領域７０２にも第２の領域７０３にも選択されなかった領域を第３の領域とする。この領域の設定を行う領域設定手段は、例えばＣＰＵ１０９で領域を計算して設定することによって、ＣＰＵ１０９で実現できる。なお、本実施形態のように、第１の領域と第２の領域は重複してもよいし、重複しなくてもよい。
【００４５】
第１の領域７０２を第１の読み出し設定２０５ａで読み出し、第２の領域７０３を第２の読み出し設定２０５ｂで読み出す例を、図７（ｂ）に示す。第１の読み出し設定２０５ａは、領域の開始行と、その行から一定の第１行周期７０４ごとに第２の駆動モード（位相差を検出できるモード）で読み出す行を選択するような読み出し設定となっている。第１の読み出し設定２０５ａによって選択された行は、図中１点鎖線で示される行である。第２の読み出し設定２０５ｂは、領域の開始行と、その行から一定の第２行周期７０５ごとに第２の駆動モード（位相差を検出できるモード）で読み出す行を選択するような読み出し設定となっている。第２の読み出し設定２０５ｂによって選択された行は、図中実線で示される行である。なお、第１の読み出し設定２０５ａと第２の読み出し設定２０５ｂでは、第２の駆動モードで読み出す行の数の第１の駆動モードで読み出す行の数に対する割合が異なっている。
【００４６】
本実施形態においては、第２の領域７０３は第１の領域７０２に含まれる領域である。そのため、第２の領域７０３中、第２の読み出し設定２０５ｂで選択されなかった行も、第１の読み出し設定２０５ａで選択される行となってもよい。
【００４７】
第１の読み出し設定２０５ａと、第２の読み出し設定２０５ｂの、どちらにも選択されなかった行は、第１の駆動モード（位相差を検出できないモード）で読み出される。
【００４８】
第１の領域７０２と第２の領域７０３に基づいて定められた、第１の読み出し設定２０５ａと第２の読み出し設定２０５ｂは、垂直走査回路制御部２０４により設定される。この垂直走査回路制御部２０４は垂直走査回路２０６を制御し、ある一行の取得を第１の駆動モードによって行うか、第２の駆動モードによって行うかを切り替える。
【００４９】
以上説明したように、第１の実施形態によれば、それぞれの領域において最適な解像度で位相差情報を取得しつつ、駆動に時間のかかる第２の駆動モードによる画素の取得を最小限に抑えることができる。これにより、フレームレートの低下を抑制しつつも、ＡＦ用の相関演算とＤＥＦ−ＭＡＰの作成の際に、それぞれの演算に必要な解像度で位相差情報を取得することが可能となる。
【００５０】
本実施形態では、第２の駆動モードとして、Ａ像を取得し、その後Ａ＋Ｂ像を取得する方法を図６のタイミングチャートにおいて示した。しかし本発明はこれに限定されるものではなく、例えばＡ像信号を取得した後にＦＤ３０１をリセットし、次にＢ像信号を読み出すという動作をさせてもよい。この場合、画像用のＡ＋Ｂ像信号を生成するためにＡ像信号のデジタル値とＢ像信号のデジタル値を加算する必要がある。
【００５１】
また本実施形態では、単位画素下の光電変換部が２分割された構造を持つ撮像素子を用いる場合について説明したが、本発明はこれに限定されるものではない。例えば、単位画素下の光電変換部が上下左右に４分割された構造を持つ撮像素子においては、更に多くの駆動モードを考えることができる。例えば、単位画素下の４つの光電変換部のうち、縦方向は合成し、横方向は合成しないで読み出す駆動モードと、全ての光電変換部の信号を独立に読み出す駆動モードの組み合わせによって、画面全体の画素を読み出すということがあり得る。
【００５２】
ところで、第２の駆動モードは、第１の駆動モードよりも単位画素を多く瞳分割して読み出すことを特徴とする駆動モードである。そのため、単位画素下の光電変換部が４分割された構造をもつ撮像素子について上記のような駆動モードによって画面全体を読み出す場合は、単位画素下の４つの光電変換部のうち、縦方向は合成し、横方向は合成しないで読み出す駆動モードを第１の駆動モードとする。また、全ての光電変換部の信号を独立に読み出す駆動モードを第２の駆動モードとする。このとき、第１の駆動モードの単位画素の読み出しは２分割、第２の駆動モードの読み出しは４分割である、と考えることができる。
【００５３】
以上説明したように、単位画素下の光電変換部が上下左右に４分割されている構成にすることによって、被写体の横方向の位相差情報のみならず、縦方向の位相差情報も得ることができるようになる。そしてこのような場合においても本発明を適用することで、フレームレートの低下を抑制しつつ、複数の目的に適合した信号を読み出すことが可能となる。
【００５４】
また、本実施形態では読み出し設定によって第２の駆動モードによって読み出される画素群を行単位で選択するように説明したが、これに限定されるものではない。
【００５５】
（第２の実施形態）
第１の実施形態では、画素情報の読み出しに関してフレームレートの低下を低減する方法について説明した。しかし画素情報に基づいて相関演算を行ってフォーカス駆動を行う時間や、あるいはＤＥＦ−ＭＡＰを生成し、ＤＥＦ−ＭＡＰに基づいて処理演算等を行う時間を考慮すると、システム全体としてはフレームレートの低下を十分に抑制できない可能性がある。
【００５６】
図８に、静止画像の取得の際のシステム全体の１フレームの動作例を示す。図８（ａ）は、相関演算及びレンズ駆動の時間が長い場合の例である。この場合、レンズ駆動の終了までの時間が長いため、システム全体のフレームレートが低下してしまう。図８（ｂ）は、ＤＥＦ−ＭＡＰ生成及び処理演算に要する時間が長い場合の例である。この場合、処理演算の終了までの時間が長いため、システム全体のフレームレートが低下してしまう。これらのようなシステム全体のフレームレートの低下に対処するためには、演算に使用する情報を先に取得することが望ましい。
【００５７】
また、スリットローリングシャッターを用いた動画像の取得時は、行の読み出しの時間的順序と１フレームの画像内における位置的な順序を正しく対応させる必要がある。そのような対応付けがなされていない場合、像の上下で時間的関係が入れ替わってしまい、不自然な画像になる。この場合、図８に示した様に、ある計算が要因となってシステム全体のフレームレートが低下する場合でも、演算に使用する情報を先に取得することができない。
【００５８】
フレームレート低下の要因となっている計算は撮影モードによって異なる。また、スリットローリング読み出しであるかどうかも、撮影モードによって異なる。そこで本実施形態では、撮影モードによって、少なくとも開口部の画素信号（遮光画素などのように遮光されている画素ではない画素の信号）の取得順序を変更する方法を示す。
【００５９】
なお、例えば遮光画素のような、開口部以外の画素を各種補正に用いて高画素化する方法が知られている。このような補正に用いるために開口部以外の画素を先に読み出す必要性があれば、開口部の画素信号の取得順序に関係なく、開口部以外の画素を先に読み出してもよい。
【００６０】
図９に、本実施形態における撮像素子１０６の構成を示す。図９に示す構成は、図２（ｂ）に示した第１の実施形態の構成とは、画像取得方法設定部９００を有する点のみが異なる。画像取得方法設定部９００は、設定された撮影モードに応じて、垂直走査回路２０６の動作を制御する。より具体的には、以下に説明する通りに画像が取得されるように、垂直走査回路２０６を制御する。
【００６１】
スリットローリングシャッターによって動画像を取得する場合には、前述のように読み出し順序を変更することができない。この時、画像取得方法設定部９００は垂直走査回路２０６を、読み出し方法設定部２０４の設定に関係なく、配列順に順次読み出すように制御する。こうすることによって、読み出し方法の設定によらず像の上下の時間的関係は保たれ、画像の違和感を抑制することができる。
【００６２】
静止画を取得する場合で、かつ図８（ａ）のように相関演算及びレンズ駆動の時間が長い場合、相関演算に使用する画素情報を先行して取得し、全画素の画素情報の取得が完了するのに先立って演算を始めたい。この時、画像取得方法設定部９００は垂直走査回路２０６を、以下の手順で読み出しを行うように制御する。
【００６３】
まず垂直走査回路制御部２０４に設定されている、第２の読み出し設定２０５ｂによって選択された行を、第２の駆動モードによって最初に取得する。続いて、そのような行の全ての取得が完了してから、それ以外の行を読み出す。こうすることによって、図１０（ａ）に示すように相関演算を画像の読み出し完了よりも先行して開始することができ、結果としてシステム全体のフレームレートの低下を抑制することができる。
【００６４】
静止画を取得する場合で、かつ図８（ｂ）のようにＤＥＦ−ＭＡＰ生成及び処理演算の時間が長い場合、ＤＥＦ−ＭＡＰ生成に使用する画素情報を先行して取得し、全画素の画像情報の取得が完了するのに先立って演算を始めたい。この時、画像取得方法設定部９００は垂直走査回路２０６を、以下の手順で読み出しを行うように制御する。
【００６５】
まず垂直走査回路制御部２０４に設定されている、第１の読み出し設定２０５ａによって選択された行を、第２の駆動モードによって最初に取得する。続いて、そのような行の全ての取得が完了してから、それ以外の行を読み出す。こうすることによって、図１０（ｂ）に示すようにＤＥＦ−ＭＡＰ生成を画像の読み出し完了よりも先行して開始することができ、結果としてシステム全体のフレームレートの低下を抑制することができる。
【００６６】
以上説明したように、第２の実施形態によれば、画像取得方法設定部９００を設けることにより、設定された撮影モードに応じて少なくとも開口部の画素信号の取得順序を変更することができる。このことにより、システム全体としてフレームレートの低下を抑制することができる。
【００６７】
本実施形態では、スリットローリングシャッターによって動画像を取得する方法について説明したが、本発明はこれに限定されるものではない。例えば、グローバル電子シャッター機能を有する撮像素子において動画像を取得することも可能である。その場合、読み出しの時間的順序と画像内の位置的順序を無関係に取得することができる。そのため、動画像取得時であっても、本実施形態で説明したように、時間がかかる計算に用いる情報を先に読み出すことによって、システム全体のフレームレートの低下を抑制することができる。
【００６８】
（第３の実施形態）
第１の実施形態の図７で示したように、第１の領域と第２の領域は重複して設定することができる。この場合、重複した領域は第１の読み出し設定２０５ａによって選択された画素群と、第２の読み出し設定２０５ｂによって選択された画素群の両方で、第２の駆動モードによる読み出しを行う。図７（ｂ）で示した読み出し設定では、第１の読み出し設定２０５ａによって選択された画素群と、第２の読み出し設定２０５ｂによって選択された画素群は重複しないようになっているが、読み出し設定によっては重複する場合がある。
【００６９】
図１１に、読み出し設定によって選択される画素群が重複した場合の様子を簡易的に示した。図１１は図７（ａ）の第１の領域と第２の領域が重複している領域７０３の第ｎ行目から第ｎ＋１０行目までを抜き出したものである。図中１１００で示された網掛け部は、第１の読み出し設定２０５ａによって選択された行であり、図中１１０１で示された斜線部は、第２の読み出し設定２０５ｂによって選択された行である。第ｎ行目は、第１の読み出し設定２０５ａによって選択されている。第１の読み出し設定２０５ａが、行周期１０行で第２の駆動モードで読み出す行を選択する場合、第ｎ＋１０行目も第１の読み出し設定２０５ａによって選択されることになる。第ｎ＋１行目は、第２の読み出し設定２０５ｂによって選択されている。第２の読み出し設定２０５ｂが、行周期３行で第２の駆動モードで読み出す行を選択する場合、第ｎ＋１０行目も第２の読み出し設定２０５ｂによって選択されることになる。この場合、第ｎ＋１０行目は、第１の読み出し設定２０５ａと、第２の読み出し設定２０５ｂの両方で選択されることとなる。
【００７０】
第１の実施形態で説明したような画素信号の読み出しにおいては、ＰＤ２０３ａ，２０３ｂからの読み出しは破壊読み出しである。このような撮像素子において同一画素を複数回読み出した場合、２回目以降は正しくない値を取得することになり、位相差情報を用いた計算に正しくないデータを用いることになってしまう。
【００７１】
そこで、本実施形態のように、第１の読み出し設定２０５ａと、第２の読み出し設定２０５ｂの両方で同一の画素群を選択した場合は、読み出しは一度だけ行う。そして、重複して選択された画素群（本実施形態では第ｎ＋１０行目に属する画素）は、第１の読み出し設定２０５ａによって選択された画素情報を用いた演算と、第２の読み出し設定２０５ｂによって選択された画素情報を用いた演算の両方に共通に用いるようにする。
【００７２】
以上説明したように、第３の実施形態によれば、複数の読み出し設定において第２の駆動モードで取得する画素を重複して選択した場合においても、異常な出力を計算に用いないように動作させることが可能となる。
【００７３】
（第４の実施形態）
一般に第１の駆動モード（位相差を検出できないモード）のＮ信号からＳ信号（Ａ＋Ｂ信号）までの時間間隔よりも、第２の駆動モード（位相差を検出できるモード）のＮ信号からＳ信号（Ａ＋Ｂ信号）までの時間間隔は長い。そのため動作周波数が低下し、例えば１／ｆノイズが増加したり、Ｎ信号のＡＤ変換からＳ信号のＡＤ変換の間に起こる電源の揺らぎによって一様な画素レベル変化が起きたり、というような現象が生じることがある。それにより、第１の駆動モードで読み出された画素信号と、第２の駆動モードで読み出された画素信号で、画質の差が生じることがある。この場合、１フレームの画素信号の取得で第１の駆動モードと第２の駆動モードを混在させると、画面内に駆動モードの違いによる行毎の画像の差が生じることになり、１フレーム全体の画質が低下する。そのような場合、例えば第１の駆動モードによって読み出された画素情報を用いて、第２の駆動モードによって読み出された画素情報を補正する方法がある。
【００７４】
この補正の例として、図１２（ａ）に示したような３×３のフィルタを考える。このような補正は、例えばＤＳＰ１０７で行われる。図１２（ａ）は画素アレイ２００の一部を抜き出したものである。図中ドットを付された単位画素２０１である画素１２００は補正対象画素であり、この補正対象画素１２００に対して周囲の３×３の同色の画素を補正使用画素１２０１として、フィルタ処理を施す。この時、補正対象画素１２００は第２の駆動モードで読みだされているとすると、補正後の画質は第１の駆動モードによって読み出された画素に近づくことが期待される。そのため補正使用画素１２０１は第１の駆動モードによって読み出された画素情報を使用することが望ましい。
【００７５】
図１２（ｂ）に、補正対象画素１２００の補正に、第１の駆動モードによって読み出された画素を使用できない例を示した。第ｎ＋２行目の画素を補正する場合を考える。３×３のフィルタ処理を考えると、補正使用画素１１０１は第ｎ行と第ｎ＋４行である。しかし図１２（ｂ）の例では、第ｎ行と第ｎ＋４行も第２の駆動モードで読みだされる設定となっている。この場合、画素情報の補正を行ったとしても、補正後の画質を第１の駆動モードに近づけることができない。
【００７６】
図１２（ｃ）に、補正対象画素１２００の補正に、第１の駆動モードによって読み出された画素を使用できる例を示した。第ｎ＋３行目の画素を補正する場合を考える。３×３のフィルタ処理を考えると、補正使用画素１２０１は第ｎ＋１行と第ｎ＋５行である。図１２（ｃ）の例では、第ｎ行と第ｎ＋５行のどちらも第１の駆動モードで読みだされる設定となっている。この場合、画素情報の補正を行うことによって、補正後の画質を第１の駆動モードに近づけることができる。
【００７７】
画素補正の目的は、第２の駆動モードで読み出された画素の画質を、第１の駆動モードで読み出された画素の画質に近づけることであるため、図１２（ｂ）のような読み出し方は画素補正の目的を果たせない。そのため、画素補正を行う場合は、図１２（ｃ）のように画素補正に使用する画素の少なくとも一部を、第１の駆動モードによって読み出すように垂直走査回路制御部２０４を設定する。
【００７８】
以上説明したように第４の実施形態によれば、第２の駆動モードによって読み出されたある画素の補正に用いられる画素の、少なくとも一部を第１の駆動モードによって読み出すように動作させることが可能となる。このことによって、第２の駆動モードによって読み出された画素に対して補正を行って、第１の駆動モードによって読み出された画素の画質に近づけることができるようになる。
【００７９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００８０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８１】
１００：第１レンズ、１０１：絞り、１０２：第２レンズ、１０３：第３レンズ、１０４：フォーカルプレーンシャッタ、１０６：撮像素子、１０８：ＲＡＭ、１０９：ＣＰＵ、１１０：表示部、１１１：操作部、１１２：記録媒体、１１３：ＲＯＭ
【図１】
2019062386.tif 000003
【図２】
2019062386.tif 000004
【図３】
2019062386.tif 000005
【図４】
2019062386.tif 000006
【図５】
2019062386.tif 000007
【図６】
2019062386.tif 000008
【図７】
2019062386.tif 000009
【図８】
2019062386.tif 000010
【図９】
2019062386.tif 000011
【図１０】
2019062386.tif 000012
【図１１】
2019062386.tif 000013
【図１２】
2019062386.tif 000014