(57)【要約】【課題】  撮像装置に設定された撮像モードに応じて、適切なオフセット補正及び高速なフレームレートの実現を可能にした撮像装置を提供すること。【解決手段】  ２以上の光電変換部に含まれる第１の光電変換部にて発生した電荷に基づく第１の信号と、第１の光電変換部を含み、且つ２以上の光電変換部に含まれる２以上の光電変換部にて発生した電荷に基づく第２の信号とを撮像素子から取得する取得手段と、第１の信号及び第２の信号を用いて合焦度を評価する評価手段と、第１の信号及び第２の信号を用いて画像データを生成する生成手段と、配列の中において第１の信号及び第２の信号の読み出し範囲を制御する制御手段と、を備え、制御手段は少なくとも第１の信号の読み出し範囲を、第１の信号が評価手段にて合焦度の評価に用いられるか、または生成手段にて画像データの生成に用いられるかに基づいて制御する。【選択図】  図１
2018006879.tif 000002
【特許請求の範囲】
【請求項１】
１つのマイクロレンズに対して瞳分割された２以上の光束をそれぞれ受光する２以上の光電変換部を有し、当該マイクロレンズが２次元状に配列されている撮像素子を用いて被写体像を取得する撮像装置であって、
前記２以上の光電変換部に含まれる第１の光電変換部にて発生した電荷に基づく第１の信号と、前記第１の光電変換部を含み、且つ前記２以上の光電変換部に含まれる複数の光電変換部にて発生した電荷に基づく第２の信号とを前記撮像素子から取得する取得手段と、
前記第１の信号及び前記第２の信号を用いて合焦度を評価する評価手段と、
前記第１の信号及び前記第２の信号を用いて画像データを生成する生成手段と、
前記配列の中において前記第１の信号及び前記第２の信号の読み出し範囲を制御する制御手段と、
を備え、
前記制御手段は少なくとも前記第１の信号の読み出し範囲を、前記第１の信号が前記評価手段にて合焦度の評価に用いられるか、または前記生成手段にて画像データの生成に用いられるかに基づいて制御することを特徴とする撮像装置。
【請求項２】
前記撮像素子は前記配列の中において前記光束を遮光するための遮光部を備える遮光領域を含み、
前記制御手段は前記第１の信号が前記評価手段にて合焦度の評価に用いられる場合に、前記遮光領域の範囲において前記第１の信号の読み出しを行わないことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は前記配列の中において前記光束が遮光された遮光領域を含み、
前記制御手段は前記第１の信号が前記評価手段にて合焦度の評価に用いられる場合に、前記遮光領域の範囲において前記第１の信号を所定の間隔で間引いて又は加算して読み出すことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像素子は前記配列の中において前記光束を受光する有効領域を含み、
前記遮光領域は前記有効領域の周囲に配置されていることを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記遮光領域から読み出された第１の信号及び第２の信号から第１の補正値及び第２の補正値をそれぞれを算出する算出手段と、
前記算出手段で算出した前記第１の補正値及び前記第２の補正値を用いて、算出後に読み出される前記第１の信号及び前記第２の信号を補正する補正手段とを更に備えることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記補正手段は前記第１の信号を補正するための第１の補正手段と、前記第２の信号を補正するための前記第１の補正手段とは異なる第２の補正手段とを含むことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段によって前記遮光領域の範囲において前記第１の信号の読み出しを制御する場合に、前記補正手段は前記第１の信号においては補正を行わないことを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記第２の信号から前記第１の信号を減算することで第３の信号を取得する減算手段をさらに備え、
前記評価手段は、前記第１の信号及び前記第３の信号の位相差に基づいて合焦度を評価することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記生成手段は、前記第１の信号と前記第３の信号をシフト加算することで仮想結像面での画像データを再構成する再構成手段を含むことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
１つのマイクロレンズに対して瞳分割された２以上の光束をそれぞれ受光する２以上の光電変換部を有し、当該マイクロレンズが２次元状に配列されている撮像素子を用いて被写体像を取得する撮像装置であって、
前記２以上の光電変換部に含まれる第１の光電変換部にて発生した電荷に基づく第１の信号と、前記第１の光電変換部を含み、且つ前記２以上の光電変換部に含まれる複数の光電変換部にて発生した電荷に基づく第２の信号とを読み出す制御を行う制御手段と、
前記第１の信号及び前記第２の信号を用いて合焦度を評価する評価手段と、
前記第１の信号及び前記第２の信号を用いて画像データを生成する生成手段と、
を備え、
前記制御手段は撮像モードとして、前記配列の中において少なくとも前記第１の信号を読み出す範囲を制限する第１のモードと、前記配列の中において前記第１のモードよりも広い範囲で前記第１の信号を読み出す第２のモードとを含み、
前記制御手段は前記第１の信号が前記生成手段にて画像データの生成に用いられるか否かよって前記第１のモードと前記第２のモードとを切換えることを特徴とする撮像装置。
【請求項１１】
前記撮像素子は前記配列の中において前記光束を遮光するための遮光部を備える遮光領域を含み、
前記制御手段は、前記第１のモードにおいて前記遮光領域の範囲で前記第１の信号の読み出しを制限し、前記第２のモードにおいて前記遮光領域の範囲で前記第１の信号の読み出しを制限しないことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記制御手段は前記第１の信号が前記評価手段にて合焦度の評価に用いられる場合に、
前記撮像モードを前記第１のモードに切り替えることを特徴とする請求項１０又は１１に記載の撮像装置。
【請求項１３】
前記生成手段にて少なくとも前記第１の信号を画像データの生成に用いられるか否かをユーザが設定するための設定手段をさらに備え、
前記設定手段において前記生成手段にて少なくとも前記第１の信号を画像データの生成に用いられる設定がされた場合に、前記撮像モードを前記第２のモードに切り替えることを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
１つのマイクロレンズに対して瞳分割された２以上の光束をそれぞれ受光する２以上の光電変換部を有し、当該マイクロレンズが２次元状に配列されている撮像素子を用いて被写体像を取得する撮像装置の制御方法であって、
前記２以上の光電変換部に含まれる第１の光電変換部にて発生した電荷に基づく第１の信号と、前記第１の光電変換部を含み、且つ前記２以上の光電変換部に含まれる２以上の光電変換部にて発生した電荷に基づく第２の信号とを前記撮像素子から取得する取得ステップと、
前記第１の信号及び前記第２の信号を用いて合焦度を評価する評価ステップと、
前記第１の信号及び前記第２の信号を用いて画像データを生成する生成ステップと、
前記配列の中において前記第１の信号及び前記第２の信号の読み出し範囲を制御する制御ステップと、
を備え、
前記制御ステップにて、少なくとも前記第１の信号の読み出し範囲は、前記第１の信号が前記評価手段にて合焦度の評価に用いられるか、または前記生成手段にて画像データの生成に用いられるかに基づいて制御されることを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特には画素毎に複数の光電変換部を有する撮像素子を用いた撮像装置に関するものである。
【背景技術】
【０００２】
近年、ＣＭＯＳ（相補型金属酸化膜半導体）センサなどの撮像素子を用いた撮像装置では多機能化が進んでいる。例えば、特許文献１では、撮像素子から得た撮像信号を用いて瞳分割方式の焦点検出を行う技術が開示されている。撮像素子の画素毎に１つのマイクロレンズと２つのフォトダイオードを備えることにより、各フォトダイオードは撮像レンズの異なる瞳領域を通過した光を受光する。各フォトダイオードから出力される出力信号を比較することで焦点検出が可能となると共に、これらの出力信号を加算することで撮像画像データを生成可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１２４９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述した撮像信号は、画素ごとに複数の信号が含まれるために、高速なフレームレートを要求され且つ焦点検出を伴う撮像モードの場合に、読出し時間が間に合わない場合があった。さらには、各出力信号の出力タイミングの時間差により生じるオフセット差が生じてしまい、撮像画像データを取得した後に画像処理を行う撮像モードの場合に、適切に画像処理ができない場合があった。
【０００５】
そこで、本発明の目的は、撮像装置に設定された撮像モードに応じて、適切なオフセット補正及び高速なフレームレートの実現を可能にした撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る撮像装置は、１つのマイクロレンズに対して瞳分割された２以上の光束をそれぞれ受光する２以上の光電変換部を有し、当該マイクロレンズが２次元状に配列されている撮像素子を用いて被写体像を取得する撮像装置であって、前記２以上の光電変換部に含まれる第１の光電変換部にて発生した電荷に基づく第１の信号と、前記第１の光電変換部を含み、且つ前記２以上の光電変換部に含まれる２以上の光電変換部にて発生した電荷に基づく第２の信号とを前記撮像素子から取得する取得手段と、前記第１の信号及び前記第２の信号を用いて合焦度を評価する評価手段と、前記第１の信号及び前記第２の信号を用いて画像データを生成する生成手段と、前記配列の中において前記第１の信号及び前記第２の信号の読み出し範囲を制御する制御手段と、を備え、前記制御手段は少なくとも前記第１の信号の読み出し範囲を、前記第１の信号が前記評価手段にて合焦度の評価に用いられるか、または前記生成手段にて画像データの生成に用いられるかに基づいて制御することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像装置に設定された撮像モードに応じて、適切なオフセット補正及び高速なフレームレートの実現を可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態における撮像装置のブロック図である。
【図２】本発明の実施形態における撮像素子の画素配置図である。
【図３】本発明の実施形態における撮像レンズの射出瞳から出る光束と画素との関係を示す模式図である。
【図４】本発明の実施形態における撮像素子の副画素から得られる像信号波形を示す模式図である。
【図５】本発明の実施形態における撮像素子の全体構成図である。
【図６】本発明の実施形態における撮像素子の単位画素（一画素）の回路構成図である。
【図７】本発明の実施形態における撮像素子の列共通読出し回路の構成図である。
【図８】本発明の実施形態における撮像素子の各行の読出し動作を示すタイミングチャートである。
【図９】本発明の実施形態における画素領域の構成例を示す図である。
【図１０】本発明の実施形態における撮像装置のＤＳＰのブロック図および第１のモードにおける信号処理の説明図である。
【図１１】本発明の実施形態における撮像装置のＤＳＰのブロック図および第２のモードにおける信号処理の説明図である。
【図１２】本発明の実施形態における再構成処理の概略説明図である。
【図１３】本発明の第１の実施形態における撮像モードごとに読出しの変更を行うフローの例である。
【図１４】本発明の第１の実施形態における水平ＯＢ領域のＡ像を読み出さない場合の撮像素子の各行の読出し動作を示すタイミングチャートである。
【図１５】本発明の第１の実施形態における撮像モードごとに読み出される画素領域の模式図である。
【図１６】本発明の第２の実施形態における撮像モードごとに読出しの変更を行うフローである。
【図１７】本発明の第２の実施形態における画素間引きの説明図である。
【図１８】本発明の第２の実施形態における撮像モードごとに読み出される画素領域の模式図である。
【図１９】本発明の第２の実施形態における画素加算の説明図である。
【図２０】本発明の第２の実施形態における撮像モードごとに読み出される画素領域の模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する場合にその説明は省略する。
【００１０】
（第１の実施形態）
図１は、本実施形態における撮像装置１００のブロック図である。１０１は、結像光学系の先端に配置された第１レンズ群であり、不図示の鏡筒（ラックやガイドバー等含む）によって光軸方向に進退可能に保持される。
【００１１】
１０２は絞りであり、その開口径を調節することにより撮像時の光量調節を行う。開口径は複数の絞り羽を組み合わせることで、形成してもよいし、複数種類の径の開口を備える板を挿抜するようにしてもよい。また、ＮＤフィルタ等の減光フィルタを組み合わせるようにしてもよい。
【００１２】
１０３は第２レンズ群であり、第１レンズ群１０１の進退動作と連動することにより、変倍動作（ズーム機能）を行う。１０４は第３レンズ群であり、光軸方向の進退により焦点調節を行う。１０５は光学的ローパスフィルタであり、撮像画像の偽色やモアレを軽減するための光学素子である。
【００１３】
本実施形態において、前述の各レンズ群により撮像光学系が構成される。また、撮像光学系を有するレンズ装置と撮像装置本体とは一体的に構成されているが、本実施形態はこれに限定されるものではない。例えば、本実施形態は、撮像装置本体と、撮像装置本体に着脱可能に取り付けられたレンズ装置（撮像光学系）とにより構成された撮像システムにも適用可能である。
【００１４】
１０６は撮像素子であり、撮像光学系（前述の各レンズ群）により結像された被写体像（光学像）を光電変換する。本実施形態において、撮像素子１０６は、ベイヤー配列のカラーフィルタを有するＣＭＯＳイメージセンサである。撮像素子１０６から出力されるアナログ信号は、ＡＦＥ１０７によりデジタル信号に変換される。ＡＦＥ１０７（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）から出力されるデジタル信号は、ＤＦＥ１０８（Ｄｉｇｉｔａｌ  Ｆｒｏｎｔ  Ｅｎｄ）に入力され、所定の演算処理が行われる。ＤＦＥ１０８は、後述のＤＳＰ１０９とともに信号処理部を構成する。本実施形態において、ＡＦＥ１０７、ＤＦＥ１０８は撮像素子１０６と異なるブロックとしたが、撮像素子１０６内に積層構造を用いて内蔵するようにしもてよい。なお、撮像素子１０６はＣＭＯＳイメージセンサではなく、光電変換膜を用いたイメージセンサであってもよい。
【００１５】
撮像素子１０６は、基準信号となる信号（黒基準信号）を得るために、光電変換部が光に反応しないように遮光部を備えるオプティカルブラック領域を備えている。なお、光に反応しないようにするためには、光電変換部よりも上部において光電変換部を覆うように金属等による遮光層を設けることが一般的ではあるが、これに限られない。例えば、光電変換部自体を有さない画素を設けるようにしてもよい。受光量に応じた信号を出力する有効画素の各信号は、オプティカルブラック領域で得たレベルを基準として演算処理されることで色再現の精度を高めることが可能となる。本実施形態において、オプティカルブラック領域に含まれる画素をオプティカルブラック画素（ＯＢ画素）と呼ぶ。ＯＢ画素は光学像を光電変換する有効領域である有効画素領域の周囲に設けられている。特に有効画素領域の左右に設けられたＯＢ領域（水平ＯＢ領域）は他の領域よりもＯＢ画素を多く設けている。例えば、有効画素領域の上部（垂直ＯＢ領域）には４画素（行）分のＯＢ画素を設けているが、水平ＯＢ領域には１２８〜２５６画素（列）分のＯＢ画素を設けている。この水平ＯＢ領域の平均値を行ごとに平均化して補正値を算出し、算出した補正値を有効画素領域の画素から出力される信号に対して減算処理（ＯＢクランプ処理）することでオフセットを補正することができる。
【００１６】
１０９はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｅｒ）であり、ＤＦＥ１０８から出力されるデジタル信号に対する補正処理や現像処理等を行い、画像データを生成する。またＤＳＰ１０９は、焦点ズレ量（合焦度）を算出するＡＦ（オートフォーカス）演算も行う。また、不図示の通信手段を備え、ＰＣ等の外部装置に対して撮像装置１００から取得した画像データやその他制御に関するコマンド等の通信を行う。本実施形態において通信手段はケーブル等を用いた有線通信であってもよいし、無線通信を用いてもよい。
【００１７】
１１０は、画像データを記録する記録媒体である。１１１は、撮像画像や各種のメニュー画面などを表示するための表示部であり、液晶ディスプレイ（ＬＣＤ）や有機ＥＬなどが用いられる。本実施形態においては表示部１１１にはタッチパネルが設けられており、撮像装置１００を制御するための操作や設定等を受け付ける。なお、タッチパネル以外にもシャッタボタン等の操作部を設けるようにしてもよい。
【００１８】
１１２は、画像データなどを一時的に記憶するＲＡＭであり、ＤＳＰ１０９と接続されている。１１３はタイミングジェネレータ（ＴＧ）であり、ＣＰＵ１１４からの制御によって撮像素子１０６に駆動信号や各種パラメータを供給する。なお、ＴＧ１１３は撮像素子１０６に含まれる構成としてもよい。
【００１９】
１１４はＣＰＵであり、ＡＦＥ１０７、ＤＦＥ１０８、ＤＳＰ１０９、ＴＧ１１３、および、絞り駆動回路１１５等の撮像装置１００の全体制御を統括的に行う。またＣＰＵ１１４は、ＤＳＰ１０９のＡＦ演算結果に基づいて、フォーカス駆動回路１１６を制御する。また、ＣＰＵ１１４は不図示のメモリ回路を含む。当該メモリ回路は、一例としてＣＰＵ１１４にて処理された画像データ等を記録する不揮発性メモリあるいはメモリカード等の記録媒体である。ＣＰＵ１１４はこれに記憶されたプログラムを実行する。なお、メモリ回路は、ＣＰＵ１１４が実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。加えて、メモリ回路は本実施形態の撮像装置１００が撮像する画像データや、メタデータ等を記憶するようにしてもよい。また、ＣＰＵ１１４に含まれるメモリをＲＡＭ１１２又はＲＯＭ１１９に含めるようにしてもよい。
【００２０】
１１５は絞り駆動回路であり、絞りアクチュエータ１１７を制御することにより、絞り１０２を駆動する。１１６はフォーカス駆動回路であり、フォーカスアクチュエータ１１８を制御することにより、第３レンズ群１０４を光軸方向に進退させて（駆動して）焦点調節を行う。１１９は、各種の補正データや製造時の調整パラメータなどを記憶するＲＯＭである。
【００２１】
続いて、図２を参照して、本実施形態における撮像素子１０６の画素配置について説明する。図２は、撮像素子１０６の画素配置図である。図２に示されるように、撮像素子１０６には、単位画素３００（一画素）が行列状に配列され、各画素上にはそれぞれＲ（Ｒｅｄ）／Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）のカラーフィルタがベイヤー配列により２次元状に配置されている。また、単位画素３００内にはそれぞれ副画素ａ（第１光電変換部）、副画素ｂ（第２光電変換部）が配置されている。図２中の４０１ａ、４０１ｂは、副画素ａ、副画素ｂのそれぞれのフォトダイオード（ＰＤ）である。副画素ａ、副画素ｂの各々の出力信号は主に焦点検出に利用され、焦点検出信号に相当する。また、副画素ａ、副画素ｂの出力信号を加算して得られた信号（ａ／ｂ加算信号）は、画像生成（撮像画像の生成）に用いられる撮像信号に相当する。また、本実施形態の撮像装置１００は、副画素ａ、副画素ｂを加算せずに画像生成に用いることも可能である。なお、ここで、副画素ａ、副画素ｂは画像生成するためのａ／ｂ加算信号を得る光電変換部を水平方向に分割しているともいえる。そのため、本実施形態においては、副画素ａ、副画素ｂによりが配置されている方向を分割方向と称する場合がある。
【００２２】
続いて、図３を参照して、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、および、第３レンズ群１０４により構成される撮像光学系の射出瞳から射出される光束と撮像素子１０６の光軸付近に配置されている単位画素３００との関係について説明する。図３は、撮像光学系の射出瞳から出る光束と撮像光学系の光軸付近にある単位画素３００との関係を示す模式図である。
【００２３】
２０１はカラーフィルタ、２０２はマイクロレンズである。カラーフィルタ２０１およびマイクロレンズ２０２は、それぞれ、単位画素３００の上部に画素ごとに形成されている。２０３は、撮像光学系（撮像レンズ）の射出瞳に相当する。２０４は撮像光学系の光軸であり、マイクロレンズ２０２を有する画素（単位画素３００）に対して射出瞳２０３から出た光束の中心を示している。射出瞳２０３を通過した光束は、光軸２０４を中心として単位画素３００に入射する。２０５、２０６は、撮像光学系（撮像レンズ）の射出瞳のうち互いに異なる瞳領域（一部領域）である。図３に示されるように、瞳領域２０５を通過する光束は、マイクロレンズ２０２を介して、副画素ａにより受光される。一方、瞳領域２０６を通過する光束は、マイクロレンズ２０２を介して、副画素ｂにより受光される。このように、副画素ａ、副画素ｂは、それぞれ、撮像レンズの射出瞳の別々の領域（互いに異なる領域）の光を受光している。このため、副画素ａ、副画素ｂから出力される焦点検出信号を比較することにより、位相差方式の焦点検出が可能となる。なお、焦点検出信号の比較はＤＳＰ１０９で行うため、ＤＳＰ１０９は合焦度を評価するための評価部に相当する。
【００２４】
続いて、図４を参照して、複数の撮像素子１０６の副画素ａ、副画素ｂから得られる焦点検出信号について説明する。図４は、複数の副画素ａ、副画素ｂから得られる焦点検出信号を副画素の分割方向に並べて生成した波形（像信号波形）の模式図である。図４（ａ）は合焦状態から大きく外れている場合（非合焦状態）、図４（ｂ）は合焦状態に近い状態（略合焦状態）をそれぞれ示している。図４（ａ）、（ｂ）において、縦軸は信号出力を示し、横軸は位置（画素水平位置）を示している。
【００２５】
図４（ａ）に示されるように合焦状態から外れている場合（非合焦状態の場合）、副画素ａ、副画素ｂから得られる像信号波形は互いに一致せず、大きくずれた状態となる。非合焦状態から合焦状態に近づくと、図４（ｂ）に示されるように副画素ａ、副画素ｂの互いの像信号波形のズレは小さくなる。そして合焦状態において、これらの像信号波形は互いに重なる。このように、副画素ａ、副画素ｂから得られる像信号波形のズレ（ズレ量）から焦点のズレ量（デフォーカス量）を検出することが可能となる。そして、検出した結果により、焦点調節を行うことができる。
【００２６】
続いて、図５を参照して、撮像素子１０６の全体構成について説明する。図５は、撮像素子１０６の全体構成図である。ＰＡは撮像素子１０６の画素領域である。画素領域ＰＡには、単位画素３００がｐ１１〜ｐｋｎのように二次元状（行列状）に配置されている。
【００２７】
ここで、図６を参照して、単位画素３００（一画素）の回路構成について説明する。図６は、単位画素３００の回路構成図である。副画素ａ、副画素ｂのＰＤ４０１ａ、４０１ｂは、入射した光信号（光学像）を光電変換し、露光量に応じた電荷を蓄積する。４０２ａ、４０２ｂは転送ゲートであり、信号ｔｘａ、ｔｘｂをＨｉｇｈレベルにすることにより、ＰＤ４０１ａ、４０１ｂに蓄積されているそれぞれの電荷が共通のＦＤ部４０３（フローティングディフュージョン部）に転送される。ＦＤ部４０３は、ＦＤアンプ４０４（フローティングディフュージョンアンプ）のゲートに接続されており、ＦＤアンプ４０４によりＰＤ４０１ａ、４０１ｂから転送された電荷量が電圧に変換される。
【００２８】
４０５は、ＦＤ部４０３をリセットするためのＦＤリセットスイッチであり、信号ｒｅｓをＨｉｇｈレベルとすることにより、ＦＤ部４０３がリセットされる。また、ＰＤ４０１ａ、４０１ｂの電荷をリセットする場合、信号ｒｅｓと信号ｔｘａ、ｔｘｂとを同時にＨｉｇｈレベルとすることにより、転送ゲート４０２ａ、４０２ｂおよびＦＤリセットスイッチ４０５の両方をオンにする。そして、ＦＤ部４０３を経由して、ＰＤ４０１ａ、４０１ｂのリセットを行う。４０６は、画素選択スイッチであり、信号ｓｅｌをＨｉｇｈレベルとすることにより、ＦＤアンプ４０４で電圧に変換された画素信号が単位画素３００（画素）の出力ｖｏｕｔに出力される。
【００２９】
図５に戻り、垂直走査回路３０１は、前述の各画素（単位画素３００）のトランジスタを制御する信号ｒｅｓ、ｔｘａ、ｔｘｂ、ｓｅｌなどの駆動信号や、画素電圧であるＶｄｄなどを単位画素３００に供給する。これらの駆動信号は、画素領域ＰＡの行ごとに共通である。各画素の出力ｖｏｕｔは、列ごとに垂直出力線３０２を介して列共通読出し回路３０３（ｃｌｍ１、ｃｌｍ２、…、ｃｌｍｋ）に接続されている。
【００３０】
ここで、図７を参照して、列共通読出し回路３０３の回路構成について説明する。図７は、列共通読出し回路３０３の構成図である。垂直出力線３０２は、列ごとに設けられ、一列分の単位画素３００の出力ｖｏｕｔが接続されている。垂直出力線３０２には、電流源３０４が接続されており、電流源３０４と、垂直出力線３０２に接続された単位画素３００のＦＤアンプ４０４とにより、ソースフォロワ回路が構成される。５０１はクランプ容量Ｃ１、５０２はフィードバック容量Ｃ２、５０３は演算増幅器であり、非反転入力端子には基準電源Ｖｒｅｆが接続されている。５０４は、フィードバック容量Ｃ２の両端をショートさせるためのスイッチであり、信号ｃｆｓで制御される。
【００３１】
転送スイッチ５０５〜５０８は、それぞれ、単位画素３００から読み出された画素信号を容量５０９〜５１２にそれぞれ転送するスイッチである。後述する読出し動作により、容量５０９（第１のＳ信号保持容量）には副画素ａの画素信号Ｓａが記憶され、容量５１１（第２のＳ信号保持容量）には副画素ａ、副画素ｂの信号を加算して得られたａ／ｂ加算信号Ｓａｂが記憶される。また、容量５１０（第１のＮ信号保持容量）および容量５１２（第２のＮ信号保持容量）には、それぞれ、単位画素３００のノイズ信号Ｎ（Ｎ信号）が記憶される。容量５０９〜５１２は、列共通読出し回路３０３の出力ｖｓａ、ｖｎａ、ｖｓｂ、ｖｎｂにそれぞれ接続されている。
【００３２】
図５に戻り、列共通読出し回路３０３の出力ｖｓａ、ｖｎａは、水平転送スイッチ３０５、３０６にそれぞれ接続されている。水平転送スイッチ３０５、３０６は、水平走査回路３１１の出力信号ｈａ＊（「＊」は列番号１〜ｋ）により制御される。そして、信号ｈａ＊がＨｉｇｈレベルになることにより、容量５０９（第１のＳ信号保持容量）および容量５１０（第１のＮ信号保持容量）の信号が水平出力線３０９、３１０へそれぞれ転送される。また、列共通読出し回路３０３の出力ｖｓｂ、ｖｎｂは、水平転送スイッチ３０７、３０８にそれぞれ接続されている。水平転送スイッチ３０７、３０８は、水平走査回路３１１の出力信号ｈｂ＊（「＊」は列番号１〜ｋ）により制御される。そして、信号ｈｂ＊がＨｉｇｈレベルになることにより、容量５１１（第２のＳ信号保持容量）および容量５１２（第２のＮ信号保持容量）の信号が水平出力線３０９、３１０へそれぞれ転送される。
【００３３】
水平出力線３０９、３１０は、差動増幅器３１４の入力部に接続されている。差動増幅器３１４は、Ｓ信号とＮ信号との差分をとると同時に、所定のゲインをかけ、最終的な出力信号を出力端子３１５へ出力する。３１２、３１３は水平出力線リセットスイッチであり、信号ｃｈｒｅｓがＨｉｇｈレベルになることによりオンになり、水平出力線３０９、３１０はそれぞれ、リセット電圧Ｖｃｈｒｅｓにリセットされる。以上より、行においては信号ｓｅｌを、列においては信号ｈａ＊又は信号ｈｂ＊を選択的に出力することによって、どの領域の画素から信号を出力するかを制御することができる。
【００３４】
次に、図８を参照して、撮像素子１０６の読出し動作について説明する。図８は、撮像素子１０６の各行の読出し動作を示すタイミングチャートである。まず、信号ｃｆｓをＨｉｇｈレベルにしてスイッチ５０４をオンにすることにより、演算増幅器５０３をバッファ状態にする。続いて、信号ｓｅｌをＨｉｇｈレベルにして画素の画素選択スイッチ４０６をオンにする。その後、信号ｒｅｓをＬｏｗレベルにしてＦＤリセットスイッチ４０５をオフし、ＦＤ部４０３のリセットを開放する。
【００３５】
続いて、信号ｃｆｓをＬｏｗレベルに戻してスイッチ５０４をオフした後、信号ｔｎａ、ｔｎｂをＨｉｇｈレベルに設定する。これにより、転送スイッチ５０６、５０８を介して、容量５１０（第１のＮ信号保持容量）および容量５１２（第２のＮ信号保持容量）にＮ信号を記憶させる。
【００３６】
続いて、信号ｔｎａ、ｔｎｂをＬｏｗレベルにし、転送スイッチ５０６、５０８をオフにした後、信号ｔｓａをＨｉｇｈレベルにして転送スイッチ５０５をオンにするとともに、信号ｔｘａをＨｉｇｈレベルにすることにより転送ゲート４０２ａをオンにする。この動作により、副画素ａのＰＤ４０１ａに蓄積されていた信号は、ＦＤアンプ４０４および画素選択スイッチ４０６を介して、垂直出力線３０２へ出力される。垂直出力線３０２の画素信号は、演算増幅器５０３においてクランプ容量Ｃ１とフィードバック容量Ｃ２との容量比に応じたゲインで増幅され、転送スイッチ５０５を介して、容量５０９（第１のＳ信号保持容量）に記憶される。
【００３７】
次に、信号ｔｘａと信号ｔｓａとを順次Ｌｏｗレベルにした後、信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ５０７をオンにするとともに、信号ｔｘａ、ｔｘｂをＨｉｇｈレベルにすることにより、転送ゲート４０２ａ、４０２ｂをオンにする。この動作により、副画素ｂのＰＤ４０２ｂに蓄積されていた信号は、ＦＤ部４０３において副画素ａの信号と加算され、加算信号はＦＤアンプ４０４および画素選択スイッチ４０６を介して、垂直出力線３０２へ出力される。ここで、加算信号が垂直出力線３０２への出力時間が、前述の副画素ａのＰＤ４０１ａに蓄積されていた信号の出力時間と異なることが、オフセット差が生じる原因である。垂直出力線３０２の信号は、演算増幅器５０３においてクランプ容量Ｃ１とフィードバック容量Ｃ２との容量比に応じたゲインで増幅され、転送スイッチ５０７を介して、容量５１１（第２のＳ信号保持容量）に記憶される（ａ／ｂ加算信号Ｓａｂ）。そして、転送ゲート４０２ａ、４０２ｂおよび転送スイッチ５０７を順次オフにした後、信号ｒｅｓをＨｉｇｈレベルにしてＦＤリセットスイッチ４０５をオンにし、ＦＤ部４０３をリセットする。水平走査回路３１１の出力ｈａ１がＨｉｇｈレベルになることにより、水平転送スイッチ３０５、３０６がオンになる。そして、容量５０９（第１のＳ信号保持容量）および容量５１０（第１のＮ信号保持容量）の信号が水平出力線３０９、３１０および差動増幅器３１４を介して、出力端子３１５に出力される。水平走査回路３１１は、各列の選択信号である出力信号ｈａ１、ｈａ２、…、ｈａｋを順次Ｈｉｇｈにすることにより、一行分のａ信号（Ａ像）を出力する。Ａ像の読出しが終了すると、続いて、水平走査回路３１１の出力信号ｈｂ１がＨｉｇｈレベルになることにより、水平転送スイッチ３０７、３０８がオンになる。そして、容量５１１（第２のＳ信号保持容量）および容量５１２（第２のＮ信号保持容量）の信号が水平出力線３０９、３１０および差動増幅器３１４を介して、出力端子３１５に出力される。水平走査回路３１１は、各列の選択信号である出力信号ｈｂ１、ｈｂ２、…、ｈｂｋを順次Ｈｉｇｈにすることにより、一行分のａ／ｂ加算信号（Ａ＋Ｂ像）を出力する。
【００３８】
なお、出力信号ｈａ１〜ｈａｋおよび出力信号ｈｂ１〜ｈｂｋにより各列の信号が読み出される間、信号ｃｈｒｅｓをＨｉｇｈレベルにする。これにより、水平出力線リセットスイッチ３１２、３１３をオンにし、一旦、水平出力線３０９、３１０をリセット電圧Ｖｃｈｒｅｓのレベルにリセットする。
【００３９】
次に、図９を参照して本実施形態における撮像素子１０６における画素領域の構成を説明する。有効画素領域の上部と左部を囲むように遮光領域を配置し、有効画素領域の左部遮光領域に水平ＯＢ領域を配置する。撮像素子１０６はＴＧ１１３の信号に基づいて、画素領域の左上の画素から順次走査して信号を出力する。具体的には垂直ＯＢ領域に含まれる行における信号を出力した後に、水平ＯＢ領域または有効画素領域における信号を出力する。このように配置することで、垂直ＯＢ領域より生成する補正値に基づいて全体のＯＢクランプ処理が可能となる。更には、各行ごとに水平ＯＢ領域の信号を出力することで、水平ＯＢ領域より生成する補正値に基づいて行ごとにＯＢクランプ処理が可能となり、画面内（特に上下方向）に発生するオフセット差を有効に補正することが可能となる。
【００４０】
本実施形態において撮像素子１０６の領域（ＯＢ領域及び有効画素領域）に含まれる画素には副画素ａ、副画素ｂが含まれている。そして、本実施形態における撮像装置１００は副画素ａまたは副画素ｂの出力信号（Ａ像またはＢ像）を焦点検出に利用するための焦点検出信号としてのみ用いる第１のモードを備える。さらに、撮像信号に加えてＡ像またはＢ像を画像データの生成に使用する第２のモードを備える。第１のモードは焦点検出を行いながらライブビュー表示や動画撮像が目的である。第２のモードは撮像後に撮像画像の合焦位置を変更等の追加の画像処理を撮像装置１００内又は外部装置にて行うための撮像が目的である。いずれのモードで撮像するかは不図示の操作部材でユーザによって切換えや設定される場合と、撮像装置１００の動作変更から判断してＣＰＵ１１４によって自動的に切換えや設定される場合がある。
【００４１】
図１０を参照して、ＤＳＰ１０９におけるＡ像およびＡ＋Ｂ像の信号処理方法について説明する。図１０は、本実施形態における第１のモードのＤＳＰ１０９のブロック図および信号処理の説明図である。
【００４２】
６０１は入力データ処理部である。入力データ処理部６０１には、前述の読出し動作により撮像素子１０６から読み出された信号（Ａ像、Ａ＋Ｂ像）が、ＡＦＥ１０７およびＤＦＥ１０８を経由して入力される。入力データ処理部６０１は、まず入力された信号をＡＦ演算用のデータと画像処理用のデータに分岐させる。画像処理用にＡ＋Ｂ像を第１のＯＢクランプ部６０２に出力する。また、ＡＦ演算用のデータとしては、ＤＦＥ１０８から入力されたＡ像とＡ＋Ｂ像を、第２のＯＢクランプ部６０４に出力する。
【００４３】
ＯＢクランプ部６０２は、垂直ＯＢ領域におけるＡ＋Ｂ像の平均値（加算平均または移動平均）を算出する。また、水平ＯＢ領域のＡ＋Ｂ像の行ごとの平均値を算出し、垂直ＯＢ領域において算出した平均値と合わせて行ごとの補正値を算出する。そして、算出後に読み出される有効画素領域のＡ＋Ｂ像に対して減算処理を実施する。
【００４４】
画像用像補正部６０３では、オフセット補正やゲイン補正などの補正が行われる。画像用像補正部６０３で処理されたデータは、その後、現像処理が行われ、静止画や動画などの画像データの生成に用いられる。なお、画像用像補正部６０３における補正に用いる補正パラメータはＲＯＭ１１９等に保存されているものであってもよいし、垂直又は水平ＯＢ領域において、その都度生成するようにしてもよい。
【００４５】
一方、ＯＢクランプ部６０４は、ＯＢクランプ部６０２とは異なり垂直ＯＢ領域のみからＡ像及びＡ＋Ｂ像の平均値を算出し、行ごとの補正値として算出後に読み出される有効画素領域のＡ像及びＡ＋Ｂ像に対して減算処理を実施する。なお、本実施形態のＯＢクランプ部６０４においてＡ＋Ｂ像については水平ＯＢ領域を用いて補正値を生成するようにしてもよい。
【００４６】
画素加算処理部６０５は、Ａ像およびＡ＋Ｂ像に対して、画素加算処理を行う。具体的には本実施形態において、画素加算処理部６０５は、Ａ像に対して、図１０の太枠で示すように更に２×２画素のベイヤー配列単位で画素信号（Ａ像）を加算して輝度信号Ａ（Ｙａ）を生成する。同様に、Ａ＋Ｂ像に対しても２×２画素のベイヤー配列単位の加算を行うことによりＹａと同等の空間サンプリング周波数を持つ輝度信号ＡＢ（Ｙａｂ）を生成する。
【００４７】
６０６は像信号減算部である。像信号減算部６０６は、輝度信号ＡＢ（Ｙａｂ）から対応する輝度信号Ａ（Ｙａ）を減算することにより、輝度信号Ｂ（Ｙｂ）を生成する。輝度信号ＡＢ（Ｙａｂ）は、副画素ａ、ｂの信号を加算して得られた信号であり、輝度信号Ａ（Ｙａ）は副画素ａの信号である。このため、その差（Ｙａｂ−Ｙａ）は、副画素ｂの輝度信号Ｂ（Ｙｂ）に相当する。
【００４８】
ＡＦ用像補正部６０７では、オフセット補正やゲイン補正などの補正や所定のフィルタ処理が行われる。ＡＦ用像補正部６０７で処理されたデータは、ＡＦ演算部６０８（焦点検出部）に出力される。そしてＡＦ演算部６０８は、補正信号に基づいてＡＦ演算を行い、デフォーカス量を検出する（被写体の焦点ズレ量を算出する）。このときＡＦ演算部６０８は、輝度信号Ａ（Ｙａ）と輝度信号Ｂ（Ｙｂ）に基づいて相関演算などの処理をすることでデフォーカス量を算出する。そしてＣＰＵ１１４は、ＡＦ演算部６０８の演算結果に基づいてフォーカス駆動回路１１６を制御し、焦点調節を行う。
【００４９】
図１１を参照して、ＤＳＰ１０９におけるＡ像およびＡ＋Ｂ像の信号処理方法について説明する。図１１は、本実施形態における第２のモードのＤＳＰ１０９のブロック図および信号処理の説明図である。
【００５０】
６０９は入力データ処理部であり、図１０の入力データ処理部６０１に対応する。入力データ処理部６０９には、前述の読出し動作により撮像素子１０６から読み出された信号（Ａ像、Ａ＋Ｂ像）が、ＡＦＥ１０７およびＤＦＥ１０８を経由して入力される。入力データ処理部６０９は、ＤＦＥ１０８から入力されたＡ像とＡ＋Ｂ像を、所定のタイミングで画像処理用に、ＯＢクランプ部６１０に出力する。
【００５１】
６１０はＯＢクランプ部である。ＯＢクランプ部６１０は、垂直及び水平ＯＢ領域のＡ像の平均値を算出し、有効画素領域のＡ像に対して減算処理を実施する。また、垂直及び水平ＯＢ領域のＡ＋Ｂ像の平均値を算出し、算出後に読み出される有効画素領域のＡ＋Ｂ像に対して減算処理を実施する。
【００５２】
６１１は像信号減算部である。像信号減算部６１１は、Ａ＋Ｂ像（Ｒａｂ）からＡ像（Ｒａ）を減算することにより、Ｂ像（Ｒｂ）を生成する。Ａ＋Ｂ像（Ｒａｂ）は、副画素ａ、ｂの信号を加算して得られた信号であり、Ａ像（Ｒａ）は副画素ａの信号である。このため、その差（Ｒａｂ−Ｒａ）は、副画素ｂのＢ像（Ｒｂ）を表す。
【００５３】
画像用像補正部６１２では、オフセット補正やゲイン補正などの補正が行われる。画像用像補正部６１２で処理されたデータは、その後、記録媒体１１０に保存される。なお、記録媒体１１０にはＡ像とＢ像が保存される例を示したが、Ａ＋Ｂ像も更に保存するようにしてもよい。
【００５４】
記録媒体１１０に保存されたＲａ及びＲｂはその後、ユーザの指示等に基づいて不図示の演算装置で所定の画像処理が行われる。一例として、Ａ像とＢ像をシフト加算することで、式（１）により、画素の撮像面での列座標ｉ、行座標ｊ、整数シフト量ｓに応じた仮想結像面での再構成画像Ｉ（ｊ、ｉ：ｓ）を生成する。整数シフト量ｓは、撮像後に撮像画像の合焦位置を変更する際に、不図示の操作部材でユーザによって設定される。
Ｉ（ｊ，ｉ；ｓ）＝Ａ（ｊ，ｉ）＋Ｂ（ｊ，ｉ＋ｓ）      （１）
【００５５】
Ａ像とＢ像がベイヤー配列であるため、２の倍数のシフト量ｓ＝２ｎ（ｎ：整数）で、同色毎に式（１）のシフト加算を行い、ベイヤー配列を保って、再構成画像Ｉ（ｊ、ｉ：ｓ）を生成する。再構成画像Ｉはその後、現像処理が行われ、静止画や動画などの画像生成に用いられる。
【００５６】
次に図１２を参照して、シフト加算による再構成処理について説明する。図１２は視差画像（第１視差画像と第２視差画像）による瞳分割方向（列方向、水平方向）の再構成処理の概略説明図である。図１２では、ｉを整数として、撮像面８００に配置された撮像素子の列方向ｉ番目の画素の第１視差画像をＡｉ、第２視差画像をＢｉで模式的に表している。第１視差画像Ａｉは、主光線角度θａでｉ番目の画素に入射した光束の受光信号であり、図３における瞳領域２０５を通過する光束の受光信号に対応している。また、第２視差画像Ｂｉは、主光線角度θｂでｉ番目の画素に入射した光束の受光信号であり、図３における瞳領域２０６を通過する光束の受光信号に対応している。
【００５７】
第１視差画像Ａｉと第２視差画像Ｂｉは、光強度分布情報だけでなく、入射角度情報も有している。よって、第１視差画像Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させ、第２視差画像Ｂｉを角度θｂに沿って仮想結像位置８１０まで平行移動させ、加算することで、仮想結像面８１０での再構成画像Ｉを生成できる。第１視差画像Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させることは、列方向に＋０．５画素（半画素分）シフトに対応する。そして、第２視差画像Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させることは、列方向に−０．５画素（半画素分）シフトに対応する。したがって、第１視差画像Ａｉと第２視差画像Ｂｉを相対的に＋１画素シフトさせ、ＡｉとＢｉ＋１を対応させて加算することで、仮想結像面８１０での再構成画像Ｉを生成できる。これより、角度θａと角度θｂの大きさにより、第１視差画像Ａｉと第２視差画像Ｂｉをシフト加算して像面移動させた際の像面移動量が決まることが分かる。
【００５８】
図１３に本実施形態におけるＡ像の水平ＯＢ領域読出しとＯＢクランプ処理の切り替え処理についてのフローチャートを示す。なお、本フローチャートに関する処理はＣＰＵ１１４が実行する。
【００５９】
ステップＳ１３０１において、ＣＰＵ１１４は、撮像装置１００の撮像モードが第１のモードか第２のモードであるかを判断する。具体的にはＣＰＵ１１４内のメモリ回路又はＲＡＭ１１２等に設定されたパラメータを参照し現在のモード設定をはんだんする。第１のモードであると判断した場合はステップＳ１３０２に処理を進める。一方で第２のモードであると判断した場合はステップＳ１３０６に処理を進める。
【００６０】
第１のモードである場合、ステップＳ１３０２において、ＣＰＵ１１４は、ＴＧ１１３を介して撮像素子１０６にＡ像を１行分出力するように制御する。その際、水平走査回路３１１は水平ＯＢ領域に相当する出力信号ｈａ＊をＬｏｗレベルにする様に設定される。それにより、撮像素子１０６は水平ＯＢ領域に含まれる画素からＡ像を生成するための信号を出力しない。そして、ステップＳ１３０３に処理を進める。
【００６１】
ステップＳ１３０３において、ＣＰＵ１１４は、ＴＧ１１３を介して撮像素子１０６にＡ＋Ｂ像を１行分出力するように制御する。その際、水平走査回路３１１は水平ＯＢ領域に相当する出力信号ｈｂ＊を順次Ｈｉｇｈレベルにする様に設定される。それにより、撮像素子１０６は水平ＯＢ領域に含まれる画素からＡ＋Ｂ像を生成するための信号を出力する。そして、ステップＳ１３０４に処理を進める。
【００６２】
図１４はステップＳ１３０２及びステップＳ１３０３に関する水平走査回路３１１の出力信号を説明する図である。水平ＯＢ領域に相当する水平走査回路３１１の出力信号をｈａ１からｈａｉ−１及びｈｂ１からｈｂｉ−１とすると、ｈａ１からｈａｉ−１はＬｏｗレベルのままである。水平ＯＢ領域外の各列の選択信号である出力信号ｈａｉ、ｈａｉ＋１、…、ｈａｋ−１、ｈａｋを順次Ｈｉｇｈにすることにより、水平ＯＢ領域外の一行分のａ信号（Ａ像）を出力する。Ａ像の読出しが終了すると、続いて、水平走査回路３１１は、各列の選択信号である出力信号ｈｂ１、ｈｂ２、…、ｈｂｋを順次Ｈｉｇｈにすることにより、一行分のａ／ｂ加算信号（Ａ＋Ｂ像）を出力する。
【００６３】
図１３のフローチャートに説明を戻す。ステップＳ１３０４において、ＣＰＵ１１４は、ＤＳＰ１０９を制御し、第１のＯＢクランプ処理を行う。具体的には、前述の垂直ＯＢ領域のＡ像から補正値（たとえば、ＯＢ領域のＡ像の平均値）を算出し、算出した補正値を用いて有効画素領域のＡ像に対してＯＢクランプ処理を実施する。一方で前述の垂直及び水平ＯＢ領域のＡ＋Ｂ像から補正値を算出し、算出した補正値を用いて有効画素領域のＡ＋Ｂ像に対してＯＢクランプ処理を実施する。そして、ステップＳ１３０５に処理を進める。
【００６４】
ステップＳ１３０５において、ＣＰＵ１１４は、現状の出力行が最終行であるかを判断して、最終行までステップＳ１３０２乃至ステップＳ１３０４の処理を繰り返す。そして、最終行の処理を終了した後に本フローチャートに関する処理を終了する。
【００６５】
他方、第２のモードである場合、ステップＳ１３０６において、ＣＰＵ１１４は、ＴＧ１１３を介して撮像素子１０６にＡ像を１行分出力するように制御する。その際、水平走査回路３１１は水平ＯＢ領域に相当する出力信号ｈａ＊をＨｉｇｈレベルにする様に設定される。それにより、撮像素子１０６は水平ＯＢ領域に含まれる画素からＡ像を生成するための信号を出力する。そして、ステップＳ１３０７に処理を進める。
【００６６】
ステップＳ１３０７において、ＣＰＵ１１４は、ＴＧ１１３を介して撮像素子１０６にＡ＋Ｂ像を１行分出力するように制御する。その際、水平走査回路３１１は水平ＯＢ領域に相当する出力信号ｈｂ＊をＨｉｇｈレベルにする様に設定される。それにより、撮像素子１０６は水平ＯＢ領域に含まれる画素からＡ＋Ｂ像を生成するための信号を出力する。そして、ステップＳ１３０８に処理を進める。
【００６７】
ステップＳ１３０８において、ＣＰＵ１１４は、ＤＳＰ１０９を制御し、前述の垂直及び水平ＯＢ領域のＡ像から補正値（たとえば、ＯＢ領域のＡ像の平均値）を算出し、算出した補正値を用いて有効画素領域のＡ像に対してＯＢクランプ処理を実施する。さらに、垂直及び水平ＯＢ領域のＡ＋Ｂ像から補正値を算出し、算出した補正値を用いて有効画素領域のＡ＋Ｂ像に対してＯＢクランプ処理を実施する。そして、ステップＳ１３０９に処理を進める。
【００６８】
ステップＳ１３０９において、ＣＰＵ１１４は、現状の出力行が最終行であるかを判断して、最終行までステップＳ１３０６乃至ステップＳ１３０８の処理を繰り返す。そして、最終行の処理を終了した後に本フローチャートに関する処理を終了する。
【００６９】
図１５を参照して、上記フローチャートで像信号を読み出した場合、各信号がどのように読み出されるかを説明する。前述したように、第１のモードでは、Ａ像は水平ＯＢ領域に含まれる画素からの信号が出力されないため、図１５の第１のモードで示すような配置になる。また、第２のモードでは、Ａ像及びＡ＋Ｂ像共に水平ＯＢ領域に含まれる画素からの信号を出力するため、図１５の第２のモードで示すような配置になる。第１のモードと第２のモードを比較すると、第１のモードの方が水平ＯＢ領域のＡ像分だけ読み出すデータが少ないため、読出し時間を短縮できる。
【００７０】
本実施形態を採用した場合、第１のモードの場合は水平ＯＢ領域のＡ像を読み出さない（制限する）ことで読出し時間を短縮し、一定の伝送レートの中でより高速なフレームレートを実現できる。特に、本実施形態においては副画素の分割方向は画面の左右方向と一致しているため、図４で示したように信号波形のズレは水平方向に検出することとなる。したがって、Ａ像に係る信号を焦点検出信号としてのみに用いる場合には垂直方向のオフセット差を補正するＯＢクランプ処理は必ずしも必要ではなくフレームレートを優先することが可能となる。また、そしてＡ像またはＢ像を画像データの生成に使用する第２のモードの場合はＡ像、Ａ＋Ｂ像それぞれに対して適切なＯＢクランプ処理が可能となる。
【００７１】
（第２の実施形態）
実施形態１では、第１のモードでは撮像素子１０６が水平ＯＢ領域のＡ像を出力しないことで読出し時間が短縮し、高速なフレームレートを実現している。これは第１のモードではＡ像を画像生成に使用しないためであるが、画像生成に使用しない場合でも適切なＯＢクランプ処理が要求される場合も考えられる。本実施形態では、そのような場合の読出し動作において第１の実施形態とは異なる読み出しの制限方法ついて説明する。なお、撮像装置の全体の構成や撮像素子の構成は第１の実施形態と同じであるので、その説明は省略する。
【００７２】
図１６に第２の実施形態におけるＡ像の水平ＯＢ領域読出しとＯＢクランプ処理の切り替えについてのフローチャートを示す。なお、本フローチャートに関する処理はＣＰＵ１１４が実行する。
【００７３】
ステップＳ１５０１において、ＣＰＵ１１４は、撮像装置１００の撮像モードが第１のモードか第２のモードであるかを判断する。第１のモードであると判断した場合はステップＳ１５０２に処理を進める。一方で第２のモードであると判断した場合はステップＳ１５０６に処理を進める。
【００７４】
第１のモードである場合、ステップＳ１５０２において、ＣＰＵ１１４は、ＴＧ１１３を介して撮像素子１０６にＡ像を１行分出力するように制御する。その際、水平走査回路３１１は水平ＯＢ領域の間引かれる画素に相当する出力信号ｈａ＊をＬｏｗレベルにし、読み出される画素に相当する出力信号ｈａ＊をＨｉｇｈレベルにする。それにより、撮像素子１０６は水平ＯＢ領域のＡ像を所定量（ｔ）の画素を間引いて出力することが可能となる。Ａ像はベイヤー配列であるため、２の倍数の画素ｔ＝２ｎ（ｎ：整数）間引いて出力することが好ましい。そして、ステップＳ１５０３に処理を進める。
【００７５】
図１７を参照して、撮像素子１０６が画素を間引いて出力する場合の間引き方を説明する。間引きなしの場合、撮像素子が出力する像信号は、ベイヤー配列であるため、Ｒ１、Ｇ１、Ｒ２、Ｇ２…という順番で出力される。ｔ＝２で間引いた場合、撮像素子が出力する像信号は、２画素ずつ（間隔）間引かれるため、Ｒ１、Ｇ２、Ｒ４、Ｇ５…という順番で出力される。ｔ＝４で間引いた場合、撮像素子が出力する像信号は、４画素ずつ（間隔）間引かれるため、Ｒ１、Ｇ３、Ｒ６、Ｇ８…という順番で出力される。
【００７６】
図１６の説明に戻る。ステップＳ１５０３において、ＣＰＵ１１４は、ＴＧ１１３を介して撮像素子１０６にＡ＋Ｂ像を１行分出力するように制御する。その際、水平走査回路３１１は水平ＯＢ領域に相当する出力信号ｈｂ＊を順次Ｈｉｇｈレベルにする様に設定される。それにより、撮像素子１０６は水平ＯＢ領域に含まれる画素からＡ＋Ｂ像を生成するための信号を出力する。そして、ステップＳ１５０４に処理を進める。
【００７７】
ステップＳ１５０４において、ＣＰＵ１１４は、ＤＳＰ１０９を制御し、第１のＯＢクランプ処理を行う。具体的には、前述の垂直ＯＢ領域と水平ＯＢ領域から間引いて出力されたＡ像から補正値（たとえば、ＯＢ領域のＡ像の平均値）を算出し、算出した補正値を用いて有効画素領域のＡ像に対してＯＢクランプ処理を実施する。一方で前述の垂直及び水平ＯＢ領域のＡ＋Ｂ像から補正値を算出し、算出した補正値を用いて有効画素領域のＡ＋Ｂ像に対してＯＢクランプ処理を実施する。そして、ステップＳ１５０５に処理を進める。
【００７８】
ステップＳ１５０５において、ＣＰＵ１１４は、現状の出力行が最終行であるかを判断して、最終行までステップＳ１５０２乃至ステップＳ１５０４の処理を繰り返す。そして、最終行の処理を終了した後に本フローチャートに関する処理を終了する。
【００７９】
他方、第２のモードである場合、ステップＳ１５０６において、ＣＰＵ１１４は、ＴＧ１１３を介して撮像素子１０６にＡ像を１行分出力するように制御する。その際、水平走査回路３１１は水平ＯＢ領域に相当する出力信号ｈａ＊をＨｉｇｈレベルにする様に設定される。それにより、撮像素子１０６は水平ＯＢ領域に含まれる画素からＡ像を生成するための信号を出力する。そして、ステップＳ１５０７に処理を進める。
【００８０】
ステップＳ１５０７において、ＣＰＵ１１４は、ＴＧ１１３を介して撮像素子１０６にＡ＋Ｂ像を１行分出力するように制御する。その際、水平走査回路３１１は水平ＯＢ領域に相当する出力信号ｈｂ＊をＨｉｇｈレベルにする様に設定される。それにより、撮像素子１０６は水平ＯＢ領域に含まれる画素からＡ＋Ｂ像を生成するための信号を出力する。そして、ステップＳ１５０８に処理を進める。
【００８１】
ステップＳ１５０８において、ＣＰＵ１１４は、ＤＳＰ１０９を制御し、前述の垂直及び水平ＯＢ領域のＡ像から補正値（たとえば、ＯＢ領域のＡ像の平均値）を算出し、算出した補正値を用いて有効画素領域のＡ像に対してＯＢクランプ処理を実施する。さらに、垂直及び水平ＯＢ領域のＡ＋Ｂ像から補正値を算出し、算出した補正値を用いて有効画素領域のＡ＋Ｂ像に対してＯＢクランプ処理を実施する。そして、ステップＳ１５０９に処理を進める。
【００８２】
ステップＳ１５０９において、ＣＰＵ１１４は、現状の出力行が最終行であるかを判断して、最終行までステップＳ１５０６乃至ステップＳ１５０８の処理を繰り返す。そして、最終行の処理を終了した後に本フローチャートに関する処理を終了する。
【００８３】
図１８を参照して、上記フローチャートで像信号を読み出した場合、各信号がどのように読み出されるかを説明する。前述したように、第１のモードでは、Ａ像は水平ＯＢ領域に含まれる画素からの信号が間引かれて出力されるため、図１８の第１のモードで示すような配置になる。また、第２のモードでは、Ａ像及びＡ＋Ｂ像共に水平ＯＢ領域に含まれる画素からの信号を出力するため、図１８の第２のモードで示すような配置になる。第１のモードと第２のモードを比較すると、第１のモードの方が水平ＯＢ領域の間引かれたＡ像分だけ読み出すデータが少ないため、読出し時間を短縮できる。
【００８４】
本実施形態を採用した場合、第１のモードの場合は水平ＯＢ領域のＡ像を間引いたことで読出し時間を短縮し、一定の伝送レートの中でより高速なフレームレートを実現する。それと同時に、第１のモードと第２のモードのどちらの場合もＡ像、Ａ＋Ｂ像それぞれに対して適切なＯＢクランプ処理が実現できる。
【００８５】
なお、実施形態１では、第１のモードでは水平ＯＢ領域のＡ像を読み出さないことで高速なフレームレートを実現している。これは第１のモードではＡ像を画像生成に使用しないためであるが、画像生成に使用しない場合でも適切なＯＢクランプ処理が要求される場合も考えられるためである。それに対して本実施形態では、水平ＯＢ領域のＡ像を間引くことでフレームレートの向上とＯＢクランプ処理の補正の両立を図っている。しかし、フレームレートの向上とＯＢクランプ処理の補正を両立する場合に、水平ＯＢ領域のＡ像を間引く以外の動作でも実現可能である。例えば、水平ＯＢ領域のＡ像をｕ画素分加算するようにしてもよい。ここで、撮像素子１０６はベイヤー配列のカラーフィルタ２０１を有するため、加算する画素数は２の倍数＋１の画素ｕ＝２ｎ＋１（ｎ：整数）加算して出力する。なお、信号の加算は公知の方法で、信号保持容量５０９〜５１２を加算対象の容量に接続することで実現可能である。
【００８６】
図１９を参照して、撮像素子１０６が画素を加算して出力する場合の加算の方式を説明する。加算なしの場合、撮像素子が出力する像信号は、ベイヤー配列であるため、Ｒ０、Ｇ０、Ｒ１、Ｇ１…という順番で出力される。ｕ＝３で加算した場合、Ｒ１とＲ２とＲ３を加算して平均した値をＲ´１として出力し、Ｇ１とＧ２とＧ３を加算して平均した値をＧ´２として出力する。そして、Ｒ４とＲ５とＲ６を加算して平均した値をＲ´４として出力し、Ｇ４とＧ５とＧ６を加算して平均した値をＧ´５として出力する。ｕ＝５で加算した場合、Ｒ１とＲ２とＲ３とＲ４とＲ５を加算して平均した値をＲ´１として出力する。そして、Ｇ１とＧ２とＧ３とＧ４とＧ５を加算して平均した値をＧ´３として出力し、Ｒ６とＲ７とＲ８とＲ９とＲ１０を加算して平均した値をＲ´６として出力し、Ｇ６とＧ７とＧ８とＧ９とＧ１０を加算して平均した値をＧ´８として出力する。
【００８７】
図２１を参照して、上記フローチャートで像信号を読み出した場合、各信号がどのように読み出されるかを説明する。前述したように、第１のモードでは、Ａ像は水平ＯＢ領域に含まれる画素からの信号を加算するため図２１の第１のモードで示す量な配置となる。また、第２のモードでは、Ａ像及びＡ＋Ｂ像共に水平ＯＢ領域に含まれるが信号を出力するため、図２１の第２のモードで示すような配置になる。第１のモードと第２のモードを比較すると、第１のモードの方が水平ＯＢ領域のＡ像を加算した分だけ読み出すデータが少ないため、読出し時間を短縮できる。
【００８８】
本実施形態を採用した場合、第１のモードの場合は水平ＯＢ領域のＡ像を加算したことで読出し時間を短縮し、一定の伝送レートの中でより高速なフレームレートを実現できる。それと同時に、第１のモードと第２のモードのどちらの場合もＡ像、Ａ＋Ｂ像それぞれに対して適切なＯＢクランプ処理が実現できる。
【００８９】
なお、各実施形態において、撮像素子１０６の各画素は副画素の分割方向は左右方向はと一致していたがこれに限られるものではない。例えば分割方向を上下方向としても、水平ＯＢ領域に含まれるＡ像の読み出し画素数を制御することで同様の効果を得ることができる。更には、左右または上下に２以上に分割された多分割の画素を有する場合においても同様の効果を得ることが可能となる。また、読み出す画素数を制限する領域を水平ＯＢ領域としたが、垂直ＯＢ領域において制限するようにしてもよい。この場合は信号ｓｅｌ
を制御することによって行単位で読み出す量を制限することが可能である。
【００９０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９１】
１００  撮像装置
１０６  撮像素子
３００  単位画素
４０１ａ  副画素ａのフォトダイオード
４０１ｂ  副画素ｂのフォトダイオード
【図１】
2018006879.tif 000003
【図２】
2018006879.tif 000004
【図３】
2018006879.tif 000005
【図４】
2018006879.tif 000006
【図５】
2018006879.tif 000007
【図６】
2018006879.tif 000008
【図７】
2018006879.tif 000009
【図８】
2018006879.tif 000010
【図９】
2018006879.tif 000011
【図１０】
2018006879.tif 000012
【図１１】
2018006879.tif 000013
【図１２】
2018006879.tif 000014
【図１３】
2018006879.tif 000015
【図１４】
2018006879.tif 000016
【図１５】
2018006879.tif 000017
【図１６】
2018006879.tif 000018
【図１７】
2018006879.tif 000019
【図１８】
2018006879.tif 000020
【図１９】
2018006879.tif 000021
【図２０】
2018006879.tif 000022