(57)【特許請求の範囲】
【請求項１】
第１の光電変換部、第２の光電変換部、及び前記第１の光電変換部及び前記第２の光電変換部に集光するマイクロレンズをそれぞれが含む複数の画素と、前記複数の画素の前記第１の光電変換部からの出力信号を混合して第１の信号を生成する第１の混合部とを有し、前記第１の信号、及び、前記複数の画素のそれぞれから、前記第１の光電変換部からの出力信号及び前記第２の光電変換部からの出力信号に基づく第２の信号を、出力するように構成された撮像部と、
前記第２の信号に基づいて画像を生成する画像処理部と、
前記第１の信号及び前記第２の信号に基づいてデフォーカス量を検出する演算部と
を有し、
前記撮像部は、前記第１の信号を出力する第１のモードと、前記第１の光電変換部からの出力信号を他の画素の前記第１の光電変換部からの出力信号と混合せずに出力する第２のモードと、を切り替え可能に構成されており、
前記撮像部は、複数の測距点から自動的に測距点を選択して焦点調節を行う際には前記第１のモードに切り替え、所定の測距点に対して焦点調節を行う際には前記第２のモードに切り替える、
ことを特徴とする撮像装置。
【請求項２】
前記複数の画素からの前記第２の信号を混合して第３の信号を生成する第２の混合部と、
前記第１の信号及び前記第３の信号に基づいて焦点検出を行う焦点検出処理部と、
を更に有することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像部は、撮影モードに応じて、前記第１のモードと前記第２のモードとを切り替える
ことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記撮像部は、ＡＦ条件に応じて、前記第１のモードと前記第２のモードとを切り替える
ことを特徴とする請求項１記載の撮像装置。
【請求項５】
前記撮像部は、前記デフォーカス量が所定値以上のときに前記第１のモードに切り替え、前記デフォーカス量が前記所定値未満のときに前記第２のモードに切り替える
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記撮像部は、前記複数の画素の前記第１の光電変換部からの前記出力信号をデジタル信号に変換した後に混合演算を行うことにより前記第１の信号を生成する
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像部は、前記複数の画素の前記第１の光電変換部からの前記出力信号に対して、アナログ信号の混合により水平方向の画素混合を行い、デジタル信号に変換した後の信号に対して垂直方向の画素混合を行うことにより、前記第１の信号を生成する
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項８】
第１の光電変換部、第２の光電変換部、及び前記第１の光電変換部及び前記第２の光電変換部に集光するマイクロレンズをそれぞれが含む複数の画素と、前記複数の画素の前記第１の光電変換部からの出力信号を混合して第１の信号を生成する混合部とを有する撮像部を含む撮像装置において実施される信号処理方法であって、
前記撮像部から、前記第１の信号を取得するステップと、
前記撮像部の前記複数の画素のそれぞれから、前記第１の光電変換部からの出力信号及び前記第２の光電変換部からの出力信号に基づく第２の信号を取得するステップと、
前記第２の信号に基づいて画像用データを生成するステップと、
前記第１の信号及び前記第２の信号に基づいてＡＦ用データを生成するステップと
を有し、
前記撮像部は、前記第１の信号を出力する第１のモードと、前記第１の光電変換部からの出力信号を他の画素の前記第１の光電変換部からの出力信号と混合せずに出力する第２のモードと、を切り替え可能に構成されており、
前記撮像部において、複数の測距点から自動的に測距点を選択して焦点調節を行う際には前記第１のモードに切り替え、所定の測距点に対して焦点調節を行う際には前記第２のモードに切り替えるステップを更に有する
ことを特徴とする信号処理方法。
【請求項９】
第１の光電変換部、第２の光電変換部、及び前記第１の光電変換部及び前記第２の光電変換部に集光するマイクロレンズをそれぞれが含む複数の画素と、前記複数の画素の前記第１の光電変換部からの出力信号を混合して第１の信号を生成する混合部とを有する撮像装置において実行されるプログラムであって、コンピュータを、
前記撮像装置から前記第１の信号を取得する手段、
前記撮像装置の前記複数の画素のそれぞれから、前記第１の光電変換部からの出力信号及び前記第２の光電変換部からの出力信号に基づく第２の信号を取得する手段、
前記第２の信号に基づいて画像用データを生成する手段、及び
前記第１の信号及び前記第２の信号に基づいてＡＦ用データを生成する手段
として機能させ、
前記撮像装置は、前記第１の信号を出力する第１のモードと、前記第１の光電変換部からの出力信号を他の画素の前記第１の光電変換部からの出力信号と混合せずに出力する第２のモードと、を切り替え可能に構成されており、
複数の測距点から自動的に測距点を選択して焦点調節を行う際には前記第１のモードに切り替え、所定の測距点に対して焦点調節を行う際には前記第２のモードに切り替える手段として更に機能させるプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び信号処理方法に関する。
【背景技術】
【０００２】
近年、ＣＭＯＳセンサなどの撮像素子を用いた撮像装置では、多機能化が進み、静止画や動画などの撮像画像の生成だけでなく、例えば焦点調節のような撮像装置の制御についても、撮像素子により得られた被写体情報に基づいて行われることがある。
【０００３】
特許文献１には、撮像素子から得られた信号を用いて瞳分割方式の焦点検出が可能な構成とした撮像装置が開示されている。特許文献１に記載の構成では、撮像素子の画素ごとに１つのマイクロレンズと２つのフォトダイオードが設けられており、それぞれのフォトダイオードは撮影レンズの互いに異なる瞳領域を通過した光を受光する。このような構成により、２つのフォトダイオードからの出力信号を比較することで焦点検出が可能となり、２つのフォトダイオードからの出力信号を加算することで撮像画像の生成が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１２４９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術では、２つのフォトダイオードの信号を撮像素子から読み出すことになるため、データ量が増加して読み出し時間が長くなり、フレームレートが低下してしまう。あるいは、フレームレートを維持するためにはデータ伝送レートを上げる必要があり、回路規模や電力の増大につながる。
【０００６】
本発明の目的は、データ量の増加を抑制しつつ撮像素子の情報に基づく焦点検出を可能にし得る撮像装置及び信号処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一観点によれば、第１の光電変換部、第２の光電変換部、及び前記第１の光電変換部及び前記第２の光電変換部に集光するマイクロレンズをそれぞれが含む複数の画素と、前記複数の画素の前記第１の光電変換部からの出力信号を混合して第１の信号を生成する第１の混合部とを有し、前記第１の信号、及び、前記複数の画素のそれぞれから、前記第１の光電変換部からの出力信号及び前記第２の光電変換部からの出力信号に基づく第２の信号を、出力するように構成された撮像部と、前記第２の信号に基づいて画像を生成する画像処理部と、前記第１の信号及び前記第２の信号に基づいてデフォーカス量を検出する演算部とを有する撮像装置が提供される。
【０００８】
また、本発明の他の一観点によれば、第１の光電変換部、第２の光電変換部、及び前記第１の光電変換部及び前記第２の光電変換部に集光するマイクロレンズをそれぞれが含む複数の画素と、前記複数の画素の前記第１の光電変換部からの出力信号を混合して第１の信号を生成する混合部とを有する撮像部を含む撮像装置において実施される信号処理方法であって、前記撮像部から、前記第１の信号を取得するステップと、前記撮像部の前記複数の画素のそれぞれから、前記第１の光電変換部からの出力信号及び前記第２の光電変換部からの出力信号に基づく第２の信号を取得するステップと、前記第２の信号に基づいて画像用データを生成するステップと、前記第１の信号及び前記第２の信号に基づいてＡＦ用データを生成するステップとを有する信号処理方法が提供される。
【０００９】
また、本発明の更に他の一観点によれば、第１の光電変換部、第２の光電変換部、及び前記第１の光電変換部及び前記第２の光電変換部に集光するマイクロレンズをそれぞれが含む複数の画素と、前記複数の画素の前記第１の光電変換部からの出力信号を混合して第１の信号を生成する混合部とを有する撮像装置において実行されるプログラムであって、コンピュータを、前記撮像装置から前記第１の信号を取得する手段、前記撮像装置の前記複数の画素のそれぞれから、前記第１の光電変換部からの出力信号及び前記第２の光電変換部からの出力信号に基づく第２の信号を取得する手段、前記第２の信号に基づいて画像用データを生成する手段、及び前記第１の信号及び前記第２の信号に基づいてＡＦ用データを生成する手段として機能させるプログラムが提供される。
【発明の効果】
【００１０】
本発明によれば、撮像素子からの情報に基づいて、データ量の増加を抑制しつつ精度の高い焦点検出が可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。
【図２】本発明の第１実施形態による撮像装置における撮像素子の画素配置の一例を示す平面図である。
【図３】撮像光学系の射出瞳から出る光束と単位画素との関係を示す模式図である。
【図４】撮像素子の２つの副画素から得られる像信号波形の例を示すグラフである。
【図５】本発明の第１実施形態による撮像装置における撮像素子の構成の一例を示す概略図である。
【図６】本発明の第１実施形態による撮像装置における撮像素子の単位画素の回路構成の一例を示す図である。
【図７】本発明の第１実施形態による撮像装置における撮像素子の列共通読み出し回路の構成の一例を示す図である。
【図８】本発明の第１実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
【図９】本発明の第１実施形態による信号処理方法を示す模式図（その１）である。
【図１０】本発明の第１実施形態による信号処理方法を示す模式図（その２）である。
【図１１】本発明の第２実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
【図１２】本発明の第２実施形態による信号処理方法を示す模式図である。
【図１３】本発明の第３実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。
【図１４】本発明の第３実施形態による信号処理方法における像信号Ａの読み出し範囲を示す模式図である。
【図１５】本発明の第４実施形態による撮像装置における撮像素子の構成の一例を示す概略図である。
【発明を実施するための形態】
【００１２】
［第１実施形態］
本発明の第１実施形態による撮像装置及び信号処理方法について、図１乃至図１０を用いて説明する。図１は、本実施形態による撮像装置の概略構成を示すブロック図である。図２は、本実施形態による撮像装置における撮像素子の画素配置の一例を示す平面図である。図３は、撮像光学系の射出瞳から出る光束と単位画素との関係を示す模式図である。図４は、撮像素子の２つの副画素から得られる像信号波形の例を示すグラフである。図５は、本実施形態による撮像装置における撮像素子の構成の一例を示す概略図である。図６は、本実施形態による撮像装置における撮像素子の単位画素の回路構成の一例を示す図である。図７は、本実施形態による撮像装置における撮像素子の列共通読み出し回路の構成の一例を示す図である。図８は、本実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。図９及び図１０は、本実施形態による信号処理方法を示す模式図である。
【００１３】
はじめに、本実施形態による撮像装置の概略構成について、図１を用いて説明する。
本実施形態における撮像装置１００は、図１に示すように、第１レンズ群１０１、絞り１０２、第２レンズ群１０３、第３レンズ群１０４、光学的ローパスフィルタ１０５、撮像素子１０６を有している。また、撮像装置１００は、絞りアクチュエータ１１７、フォーカスアクチュエータ１１８、絞り駆動回路１１５、フォーカス駆動回路１１６を有している。また、撮像装置１００は、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）１０７、ＤＦＥ（Ｄｉｇｉｔａｌ  Ｆｒｏｎｔ  Ｅｎｄ）１０８、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｅｒ）１０９を有している。また、撮像装置１００は、表示部１１１、ＲＡＭ１１２、タイミングジェネレータ（ＴＧ）１１３、ＣＰＵ１１４、ＲＯＭ１１９、記録媒体１１０を有している。
【００１４】
第１レンズ群１０１、絞り１０２、第２レンズ群１０３、第３レンズ群１０４及び光学的ローパスフィルタ１０５は、被写体側からこの順番で光軸に沿って配置されており、これらによって撮像光学系を構成している。撮像光学系は、被写体の光学像を形成するための光学系である。第１レンズ群１０１は、撮像光学系の最前部（被写体側）に配置されたレンズ群であり、光軸方向に沿って進退可能に保持されている。絞り１０２は、その開口径を調節することで撮影時の光量調節を行う機能を備える。第２レンズ群１０３は、絞り１０２と一体となって光軸方向に沿って進退し、第１レンズ群１０１の進退動作との連動により、変倍動作（ズーム機能）を実現する。第３レンズ群１０４は、光軸方向に沿った進退により、焦点調節を行う機能を備える。光学的ローパスフィルタ１０５は、撮影画像の偽色やモアレを軽減するための光学素子である。
【００１５】
なお、本実施形態では、撮像光学系を有するレンズ装置を撮像装置の本体と一体的に構成した例を示すが、本発明の実施形態はこれに限定されるものではない。本発明は、撮像装置本体と、撮像装置本体に着脱可能に取り付けられたレンズ装置（撮像光学系）とにより構成された撮像システムにも適用可能である。
【００１６】
絞りアクチュエータ１１７は、絞り１０２の開口径を変更する機構を備えたものである。絞り駆動回路１１５は、絞りアクチュエータ１１７により絞り１０２の開口径を制御して撮影光量を調節するとともに静止画撮影時の露光時間制御を行なうための駆動回路である。フォーカスアクチュエータ１１８は、第３レンズ群１０４を光軸方向に沿って進退駆動する機構を備えたものである。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１８を駆動することにより焦点位置を調節するための駆動回路である。
【００１７】
撮像素子１０６は、２次元ＣＭＯＳイメージセンサーと周辺回路とからなる撮像素子であり、撮像光学系の結像面に配置されている。撮像素子１０６は、撮像光学系により結像された被写体像（光学像）を光電変換により電気信号に変換する。なお、本明細書では、撮像素子１０６を、撮像部と表記することもある。ＴＧ１１３は、撮像素子１０６を所定のタイミングで駆動するための駆動信号を撮像素子１０６に供給するためのものである。ＡＦＥ１０７は、撮像素子１０６から出力されるアナログ画像信号をデジタル画像信号に変換する機能を備えている。ＤＦＥ１０８は、ＡＦＥ１０７から出力されるデジタル画像信号に対して所定の演算処理を実行する機能を備えている。ＤＳＰ１０９は、ＤＦＥ１０８から出力されるデジタル画像信号に対する補正処理や現像処理などを行う機能を備えている。ＤＳＰ１０９は、また、画像信号（デジタル画像信号）から焦点ずれ量を算出するＡＦ（オートフォーカス）演算を行う機能も備えている。ＤＦＥ１０８及びＤＳＰ１０９は、信号処理部を構成する。
【００１８】
表示部１１１は、撮影画像や各種のメニュー画面などを表示する機能を備えている。表示部１１１には、液晶ディスプレイ（ＬＣＤ）などが用いられる。ＲＡＭ１１２は、画像データなどを一時的に記憶するためのランダムアクセスメモリである。ＲＯＭ１１９は、各種補正データや所定の処理を実行するためのプログラムなどを記憶するリードオンリメモリである。記録媒体１１０は、画像データを記録するためのものである。記録媒体１１０は、例えばＳＤメモリカードのような不揮発性半導体メモリを用いたメモリカード等、着脱可能なものでもよい。ＲＡＭ１１２、ＲＯＭ１１９、記録媒体１１０は、ＤＳＰ１０９に接続されている。
【００１９】
ＣＰＵ１１４は、撮像装置１００の全体の制御を司る制御装置であり、ＡＦＥ１０７、ＤＦＥ１０８、ＤＳＰ１０９、ＴＧ１１３、絞り駆動回路１１５及びフォーカス駆動回路１１６等の制御を行う。例えば、ＣＰＵ１１４は、ＤＳＰ１０９から出力されるＡＦ演算結果に基づいてフォーカス駆動回路１１６を制御し、フォーカスアクチュエータ１１８によって撮像光学系の焦点位置の調節を行う。
【００２０】
次に、本実施形態による撮像装置１００における撮像素子１０６の画素配置の一例について、図２を用いて説明する。
【００２１】
撮像素子１０６は、例えば図２に示すように、複数の単位画素３００（一画素）が行方向及び列方向に沿って２次元アレイ状に配列された画素領域ＰＡを有している。画素領域ＰＡは、特に限定されるものではないが、例えば１０８０行×１９２０列の単位画素３００の画素アレイを含むことができる。なお、図２には、これらのうち、６行×８列の画素アレイを抜き出して示している。
【００２２】
それぞれの単位画素３００は、２つのフォトダイオード（以下、「ＰＤ」と表記する）４０１ａ，４０１ｂと、１つのマイクロレンズ（図示せず）と、カラーフィルタ（図示せず）とを含む。ＰＤ４０１ａ及びＰＤ４０１ｂは、それぞれ、単位画素３００内に構成される２つの副画素ａ及び副画素ｂの光電変換部である。マイクロレンズは、単位画素３００に１つずつ設けられており、入射した光を同じ単位画素３００の２つの光電変換部に集光する。
【００２３】
図２の単位画素３００内に示している符号ａ，ｂは、左右に瞳分割された副画素ａ，ｂを表している。副画素ａから出力される出力信号ａ及び副画素ｂから出力される出力信号ｂは、焦点検出に利用される。また、出力信号ａと出力信号ｂとを加算して得られる信号（ａ／ｂ加算信号）は、画像生成（撮像画像の生成）に用いられる。また、符号Ｒ，Ｇ，Ｂは、カラーフィルタの色を表しており、Ｒは赤フィルタ、Ｇは緑フィルタ、Ｂは青フィルタである。１つの単位画素３００を構成する２つのＰＤ４０１ａ，４０１ｂには、同じ色のカラーフィルタが割り当てられている。なお、図２には、いわゆるベイヤー配列によりカラーフィルタを配置した例を示しているが、カラーフィルタの配置は、これに限定されるものではない。
【００２４】
次に、撮像光学系（撮影レンズ）の射出瞳から出る光束と撮像素子１０６の単位画素３００との関係について、図３を用いて説明する。
【００２５】
単位画素３００は、ＰＤ４０１ａ，４０１ｂと、ＰＤ４０１ａ，４０１ｂ上に配置されたカラーフィルタ２０１及びマイクロレンズ２０２とを含む。この単位画素３００に、撮像光学系（撮影レンズ）の射出瞳２０３を通過した光束が、撮像光学系の光軸２０４を中心として入射する場合を想定する。撮像光学系（撮影レンズ）の射出瞳２０３のうち互いに異なる瞳領域（一部領域）２０５，２０６を通過する光束に着目すると、これらのうち瞳領域２０５を通過した光束は、マイクロレンズ２０２を介して、副画素ａのＰＤ４０１ａにより受光される。一方、瞳領域２０６を通過した光束は、マイクロレンズ２０２を介して、副画素ｂのＰＤ４０１ｂにより受光される。
【００２６】
このように、副画素ａ，ｂは、それぞれ、撮影レンズの射出瞳２０３の別々の領域（互いに異なる領域）を通過した光を受光している。このため、副画素ａの出力信号と副画素ｂの出力信号とを比較することにより、位相差方式の焦点検出が可能となる。
【００２７】
次に、撮像素子１０６の副画素ａ，ｂから得られる像信号波形について、図４を用いて説明する。図４（ａ）は、合焦状態から外れているとき（非合焦状態）に副画素ａ，ｂから得られる像信号波形の一例を示すグラフである。図４（ｂ）は、合焦状態（略合焦状態）のときに副画素ａ，ｂから得られる像信号波形の一例を示すグラフである。図４（ａ）及び図４（ｂ）において、縦軸は信号出力を示し、横軸は位置（画素水平位置）を示している。
【００２８】
合焦状態から外れている場合（非合焦状態の場合）、図４（ａ）に示すように、副画素ａ，ｂから得られる像信号波形（副画素ａ信号、副画素ｂ信号）は互いに一致せず、大きくずれた状態となる。非合焦状態から合焦状態に近づくと、図４（ｂ）に示すように、副画素ａ，ｂの互いの像信号波形のずれは小さくなる。そして、合焦状態において、これらの像信号波形は互いに重なる。このようにして、副画素ａ，ｂから得られる像信号波形のずれ（ズレ量）を検出することで焦点のズレ量（デフォーカス量）を検出することができ、この情報を利用することによって撮像光学系の焦点調節を行うことができる。
【００２９】
次に、本実施形態による撮像装置における撮像素子１０６の構成例について、図５乃至図７を用いてより具体的に説明する。
【００３０】
撮像素子１０６は、図５に示すように、画素領域ＰＡと、垂直走査回路３０１と、列共通読み出し回路３０３と、水平走査回路３１１とを有している。
【００３１】
画素領域ＰＡには、それぞれが単位画素３００で構成される画素ｐ１１〜画素ｐｋｎが行方向及び列方向に沿って２次元アレイ状に配列された画素アレイが配置されている。単位画素３００のそれぞれは、図６に示すように、ＰＤ４０１ａ，４０１ｂ、転送トランジスタ４０２ａ，４０２ｂ、リセットトランジスタ４０５、増幅トランジスタ４０４、選択トランジスタ４０６を有している。ＰＤ４０１ａのアノードは接地電圧線に接続され、ＰＤ４０１ａのカソードは転送トランジスタ４０２ａのソースに接続されている。ＰＤ４０１ｂのアノードは接地電圧線に接続され、ＰＤ４０１ｂのカソードは転送トランジスタ４０２ｂのソースに接続されている。転送トランジスタ４０２ａのドレイン及び転送トランジスタ４０２ｂのドレインは、リセットトランジスタ４０５のソース及び増幅トランジスタ４０４のゲートに接続されている。転送トランジスタ４０２ａ，４０２ｂのドレイン、リセットトランジスタ４０５のソース及び増幅トランジスタ４０４のゲートの接続ノードは、フローティングディフュージョン部（以下、「ＦＤ部」と表記する）４０３を構成する。リセットトランジスタ４０５のドレイン及び増幅トランジスタ４０４のドレインは、電源電圧線（電圧Ｖｄｄ）に接続されている。増幅トランジスタ４０４のソースは、選択トランジスタ４０６のドレインに接続されている。
【００３２】
副画素ａ，ｂのＰＤ４０１ａ，４０１ｂは、入射した光信号（光学像）を光電変換し、露光量に応じた電荷を蓄積する。転送トランジスタ４０２ａ，４０２ｂは、Ｈｉｇｈレベルの信号ｔｘａ，ｔｘｂに応じて、ＰＤ４０１ａ，４０１ｂに蓄積されている電荷をＦＤ部４０３に転送する。ＦＤ部４０３は、ＰＤ４０１ａ，４０１ｂから転送された電荷を、その寄生容量により電荷の量に応じた電圧に変換し、増幅トランジスタ４０４のゲートに印加する。リセットトランジスタ４０５は、ＦＤ部４０３をリセットするためのスイッチであり、Ｈｉｇｈレベルの信号ｒｅｓに応じて、ＦＤ部４０３をリセットする。ＰＤ４０１ａ，４０１ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ，ｔｘｂとを同時にＨｉｇｈレベルとし、転送トランジスタ４０２ａ，４０２ｂ及びリセットトランジスタ４０５をオンにする。そして、ＦＤ部４０３を経由して、ＰＤ４０１ａ，４０１ｂのリセットを行う。選択トランジスタ４０６は、Ｈｉｇｈレベルの信号ｓｅｌに応じて、増幅トランジスタ４０４で電圧に変換された画素信号を、単位画素３００（画素）の出力ノードｖｏｕｔに出力する。
【００３３】
撮像領域ＰＡの画素アレイの各行には、図５に示すように、行方向に延在して、駆動信号線３１６がそれぞれ配置されている。駆動信号線３１６は、垂直走査回路３０１に接続されている。駆動信号線３１６には、垂直走査回路３０１から所定のタイミングで、単位画素３００の画素読み出し回路を駆動するための所定の駆動信号が出力される。具体的には、それぞれの駆動信号線３１６は、上述の信号ｔｘａ、信号ｔｘｂ、信号ｒｅｓ、信号ｓｅｌを、行方向に並ぶ複数の単位画素３００に供給するための複数（ここでは４本）の信号線を含む。各信号線は、同じ行に属する複数の単位画素３００に共通の信号線をなしている。
【００３４】
撮像領域ＰＡの画素アレイの各列には、列方向に延在して、垂直出力線３１７がそれぞれ配置されている。垂直出力線３１７は、選択トランジスタ４０６のソース、すなわち単位画素３００の出力ノードｖｏｕｔに接続されている。垂直出力線３１７は、同じ列に属する複数の単位画素３００に共通の信号線をなしている。それぞれの垂直出力線３１７には、列共通読み出し回路３０３と、電流源３０４とが接続されている。これにより、電流源３０４と単位画素３００の増幅トランジスタ４０４とによりソースフォロワ回路が構成されており、撮像領域ＰＡの各画素３００から読み出した信号を列共通読み出し回路３０３に出力できるようになっている。図５には、各列の列共通読み出し回路３０３に、ｃｌｍ１〜ｃｌｍｋの符号を付している。列共通読み出し回路３０３は、撮像領域ＰＡの各画素或いはその副画素から出力信号を読み出す読み出し回路部を構成する。
【００３５】
それぞれの列共通読み出し回路３０３は、例えば図７に示す回路により構成される。
列共通読み出し回路３０３は、図７に示すように、クランプ容量５０１、フィードバック容量５０２、演算増幅器５０３、スイッチ５０４を有している。また、列共通読み出し回路３０３は、転送スイッチ５０５，５０６，５０７，５０８、容量５０９，５１０，５１１，５１２、信号加算スイッチ５１３，５１４，５１５，５１６を有している。
【００３６】
演算増幅器５０３の反転入力端子は、クランプ容量５０１を介して垂直出力線３１７に接続されている。演算増幅器５０３の非反転入力端子には、基準電圧電源Ｖｒｅｆが接続されている。演算増幅器５０３の反転入力端子と出力端子との間には、フィードバック容量５０２とスイッチ５０４とが並列に接続されている。スイッチ５０４の導通状態は、制御ノードに供給される信号ｃｆｓにより制御される。
【００３７】
演算増幅器５０３の出力端子には、また、転送スイッチ５０５，５０６，５０７，５０８の一方の主ノードがそれぞれ接続されている。転送スイッチ５０５，５０６，５０７，５０８の他方の主ノードには、それぞれ、容量５０９，５１０，５１１，５１２と、信号加算スイッチ５１３，５１４，５１５，５１６の一方の主ノードが接続されている。転送スイッチ５０５，５０６，５０７，５０８の導通状態は、それぞれの制御ノードに供給される信号ｔｓａ，ｔｎａ，ｔｓｂ，ｔｎｂにより制御される。信号加算スイッチ５１３，５１４の導通状態は、それらの制御ノードに供給される信号ａｄａにより制御される。また、信号加算スイッチ５１５，５１６の導通状態は、それらの制御ノードに供給される信号ａｄｂにより制御される。転送スイッチ５０５，５０６，５０７，５０８の他方の主ノードは、また、列共通読み出し回路３０３の出力ノードｖｓａ，ｖｎａ，ｖｓｂ，ｖｎｂに、それぞれ接続されている。
【００３８】
転送スイッチ５０５は、単位画素３００から読み出された信号を容量５０９に転送する際に用いられるスイッチである。同様に、転送スイッチ５０６は、単位画素３００から読み出された信号を容量５１０に転送する際に用いられるスイッチである。転送スイッチ５０７は、単位画素３００から読み出された信号を容量５１１に転送する際に用いられるスイッチである。転送スイッチ５０８は、単位画素３００から読み出された信号を容量５１２に転送する際に用いられるスイッチである。後述する読み出し動作により、容量５０９（第１のＳ信号保持容量）には副画素ａの画素信号Ｓａが記憶され、容量５１１（第２のＳ信号保持容量）には副画素ａ，ｂの信号を加算して得られたａ／ｂ加算信号Ｓａｂが記憶される。また、容量５１０（第１のＮ信号保持容量）及び容量５１２（第２のＮ信号保持容量）には、それぞれ、単位画素３００のノイズ信号Ｎが記憶される。
【００３９】
信号加算スイッチ５１３，５１４，５１５，５１６は、複数の列共通読み出し回路３０３の間に跨るスイッチである。加算スイッチ５１３，５１４は信号ａｄａにより制御され、加算スイッチ５１５，５１６は信号ａｄｂにより制御される。信号ａｄａ，ａｄｂによってこれら信号加算スイッチ５１３，５１４，５１５，５１６をオン／オフすることにより、信号保持容量５０９，５１０，５１１，５１２に保持されている信号を他の列共通読み出し回路３０３の信号と加算平均することが可能である。本実施形態においては、後述するように、隣接する３つの同色画素の信号を加算平均するものとする。なお、複数の画素の信号を加算平均する処理は、画素混合或いは画素混合演算とも呼ばれる。信号加算スイッチ５１３，５１４，５１５，５１６は、データ混合部を構成する。
【００４０】
列共通読み出し回路３０３の出力ノードｖｓａ，ｖｎａは、図５に示すように、水平転送スイッチ３０５，３０６の一方の主ノードに、それぞれ接続されている。水平転送スイッチ３０５，３０６の他方の主ノードは、水平出力線３０９，３１０に、それぞれ接続されている。水平転送スイッチ３０５，３０６の導通状態は、水平走査回路３１１からそれらの制御ノードに供給される選択信号ｈａ＊（「＊」は列番号１〜ｋ）により制御される。選択信号ｈａ＊がＨｉｇｈレベルになることにより、容量５０９（第１のＳ信号保持容量）及び容量５１０（第１のＮ信号保持容量）の信号が水平出力線３０９，３１０へ、それぞれ転送される。同様に、列共通読み出し回路３０３の出力ノードｖｓｂ，ｖｎｂは、水平転送スイッチ３０７，３０８の一方の主ノードに、それぞれ接続されている。水平転送スイッチ３０７，３０８の他方の主ノードは、水平出力線３０９，３１０に、それぞれ接続されている。水平転送スイッチ３０７，３０８の導通状態は、水平走査回路３１１からそれらの制御ノードに供給される選択信号ｈｂ＊（「＊」は列番号１〜ｋ）により制御される。選択信号ｈｂ＊がＨｉｇｈレベルになることにより、容量５１１（第２のＳ信号保持容量）及び容量５１２（第２のＮ信号保持容量）の信号が水平出力線３０９，３１０へ、それぞれ転送される。
【００４１】
水平出力線３０９，３１０は、水平出力線リセットスイッチ３１２，３１３の一方の主ノードに、それぞれ接続されている。水平出力線リセットスイッチ３１２，３１３の他方の主ノードは、リセット電圧Ｖｃｈｒｅｓに接続されている。水平出力線リセットスイッチ３１２，３１３の導通状態は、それらの制御ノードに供給される信号ｃｈｒｅｓにより制御される。水平出力線３０９，３１０は、また、差動増幅器３１４の２つの入力端子にそれぞれ接続されている。差動増幅器３１４の出力端子は、出力端子３１５に接続されている。差動増幅器３１４は、Ｓ信号とＮ信号との差分をとると同時に、所定のゲインをかけ、最終的な出力信号を出力端子３１５へ出力する。水平出力線リセットスイッチ３１２，３１３は、信号ｃｈｒｅｓがＨｉｇｈレベルになることによりオンになり、水平出力線３０９，３１０はそれぞれ、リセット電圧Ｖｃｈｒｅｓにリセットされる。
【００４２】
次に、本実施形態による撮像装置における撮像素子１０６の読み出し動作について、図８を用いて説明する。ここでは、撮像領域ＰＡの画素アレイの一の行に属する複数の画素から信号を読み出す動作を説明する。１フレームの画像情報を取得する場合には、各行について順次、同様の読み出し動作が行われる。なお、図８の時刻ｔ１１よりも前の時刻において、信号ｒｅｓはＨｉｇｈレベルであり、他の信号はＬｏｗレベルであるものとする。
【００４３】
まず、時刻ｔ１１において、信号ｃｆｓをＨｉｇｈレベルに設定し、スイッチ５０４をオンにすることにより、演算増幅器５０３の反転入力端子と出力端子とを接続し、演算増幅器５０３をバッファ状態にする。
【００４４】
次いで、時刻ｔ１２において、垂直走査回路３０１により、駆動信号線３１６に供給する信号ｓｅｌをＬｏｗレベルからＨｉｇｈレベルへと遷移し、画素の選択トランジスタ４０６をオンにする。これにより、増幅トランジスタ４０４のソースが選択トランジスタ４０６及び垂直出力線３１７を介して電流源３０４に接続され、ソースフォロワ回路が構成される。
【００４５】
次いで、時刻ｔ１３において、垂直走査回路３０１により、駆動信号線３１６に供給する信号ｒｅｓをＨｉｇｈレベルからＬｏｗレベルへと遷移してリセットトランジスタ４０５をオフにし、ＦＤ部４０３のリセットを開放する。これにより、垂直出力線３１７には、ＦＤ部４０３のリセットレベルに応じた信号が出力される。
【００４６】
次いで、時刻ｔ１４において、信号ｃｆｓをＨｉｇｈレベルからＬｏｗレベルに戻してスイッチ５０４をオフにする。これにより、演算増幅器５０３は、出力端子と反転入力端子とがフィードバック容量５０２を介して接続されたイマジナリーショート状態となる。
【００４７】
次いで、時刻ｔ１５から時刻ｔ１６の期間において、信号ｔｎａ，ｔｎｂをＨｉｇｈレベルに設定し、転送スイッチ５０６，５０８をオンにする。これにより、演算増幅器５０３からの出力信号は、転送スイッチ５０６，５０８を介して容量５１０（第１のＮ信号保持容量）及び容量５１２（第２のＮ信号保持容量）に出力される。このＮ信号は、容量５１０，５１２に、それぞれ記憶される。
【００４８】
次いで、時刻ｔ１７において、信号ｔｓａをＨｉｇｈレベルに設定し、転送スイッチ５０５をオンにする。
【００４９】
次いで、時刻ｔ１８から時刻ｔ１９の期間において、垂直走査回路３０１により、駆動信号線３１６に供給する信号ｔｘａをＬｏｗレベルからＨｉｇｈレベルへと遷移し、転送トランジスタ４０２ａをオンにする。この動作により、副画素ａのＰＤ４０１ａに蓄積されていた電荷がＦＤ部４０３に転送され、この電荷の量に応じた信号が、増幅トランジスタ４０４及び選択トランジスタ４０６を介して、垂直出力線３１７へ出力される。垂直出力線３１７の信号は、演算増幅器５０３においてクランプ容量５０１とフィードバック容量５０２との容量比に応じたゲインで増幅され、転送スイッチ５０５を介して、容量５０９（第１のＳ信号保持容量）に出力される。この画素信号Ｓａは、容量５０９に記憶される。
【００５０】
次いで、時刻ｔ２０において、信号ｔｓａをＬｏｗレベルに設定し、転送スイッチ５０５をオフにする。
【００５１】
次いで、時刻ｔ２１において、信号ｔｓｂをＨｉｇｈレベルに設定し、転送スイッチ５０７をオンにする。
【００５２】
次いで、時刻ｔ２２から時刻ｔ２３の期間において、垂直走査回路３０１により、駆動信号線３１６に供給する信号ｔｘａ，ｔｘｂをＬｏｗレベルからＨｉｇｈレベルへと遷移し、転送トランジスタ４０２ａ，４０２ｂをオンにする。この動作により、副画素ｂのＰＤ４０１ｂに蓄積されていた電荷がＦＤ部４０３に転送され、ＦＤ部４０３には、ＰＤ４０１ａ，４０１ｂの双方に蓄積されていた電荷が保持されることになる。そして、この電荷の量に応じた信号が、増幅トランジスタ４０４及び選択トランジスタ４０６を介して、垂直出力線３１７へ出力される。垂直出力線３１７の信号は、演算増幅器５０３においてクランプ容量５０１とフィードバック容量５０２との容量比に応じたゲインで増幅され、転送スイッチ５０７を介して、容量５１１（第２のＳ信号保持容量）に出力される。このａ／ｂ加算信号Ｓａｂは、容量５１１に記憶される。
【００５３】
次いで、時刻ｔ２４において、信号ｔｓｂをＬｏｗレベルに設定し、転送スイッチ５０７をオフにする。
【００５４】
次いで、時刻ｔ２５において、垂直走査回路３０１により、駆動信号線３１６に供給する信号ｒｅｓをＬｏｗレベルからＨｉｇｈレベルへと遷移してリセットトランジスタ４０５をオンにし、ＦＤ部４０３をリセットする。
【００５５】
次いで、時刻ｔ２６から時刻ｔ２７の期間において、信号ａｄａをＨｉｇｈレベルに設定して、各列の加算スイッチ５１３，５１４を一旦オンにする。これにより、容量５０９（第１のＳ信号保持容量）に記憶されている信号及び容量５１０（第１のＮ信号保持容量）に記憶されている信号を、それぞれの加算対象の列の信号と加算平均する。このとき、信号ａｄｂはＬｏｗレベルのままであり、容量５１１（第２のＳ信号保持容量）に記憶されている信号及び容量５１２（第２のＮ信号保持容量）に記憶されている信号は、加算平均されない。
【００５６】
ここで、加算平均を行う際の列の組合せの一例について、図９を用いて説明する。図９には、画素領域ＰＡに設けられた複数の画素のうち、画素ｐ１１〜画素ｐ９３を抜き出して示している。図９の各画素ｐには、ベイヤー配列に従って配置されたカラーフィルタの色であるＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）を付記している。
【００５７】
図９の例において、信号加算スイッチ５１３は、第１列、第３列及び第５列の容量５０９（第１のＳ信号保持容量）を接続可能なように配置されている。同様に、信号加算スイッチ５１４は、第１列、第３列及び第５列の容量５１０（第１のＮ信号保持容量）を接続可能なように配置されている。また、信号加算スイッチ５１５は、第１列、第３列及び第５列の容量５１１（第２のＳ信号保持容量）を接続可能なように配置されている。また、信号加算スイッチ５１６は、第１列、第３列及び第５列の容量５１２を、接続可能なように配置される。また、同様の構成により、第４列、第６列及び第８列の各容量を互いに接続可能なように、信号加算スイッチ５１３，５１４，５１５，５１６は配置されている。以降、第７列、第９列及び第１１列の各容量、第１０列、第１２列及び第１４列の各容量、…、という組合せで接続が可能なように、信号加算スイッチ５１３，５１４，５１５，５１６は配置されている。
【００５８】
この構成において、上述のように信号ａｄａをＨｉｇｈレベルに設定すると、第１列／第３列／第５列、第４列／第６列／第８列、第７列／第９列／第１１列、…、という組合せで、第１のＳ信号及び第１のＮ信号がそれぞれ加算平均されることになる。第１行目で説明すれば、画素ｐ１１／画素ｐ３１／画素ｐ５１の３つのＲ画素の信号、画素ｐ４１／画素ｐ６１／画素ｐ８１の３つのＧ画素の信号が、それぞれ加算平均されることになる。なお、加算する列の組合せは上述の組合せに限定されるものでなく、他の組合せでも勿論構わない。加算する画素の数も、３つに限定されるものではない。また、同じ色のカラーフィルタを有する画素毎に信号を加算するのでなく、異なる色のカラーフィルタを有する画素の信号を加算する構成でも構わない。また、単純な加算や加算平均ではなく、重みづけ加算などの処理としても構わない。
【００５９】
次いで、時刻ｔ３１から時刻ｔ３２の期間において、水平走査回路３１１により、選択信号ｈａ３をＬｏｗレベルからＨｉｇｈレベルへと遷移し、水平転送スイッチ３０５，３０６をオンにする。これにより、容量５０９（第１のＳ信号保持容量）に記憶されている信号及び容量５１０（第１のＮ信号保持容量）に記憶されている信号が、水平出力線３０９，３１０及び差動増幅器３１４を介して出力端子３１５に出力される。ここで読み出される信号は、上述のように、３つの画素の信号を加算平均したものである。したがって、第３列の容量５１０，５１１に記憶されている信号と同一の信号となっている第１列及び第５列の容量５１０，５１１からは、信号の読み出しは行わない。
【００６０】
次いで、時刻ｔ３２から時刻ｔ３３の期間において、信号ｃｈｒｅｓをＬｏｗレベルからＨｉｇｈレベルへと遷移し、水平出力線リセットスイッチ３１２，３１３をオンにする。これにより、水平出力線３０９，３１０を、リセット電圧Ｖｃｈｒｅｓのレベルにリセットする。
【００６１】
次いで、時刻ｔ３３から時刻ｔ３８の期間において、時刻ｔ３１から時刻ｔ３３の期間と同様の動作を繰り返し行い、第６列、第９列、…、第ｊ列（ｊは、ｋ以下の３の倍数）の容量５０９，５１０からの信号の読み出しを順次行う。
【００６２】
このように、水平走査回路３１１は、選択信号ｈａ３、選択信号ｈａ６、選択信号ｈａ９、…、選択信号ｈａｊというように、列の選択信号を各加算セットにつき１列ずつ順次Ｈｉｇｈレベルにすることにより、一行分の副画素ａの信号（像信号Ａ）を出力する。これにより、水平方向に３画素ずつ加算平均された像信号Ａが順次出力されることになり、像信号Ａの出力データ数は、各列の画素（ｋ画素）から信号を出力する場合に比べて１／３の量で済むことになる。
【００６３】
次いで、このようにして像信号Ａの読み出しを完了した後、時刻ｔ４１から時刻ｔ４２の期間において、水平走査回路３１１により、選択信号ｈｂ１をＬｏｗレベルからＨｉｇｈレベルへと遷移し、水平転送スイッチ３０７，３０８をオンにする。これにより、容量５１１（第２のＳ信号保持容量）に記憶されている信号及び容量５１２（第２のＮ信号保持容量）に記憶されている信号が、水平出力線３０９，３１０及び差動増幅器３１４を介して出力端子３１５に出力される。
【００６４】
次いで、時刻ｔ４２から時刻ｔ４３の期間において、信号ｃｈｒｅｓをＬｏｗレベルからＨｉｇｈレベルへと遷移し、水平出力線リセットスイッチ３１２，３１３をオンにする。これにより、水平出力線３０９，３１０を、リセット電圧Ｖｃｈｒｅｓのレベルにリセットする。
【００６５】
次いで、時刻ｔ４３から時刻ｔ４８の期間において、時刻ｔ４１から時刻ｔ４３の期間と同様の動作を繰り返し行い、第２列から第ｋ列までの容量５１０，５１１からの信号の読み出しを順次行う。
【００６６】
このように、水平走査回路３１１は、各列の選択信号である選択信号ｈｂ１，ｈｂ２，…，ｈｂｋを順次Ｈｉｇｈレベルにすることにより、一行分の画素のａ／ｂ加算信号（像信号ＡＢ）を出力する。像信号ＡＢについては加算平均処理を行っていないため、各列の画素（ｋ画素）から信号を出力することになる。
【００６７】
次に、ＤＳＰ１０９における像信号Ａ及び像信号ＡＢの信号処理方法について、図１０を用いて説明する。
【００６８】
ＤＳＰ１０９は、図１０に示すように、入力データ処理部６０１、画像用像補正部６０２、画素加算処理部６０３、像信号減算部６０４、ＡＦ用像補正部６０５及びＡＦ演算部６０６を含む。
【００６９】
入力データ処理部６０１には、前述の読み出し動作により撮像素子１０６から読み出された信号（像信号Ａ、像信号ＡＢ）が、ＡＦＥ１０７及びＤＦＥ１０８を経由して入力される。入力データ処理部６０１は、まず、入力された信号を、ＡＦ処理用のデータ及び画像処理用のデータとして、画素加算処理部６０３及び画像用像補正部６０２に振り分ける。すなわち、画素加算処理部６０３には、ＡＦ処理用のデータとして、像信号Ａ及び像信号ＡＢが出力される。また、画像用像補正部６０２には、画像処理用のデータとして、像信号ＡＢが出力される。
【００７０】
画像用像補正部６０２では、入力データ処理部６０１から送られた像信号ＡＢに対して、オフセット補正やゲイン補正などの補正処理が行われる。画像用像補正部６０２で処理されたデータは、その後、図示しない画像処理部において現像処理等が施され、静止画や動画などの画像の生成に用いられる。
【００７１】
画素加算処理部６０３では、入力データ処理部６０１から送られた像信号Ａ及び像信号ＡＢに対して、画素加算処理が行われる。上述の処理によって既に撮像素子１０６内で水平方向に加算平均されている像信号Ａに対しては、図に太枠で示すように、ベイヤー配列の画素配列単位である２行×２列の画素アレイ毎に画素信号（像信号Ａ）を加算して、輝度信号Ａを生成する。また、像信号ＡＢに対しては、まず、像信号Ａに対して撮像素子１０６内で行った処理と同じように、水平方向に同色３画素の加算平均処理を行なう。その上で更に、ベイヤー配列の画素配列単位毎に画素信号（像信号ＡＢ）を加算して、輝度信号Ａと同等の空間サンプリング周波数を持つ輝度信号ＡＢを生成する。
【００７２】
像信号減算部６０４では、輝度信号ＡＢ（Ｙａｂ）から輝度信号Ａ（Ｙａ）を減算することにより、輝度信号Ｂ（Ｙｂ）を生成する。輝度信号ＡＢ（Ｙａｂ）は、副画素ａ，ｂの信号を加算して得られた信号であり、輝度信号Ａ（Ｙａ）は副画素ａの信号である。このため、その差（Ｙａｂ−Ｙａ）は、副画素ｂの輝度信号Ｂ（Ｙｂ）を表す。
【００７３】
ＡＦ用像補正部６０５では、輝度信号Ａ（Ｙａ）及び輝度信号Ｂ（Ｙｂ）に対して、オフセット補正やゲイン補正などの補正処理が行われる。ＡＦ用像補正部６０５で処理されたデータは、ＡＦ演算部６０６（焦点検出処理部）に出力される。
【００７４】
ＡＦ演算部６０６では、補正後のデータに基づいてＡＦ演算を行い、デフォーカス量を検出する（被写体の焦点ずれ量を算出する）。このとき、ＡＦ演算部６０６は、輝度信号Ａ（第１輝度信号）と輝度信号Ｂ（第３輝度信号）とに基づいて相関演算などの処理を実行することで焦点検出を行う。そして、ＣＰＵ１１４は、ＡＦ演算部６０６の演算結果に基づいてフォーカス駆動回路１１６を制御し、焦点調節を行う。
【００７５】
なお、以上の説明においては、ＤＳＰ１０９が一連の処理の総てを行うものとして説明したが、これに限定されるものではない。例えば、一部の処理をＤＦＥ１０８で行うように構成してもよい。
【００７６】
以上の動作により、撮像素子１０６からは、像信号Ａとしては水平方向に加算平均された信号が、像信号ＡＢとしては加算平均されていない信号が出力されることになる。像信号Ａを加算平均した分だけ、撮像素子１０６からの出力データ量は低減され、データ伝送レートを下げることが可能となる。あるいは同一の伝送レートでも短い時間で読み出し動作を完了することが可能となる。
【００７７】
像信号ＡＢは、画像生成に使用されるため、解像度を維持するために加算平均を行うことは好ましくない。一方、像信号ＡはＡＦ演算にのみ使用され、補完演算などによりカバーされるため、加算平均を行うことによって情報量が低下しても十分な精度を満たすことが可能である。
【００７８】
本実施形態では、撮像素子１０６内で像信号Ａの加算平均を行う構成としているが、必ずしも撮像素子１０６内で像信号Ａの加算平均を行う必要はない。像信号Ａの加算平均処理を行うタイミングは、画像用データとＡＦ用データとを振り分ける部分（入力データ処理部６０１）より前であれば、一定の効果が得られる。例えば、ＡＦＥ１０７やＤＦＥ１０８において像信号Ａに対して加算平均処理を行った場合にも、ＡＦＥ１０７とＤＦＥ１０８との間や、ＤＦＥ１０８とＤＳＰ１０９との間における伝送レートを低減する効果が得られる。ただし、この場合、加算平均前のデータが転送される撮像素子１０６とＡＦＥ１０７との間の伝送レートは低減されない。
【００７９】
なお、信号加算スイッチ５１５，５１６は、像信号ＡＢを水平方向に加算平均するためのスイッチである。像信号ＡＢの加算平均を行わない本実施形態では、信号加算スイッチ５１５，５１６を使用していない。信号加算スイッチ５１５，５１６は、例えば、高速な動画や静止画を撮影する際に、画像生成に使用する像信号ＡＢについても水平加算処理をしてデータ量を圧縮して高速フレームレートの動画モードを実現する場合などに使用することができる。このような高速フレームレートの撮影モードでは像信号ＡＢにも像信号Ａと同様の加算平均処理を行って撮像素子１０６から出力し、それ以外の撮影モードでは本実施形態で説明したように像信号Ａのみに加算平均処理を行うように構成することも可能である。また、高速フレームレートの撮影モードでは、像信号Ａの加算平均を行う画素数を更に増加（例えば像信号ＡＢは３画素の加算平均、像信号Ａは５画素の加算平均など）する構成も考えられる。この場合、ＡＦ演算の精度は定性的には悪化する方向であるが、一定の伝送レートの中でより高速なフレームレートの撮影を実現することができる。
【００８０】
また、本実施形態では、水平方向のみ画素信号の加算平均を行い、垂直方向に対して画素信号の加算平均は行っていないが、例えば画像のアスペクト比を揃えるために、垂直方向に対しても画素信号の加算平均を行うように構成してもよい。この加算平均処理は、撮像素子１０６内で行ってもよいし、ＤＳＰ１０９などの後段の機能ブロックで行ってもよい。
【００８１】
このように、本実施形態によれば、撮像素子からの情報に基づいて、データ量の増加を抑制しつつ、精度の高い焦点検出が可能な撮像装置を実現することができる。
【００８２】
［第２実施形態］
本発明の第２実施形態による撮像装置について、図１１及び図１２を用いて説明する。図１乃至図１０に示す第１実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図１１は、本実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。図１２は、本実施形態による信号処理方法を示す模式図である。
【００８３】
第１実施形態では、撮像素子１０６内で像信号Ａのデータを加算平均してデータ量を圧縮する構成を説明した。これは像信号Ａを画像生成に使用しないからできることであるが、撮影モードによっては像信号Ａを画像生成に使用するモードも考えられる。例えば、像信号Ａと像信号ＡＢとを総ての画素で取得しておき、画像生成時に後から焦点位置を調整する、いわゆる「リフォーカス」と呼ばれる処理を行う場合がそれに該当する。同一画素の像信号ＡＢから像信号Ａを減算することで副画素ｂの信号に相当する像信号Ｂを生成し、像信号Ａと像信号Ｂとを空間的な位置をシフトして加算することで、ピント位置をずらした画像を生成することができる。
【００８４】
本実施形態では、このような撮影モードを有する撮像装置（カメラ）の駆動方法について説明する。
本実施形態の撮像装置の撮影モードには、像信号Ａを画像生成に使用しない撮影モード１と、像信号Ａを画像生成に使用する撮影モード２とがあり、いずれのモードで撮影するかは不図示の操作部を介してユーザによって設定されるものとする。ＣＰＵ１１４は、その設定に応じて、ＴＧ１１３を介して撮像素子１０６を駆動する。撮影モード１における動作は、第１実施形態において説明した通りである。
撮影モード２に設定されている場合、撮像素子１０６は、ＴＧ１１３から出力される駆動信号に従い、像信号Ａについても加算することなく出力する。撮影モード２において、撮像素子１０６の読み出し動作は、例えば図１１に示すタイミングチャートに従って行われる。
【００８５】
まず、時刻ｔ１１〜時刻ｔ２５では、図８に示した第１実施形態の読み出し動作の時刻ｔ１１〜時刻ｔ２５における動作と同様にして、副画素ａ，ｂから読み出した信号を容量５０９，５１０，５１１，５１２に記憶する。
【００８６】
なお、撮影モード２では、画素信号の加算平均は行わないため、図８に示した第１実施形態の読み出し動作の時刻ｔ２６〜時刻ｔ３１に対応する期間において、信号ａｄａ，ａｄｂは、Ｌｏｗレベルのまま維持される。
【００８７】
次いで、時刻ｔ３１から時刻ｔ３２の期間において、水平走査回路３１１により、選択信号ｈａ１をＬｏｗレベルからＨｉｇｈレベルへと遷移し、水平転送スイッチ３０５，３０６をオンにする。これにより、容量５０９（第１のＳ信号保持容量）に記憶されている信号及び容量５１０（第１のＮ信号保持容量）に記憶されている信号が、水平出力線３０９，３１０及び差動増幅器３１４を介して出力端子３１５に出力される。
【００８８】
次いで、時刻ｔ３２から時刻ｔ３３の期間において、信号ｃｈｒｅｓをＬｏｗレベルからＨｉｇｈレベルへと遷移し、水平出力線リセットスイッチ３１２，３１３をオンにする。これにより、水平出力線３０９，３１０を、リセット電圧Ｖｃｈｒｅｓのレベルにリセットする。
【００８９】
次いで、時刻ｔ３３から時刻ｔ３８の期間において、時刻ｔ３１から時刻ｔ３３の期間と同様の動作を繰り返し行い、第２列から第ｋ列までの容量５０９，５１０からの信号の読み出しを順次行う。これにより、一行分の副画素ａの信号（像信号Ａ）を出力する。
【００９０】
像信号Ａの読み出しが終了すると、続く時刻ｔ４１から時刻ｔ４２の期間において、水平走査回路３１１により、選択信号ｈｂ１をＬｏｗレベルからＨｉｇｈレベルへと遷移し、水平転送スイッチ３０７，３０８をオンにする。これにより、容量５１１（第２のＳ信号保持容量）に記憶されている信号及び容量５１２（第２のＮ信号保持容量）に記憶されている信号が、水平出力線３０９，３１０及び差動増幅器３１４を介して出力端子３１５に出力される。
【００９１】
次いで、時刻ｔ４２から時刻ｔ４３の期間において、信号ｃｈｒｅｓをＬｏｗレベルからＨｉｇｈレベルへと遷移し、水平出力線リセットスイッチ３１２，３１３をオンにする。これにより、水平出力線３０９，３１０を、リセット電圧Ｖｃｈｒｅｓのレベルにリセットする。
【００９２】
次いで、時刻ｔ４３から時刻ｔ４８の期間において、時刻ｔ４１から時刻ｔ４３の期間と同様の動作を繰り返し行い、第２列から第ｋ列までの容量５１１，５１２からの信号の読み出しを順次行う。これにより、一行分のａ／ｂ加算信号（像信号ＡＢ）を出力する。
【００９３】
次に、ＤＳＰ１０９における像信号Ａ及び像信号ＡＢの信号処理方法について、図１２を用いて説明する。
【００９４】
ＤＳＰ１０９の入力データ処理部６０１には、前述の読み出し動作により撮像素子１０６から読み出された信号（像信号Ａ、像信号ＡＢ）が、ＡＦＥ１０７及びＤＦＥ１０８を経由して入力される。入力データ処理部６０１は、像信号Ａ及び像信号ＡＢを、画像処理用のデータとして画像用像補正部６０２へ出力するとともに、ＡＦ用データとして画素加算処理部６０３へも出力する。この時点において、像信号Ａ及び像信号ＡＢは、加算平均処理されていない。
【００９５】
画素加算処理部６０３では、第１実施形態において像信号ＡＢに対して行ったのと同様にして、水平方向に同色画素の加算平均処理を行った後、ベイヤー配列の画素配列単位である２行×２列の画素アレイ毎に画素信号（像信号Ａ及び像信号ＡＢ）を加算する。これにより、撮影モード１と同等の空間サンプリング周波数のＡＦ用信号が得られる。
【００９６】
その後、像信号減算部６０４、ＡＦ用像補正部６０５及びＡＦ演算部６０６において、第１実施形態で説明した撮影モード１と同様の処理を実施することで、ＡＦ処理を行う。
【００９７】
なお、画素加算処理部６０３において、水平方向の同色画素について加算平均処理を行っているのは、空間サンプリング周波数を揃え、撮影モード１と撮影モード２とにおけるＡＦ処理を揃えるためである。それぞれのモードでＡＦ処理が異なってもよければ、敢えて同色の画素について画素加算を行う必要はない。
【００９８】
このように、本実施形態では、像信号Ａの加算平均処理を行うブロックを、撮影モード１と撮影モード２とで異なるように構成している。撮影モード１では撮像素子１０６（画像用データとＡＦ用データの分岐前）で像信号Ａの加算平均処理を行い、撮影モード２ではＤＳＰ１０９（画像用データとＡＦ用データの分岐後）で像信号Ａ及び像信号ＡＢの加算平均処理を行う。これにより、撮影モード１ではデータ伝送レートに対してフレームレートを高速化することが可能となり、撮影モード２では画像生成に使用するのに十分な像信号Ａの空間サンプリング周波数を確保することが可能となる。
【００９９】
このように、本実施形態によれば、撮像素子からの情報に基づいて、データ量の増加を抑制しつつ、精度の高い焦点検出が可能な撮像装置を実現することができる。
【０１００】
［第３実施形態］
本発明の第３実施形態による撮像装置について、図１３及び図１４を用いて説明する。図１乃至図１２に示す第１及び第２実施形態による撮像装置と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。図１３は、本実施形態による撮像装置における撮像素子の読み出し動作を示すタイミングチャートである。図１４は、本実施形態による信号処理方法における像信号Ａの読み出し範囲を示す模式図である。
【０１０１】
第２実施形態では、画像生成に像信号Ａを使用するか使用しないかに応じて、撮像素子１０６において加算平均処理を行うか行わないかを切替える構成を示した。しかしながら、像信号Ａを加算平均するかしないかを切替える条件は、画像生成に像信号Ａを使用するか使用しないかに限られるものでない。
【０１０２】
本実施形態では、撮像素子１０６において加算平均処理を行うか行わないかを、ＡＦ処理の状態（ＡＦ条件）に応じて切り替える構成について説明する。ここでは、そのような一例として、ピントが合っている合焦点近傍にいる状態と、そうでなくピントが大きく外れていてデフォーカス量が大きい状態にいる状態とで動作を切替える構成を説明する。
【０１０３】
まず、ピントが大きく外れている場合には、第１実施形態と同様の動作により、像信号Ａを加算平均した状態で撮像素子１０６から出力する。このとき、出力される像信号Ａの画角は、画素領域ＰＡの少なくとも水平方向の全画角とする。このようにすることで、ＡＦ演算部６０６において、参照できる空間範囲が広くなり、デフォーカス量が大きな場合にも焦点検出を行うことが可能となる。このような動作を、第１のＡＦ動作とする。
【０１０４】
次に、この焦点検出の結果に基づいてレンズを駆動し、ＡＦ演算部６０６において算出されるデフォーカス量が所定値以下となった場合に、第２のＡＦ動作に移行する。
【０１０５】
第２のＡＦ動作における撮像素子１０６の読み出し動作は、図１３に示すタイミングチャートに従って行われる。図１３に示すタイミングチャートは、像信号Ａを出力する際（時刻ｔ３１〜時刻ｔ３８）の水平走査回路３１１の動作が異なるほかは、図１１に示した第２実施形態のタイミングチャートと同じである。
【０１０６】
すなわち、本実施形態では、総ての列から像信号Ａを出力するのではなく、第ｘ列から第ｘ＋ｚ列までのｚ＋１列から、像信号Ａを出力する。具体的には、水平走査回路３１１は、選択信号ｈａｘ，ｈａ（ｘ＋１），ｈａ（ｘ＋２），…，ｘ（ｘ＋ｚ）を順次Ｈｉｇｈレベルに設定し、第ｘ列、第ｘ＋１列、第ｘ＋２列、…、第ｘ＋ｚ列の画素からの像信号Ａを、出力端子３１５から順次出力する。像信号Ａの読み出し終了後、像信号ＡＢの読み出し（時刻ｔ４１〜時刻ｔ４８）においては、第２実施形態と同様、各列の画素から像信号ＡＢを出力する。
【０１０７】
本実施形態において撮像素子１０６から像信号Ａを読み出す範囲の一例を、図１４に示す。第１のＡＦ動作においては、水平方向の画角内の総ての列の画素から像信号Ａを読み出す。このとき、像信号Ａは水平方向に加算平均され、出力データ量としては像信号ＡＢの１／３となっている。
【０１０８】
これに対し、第２のＡＦ動作においては、点線で囲った一部の列の画素から像信号Ａを読み出す。この際には、第１のＡＦ動作の場合のように像信号Ａの加算平均処理は行わないが、水平方向の画角を制限することで、データ量としては第１のＡＦ動作と同等にしている。これにより、第２のＡＦ動作における読み出し時間やデータレートは、第１のＡＦ動作と同等となる。また、第２のＡＦ動作に移行する前に、第１のＡＦ動作でデフォーカス量を一定量以下に絞り込んでいるため、第２のＡＦ動作では読み出し範囲を制限することが可能となる。
【０１０９】
この構成により、最終的に合焦させる際には第２のＡＦ動作で細かいサンプリングピッチの情報を基にＡＦ演算が行えるため、精度の高いＡＦ処理を実行することが可能となる。
【０１１０】
なお、第１のＡＦ動作と第２のＡＦ動作とは、予め設定されたデフォーカス量の大きさに応じて切り替えることができる。すなわち、デフォーカス量が所定値以上のときは第１のＡＦ動作（第１のモード）を実行し、デフォーカス量が所定値未満のときは第２のＡＦ動作（第２のモード）を実行するように構成することができる。
【０１１１】
このように、本実施形態によれば、撮像素子からの情報に基づいて、データ量の増加を抑制しつつ、精度の高い焦点検出が可能な撮像装置を実現することができる。
【０１１２】
［第４実施形態］
本発明の第３実施形態による撮像装置について、図１５を用いて説明する。図１乃至図１４に示す第１乃至第３実施形態による撮像装置と同様の構成要素には同一の符号を付し説明を省略し或いは簡潔にする。図１５は、本実施形態による撮像装置における撮像素子の構成の一例を示す概略図である。
【０１１３】
本実施形態では、撮像素子１０６が、列毎にＡＤ変換器を有しており信号をデジタルデータで出力する、いわゆるカラムＡＤＣの構成を有する場合の例について説明する。ここでは敢えて図示はしないが、本実施形態の撮像素子１０６では、図１の撮像装置の全体構成からはＡＦＥ１０７は不要となる。
【０１１４】
本実施形態による撮像装置の撮像素子１０６は、図１５に示すように、列回路７０１、ランプ信号発生部７０２、カウンタ７０３、Ｓ−Ｎ演算部７０４、画素加算部７０５、セレクタ７０６、ＬＶＤＳ出力部７０７、出力端子７０８を有している。
【０１１５】
列回路７０１は、撮像領域ＰＡの画素アレイの各列の垂直出力線３１７にそれぞれ接続されている。列回路７０１は、各列に配置されたＡＤ変換器を含む。ここでは、ＡＤ変換方式として、垂直出力線３１７を介して出力される画素信号とランプ信号発生部７０２から出力されるランプ信号との比較に基づいてデジタル信号を出力する、いわゆるランプ方式を用いた場合の構成を示している。その際にデジタル値の指標として用いられるカウント値が、カウンタ７０３から各列の列回路７０１に供給されるようになっている。列回路７０１におけるＡＤ変換は、上述のノイズ信号Ｎ、画素信号Ｓａ、画素信号Ｓａｂのそれぞれに対して行われ、その結果が信号ＤＮ，ＤＳＡ，ＤＳＡＢとして各列の列回路７０１に保持される。列回路７０１は、列共通読み出し回路３０３と同様、撮像領域ＰＡの各画素或いはその副画素から出力信号を読み出す読み出し回路部を構成する。
【０１１６】
各列の列回路７０１に保持された信号ＤＮ，ＤＳＡ，ＤＳＡＢは、水平走査回路３１１による制御によって順次、Ｓ−Ｎ演算部７０４へと転送される。
【０１１７】
まず、像信号Ａの出力期間においては、信号ＤＮ及び信号ＤＳＡが、第１列から順次、Ｓ−Ｎ演算部７０４へと転送される。Ｓ−Ｎ演算部７０４では、これら信号に対してＳＡ−Ｎの演算処理が実行され、像信号Ａが生成される。Ｓ−Ｎ演算部７０４の出力は画素加算部７０５に入力され、第１実施形態で説明したと同様の水平方向の加算平均処理が行われる。第１実施形態ではアナログ信号に対して加算平均処理を行ったが、ここではデジタルデータに対して加算平均処理を行う。セレクタ７０６では、加算平均処理を行った後のデータを出力するか、加算平均処理を行っていないデータを出力するかを選択する。ここでは、画素加算部７０５の出力を選択することにより、加算平均した結果をＬＶＤＳ出力部７０７に伝達するものとする。ＬＶＤＳ出力部７０７は、パラレル−シリアル変換やＬＶＤＳへの変換を行い、信号を撮像素子の出力端子７０８から出力する。
【０１１８】
次に、像信号ＡＢの出力期間においては、信号ＤＮ及び信号ＤＳＡＢが、第１列から順次、Ｓ−Ｎ演算部７０４へと転送される。Ｓ−Ｎ演算部７０４では、これら信号に対してＳＡＢ−Ｎの処理が実行され、像信号ＡＢが生成される。Ｓ−Ｎ演算部７０４の出力は、画素加算部７０５及びセレクタ７０６に入力される。セレクタ７０６は、ここではＳ−Ｎ演算部７０４から出力される像信号ＡＢを加算平均せずにそのままＬＶＤＳ出力部７０７へ伝達するものとする。ＬＶＤＳ出力部７０７は、パラレル−シリアル変換やＬＶＤＳへの変換を行い、信号を撮像素子の出力端子７０８から出力する。
【０１１９】
上記動作を行毎に繰り返すことにより、像信号Ａは加算平均して出力し、像信号ＡＢは加算平均せずに出力するという動作を毎行繰り返すことになり、第１実施形態で説明したものと同様の効果をカラムＡＤＣ構成の撮像素子においても得ることができる。
【０１２０】
このように、本実施形態によれば、撮像素子からの情報に基づいて、データ量の増加を抑制しつつ、精度の高い焦点検出が可能な撮像装置を実現することができる。
【０１２１】
［変形実施形態］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１２２】
例えば、上記実施形態では、撮像素子１０６内での像信号Ａの加算平均処理は水平方向のみとして説明したが、垂直方向の画素加算処理を更に組み合わせるようにしてもよい。これにより、像信号Ａのデータ量を更に削減することができる。この際、水平方向はアナログ信号での加算平均処理、垂直方向はデジタル信号での加算平均処理といったように、異なる方式の加算平均処理を組み合わせることも可能である。
【０１２３】
また、像信号Ａの加算平均処理を行うか行わないかの切り替えを実施する態様は、第２及び第３実施形態の態様に限定されるものではない。例えば、多くの測距点で自動的にＡＦ演算する多点モードと任意の１点でＡＦ演算する任意点モードとで切り替えるといったように、ＡＦモードに応じて切り替えを行う構成も考えられる。この場合、前者では像信号Ａの加算平均処理を行い、後者では像信号Ａの加算平均処理を行わない構成とすることができる。
【０１２４】
また、上記実施形態に示した撮像装置の構成は、一例を示したものであり、本発明を適用可能な撮像装置は、図１に示した構成に限定されるものではない。また、撮像装置の各部の回路構成も、図５、図６、図７、図９、図１０、図１２、図１５等に示した構成に限定されるものではない。
【０１２５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１２６】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１２７】
１００…撮像装置
１０６…撮像素子
１０８…ＤＦＥ
１０９…ＤＳＰ
３１１…水平走査回路
６０１…入力データ処理部
６０３…画素加算処理部
６０６…ＡＦ演算部
【図１】
0006598496.tif 000002
【図２】
0006598496.tif 000003
【図３】
0006598496.tif 000004
【図４】
0006598496.tif 000005
【図５】
0006598496.tif 000006
【図６】
0006598496.tif 000007
【図７】
0006598496.tif 000008
【図８】
0006598496.tif 000009
【図９】
0006598496.tif 000010
【図１０】
0006598496.tif 000011
【図１１】
0006598496.tif 000012
【図１２】
0006598496.tif 000013
【図１３】
0006598496.tif 000014
【図１４】
0006598496.tif 000015
【図１５】
0006598496.tif 000016