(57)【要約】【課題】ＨＤＲ合成に必要な信号と位相差検出に必要な信号をフレームレートの低下を抑制しつつ読み出す撮像素子を提供すること。【解決手段】撮像素子１０１は、複数の光電変換部を備える画素部２０３を備え、ＨＤＲ合成用の画像信号と位相差検出用の信号を出力可能である。第１の読み出しで第１の画像信号を読み出し、レベル判定部２０７は、第２の読み出しで読み出す信号を第１の画像信号とは露出条件の異なる第２の画像信号と位相差検出用の信号のいずれにするか、第１の画像信号に応じて判定し、制御する。【選択図】図２
2019213047.tif 000002
【特許請求の範囲】
【請求項１】
複数の光電変換部を備える画素部から、第１の読み出しで第１の画像信号を読み出し、第２の読み出しで前記第１の画像信号とは露出条件の異なる第２の画像信号もしくは位相差検出用の信号を読み出す読み出し手段と、
前記第１の画像信号に応じて前記第２の読み出しで読み出す信号を制御する制御手段と、を備える
ことを特徴とする撮像素子。
【請求項２】
前記画素部から読み出した前記第１の画像信号の信号レベルを判定する判定手段をさらに備え、
前記制御手段は、前記判定手段の判定結果に応じて前記第２の読み出しで読み出す信号を制御する
ことを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記制御手段は、前記判定手段が前記信号レベルが所定の値より大きいと判定した場合、前記第２の読み出しで前記第２の画像信号を読み出す制御を行い、前記判定手段が前記信号レベルが所定の値以下であると判定した場合、前記第２の読み出しで前記位相差検出用の信号を読み出す制御を行う
ことを特徴とする請求項２に記載の撮像素子。
【請求項４】
前記制御手段は、前記判定手段の判定結果および制御信号に応じて前記第２の読み出しで読み出す信号を制御する
ことを特徴とする請求項２に記載の撮像素子。
【請求項５】
前記画素部の列ごとに信号の増幅を行う増幅手段を備え、
前記制御手段は、前記露出条件を変更する場合、列ごとの前記増幅手段の増幅率を変更する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
【請求項６】
前記読み出し手段は、第１の増幅率で前記第１の画像信号を読み出し、前記第１の増幅率より低い第２の増幅率で前記第２の画像信号を読み出し、前記第１の増幅率で前記位相差検出用の信号を読み出す
ことを特徴とする請求項５に記載の撮像素子。
【請求項７】
前記画素部は複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備え、前記複数の光電変換部は前記位相差検出用の複数の信号を出力する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像素子。
【請求項８】
請求項１乃至７のいずれか１項に記載の撮像素子と、
露出条件の異なる複数の画像を合成する合成手段と、
前記位相差検出用の信号より位相差の検出を行う検出手段と、
前記撮像素子から前記第１の画像信号及び第２の画像信号並びに前記位相差検出用の信号を取得して、前記合成手段または前記検出手段に分配する分配手段と、を備える
ことを特徴とする撮像装置。
【請求項９】
前記分配手段は、前記第１の画像信号の信号レベルに応じて信号を分配する
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
撮像素子の制御方法であって、
複数の光電変換部を備える画素部から、第１の読み出しで第１の画像信号を読み出す工程と、
前記第１の画像信号に応じて第２の読み出しで読み出す信号を制御する工程と、
前記第２の読み出しで前記第１の画像信号とは露出条件の異なる第２の画像信号もしくは位相差検出用の信号を読み出す工程と、を有する
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子、撮像装置および撮像素子の制御方法に関する。
【背景技術】
【０００２】
撮像素子に関して、画素で光電変換された映像信号を出力するだけでなく、ダイナミックレンジの拡大（以下、ＨＤＲという）や、被写体までの距離情報を出力する技術が提案されている。特許文献１は、撮像素子の列ごとに設けられた増幅回路の入力容量を切り替え、信号レベルに応じてゲインを切り替える技術を開示している。ゲインの切り替えにより低ゲインの信号と高ゲインの信号を出力し、合成することで高ダイナミックレンジ且つ低ノイズな映像信号を作り出すことが可能である。特許文献２は、１つのマイクロレンズを介して光が入射される１対の光電変換部が出力する信号の加算、非加算を１対の光電変換部を有する画素単位で任意に行うことのできる撮像装置を開示している。１対の光電変換部が出力する信号を用いて、位相差検出方式の焦点検出を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５-１７５５１７号公報
【特許文献２】特開２００１-８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＨＤＲに必要な高ゲインの映像信号および低ゲインの映像信号と、位相差検出用の映像信号を同一フレームで読み出そうとすると、データ量が増えてしまい、フレームレートが低下してしまう。そのため、所望のフレームレートを維持しつつ、ＨＤＲと位相差検出用の映像信号を読みだすことが困難である。
【０００５】
本発明は、ＨＤＲ合成に必要な信号と位相差検出に必要な信号をフレームレートの低下を抑制しつつ読み出す撮像素子を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の撮像素子は、複数の光電変換部を備える画素部から、第１の読み出しで第１の画像信号を読み出し、第２の読み出しで前記第１の画像信号とは露出条件の異なる第２の画像信号もしくは位相差検出用の信号を読み出す読み出し手段と、前記第１の画像信号に応じて前記第２の読み出しで読み出す信号を制御する制御手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、ＨＤＲ合成に必要な信号と位相差検出に必要な信号をフレームレートの低下を抑制しつつ読み出す撮像素子を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成を説明する図である。
【図２】撮像素子の全体ブロックを示す図である。
【図３】信号の読み出しに関わる構成を示す図である。
【図４】読み出しのタイミングを説明する図である。
【図５】読み出しのタイミングを説明する図である。
【図６】読み出し処理を示すフローチャートである。
【図７】信号の読み出しに関わる構成を示す図である。
【発明を実施するための形態】
【０００９】
（第１実施形態）
図１は、撮像装置１の構成を説明する図である。撮像装置１は、レンズ部１００、撮像素子１０１、画像分配器１０２、画像処理部１０３、位相差検出部１０４、信号処理部１０５およびレンズ駆動部１０６を備える。本実施形態では、撮像装置１の一例としてカメラ本体部とレンズ装置が一体となったデジタルカメラの説明を行うが、これに限られるものではなく、レンズ交換式の撮像装置であってもよい。
【００１０】
レンズ部１００は、被写体からの光を取り込み、撮像素子１０１に光を結像させる。レンズ部１００は、撮像光学系を構成する複数のレンズや絞り等の光学部材を備える。レンズ駆動部１０６は、フォーカシング制御機構、ズーミング制御機構、像ぶれ補正制御機構および絞り制御機構等を備え、レンズおよび絞りを駆動する。具体的には、レンズ駆動部１０６は、位相差検出部１０４からのフォーカシング制御信号（以下、ＡＦ情報という）に基づいてレンズを駆動する。また、レンズ駆動部１０６は、不図示の制御部からのズーミング制御信号、像振れ補正制御信号などに基づいて、レンズを駆動する。不図示の制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を備え、撮像装置１全体を制御する。
【００１１】
撮像素子１０１は、複数の光電変換部を有し、レンズ部１００からの入射光に対して光電変換を行って電気信号に変換する。撮像素子１０１の例として、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等がある。撮像素子１０１の詳細な構成については、図２を用いて後述する。
【００１２】
画像分配器１０２は、撮像素子１０１から出力された信号を、画像処理部１０３または位相差検出部１０４に出力する。画像処理部１０３は、画像分配器１０２から出力されたゲインの異なる２つの信号を合成して、ＨＤＲ画像を生成する。ＨＤＲ画像の生成方法には、例えば、被写体が暗い部分は高ゲインの画像を、明るい部分は低ゲインの画像を用いて合成を行う方法がある。なお、本実施形態におけるＨＤＲ画像の生成方法はこれに限られるものではなく、２枚のゲインが異なる画像から合成を行う手法であれば、その合成アルゴリズムは限定されるものではない。位相差検出部１０４は、Ａ像およびＢ像に基づいて位相差を検出し、フォーカスレンズを制御するためのＡＦ情報を生成する。
【００１３】
次に、図２（Ａ）および図２（Ｂ）を用いて撮像素子１０１の詳細を説明する。図２（Ａ）は、撮像素子１０１全体の構成を説明する図である。撮像素子１０１は、タイミング制御部２０１、垂直走査回路２０２、画素部２０３、列アンプ２０４、加算部２０５、列ＡＤＣ２０６、レベル判定部２０７、水平転送回路２０８、信号処理回路２０９および外部出力回路２１０を備える。
【００１４】
タイミング制御部２０１は、撮像素子１０１の各構成部に対する動作クロック信号（ＣＬＫ）やタイミング信号を供給して、撮像素子１０１の動作を制御する。垂直走査回路２０２は、２次元に配置された画素部２０３の画素信号を、１フレーム中に順次読み出すためのタイミング制御を行う。一般的に、映像信号は１フレーム中に上部の行から下部の行にかけて、行単位で順次読み出される。
【００１５】
画素部２０３は、光電変換素子を備え、入射光量に応じて光電変換を行って電圧を出力する。画素部２０３は、複数の画素３００を有している。複数の画素３００は、例えば、行方向および列方向に二次元状に配置されている。画素３００の構成について、図２（Ｂ）を用いて説明する。図２（Ｂ）は、画素３００の構成を説明する図である。画素３００は、１つのマイクロレンズ２２０に対して、位相差検出のために第１の光電変換部２２１と第２の光電変換部２２２を備える。マイクロレンズ２２０は、入射した光束を集光し、第１の光電変換部２２１と第２の光電変換部２２２へと導く。
【００１６】
第１の光電変換部２２１と第２の光電変換部２２２は、入射した光束を光電変換する。第１の光電変換部２２１と第２の光電変換部２２２は、撮像光学系の射出瞳の異なる領域を通過した光束（瞳分割像）をそれぞれ受光可能なように設計されている。各光電変換部の信号レベルから位相差を検出することが可能である。以下、第１の光電変換部２２１により得られる信号群で形成される像信号をＡ像信号、第２の光電変換部２２２により得られる信号群で形成される像信号をＢ像信号、Ａ像とＢ像を加算した画像信号をＡ＋Ｂ像信号と呼ぶ。すなわち、Ａ＋Ｂ像信号は撮像光学系の瞳領域全体を通過した光束に基づく信号である。Ａ像とＢ像は、撮像光学系の互いに異なる一部の瞳領域を通過した光束に基づく信号である。
【００１７】
また、画素３００は不図示のカラーフィルタを備える。カラーフィルタは、入射した光束のうち特定の波長を通過させる。画素部２０３には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長を通過させる分光感度特性を持つカラーフィルタがベイヤー状に配列されている。なお、カラーフィルタの配列はこれに限られるものではない。なお、画素３００は、１つのマイクロレンズに対して３つ以上の光電変換部を有していてもよい。
【００１８】
列アンプ２０４は、画素部２０３から読み出された信号を電気的に増幅する。列アンプ２０４で信号を増幅することにより、それ以降の列ＡＤＣ２０６から出るノイズに対して、画素部２０３の信号を増幅し、等価的にＳ／Ｎ比（信号対ノイズ比）を改善することができる。また、タイミング制御部２０１から列アンプ２０４の増幅率を変更することができ、露出条件の異なる画像を取得することが可能となる。
【００１９】
加算部２０５は、列アンプ２０４から出力されたＡ像、Ｂ像の信号を加算する。列ＡＤＣ２０６は、加算部２０５からの出力信号をＡ／Ｄ変換する。なお、加算部２０５と列ＡＤＣ２０６の配置の順序はこれに限られるものではなく、加算部２０５の前に列ＡＤＣ２０６が配置されていてもよい。レベル判定部２０７は、Ａ＋Ｂ像信号の信号レベルを判定する。レベル判定部２０７によるレベル判定の詳細については後述する。加算部２０５により加算された信号は、水平転送回路２０８により順次読み出される。水平転送回路２０８の出力は信号処理回路２０９に入力される。信号処理回路２０９は、デジタル信号処理を行う回路であり、デジタル処理で一定量のオフセット値を加える処理の他に、シフト演算や乗算を行う。これにより、簡易にゲイン演算を行うことができる。また、画素部２０３が遮光された画素領域を有する構造の場合、これを利用したデジタルの黒レベルクランプ動作を行ってもよい。
【００２０】
信号処理回路２０９は、処理した信号を外部出力回路２１０に出力する。外部出力回路２１０はシリアライザー機能を有し、信号処理回路２０９からの多ビットの入力パラレル信号をシリアル信号に変換する。また外部出力回路２１０は、このシリアル信号をＬＶＤＳ信号等に変換し、外部デバイスへの画像情報として出力する。
【００２１】
次に、図３を用いてＨＤＲ生成用の画像と位相差検出用の画像を読み出すための読み出し方式について説明する。図３は、信号の読み出しに関わる構成を示す図である。なお、図３には説明のために、１つの画素３００と列アンプ２０４の一つの列を示してある。まず、ＨＤＲ画像生成のために画素３００から異なるゲインで信号を読み出す方式について説明する。列アンプ２０４は、Ａ像、Ｂ像を独立読み出し可能な画素３００から信号を読み出し、増幅する。
【００２２】
列アンプ２０４は、Ａ像、Ｂ像それぞれに対応する増幅回路を有している。第１の光電変換部２２１から読み出したＡ像信号を増幅する増幅回路を第１の回路、第２の光電変換部２２２から読み出したＢ像信号を増幅する増幅回路を第２の回路とする。第１の回路は、オペアンプ３２９、入力容量３２３、入力容量３２５、帰還容量３２７、帰還容量３２８、スイッチ３２２、スイッチ３２４、スイッチ３２６およびスイッチ３２０を含む。また、第１の回路は、電流制御部３２１を含んでいてもよい。第２の回路は、オペアンプ３０９、入力容量３０３、入力容量３０５、帰還容量３０７、帰還容量３０８、スイッチ３０２、スイッチ３０４、スイッチ３０６およびスイッチ３１０を含む。また、第２の回路は、電流減３０１を含んでいてもよい。
【００２３】
第１の回路と第２の回路は同じ構成を有するため、以下では第２の回路について説明する。入力容量３０３および入力容量３０５は、画素３００とオペアンプ３０９との間に、互いに並列に接続されている。帰還容量３０７および帰還容量３０８は、オペアンプ３０９の負側入力端子（反転入力端子）とオペアンプ３０９の出力端子との間に、互いに並列に接続されている。オペアンプ３０９の正側入力端子（非反転入力端子）には、基準電源から所定の基準電圧が印加されている。
【００２４】
スイッチ３０２は、画素３００と入力容量３０３の間に接続され、画素３００から読み出されたＢ像信号の入力容量３０３への入力を制御する。スイッチ３０４は、画素３００と入力容量３０５の間に接続され、画素３００から読み出されたＢ像信号の入力容量３０５への入力を制御する。スイッチ３０６は、オペアンプ３０９の負側入力端子（反転入力端子）と帰還容量３０７の間に、帰還容量３０７と直列に接続されており、帰還容量３０７の接続を制御する。スイッチ３１０は、オペアンプ３０９の出力端子と加算部２０５との間に接続されている。
【００２５】
オペアンプ３０９の増幅率は「入力容量／帰還容量」により決定される。本実施形態では入力容量が２つである。スイッチ３０２をオンとし、かつ、スイッチ３０４およびスイッチ３０６をオフとしたとき、オペアンプ３０９は入力容量３０３と帰還容量３０８との静電容量比に対応する第１のゲインで増幅した信号を加算部２０５に出力する。また、スイッチ３０２をオフとし、かつ、スイッチ３０４およびスイッチ３０６をオンとしたとき、オペアンプ３０９は入力容量３０５と、帰還容量３０７および帰還容量３０８との比に対応する第２のゲインで増幅した信号を加算部２０５に出力する。なお、第２のゲインは第１のゲインよりも小さい。
【００２６】
以上説明したように、各スイッチのオン・オフ制御により、ゲインの異なる２つのＢ像の画像の信号を出力することができる。Ａ像についても、Ｂ像と同様にゲインの異なる２つの画像の信号を出力することができる。加算部２０５でＡ像、Ｂ像を加算することで、２つの異なるゲインでＡ＋Ｂ像信号を読み出すことが可能となり、画像処理部１０３でＨＤＲ画像を生成できる。
【００２７】
次に、位相差検出時の読み出しについて説明する。位相差情報を出力する場合、通常の画像信号（加算信号、Ａ＋Ｂ像信号）と位相差検出用の画像信号（Ｂ像信号）を同じゲインで出力する。１回目の読み出しは、ＨＤＲ画像の生成で説明した読み出し方と同じ方法で第１のゲインで増幅したＡ＋Ｂ像信号を読み出す。２回目の読み出しでは、スイッチ３０４、スイッチ３０６およびスイッチ３２０をオフとし、かつ、スイッチ３０２をオンとしたとき、オペアンプ３０９は入力容量３０３と帰還容量３０８との静電容量比に対応する第１のゲインで増幅したＢ像信号を出力する。
【００２８】
図４（Ａ）〜（Ｃ）および図５を用いて、読み出しのタイミングについて説明する。読み出しのタイミングは、タイミング制御部２０１および垂直走査回路２０２により制御される。垂直同期信号は、１つのフレームの読み出し開始を表す基準信号となる。水平同期信号は、１つのフレームの各列の読み出し開始を表す基準信号となる。垂直同期信号が発生したとき、列アンプ２０４は、１つのフレームについて信号の読み出しを開始する。水平同期信号が発生したとき、列アンプ２０４は、フレームの所定の列について信号の読み出しを開始する。
【００２９】
図４（Ａ）は、ＨＤＲ画像生成のための読み出しを説明する図である。水平同期信号４００が発生すると、列アンプ２０４は、Ａ＋Ｂ像の画像４０１の信号と画像４０２の信号を順次読み出す。まず高ゲイン画像である画像４０１の信号が読み出され、引き続き低ゲイン画像である画像４０２の信号が読み出される。ゲインの異なる２つの画像４０１および画像４０２からＨＤＲ用の画像が合成される。なお、ゲインの異なる２つの画像を読み出せばよく、高ゲイン画像と低ゲイン画像の読み出しの順序はどちらが先であっても構わない。
【００３０】
図４（Ｂ）は、位相差検出のための読み出しを説明する図である。水平同期信号４００が発生すると、列アンプ２０４は、Ａ＋Ｂ像の画像４１０の信号とＢ像の画像４１１の信号を順次読み出す。画像４１０と画像４１１は、いずれも高ゲイン画像である。先に読み出したＡ＋Ｂ像のからＢ像を引き算することでＡ像を取得し、Ａ像とＢ像を用いた位相差検出が可能となる。
【００３１】
図４（Ｃ）は、ＨＤＲ画像生成と位相差検出を両立するための読み出しを説明する図である。水平同期信号４００が発生すると、列アンプ２０４は、画像４２０の信号、画像４２１の信号、画像４２２の信号を順次読み出す。画像４２０は、Ａ＋Ｂ像の高ゲイン画像である。画像４２１は、Ａ＋Ｂ像の低ゲイン画像である。画像４２３は、Ｂ像の高ゲイン画像である。３つの画像に対応した信号を読み出すため、図４（Ａ）および図４（Ｂ）の場合と比較して、読み出し時間が増え、フレームレートが低下してしまう。
【００３２】
そこで、本実施形態では、ＨＤＲ画像生成と位相差検出を両立するために図５に示す読み出しを行う。図５は、ＨＤＲ画像生成と位相差検出を両立するための読み出しを説明する図である。水平同期信号４００が発生すると、列アンプ２０４は、画像５０１の信号を読み出した後、レベル判定５０２を行い、レベル判定５０２の結果に応じて画像５０３の信号もしくは画像５０４の信号のいずれかを読み出す。２つの画像に対応した信号を読み出すため、図４（Ａ）および図４（Ｂ）の場合と比較して、読み出し時間を増やすことなく、フレームレートの低下を抑制し、ＨＤＲ画像生成と位相差検出のための読み出しが可能となる。
【００３３】
レベル判定５０２について、図６を用いて説明する。図６は、読み出し処理を示すフローチャートである。Ｓ１００１で、列アンプ２０４は、垂直同期信号もしくは水平同期信号を受けて画素３００からの信号の読み出しを開始する。Ｓ１００１で、列アンプ２０４は、第１の読み出しを行う。第１の読み出しでは、Ａ＋Ｂ像の高ゲイン画像の信号を読み出す。そして、読み出したＡ＋Ｂ像の画像信号を列ＡＤＣ２０６でＡ／Ｄ変換し、Ｓ１００２に進む。
【００３４】
Ｓ１００２で、レベル判定部２０７は、第１の読み出しで読み出したＡ＋Ｂ像信号の信号レベルのレベル判定を１画素ずつ行う。ＨＤＲ画像の合成において、低ゲイン画像が使用されるのは、高ゲイン画像において白飛び等が生じている領域についてのみである。そのため、高ゲイン画像において白飛び等が生じている高輝度の信号レベルの高い領域ではＨＤＲ生成用の信号を読み出し、その他の領域では焦点検出用の信号を読み出すようにすればよい。そのため、レベル判定部２０７は、信号レベルが所定の値より大きいか否かを判定する。信号レベルが所定の値より大きい場合は、Ｓ１００３に進み、ＨＤＲ画像生成用の信号を読み出す。一方、信号レベルが所定の値以下である場合は、Ｓ１００４に進み、位相差検出用の信号を読み出す。
【００３５】
Ｓ１００３で、列アンプ２０４は、第２の読み出しでＨＤＲ画像生成用のＨＤＲ画像生成用のＡ＋Ｂ像の低ゲイン画像の信号を読み出す。Ｓ１００４で、第２の読み出しで列アンプ２０４は、位相差検出用のＢ像の高ゲイン画像を読み出す。Ｓ１００５で、列アンプ２０４は、本処理を終了する。なお、本処理は画素部２０３の各列に対応する列アンプ２０４の列ごとに行われる。そのため、ＨＤＲ生成用の画像の信号を読み出すか焦点検出用の画像の信号を読み出すか、画素単位で選択することが可能となる。
【００３６】
なお、Ｓ１００２のレベル判定において、Ａ＋Ｂ像信号の信号レベルに基づいて判定を行ったが、これに限られるものではなく、ＨＤＲ合成が必要な領域を判定できる判定方法であればよく、例えば画素値や輝度レベルなどを判定に用いてもよい。また、本実施形態では、画素単位で読み出す信号を制御する例を説明したが、例えば１６画素ずつなど複数の画素を一単位として読み出す信号を制御するようにしてもよい。また、本実施形態では、信号の増幅率を変更することによって露出条件を変更する例を説明したが、光電変換素子の感度設定や露光時間等の変更によって露出条件を変更するようにしてもよい。
【００３７】
画像分配器１０２は、撮像素子１０１からの第１の読み出しで読み出したＡ＋Ｂ像信号を取得して信号レベルを判定し、第２の読み出しが位相差検出用のＢ像なのか、ＨＤＲ合成のための低ゲインのＡ＋Ｂ像であるか判定して、取得した信号を分配する。第２の読み出しが位相差検出用のＢ像であると判定した場合は、取得した信号を位相差検出部１０４へ出力する。一方、第２の読み出しがＨＤＲ合成のための低ゲインのＡ＋Ｂ像であると判定した場合は、取得した信号をＨＤＲの合成を行う画像処理部１０３へ出力する。なお、撮像素子１０１のレベル判定部２０７から判定結果を取得して、分配するようにしてもよい。また、画像処理部１０３と位相差検出部１０４を同一の画像処理回路で実現する場合は、画像分配器１０２は第１の読み出しで読み出したＡ＋Ｂ像信号の信号レベルを判定し、実行する画像処理（ＨＤＲ合成もしくは位相差検出）を切り替えるようにすればよい。
【００３８】
画像処理部１０３は、画像分配器１０２から出力されたＡ＋Ｂ像の高ゲイン画像と低ゲイン画像を合成して、ＨＤＲ画像を生成する。位相差検出部１０４は、Ａ像およびＢ像に基づいて相関演算を行い、ＡＦ情報を生成する。位相差検出部１０４は、取得した信号が所定の数より少ない場合は、精度よく位相差検出を行うことが困難であるため、位相差検出を行わないようにしてもよい。
【００３９】
以上説明したように、本実施形態によると、フレームレートの低下を抑制しつつ、必要な領域のみ低ゲイン画像を取得し、その他の領域では位相差検出用の画像を取得することができる。また、ＨＤＲ画像を生成する場合にも位相差方式によるフォーカス動作が可能となる。
【００４０】
（第２実施形態）
第１実施形態では、第２の読み出しで読み出す信号を、信号レベルの判定に基づいて決定した。本実施形態では、信号レベルに加えて制御信号７００を用いて、判定の精度を向上させる。図７は、本実施形態の信号の読み出しに関わる構成を示す図である。第１実施形態と同様の構成には同じ符号を付し、その説明を省略する。
【００４１】
ＳＷ制御部７０１は、レベル判定部２０７の判定結果と制御信号７００に基づいて、列アンプ２０４の各スイッチを制御し、第２の読み出しで読み出す信号を制御する。制御信号７００は、レベル判定部２０７が行う判定とは異なる判定に基づく制御信号であり、白飛びがある等によりＨＤＲ画像を生成する必要があると判定した場合はＨＩとなる。例えば、水平方向をある分解能で分割し、分割領域の画素信号の平均値が閾値より大きい場合は、制御信号７００をＨＩとする。なお、制御信号７００は、撮像素子１０１内の信号処理回路２０９で生成してもよいし、撮像素子１０１外の信号処理部１０５で生成してもよい。
【００４２】
ＳＷ制御部７０１は、制御信号７００がＨＩであり、且つ、レベル判定部２０７において信号レベルが所定の値より大きいと判定された場合のみ、第２の読み出しでＨＤＲ画像用の信号である低ゲインのＡ＋Ｂ像信号を読み出すよう制御する。それ以外の場合は、ＳＷ制御部７０１は、第２の読み出しで位相差検出用の高ゲインのＢ像信号を読み出すよう制御する。本実施形態によると、第２の読み出しを決定する判定の精度を向上させることができる。
【００４３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４４】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００４５】
１      撮像装置
１０１  撮像素子
１０３  画像処理部
１０４  位相差検出部
２０３  画素部
２０４  列アンプ
２０７  レベル判定部
【図１】
2019213047.tif 000003
【図２】
2019213047.tif 000004
【図３】
2019213047.tif 000005
【図４】
2019213047.tif 000006
【図５】
2019213047.tif 000007
【図６】
2019213047.tif 000008
【図７】
2019213047.tif 000009