(57)【要約】      （修正有）【課題】フレームレートを低下させずに、画像処理用の信号と位相差検出用の信号を撮像素子から取得する。【解決手段】撮像素子を構成する画素部は、位相差情報を有する信号と位相差情報を有しない信号とを選択的に出力可能である。列アンプ部は画素部から読み出された信号に対し、複数の異なるゲインで増幅することができる。レベル判定部は信号のノイズレベルを判定し（Ｓ５０２）、タイミング制御部を介して画素部と列アンプ部の駆動方法を変更する。ノイズ信号のレベルが閾値以下である場合、第１のゲインが乗算された複数の信号が取得されて（Ｓ５０３、Ｓ５０４）、位相差検出が行われる。またノイズ信号のレベルが閾値より大きい場合、第１および第２のゲインがそれぞれ乗算された複数の信号が取得されて（Ｓ５０５、Ｓ５０６）、ダイナミックレンジ拡大処理が行われる。【選択図】図５
2020092346.tif 000002
【特許請求の範囲】
【請求項１】
位相差情報を有する複数の第１の信号と位相差情報を有しない複数の第２の信号とを選択的に出力することができる画素部と、
前記画素部から前記第１または第２の信号を読み出す読み出し手段と、
前記読み出し手段からの信号を複数のゲインで増幅する増幅手段と、
前記信号のレベルを判定し、判定結果にしたがって前記画素部および増幅手段を制御することにより、位相差検出用にゲインが乗算された前記第１の信号を取得して処理する第１の制御と、画像処理用に異なるゲインがそれぞれ乗算された前記第２の信号を取得して処理する第２の制御を行う制御手段と、を備える
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は前記信号のノイズレベルを判定して、前記画素部および増幅手段の駆動方法を変更する処理を行う
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記信号のノイズレベルが閾値より大きい場合、前記増幅手段は読み出された複数の前記第２の信号を２種類のゲインでそれぞれ増幅し、
前記信号のノイズレベルが閾値以下である場合、前記増幅手段は読み出された複数の前記第１の信号を１種類のゲインでそれぞれ増幅する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記ゲインに対応する閾値を用いて前記信号のレベル判定を行う
ことを特徴とする請求項２または請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記画素部の水平アドレスもしくは垂直アドレス、または周辺環境の温度に対応する閾値を用いて前記信号のレベル判定を行う
ことを特徴とする請求項２または請求項３に記載の撮像装置。
【請求項６】
前記画素部から読み出された信号をデジタル信号に変換する変換手段を備え、
前記制御手段は、前記変換手段によって変換されたノイズ信号、または前記変換手段によって変換される前のノイズ信号を取得してレベル判定を行う
ことを特徴とする請求項２から５のいずれか１項に記載の撮像装置。
【請求項７】
前記制御手段は、前記画素部のうちの着目画素に対するノイズ信号を閾値と比較してレベル判定を行う
ことを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
【請求項８】
前記制御手段は、前記画素部のうちの着目画素およびその周囲に位置する複数の画素に対するノイズ信号を閾値と比較してレベル判定を行う
ことを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
【請求項９】
前記第１の信号を取得して位相差検出を行う第１の処理手段と、前記第２の信号を取得してダイナミックレンジを拡大する処理を行う第２の処理手段と、を備える
ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
画素部から位相差情報を有する複数の第１の信号と位相差情報を有しない複数の第２の信号とを選択的に出力することができる撮像素子を備える撮像装置にて実行される制御方法であって、
前記画素部から前記第１または第２の信号を読み出す工程と、
読み出された信号を増幅手段が複数のゲインで増幅する工程と、
前記信号のレベルを判定し、判定結果にしたがって前記画素部および増幅手段を制御することにより、位相差検出用にゲインが乗算された前記第１の信号を取得して処理する第１の制御と、画像処理用に異なるゲインがそれぞれ乗算された前記第２の信号を取得して処理する第２の制御を行う工程と、を有する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から画像処理用の信号と位相差検出用の信号を取得する技術に関するものである。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置に用いられる撮像素子は、画素部で光電変換された信号を出力するだけでなく、例えばダイナミックレンジの拡大（以下、ＨＤＲとも記す）処理や、被写体までの距離情報の出力処理が可能である。特許文献１に開示の装置は、撮像素子の列ごとに設けられた増幅回路の入力容量を切り替える機能を持ち、信号レベルに応じてゲインを切り替えることができる。ゲインの切り替えにより、低ゲインの信号と高ゲインの信号を出力し、画像処理で２つの信号を合成することにより、高ダイナミックレンジ、且つ、低ノイズの映像信号を生成可能である。
【０００３】
また、撮像装置から被写体までの距離情報に関して、撮像素子で位相差検出方式の焦点検出を行う方法がある。焦点検出に利用可能な信号を出力する撮像素子の例として、２次元に配列したマイクロレンズアレイを備え、１対の光電変換部をマイクロレンズごとに配置した構成の素子がある。特許文献２には、１つのマイクロレンズを介して光が入射される１対の光電変換部が出力する信号の加算、非加算を１対の光電変換部を有する画素単位で任意に行うことのできる撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１７５５１７号公報
【特許文献２】特開２００１−８３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の装置では、ＨＤＲ処理に必要な高ゲインの映像信号および低ゲインの映像信号と、位相差検出用の信号を、同一のフレームで撮像素子から読み出す場合にデータ量が増えてしまい、フレームレートが低下するという問題が発生する。従来技術では撮像素子において所望のフレームレートを維持しつつ、ＨＤＲ処理用の映像信号と位相差検出用の信号を読み出すことは困難である。
本発明は、フレームレートを低下させずに、画像処理用の信号と位相差検出用の信号を撮像素子から取得することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施形態の装置は、位相差情報を有する複数の第１の信号と位相差情報を有しない複数の第２の信号とを選択的に出力することができる画素部と、前記画素部から前記第１または第２の信号を読み出す読み出し手段と、前記読み出し手段からの信号を複数のゲインで増幅する増幅手段と、前記信号のレベルを判定し、判定結果にしたがって前記画素部および増幅手段を制御することにより、位相差検出用にゲインが乗算された前記第１の信号を取得して処理する第１の制御と、画像処理用に異なるゲインがそれぞれ乗算された前記第２の信号を取得して処理する第２の制御を行う制御手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、フレームレートを低下させずに、画像処理用の信号と位相差検出用の信号を撮像素子から取得することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係わる撮像装置の全体ブロック図である。
【図２】第１実施形態における撮像素子の全体ブロック図である。
【図３】１画素のデバイス構造を示す概略図である。
【図４】画素部からレベル判定部までの信号処理を説明する図である。
【図５】第１実施形態における処理のフローチャートである。
【図６】位相差検出用およびＨＤＲ処理用の信号読み出しのタイミングを示す図である。
【図７】第２実施形態における撮像素子の全体ブロック図である。
【図８】画素部から列ＡＤＣ部までの信号処理を説明する図である。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施形態を図面にしたがって詳細に説明する。各実施形態では、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置への適用例を示す。撮像装置が備える撮像素子は、位相差情報を有する複数の信号と位相差情報を有しない複数の信号とを選択的に出力可能である。
【００１０】
［第１実施形態］
図１は本実施形態に係る撮像装置の全体の構成を示すブロック図である。撮像装置はレンズ部１００と撮像素子１０１を備える。レンズ部１００は撮像光学系を構成するレンズや絞り等の光学部材を有し、被写体からの光を結像する。撮像素子１０１は受光した光を光電変換して電気信号を出力する。
【００１１】
画素分配部１０２は撮像素子１０１から出力される画像信号を取得し、ＨＤＲ処理用の信号と位相差検出用の信号とを分配する。ダイナミックレンジの拡大処理用の信号はＨＤＲ画像処理部１０３に送られ、位相差検出用の信号は位相差検出部１０４に送られる。
【００１２】
ＨＤＲ画像処理部１０３は、画素分配部１０２からゲインの異なる複数の信号を取得し、ＨＤＲ処理を実行する。ＨＤＲ画像処理部１０３はＨＤＲ処理後の合成画像信号を信号処理部１０５に出力する。信号処理部１０５は記録媒体への記録用データを生成し、また撮像装置が備える表示部の画面に表示する表示用データ等を生成する。
【００１３】
位相差検出部１０４は、画素分配部１０２から取得した複数の信号の位相差を検出し、焦点検出結果に基づく焦点調節用信号をレンズ駆動部１０６に出力する。焦点検出および焦点調節については、図３を用いて後述する。レンズ駆動部１０６は焦点調節用信号に基づいてレンズ部１００が備えるフォーカスレンズを駆動することにより、焦点調節動作を行う。
【００１４】
図２は、本実施形態における撮像素子１０１の構成を示すブロック図である。撮像素子１０１はタイミング制御部２０１からの信号にしたがって動作する垂直走査回路２０２、列アンプ部２０４、列ＡＤＣ部２０５、レベル判定部２０７、水平転送回路２０８、信号処理回路２０９、外部出力回路２１０と、画素部２０３を備える。タイミング制御部２０１は撮像素子１０１の各部に対する動作クロックおよびタイミング信号を供給して動作を制御する。
【００１５】
撮像素子１０１の画素部２０３は２次元アレイ状に配置され、複数の光電変換部によって画像信号を取得する。光電変換部は入射光量に応じて光電変換を行い、信号電圧を出力する光電変換素子を有する。
【００１６】
垂直走査回路２０２は、画素部２０３による画素信号電圧を１フレーム中に順次読み出すためのタイミング制御を行う。一般的に映像信号は１フレーム中に画面の上部の行から下部の行にかけて、行単位で順次読み出される。垂直走査回路２０２は画素部２０３の垂直走査を行い、複数の垂直線からそれぞれ出力される信号は列アンプ部２０４で増幅される。
【００１７】
列ＡＤＣ部２０５は列アンプ部２０４からのアナログ信号をデジタル信号へＡ／Ｄ変換して、後段のレベル判定部２０７、水平転送回路２０８に送る。レベル判定部２０７の動作については後述するが、レベル判定部２０７は画像信号のノイズレベルを判定し、判定結果により画素部２０３、列アンプ部２０４、列ＡＤＣ部２０５の駆動方法を変更する処理を行う。
【００１８】
水平転送回路２０８は、列ＡＤＣ部２０５がＡ／Ｄ変換した信号を、信号処理回路２０９へ転送する。信号処理回路２０９はデジタル信号処理を行う回路である。信号処理回路２０９は一定量のオフセット値をデジタル値で加算する処理を行う。また画素部２０３が遮光領域により遮光される画素領域を有する場合に、当該画素領域での信号を利用したデジタルの黒レベルクランプ処理が行われる。信号処理回路２０９が処理した信号は外部出力回路２１０に送られる。外部出力回路２１０は信号処理回路２０９から信号を取得し、外部出力用のフォーマットへの変換処理を行った後、撮像素子１０１の外部に信号を出力する。
【００１９】
図３は、画素部２０３を構成する１つの画素のデバイス構造を概略的に示す。図３に示す例では、位相差検出のために１つのマイクロレンズ３０１に対応する２つの光電変換部３０２，３０３が設けられている。つまり瞳分割型撮像素子において、２つの光電変換部の出力信号から位相差検出を行うことができる。第１の光電変換部３０２から取得される信号を画素信号Ａとよび、第２の光電変換部３０３から取得される信号を画素信号Ｂとよぶことにする。画素信号Ａおよび画素信号Ｂは位相差情報を有する信号である。また、画素信号Ａと画素信号Ｂとの加算信号Ａ＋Ｂは撮像画像信号として利用可能である。なお、加算信号Ａ＋Ｂ自体は位相差情報を有しない信号であるが、画素信号Ａまたは画素信号Ｂとの組み合わせにおいては位相差情報を有する信号であることに注意を要する。つまり、画素信号Ａ、および加算信号Ａ＋Ｂから画素信号Ａを減算した画素信号Ｂ、あるいは、画素信号Ｂ、および加算信号Ａ＋Ｂから画素信号Ｂを減算した画素信号Ａから位相差検出を行うことができる。
【００２０】
位相差検出部１０４（図１）は、画素信号Ａと画素信号Ｂとの位相差との位相差に基づくフォーカス合焦度を検出する。像ずれ量やデフォーカス量を算出することが可能である。なお、光電変換部３０２，３０３の表面には各々にカラーフィルタとマイクロレンズが実装されている。Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタを用いることで、ＲＧＢ原色カラーフィルタによるベイヤー配列の周期構造をとることが一般的ではあるが、必ずしもこの限りではない。本実施形態では２分割の光電変換部を例示するが、３以上の分割数での実施も可能である。
【００２１】
図４は、画素部２０３からレベル判定部２０７までの信号処理の流れを説明する図である。点線枠で示す画素部２０３の１つは、光電変換素子４０１，４０２と、転送スイッチ４０３，４０４と、電荷保持部４０５と画素アンプ４０６を備える。１対の光電変換素子４０１，４０２は１つのマイクロレンズを共有しており、光電変換により光を電荷に変換する。光電変換素子４０１，４０２はフォトダイオード（ＰＤ）により構成される。
【００２２】
光電変換素子４０１，４０２には、転送スイッチ４０３，４０４がそれぞれ接続されている。転送スイッチ４０３は光電変換素子４０１で発生した電荷を後段の回路に転送する。転送スイッチ４０４は光電変換素子４０２で発生した電荷を後段の回路に転送する。転送スイッチ４０３，４０４はトランジスタにより構成される。
【００２３】
電荷保持部４０５は転送スイッチ４０３，４０４に接続されていて、光電変換素子４０１や光電変換素子４０２で発生した電荷を一時的に保持する。電荷保持部４０５は、光電変換素子４０１と光電変換素子４０２のうち、どちらかの電荷のみを保持することが可能である。また、電荷保持部４０５は光電変換素子４０１と光電変換素子４０２の両方の電荷を加算した電荷を保持することが可能である。
【００２４】
画素アンプ４０６は電荷保持部４０５と接続されており、垂直線４１３を通して電荷保持部４０５の信号を、後段の列アンプ部２０４へ出力する。電流制御部４０７は垂直線４１３の電流を制御する。列アンプ部２０４は垂直線４１３から入力された画素アンプ４０６の出力信号を２種類以上のゲインで増幅することができる。２種類以上のゲインには、位相差検出用のゲインと、ＨＤＲ処理等の画像処理用の複数のゲインが含まれる。
【００２５】
列ＡＤＣ部２０５はＡ／Ｄ変換部４０９と、メモリ４１０，４１１と、減算部４１２を備える。Ａ／Ｄ変換部４０９は列アンプ部２０４からのアナログ信号をデジタル信号に変換する。メモリ４１０，４１１は、Ａ／Ｄ変換部４０９で変換されたデジタル信号を一時的に保持する。メモリ４１０は光電変換素子４０１または光電変換素子４０２から読み出された画素信号と、読み出し回路部（電荷保持部４０５からＡ／Ｄ変換部４０９までの回路）のノイズ信号とを保持する。メモリ４１１は読み出し回路部のノイズ信号を保持する。減算部４１２はメモリ４１０に保持された信号からメモリ４１１に保持された信号を減算する。減算後の信号は画素信号として水平転送回路２０８へ出力される。
【００２６】
一方で、メモリ４１１に保持されたノイズ信号は、レベル判定部２０７へ出力される。レベル判定部２０７は、取得したノイズ信号のレベルに応じた判定信号をタイミング制御部２０１に出力する。タイミング制御部２０１は、レベル判定部２０７の判定信号に応じて転送スイッチ４０３，４０４と、列アンプ部２０４の制御方法を切り替える。
【００２７】
図５は、本実施形態における処理を説明するフローチャートである。Ｓ５０１では、ノイズ信号の読み出しが行われる。ノイズ信号は転送スイッチ４０３と転送スイッチ４０４がＯＦＦの状態であって、電荷保持部４０５の電荷をリセットした状態の信号である。ノイズ信号はＡ／Ｄ変換部４０９によるＡ／Ｄ変換後に、メモリ４１１に記憶保持される。
【００２８】
Ｓ５０２でレベル判定部２０７は、メモリ４１１から取得したノイズ信号を所定の閾値と比較することによりノイズレベルを判定する。ノイズ信号のレベルが所定の閾値以下であると判定された場合、Ｓ５０３の処理に進み、ノイズ信号のレベルが閾値より大きいと判定された場合にはＳ５０５の処理へ進む。
【００２９】
Ｓ５０３では、光電変換部３０２から読み出された画素信号Ａが列アンプ部２０４において第１のゲインで増幅される。増幅された画素信号Ａはメモリ４１０に記憶される。減算部４１２は、メモリ４１０より出力される画素信号Ａから、メモリ４１１より出力されるノイズ信号を減算した信号を、水平転送回路２０８へ出力する。
【００３０】
次のＳ５０４では、光電変換部３０２および光電変換部３０３から読み出された信号（画素信号Ａ＋Ｂと表記する）が列アンプ部２０４において第１のゲインで増幅される。増幅された画素信号Ａ＋Ｂはメモリ４１０に記憶される。減算部４１２は、メモリ４１０より出力される画素信号Ａ＋Ｂから、メモリ４１１より出力されるノイズ信号を減算した信号を、水平転送回路２０８へ出力する。
【００３１】
画素信号Ａと画素信号Ａ＋Ｂは位相差検出用に取得された信号である。位相差検出部１０４は、Ｓ５０３で取得された画素信号Ａと、Ｓ５０４で取得された画素信号Ａ＋Ｂを用いて信号値の位相差を検出する。位相差検出の場合、列アンプ部２０４のゲインは１種類である。
【００３２】
一方、Ｓ５０５では、光電変換部３０２および光電変換部３０３から読み出された画素信号Ａ＋Ｂが列アンプ部２０４において第１のゲインで増幅された後、メモリ４１０に記憶される。減算部４１２は、メモリ４１０より出力される画素信号Ａ＋Ｂから、メモリ４１１より出力されるノイズ信号を減算した信号を、水平転送回路２０８へ出力する。
【００３３】
次のＳ５０６では、光電変換部３０２および光電変換部３０３から読み出された画素信号Ａ＋Ｂが列アンプ部２０４において第１のゲインとは異なる第２のゲインで増幅された後、メモリ４１０に記憶される。減算部４１２は、メモリ４１０より出力される画素信号Ａ＋Ｂから、メモリ４１１より出力されるノイズ信号を減算した信号を、水平転送回路２０８へ出力する。
【００３４】
ゲインの異なる複数の画素信号Ａ＋Ｂはダイナミックレンジの拡大処理用に取得された信号である。ＨＤＲ画像処理部１０３は、Ｓ５０５で取得された第１のゲインでの画素信号Ａ＋Ｂと、Ｓ５０６で取得された第２のゲインでの画素信号Ａ＋Ｂを用いてＨＤＲ画像を生成する。ダイナミックレンジの拡大処理の場合、列アンプ部２０４のゲインは２種類である。
【００３５】
図６を参照して、用途ごとの信号読み出しを説明する。図６（Ａ）は、図５のＳ５０１からＳ５０４に示した位相差検出用の信号読み出しのタイミングを示す図である。位相差検出用の信号読み出しは、水平同期信号６０１に同期して行われる。まず、読み出し期間６０２では、ノイズ信号の読み出しが行われて、レベル判定部２０７がノイズ信号のレベル判定を行う。次の読み出し期間６０３では、画素信号Ａについて第１のゲインでの読み出しが行われる。その次の読み出し期間６０４では、画素信号Ａ＋Ｂについて第１のゲインでの読み出しが行われる。
【００３６】
図６（Ｂ）は、図５のＳ５０１、Ｓ５０２、Ｓ５０５、Ｓ５０６に示したＨＤＲ処理用の信号読み出しのタイミングを示す図である。ＨＤＲ処理用の信号読み出しは、水平同期信号７０１に同期して行われる。まず、読み出し期間７０２では、ノイズ信号の読み出しが行われて、レベル判定部２０７がノイズ信号のレベル判定を行う。次の読み出し期間７０３では、画素信号Ａ＋Ｂについて第１のゲインでの読み出しが行われる。その次の読み出し期間７０４では、画素信号Ａ＋Ｂについて第２のゲインでの読み出しが行われる。
【００３７】
本実施形態では、検出したノイズ信号のレベルに応じて、位相差検出用の信号読み出しとＨＤＲ処理用の信号読み出しとを切り替える処理が行われる。これにより、画像信号の読み出しフレームレートを低下させることなく、位相差検出用およびＨＤＲ処理用の各信号を取得して処理を行うことが可能となる。
【００３８】
［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では第１実施形態との相違点を主に説明し、第１実施形態と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略する。
【００３９】
図７は本実施形態における撮像素子１０１の全体ブロック図である。図２との相違点は、レベル判定部８０７が画素部２０３から取得したノイズ信号のレベルを検出し、ノイズレベルに応じてタイミング制御部２０１に対して、読み出し方法の切替信号を出力する点である。本実施形態では、画素部２０３の後段にレベル判定部８０７が配置されている。つまり、レベル判定部８０７は列アンプ部２０４よりも前段に配置されている。
【００４０】
図８は画素部２０３から列ＡＤＣ部２０５までの信号処理の流れを示す図である。レベル判定部８０７以外の部分に関しては、図４に示す構成と同様であるので、それらの説明を省略する。レベル判定部８０７は垂直線４１３から、読み出し回路部（電荷保持部４０５から垂直線４１３までの回路）のノイズ信号を取得する。レベル判定部８０７はノイズ信号のレベルを判定し、レベルに応じた判定信号をタイミング制御部２０１へ出力する。タイミング制御部２０１は判定信号にしたがって、転送スイッチ４０３，４０４と、列アンプ部２０４の制御方法を切り替える。
【００４１】
本実施形態においては、第１実施形態の効果に加えて、列アンプ部２０４や列ＡＤＣ部２０５よりも前段でレベル判定部８０７がノイズ信号のレベル判定を行うので、処理時間の短縮が可能となる。
【００４２】
前記実施形態では、画素部から読み出された信号のレベルを判定し、判定結果にしたがって撮像素子の画素部および増幅部の駆動方法を変更する。被写体の輝度に応じてレベルが変化する読み出し回路部のノイズ信号のレベルが判定され、被写体の輝度に関して、被写体が明るい場合にはＨＤＲ処理用の信号読み出しが行われ、被写体が暗い場合には位相差検出用の信号読み出しが行われる。また、ノイズ信号を参照することで、信号読み出し方法の切替を短時間で行うことが可能である。位相差検出用の信号読み出しは、画素信号Ａの読み出し後に画素信号Ａ＋Ｂを読み出す方式であり、光電変換素子４０１および４０２の読み出し回路部（電荷保持部４０５以降の回路部）を共通化でき、回路面積を低減可能である。
【００４３】
前記実施形態において、レベル判定部がノイズ信号の判定に用いる閾値については１つの値を用いてもよいし、条件に応じて閾値を変更してもよい。例えば、列アンプ部２０４やＡ／Ｄ変換部４０９で信号に乗算する各ゲインに対応して閾値が変更される。また、画素の水平アドレスや垂直アドレスによってノイズ信号が変化する場合には、画素の水平アドレスや垂直アドレスに応じて閾値を変更してもよい。また、ノイズ信号が周辺環境の温度に応じて変化する場合には、温度に依存した閾値を用いてもよい。このようにすることで、位相差検出とＨＤＲ処理を適切な輝度レベルで切り替えることができる。
【００４４】
前記実施形態において、レベル判定部は１つの着目画素に係るノイズ信号を参照してレベル判定を行う例として説明したが、着目画素とその周囲に位置する複数の画素（周辺画素）に係るノイズ信号を参照してレベル判定を行ってもよい。そうすることで、ノイズ検出における信号のばらつきを低減し、適切に信号読み出し方法を切り替えることができる。
【００４５】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではない。位相差検出およびＨＤＲ処理の例を説明したが、本発明は瞳分割型撮像素子等を用いて取得される視点の異なる複数の画像からなる視差画像の合成比率に対応するゲインを変更して画像合成を行う処理等への適用が可能である。また本発明の要旨を逸脱しない範囲の様々な形態も本発明の技術的範囲に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００４６】
１０１・・・撮像素子
１０３・・・ＨＤＲ画像処理部
１０４・・・位相差検出部
２０１・・・タイミング制御部
２０３・・・画素部
２０４・・・列アンプ部
２０５・・・列ＡＤＣ部
２０７，８０７・・・レベル判定部
３０１・・・マイクロレンズ
３０２，３０３・・・光電変換部
【図１】
2020092346.tif 000003
【図２】
2020092346.tif 000004
【図３】
2020092346.tif 000005
【図４】
2020092346.tif 000006
【図５】
2020092346.tif 000007
【図６】
2020092346.tif 000008
【図７】
2020092346.tif 000009
【図８】
2020092346.tif 000010