(57)【要約】  本技術は、光を受光するセンサの飽和を抑制することができるようにする受光装置、制御方法、及び、電子機器に関する。制御部は、光を受光することにより、測光を行う測光センサの測光結果に応じて、光を受光する受光面が複数のブロックに区分された他のセンサの露光を制御する露光制御を、ブロックごとに行う。本技術は、例えば、ディジタルカメラ等の光を受光する電子機器等に適用することができる。
2017126377.tif 000002
【特許請求の範囲】
【請求項１】
光を受光することにより、測光を行う測光センサと、
光を受光する受光面が複数のブロックに区分された他のセンサと、
前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部と
を備える受光装置。
【請求項２】
前記他のセンサとして、
光を受光することにより、測距を行う測距センサ、
及び、光を受光することにより、撮像を行うイメージセンサ
のうちの一方、又は、両方を備える
請求項１に記載の受光装置。
【請求項３】
前記他のセンサは、前記測光センサを兼ねる
請求項１に記載の受光装置。
【請求項４】
前記他のセンサの、光を受光する画素と、前記測光センサの、光を受光する測光画素とが、１の基板上に配置されている
請求項３に記載の受光装置。
【請求項５】
前記他のセンサは、前記他のセンサの、光を受光する画素が配置されている基板と、前記測光センサの、光を受光する測光画素が配置されている基板とが積層されて構成される
請求項３に記載の受光装置。
【請求項６】
前記測光センサは、光を受光する測光画素として、開口率が異なる複数の画素を有する
請求項１に記載の受光装置。
【請求項７】
前記制御部は、露光時間、又は、所定時間の露光の露光結果を加算する加算数の設定を、前記露光制御として行う
請求項１に記載の受光装置。
【請求項８】
前記測光センサ及び他のセンサは、所定の光学系を通過した光を受光する
請求項１に記載の受光装置。
【請求項９】
前記測光センサが、所定の光学系を通過した光を受光し、前記他のセンサが、前記所定の光学系とは異なる光学系を通過した光を受光する場合に、前記測光センサでの光の受光により得られる測光画像と、前記他のセンサでの光の受光により得られる画像とについて、同一の被写体が映る位置を対応させるキャリブレーションを行う
請求項１に記載の受光装置。
【請求項１０】
前記他のセンサとして、光を受光することにより、測距を行う測距センサを備え、
前記測距センサが受光する光となる電磁波を発する発光部をさらに備える
請求項１に記載の受光装置。
【請求項１１】
光を受光することにより、測光を行う測光センサの測光結果に応じて、光を受光する受光面が複数のブロックに区分された他のセンサの露光を制御する露光制御を、前記ブロックごとに行う
ステップを含む制御方法。
【請求項１２】
光を集光する光学系と、
光を受光する受光装置と
を備え、
前記受光装置は、
前記光学系を通過した光を受光することにより、測光を行う測光センサと、
前記光学系、又は、前記光学系と異なる光学系を通過した光を受光する受光面が複数のブロックに区分された他のセンサと、
前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部と
を有する
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、受光装置、制御方法、及び、電子機器に関し、特に、例えば、光を受光するセンサの飽和を抑制することができるようにする受光装置、制御方法、及び、電子機器に関する。
【背景技術】
【０００２】
光を受光するセンサとしては、例えば、光を受光することにより、画像の撮像を行うイメージセンサ（撮像センサ）や、測距を行う測距センサ等がある。【０００３】
測距センタとしては、例えば、ToF(Time of Flight)方式のToFセンサがある（例えば、非特許文献１を参照）。【０００４】
ToFセンサは、光を受光して光電変換を行う画素を有する。ToFセンサでは、光が発光され、被写体に照射される。さらに、ToFセンサでは、被写体で反射されて戻ってくる反射光が画素で受光され、光の発光から反射光の受光までに要した時間により、被写体までの距離が求められる（測距が行われる）。【０００５】
ToFセンサが、被写体からの反射光を受光するとき、ToFセンサの画素が受光する光には、被写体からの反射光の他、環境光が含まれる。ToFセンサでは、被写体からの反射光（環境光を含む）の光電変換結果としての電気信号と、環境光のみの光電変換結果としての電気信号との差分（以下、環境光除去差分ともいう）を求めることで、環境光に対応する電気信号を除去することができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Shoji Kawahito, Izhal Abdul Halin, Takeo Ushinaga, Tomonari Sawada, Mitsuru Homma and Yasunari Maeda, "A COMS Time-of-Flight Range Image Sensor With Gates-on-Field-Oxide Structure", IEEE SENSORS JOURNAL, VOL. 7, NO. 12, DECEMBER 2007
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ToFセンサで受光される環境光が、例えば、太陽光（直射日光）のような強い光である場合には、ToFセンサの画素が飽和し、環境光除去差分を求めることができず、ひいては、正確な測距を行うことが困難となる。【０００８】
環境光が強い光である場合、イメージセンサでも、画素が飽和し、画像の画質が劣化することがある。【０００９】
本技術は、このような状況に鑑みてなされたものであり、光を受光するセンサの飽和を抑制することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の受光装置は、光を受光することにより、測光を行う測光センサと、光を受光する受光面が複数のブロックに区分された他のセンサと、前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部とを備える受光装置である。【００１１】
本技術の制御方法は、光を受光することにより、測光を行う測光センサの測光結果に応じて、光を受光する受光面が複数のブロックに区分された他のセンサの露光を制御する露光制御を、前記ブロックごとに行うステップを含む制御方法である。【００１２】
本技術の電子機器は、光を集光する光学系と、光を受光する受光装置とを備え、前記受光装置は、前記光学系を通過した光を受光することにより、測光を行う測光センサと、前記光学系、又は、前記光学系と異なる光学系を通過した光を受光する受光面が複数のブロックに区分された他のセンサと、前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部とを有する電子機器である。【００１３】
本技術の受光装置、制御方法、及び、電子機器においては、光を受光することにより、測光を行う測光センサの測光結果に応じて、光を受光する受光面が複数のブロックに区分された他のセンサの露光を制御する露光制御が、前記ブロックごとに行われる。【００１４】
なお、受光装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１５】
本技術によれば、光を受光するセンサの飽和を抑制することができる。【００１６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】本技術を適用した受光装置の第１実施の形態の構成例を示すブロック図である。
【図２】本技術を適用した受光装置の第２実施の形態の構成例を示すブロック図である。
【図３】本技術を適用した受光装置の第３実施の形態の構成例を示すブロック図である。
【図４】測距センサ２０による測距の例を説明する図である。
【図５】測光センサ１０を兼ねる測距センサ２０の構成例の概略を示す平面図である。
【図６】測光センサ１０を兼ねる測距センサ２０の他の構成例の概略を示す側面図である。
【図７】測光画素１１の構成例を示す図である。
【図８】測距画素２１及び撮像画素３１の飽和を抑制する第１の画素飽和抑制法を説明する図である。
【図９】測距センサ２０を用いた測距処理、及び、イメージセンサ３０を用いた撮像処理の例を説明するフローチャートである。
【図１０】第１の画素飽和抑制法により測距画素２１／撮像画素３１の飽和が抑制される露光制御の処理の例を説明するフローチャートである。
【図１１】第１の画素飽和抑制法により測距画素２１／撮像画素３１の飽和が抑制される露光制御の処理の他の例を説明するフローチャートである。
【図１２】測距画素２１及び撮像画素３１の飽和を抑制する第２の画素飽和抑制法を説明する図である。
【図１３】第２の画素飽和抑制法により受光画素（測距画素２１／撮像画素３１）の飽和が抑制される露光制御の処理の例を説明するフローチャートである。
【図１４】第２の画素飽和抑制法により受光画素の飽和が抑制される露光制御の処理の他の例を説明するフローチャートである。
【図１５】本技術を適用したディジタルカメラの第１の構成例の概略を示す断面図である。
【図１６】本技術を適用したディジタルカメラの第２の構成例の概略を示す断面図である。
【図１７】本技術を適用したディジタルカメラの第３の構成例の概略を示す断面図である。
【図１８】本技術を適用したディジタルカメラの第４の構成例の概略を示す断面図である。
【図１９】本技術を適用したディジタルカメラの第５の構成例の概略を示す平面図である。
【図２０】位置合わせキャリブレーションを説明する図である。
【図２１】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
＜本技術を適用した受光装置の実施の形態＞
【００１９】
図１は、本技術を適用した受光装置の第１実施の形態の構成例を示すブロック図である。
【００２０】
図１において、受光装置は、測光センサ１０、測距センサ２０、イメージセンサ３０、制御部４１、及び、処理部４２を有し、光を受光することにより、測光を行うとともに、測距や撮像を行う。
【００２１】
測光センサ１０は、光を受光することにより、測光を行う。
【００２２】
すなわち、測光センサ１０は、複数の測光画素１１を有する。測光画素１１は、例えば、PD(Photo Diode)等で構成される。測光画素１１は、光を受光して光電変換を行い、その光の受光量（露光量）に対応した電気信号（例えば、電荷等）を、処理部４２に出力する。
【００２３】
測距センサ２０は、光を受光することにより、測距を行う。
【００２４】
すなわち、測距センサ２０は、複数の測距画素２１と、発光部２２とを有する。測距画素２１は、例えば、PD等で構成される。測距画素２１は、発光部２２で発光され、被写体で反射されて戻ってくる光を受光して光電変換を行い、その光の受光量に対応した電気信号を、処理部４２に出力する。発光部２２は、測距に用いる電磁波として、例えば、赤外線等の光を発光する。
【００２５】
イメージセンサ３０は、光を受光することにより、撮像を行う。
【００２６】
すなわち、イメージセンサ３０は、複数の撮像画素３１を有する。撮像画素３１は、例えば、PD等で構成される。撮像画素３１は、光を受光して光電変換を行い、その光の受光量に対応した電気信号を、処理部４２に出力する。
【００２７】
制御部４１は、例えば、処理部４２での処理の結果等に応じて、測光センサ１０や、測距センサ２０、イメージセンサ３０、処理部４２を制御する。
【００２８】
処理部４２は、測光センサ１０や、測距センサ２０、イメージセンサ３０から出力される電気信号に所定の処理を施し、その処理の結果を、必要に応じて、外部や制御部４１に出力する。
【００２９】
以上のように構成される受光装置では、測光センサ１０の測光画素１１が、光を受光して光電変換を行い、その光の受光量に対応した電気信号を、処理部４２に出力する。
【００３０】
処理部４２は、測光センサ１０から出力される電気信号から、測光センサ１０、ひいては、測距センサ２０やイメージセンサ３０に入射する光（環境光）の測光を行い、その測光の結果（測光結果）を、制御部４１に出力する。
【００３１】
制御部４１は、処理部４２からの測光結果に応じて、測距センサ２０やイメージセンサ３０の露光を制御する露光制御を行う。
【００３２】
ここで、後述するように、測距センサ２０の測距画素２１が配置された受光面や、イメージセンサ３０の撮像画素３１が配置された受光面は、複数の画素ブロックに分割されている。制御部４１による露光制御は、画素ブロック（の測距画素２１や撮像画素３１）ごとに行われる。
【００３３】
なお、図１の受光装置は、測光センサ１０以外の他のセンサとして、測距センサ２０とイメージセンサ３０とを有する。但し、他のセンサとしては、測距センサ２０だけや、イメージセンサ３０だけを設けることができる。また、他のセンサとしては、測距センサ２０及びイメージセンサ３０以外の、光を受光する任意のセンサを設けることができる。
【００３４】
図２は、本技術を適用した受光装置の第２実施の形態の構成例を示すブロック図である。
【００３５】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００３６】
図２において、受光装置は、測光センサ１０、測距センサ２０、制御部４１、及び、処理部４２を有する。
【００３７】
したがって、図２の受光装置は、測光センサ１０、測距センサ２０、制御部４１、及び、処理部４２を有する点で、図１の場合と共通し、イメージセンサ３０を有しない点で、図１の場合と相違する。
【００３８】
以上のように構成される図２の受光装置では、測光センサ１０、測距センサ２０、制御部４１、及び、処理部４２において、図１の場合と同様の処理が行われる。
【００３９】
図３は、本技術を適用した受光装置の第３実施の形態の構成例を示すブロック図である。
【００４０】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００４１】
図３において、受光装置は、測光センサ１０、イメージセンサ３０、制御部４１、及び、処理部４２を有する。
【００４２】
したがって、図３の受光装置は、測光センサ１０、イメージセンサ３０、制御部４１、及び、処理部４２を有する点で、図１の場合と共通し、測距センサ２０を有しない点で、図１の場合と相違する。
【００４３】
以上のように構成される図３の受光装置では、測光センサ１０、イメージセンサ３０、制御部４１、及び、処理部４２において、図１の場合と同様の処理が行われる。
【００４４】
＜測距センサ２０＞
【００４５】
図４は、測距センサ２０による測距の例を説明する図である。
【００４６】
測距センサ２０は、例えば、ToFセンサであり、発光部２２から、パルス状の照射光を繰り返し発光する。さらに、測距センサ２０は、照射光が被写体で反射されて戻ってくる反射光を、測距画素２１で受光することで、被写体までの距離を算出する（測距を行う）。
【００４７】
ここで、照射光としてのパルスの周期を、サイクル(cycle)ともいう。
【００４８】
また、照射光としてのパルスがオン（H(High)レベル）の間（図４のパルスPLS1がHレベルの間）を露光時間として、測距画素２１が受光する反射光の光電変換により得られる電気信号としての受光信号（電荷量）をN1と表す。
【００４９】
さらに、照射光としてのパルスがオフ（L(Low)レベル）の間（図４のパルスPLS2がHレベルの間）を露光時間として、測距画素２１が受光する反射光の光電変換により得られる電気信号としての受光信号（電荷量）をN2と表す。
【００５０】
受光信号N1及びN2の全体に対する受光信号N1や受光信号N2の割合が、照射光が被写体で反射され、被写体で反射された照射光である反射光が戻ってくるまでの時間、ひいては、被写体までの距離に対応する。
【００５１】
そこで、ToFセンサである測距センサ２０（が出力する電気信号を処理する処理部４２）では、受光信号N1及びN2を用いて、被写体までの距離が算出される。
【００５２】
なお、ToFセンサである測距センサ２０の測距誤差σLは、次式で表される。
【００５３】
σL＝cT0／(4√N12)√(1＋(NB＋NO＋4NR2)／N12)
・・・（１）
【００５４】
但し、T0は、照射光としてのパルスのパルス幅を表し、cは光速を表す。また、N12は、受光信号N1及びN2の加算値N1+N2を表し、NRはリードノイズ(read noise)を表す。NBは、バックグランドショットノイズ(background shot noise)を表し、NOは、オフセットチャージ(offset charge)を表す。
【００５５】
式（１）によれば、測距誤差σLは、照射光のパルス幅T0に比例するので、測距の精度は、照射光のパルス幅T0が小であるほど向上する。
【００５６】
1サイクルより長い所定の時間を、1フレーム(1F)として、1フレームが、所定の複数サイクルであるNサイクルで構成されることとする。
【００５７】
ToFセンサである測距センサ２０では、例えば、1サイクルごとの測距画素２１の露光の露光結果が、最大で、1フレームを構成するNサイクル分だけ加算され、その結果得られる加算値から、被写体までの距離が求められる。
【００５８】
測距の精度は、加算の対象となるサイクル数が多いほど、すなわち、測距画素２１の露光時間の、1フレームの積算値が大であるほど向上する。
【００５９】
なお、測距センサ２０としては、ToFセンサ以外の測距センサを採用することができる。
【００６０】
ところで、測距画素２１の露光時、つまり、測距画素２１が、被写体からの反射光を受光するときには、測距画素２１が受光する光には、被写体からの反射光（信号成分）の他、環境光（雑音成分）が含まれる。
【００６１】
測距の精度を向上させるために、測距画素２１の露光時間の、1フレームの積算値を大にした場合、環境光が、太陽光（直射日光）のような強い光であるときには、測距画素２１が飽和し、正確な測距を行うことが困難となる。
【００６２】
＜測光センサ１０を兼ねる測距センサ２０及びイメージセンサ３０の構成例＞
【００６３】
図５は、測光センサ１０を兼ねる測距センサ２０の構成例の概略を示す平面図である。
【００６４】
測距センサ２０は、測光センサ１０を兼ねることができる。
【００６５】
図５において、測距センサ２０は、例えば、矩形状の受光面を有し、受光面は、行列状に、矩形状の画素ブロックに区分されている。
【００６６】
画素ブロックには、複数の画素が、例えば、行列状に配置されている。
【００６７】
測距センサ２０が、測光センサ１０を兼ねない場合、画素ブロックは、１画素以上の測距画素２１のみが（行列状に）配置されて構成される。
【００６８】
測距センサ２０が、測光センサ１０を兼ねる場合、画素ブロックには、測距画素２１の他に、測光画素１１が含まれる。
【００６９】
測光センサ１０を兼ねる測距センサ２０において、画素ブロックには、複数の測光画素１１をランダム（一様）に配置することができる。
【００７０】
以上のように、画素ブロックに、測距画素２１の他に、測光を行う測光画素１１を配置することで、受光面の光エネルギー量の分布を計測し、露光を、画素ブロックごとに制御することができる。
【００７１】
すなわち、各画素ブロックに対応する測光画素１１、つまり、各画素ブロックに含まれる測光画素１１が出力する電気信号（測光結果）から、受光面に入射する光の光量に対する測距画素２１の（電荷の）飽和の有無を、画素ブロックごとに判定し、その判定の結果に応じて、測距画素２１の露光を、画素ブロックごとに制御することができる。
【００７２】
ここで、測距センサ２０が、測光センサ１０を兼ねない場合であっても、測光センサ１０が出力する電気信号に応じて、測距センサ２０の測距画素２１の飽和の有無を、画素ブロックごとに判定することができる。
【００７３】
すなわち、測光センサ１０及び測距センサ２０が受光する光が、（ほぼ）一致していれば、測距センサ２０のある画素ブロックBに入射する光の光量は、測光センサ１０の、画素ブロックBに対応する測光画素１１、すなわち、画素ブロックBに対応するエリアに配置された測光画素１１が出力する電気信号から把握することができる。したがって、測距センサ２０の画素ブロックBの測距画素２１の飽和の有無は、その画素ブロックBに対応する測光画素１１が出力する電気信号から判定することができる。
【００７４】
なお、イメージセンサ３０も、測距センサ２０と同様に、測距センサ１０を兼ねることができる。すなわち、上述の図５の説明は、「測距センサ２０」及び「測距画素２１」を、それぞれ、「イメージセンサ３０」及び「撮像画素３１」に読み替えることができる。
【００７５】
また、測光センサ１０を兼ねる測距センサ２０では、その測距センサ２０を構成する１の（半導体）基板上に、図５に示したように、測光画素１１と測距画素２１を配置すること、すなわち、測光画素１１と測距画素２１とを同一基板上に配置することができる。
【００７６】
さらに、測光センサ１０を兼ねる測距センサ２０では、測距センサ２０を積層構造に構成し、測距センサ２０を構成する１の基板上に、測光画素１１を配置し、測距センサ２０を構成する他の基板上に、測距画素２１を配置することができる。
【００７７】
すなわち、測光センサ１０を兼ねる測距センサ２０は、測光画素１１が配置された基板と、測距画素２１が配置された基板とを積層して構成することができる。
【００７８】
以上の点、測光センサ１０を兼ねるイメージセンサ３０についても、同様である。
【００７９】
図６は、測光センサ１０を兼ねる測距センサ２０の他の構成例の概略を示す側面図である。
【００８０】
図６では、測距センサ２０は、測光画素１１が配置された基板６１と、測距画素２１が配置された基板６２とが積層された積層構造になっている。
【００８１】
図６の測距センサ２０においては、例えば、上面側から見たときに、測光画素１１及び測距画素２１を、図５の同様のパターンで、基板６１及び６２にそれぞれ配置することができる。
【００８２】
図６では、測光画素１１が配置された基板６１が、上側（光が入射する側）に配置され、測距画素２１が配置された基板６２が、下側に配置されている。
【００８３】
下側の基板６２に配置された測距画素２１に対向する、上側の基板６１の部分は、例えば、下側の基板６２に光が透過するように、透明な材料で構成することができる。
【００８４】
なお、測光センサ１０を兼ねるイメージセンサ３０も、図６の測光センサ１０を兼ねる測距センサ２０と同様に、積層構造に構成することができる。
【００８５】
図７は、測光画素１１の構成例を示す図である。
【００８６】
測距センサ２０又はイメージセンサ３０が、測光センサ１０を兼ねる場合、測距センサ２０又はイメージセンサ３０の各画素ブロックは、測光画素１１として、例えば、画素タイプpa，pb，pc，pd，pe，pf，pg等の複数の画素タイプの画素を有する。
【００８７】
測距センサ２０又はイメージセンサ３０が、測光センサ１０を兼ねない場合、測光センサ１０は、測距センサ２０又はイメージセンサ３０の各画素ブロックに対応する、受光面の各エリアに、例えば、画素タイプpa，pb，pc，pd，pe，pf，pg等の複数の画素タイプの画素を有する。
【００８８】
画素タイプpaないしpgの画素は、その開口部が、適宜、遮光膜で遮光されており、開口率が異なっている。
【００８９】
画素タイプpaの画素については、開口部が遮光されておらず、開口率が1(100%)になっている。画素タイプpbないしpgの画素については、開口部の一部が遮光され、それぞれ、開口率が、例えば、0.75，0.66，0.5，0.33，0.25，0.1になっている。
【００９０】
ここで、測距センサ２０又はイメージセンサ３０が、測光センサ１０を兼ねる場合の、測距センサ２０又はイメージセンサ３０の画素ブロックが有する測光画素１１、及び、測距センサ２０又はイメージセンサ３０が、測光センサ１０を兼ねない場合の、測距センサ２０又はイメージセンサ３０の画素ブロックに対応する、測光センサ１０の受光面のエリアの測光画素１１を、いずれも、画素ブロックに対応する測光画素１１ともいう。
【００９１】
1個の画素ブロックに対応する測光画素１１としては、少なくも、画素タイプpaないしpgの画素を1画素ずつ採用することができる。
【００９２】
さらに、1個の画素ブロックに対応する測光画素１１としての画素タイプpaないしpgの画素それぞれの数は、同一の数であっても良いし、異なる数であっても良い。
【００９３】
また、1個の画素ブロックに対応する測光画素１１には、画素タイプpaないしpgの画素の他、開口部が完全に遮光された遮光画素（開口率が0の画素）を採用することができる。
【００９４】
＜画素飽和抑制法＞
【００９５】
図８は、測距画素２１及び撮像画素３１の飽和を抑制する第１の画素飽和抑制法を説明する図である。
【００９６】
画素ブロックに対応する測光画素１１によれば、各フレームにおいて、測距センサ２０又はイメージセンサ３０に入射する光の光量を測定し、複雑な演算をすることなく、画素ブロックの測距画素２１又は撮像画素３１の露光制御（駆動制御）を行って、その画素ブロックの測距画素２１又は撮像画素３１を抑制することができる。
【００９７】
ここで、測距センサ２０の測距の精度を向上させる方法としては、例えば、発光部２２が発光する電磁波（赤外線等）の強度を大にする方法がある。さらに、測距の精度を向上させる方法としては、発光部２２が発光する電磁波が正弦波である場合には、その正弦波の周波数を高める方法があり、発光部２２が発光する電磁波がパルスである場合には、そのパルスのパルス幅を短くする方法がある。
【００９８】
以上のように、発光部２２が発行する電磁波としての正弦波の周波数を高めることや、電磁波としてのパルスのパルス幅を短くすることができるように、測距センサ２０は、測距画素２１の露光として、ナノ秒レベルの短時間の露光を行う高速動作が可能な構成になっている。
【００９９】
測距センサ２０（の測距画素２１）や、イメージセンサ３０（の撮像画素３１）において、ナノ秒レベルの短時間の露光を行うことができる場合、以下のような第１の画素飽和抑制法や第２の画素飽和抑制法により、測距画素２１や撮像画素３１の飽和を抑制することができる。
【０１００】
第１の画素飽和抑制法では、測距画素２１又は撮像画素３１の画素ブロックごとに、その画素ブロックに対応する測光画素１１が出力する電気信号（測光結果）に応じて、露光時間を適切に設定する露光制御を行うことで、１フレームにおける測距画素２１及び撮像画素３１の飽和を抑制する。
【０１０１】
第１の画素飽和抑制法によれば、測距画素２１及び撮像画素３１の飽和として、測距画素２１及び撮像画素３１で光電変換により得られる電気信号としての電荷が溢れることを抑制することができる。
【０１０２】
第２の画素飽和抑制法は、測距画素２１又は撮像画素３１に対して、短い露光時間での露光を１フレーム内で繰り返し、各露光での測距画素２１又は撮像画素３１から出力される電気信号（露光結果）を、メモリ等の記憶手段を用いて加算して、その加算値を、測距画素２１及び撮像画素３１の画素値とすることを前提とする。
【０１０３】
第２の画素飽和抑制法では、測距画素２１又は撮像画素３１の画素ブロックごとに、その画素ブロックに対応する測光画素１１が出力する電気信号（測光結果）に応じて、測距画素２１又は撮像画素３１の露光結果を加算する加算数（例えば、加算の対象の露光結果の数）を適切に設定する露光制御を行うことで、１フレームにおける測距画素２１及び撮像画素３１の飽和を抑制する。
【０１０４】
第２の画素飽和抑制法によれば、測距画素２１及び撮像画素３１の飽和として、測距画素２１及び撮像画素３１の画素値が最大値（測距画素２１及び撮像画素３１で蓄積することができる最大の電荷量に対応する画素値）を超えることを抑制することができる。
【０１０５】
以上のように、画素ブロックごとに露光制御を行って、測距画素２１及び撮像画素３１の飽和を抑制することにより、測距画素２１の画素値（距離を表す）で構成される画像や、撮像画素３１の画素値で構成される画像のダイナミックレンジを大にすることができる。
【０１０６】
ここで、以下、測距画像２１及び撮像画素３１の両方、又は、一方を、受光画素ともいう。
【０１０７】
図８において、画素タイプは、図７で説明した画素タイプpaないしpgを表す。開口率比は、各画素タイプの開口率と、100%の開口率との比の値（比がa:bであるときのa/bで、ここでは、各画素タイプの開口率に等しい）を表す。露光時間比は、測光画素１１の露光時間である測光露光時間と、受光画素の露光時間である受光露光時間との比の値を表す。露光時間比は、開口率比に一致する。
【０１０８】
第１の画素飽和抑制法では、まず、ある時間を測光露光時間として、その測光露光時間の露光が行われる。そして、測光露光時間の露光によって、画素タイプpaないしpgの測光画素１１それぞれが、飽和状態であるか、又は、不飽和状態であるかが判定される。
【０１０９】
いま、図８の飽和パターン１に示すように、画素タイプpaないしpgのすべての測光画素１１が不飽和状態である場合、例えば、その不飽和状態の測光画素１１の中で、開口率比が最大の画素タイプpaの測光画素１１の露光時間比を用いて、受光露光時間が設定される。
【０１１０】
すなわち、測光露光時間に、画素タイプpaの測光画素１１の露光時間比を乗算して得られる乗算値が、受光露光時間に設定される。画素タイプpaの測光画素１１の露光時間比は、1であるため、画素タイプpaの測光画素１１の露光時間比を用いて、受光露光時間が設定される場合、受光露光時間は、測光露光時間と同一の時間に設定される。
【０１１１】
図８の飽和パターン２に示すように、画素タイプpaないしpgのうちの、画素タイプpaないしpcそれぞれの測光画素１１が飽和状態で、残りの画素タイプpdないしpgの測光画素１１が不飽和状態である場合、例えば、不飽和状態の測光画素１１の中で、開口率比が最大の画素タイプpdの測光画素１１の露光時間比を用いて、受光露光時間が設定される。
【０１１２】
すなわち、測光露光時間に、画素タイプpdの測光画素１１の露光時間比を乗算して得られる乗算値が、受光露光時間に設定される。画素タイプpdの測光画素１１の露光時間比は、0.5であるため、画素タイプpdの測光画素１１の露光時間比を用いて、受光露光時間が設定される場合、受光露光時間は、測光露光時間の0.5倍の時間に設定される。
【０１１３】
図９は、測距センサ２０を用いた測距処理、及び、イメージセンサ３０を用いた撮像処理の例を説明するフローチャートである。
【０１１４】
ステップＳ１１において、制御部４１は、所定のデフォルトの時間を、測光露光時間に設定し、処理は、ステップＳ１２に進む。
【０１１５】
ステップＳ１２では、制御部４１は、測光センサ１０を制御することにより、測光露光時間の露光を行わせることにより、測光画素１１に、測光露光時間だけ光を受光させて、測光を行う。
【０１１６】
測光画素１１の測光結果は、処理部４２を介して、制御部４１に供給され、処理は、ステップＳ１２からステップＳ１３に進む。
【０１１７】
ステップＳ１３では、制御部４１は、測光画素１１の測光結果に応じて、画素ブロックごとの測距画素２１／撮像画素３１の露光制御を行い、処理は、ステップＳ１４に進む。
【０１１８】
ここで、ステップＳ１３の露光制御では、第１又は第２の画素飽和抑制法により、測距画素２１／撮像画素３１の飽和が抑制される。
【０１１９】
ステップＳ１４では、測距センサ２１／イメージセンサ３０は、ステップＳ１３での制御部４１による画素ブロックごとの露光制御に従って露光を行うことにより、測距画素２１／撮像画素３１で光を受光して測距／撮像を行い、処理は終了する。
【０１２０】
図１０は、図９のステップＳ１３で行われる、第１の画素飽和抑制法により測距画素２１／撮像画素３１の飽和を抑制する露光制御の処理の例を説明するフローチャートである。
【０１２１】
図１０のフローチャートに従った処理は、各画素ブロックについて行われる。ここでは、ある画素ブロックを注目する注目ブロックとして、その注目ブロックの露光制御を説明する。
【０１２２】
ステップＳ２１において、制御部４１は、注目ブロックに対応する画素タイプpaの測光画素１１が飽和しているかどうかを判定する。
【０１２３】
ステップＳ２１において、画素タイプpaの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ２２に進む。
【０１２４】
ステップＳ２２では、制御部４１は、画素タイプpaの測光画素１１の露光時間比(図８）を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpaの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
【０１２５】
ステップＳ２１において、画素タイプpaの測光画素１１が飽和していると判定された場合、処理は、ステップＳ２３に進み、制御部４１は、注目ブロックに対応する画素タイプpbの測光画素１１が飽和しているかどうかを判定する。
【０１２６】
ステップＳ２３において、画素タイプpbの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ２４に進む。
【０１２７】
ステップＳ２４では、制御部４１は、画素タイプpbの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpbの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
【０１２８】
ステップＳ２３において、画素タイプpbの測光画素１１が飽和していると判定された場合、処理は、ステップＳ２５に進み、制御部４１は、注目ブロックに対応する画素タイプpcの測光画素１１が飽和しているかどうかを判定する。
【０１２９】
ステップＳ２５において、画素タイプpcの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ２６に進む。
【０１３０】
ステップＳ２６では、制御部４１は、画素タイプpcの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpcの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
【０１３１】
ステップＳ２５において、画素タイプpcの測光画素１１が飽和していると判定された場合、処理は、ステップＳ２７に進み、制御部４１は、注目ブロックに対応する画素タイプpdの測光画素１１が飽和しているかどうかを判定する。
【０１３２】
ステップＳ２７において、画素タイプpdの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ２８に進む。
【０１３３】
ステップＳ２８では、制御部４１は、画素タイプpdの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpdの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
【０１３４】
ステップＳ２７において、画素タイプpdの測光画素１１が飽和していると判定された場合、処理は、ステップＳ２９に進み、制御部４１は、注目ブロックに対応する画素タイプpeの測光画素１１が飽和しているかどうかを判定する。
【０１３５】
ステップＳ２９において、画素タイプpeの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ３０に進む。
【０１３６】
ステップＳ３０では、制御部４１は、画素タイプpeの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpeの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
【０１３７】
ステップＳ２９において、画素タイプpeの測光画素１１が飽和していると判定された場合、処理は、ステップＳ３１に進み、制御部４１は、注目ブロックに対応する画素タイプpfの測光画素１１が飽和しているかどうかを判定する。
【０１３８】
ステップＳ３１において、画素タイプpfの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ３２に進む。
【０１３９】
ステップＳ３２では、制御部４１は、画素タイプpfの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpfの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
【０１４０】
ステップＳ３１において、画素タイプpfの測光画素１１が飽和していると判定された場合、処理は、ステップＳ３３に進み、制御部４１は、注目ブロックに対応する画素タイプpgの測光画素１１が飽和しているかどうかを判定する。
【０１４１】
ステップＳ３３において、画素タイプpgの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ３４に進む。
【０１４２】
ステップＳ３４では、制御部４１は、画素タイプpgの測光画素１１の露光時間比を用いて受光露光時間を設定し、処理は、リターンする。すなわち、制御部４１は、画素タイプpgの測光画素１１の露光時間比と現在の測光露光時間との乗算値を、受光露光時間に設定する。
【０１４３】
ステップＳ３３において、画素タイプpgの測光画素１１が飽和していると判定された場合、処理は、ステップＳ３５に進む。
【０１４４】
ステップＳ３５では、制御部４１は、現在の測光露光時間よりも短い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ３５からステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１４５】
図１０の露光制御の処理からリターンした後は、図９のステップＳ１４において、受光画素（測距画素２１／撮像画素３１）について、図１０の露光制御の処理で設定された受光露光時間の露光が行われる。
【０１４６】
ここで、図７で説明したように、測光画素１１には、画素タイプpaないしpgの画素の他、遮光画素を含めることができる。測光画素１１に遮光画素が含まれる場合、遮光画素の画素値（測光結果）が所定の閾値以上であるときには、環境光が強すぎるために、受光画素の飽和を抑制することが困難であるとして、制御部４１は、エラーメッセージを出力することができる。あるいは、制御部４１は、例えば、図示せぬ絞りを絞る等の、受光画素に入射する光の光量を低下させる光量低下制御が可能である場合には、そのような光量低下制御を行うことができる。
【０１４７】
図１１は、図９のステップＳ１３で行われる、第１の画素飽和抑制法により測距画素２１／撮像画素３１の飽和を抑制する露光制御の処理の他の例を説明するフローチャートである。
【０１４８】
図１１のフローチャートに従った処理は、各画素ブロックについて行われる。ここでは、ある画素ブロックを注目する注目ブロックとして、その注目ブロックの露光制御を説明する。
【０１４９】
ステップＳ５１において、制御部４１は、注目ブロックに対応する画素タイプpgの測光画素１１が飽和しているかどうかを判定する。
【０１５０】
ステップＳ５１において、画素タイプpgの測光画素１１が飽和していると判定された場合、処理は、ステップＳ５２に進む。
【０１５１】
ステップＳ５２では、制御部４１は、現在の測光露光時間よりも短い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ５２からステップＳ５１に戻り、以下、同様の処理が繰り返される。
【０１５２】
そして、ステップＳ５１において、画素タイプpgの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ５３に進み、制御部４１は、注目ブロックに対応する画素タイプpfの測光画素１１が飽和しているかどうかを判定する。
【０１５３】
ステップＳ５３において、画素タイプpfの測光画素１１が飽和していると判定された場合、処理は、ステップＳ５４に進み、制御部４１は、画素タイプpgの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
【０１５４】
ステップＳ５３において、画素タイプpfの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ５５に進み、制御部４１は、注目ブロックに対応する画素タイプpeの測光画素１１が飽和しているかどうかを判定する。
【０１５５】
ステップＳ５５において、画素タイプpeの測光画素１１が飽和していると判定された場合、処理は、ステップＳ５６に進み、制御部４１は、画素タイプpfの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
【０１５６】
ステップＳ５５において、画素タイプpeの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ５７に進み、制御部４１は、注目ブロックに対応する画素タイプpdの測光画素１１が飽和しているかどうかを判定する。
【０１５７】
ステップＳ５７において、画素タイプpdの測光画素１１が飽和していると判定された場合、処理は、ステップＳ５８に進み、制御部４１は、画素タイプpeの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
【０１５８】
ステップＳ５７において、画素タイプpdの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ５９に進み、制御部４１は、注目ブロックに対応する画素タイプpcの測光画素１１が飽和しているかどうかを判定する。
【０１５９】
ステップＳ５９において、画素タイプpcの測光画素１１が飽和していると判定された場合、処理は、ステップＳ６０に進み、制御部４１は、画素タイプpdの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
【０１６０】
ステップＳ５９において、画素タイプpcの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ６１に進み、制御部４１は、注目ブロックに対応する画素タイプpbの測光画素１１が飽和しているかどうかを判定する。
【０１６１】
ステップＳ６１において、画素タイプpbの測光画素１１が飽和していると判定された場合、処理は、ステップＳ６２に進み、制御部４１は、画素タイプpcの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
【０１６２】
ステップＳ６１において、画素タイプpbの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ６３に進み、制御部４１は、注目ブロックに対応する画素タイプpaの測光画素１１が飽和しているかどうかを判定する。
【０１６３】
ステップＳ６３において、画素タイプpaの測光画素１１が飽和していると判定された場合、処理は、ステップＳ６４に進み、制御部４１は、画素タイプpbの測光画素１１の露光時間比を用いて受光露光時間を設定して、処理は、リターンする。
【０１６４】
ステップＳ６３において、画素タイプpaの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ６５に進む。
【０１６５】
ステップＳ６５では、制御部４１は、現在の測光露光時間よりも長い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ６５からステップＳ５１に戻り、以下、同様の処理が繰り返される。
【０１６６】
図１１の露光制御の処理からリターンした後は、図９のステップＳ１４において、受光画素（測距画素２１／撮像画素３１）について、図１１の露光制御の処理で設定された受光露光時間の露光が行われる。
【０１６７】
図１２は、測距画素２１及び撮像画素３１の飽和を抑制する第２の画素飽和抑制法を説明する図である。
【０１６８】
第２の画素飽和抑制法は、図８で説明したように、受光画素に対して、短い露光時間での露光を１フレーム内で繰り返し、各露光での受光画素の露光結果を加算して、その加算値を、受光画素の画素値とすることを前提とする。そして、第２の画素飽和抑制法では、受光画素の露光結果を加算する加算数（例えば、加算の対象の露光結果の数）が適切な値、すなわち、測距画素２１及び撮像画素３１の飽和を抑制する値に設定される。
【０１６９】
図１２は、図８の露光時間比に代えて、加算数が記載されていることを除いて、図８と同様の図になっている。
【０１７０】
上述のように、第２の画素飽和抑制法では、短い露光時間での露光を１フレーム内で繰り返し、各露光での受光画素の露光結果を加算するが、図１２において、加算数は、その加算の対象の露光結果の数を表す。
【０１７１】
いま、１フレームでの露光の回数をN回とすると、図１２では、そのN回を、基準となる基準加算数として、各画素タイプに、その画素タイプの測光画素１１の開口比率と基準加算数Nとの乗算値が、加算数として対応付けられている。
【０１７２】
第２の画素飽和抑制法では、第１の画素飽和抑制法と同様に、まず、測光露光時間の露光が行われ、その露光によって、画素タイプpaないしpgの測光画素１１それぞれが、飽和状態であるか、又は、不飽和状態であるかが判定される。
【０１７３】
いま、図１２の飽和パターン１に示すように、画素タイプpaないしpgのすべての測光画素１１が不飽和状態である場合、例えば、その不飽和状態の測光画素１１の中で、開口率比が最大の画素タイプpaに対応付けられている加算数Nが、加算の対象の受光画素の露光結果の数に設定される。
【０１７４】
図１２の飽和パターン２に示すように、画素タイプpaないしpgのうちの、画素タイプpaないしpcそれぞれの測光画素１１が飽和状態で、残りの画素タイプpdないしpgの測光画素１１が不飽和状態である場合、例えば、不飽和状態の測光画素１１の中で、開口率比が最大の画素タイプpdに対応付けられている加算数0.5Nが、加算の対象の受光画素の露光結果の数に設定される。
【０１７５】
図１３は、図９のステップＳ１３で行われる、第２の画素飽和抑制法により受光画素（測距画素２１／撮像画素３１）の飽和を抑制する露光制御の処理の例を説明するフローチャートである。
【０１７６】
図１３のフローチャートに従った処理は、各画素ブロックについて行われる。ここでは、ある画素ブロックを注目する注目ブロックとして、その注目ブロックの露光制御を説明する。
【０１７７】
ステップＳ７０において、制御部４１は、現在の測光露光時間に応じて、例えば、その現在の測光露光時間に比例する時間を、1フレーム内で繰り返し行う受光画素の各露光の受光露光時間に設定し、処理は、ステップＳ７１に進む。
【０１７８】
ステップＳ７１，Ｓ７３，Ｓ７５，Ｓ７７，Ｓ７９，Ｓ８１，Ｓ８３では、図１０のステップＳ２１，Ｓ２３，Ｓ２５，Ｓ２７，Ｓ２９，Ｓ３１，Ｓ３３と同様の判定の処理がそれぞれ行われる。
【０１７９】
そして、ステップＳ７１において、画素タイプpaの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ７２に進む。
【０１８０】
ステップＳ７２では、制御部４１は、画素タイプpaに対応付けられている加算数(図１２）を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
【０１８１】
ステップＳ７３において、画素タイプpbの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ７４に進む。
【０１８２】
ステップＳ７４では、制御部４１は、画素タイプpbに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
【０１８３】
ステップＳ７５において、画素タイプpcの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ７６に進む。
【０１８４】
ステップＳ７６では、制御部４１は、画素タイプpcに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
【０１８５】
ステップＳ７７において、画素タイプpdの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ７８に進む。
【０１８６】
ステップＳ７８では、制御部４１は、画素タイプpdに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
【０１８７】
ステップＳ７９において、画素タイプpeの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ８０に進む。
【０１８８】
ステップＳ８０では、制御部４１は、画素タイプpeに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
【０１８９】
ステップＳ８１において、画素タイプpfの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ８２に進む。
【０１９０】
ステップＳ８２では、制御部４１は、画素タイプpfに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
【０１９１】
ステップＳ８３において、画素タイプpgの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ８４に進む。
【０１９２】
ステップＳ８４では、制御部４１は、画素タイプpgに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定し、処理は、リターンする。
【０１９３】
また、ステップＳ８３において、画素タイプpgの測光画素１１が飽和していると判定された場合、処理は、ステップＳ８５に進む。
【０１９４】
ステップＳ８５では、制御部４１は、図１０のステップＳ３５と同様に、現在の測光露光時間よりも短い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ８５からステップＳ７０に戻り、以下、同様の処理が繰り返される。
【０１９５】
図１３の露光制御の処理からリターンした後は、図９のステップＳ１４において、受光画素（測距画素２１／撮像画素３１）について、受光露光時間の露光が１フレーム内で繰り返し行われる。そして、各露光での受光画素の露光結果のうちの加算数だけの露光結果が加算され、その結果得られる加算値が、受光画素の画素値として求められる。
【０１９６】
図１４は、図９のステップＳ１３で行われる、第２の画素飽和抑制法により受光画素の飽和を抑制する露光制御の処理の他の例を説明するフローチャートである。
【０１９７】
図１４のフローチャートに従った処理は、各画素ブロックについて行われる。ここでは、ある画素ブロックを注目する注目ブロックとして、その注目ブロックの露光制御を説明する。
【０１９８】
ステップＳ９０において、図１３のステップＳ７０と同様の処理が行われ、処理は、ステップＳ９１に進む。
【０１９９】
ステップＳ９１，Ｓ９３，Ｓ９５，Ｓ９７，Ｓ９９，Ｓ１０１，Ｓ１０３では、図１１のステップＳ５１，Ｓ５３，Ｓ５５，Ｓ５７，Ｓ５９，Ｓ６１，Ｓ６３と同様の判定の処理がそれぞれ行われる。
【０２００】
そして、ステップＳ９１において、画素タイプpgの測光画素１１が飽和していると判定された場合、処理は、ステップＳ９２に進む。
【０２０１】
ステップＳ９２では、制御部４１は、図１１のステップＳ５２と同様に、現在の測光露光時間よりも短い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ９２からステップＳ９０に戻り、以下、同様の処理が繰り返される。
【０２０２】
ステップＳ９３において、画素タイプpfの測光画素１１が飽和していると判定された場合、処理は、ステップＳ９４に進み、制御部４１は、画素タイプpgに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
【０２０３】
ステップＳ９５において、画素タイプpeの測光画素１１が飽和していると判定された場合、処理は、ステップＳ９６に進み、制御部４１は、画素タイプpfに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
【０２０４】
ステップＳ９７において、画素タイプpdの測光画素１１が飽和していると判定された場合、処理は、ステップＳ９８に進み、制御部４１は、画素タイプpeに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
【０２０５】
ステップＳ９９において、画素タイプpcの測光画素１１が飽和していると判定された場合、処理は、ステップＳ１００に進み、制御部４１は、画素タイプpdに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
【０２０６】
ステップＳ１０１において、画素タイプpbの測光画素１１が飽和していると判定された場合、処理は、ステップＳ１０２に進み、制御部４１は、画素タイプpcに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
【０２０７】
ステップＳ１０３において、画素タイプpaの測光画素１１が飽和していると判定された場合、処理は、ステップＳ１０４に進み、制御部４１は、画素タイプpbに対応付けられている加算数を、加算の対象の受光画素の露光結果の数に設定して、処理は、リターンする。
【０２０８】
ステップＳ１０３において、画素タイプpaの測光画素１１が飽和していないと判定された場合、処理は、ステップＳ１０５に進む。
【０２０９】
ステップＳ１０５では、制御部４１は、図１１のステップＳ６５と同様に、現在の測光露光時間よりも長い時間を、新たな測光露光時間に設定し、測光センサ１０を制御することにより、新たな測光露光時間の露光を行わせ、その露光により得られる測光画素１１の測光結果を受信する。そして、処理は、ステップＳ１０５からステップＳ９０に戻り、以下、同様の処理が繰り返される。
【０２１０】
図１４の露光制御の処理からリターンした後は、図９のステップＳ１４において、受光画素（測距画素２１／撮像画素３１）について、受光露光時間の露光が１フレーム内で繰り返し行われる。そして、各露光での受光画素の露光結果のうちの加算数だけの露光結果が加算され、その結果得られる加算値が、受光画素の画素値として求められる。
【０２１１】
＜本技術を適用した電子機器としてのディジタルカメラ＞
【０２１２】
図１５は、本技術を適用したディジタルカメラの第１の構成例の概略を示す側面の断面図である。
【０２１３】
ここで、ToFセンサである測距センサ２０は、ナノ秒レベルの短時間の露光が可能な高速動作を行うことができるので、測距センサ２０の受光面が一括露光されても（受光面の全体が露光されても）、画素ブロックごとに露光時間を制御することができる。
【０２１４】
ところで、イメージセンサ３０としては、例えば、CMOS(Complemental Metal Oxide Semiconductor)イメージセンサを採用することができる。
【０２１５】
CMOSイメージセンサとしては、画素で構成される受光面と、画素を駆動するドライバ回路（及びその他の周辺回路）とが同一基板上に形成された第１のイメージセンサがある。
【０２１６】
第１のイメージセンサでは、例えば、受光面の水平方向に、１行に並ぶ画素を駆動する駆動信号線が各行（の画素）に配線されるとともに、受光面が形成された基板上の、例えば、受光面の左又は右に隣接する位置に、ドライバ回路が配置される。
【０２１７】
そして、第１のイメージセンサでは、ドライバ回路から、駆動信号線を介して、１行に並ぶ画素を駆動することにより、１行ごとに、その１行に並ぶ各列の画素から信号が並列に読み出される。
【０２１８】
第１のイメージセンサの時定数は、受光面（画素が配置されているエリア）のサイズに支配される。そのため、第１のイメージセンサを、ToFセンサである測距センサ２０のように高速動作させ、画素ブロックごとに露光時間を制御することは、困難である。
【０２１９】
第１のイメージセンサを高速動作させる方法としては、例えば、各行に配線された駆動信号線を短く分割し、時定数を小にする方法がある。
【０２２０】
しかしながら、受光面に隣接する位置にドライバ回路が配置される第１のイメージセンサでは、各行に配線された駆動信号線を短く分割する場合には、受光面内の、駆動信号線が分割された位置に、分割後の駆動信号線に接続された画素を駆動するドライバ回路（又はバッファ）を設ける必要がある。その結果、受光面、ひいては、イメージセンサのサイズが大になる。
【０２２１】
そこで、イメージセンサ３０としては、第１のイメージセンサではなく、第２の(CMOS)イメージセンサを採用することができる。
【０２２２】
第２のイメージセンサは、画素で構成される受光面を有する基板である画素基板と、受光面上の画素を駆動するドライバ回路が形成された基板である回路基板との少なくとも２の基板が積層され、各基板が電気的に接続された積層構造を有する。
【０２２３】
第２のイメージセンサは、以上のように積層構造を有するので、画素基板の、分割後の駆動信号線と、回路基板のドライバ回路との接続を、駆動信号線が分割された位置で、受光面と直交する方向の短い配線によって行うことができる。
【０２２４】
したがって、第２のイメージセンサによれば、第１のイメージセンサのように、受光面内の、駆動信号線が分割された位置に、分割後の駆動信号線に接続された画素を駆動するドライバ回路を設けることなく、時定数を小にし、高速動作を行うことが可能となる。
【０２２５】
その結果、第２のイメージセンサによれば、ToFセンサである測距センサ２０と同様に、短時間の露光が可能となり、画素ブロックごとに露光時間を制御することが可能となる。
【０２２６】
イメージセンサ３０としては、例えば、以上のような第２のイメージセンサを採用することができる。
【０２２７】
イメージセンサ３０として、第２のイメージセンサを採用することにより、１フレームの画素ブロックごとに露光時間を制御することが可能となり、図８で説明したように、イメージセンサ３０の撮像画素３１の画素値で構成される画像のダイナミックレンジを大にすることができる。
【０２２８】
図１５において、ディジタルカメラは、例えば、図３の受光装置を適用したディジタルカメラであり、イメージセンサ３０、及び、光学系１０１を有する。
【０２２９】
光学系１０１は、レンズや絞り等で構成され、被写体からの光を、イメージセンサ３０の受光面上に集光する。
【０２３０】
図１５において、イメージセンサ３０は、例えば、図５で説明したように、測光センサ１０を兼ねるイメージセンサであり、光学系１０１からの光を受光することにより、測光及び撮像を行う。
【０２３１】
図１５のディジタルカメラにおいて、制御部４１（図１５では図示せず）は、イメージセンサ３０の各画素ブロック（図５）の測光画素１１を制御することにより、測光露光時間の露光を行わせる。測光画素１１は、制御部４１の制御に従い、測光露光時間だけ光を受光して、測光を行う。
【０２３２】
制御部４１は、測光画素１１が測光を行うことにより得られる測光結果を取得し、各画素ブロックの測光結果に応じて、その画素ブロックの撮像画素３１の露光制御を行う。
【０２３３】
イメージセンサ３０の各画素ブロックの撮像画素３１は、制御部４１の露光制御に従った露光により、光を受光して撮像を行い、その光の光量に応じた画素値を出力する。
【０２３４】
画素ブロックの測光結果に応じて、その画素ブロックの撮像画素３１の露光制御を行うには（測距画素２１の露光制御についても同様）、測光センサ１０の測光結果から、各画素ブロックの測光結果を特定することが必要である。画素ブロックの撮像画素３１の露光制御は、その画素ブロックの測光結果に応じて行われるからである。
【０２３５】
画素ブロックの測光結果を特定する方法としては、イメージセンサ３０で受光される光と同一の光を、測光センサ１０で受光する方法、すなわち、測光センサ１０及びイメージセンサ３０で同一の光を受光する方法がある。
【０２３６】
また、画素ブロックの測光結果を特定する方法としては、測光センサ１０が、イメージセンサ３０で受光される光と（僅かに）異なる光を受光する場合に、後述する位置合わせキャリブレーションを行う方法がある。
【０２３７】
図１５のディジタルカメラでは、イメージセンサ３０は、測光センサ１０を兼ねるため、測光センサ１０も、イメージセンサ３０も、光学系１０１を通過した同一の光を受光する。
【０２３８】
いま、イメージセンサ３０の撮像画素３１の撮像結果を画素値とする画像を撮像画像ともいい、測光センサ１０の測光画素１１の測光結果を画素値とする画像を測光画像ともいうこととする。また、説明の便宜上、撮像画像に、図５で説明した画素ブロックを導入する。
【０２３９】
測光センサ１０及びイメージセンサ３０が、光学系１０１を通過した同一の光を受光する場合には、撮像画像の画素ブロックのうちの、注目する注目ブロックの測光結果として、測光画像の、注目ブロックと対応するエリア（撮像画像と測光画像とが同一サイズである場合には、注目ブロックと一致するエリア）内の画素値となっている測光結果を特定することができる。
【０２４０】
測光センサ１０及びイメージセンサ３０で同一の光を受光するケースには、測光センサ１０及びイメージセンサ３０が、光学系１０１のような同一の光学系を通過した同一の光を受光するケースの他、例えば、入射する光について、ミラーやプリズム等の光学部品による反射や、屈折、分割が行われた後の光を受光するケース、測光センサ１０及びイメージセンサ３０で受光される光のうちの一方が固有の光学部品を経由するケース等が含まれる。
【０２４１】
図１６は、本技術を適用したディジタルカメラの第２の構成例の概略を示す断面図である。
【０２４２】
図１６において、ディジタルカメラは、例えば、図３の受光装置を適用した１眼レフのディジタルカメラであり、イメージセンサ３０、光学系１１１、可動ミラー１１２、及び、EVF(Electric View Finder)用センサ１１３を有する。
【０２４３】
光学系１１１は、図示せぬレンズや絞り等で構成され、被写体からの光Lを集光する。
【０２４４】
可動ミラー１１２は、平板形状のミラーであり、イメージセンサ３０での撮像を行っていないときには、図１６のＡに示すように、右上がりの姿勢になって、光学系１１１を通過した光を、ディジタルカメラの上部に反射する。
【０２４５】
また、可動ミラー１１２は、イメージセンサ３０での撮像を行うときには、図１６のＢに示すように、水平の姿勢になって、光学系１１１を通過した光を、イメージセンサ３０に入射させる。
【０２４６】
可動ミラー１１２は、図示せぬレリーズボタンが操作されたときに、図１６のＢに示すように、水平の姿勢になり、レリーズボタンが操作されていないときに、図１６のＡに示すように、右上がりの姿勢になる。
【０２４７】
EVF用センサ１１３は、可動ミラー１１２で反射された光を受光することにより、図示せぬEVFで表示するEVF用画像を撮像する。
【０２４８】
EVF用センサ１１３は、測光センサ１０を兼ねるイメージセンサであり、可動ミラー１１２で反射された光を受光することにより、EVF用画像の撮像を行う他、測光も行う。
【０２４９】
図１６において、イメージセンサ３０は、測光センサ１０を兼ねないイメージセンサであり、レリーズボタンが操作された場合に、光学系１１１からの光を受光することにより、撮像を行う。
【０２５０】
図１６のディジタルカメラでは、レリーズボタンが操作されていないときには、図１６のＡに示すように、可動ミラー１１２が右上がりの姿勢になり、光学系１１１を通過した光が、可動ミラー１１２で反射され、測光センサ１０を兼ねるEVF用センサ１１３に入射する。
【０２５１】
制御部４１（図１６では図示せず）は、測光センサ１０を兼ねるEVF用センサ１１３を制御することにより、測光露光時間の露光を行わせ（可動ミラー１１２で反射された光を受光させ）、その露光により行われる測光の測光結果を取得する。
【０２５２】
その後、レリーズボタンが操作されると、制御部４１は、各画素ブロックの最新の測光結果に応じて、その画素ブロックの撮像画素３１の露光制御を行う。
【０２５３】
レリーズボタンが操作されると、図１６のＢに示すように、可動ミラー１１２が水平の姿勢になり、光学系１１１を通過した光は、イメージセンサ３０に入射する。
【０２５４】
イメージセンサ３０の各画素ブロックの撮像画素３１は、制御部４１の露光制御に従った露光により、光学系１１１を通過した光を受光して撮像を行い、その光の光量に応じた画素値を出力する。
【０２５５】
図１７は、本技術を適用したディジタルカメラの第３の構成例の概略を示す断面図である。
【０２５６】
なお、図中、図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２５７】
図１７において、ディジタルカメラは、イメージセンサ３０、光学系１１１、可動ミラー１１２、EVF用センサ１１３、及び、EVF用光学系１２１を有する。
【０２５８】
したがって、図１７のディジタルカメラは、イメージセンサ３０、光学系１１１、可動ミラー１１２、及び、EVF用センサ１１３を有する点で、図１６の場合と共通し、EVF用光学系１２１が新たに設けられている点で、図１６の場合と相違する。
【０２５９】
EVF用光学系１２１は、例えば、光学フィルタやレンズ等の、EVF用センサ１１３に固有の光学部品であり、EVF用センサ１１３の、光が入射する側に設けられている。
【０２６０】
したがって、EVF用センサ１１３では、EVF用光学系１２１を通過（経由）した光が受光される。
【０２６１】
図１７のディジタルカメラのその他の動作は、図１６の場合と同様であり、その説明は、省略する。
【０２６２】
図１８は、本技術を適用したディジタルカメラの第４の構成例の概略を示す断面図である。
【０２６３】
なお、図中、図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２６４】
図１８において、ディジタルカメラは、測光センサ１０、イメージセンサ３０、光学系１１１、可動ハーフミラー１３１、可動ミラー１３２、ペンタプリズム１３３、及び、ビューファインダ１３４を有する。
【０２６５】
したがって、図１８のディジタルカメラは、イメージセンサ３０及び光学系１１１を有する点で、図１６の場合と共通する。
【０２６６】
但し、図１８のディジタルカメラは、可動ミラー１１２及びEVF用センサ１１３を有しない点、並びに、可動ハーフミラー１３１、可動ミラー１３２、ペンタプリズム１３３、及び、ビューファインダ１３４を有する点で、図１６の場合と相違する。
【０２６７】
可動ハーフミラー１３１は、平板形状のハーフミラーであり、イメージセンサ３０での撮像を行っていないときには、図１８のＡに示すように、右上がりの姿勢になって、光学系１１１を通過した光の一部を、ディジタルカメラの上部に反射するとともに、残りの光を通過させる。
【０２６８】
また、可動ハーフミラー１３１は、イメージセンサ３０での撮像を行うときには、図１８のＢに示すように、可動ミラー１３２とともに、水平の姿勢になって、光学系１１１を通過した光を、イメージセンサ３０に入射させる。
【０２６９】
可動ハーフミラー１３１は、図示せぬレリーズボタンが操作されたときに、図１８のＢに示すように、水平の姿勢になり、レリーズボタンが操作されていないときに、図１８のＡに示すように、右上がりの姿勢になる。
【０２７０】
可動ミラー１３２は、平板形状のミラーであり、イメージセンサ３０での撮像を行っていないときには、図１８のＡに示すように、左上がりの姿勢になって、可動ハーフミラー１３１を通過した光を、ディジタルカメラの下部に反射し、測光センサ１０に入射させる。
【０２７１】
また、可動ミラー１３２は、イメージセンサ３０での撮像を行うときには、図１８のＢに示すように、可動ハーフミラー１３１とともに、水平の姿勢になって、光学系１１１を通過した光を、イメージセンサ３０に入射させる。
【０２７２】
可動ミラー１３２は、図示せぬレリーズボタンが操作されたときに、図１８のＢに示すように、水平の姿勢になり、レリーズボタンが操作されていないときに、図１８のＡに示すように、左上がりの姿勢になる。
【０２７３】
ペンタプリズム１３３は、可動ハーフミラー１３１で反射された光を適切に反射して、ビューファインダ１３４に出射する。
【０２７４】
ビューファインダ１３４には、ペンタプリズム１３３からの光が入射する。これにより、ユーザは、ビューファインダ１３４を覗くことで、イメージセンサ３０で撮像される像（画像）を確認することができる。
【０２７５】
ここで、図１８において、イメージセンサ３０は、図１６で説明したように、測光センサ１０を兼ねないイメージセンサである。
【０２７６】
図１８のディジタルカメラでは、レリーズボタンが操作されていないときには、図１８のＡに示すように、可動ハーフミラー１３１は、右上がりの姿勢になり、可動ミラー１３２は、左上がりの姿勢になる。
【０２７７】
その結果、光学系１１１を通過した光の一部は、可動ハーフミラー１３１を通過し、残りの光は、可動ハーフミラー１３１で反射される。
【０２７８】
可動ハーフミラー１３１で反射された光は、さらに、ペンタプリズム１３３で反射され、ビューファインダ１３４に入射する。
【０２７９】
一方、可動ハーフミラー１３１を通過した光は、可動ミラー１３２で反射され、測光センサ１０に入射する。
【０２８０】
制御部４１（図１８では図示せず）は、測光センサ１０を兼ねるEVF用センサ１１３を制御することにより、測光露光時間の露光を行わせ（可動ミラー１３２で反射された光を受光させ）、その露光により行われる測光の測光結果を取得する。
【０２８１】
その後、レリーズボタンが操作されると、制御部４１は、各画素ブロックの最新の測光結果に応じて、その画素ブロックの撮像画素３１の露光制御を行う。
【０２８２】
レリーズボタンが操作されると、図１８のＢに示すように、可動ハーフミラー１３１及び可動ミラー１３２は、水平の姿勢になり、光学系１１１を通過した光は、イメージセンサ３０に入射する。
【０２８３】
イメージセンサ３０の各画素ブロックの撮像画素３１は、制御部４１の露光制御に従った露光により、光学系１１１を通過した光を受光して撮像を行い、その光の光量に応じた画素値を出力する。
【０２８４】
測光センサ１０（を兼ねるEVF用センサ１１３）及びイメージセンサ３０が同一の光を受光するケースには、例えば、図１５のディジタルカメラのように、イメージセンサ３０が測光センサ１０を兼ねるケースの他、例えば、図１６ないし図１８のディジタルカメラのように、光学系１１１に入射する光Lについて、測光センサ１０（を兼ねるEVF用センサ１１３）が、可動ミラー１１２で反射された光を受光するケースや、可動ハーフミラー１３１を通過し、可動ミーら１３２で反射された光を受光するケース、測光センサ１０（を兼ねるEVF用センサ１１３）が受光する光が、固有の光学部品としてのEVF用光学系１２１を経由するケース等が含まれる。
【０２８５】
また、イメージセンサ３０に、測光センサ１０を兼ねさせる他、EVF用センサ１１３に、測光センサ１０を兼ねさせることができる。すなわち、EVF用センサ１１３を、測光センサ１０として兼用することができる。
【０２８６】
図１９は、本技術を適用したディジタルカメラの第５の構成例の概略を示す平面図である。
【０２８７】
図１９において、ディジタルカメラは、例えば、図３の受光装置を適用したディジタルカメラであり、測光センサ１０、イメージセンサ３０、測光光学系１５１、及び、撮像光学系１５２を有する。
【０２８８】
測光光学系１５１は、図示せぬレンズや絞り等で構成され、被写体からの光を、測光センサ１０上に集光する。
【０２８９】
撮像光学系１５２は、図示せぬレンズや絞り等で構成され、被写体からの光を、イメージセンサ３０上に集光する。
【０２９０】
測光光学系１５１と撮像光学系１５２とは、物理的に異なる光学系である。
【０２９１】
図１９のディジタルカメラでは、測光センサ１０は、測光光学系１５１を通過した光を受光して測光を行い、イメージセンサ３０は、撮像光学系１５２を通過した光を受光して撮像を行う。
【０２９２】
制御部４１（図１９では図示せず）は、測光センサ１０を制御することにより、測光露光時間の露光を行わせ（測光光学系１５１を通過した光を受光させ）、その露光により行われる測光の測光結果を取得する。
【０２９３】
そして、制御部４１は、各画素ブロックの測光結果に応じて、その画素ブロックの撮像画素３１の露光制御を行う。
【０２９４】
イメージセンサ３０の各画素ブロックの撮像画素３１は、制御部４１の露光制御に従った露光により、撮像光学系１５２を通過した光を受光して撮像を行い、その光の光量に応じた画素値を出力する。
【０２９５】
ここで、図１９のディジタルカメラでは、測光センサ１０が、測光光学系１５１を通過した光を受光し、イメージセンサ３０が、測光光学系１５１とは物理的に異なる撮像光学系１５２を通過した光を受光する。
【０２９６】
測光光学系１５１と撮像光学系１５２とは、物理的に異なるため、同一位置に配置することはできず、ずれた位置に配置されている。
【０２９７】
したがって、測光センサ１０が受光する光と、イメージセンサ３０が受光する光とは、（僅かに）異なり、そのため、測光センサ１０から得られる測光画像の、注目ブロック（注目する画素ブロック）と対応するエリア内の画素値となっている測光結果が、注目ブロックの測光結果にはならない。
【０２９８】
そのため、図１９のディジタルカメラについては、測光センサ１０で得られる測光画像と、イメージセンサ３０で得られる撮像画像とについて、同一の被写体が映る位置を対応させる位置合わせキャリブレーションを行うことができる。
【０２９９】
図２０は、位置合わせキャリブレーションを説明する図である。
【０３００】
すなわち、図２０は、測光センサ１０で得られる測光画像と、イメージセンサ３０で得られる撮像画像との例を示している。
【０３０１】
図１９のディジタルカメラでは、測光センサ１０が受光する光と、イメージセンサ３０が受光する光とが異なるため、その異なる分に応じて、測光画像の、注目ブロックと対応するエリアからずれたエリアの画素値となっている測光結果が、注目ブロックの測光結果になる。
【０３０２】
すなわち、測光センサ１０が受光する光と、イメージセンサ３０が受光する光とが一致している場合、ある被写体Xが映る測光画像の位置Pと、その被写体Xが映る撮像画像の位置Qとは、対応する（同一位置になる）。
【０３０３】
しかしながら、測光センサ１０が受光する光と、イメージセンサ３０が受光する光とが異なる場合、被写体Xが映る測光画像の位置Pは、その被写体Xが映る撮像画像の位置Qに対応する、測光画像の位置Q'に一致せずにずれる。
【０３０４】
すなわち、測光センサ１０及びイメージセンサ３０のそれぞれが受光する光が異なることに起因して、測光画像と撮像画像との間に、H画素だけの水平方向のずれが生じる場合、被写体Xが映る撮像画像の位置Qに対応する、測光画像の位置（以下、対応位置ともいう）Q'には、被写体Xが映っておらず、測光画像において、被写体Xは、対応位置Q'からH画素だけ水平方向にずれた位置Pに映る。
【０３０５】
そのため、位置合わせキャリブレーションでは、被写体Xが映る測光画像の位置Pと、その被写体Xが映る撮像画像の位置Qとを対応させる（同一位置にする）キャリブレーションが行われる。
【０３０６】
位置合わせキャリブレーションには、ソフトウエア的なキャリブレーションと、機械的なキャリブレーションとがある。
【０３０７】
ソフトウエア的なキャリブレーションでは、同一の被写体が映る測光画像及び撮像画像それぞれの位置が一致するように、撮像画像及び測光画像の一方、又は、両方の画像処理が、測光光学系１５１や撮像光学系１５２の情報（レンズ情報等）を必要に応じて用いて行われる。
【０３０８】
機械的なキャリブレーションでは、測光光学系１５１と測光センサ１０との位置関係や、撮像光学系１５２とイメージセンサ３０との位置関係、測光センサ１０、イメージセンサ３０、測光光学系１５１、撮像光学系１５２の姿勢等が、同一の被写体が映る測光画像及び撮像画像それぞれの位置が一致するように調整される。
【０３０９】
位置合わせキャリブレーションとしては、ソフトウエア的なキャリブレーション、及び、機械的なキャリブレーションのうちの一方、又は、両方を行うことができる。
【０３１０】
位置合わせキャリブレーションを行うことによって、被写体Xが映る測光画像の位置Pと、その被写体Xが映る撮像画像の位置Qとを対応させることにより、各画素ブロックの測光結果を特定することが可能となり、 画素ブロックの撮像画素３１の露光制御を、その画素ブロックの測光結果に応じて行うことが可能となる。
【０３１１】
その結果、撮像画素３１の飽和を抑制し、ひいては、図８で説明したように、イメージセンサ３０の撮像画素３１の画素値で構成される撮像画像のダイナミックレンジを大にすることができる。
【０３１２】
なお、図１ないし図３の受光装置は、ディジタルカメラの他、撮像の機能を有する任意の電子機器や、測距の機能を有する任意の電子機器、その他の光を受光して処理を行う任意の電子機器に適用することができる。
【０３１３】
＜本技術を適用したコンピュータの説明＞
【０３１４】
次に、上述した制御部４１の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等のコンピュータにインストールされる。
【０３１５】
図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０３１６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０３１７】
あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０３１８】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０３１９】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。
【０３２０】
CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。
【０３２１】
これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０３２２】
なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０３２３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０３２４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３２５】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３２６】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３２７】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３２８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３２９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３３０】
また、測距センサ２０において、発光部２２が発光する電磁波としては、パルスの他、正弦波や、三角波等を採用することができる。
【０３３１】
さらに、測光画素１１としては、開口率が異なる複数の画素を採用する他、例えば、カラーフィルタの透過率が異なる複数の画素等の、入射する光の光量が異なる複数の画素を採用することができる。
【０３３２】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３３３】
なお、本技術は、以下のような構成をとることができる。
【０３３４】
＜１＞
光を受光することにより、測光を行う測光センサと、
光を受光する受光面が複数のブロックに区分された他のセンサと、
前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部と
を備える受光装置。
＜２＞
前記他のセンサとして、
光を受光することにより、測距を行う測距センサ、
及び、光を受光することにより、撮像を行うイメージセンサ
のうちの一方、又は、両方を備える
＜１＞に記載の受光装置。
＜３＞
前記他のセンサは、前記測光センサを兼ねる
＜１＞又は＜２＞に記載の受光装置。
＜４＞
前記他のセンサの、光を受光する画素と、前記測光センサの、光を受光する測光画素とが、１の基板上に配置されている
＜３＞に記載の受光装置。
＜５＞
前記他のセンサは、前記他のセンサの、光を受光する画素が配置されている基板と、前記測光センサの、光を受光する測光画素が配置されている基板とが積層されて構成される
＜３＞に記載の受光装置。
＜６＞
前記測光センサは、光を受光する測光画素として、開口率が異なる複数の画素を有する
＜１＞ないし＜５＞のいずれかに記載の受光装置。
＜７＞
前記制御部は、露光時間、又は、所定時間の露光の露光結果を加算する加算数の設定を、前記露光制御として行う
＜１＞ないし＜６＞のいずれかに記載の受光装置。
＜８＞
前記測光センサ及び他のセンサは、所定の光学系を通過した光を受光する
＜１＞ないし＜７＞のいずれかに記載の受光装置。
＜９＞
前記測光センサが、所定の光学系を通過した光を受光し、前記他のセンサが、前記所定の光学系とは異なる光学系を通過した光を受光する場合に、前記測光センサでの光の受光により得られる測光画像と、前記他のセンサでの光の受光により得られる画像とについて、同一の被写体が映る位置を対応させるキャリブレーションを行う
＜１＞に記載の受光装置。
＜１０＞
前記他のセンサとして、光を受光することにより、測距を行う測距センサを備え、
前記測距センサが受光する光となる電磁波を発する発光部をさらに備える
＜１＞に記載の受光装置。
＜１１＞
光を受光することにより、測光を行う測光センサの測光結果に応じて、光を受光する受光面が複数のブロックに区分された他のセンサの露光を制御する露光制御を、前記ブロックごとに行う
ステップを含む制御方法。
＜１２＞
光を集光する光学系と、
光を受光する受光装置と
を備え、
前記受光装置は、
前記光学系を通過した光を受光することにより、測光を行う測光センサと、
前記光学系、又は、前記光学系と異なる光学系を通過した光を受光する受光面が複数のブロックに区分された他のセンサと、
前記測光センサの測光結果に応じて、前記他のセンサの露光を制御する露光制御を、前記ブロックごとに行う制御部と
を有する
電子機器。
【符号の説明】
【０３３５】
１０  測光センサ，  １１  測光画素，  ２０  測距センサ，  ２１  測距画素，  ２２  発光部，  ３０  イメージセンサ，  ３１  撮像画素，  ４１  制御部，  ４２  処理部，  ６１，６２  基板，  １０１，１１１  光学系，  １１２  可動ミラー，  １１３  EVF用センサ，  １２１  EVF用光学系，  １３１  可動ハーフミラー，  １３２  可動ミラー，  １３３  ペンタプリズム，  １３４  ビューファインダ，  １５１  測光光学系，  １５２  撮像光学系，  ２０１  バス，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ，  ２１０  入出力インタフェース，  ２１１  リムーバブル記録媒体
【図１】
2017126377.tif 000003
【図２】
2017126377.tif 000004
【図３】
2017126377.tif 000005
【図４】
2017126377.tif 000006
【図５】
2017126377.tif 000007
【図６】
2017126377.tif 000008
【図７】
2017126377.tif 000009
【図８】
2017126377.tif 000010
【図９】
2017126377.tif 000011
【図１０】
2017126377.tif 000012
【図１１】
2017126377.tif 000013
【図１２】
2017126377.tif 000014
【図１３】
2017126377.tif 000015
【図１４】
2017126377.tif 000016
【図１５】
2017126377.tif 000017
【図１６】
2017126377.tif 000018
【図１７】
2017126377.tif 000019
【図１８】
2017126377.tif 000020
【図１９】
2017126377.tif 000021
【図２０】
2017126377.tif 000022
【図２１】
2017126377.tif 000023
【国際調査報告】
2017126377.tif 000024
2017126377.tif 000025
2017126377.tif 000026
2017126377.tif 000027