(57)【要約】  本技術は、消費電力を大にせずに、測距の精度の低下を抑制することができるようにする光センサ、及び、電子機器に関する。光センサは、発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素とを有する。本技術は、例えば、測距を行う場合に適用することができる。
2018207661.tif 000002
【特許請求の範囲】
【請求項１】
発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、
前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素と
を備える光センサ。
【請求項２】
１以上の前記TOF画素と１以上の前記偏光画素とが平面上に交互に配置された
請求項１に記載の光センサ。
【請求項３】
前記TOF画素が、前記偏光画素と同一サイズ又は前記偏光画素より大のサイズに形成された
請求項１に記載の光センサ。
【請求項４】
前記偏光画素は、所定の偏光面の光を通過させる偏光子を介して、前記被写体からの光を受光することにより、前記被写体からの光のうちの、所定の偏光面の光を受光する
請求項１に記載の光センサ。
【請求項５】
前記TOF画素上に形成された、前記照射光の波長の光を通過させる通過フィルタと、
前記偏光画素上に形成された、前記照射光の波長の光をカットするカットフィルタと
をさらに備える請求項１に記載の光センサ。
【請求項６】
前記TOF画素と前記偏光画素とは、同時に又は交互に駆動される
請求項１に記載の光センサ。
【請求項７】
複数の偏光画素の画素値を用いて得られる被写体の法線方向から算出される前記被写体までの相対的な距離を用いて、前記TOF画素の画素値を用いて算出される前記被写体までの絶対的な距離が補正される
請求項１に記載の光センサ。
【請求項８】
光を集光する光学系と、
光を受光する光センサと、
を備え
前記光センサは、
発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、
前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素と
を有する
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、光センサ、及び、電子機器に関し、特に、例えば、消費電力を大にせずに、測距の精度の低下を抑制することができるようにする光センサ、及び、電子機器に関する。
【背景技術】
【０００２】
被写体（対象物）までの距離を測定する測距を行う測距方式としては、例えば、TOF(Time Of Flight)方式がある（例えば、特許文献１を参照）。【０００３】
TOF方式では、原理的には、被写体に照射する光である照射光を発光し、その照射光が被写体において反射されて戻ってくる反射光を受光することで、照射光の発光から反射光の受光までの光の飛行時間、すなわち、照射光が被写体で反射されて戻ってくるまでの飛行時間Δtが求められる。そして、その飛行時間Δtと、光速c[m/s]とを用いて、式L=c×Δt／2に従って、被写体までの距離Lが求められる。【０００４】
TOF方式では、照射光として、例えば、周期が数十nm秒のパルス波形やサイン波形等の赤外線等が用いられる。また、TOF方式では、実装上は、例えば、照射光がオンの期間の反射光の受光量と、照射光がオフの期間の反射光の受光量との比から、照射光と反射光との位相差が、飛行時間△t（に比例する値）として求められる。【０００５】
TOF方式では、以上のように、照射光と反射光との位相差（飛行時間△t）から、被写体までの距離が求められるため、例えば、三角測量の原理を利用して測距を行うStereo Vision法やStructured Light法に比較して、遠距離の測距の精度が高い。また、TOF方式では、照射光を発光する光源と、反射光を受光する受光部とは、近い位置に配置されるため、装置の小型化が可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2016-90436号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、TOF方式では、測距の精度が、反射光を受光して得られる受光信号のS/N(Signal to Noise ratio)で決まるため、測距の精度のために、受光信号が積算される。【０００８】
また、TOF方式では、Stereo Vision法やStructured Light法に比較して、測距の精度が距離に依存する程度が小さいが、それでも、遠距離になるほど、測距の精度が低下する。【０００９】
遠距離の測距において、測距の精度を維持する方法としては、照射光の強度を大にする方法や、受光信号を積算する積算期間を長くする方法がある。【００１０】
しかしながら、照射光の強度を大にする方法や、受光信号を積算する積算期間を長くする方法では、消費電力が大になる。【００１１】
また、TOF方式では、例えば、鏡や水面等の鏡面反射が生じる被写体については、距離を誤検出することがある。【００１２】
本技術は、このような状況に鑑みてなされたものであり、消費電力を大にせずに、測距の精度の低下を抑制することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の光センサは、発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素とを備える光センサである。【００１４】
本技術の電子機器は、光を集光する光学系と、光を受光する光センサとを備え、前記光センサは、発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素とを有する電子機器である。【００１５】
本技術の光センサ及び電子機器においては、TOF画素において、発光部が発光した照射光が被写体において反射されて戻ってくる反射光が受光され、複数の偏光画素において、前記被写体からの光のうちの、複数の偏光面の光がそれぞれ受光される。【００１６】
なお、光センサは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１７】
本技術によれば、消費電力を大にせずに、測距の精度の低下を抑制することができる。【００１８】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】本技術を適用した測距装置の一実施の形態の構成例を示すブロック図である。
【図２】光センサ１３の電気的構成例を示すブロック図である。
【図３】画素３１の基本的な構成例を示す回路図である。
【図４】画素アレイ２１の第１の構成例を示す平面図である。
【図５】画素アレイ２１の第１の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
【図６】TOF方式での距離の算出の原理を説明する図である。
【図７】偏光センサ６１の構成例を示す平面図である。
【図８】偏光センサ６１の電気的構成例を示す回路図である。
【図９】TOFセンサ６２の構成例を示す平面図である。
【図１０】TOFセンサ６２の電気的構成例を示す回路図である。
【図１１】画素アレイ２１の第２の構成例を示す平面図である。
【図１２】画素アレイ２１の第２の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
【図１３】画素アレイ２１の第３の構成例を示す平面図である。
【図１４】画素アレイ２１の第３の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
【図１５】画素アレイ２１の第４の構成例を示す平面図である。
【図１６】画素アレイ２１の第４の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
【図１７】画素アレイ２１の第５の構成例を示す平面図である。
【図１８】画素アレイ２１の第５の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
【図１９】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２０】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００２０】
＜本技術を適用した測距装置の一実施の形態＞
【００２１】
図１は、本技術を適用した測距装置の一実施の形態の構成例を示すブロック図である。
【００２２】
図１において、測距装置は、被写体までの距離を測定（測距）し、例えば、その距離を画素値とする距離画像等の画像を出力する。
【００２３】
図１において、測距装置は、発光装置１１、光学系１２、光センサ１３、信号処理装置１４、及び、制御装置１５を有する。
【００２４】
発光装置１１は、TOF方式での測距のために、例えば、波長が850nm等の赤外線のパルスを照射光として発光する。
【００２５】
光学系１２は、集光レンズや絞り等の光学部品で構成され、被写体からの光を、光センサ１３上に集光する。
【００２６】
ここで、被写体からの光には、発光装置１１が発光した照射光が被写体で反射されて戻ってくる反射光が含まれる。また、被写体からの光には、発光装置１１以外の、例えば、太陽その他の光源からの光が被写体で反射されて光学系１２に入射する反射光が含まれる。
【００２７】
光センサ１３は、被写体からの光を、光学系１２を介して受光し、光電変換を行って、被写体からの光に対応する電気信号としての画素値を出力する。光センサ１３が出力する画素値は、信号処理装置１４に供給される。
【００２８】
光センサ１３は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを利用して構成することができる。
【００２９】
信号処理装置１４は、光センサ１３からの画素値を用いて所定の信号処理を行うことで、被写体までの距離を画素値とする距離画像等を生成して出力する。
【００３０】
制御装置１５は、発光装置１１や、光センサ１３、信号処理装置１４を制御する。
【００３１】
なお、信号処理装置１４及び制御装置１５（の一方又は両方）は、光センサ１３と一体的に構成することができる。信号処理装置１４及び制御装置１５を、光センサ１３と一体的に構成する場合には、光センサ１３の構造としては、例えば、積層型のCMOSイメージセンサと同様の構造を採用することができる。
【００３２】
＜光センサ１３の構成例＞
【００３３】
図２は、図１の光センサ１３の電気的構成例を示すブロック図である。
【００３４】
図２において、光センサ１３は、画素アレイ２１、画素駆動部２２、及び、ADC(Analog to Digital Converter)２３を有する。
【００３５】
画素アレイ２１は、縦×横がM×N個（M及びNは、1以上の整数で、そのうちの一方は、2以上の整数）の画素３１が、例えば、２次元平面上に格子状に配置されて構成される。
【００３６】
さらに、画素アレイにおいて、（上から）m行目（m＝1,2,・・・,M）の行方向（横方向）に並ぶN個の画素１１には、行方向に延びる画素制御線４１が接続されている。
【００３７】
また、（左から）n列目（n＝1,2,・・・,N）の列方向（縦方向）に並ぶM個の画素１１には、列方向に延びるVSL（垂直信号線）４２が接続されている。
【００３８】
画素３１は、そこに入射する光（入射光）の光電変換を行う。さらに、画素３１は、光電変換によって得られる電荷に対応する電圧（以下、画素信号ともいう）を、画素駆動部２２からの、画素制御線４１を介しての制御に従い、VSL４２上に出力する。
【００３９】
画素駆動部２２は、例えば、制御装置１５（図１）の制御等に従い、画素制御線４１を介して、その画素制御線４１に接続されている画素３１を制御（駆動）する。
【００４０】
ADC２３は、画素３１から、VSL４２を介して供給される画素信号（電圧）のAD(Analog to Digital)変換を行い、その結果得られるディジタルデータを、画素３１の画素値（画素データ）として出力する。
【００４１】
なお、図２では、ADC２３は、画素３１のN列のそれぞれに設けられており、n列目のADC２３は、n列目に並ぶM個の画素３１の画素信号のAD変換を担当する。
【００４２】
画素３１のN列のそれぞれに設けられているN個のADC２３によれば、例えば、１行に並ぶN個の画素３１の画素信号のAD変換を、同時に行うことができる。
【００４３】
以上のように、画素３１の各列に、その列の画素３１の画素信号のAD変換を担当するADCを設けるAD変換の方式は、列並列AD変換方式と呼ばれる。
【００４４】
光センサ１３でのAD変換の方式としては、列並列AD変換方式に限定されるものではない。すなわち、光センサ１３でのAD変換の方式としては、列並列AD変換方式以外の、例えば、エリアAD変換方式等を採用することができる。エリアAD変換方式では、M×N個の画素３１を、小エリアの画素３１に区分けして、小エリアごとに、その小エリアの画素３１の画素信号のAD変換を担当するADCが設けられる。
【００４５】
＜画素３１の構成例＞
【００４６】
図３は、図２の画素３１の基本的な構成例を示す回路図である。
【００４７】
図３において、画素３１は、PD(photodiode)５１、４個のnMOS(negative channel MOS)のFET(Field Effect Transistor)５２，５４，５５、及び、５６、並びに、FD(Floating Diffusion)５３を有する。
【００４８】
PD５１は、光電変換素子の一例であり、PD５１に入射する入射光を受光して、その入射光に対応する電荷を蓄積する。
【００４９】
PD５１のアノードはグランド(ground)に接続され（接地され）、PD５１のカソードは、FET５２のソースに接続されている。
【００５０】
FET５２は、PD５１に蓄積された電荷を、PD５１からFD５３に転送するためのFETであり、以下、転送Tr５２ともいう。
【００５１】
転送Tr５２のソースは、PD５１のカソードに接続され、転送Tr５２のドレインは、FD５３を介して、FET５４のソース、及び、FET５５のゲートに接続されている。
【００５２】
また、転送Tr５２のゲートは、画素制御線４１に接続されており、転送Tr５２のゲートには、画素制御線４１を介して、転送パルスTRGが供給される。
【００５３】
ここで、画素駆動部２２（図２）が、画素制御線４１を介して、画素３１を駆動（制御）するために、画素制御線４１に流す制御信号には、転送パルスTRG、リセットパルスRST、及び、選択パルスSELがある。
【００５４】
FD５３は、転送Tr５２のドレイン、FET５４のソース、及び、FET５５のゲートの接続点に形成されており、コンデンサの如く電荷を蓄積し、その電荷を電圧に変換する。
【００５５】
FET５４は、FD５３に蓄積された電荷（FD５３の電圧（電位））をリセットするためのFETであり、以下、リセットTr５４ともいう。
【００５６】
リセットTr５４のドレインは、電源Vddに接続されている。
【００５７】
また、リセットTr５４のゲートは、画素制御線４１に接続されており、リセットTr５４のゲートには、画素制御線４１を介して、リセットパルスRSTが供給される。
【００５８】
FET５５は、FD５６の電圧をバッファするためのFETであり、以下、増幅Tr５５ともいう。
【００５９】
増幅Tr５５のゲートは、FD５３に接続され、増幅Tr５５のドレインは、電源Vddに接続されている。また、増幅Tr５５のソースは、FET５６のドレインに接続されている。
【００６０】
FET５６は、VSL４２への信号の出力を選択するためのFETであり、以下、選択Tr５６ともいう。
【００６１】
選択Tr５６のソースは、VSL４２に接続されている。
【００６２】
また、選択Tr５６のゲートは、画素制御線４１に接続されており、選択Tr５６のゲートには、画素制御線４１を介して、選択パルスSELが供給される。
【００６３】
以上のように構成される画素３１では、PD５１において、そのPD５１に入射する入射光が受光され、入射光に対応する電荷が蓄積される。
【００６４】
その後、転送Tr５２に、TRGパルスが供給され、転送Tr５２がオンになる。
【００６５】
ここで、正確には、転送Tr５２のゲートには、TRGパルスとしての電圧が常時供給され、TRGパルスとしての電圧がL(low)レベルの場合に、転送Tr５２はオフになり、TRGパルスとしての電圧がH(high)レベルの場合に、転送Tr５２はオンになるが、本明細書では、記載の簡略化のために、転送Tr５２のゲートに、HレベルのTRGパルスとしての電圧が供給されることを、転送Tr５２に、TRGパルスが供給される、のように記載する。
【００６６】
転送Tr５２がオンになると、PD５１に蓄積された電荷は、転送Tr５２を介して、FD５３に転送されて、FD５３に蓄積される。
【００６７】
そして、FD５３に蓄積された電荷に対応する電圧としての画素信号が、増幅Tr５５のゲートに供給され、これにより、画素信号は、増幅Tr５５及び選択Tr５６を介して、VSL４２上に出力される。
【００６８】
なお、リセットパルスRSTは、FD５３に蓄積された電荷をリセットするときに、リセットTr５４に供給される。また、選択パルスSELは、画素３１の画素信号をVSL４２上に出力するときに、選択Tr５６に供給される。
【００６９】
ここで、画素３１において、FD５３、リセットTr５４、増幅Tr５５、及び、選択Tr５６は、PD５１に蓄積された電荷を電圧としての画素信号に変換して読み出す画素回路を構成する。
【００７０】
画素３１の構成としては、図３に示したように、１個の画素３１のPD５１（及び転送Tr５２）が、１つの画素回路を有する構成の他、複数の画素３１それぞれのPD５１（及び転送Tr５２）が、１つの画素回路を共有する共有画素の構成を採用することができる。
【００７１】
また、画素３１は、選択Tr５６なしで構成することができる。
【００７２】
＜画素アレイ２１の第１の構成例＞
【００７３】
図４は、図２の画素アレイ２１の第１の構成例を示す平面図である。
【００７４】
図４では、画素アレイ２１は、図２で説明したように、画素３１が２次元平面上に格子状に配置されて構成されている。
【００７５】
画素アレイ２１を構成する画素３１の種類としては、偏光画素３１ＰとTOF画素３１Ｔとの２種類が存在する。
【００７６】
図４では、偏光画素３１ＰとTOF画素３１Ｔとは、それぞれの受光面（画素３１が光を受光する面）のサイズが、同一サイズになるように形成されている。
【００７７】
図４の画素アレイ２１では、１以上の偏光画素３１Ｐと１以上のTOF画素３１Ｔとが２次元平面上に交互に配置されている。
【００７８】
ここで、横×縦が2×2画素の偏光画素３１Ｐを、1個の偏光センサ６１というとともに、横×縦が2×2画素のTOF画素３１Ｔを、1個のTOFセンサ６２ということとすると、図４の画素アレイ２１では、偏光センサ６１とTOFセンサ６２とが、格子状（チェック模様状）に配置されている。
【００７９】
なお、1個の偏光センサ６１は、2×2画素の偏光画素３１Ｐで構成する他、3×3画素や、4×4画素以上の偏光画素３１Ｐで構成することができる。また、1個の偏光センサ６１は、2×2画素等の正方形状に配置された偏光画素３１Ｐで構成する他、2×3画素や4×3画素等の長方形状に配置された偏光画素３１Ｐで構成することができる。TOFセンサ６２についても、同様である。
【００８０】
図４において、1個の偏光センサ６１を構成する2×2画素の偏光画素３１Ｐのうちの、左上、右上、左下、及び、右下の偏光画素３１Ｐを、それぞれ、偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４ともいうこととする。
【００８１】
同様に、1個のTOFセンサ６２を構成する2×2画素のTOF画素３１Ｔのうちの、左上、右上、左下、及び、右下のTOF画素３１Ｔを、それぞれ、TOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４ともいうこととする。
【００８２】
1個の偏光センサ６１を構成する偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４は、例えば、それぞれ異なる偏光面の光を受光する。
【００８３】
したがって、1個の偏光センサ６１を構成する偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４では、被写体からの光のうちの、複数の偏光面の光それぞれが受光される。
【００８４】
なお、1個の偏光センサ６１を構成する複数の偏光画素３１Ｐのうちの一部の２以上の偏光画素３１Ｐそれぞれは、同一の偏光面の光を受光しても良い。例えば、偏光画素３１Ｐ１及び３１Ｐ２で、同一の偏光面の光を受光し、偏光画素３１Ｐ３及び３１Ｐ４では、それぞれ異なる偏光面の光を受光することができる。
【００８５】
偏光画素３１Ｐの受光面上には、所定の偏光面の光を通過させる偏光子（図４では図示せず）が形成されている。偏光画素３１Ｐは、偏光子を通過した光を受光することで、その偏光子が通過させる所定の偏光面の光を受光して光電変換を行う。
【００８６】
1個の偏光センサ６１を構成する偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４それぞれには、異なる偏光面の光を通過させる偏光子が設けられており、これにより、偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４は、それぞれ、被写体からの光のうちの、異なる偏光面の光を受光する。
【００８７】
光センサ１３では、1個の偏光センサ６１を構成する4個の偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４については、それぞれ、別個に、画素信号が読み出され、4個の画素値として、信号処理装置１４に供給される。
【００８８】
一方、1個のTOFセンサ６２を構成する4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４については、その4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４の画素信号を加算した値が読み出され、1個の画素値として、信号処理装置１４に供給される。
【００８９】
信号処理装置１４は、偏光センサ６１からの画素値（偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４それぞれの画素信号）と、TOFセンサ６２の画素値（TOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４それぞれの画素信号の加算値）とを用いて、被写体までの距離を画素値とする距離画像を生成する。
【００９０】
なお、図４では、1個の偏光センサ６１を構成する4個の偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４は、その4個の偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４それぞれのPD５１が、FD５３を含む画素回路（図３）を共有する共有画素になっている。
【００９１】
同様に、1個のTOFセンサ６２を構成する4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４は、その4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４それぞれのPD５１が、FD５３を含む画素回路（図３）を共有する共有画素になっている。
【００９２】
図５は、図４の画素アレイ２１の第１の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
【００９３】
TOF画素３１Ｔは、発光装置１１が発光した照射光に対応する被写体からの反射光（照射光が被写体で反射されて戻ってくる反射光）を受光する。本実施の形態では、図１で説明したように、照射光として、波長が850nm等の赤外線のパルスを採用するため、そのような赤外線の帯域の光（だけ）を通過させるバンドパスフィルタ（通過フィルタ）７１が、TOF画素３１を構成するPD５１上に形成されている。
【００９４】
TOF画素３１Ｔ（のPD５１）は、被写体からの光を、バンドパスフィルタ７１を介して受光することにより、被写体からの光のうちの、照射光に対応する反射光を受光する。
【００９５】
偏光画素３１Ｐは、被写体からの光のうちの、所定の偏光面の光を受光する。そのため、偏光画素３１Ｐを構成するPD５１上には、所定の偏光面の光だけを通過させる偏光子８１が設けられている。
【００９６】
さらに、偏光画素３１Ｐの偏光子８１上（偏光子８１に光が入射する側）には、照射光に対応する反射光としての赤外線をカットするカットフィルタ７２が形成されている。
【００９７】
偏光画素３１Ｐ（のPD５１）は、被写体からの光を、カットフィルタ７２及び偏光子８１を介して受光することにより、被写体からの光のうちの、照射光に対応する反射光以外の光に含まれる所定の偏光面の光を受光する。
【００９８】
画素アレイ２１の第１の構成例では、以上のように、TOF画素３１Ｔには、バンドパスフィルタ７１が設けられ、偏光画素３１Ｐには、カットフィルタ７２が設けられているので、TOF画素３１Ｔでは、発光装置１１が発光した照射光に対応する反射光を受光することができ、偏光画素３１Ｐでは、被写体からの光のうちの、発光装置１１が発光した照射光に対応する反射光以外の光を受光することができる。
【００９９】
したがって、画素アレイ２１の第１の構成例では、偏光画素３１Ｐ（で構成される偏光センサ６１）と、TOF画素３１Ｔ（で構成されるTOFセンサ６２）とを同時に駆動すること（偏光画素３１Ｐ及びTOF画素３１Ｔで、被写体からの光を同時に受光し、その受光量に対応する画素値を出力すること）ができる。
【０１００】
なお、画素アレイ２１の第１の構成例については、偏光画素３１ＰとTOF画素３１Ｔとを同時に駆動する他、偏光画素３１ＰとTOF画素３１Ｔとを、別個のタイミングで駆動すること、例えば、交互に駆動すること（偏光画素３１Ｐ及びTOF画素３１Ｔで、被写体からの光を、交互に受光し、その受光量に対応する画素値を出力すること）ができる。
【０１０１】
ところで、上述したように、光センサ３１では、1個の偏光センサ６１を構成する4個の偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４については、それぞれ、別個に、画素信号が読み出され、4個の画素値として、信号処理装置１４に供給される。
【０１０２】
また、1個のTOFセンサ６２を構成する4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４については、その4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４の画素信号を加算した値が読み出され、1個の画素値として、信号処理装置１４に供給される。
【０１０３】
信号処理装置１４は、偏光センサ６１からの画素値（偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４それぞれの画素信号）を用い、偏光方式で、被写体までの相対的な距離を算出する。
【０１０４】
また、信号処理装置１４は、TOFセンサ６２の画素値（TOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４それぞれの画素信号の加算値）を用い、TOF方式で、被写体までの絶対的な距離を算出する。
【０１０５】
そして、信号処理装置１４は、偏光方式で算出された被写体までの相対的な距離を用いて、TOF方式で算出された被写体までの絶対的な距離を補正し、その補正後の距離を画素値とする距離画像を生成する。TOF方式の絶対的な距離の補正は、例えば、TOF方式の絶対的な距離の位置に対する変化量が、偏光方式の相対的な距離に一致するように行われる。
【０１０６】
ここで、偏光方式では、被写体からの光の偏光状態が、被写体の面方向に応じて異なることを利用し、被写体からの光のうちの、複数の（異なる）偏光面の光それぞれに対応する画素値を用いて、被写体の法線方向が求められ、その法線方向から、被写体の任意の点を基準とする、被写体の各点までの相対的な距離が算出される。
【０１０７】
TOF方式では、前述したように、照射光の発光から、その照射光に対応する反射光の受光までの飛行時間、すなわち、照射光としてのパルスと、その照射光に対応する反射光としてのパルスとの位相差を求めることにより、測距装置から被写体までの距離が、被写体までの絶対的な距離として算出される。
【０１０８】
図６は、TOF方式での距離の算出の原理を説明する図である。
【０１０９】
ここで、照射光は、例えば、所定のパルス幅Tpのパルスであり、説明を簡単にするため、照射光の周期は、2×Tpであるとする。
【０１１０】
光センサ１３のTOFセンサ６２では、照射光が発光されてから、被写体までの距離Lに応じた飛行時間Δtだけ経過した後に、照射光に対応する反射光（照射光が被写体で反射された反射光）が受光される。
【０１１１】
いま、照射光としてのパルスと同一のパルス幅で、同一の位相のパルスを、第１の受光パルスというとともに、照射光としてのパルスと同一のパルス幅で、照射光としてのパルスのパルス幅Tp（180度）だけ位相がずれたパルスを、第２の受光パルスということとする。
【０１１２】
TOF方式では、第１の受光パルスの（Hレベルの）期間と、第２の受光パルスの期間とのそれぞれの期間において、反射光が受光される。
【０１１３】
いま、第１の受光パルスの期間に受光された反射光の電荷量（受光量）を、Q1と表すとともに、第２の受光パルスの期間に受光された反射光の電荷量を、Q2と表すこととする。
【０１１４】
この場合、飛行時間Δtは、式△t＝Tp×Q2／(Q1+Q2)に従って求めることができる。なお、照射光と、その照射光に対応する反射光との位相差φは、式φ＝180度×Q2／(Q1+Q2)で表される。
【０１１５】
飛行時間Δtは、電荷量Q2に比例し、したがって、被写体までの距離Lが近距離である場合には、電荷量Q2は小になり、被写体までの距離Lが遠距離である場合には、電荷量Q2は大になる。
【０１１６】
ところで、TOF方式の測距では、照射光を発光する発光装置１１等の光源が必須であるが、その光源が発する照射光よりも強い光が存在する場合には、測距の精度が低下する。
【０１１７】
また、TOF方式では、遠距離の測距の精度を維持する方法として、照射光の強度を大にする方法や、画素信号（受光信号）を積算する積算期間を長くする方法があるが、これらの方法では、消費電力が大になる。
【０１１８】
さらに、TOF方式の測距では、照射光と同一の位相の第１の受光パルスの期間の反射光の受光量と、照射光と位相が180度だけずれた第２の受光パルスの期間の反射光の受光量とを用いて、被写体までの距離が算出されるため、第１の受光パルスの期間の反射光の受光量に対応する画素信号と、第２の受光パルスの期間の反射光の受光量に対応する画素信号とのAD変換が必要となる。したがって、TOF方式の測距では、可視光を受光して画像の撮像（以下、通常撮像ともいう）を行う場合の２倍の回数のAD変換が必要であり、TOF方式の測距には、通常撮像と同様の回数のAD変換を行えばよいStereo Vision法やStructured Light法の測距と比較して、単純には、２倍の時間を要する。
【０１１９】
以上のように、TOF方式の測距は、Stereo Vision法やStructured Light法の測距と比較して、時間を要する。
【０１２０】
また、TOF方式では、例えば、鏡や水面等の鏡面反射が生じる被写体については、距離を誤検出しやすい。
【０１２１】
さらに、TOF方式では、照射光として、赤外線等の、可視光でない光を採用する場合には、TOF方式の測距と同時に、通常撮像を行って、例えば、RGB(Red, Green, Blue)等のカラーの画像を得ることは困難である。
【０１２２】
これに対して、図１の測距装置では、光センサ１３は、偏光方式の測距に用いられる偏光画素３１Ｐと、TOF方式の測距に用いられるTOF画素３１Ｔとを有し、それらの偏光画素３１ＰとTOF画素３１Ｔとは、2×2個の偏光画素３１Ｐで構成される偏光センサ６１と、2×2個のTOF画素３１Ｔで構成されるTOFセンサ６２との単位で、格子状に配置されている。
【０１２３】
さらに、図１の測距装置では、信号処理装置１４は、図４及び図５で説明したように、偏光センサ６１からの画素値（偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４それぞれの画素信号）を用い、偏光方式で、被写体までの相対的な距離を算出するとともに、TOFセンサ６２の画素値（TOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４それぞれの画素信号の加算値）を用い、TOF方式で、被写体までの絶対的な距離を算出する。
【０１２４】
そして、信号処理装置１４は、偏光方式で算出された被写体までの相対的な距離を用いて、TOF方式で算出された被写体までの絶対的な距離を補正し、その補正後の距離を画素値とする距離画像を生成する。
【０１２５】
したがって、消費電力を大にせずに、測距の精度の低下を抑制することができる。すなわち、TOF方式の測距の結果を、偏光方式の測距の結果によって補正することで、特に、遠距離でのTOF方式の測距の精度の低下を改善することができる。
【０１２６】
また、偏光方式の測距では、TOF方式の測距のように、照射光を必要としないため、屋外での測距において、照射光以外の、例えば、太陽光等の光の影響によって、TOF方式の測距の精度が低下する場合であっても、TOF方式の測距の結果を、偏光方式の測距の結果で補正することにより、測距の精度の低下を抑制することができる。
【０１２７】
さらに、偏光方式の測距の消費電力は、TOF方式の測距の消費電力よりも低いため、例えば、光センサ１３を構成するTOF画素３１Ｔの数を少なくするとともに、偏光画素３１Ｐの画像を多くすることにより、低消費電力化と、距離画像の高解像度化とを両立させることができる。
【０１２８】
また、TOF方式は、鏡や水面等の鏡面反射が生じる被写体については、距離を誤検出しやすいのに対して、偏光方式は、そのような被写体について、（相対的な）距離を精度良く算出することができる。したがって、TOF方式の測距の結果を、偏光方式の測距の結果で補正することにより、鏡面反射が生じる被写体に対する測距の精度の低下を抑制することができる。
【０１２９】
さらに、偏光画素３１Ｐだけを配置して第１の光センサを構成するとともに、TOF画素３１Ｔだけを配置して第２の光センサを構成した場合には、第１及び第２の光センサそれぞれの設置位置の違いに応じて、第１及び第２の光センサで同一の被写体が映る画素の座標がずれる。これに対して、偏光画素３１Ｐ（で構成される偏光センサ６１）と、TOF画素３１Ｔ（で構成されるTOFセンサ６２）とで構成される光センサ１３では、第１及び第２の光センサで生じるような座標のずれは生じない。したがって、信号処理装置１４では、そのような座標のずれを考慮せずに、信号処理を行うことができる。
【０１３０】
また、偏光画素３１Ｐと、TOF画素３１Ｔとで構成される光センサ１３では、偏光画素３１Ｐにおいて、例えば、R(red)や、G(Green)、B(Blue)の光を受光しても測距の精度に影響しない。したがって、複数の偏光画素３１Ｐそれぞれにおいて、Rや、G、Bの光を、適宜受光するように、光センサ１３を構成することにより、光センサ１３では、測距と同時に、通常撮像で得られるのと同様のカラーの画像を取得することができる。
【０１３１】
さらに、偏光画素３１Ｐは、通常撮像を行う画素上に、偏光子８１を形成して構成することができることから、偏光画素３１Ｐの画素値を用いる偏光方式では、Stereo Vision法や、Structured Light法と同様に、フレームレートを高速化し、被写体までの相対的な距離を高速に取得することができる。したがって、偏光方式で算出された被写体までの相対的な距離を用いて、TOF方式で算出された被写体までの絶対的な距離を補正することにより、時間を要するTOF方式の測距を補って、高速な測距を行うことが可能となる。
【０１３２】
また、本実施の形態では、TOFセンサ６２において、そのTOFセンサ６２を構成する4個のTOF画素３１Ｔ１ないし３１Ｔ４の画素信号を加算した値を、1個の画素値として読み出すこととしたが、TOFセンサ６２を構成する4個のTOF画素３１Ｔ１ないし３１Ｔ４については、4個のTOF画素３１Ｔ１ないし３１Ｔ４それぞれから画素信号を読み出すことができる。この場合、TOF方式の測距の解像度を向上させ、ひいては、偏光方式で算出された被写体までの相対的な距離を用いて、TOF方式で算出された被写体までの絶対的な距離を補正することにより得られる距離の解像度を向上させることができる。
【０１３３】
図７は、図４の偏光センサ６１の構成例を示す平面図である。図８は、図４の偏光センサ６１の電気的構成例を示す回路図である。
【０１３４】
偏光センサ６１を構成する4個の偏光画素３１Ｐ１ないし３１Ｐ４の受光面上には、図７に示すように、偏光子８１が形成されている。偏光画素３１Ｐ１ないし３１Ｐ４それぞれの偏光子８１は、異なる偏光面の光を通過させるようになっている。
【０１３５】
また、偏光センサ６１を構成する4個の偏光画素３１Ｐ１ないし３１Ｐ４は、図８に示すように、FD５３を含む画素回路を共有している。
【０１３６】
すなわち、偏光画素３１Ｐ１ないし３１Ｐ４それぞれのPD５１は、偏光画素３１Ｐ１ないし３１Ｐ４それぞれの転送Tr５２を介して、偏光画素３１Ｐ１ないし３１Ｐ４で共有する1個のFD５３に接続されている。
【０１３７】
偏光画素３１Ｐ１ないし３１Ｐ４で共有するFD５３は、図７に示すように、横×縦が2×2に配置された偏光画素３１Ｐ１ないし３１Ｐ４（で構成される偏光センサ６１）の中心に配置されている。
【０１３８】
以上のように構成される偏光センサ６１では、偏光画素３１Ｐ１ないし３１Ｐ４の転送Tr５２が、順番にオンにされる。これにより、偏光画素３１Ｐ１ないし３１Ｐ４それぞれの画素信号（偏光画素３１Ｐ１ないし３１Ｐ４のPD５１で受光された、異なる偏光面の光の受光量に対応する画素信号それぞれ）が、順番に読み出される。
【０１３９】
図９は、図４のTOFセンサ６２の構成例を示す平面図である。図１０は、図４のTOFセンサ６２の電気的構成例を示す回路図である。
【０１４０】
ここで、TOFセンサ６２については、そのTOFセンサ６２を構成するTOF画素３１Ｔ１ないし３１Ｔ４のPD５１を、それぞれ、PD５１1，PD５１2，PD５１3、及び、PD５１4とも記載する。
【０１４１】
TOF画素３１Ｔ＃ｉは（＃ｉ＝１，２，３，４）、図９及び図１０に示すように、転送Tr５２として、第１転送Tr５２1#i、及び、第２転送Tr５２2#iの２個のFETを有する。
【０１４２】
さらに、TOFセンサ６２は、図９及び図１０に示すように、TOF画素３１Ｔ１ないし３１Ｔ４の他に、２個の第３転送Tr５２31及び５２32、２個の第４転送Tr５２41及び５２42、２個の第１メモリ１１１13及び１１１24、並びに、２個の第２メモリ１１２12及び１１２34を有する。
【０１４３】
なお、図１０では、第ｊ転送Tr５２#j#iのゲートに供給される転送パルスTRGを、TRG#jと図示してある（＃ｊ＝１，２，３，４）。＃ｊが同一の値の転送パルスTRG#jは、同一の転送パルスである。
【０１４４】
TOF画素３１Ｔ１のPD５１1は、第１転送Tr５２11を介して、第１メモリ１１１13に接続されている。
【０１４５】
さらに、TOF画素３１Ｔ１のPD５１1は、第２転送Tr５２21を介して、第２メモリ１１２12にも接続されている。
【０１４６】
TOF画素３１Ｔ２のPD５１2は、第１転送Tr５２12を介して、第１メモリ１１１24に接続されている。
【０１４７】
さらに、TOF画素３１Ｔ２のPD５１2は、第２転送Tr５２22を介して、第２メモリ１１２12にも接続されている。
【０１４８】
TOF画素３１Ｔ３のPD５１3は、第１転送Tr５２13を介して、第１メモリ１１１13に接続されている。
【０１４９】
さらに、TOF画素３１Ｔ３のPD５１3は、第２転送Tr５２23を介して、第２メモリ１１２34にも接続されている。
【０１５０】
TOF画素３１Ｔ４のPD５１4は、第１転送Tr５２14を介して、第１メモリ１１１24に接続されている。
【０１５１】
さらに、TOF画素３１Ｔ４のPD５１4は、第２転送Tr５２24を介して、第２メモリ１１２34にも接続されている。
【０１５２】
第１メモリ１１１13は、第３転送Tr５２31を介して、FD５３に接続され、第１メモリ１１１24は、第３転送Tr５２32を介して、FD５３に接続されている。
【０１５３】
第２メモリ１１２12は、第４転送Tr５２41を介して、FD５３に接続され、第２メモリ１１２34は、第４転送Tr５２42を介して、FD５３に接続されている。
【０１５４】
以上のように構成されるTOFセンサ６２では、TOF画素３１Ｔ１ないし３１Ｔ４それぞれの画素信号（TOF画素３１Ｔ１ないし３１Ｔ４のPD５１1ないしPD５１4で受光された光の受光量に対応する画素信号それぞれ）の加算値が、１個の画素信号として読み出される。
【０１５５】
すなわち、TOFセンサ６２では、第１転送Tr５２1#iと第２転送Tr５２2#iとが交互にオンになる。
【０１５６】
第１転送Tr５２1#iがオンになったとき、PD５１1に蓄積された電荷、及び、PD５１3に蓄積された電荷が、第１転送Tr５２11及び５２13をそれぞれ介して、第１メモリ１１１13に転送されて加算されるとともに、PD５１2に蓄積された電荷、及び、PD５１4に蓄積された電荷が、第１転送Tr５２12及び５２14をそれぞれ介して、第１メモリ１１１24に転送されて加算される。
【０１５７】
一方、第２転送Tr５２2#iがオンになったとき、PD５１1に蓄積された電荷、及び、PD５１2に蓄積された電荷が、第２転送Tr５２21及び５２22をそれぞれ介して、第２メモリ１１２12に転送されて加算されるとともに、PD５１3に蓄積された電荷、及び、PD５１4に蓄積された電荷が、第２転送Tr５２23及び５２24をそれぞれ介して、第２メモリ１１２34に転送されて加算される。
【０１５８】
第１転送Tr５２1#i及び第２転送Tr５２2#iのオンオフが所定の回数だけ繰り返された後、第４転送Tr５２41及び５２42がオンになっていないタイミングで、第３転送Tr５２31及び５２32がオンになり、第１メモリ１１１13及び１１１24に記憶された電荷が、第３転送Tr５２31及び５２32をそれぞれ介して、FD５３に転送されて加算される。
【０１５９】
これにより、FD５３には、第１転送Tr５２11ないし５２14がオンになったときにPD５１1ないし５１4から転送された電荷の加算値が記憶され、この加算値に対応する電圧が、例えば、図６で説明した第１の受光パルスの期間に受光された反射光の電荷量に対応する画素信号として読み出される。
【０１６０】
さらに、第１転送Tr５２1#i及び第２転送Tr５２2#iのオンオフが所定の回数だけ繰り返された後、第３転送Tr５２31及び５２32がオンになっていないタイミングで、第４転送Tr５２41及び５２42がオンになり、第２メモリ１１２12及び１１２34に記憶された電荷が、第４転送Tr５２41及び５２42をそれぞれ介して、FD５３に転送されて加算される。
【０１６１】
これにより、FD５３には、第２転送Tr５２21ないし５２24がオンになったときにPD５１1ないし５１4から転送された電荷の加算値が記憶され、この加算値に対応する電圧が、例えば、図６で説明した第２の受光パルスの期間に受光された反射光の電荷量に対応する画素信号として読み出される。
【０１６２】
なお、TOFセンサ６２では、第１メモリ１１１13及び１１１24、並びに、第２メモリ１１２12及び１１２34に対して、電荷が流れるように、ポテンシャルをつけることができる。
【０１６３】
また、偏光画素３１Ｐ及びTOF画素３１Ｔは、共有画素の構成ではなく、１個のPD５１が、１個の画素回路を使用する構成をとることができる。
【０１６４】
＜画素アレイ２１の第２の構成例＞
【０１６５】
図１１は、図２の画素アレイ２１の第２の構成例を示す平面図である。図１２は、図１１の画素アレイ２１の第２の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
【０１６６】
なお、図１１及び図１２において、図４及び図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１６７】
図１１及び図１２においては、偏光画素３１Ｐのバンドパスフィルタ７１上に、カラーフィルタ１５１が形成されており、このカラーフィルタ１５１が形成されている点で、画素アレイ２１の第２の構成例は、図４及び図５の場合と相違する。
【０１６８】
図１１及び図１２では、カラーフィルタ１５１として、Rの光を通過させる１５１Ｒ、Gの光を通過させるカラーフィルタ１５１Ｇｒ及び１５１Ｇｂ、並びに、Bの光を通過させる１５１Ｂが、ベイヤ配列になるように、偏光センサ６１を構成する偏光画素３１Ｐ１ないし３１Ｐ４上に形成されている。
【０１６９】
すなわち、例えば、偏光画素３１Ｐ１には、カラーフィルタ１５１Ｇｂが、偏光画素３１Ｐ２には、カラーフィルタ１５１Ｂが、偏光画素３１Ｐ３には、カラーフィルタ１５１Ｒが、偏光画素３１Ｐ４には、カラーフィルタ１５１Ｇｒが、それぞれ形成されている。
【０１７０】
以上のように、偏光画素３１Ｐに、カラーフィルタ１５１が形成されている場合には、偏光画素３１Ｐの画素値を用いて、カラーの画像を構成することができる。その結果、カラーの画像と、そのカラーの画像に映る被写体までの距離を表す距離画像とを、同時に得ることができる。
【０１７１】
なお、図４及び図５の画素アレイ２１の第１の構成例では、偏光画素３１Ｐにカラーフィルタ１５１が設けられていないため、カラーの画像を構成することは困難であるが、偏光画素３１Ｐの画素値から白黒の画像を構成することができる。さらに、画素アレイ２１の第１の構成例では、偏光画素３１Ｐにカラーフィルタ１５１が設けられていないため、カラーフィルタ１５１が設けられている場合に比較して、感度を向上させること、すなわち、同一時間での受光量を大にすることができ、S/Nを向上させることができる。
【０１７２】
＜画素アレイ２１の第３の構成例＞
【０１７３】
図１３は、図２の画素アレイ２１の第３の構成例を示す平面図である。図１４は、図１３の画素アレイ２１の第３の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
【０１７４】
なお、図１３及び図１４において、図４及び図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１７５】
画素アレイ２１の第３の構成例は、偏光画素３１Ｐ上にバンドパスフィルタ７１が設けられておらず、かつ、TOF画素３１Ｔ上に、カットフィルタ７２が設けられていない点で、図４及び図５の場合と相違する。
【０１７６】
画素アレイ２１の第３の構成例では、偏光画素３１Ｐにおいて、TOF方式で用いられる赤外線の照射光に対応する反射光を受光しないように（反射光に対応する画素値を出力しないように）、偏光画素３１ＰとTOF画素３１Ｔとが、別個のタイミングで駆動される。すなわち、偏光画素３１ＰとTOF画素３１Ｔとは、例えば、交互に駆動される（発光装置１１は、TOF画素３１Ｔが駆動されるときに、照射光を発光する）。
【０１７７】
以上のように、偏光画素３１ＰとTOF画素３１Ｔとを交互に駆動することで、偏光画素３１Ｐで、TOF方式で用いられる赤外線の照射光に対応する反射光を受光することを防止して、精度良く測距を行い、低消費電力化を図ることができる。
【０１７８】
なお、画素アレイ２１の第３の構成例は、特に、例えば、動きが高速でない被写体の測距に有用である。
【０１７９】
＜画素アレイ２１の第４の構成例＞
【０１８０】
図１５は、図２の画素アレイ２１の第４の構成例を示す平面図である。図１６は、図１５の画素アレイ２１の第４の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔ’の構成例を示す断面図である。
【０１８１】
なお、図１５及び図１６において、図４及び図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１８２】
図１５及び図１６においては、TOFセンサ６２が、４個のTOF画素３１Ｔ（３１Ｔ１ないし３１Ｔ４）に代えて、サイズが大きい１個のTOF画素３１Ｔ’で構成されており、かかる点で、画素アレイ２１の第４の構成例は、TOFセンサ６２がサイズが小さい４個のTOF画素３１Ｔで構成される図４及び図５の場合と相違する。
【０１８３】
図４及び図５では、偏光画素３１ＰとTOF画素３１Ｔとは、それぞれの受光面のサイズが、同一サイズになるように形成されているが、画素アレイ２１の第４の構成例では、TOF画素３１Ｔ’の受光面のサイズが、TOF画素３１Ｔ、したがって、偏光画素３１Ｐよりも大になるように形成されている。
【０１８４】
すなわち、TOF画素３１Ｔ’（の受光面）は、偏光画素３１ＰやTOF画素３１Ｔの2×2個分と同一サイズになっている。
【０１８５】
受光面が大のTOF画素３１Ｔ’では、受光面が小のTOF画素３１Ｔに比較して、感度が向上するので、すなわち、同一時間での受光量が大であるので、受光時間（露光時間）を短くしても、すなわち、TOF画素３１Ｔ’を高速で駆動しても、TOF画素３１Ｔと同様のS/Nを維持することができる。
【０１８６】
但し、受光面が大のTOF画素３１Ｔ’では、受光面が小のTOF画素３１Ｔから1個の画素値を出力する場合に比較して、解像度が低下する。
【０１８７】
以上のように、TOF画素３１Ｔ’では、高速が駆動が可能になるが、解像度が低下する。しかしながら、小さい偏光画素３１Ｐの画素値から偏光方式で算出される被写体までの相対的な距離を用いて、大きいTOF画素３１Ｔ’の画素値からTOF方式で算出される被写体までの絶対的な距離を補正することにより、大きいTOF画素３１Ｔ’を採用することに起因する解像度の低下を補って、測距の高速化及び高解像度化を図ることが可能となる。
【０１８８】
＜画素アレイ２１の第５の構成例＞
【０１８９】
図１７は、図２の画素アレイ２１の第５の構成例を示す平面図である。図１８は、図１７の画素アレイ２１の第５の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
【０１９０】
なお、図１７及び図１８において、図１５及び図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１９１】
画素アレイ２１の第５の構成例は、偏光画素３１Ｐ上にバンドパスフィルタ７１が設けられておらず、かつ、TOF画素３１Ｔ’上に、カットフィルタ７２が設けられていない点で、図１５及び図１６の場合と相違する。
【０１９２】
画素アレイ２１の第５の構成例では、第３の構成例の場合と同様に、偏光画素３１Ｐにおいて、TOF方式で用いられる赤外線の照射光に対応する反射光を受光しないように、偏光画素３１ＰとTOF画素３１Ｔ’とが、別個のタイミングで、すなわち、例えば、交互に駆動される。
【０１９３】
したがって、画素アレイ２１の第５の構成例では、第３の構成例の場合と同様に、偏光画素３１Ｐで、TOF方式で用いられる赤外線の照射光に対応する反射光を受光することを防止して、精度良く測距を行うことができる。さらに、画素アレイ２１の第５の構成例では、低消費電力化を図ることができる。
【０１９４】
なお、画素アレイ２１の第５の構成例は、第３の構成例と同様に、動きが高速でない被写体の測距に有用である。
【０１９５】
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１９６】
図１９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１９７】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０１９８】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１９９】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０２００】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０２０１】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０２０２】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０２０３】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０２０４】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０２０５】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０２０６】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０２０７】
図２０は、撮像部１２０３１の設置位置の例を示す図である。
【０２０８】
図２０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０２０９】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０２１０】
なお、図２０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０２１１】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０２１２】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０２１３】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０２１４】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０２１５】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうちの、撮像部１２０３１に適用され得る。具体的には、例えば、図１の光センサ１３は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、消費電力を大にせずに、測距の精度の低下を抑制し、例えば、ADASの機能の実現に資することができる。
【０２１６】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１７】
例えば、図１５及び図１６の画素アレイ２１の第４の構成例においては、図１１及び図１２の画素アレイ２１の第２の構成例と同様に、カラーフィルタ１５１を設けることができる。
【０２１８】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２１９】
なお、本技術は、以下の構成をとることができる。
【０２２０】
＜１＞
発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、
前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素と
を備える光センサ。
＜２＞
１以上の前記TOF画素と１以上の前記偏光画素とが平面上に交互に配置された
＜１＞に記載の光センサ。
＜３＞
前記TOF画素が、前記偏光画素と同一サイズ又は前記偏光画素より大のサイズに形成された
＜１＞又は＜２＞に記載の光センサ。
＜４＞
前記偏光画素は、所定の偏光面の光を通過させる偏光子を介して、前記被写体からの光を受光することにより、前記被写体からの光のうちの、所定の偏光面の光を受光する
＜１＞ないし＜３＞のいずれかに記載の光センサ。
＜５＞
前記TOF画素上に形成された、前記照射光の波長の光を通過させる通過フィルタと、
前記偏光画素上に形成された、前記照射光の波長の光をカットするカットフィルタと
をさらに備える＜１＞ないし＜４＞のいずれかに記載の光センサ。
＜６＞
前記TOF画素と前記偏光画素とは、同時に又は交互に駆動される
＜１＞ないし＜５＞のいずれかに記載の光センサ。
＜７＞
複数の偏光画素の画素値を用いて得られる被写体の法線方向から算出される前記被写体までの相対的な距離を用いて、前記TOF画素の画素値を用いて算出される前記被写体までの絶対的な距離が補正される
＜１＞ないし＜６＞のいずれかに記載の光センサ。
＜８＞
光を集光する光学系と、
光を受光する光センサと、
を備え
前記光センサは、
発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、
前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素と
を有する
電子機器。
【符号の説明】
【０２２１】
１１  発光装置，  １２  光学系，  １３  光センサ，  １４  信号処理装置，  １５  制御装置，  ２１  画素アレイ，  ２２  画素駆動部，  ２３  ADC，  ３１  画素，  ４１  画素制御線，  ４２  VSL，  ５１  PD，  ５２  FET，  ５３  FD，  ５４ないし５６  FET，  ３１Ｐ  偏光画素，  ３１Ｔ，３１Ｔ’  TOF画素，  ６１  偏光センサ，  ６２  TOFセンサ，  ７１  バンドパスフィルタ，  ７２  カットフィルタ，  ８１  偏光子，  １５１  カラーフィルタ
【図１】
2018207661.tif 000003
【図２】
2018207661.tif 000004
【図３】
2018207661.tif 000005
【図４】
2018207661.tif 000006
【図５】
2018207661.tif 000007
【図６】
2018207661.tif 000008
【図７】
2018207661.tif 000009
【図８】
2018207661.tif 000010
【図９】
2018207661.tif 000011
【図１０】
2018207661.tif 000012
【図１１】
2018207661.tif 000013
【図１２】
2018207661.tif 000014
【図１３】
2018207661.tif 000015
【図１４】
2018207661.tif 000016
【図１５】
2018207661.tif 000017
【図１６】
2018207661.tif 000018
【図１７】
2018207661.tif 000019
【図１８】
2018207661.tif 000020
【図１９】
2018207661.tif 000021
【図２０】
2018207661.tif 000022
【国際調査報告】
2018207661.tif 000023
2018207661.tif 000024
2018207661.tif 000025
2018207661.tif 000026