(57)【要約】【課題】イベントデータを柔軟に取得する。【解決手段】センサを構成する画素ブロックは、光を受光し、光電変換を行って電気信号を生成する１個以上の画素と、画素の電気信号の変化であるイベントを検出するイベント検出部とを有する。センサでは、複数の画素ブロックの接続がオン／オフされる。本技術は、例えば、画素の電気信号の変化であるイベントを検出するセンサに適用することができる。【選択図】図１６
2020072317.tif 000002
【特許請求の範囲】
【請求項１】
光を受光し、光電変換を行って電気信号を生成する１個以上の画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部とを有する画素ブロックと、
複数の前記画素ブロックの接続をオン／オフする接続制御部と
を備えるセンサ。
【請求項２】
前記接続制御部は、複数の前記画素ブロックの前記画素の光電流が合成されるように、複数の前記画素ブロックを接続する
請求項１に記載のセンサ。
【請求項３】
前記イベント検出部は、前記光電流が流れるFET(Field Effect Transistor)により、前記光電流を電圧に変換する電流電圧変換部を有し、
前記接続制御部は、複数の前記画素ブロックそれぞれの前記FETのソースどうしの接続をオン／オフする
請求項２に記載のセンサ。
【請求項４】
前記接続制御部は、前記電流電圧変換部の動作をオン／オフする
請求項３に記載のセンサ。
【請求項５】
前記接続制御部は、複数の前記画素ブロックの前記画素の光電流に対応する電圧が合成されるように、複数の前記画素ブロックを接続する
請求項１に記載のセンサ。
【請求項６】
前記イベント検出部は、前記光電流が流れるFET(Field Effect Transistor)により、前記光電流を電圧に変換する電流電圧変換部を有し、
前記接続制御部は、複数の前記画素ブロックそれぞれの前記FETのゲートどうしの接続をオン／オフする
請求項５に記載のセンサ。
【請求項７】
前記イベント検出部は、
前記光電流が流れるFET(Field Effect Transistor)により、前記画素の光電流を電圧に変換する電流電圧変換部と、
第１のコンデンサ及び第２のコンデンサによって、前記光電流に対応する電圧の異なるタイミングの電圧どうしの差に対応する差信号を求める減算部と
を有し、
前記接続制御部は、複数の前記画素ブロックのうちの１つの前記画素ブロックの前記第１のコンデンサ及び前記第２のコンデンサの接続点と、他の前記画素ブロックの前記FETのゲートとの、第３のコンデンサを介した接続をオン／オフする
請求項１に記載のセンサ。
【請求項８】
前記イベント検出部は、
前記画素の光電流を電圧に変換する電流電圧変換部と、
第１のコンデンサ及び第２のコンデンサによって、前記光電流に対応する電圧の異なるタイミングの電圧どうしの差に対応する差信号を求める減算部と、
前記差信号を量子化し、量子化により得られる量子化値を、イベントの発生を表すイベントデータとして出力する量子化部と
を有し、
複数の前記画素ブロックそれぞれの前記イベントデータに、前記接続制御部の動作モードに応じた演算を行って出力する演算部をさらに備える
請求項１に記載のセンサ。
【請求項９】
前記画素の電荷を転送するトランジスタをさらに備える
請求項１に記載のセンサ。
【請求項１０】
光を受光し、光電変換を行って電気信号を生成する１個以上の画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部とを有する画素ブロックを有するセンサが、
複数の前記画素ブロックの接続をオン／オフする
ステップを含む制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、センサ及び制御方法に関し、特に、例えば、画素の電気信号の変化であるイベントの発生を表すイベントデータを柔軟に取得することができるようにするセンサ及び制御方法に関する。
【背景技術】
【０００２】
画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサが提案されている（例えば、特許文献１を参照）。
【０００３】
ここで、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントデータを出力するイメージセンサは、イベントデータを、垂直同期信号に同期して出力するわけではないので、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表2017-535999号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
DVSについては、イベントデータを柔軟に取得することが要請されている。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、イベントデータを柔軟に取得することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術のセンサは、光を受光し、光電変換を行って電気信号を生成する１個以上の画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部とを有する画素ブロックと、複数の前記画素ブロックの接続をオン／オフする接続制御部とを備えるセンサである。
【０００８】
本技術の制御方法は、光を受光し、光電変換を行って電気信号を生成する１個以上の画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部とを有する画素ブロックを有するセンサが、複数の前記画素ブロックの接続をオン／オフするステップを含む制御方法である。
【０００９】
本技術のセンサ及び制御方法においては、光電変換を行って電気信号を生成する１個以上の画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部とを有する画素ブロックについて、複数の前記画素ブロックの接続がオン／オフされる。
【００１０】
センサは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。また、センサは、モジュールや半導体チップとして構成することができる。
【図面の簡単な説明】
【００１１】
【図１】本技術が適用され得るセンサチップの構成例を示す図である。
【図２】センサ部２１の構成例を示すブロック図である。
【図３】画素アレイ部３１の構成例を示すブロック図である。
【図４】画素ブロック４１の構成例を示す回路図である。
【図５】イベント検出部５２の構成例を示すブロック図である。
【図６】電流電圧変換部８１の構成例を示す回路図である。
【図７】減算部８３及び量子化部８４の構成例を示す回路図である。
【図８】センサ部２１の動作の例を説明するタイミングチャートである。
【図９】イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。
【図１０】量子化部８４の他の構成例を示すブロック図である。
【図１１】画素アレイ部３１の他の構成例を示すブロック図である。
【図１２】画素ブロック４１の構成例を示す回路図である。
【図１３】多数の画素ブロック４１においてイベントが同時に発生した場合のイベントデータの出力の例を説明する図である。
【図１４】本技術を適用したセンサチップの一実施の形態の構成例を示す図である。
【図１５】センサ部２０１の構成例を示すブロック図である。
【図１６】画素アレイ部２１１の構成例を示すブロック図である。
【図１７】センサチップ２００の動作の例を説明するフローチャートである。
【図１８】接続制御部４２の第１の構成例を示す図である。
【図１９】接続制御部４２の動作モードを説明する図である。
【図２０】演算部２３２の演算に用いられる演算テーブルTL1, TL2, TL3を示す図である。
【図２１】接続制御部４２の動作モードが高解像度モードである場合の光電流の流れを示す図である。
【図２２】接続制御部４２の動作モードが低解像度モードである場合の光電流の流れを示す図である。
【図２３】接続制御部４２の動作モードが電流平均モードである場合の光電流の流れを示す図である。
【図２４】接続制御部４２の第２の構成例を示す図である。
【図２５】接続制御部４２の動作モードを説明する図である。
【図２６】接続制御部４２の第３の構成例を示す図である。
【図２７】接続制御部４２の動作モードを説明する図である。
【図２８】接続制御部４２の動作モードとイベントを発生し得る画素ブロック４１との関係を示す図である。
【図２９】接続制御部４２による接続制御の対象とする画素ブロック４１の第１の例を説明する図である。
【図３０】接続制御部４２による接続制御の対象とする画素ブロック４１の第２の例を説明する図である。
【図３１】車両制御システムの概略的な構成の一例を示すブロック図である。
【図３２】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
＜本技術が適用され得るセンサチップ＞
【００１３】
図１は、本技術が適用され得るセンサチップの構成例を示す図である。
【００１４】
センサチップ１０は、１チップの半導体チップであり、複数のダイ（基板）としてのセンサダイ（基板）１１とロジックダイ１２とが積層されて構成される。なお、センサチップ１０は、１個のダイで構成することもできるし、３個以上のダイを積層して構成することもできる。
【００１５】
図１のセンサチップ１０において、センサダイ１１には、センサ部２１（としての回路）が構成され、ロジックダイ１２には、ロジック部２２が構成されている。なお、センサ部２１については、その一部を、ロジックダイ１２に構成することができる。また、ロジック部２２については、その一部を、センサダイ１１に構成することができる。
【００１６】
センサ部２１は、入射光の光電変換を行って電気信号を生成する画素を有し、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。センサ部２１は、イベントデータを、ロジック部２２に供給する。すなわち、センサ部２１は、例えば、同期型のイメージセンサと同様に、画素において、入射光の光電変換を行って電気信号を生成する撮像を行うが、フレーム形式の画像データ（フレームデータ）を生成するのではなく、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。センサ部２１は、撮像により得られるイベントデータを、ロジック部２２に出力する。
【００１７】
ここで、同期型のイメージセンサとは、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力するイメージセンサである。センサ部２１は、イベントデータを出力するにあたり、垂直同期信号に同期して動作するわけではないので、同期型のイメージセンサに対して、非同期型（のイメージセンサ）である、ということができる。
【００１８】
なお、センサ部２１では、イベントデータの他、同期型のイメージセンサと同様に、フレームデータを生成して出力することができる。さらに、センサ部２１では、イベントが発生した画素の電気信号を、フレームデータの画素の画素値となる画素信号として、イベントデータととともに出力することができる。
【００１９】
ロジック部２２は、必要に応じて、センサ部２１の制御を行う。また、ロジック部２２は、センサ部２１からのイベントデータに応じて、フレームデータを生成するデータ処理や、センサ部２１からのフレームデータ、又は、センサ部２１からのイベントデータに応じて生成されたフレームデータを対象とする画像処理等の各種のデータ処理を行い、イベントデータや、フレームデータ、各種のデータ処理を行うことにより得られるデータ処理結果を出力する。
【００２０】
＜センサ部２１の構成例＞
【００２１】
図２は、図１のセンサ部２１の構成例を示すブロック図である。
【００２２】
センサ部２１は、画素アレイ部３１、駆動部３２、アービタ３３、AD(Analog to Digital)変換部３４、及び、出力部３５を備える。
【００２３】
画素アレイ部３１は、複数の画素５１（図３）が２次元格子状に配列されて構成される。画素アレイ部３１は、画素５１の光電変換によって生成される電気信号としての光電流（に対応する電圧）に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。画素アレイ部３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３に出力する。そして、画素アレイ部３１は、アービタ３３からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、駆動部３２及び出力部３５に出力する。さらに、画素アレイ部３１は、イベントが検出された画素５１の電気信号を、画素信号として、AD変換部３４に出力する。
【００２４】
駆動部３２は、画素アレイ部３１に制御信号を供給することにより、画素アレイ部３１を駆動する。例えば、駆動部３２は、画素アレイ部３１からイベントデータが出力された画素５１を駆動し、その画素５１の画素信号を、AD変換部３４に供給（出力）させる。
【００２５】
アービタ３３は、画素アレイ部３１からのイベントデータの出力を要求するリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答を、画素アレイ部３１に返す。
【００２６】
AD変換部３４は、例えば、後述する画素ブロック４１（図３）の列ごとに、例えば、シングルスロープ型のADC(AD Converter)（図示せず）を有する。AD変換部３４は、各列のADCにおいて、その列の画素ブロック４１の画素５１の画素信号をAD変換し、出力部３５に供給する。なお、AD変換部３４では、画素信号のAD変換とともに、CDS(Correlated Double Sampling)を行うことができる。
【００２７】
出力部３５は、AD変換部３４からの画素信号や、画素アレイ部３１からのイベントデータに必要な処理を施し、ロジック部２２（図１）に供給する。
【００２８】
ここで、画素５１で生成される光電流の変化は、画素５１に入射する光の光量変化とも捉えることができるので、イベントは、画素５１の光量変化（閾値を超える光量変化）であるとも言うことができる。
【００２９】
イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素ブロックの位置を表す位置情報（座標等）が含まれる。その他、イベントデータには、光量変化の極性（正負）を含ませることができる。
【００３０】
画素アレイ部３１からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した（相対的な）時刻を表す時刻情報を暗示的に含んでいるということができる。但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、出力部３５は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した（相対的な）時刻を表す時刻情報を含める。イベントデータに時刻情報を含める処理は、イベントデータに暗示的に含まれる時刻情報が失われる前であれば、出力部３５以外の任意のブロックで行うことができる。
【００３１】
＜画素アレイ部３１の構成例＞
【００３２】
図３は、図２の画素アレイ部３１の構成例を示すブロック図である。
【００３３】
画素アレイ部３１は、複数の画素ブロック４１を有する。画素ブロック４１は、I行×J列（I及びJは整数）に配列された１以上としてのI×J個の画素５１、イベント検出部５２、及び、画素信号生成部５３を備える。画素ブロック４１内の１以上の画素５１は、イベント検出部５２及び画素信号生成部５３を共有している。また、画素ブロック４１の列ごとには、画素ブロック４１とAD変換部３４のADCとを接続するVSL(Vertical Signal Line)が配線される。
【００３４】
画素５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素５１は、駆動部３２の制御に従って、光電流を、イベント検出部５２に供給する。
【００３５】
イベント検出部５２は、駆動部３２の制御に従って、画素５１のそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部５２は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３（図２）に供給する。そして、イベント検出部５２は、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ３３から受け取ると、イベントデータを、駆動部３２及び出力部３５に出力する。
【００３６】
画素信号生成部５３は、イベント検出部５２においてイベントが検出された場合に、駆動部３２の制御に従って、画素５１の光電流に対応する電圧を画素信号として生成し、VSLを介して、AD変換部３４に供給する。
【００３７】
ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。画素信号生成部５３では、画素信号の生成を、イベントとしての光電流の所定の閾値を超える変化が検出された場合の他、イベントとしての光電流の所定の閾値を超える変化がなかったことが検出された場合に行うことができる。
【００３８】
＜画素ブロック４１の構成例＞
【００３９】
図４は、画素ブロック４１の構成例を示す回路図である。
【００４０】
画素ブロック４１は、図３で説明したように、画素５１、イベント検出部５２、及び、画素信号生成部５３を備える。
【００４１】
画素５１は、光電変換素子６１、転送トランジスタ６２及び６３を備える。
【００４２】
光電変換素子６１は、例えば、PD(Photodiode)で構成され、入射光を受光し、光電変換して電荷を生成する。
【００４３】
転送トランジスタ６２は、例えば、N(Negative)型のMOS(Metal-Oxide-Semiconductor) FET(Field Effect Transistor)で構成される。画素ブロック４１を構成するI×J個の画素５１のうちのn番目の画素５１を構成する転送トランジスタ６２は、駆動部３２（図２）から供給される制御信号ORGnに従ってオン／オフする。転送トランジスタ６２がオンすることにより、光電変換素子６１で生成された電荷は、光電流として、イベント検出部５２に転送（供給）される。
【００４４】
転送トランジスタ６３は、例えば、N型のMOS FETで構成される。画素ブロック４１を構成するI×J個の画素５１のうちのn番目の画素５１を構成する転送トランジスタ６３は、駆動部３２から供給される制御信号TRGnに従ってオン／オフする。転送トランジスタ６３がオンすることにより、光電変換素子６１で生成された電荷は、画素信号生成部５３のFD７４に転送される。
【００４５】
画素ブロック４１を構成するI×J個の画素５１は、ノード６０を介して、その画素ブロック４１を構成するイベント検出部５２に接続されている。したがって、画素５１（の光電変換素子６１）で生成された光電流は、ノード６０を介して、イベント検出部５２に供給される。その結果、イベント検出部５２には、画素ブロック４１内のすべての画素５１の光電流の和が供給される。したがって、イベント検出部５２では、画素ブロック４１を構成するI×J個の画素５１から供給される光電流の和の変化がイベントとして検出される。
【００４６】
画素信号生成部５３は、リセットトランジスタ７１、増幅トランジスタ７２、選択トランジスタ７３、及び、FD(Floating Diffusion)７４を備える。
【００４７】
リセットトランジスタ７１、増幅トランジスタ７２、及び、選択トランジスタ７３は、例えば、N型のMOS FETで構成される。
【００４８】
リセットトランジスタ７１は、駆動部３２（図２）から供給される制御信号RSTに従ってオン／オフする。リセットトランジスタ７１がオンすることにより、FD７４が電源VDDに接続され、FD７４に蓄積された電荷が電源VDDに排出される。これにより、FD７４は、リセットされる。
【００４９】
増幅トランジスタ７２のゲートは、FD７４に、ドレインは、電源VDDに、ソースは、選択トランジスタ７３を介してVSLに、それぞれ接続される。増幅トランジスタ７２は、ソースフォロアになっており、ゲートに供給されるFD７４の電圧に対応する電圧（電気信号）を、選択トランジスタ７３を介してVSLに出力する。
【００５０】
選択トランジスタ７３は、駆動部３２から供給される制御信号SELに従ってオン／オフする。リセットトランジスタ７１がオンすることにより、増幅トランジスタ７２からのFD７４の電圧に対応する電圧が、VSLに出力される。
【００５１】
FD７４は、画素５１の光電変換素子６１から転送トランジスタ６３を介して転送されてくる電荷を蓄積し、電圧に変換する。
【００５２】
以上のように構成される画素５１及び画素信号生成部５３については、駆動部３２は、転送トランジスタ６２を、制御信号OFGnによりオンにして、画素５１の光電変換素子６１で生成された電荷による光電流を、イベント検出部５２に供給させる。これにより、イベント検出部５２には、画素ブロック４１内のすべての画素５１の光電流の和の電流が供給される。
【００５３】
画素ブロック４１において、イベント検出部５２が、イベントとしての光電流（の和）の変化を検出すると、駆動部３２は、その画素ブロック４１のすべての画素５１の転送トランジスタ６２をオフにして、イベント検出部５２への光電流の供給を停止させる。そして、駆動部３２は、制御信号TRGnにより、イベントが検出された画素ブロック４１内の画素５１の転送トランジスタ６３を順にオンにして、光電変換素子６１で生成された電荷をFD７４に転送させる。FD７４では、画素５１（の光電変換素子６１）から転送される電荷が蓄積される。FD７４に蓄積された電荷に対応する電圧は、画素５１の画素信号として、増幅トランジスタ７２及び選択トランジスタ７３を介して、VSLに出力される。
【００５４】
以上のように、センサ部２１（図２）では、イベントが検出された画素ブロック４１のみの画素５１の画素信号が、順に、VSLに出力される。VSLに出力された画素信号は、AD変換部３４に供給され、AD変換される。
【００５５】
ここで、画素ブロック４１内の各画素５１については、転送トランジスタ６３を順にオンにするのではなく、同時にオンにすることができる。この場合、画素ブロック４１内のすべての画素５１の画素信号の和を出力することができる。
【００５６】
図３の画素アレイ部３１では、画素ブロック４１が１以上の画素５１で構成され、その１以上の画素５１で、イベント検出部５２及び画素信号生成部５３が共有される。したがって、画素ブロック４１が、複数の画素５１で構成される場合には、１個の画素５１に対して、１個のイベント検出部５２及び１個の画素信号生成部５３を設ける場合に比較して、イベント検出部５２及び画素信号生成部５３の数を少なくすることができ、画素アレイ部３１の規模を抑制することができる。
【００５７】
なお、画素ブロック４１が、複数の画素５１で構成される場合、画素５１ごとに、イベント検出部５２を設けることができる。画素ブロック４１の複数の画素５１で、イベント検出部５２を共有する場合には、画素ブロック４１の単位でイベントが検出されるが、画素５１ごとに、イベント検出部５２を設ける場合には、画素５１の単位で、イベントを検出することができる。
【００５８】
但し、画素ブロック４１の複数の画素５１で、１個のイベント検出部５２を共有する場合でも、複数の画素５１それぞれの転送トランジスタ６２を時分割で一時的にオンにすることにより、画素５１の単位で、イベントを検出することができる。
【００５９】
また、画素信号を出力する必要ない場合には、画素ブロック４１は、画素信号生成部５３を設けずに構成することができる。画素ブロック４１を、画素信号生成部５３を設けずに構成する場合には、AD変換部３４及び転送トランジスタ６３を設けずに、センサ部２１を構成することができる。この場合、センサ部２１の規模を抑制することができる。
【００６０】
＜イベント検出部５２の構成例＞
【００６１】
図５は、図３のイベント検出部５２の構成例を示すブロック図である。
【００６２】
イベント検出部５２は、電流電圧変換部８１、バッファ８２、減算部８３、量子化部８４、及び、転送部８５を備える。
【００６３】
電流電圧変換部８１は、画素５１からの光電流（の和）を、その光電流の対数に対応する電圧（以下、光電圧ともいう）に変換し、バッファ８２に供給する。
【００６４】
バッファ８２は、電流電圧変換部８１からの光電圧をバッファリングし、減算部８３に供給する。
【００６５】
減算部８３は、駆動部３２からの制御信号としての行駆動信号に従ったタイミングで、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号を、量子化部８４に供給する。
【００６６】
量子化部８４は、減算部８３からの差信号をディジタル信号に量子化し、差信号の量子化値を、イベントデータとして、転送部８５に供給する。
【００６７】
転送部８５は、量子化部８４からのイベントデータに応じて、そのイベントデータを、出力部３５に転送（出力）する。すなわち、転送部８５は、イベントデータの出力を要求するリクエストを、アービタ３３に供給する。そして、転送部８５は、リクエストに対して、イベントデータの出力を許可する旨の応答をアービタ３３から受け取ると、イベントデータを、出力部３５に出力する。
【００６８】
＜電流電圧変換部８１の構成例＞
【００６９】
図６は、図５の電流電圧変換部８１の構成例を示す回路図である。
【００７０】
電流電圧変換部８１は、トランジスタ９１ないし９３で構成される。トランジスタ９１及び９３としては、例えば、N型のMOS FETを採用することができ、トランジスタ９２としては、例えば、P型のMOS FETを採用することができる。
【００７１】
トランジスタ９１のソースは、トランジスタ９３のゲートと接続され、トランジスタ９１のソースとトランジスタ９３のゲートとの接続点には、画素５１からの光電流が供給される。トランジスタ９１のドレインは、電源VDDに接続され、そのゲートは、トランジスタ９３のドレインに接続される。
【００７２】
トランジスタ９２のソースは、電源VDDに接続され、そのドレインは、トランジスタ９１のゲートとトランジスタ９３のドレインとの接続点に接続される。トランジスタ９２のゲートには、所定のバイアス電圧Vbiasが印加される。バイアス電圧Vbiasによって、トランジスタ９２はオン／オフし、このトランジスタ９２のオン／オフにより、電流電圧変換部８１の動作もオン／オフする。
【００７３】
トランジスタ９３のソースは接地される。
【００７４】
電流電圧変換部８１において、トランジスタ９１のドレインは電源VDD側に接続されており、ソースフォロアになっている。ソースフォロアになっているトランジスタ９１のソースには、画素５１（図４）が接続され、これにより、トランジスタ９１（のドレインからソース）には、画素５１の光電変換素子６１で生成された電荷による光電流が流れる。トランジスタ９１は、サブスレッショルド領域で動作し、トランジスタ９１のゲートには、そのトランジスタ９１に流れる光電流の対数に対応する光電圧が現れる。以上のように、電流電圧変換部８１では、トランジスタ９１により、画素５１からの光電流が、その光電流の対数に対応する光電圧に変換される。
【００７５】
電流電圧変換部８１において、トランジスタ９１のゲートは、トランジスタ９２のドレインとトランジスタ９３のドレインとの接続点に接続されており、その接続点から、光電圧が出力される。
【００７６】
＜減算部８３及び量子化部８４の構成例＞
【００７７】
図７は、図５の減算部８３及び量子化部８４の構成例を示す回路図である。
【００７８】
減算部８３は、コンデンサ１０１、オペアンプ１０２、コンデンサ１０３、及び、スイッチ１０４を備える。量子化部８４は、コンパレータ１１１を備える。
【００７９】
コンデンサ１０１の一端は、バッファ８２（図５）の出力端子に接続され、他端は、オペアンプ１０２の入力端子（反転入力端子）に接続される。したがって、オペアンプ１０２の入力端子には、コンデンサ１０１を介して光電圧が入力される。
【００８０】
オペアンプ１０２の出力端子は、コンパレータ１１１の非反転入力端子(+)に接続される。
【００８１】
コンデンサ１０３の一端は、オペアンプ１０２の入力端子に接続され、他端は、オペアンプ１０２の出力端子に接続される。
【００８２】
スイッチ１０４は、コンデンサ１０３の両端の接続をオン／オフするように、コンデンサ１０３に接続される。スイッチ１０４は、駆動部３２からの制御信号としての行駆動信号に従ってオン／オフすることにより、コンデンサ１０３の両端の接続をオン／オフする。
【００８３】
スイッチ１０４をオンにした際のコンデンサ１０１のバッファ８２（図５）側の光電圧をVinitと表すとともに、コンデンサ１０１の容量（静電容量）をC1と表すこととする。オペアンプ１０２の入力端子は、仮想接地になっており、スイッチ１０４がオンである場合にコンデンサ１０１に蓄積される電荷Qinitは、式（１）により表される。
【００８４】
Qinit = C1 ×Vinit
・・・（１）
【００８５】
また、スイッチ１０４がオンである場合には、コンデンサ１０３の両端の接続はオフにされる（短絡される）ため、コンデンサ１０３に蓄積される電荷はゼロとなる。
【００８６】
その後、スイッチ１０４がオフになった場合の、コンデンサ１０１のバッファ８２（図５）側の光電圧を、Vafterと表すこととすると、スイッチ１０４がオフになった場合にコンデンサ１０１に蓄積される電荷Qafterは、式（２）により表される。
【００８７】
Qafter = C1×Vafter
・・・（２）
【００８８】
コンデンサ１０３の容量をC2と表すとともに、オペアンプ１０２の出力電圧をVoutと表すこととすると、コンデンサ１０３に蓄積される電荷Q2は、式（３）により表される。
【００８９】
Q2 = -C2×Vout
・・・（３）
【００９０】
スイッチ１０４がオフする前後で、コンデンサ１０１の電荷とコンデンサ１０３の電荷とを合わせた総電荷量は変化しないため、式（４）が成立する。
【００９１】
Qinit = Qafter + Q2
・・・（４）
【００９２】
式（４）に式（１）ないし式（３）を代入すると、式（５）が得られる。
【００９３】
Vout = -(C1/C2)×(Vafter - Vinit)
・・・（５）
【００９４】
式（５）によれば、減算部８３では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差Vafter - Vinitに対応する差信号(Vout)の算出が行われる。式（５）によれば、減算部８３の減算のゲインはC1/C2となる。通常、ゲインを最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロック４１ごとに減算部８３を含むイベント検出部５２が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1及びC2の値が決定される。
【００９５】
コンパレータ１１１は、減算部８３からの差信号と、反転入力端子(-)に印加された所定の閾値（電圧）Vth(>0)とを比較することにより、差信号を量子化し、その量子化により得られる量子化値を、イベントデータとして、転送部８５に出力する。
【００９６】
例えば、コンパレータ１１１は、差信号が閾値Vthを超えている場合、1を表すH(High)レベルを、イベントの発生を表すイベントデータとして出力し、差信号が閾値Vthを超えていない場合、0を表すL(Low)レベルを、イベントが発生していないことを表すイベントデータとして出力する。
【００９７】
転送部８５は、量子化部８４からのイベントデータに応じて、イベントとしての光量変化が発生したと認められる場合、すなわち、差信号(Vout)が閾値Vthより大である場合に、リクエストをアービタ３３に供給し、イベントデータの出力の許可を表す応答を受け取った後に、イベントの発生を表すイベントデータ（例えば、Hレベル）を、出力部３５に出力する。
【００９８】
出力部３５は、転送部８５からのイベントデータに、そのイベントデータが表すイベントが発生した画素５１（を有する画素ブロック４１）の位置情報、及び、イベントが発生した時刻を表す時刻情報、さらには、必要に応じて、イベントとしての光量変化の極性を含めて出力する。
【００９９】
イベントが発生した画素５１の位置情報、イベントが発生した時刻を表す時刻情報、イベントとしての光量変化の極性を含むイベントデータのデータ形式としては、例えば、AER(Address Event Representation)と呼ばれるデータ形式を採用することができる。
【０１００】
なお、イベント検出部５２全体のゲインAは、電流電圧変換部８１のゲインをCGlogとし、バッファ８２のゲインを1とすると、次の式により表される。
【０１０１】
A = CGlogC1/C2（Σiphoto_n）
・・・（６）
【０１０２】
iphoto_nは、画素ブロック４１を構成するI×J個の画素５１のうちのn番目の画素５１の光電流を表す。式（６）のΣは、nを、１からI×Jまでの整数に変えてとるサメーションを表す。
【０１０３】
なお、画素５１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素５１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素５１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素５１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施の形態では、画素５１において、入射光として、可視光を受光することとする。
【０１０４】
図８は、図２のセンサ部２１の動作の例を説明するタイミングチャートである。
【０１０５】
タイミングT0において、駆動部３２は、制御信号OFGnを全てLレベルからHレベルにして、画素ブロック４１内の全画素５１の転送トランジスタ６２をオンにする。これにより、画素ブロック４１内の全画素５１の光電流の和が、イベント検出部５２に供給される。このとき、制御信号TRGnはすべてLレベルであり、全画素５１の転送トランジスタ６３はオフである。
【０１０６】
例えば、タイミングT1において、イベント検出部５２は、イベントを検出すると、そのイベントの検出に応じて、Hレベルのイベントデータを出力する。
【０１０７】
駆動部３２は、Hレベルのイベントデータに応じて、タイミングT2において制御信号OFGnをすべてLレベルにして、画素５１からイベント検出部５２への光電流の供給を停止させる。また、駆動部３２は、制御信号SELをHレベルにし、制御信号RSTを一定期間だけHレベルにして、FD７４の電荷を電源VDDに排出させることで、FD７４をリセットする。画素信号生成部５３は、FD７４のリセット時のFD７４の電圧に対応する画素信号を、リセットレベルとして出力し、AD変換部３４は、そのリセットレベルをAD変換する。
【０１０８】
リセットレベルのAD変換後のタイミングT3において、駆動部３２は、制御信号TRG1を一定期間だけHレベルにして、イベントが検出された画素ブロック４１内の１つ目の画素５１（の光電変換素子６１）の光電変換により生成された電荷を、FD７４に転送させる。画素信号生成部５３は、画素５１から電荷が転送されたFD７４の電圧に対応する画素信号を、信号レベルとして出力し、AD変換部３４は、その信号レベルをAD変換する。
【０１０９】
AD変換部３４は、AD変換後の信号レベルとリセットレベルとの差分を、画像（フレームデータ）の画素値となる画素信号として、出力部３５に出力する。
【０１１０】
ここで、信号レベルとリセットレベルとの差分を、画像の画素値となる画素信号として求める処理は、CDSと呼ばれる。CDSは、信号レベル及びリセットレベルのAD変換後に行う他、AD変換部３４でシングルスロープ型のAD変換が行われる場合には、リセットレベルのAD変換結果を、初期値として、信号レベルのAD変換を行うことにより、信号レベル及びリセットレベルのAD変換と同時に行うことができる。
【０１１１】
画素ブロック４１内の１つ目の画素５１の画素信号のAD変換後のタイミングT4において、駆動部３２は、制御信号TRG2を一定期間だけHレベルにすることで、イベントが検出された画素ブロック４１内の２つ目の画素５１の画素信号を出力させる。
【０１１２】
センサ部２１では、以下、同様の動作が行われ、イベントが検出された画素ブロック４１内のそれぞれの画素５１の画素信号が順に出力される。
【０１１３】
画素ブロック４１内のすべて画素５１の画素信号が出力されると、駆動部３２は、制御信号OFGnをすべてHレベルにして、画素ブロック４１内の全画素５１の転送トランジスタ６２をオンにする。
【０１１４】
＜イベントデータに応じたフレームデータの生成＞
【０１１５】
図９は、イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。
【０１１６】
ロジック部２２は、例えば、外部からの指令等に応じて、フレーム間隔及びフレーム幅を設定する。ここで、フレーム間隔とは、イベントデータに応じて生成されるフレームデータのフレームの間隔を表す。フレーム幅とは、１フレームのフレームデータの生成に用いるイベントデータの時間幅を表す。ロジック部２２が設定したフレーム間隔及びフレーム幅を、それぞれ、設定フレーム間隔及び設定フレーム幅ともいう。
【０１１７】
ロジック部２２は、設定フレーム間隔及び設定フレーム幅、並びに、センサ部２１からのイベントデータに応じて、フレーム形式の画像データであるフレームデータを生成することにより、イベントデータをフレームデータに変換する。
【０１１８】
すなわち、ロジック部２２は、設定フレーム間隔ごとに、設定フレーム間隔の先頭から設定フレーム幅内のイベントデータに応じて、フレームデータを生成する。
【０１１９】
いま、イベントデータが、イベントが発生した時刻を表す時刻情報（以下、イベントの時刻ともいう）ti、及び、イベントが発生した画素５１（を有する画素ブロック４１）の位置情報（以下、イベントの位置ともいう）としての座標(x, y)を含むこととする。
【０１２０】
図９では、x軸、y軸、及び、時間軸tで構成される３次元（時）空間において、イベントデータとしての点が、そのイベントデータに含まれるイベントの時刻t、及び、イベントの位置（としての座標）(x, y)にプロットされている。
【０１２１】
すなわち、イベントデータに含まれるイベントの時刻t、及び、イベントの位置(x, y)で表される３次元空間上の位置(x, y, t)を、イベントの時空間位置ということとすると、図９では、イベントデータが、イベントの時空間位置(x, y, t)に、点としてプロットされている。
【０１２２】
ロジック部２２は、例えば、外部からフレームデータの生成が指示された時刻や、センサチップ１０の電源がオンにされた時刻等の所定の時刻を、フレームデータの生成を開始する生成開始時刻として、イベントデータに応じたフレームデータの生成を開始する。
【０１２３】
いま、生成開始時刻から、設定フレーム間隔ごとの、時間軸t方向に、設定フレーム幅の直方体をフレームボリュームということとする。フレームボリュームのx軸方向及びy軸方向のサイズは、例えば、画素ブロック４１又は画素５１のx軸方向及びy軸方向の個数に等しい。
【０１２４】
ロジック部２２は、設定フレーム間隔ごとに、設定フレーム間隔の先頭から設定フレーム幅のフレームボリューム内のイベントデータに応じて、１フレームのフレームデータを生成する。
【０１２５】
フレームデータの生成は、例えば、イベントデータに含まれるイベントの位置(x, y)のフレームの画素（の画素値）を白色に、フレームの他の位置の画素をグレー等の所定の色にセットすることで行うことができる。
【０１２６】
その他、フレームデータの生成は、イベントデータがイベントとしての光量変化の極性を含む場合には、イベントデータに含まれる極性を考慮して行うことができる。例えば、極性が正である場合には、画素を白色にセットし、極性が負である場合には、画素を黒色にセットすることができる。
【０１２７】
さらに、図３及び図４で説明したように、イベントデータを出力するとともに、画素５１の画素信号を出力する場合には、イベントデータに応じ、画素５１の画素信号を用いて、フレームデータを生成することができる。すなわち、フレームにおいて、イベントデータに含まれるイベントの位置(x, y)の（画素ブロック４１に対応するブロック内の）画素を、その位置(x, y)の画素５１の画素信号にセットするとともに、他の位置の画素をグレー等の所定の色にセットすることで、フレームデータを生成することができる。
【０１２８】
なお、フレームボリューム内には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一のイベントデータが複数存在する場合がある。この場合、例えば、イベントの時刻tが最も新しい又は古いイベントデータを優先させることができる。また、イベントデータが極性を含む場合には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一の複数のイベントデータの極性を加算し、その加算により得られる加算値に応じた画素値を、イベントの位置(x, y)の画素にセットすることができる。
【０１２９】
ここで、フレーム幅とフレーム間隔とが同一である場合、フレームボリュームは、隙間なく接した状態となる。また、フレーム間隔がフレーム幅より大である場合、フレームボリュームは、隙間を空けて並んだ状態となる。フレーム幅がフレーム間隔より大である場合、フレームボリュームは、一部が重複する形で並んだ状態となる。
【０１３０】
＜量子化部８４の他の構成例＞
【０１３１】
図１０は、図５の量子化部８４の他の構成例を示すブロック図である。
【０１３２】
なお、図中、図７の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１３３】
図１０において、量子化部８４は、コンパレータ１１１及び１１２、並びに、出力部１１３を有する。
【０１３４】
したがって、図１０の量子化部８４は、コンパレータ１１１を有する点で、図７の場合と共通する。但し、図１０の量子化部８４は、コンパレータ１１２及び出力部１１３を新たに有する点で、図７の場合と相違する。
【０１３５】
図１０の量子化部８４を有するイベント検出部５２（図５）では、イベントの他、イベントとしての光量変化の極性も検出される。
【０１３６】
図１０の量子化部８４では、コンパレータ１１１は、差信号が閾値Vthを超えている場合、1を表すHレベルを、正極性のイベントの発生を表すイベントデータとして出力し、差信号が閾値Vthを超えていない場合、0を表すLレベルを、正極性のイベントが発生していないことを表すイベントデータとして出力する。
【０１３７】
また、図１０の量子化部８４では、コンパレータ１１２の非反転入力端子(+)には、閾値Vth'(<Vth)が供給され、コンパレータ１１２の反転入力端子(-)には、減算部８３からの差信号が供給される。いま、説明を簡単にするため、閾値Vth'が、例えば、-Vthに等しいこととする。
【０１３８】
コンパレータ１１２は、減算部８３からの差信号と、反転入力端子(-)に印加された閾値Vth'とを比較することにより、差信号を量子化し、その量子化により得られる量子化値を、イベントデータとして出力する。
【０１３９】
例えば、コンパレータ１１２は、差信号が閾値Vth'より小さい場合（負の値の差信号の絶対値が閾値Vthを超えている場合）、1を表すHレベルを、負極性のイベントの発生を表すイベントデータとして出力する。また、コンパレータ１１２は、差信号が閾値Vth'より小さくない場合（負の値の差信号の絶対値が閾値Vthを超えていない場合）、0を表すLレベルを、負極性のイベントが発生していないことを表すイベントデータとして出力する。
【０１４０】
出力部１１３は、コンパレータ１１１及び１１２が出力するイベントデータに応じて、正極性のイベントの発生を表すイベントデータ、負極性のイベントの発生を表すイベントデータ、又は、イベントが発生していないことを表すイベントデータを、転送部８５に出力する。
【０１４１】
例えば、出力部１１３は、コンパレータ１１１からのイベントデータが1を表すHレベルである場合、+1を表す+Vボルトを、正極性のイベントの発生を表すイベントデータとして、転送部８５に出力する。また、出力部１１３は、コンパレータ１１２からのイベントデータが1を表すHレベルである場合、-1を表す-Vボルトを、負極性のイベントの発生を表すイベントデータとして、転送部８５に出力する。さらに、出力部１１３は、コンパレータ１１１及び１１２からのイベントデータがいずれも0を表すLレベルである場合、0を表す0ボルト（GNDレベル）を、イベントが発生していないことを表すイベントデータとして、転送部８５に出力する。
【０１４２】
転送部８５は、量子化部８４の出力部１１３からのイベントデータに応じて、正極性又は負極性のイベントとしての光量変化が発生したと認められる場合、リクエストをアービタ３３に供給し、イベントデータの出力の許可を表す応答を受け取った後に、正極性又は負極性のイベントの発生を表すイベントデータ（1を表す+Vボルト、又は、-1を表す-Vボルト）を、出力部３５に出力する。
【０１４３】
以下では、量子化部８４は、図７及び図１０のうちの、例えば、図１０に示したように構成されることとする。
【０１４４】
＜画素アレイ部３１の他の構成例＞
【０１４５】
図１１は、図２の画素アレイ部３１の他の構成例を示すブロック図である。
【０１４６】
なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１４７】
図１１において、画素アレイ部３１は、複数の画素ブロック４１を有する。画素ブロック４１は、１以上としてのI×J個の画素５１及びイベント検出部５２を有する。
【０１４８】
したがって、図１１の画素アレイ部３１は、複数の画素ブロック４１を有する点、及び、画素ブロック４１が、１以上の画素５１及びイベント検出部５２を有する点で、図３の場合と共通する。但し、図１１の画素アレイ部３１は、画素ブロック４１が、画素信号生成部５３を有しない点で、図３の場合と相違する。
【０１４９】
以上のように、図１１の画素アレイ部３１は、画素ブロック４１が、画素信号生成部５３を有しないので、センサ部２１（図２）は、AD変換部３４なしで構成することができる。
【０１５０】
＜画素ブロック４１の構成例＞
【０１５１】
図１２は、図１１の画素ブロック４１の構成例を示す回路図である。
【０１５２】
画素ブロック４１は、図１１で説明したように、画素５１及びイベント検出部５２を有し、画素信号生成部５３を有しない。
【０１５３】
この場合、画素５１は、転送トランジスタ６２及び６３なしで、光電変換素子６１だけで構成することができる。
【０１５４】
なお、画素５１を、図１２に示したように構成する場合、イベント検出部５２では、画素５１からの光電流に対応する電圧を、画素信号として出力することができる。
【０１５５】
＜イベントデータの出力の例＞
【０１５６】
図１３は、多数の画素ブロック４１（画素５１）においてイベントが同時に発生した場合のイベントデータの出力の例を説明する図である。
【０１５７】
センサ部２１（図２）では、配線や伝送容量等に起因して、画素アレイ部３１から出力部３５に同時に出力するイベントデータの数（出力部３５にイベントデータを出力する画素ブロック４１（イベント検出部５２）の数）が制限される。
【０１５８】
すなわち、アービタ３３（図２）は、多数のイベント検出部５２からリクエストを同時に受信すると、その多数のイベント検出部５２からのリクエストを調停し、多数のイベント検出部５２のうちの、所定の一定数（以下）のイベント検出部５２に、イベントデータの出力を許可する。
【０１５９】
具体的には、アービタ３３は、一定数を超えるイベント検出部５２から同時にリクエストを受信した場合、調停により、イベント検出部５２からリクエストを同時に受信した画素ブロック４１の中から、画素アレイ部３１になるべく均一に散らばるように、一定数の画素ブロック４１を選択し、その一定数の画素ブロック４１のイベント検出部５２に、イベントデータの出力を許可する。
【０１６０】
アービタ３３は、リクエストを受信したイベント検出部５２のすべてに、イベントデータの出力が許可されるまで、調停を繰り返す。
【０１６１】
リクエストを出力したイベント検出部５２は、イベントデータの出力が許可されるまで、イベントデータの出力を待機し、イベントデータの出力が許可されると、イベントデータを、出力部３５に出力する。
【０１６２】
したがって、ある時刻t1に、多数の画素ブロック４１においてイベントが同時に発生した場合、図１３に示すように、その時刻t1に、イベントデータを出力する画素ブロック４１（のイベント検出部５２）もあれば、その後の時刻t2やt3に、イベントデータを出力する画素ブロック４１もある。
【０１６３】
この場合、同時に発生したイベントのイベントデータであるのに、イベントデータに含められる時刻情報がずれる。すなわち、イベントデータの時刻情報が、イベントが発生した時刻t1である場合の他、その後の時刻t2やt3である場合が生じる。
【０１６４】
以上のように、同時に発生したイベントのイベントデータの時刻情報が（まちまちに）ずれると、そのイベントデータから得られるフレームデータを対象としたデータ処理としての、例えば、被写体の認識処理において、認識性能が低下する。
【０１６５】
本技術では、画素ブロック４１どうしの接続のオン／オフを制御することで、時刻情報のずれを抑制したイベントデータの取得等の、イベントデータの柔軟な取得を可能とする。
【０１６６】
なお、本技術は、画素５１が転送トランジスタ６２及び６３を有するとともに、画素ブロック４１が画素信号生成部５３を有する場合や、画素ブロック４１が複数の画素５１で構成される場合にも適用することができる。
【０１６７】
但し、以下では、説明を簡単にするため、特に断らない限り、画素ブロック４１が１個の画素５１とイベント検出部５２で構成され、画素信号生成部５３を有さず、かつ、画素５１が転送トランジスタ６２及び６３を有しない場合、すなわち、画素ブロック４１が、図１１の構成で、１個の画素５１を有する場合を前提に説明を行う。
【０１６８】
＜本技術を適用したセンサチップ＞
【０１６９】
図１４は、本技術を適用したセンサチップの一実施の形態の構成例を示す図である。
【０１７０】
なお、図中、図１のセンサチップ１０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１７１】
図１４のセンサチップ２００は、センサダイ１１とロジックダイ１２とが積層されて構成される。そして、センサダイ１１には、センサ部２０１が構成され、ロジックダイ１２には、ロジック部２２が構成されている。
【０１７２】
したがって、図１４のセンサチップ２００は、センサダイ１１とロジックダイ１２とで構成され、ロジックダイ１２に、ロジック部２２が構成されている点で、図１のセンサチップ１０と共通する。但し、センサチップ２００は、センサダイ１１に、センサ部２１に代えて、センサ部２０１が構成されている点で、センサチップ１０と相違する。
【０１７３】
＜センサ部２０１の構成例＞
【０１７４】
図１５は、図１４のセンサ部２０１の構成例を示すブロック図である。
【０１７５】
なお、図中、図２のセンサ部２１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１７６】
図１５において、センサ部２０１は、駆動部３２、アービタ３３、AD変換部３４、出力部３５、及び、画素アレイ部２１１を備える。
【０１７７】
したがって、図１５のセンサ部２０１は、駆動部３２ないし出力部３５を有する点で、図２のセンサ部２１と共通する。但し、センサ部２０１は、画素アレイ部３１に代えて、画素アレイ部２１１を有する点で、センサ部２１と相違する。
【０１７８】
＜画素アレイ部２１１の構成例＞
【０１７９】
図１６は、図１５の画素アレイ部２１１の構成例を示すブロック図である。
【０１８０】
なお、図中、図３の画素アレイ部３１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１８１】
画素アレイ部２１１は、複数の画素ブロック４１、及び、接続制御部４２を有する。画素ブロック４１は、１個の画素５１及びイベント検出部５２を有する。
【０１８２】
したがって、画素アレイ部２１１は、複数の画素ブロック４１を有する点で、図３の画素アレイ部３１と共通し、接続制御部４２を新たに有する点で、図３の画素アレイ部３１と相違する。
【０１８３】
また、画素ブロック４１は、１個の画素５１及びイベント検出部５２を有する点で、図１２の場合と共通する。
【０１８４】
接続制御部４２は、動作モードに応じて、複数としての、例えば、縦方向に隣接する2個の画素ブロック４１の接続をオン／オフする接続制御を行う。すなわち、図１６において、接続制御部４２は、奇数行のある列の画素ブロック４１と、その奇数行の次の行（偶数行）の、同一の列の画素ブロック４１との接続をオン／オフする。画素アレイ部３１には、以上のように、縦方向に隣接する2個の画素ブロック４１の接続をオン／オフする接続制御部４２が、画素ブロック４１の数の1/2だけ設けられている。
【０１８５】
なお、ここでは、説明を簡単にするため、縦方向に隣接する2個の画素ブロック４１を、接続制御部４２による接続制御の対象とすることとしたが、接続制御の対象としては、縦方向に隣接する2個の画素ブロック４１の他、例えば、横×縦が2×2の4個の画素ブロック４１や、3×3の9個の画素ブロック、4×4個の16個の画素ブロック、4×1の4個の画素ブロックや、4×2の8個の画素ブロック、その他の任意の複数の画素ブロック４１を採用することができる。
【０１８６】
ここで、接続制御部４２が接続制御の対象とする2個の画素ブロック４１のうちの一方を、画素ブロック４１Ａとも記載し、他方を、画素ブロック４１Ｂとも記載する。また、画素ブロック４１Ａの画素５１及びイベント検出部５２を、それぞれ、画素５１Ａ及びイベント検出部５２Ａとも記載し、画素ブロック４１Ｂの画素５１及びイベント検出部５２を、それぞれ、画素５１Ｂ及びイベント検出部５２Ｂとも記載する。
【０１８７】
図１７は、図１４のセンサチップ２００の動作の例を説明するフローチャートである。
【０１８８】
ステップＳ１１において、接続制御部４２（図１６）は、動作モードに応じて、その接続制御部４２が接続制御の対象とする2個の画素ブロック４１Ａ及び４１Ｂの接続をオン又はオフにし、処理は、ステップＳ１２に進む。
【０１８９】
ステップＳ１２では、画素ブロック４１のイベント検出部５２が、イベントが発生すると、そのイベントを検出し、これにより、イベントデータ（さらには、イベントが検出された画素５１の画素信号）が、センサ部２１からロジック部２２に出力される。
【０１９０】
その後、処理は、ステップＳ１２からステップＳ１３に進み、ロジック部２２は、センサ部２１からのイベントデータに応じて、フレームデータを生成する等のデータ処理を行い、データ処理結果を出力する。
【０１９１】
以上のように、接続制御部４２において、複数としての2個の画素ブロック４１Ａ及び４１Ｂの接続をオン又はオフにすることで、イベントデータを柔軟に取得することができる。
【０１９２】
＜接続制御部４２の第１の構成例＞
【０１９３】
図１８は、図１６の接続制御部４２の第１の構成例を示す図である。
【０１９４】
図１８において、接続制御部４２は、FET２３１及び演算部２３２で構成される。
【０１９５】
FET２３１は、2個の画素ブロック４１Ａ及び４１Ｂの画素５１Ａ及び５１Ｂの光電流が合成されるように、画素ブロック４１Ａ及び４１Ｂを接続するスイッチとして機能する。
【０１９６】
例えば、FET２３１は、接続制御部４２の動作モードに従ってオン／オフすることにより、画素５１Ａの光電流が流れるトランジスタ(FET)９１のソースと、画素５１Ｂの光電流が流れるトランジスタ９１のソースとの接続をオン／オフする。
【０１９７】
接続制御部４２の動作モードは、例えば、駆動部３２、若しくは、アービタ３３、又は、センサ部２０１の外部から指定される。
【０１９８】
演算部２３２には、画素ブロック４１Ａ（のイベント検出部５２Ａ）の量子化部８４からイベントデータαが供給されるとともに、画素ブロック４１Ｂ（のイベント検出部５２Ｂ）の量子化部８４からイベントデータβが供給される。
【０１９９】
演算部２３２は、画素ブロック４１Ａからのイベントデータα、及び、画素ブロック４１Ｂのイベントデータβを対象として、接続制御部４２の動作モードに応じた演算を行う。そして、演算部２３２は、イベントデータα及びβを対象とした演算により得られる新たなイベントデータα’及びβ’を、画素ブロック４１Ａ及び４１Ｂの転送部８５に、それぞれ供給する。
【０２００】
なお、接続制御部４２は、画素ブロック４１Ａ及び４１Ｂの接続をオン／オフする他、イベント検出部５２の電流電圧変換部８１のトランジスタ９２に印加するバイアス電圧Vbiasによって、電流電圧変換部８１（トランジスタ９１ないし９３）の動作をオン／オフする。すなわち、接続制御部４２は、トランジスタ９２をオンすることによって、電流電圧変換部８１の動作をオンにし（電流電圧変換部８１を動作させ）、トランジスタ９２をオフすることによって、電流電圧変換部８１の動作をオフにする（動作を停止させる）。
【０２０１】
ここで、図１８の接続制御部４２の第１の構成例では、イベント検出部５２Ａ及び５２Ｂのうちの一方である、例えば、イベント検出部５２Ａのトランジスタ９２は常時オンにされ、他方のイベント検出部５２Ｂのトランジスタ９２がオン／オフされる。
【０２０２】
なお、図１８では、イベント検出部５２（５２Ａ及び５２Ｂ）については、バッファ８２の図示を省略してある。後述する図でも、同様である。
【０２０３】
図１９は、図１８の接続制御部４２の動作モードを説明する図である。
【０２０４】
図１８の接続制御部４２の動作モードには、高解像度（通常）モード、低解像度モード、及び、電流平均モードがある。
【０２０５】
高解像度モードでは、FET２３１がオフにされ、イベント検出部５２Ｂのトランジスタ９２がオンにされる。また、演算部２３２の演算は、後述する演算テーブルTL1に従って行われる。
【０２０６】
低解像度モードでは、FET２３１がオンにされ、イベント検出部５２Ｂのトランジスタ９２がオフにされる。また、演算部２３２の演算は、後述する演算テーブルTL2に従って行われる。
【０２０７】
電流平均モードでは、FET２３１がオンにされ、イベント検出部５２Ｂのトランジスタ９２がオンにされる。また、演算部２３２の演算は、後述する演算テーブルTL3に従って行われる。
【０２０８】
図２０は、演算部２３２の演算に用いられる演算テーブルTL1, TL2, TL3を示す図である。
【０２０９】
図２０のＡは、演算テーブルTL1を示している。
【０２１０】
演算テーブルTL1に従った演算によれば、イベントデータα及びβに応じて、イベントデータα’及びβ’としては、それぞれ、イベントデータα及びβが、そのまま出力される。
【０２１１】
図２０のＢは、演算テーブルTL2を示している。
【０２１２】
演算テーブルTL2に従った演算によれば、イベントデータα及びβに応じて、イベントデータα’としては、イベントデータαが、そのまま、イベントデータα’として出力される。また、イベントデータβ’としては、イベントが発生していないことを表す0（0ボルト）が出力される。したがって、演算テーブルTL2に従った演算では、イベントデータβについて、イベントの発生を表すイベントデータの出力を制限する演算が行われる。
【０２１３】
図２０のＣは、演算テーブルTL3を示している。
【０２１４】
演算テーブルTL3に従った演算によれば、イベントデータα及びβに応じて、イベントデータα’としては、式（α＝＝β？  α：０）の演算結果が出力される。また、イベントデータβ’としては、イベントが発生していないことを表す0が出力される。
【０２１５】
式（α＝＝β？  α：０）は、αとβとが等しい（α＝＝β）ことが真である場合にαをとり、αとβとが等しいことが偽である場合に0をとることを表す。
【０２１６】
演算テーブルTL3に従った演算によれば、イベントデータαとβとが等しい場合には、イベントデータα’として、イベントデータα（＝β）が出力され、イベントデータαとβとが等しくない場合には、イベントデータα’として、イベントが発生していないことを表す0が出力される。また、イベントデータβ’としては、イベントが発生していないことを表す0が出力される。したがって、演算テーブルTL3に従った演算では、イベントデータαについては、イベントデータαとβとが等しくない場合に、イベントの発生を表すイベントデータの出力を制限する演算が行われ、イベントデータβについては、常時、イベントの発生を表すイベントデータの出力を制限する演算が行われる。
【０２１７】
図２１は、図１８の接続制御部４２の動作モードが高解像度モードである場合の光電流の流れを示す図である。
【０２１８】
図１８の接続制御部４２では、イベント検出部５２Ａのトランジスタ９２は常時オンにされる。そして、接続制御部４２の動作モードが高解像度モードである場合、FET２３１はオフにされ、イベント検出部５２Ｂのトランジスタ９２はオンにされる。
【０２１９】
したがって、高解像度モードでは、画素ブロック４１Ａと４１Ｂとの接続はオフにされ、画素ブロック４１Ａのイベント検出部５２Ａと、画素ブロック４１Ｂのイベント検出部５２Ｂとは、それぞれ独立に動作する。
【０２２０】
また、高解像度モードでは、演算部２３２において、演算テーブルTL1（図２０）に従った演算が行われ、イベントデータα及びβが、そのまま、イベントデータα’及びβ’として、それぞれ、イベント検出部５２Ａ及び５２Ｂの転送部８５に供給される。
【０２２１】
その結果、画素ブロック４１Ａ及び４１Ｂは、接続制御部４２がない場合と同様に動作し、画素アレイ部２１１では、イベントの発生を表すイベントデータとして、画素アレイ部２１１が有する画素ブロック４１の数に対応する高解像度のイベントデータを出力することができる。
【０２２２】
いま、画素５１Ａ及び画素５１Ｂ（の光電変換素子６１）により生成される光電流を、Iph及びIph'で表すこととすると、高解像度モードでは、イベント検出部５２Ａのトランジスタ９１には、画素５１Ａで生成される光電流Iphが流れ、イベント検出部５２Ｂのトランジスタ９１には、画素５１Ｂで生成される光電流Iph'が流れる。
【０２２３】
図２２は、図１８の接続制御部４２の動作モードが低解像度モードである場合の光電流の流れを示す図である。
【０２２４】
図１８の接続制御部４２では、イベント検出部５２Ａのトランジスタ９２は常時オンにされる。そして、接続制御部４２の動作モードが低解像度モードである場合、FET２３１はオンにされ、イベント検出部５２Ｂのトランジスタ９２はオフにされる。
【０２２５】
したがって、低解像度モードでは、画素ブロック４１Ａと４１Ｂとの接続がオンになる。すなわち、画素ブロック４１Ａのトランジスタ９１のソースと、画素ブロック４１Ｂのトランジスタ９１のソースとが接続されることにより、画素ブロック４１Ａと４１Ｂとが接続される。
【０２２６】
さらに、低解像度モードでは、イベント検出部５２Ｂのトランジスタ９２がオフにされることにより、イベント検出部５２Ｂの電流電圧変換部８１（トランジスタ９１ないし９３）の動作がオフになる。
【０２２７】
また、低解像度モードでは、演算部２３２において、演算テーブルTL2（図２０）に従った演算が行われ、イベントデータα’としては、イベントデータαが、そのまま、イベントデータα’として出力される。イベントデータβ’としては、イベントが発生していないことを表す0が常時出力される。そして、かかるイベントデータα’及びβ’が、それぞれ、イベント検出部５２Ａ及び５２Ｂの転送部８５に供給される。
【０２２８】
その結果、画素ブロック４１Ａ及び４１Ｂについては、画素ブロック４１Ａだけが、イベントの発生を表すイベントデータを出力し、画素ブロック４１Ｂは、常時、イベントが発生していないことを表すイベントデータを出力する（イベントの発生を表すイベントデータを出力しない）。
【０２２９】
したがって、画素アレイ部２１１では、イベントの発生を表すイベントデータとして、画素アレイ部２１１が有する画素ブロック４１の数の1/2に対応する解像度のイベントデータを出力することができる。すなわち、低解像度モードでは、イベントの発生を表すイベントデータの解像度（最大の数）が、高解像度モードの場合の1/2になる。
【０２３０】
以上のように、低解像度モードでは、イベントの発生を表すイベントデータ（を出力する画素ブロック４１）の数を抑制することができる。したがって、低解像度モードでは、高解像度モードの場合よりも、多数のイベントが同時に発生することを抑制することができ、その結果、図１３で説明したイベントデータの時刻情報のずれを抑制することができる。
【０２３１】
また、低解像度モードでは、画素ブロック４１Ａのトランジスタ９１のソースと、画素ブロック４１Ｂのトランジスタ９１のソースとが接続され、イベント検出部５２Ｂの電流電圧変換部８１（トランジスタ９１ないし９３）の動作がオフになるため、イベント検出部５２Ａのトランジスタ９１には、画素５１Ａで生成される光電流Iphと、画素５１Ｂで生成される光電流Iph'とが合成された合成電流として、画素５１Ａで生成される光電流Iphと、画素５１Ｂで生成される光電流Iph'との加算値Iph+iph'が流れる。
【０２３２】
その結果、ショットノイズが相対的に減少するので、イベント検出部５２Ａの電流電圧変換部８１（トランジスタ９１ないし９３）で扱う信号のS/Nを、高解像度モードの場合の√２倍に向上させ、イベントの検出の信頼性を向上させることができる。さらに、イベント検出部５２Ｂの電流電圧変換部８１（トランジスタ９１ないし９３）の動作がオフになるため、消費電力を削減することができる。
【０２３３】
図２３は、図１８の接続制御部４２の動作モードが電流平均モードである場合の光電流の流れを示す図である。
【０２３４】
図１８の接続制御部４２では、イベント検出部５２Ａのトランジスタ９２は常時オンにされる。そして、接続制御部４２の動作モードが電流平均モードである場合、FET２３１はオンにされ、イベント検出部５２Ｂのトランジスタ９２はオンにされる。
【０２３５】
したがって、電流平均モードでは、画素ブロック４１Ａと４１Ｂとの接続がオンになる。すなわち、画素ブロック４１Ａのトランジスタ９１のソースと、画素ブロック４１Ｂのトランジスタ９１のソースとが接続されることにより、画素ブロック４１Ａと４１Ｂとが接続される。
【０２３６】
さらに、電流平均モードでは、イベント検出部５２Ｂのトランジスタ９２がオンにされることにより、イベント検出部５２Ｂの電流電圧変換部８１（トランジスタ９１ないし９３）の動作がオンになる。したがって、イベント検出部５２Ａ及び５２Ｂでは、いずれの電流電圧変換部８１の動作もオンになる。
【０２３７】
また、電流平均モードでは、演算部２３２において、演算テーブルTL3（図２０）に従った演算が行われ、イベントデータα’としては、αとβとが等しい場合には、イベントデータα（＝β）が出力され、αとβとが等しくない場合には、イベントが発生していないことを表す0が出力される。イベントデータβ’としては、イベントが発生していないことを表す0が常時出力される。そして、かかるイベントデータα’及びβ’が、それぞれ、イベント検出部５２Ａ及び５２Ｂの転送部８５に供給される。
【０２３８】
その結果、画素ブロック４１Ａ及び４１Ｂについては、画素ブロック４１Ａだけが、イベントの発生を表すイベントデータを出力し、画素ブロック４１Ｂは、常時、イベントが発生していないことを表すイベントデータを出力する（イベントの発生を表すイベントデータを出力しない）。
【０２３９】
したがって、画素アレイ部２１１では、イベントの発生を表すイベントデータとして、画素アレイ部２１１が有する画素ブロック４１の数の1/2に対応する解像度のイベントデータを出力することができる。すなわち、電流平均モードでは、低解像度モードの場合と同様に、イベントの発生を表すイベントデータの解像度（最大の数）が、高解像度モードの場合の1/2になる。
【０２４０】
以上のように、電流平均モードでは、イベントの発生を表すイベントデータ（を出力する画素ブロック４１）の数を抑制することができる。したがって、電流平均モードでは、低解像度モードと同様に、多数のイベントが同時に発生することを抑制することができ、その結果、図１３で説明したイベントデータの時刻情報のずれを抑制することができる。
【０２４１】
また、電流平均モードでは、画素ブロック４１Ａのトランジスタ９１のソースと、画素ブロック４１Ｂのトランジスタ９１のソースとが接続され、イベント検出部５２Ａ及び５２Ｂの電流電圧変換部８１（トランジスタ９１ないし９３）の動作がオンになるため、イベント検出部５２Ａ及び５２Ｂのトランジスタ９１それぞれには、画素５１Ａで生成される光電流Iphと、画素５１Ｂで生成される光電流Iph'とが合成された合成電流として、画素５１Ａで生成される光電流Iphと、画素５１Ｂで生成される光電流Iph'との平均値が流れる。
【０２４２】
その結果、ノイズが抑制されるので、イベント検出部５２Ａの電流電圧変換部８１（トランジスタ９１ないし９３）で扱う信号のS/Nを向上させ、イベントの検出の信頼性を向上させることができる。
【０２４３】
さらに、電流平均モードでは、演算テーブルTL3（図２０）に従った演算によって、イベントデータαとβとが等しい場合に、その等しいイベントデータα及びβが、イベントデータα’として出力されるので、（イベントの発生を表す）イベントデータの信頼性を向上させることができる。
【０２４４】
ここで、アービタ３３が同時に出力を許可することができるイベントデータの最大数以下の値を、第１の閾値とし、第１の閾値以下の値を、第２の閾値とする。図１８の接続制御部４２の第１の構成例では、例えば、動作モードが、高解像度モードである場合に、イベントの数が第１の閾値以上になったときに、動作モードを、低解像度モード又は電流平均モードに設定することができる。また、接続制御部４２では、例えば、動作モードが、低解像度モード又は電流平均モードである場合に、イベントの数が第２の閾値以下になったときに、動作モードを、高解像度に設定することができる。
【０２４５】
＜接続制御部４２の第２の構成例＞
【０２４６】
図２４は、図１６の接続制御部４２の第２の構成例を示す図である。
【０２４７】
なお、図中、図１８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２４８】
図２４において、接続制御部４２は、FET２３１、演算部２３２、及び、FET２３３で構成される。
【０２４９】
したがって、図２４の接続制御部４２は、FET２３１及び演算部２３２を有する点で、図１８の場合と共通する。但し、図２４の接続制御部４２は、FET２３３が新たに設けられている点で、図１８の場合と相違する。
【０２５０】
FET２３３は、2個の画素ブロック４１Ａ及び４１Ｂの画素５１Ａ及び５１Ｂの光電流に対応する光電圧が合成されるように、画素ブロック４１Ａ及び４１Ｂを接続するスイッチとして機能する。
【０２５１】
例えば、FET２３３は、接続制御部４２の動作モードに従ってオン／オフすることにより、画素５１Ａの光電流が流れるトランジスタ(FET)９１のゲートと、画素５１Ｂの光電流が流れるトランジスタ９１のゲートとの接続をオン／オフする。
【０２５２】
なお、図２４の接続制御部４２の第２の構成例では、第１の構成例と同様に、イベント検出部５２の電流電圧変換部８１のトランジスタ９２に印加するバイアス電圧Vbiasによって、電流電圧変換部８１（トランジスタ９１ないし９３）の動作をオン／オフする。
【０２５３】
すなわち、接続制御部４２の第２の構成例では、第１の構成例と同様に、イベント検出部５２Ａ及び５２Ｂのうちの一方である、例えば、イベント検出部５２Ａのトランジスタ９２は常時オンにされ、他方のイベント検出部５２Ｂのトランジスタ９２がオン／オフされる。
【０２５４】
図２５は、図２４の接続制御部４２の動作モードを説明する図である。
【０２５５】
図２４の接続制御部４２の動作モードには、高解像度モード、低解像度モード、及び、電流電圧平均モードがある。
【０２５６】
高解像度モードでは、図１９で説明したように、FET２３１がオフにされるとともに、イベント検出部５２Ｂのトランジスタ９２がオンにされ、演算部２３２の演算が、演算テーブルTL1に従って行われる。さらに、FET２３３がオフにされる。
【０２５７】
したがって、画素ブロック４１Ａ及び４１Ｂは、図２１の場合と同様に動作する。その結果、図２１で説明したように、イベントの発生を表すイベントデータとして、画素アレイ部２１１が有する画素ブロック４１の数に対応する高解像度のイベントデータを出力することができる。
【０２５８】
低解像度モードでは、図１９で説明したように、FET２３１がオンにされるとともに、イベント検出部５２Ｂのトランジスタ９２がオフにされ、演算部２３２の演算が、演算テーブルTL2に従って行われる。さらに、FET２３３がオフにされる。
【０２５９】
したがって、画素ブロック４１Ａ及び４１Ｂは、図２２の場合と同様に動作する。その結果、図２２で説明したように、多数のイベントが同時に発生することを抑制することができ、イベントデータの時刻情報のずれを抑制することができる。また、イベント検出部５２Ａの電流電圧変換部８１で扱う信号のS/Nを向上させ、イベントの検出の信頼性を向上させることができる。さらに、消費電力を削減することができる。
【０２６０】
電流電圧平均モードでは、図１９の電流平均モードと同様に、FET２３１がオンにされるとともに、イベント検出部５２Ｂのトランジスタ９２がオンにされ、演算部２３２の演算が、演算テーブルTL3に従って行われる。さらに、FET２３３がオンにされる。
【０２６１】
したがって、電流電圧平均モードでは、画素ブロック４１Ａと４１Ｂとの接続がオンになる。
【０２６２】
すなわち、電流電圧平均モードでは、電流平均モードと同様に、画素ブロック４１Ａのトランジスタ９１のソースと、画素ブロック４１Ｂのトランジスタ９１のソースとが接続されることにより、画素ブロック４１Ａと４１Ｂとが接続される。さらに、電流平均モードでは、画素ブロック４１Ａのトランジスタ９１のゲートと、画素ブロック４１Ｂのトランジスタ９１のゲートとが接続されることにより、画素ブロック４１Ａと４１Ｂとが接続される。
【０２６３】
また、電流電圧平均モードでは、電流平均モードと同様に、イベント検出部５２Ｂのトランジスタ９２がオンにされることにより、イベント検出部５２Ｂの電流電圧変換部８１（トランジスタ９１ないし９３）の動作がオンになる。したがって、イベント検出部５２Ａ及び５２Ｂでは、いずれの電流電圧変換部８１の動作もオンになる。
【０２６４】
さらに、電流電圧平均モードでは、演算部２３２において、演算テーブルTL3（図２０）に従った演算が行われ、イベントデータα’としては、αとβとが等しい場合には、イベントデータα（＝β）が出力され、αとβとが等しくない場合には、イベントが発生していないことを表す0が出力される。イベントデータβ’としては、イベントが発生していないことを表す0が常時出力される。そして、かかるイベントデータα’及びβ’が、それぞれ、イベント検出部５２Ａ及び５２Ｂの転送部８５に供給される。
【０２６５】
その結果、画素ブロック４１Ａ及び４１Ｂについては、画素ブロック４１Ａだけが、イベントの発生を表すイベントデータを出力し、画素ブロック４１Ｂは、常時、イベントが発生していないことを表すイベントデータを出力する（イベントの発生を表すイベントデータを出力しない）。
【０２６６】
したがって、画素アレイ部２１１では、イベントの発生を表すイベントデータとして、画素アレイ部２１１が有する画素ブロック４１の数の1/2に対応する解像度のイベントデータを出力することができる。すなわち、電流電圧平均モードでは、低解像度モードの場合と同様に、イベントの発生を表すイベントデータの解像度（最大の数）が、高解像度モードの場合の1/2になる。
【０２６７】
以上のように、電流電圧平均モードでは、イベントの発生を表すイベントデータ（を出力する画素ブロック４１）の数を抑制することができる。したがって、電流電圧平均モードでは、低解像度モードと同様に、多数のイベントが同時に発生することを抑制することができ、その結果、図１３で説明したイベントデータの時刻情報のずれを抑制することができる。
【０２６８】
また、電流電圧平均モードでは、電流平均モードと同様に、画素ブロック４１Ａのトランジスタ９１のソースと、画素ブロック４１Ｂのトランジスタ９１のソースとが接続され、イベント検出部５２Ａ及び５２Ｂの電流電圧変換部８１（トランジスタ９１ないし９３）の動作がオンになるため、イベント検出部５２Ａ及び５２Ｂのトランジスタ９１には、画素５１Ａで生成される光電流Iphと、画素５１Ｂで生成される光電流Iph'とが合成された合成電流として、画素５１Ａで生成される光電流Iphと、画素５１Ｂで生成される光電流Iph'との平均値が流れる。
【０２６９】
さらに、電流電圧平均モードでは、画素ブロック４１Ａのトランジスタ９１のゲートと、画素ブロック４１Ｂのトランジスタ９１のゲートとが接続され、イベント検出部５２Ａ及び５２Ｂの電流電圧変換部８１（トランジスタ９１ないし９３）の動作がオンになるため、イベント検出部５２Ａ及び５２Ｂの（減算部８３を構成する）コンデンサ１０１には、画素ブロック４１Ａのトランジスタ９１のゲートに現れる光電圧と、画素ブロック４１Ｂのトランジスタ９１のゲートに現れる光電圧との平均値が印加される。
【０２７０】
その結果、電流電圧平均モードでは、電流平均モードの場合よりもノイズが抑制され、イベント検出部５２Ａの電流電圧変換部８１（トランジスタ９１ないし９３）で扱う信号のS/Nをさらに向上させることができる。また、イベントの検出の信頼性をさらに向上させることができる。
【０２７１】
さらに、電流電圧平均モードでは、電流平均モードと同様に、演算テーブルTL3（図２０）に従った演算によって、イベントデータαとβとが等しい場合に、その等しいイベントデータα及びβが、イベントデータα’として出力されるので、イベントデータの信頼性を向上させることができる。
【０２７２】
ここで、図２４の接続制御部４２の第２の構成例では、例えば、動作モードが、高解像度モードである場合に、イベントの数が第１の閾値以上になったときに、動作モードを、低解像度モード又は電流電圧平均モードに設定することができる。また、接続制御部４２では、例えば、動作モードが、低解像度モード又は電流電圧平均モードである場合に、イベントの数が第２の閾値以下になったときに、動作モードを、高解像度に設定することができる。
【０２７３】
＜接続制御部４２の第３の構成例＞
【０２７４】
図２６は、図１６の接続制御部４２の第３の構成例を示す図である。
【０２７５】
なお、図中、図１８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７６】
図２６において、接続制御部４２は、FET２３１、演算部２３２、FET２３４、及び、コンデンサ２３５で構成される。
【０２７７】
したがって、図２６の接続制御部４２は、FET２３１及び演算部２３２を有する点で、図１８の場合と共通する。但し、図２６の接続制御部４２は、FET２３４及びコンデンサ２３５が新たに設けられている点で、図１８の場合と相違する。
【０２７８】
FET２３４は、2個の画素ブロック４１Ａ及び４１Ｂのうちの１つの画素ブロックである画素ブロック４１Ａの（減算部８３を構成する）コンデンサ１０１（第１のコンデンサ）及びコンデンサ１０３（第２のコンデンサ）の接続点と、他の画素ブロックである画素ブロック４１Ｂの（電流電圧変換部８１を構成する）トランジスタ(FET)９１のゲートとの、コンデンサ２３５（第３のコンデンサ）を介した接続をオン／オフするスイッチとして機能する。
【０２７９】
FET２３４は、接続制御部４２の動作モードに従ってオン／オフすることにより、画素ブロック４１Ａのコンデンサ１０１及び１０３の接続点と、画素ブロック４１Ｂのトランジスタ９１のゲートとの、コンデンサ２３５を介した接続をオン／オフする。
【０２８０】
コンデンサ２３５は、例えば、コンデンサ１０１と同一の容量を有する。コンデンサ２３５の一端は、コンデンサ１０１と同様に、画素ブロック４１Ａのオペアンプ１０２の入力端子に接続され、コンデンサ２３５の他端は、FET２３４を介して、画素ブロック４１Ｂのトランジスタ９１のゲートに接続される。
【０２８１】
したがって、FET２３４がオンである場合、画素ブロック４１Ａのイベント検出部５２Ａにおいて、減算部８３を構成するオペアンプ１０２の入力端子に接続されたコンデンサ１０１とコンデンサ２３５とには、画素ブロック４１Ａのトランジスタ９１のゲートに現れる光電圧と、画素ブロック４１Ｂのトランジスタ９１のゲートに現れる光電圧とが、それぞれ印加される。その結果、イベント検出部５２Ａの減算部８３では、画素ブロック４１Ａのトランジスタ９１のゲートに現れる光電圧と、画素ブロック４１Ｂのトランジスタ９１のゲートに現れる光電圧との平均値を対象に差信号が求められる。
【０２８２】
なお、図２６の接続制御部４２では、イベント検出部５２の電流電圧変換部８１のトランジスタ９２に印加するバイアス電圧Vbiasによって、電流電圧変換部８１（トランジスタ９１ないし９３）の動作をオン／オフする。
【０２８３】
すなわち、接続制御部４２は、トランジスタ９２をオンすることによって、電流電圧変換部８１の動作をオンにし（電流電圧変換部８１を動作させ）、トランジスタ９２をオフすることによって、電流電圧変換部８１の動作をオフにする（動作を停止させる）。
【０２８４】
図２６の接続制御部４２の第３の構成例では、イベント検出部５２Ａ及び５２Ｂのそれぞれのトランジスタ９２がオン／オフされる。
【０２８５】
図２７は、図２６の接続制御部４２の動作モードを説明する図である。
【０２８６】
図２６の接続制御部４２の動作モードには、高解像度モード、低解像度モード、電流平均モード、及び、高解像度・高S/Nモードがある。
【０２８７】
高解像度モードでは、図１９で説明したように、FET２３１がオフにされるとともに、イベント検出部５２Ｂのトランジスタ９２がオンにされ、演算部２３２の演算が、演算テーブルTL1に従って行われる。さらに、FET２３４がオフにされるとともに、イベント検出部５２Ａのトランジスタ９２がオンにされる。
【０２８８】
したがって、画素ブロック４１Ａ及び４１Ｂは、図２１の場合と同様に動作する。その結果、図２１で説明したように、イベントの発生を表すイベントデータとして、画素アレイ部２１１が有する画素ブロック４１の数に対応する高解像度のイベントデータを出力することができる。
【０２８９】
図２６の接続制御部４２については、低解像度モードには、ＡモードとＢモードとがある。
【０２９０】
Ａモードでは、図１９で説明した低解像度モードの場合と同様に、FET２３１がオンにされるとともに、イベント検出部５２Ｂのトランジスタ９２がオフにされ、演算部２３２の演算が、演算テーブルTL2に従って行われる。さらに、FET２３４がオフにされるとともに、イベント検出部５２Ａのトランジスタ９２がオンにされる。
【０２９１】
したがって、画素ブロック４１Ａ及び４１Ｂは、図２２の場合と同様に動作する。
【０２９２】
Ｂモードでは、FET２３１がオンにされるとともに、イベント検出部５２Ｂのトランジスタ９２がオンにされ、演算部２３２の演算が、演算テーブルTL2に従って行われる。さらに、FET２３４がオフにされるとともに、イベント検出部５２Ａのトランジスタ９２がオフにされる。なお、Ｂモードでは、演算テーブルTL2に従った演算は、画素ブロック５２Ａからのイベントデータをイベントデータβとするとともに、画素ブロック５２Ｂからのイベントデータをイベントデータαとして行われる。
【０２９３】
したがって、画素ブロック４１Ａは、図２２の画素ブロック４１Ｂと同様に動作し、画素ブロック４１Ｂは、図２２の画素ブロック４１Ａと同様に動作する。
【０２９４】
その結果、Ａモード及びＢモードのいずれでも、図２２で説明したように、多数のイベントが同時に発生することを抑制することができ、イベントデータの時刻情報のずれを抑制することができる。また、イベント検出部５２Ａ又は５２Ｂの電流電圧変換部８１で扱う信号のS/Nを向上させ、イベントの検出の信頼性を向上させることができる。さらに、消費電力を削減することができる。
【０２９５】
電流平均モードでは、図１９で説明したように、FET２３１がオンにされるとともに、イベント検出部５２Ｂのトランジスタ９２がオンにされ、演算部２３２の演算が、演算テーブルTL3に従って行われる。さらに、FET２３４がオフにされるとともに、イベント検出部５２Ａのトランジスタ９２がオンにされる。
【０２９６】
したがって、画素ブロック４１Ａ及び４１Ｂは、図２３の場合と同様に動作する。その結果、図２３で説明したように、多数のイベントが同時に発生することを抑制することができ、イベントデータの時刻情報のずれを抑制することができる。また、イベント検出部５２Ａの電流電圧変換部８１で扱う信号のS/Nを向上させ、イベントの検出の信頼性を向上させることができる。さらに、イベントデータの信頼性を向上させることができる。
【０２９７】
高解像度・高S/Nモードでは、FET２３１がオフにされるとともに、イベント検出部５２Ｂのトランジスタ９２がオンにされ、演算部２３２の演算が、演算テーブルTL1に従って行われる。さらに、FET２３４がオンにされるとともに、イベント検出部５２Ａのトランジスタ９２がオンにされる。
【０２９８】
したがって、高解像度・高S/Nモードでは、画素ブロック４１Ａと４１Ｂとの接続がオンになる。
【０２９９】
すなわち、高解像度・高S/Nモードでは、画素ブロック４１Ａのコンデンサ１０１及び１０３の接続点と、画素ブロック４１Ｂのトランジスタ９１のゲートとが、コンデンサ２３５を介して接続される。
【０３００】
また、高解像度・高S/Nモードでは、イベント検出部５２Ａ及び５２Ｂのトランジスタ９２がオンにされることにより、イベント検出部５２Ａ及び５２Ｂの電流電圧変換部８１（トランジスタ９１ないし９３）の動作がオンになる。したがって、イベント検出部５２Ａ及び５２Ｂでは、いずれの電流電圧変換部８１の動作もオンになる。
【０３０１】
この場合、図２６で説明したように、画素ブロック４１Ａのイベント検出部５２Ａにおいて、減算部８３を構成するオペアンプ１０２の入力端子に接続されたコンデンサ１０１とコンデンサ２３５とには、画素ブロック４１Ａのトランジスタ９１のゲートに現れる光電圧と、画素ブロック４１Ｂのトランジスタ９１のゲートに現れる光電圧とが、それぞれ印加される。
【０３０２】
その結果、イベント検出部５２Ａの減算部８３（コンデンサ１０１ないしスイッチ１０４）では、画素ブロック４１Ａのトランジスタ９１のゲートに現れる光電圧と、画素ブロック４１Ｂのトランジスタ９１のゲートに現れる光電圧との平均値を対象に差信号が求められる。
【０３０３】
また、高解像度・高S/Nモードでは、演算部２３２において、演算テーブルTL1（図２０）に従った演算が行われ、イベントデータα及びβが、そのまま、イベントデータα’及びβ’として、それぞれ、イベント検出部５２Ａ及び５２Ｂの転送部８５に供給される。
【０３０４】
したがって、画素アレイ部２１１では、高解像度モードと同様に、イベントの発生を表すイベントデータとして、画素アレイ部２１１が有する画素ブロック４１の数に対応する高解像度のイベントデータを出力することができる。
【０３０５】
さらに、高解像度・高S/Nモードでは、イベント検出部５２Ａの減算部８３において、画素ブロック４１Ａのトランジスタ９１のゲートに現れる光電圧と、画素ブロック４１Ｂのトランジスタ９１のゲートに現れる光電圧との平均値を対象に差信号が求められるので、減算部８３で扱う信号のノイズを抑制することができる。その結果、イベント検出部５２Ａの減算部８３で扱う信号のS/Nをさらに向上させ、イベントの検出の信頼性をさらに向上させることができる。
【０３０６】
なお、高解像度・高S/Nモードでは、画素５１Ａ及び５１Ｂに、異なる色のカラーフィルタが設けられている場合には、イベント検出部５２Ａでは、異なる色（画素５１Ａ及び５１Ｂに設けられたカラーフィルタの色）の光を合成した光（白色光に近い光）の変化を、イベントとして検出することができる。一方、イベント検出部５２Ｂでは、画素５１Ｂに設けられたカラーフィルタの色の光の変化を、イベントとして検出することができる。
【０３０７】
また、図２６の接続制御部４２の第３の構成例は、FET２３１を設けずに構成することができる。但し、FET２３１を設けずに接続制御部４２を構成する場合、動作モードは、高解像度モードと高解像度・高S/Nモードとに制限される。
【０３０８】
ここで、図２６の接続制御部４２の第３の構成例では、例えば、動作モードが、高解像度モード又は高解像度・高S/Nモードである場合に、イベントの数が第１の閾値以上になったときに、動作モードを、低解像度モード又は電流平均モードに設定することができる。また、接続制御部４２では、例えば、動作モードが、低解像度モード又は電流平均モードである場合に、イベントの数が第２の閾値以下になったときに、動作モードを、高解像度又は高解像度・高S/Nモードに設定することができる。
【０３０９】
＜接続制御部４２の動作モードとイベントを発生し得る画素ブロック４１との関係＞
【０３１０】
図２８は、接続制御部４２の動作モードとイベントを発生し得る画素ブロック４１との関係を示す図である。
【０３１１】
図２８のＡは、高解像度モードにおいて、イベントを発生し得る画素ブロック４１を模式的に示している。
【０３１２】
高解像度モードでは、画素アレイ部２１１が有する画素ブロック４１の数に対応する高解像度のイベントデータを出力することができる。
【０３１３】
図２８のＢは、低解像度モードにおいて、イベントを発生し得る画素ブロック４１を模式的に示している。
【０３１４】
低解像度モードでは、イベントの発生を表すイベントデータの解像度（最大の数）を、高解像度モードの場合の1/2の低解像度にすることができる。すなわち、例えば、接続制御部４２が接続をオン／オフする画素ブロック４１Ａ及び４１Ｂが、縦方向に隣接する場合、イベントの発生を表すイベントデータの縦方向の解像度を、高解像度モードの場合の1/2にすることができる。さらに、イベントデータの時刻情報のずれを抑制することができる。また、電流電圧変換部８１で扱う信号のS/Nを向上させ、精度の高いイベントデータを出力することができる。
【０３１５】
図２８のＣは、電流平均モード及び電流電圧平均モードにおいて、イベントを発生し得る画素ブロック４１を模式的に示している。
【０３１６】
電流平均モード及び電流電圧平均モードでは、低解像度モードと同様に、イベントの発生を表すイベントデータの解像度を、高解像度モードの場合の1/2の低解像度にすることができる。さらに、イベントデータの時刻情報のずれを抑制することができる。また、電流電圧変換部８１及び減算部８３で扱う信号のS/Nを向上させ、より精度の高いイベントデータを出力することができる。
【０３１７】
図２８のＤは、高解像度・高S/Nモードにおいて、イベントを発生し得る画素ブロック４１を模式的に示している。
【０３１８】
高解像度・高S/Nモードでは、高解像度モードと同様に、画素アレイ部２１１が有する画素ブロック４１の数に対応する高解像度のイベントデータを出力することができる。さらに、一部の画素ブロック４１では、精度の高いイベントデータを出力することができる。すなわち、例えば、接続制御部４２が接続をオン／オフする画素ブロック４１Ａ及び４１Ｂが、縦方向に隣接する場合、１行おきの画素ブロック４１Ａにおいて、扱う信号のS/Nを向上させ、精度の高いイベントデータを出力することができる。
【０３１９】
＜接続制御の対象とする画素ブロック４１＞
【０３２０】
図２９は、接続制御部４２による接続制御の対象とする画素ブロック４１の第１の例を説明する図である。
【０３２１】
以上においては、接続制御部４２において、縦方向に隣接する2個の画素ブロック４１を、接続をオン／オフする接続制御の対象としたが、接続制御の対象としては、縦方向に隣接する2個の画素ブロック４１以外の複数の画素ブロックを採用することができる。
【０３２２】
図２９では、アスペクト比が維持されるように、画素ブロック４１を接続する例が示されている。
【０３２３】
図２９では、第１の接続として、（横×縦が）2×2個の画素ブロック４１が接続される。さらに、第２の接続として、第１の接続で接続された2×2個の画素ブロック４１のセットの2×2個が接続される。また、図２９では、第１の接続のオン／オフ（第１の接続により2×2個の画素ブロック４１を接続するかどうか）を制御するための制御信号線と、第２の接続のオン／オフを制御するための制御信号線とが、列方向に配線されている。
【０３２４】
図２９において、第１の接続及び第２の接続をオフにした場合、イベントの発生を表すイベントデータの解像度（イベントデータを出力し得る画素ブロック４１の数）は、12×12の高解像度になる。第１の接続をオンにし、第２の接続をオフにした場合、イベントの発生を表すイベントデータの解像度は、6×6の低解像度になる。第１の接続及び第２の接続をオンにした場合、イベントの発生を表すイベントデータの解像度は、3×3のより低解像度になる。
【０３２５】
図２９の第１の接続及び第２の接続以外に、画素ブロック４１の接続の仕方と、その接続を制御するための接続制御線とを増やすことにより、イベントの発生を表すイベントデータの解像度として、より低解像度を実現することができる。
【０３２６】
図３０は、接続制御部４２による接続制御の対象とする画素ブロック４１の第２の例を説明する図である。
【０３２７】
図３０では、アスペクト比が変更されるように、画素ブロック４１を接続する例が示されている。
【０３２８】
図３０では、第１の接続として、（横×縦が）4×1個の画素ブロック４１が接続される。さらに、第２の接続として、第１の接続で接続された4×1個の画素ブロック４１のセットの1×4個が接続される。また、図３０では、第１の接続のオン／オフを制御するための制御信号線と、第１の接続のオン／オフを制御するための制御信号線とが、列方向に配線されている。
【０３２９】
図３０において、第１の接続及び第２の接続をオフにした場合、イベントの発生を表すイベントデータの解像度は、12×12の高解像度になる。第１の接続をオンにし、第２の接続をオフにした場合、イベントの発生を表すイベントデータの解像度は、3×12の低解像度になる。第１の接続及び第２の接続をオンにした場合、イベントの発生を表すイベントデータの解像度は、3×3のより低解像度になる。
【０３３０】
図３０の第１の接続及び第２の接続以外に、画素ブロック４１の接続の仕方と、その接続を制御するための接続制御線とを増やすことにより、イベントの発生を表すイベントデータの解像度として、より低解像度を実現することができる。
【０３３１】
以上のように、本技術によれば、画素５１と、画素５１の電気信号の変化であるイベントを検出するイベント検出部５２とを有する画素ブロック４１を有するセンサチップ１０において、複数の画素ブロック４１の接続をオン／オフするので、例えば、イベントが少ない場合に、高解像度のイベントデータを取得し、イベントが多い場合に低解像度のイベントデータを取得する等といったように、イベントデータを柔軟に取得することができる。
【０３３２】
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０３３３】
図３１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０３３４】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０３３５】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０３３６】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０３３７】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０３３８】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０３３９】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０３４０】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０３４１】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０３４２】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０３４３】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０３４４】
図３２は、撮像部１２０３１の設置位置の例を示す図である。
【０３４５】
図３２では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０３４６】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０３４７】
なお、図３２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０３４８】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０３４９】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０３５０】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０３５１】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０３５２】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１４のセンサチップ２００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、イベントデータを柔軟に取得し、そのイベントデータのデータ処理により、適切な運転支援を行うことができる。
【０３５３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３５４】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３５５】
なお、本技術は、以下の構成をとることができる。
【０３５６】
＜１＞
光を受光し、光電変換を行って電気信号を生成する１個以上の画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部とを有する画素ブロックと、
複数の前記画素ブロックの接続をオン／オフする接続制御部と
を備えるセンサ。
＜２＞
前記接続制御部は、複数の前記画素ブロックの前記画素の光電流が合成されるように、複数の前記画素ブロックを接続する
＜１＞に記載のセンサ。
＜３＞
前記イベント検出部は、前記光電流が流れるFET(Field Effect Transistor)により、前記光電流を電圧に変換する電流電圧変換部を有し、
前記接続制御部は、複数の前記画素ブロックそれぞれの前記FETのソースどうしの接続をオン／オフする
＜２＞に記載のセンサ。
＜４＞
前記接続制御部は、前記電流電圧変換部の動作をオン／オフする
＜３＞に記載のセンサ。
＜５＞
前記接続制御部は、複数の前記画素ブロックの前記画素の光電流に対応する電圧が合成されるように、複数の前記画素ブロックを接続する
＜１＞ないし＜４＞のいずれかに記載のセンサ。
＜６＞
前記イベント検出部は、前記光電流が流れるFET(Field Effect Transistor)により、前記光電流を電圧に変換する電流電圧変換部を有し、
前記接続制御部は、複数の前記画素ブロックそれぞれの前記FETのゲートどうしの接続をオン／オフする
＜５＞に記載のセンサ。
＜７＞
前記イベント検出部は、
前記光電流が流れるFET(Field Effect Transistor)により、前記画素の光電流を電圧に変換する電流電圧変換部と、
第１のコンデンサ及び第２のコンデンサによって、前記光電流に対応する電圧の異なるタイミングの電圧どうしの差に対応する差信号を求める減算部と
を有し、
前記接続制御部は、複数の前記画素ブロックのうちの１つの前記画素ブロックの前記第１のコンデンサ及び前記第２のコンデンサの接続点と、他の前記画素ブロックの前記FETのゲートとの、第３のコンデンサを介した接続をオン／オフする
＜１＞ないし＜４＞のいずれかに記載のセンサ。
＜８＞
前記イベント検出部は、
前記画素の光電流を電圧に変換する電流電圧変換部と、
第１のコンデンサ及び第２のコンデンサによって、前記光電流に対応する電圧の異なるタイミングの電圧どうしの差に対応する差信号を求める減算部と、
前記差信号を量子化し、量子化により得られる量子化値を、イベントの発生を表すイベントデータとして出力する量子化部と
を有し、
複数の前記画素ブロックそれぞれの前記イベントデータに、前記接続制御部の動作モードに応じた演算を行って出力する演算部をさらに備える
＜１＞ないし＜７＞のいずれかに記載のセンサ。
＜９＞
前記画素の電荷を転送するトランジスタをさらに備える
＜１＞ないし＜８＞のいずれかに記載のセンサ。
＜１０＞
光を受光し、光電変換を行って電気信号を生成する１個以上の画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部とを有する画素ブロックを有するセンサが、
複数の前記画素ブロックの接続をオン／オフする
ステップを含む制御方法。
【符号の説明】
【０３５７】
１０  センサチップ，  １１  センサダイ，  １２  ロジックダイ，  ２１  センサ部，  ２２  ロジック部，  ３１  画素アレイ部，  ３２  駆動部，  ３３  アービタ，  ３４  AD変換部，  ３５  出力部，  ４１，４１Ａ，４１Ｂ  画素ブロック，  ４２  接続制御部，  ５１，５１Ａ，５１Ｂ  画素，  ５２，５２Ａ，５２Ｂ  イベント検出部，  ５３  画素信号生成部，  ６０  ノード，  ６１  光電変換素子，  ６２，６３  転送トランジスタ，  ７１  リセットトランジスタ，  ７２  増幅トランジスタ，  ７３  選択トランジスタ，  ７４  FD，  ８１  電流電圧変換部，  ８２  バッファ，  ８３  減算部，  ８４  量子化部，  ８５  転送部，  ９１ないし９３  トランジスタ，  １０１  コンデンサ，  １０２  オペアンプ，  １０３  コンデンサ，  １０４  スイッチ，  １１１，１１２  コンパレータ，  １１３  出力部，  ２００  センサチップ，  ２０１  センサ部，  ２１１  画素アレイ部，  ２３１  FET，  ２３２  演算部，  ２３４  FET，  ２３５  コンデンサ
【図１】
2020072317.tif 000003
【図２】
2020072317.tif 000004
【図３】
2020072317.tif 000005
【図４】
2020072317.tif 000006
【図５】
2020072317.tif 000007
【図６】
2020072317.tif 000008
【図７】
2020072317.tif 000009
【図８】
2020072317.tif 000010
【図９】
2020072317.tif 000011
【図１０】
2020072317.tif 000012
【図１１】
2020072317.tif 000013
【図１２】
2020072317.tif 000014
【図１３】
2020072317.tif 000015
【図１４】
2020072317.tif 000016
【図１５】
2020072317.tif 000017
【図１６】
2020072317.tif 000018
【図１７】
2020072317.tif 000019
【図１８】
2020072317.tif 000020
【図１９】
2020072317.tif 000021
【図２０】
2020072317.tif 000022
【図２１】
2020072317.tif 000023
【図２２】
2020072317.tif 000024
【図２３】
2020072317.tif 000025
【図２４】
2020072317.tif 000026
【図２５】
2020072317.tif 000027
【図２６】
2020072317.tif 000028
【図２７】
2020072317.tif 000029
【図２８】
2020072317.tif 000030
【図２９】
2020072317.tif 000031
【図３０】
2020072317.tif 000032
【図３１】
2020072317.tif 000033
【図３２】
2020072317.tif 000034