(57)【要約】【課題】画素の電気信号の変化であるイベントの検出を柔軟に行う。【解決手段】センサは、光を受光し、光電変換を行って電気信号を生成する画素と、画素の電気信号の変化であるイベントを検出するイベント検出部とを有し、イベント検出部のゲインを、画素ごとに調整する。本技術は、例えば、画素の電気信号の変化であるイベントを検出するセンサに適用することができる。【選択図】図１２
2020088676.tif 000002
【特許請求の範囲】
【請求項１】
光を受光し、光電変換を行って電気信号を生成する画素と、
前記画素の電気信号の変化であるイベントを検出するイベント検出部と、
前記イベント検出部のゲインを、前記画素ごとに調整するゲイン調整機構と
を備えるセンサ。
【請求項２】
所定の光を透過する透過機構をさらに備え、
前記画素は、前記透過機構を透過する所定の光を受光し、
前記ゲイン調整機構は、前記イベント検出部のゲインを、前記透過機構が透過する前記所定の光ごとに調整する
請求項１に記載のセンサ。
【請求項３】
前記ゲイン調整機構として、前記イベントを検出するときに用いられる閾値を、前記画素が受光する前記所定の光ごとに設定する閾値設定部を備える
請求項２に記載のセンサ。
【請求項４】
前記透過機構は、カラーフィルタである
請求項３に記載のセンサ。
【請求項５】
前記閾値設定部は、前記画素が受光する、前記カラーフィルタが透過する光の色ごとに、前記閾値を設定する
請求項４に記載のセンサ。
【請求項６】
前記透過機構は、偏光フィルタである
請求項３に記載のセンサ。
【請求項７】
前記閾値設定部は、前記画素が受光する、前記偏光フィルタが透過する光の偏光方向ごとに、前記閾値を設定する
請求項６に記載のセンサ。
【請求項８】
前記イベント検出部は、
前記画素の光電流を、前記光電流に対応する電圧に変換する電流電圧変換部を有し、
所定の閾値を超える前記電圧の変化を、前記イベントとして検出し、
前記ゲイン調整機構として、トランジスタがカスケード接続された構成とカスケード接続されていない構成とに回路構成が切り替え可能な前記電流電圧変換部を備える
請求項１又は２に記載のセンサ。
【請求項９】
前記イベント検出部は、第１の容量及び第２の容量を含み、前記画素の光電流に対応する電圧の異なるタイミングの電圧どうしの差に対応する差信号を求める減算部を有し、
前記ゲイン調整機構として、前記第１の容量と前記第２の容量との容量比が変更可能な前記減算部を備える
請求項１又は２に記載のセンサ。
【請求項１０】
前記ゲイン調整機構は、前記イベント検出部のゲインを粗く調整するcoarse調整と、前記イベント検出部のゲインを細かく調整するfine調整とを行う
請求項１又は２に記載のセンサ。
【請求項１１】
前記イベント検出部は、
前記画素の光電流を、前記光電流に対応する電圧に変換する電流電圧変換部と、
第１の容量及び第２の容量を含み、異なるタイミングの前記電圧どうしの差に対応する差信号を求める減算部と
を有し、
前記差信号と閾値とを比較することにより、前記イベントを検出し、
前記ゲイン調整機構として、
トランジスタがカスケード接続された構成とカスケード接続されていない構成とに回路構成が切り替え可能な前記電流電圧変換部、及び、前記第１の容量と前記第２の容量との容量比が変更可能な前記減算部のうちの一方又は両方と、
前記閾値を設定する閾値設定部と
を備え、
前記電流電圧変換部の回路構成の切り替え、及び、前記減算部での前記容量比の変更のうちの一方又は両方により、前記coarse調整を行い、
前記閾値設定部による前記閾値の設定により、前記fine調整を行う
請求項１０に記載のセンサ。
【請求項１２】
前記透過機構は、カラーフィルタであり
前記ゲイン調整機構は、被写体を撮像する環境に応じて、前記イベント検出部のゲインを、前記画素が受光する、前記カラーフィルタが透過する光の色ごとに調整する
請求項２に記載のセンサ。
【請求項１３】
前記イベントが検出された前記画素の光電流に対応する電圧の信号を画素信号として生成する画素信号生成部をさらに備える
請求項１に記載のセンサ。
【請求項１４】
光を受光し、光電変換を行って電気信号を生成する画素と、
前記画素の電気信号の変化であるイベントを検出するイベント検出部と
を備えるセンサの前記イベント検出部のゲインを、前記画素ごとに調整する
ステップを含む制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、センサ及び制御方法に関し、特に、例えば、画素の電気信号の変化であるイベントの検出を柔軟に行うことができるようにするセンサ及び制御方法に関する。
【背景技術】
【０００２】
画素の輝度変化をイベントとして、イベントが発生した場合に、イベントの発生を表すイベントデータを出力するイメージセンサが提案されている（例えば、特許文献１を参照）。
【０００３】
ここで、垂直同期信号に同期して撮像を行い、ラスタスキャン形式でフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントデータを出力するイメージセンサは、イベントデータが発生した画素の随時読み出しを行うため、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表2017-535999号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
DVSについては、イベントの検出を柔軟に行うことが要請されている。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、イベントの検出を柔軟に行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術のセンサは、光を受光し、光電変換を行って電気信号を生成する画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部と、前記イベント検出部のゲインを、前記透過機構が透過する前記画素ごとに調整するゲイン調整機構とを備えるセンサである。
【０００８】
本技術の制御方法は、光を受光し、光電変換を行って電気信号を生成する画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部とを備えるセンサの前記イベント検出部のゲインを、前記画素ごとに調整するステップを含む制御方法である。
【０００９】
本技術のセンサ及び制御方法においては、光を受光し、光電変換を行って電気信号を生成する画素の電気信号の変化であるイベントが、イベント検出部によって検出される。前記イベント検出部のゲインは、前記画素ごとに調整される。
【００１０】
センサは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。また、センサは、モジュールや半導体チップとして構成することができる。
【図面の簡単な説明】
【００１１】
【図１】本技術が適用され得るセンサチップの構成例を示す図である。
【図２】センサ部２１及びロジック部２２の構成例を示すブロック図である。
【図３】画素アレイ部３１の構成例を示すブロック図である。
【図４】画素ブロック４１の構成例を示す回路図である。
【図５】イベント検出部５２の構成例を示すブロック図である。
【図６】電流電圧変換部８１の構成例を示す回路図である。
【図７】減算部８３及び量子化部８４の構成例を示す回路図である。
【図８】センサ部２１の動作の一例を説明するタイミングチャートである。
【図９】イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。
【図１０】本技術を適用したセンサチップの一実施の形態の構成例を示す図である。
【図１１】センサ部２０１の構成例を示すブロック図である。
【図１２】画素アレイ部２１１の構成例の概要を示す斜視図である。
【図１３】画素アレイ部２１１の構成例を示すブロック図である。
【図１４】画素ブロック４１の構成例を示す回路図である。
【図１５】イベント検出部５２ｋの構成例を示すブロック図である。
【図１６】量子化部８４の構成例を示すブロック図である。
【図１７】閾値設定部２３１ｋの構成例を示す回路図である。
【図１８】センサチップ２００の動作の例を説明するフローチャートである。
【図１９】光学フィルタ２２１ｋとして、CF３０１ｋを採用した場合の画素アレイ部２１１の構成例の概要を示す斜視図である。
【図２０】光学フィルタ２２１ｋとして、ベイヤ配列のCF３０１ｋを採用した場合の画素アレイ部２１１の構成例を示すブロック図である。
【図２１】光学フィルタ２２１ｋとして、ベイヤ配列のCF３０１ｋを採用した場合のイベントの検出と、画素信号の出力とを説明する図である。
【図２２】イベント閾値Vth(k)の設定により、イベント検出部５２ｋのゲインが調整されることを説明する図である。
【図２３】イベント閾値Vth(k)の設定により、イベント検出部５２ｋのゲインが調整されることを説明する図である。
【図２４】CF３０１の配列の例を示す図である。
【図２５】所定の色の光を透過する透過機構の例を示す図である。
【図２６】光学フィルタ２２１ｋとして、偏光フィルタ３３１ｋを採用した場合の画素アレイ部２１１の構成例の概要を示す斜視図である。
【図２７】光学フィルタ２２１ｋとして、ベイヤ配列の偏光フィルタ３３１ｋを採用した場合の画素アレイ部２１１の構成例を示すブロック図である。
【図２８】量子化部８４の他の構成例を示すブロック図である。
【図２９】閾値設定部２３１ｋが設定するイベント閾値Vth(k)(H)及びVth(k)(L)の例と、量子化部８４が出力する量子化値(H)及び量子化値(L)の例とを示す図である。
【図３０】イベント検出部５２ｋの構成例を示すブロック図である。
【図３１】減算部８３が有するオペアンプ１０２の構成例を示す回路図である。
【図３２】ゲイン調整機構２２２の他の例を有する画素アレイ部２１１の構成例を示すブロック図である。
【図３３】ゲイン調整機構２２２として機能するイベント検出部４０１ｋの第１の構成例を示すブロック図である。
【図３４】電流電圧変換部４１１の構成例を示す回路図である。
【図３５】電流電圧変換部４１１によるイベント検出部４０１ｋのゲインの調整方法を説明する図である。
【図３６】ゲイン調整機構２２２として機能するイベント検出部４０１ｋの第２の構成例を示すブロック図である。
【図３７】減算部４３１の構成例を示す回路図である。
【図３８】ゲインのfine調整とcoarse調整とが可能な画素アレイ部２１１の構成例を示すブロック図である。
【図３９】イベント検出部５０１ｋの構成例を示すブロック図である。
【図４０】イベント検出部５０１ｋのゲインのfine調整とcoarse調整とを説明する図である。
【図４１】イベント検出部５０１ｋのゲインのfine調整とcoarse調整との例を説明する図である。
【図４２】照明のスペクトルと、CFの分光特性との例を示す図である。
【図４３】R光、G光、B光に対する感度の調整の例を示す図である。
【図４４】車両制御システムの概略的な構成の一例を示すブロック図である。
【図４５】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下、本技術の実施の形態について説明するが、その前段階の準備として、本技術が適用され得る非同期型のイメージセンサとしてのセンサチップについて説明する。
【００１３】
＜本技術が適用され得るセンサチップ＞
【００１４】
図１は、本技術が適用され得るセンサチップの構成例を示す図である。
【００１５】
センサチップ１０は、１チップの半導体チップであり、複数のダイ（基板）としてのセンサダイ（基板）１１とロジックダイ１２とが積層されて構成される。なお、センサチップ１０は、１個のダイで構成することもできるし、３個以上のダイを積層して構成することもできる。
【００１６】
図１のセンサチップ１０において、センサダイ１１には、センサ部２１（としての回路）が構成され、ロジックダイ１２には、ロジック部２２が構成されている。なお、センサ部２１については、その一部を、ロジックダイ１２に構成することができる。また、ロジック部２２については、その一部を、センサダイ１１に構成することができる。
【００１７】
センサ部２１は、入射光の光電変換を行って電気信号を生成する画素を有し、画素の電気信号の変化であるイベントの発生を表すイベントデータをイベント検出部５２（図３）生成する。センサ部２１は、イベントデータを、ロジック部２２に供給する。すなわち、センサ部２１は、画素において、入射光の光電変換を行って電気信号を生成する撮像を行い、電気信号の出力を行う。センサ部２１は、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成するだけでなく撮像データ（画素信号）を画素信号生成部５３（図３）から、ロジック部２２に出力する。
【００１８】
ここで、同期型のイメージセンサとは、垂直同期信号に同期して撮像を行い、ラスタスキャン形式でフレームデータを出力するイメージセンサである。センサ部２１は、イベントデータを出力するにあたり、垂直同期信号に同期して動作するわけではないので、同期型のイメージセンサに対して、非同期型（のイメージセンサ）である、ということができる。
【００１９】
なお、センサ部２１では、上述のとおり、イベントデータの他、同期型のイメージセンサと同様に、フレームデータを生成して出力することができる。さらに、センサ部２１では、イベントが発生した画素の電気信号を、フレームデータの画素の画素値となる画素信号として、イベントデータととともに出力することができる。
【００２０】
ロジック部２２は、必要に応じて、センサ部２１の制御を行う。また、ロジック部２２は、センサ部２１からのイベントデータに応じて、フレームデータを生成するデータ処理や、センサ部２１からの撮像データ、又は、センサ部２１からのイベントデータに応じて生成されたフレームデータを対象とする画像処理等の各種のデータ処理を行い、イベントデータや、フレームデータ、撮像データの各種のデータ処理を行うことにより得られるデータ処理結果を出力する。
【００２１】
＜センサ部２１の構成例＞
【００２２】
図２は、図１のセンサ部２１の構成例を示すブロック図である。
【００２３】
センサ部２１は、画素アレイ部３１、駆動部３２、アービタ３３、AD(Analog to Digital)変換部３４、及び、出力部３５を備える。
【００２４】
画素アレイ部３１は、複数の画素５１（図３）が２次元格子状に配列されて構成される。画素アレイ部３１は、画素５１の光電変換によって生成される電気信号としての光電流に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。画素アレイ部３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３に出力する。そして、画素アレイ部３１は、アービタ３３からイベントデータの出力の許可を表す応答を受け取った場合、イベントデータを、駆動部３２及び出力部３５に出力する。さらに、画素アレイ部３１は、イベントが検出された画素５１の電気信号を、画素信号生成部５３を介して画素信号として、AD変換部３４に出力する。
【００２５】
駆動部３２は、画素アレイ部３１に制御信号を供給することにより、画素アレイ部３１を駆動する。例えば、駆動部３２は、画素アレイ部３１からイベントデータが出力された画素５１を駆動し、その画素５１の画素信号を、AD変換部３４に供給（出力）させる。
【００２６】
アービタ３３は、画素アレイ部３１からのイベントデータの出力を要求するリクエストを調停し、イベントデータの出力の許可又は不許可を表す応答やイベント検出をリセットするリセット信号を、画素アレイ部３１に返す。
【００２７】
AD変換部３４は、例えば、後述する画素ブロック４１（図３）の列ごとに、例えば、シングルスロープ型のADC(AD Converter)（図示せず）を有する。AD変換部３４は、各列のADCにおいて、その列の画素ブロック４１の画素５１の画素信号をAD変換し、出力部３５に供給する。なお、AD変換部３４では、画素信号のAD変換とともに、CDS(Correlated Double Sampling)を行うことができる。
【００２８】
出力部３５は、AD変換部３４からの画素信号や、画素アレイ部３１からのイベントデータに必要な処理を施し、ロジック部２２より出力する。
【００２９】
ここで、画素５１で生成される光電流の変化は、画素５１に入射する光の光量変化とも捉えることができるので、イベントは、画素５１の光量変化（閾値を超える光量変化）であるとも言うことができる。
【００３０】
イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素ブロックの位置を表す位置情報（座標等）が含まれる。その他、イベントデータには、光量変化の極性（正負）を含ませることができる。
【００３１】
画素アレイ部３１からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した（相対的な）時刻を表す時刻情報を暗示的に含んでいるということができる。但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のままには維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、出力部３５は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した（相対的な）時刻を表す時刻情報を含める。イベントデータに時刻情報を含める処理は、イベントデータに暗示的に含まれる時刻情報が失われる前であれば、出力部３５以外の任意のブロックで行うことができる。
【００３２】
＜画素アレイ部３１の構成例＞
【００３３】
図３は、図２の画素アレイ部３１の構成例を示すブロック図である。
【００３４】
画素アレイ部３１は、複数の画素ブロック４１を有する。画素ブロック４１は、I行×J列（I及びJは整数）に配列された１以上のI×J個の画素５１、イベント検出部５２、及び、画素信号生成部５３を備える。画素ブロック４１内の１以上の画素５１は、イベント検出部５２及び画素信号生成部５３を共有する。また、画素ブロック４１の列ごとには、画素ブロック４１とAD変換部３４のADCとを接続するVSL(Vertical Signal Line)が配線される。
【００３５】
画素５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。画素５１は、駆動部３２の制御に従って、光電流を、イベント検出部５２に供給する。
【００３６】
イベント検出部５２は、駆動部３２の制御に従って、画素５１のそれぞれからの光電流の所定の閾値を超える変化を、イベントとして検出する。イベント検出部５２は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するリクエストを、アービタ３３（図２）に供給する。そして、イベント検出部５２は、リクエストに対して、イベントデータの出力を許可する旨の応答を、アービタ３３から受け取ると、イベントデータを、駆動部３２及び出力部３５に出力する。
【００３７】
画素信号生成部５３は、イベント検出部５２においてイベントが検出された場合に、駆動部３２の制御に従って、画素５１の光電変換された電圧を画素信号として生成し、VSLを介して、AD変換部３４に供給する。
【００３８】
ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。画素信号生成部５３では、画素信号の生成を、イベントとしての光電流の所定の閾値を超える変化が検出された場合の他、イベントとしての光電流の所定の閾値を超える変化がなかったことが検出された場合に行うことができる。
【００３９】
＜画素ブロック４１の構成例＞
【００４０】
図４は、画素ブロック４１の構成例を示す回路図である。
【００４１】
画素ブロック４１は、図３で説明したように、画素５１、イベント検出部５２、及び、画素信号生成部５３を備える。
【００４２】
画素５１は、光電変換素子６１、転送トランジスタ６２及び６３を備える。
【００４３】
光電変換素子６１は、例えば、PD(Photodiode)で構成され、入射光を受光し、光電変換して電荷を生成する。
【００４４】
転送トランジスタ６２は、例えば、N(Negative)型のMOS(Metal-Oxide-Semiconductor) FET(Field Effect Transistor)で構成される。画素ブロック４１を構成するI×J個の画素５１のうちのn番目の画素５１を構成する転送トランジスタ６２は、駆動部３２（図２）から供給される制御信号ORGnに従ってオン／オフする。転送トランジスタ６２がオンすることにより、光電変換素子６１で生成された電荷は、光電流として、イベント検出部５２に転送（供給）される。
【００４５】
転送トランジスタ６３は、例えば、N型のMOS(NMOS) FETで構成される。画素ブロック４１を構成するI×J個の画素５１のうちのn番目の画素５１を構成する転送トランジスタ６３は、駆動部３２から供給される制御信号（転送信号）TRGnに従ってオン／オフする。転送トランジスタ６３がオンすることにより、光電変換素子６１で生成された電荷は、画素信号生成部５３のFD７４に転送される。
【００４６】
画素ブロック４１を構成するI×J個の画素５１は、ノード６０を介して、その画素ブロック４１を構成するイベント検出部５２に接続されている。したがって、画素５１（の光電変換素子６１）で生成された光電流は、ノード６０を介して、イベント検出部５２に供給される。その結果、イベント検出部５２には、画素ブロック４１内のすべての画素５１の光電流の和が供給される。したがって、イベント検出部５２では、画素ブロック４１を構成するI×J個の画素５１から供給される光電流の和の変化がイベントとして検出される。
【００４７】
画素信号生成部５３は、リセットトランジスタ７１、増幅トランジスタ７２、選択トランジスタ７３、及び、FD(Floating Diffusion)７４を備える。
【００４８】
リセットトランジスタ７１、増幅トランジスタ７２、及び、選択トランジスタ７３は、例えば、N型のMOS FETで構成される。
【００４９】
リセットトランジスタ７１は、駆動部３２（図２）から供給される制御信号RSTに従ってオン／オフする。リセットトランジスタ７１がオンすることにより、FD７４が電源VDDに接続され、FD７４に蓄積された電荷が電源VDDに排出される。これにより、FD７４は、リセットされる。
【００５０】
増幅トランジスタ７２のゲートはFD７４に、ドレインは電源VDDに、ソースは、選択トランジスタ７３を介してVSLに、それぞれ接続される。増幅トランジスタ７２は、ソースフォロアになっており、ゲートに供給されるFD７４の電圧に対応する電圧（電気信号）を、選択トランジスタ７３を介してVSLに出力する。
【００５１】
選択トランジスタ７３は、駆動部３２から供給される制御信号SELに従ってオン／オフする。選択トランジスタ７３がオンすることにより、増幅トランジスタ７２からのFD７４の電圧に対応する電圧が、VSLに出力される。
【００５２】
FD７４は、画素５１の光電変換素子６１から転送トランジスタ６３を介して転送されてくる電荷を蓄積し、電圧に変換する。
【００５３】
以上のように構成される画素５１及び画素信号生成部５３については、駆動部３２は、転送トランジスタ６２を、制御信号OFGnによりオンにして、画素５１の光電変換素子６１で生成された電荷による光電流を、イベント検出部５２に供給させる。これにより、イベント検出部５２には、画素ブロック４１内のすべての画素５１の光電流の和の電流が供給される。
【００５４】
画素ブロック４１において、イベント検出部５２が、イベントとしての光電流（の和）の変化を検出すると、駆動部３２は、その画素ブロック４１のすべての画素５１の転送トランジスタ６２をオフにして、イベント検出部５２への光電流の供給を停止させる。そして、駆動部３２は、イベントの検出後、制御信号（選択信号）SELにて画素５１の行を選択後に光電変換素子６１をリセットし、露光を開始させる。駆動部３２は、露光完了後に転送信号TRGnにより、イベントが検出された画素ブロック４１内の画素５１の転送トランジスタ６３を順にオンにして、光電変換素子６１で生成された電荷をFD７４に転送させる。FD７４では、画素５１（の光電変換素子６１）から転送される電荷が蓄積される。FD７４に蓄積された電荷に対応する電圧は、画素５１の画素信号として、増幅トランジスタ７２及び選択トランジスタ７３を介して、VSLに出力される。
【００５５】
以上のように、センサ部２１（図２）では、イベントが検出された画素ブロック４１のみの画素５１の画素信号が、順に、VSLに出力される。VSLに出力された画素信号は、AD変換部３４に供給され、AD変換される。
【００５６】
ここで、画素ブロック４１内の各画素５１については、転送トランジスタ６３を順にオンにするのではなく、同時にオンにすることができる。この場合、画素ブロック４１内のすべての画素５１の画素信号の和を出力することができる。
【００５７】
図３の画素アレイ部３１において、画素ブロック４１が複数の画素５１で構成される場合には、その複数の画素５１で、イベント検出部５２及び画素信号生成部５３が共有される。これにより、１個の画素５１に対して、１個のイベント検出部５２及び１個の画素信号生成部５３を設ける場合に比較して、イベント検出部５２及び画素信号生成部５３の数を少なくすることができ、画素アレイ部３１の規模を抑制することができる。
【００５８】
なお、画素ブロック４１は、複数の画素５１ではなく、１個の画素５１で構成することができる。
【００５９】
さらに、画素ブロック４１では、画素５１ごとに、イベント検出部５２を設けることができる。画素ブロック４１の複数の画素５１で、イベント検出部５２を共有する場合には、画素ブロック４１の単位でイベントが検出されるが、画素５１ごとに、イベント検出部５２を設ける場合には、画素５１の単位で、イベントを検出することができる。
【００６０】
また、画素信号を出力する必要ない場合には、画素ブロック４１は、画素信号生成部５３を設けずに構成することができる。画素ブロック４１を、画素信号生成部５３を設けずに構成する場合には、AD変換部３４及び転送トランジスタ６３を設けずに、センサ部２１を構成することができる。この場合、画素アレイ部３１の規模を抑制することができる。
【００６１】
＜イベント検出部５２の構成例＞
【００６２】
図５は、図３のイベント検出部５２の構成例を示すブロック図である。
【００６３】
イベント検出部５２は、電流電圧変換部８１、バッファ８２、減算部８３、量子化部８４、及び、転送部８５を備える。
【００６４】
電流電圧変換部８１は、画素５１からの光電流（の和）を、その光電流の対数に対応する電圧（以下、光電圧ともいう）に変換し、バッファ８２に供給する。
【００６５】
バッファ８２は、電流電圧変換部８１からの光電圧をバッファリングし、減算部８３に供給する。
【００６６】
減算部８３は、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号を、量子化部８４に供給する。
【００６７】
量子化部８４は、減算部８３からの差信号をディジタル信号に量子化し、差信号の量子化値を、転送部８５に供給する。
【００６８】
転送部８５は、量子化部８４からの差信号の量子化値に応じて、イベントデータを、出力部３５に転送（出力）する。すなわち、転送部８５は、イベントデータの出力を要求するリクエストを、アービタ３３に供給する。そして、転送部８５は、リクエストに対して、イベントデータの出力を許可する旨の応答をアービタ３３から受け取ると、イベントデータを、出力部３５に出力する。
【００６９】
＜電流電圧変換部８１の構成例＞
【００７０】
図６は、図５の電流電圧変換部８１の構成例を示す回路図である。
【００７１】
電流電圧変換部８１は、トランジスタ９１ないし９３で構成される。トランジスタ９１及び９３としては、例えば、N型のMOS FETを採用することができ、トランジスタ９２としては、例えば、P型のMOS(PMOS) FETを採用することができる。
【００７２】
トランジスタ９１のソースは、トランジスタ９３のゲートと接続され、トランジスタ９１のソースとトランジスタ９３のゲートとの接続点には、画素５１からの光電流が供給される。トランジスタ９１のドレインは、電源VDDに接続され、そのゲートは、トランジスタ９３のドレインに接続される。
【００７３】
トランジスタ９２のソースは、電源VDDに接続され、そのドレインは、トランジスタ９１のゲートとトランジスタ９３のドレインとの接続点に接続される。トランジスタ９２のゲートには、所定のバイアス電圧Vbiasが印加される。
【００７４】
トランジスタ９３のソースは接地される。
【００７５】
電流電圧変換部８１において、トランジスタ９１のドレインは電源VDD側に接続されており、ソースフォロワになっている。ソースフォロワになっているトランジスタ９１と、そのソースにゲートが接続されているトランジスタ９３より、画素５１からの光電流は、その光電流の対数に対応する光電圧に変換される。
【００７６】
光電圧は、トランジスタ９１のゲートとトランジスタ９３のドレインとの接続点から、バッファ８２（図５）に供給される。
【００７７】
＜減算部８３及び量子化部８４の構成例＞
【００７８】
図７は、図５の減算部８３及び量子化部８４の構成例を示す回路図である。
【００７９】
減算部８３は、コンデンサ１０１、オペアンプ１０２、コンデンサ１０３、及び、スイッチ１０４を備える。量子化部８４は、コンパレータ１１１を備える。
【００８０】
コンデンサ１０１の一端は、バッファ８２（図５）の出力端子に接続され、他端は、オペアンプ１０２の入力端子に接続される。したがって、オペアンプ１０２の入力端子には、コンデンサ１０１を介して光電圧が入力される。
【００８１】
オペアンプ１０２の出力端子は、コンパレータ１１１の非反転入力端子（＋）に接続される。
【００８２】
コンデンサ１０３の一端は、オペアンプ１０２の入力端子に接続され、他端は、オペアンプ１０２の出力端子に接続される。
【００８３】
スイッチ１０４は、コンデンサ１０３の両端の接続をオン／オフするように、コンデンサ１０３に接続される。スイッチ１０４は、アービタ３３からのリセット信号に従ってイベント検出後等にオン／オフすることにより、コンデンサ１０３の両端の接続をオン／オフする。
【００８４】
スイッチ１０４をオンした際のコンデンサ１０１のバッファ８２（図５）側の光電圧をVinitと表すとともに、コンデンサ１０１の容量（静電容量）をC1と表すこととする。オペアンプ１０２の入力端子は、仮想接地になっており、スイッチ１０４がオンである場合にコンデンサ１０１に蓄積される電荷Qinitは、式（１）により表される。
【００８５】
Qinit = C1 ×Vinit
・・・（１）
【００８６】
また、スイッチ１０４がオンである場合には、コンデンサ１０３の両端は短絡されるため、コンデンサ１０３に蓄積される電荷はゼロとなる。
【００８７】
その後、スイッチ１０４がオフになった場合の、コンデンサ１０１のバッファ８２（図５）側の光電圧を、Vafterと表すこととすると、スイッチ１０４がオフになった場合にコンデンサ１０１に蓄積される電荷Qafterは、式（２）により表される。
【００８８】
Qafter = C1×Vafter
・・・（２）
【００８９】
コンデンサ１０３の容量をC2と表すとともに、オペアンプ１０２の出力電圧をVoutと表すこととすると、コンデンサ１０３に蓄積される電荷Q2は、式（３）により表される。
【００９０】
Q2 = -C2×Vout
・・・（３）
【００９１】
スイッチ１０４がオフする前後で、コンデンサ１０１の電荷とコンデンサ１０３の電荷とを合わせた総電荷量は変化しないため、式（４）が成立する。
【００９２】
Qinit = Qafter + Q2
・・・（４）
【００９３】
式（４）に式（１）ないし式（３）を代入すると、式（５）が得られる。
【００９４】
Vout = -(C1/C2)×(Vafter - Vinit)
・・・（５）
【００９５】
式（５）によれば、減算部８３では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差Vafter - Vinitに対応する差信号Voutの算出が行われる。式（５）によれば、減算部８３の減算のゲインはC1/C2となる。通常、ゲインを最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ブロック４１ごとに減算部８３を含むイベント検出部５２が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1及びC2の値が決定される。
【００９６】
コンパレータ１１１は、減算部８３からの差信号と、反転入力端子（−）に印加された所定の閾値（電圧）Vthとを比較する。コンパレータ１１１は、差信号と閾値Vthとの比較結果を表す、例えば、H(High)レベル又はL(Low)レベルを、差信号の量子化値として、転送部８５に出力する。
【００９７】
転送部８５は、量子化部８４からの差信号の量子化値に応じて、イベントとしての光量変化が発生したと認められる場合、すなわち、差信号(Vout)が閾値Vthより大（又は小）である場合に、イベントの発生を表すイベントデータ（例えば、Hレベル）を、出力部３５に出力する。例えば、転送部８５は、量子化部８４からの差信号の量子化値を、イベントデータとして、出力部３５に出力する。
【００９８】
出力部３５は、転送部８５からのイベントデータに、そのイベントデータが表すイベントが発生した画素５１（を有する画素ブロック４１）の位置情報、及び、イベントが発生した時刻を表す時刻情報、さらには、必要に応じて、イベントとしての光量変化の極性を含めて出力する。
【００９９】
イベントが発生した画素５１の位置情報、イベントが発生した時刻を表す時刻情報、イベントとしての光量変化の極性を含むイベントデータのデータ形式としては、例えば、AER(Address Event Representation)と呼ばれるデータ形式を採用することができる。
【０１００】
なお、イベント検出部５２全体のゲインAは、電流電圧変換部８１のゲインをCGlogとし、バッファ８２のゲインを1とし、量子化部８４のゲインをGとすると、次の式により表される。
【０１０１】
A = CGlogC1/C2G（Σiphoto_n）
・・・（６）
【０１０２】
iphoto_nは、画素ブロック４１を構成するI×J個の画素５１のうちのn番目の画素５１の光電流を表す。式（６）のΣは、nを、１からI×Jまでの整数に変化させてとるサメーションを表す。
【０１０３】
なお、画素５１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素５１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素５１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素５１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施の形態では、画素５１において、入射光として、可視光を受光することとする。
【０１０４】
図８は、図２のセンサ部２１の動作の一例を説明するタイミングチャートである。
【０１０５】
タイミングT0において、駆動部３２は、制御信号OFGnを全てLレベルからHレベルにして、画素ブロック４１内の全画素５１の転送トランジスタ６２をオンにする。これにより、画素ブロック４１内の全画素５１の光電流の和が、イベント検出部５２に供給される。このとき、転送信号TRGnはすべてLレベルであり、全画素５１の転送トランジスタ６３はオフである。
【０１０６】
例えば、タイミングT1において、イベント検出部５２は、イベントを検出すると、そのイベントの検出に応じて、Hレベルのイベントデータを出力する。
【０１０７】
駆動部３２は、Hレベルのイベントデータに応じて、タイミングT2において制御信号OFGnをすべてLレベルにして、画素５１からイベント検出部５２への光電流の供給を停止させる。また、駆動部３２は、制御信号SELをHレベルにし、制御信号RST及び転送信号TRGnを一定期間だけHレベルにして、光電変換素子６１の電荷を電源VDDに排出させることで、画素５１をリセットする。駆動部３２は、露光時間終了後に制御信号RSTをHレベルにして、FD７４をリセットする。画素信号生成部５３は、FD７４のリセット時のFD７４の電圧に対応する画素信号を、リセットレベルとして出力し、AD変換部３４は、そのリセットレベルをAD変換する。
【０１０８】
リセットレベルのAD変換後、駆動部３２は、転送信号TRG1を一定期間だけHレベルにして、イベントが検出された画素ブロック４１内の１つ目の画素５１（の光電変換素子６１）の光電変換により生成された電荷を、FD７４に転送させる。画素信号生成部５３は、画素５１から電荷が転送されたFD７４の電圧に対応する画素信号を、信号レベルとして出力し、AD変換部３４は、その信号レベルをAD変換する。
【０１０９】
AD変換部３４は、AD変換後の信号レベルとリセットレベルとの差分を、画像（フレームデータ）の画素値となる画素信号として、出力部３５に出力する。
【０１１０】
ここで、信号レベルとリセットレベルとの差分を、画像の画素値となる画素信号として求める処理は、CDSと呼ばれる。CDSは、信号レベル及びリセットレベルのAD変換後に行う他、AD変換部３４でシングルスロープ型のAD変換が行われる場合には、リセットレベルのAD変換結果を、初期値として、信号レベルのAD変換を行うことにより、信号レベル及びリセットレベルのAD変換と同時に行うことができる。
【０１１１】
画素ブロック４１内の１つ目の画素５１の画素信号のAD変換後、駆動部３２は、転送信号TRG2を一定期間だけHレベルにすることで、イベントが検出された画素ブロック４１内の２つ目の画素５１の画素信号を出力させる。
【０１１２】
センサ部２１では、以下、同様の動作が行われ、イベントが検出された画素ブロック４１内のそれぞれの画素５１の画素信号が順に出力される。
【０１１３】
画素ブロック４１内のイベントが検出された画素５１の画素信号が出力されると、駆動部３２は、制御信号OFGnをHレベルにして、画素ブロック４１内の画素５１の転送トランジスタ６２をオンにし、以下、同様の動作が繰り返される。
【０１１４】
＜イベントデータに応じたフレームデータの生成＞
【０１１５】
図９は、イベントデータに応じて、フレームデータを生成する方法の例を説明する図である。
【０１１６】
ロジック部２２は、例えば、外部からの指令等に応じて、フレーム間隔及びフレーム幅を設定する。ここで、フレーム間隔とは、イベントデータに応じて生成されるフレームデータのフレームの間隔を表す。フレーム幅とは、１フレームのフレームデータの生成に用いるイベントデータの時間幅を表す。ロジック部２２が設定したフレーム間隔及びフレーム幅を、それぞれ、設定フレーム間隔及び設定フレーム幅ともいう。
【０１１７】
ロジック部２２は、設定フレーム間隔及び設定フレーム幅、並びに、センサ部２１からのイベントデータに応じて、フレーム形式の画像データであるフレームデータを生成することにより、イベントデータをフレームデータに変換する。
【０１１８】
すなわち、ロジック部２２は、設定フレーム間隔ごとに、設定フレーム間隔の先頭から設定フレーム幅内のイベントデータに応じて、フレームデータを生成する。
【０１１９】
いま、イベントデータが、イベントが発生した時刻を表す時刻情報（以下、イベントの時刻ともいう）ti、及び、イベントが発生した画素５１（を有する画素ブロック４１）の位置情報（以下、イベントの位置ともいう）としての座標(x, y)を含むこととする。
【０１２０】
図９では、x軸、y軸、及び、時間軸tで構成される３次元（時）空間において、イベントデータとしての点が、そのイベントデータに含まれるイベントの時刻t、及び、イベントの位置（としての座標）(x, y)にプロットされている。
【０１２１】
すなわち、イベントデータに含まれるイベントの時刻t、及び、イベントの位置(x, y)で表される３次元空間上の位置(x, y, t)を、イベントの時空間位置ということとすると、図９では、イベントデータが、イベントの時空間位置(x, y, t)に、点としてプロットされている。
【０１２２】
ロジック部２２は、例えば、外部からフレームデータの生成が指示された時刻や、センサチップ１０の電源がオンにされた時刻等の所定の時刻を、フレームデータの生成を開始する生成開始時刻として、イベントデータに応じたフレームデータの生成を開始する。
【０１２３】
いま、生成開始時刻から、設定フレーム間隔ごとの、時間軸t方向に、設定フレーム幅の厚み（高さ）を有する直方体をフレームボリュームということとする。フレームボリュームのx軸方向及びy軸方向のサイズは、例えば、画素ブロック４１又は画素５１のx軸方向及びy軸方向の個数に等しい。
【０１２４】
ロジック部２２は、設定フレーム間隔ごとに、設定フレーム間隔の先頭から設定フレーム幅のフレームボリューム内のイベントデータに応じて（イベントデータを用いて）、１フレームのフレームデータを生成する。
【０１２５】
フレームデータの生成は、例えば、イベントデータに含まれるイベントの位置(x, y)のフレームの画素（の画素値）を白色に、フレームの他の位置の画素をグレー等の所定の色にセットすることで行うことができる。
【０１２６】
その他、フレームデータの生成は、イベントデータがイベントとしての光量変化の極性を含む場合には、イベントデータに含まれる極性を考慮して行うことができる。例えば、極性が正である場合には、画素を白色にセットし、極性が負である場合には、画素を黒色にセットすることができる。
【０１２７】
さらに、図３及び図４で説明したように、イベントデータを出力するとともに、画素５１の画素信号を出力する場合には、イベントデータに応じ、画素５１の画素信号を用いて、フレームデータを生成することができる。すなわち、フレームにおいて、イベントデータに含まれるイベントの位置(x, y)の（画素ブロック４１に対応するブロック内の）画素を、その位置(x, y)の画素５１の画素信号にセットするとともに、他の位置の画素をグレー等の所定の色にセットすることで、フレームデータを生成することができる。
【０１２８】
なお、フレームボリューム内には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一のイベントデータが複数存在する場合がある。この場合、例えば、イベントの時刻tが最も新しい又は古いイベントデータを優先させることができる。また、イベントデータが極性を含む場合には、イベントの時刻tが異なるが、イベントの位置(x, y)が同一の複数のイベントデータの極性を加算し、その加算により得られる加算値に応じた画素値を、イベントの位置(x, y)の画素にセットすることができる。
【０１２９】
ここで、フレーム幅とフレーム間隔とが同一である場合、フレームボリュームは、隙間なく接した状態となる。また、フレーム間隔がフレーム幅より大である場合、フレームボリュームは、隙間を空けて並んだ状態となる。フレーム幅がフレーム間隔より大である場合、フレームボリュームは、一部が重複する形で並んだ状態となる。
【０１３０】
＜本技術を適用したセンサチップ＞
【０１３１】
図１０は、本技術を適用したセンサチップの一実施の形態の構成例を示す図である。
【０１３２】
なお、図中、図１のセンサチップ１０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１３３】
図１０のセンサチップ２００は、図１のセンサチップ１０と同様に、非同期型の（イメージ）センサであり、センサダイ１１とロジックダイ１２とが積層されて構成される。そして、センサダイ１１には、センサ部２０１が構成され、ロジックダイ１２には、ロジック部２２が構成されている。
【０１３４】
したがって、図１０のセンサチップ２００は、センサダイ１１とロジックダイ１２とで構成され、ロジックダイ１２に、ロジック部２２が構成されている点で、図１のセンサチップ１０と共通する。但し、センサチップ２００は、センサダイ１１に、センサ部２１に代えて、センサ部２０１が構成されている点で、センサチップ１０と相違する。
【０１３５】
＜センサ部２０１の構成例＞
【０１３６】
図１１は、図１０のセンサ部２０１の構成例を示すブロック図である。
【０１３７】
なお、図中、図２のセンサ部２１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１３８】
図１１において、センサ部２０１は、駆動部３２、アービタ３３、AD変換部３４、出力部３５、及び、画素アレイ部２１１を備える。
【０１３９】
図２において、例えば、センサ部２１が、画素アレイ部３１を有し、ロジック部２２が、駆動部３２ないし出力部３５を有することとすると、図１１のセンサ部２０１は、駆動部３２ないし出力部３５を有し、図２のセンサ部２１は、駆動部３２ないし出力部３５を有しない点で、センサ部２０１とセンサ部２１とは相違する。さらに、センサ部２０１は、画素アレイ部３１に代えて、画素アレイ部２１１を有し、センサ部２１は、画素アレイ部３１を有する点で、センサ部２０１とセンサ部２１とは相違する。
【０１４０】
＜画素アレイ部２１１の構成例＞
【０１４１】
図１２は、図１１の画素アレイ部２１１の構成例の概要を示す斜視図である。
【０１４２】
画素アレイ部２１１は、画素アレイ部３１と同様に、複数の画素５１が２次元格子状に配列されて構成される。
【０１４３】
画素５１の、入射光が入射する側には、所定の光を透過する透過機構としての光学フィルタ２２１ｋが設けられている。
【０１４４】
光学フィルタ２２１ｋは、その光学フィルタ２２１ｋに入射する入射光のうちの、所定の波長（帯）の光や、所定の偏光方向の光（偏光）を透過し、その光学フィルタ２２１ｋが設けられた画素５１に入射させる。
【０１４５】
したがって、画素アレイ部２１１において、画素５１は、その画素５１に設けられている光学フィルタ２２１ｋを透過した光を受光し、光電変換を行うことによって、その光に対応する電気信号としての光電流を生成する。
【０１４６】
画素アレイ部２１１は、画素アレイ部３１と同様に、イベント検出部５２を有する。但し、画素アレイ部３１では、イベント検出部５２は、画素ブロック４１（図３）ごとに設けられていたが、画素アレイ部２１１では、画素５１ごとに設けられている。
【０１４７】
イベント検出部５２は、そのイベント検出部５２が設けられた画素５１の電気信号としての光電流に所定の閾値を超える変化をイベントとして検出する。
【０１４８】
図１２では、光学フィルタ２２１ｋとして、光学フィルタ２２１１，２２１２，２２１３，及び、２２１４の４種類が存在する。光学フィルタ２２１１ないし２２１４は、透過させる光の波長（帯）や偏光方向が異なるように構成される。したがって、光学フィルタ２２１１ないし２２１４を透過した光を受光する画素５１それぞれでは、異なる種類の光、すなわち、波長や偏光方向等が異なる光が受光される。
【０１４９】
光学フィルタ２２１１は、横×縦が2×2画素のうちの左上の画素５１の位置に設けられ、光学フィルタ２２１２は、右上の画素５１の位置に設けられている。光学フィルタ２２１３は、左下の画素５１の位置に設けられ、光学フィルタ２２１４は、右下の画素５１の位置に設けられている。
【０１５０】
光学フィルタ２２１１ないし２２１４は、以上のような2×2に配置された光学フィルタ２２１１ないし２２１４を単位として、画素アレイ部２１１に２次元格子状に配列された画素５１に、繰り返し（周期的に）配置されている。
【０１５１】
以下、光学フィルタ２２１１ないし２２１４を区別する必要がない場合、単に、光学フィルタ２２１とも記載する。
【０１５２】
また、光学フィルタ２２１が、上述したように、ある単位で繰り返し配置される場合の、その繰り返しの単位を、繰り返し単位ともいう。図１２では、2×2に配置された光学フィルタ２２１１ないし２２１４が繰り返し単位である。
【０１５３】
図１２では、所定の光を透過する透過機構として、異なる光を透過する2×2に配置された光学フィルタ２２１１ないし２２１４（を繰り返し単位として繰り返し配置された光学フィルタ）を採用したので、画素アレイ部２１１を構成する各画素５１では、光学フィルタ２２１１ないし２２１４のいずれかを透過した光、すなわち、4種類の光のうちのいずれかが受光される。透過機構としては、画素５１において、4種類の光のうちのいずれかが受光される機構の他、2若しくは3種類の光のうちのいずれかが受光される機構、又は、4種類以上の光のうちのいずれかが受光される機構を採用することができる。
【０１５４】
ここで、所定の光を透過するということは、所定の光以外の光を遮断することであるから、光学フィルタ２２１等の、所定の光を透過する透過機構は、所定の光を遮断する遮断機構でもある。また、透過機構は、透過する光又は遮断する光を選択する選択機構であるということもできる。
【０１５５】
画素アレイ部２１１には、その他、ゲイン調整機構２２２が設けられている。ゲイン調整機構２２２は、例えば、透過機構としての光学フィルタ２２１ｋが透過する光（の種類）ごとに、イベント検出部５２のゲインを直接的又は間接的（擬似的）に調整する。ゲイン調整機構２２２は、透過機構としての光学フィルタ２２１ｋが透過する光ごとの、イベント検出部５２のゲインの調整を、センサチップ２００において、被写体を撮像する環境、例えば、被写体を照明する蛍光灯や白熱灯等の光源の色温度に応じて行うことができる。例えば、被写体を撮像するときの光源の色温度に応じて、透過機構としての光学フィルタ２２１ｋが透過する光ごとに、各光のイベントの検出の感度が同一になるように、イベント検出部５２のゲインを調整することができる。
【０１５６】
なお、図１２において、ゲイン調整機構２２２は、イベント検出部５２の下部に示されているが、図１２は、画素アレイ部２１１が、ゲイン調整機構２２２を有することを模式的に示した図であり、ゲイン調整機構２２２は、必ずしも、イベント検出部５２の下部に設けられるわけではない。
【０１５７】
また、ゲイン調整機構２２２によるゲインの調整は、ホワイトバランス等のゲインの設定後に行うことができる。
【０１５８】
図１３は、図１２の画素アレイ部２１１の構成例を示すブロック図である。
【０１５９】
なお、図中、図３の画素アレイ部３１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１６０】
画素アレイ部２１１は、複数の画素ブロック４１、並びに、繰り返し単位である2×2個の光学フィルタ２２１を透過する光（の種類）に対応する4個の閾値設定部２３１１，２３１２，２３１３、及び、２３１４を備える。画素ブロック４１は、複数としての、例えば、繰り返し単位に対応する2×2個の画素５１である画素５１１，５１２，５１３、及び、５１４、画素５１ｋごとに設けられたイベント検出部５２であるイベント検出部５２１，５２２，５２３、及び、５２４、並びに、画素信号生成部５３を備える。また、画素ブロック４１の列ごとには、画素ブロック４１とAD変換部３４のADCとを接続するVSLが配線されている。
【０１６１】
したがって、画素アレイ部２１１は、複数の画素ブロック４１を有する点、画素ブロック４１が、画素５１ｋ、イベント検出部５２ｋ、及び、画素信号生成部５３を有する点、並びに、画素ブロック４１とAD変換部３４のADCとを接続するVSLが配線されている点で、図３の画素アレイ部３１と共通する。
【０１６２】
但し、画素アレイ部２１１は、画素ブロック４１が繰り返し単位に対応する2×2個の画素５１１ないし５１４を新たに有する点、イベント検出部５２ｋが画素５１ｋごとに設けられている点、及び、閾値設定部２３１１ないし２３１４が新たに設けられている点で、図３の画素アレイ部３１と相違する。
【０１６３】
したがって、画素アレイ部３１（図３、図４）では、画素ブロック４１を構成する１以上の画素５１の光電流の和の変化がイベントとして検出されるのに対して、画素アレイ部２１１では、イベント検出部５２１ないし５２４において、画素ブロック４１内の2×2個の画素５１１ないし５１４の光電流の変化が、それぞれイベントとして検出される。
【０１６４】
なお、画素アレイ部２１１では、画素ブロック４１の画素５１１ないし５１４の１以上においてイベントが発生した場合、すなわち、イベント検出部５２１ないし５２４のいずれかに１以上においてイベントが検出された場合に、イベントが検出された１以上のイベント検出部５２ｋそれぞれが出力するイベントデータを、１つのイベントデータに統合して（まとめて）出力することができる。
【０１６５】
閾値設定部２３１ｋは、ゲイン調整機構２２２の例であり、イベントを検出するときに用いられる閾値（以下、イベント閾値ともいう）を、透過機構としての光学フィルタ２２１が透過する光（の種類）ごとに設定する。閾値設定部２３１ｋは、例えば、外部からの指令に応じて、又は、外部からの指令に応じて図示せぬ内蔵レジスタに設定される設定値に応じて、イベント閾値を設定（調整）することができる。
【０１６６】
ここで、光学フィルタ２２１ｋは、画素５１ｋに対して設けられており、画素５１ｋは、その画素５１ｋに対して設けられた光学フィルタ２２１ｋを透過した光を受光する。
【０１６７】
閾値設定部２３１ｋは、光学フィルタ２２１ｋを透過した光を受光する画素５１ｋのイベント（画素５１ｋの光電流の変化）を検出するときに用いられるイベント閾値Vth(k)を設定し、画素５１ｋのイベントを検出するイベント検出部５２ｋに供給する。
【０１６８】
イベント検出部５２ｋは、画素５１ｋの光電流のイベント閾値Vth(k)（に対応する閾値）を超える変化を、イベントとして検出する。したがって、画素アレイ部２１１では、画素５１ｋが受光する光（の種類）ごとに異なるイベント閾値Vth(k)を設定して、イベントを検出することができる。
【０１６９】
以下、画素５１１ないし５１４を区別する必要がない場合、単に、画素５１とも記載する。同様に、イベント検出部５２１ないし５２４を区別する必要がない場合、イベント検出部５２とも記載し、閾値設定部２３１１ないし２３１４を区別する必要がない場合、閾値設定部２３１とも記載する。
【０１７０】
なお、本実施の形態では、閾値設定部２３１が、画素アレイ部２１１に設けられているが、閾値設定部２３１は、画素アレイ部２１１の外部に設けることができる。例えば、閾値設定部２３１は、センサ部２０１の、画素アレイ部２１１以外の部分や、ロジック部２２の任意の部分、その他、センサチップ２００の外部に設けることができる。
【０１７１】
＜画素ブロック４１の構成例＞
【０１７２】
図１４は、図１３の画素ブロック４１の構成例を示す回路図である。
【０１７３】
なお、図中、図４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１７４】
図１４において、画素ブロック４１は、図１３で説明したように、複数としての繰り返し単位に対応する2×2個の画素５１１ないし５１４、画素５１ｋごとに設けられたイベント検出部５２１ないし５２４、及び、画素信号生成部５３を有する。
【０１７５】
したがって、図１４の画素ブロック４１は、画素５１ｋ、イベント検出部５２ｋ、及び、画素信号生成部５３を有する点で、図４の場合と共通する。
【０１７６】
但し、図１４の画素ブロック４１は、イベント検出部５２ｋが画素５１ｋごとに設けられている点で、図４の場合と相違する。
【０１７７】
画素５１ｋは、光電変換素子６１、転送トランジスタ６２及び６３を備え、図４の場合と同様に構成される。画素信号生成部５３は、リセットトランジスタ７１、増幅トランジスタ７２、選択トランジスタ７３、及び、FD７４を備え、図４の場合と同様に構成される。
【０１７８】
なお、画素ブロック４１では、イベント検出部５２ｋとともに、画素信号生成部５３も、画素５１ｋごとに設けることができる。イベント検出部５２ｋ及び画素信号生成部５３を、画素５１ｋごとに設けることは、画素ブロック４１を構成する画素５１ｋが１画素であることと等価である。
【０１７９】
＜イベント検出部５２ｋの構成例＞
【０１８０】
図１５は、図１３及び図１４のイベント検出部５２ｋの構成例を示すブロック図である。
【０１８１】
なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１８２】
図１５において、イベント検出部５２ｋは、電流電圧変換部８１、バッファ８２、減算部８３、量子化部８４、及び、転送部８５を備える。
【０１８３】
したがって、図１５のイベント検出部５２ｋは、図５の場合と同様に構成される。
【０１８４】
但し、図１５のイベント検出部５２ｋは、閾値設定部２３１ｋから量子化部８４にイベント閾値Vth(k)が供給される点で、閾値設定部２３１ｋから量子化部８４にイベント閾値Vth(k)が供給されない図５の場合と相違する。
【０１８５】
図１６は、図１５の量子化部８４の構成例を示すブロック図である。
【０１８６】
なお、図中、図７の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１８７】
図１６において、量子化部８４は、コンパレータ１１１を有し、図７の場合と同様に構成される。
【０１８８】
但し、図１６の量子化部８４では、コンパレータ１１１の反転入力端子（−）に、閾値設定部２３１ｋからのイベント閾値Vth(k)が供給（印加）される。
【０１８９】
したがって、図１６の量子化部８４では、コンパレータ１１１において、減算部８３からの差信号と、閾値設定部２３１ｋからのイベント閾値Vth(k)とが比較され、その比較結果を表す量子化値が、転送部８５に出力される。
【０１９０】
転送部８５では、量子化部８４の量子化値に応じて、差信号Voutがイベント閾値Vth(k)より大（又は小）である場合に、イベントの発生を表すイベントデータ（例えば、Hレベル又はLレベル）を、出力部３５に出力する。
【０１９１】
したがって、イベント検出部５２ｋでは、イベント閾値Vth(k)が小さい値に設定された場合、差信号が小さくても、すなわち、画素５１ｋの光電流の変化が小さくても、その光電流の小さな変化が、イベントとして検出される。一方、イベント閾値Vth(k)が大きい値に設定された場合、差信号が大きくないと、すなわち、画素５１ｋの光電流の変化が大きくないと、光電流の変化が、イベントとして検出されない。
【０１９２】
以上から、イベント閾値Vth(k)をどのような値に設定するかによって、イベント検出部５２ｋのゲインを、間接的（実質的）に調整することができる。例えば、イベント閾値Vth(k)を、あらかじめ決められたデフォルト値の1/2に設定することにより、そのイベント閾値Vth(k)を用いるイベント検出部５２ｋのゲインを、デフォルト値を用いる場合の2倍に調整することができる。この場合、画素５１ｋの光電流の変化を検出する感度が向上し、光電流の小さな変化を、イベントとして検出することができる。
【０１９３】
以上のように、イベント検出部５２ｋで用いられるイベント閾値Vth(k)の設定により、イベント検出部５２ｋのゲインを実質的に調整することができ、これにより、イベントの検出を柔軟に行うことができる。すなわち、例えば、画素５１ｋの光電流の僅かな変化や、大きな変化を、イベントとして検出することができる。
【０１９４】
＜閾値設定部２３１ｋの構成例＞
【０１９５】
図１７は、閾値設定部２３１ｋの構成例を示す回路図である。
【０１９６】
図１７のＡは、閾値設定部２３１ｋの第１の構成例を示している。
【０１９７】
図１７のＡにおいて、閾値設定部２３１ｋは、ラダー回路２５１、オペアンプ２５２、電圧Eの電源、抵抗値Rfの抵抗、及び、スイッチsw0ないしsw3を有する、いわゆるラダー型のDA(Digital to Analog)変換器２５０で構成される。
【０１９８】
ラダー回路２５１は、抵抗値Rの複数の抵抗と、抵抗値2Rの複数の抵抗とで構成され、図１７において、抵抗値2Rの抵抗のうちの右から２番目以降の抵抗から右側を見たときに、いずれの抵抗から見ても、インピーダンスが抵抗値Rになるように構成されている。例えば、右から2番目の抵抗値2Rの抵抗から右側を見た場合、抵抗値2Rの２個の抵抗が並列接続されているので、抵抗値はRになる。また、例えば、右から3番目の抵抗値2Rの抵抗から右側を見た場合、抵抗値2Rの抵抗と、抵抗値Rの2個の抵抗の直列接続、すなわち、抵抗値2Rの抵抗とが並列接続されているので、抵抗値はRになる。以下、同様に、抵抗値2Rの抵抗のうちの右から２番目以降の抵抗から右側を見たときに、いずれの抵抗から見ても、抵抗値は、抵抗値2Rの２個の抵抗が並列接続されたRになる。
【０１９９】
いま、電圧Eの電源から流れる電流をiと表すこととする。
【０２００】
上述のように、ラダー回路２５１では、抵抗値2Rの抵抗のうちの右から２番目以降の抵抗から右側を見たときに、いずれの抵抗から見ても、抵抗値は、抵抗値2Rの２個の抵抗が並列接続されたRになるので、左から１番目、２番目、３番目、及び、４番目の抵抗値2Rの抵抗に流れる電流は、それぞれ、i/2, i/4, i/8, i/16となる。なお、電流iは、式i=E/Rで表される。
【０２０１】
スイッチsw#jは、左から4-j番目の抵抗値2Rの抵抗（の一端）に接続されており、スイッチsw#jに供給される制御ビットb#jに応じて、端子a又は端子bを選択する。例えば、スイッチsw#jは、制御ビットb#jが0である場合に端子aを選択し、制御ビットb#jが1である場合に端子bを選択する。
【０２０２】
端子aは、グラウンド（アース）に接続されており、端子bは、オペアンプ２５２の反転入力端子(-)に接続されている。
【０２０３】
したがって、スイッチsw#jが端子aを選択した場合、左から4-j番目の抵抗値2Rの抵抗に流れる電流は、スイッチsw#jを介して、グラウンドに流れる。また、スイッチsw#jが端子bを選択した場合、左から4-j番目の抵抗値2Rの抵抗に流れる電流は、スイッチsw#jを介して、オペアンプ２５２の反転入力端子に供給される。
【０２０４】
オペアンプ２５２の非反転入力端子(+)は、グラウンドに接続され、オペアンプ２５２の反転入力端子は、スイッチsw#jの端子b、及び、抵抗値Rfの抵抗の一端と接続されている。オペアンプ２５２の出力端子は、抵抗値Rfの抵抗の他端と接続されている。
【０２０５】
以上のように構成される閾値設定部２３１ｋでは、例えば、外部からの指令としての制御ビットb#jに応じて、スイッチsw#jが端子a又は端子bを選択し、スイッチsw#jの端子a又は端子bの選択によりオペアンプ２５２の出力端子（とグラウンドとの間）に現れる電圧が、イベント閾値Vth(k)に設定される。
【０２０６】
例えば、スイッチsw0が端子bを選択し、他のスイッチsw1ないしsw3が端子aを選択した場合、仮想接地のオペアンプ２５２の反転入力端子側に流れる電流は、i/16になる。この場合、イベント閾値Vth(k)は、オペアンプ２５２の出力端子に現れる電圧-i/16×Rfに設定される。
【０２０７】
また、例えば、スイッチsw3が端子bを選択し、他のスイッチsw0ないしsw2が端子aを選択した場合、仮想接地のオペアンプ２５２の反転入力端子側に流れる電流は、i/2になる。この場合、イベント閾値Vth(k)は、オペアンプ２５２の出力端子に現れる電圧-i/2×Rfに設定される。
【０２０８】
以上のように、制御ビットb#jによって、スイッチsw#jの端子a又は端子bの選択を制御することにより、イベント閾値Vth(k)を、可変に設定することができる。
【０２０９】
さらに、閾値設定部２３１ｋをDA変換器２５０で構成することにより、イベント閾値Vth(k)を細かい幅で設定することができ、イベント検出部５２ｋのゲインを細かく調整するfine調整を行うことができる。
【０２１０】
図１７のＢは、閾値設定部２３１ｋの第２の構成例を示している。
【０２１１】
図１７のＢにおいて、閾値設定部２３１ｋは、PMOSのFET２６１、電流源２６２、PMOSのFET２６３、及び、抵抗２６４を有するDA変換器２６０で構成される。
【０２１２】
DA変換器２６０において、FET２６１及び２６３のソースは、電源VDDに接続され、FET２６１のドレインは、電流源２６２に接続される。
【０２１３】
そして、FET２６１のゲートとFET２６３のゲートとが接続され、FET２６１のドレインは、FET２６１のゲートとFET２６３のゲートとの接続点に接続される。
【０２１４】
したがって、FET２６１及びFET２６３は、FET２６１をミラー元とするとともに、FET２６３をミラー先とするカレントミラーを構成する。
【０２１５】
ミラー先のFET２６３には、ミラー元のFET２６１に流れる電流、すなわち、電流源２６２が流す電流に応じた電流（ミラー比倍の電流）が流れる。
【０２１６】
ミラー先のFET２６３のドレインには、一端が接地された抵抗２６４の他端が接続される。
【０２１７】
ここで、図１７のＢにおいて、ミラー先のFET２６３に記載されている矢印は、FET２６３が複数のFETであり、その複数のFETが、ミラー元のFET２６１に並列に接続されていること、すなわち、複数のFETそれぞれのゲートがFET２６１のゲートに、ドレインが電源VDDに、ソースが抵抗２６４に、それぞれ接続されていることを表す。
【０２１８】
さらに、ミラー先のFET２６３に記載されている矢印は、FET２６３としての複数のFETの中で、電流源２６２が流す電流に応じた電流を流すFET（以下、稼働FETともいう）の数を調整することができることを表す。
【０２１９】
FET２６３としての複数のFETの中で、稼働FETの数を調整することにより、抵抗２６４に流れる電流が変化する。
【０２２０】
以上のように構成される閾値設定部２３１ｋでは、例えば、外部からの指令に応じて、稼働FETの数が設定され、その稼働FETが抵抗２６４に流す電流によって生じる電圧降下が、イベント閾値Vth(k)に設定される。
【０２２１】
例えば、１個の稼働FETに流れる電流をiと、稼働FETの数をNと、抵抗２６４の抵抗値をRと、それぞれ表すこととすると、イベント閾値Vth(k)は、稼働FETが抵抗２６４に流す電流によって生じる電圧降下iRNに設定される。
【０２２２】
したがって、稼働FETの数Nによって、イベント閾値Vth(k)を、可変に設定することができる。さらに、DA変換器２６０によれば、DA変換器２５０と同様に、イベント閾値Vth(k)を細かい幅で設定することができ、イベント検出部５２ｋのゲインを細かく調整するfine調整を行うことができる。
【０２２３】
図１８は、図１０のセンサチップ２００の動作の例を説明するフローチャートである。
【０２２４】
ステップＳ１１において、ゲイン調整機構２２２（図１２）は、イベント検出部５２のゲインを、透過機構としての光学フィルタ２２１が透過する所定の光（の種類）ごとに調整し、処理は、ステップＳ１２に進む。
【０２２５】
すなわち、ステップＳ１１では、例えば、ゲイン調整機構２２２としての閾値設定部２３１ｋが、イベント閾値Vth(k)を、光学フィルタ２２１ｋが透過する光（の種類）ごとに設定することで、イベント検出部５２ｋのゲインを、光学フィルタ２２１ｋが透過する光ごとに調整する。
【０２２６】
ステップＳ１２では、ゲインの調整後のイベント検出部５２ｋが、イベントが発生すると、そのイベントを検出し、これにより、イベントデータと、イベントが検出された画素５１ｋの画素信号とが、センサ部２１からロジック部２２に出力される。
【０２２７】
その後、処理は、ステップＳ１２からステップＳ１３に進み、ロジック部２２は、センサ部２１からのイベントデータに応じ、同じく、センサ部２１からのイベントデータからの画素信号を用いて、フレームデータを生成する等のデータ処理を行い、データ処理結果を出力する。
【０２２８】
＜光学フィルタ２２１ｋとして、CF３０１ｋを採用した場合の画素アレイ部２１１の構成例＞
【０２２９】
図１９は、光学フィルタ２２１ｋとして、CF３０１ｋを採用した場合の画素アレイ部２１１の構成例の概要を示す斜視図である。
【０２３０】
なお、図中、図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２３１】
図１９では、図１２の光学フィルタ２２１１，２２１２，２２１３，及び、２２１４として、CF(Color Filter)３０１１，３０１２，３０１３，及び、３０１４が採用されている。
【０２３２】
CF３０１ｋは、ベイヤ配列のOCCF(On Chip Color Filter)であり、CF３０１１は、R(Red)の光を、CF３０１２及び３０１３は、G(Green)の光を、CF３０１４は、B(Blue)の光を、それぞれ透過する。
【０２３３】
以下、CF３０１１を透過するRの光を、R光ともいい、CF３０１２を透過するGの光を、G光又はGr光ともいう。さらに、CF３０１３を透過するGの光を、G光又はGb光ともいい、CF３０１４を透過するBの光を、B光ともいう。また、CF３０１１ないし３０１４を区別する必要がない場合、単に、CF３０１とも記載する。
【０２３４】
ベイヤ配列のCF３０１については、2×2に配置されたCF３０１１ないし３０１４を繰り返し単位として、その繰り返し単位が繰り返し配置されている。
【０２３５】
なお、ベイヤ配列のCF３０１において、繰り返し単位を構成するCF３０１２及び３０１３それぞれを透過するGr光及びGb光は、いずれも、G光で、同一種類の光であるということができる。但し、Gr光及びGb光は、繰り返し単位を構成する別個のCF３０１２及び３０１３それぞれを透過する光であるので、ごこでは、異なる種類の光として扱うこととする。以上のような、繰り返し単位を構成する別個のCF３０１２及び３０１３それぞれを透過するGr光及びGb光については、以上のように異なる種類の光として扱ってもよいし、同一種類の光として扱ってもよい。
【０２３６】
＜画素アレイ部２１１の構成例＞
【０２３７】
図２０は、光学フィルタ２２１ｋとして、ベイヤ配列のCF３０１ｋを採用した場合の画素アレイ部２１１の構成例を示すブロック図である。
【０２３８】
なお、図中、図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２３９】
画素アレイ部２１１は、複数の画素ブロック４１、並びに、繰り返し単位である2×2個の光学フィルタ２２１としてのCF３０１を透過する光（の種類）に対応する4個の閾値設定部２３１１，２３１２，２３１３、及び、２３１４を備える。画素ブロック４１は、複数としての、例えば、繰り返し単位に対応する2×2個の画素５１である画素５１１，５１２，５１３、及び、５１４、画素５１ｋごとに設けられたイベント検出部５２であるイベント検出部５２ｋ、並びに、画素信号生成部５３を備える。また、画素ブロック４１の列ごとには、画素ブロック４１とAD変換部３４のADCとを接続するVSLが配線されている。
【０２４０】
したがって、図２０の画素アレイ部２１１は、図１３の場合と同様に構成される。
【０２４１】
但し、閾値設定部２３１１は、CF３０１１を透過したR光を受光する画素５１１（以下、R画素５１１ともいう）のイベントを検出するときに用いられるイベント閾値Vth(1)を設定し、R画素５１１のイベントを検出するイベント検出部５２１に供給する。また、閾値設定部２３１２は、CF３０１２を透過したGr光を受光する画素５１２（以下、Gr画素５１２ともいう）のイベントを検出するときに用いられるイベント閾値Vth(2)を設定し、Gr画素５１２のイベントを検出するイベント検出部５２２に供給する。さらに、閾値設定部２３１３は、CF３０１３を透過したGb光を受光する画素５１３（以下、Gb画素５１３ともいう）のイベントを検出するときに用いられるイベント閾値Vth(3)を設定し、Gb画素５１３のイベントを検出するイベント検出部５２３に供給する。また、閾値設定部２３１４は、CF３０１４を透過したB光を受光する画素５１４（以下、B画素５１４ともいう）のイベントを検出するときに用いられるイベント閾値Vth(4)を設定し、B画素５１４のイベントを検出するイベント検出部５２４に供給する。
【０２４２】
図２１は、光学フィルタ２２１ｋとして、ベイヤ配列のCF３０１ｋを採用した場合のイベントの検出と、画素信号の出力とを説明する図である。
【０２４３】
画素ブロック４１は、ベイヤ配列のCF３０１ｋの繰り返し単位に対応するR画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４を有する。そして、画素ブロック４１では、その画素ブロック４１を構成するR画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４のうちの１以上の画素５１ｋのイベントが検出された場合に、画素ブロック４１を構成するR画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４すべての画素信号が露光時間後に（VSLに）出力される。
【０２４４】
図２１では、R画素５１１のイベントが検出され、そのR画素５１１を有する画素ブロック４１を構成するR画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４すべての画素信号が出力されている。
【０２４５】
以上のように、画素ブロック４１が、ベイヤ配列のCF３０１ｋの繰り返し単位に対応するR画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４を有し、そのR画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４のうちの１以上の画素５１ｋのイベントが検出された場合に、画素ブロック４１を構成するR画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４すべての画素信号を出力することで、イベントが発生した画素５１ｋで光（被写体光）が受光された被写体の色彩を再現することができる。
【０２４６】
すなわち、光学フィルタ２２１ｋとして、ベイヤ配列のCF３０１ｋを採用した場合、画素信号を用いて、被写体の色彩を再現したフレームデータを生成するためには、ベイヤ配列のCF３０１ｋの繰り返し単位に対応するR画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４すべての画素信号が必要になる。
【０２４７】
したがって、例えば、R画素５１１のイベントが検出された場合に、そのイベントが検出されたR画素５１１の画素信号だけを出力する場合には、フレームデータにおいて、色彩を再現することができず、色ずれが生じる。
【０２４８】
画素ブロック４１を、繰り返し単位に対応する画素５１１ないし５１４で構成し、その画素５１１ないし５１４のうちのいずれでイベントが発生した場合でも、繰り返し単位に対応する画素５１１ないし５１４の画素信号を出力することで、フレームデータにおいて、被写体の色彩を再現することができ、色ずれが起きることを抑制することができる。
【０２４９】
なお、光学フィルタ２２１ｋとして、ベイヤ配列のCF３０１ｋを採用した場合に、図３と同様に、画素５１１ないし５１４でそれぞれ受光されるR光、Gr光、Gb光、及び、B光に対応する光電流の変化の和がイベント閾値を超えていることをイベントとして検出することと、白色光に対応する光電流がイベント閾値を超えていることをイベントとして検出すること、つまり、CF３０１なしの状態でイベントを検出することとは、等価である。
【０２５０】
＜イベント閾値Vth(k)の設定によるゲインの調整＞
【０２５１】
図２２は、イベント閾値Vth(k)の設定により、イベント検出部５２ｋのゲインが（実質的に）調整されることを説明する図である。
【０２５２】
例えば、いま、R画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４が、それぞれ、R光、Gr光、Gb光、及び、B光に対して同一の感度を有し、同一の光量のR光、Gr光、Gb光、及び、B光を受光した場合に、同一の画素信号（光電流に対応する光電圧）が生成されることとする。
【０２５３】
光学フィルタ２２１ｋとして、ベイヤ配列のCF３０１ｋを採用したセンサチップ２００において、前景として、同一輝度の赤色の動体、緑色の動体、及び、青色の動体が存在するシーンを撮像した場合、各動体の輪郭部分の光を受光した画素５１の画素信号は、（ほぼ）同一の変化量だけ変化する。
【０２５４】
すなわち、赤色の動体の輪郭部分の光を受光したR画素５１１の画素信号、緑色の動体の輪郭部分の光を受光したGb画素５１２及びGr画素５１３の画素信号、並びに、青色の動体の輪郭部分の光を受光したB画素５１４の画素信号は、同一の変化量だけ変化する。
【０２５５】
したがって、イベント閾値Vth(1)ないしVth(4)を、R光、Gr光、Gb光、及び、B光のそれぞれごとに設定することができず、イベント閾値Vth(1)ないしVth(4)が、あらかじめ決められた一定値に固定される場合には、図２２の左側に示すように、赤色の動体の輪郭部分の光を受光したR画素５１１、緑色の動体の輪郭部分の光を受光したGb画素５１２及びGr画素５１３、並びに、青色の動体の輪郭部分の光を受光したB画素５１４のすべてについて、イベントが検出され、Hレベルのイベントデータが出力される（又は、赤色の動体の輪郭部分の光を受光したR画素５１１、緑色の動体の輪郭部分の光を受光したGb画素５１２及びGr画素５１３、並びに、青色の動体の輪郭部分の光を受光したB画素５１４のすべてについて、イベントが検出されない）。
【０２５６】
以上のように、R画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４が、それぞれ、R光、Gr光、Gb光、及び、B光に対して同一の感度を有し、イベント閾値Vth(1)ないしVth(4)が、あらかじめ決められた一定値に固定される場合には、同一輝度の赤色の動体、緑色の動体、及び、青色の動体については、どの色の動体に対しても、イベントが検出される（又はイベントが検出されない）。
【０２５７】
一方、イベント閾値Vth(1)ないしVth(4)を、R光、Gr光、Gb光、及び、B光のそれぞれごとに設定することができる場合には、例えば、図２２の右側に示すように、イベント閾値Vth(1)を所定のデフォルト値に設定するとともに、イベント閾値Vth(2)ないしVth(4)をデフォルト値より大きな値に設定することで、赤色の動体の輪郭部分の光を受光したR画素５１１については、イベントが検出され、Hレベルのイベントデータが出力されるが、緑色の動体の輪郭部分の光を受光したGb画素５１２及びGr画素５１３、並びに、青色の動体の輪郭部分の光を受光したB画素５１４については、イベントが検出されない。
【０２５８】
したがって、イベント閾値Vth(1)ないしVth(4)を、R光、Gr光、Gb光、及び、B光のそれぞれごとに設定することにより、実質的に、画素５１の特定の色の光に対する感度が調整され、特定の色の光のイベント（特定の光に対応する画素信号の変化）を検出するイベント検出部５２のゲインを調整することができる。
【０２５９】
例えば、上述のように、イベント閾値Vth(1)を所定のデフォルト値に設定するとともに、イベント閾値Vth(2)ないしVth(4)をデフォルト値より大きな値に設定することで、赤色の動体の輪郭部分の光を受光したR画素５１１については、イベントが検出され、緑色の動体の輪郭部分の光を受光したGb画素５１２及びGr画素５１３、並びに、青色の動体の輪郭部分の光を受光したB画素５１４については、イベントが検出されなくなる。
【０２６０】
したがって、センサチップ２００を物体の検出に適用する場合において、その検出の検出対象以外の物体である非検出対象の色があらかじめ分かっているときには、その非検出対象の色の光のイベントの検出に用いるイベント閾値を大きい値に設定することにより、非検出対象が撮像された際に、不必要なノイズとなるイベントが検出されることを抑制することができる。
【０２６１】
一方、検出対象の色があらかじめ分かっているときには、その検出対象の色の光のイベントの検出に用いるイベント閾値を小さい値に設定することにより、検出対象が撮像された際に、イベントが検出されやすくすることができる。
【０２６２】
図２３は、イベント閾値Vth(k)の設定により、イベント検出部５２ｋのゲインが調整されることを説明する図である。
【０２６３】
例えば、いま、R画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４が、それぞれ、R光、Gr光、Gb光、及び、B光に対して異なる感度を有することとする。
【０２６４】
この場合、光学フィルタ２２１ｋとして、ベイヤ配列のCF３０１ｋを採用したセンサチップ２００において、前景として、赤色の動体、緑色の動体、及び、青色の動体が存在するシーンを撮像した際に、赤色の動体、緑色の動体、及び、青色の動体の輝度が同一であっても、各動体の輪郭部分の光を受光した画素５１の画素信号の変化量は、図２３の左側に示すように、画素５１の感度に応じて異なる。
【０２６５】
すなわち、赤色の動体の輪郭部分の光を受光したR画素５１１の画素信号、緑色の動体の輪郭部分の光を受光したGb画素５１２及びGr画素５１３の画素信号、並びに、青色の動体の輪郭部分の光を受光したB画素５１４の画素信号それぞれの変化量は、同一にならない。
【０２６６】
例えば、Gr画素５１２及びGb画素５１３の（G光に対する）感度が高く、R画素５１１の（R光に対する）感度、及び、B画素５１４の（B光に対する）感度が低い場合には、Gr画素５１２及びGb画素５１３の画素信号の変化は大きく、R画素５１１及びB画素５１４の画素信号の変化は小さくなる。
【０２６７】
したがって、イベント閾値Vth(1)ないしVth(4)を、R光、Gr光、Gb光、及び、B光のそれぞれごとに設定することができず、イベント閾値Vth(1)ないしVth(4)が、あらかじめ決められた一定値に固定される場合には、図２３の左側に示すように、緑色の動体の輪郭部分の光を受光したGb画素５１２及びGr画素５１３については、イベントが検出され、Hレベルのイベントデータが出力されるが、赤色の動体の輪郭部分の光を受光したR画素５１１、青色の動体の輪郭部分の光を受光したB画素５１４については、イベントが検出されない。
【０２６８】
以上のように、R画素５１１、Gr画素５１２、Gb画素５１３、及び、B画素５１４が、それぞれ、R光、Gr光、Gb光、及び、B光に対して異なる感度を有し、イベント閾値Vth(1)ないしVth(4)が、あらかじめ決められた一定値に固定される場合には、動体の輝度が同一であっても、動体の色によって、イベントが検出されるときと、検出されないときとが生じる。
【０２６９】
一方、イベント閾値Vth(1)ないしVth(4)を、R光、Gr光、Gb光、及び、B光のそれぞれごとに設定することができる場合には、例えば、図２３の右側に示すように、イベント閾値Vth(2)及びVth(3)を所定のデフォルト値に設定するとともに、イベント閾値Vth(1)及びVth(4)をデフォルト値より小さな値に設定することで、感度が高いGb画素５１２及びGr画素５１３、並びに、感度が低いR画素５１１及びB画素５１４のいずれについても、イベントが検出され、Hレベルのイベントデータが出力される。
【０２７０】
したがって、イベント閾値Vth(1)ないしVth(4)を、R光、Gr光、Gb光、及び、B光のそれぞれごとに設定することにより、実質的に、画素５１の特定の色の光に対する感度が調整され、特定の色の光のイベントを検出するイベント検出部５２のゲインを調整することができる。
【０２７１】
以上のように、R光、Gr光、Gb光、及び、B光のそれぞれごとに、イベント閾値Vth(1)ないしVth(4)を設定することによりイベント検出部５２のゲインを調整することで、イベントの検出を柔軟に行うことができる。
【０２７２】
例えば、センサチップ２００において、所定の色の光の変化をイベントとして検出しやすくすること（エンハンス）（ブースト）ができる。さらに、背景が僅かに動くこと等によって、意図しないイベント（フェイクイベント）が検出されることを抑制することや、特定の色の検出対象が動くことによるイベントを検出しやすくして、検出対象の検出率を向上させることができる。
【０２７３】
また、R, G, Bの光等の波長が異なる光ごとに、画素５１の感度が異なる場合には、各波長の光について、同一の光量でイベントが検出されるように、イベント閾値Vth(1)ないしVth(4)を設定することで、イベントの検出に関して、各波長の光を受光する画素５１の感度を補償することができる。
【０２７４】
なお、本実施の形態では、画素ブロック４１を、繰り返し単位に対応する2×2個の画素５１で構成することとしたが、画素ブロック４１は、同一種類の光、例えば、同一の色の光を受光する複数の画素５１で構成することができる。この場合、画素ブロック４１において、イベント検出部５２は、図１３等に示したように、画素５１ごとに設ける必要はなく、図３に示したように、画素ブロック４１内の複数の画素５１で、１つのイベント検出部５２を共有することができる。画素ブロック４１を、同一種類の光を受光する複数の画素５１で構成する場合には、その複数の画素５１それぞれのイベントの検出に用いられるイベント閾値は、同一になるからである。
【０２７５】
また、画素ブロック４１では、その画素ブロック４１内の複数の画素５１１ないし５１４それぞれの転送トランジスタ６２を時分割でオンにし、その複数の画素５１１ないし５１４それぞれの光電流を、時分割で、イベント検出部５２に供給して、複数の画素５１１ないし５１４のイベントを時分割で検出することができる。この場合、画素ブロック４１では、図３の場合と同様に、画素ブロック４１内の複数の画素５１１ないし５１４で、１つのイベント検出部５２を共有することができる。また、この場合、画素アレイ部２１１（図２０）では、閾値設定部２３１を１つだけ設け、その１つの閾値設定部２３１において、イベント閾値Vth(1)ないしVth(4)を、時分割で設定し、画素ブロック４１内の複数の画素５１１ないし５１４で共有される１つのイベント検出部５２に供給することで、イベント検出部５２のゲインを、R光、Gr光、Gb光、及び、B光のそれぞれごとに調整することができる。
【０２７６】
さらに、本実施の形態では、Gr光及びGb光を、異なる種類の光として扱い、Gr光のイベントを検出するときのイベント閾値Vth(2)と、Gb光のイベントを検出するときのイベント閾値Vth(3)とを、別個に設定することとしたが、Gr光及びGb光については、同一種類の光（G光）として扱い、イベント閾値Vth(2)及びイベント閾値Vth(3)としては、同一の値を設定することができる。この場合、イベント閾値Vth(2)を設定する閾値設定部２３１２、及びイベント閾値Vth(3)を設定する閾値設定部２３１３は、１つの閾値設定部で構成することができる。
【０２７７】
＜CF３０１の配列＞
【０２７８】
図２４は、CF３０１の配列の例を示す図である。
【０２７９】
CF３０１の配列としては、図２４のＡや、図２４のＢ、図２４のＣに示す配列を採用することができる。なお、図２４において、Rは、R光を透過するCF３０１を表し、G, Gr, Gbは、G光を透過するCF３０１を表し、Bは、B光を透過するCF３０１を表す。
【０２８０】
図２４のＡは、2×2個を繰り返し単位とするベイヤ配列を示している。
【０２８１】
図２４のＢは、6×6個を繰り返し単位とする配列を示している。図２３のＢの配列は、例えば、富士フイルム社のイメージセンサX-Trans CMOSに採用されている。
【０２８２】
図２４のＣは、4×4個を繰り返し単位とするquadra配列を示している。
【０２８３】
画素ブロック４１は、以上のような様々な配列のCF３０１の繰り返し単位に対応する画素５１で構成することができる。
【０２８４】
図２５は、所定の色の光を透過する透過機構の例を示す図である。
【０２８５】
所定の色の光を透過する透過機構としては、CF３０１の他、光電変換素子６１を、B層、G層、及び、R層の3層に配置し、そのB層、G層、及び、R層で、B光、G光、及び、R光をそれぞれ受光する層構造を採用することができる。
【０２８６】
透過機構として、層構造を採用する場合には、１画素で、R, G, Bの色を再現することができる。イベント閾値は、R光、G光、及び、B光それぞれごとに設定することができる。
【０２８７】
透過機構としての層構造は、例えば、Foveon社のイメージセンサFoveon X3に採用されている。透過機構としての層構造は、繰り返し単位が1×1個のCFであると捉えることができる。
【０２８８】
＜光学フィルタ２２１ｋとして、偏光フィルタ３３１ｋを採用した場合の画素アレイ部２１１の構成例＞
【０２８９】
図２６は、光学フィルタ２２１ｋとして、偏光フィルタ３３１ｋを採用した場合の画素アレイ部２１１の構成例の概要を示す斜視図である。
【０２９０】
なお、図中、図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２９１】
図２６では、図１２の光学フィルタ２２１１，２２１２，２２１３，及び、２２１４として、偏光フィルタ３３１１，３３１２，３３１３，及び、３３１４が採用されている。
【０２９２】
偏光フィルタ３３１ｋは、所定の偏光方向の光（偏光）を透過するフィルタであり、例えば、偏光フィルタ３３１１は、水平方向の偏光方向の光（以下、第１の偏光ともいう）を、偏光フィルタ３３１２は、左斜め上方向の偏光方向の光（以下、第２の偏光ともいう）を、偏光フィルタ３３１３は、右斜め上方向の偏光方向の光（以下、第３の偏光ともいう）を、偏光フィルタ３３１４は、垂直方向の偏光方向の光（以下、第４の偏光ともいう）を、それぞれ透過する。
【０２９３】
以下、偏光フィルタ３３１１ないし３３１４を区別する必要がない場合、単に、偏光フィルタ３３１とも記載する。
【０２９４】
偏光フィルタ３３１については、2×2に配置された偏光フィルタ３３１１ないし３３１４を繰り返し単位として、その繰り返し単位が繰り返し配置されている。
【０２９５】
＜画素アレイ部２１１の構成例＞
【０２９６】
図２７は、光学フィルタ２２１ｋとして、偏光フィルタ３３１ｋを採用した場合の画素アレイ部２１１の構成例を示すブロック図である。
【０２９７】
なお、図中、図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２９８】
画素アレイ部２１１は、複数の画素ブロック４１、並びに、繰り返し単位である2×2個の光学フィルタ２２１としての偏光フィルタ３３１を透過する光（の種類）に対応する4個の閾値設定部２３１１，２３１２，２３１３、及び、２３１４を備える。画素ブロック４１は、複数としての、例えば、繰り返し単位に対応する2×2個の画素５１である画素５１１，５１２，５１３、及び、５１４、画素５１ｋごとに設けられたイベント検出部５２ｋ、並びに、画素信号生成部５３を備える。また、画素ブロック４１の列ごとには、画素ブロック４１とAD変換部３４のADCとを接続するVSLが配線されている。
【０２９９】
したがって、図２７の画素アレイ部２１１は、図１３の場合と同様に構成される。
【０３００】
但し、閾値設定部２３１１は、偏光フィルタ３３１１を透過した第１の偏光を受光する画素５１１のイベントを検出するときに用いられるイベント閾値Vth(1)を設定し、画素５１１のイベントを検出するイベント検出部５２１に供給する。また、閾値設定部２３１２は、偏光フィルタ３３１２を透過した第２の偏光を受光する画素５１２のイベントを検出するときに用いられるイベント閾値Vth(2)を設定し、画素５１２のイベントを検出するイベント検出部５２２に供給する。さらに、閾値設定部２３１３は、偏光フィルタ３３１３を透過した第３の偏光を受光する画素５１３のイベントを検出するときに用いられるイベント閾値Vth(3)を設定し、画素５１３のイベントを検出するイベント検出部５２３に供給する。また、閾値設定部２３１４は、偏光フィルタ３３１４を透過した第４の偏光を受光する画素５１４のイベントを検出するときに用いられるイベント閾値Vth(4)を設定し、画素５１４のイベントを検出するイベント検出部５２４に供給する。
【０３０１】
以上のように、画素５１で受光する偏光（の偏光方向）ごとに、イベント閾値Vth(1)ないしVth(4)を設定する場合でも、イベント検出部５２のゲインを調整し、イベントの検出を柔軟に行うことができる。
【０３０２】
＜量子化部８４の他の構成例＞
【０３０３】
図２８は、図１５の量子化部８４の他の構成例を示すブロック図である。
【０３０４】
なお、図中、図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３０５】
図２８において、量子化部８４は、コンパレータ１１１及び１１２を有する。
【０３０６】
したがって、図２８の量子化部８４は、コンパレータ１１１を有する点で、図１６の場合と共通する。但し、図２８の量子化部８４は、コンパレータ１１２を新たに有する点で、図１６の場合と相違する。
【０３０７】
図２８の量子化部８４を有するイベント検出部５２ｋ（図１５）では、イベントの他、イベントとしての光量変化の極性も検出される。
【０３０８】
すなわち、量子化部８４が図２８に示すように構成される場合、閾値設定部２３１ｋは、図１７のDA変換器２５０又は２６０を２個有し、その２個のDA変換器２５０又は２６０によって、正の極性のイベントを検出するためのイベント閾値Vth(k)(H)、及び、負の極性のイベントを検出するためのイベント閾値Vth(k)(L)(<Vth(k)(H))を設定する。そして、閾値設定部２３１ｋは、イベント閾値Vth(k)(H)を、コンパレータ１１１に供給するとともに、イベント閾値Vth(k)(L)をコンパレータ１１２に供給する。
【０３０９】
図２８の量子化部８４では、コンパレータ１１１は、減算部８３からの差信号と、閾値設定部２３１ｋからのイベント閾値Vth(k)(H)とを比較し、その比較結果を表す量子化値(H)を、転送部８５に出力する。また、コンパレータ１１２は、減算部８３からの差信号と、閾値設定部２３１ｋからのイベント閾値Vth(k)(L)とを比較し、その比較結果を表す量子化値(L)を、転送部８５に出力する。
【０３１０】
転送部８５（図１５）は、量子化部８４の量子化値(H)に応じて、差信号Voutがイベント閾値Vth(k)(H)より大である場合に、正極性のイベントの発生を表すイベントデータ（例えば、Hレベルのパルス）を、出力部３５に出力する。
【０３１１】
また、転送部８５は、量子化部８４の量子化値(L)に応じて、差信号Voutがイベント閾値Vth(k)(L)より小である場合に、負極性のイベントの発生を表すイベントデータ（例えば、Lレベルのパルス）を、出力部３５に出力する。
【０３１２】
なお、コンパレータ１１１は、例えば、図２８に示すように、ソースが電源VDDに接続されたPMOSのFET１２１のドレインと、ソースが接地されたNMOSのFET１２２のドレインとを接続することにより構成することができる。この場合、差信号を、FET１２１のゲートに供給するとともに、イベント閾値Vth(k)(H)をFET１２２のゲートに供給し、FET１２１のドレインとFET１２２のドレインとの接続点の電圧を、量子化値(H)として出力することができる。
【０３１３】
同様に、コンパレータ１１２は、例えば、図２８に示すように、ソースが電源VDDに接続されたPMOSのFET１３１のドレインと、ソースが接地されたNMOSのFET１３２のドレインとを接続することにより構成することができる。この場合、差信号を、FET１３１のゲートに供給するとともに、イベント閾値Vth(k)(L)をFET１３２のゲートに供給し、FET１３１のドレインとFET１３２のドレインとの接続点の電圧を、量子化値(L)として出力することができる。
【０３１４】
図２９は、閾値設定部２３１ｋが設定するイベント閾値Vth(k)(H)及びVth(k)(L)の例と、量子化部８４が出力する量子化値(H)及び量子化値(L)の例とを示す図である。
【０３１５】
図２９のＡは、イベント閾値Vth(k)(H)が、閾値VH0に設定されるとともに、イベント閾値Vth(k)(L)が、閾値VL0に設定される場合を示している。
【０３１６】
図２９のＢは、イベント閾値Vth(k)(H)が、閾値VH1(<VH0)に設定されるとともに、イベント閾値Vth(k)(L)が、閾値VL1(>VL0)に設定される場合を示している。
【０３１７】
閾値設定部２３１ｋは、例えば、正の極性のイベントを検出するためのイベント閾値Vth(k)(H)を、閾値VH0及びVH1のうちの大きい方の閾値VH0に設定する場合、負の極性のイベントを検出するためのイベント閾値Vth(k)(L)を閾値VL0及びVL1のうちの小さい方の閾値VL0に設定する。
【０３１８】
また、閾値設定部２３１ｋは、例えば、イベント閾値Vth(k)(H)を、閾値VH0及びVH1のうちの小さい方の閾値VH1に設定する場合、イベント閾値Vth(k)(L)を閾値VL0及びVL1のうちの大きい方の閾値VL1に設定する。
【０３１９】
図２９のＡに示すように、イベント閾値Vth(k)(H)及びVth(k)(L)が、閾値VH0及びVL0に、それぞれ設定されている場合、差信号が閾値VL0より小になると（輝度が明るくなるように変化すると）、量子化値(L)はLレベルからHレベルになり、差信号が閾値VH0より大になると（輝度が暗くなるように変化すると）、量子化値(H)はHレベルからLレベルになる。そして、所定期間の経過後に、量子化値(L)及び量子化値(H)は、元のレベルにリセットされる。
【０３２０】
図２９のＢに示すように、イベント閾値Vth(k)(H)及びVth(k)(L)が、閾値VH1及びVL1に、それぞれ設定されている場合、差信号が閾値VL1より小になると、量子化値(L)はLレベルからHレベルになり、差信号が閾値VH1より大になると、量子化値(H)はHレベルからLレベルになる。そして、所定期間の経過後に、量子化値(L)及び量子化値(H)は、元のレベルにリセットされる。
【０３２１】
例えば、VH1 = VH0 / 2 , VL0 = VL1 / 2である場合、イベント閾値Vth(k)(H)及びVth(k)(L)が閾値VH1及びVL1にそれぞれ設定されたときのイベント検出部５２ｋのゲインは、イベント閾値Vth(k)(H)及びVth(k)(L)が閾値VH0及びVL0にそれぞれ設定されたときの２倍に実質的に調整される。
【０３２２】
＜イベント検出部５２ｋの他の構成例＞
【０３２３】
図３０は、図１３及び図１４のイベント検出部５２ｋの構成例を示すブロック図である。
【０３２４】
なお、図中、図１５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３２５】
図３０において、イベント検出部５２ｋは、電流電圧変換部８１、バッファ８２、減算部８３、量子化部８４、及び、転送部８５を備える。
【０３２６】
したがって、図３０のイベント検出部５２ｋは、図１５の場合と同様に構成される。
【０３２７】
但し、図３０では、閾値設定部２３１ｋは、イベント閾値Vth(k)を設定するとともに、又は、イベント閾値Vth(k)を設定することに代えて、減算部８３が出力する差信号の基準となる基準電圧を、イベント閾値Vth(k)を設定する場合と同様に設定し、減算部８３に供給する。
【０３２８】
減算部８３は、閾値設定部２３１ｋからの基準電圧を基準とする電圧の差信号を出力する。
【０３２９】
図３１は、図３０の減算部８３が有するオペアンプ１０２の構成例を示す回路図である。
【０３３０】
すなわち、減算部８３は、図７に示したように、コンデンサ１０１、オペアンプ１０２、コンデンサ１０３、及び、スイッチ１０４で構成される。図３１は、そのように構成される減算部８３のオペアンプ１０２の構成例を示している。
【０３３１】
図３１において、オペアンプ１０２は、ソースが電源VDDに接続されたPMOSのFET３７１のドレインと、ソースが接地されたNMOSのFET３７２のドレインとを接続することにより構成される。この場合、FET３７１のゲートが、オペアンプ１０２の入力端子となり、FET３７１のドレインとFET３７２のドレインとの接続点が、オペアンプ１０２の出力端子となる。
【０３３２】
閾値設定部２３１ｋ（図３０）が設定する基準電圧は、FET３７２のゲートに供給される。この場合、オペアンプ１０２の出力端子からは、FET３７２のゲートに供給される基準電圧を基準とする差信号が出力される。
【０３３３】
したがって、基準電圧を変更することによって、差信号はオフセットするので、基準電圧の設定によれば、イベント閾値Vth(k)を設定する場合と同様の効果を奏すること、すなわち、イベント検出部５２ｋのゲインを、実質的に調整することができる。
【０３３４】
なお、図３１では、オペアンプ１０２を、PMOSのFET３７１のドレインと、NMOSのFET３７２のドレインとを接続することにより構成することとしたが、オペアンプ１０２は、トランジスタの差動対により構成することができる。オペアンプ１０２を、トランジスタの差動対により構成する場合、オペアンプ１０２の反転入力端子には、コンデンサ１０１を介して、光電圧を供給し、オペアンプ１０２の非反転入力端子には、閾値設定部２３１ｋからの基準電圧を供給することができる。
【０３３５】
以上、ゲイン調整機構２２２の例として、閾値設定部２３１ｋを有する画素アレイ部２１１について説明したが、以下、ゲイン調整機構２２２の他の例を有する画素アレイ部２１１について説明する。
【０３３６】
＜ゲイン調整機構２２２の他の例を有する画素アレイ部２１１＞
【０３３７】
図３２は、ゲイン調整機構２２２の他の例を有する画素アレイ部２１１の構成例を示すブロック図である。
【０３３８】
なお、図中、図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３３９】
図３２において、画素アレイ部２１１は、複数の画素ブロック４１を備える。画素ブロック４１は、複数としての、例えば、光学フィルタ２２１の繰り返し単位に対応する2×2個の画素５１である画素５１１，５１２，５１３、及び、５１４、画素５１ｋごとに設けられたイベント検出部４０１１，４０１２，４０１３、及び、４０１４、並びに、画素信号生成部５３を備える。また、画素ブロック４１の列ごとには、画素ブロック４１とAD変換部３４のADCとを接続するVSLが配線されている。
【０３４０】
したがって、図３２の画素アレイ部２１１は、複数の画素ブロック４１を有する点、画素ブロック４１が、画素５１１，５１２，５１３、及び、５１４、並びに、画素信号生成部５３を有する点で、図１３の場合と共通する。
【０３４１】
但し、図３２の画素アレイ部２１１は、閾値設定部２３１１ないし２３１４を有しない点、及び、画素ブロック４１が、イベント検出部５２ｋに代えて、イベント検出部４０１ｋを有する点で、図１３の場合と相違する。
【０３４２】
イベント検出部４０１ｋは、イベント検出部５２ｋと同様に、画素５１ｋのイベントを検出する他、ゲイン調整機構２２２として機能する。
【０３４３】
＜ゲイン調整機構２２２として機能するイベント検出部４０１ｋの第１の構成例＞
【０３４４】
図３３は、ゲイン調整機構２２２として機能するイベント検出部４０１ｋの第１の構成例を示すブロック図である。
【０３４５】
なお、図中、図５のイベント検出部５２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３４６】
図３３において、イベント検出部４０１ｋは、バッファ８２、減算部８３、量子化部８４、転送部８５、及び、電流電圧変換部４１１を備える。
【０３４７】
したがって、図３３のイベント検出部４０１ｋは、バッファ８２ないし転送部８５を有する点で、図５のイベント検出部５２と同様に構成される。但し、イベント検出部４０１ｋは、電流電圧変換部８１に代えて、電流電圧変換部４１１を有する点で、イベント検出部５２と相違する。
【０３４８】
図３４は、図３３の電流電圧変換部４１１の構成例を示す回路図である。
【０３４９】
なお、図中、図６と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３５０】
電流電圧変換部４１１は、トランジスタ９１ないし９３、トランジスタ４２１及び４２２、並びに、スイッチ４２３，４２４、及び、４２５で構成される。
【０３５１】
したがって、図３４の電流電圧変換部４１１は、トランジスタ９１ないし９３を有する点で、図６の電流電圧変換部８１と共通する。但し、電流電圧変換部４１１は、トランジスタ４２１及び４２２、並びに、スイッチ４２３ないし４２５を新たに有する点で、電流電圧変換部８１と相違する。
【０３５２】
トランジスタ４２１及び４２２としては、トランジスタ９１及び９３と同様に、例えば、N型のMOS FETを採用することができる。
【０３５３】
トランジスタ４２１のドレインは、トランジスタ９１のソースに接続され、そのゲートは、スイッチ４２６を介して、トランジスタ９３のドレインに接続される。トランジスタ４２１のソースは、トランジスタ９３のゲートと接続され、トランジスタ４２１のソースとトランジスタ９３のゲートとの接続点には、画素５１からの光電流が供給される。
【０３５４】
トランジスタ４２２のドレインは、トランジスタ９１のゲートとトランジスタ９２のドレインとの接続点に接続され、そのゲートは、スイッチ４２５を介して、トランジスタ９１のソースとトランジスタ４２１のドレインとの接続点に接続される。トランジスタ４２２のソースは、トランジスタ９３のドレインと接続される。
【０３５５】
スイッチ４２３は、トランジスタ４２１のドレインとソースとの間の接続をオン／オフするように、トランジスタ４２１のドレインとソースとに接続される。
【０３５６】
スイッチ４２４は、トランジスタ４２２のドレインとソースとの間の接続をオン／オフするように、トランジスタ４２２のドレインとソースとに接続される。
【０３５７】
スイッチ４２５は、トランジスタ９１のソースとトランジスタ４２１のドレインとの接続点と、トランジスタ４２２のゲートとの接続をオン／オフするように、トランジスタ９１のソースとトランジスタ４２１のドレインとの接続点、及び、トランジスタ４２２のゲートに接続される。
【０３５８】
スイッチ４２６は、トランジスタ４２１のゲートと、トランジスタ９３のドレインとトランジスタ４２２のソースとの接続点との接続をオン／オフするように、トランジスタ４２１のゲート、及び、トランジスタ９３のドレインとトランジスタ４２２のソースとの接続点に接続される。
【０３５９】
以上のように構成される電流電圧変換部４１１では、トランジスタ９３のゲートとトランジスタ４２１のソースとの接続点に供給される光電流が、その光電流の対数に対応する光電圧に変換される。そして、光電圧は、トランジスタ９１のゲートとトランジスタ４２２のドレインとの接続点から出力される。
【０３６０】
図３５は、図３４の電流電圧変換部４１１によるイベント検出部４０１ｋのゲインの調整方法を説明する図である。
【０３６１】
電流電圧変換部４１１では、スイッチ４２３及び４２４が、オン又はオフにされる場合、それぞれ、スイッチ４２５及び４２６が、オフ又はオンにされることで、イベント検出部４０１ｋのゲインが調整される。
【０３６２】
図３５のＡは、スイッチ４２３及び４２４がオンで、スイッチ４２５及び４２６がオフである場合の電流電圧変換部４１１の実質的な回路構成を示している。
【０３６３】
図３５のＢは、スイッチ４２３及び４２４がオフで、スイッチ４２５及び４２６がオンである場合の電流電圧変換部４１１の実質的な回路構成を示している。
【０３６４】
スイッチ４２３及び４２４がオンで、スイッチ４２５及び４２６がオフである場合、電流電圧変換部４１１は、トランジスタ９１及び４２１がカスケード接続されず、かつ、トランジスタ９３及び４２２がカスケード接続されていない構成となり、図３５のＡに示すように、図６の電流電圧変換部８１と同様に構成される。
【０３６５】
スイッチ４２３及び４２４がオフで、スイッチ４２５及び４２６がオンである場合の電流電圧変換部４１１は、図３５のＢに示すように、トランジスタ９１及び４２１がカスケード接続されるととともに、トランジスタ９３及び４２２がカスケード接続された構成となる。
【０３６６】
例えば、トランジスタ９１及び９３、並びに、トランジスタ４２１及び４２２が、同一の仕様のFETであるとすると、スイッチ４２３及び４２４がオフで、スイッチ４２５及び４２６がオンである場合（図３５のＢ）のイベント検出部４０１ｋのゲインは、スイッチ４２３及び４２４がオンで、スイッチ４２５及び４２６がオフである場合（図３５のＡ）の約２倍に調整される。
【０３６７】
以上のように、電流電圧変換部４１１の回路構成を、トランジスタがカスケード接続された構成（図３５のＢ）と、カスケード接続されていない構成（非カスケード接続の構成）（図３５のＡ）とに切り替える回路構成の切り替えを、透過機構としての光学フィルタ２２１ｋが透過する光ごとに行うことにより、イベント検出部４０１ｋのゲインを調整することができる。
【０３６８】
なお、ここでは、トランジスタを２段のカスケード接続にすることとしたが、トランジスタのカスケード接続は、３段以上にすることができる。
【０３６９】
＜ゲイン調整機構２２２として機能するイベント検出部４０１ｋの第２の構成例＞
【０３７０】
図３６は、ゲイン調整機構２２２として機能するイベント検出部４０１ｋの第２の構成例を示すブロック図である。
【０３７１】
なお、図中、図５のイベント検出部５２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３７２】
図３６において、イベント検出部４０１ｋは、電流電圧変換部８１、バッファ８２、量子化部８４、転送部８５、及び、減算部４３１を備える。
【０３７３】
したがって、図３６のイベント検出部４０１ｋは、電流電圧変換部８１、バッファ８２、量子化部８４、及び、転送部８５を有する点で、図５のイベント検出部５２と同様に構成される。但し、イベント検出部４０１ｋは、減算部８３に代えて、減算部４３１を有する点で、イベント検出部５２と相違する。
【０３７４】
図３７は、図３６の減算部４３１の構成例を示す回路図である。
【０３７５】
なお、図中、図７と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３７６】
減算部４３１は、オペアンプ１０２、スイッチ１０４、及び、可変容量４４０及び４５０を備える。
【０３７７】
したがって、減算部４３１は、オペアンプ１０２及びスイッチ１０４を有する点で、図７の減算部８３と共通する。但し、減算部４３１は、コンデンサ１０１に代えて、可変容量４４０を有するとともに、コンデンサ１０３に代えて、可変容量４５０を有する点で、減算部８３と相違する。
【０３７８】
可変容量４４０は、可変な容量を有し、例えば、コンデンサ４４１及び４４２、並びに、スイッチ４４３で構成することができる。
【０３７９】
コンデンサ４４１及び４４２の容量をC1で表すこととすると、スイッチ４４３がオフの場合、可変容量４４０の容量は、C1になり、スイッチ４４３がオンの場合、可変容量４４０の容量は、2×C1になる。
【０３８０】
スイッチ４４３がオンである場合のイベント検出部４０１ｋのゲインは、スイッチ４４３がオフである場合の２倍に調整される。
【０３８１】
可変容量４５０は、可変な容量を有し、例えば、コンデンサ４５１及び４５２、並びに、スイッチ４５３で構成することができる。
【０３８２】
コンデンサ４５１及び４５２の容量をC2で表すこととすると、スイッチ４５３がオフの場合、可変容量４５０の容量は、C2になり、スイッチ４５３がオンの場合、可変容量４５０の容量は、2×C2になる。
【０３８３】
スイッチ４５３がオンである場合のイベント検出部４０１ｋのゲインは、スイッチ４５３がオフである場合の１／２倍に調整される。
【０３８４】
減算部４３１では、可変容量４４０（第１の容量）と可変容量４５０（第２の容量）との容量比により、イベント検出部４０１ｋのゲインを調整することができる。したがって、透過機構としての光学フィルタ２２１ｋが透過する光ごとに、可変容量４４０及び４５０のうちの一方又は両方の容量を変更することにより、イベント検出部４０１ｋのゲインを、透過機構としての光学フィルタ２２１ｋが透過する光ごとに調整することができる。
【０３８５】
以上のように、イベント検出部４０１ｋのゲインの調整を、透過機構としての光学フィルタ２２１ｋ（図１２）が透過する光ごとに行うことにより、イベントの検出を柔軟に行うことができる。すなわち、例えば、センサチップ２００において、所定の色の光や偏光の変化をイベントとして検出しやすくすることができる。さらに、背景が僅かに動くこと等によって、意図しないイベント（フェイクイベント）が検出されることを抑制することや、特定の色の検出対象が動くことによるイベントを検出しやすくして、検出対象の検出率を向上させることができる。
【０３８６】
また、R, G, Bの光等の波長が異なる光ごとに、画素５１の感度が異なる場合には、各波長の光について、同一の光量でイベントが検出されるように、イベント検出部４０１ｋのゲインを調整することで、イベントの検出に関して、各波長の光を受光する画素５１の感度を補償することができる。
【０３８７】
＜ゲインのfine調整とcoarse調整とが可能な画素アレイ部２１１＞
【０３８８】
図３８は、ゲインのfine調整とcoarse調整とが可能な画素アレイ部２１１の構成例を示すブロック図である。
【０３８９】
なお、図中、図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３９０】
図３８において、画素アレイ部２１１は、複数の画素ブロック４１、及び、閾値設定部２３１１ないし２３１４を備える。画素ブロック４１は、2×2個の画素５１１ないし５１４、画素５１ｋごとに設けられたイベント検出部５０１１，５０１２，５０１３、及び、５０１４、並びに、画素信号生成部５３を備える。また、画素ブロック４１の列ごとには、画素ブロック４１とAD変換部３４のADCとを接続するVSLが配線されている。
【０３９１】
したがって、図３８の画素アレイ部２１１は、複数の画素ブロック４１を有する点、画素ブロック４１が、画素５１１ないし５１４、並びに、画素信号生成部５３を有する点で、図１３の場合と共通する。
【０３９２】
但し、図３８の画素アレイ部２１１は、画素ブロック４１が、イベント検出部５２ｋに代えて、イベント検出部５０１ｋを有する点で、図１３の場合と相違する。
【０３９３】
イベント検出部５０１ｋは、イベント検出部５２ｋと同様に、画素５１ｋのイベントを検出する他、ゲイン調整機構２２２として機能する。
【０３９４】
図３８の画素アレイ部２１１では、閾値設定部２３１ｋ、及び、イベント検出部５０１ｋが、ゲイン調整機構２２２として機能する。ゲイン調整機構２２２としての閾値設定部２３１ｋ、及び、イベント検出部５０１ｋでは、イベント検出部５０１ｋのゲインを粗く調整するcoarse調整と、イベント検出部５０１ｋのゲインを細かく調整するfine調整とを行うことができる。すなわち、ゲイン調整機構２２２としての閾値設定部２３１ｋ、及び、イベント検出部５０１ｋでは、イベント検出部５０１ｋのゲインを粗い所定の粒度（fine調整よりも粗い粒度）で調整するcoarse調整と、イベント検出部５０１ｋのゲインを、coarse調整よりも細かい粒度で調整するfine調整とを行うことができる。
【０３９５】
図３９は、図３８のイベント検出部５０１ｋの構成例を示すブロック図である。
【０３９６】
なお、図中、図１５、図３３、及び、図３６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３９７】
図３９において、イベント検出部５０１ｋは、バッファ８２、量子化部８４、転送部８５、電流電圧変換部４１１、及び、減算部４３１を備える。
【０３９８】
したがって、イベント検出部５０１ｋは、バッファ８２、量子化部８４、及び、転送部８５を有する点で、図１５の場合と共通する。但し、イベント検出部５０１ｋは、電流電圧変換部８１に代えて、図３３の電流電圧変換部４１１を有する点、及び、減算部８３に代えて、図３６の減算部４３１を有する点で、図１５の場合と相違する。
【０３９９】
透過機構としての光学フィルタ２２１ｋが透過する光ごとのイベント検出部５０１ｋのゲインの調整は、閾値設定部２３１ｋによるイベント閾値Vth(k)の設定、電流電圧変換部４１１の回路構成の切り替え、及び、減算部４３１での可変容量４４０とコンデンサ１０３との容量比の変更の１以上により行うことができる。
【０４００】
図４０は、イベント検出部５０１ｋのゲインのfine調整とcoarse調整とを説明する図である。
【０４０１】
電流電圧変換部４１１の回路構成の切り替えによる電流電圧変換部４１１のゲインの調整、及び、減算部４３１での可変容量４４０とコンデンサ１０３との容量比の変更による減算部４３１のゲインの調整によれば、イベント検出部５０１ｋのゲインを粗く調整するcoarse調整を行うことができる。
【０４０２】
閾値設定部２３１ｋによるイベント閾値Vth(k)の設定による量子化部８４のゲインの調整よれば、イベント検出部５０１ｋのゲインを細かく調整するfine調整を行うことができる。
【０４０３】
電流電圧変換部４１１のゲインの調整、及び、減算部４３１のゲインの調整のうちの一方又は両方と、量子化部８４のゲインの調整とを組み合わせて、イベント検出部５０１ｋのゲインを調整することにより、イベント検出部５０１ｋのゲインを、広い範囲で、かつ、細かく調整することができる。
【０４０４】
図４１は、イベント検出部５０１ｋのゲインのfine調整とcoarse調整との例を説明する図である。
【０４０５】
イベント検出部５０１ｋのゲインの調整は、電流電圧変換部４１１、減算部４３１、及び、量子化部８４の１以上のブロックのゲインを調整することにより行うことができる。
【０４０６】
例えば、電流電圧変換部４１１のゲインを2倍に、減算部４３１のゲインを2倍に、量子化部８４のゲインを1.1倍に、それぞれ調整することにより、イベント検出部５０１ｋのゲインを、4.4（=2×2×1.1）倍に調整することができる。また、例えば、電流電圧変換部４１１のゲインを2倍に、減算部４３１のゲインを1/2倍に、量子化部８４のゲインを1.1倍に、それぞれ調整することにより、イベント検出部５０１ｋのゲインを、1.1（=2×1/2×1.1）倍に調整することができる。
【０４０７】
電流電圧変換部４１１や減算部４３１のゲインの調整によれば、図４０で説明したように、イベント検出部５０１ｋのゲインを粗く調整するcoarse調整を行うことができる。
【０４０８】
電流電圧変換部４１１のゲインは、電流電圧変換部４１１を構成するトランジスタ９１ないし９３並びに４２１及び４２２（図３４）の特性で決まるため、プロセスばらつきを有する。また、電流電圧変換部４１１のゲインについては、高い精度で調整することが困難である。
【０４０９】
減算部４３１のゲインは、可変容量４４０及び４５０（図３７）の容量比で決まり、デフォルトのゲインの2倍や1/2倍等に調整することができる。可変容量４４０及び４５０は、画素５１ｋごとに設けられるため、減算部４３１のゲインを高い精度で調整するように、可変容量４４０及び４５０を設けようとすると、画素５１のサイズ（面積）の制約を受ける。
【０４１０】
量子化部８４のゲインは、例えば、閾値設定部２３１ｋを、図１７のＢに示したようなカレントミラーを有するDA変換器２６０で構成する場合には、カレントミラーを構成するミラー先のFET２６３としての複数のFETの中で、電流源２６２が流す電流に応じた電流を流す稼働FETの数を調整することで、高精細に調整することができる。
【０４１１】
また、透過機構としての光学フィルタ２２１ｋが透過する光ごと、例えば、R光、G光、及び、B光ごとに、イベント検出部５０１ｋのゲインを調整する場合には、閾値設定部２３１ｋは、例えば、画素５１ｋの外部に設けることができる。閾値設定部２３１ｋを、画素５１ｋの外部に設ける場合には、電流電圧変換部４１１や減算部４３１のゲインを調整する場合に比較して、面積の制約が小さい。
【０４１２】
イベント検出部５０１ｋのゲインを、例えば、0.5倍ないし2.5倍の範囲で調整する場合、その0.5倍ないし2.5倍の範囲のイベント検出部５０１ｋのゲインの調整は、量子化部８４のゲインのfine調整だけによって行うこともできるし、量子化部８４のゲインのfine調整と、電流電圧変換部４１１及び減算部４３１のゲインのcoarse調整との組み合わせによって行うこともできる。
【０４１３】
但し、量子化部８４のゲインのfine調整だけでなく、量子化部８４のゲインのfine調整と、電流電圧変換部４１１及び減算部４３１のゲインのcoarse調整との組み合わせにより、イベント検出部５０１ｋのゲインを調整する場合には、量子化部８４のゲインのfine調整だけにより、イベント検出部５０１ｋのゲインを調整する場合に比較して、閾値設定部２３１ｋを構成するDA変換器２６０が有するカレントミラーのミラー先のFET２６３としての複数のFETの個数を少なくすることができる。その結果、閾値設定部２３１ｋ（を構成するDA変換器２６０）の面積を小さくすることができる。
【０４１４】
なお、量子化部８４のゲインのfine調整は、電流電圧変換部４１１及び減算部４３１のゲインの、プロセスばらつきに起因するばらつきのキャリブレーションに使用することができる。例えば、電流電圧変換部４１１のゲインを2倍に設計した場合に、電流電圧変換部４１１の実際のゲインがプロセスばらつきに起因して、1.8倍であるときに、量子化部８４のゲインを1.1倍にすることにより、全体として、ゲインを2（≒1.8×1.1）倍にキャリブレーションすることができる。
【０４１５】
図４２は、照明のスペクトルと、CF３０１ｋの分光特性との例を示す図である。
【０４１６】
照明のスペクトルは、照明の種類ごとに異なり、照明が発する光の各波長の強度は異なる。また、光学フィルタ２２１ｋとして、CF３０１ｋ（図１９）が採用されていることとすると、画素５１ｋのR光、G光、及び、B光に対する感度は、例えば、CF３０１ｋの分光特性によって異なる。
【０４１７】
同期型のイメージセンサでは、照明が発する光の各波長の強度の違いや、画素５１ｋのR光、G光、及び、B光に対する感度の違いは、ホワイトバランスによって調整される。
【０４１８】
非同期型のセンサであるセンサチップ２００（図１０）では、イベント検出部５０１ｋが、画素５１ｋごとにイベントを検出するため、イベントの検出の感度は、画素５１ｋが受光する光に対する画素５１ｋの感度によって異なる。
【０４１９】
画素５１ｋが受光する光に対する画素５１ｋの感度は、照明のスペクトルと、CF３０１ｋの分光特性との積で表される。
【０４２０】
図４２の照明のスペクトルとCF３０１ｋの分光特性とによれば、例えば、被写体が、白熱電球で照明されている場合、B光やG光を受光する画素５１ｋよりも、R光を受光する画素５１ｋの感度が高くなる。
【０４２１】
そこで、同期型のイメージセンサでのホワイトバランスの調整を、R光、G光、及び、B光を受光する画素５１ｋそれぞれに適用し、R光、G光、及び、B光を受光する画素５１ｋのイベントを検出するイベント検出部５０１ｋのゲインを調整することにより、照明が変更された場合でも、R光、G光、及び、B光を受光する画素５１ｋそれぞれの感度を、同一の感度に調整することができる。
【０４２２】
図４３は、R光、G光、及び、B光を受光する画素５１ｋそれぞれの感度の調整の例を示す図である。
【０４２３】
図４３では、R光を受光する画素５１ｋの感度を1として、B光を受光する画素５１ｋの感度が1/2.2になっており、G光を受光する画素５１ｋの感度が1/1.6になっている。
【０４２４】
この場合、例えば、R光を受光する画素５１ｋのイベントを検出するイベント検出部５０１ｋのゲインを1倍に調整する一方、B光を受光する画素５１ｋのイベントを検出するイベント検出部５０１ｋのゲインを2.2倍に調整するとともに、G光を受光する画素５１ｋのイベントを検出するイベント検出部５０１ｋのゲインを1.6倍に調整することにより、R光、G光、及び、B光を受光する画素５１ｋそれぞれの感度を、同一の感度に調整することができる。
【０４２５】
なお、センサチップ２００は、光学フィルタ２２１ｋ（図１２）を設けずに構成することができる。この場合、イベント検出部５２ｋ、４０１ｋ、及び、５０１ｋのゲインは、画素５１ｋが受光する、光学フィルタ２２１ｋが透過する光ごとではなく、画素５１ごとに調整することができる。
【０４２６】
例えば、所定の被写体を検出する場合において、その被写体の位置を予測することができるときには、その位置からの光を受光する画素５１の感度が高くなるように、イベント検出部５２ｋ、４０１ｋ、及び、５０１ｋのゲインを調整することができる。
【０４２７】
また、イベント検出部５２ｋ、４０１ｋ、及び、５０１ｋのゲインの調整は、画素５１に設けられるオンチップレンズの感度ばらつきの補償に用いることができる。
【０４２８】
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０４２９】
図４４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０４３０】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０４３１】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０４３２】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０４３３】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０４３４】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０４３５】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０４３６】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０４３７】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０４３８】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０４３９】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０４４０】
図４５は、撮像部１２０３１の設置位置の例を示す図である。
【０４４１】
図４５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０４４２】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０４４３】
なお、図４５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０４４４】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０４４５】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０４４６】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０４４７】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０４４８】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１０のセンサチップ２００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、イベントの検出を柔軟に行い、そのイベントの検出により得られるイベントデータのデータ処理により、適切な運転支援を行うことができる。
【０４４９】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４５０】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０４５１】
なお、本技術は、以下の構成をとることができる。
【０４５２】
＜１＞
光を受光し、光電変換を行って電気信号を生成する画素と、
前記画素の電気信号の変化であるイベントを検出するイベント検出部と、
前記イベント検出部のゲインを、前記画素ごとに調整するゲイン調整機構と
を備えるセンサ。
＜２＞
所定の光を透過する透過機構をさらに備え、
前記画素は、前記透過機構を透過する所定の光を受光し、
前記ゲイン調整機構は、前記イベント検出部のゲインを、前記透過機構が透過する前記所定の光ごとに調整する
＜１＞に記載のセンサ。
＜３＞
前記ゲイン調整機構として、前記イベントを検出するときに用いられる閾値を、前記画素が受光する前記所定の光ごとに設定する閾値設定部を備える
＜２＞に記載のセンサ。
＜４＞
前記透過機構は、カラーフィルタである
＜３＞に記載のセンサ。
＜５＞
前記閾値設定部は、前記画素が受光する、前記カラーフィルタが透過する光の色ごとに、前記閾値を設定する
＜４＞に記載のセンサ。
＜６＞
前記透過機構は、偏光フィルタである
＜３＞に記載のセンサ。
＜７＞
前記閾値設定部は、前記画素が受光する、前記偏光フィルタが透過する光の偏光方向ごとに、前記閾値を設定する
＜６＞に記載のセンサ。
＜８＞
前記イベント検出部は、
前記画素の光電流を、前記光電流に対応する電圧に変換する電流電圧変換部を有し、
所定の閾値を超える前記電圧の変化を、前記イベントとして検出し、
前記ゲイン調整機構として、トランジスタがカスケード接続された構成とカスケード接続されていない構成とに回路構成が切り替え可能な前記電流電圧変換部を備える
＜１＞又は＜２＞に記載のセンサ。
＜９＞
前記イベント検出部は、第１の容量及び第２の容量を含み、前記画素の光電流に対応する電圧の異なるタイミングの電圧どうしの差に対応する差信号を求める減算部を有し、
前記ゲイン調整機構として、前記第１の容量と前記第２の容量との容量比が変更可能な前記減算部を備える
＜１＞又は＜２＞に記載のセンサ。
＜１０＞
前記ゲイン調整機構は、前記イベント検出部のゲインを粗く調整するcoarse調整と、前記イベント検出部のゲインを細かく調整するfine調整とを行う
＜１＞又は＜２＞に記載のセンサ。
＜１１＞
前記イベント検出部は、
前記画素の光電流を、前記光電流に対応する電圧に変換する電流電圧変換部と、
第１の容量及び第２の容量を含み、異なるタイミングの前記電圧どうしの差に対応する差信号を求める減算部と
を有し、
前記差信号と閾値とを比較することにより、前記イベントを検出し、
前記ゲイン調整機構として、
トランジスタがカスケード接続された構成とカスケード接続されていない構成とに回路構成が切り替え可能な前記電流電圧変換部、及び、前記第１の容量と前記第２の容量との容量比が変更可能な前記減算部のうちの一方又は両方と、
前記閾値を設定する閾値設定部と
を備え、
前記電流電圧変換部の回路構成の切り替え、及び、前記減算部での前記容量比の変更のうちの一方又は両方により、前記coarse調整を行い、
前記閾値設定部による前記閾値の設定により、前記fine調整を行う
＜１０＞に記載のセンサ。
＜１２＞
前記透過機構は、カラーフィルタであり
前記ゲイン調整機構は、被写体を撮像する環境に応じて、前記イベント検出部のゲインを、前記画素が受光する、前記カラーフィルタが透過する光の色ごとに調整する
＜２＞ないし＜１１＞のいずれかに記載のセンサ。
＜１３＞
前記イベントが検出された前記画素の光電流に対応する電圧の信号を画素信号として生成する画素信号生成部をさらに備える
＜１＞ないし＜１２＞のいずれかに記載のセンサ。
＜１４＞
光を受光し、光電変換を行って電気信号を生成する画素と、
前記画素の電気信号の変化であるイベントを検出するイベント検出部と
を備えるセンサの前記イベント検出部のゲインを、前記画素ごとに調整する
ステップを含む制御方法。
【符号の説明】
【０４５３】
１０  センサチップ，  １１  センサダイ，  １２  ロジックダイ，  ２１  センサ部，  ２２  ロジック部，  ３１  画素アレイ部，  ３２  駆動部，  ３３  アービタ，  ３４  AD変換部，  ３５  出力部，  ４１  画素ブロック，  ５１，５１１ないし５１４  画素，  ５２，５２１ないし５２４  イベント検出部，  ５３  画素信号生成部，  ６０  ノード，  ６１  光電変換素子，  ６２，６３  転送トランジスタ，  ７１  リセットトランジスタ，  ７２  増幅トランジスタ，  ７３  選択トランジスタ，  ７４  FD，  ８１  電流電圧変換部，  ８２  バッファ，  ８３  減算部，  ８４  量子化部，  ８５  転送部，  ９１ないし９３  トランジスタ，  １０１  コンデンサ，  １０２  オペアンプ，  １０３  コンデンサ，  １０４  スイッチ，  １１１，１１２  コンパレータ，  ２００  センサチップ，  ２０１  センサ部，  ２１１  画素アレイ部，  ２２１１ないし２２１４  光学フィルタ，  ２２２  ゲイン調整機構，  ２３１１ないし２３１４  閾値設定部，  ２５０  DA変換器，  ２５１  ラダー回路，  ２５２  オペアンプ，  ２６０  D/A変換器，  ２６１  FET，  ２６２  電流源，  ２６３  FET，  ２６４  抵抗，  ３０１１ないし３０１４  CF，  ３３１１ないし３３１４  偏光フィルタ，  ３７１，３７２  FET，  ４０１１ないし４０１４  イベント検出部，  ４１１  電流電圧変換部，  ４２１，４２２  トランジスタ，  ４２３ないし４２６  スイッチ，  ４３１  減算部，  ４４１，４４２  コンデンサ，  ４４３  スイッチ，  ５０１１ないし５０１４  イベント検出部
【図１】
2020088676.tif 000003
【図２】
2020088676.tif 000004
【図３】
2020088676.tif 000005
【図４】
2020088676.tif 000006
【図５】
2020088676.tif 000007
【図６】
2020088676.tif 000008
【図７】
2020088676.tif 000009
【図８】
2020088676.tif 000010
【図９】
2020088676.tif 000011
【図１０】
2020088676.tif 000012
【図１１】
2020088676.tif 000013
【図１２】
2020088676.tif 000014
【図１３】
2020088676.tif 000015
【図１４】
2020088676.tif 000016
【図１５】
2020088676.tif 000017
【図１６】
2020088676.tif 000018
【図１７】
2020088676.tif 000019
【図１８】
2020088676.tif 000020
【図１９】
2020088676.tif 000021
【図２０】
2020088676.tif 000022
【図２１】
2020088676.tif 000023
【図２２】
2020088676.tif 000024
【図２３】
2020088676.tif 000025
【図２４】
2020088676.tif 000026
【図２５】
2020088676.tif 000027
【図２６】
2020088676.tif 000028
【図２７】
2020088676.tif 000029
【図２８】
2020088676.tif 000030
【図２９】
2020088676.tif 000031
【図３０】
2020088676.tif 000032
【図３１】
2020088676.tif 000033
【図３２】
2020088676.tif 000034
【図３３】
2020088676.tif 000035
【図３４】
2020088676.tif 000036
【図３５】
2020088676.tif 000037
【図３６】
2020088676.tif 000038
【図３７】
2020088676.tif 000039
【図３８】
2020088676.tif 000040
【図３９】
2020088676.tif 000041
【図４０】
2020088676.tif 000042
【図４１】
2020088676.tif 000043
【図４２】
2020088676.tif 000044
【図４３】
2020088676.tif 000045
【図４４】
2020088676.tif 000046
【図４５】
2020088676.tif 000047