(57)【要約】【課題】画素の電気信号の変化であるイベントを検出するセンサにおいて不自然な画像が得られることを抑制する。【解決手段】光を受光し、光電変換を行って電気信号を生成する画素の電気信号の変化であるイベントが検出され、所定の電圧にリセットされた容量の電圧の、画素の電気信号に従った変化に応じて、画素の電気信号が読み出される場合において、イベントが検出された画素であるイベント検出画素、及び、イベント検出画素の周辺の画素である周辺画素の電気信号が読み出される。本技術は、例えば、画素の電気信号の変化であるイベントを検出するセンサに適用することができる。【選択図】図１４
2020099015.tif 000002
【特許請求の範囲】
【請求項１】
光を受光し、光電変換を行って電気信号を生成する画素と、
前記画素の電気信号の変化であるイベントを検出するイベント検出部と、
所定の電圧にリセットされた容量の電圧の、前記画素の電気信号に従った変化に応じて、前記画素の電気信号を読み出す信号読み出し部と
を備え、
前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記電気信号が読み出される
ように構成されたセンサ。
【請求項２】
前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記容量をリセットし、前記イベント検出画素及び前記周辺画素の前記電気信号を読み出させるリセット制御部をさらに備える
請求項１に記載のセンサ。
【請求項３】
複数の画素で構成されるブロック内の前記画素のイベントが検出された場合、前記ブロックのすべての前記画素の前記電気信号が読み出される
請求項２に記載のセンサ。
【請求項４】
前記リセット制御部は、前記ブロック内の前記画素のイベントが検出された場合、前記ブロック内のすべての前記画素の前記容量をリセットする
請求項３に記載のセンサ。
【請求項５】
前記イベント検出画素を中心とする所定の範囲内のすべての前記画素の前記電気信号が読み出される
請求項２に記載のセンサ。
【請求項６】
前記リセット制御部は、前記イベント検出画素を中心とする所定の範囲内のすべての前記画素の前記容量をリセットする
請求項５に記載のセンサ。
【請求項７】
複数の画素で構成されるブロック内の前記画素のイベントが検出された場合、前記イベント検出画素、及び、前記ブロック内の特定の画素の前記電気信号が読み出される
請求項２に記載のセンサ。
【請求項８】
前記リセット制御部は、前記ブロック内の前記画素のイベントが検出された場合、前記イベント検出画素、及び、前記ブロック内の特定の画素の前記容量をリセットする
請求項７に記載のセンサ。
【請求項９】
光を受光し、光電変換を行って電気信号を生成する画素と、
前記画素の電気信号の変化であるイベントを検出するイベント検出部と、
所定の電圧にリセットされた容量の電圧の、前記画素の電気信号に従った変化に応じて、前記画素の電気信号を読み出す信号読み出し部と
を備えるセンサが、
前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記電気信号を読み出す
ことを含む制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、センサ及び制御方法に関し、特に、例えば、画素の電気信号の変化であるイベントを検出するセンサにおいて不自然な画像が得られることを抑制することができるようにするセンサ及び制御方法に関する。
【背景技術】
【０００２】
画素の輝度変化をイベントとして、イベントが発生した場合に、そのイベントを検出し、イベントの発生を表すイベントデータを出力するとともに、イベントが検出された画素の輝度信号を出力するイメージセンサが提案されている（例えば、非特許文献１を参照）。
【０００３】
ここで、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力するイメージセンサは、同期型のイメージセンサということができる。これに対して、イベントデータを出力するイメージセンサは、イベントデータを、垂直同期信号に同期して出力するわけではないので、非同期型のイメージセンサということができる。非同期型のイメージセンサは、例えば、DVS(Dynamic Vision Sensor)と呼ばれる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Christoph Posch, et. al,” A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor with Lossless Pixel-Level Video Compression and Time-Domain CDS”, IEEE JSSC, Vol.46,No.1,Jan, 2011
【発明の概要】
【発明が解決しようとする課題】
【０００５】
DVSにおいて、イベントが検出された画素の輝度信号を出力する場合、不自然な画像が得られることがある。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、不自然な画像が得られることを抑制することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術のセンサは、光を受光し、光電変換を行って電気信号を生成する画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部と、所定の電圧にリセットされた容量の電圧の、前記画素の電気信号に従った変化に応じて、前記画素の電気信号を読み出す信号読み出し部とを備え、前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記電気信号が読み出されるように構成されたセンサである。
【０００８】
本技術の制御方法は、光を受光し、光電変換を行って電気信号を生成する画素と、前記画素の電気信号の変化であるイベントを検出するイベント検出部と、所定の電圧にリセットされた容量の電圧の、前記画素の電気信号に従った変化に応じて、前記画素の電気信号を読み出す信号読み出し部とを備えるセンサが、前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記電気信号を読み出すことを含む制御方法である。
【０００９】
本技術のセンサ及び制御方法においては、光を受光し、光電変換を行って電気信号を生成する画素の電気信号の変化であるイベントが検出され、所定の電圧にリセットされた容量の電圧の、前記画素の電気信号に従った変化に応じて、前記画素の電気信号が読み出される。この場合において、前記イベントが検出された前記画素であるイベント検出画素、及び、前記イベント検出画素の周辺の前記画素である周辺画素の前記電気信号が読み出される。
【００１０】
センサは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。また、センサは、モジュールや半導体チップとして構成することができる。
【図面の簡単な説明】
【００１１】
【図１】本技術を適用したセンサチップの一実施の形態の構成例を示す図である。
【図２】センサ部２１の構成例を示すブロック図である。
【図３】画素アレイ部３１の構成例を示すブロック図である。
【図４】画素５１及びEM部５３の構成例を示す回路図である。
【図５】EM部５３による画素５１（のPD６２）の光電流の読み出しの例を説明する図である。
【図６】TD部５２の構成例を示すブロック図である。
【図７】電流電圧変換部８１の構成例を示す回路図である。
【図８】減算部８３及び量子化部８４の構成例を示す回路図である。
【図９】EMアービタ３２及びTDアービタ３３の構成例を示すブロック図である。
【図１０】画素５１のイベントが発生した場合のEMアービタ３２及びTDアービタ３３の動作の例を説明する図である。
【図１１】画素５１のイベントが発生した場合のEMアービタ３２及びTDアービタ３３の動作の例を説明する図である。
【図１２】画素５１のイベントが発生した場合のEMアービタ３２及びTDアービタ３３の動作の例を説明する図である。
【図１３】イベントが検出された画素５１の画素信号を用いたフレームデータの生成の例を示す図である。
【図１４】新読み出し方式により読み出された光電流に応じた画素信号を用いたフレームデータの生成の例を示す図である。
【図１５】新読み出し方式により画素５１の光電流の読み出しが行われるセンサ部２１の動作の例を説明するフローチャートである。
【図１６】第１の読み出し方式を説明する図である。
【図１７】第１の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
【図１８】第２の読み出し方式を説明する図である。
【図１９】第２の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
【図２０】第３の読み出し方式を説明する図である。
【図２１】第３の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
【図２２】第４の読み出し方式を説明する図である。
【図２３】第４の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
【図２４】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２５】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
＜本技術を適用したセンサチップの一実施の形態＞
【００１３】
図１は、本技術を適用したセンサチップの一実施の形態の構成例を示す図である。
【００１４】
センサチップ１０は、１チップの半導体チップであり、複数のダイ（基板）としてのセンサダイ（基板）１１とロジックダイ１２とが積層されて構成される。なお、センサチップ１０は、１個のダイで構成することもできるし、３個以上のダイを積層して構成することもできる。
【００１５】
図１のセンサチップ１０において、センサダイ１１には、センサ部２１（としての回路）が構成され、ロジックダイ１２には、ロジック部２２が構成されている。なお、センサ部２１については、その一部を、ロジックダイ１２に構成することができる。また、ロジック部２２については、その一部を、センサダイ１１に構成することができる。
【００１６】
センサ部２１は、入射光の光電変換を行って電気信号を生成する画素を有し、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。センサ部２１は、イベントデータを、ロジック部２２に供給する。すなわち、センサ部２１は、画素において、入射光の光電変換を行って電気信号を生成する撮像を行うが、フレーム形式の画像データを生成するのではなく、画素の電気信号の変化であるイベントの発生を表すイベントデータを生成する。センサ部２１は、撮像により得られるイベントデータを、ロジック部２２に出力する。
【００１７】
ここで、同期型のイメージセンサとは、垂直同期信号に同期して撮像を行い、フレーム形式の画像データであるフレームデータを出力するイメージセンサである。センサ部２１は、イベントデータを出力するにあたり、垂直同期信号に同期して動作するわけではないので、同期型のイメージセンサに対して、非同期型（のイメージセンサ）である、ということができる。
【００１８】
なお、センサ部２１では、イベントデータの他、同期型のイメージセンサと同様に、フレームデータを生成して出力することができる。さらに、センサ部２１では、イベントが発生した画素（イベントが検出された画素）の電気信号を、フレームデータの画素の画素値となる画素信号として、イベントデータととともに出力することができる。
【００１９】
ロジック部２２は、必要に応じて、センサ部２１の制御を行う。また、ロジック部２２は、センサ部２１からのイベントデータに応じて、フレームデータを生成するデータ処理や、センサ部２１からのフレームデータ、又は、センサ部２１からのイベントデータに応じて生成されたフレームデータを対象とする画像処理等の各種のデータ処理を行い、イベントデータや、フレームデータ、各種のデータ処理を行うことにより得られるデータ処理結果を出力する。
【００２０】
＜センサ部２１の構成例＞
【００２１】
図２は、図１のセンサ部２１の構成例を示すブロック図である。
【００２２】
センサ部２１は、画素アレイ部３１、EM(Exposure Measurement)アービタ３２、TD(Time Detector)アービタ３３、及び、出力部３４を備える。
【００２３】
画素アレイ部３１は、複数の画素５１（図３）が２次元格子状に配列されて構成される。画素アレイ部３１は、画素５１の光電変換によって生成される電気信号としての光電流に所定の閾値を超える変化（閾値以上の変化を必要に応じて含む）が発生した場合に、その光電流の変化をイベントとして検出する。画素アレイ部３１は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するTDリクエスト信号を、TDアービタ３３に出力する。さらに、画素アレイ部３１は、TDアービタ３３からイベントデータの出力を認めるack(acknowledge)信号を受信し、イベントが検出された画素５１等の電気信号を読み出すためのコンデンサ７１（図４）を所定の電圧にリセットするリセット信号を受信する。画素アレイ部３１は、リセット信号の受信後、イベントが検出された画素５１の電気信号の読み出しを開始し、その電気信号に応じた信号を、画素値となる画素信号として出力することを要求するEMリクエスト信号を、EMアービタ３２に出力する。
【００２４】
ここで、画素アレイ部３１の画素５１で生成される光電流の変化は、画素５１に入射する光の光量変化とも捉えることができるので、イベントは、画素５１の光量変化（閾値を超える光量変化）であるとも言うことができる。
【００２５】
EMアービタ３２は、画素アレイ部３１からのEMリクエスト信号を受信し、必要に応じて調停して、EMリクエスト信号を受信したことを表すEMイベントデータを、出力部３４に供給する。また、EMアービタ３２は、画素アレイ部３１からのEMリクエスト信号に対する応答としてのack信号を、画素アレイ部３１に返す。
【００２６】
TDアービタ３３は、画素アレイ部３１からのTDリクエスト信号を受信し、必要に応じて調停する。そして、TDアービタ３３は、TDリクエスト信号に応じて、イベントの発生を表すイベントデータを、出力部３４に供給（出力）する。さらに、TDアービタ３３は、TDリクエスト信号に対する応答としてのack信号を、画素アレイ部３１に返すとともに、リセット信号を、画素アレイ部３１に供給することにより、イベントが検出された画素５１の電気信号の読み出しを開始させる。
【００２７】
出力部３４は、EMアービタ３２からのEMイベントデータに応じて、イベントが検出された画素５１の画素信号を生成し、ロジック部２２に供給（出力）する。
【００２８】
また、出力部３４は、TDアービタ３３からのイベントデータに、イベントが発生した（相対的な）時刻を表す時刻情報としての、例えば、タイムスタンプを含めるとともに、イベントとしての光量変化が発生した（イベントが検出された）画素５１の位置を表す位置情報（座標等）を含め、ロジック部２２に供給する。
【００２９】
なお、出力部３４では、その他、イベントデータに、光量変化の極性（正負）を含ませることができる。イベントが発生した（検出された）画素５１の位置情報、イベントが発生した時刻を表す時刻情報、イベントとしての光量変化の極性を含むイベントデータのデータ形式としては、例えば、AER(Address Event Representation)と呼ばれるデータ形式を採用することができる。
【００３０】
＜画素アレイ部３１の構成例＞
【００３１】
図３は、図２の画素アレイ部３１の構成例を示すブロック図である。
【００３２】
画素アレイ部３１は、複数の画素ユニット４１を有し、その複数の画素ユニット４１が２次元格子状に配列されて構成される。
【００３３】
画素ユニット４１は、画素５１、TD部５２、及び、EM部５３を有する。
【００３４】
画素５１は、被写体からの入射光を受光し、光電変換して電気信号としての光電流を生成する。
【００３５】
TD部５２は、画素５１の光電流の所定の閾値を超える変化を、イベントとして検出するイベント検出部として機能する。TD部５２は、イベントを検出した場合、イベントの発生を表すイベントデータの出力を要求するTDリクエスト信号を、TDアービタ３３（図２）に供給する。TDアービタ３３は、TDリクエスト信号に応じて、イベントデータを、出力部３４に供給し、TDリクエスト信号に対する応答としてのack信号を、TD部５２に返す。TD部５２は、TDアービタ３３からのack信号を受信し、画素５１のイベントの検出を再開する。
【００３６】
EM部５３は、TD部５２においてイベントが検出された場合に、TDアービタ３３からのリセット信号に応じて、画素５１の電気信号としての光電流の読み出す信号読み出し部として機能する。EM部５３は、画素５１の光電流の読み出しに応じて、EMリクエスト信号を、EMアービタ３２に供給（出力）する。EMアービタ３２は、EMリクエスト信号に対する応答としてのack信号を、EM部５３に返す。EM部５３は、EMアービタ３２からのack信号を受信する。
【００３７】
ここで、光電流の所定の閾値を超える変化をイベントとして検出することは、同時に、光電流の所定の閾値を超える変化がなかったことをイベントとして検出していると捉えることができる。EM部５３では、画素５１の光電流の読み出しを、イベントとしての光電流の所定の閾値を超える変化が検出された場合の他、イベントとしての光電流の所定の閾値を超える変化がなかったことが検出された場合に行うことができる。
＜画素５１及びEM部５３の構成例＞
【００３８】
図４は、画素５１及びEM部５３の構成例を示す回路図である。
【００３９】
画素５１は、光電変換素子としてのPD(Photodiode)６１及び６２を有する。
【００４０】
PD６１及び６２は、入射光を受光し、光電変換して電荷を生成する。PD６１及び６２において、光電変換により生成された電荷が移動することで、光電流が流れる（生成される）。
【００４１】
PD６１は、TD部５２に接続されている。PD６１の光電流は、TD部５２を流れ、TD部５２において、イベントの検出に用いられる。
【００４２】
PD６２は、EM部５３に接続されている。PD６２の光電流は、EM部５３において読み出され（EM部５３を流れ）、画素信号の生成に用いられる。
【００４３】
ここで、PD６１及び６２は、1個のPDで兼用することができる。すなわち、本実施の形態では、画素５１は、2個のPD６１及び６２で構成されるが、画素５１については、1個のPDで構成することができる。画素５１が1個のPDで構成される場合、その1個のPDは、TD部５２及びEM部５３に接続される。
【００４４】
EM部５３は、容量としてのコンデンサ７１、FET７２、スイッチ７３、及び、コンパレータ７４で構成される。
【００４５】
コンデンサ７１の一端は接地され、他端は、FET７２のドレインに接続される。コンデンサ７１とFET７２との接続点は、PD６２（のカソード）と、コンパレータ７４の非反転入力端子とに接続される。したがって、コンパレータ７４の非反転入力端子には、コンデンサ７１の電圧が供給される。
【００４６】
FET７２は、P(Positive)型のMOS(Metal-Oxide-Semiconductor) FET(Field Effect Transistor)であり、ソースは、電源VDDに接続される。FET７２のゲートには、TDアービタ３３からのリセット信号が供給される。
【００４７】
スイッチ７３は、コンパレータ７４の反転入力端子に接続されており、EMアービタ３２からのack信号等に応じて、端子ａ又はｂを選択する。端子ａには、閾値としての電圧VHが供給され、端子ｂには、閾値としての電圧VL(<VH)が供給される。したがって、コンパレータ７４の反転入力端子には、電圧VH又はVLが供給される。
【００４８】
コンパレータ７４は、非反転入力端子に供給されるコンデンサ７１の電圧と、反転入力端子に供給される電圧VH又はVLとを比較し、その比較結果を表すHレベル又はLレベルを、EMリクエスト信号として出力する。
【００４９】
図５は、EM部５３による画素５１（のPD６２）の光電流の読み出しの例を説明する図である。
【００５０】
図５は、コンデンサ７１の電圧の時間変化の例を示している。
【００５１】
EM部５３において、FET７２は、一時的にHレベルからLレベルとなるリセット信号に応じて、一時的にオフからオンになる。FET７２がオンになることにより、コンデンサ７１は、FET７２を介して、電源VDDに接続され、その電源VDDの電源電圧にリセットされる。ここで、電源VDDの電源電圧は、電圧VHよりも高い電圧になっている。
【００５２】
リセットされたコンデンサ７１の電圧は、画素５１のPD６２の光電流が流れることにより、その光電流に従って変化する。すなわち、コンデンサ７１の電圧は、PD６２の光電流が流れることにより、その光電流に従った傾きで低下する。
【００５３】
EM部５３では、コンデンサ７１の電圧の、光電流に従った変化に応じて、その光電流が読み出される。
【００５４】
すなわち、コンデンサ７１のリセットの直後に、スイッチ７３は、端子ａを選択し、これにより、コンパレータ７４の反転入力端子には、電圧VHが供給される。
【００５５】
コンパレータ７４は、非反転入力端子に供給されるコンデンサ７１の電圧と、反転入力端子に供給される電圧VHとを比較し、コンデンサ７１の電圧が、電圧VHより高い場合、Hレベル及びLレベルのうちの、例えば、Hレベルを出力する。そして、コンデンサ７１の電圧が低下し、電圧VH以下となると、コンパレータ７４は、Lレベルを、EMリクエスト信号として出力する。ここで、コンデンサ７１の電圧が電圧VH以下となって、コンパレータ７４が出力するEMリクエスト信号を、第１のEMリクエスト信号ともいう。
【００５６】
コンパレータ７４が出力する第１のEMリクエスト信号は、EMアービタ３２で受信され、第１のEMリクエスト信号を受信したEMアービタ３２は、ack信号を、EM部５３に返す。EM部５３のスイッチ７３は、EMアービタ３２からのack信号に応じて、端子ｂを選択し、これにより、コンパレータ７４の反転入力端子には、電圧VL(<VH)が供給される。
【００５７】
コンデンサ７１の電圧が電圧VH以下となった直後では、コンパレータ７４の非反転入力端子に供給されるコンデンサ７１の電圧は、コンパレータ７４の反転入力端子に供給される電圧VLより高いので、コンパレータ７４は、Hレベルを出力する。
【００５８】
その後、コンデンサ７１の電圧が低下し、電圧VL以下となると、コンパレータ７４は、Lレベルを、EMリクエスト信号として出力する。ここで、コンデンサ７１の電圧が電圧VL以下となって、コンパレータ７４が出力するEMリクエスト信号を、第２のEMリクエスト信号ともいう。
【００５９】
いま、コンデンサ７１がリセットされた時刻を基準として、第１のEMリクエスト信号が出力された時刻を、時刻THというとともに、第２のEMリクエスト信号が出力された時刻を、時刻TLということとする。第１のEMリクエスト信号の時刻TH、及び、第２のEMリクエスト信号の時刻TLは、コンデンサ７１の電圧の変化、すなわち、画素５１のPD６２の光電流に応じて変化するので、第１及び第２のEMリクエスト信号を出力することは、等価的に、画素５１のPD６２の光電流を読み出している、ということができる。
【００６０】
コンパレータ７４が出力する第１及び第２のEMリクエスト信号は、EMアービタ３２で受信され、EMイベントデータとして、出力部３４に供給される。
【００６１】
出力部３４は、EMアービタ３２からのEMイベントデータに応じて、光電流が読み出された画素５１の画素信号を生成する。
【００６２】
すなわち、出力部３４は、第１のEMリクエスト信号の時刻THと、第２のEMリクエスト信号の時刻TLとの間の時間TDに対応する電圧を、画素５１の画素信号として生成する。
【００６３】
なお、出力部３４では、第１のEMリクエスト信号の時刻TH、又は、第２のEMリクエスト信号の時刻TLに対応する電圧を、画素５１の画素信号として生成することができる。但し、第１のEMリクエスト信号の時刻THと、第２のEMリクエスト信号の時刻TLとの間の時間TD（時刻THと時刻TLとの差）に対応する電圧を、画素５１の画素信号として生成することにより、実質的に、CDS(Correlated Double Sampling)を行うことができる。
【００６４】
＜TD部５２の構成例＞
【００６５】
図６は、図３のTD部５２の構成例を示すブロック図である。
【００６６】
TD部５２は、電流電圧変換部８１、バッファ８２、減算部８３、量子化部８４、及び、転送部８５を備える。
【００６７】
電流電圧変換部８１は、画素５１（のPD６１）からの光電流を、その光電流の対数に対応する電圧（以下、光電圧ともいう）に変換し、バッファ８２に供給する。
【００６８】
バッファ８２は、電流電圧変換部８１からの光電圧をバッファリングし、減算部８３に供給する。
【００６９】
減算部８３は、現在の光電圧と、現在と微小時間だけ異なるタイミングの光電圧との差を演算し、その差に対応する差信号を、量子化部８４に供給する。
【００７０】
量子化部８４は、減算部８３からの差信号をディジタル信号に量子化し、差信号の量子化値を、転送部８５に供給する。
【００７１】
転送部８５は、量子化部８４からの差信号の量子化値に応じて、画素５１のイベントを検出し、画素５１のイベントが検出された場合に、TDリクエスト信号を、TDアービタ３３に出力（転送）する。また、転送部８５は、TDアービタ３３から供給される、TDリクエスト信号に対する応答としてのack信号を受信する。
【００７２】
＜電流電圧変換部８１の構成例＞
【００７３】
図７は、図６の電流電圧変換部８１の構成例を示す回路図である。
【００７４】
電流電圧変換部８１は、トランジスタ９１ないし９３で構成される。トランジスタ９１及び９３としては、例えば、N型のMOS FETを採用することができ、トランジスタ９２としては、例えば、P型のMOS(PMOS) FETを採用することができる。
【００７５】
トランジスタ９１のソースは、トランジスタ９３のゲートと接続され、トランジスタ９１のソースとトランジスタ９３のゲートとの接続点には、画素５１（のPD６１）からの光電流が供給される。トランジスタ９１のドレインは、電源VDDに接続され、そのゲートは、トランジスタ９３のドレインに接続される。
【００７６】
トランジスタ９２のソースは、電源VDDに接続され、そのドレインは、トランジスタ９１のゲートとトランジスタ９３のドレインとの接続点に接続される。トランジスタ９２のゲートには、所定のバイアス電圧Vbiasが印加される。
【００７７】
トランジスタ９３のソースは接地される。
【００７８】
電流電圧変換部８１において、トランジスタ９１のドレインは電源VDD側に接続されており、ソースフォロワになっている。ソースフォロワになっているトランジスタ９１と、そのソースにゲートが接続されているトランジスタ９３より、画素５１からの光電流は、その光電流の対数に対応する光電圧に変換される。
【００７９】
光電圧は、トランジスタ９１のゲートとトランジスタ９３のドレインとの接続点から、バッファ８２（図６）に供給される。
【００８０】
＜減算部８３及び量子化部８４の構成例＞
【００８１】
図８は、図６の減算部８３及び量子化部８４の構成例を示す回路図である。
【００８２】
減算部８３は、コンデンサ１０１、オペアンプ１０２、コンデンサ１０３、及び、スイッチ１０４を備える。量子化部８４は、コンパレータ１１１を備える。
【００８３】
コンデンサ１０１の一端は、バッファ８２（図６）の出力端子に接続され、他端は、オペアンプ１０２の入力端子に接続される。したがって、オペアンプ１０２の入力端子には、コンデンサ１０１を介して光電圧が入力される。
【００８４】
オペアンプ１０２の出力端子は、コンパレータ１１１の非反転入力端子（＋）に接続される。
【００８５】
コンデンサ１０３の一端は、オペアンプ１０２の入力端子に接続され、他端は、オペアンプ１０２の出力端子に接続される。
【００８６】
スイッチ１０４は、コンデンサ１０３の両端の接続をオン／オフするように、コンデンサ１０３に接続される。スイッチ１０４は、TDアービタ３３からのack信号等に従ってオン／オフすることにより、コンデンサ１０３の両端の接続をオン／オフする。
【００８７】
スイッチ１０４をオンした際のコンデンサ１０１のバッファ８２（図６）側の光電圧をVinitと表すとともに、コンデンサ１０１の容量（静電容量）をC1と表すこととする。オペアンプ１０２の入力端子は、仮想接地になっており、スイッチ１０４がオンである場合にコンデンサ１０１に蓄積される電荷Qinitは、式（１）により表される。
【００８８】
Qinit = C1 ×Vinit
・・・（１）
【００８９】
また、スイッチ１０４がオンである場合には、コンデンサ１０３の両端は短絡されるため、コンデンサ１０３に蓄積される電荷はゼロとなる。
【００９０】
その後、スイッチ１０４がオフになった場合の、コンデンサ１０１のバッファ８２（図６）側の光電圧を、Vafterと表すこととすると、スイッチ１０４がオフになった場合にコンデンサ１０１に蓄積される電荷Qafterは、式（２）により表される。
【００９１】
Qafter = C1×Vafter
・・・（２）
【００９２】
コンデンサ１０３の容量をC2と表すとともに、オペアンプ１０２の出力電圧をVoutと表すこととすると、コンデンサ１０３に蓄積される電荷Q2は、式（３）により表される。
【００９３】
Q2 = -C2×Vout
・・・（３）
【００９４】
スイッチ１０４がオフする前後で、コンデンサ１０１の電荷とコンデンサ１０３の電荷とを合わせた総電荷量は変化しないため、式（４）が成立する。
【００９５】
Qinit = Qafter + Q2
・・・（４）
【００９６】
式（４）に式（１）ないし式（３）を代入すると、式（５）が得られる。
【００９７】
Vout = -(C1/C2)×(Vafter - Vinit)
・・・（５）
【００９８】
式（５）によれば、減算部８３では、光電圧Vafter及びVinitの減算、すなわち、光電圧VafterとVinitとの差Vafter - Vinitに対応する差信号(Vout)の算出が行われる。式（５）によれば、減算部８３の減算のゲインはC1/C2となる。通常、ゲインを最大化することが望まれるため、C1を大きく、C2を小さく設計することが好ましい。一方、C2が小さすぎると、kTCノイズが増大し、ノイズ特性が悪化するおそれがあるため、C2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素ユニット４１ごとに減算部８３を含むTD部５２が搭載されるため、容量C1やC2には、面積上の制約がある。これらを考慮して、容量C1及びC2の値が決定される。
【００９９】
コンパレータ１１１は、減算部８３からの差信号と、反転入力端子（−）に印加された所定の閾値（電圧）Vthとを比較する。コンパレータ１１１は、差信号と閾値Vthとの比較結果を表す、例えば、H(High)レベル又はL(Low)レベルを、差信号の量子化値として、転送部８５に出力する。
【０１００】
転送部８５は、量子化部８４からの差信号の量子化値に応じて、イベントとしての光量変化が発生したと認められる場合、すなわち、差信号(Vout)が閾値Vthより大（又は小）であることを、量子化値が表している場合、画素５１のイベントが検出されたとして、TDリクエスト信号を、TDアービタ３３に出力する。
【０１０１】
TDアービタ３３は、転送部８５からのTDリクエスト信号に応じて、イベントの発生を表すイベントデータ、すなわち、イベントが検出されたことを表すイベントデータを生成し、出力部３４に出力する。
【０１０２】
なお、TD部５２全体のゲインAは、電流電圧変換部８１のゲインをCGlogとし、バッファ８２のゲインを1とし、量子化部８４のゲインをGとすると、次の式により表される。
【０１０３】
A = CGlogC1/C2Giphoto
・・・（６）
【０１０４】
iphotoは、光電流を表す。
【０１０５】
なお、画素５１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素５１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素５１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。さらに、例えば、画素５１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施の形態では、画素５１において、入射光として、可視光を受光することとする。
【０１０６】
＜EMアービタ３２及びTDアービタ３３の構成例＞
【０１０７】
図９は、EMアービタ３２及びTDアービタ３３の構成例を示すブロック図である。
【０１０８】
EMアービタ３２は、EMXアービタ１５１Ｘ及びEMYアービタ１５１Ｙを有する。
【０１０９】
画素アレイ部３１には、画素５１（を有する画素ユニット４１）の列ごとに、EMXリクエスト信号線１８３が配線されるとともに、画素５１の行ごとに、EMYリクエスト信号線１９３が配線される。ここで、左からx列目のEMXリクエスト信号線１８３を、EMXリクエスト信号線１８３ｘとも記載し、上からy列目のEMYリクエスト信号線１９３を、EMYリクエスト信号線１９３ｙとも記載する。
【０１１０】
イベントが検出された画素５１（を有する画素ユニット４１）には、TDアービタ３３からリセット信号が供給され、そのリセット信号に応じて、画素５１の光電流が読み出される。そして、イベントが検出された画素５１（を有する画素ユニット４１）は、画素５１の光電流の読み出しに応じて、EMリクエスト信号を、EMアービタ３２に出力する。
【０１１１】
画素５１（を有する画素ユニット４１）が出力するEMリクエスト信号は、EMXリクエスト信号線１８３、及び、EMYリクエスト信号線１９３を介して、EMXアービタ１５１Ｘ及びEMYアービタ１５１Ｙに、それぞれ伝送される。
【０１１２】
ここで、EMXリクエスト信号線１８３を伝送されるEMリクエスト信号を、EMXリクエスト信号ともいいい、EMYリクエスト信号線１９３を伝送されるEMリクエスト信号を、EMYリクエスト信号ともいう。
【０１１３】
EMXアービタ１５１Ｘ及びEMYアービタ１５１Ｙは、EMXリクエスト信号線１８３、及び、EMYリクエスト信号線１９３を介して伝送されるEMXリクエスト信号及びEMYリクエスト信号を、それぞれ受信する。
【０１１４】
EMアービタ３２は、EMXアービタ１５１Ｘで受信されるEMXリクエスト信号が伝送されるEMXリクエスト信号線１８３ｘの位置xと、EMYアービタ１５１Ｙで受信されるEMYリクエスト信号が伝送されるEMYリクエスト信号線１９３ｙの位置yとから、EMリクエスト信号を出力した画素５１（を有する画素ユニット４１）の位置(x,y)を認識し、その画素５１の位置(x,y)を含むEMリクエスト信号を、出力部３４に供給する。
【０１１５】
TDアービタ３３は、TDXアービタ１６１Ｘ、及び、TDYアービタ１６１Ｙ、並びに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙを有する。
【０１１６】
画素アレイ部３１には、画素５１の列ごとに、TDXリクエスト信号線１８１が配線されるとともに、画素５１の行ごとに、TDYリクエスト信号線１９１が配線される。さらに、画素アレイ部３１には、画素５１の列ごとに、Xリセット信号線１８２が配線されるとともに、画素５１の行ごとに、Yリセット信号線１９２が配線される。
【０１１７】
ここで、左からx列目のTDXリクエスト信号線１８１を、TDXリクエスト信号線１８１ｘとも記載し、上からy列目のTDYリクエスト信号線１９１を、TDYリクエスト信号線１９１ｙとも記載する。同様に、左からx列目のXリセット信号線１８２を、Xリセット信号線１８２ｘとも記載し、上からy列目のYリセット信号線１９２を、Yリセット信号線１９２ｙとも記載する。
【０１１８】
画素５１が出力するTDリクエスト信号は、TDXリクエスト信号線１８１、及び、TDYリクエスト信号線１９１を介して、TDXアービタ１６１Ｘ及びTDYアービタ１６１Ｙに、それぞれ伝送される。
【０１１９】
ここで、TDXリクエスト信号線１８１を伝送されるTDリクエスト信号を、TDXリクエスト信号ともいいい、TDYリクエスト信号線１９１を伝送されるTDリクエスト信号を、TDYリクエスト信号ともいう。
【０１２０】
TDXアービタ１６１Ｘ及びTDYアービタ１６１Ｙは、TDXリクエスト信号線１８１、及び、TDYリクエスト信号線１９１を介して伝送されるTDXリクエスト信号及びTDYリクエスト信号を、それぞれ受信する。
【０１２１】
TDアービタ３３は、TDXアービタ１６１Ｘで受信されるTDXリクエスト信号が伝送されるTDXリクエスト信号線１８１ｘの位置xと、TDYアービタ１６１Ｙで受信されるTDYリクエスト信号が伝送されるTDYリクエスト信号線１９１ｙの位置yとから、TDリクエスト信号を出力した画素５１、すなわち、イベントが検出された画素５１（を有する画素ユニット４１）の位置(x,y)を認識し、その画素５１の位置(x,y)を含むイベントデータを、出力部３４に供給する。
【０１２２】
TDXアービタ１６１Ｘは、TDXリクエスト信号線１８１ｘからTDXリクエスト信号を受信すると、Xリセット制御部１６２Ｘを制御し、Xリセット信号線１８２ｘを介して、リセット信号を伝送させる。Xリセット制御部１６２Ｘは、TDXアービタ１６１Ｘの制御に従い、Xリセット信号線１８２ｘを介して、リセット信号を伝送する。
【０１２３】
同様に、TDYアービタ１６１Ｙは、TDYリクエスト信号線１９１ｙからTDYリクエスト信号を受信すると、Yリセット制御部１６２Ｙを制御し、Yリセット信号線１９２ｙを介して、リセット信号を伝送させる。Yリセット制御部１６２Ｙは、TDYアービタ１６１Ｙの制御に従い、Yリセット信号線１９２ｙを介して、リセット信号を伝送する。
【０１２４】
ここで、Xリセット信号線１８２ｘを伝送されるリセット信号を、Xリセット信号ともいい、Yリセット信号線１９２ｙを伝送されるリセット信号を、Yリセット信号ともいう。
【０１２５】
画素アレイ部３１では、Xリセット信号線１８２ｘを介して伝送されるXリセット信号と、Yリセット信号線１９２ｙを介して伝送されるYリセット信号とを同時に受信した、位置(x,y)の画素５１（を有する画素ユニット４１）のコンデンサ７１がリセットされ、光電流の読み出しが行われる。
【０１２６】
図１０、図１１、及び、図１２は、画素５１のイベントが発生した場合のEMアービタ３２及びTDアービタ３３の動作の例を説明する図である。
【０１２７】
例えば、位置(x,y)の画素５１のイベントが検出された場合、その画素５１（を有する画素ユニット４１）は、TDリクエスト信号を出力する。画素５１が出力するTDリクエスト信号は、図１０に示すように、TDXリクエスト信号として、TDXリクエスト信号線１８１ｘを介して、TDXアービタ１６１Ｘに伝送されるとともに、TDYリクエスト信号として、TDYリクエスト信号線１９１ｙを介して、TDYアービタ１６１Ｙに伝送される。
【０１２８】
TDXアービタ１６１Ｘ及びTDYアービタ１６１Ｙは、TDXリクエスト信号線１８１ｘ、及び、TDYリクエスト信号線１９１ｙを介して伝送されるTDXリクエスト信号及びTDYリクエスト信号を、それぞれ受信する。
【０１２９】
TDアービタ３３では、TDXアービタ１６１Ｘで受信されるTDXリクエスト信号が伝送されるTDXリクエスト信号線１８１ｘの位置xと、TDYアービタ１６１Ｙで受信されるTDYリクエスト信号が伝送されるTDYリクエスト信号線１９１ｙの位置yとから、イベントが検出された画素５１の位置(x,y)が認識され、その画素５１の位置(x,y)を含むイベントデータが、出力部３４に供給される。
【０１３０】
さらに、TDアービタ３３では、図１１に示すように、TDXアービタ１６１Ｘが、Xリセット制御部１６２Ｘを制御し、Xリセット信号線１８２ｘを介して、Xリセット信号を伝送させるとともに、TDYアービタ１６１Ｙが、Yリセット制御部１６２Ｙを制御し、Yリセット信号線１９２ｙを介して、Yリセット信号を伝送させる。
【０１３１】
画素アレイ部３１の、位置(x,y)の画素５１、すなわち、イベントが検出された画素５１（を有する画素ユニット４１）では、Xリセット信号線１８２ｘを介して伝送されるXリセット信号と、Yリセット信号線１９２ｙを介して伝送されるYリセット信号とが同時に受信される。これにより、イベントが検出された位置(x,y)の画素５１のコンデンサ７１がリセットされ、光電流の読み出しが行われる。
【０１３２】
そして、イベントが検出された位置(x,y)の画素５１は、画素５１の光電流の読み出しに応じて、EMリクエスト信号を出力する。
【０１３３】
画素５１が出力するEMリクエスト信号は、図１２に示すように、EMXリクエスト信号として、EMXリクエスト信号線１８３ｘを介して、EMXアービタ１５１Ｘに伝送されるとともに、EMYリクエスト信号として、EMYリクエスト信号線１９３ｙを介して、EMYアービタ１５１Ｙに伝送される。
【０１３４】
EMXアービタ１５１Ｘ及びEMYアービタ１５１Ｙでは、EMXリクエスト信号線１８３ｘ、及び、EMYリクエスト信号線１９３ｙを介して伝送されるEMXリクエスト信号及びEMYリクエスト信号が、それぞれ受信される。
【０１３５】
そして、EMアービタ３２では、EMXアービタ１５１Ｘで受信されるEMXリクエスト信号が伝送されるEMXリクエスト信号線１８３ｘの位置xと、EMYアービタ１５１Ｙで受信されるEMYリクエスト信号が伝送されるEMYリクエスト信号線１９３ｙの位置yとから、EMリクエスト信号を出力した画素５１、すなわち、イベントが検出された画素５１の位置(x,y)が認識され、その画素５１の位置(x,y)を含むEMリクエスト信号が、出力部３４に供給される。
【０１３６】
出力部３４では、図５で説明したようにして、EMアービタ３２からのEMリクエスト信号に応じて、イベントが検出された位置(x,y)の画素５１の画素信号が生成される。
【０１３７】
以上のように、センサ部２１では、イベントが検出された位置(x,y)の画素５１の光電流が読み出され、その光電流に応じた画素信号が生成される。
【０１３８】
図１３は、イベントが検出された画素５１の画素信号を用いたフレームデータの生成の例を示す図である。
【０１３９】
いま、センサ部２１（の画素アレイ部３１）の撮影の画角内を、右斜め上に延びる線状の動物体が、左から右方向に移動しており、センサ部２１において、そのような動物体の撮影が行われていることとする。
【０１４０】
この場合、線状の動物体の移動により、閾値を超える光量変化が生じた画素５１について、イベントが検出される。
【０１４１】
イベントが検出された画素５１を、イベント検出画素ということとすると、イベント検出画素については、光電流が読み出され、その光電流に応じた画素信号が生成される。
【０１４２】
そして、イベント検出画素の画素信号を用い、その画素信号を画素値とするフレームデータが生成される。
【０１４３】
ここで、光電流が読み出される画素５１を、読み出し画素ということとする。以上のような光電流の読み出しの方式は、イベント検出画素と、読み出し画素とを、１対１に対応させて、イベント検出画素のみを、必ず、読み出し画素として、読み出し画素の光電流を読み出す方式（以下、１対１対応方式ともいう）であるということができる。
【０１４４】
ところで、線状の動物体が移動しても、その動物体（の輪郭）が映る画素５１のすべてにおいて、イベントが検出されるとは限らない。すなわち、動物体が映る画素５１であっても、動物体の移動に起因する光量変化の程度によって、イベントが検出される画素５１と、イベントが検出されない画素５１とが生じ得る。
【０１４５】
１対１対応方式では、以上のように、動物体が映る画素５１の中で、イベントが検出されない画素５１については、光電流が読み出されず、画素信号が生成されないため、画素信号を用いて生成されるフレームデータに対応する画像は、被写体（ここでは、線状の動物体）の一部が欠けたような不自然な画像になることがある。
【０１４６】
そこで、センサ部２１では、イベント検出画素と、読み出し画素とを、１対１に対応させずに、イベント検出画素以外の画素５１を、読み出し画素とし、又は、イベント検出画素を、読み出し画素とせずに、読み出し画素から光電流を読み出す新しい読み出し方式（以下、新読み出し方式ともいう）を採用することができる。
【０１４７】
図１４は、新読み出し方式により読み出された光電流に応じた画素信号を用いたフレームデータの生成の例を示す図である。
【０１４８】
図１４では、図１３と同様に、線状の動物体が移動しており、その動物体の移動に起因する光量変化の程度によって、イベントが検出される画素５１と、イベントが検出されない画素５１とが生じている。
【０１４９】
新読み出し方式では、例えば、イベント検出画素の他、イベント検出画素の周辺の画素５１（以下、周辺画素ともいう）も、読み出し画素として、光電流が読み出される。
【０１５０】
これにより、１対１対応方式では、動物体が映る画素５１の中で、動物体の移動に起因する光量変化の程度によって、イベントが検出されなかった画素５１であっても、イベント検出画素の周辺に存在すれば、光電流が読み出される。
【０１５１】
その結果、新読み出し方式によれば、画素５１から読み出された光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像として、１対１対応方式の場合のように、被写体の一部が欠けたような不自然な画像が得られることを抑制することができる。
【０１５２】
図１５は、新読み出し方式により画素５１の光電流の読み出しが行われるセンサ部２１の（制御）動作の例を説明するフローチャートである。
【０１５３】
画素５１において、イベントが発生すると、ステップＳ１１において、TD部５２がイベントを検出し、処理は、ステップＳ１２に進む。
【０１５４】
ステップＳ１２では、TD部５２が、イベントの検出に応じて、TDリクエスト信号を、TDアービタ３３に出力し、処理は、ステップＳ１３に進む。
【０１５５】
ステップＳ１３では、TDアービタ３３は、TD部５２からのTDリクエスト信号に応じて、イベントデータを、出力部３４に出力し、処理は、ステップＳ１４に進む。
【０１５６】
ステップＳ１４では、TDアービタ３３は、TD部５２からのTDリクエスト信号に応じて、イベントが検出されたイベント検出画素、及び、そのイベント検出画素の周辺画素（を有する画素ユニット４１）に、リセット信号を出力することにより、イベント検出画素、及び、周辺画素の光電流を読み出させ、処理は、ステップＳ１５に進む。
【０１５７】
ステップＳ１５では、イベント検出画素、及び、周辺画素（を有する画素ユニット４１）が、光電流の読み出しに応じて、EMリクエスト信号を、EMアービタ３２に出力する。EMアービタ３２は、イベント検出画素、及び、周辺画素からのEMリクエスト信号を受信し、出力部３４に供給する。
【０１５８】
以下、新読み出し方式の具体例として、第１ないし第４の読み出し方式について説明する。
【０１５９】
＜第１の読み出し方式＞
【０１６０】
図１６は、第１の読み出し方式を説明する図である。
【０１６１】
第１の読み出し方式では、画素アレイ部３１を構成する画素５１（を有する画素ユニット４１）が、幾つかの画素５１で構成される画素ブロックにブロック化される。図１６では、例えば、横×縦が3×3個の画素５１が、1個の画素ブロックにブロック化されている。
【０１６２】
第１の読み出し方式では、画素ブロックを構成する画素５１のうちの1個以上の画素５１のイベントが検出された場合、その画素ブロックのすべての画素５１の光電流が読み出される。
【０１６３】
すなわち、第１の読み出し方式では、イベント検出画素を含む画素ブロックの画素５１の中で、イベント検出画素以外の画素５１を周辺画素として、イベント検出画素、及び、周辺画素の光電流が読み出される。
【０１６４】
図１７は、第１の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
【０１６５】
なお、図１７では、出力部３４の図示を省略してある。
【０１６６】
図１７において、センサ部２１は、画素アレイ部３１、EMアービタ３２を構成するEMXアービタ１５１Ｘ、及び、EMYアービタ１５１Ｙ、並びに、TDアービタ３３を構成するTDXアービタ１６１Ｘ、TDYアービタ１６１Ｙ、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙを有する。
【０１６７】
さらに、センサ部２１は、複数のORゲート２１１Ｘ、及び、複数のORゲート２１１Ｙを有する。
【０１６８】
ORゲート２１１Ｘ及び２１１Ｙは、画素ブロックの列及び行ごとに、それぞれ設けられる。
【０１６９】
ORゲート２１１Ｘの入力端子には、そのORゲート２１１Ｘの列の画素ブロック内の各画素５１（を有する画素ユニット４１）に接続されるXリセット信号線１８２が接続される。
【０１７０】
ORゲート２１１Ｘの出力端子は、そのORゲート２１１Ｘの列の画素ブロック内の各画素５１に接続されるXリセット信号線１８２に接続される。
【０１７１】
同様に、ORゲート２１１Ｙの入力端子には、そのORゲート２１１Ｙの行の画素ブロック内の各画素５１（を有する画素ユニット４１）に接続されるYリセット信号線１９２が接続される。
【０１７２】
ORゲート２１１Ｘの出力端子は、そのORゲート２１１Ｙの行の画素ブロック内の各画素５１に接続されるYリセット信号線１９２に接続される。
【０１７３】
ここで、画素ブロックが、例えば、図１６に示したように、3×3個の画素５１で構成されることとする。さらに、画素ブロックを構成する3×3個の画素５１のうちの中心の画素５１の位置が、位置(x,y)であることとし、位置(x,y)の画素５１を、画素５１（ｘ，ｙ）と表すこととする。
【０１７４】
この場合、画素５１（ｘ，ｙ）を含む3×3個の画素５１で構成される画素ブロックの列のORゲート２１１Ｘの入力端子には、Xリセット制御部１６２Ｘに接続されるXリセット信号線１８２ｘ−１，１８２ｘ、及び、１８２ｘ＋１が接続される。そして、ORゲート２１１Ｘの出力端子は、x-1列目の画素５１（ｘ−１，ｙ）、x列目の画素５１（ｘ，ｙ）、及び、x+1列目の画素５１（ｘ＋１，ｙ）に接続されるXリセット信号線１８２ｘ−１，１８２ｘ、及び、１８２ｘ＋１に接続される。
【０１７５】
さらに、画素５１（ｘ，ｙ）を含む3×3個の画素５１で構成される画素ブロックの行のORゲート２１１Ｙの入力端子には、Yリセット制御部１６２Ｙに接続されるYリセット信号線１９２y−１，１９２y、及び、１９２y＋１が接続される。そして、ORゲート２１１Ｙの出力端子は、y-1行目の画素５１（ｘ，ｙ−１）、y行目の画素５１（ｘ，ｙ）、及び、y+1行目の画素５１（ｘ，ｙ＋１）に接続されるYリセット信号線１９２y−１，１９２y、及び、１９２y＋１に接続される。
【０１７６】
以上の構成により、画素ブロック内の画素５１にイベントが発生すると、その画素５１を有する画素ブロックの各画素５１に、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号が供給され、画素ブロックのすべての画素５１の光電流が読み出される。
【０１７７】
なお、図１７では、ORゲート２１１Ｘ及び２１１Ｙを設け、そのORゲート２１１Ｘ及び２１１Ｙによって、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号の、画素５１（を有する画素ユニット４１）への供給の仕方が制御される。但し、リセット信号の、画素５１への供給の仕方は、ORゲート２１１Ｘ及び２１１Ｙを設けずに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙにおいて制御することができる。
【０１７８】
＜第２の読み出し方式＞
【０１７９】
図１８は、第２の読み出し方式を説明する図である。
【０１８０】
第２の読み出し方式では、イベントが検出された画素５１を中心とする所定の範囲内のすべての画素５１の光電流が読み出される。
【０１８１】
すなわち、第２の読み出し方式では、イベント検出画素を中心とする所定の範囲内の、イベント検出画素以外の画素５１を周辺画素として、イベント検出画素、及び、周辺画素の光電流が読み出される。
【０１８２】
図１８では、イベント検出画素を中心とする3×3の範囲が所定の範囲になっている。
【０１８３】
図１９は、第２の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
【０１８４】
なお、図１９では、出力部３４の図示を省略してある。
【０１８５】
図１９において、センサ部２１は、画素アレイ部３１、EMアービタ３２を構成するEMXアービタ１５１Ｘ、及び、EMYアービタ１５１Ｙ、並びに、TDアービタ３３を構成するTDXアービタ１６１Ｘ、TDYアービタ１６１Ｙ、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙを有する。
【０１８６】
さらに、センサ部２１は、複数のORゲート２２１Ｘ、及び、複数のORゲート２２１Ｙを有する。
【０１８７】
ORゲート２２１Ｘ及び２２１Ｙは、画素５１（を有する画素ユニット４１）の列及び行ごとに、それぞれ設けられる。
【０１８８】
ORゲート２２１Ｘの入力端子には、そのORゲート２２１Ｘの列の画素５１（を有する画素ユニット４１）に接続されるXリセット信号線１８２と、その画素５１の周辺画素（第２の読み出し方式では、画素５１を中心とする所定の範囲内の、中心の画素５１以外の画素５１）（を有する画素ユニット４１）に接続されるXリセット信号線１８２が接続される。
【０１８９】
ORゲート２２１Ｘの出力端子は、そのORゲート２２１Ｘの列の画素５１に接続されるXリセット信号線１８２に接続される。
【０１９０】
同様に、ORゲート２２１Ｙの入力端子には、そのORゲート２２１Ｙの行の画素５１（を有する画素ユニット４１）に接続されるYリセット信号線１９２と、その画素５１の周辺画素（を有する画素ユニット４１）に接続されるYリセット信号線１９２が接続される。
【０１９１】
ORゲート２２１Ｙの出力端子は、そのORゲート２２１Ｙの行の画素５１に接続されるYリセット信号線１９２に接続される。
【０１９２】
ここで、所定の範囲が、例えば、図１８で説明したように、3×3の範囲である場合、画素５１（ｘ，ｙ）の列のORゲート２２１Ｘの入力端子には、Xリセット制御部１６２Ｘに接続されるXリセット信号線１８２ｘ−１，１８２ｘ、及び、１８２ｘ＋１が接続される。そして、ORゲート２２１Ｘの出力端子は、x列目の画素５１（ｘ，ｙ）に接続されるXリセット信号線１８２ｘに接続される。
【０１９３】
さらに、画素５１（ｘ，ｙ）の行のORゲート２２１Ｙの入力端子には、Yリセット制御部１６２Ｙに接続されるYリセット信号線１９２y−１，１９２y、及び、１９２y＋１が接続される。そして、ORゲート２２１Ｙの出力端子は、y行目の画素５１（ｘ，ｙ）に接続されるYリセット信号線１９２yに接続される。
【０１９４】
以上の構成により、ある画素５１にイベントが発生すると、その画素５１を中心とする所定の範囲としての3×3個の各画素５１に、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号が供給され、イベント検出画素を中心とする所定の範囲内のすべての画素５１の光電流が読み出される。
【０１９５】
なお、図１９では、ORゲート２２１Ｘ及び２２１Ｙを設け、そのORゲート２２１Ｘ及び２２１Ｙによって、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号の、画素５１（を有する画素ユニット４１）への供給の仕方が制御される。但し、リセット信号の、画素５１への供給の仕方は、ORゲート２２１Ｘ及び２２１Ｙを設けずに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙにおいて制御することができる。
【０１９６】
＜第３の読み出し方式＞
【０１９７】
図２０は、第３の読み出し方式を説明する図である。
【０１９８】
第３の読み出し方式では、画素アレイ部３１を構成する画素５１（を有する画素ユニット４１）が、幾つかの画素５１で構成される画素ブロックにブロック化される。さらに、第３の読み出し方式では、画素ブロックを構成する1個（以上）の画素５１が、特定画素に設定される。
【０１９９】
図２０では、例えば、2×2個の画素５１が、1個の画素ブロックにブロック化され、その2×2個の画素５１で構成される画素ブロックの左下の画素５１が、特定画素に設定されている。
【０２００】
第３の読み出し方式では、画素ブロックを構成する画素５１のうちの1個以上の画素５１のイベントが検出された場合、画素ブロック内のイベント検出画素と特定画素との光電流が読み出される。すなわち、第３の読み出し方式では、画素ブロック内の特定画素を周辺画素として、イベント検出画素と周辺画素との光電流が読み出される。
【０２０１】
その結果、第３の読み出し方式で読み出された光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像は、イベント検出画素の光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像に対して、膨張処理(Dilation)と呼ばれる画像処理を行ったような画像となる。
【０２０２】
図２１は、第３の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
【０２０３】
なお、図２１では、出力部３４の図示を省略してある。
【０２０４】
図２１において、センサ部２１は、画素アレイ部３１、EMアービタ３２を構成するEMXアービタ１５１Ｘ、及び、EMYアービタ１５１Ｙ、並びに、TDアービタ３３を構成するTDXアービタ１６１Ｘ、TDYアービタ１６１Ｙ、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙを有する。
【０２０５】
さらに、センサ部２１は、複数のORゲート２３１Ｘ、及び、複数のORゲート２３１Ｙを有する。
【０２０６】
ORゲート２３１Ｘ及び２３１Ｙは、特定画素（を有する画素ユニット４１）ごとに設けられる。
【０２０７】
ORゲート２３１Ｘの入力端子には、特定画素（を有する画素ユニット４１）を有する画素ブロック内の各画素５１に接続されるXリセット信号線１８２が接続される。
【０２０８】
ORゲート２３１Ｘの出力は、Xリセット信号として、特定画素（を有する画素ユニット４１）に供給される。
【０２０９】
同様に、ORゲート２３１Ｙの入力端子には、特定画素（を有する画素ユニット４１）を有する画素ブロック内の各画素５１に接続されるYリセット信号線１９２が接続される。
【０２１０】
ORゲート２３１Ｙの出力は、Yリセット信号として、特定画素（を有する画素ユニット４１）に供給される。
【０２１１】
例えば、図２０で説明したように、画素ブロックが2×2個の画素５１で構成され、その2×2個の画素５１のうちの左下の画素５１が特定画素である場合、画素ブロックの左上の画素５１が、画素５１（ｘ，ｙ）であるときには、画素５１（ｘ，ｙ＋１）が特定画素となる。
【０２１２】
そして、ORゲート２３１Ｘの入力端子には、Xリセット制御部１６２Ｘに接続されるXリセット信号線１８２ｘ、及び、１８２ｘ＋１が接続される。ORゲート２３１Ｘの出力は、特定画素である画素５１（ｘ，ｙ＋１）に、Xリセット信号として供給される。
【０２１３】
また、ORゲート２３１Ｙの入力端子には、Yリセット制御部１６２Ｙに接続されるYリセット信号線１９２ｙ、及び、１９２ｙ＋１が接続される。ORゲート２３１Ｙの出力は、特定画素である画素５１（ｘ，ｙ＋１）に、Yリセット信号として供給される。
【０２１４】
以上の構成により、画素ブロック内の画素５１にイベントが発生すると、画素ブロック内のイベント検出画素と特定画素とに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号が供給され、画素ブロック内のイベント検出画素と特定画素との光電流が読み出される。
【０２１５】
なお、図２１では、ORゲート２３１Ｘ及び２３１Ｙを設け、そのORゲート２３１Ｘ及び２３１Ｙによって、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号の、画素５１（を有する画素ユニット４１）への供給の仕方が制御される。但し、リセット信号の、画素５１への供給の仕方は、ORゲート２３１Ｘ及び２３１Ｙを設けずに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙにおいて制御することができる。
【０２１６】
第１ないし第３の読み出し方式のように、イベント検出画素の光電流の他、周辺画素の光電流も読み出すことにより、光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像として、１対１対応方式の場合のように、被写体の一部が欠けたような不自然な画像が得られることを抑制することができる。
【０２１７】
＜第４の読み出し方式＞
【０２１８】
図２２は、第４の読み出し方式を説明する図である。
【０２１９】
第４の読み出し方式では、画素アレイ部３１を構成する画素５１（を有する画素ユニット４１）が、幾つかの画素５１で構成される画素ブロックにブロック化される。さらに、第４の読み出し方式では、画素ブロックを構成する1個（以上）の画素５１が、特定画素に設定される。
【０２２０】
図２２では、例えば、図２０と同様に、2×2個の画素５１が、1個の画素ブロックにブロック化され、その2×2個の画素５１で構成される画素ブロックの左下の画素５１が、特定画素に設定されている。
【０２２１】
第４の読み出し方式では、特定画素については、画素ブロックを構成するすべての画素５１のイベントが検出された場合に限り、光電流が読み出される。すなわち、第４の読み出し方式では、画素ブロックを構成する画素５１のうちの1個の画素５１でも、イベントが検出されない場合には、特定画素の光電流は読み出されない。
【０２２２】
その結果、第４の読み出し方式で読み出された光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像は、イベント検出画素の光電流に応じた画素信号を用いて生成されるフレームデータに対応する画像に対して、縮小処理(Erosion)と呼ばれる画像処理を行ったような画像となる。
【０２２３】
ここで、例えば、１対１対応方式では、背景が僅かに動くこと等によって、意図しないイベント（以下、フェイクイベントともいう）が検出され、フェイクイベントが検出された画素５１の光電流の読み出しが行われることがある。
【０２２４】
第４の読み出し方式では、特定画素については、画素ブロックを構成するすべての画素５１のイベントが検出されない場合に限り、光電流が読み出されないので、フェイクイベントに起因して、特定画素の光電流が、いわば無駄に読み出されることを抑制することができる。
【０２２５】
図２３は、第４の読み出し方式を採用する場合のセンサ部２１の構成例を示す図である。
【０２２６】
なお、図２３では、出力部３４の図示を省略してある。
【０２２７】
図２３において、センサ部２１は、画素アレイ部３１、EMアービタ３２を構成するEMXアービタ１５１Ｘ、及び、EMYアービタ１５１Ｙ、並びに、TDアービタ３３を構成するTDXアービタ１６１Ｘ、TDYアービタ１６１Ｙ、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙを有する。
【０２２８】
さらに、センサ部２１は、複数のANDゲート２４１Ｘ、及び、複数のANDゲート２４１Ｙを有する。
【０２２９】
ANDゲート２４１Ｘ及び２４１Ｙは、特定画素（を有する画素ユニット４１）ごとに設けられる。
【０２３０】
ANDゲート２４１Ｘの入力端子には、特定画素（を有する画素ユニット４１）を有する画素ブロック内の各画素５１に接続されるXリセット信号線１８２が接続される。
【０２３１】
ANDゲート２４１Ｘの出力は、Xリセット信号として、特定画素（を有する画素ユニット４１）に供給される。
【０２３２】
同様に、ANDゲート２４１Ｙの入力端子には、特定画素（を有する画素ユニット４１）を有する画素ブロック内の各画素５１に接続されるYリセット信号線１９２が接続される。
【０２３３】
ANDゲート２４１Ｙの出力は、Yリセット信号として、特定画素（を有する画素ユニット４１）に供給される。
【０２３４】
例えば、図２２で説明したように、画素ブロックが2×2個の画素５１で構成され、その2×2個の画素５１のうちの左下の画素５１が特定画素である場合、画素ブロックの左上の画素５１が、画素５１（ｘ，ｙ）であるときには、画素５１（ｘ，ｙ＋１）が特定画素となる。
【０２３５】
そして、ANDゲート２４１Ｘの入力端子には、Xリセット制御部１６２Ｘに接続されるXリセット信号線１８２ｘ、及び、１８２ｘ＋１が接続される。ANDゲート２４１Ｘの出力は、特定画素である画素５１（ｘ，ｙ＋１）に、Xリセット信号として供給される。
【０２３６】
また、ANDゲート２４１Ｙの入力端子には、Yリセット制御部１６２Ｙに接続されるYリセット信号線１９２ｙ、及び、１９２ｙ＋１が接続される。ANDゲート２４１Ｙの出力は、特定画素である画素５１（ｘ，ｙ＋１）に、Yリセット信号として供給される。
【０２３７】
以上の構成により、画素ブロック内の画素５１にイベントが発生しても、画素ブロック内のすべての画素５１にイベントが発生しない限り、画素ブロック内の特定画素には、リセット信号（Xリセット信号及びYリセット信号）は供給されず、特定画素の光電流の読み出しは、行われない。
【０２３８】
すなわち、画素ブロック内のすべての画素５１にイベントが発生した場合に限り、画素ブロック内の特定画素に、リセット信号（Xリセット信号及びYリセット信号）が供給され、特定画素の光電流が読み出される。
【０２３９】
なお、図２３では、ANDゲート２４１Ｘ及び２４１Ｙを設け、そのANDゲート２４１Ｘ及び２４１Ｙによって、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙが出力するリセット信号の、画素５１（を有する画素ユニット４１）への供給の仕方が制御される。但し、リセット信号の、画素５１への供給の仕方は、ANDゲート２４１Ｘ及び２４１Ｙを設けずに、Xリセット制御部１６２Ｘ、及び、Yリセット制御部１６２Ｙにおいて制御することができる。
【０２４０】
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０２４１】
図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０２４２】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０２４３】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０２４４】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０２４５】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０２４６】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０２４７】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０２４８】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０２４９】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０２５０】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０２５１】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０２５２】
図２５は、撮像部１２０３１の設置位置の例を示す図である。
【０２５３】
図２５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０２５４】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０２５５】
なお、図２５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０２５６】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０２５７】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０２５８】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０２５９】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０２６０】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１のセンサチップは、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、不自然な画像が得られることを抑制し、適切な運転支援を行うことができる。
【０２６１】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２６２】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【０２６３】
１０  センサチップ，  １１  センサダイ，  １２  ロジックダイ，  ２１  センサ部
，  ２２  ロジック部，  ３１  画素アレイ部，  ３２  EMアービタ，  ３３  TDアービタ，  ３４  出力部，  ４１  画素ユニット，  ５１  画素，  ５２  TD部，  ５３  EM部，  ６１，６２  PD，  ７１  コンデンサ，  ７２  FET，  ７３  スイッチ，  ７４  コンパレータ，  ８１  電流電圧変換部，  ８２  バッファ，  ８３  減算部，  ８４  量子化部，  ８５  転送部，  ９１ないし９３  トランジスタ，  １０１  コンデンサ，  １０２  オペアンプ，  １０３  コンデンサ，  １０４  スイッチ，  １１１  コンパレータ，  １５１Ｘ  EMXアービタ，  １５１Ｙ  EMYアービタ，  １６１Ｘ  TDXアービタ，  １６１Ｙ  TDYアービタ，  １６２Ｘ  Xリセット制御部，  １６２Ｙ  Yリセット制御部，  １８１  TDXリクエスト信号線，  １８２  Xリセット信号線，  １８３  EMXリクエスト信号線，  １９１  TDYリクエスト信号線，  １９２  Yリセット信号線，  １９３  EMYリクエスト信号線，  ２１１Ｘ，２１１Ｙ，２２１Ｘ，２２１Ｙ，２３１Ｘ，２３１Ｙ  ORゲート，  ２４１Ｘ，２４１Ｙ  ANDゲート
【図１】
2020099015.tif 000003
【図２】
2020099015.tif 000004
【図３】
2020099015.tif 000005
【図４】
2020099015.tif 000006
【図５】
2020099015.tif 000007
【図６】
2020099015.tif 000008
【図７】
2020099015.tif 000009
【図８】
2020099015.tif 000010
【図９】
2020099015.tif 000011
【図１０】
2020099015.tif 000012
【図１１】
2020099015.tif 000013
【図１２】
2020099015.tif 000014
【図１３】
2020099015.tif 000015
【図１４】
2020099015.tif 000016
【図１５】
2020099015.tif 000017
【図１６】
2020099015.tif 000018
【図１７】
2020099015.tif 000019
【図１８】
2020099015.tif 000020
【図１９】
2020099015.tif 000021
【図２０】
2020099015.tif 000022
【図２１】
2020099015.tif 000023
【図２２】
2020099015.tif 000024
【図２３】
2020099015.tif 000025
【図２４】
2020099015.tif 000026
【図２５】
2020099015.tif 000027