(57)【要約】【課題】イベントを検出した上で、そのイベントの物体認識をより精度よく行うことができる撮像システム、及び、当該撮像システムを用いる物体認識システムを提供する。【解決手段】本開示の撮像システムは、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出装置、固定のフレームレートで撮像を行う撮像装置、並びに、イベント検出装置及び撮像装置の制御を行う制御部を備え、移動体に搭載されて用いられる。そして、制御部は、イベント検出装置がイベントを検出したことを受けて、イベントを含む領域の画像情報を、撮像装置によって取得する制御を行う。また、本開示の物体認識システムは、制御部による制御の下に、イベント検出装置によってイベントを検出した上で、イベントを含む領域の画像情報を撮像装置によって取得し、この取得した画像情報を基に物体認識を行う。【選択図】  図１
2020161992.tif 000002
【特許請求の範囲】
【請求項１】
入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出装置、
固定のフレームレートで撮像を行う撮像装置、並びに、
イベント検出装置及び撮像装置の制御を行う制御部を備え、
制御部は、イベント検出装置がイベントを検出したことを受けて、イベントを含む領域の画像情報を、撮像装置によって取得する制御を行う、
移動体に搭載されて用いられる撮像システム。
【請求項２】
イベント検出装置は、画像の取得が可能であり、
制御部は、イベント検出装置が取得した画像を基に路面の状態を検出する、
請求項１に記載の撮像システム。
【請求項３】
制御部は、イベント検出装置が取得した画像を領域分割し、この領域分割した画像から求めた単位面積当たりの状態変化量を基に路面の状態を検出する、
請求項２に記載の撮像システム。
【請求項４】
制御部は、単位面積当たりの状態変化量が所定の閾値以上の領域の数が所定の設定値以上の場合、路面に損傷箇所が存在すると判断する、
請求項３に記載の撮像システム。
【請求項５】
制御部は、路面に損傷箇所が存在すると判断したとき、その判断結果を移動体の制御システムに通知する、
請求項４に記載の撮像システム。
【請求項６】
制御部は、移動体の外部の状況に応じて、路面の状態を判断するため閾値を動的に変える制御を行う、
請求項２に記載の撮像システム。
【請求項７】
制御部は、移動体に装着された環境センサから与えられる情報に基づいて移動体の外部の状況を判断する、
請求項６に記載の撮像システム。
【請求項８】
制御部は、撮像装置によって取得される画像を基に周囲を監視している状態において、自車の車速と監視対象の車両の車速との差が所定の閾値以上の場合、撮像装置による撮影からイベント検出装置による撮影に切り替え、イベント検出装置によって取得される画像を基に周囲を監視する、
請求項１に記載の撮像システム。
【請求項９】
制御部は、イベント検出装置によって取得される画像を基に周囲を監視している状態において、自車の車速と監視対象の車両の車速との差が所定の閾値未満になった場合、撮像装置による撮影からイベント検出装置による撮影から撮像装置による撮影に切り替える、
請求項８に記載の撮像システム。
【請求項１０】
赤外光を投光する赤外光投光部を備える、
請求項１に記載の撮像システム。
【請求項１１】
日照センサを備え、
制御部は、日照センサから与えられる情報をトリガーとして、赤外光投光部をオン状態とする、
請求項１０に記載の撮像システム。
【請求項１２】
イベント検出装置は、赤外光に感度を持つ画素を有している、
請求項１１に記載の撮像システム。
【請求項１３】
イベント検出装置は、赤外光投光部によって赤外光が投光された環境下において、赤外光に感度を持つ画素の輝度変化に基づいてイベントの検出を行う、
請求項１２に記載の撮像システム。
【請求項１４】
制御部は、イベント検出装置によって一定時間変化のないイベントを検出した場合、その検出結果を移動体の制御システムに通知する、
請求項１３に記載の撮像システム。
【請求項１５】
制御部は、赤外光投光部がオフ状態のとき、イベント検出装置によって一定時間変化のないイベントを検出しない場合、赤外光投光部をオフ状態とする、
請求項１３に記載の撮像システム。
【請求項１６】
制御部は、日照センサから与えられる明るさ情報に応じて、赤外光投光部の赤外光投光量を設定する、
請求項１０に記載の撮像システム。
【請求項１７】
制御部は、日照センサから与えられる明るさ情報に応じて、赤外光投光部の赤外光投光量を多段階に調整する、
請求項１６に記載の撮像システム。
【請求項１８】
入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出装置、
固定のフレームレートで撮像を行う撮像装置、並びに、
イベント検出装置及び撮像装置の制御を行う制御部を備え、
制御部による制御の下に、イベント検出装置によってイベントを検出した上で、イベントを含む領域の画像情報を撮像装置によって取得し、この取得した画像情報を基に物体認識を行う、
移動体に搭載されて用いられる物体認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像システム及び物体認識システムに関する。
【背景技術】
【０００２】
イベントドリブン方式の撮像装置の一つとして、ＤＶＳ(Dynamic Vision Sensor)と呼ばれる非同期型の撮像装置がある。非同期型の撮像装置は、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出することができる。従って、この種の非同期型の撮像装置については、イベント検出装置と言うこともできる。従来、イベント検出装置は、車両に搭載されて、走行路面をモニタリングするイベントベース視覚センサとして用いられている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−７９９３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両に搭載されたイベント検出装置によれば、車両の走行中に路面等の物体認識を行うことができる。しかし、イベント検出装置の場合、例えば画素毎に、イベントの検出部を有する画素構成がとられるため、同期型の撮像装置に比べて画素サイズが大きくならざるを得なく、解像度が低い。従って、イベント検出装置は、物体の存在（イベントの発生）を検出できたとしても、解像度が低いが故に、イベントの物体認識を精度よく行うことができない。
【０００５】
そこで、本開示は、イベントを検出した上で、そのイベントの物体認識をより精度よく行うことができる撮像システム、及び、当該撮像システムを用いる物体認識システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するための本開示の撮像システムは、
入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出装置、
固定のフレームレートで撮像を行う撮像装置、並びに、
イベント検出装置及び撮像装置の制御を行う制御部を備え、
移動体に搭載されて用いられ、
制御部は、イベント検出装置がイベントを検出したことを受けて、イベントを含む領域の画像情報を、撮像装置によって取得する制御を行う、
構成となっている。
【０００７】
また、上記の目的を達成するための本開示の物体認識システムは、
入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出装置、
固定のフレームレートで撮像を行う撮像装置、並びに、
イベント検出装置及び撮像装置の制御を行う制御部を備え、
移動体に搭載されて用いられ、
制御部による制御の下に、イベント検出装置によってイベントを検出した上で、イベントを含む領域の画像情報を撮像装置によって取得し、この取得した画像情報を基に物体認識を行う、
構成となっている。
【図面の簡単な説明】
【０００８】
【図１】図１は、本開示の撮像システムのシステム構成の一例を示すブロック図である。
【図２】図２は、本開示の撮像システムにおけるイベント検出装置の構成の一例を示すブロック図である。
【図３】図３は、イベント検出装置における画素アレイ部の構成の一例を示すブロック図である。
【図４】図４は、イベント検出装置における画素の回路構成の一例を示す回路図である。
【図５】図５は、イベント検出装置の画素におけるイベント検出部の回路構成の一例を示すブロック図である。
【図６】図６は、イベント検出部における電流電圧変換部の構成の一例を示す回路図である。
【図７】図７は、イベント検出部における減算部及び量子化部の構成の一例を示す回路図である。
【図８】図８は、イベント検出装置の積層型のチップ構造の概略を示す分解斜視図である。
【図９】図９は、本開示の撮像システムにおける撮像装置の一例であるＣＭＯＳ型イメージセンサの構成の概略を示すブロック図である。
【図１０】図１０は、撮像装置における画素の回路構成の一例を示す回路図である。
【図１１】図１１は、撮像装置の平置型のチップ構造の概略を示す平面図である。
【図１２】図１２は、撮像装置の積層型のチップ構造の概略を示す平面図である。
【図１３】図１３は、本開示の物体認識システムのシステム構成の一例を示すブロック図である。
【図１４】図１４は、実施例１に係る物体認識処理の流れを示すフローチャートである。
【図１５】図１５は、道路に描かれている、白線、行き先表示、矢印等のテクスチャ、及び、路面に存在する穴、大きな溝、ひび割れ、凹凸、陥没等の損傷箇所を示す概略図である。
【図１６】図１６は、実施例２に係るＤＶＳ撮影の処理の流れを示すフローチャートである。
【図１７】図１７は、実施例３に係るＤＶＳ撮影が適用される物体認識システムのシステム構成の一例を示すブロック図である。
【図１８】図１８は、実施例３に係るＤＶＳ撮影の処理の流れを示すフローチャートである。
【図１９】図１９は、実施例４に係る撮像装置及びイベント検出装置の制御の一例を示すフローチャートである。
【図２０】図２０は、実施例５に係る物体認識システムのシステム構成の一例を示すブロック図である。
【図２１】図２１Ａ、図２１Ｂ、図２１Ｃ、図２１Ｄ、及び、図２１Ｅは、赤外光（ＩＲ光）に感度を持つ画素配列の例を示す図である。
【図２２】図２２は、実施例５に係る物体認識システムにおけるＩＲ光の投光時のイベント検出処理の具体例１の流れを示すフローチャートである。
【図２３】図２３は、実施例５に係る物体認識システムにおけるＩＲ光の投光時のイベント検出処理の具体例２の流れを示すフローチャートである。
【図２４】図２４は、自車の周囲の明るさとＩＲ投光量との関係を示す特性図である。
【図２５】図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【図２６】図２６は、車両制御システムにおける撮像部の設置位置の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本開示に係る技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示に係る技術は実施形態に限定されるものではない。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の撮像システム及び物体認識システム、全般に関する説明
２．本開示の撮像システム
２−１．撮像システムの構成例
２−２．イベント検出装置の構成例
２−２−１．画素アレイ部の構成例
２−２−２．画素の構成例
２−２−３．イベント検出部の構成例
２−２−３−１．電流電圧変換部の構成例
２−２−３−２．減算部及び量子化部の構成例
２−２−４．チップ構造の構成例
２−３．撮像装置の構成例
２−３−１．ＣＭＯＳ型イメージセンサの構成例
２−３−２．画素の構成例
２−３−３．チップ構造の構成例
２−３−３−１．平置型のチップ構造（所謂、平置構造）
２−３−３−２．積層型のチップ構造（所謂、積層構造）
３．本開示の物体認識システム
３−１．物体認識システムの構成例
３−２．実施例１（イベント検出に基づく物体認識の基本処理の例）
３−３．実施例２（道路の損傷箇所をイベントとして検出する例）
３−４．実施例３（車外の状況に応じて、イベント検出の閾値を変える例）
３−５．実施例４（通常走行時、撮像装置によって自車の周囲を認識する例）
３−６．実施例５（暗闇において赤外光を自発光してイベント検出装置で障害物の有無を検知する例）
４．変形例
５．本開示に係る技術の適用例
５−１．移動体への応用例
６．本開示がとることができる構成
【００１０】
≪本開示の撮像システム及び物体認識システム、全般に関する説明≫
本開示の撮像システム及び物体認識システムにあっては、イベント検出装置について、画像の取得が可能であり、制御部について、イベント検出装置が取得した画像を基に路面の状態を検出する構成とすることができる。
【００１１】
更に、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、制御部について、イベント検出装置が取得した画像を領域分割し、この領域分割した画像から求めた単位面積当たりの状態変化量を基に路面の状態を検出する構成とすることができる。そして、制御部について、単位面積当たりの状態変化量が所定の閾値以上の領域の数が所定の設定値以上の場合、路面に損傷箇所が存在すると判断し、その判断結果を移動体の制御システムに通知する構成とすることができる。
【００１２】
更に、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、制御部について、移動体の外部の状況に応じて、路面の状態を判断するため閾値を動的に変える制御を行う構成とすることができる。そして、制御部について、移動体に装着された環境センサから与えられる情報に基づいて移動体の外部の状況を判断する構成とすることができる。
【００１３】
また、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、制御部について、撮像装置によって取得される画像を基に周囲を監視している状態において、自車の車速と監視対象の車両の車速との差が所定の閾値以上の場合、撮像装置による撮影からイベント検出装置による撮影に切り替え、イベント検出装置によって取得される画像を基に周囲を監視する構成とすることができる。そして、制御部について、イベント検出装置によって取得される画像を基に周囲を監視している状態において、自車の車速と監視対象の車両の車速との差が所定の閾値未満になった場合、撮像装置による撮影からイベント検出装置による撮影から撮像装置による撮影に切り替える構成とすることができる。
【００１４】
また、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、赤外光を投光する赤外光投光部を備える構成とすることができる。また、日照センサを備え、制御部について、日照センサから与えられる情報をトリガーとして、赤外光投光部をオン状態とする構成とすることができる。
【００１５】
更に、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、イベント検出装置について、赤外光に感度を持つ画素を有している構成とすることができる。そして、イベント検出装置について、赤外光投光部によって赤外光が投光された環境下において、赤外光に感度を持つ画素の輝度変化に基づいてイベントの検出を行う構成とすることができる。
【００１６】
更に、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、制御部について、イベント検出装置によって一定時間変化のないイベントを検出した場合、その検出結果を移動体の制御システムに通知する構成とすることができる。そして、制御部について、赤外光投光部がオフ状態のとき、イベント検出装置によって一定時間変化のないイベントを検出しない場合、赤外光投光部をオフ状態とする構成とすることができる。
【００１７】
更に、上述した好ましい構成を含む本開示の撮像システム及び物体認識システムにあっては、制御部について、日照センサから与えられる明るさ情報に応じて、赤外光投光部の赤外光投光量を設定する構成とすることができる。そして、制御部について、日照センサから与えられる明るさ情報に応じて、赤外光投光部の赤外光投光量を多段階に調整する構成とすることができる。
【００１８】
≪本開示の撮像システム≫
＜撮像システムの構成例＞
図１は、本開示の撮像システムのシステム構成の一例を示すブロック図である。
【００１９】
図１に示すように、本開示の撮像システム１は、イベント検出装置１０、撮像装置２０、制御部３０、データ処理部４０、及び、画像記録部５０を有する構成となっている。
【００２０】
イベント検出装置１０としては、入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出するＤＶＳと呼ばれる非同期型の撮像装置を用いることができる。非同期型の撮像装置は、垂直同期信号に同期して撮像を行う同期型の撮像装置に対して、垂直同期信号に非同期でイベントを検出する撮像装置である。非同期型の撮像装置から成るイベント検出装置１０の詳細については後述する。
【００２１】
撮像装置２０は、垂直同期信号に同期して固定のフレームレートで撮像を行い、フレーム形式の画像データを出力する同期型の撮像装置を用いることができる。同期型の撮像装置としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサや、ＣＣＤ（Charge Coupled Device）型イメージセンサ等を例示することができる。同期型の撮像装置から成る撮像装置２０の詳細については後述する。
【００２２】
制御部３０は、例えばプロセッサ（ＣＰＵ）によって構成され、イベント検出装置１０、撮像装置２０、及び、データ処理部４０の制御を行う。より具体的には、制御部３０は、イベント検出装置１０がイベントを検出したことを受けて、イベントを含む領域の画像情報を、撮像装置２０によって取得する制御を行う。
【００２３】
データ処理部４０は、制御部３０による制御の下に、イベント検出装置１０から出力される、イベントの発生を表すイベントデータや、撮像装置２０から出力される画像データに対して所定のデータ処理を行う。制御部３０は、このデータ処理部４０を通して、イベント検出装置１０がイベントを検出したことを知ることができる。画像記録部５０は、データ処理部４０で処理された画像データを記録する。
【００２４】
上記の構成の撮像システム１において、非同期型の撮像装置から成るイベント検出装置１０は、一般的に、同期型の撮像装置２０に比べて画素サイズが大きくならざるを得ないため、固定のフレームレートで撮像を行う撮像装置２０に比べて解像度が低い。一方、同期型の撮像装置から成る撮像装置２０は、非同期型の撮像装置に比べて解像度に優れている。
【００２５】
以下に、イベント検出装置１０及び撮像装置２０の詳細について説明する。
【００２６】
＜イベント検出装置の構成例＞
図２は、上記の構成の本開示の撮像システム１におけるイベント検出装置１０の構成の一例を示すブロック図である。
【００２７】
図２に示すように、イベント検出装置１０は、複数の画素１１が行列状（アレイ状）に２次元配列されて成る画素アレイ部１２を有する。複数の画素１１のそれぞれは、光電変換によって生成される電気信号としての光電流に応じた電圧のアナログ信号を画素信号として生成する。また、複数の画素１１のそれぞれは、入射光の輝度に応じた光電流に、所定の閾値を超える変化が生じたか否かによって、イベントの有無を検出する。換言すれば、複数の画素１１のそれぞれは、輝度変化が所定の閾値を超えたことをイベントとして検出する。
【００２８】
イベント検出装置１０は、画素アレイ部１２の他に、画素アレイ部１２の周辺回路部として、駆動部１３、アービタ部（調停部）１４、カラム処理部１５、及び、信号処理部１６を備えている。
【００２９】
複数の画素１１のそれぞれは、イベントを検出した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４に出力する。そして、複数の画素１１のそれぞれは、イベントデータの出力の許可を表す応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータを出力する。また、イベントを検出した画素１１は、光電変換によって生成されるアナログの画素信号をカラム処理部１５に対して出力する。
【００３０】
駆動部１３は、画素アレイ部１２の各画素１１を駆動する。例えば、駆動部１３は、イベントを検出し、イベントデータを出力した画素１１を駆動し、当該画素１１のアナログの画素信号を、カラム処理部１５へ出力させる。
【００３１】
アービタ部１４は、複数の画素１１のそれぞれから供給されるイベントデータの出力を要求するリクエストを調停し、その調停結果（イベントデータの出力の許可／不許可）に基づく応答、及び、イベント検出をリセットするリセット信号を画素１１に送信する。
【００３２】
カラム処理部１５は、例えば、画素アレイ部１２の画素列毎に設けられたアナログ−デジタル変換器の集合から成るアナログ−デジタル変換部を有する。アナログ−デジタル変換器としては、例えば、シングルスロープ型のアナログ−デジタル変換器を例示することができる。
【００３３】
カラム処理部１５では、画素アレイ部１２の画素列毎に、その列の画素１１から出力されるアナログの画素信号をデジタル信号に変換する処理が行われる。カラム処理部１５では、デジタル化した画素信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行うこともできる。
【００３４】
信号処理部１６は、カラム処理部１５から供給されるデジタル化された画素信号や、画素アレイ部１２から出力されるイベントデータに対して所定の信号処理を実行し、信号処理後のイベントデータ及び画素信号を出力する。
【００３５】
上述したように、画素１１で生成される光電流の変化は、画素１１に入射する光の光量変化（輝度変化）とも捉えることができる。従って、イベントは、所定の閾値を超える画素１１の光量変化（輝度変化）であるとも言うことができる。イベントの発生を表すイベントデータには、少なくとも、イベントとしての光量変化が発生した画素１１の位置を表す座標等の位置情報が含まれる。イベントデータには、位置情報の他、光量変化の極性を含ませることができる。
【００３６】
画素１１からイベントが発生したタイミングで出力されるイベントデータの系列については、イベントデータどうしの間隔がイベントの発生時のまま維持されている限り、イベントデータは、イベントが発生した相対的な時刻を表す時刻情報を暗示的に含んでいるということができる。但し、イベントデータがメモリに記憶されること等により、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなると、イベントデータに暗示的に含まれる時刻情報が失われる。そのため、信号処理部１６は、イベントデータどうしの間隔がイベントの発生時のまま維持されなくなる前に、イベントデータに、タイムスタンプ等の、イベントが発生した相対的な時刻を表す時刻情報を含める。
【００３７】
［画素アレイ部の構成例］
図３は、イベント検出装置１０における画素アレイ部１２の構成の一例を示すブロック図である。
【００３８】
複数の画素１１が行列状に２次元配列されて成る画素アレイ部１２において、複数の画素１１のそれぞれは、受光部６１、画素信号生成部６２、及び、イベント検出部６３を有する構成となっている。
【００３９】
上記の構成の画素１１において、受光部６１は、入射光を光電変換して光電流を生成する。そして、受光部６１は、駆動部１３（図２参照）の制御に従って、画素信号生成部２及びイベント検出部６３のいずれかに、入射光を光電変換して生成した光電流に応じた電圧の信号を供給する。
【００４０】
画素信号生成部６２は、受光部６１から供給される光電流に応じた電圧の信号を、アナログの画素信号ＳＩＧとして生成する。そして、画素信号生成部６２は、生成したアナログの画素信号ＳＩＧを、画素アレイ部１２の画素列毎に配線された垂直信号線ＶＳＬを介してカラム処理部１５（図２参照）に供給する。
【００４１】
イベント検出部６３は、受光部６１のそれぞれからの光電流の変化量が所定の閾値を超えたか否かにより、イベントの発生の有無を検出する。イベントは、例えば、光電流の変化量が上限の閾値を超えた旨を示すオンイベント、及び、その変化量が下限の閾値を下回った旨を示すオフイベントから成る。また、イベントの発生を表すイベントデータは、例えば、オンイベントの検出結果を示す１ビット、及び、オフイベントの検出結果を示す１ビットから成る。尚、イベント検出部６３については、オンイベントのみを検出する構成とすることもできる。
【００４２】
イベント検出部６３は、イベントが発生した際に、イベントの発生を表すイベントデータの出力を要求するリクエストをアービタ部１４（図２参照）に出力する。そして、イベント検出部６３は、リクエストに対する応答をアービタ部１４から受け取った場合、駆動部１３及び信号処理部１６に対してイベントデータを出力する。
【００４３】
［画素の回路構成例］
図４は、イベント検出装置１０における画素アレイ部１２の画素１１の回路構成の一例を示す回路図である。
【００４４】
上述したように、複数の画素１１のそれぞれは、受光部６１、画素信号生成部６２、及び、イベント検出部６３を有する構成となっている。
【００４５】
上記の構成の画素１１において、受光部６１は、受光素子（光電変換素子）６１１、転送トランジスタ６１２、及び、転送トランジスタ６１３を有する構成となっている。転送トランジスタ６１２及び転送トランジスタ６１３としては、例えば、Ｎ型のＭＯＳ（Metal Oxide Semiconductor）トランジスタを用いることができる。転送トランジスタ６１２及び転送トランジスタ６１３は、互いに直列に接続されている。
【００４６】
受光素子６１１は、転送トランジスタ６１２と転送トランジスタ６１３との共通接続ノードＮ1とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。
【００４７】
転送トランジスタ６１２のゲート電極には、図２に示す駆動部１３から転送信号ＴＲＧが供給される。転送トランジスタ６１２は、転送信号ＴＲＧに応答してオン状態になることにより、受光素子６１１で光電変換されて生成された電気信号を画素信号生成部６２に供給する。
【００４８】
転送トランジスタ６１３のゲート電極には、駆動部１３から制御信号ＯＦＧが供給される。転送トランジスタ６１３は、制御信号ＯＦＧに応答してオン状態になることにより、受光素子６１１で光電変換されて生成された電気信号をイベント検出部６３に供給する。イベント検出部６３に供給される電気信号は、電荷からなる光電流である。
【００４９】
画素信号生成部６２は、リセットトランジスタ６２１、増幅トランジスタ６２２、選択トランジスタ６２３、及び、浮遊拡散層６２４を有する構成となっている。リセットトランジスタ６２１、増幅トランジスタ６２２、及び、選択トランジスタ６２３としては、例えば、Ｎ型のＭＯＳトランジスタを用いることができる。
【００５０】
画素信号生成部６２には、受光部６１の受光素子６１１で光電変換された電荷が、転送トランジスタ６１２によって供給される。受光部６１から供給される電荷は、浮遊拡散層６２４に蓄積される。浮遊拡散層６２４は、蓄積した電荷を、その電荷量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層６２４は、電荷を電圧に変換する電荷電圧変換部である。
【００５１】
リセットトランジスタ６２１は、電源電圧ＶDDの電源ラインと浮遊拡散層６２４との間に接続されている。リセットトランジスタ６２１のゲート電極には、駆動部１３からリセット信号ＲＳＴが供給される。リセットトランジスタ６２１は、リセット信号ＲＳＴに応答してオン状態になることにより、浮遊拡散層６２４の初期化（リセット）を行う。
【００５２】
増幅トランジスタ６２２は、電源電圧ＶDDの電源ラインと垂直信号線ＶＳＬとの間に、選択トランジスタ６２３と直列に接続されている。増幅トランジスタ６２２は、浮遊拡散層６２４で電荷電圧変換された電圧信号を増幅する。
【００５３】
選択トランジスタ６２３のゲート電極には、駆動部１３から選択信号ＳＥＬが供給される。選択トランジスタ６２３は、選択信号ＳＥＬに応答してオン状態になることにより、増幅トランジスタ６２２によって増幅された電圧信号を、アナログの画素信号ＳＩＧとして垂直信号線ＶＳＬを介してカラム処理部１５（図２参照）へ出力する。
【００５４】
上記の構成の画素１１が２次元配置されて成る画素アレイ部１２を有するイベント検出装置１０において、駆動部１３は、図１に示す制御部３０によって、イベント検出の開始が指示される。そして、イベント検出の開始が指示されると、駆動部１３は、受光部６１の転送トランジスタ６１３に制御信号ＯＦＧを供給することによって当該転送トランジスタ６１３を駆動し、受光素子６１１で生成された電荷に応じた光電流をイベント検出部６３に供給させる。
【００５５】
そして、ある画素１１においてイベントが検出されると、駆動部１３は、その画素１１の転送トランジスタ６１３をオフ状態にしてイベント検出部６３への光電流の供給を停止させる。次いで、駆動部１３は、転送トランジスタ６１２に転送信号ＴＲＧを供給することによって当該転送トランジスタ６１２を駆動して、受光素子６１１で光電変換された電荷を浮遊拡散層６２４に転送させる。
【００５６】
このようにして、上記の構成の画素１１が２次元配置されて成る画素アレイ部１２を有するイベント検出装置１０は、イベントが検出された画素１１の画素信号のみをカラム処理部１５に出力する。これにより、イベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、イベント検出装置１０の消費電力や、画像処理の処理量を低減することができる。
【００５７】
尚、ここで例示した画素１１の構成は一例であって、この構成例に限定されるものではない。例えば、画素信号を出力する必要がない場合には、画素信号生成部６２を備えない画素構成とすることもできる。この画素構成の場合は、受光部６１において、転送トランジスタ６１２を省略すればよい。また、図２のカラム処理部１５がアナログ−デジタル変換機能の持たない構成とすることができる。画素信号を出力しない画素構成とすることにより、イベント検出装置１０の規模の抑制を図ることができる。
【００５８】
［イベント検出部の構成例］
図５は、イベント検出装置１０の画素１１におけるイベント検出部６３の回路構成の一例を示すブロック図である。
【００５９】
図５に示すように、本例に係るイベント検出部６３は、電流電圧変換部６３１、バッファ６３２、減算部６３３、量子化部６３４、及び、転送部６３５を有する構成となっている。
【００６０】
電流電圧変換部６３１は、画素１１の受光部６３から供給される光電流を、当該光電流の対数の電圧信号（以下、「光電圧」と記述する場合がある）に変換し、バッファ６３２に供給する。バッファ６３２は、電流電圧変換部６３１から供給される光電圧をバッファリングして減算部６３３に供給する。
【００６１】
減算部６３３は、現在の光電圧と、現在と微小時間だけ異なる光電圧との差を演算し、その差に対応する差信号を量子化部６３４に供給する。量子化部６３４は、減算部６３３から供給される差信号をデジタル信号に量子化し、差信号のデジタル値を転送部６３５に供給する。
【００６２】
転送部６３５は、量子化部６３４から差信号のデジタル値が供給されると、イベントデータの送信を要求するリクエストをアービタ部１４に供給する。そして、転送部６３５は、リクエストに対する応答、即ち、イベントデータの出力を許可する旨の応答をアービタ部１４から受け取ると、量子化部６３４から供給される差信号のデジタル値に応じて、イベントデータを、駆動部１３及び信号処理部１６に供給する。
【００６３】
続いて、イベント検出部６３における電流電圧変換部６３１、減算部６３３、及び、量子化部６３４の構成例について説明する。
【００６４】
（電流電圧変換部の構成例）
図６は、イベント検出部６３における電流電圧変換部６３１の構成の一例を示す回路図である。
【００６５】
図６に示すように、本例に係る電流電圧変換部６３１は、トランジスタ６３１１、トランジスタ６３１２、及び、トランジスタ６３１３を有する回路構成となっている。トランジスタ６３１１及びトランジスタ６３１３としては、Ｎ型のＭＯＳトランジスタを用いることができ、トランジスタ６３１２としては、Ｐ型のＭＯＳトランジスタを用いることができる。
【００６６】
トランジスタ６３１１は、電源電圧ＶDDの電源ラインと信号入力線６３１４との間に接続されている。トランジスタ６３１２及びトランジスタ６３１３は、電源電圧ＶDDの電源ラインとグランドとの間に直列に接続されている。そして、トランジスタ６３１２及びトランジスタ６３１３の共通接続ノードＮ2には、トランジスタ６３１１のゲート電極と、図５に示すバッファ６３２の入力端子とが接続されている。
【００６７】
トランジスタ６３１２のゲート電極には、所定のバイアス電圧Ｖbiasが印加される。これにより、トランジスタ６３１２は、一定の電流をトランジスタ６３１３に供給する。トランジスタ６３１３のゲート電極には、信号入力線６３１４を通して、受光部６１から光電流が入力される。
【００６８】
トランジスタ６３１１のドレイン電極は、電源電圧ＶDDの電源ラインに接続されており、ソースフォロワ構成となっている。トランジスタ６３１３のゲート電極は、トランジスタ６３１１のソース電極に接続されている。そして、ソースフォロワ構成のトランジスタ６３１１及びトランジスタ６３１３により、受光部６１からの光電流は、当該光電流の対数に対応する光電圧に変換される。
【００６９】
（減算部及び量子化部の構成例）
図７は、イベント検出部６３における減算部６３３及び量子化部６３４の構成の一例を示す回路図である。
【００７０】
本例に係る減算部６３３は、容量素子６３３１、オペアンプ６３３２、容量素子６３３３、及び、スイッチ素子６３３４を有する構成となっている。
【００７１】
容量素子６３３１の一端は、図５に示すバッファ６３２の出力端子に接続され、容量素子６３３１の他端は、オペアンプ６３３２の入力端子に接続されている。これにより、オペアンプ６３３２の入力端子に、バッファ６３２から供給される光電圧が、容量素子６３３１を介して入力される。
【００７２】
容量素子６３３３は、オペアンプ６３３２に対して並列に接続されている。スイッチ素子６３３４は、容量素子６３３３の両端間に接続されている。スイッチ素子６３３４には当該スイッチ素子６３３４を開閉する制御信号として、図２に示すアービタ部１４からリセット信号が供給される。スイッチ素子６３３４は、リセット信号に応じて、容量素子６３３３の両端を接続する経路を開閉する。
【００７３】
上記の構成の減算部６３３において、スイッチ素子６３３４をオン（閉）状態とした際に、容量素子６３３１のバッファ６３２側の端子に入力される光電圧をＶinitとする。容量素子６３３１のバッファ６３２側の端子に光電圧Ｖinitが入力されたとき、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、容量素子６３３１の容量値をＣ1とすると、容量素子６３３１に蓄積されている電荷Ｑinitは、次式（１）により表される。
Ｑinit＝Ｃ1×Ｖinit                          ・・・（１）
【００７４】
また、スイッチ素子６３３４をオン状態である場合には、容量素子６３３３の両端は短絡されているため、容量素子６３３３に蓄積される電荷はゼロとなる。その後、スイッチ素子６３３４がオフ（開）状態となる。スイッチ素子６３３４がオフ状態の場合の、容量素子６３３１のバッファ６３２側の端子の光電圧をＶafterと表すこととする。スイッチ素子６３３４がオフ状態になった場合に容量素子６３３１に蓄積される電荷Ｑafterは、次式（２）により表される。
Ｑafter＝Ｃ1×Ｖafter                        ・・・（２）
【００７５】
容量素子６３３３の容量値をＣ2と表すとともに、オペアンプ６３３２の出力電圧をＶoutと表すこととすると、容量素子６３３３に蓄積される電荷Ｑ2は、次式（３）により表される。
Ｑ2＝−Ｃ2×Ｖout                            ・・・（３）
【００７６】
スイッチ素子６３３４がオフする前後で、容量素子６３３１の電荷量と容量素子６３３３の電荷量とを合わせた総電荷量は変化しないため、次の式（４）が成立する。
Ｑinit＝Ｑafter＋Ｑ2                         ・・・（４）
【００７７】
式（４）に式（１）乃至式（３）を代入すると、次式（５）が得られる。
Ｖout＝−（Ｃ1／Ｃ2）×（Ｖafter−Ｖinit）   ・・・（５）
【００７８】
式（５）によれば、減算部６３３では、光電圧Ｖinitと光電圧Ｖafterとの減算、即ち、光電圧Ｖinitと光電圧Ｖafterとの差（Ｖinit−Ｖafter）に対応する差信号Ｖoutの算出が行われる。また、式（５）によれば、減算部６３３の減算の利得はＣ1／Ｃ2となる。通常、減算部６３３の減算の利得を最大化することが望まれるため、容量素子６３３１の容量値Ｃ1を大きく、容量素子６３３３の容量値Ｃ2を小さく設計することが好ましい。
【００７９】
一方、容量素子６３３３の容量値Ｃ2が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、容量素子６３３３の容量値Ｃ2の容量削減は、ノイズを許容することができる範囲に制限される。また、画素１１毎に減算部６３３を含むイベント検出部６３が搭載されるため、容量素子６３３１や容量素子６３３３には、面積上の制約がある。これらを考慮して、容量素子６３３１の容量値Ｃ1及び容量素子６３３３の容量値Ｃ2が決定される。
【００８０】
図７において、量子化部６３４は、コンパレータ６３４１を有する構成となっている。コンパレータ６３４１は、減算部４３０からの差信号（即ち、オペアンプ６３３２の出力信号）を非反転（＋）入力とし、所定の閾値電圧Ｖthを反転（−）入力としている。そして、コンパレータ６３４１は、減算部４３０からの差信号Ｖoutと所定の閾値電圧Ｖthとを比較し、比較結果を表す、高レベル又は低レベルを、差信号Ｖoutの量子化値として、図５に示す転送部６３５に出力する。
【００８１】
転送部６３５は、量子化部６３４からの差信号Ｖoutの量子化値から、イベントとしての光量変化（輝度変化）が発生したと認められる場合、即ち、差信号Ｖoutが所定の閾値電圧Ｖthよりも大きい（又は、小さい）場合に、イベントの発生を表す、例えば高レベルのイベントデータを、図２の信号処理部１６に出力する。すなわち、閾値電圧Ｖthは、画素１１の光量変化（輝度変化）に基づいてイベントを検出する閾値である。
【００８２】
信号処理部１６は、転送部６３５から供給されるイベントデータに、そのイベントデータが表すイベントを検出した画素１１の位置情報、及び、イベントが発生した時刻を表す時刻情報、更には、必要に応じて、イベントとしての光量変化の極性情報を含めて出力する。
【００８３】
イベントを検出した画素１１の位置情報、イベントが発生した時刻を表す時刻情報、及び、イベントとしての光量変化の極性情報を含むイベントデータのデータ形式としては、例えば、ＡＥＲ（Address Event Representation）と呼ばれるデータ形式を採用することができる。
【００８４】
尚、画素１１では、カラーフィルタ等の所定の光を透過する光学フィルタを設けること等によって、入射光として、任意の光を受光することができる。例えば、画素１１において、入射光として、可視光を受光する場合、イベントデータは、視認することができる被写体が映る画像における画素値の変化の発生を表す。また、例えば、画素１１において、入射光として、測距のための赤外線やミリ波等を受光する場合、イベントデータは、被写体までの距離の変化の発生を表す。更に、例えば、画素１１において、入射光として、温度の測定のための赤外線を受光する場合、イベントデータは、被写体の温度の変化の発生を表す。本実施形態では、画素１１において、入射光として、可視光を受光することとする。
【００８５】
［チップ構造の構成例］
以上説明したイベント検出装置１０のチップ（半導体集積回路）構造としては、例えば、積層型のチップ構造を採ることができる。図８は、イベント検出装置１０の積層型のチップ構造の概略を示す分解斜視図である。
【００８６】
図８に示すように、積層型のチップ構造、所謂、積層構造は、第１のチップである受光チップ１０１、及び、第２のチップである検出チップ１０２の少なくとも２つのチップが積層された構造となっている。そして、図４に示す画素１１の回路構成において、受光素子６１１のそれぞれが受光チップ１０１上に配置され、受光素子６１１以外の素子の全てや、画素１１の他の回路部分の素子などが検出チップ１０２上に配置される。受光チップ１０１と検出チップ１０２とは、ビア（ＶＩＡ）、Ｃｕ−Ｃｕ接合、バンプなどの接続部を介して電気的に接続される。
【００８７】
尚、ここでは、受光素子６１１を受光チップ１０１に配置し、受光素子６１１以外の素子や画素１１の他の回路部分の素子などを検出チップ１０２に配置する構成例を例示したが、この構成例に限られるものではない。
【００８８】
例えば、図４に示す画素１１の回路構成において、受光部６１の各素子を受光チップ１０１に配置し、受光部６１以外の素子や画素１１の他の回路部分の素子などを検出チップ１０２に配置する構成とすることができる。また、受光部６１の各素子、及び、画素信号生成部６２のリセットトランジスタ６２１、浮遊拡散層６２４を受光チップ１０１に配置し、それ以外の素子を検出チップ１０２に配置する構成とすることができる。更には、イベント検出部６３を構成する素子の一部を、受光部６１の各素子などと共に受光チップ１０１に配置する構成とすることができる。
【００８９】
＜撮像装置の構成例＞
本開示の撮像システム１における撮像装置２０の基本的な構成について説明する。ここでは、撮像装置２０として、Ｘ−Ｙアドレス方式の撮像装置の一種であるＣＭＯＳ型イメージセンサを例に挙げて説明する。ＣＭＯＳ型イメージセンサは、ＣＭＯＳプロセスを応用して、又は、部分的に使用して作製されたイメージセンサである。但し、撮像装置２０としては、ＣＭＯＳ型イメージセンサに限られるものではない。
【００９０】
［ＣＭＯＳ型イメージセンサの構成例］
図９は、本開示の撮像システム１における撮像装置２０の一例であるＣＭＯＳ型イメージセンサの構成の概略を示すブロック図である。
【００９１】
本例に係る撮像装置２０は、受光部（光電変換部）を含む画素２１が行方向及び列方向に、即ち、行列状に２次元配置されて成る画素アレイ部２２、及び、当該画素アレイ部２２の周辺回路部を有する構成となっている。ここで、行方向とは、画素行の画素２１の配列方向を言い、列方向とは、画素列の画素２１の配列方向を言う。画素２１は、光電変換を行うことにより、受光した光量に応じた光電荷を生成し、蓄積する。
【００９２】
本例に係る撮像装置２０は、画素アレイ部２２の各画素２１に、例えば、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色フィルタが組み込まれたＲＧＢセンサである。但し、撮像装置２０は、ＲＧＢセンサに限られるものではない。
【００９３】
画素アレイ部２２の周辺回路部は、例えば、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等によって構成されている。
【００９４】
画素アレイ部２２において、行列状の画素配列に対し、画素行毎に画素駆動線３１1〜３１m（以下、総称して「画素駆動線３１」と記述する場合がある）が行方向に沿って配線されている。また、画素列毎に垂直信号線３２1〜３２n（以下、総称して「垂直信号線３２」と記述する場合がある）が列方向に沿って配線されている。画素駆動線３１は、画素２１から信号を読み出す際の駆動を行うための駆動信号を伝送する。図１では、画素駆動線３１について１本の配線として図示しているが、１本に限られるものではない。画素駆動線３１の一端は、行選択部２３の各行に対応した出力端に接続されている。
【００９５】
以下に、画素アレイ部２２の周辺回路部の各回路部、即ち、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８について説明する。
【００９６】
行選択部２３は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部２２の各画素２１の選択に際して、画素行の走査や画素行のアドレスを制御する。この行選択部２３は、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系の２つの走査系を有する構成となっている。
【００９７】
読出し走査系は、画素２１から画素信号を読み出すために、画素アレイ部２２の各画素２１を行単位で順に選択走査する。画素２１から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査を行う。
【００９８】
この掃出し走査系による掃出し走査により、読出し行の画素２１の受光部（光電変換部）から不要な電荷が掃き出されることによって当該受光部がリセットされる。そして、この掃出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂、電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、受光部の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。
【００９９】
定電流源部２４は、画素列毎に垂直信号線３２1〜３２nの各々に接続された、例えばＭＯＳトランジスタから成る複数の電流源Ｉ（図１０参照）を備えており、行選択部２３によって選択走査された画素行の各画素２１に対し、垂直信号線３２1〜３２nの各々を通してバイアス電流を供給する。
【０１００】
アナログ−デジタル変換部２５は、画素アレイ部２２の画素列に対応して設けられた（例えば、画素列毎に設けられた）複数のアナログ−デジタル変換器の集合から成る。アナログ−デジタル変換部２５は、画素列毎に垂直信号線３２1〜３２nの各々を通して出力されるアナログの画素信号を、デジタル信号に変換する列並列型のアナログ−デジタル変換部である。
【０１０１】
列並列アナログ−デジタル変換部２５におけるアナログ−デジタル変換器としては、例えば、参照信号比較型のアナログ−デジタル変換器の一例であるシングルスロープ型のアナログ−デジタル変換器を用いることができる。但し、アナログ−デジタル変換器としては、シングルスロープ型のアナログ−デジタル変換器に限られるものではなく、逐次比較型のアナログ−デジタル変換器やデルタ−シグマ変調型（ΔΣ変調型）のアナログ−デジタル変換器などを用いることができる。
【０１０２】
この列並列アナログ−デジタル変換部２５におけるアナログ−デジタル変換器の例については、先述したイベント検出装置１０のカラム処理部１５（図２参照）を構成するアナログ−デジタル変換部におけるアナログ−デジタル変換器においても同様である。
【０１０３】
水平転送走査部２６は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部２２の各画素２１の信号の読出しに際して、画素列の走査や画素列のアドレスを制御する。この水平転送走査部２６による制御の下に、アナログ−デジタル変換部２５でデジタル信号に変換された画素信号が画素列単位で水平転送線（水平出力線）２９に読み出される。
【０１０４】
信号処理部２７は、水平転送線２９を通して供給されるデジタルの画素信号に対して、所定の信号処理を行い、２次元の画像データを生成する。例えば、信号処理部２７は、縦線欠陥、点欠陥の補正、又は、信号のクランプを行ったり、パラレル−シリアル変換、圧縮、符号化、加算、平均、及び、間欠動作などデジタル信号処理を行ったりする。信号処理部２７は、生成した画像データを、本撮像装置２０の出力信号として後段の装置に出力する。
【０１０５】
タイミング制御部２８は、外部から供給される垂直同期信号ＶＤや水平同期信号ＨＤ、更には、マスタークロックＭＣＫ（図示せず）等に基づいて、各種のタイミング信号、クロック信号、及び、制御信号等を生成する。そして、タイミング制御部２８は、これら生成した信号を基に、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、及び、信号処理部２７等の駆動制御を行う。
【０１０６】
このタイミング制御部２８による制御の下に、本撮像装置２０では、垂直同期信号ＶＤ等の同期信号に同期して撮像が行われる。すなわち、本撮像装置２０は、固定のフレームレートで撮像を行う同期型の撮像装置である。
【０１０７】
［画素の回路構成例］
図１０は、撮像装置２０における画素アレイ部２２の画素２１の回路構成の一例を示す回路図である。
【０１０８】
画素２１は、受光部（光電変換部）として、例えば、フォトダイオード２１１を有している。画素２１は、フォトダイオード２１１の他に、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５を有する画素構成となっている。
【０１０９】
尚、ここでは、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５の４つのトランジスタとして、例えばＮ型のＭＯＳトランジスタを用いているが、ここで例示した４つのトランジスタ２１２〜２１５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。
【０１１０】
この画素２１に対して、先述した画素駆動線３１として、複数の画素駆動線が同一画素行の各画素２１に対して共通に配線されている。これら複数の画素駆動線は、行選択部２３の各画素行に対応した出力端に画素行単位で接続されている。行選択部２３は、複数の画素駆動線に対して転送信号ＴＲＧ、リセット信号ＲＳＴ、及び、選択信号ＳＥＬを適宜出力する。
【０１１１】
フォトダイオード２１１は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード２１１のカソード電極は、転送トランジスタ２１２を介して増幅トランジスタ２１４のゲート電極と電気的に接続されている。ここで、増幅トランジスタ２１４のゲート電極が電気的に繋がった領域は、フローティングディフュージョン（浮遊拡散領域／不純物拡散領域）ＦＤである。フローティングディフュージョンＦＤは、電荷を電圧に変換する電荷電圧変換部である。
【０１１２】
転送トランジスタ２１２のゲート電極には、高レベル（例えば、ＶDDレベル）がアクティブとなる転送信号ＴＲＧが行選択部２３から与えられる。転送トランジスタ２１２は、転送信号ＴＲＧに応答してオン状態となることにより、フォトダイオード２１１で光電変換され、当該フォトダイオード２１１に蓄積された光電荷をフローティングディフュージョンＦＤに転送する。
【０１１３】
リセットトランジスタ２１３は、電源電圧ＶDDの電源ラインとフローティングディフュージョンＦＤとの間に接続されている。リセットトランジスタ２１３のゲート電極には、高レベルがアクティブとなるリセット信号ＲＳＴが行選択部２３から与えられる。リセットトランジスタ２１３は、リセット信号ＲＳＴに応答してオン状態となり、フローティングディフュージョンＦＤの電荷を電源電圧ＶDDのノードに捨てることによってフローティングディフュージョンＦＤをリセットする。
【０１１４】
増幅トランジスタ２１４は、ゲート電極がフローティングディフュージョンＦＤに接続され、ドレイン電極が電源電圧ＶDDの電源ラインに接続されている。増幅トランジスタ２１４は、フォトダイオード２１１での光電変換によって得られる信号を読み出すソースフォロワの入力部となる。増幅トランジスタ２１４は、ソース電極が選択トランジスタ２１５を介して垂直信号線３２に接続される。そして、増幅トランジスタ２１４と、垂直信号線３２の一端に接続される電流源Ｉとは、フローティングディフュージョンＦＤの電圧を垂直信号線３２の電位に変換するソースフォロワを構成している。
【０１１５】
選択トランジスタ２１５は、ドレイン電極が増幅トランジスタ２１４のソース電極に接続され、ソース電極が垂直信号線３２に接続されている。選択トランジスタ２１５のゲート電極には、高レベルがアクティブとなる選択信号ＳＥＬが行選択部２３から与えられる。選択トランジスタ２１５は、選択信号ＳＥＬに応答してオン状態となることにより、画素２１を選択状態として増幅トランジスタ２１４から出力される信号を垂直信号線３２に伝達する。
【０１１６】
尚、ここでは、画素２１の画素回路として、転送トランジスタ２１２、リセットトランジスタ２１３、増幅トランジスタ２１４、及び、選択トランジスタ２１５から成る、即ち４つのトランジスタ（Ｔｒ）から成る４Ｔｒ構成を例に挙げたが、これに限られるものではない。例えば、選択トランジスタ２１５を省略し、増幅トランジスタ２１４に選択トランジスタ２５の機能を持たせる３Ｔｒ構成とすることもできるし、必要に応じて、トランジスタの数を増やした５Ｔｒ以上の構成とすることもできる。
【０１１７】
［チップ構造の構成例］
上記の構成の撮像装置２０のチップ（半導体集積回路）構造としては、平置型のチップ構造及び積層型のチップ構造を例示することができる。平置型のチップ構造及び積層型のチップ構造のいずれの撮像装置２０においても、画素２１について、配線層が配される側の基板面を表面（正面）とするとき、表面側から照射される光を取り込む表面照射型の画素構造とすることもできるし、その反対側の裏面側から照射される光を取り込む裏面照射型の画素構造とすることができる。以下に、平置型のチップ構造及び積層型のチップ構造について説明する。
【０１１８】
（平置型のチップ構造）
図１１は、撮像装置２０の平置型のチップ構造の概略を示す平面図である。
【０１１９】
図１１に示すように、平置型のチップ構造（所謂、平置構造）は、画素２１が行列状に配置されて成る画素アレイ部２２と同じ半導体基板２０１上に、画素アレイ部２２の周辺の回路部分を形成した構造となっている。具体的には、画素アレイ部２２と同じ半導体基板２０１上に、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等が形成されている。
【０１２０】
（積層型のチップ構造）
図１２は、撮像装置２０の積層型のチップ構造の概略を示す分解斜視図である。
【０１２１】
図１２に示すように、積層型のチップ構造（所謂、積層構造）は、第１半導体基板２０２及び第２半導体基板２０３の少なくとも２つの半導体基板が積層された構造となっている。この積層構造において、画素アレイ部２２は、１層目の第１半導体基板２０２に形成される。また、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、信号処理部２７、及び、タイミング制御部２８等の回路部分は、２層目の第２半導体基板２０３に形成される。そして、１層目の第１半導体基板２０２と２層目の第２半導体基板２０３とは、ビア（ＶＩＡ）やＣｕ−Ｃｕ接合などの接続部３３Ａ，３３Ｂを通して電気的に接続される。
【０１２２】
この積層構造の撮像装置２０によれば、１層目の第１半導体基板２０２には画素２１の作製に適したプロセスを適用でき、２層目の第２半導体基板２０３には回路部分の作製に適したプロセスを適用できるため、撮像装置２０の製造に当たって、プロセスの最適化を図ることができる。特に、回路部分の作製に当たっては、先端プロセスの適用が可能になる。
【０１２３】
尚、ここでは、第１半導体基板２０２及び第２半導体基板２０３が積層されて成る２層構造の積層構造を例示したが、積層構造としては、２層構造に限られるものではなく、３層以上の構造とすることもできる。そして、３層以上の積層構造の場合、行選択部２３、定電流源部２４、アナログ−デジタル変換部２５、水平転送走査部２６、及び、信号処理部２７等の回路部分については、２層目以降の半導体基板に分散して形成することができる。
【０１２４】
以上説明した、非同期型の撮像装置から成るイベント検出装置１０、及び、同期型の撮像装置から成る撮像装置２０を備える本開示の撮像システム１は、車両等の移動体に搭載して用いることができる。車両に搭載して用いる場合を例に挙げると、車両の所定の位置、例えば、車両のフロントノーズ、サイドミラー、リアバンパ、バックドア、及び、車室内のフロントガラスの上部のうちの少なくとも一つの位置に、撮像システム１を配置して用いることになる。本開示に係る技術（即ち、本開示の撮像システム１）の適用例の詳細については後述する。
【０１２５】
本開示の車撮像システム１において、非同期型の撮像装置から成るイベント検出装置１０、及び、同期型の撮像装置から成る撮像装置２０の制御は、制御部３０によって行われる。具体的には、車両の走行時に、制御部３０による制御の下に、先ず、イベント検出装置１０によってイベントの検出が行われる。
【０１２６】
先述したイベント検出装置１０の説明では、図３に示すイベント検出部６３によって、画素１１毎に、光量変化（輝度変化）が所定の閾値を超えたことをイベントとして検出するとしたが、イベントの検出は、イベント検出部６３による画素１１毎の検出に限られるものではない。具体的には、イベント検出装置１０は、図３及び図４に示すように、画素信号生成部６２を画素１１毎に備えており、画像の取得も可能である。そして、イベント検出装置１０が撮影して取得した画像を基に路面の状態、具体的には、損傷箇所（例えば、穴、大きな溝、ひび割れ、凹凸、陥没等）や落下物などをイベントとして検出することができる。
【０１２７】
イベント検出装置１０では、例えば画素１１毎に、受光部６１、画素信号生成部６２、及び、イベント検出部６３を有する画素構成がとられるため、同期型の撮像装置２０に比べて画素サイズが大きくならざるを得なく、解像度が低い。従って、イベント検出装置１０の場合、撮影して取得した画像を基に、例えば路面の損傷箇所や落下物などをイベントとして検出できたとしても、同期型の撮像装置２０に比べて解像度が低いが故に、イベントの物体認識を精度よく行うことができない。
【０１２８】
そこで、制御部３０は、イベント検出装置１０がイベントを検出したことを受けて、そのイベントを含む領域の画像情報を、撮像装置２０によって取得するように制御を行う。同期型の撮像装置から成る撮像装置２０は、非同期型の撮像装置から成るイベント検出装置１０に比べて解像度に優れている。従って、本開示の撮像システム１によれば、イベント検出装置１０によってイベントを検出した上で、撮像装置２０によって、イベントを含む領域の画像情報を、イベント検出装置１０よりも高い解像度で取得することができる。その結果、撮像装置２０が撮影して取得したイベントを含む領域の画像情報に基づいて、イベントの物体認識をより精度よく行うことが可能になる。
【０１２９】
≪本開示の物体認識システム≫
次に、上記の構成の本開示の撮像システム１を用いて物体認識を行う、本開示の物体認識システムについて説明する。本開示の物体認識システムは、本開示の撮像システム１と同様に、車両等の移動体に搭載されてイベントの物体認識に用いることができる。
【０１３０】
＜物体認識システムの構成例＞
図１３は、本開示の撮像システム１を用いる、本開示の物体認識システムのシステム構成の一例を示すブロック図である。
【０１３１】
図１３に示すように、本開示の物体認識システム２は、図１に示した本開示の撮像システム１におけるイベント検出装置１０、撮像装置２０、制御部３０、データ処理部４０、及び、画像記録部５０に加えて、認識処理部６０を有する構成となっている。イベント検出装置１０、撮像装置２０、制御部３０、データ処理部４０、及び、画像記録部５０の詳細については、前述した通りである。
【０１３２】
上記の構成の物体認識システム２では、制御部３０による制御によって、イベント検出装置１０からは、イベントデータ及び画像データが出力され、データ処理部４０に供給され、撮像装置２０からは、イベントを含む領域の画像データが出力され、データ処理部４０に供給される。
【０１３３】
データ処理部４０で処理されたイベントデータ及び画像データは、認識処理部６０に供給される。制御部３０は、データ処理部４０を介して、イベント検出装置１０がイベントを検出したことを知ると、イベント検出装置１０が検出したイベントを含む領域を撮像するように撮像装置２０を制御する。
【０１３４】
認識処理部６０は、データ処理部４０から供給されるイベントデータ及び画像データに基づいて、イベントの物体認識の処理を行う。認識処理部６０での物体認識には、周知のパターン認識技術、例えば、教師データとして与えられる画像の特徴点と、撮影した被写体画像の特徴点とを比較することによって画像認識を行う技術を用いることができる。
【０１３５】
以下に、上記の構成の物体認識システム２において実行される、イベント検出に基づく物体認識の具体的な処理の実施例について説明する。以下で説明する物体認識処理は、基本的に、撮像システム１の制御部３０による制御の下に実行されることとする。
【０１３６】
＜実施例１＞
実施例１は、イベント検出に基づく物体認識の基本処理の例である。実施例１に係る物体認識処理の流れの一例を図１４のフローチャートに示す。
【０１３７】
以下に説明する処理では、イベントの検出は、イベント検出装置１０が撮影して取得した画像を基に行われることとする。この点については、後述する実施例２及び実施例３においても同様である。
【０１３８】
制御部３０は、先ず、イベント検出装置１０による撮影（以下、「ＤＶＳ撮影」と記述する）を行い（ステップＳ１１）、次いで、イベント検出装置１０がイベントを検出したか否かを判定する（ステップＳ１２）。ステップＳ１１の処理（ＤＶＳ撮影）の具体例については後述する。
【０１３９】
次に、制御部３０は、イベント検出装置１０がイベントを検出したと判定すると（Ｓ１２のＹＥＳ）、ＤＶＳ撮影（イベント検出装置１０による撮影）から、撮像装置２０による撮影に切り替える（ステップＳ１３）。ステップＳ１３の処理の具体例については後述する。イベント検出装置１０がイベントを検出しない場合（Ｓ１２のＮＯ）、制御部３０は、ステップＳ１１に戻ってＤＶＳ撮影を、イベント検出装置１０がイベントを検出するまで継続して実行する。
【０１４０】
次に、制御部３０は、撮像装置２０によって撮影した画像データを取得し（ステップＳ１４）、この取得した画像データに基づいて、イベントについての物体認識の処理を実行する（ステップＳ１５）。以上により、イベントの検出に基づく、イベントの物体認識のための一連の処理を終了する。
【０１４１】
＜実施例２＞
実施例２は、ＤＶＳ撮影（イベント検出装置１０による撮影）の具体例であり、道路の損傷箇所をイベントとして検出する例である。図１５に示すように、道路端８１Ａ，８１Ｂで画定される道路には、白線８２や、行き先表示、矢印等のテクスチャが描かれているとともに、穴８３や、大きな溝、ひび割れ、凹凸、陥没等の損傷箇所が存在する場合がある。穴８３や、ひび割れ、凹凸、陥没等の損傷箇所は、走行中の車両にとって障害となる場合があるため、事前にイベントと検出できることが好ましい。
【０１４２】
実施例２は、穴８３等の損傷箇所を、道路に描かれている白線８２等のテクスチャと識別し、道路の損傷箇所をイベントとして検出する例である。実施例２に係るＤＶＳ撮影の処理の流れの一例を図１６のフローチャートに示す。このＤＶＳ撮影の処理は、図１３の制御部３０による制御の下に、データ処理部４０において実行される処理である。また、イベント検出装置１０は、撮像装置２０に比べて解像度が低いものの、画像を取得することができるものとする。
【０１４３】
制御部３０は、イベント検出装置１０が取得した、車両の前方の画像（例えば、二値画像）から、道路範囲を認識する（ステップＳ２１）。道路範囲は、車両の進行方向の中心点、及び、道路端８１Ａ，８１Ｂを検知することによって認識することが可能である。
【０１４４】
次に、制御部３０は、認識した道路範囲において、イベント検出装置１０が取得した画像（例えば、二値画像）をメッシュ状に領域分割（ブロック分割）し、この領域分割した画像から単位面積当たりの状態変化量を計算により求める（ステップＳ２２）。単位面積当たりの状態変化量が大きい場合、路面の荒れが大きい、即ち、穴８３や、大きな溝、ひび割れ、凹凸、陥没等の損傷箇所が存在すると判断することができる。
【０１４５】
次に、制御部３０は、路面の状態を判断するために、単位面積当たりの状態変化量が所定の閾値以上か否かを、メッシュ分割した領域の単位で判断する（ステップＳ２３）。ステップＳ２３の判断処理において、制御部３０は、単位面積当たりの状態変化量が所定の閾値以上の領域が存在しなければ（Ｓ２３のＮＯ）、ステップＳ２１に戻る。
【０１４６】
制御部３０は、単位面積当たりの状態変化量が所定の閾値以上の領域が存在すれば（Ｓ２３のＹＥＳ）、閾値以上の領域の数が所定の設定値以上か否かを判断する（ステップＳ２４）。隣り合う分割領域で状態変化量が閾値以上の数が設定値以上の場合、穴８３や、大きな溝、ひび割れ、凹凸、陥没等の損傷箇所の存在を検出することができる。
【０１４７】
ステップＳ２４の判断処理において、制御部３０は、閾値以上の領域の数が所定の設定値に満たなければ（Ｓ２４のＮＯ）、ステップＳ２１に戻り、所定の設定値以上であれば（Ｓ２４のＹＥＳ）、イベント検出装置１０が検出したイベントが、穴８３等の路面の損傷箇所と判定する（ステップＳ２５）。
【０１４８】
以上により、ＤＶＳ撮影（イベント検出装置１０による撮影）に基づく、道路の損傷箇所を検出するための一連の処理を終了し、図１３のフローに戻り、ステップＳ１２の処理に移行する。
【０１４９】
ここで、本開示の物体認識システム２を、後述する車両制御システム７０００（図２５参照）に適用し、自動運転やＡＤＡＳ（Advanced  Driver  Assistance  System）に利用する場合を想定する。この場合、制御部３０は、イベント検出装置１０が検出したイベントが路面の損傷箇所であることを、図示せぬ通信部を介して、車両制御システム７０００に通知することになる。この通知を受けて、車両制御システム７０００のマイクロコンピュータ７６１０は、走行速度を減速する、あるいは、損傷箇所を回避するなどの制御を行うことができる。
【０１５０】
また、イベント検出装置１０がイベントとして検出した路面の損傷箇所については、例えば、損傷箇所の鮮明な画像を撮像装置３０で撮影し、その画像データを画像記録部５０に記録した上で、道路整備のための路面荒れ箇所の検出にも利用することができる。これにより、道路公団が道路の路面状況を監視しなくても、走行する車両からの情報、即ち、イベント検出装置１０がイベントとして検出した路面の損傷箇所の情報を統計的に処理することで、精度の高いリアルタイムなデータを得ることができる。更に、精度の高いリアルタイムなデータを基に、後続車両の運転者に対して、路面の損傷箇所や危険物の落下などの情報を提供することもできる。
【０１５１】
イベント検出装置１０が、路面の損傷箇所をイベントとして検出した後は、制御部３０は、道路に描かれている白線８２や、行き先表示、矢印等のテクスチャについては、イベント検出装置１０による認識の対象外とし、撮像装置２０による認識の対象とする。
【０１５２】
尚、実施例２に係るＤＶＳ撮影の処理では、処理の都度、路面の損傷箇所と、道路に描かれているテクスチャとを識別するとしたが、道路に描かれているテクスチャの特徴を学習して、路面の損傷箇所と区別するようにすることもできる。
【０１５３】
また、実施例２に係るＤＶＳ撮影の処理では、イベント検出装置１０が取得した画像を二値画像として説明したが、モノクロ画像（例えば、２５６階調）でもよい。モノクロ画像の場合、二値画像の場合よりも細かな設定、例えば、輝度５０以上、１００以下というような設定が可能になる。
【０１５４】
二値画像の場合、白か黒かの表示になり、白色領域は、ある閾値以上の状態変化を検知した場合の領域となる。従って、ステップＳ２１の処理で道路範囲を認識した後、二値画像の白色領域を検知し、白色領域の変化が閾値以上か否かにより、穴８３等の路面の損傷箇所と判定することもできる。
【０１５５】
＜実施例３＞
実施例３は、ＤＶＳ撮影（イベント検出装置１０による撮影）の具体例であり、車外の状況に応じて、イベント検出の閾値、例えば、路面の状態を判断するため閾値（図１６のステップＳ２３の処理の閾値）を動的に変える例である。ここで、車外の状況とは、明るさ、天候、路面が濡れているなどの路面の状態等を例示することができる。
【０１５６】
図１７は、実施例３に係るＤＶＳ撮影が適用される物体認識システムのシステム構成の一例を示すブロック図である。実施例３に係るＤＶＳ撮影が適用される物体認識システムは、自動車等の移動体に搭載されて用いられる。
【０１５７】
実施例３に係る物体認識システム２は、図１３のイベント検出装置１０、撮像装置２０、制御部３０、データ処理部４０、画像記録部５０、及び、認識処理部６０の他に、車外情報取得部８０を備えた構成となっている。車外情報取得部８０は、車外の状況を表す車外情報を取得する。
【０１５８】
車外情報取得部８０は、例えば、現在の天候又は気象を検出するための環境センサから成る。環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び、降雪を検出する雪センサのうちの少なくとも一つであってよい。車外情報取得部８０は、例えば、車両のフロントノーズ、サイドミラー、リアバンパ、バックドア、及び、車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
【０１５９】
車外情報取得部８０が取得した車外情報は、制御部３０に与えられる。制御部３０は、車外情報取得部８０から与えられる車外情報に基づいて、イベント検出の閾値を動的に変える制御を行う。イベント検出の閾値は、例えば、図１６のステップＳ２３の処理における閾値、即ち、路面の状態を判断するため閾値である。制御部３０は、車外情報取得部８０から与えられる車外情報に基づいて、路面の状態を判断するため閾値を動的に変える制御を行う。
【０１６０】
実施例３に係るＤＶＳ撮影の処理の流れの一例を図１８のフローチャートに示す。このＤＶＳ撮影の処理は、図１３の制御部３０による制御の下に、データ処理部４０において実行される処理である。
【０１６１】
制御部３０は、車外情報取得部８０から車外情報を取得し（ステップＳ３１）、次いで、取得した車外情報を基に、イベントを検出する閾値を変更する必要があるか否かを判断する（ステップＳ３２）。そして、制御部３０は、閾値を変更する必要があれば（Ｓ３２のＹＥＳ）、イベントを検出する閾値を更新し（ステップＳ３３）、次いで、ＤＶＳ撮影を開始する（ステップＳ３４）。
【０１６２】
次に、制御部３０は、イベント検出装置１０が取得した、車両の前方の画像（例えば、二値画像）から、道路範囲を認識し（ステップＳ３５）、次いで、認識した道路範囲において、イベント検出装置１０が取得した画像をメッシュ状に領域分割し、この領域分割した画像から単位面積当たりの状態変化量を計算により求める（ステップＳ３６）。
【０１６３】
次に、制御部３０は、路面の状態を判断するために、単位面積当たりの状態変化量が所定の閾値以上か否かを、メッシュ分割した領域の単位で判断する（ステップＳ３７）。そして、制御部３０は、単位面積当たりの状態変化量が所定の閾値以上の領域が存在しなければ（Ｓ３７のＮＯ）、ステップＳ３５に戻り、存在すれば（Ｓ３７のＹＥＳ）、閾値以上の領域の数が所定の設定値以上か否かを判断する（ステップＳ３８）。
【０１６４】
ステップＳ３８の判断処理において、制御部３０は、閾値以上の領域の数が所定の設定値に満たなければ（Ｓ３８のＮＯ）、ステップＳ３５に戻り、所定の設定値以上であれば（Ｓ３８のＹＥＳ）、イベント検出装置１０が検出したイベントが、穴８３等の路面の損傷箇所と判定する（ステップＳ３９）。そして、制御部３０は、イベント検出装置１０が検出したイベントが路面の損傷箇所である旨を認識処理部６０に通知する（ステップＳ４０）。それ以降の処理については、実施例２の場合と同様である。
【０１６５】
＜実施例４＞
実施例４は、図４のステップＳ１３の撮像装置２０による撮像の具体例であり、通常走行時、撮像装置２０によって自車の周囲を認識（監視）する例である。撮像装置２０は、イベント検出装置１０に比べて解像度に優れ、画像を記録するという用途に向いている。一方、イベント検出装置１０は、撮像装置２０に比べて解像度は低いものの、高速移動物体を歪なく撮影することができる。
【０１６６】
また、撮像装置２０として用いるＣＭＯＳ型イメージセンサでは、ローリングシャッター方式の場合、一行毎に画素信号の読み出しが行われるため、次行の読み出しでは時間がずれ、一枚の画素にすると、原理的に、フォーカルプレーン歪と呼ばれる動体歪が発生する。フレームレートを上げることにより、フォーカルプレーン歪を軽減することが可能であるが、その弊害として、露光時間が短くなるため認識画像としての十分な輝度が得られなくなる。
【０１６７】
グローバルシャッター方式は、フォーカルプレーン歪の問題に対する一つの解決方法になり得るが、光電変換された電荷を一時的に蓄えておくための専用の容量素子が必要になるため、チップ面積が増大し、コスト的には不利益となる。
【０１６８】
一方、非同期型の撮像装置から成るイベント検出装置１０の場合、基本的に、フレームという概念が無いため、フォーカルプレーン歪は発生しない。
【０１６９】
実施例４では、上記の撮像装置２０及びイベント検出装置１０のそれぞれの特徴を活かし、通常走行時、自車の周囲の認識処理をシームレスに行うようにする。実施例４に係る撮像装置２０及びイベント検出装置１０の制御の一例を図１９のフローチャートに示す。撮像装置２０及びイベント検出装置１０の制御は、図１３の制御部３０による制御の下に実行される。
【０１７０】
制御部３０は、撮像装置２０で撮影し、撮像装置２０によって取得される画像を基に自車の周囲、例えば、自車に後方から高速で接近してくる車両等を監視する（ステップＳ４１）。この通常走行時において、制御部３０は、自車の車速と監視対象の車両の車速との差が所定の閾値以上であるか否かを監視する（ステップＳ４２）。
【０１７１】
制御部３０は、自車の車速と監視対象の車両の車速との差が閾値以上の場合は（Ｓ４２のＹＥＳ）、撮像装置２０によって取得される画像にフォーカルプレーン歪が発生し、認識性能が低下すると判断する。そして、制御部３０は、撮像装置２０による撮影から、フォーカルプレーン歪が発生しないイベント検出装置１０による撮影に切り替え（ステップＳ４３）、イベント検出装置１０で取得される画像を基に自車の周囲を監視する（ステップＳ４５）。制御部３０は、監視対象の車両との車速差が閾値未満であれば（Ｓ４２のＮＯ）、ステップＳ４１に戻って撮像装置２０による撮影・監視を継続する。
【０１７２】
次に、制御部３０は、自車と監視対象の車両との車速差が所定の閾値未満になったか否かを監視し（ステップＳ４５）、閾値未満になったのであれば（Ｓ４５のＹＥＳ）、イベント検出装置１０による撮影から、撮像装置２０による撮影に切り替える（ステップＳ４６）。制御部３０は、監視対象の車両との車速差が所定の閾値以上であれば（Ｓ４５のＮＯ）、ステップＳ４４に戻ってイベント検出装置１０による撮影・監視を継続する。
【０１７３】
以上により、撮像装置２０及びイベント検出装置１０のそれぞれの特徴を活かし、通常走行時、自車の周囲の認識処理をシームレスに行うための一連の処理を終了し、図１３のフローに戻り、ステップＳ１４の処理に移行する。
【０１７４】
上述したように、実施例４に係る撮像装置２０及びイベント検出装置１０の制御において、通常走行時、イベント検出装置１０よりも解像度が優れている撮像装置２０による撮像によって自車の周囲を監視し、画像記録、認識・追尾の処理を行う。そして、高速な移動物体が、例えば後方から高速で近付いてきた場合に、イベント検出装置１０による撮像に切り替えて、その高速な移動物体の認識・追尾を継続する。
【０１７５】
イベント検出装置１０は、撮像装置２０に比べて解像度は劣るものの、高速に移動する物体を歪なく撮影することができる。従って、高速に移動する物体（例えば、後方から高速で近付いてくる車両）について、歪の無い画像で認識を行うことができるために、フォーカルプレーン歪が発生する撮像装置２０の場合よりも認識精度の向上を図ることができる。そして、認識した結果を、撮像システム１や車載システムに渡すことで、各種の制御が可能になる。
【０１７６】
尚、実施例４では、図４のステップＳ１３の撮像装置２０による撮像の具体例として説明したが、図４のステップＳ１３の処理とは別に、一般的に、撮像装置２０による撮像の場合の処理として実行することもできる。
【０１７７】
また、実施例４では、認識対象（監視対象）を、後方から高速で自車に接近してくる車両を例に挙げたが、認識対象はこれに限られるものではなく、実施例４に係る技術は、高速に動いている物体に対してより効果的である。
【０１７８】
また、実施例４では、自車と監視対象の車両との車速差パラメータとして、撮像装置２０による撮影と、イベント検出装置１０による撮影とを切り替えるとしたが、交差点、地図情報、ウィンカー操作などの情報をトリガーとして、撮像装置２０による撮影から、イベント検出装置１０による撮影に切り替えるようにすることもできる。これにより、進路変更する場合や合流する場合等で、イベント検出装置１０による撮影により、周囲の状況の認識・確認を優先させることができる。
【０１７９】
＜実施例５＞
実施例５は、暗闇において赤外光（ＩＲ）を自発光してイベント検出装置１０で障害物の有無を検出する例である。実施例５に係る物体認識システムのシステム構成の一例を図２０のブロック図に示す。
【０１８０】
実施例５に係る物体認識システム２は、図１３のイベント検出装置１０、撮像装置２０、制御部３０、データ処理部４０、画像記録部５０、及び、認識処理部６０の他に、ＩＲ投光部９１、ＩＲ投光部ドライバ９２、及び、日照センサ９３を備えた構成となっている。
【０１８１】
ＩＲ投光部９１は、例えば、波長８５０ｎｍの赤外光を発光する発光ダイオード（ＬＥＤ）から成るが、これに限られるものではない。ＩＲ投光部ドライバ９２は、制御部３０による制御の下に、ＩＲ投光部９１を駆動する。日照センサ９３は、日照度合いを検出するセンサであり、特に、視認性が悪くなり易い暗闇の環境（状態）を検出する。日照センサ９３は、後述する車両制御システム７０００（図２５参照）における環境センサの一つでもある。
【０１８２】
暗闇の環境下において、ＩＲ投光部９１がＩＲ光を発光した状態で、イベント検出装置１０が障害物等のイベントを検出するには、イベント検出装置１０に、ＩＲ光に感度を持つ画素を配置する必要がある。ＩＲ光に感度を持つ画素配列の例を図２１Ａ、図２１Ｂ、図２１Ｃ、図２１Ｄ、及び、図２１Ｅに示す。
【０１８３】
図２１Ａの例は、ＲＧＢベイヤー配列にＩＲ画素をの組み合わせた画素配列である。図２１Ｂ及び図２１Ｃの例は、モノクロ（Ｗ：白色）の画素及びＩＲ画素の組み合わせから成る画素配列である。図２１Ｄの例は、信号機の赤を検知可能なように、モノクロの画素、ＩＲ画素、及び、Ｒ画素の組み合わせから成る画素配列である。尚、ここで例示したＩＲ画素を含む画素配列は一例であって、これらの画素配列に限られるものではなく、例えば、ＩＲ画素と他の画素との割合を変えるようにすることもできる。あるいは又、Ｗ画素はＩＲ光の波長を含めて感度を有していることから、図２１Ｅに示すように、ＩＲ画素を用いずに、Ｒ画素、Ｂ画素、及び、Ｗ画素の組み合わせから成る画素配列とすることもできる。
【０１８４】
実施例５では、周囲が暗い場所において、例えば、車両の右左折の際、あるいは、車両の後退の際に、制御部３０による制御の下に、ＩＲ投光部９１を駆動してＩＲ光を発光させ、ＩＲ光に感度を持つ画素を有するイベント検出装置１０で、歩行者や無灯火自転車の存在、あるいは、壁やポール等の障害物の有無をイベントとして検出する。実施例５の場合、ＩＲ画素において、輝度変化が所定の閾値を超えたことをもってイベントの検出が行われる。
【０１８５】
暗闇では視認性が悪く、自車の特に側方や後方の視認性が悪く、歩行者や無灯火自転車の存在、あるいは、壁やポール等の障害物の有無に気づき難い。この観点から、ＩＲ投光部９１を備える物体認識システム２については、特に、車両のサイドミラー部分、リアバンパ部分、あるいは、バックドア部分に配置することが好ましい。尚、車両の進行方向については、通常、ヘッドライトで明るく照らされているため、基本的には、ＩＲ光を発光させ、イベント検出装置１０でイベントを検出する必要性は低いが、車両のフロントノーズ部分に、ＩＲ投光部９１を備える物体認識システム２を設けるようにしてもよい。
【０１８６】
以下に、実施例５に係る物体認識システム２におけるＩＲ光の投光下におけるイベント検出処理の具体例を示す。
【０１８７】
（具体例１）
図２２は、実施例５に係る物体認識システム２におけるＩＲ光の投光時のイベント検出処理の具体例１の流れを示すフローチャートである。この処理は、図１３の制御部３０による制御の下に実行される処理である。この点については、後述する具体例２においても同様である。
【０１８８】
制御部３０は、自車の周囲の環境が所定の暗さになった旨の情報を日照センサ９３から受信すると（ステップＳ５１）、イベント検出装置１０をオン状態にするとともに、ＩＲ投光部９１を所定の投光量でオン状態にする（ステップＳ５２）。
【０１８９】
次に、制御部３０は、イベント検出装置１０によって一定時間変化のない物体（イベント）を検出したか否かを判断し（ステップＳ５３）、一定時間変化のない物体を検出した場合は（Ｓ５３のＹＥＳ）、例えば、後述する車両制御システム７０００に通知する（ステップＳ５４）。ここで、イベント検出装置１０が検出する一定時間変化のない物体（イベント）としては、暗闇における歩行者や、壁、ポール等の障害物などを例示することができる。
【０１９０】
制御部３０から物体検出の通知を受けた車両制御システム７０００は、例えば、暗闇に物体（イベント）が存在する旨を運転者に知らせ、注意を喚起する。制御部３０は、車両制御システム７０００への通知後、イベント検出装置１０及びＩＲ投光部９１をオフ状態にし（ステップＳ５５）、ＩＲ光を投光し、暗闇の環境下におけるイベント検出のための一連の処理を終了する。
【０１９１】
制御部３０は、物体を検出しない場合は（Ｓ５３のＮＯ）、ステップＳ５５に移行してイベント検出装置１０及びＩＲ投光部９１をオフ状態にする。これにより、イベント検出装置１０及びＩＲ投光部９１のオン状態を継続することによる無駄な電力消費を省くことができる。
【０１９２】
尚、実施例５に係る物体認識システム２では、日照センサ９３を備え、当該日照センサ９３から与えられる情報をトリガーとして、暗闇の環境下におけるイベント検出処理を開始するとしたが、これに限られるものではない。例えば、車両制御システム７０００から受信する情報、例えば、ウィンカーのオン情報や、ハンドル操作量の情報をトリガーとしてイベント検出処理を開始することもできるし、撮像装置２０の撮像情報をトリガーとしてイベント検出処理を開始することもできる。
【０１９３】
（具体例２）
具体例１では、ＩＲ投光部９１の投光量を所定の投光量とするとしているが、具体例２では、自車の周囲の明るさに応じてＩＲ投光部９１の投光量を調整するようにする。このようにすることで、周囲の明るさに関係なく一定の投光量とする場合よりも、ＩＲ投光部９１での無駄な電力消費を省くことができる。
【０１９４】
図２３は、実施例５に係る物体認識システム２におけるＩＲ光の投光時のイベント検出処理の具体例１の流れを示すフローチャートである。また、図２４に、自車の周囲の明るさとＩＲ投光量との関係を示す。
【０１９５】
制御部３０は、自車の周囲環境の明るさ情報を日照センサ９３から受信すると（ステップＳ６１）、イベント検出装置１０及びＩＲ投光部９１をオン状態にし（ステップＳ６２）、ＩＲ投光部９１の投光量を、日照センサ９３から受信した明るさ情報に応じた投光量に設定する（ステップＳ６３）。
【０１９６】
次に、制御部３０は、イベント検出装置１０によって一定時間変化のない物体（イベント）を検出したか否かを判断し（ステップＳ６４）、一定時間変化のない物体を検出した場合は（Ｓ６４のＹＥＳ）、例えば、後述する車両制御システム７０００に通知する（ステップＳ６５）。ここで、イベント検出装置１０が検出する一定時間変化のない物体（イベント）としては、暗闇における歩行者や、壁、ポール等の障害物などを例示することができる。
【０１９７】
制御部３０から物体検出の通知を受けた車両制御システム７０００は、例えば、暗闇に物体（イベント）が存在する旨を運転者に知らせ、注意を喚起する。制御部３０は、車両制御システム７０００への通知後、イベント検出装置１０及びＩＲ投光部９１をオフ状態にし（ステップＳ６６）、ＩＲ光を投光し、暗闇の環境下におけるイベント検出のための一連の処理を終了する。
【０１９８】
制御部３０は、イベント検出装置１０によって一定時間変化のない物体を検出しない場合は（Ｓ６４のＮＯ）、ステップＳ６６に移行してイベント検出装置１０及びＩＲ投光部９１をオフ状態にする。これにより、イベント検出装置１０及びＩＲ投光部９１のオン状態を継続することによる無駄な電力消費を省くことができる。
【０１９９】
尚、具体例２では、ＩＲ投光部９１の投光量を、日照センサ９３から受信した明るさ情報に応じて一段階調整としたが、多段階調整とすることもできる。例えば、自車の周囲環境の明るさが多少明るい状況の場合には、ＩＲ投光部９１の投光量を控え目に調整し、真っ暗な状況の場合には、ＩＲ投光部９１の投光量を最大に調整するといった制御を行うようにしてもよい。
【０２００】
≪変形例≫
以上、本開示に係る技術について、好ましい実施形態に基づき説明したが、本開示に係る技術は当該実施形態に限定されるものではない。上記の実施形態において説明した撮像システム及び物体認識システムの構成、構造は例示であっ、変更することができる。例えば、上記の実施形態では、受光部６１毎に画素信号生成部６２を設けて画素１１を構成するとしたが、複数の受光部３１を単位としてブロック化し、各画素ブロックに画素信号生成部６２を１つずつ設けて、当該画素信号生成部６２を画素ブロック内の複数の受光部６１を共有する構成とすることもできる。
【０２０１】
≪本開示に係る技術の適用例≫
本開示に係る技術は、様々な製品に適用することができる。以下に、より具体的な適用例について説明する。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される撮像システムや物体認識システムとして実現されてもよい。
【０２０２】
＜移動体＞
図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【０２０３】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【０２０４】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０２０５】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【０２０６】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０２０７】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【０２０８】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【０２０９】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【０２１０】
ここで、図２６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０２１１】
尚、図２６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
【０２１２】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【０２１３】
図２５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【０２１４】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【０２１５】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【０２１６】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
【０２１７】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read  Only  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０２１８】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global  System  of  Mobile  communications）、ＷｉＭＡＸ、ＬＴＥ（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０２１９】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、ＤＳＲＣ（Dedicated  Short  Range  Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信、車両と家との間（Vehicle  to  Home）の通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０２２０】
測位部７６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。尚、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０２２１】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。尚、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
【０２２２】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal  Serial  Bus）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）、又はＭＨＬ（Mobile  High-definition  Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
【０２２３】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０２２４】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced  Driver  Assistance  System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【０２２５】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０２２６】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０２２７】
尚、図２５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
【０２２８】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部７９１０，７９１２，７９１４，７９１６，７９１８等に適用され得る。具体的には、これらの撮像部に対して、本開示の撮像システムを適用することができる。本開示の撮像システムは、ＤＶＳと呼ばれる非同期型の撮像装置から成るイベント検出装置、及び、同期型の撮像装置を備え、イベント検出装置によってイベントを検出した上で、イベントを含む領域の画像情報を撮像装置によって取得する。これにより、イベントを検出した上で、撮像装置によって取得した画像情報を基に、イベントの物体認識をより精度よく行うことができるため、安全な車両走行の実現に寄与することが可能となる。
【０２２９】
≪本開示がとることができる構成≫
尚、本開示は、以下のような構成をとることもできる。
【０２３０】
＜Ａ．撮像システム＞
［Ａ−１］入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出装置、
固定のフレームレートで撮像を行う撮像装置、並びに、
イベント検出装置及び撮像装置の制御を行う制御部を備え、
制御部は、イベント検出装置がイベントを検出したことを受けて、イベントを含む領域の画像情報を、撮像装置によって取得する制御を行う、
移動体に搭載されて用いられる撮像システム。
［Ａ−２］イベント検出装置は、画像の取得が可能であり、
制御部は、イベント検出装置が取得した画像を基に路面の状態を検出する、
上記［Ａ−１］に記載の撮像システム。
［Ａ−３］制御部は、イベント検出装置が取得した画像を領域分割し、この領域分割した画像から求めた単位面積当たりの状態変化量を基に路面の状態を検出する、
上記［Ａ−２］に記載の撮像システム。
［Ａ−４］制御部は、単位面積当たりの状態変化量が所定の閾値以上の領域の数が所定の設定値以上の場合、路面に損傷箇所が存在すると判断する、
上記［Ａ−３］に記載の撮像システム。
［Ａ−５］制御部は、路面に損傷箇所が存在すると判断したとき、その判断結果を移動体の制御システムに通知する、
上記［Ａ−４］に記載の撮像システム。
［Ａ−６］制御部は、移動体の外部の状況に応じて、路面の状態を判断するため閾値を動的に変える制御を行う、
上記［Ａ−２］乃至上記［Ａ−５］のいずれかに記載の撮像システム。
［Ａ−７］制御部は、移動体に装着された環境センサから与えられる情報に基づいて移動体の外部の状況を判断する、
上記［Ａ−６］に記載の撮像システム。
［Ａ−８］制御部は、撮像装置によって取得される画像を基に周囲を監視している状態において、自車の車速と監視対象の車両の車速との差が所定の閾値以上の場合、撮像装置による撮影からイベント検出装置による撮影に切り替え、イベント検出装置によって取得される画像を基に周囲を監視する、
上記［Ａ−１］に記載の撮像システム。
［Ａ−９］制御部は、イベント検出装置によって取得される画像を基に周囲を監視している状態において、自車の車速と監視対象の車両の車速との差が所定の閾値未満になった場合、撮像装置による撮影からイベント検出装置による撮影から撮像装置による撮影に切り替える、
上記［Ａ−８］に記載の撮像システム。
［Ａ−１０］赤外光を投光する赤外光投光部を備える、
上記［Ａ−１］に記載の撮像システム。
［Ａ−１１］日照センサを備え、
制御部は、日照センサから与えられる情報をトリガーとして、赤外光投光部をオン状態とする、
上記［Ａ−１０］に記載の撮像システム。
［Ａ−１２］イベント検出装置は、赤外光に感度を持つ画素を有している、
上記［Ａ−１１］に記載の撮像システム。
［Ａ−１３］イベント検出装置は、赤外光投光部によって赤外光が投光された環境下において、赤外光に感度を持つ画素の輝度変化に基づいてイベントの検出を行う、
上記［Ａ−１２］に記載の撮像システム。
［Ａ−１４］制御部は、イベント検出装置によって一定時間変化のないイベントを検出した場合、その検出結果を移動体の制御システムに通知する、
上記［Ａ−１３］に記載の撮像システム。
［Ａ−１５］制御部は、赤外光投光部がオフ状態のとき、イベント検出装置によって一定時間変化のないイベントを検出しない場合、赤外光投光部をオフ状態とする、
上記［Ａ−１３］に記載の撮像システム。
［Ａ−１６］制御部は、日照センサから与えられる明るさ情報に応じて、赤外光投光部の赤外光投光量を設定する、
上記［Ａ−１０］乃至上記［Ａ−１５］のいずれかに記載の撮像システム。
［Ａ−１７］制御部は、日照センサから与えられる明るさ情報に応じて、赤外光投光部の赤外光投光量を多段階に調整する、
上記［Ａ−１６］に記載の撮像システム。
【０２３１】
＜Ｂ．物体認識システム＞
［Ｂ−１］入射光を光電変換する画素の輝度変化が所定の閾値を超えたことをイベントとして検出するイベント検出装置、
固定のフレームレートで撮像を行う撮像装置、並びに、
イベント検出装置及び撮像装置の制御を行う制御部を備え、
制御部による制御の下に、イベント検出装置によってイベントを検出した上で、イベントを含む領域の画像情報を撮像装置によって取得し、この取得した画像情報を基に物体認識を行う、
移動体に搭載されて用いられる物体認識システム。
［Ｂ−２］イベント検出装置は、画像の取得が可能であり、
制御部は、イベント検出装置が取得した画像を基に路面の状態を検出する、
上記［Ｂ−１］に記載の物体認識システム。
［Ｂ−３］制御部は、イベント検出装置が取得した画像を領域分割し、この領域分割した画像から求めた単位面積当たりの状態変化量を基に路面の状態を検出する、
上記［Ｂ−２］に記載の物体認識システム。
［Ｂ−４］制御部は、単位面積当たりの状態変化量が所定の閾値以上の領域の数が所定の設定値以上の場合、路面に損傷箇所が存在すると判断する、
上記［Ｂ−３］に記載の物体認識システム。
［Ｂ−５］制御部は、路面に損傷箇所が存在すると判断したとき、その判断結果を移動体の制御システムに通知する、
上記［Ｂ−４］に記載の物体認識システム。
［Ｂ−６］制御部は、移動体の外部の状況に応じて、路面の状態を判断するため閾値を動的に変える制御を行う、
上記［Ｂ−２］乃至上記［Ｂ−５］のいずれかに記載の物体認識システム。
［Ｂ−７］制御部は、移動体に装着された環境センサから与えられる情報に基づいて移動体の外部の状況を判断する、
上記［Ｂ−６］に記載の物体認識システム。
［Ｂ−８］制御部は、撮像装置によって取得される画像を基に周囲を監視している状態において、自車の車速と監視対象の車両の車速との差が所定の閾値以上の場合、撮像装置による撮影からイベント検出装置による撮影に切り替え、イベント検出装置によって取得される画像を基に周囲を監視する、
上記［Ｂ−１］に記載の物体認識システム。
［Ｂ−９］制御部は、イベント検出装置によって取得される画像を基に周囲を監視している状態において、自車の車速と監視対象の車両の車速との差が所定の閾値未満になった場合、撮像装置による撮影からイベント検出装置による撮影から撮像装置による撮影に切り替える、
上記［Ｂ−８］に記載の物体認識システム。
［Ｂ−１０］赤外光を投光する赤外光投光部を備える、
上記［Ｂ−１］に記載の物体認識システム。
［Ｂ−１１］日照センサを備え、
制御部は、日照センサから与えられる情報をトリガーとして、赤外光投光部をオン状態とする、
上記［Ｂ−１０］に記載の物体認識システム。
［Ｂ−１２］イベント検出装置は、赤外光に感度を持つ画素を有している、
上記［Ｂ−１１］に記載の物体認識システム。
［Ｂ−１３］イベント検出装置は、赤外光投光部によって赤外光が投光された環境下において、赤外光に感度を持つ画素の輝度変化に基づいてイベントの検出を行う、
上記［Ｂ−１２］に記載の物体認識システム。
［Ｂ−１４］制御部は、イベント検出装置によって一定時間変化のないイベントを検出した場合、その検出結果を移動体の制御システムに通知する、
上記［Ｂ−１３］に記載の物体認識システム。
［Ｂ−１５］制御部は、赤外光投光部がオフ状態のとき、イベント検出装置によって一定時間変化のないイベントを検出しない場合、赤外光投光部をオフ状態とする、
上記［Ｂ−１３］に記載の物体認識システム。
［Ｂ−１６］制御部は、日照センサから与えられる明るさ情報に応じて、赤外光投光部の赤外光投光量を設定する、
上記［Ｂ−１０］乃至上記［Ｂ−１５］のいずれかに記載の物体認識システム。
［Ｂ−１７］制御部は、日照センサから与えられる明るさ情報に応じて、赤外光投光部の赤外光投光量を多段階に調整する、
上記［Ｂ−１６］に記載の物体認識システム。
【符号の説明】
【０２３２】
１・・・撮像システム、２・・・物体認識システム、１０・・・イベント検出装置、１１・・・画素、１２・・・画素アレイ部、１３・・・駆動部、１４・・・アービタ部（調停部）、１５・・・カラム処理部、１６・・・信号処理部、２０・・・撮像装置、２１・・・画素、２２・・・画素アレイ部、２３・・・行選択部、２４・・・定電流源部、２５・・・アナログ−デジタル変換部、２６・・・水平転送走査部、２７・・・信号処理部、２８・・・タイミング制御部、３０・・・制御部、４０・・・データ処理部、５０・・・画像記録部、６０・・・認識処理部、６１・・・受光部、６２・・・画素信号生成部、６３・・・イベント検出部、８０・・・車外情報取得部、９１・・・ＩＲ投光部、９２・・・ＩＲ投光部ドライバ、９３・・・日照センサ
【図１】
2020161992.tif 000003
【図２】
2020161992.tif 000004
【図３】
2020161992.tif 000005
【図４】
2020161992.tif 000006
【図５】
2020161992.tif 000007
【図６】
2020161992.tif 000008
【図７】
2020161992.tif 000009
【図８】
2020161992.tif 000010
【図９】
2020161992.tif 000011
【図１０】
2020161992.tif 000012
【図１１】
2020161992.tif 000013
【図１２】
2020161992.tif 000014
【図１３】
2020161992.tif 000015
【図１４】
2020161992.tif 000016
【図１５】
2020161992.tif 000017
【図１６】
2020161992.tif 000018
【図１７】
2020161992.tif 000019
【図１８】
2020161992.tif 000020
【図１９】
2020161992.tif 000021
【図２０】
2020161992.tif 000022
【図２１】
2020161992.tif 000023
【図２２】
2020161992.tif 000024
【図２３】
2020161992.tif 000025
【図２４】
2020161992.tif 000026
【図２５】
2020161992.tif 000027
【図２６】
2020161992.tif 000028