(57)【要約】ダイナミック視覚センサ（ＤＶＳ）または変化検出センサにおいて、チップまたはセンサは事象速度を制御または調節するように構成される。例えば、この制御は、事象速度を望ましい速度付近に、または望ましい範囲内に、保つために使用することができる。ＯＮ事象および／またはＯＦＦ事象閾値を変えることによって、シーンに対するセンサの構成を適合させることが、全体のシステムがその状態に関する可能な限り多くの情報を得るように、必要な量の、しかし必要以上に遥かに多くはない、データを得ることを可能にする。【選択図】図１Ａ
2020505801.tif 000002
【特許請求の範囲】
【請求項１】
光を検出するピクセルを備えたピクセルアレイと、
前記ピクセルによって受け取られた光に関連付けられる事象を検出するための事象検出器と、
前記事象を評価するための事象速度検出器と、
前記事象速度検出器に基づいて、前記ピクセルが前記事象を検出する仕方を変えるためのコントローラと、
を備える、変化検出センサ。
【請求項２】
前記事象速度検出器は、前記事象検出器からの事象を数えることによって前記事象を評価するための計数器を備える、請求項１に記載のセンサ。
【請求項３】
前記事象速度検出器は、事象を推定することによって前記事象を評価するための事象推定器を備える、請求項１に記載のセンサ。
【請求項４】
前記事象速度検出器は、事象を記録する前記事象検出器の数に基づくアナログ信号を分析することによって前記事象を評価する、請求項１に記載のセンサ。
【請求項５】
前記事象検出器によって適用される閾値を設定するための閾値生成回路をさらに備える、請求項１に記載のセンサ。
【請求項６】
前記コントローラは、前記事象速度検出器によって与えられた前記評価に応じて与えられる前記閾値を変える、請求項１に記載のセンサ。
【請求項７】
前記コントローラは、前記ピクセルアレイ内のＯＮ事象およびＯＦＦ事象に基づいて、ＯＮ事象およびＯＦＦ事象に関する閾値を別々に設定する、請求項１に記載のセンサ。
【請求項８】
前記ピクセルの各々は、前記ピクセルがリセットされたときに受け取る光に対応する電荷を蓄積するための、前記事象検出器の内の１つのメモリキャパシタを備える、請求項１に記載のセンサ。
【請求項９】
前記ピクセルの各々は、受け取った光の変化を、前記事象を検出するための１つまたはそれ以上の閾値と比較するための、前記事象検出器の内の１つの、１つまたはそれ以上の比較器を備える、請求項１に記載のセンサ。
【請求項１０】
受け取った光の変化を、前記事象を検出するための１つまたはそれ以上の閾値と比較するための、前記事象検出器の比較器をさらに備え、前記比較器は読み出し回路内に位置する、請求項１に記載のセンサ。
【請求項１１】
変化検出センサの動作の方法であって、
ピクセルアレイ内のピクセルによって受け取られた光に関連付けられる事象を検出するステップと、
前記ピクセルアレイからの前記事象を評価するステップと、
前記ピクセルアレイからの前記事象の前記評価に基づいて、前記ピクセルが前記事象を検出する仕方を変えるステップと、
を含む、方法。
【請求項１２】
前記事象を評価するステップは、前記事象を数えるステップを含む、請求項１１に記載の方法。
【請求項１３】
前記事象を評価するステップは、前記事象を推定するステップを含む、請求項１１に記載の方法。
【請求項１４】
前記事象の前記評価に応じて、前記ピクセルに対して事象検出器によって適用される閾値を設定するステップをさらに含む、請求項１１に記載の方法。
【請求項１５】
前記ピクセルアレイからのＯＮ事象およびＯＦＦ事象に基づいて、ＯＮ事象およびＯＦＦ事象に関する閾値を別々に設定するステップをさらに含む、請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願］
本出願は、２０１６年１２月３０日に出願されたスイス仮特許出願第ＣＨ２０１６０００１７６４号、および２０１６年１２月３０日に出願されたスイス仮特許出願第ＣＨ２０１６０００１７６５号の優先権を主張するものであり、これら両方は、それらの全体が引用により本明細書に組み入れられる。
【背景技術】
【０００２】
今日、機械視覚は、大部分、従来のカメラおよびそれらに付随するフレームベースの画像センサに基づく。幾つかの機械視覚タスク、例えば、物体認識、に対しては、これらの従来のフレームベースのカメラがよく適している。しかし、他のタスク、例えば、追跡、または位置および動きの推定のためには、従来の画像センサは欠陥を有する。
【０００３】
主な欠陥は、従来のカメラが、捕捉し、通信しおよび処理する必要がある相当な量の冗長且つ不要なデータを生ずることである。この高いデータ仕事量が、時間分解能を低下させることにより反応時間を減速し、消費電力の増加をもたらし、ならびに、機械視覚システムのサイズおよび経費を増加させる。さらに、大部分の画像センサは、限られたダイナミックレンジ、不十分な弱光性能および動きボケに悩まされる。
【０００４】
これらの欠陥は、データが一連の静止画像（フレーム）として捕捉されるという事実から生じる。場合によっては、ダイナミックシーンを静止画像として符号化することは、美しい画像および映像を、データ処理の最適化無しに、生成するのに有用であるが、このことは多くの機械視覚の用途ではあまり重要ではない。
【０００５】
従来のカメラを用いる従来のコンピュータ視覚システムは、典型的には、物体認識のための連続する画像フレームの間で特徴を比較する。可動システムの位置および向きを推定するため、および、周囲世界の３次元マップを推測するために、部分的に重なるが異なる時間において異なる姿勢から取られた２つの連続する画像が比較される。２つのフレームの間で生じた動きを推測するために、特徴的な目印（キーポイントまたは他の視覚的特徴）を２つの画像にわたって一致させる必要がある。両方の画像内で互いに対応するポイントのこれらの対を見出すことは、「対応問題」を解決することとして知られる。
【０００６】
対応問題を解決することは、相当な量の処理能力を必要とする。目印を検出するために、画像内のあらゆるピクセルを、独特な特徴（曲がり角、小塊、縁など）について探索する必要があり得る。次に、ピクセルおよびそれらを囲む周囲のピクセルは、いわゆる特徴記述子を特徴付けるようにグループ化され、その特徴記述語がフレームの間の特徴を合わせるために使用され、それにより、対応するポイントの対を確立する。これは、計算集約的である。ピクセル強度を直接比較する直接手法は、計算的にさらにより複雑である。
【０００７】
他方、いわゆるダイナミック視覚センサ（ＤＶＳ：Ｄｙｎａｍｉｃ  Ｖｉｓｉｏｎ  Ｓｅｎｓｏｒ）または事象ベースの変化検出センサは、フレームベースの符号化の限界を克服するセンサである。ピクセル内データ圧縮を用いることにより、データ冗長性が取り除かれ、高時間分解能、低遅延、低電力消費、動きボケがほとんどない高ダイナミックレンジが達成される。従って、ＤＶＳは特に太陽光またはバッテリで電力供給される圧縮センシングに、または、システムの位置を推定する必要があり、限られたバッテリ容量によって処理能力が制約される移動機械視覚用途に、よく適している。
【０００８】
ＤＶＳは、視覚情報を局部的に前処理する。鮮明な画像を生成する代わりに、ＤＶＳは、コンピュータアプリケーションのためのスマートデータを生成する。従来の画像センサは、映画を一連の静止画像として捕捉するが、ＤＶＳは、シーン内の変化の位置を検出し単に伝達する。従って、これは、ピクセル内データ圧縮を符号化するために、従来のカメラより、遥かにより効率的に視覚情報を符号化する。具体的には、フレームを画像データとして符号化するのではなく、ＤＶＳは変化を検出し、それらの変化を変化事象として符号化する。このことは、より少ない資源、より低い正味電力を用い、より速いシステム反応時間で、データの処理が可能であることを意味する。高い時間分解能は、視覚的特徴を連続的に追跡することを可能にし、それにより対応問題を克服する。さらに、ＤＶＳの構成は、高いダイナミックレンジおよび良好な弱光性能を可能にする。
【発明の概要】
【課題を解決するための手段】
【０００９】
ＤＶＳまたは変化検出センサの一般的特性は、事象の速度が、センサが観測しているシーンおよびセンサ構成に依存するために、出力データ速度が可変であることである。
【００１０】
センサから読み出される可変量の変化事象は、特に、プロセッサが実時間で処理することができるよりも多くの事象が読み出される場合、センサ上およびシステムレベルにおける問題を引き起こす可能性がある。
【００１１】
事象を処理することができない場合にその事象を廃棄することは、データ損失をもたらし、それ故に、システムはそれの状態に関する情報（例えば、それの動作および位置に関する）を失う。変化検出センサの場合には、その結果は、センサが、例えば、それのピクセルフィールドの一部分において起きる事象を失うことになり得る。
【００１２】
センサの構成をシーンに適合させることは、全体のシステムがその状態に関する可能な限り多くの情報を取得するのに必要な、しかし多過ぎない、データを有することを可能にする。他方、事象の数はセンサの状態に基づいて制御することができる。例えば、電力を減らすためには、スリープサイクル中などに事象の数を減らし、次いで、正常動作モード中の事象の数を増すことが望ましいかもしれない。
【００１３】
本明細書において提案されるシステムは、事象速度を制御または調節するようにチップまたはセンサの構成を変える。例えば、この制御は、事象速度を望ましい速度の近くにまたは望ましい範囲内に保つために用いることができる。
【００１４】
それでも、所与の時間スライス中に生成される事象の量は、それらを出力しおよび数えた後にのみ最終的に決定することができる。ここで、幾つかの実施形態は、それらを読み出す前のペンディング事象の数の大まかな推定を可能にする事象カウント推定器を使用する。
【００１５】
ペンディング事象の数の大まかな推定であっても、システムは、データに対処しそれらを読み出すことができるかどうか、或いは、多すぎる（または少な過ぎる）事象が存在するかどうか、判断することができ、システムは、より高い閾値を用いて変化検出をやり直し、より少ない事象を取得する（または、より低い閾値との比較をやり直し、より多くの事象を取得する）ことができる。
【００１６】
一般に、一態様によれば、本発明は、変化検出センサを特徴とする。センサは、光を検出するピクセルを備えるピクセルアレイ、および、ピクセルによって受け取られた光に関連付けられる事象を検出するための事象検出器を備える。本発明によれば、事象を評価するための事象速度検出器が準備される。次に、コントローラが事象速度検出器に基づいて、ピクセルが事象を検出する仕方を変化させる。
【００１７】
一実施形態において、事象速度検出器は、事象検出器からの事象を数えることによって事象を評価するための計数器を備える。
【００１８】
別の実施形態において、事象速度検出器は、事象を推定することによって事象を評価するための事象推定器を備える。これは、事象検出器が記録する事象の数に基づくアナログ信号を分析することによって実施することができる。
【００１９】
好ましくは、センサは、事象検出器によって適用される閾値を設定するための閾値生成回路を含む。次いで、コントローラが、事象速度検出器によって与えられる評価に応じて与えられる閾値を変える。
【００２０】
好ましくは、コントローラは、ピクセルアレイ内のＯＮ事象およびＯＦＦ事象に基づいてＯＮ事象およびＯＦＦ事象に対する閾値を別々に設定する。
【００２１】
現在の実施形態において、ピクセルの各々は、ピクセルがリセットされたときに受け取る光に対応する電荷を格納するための、事象検出器の内の１つのメモリキャパシタを備える。ピクセルの各々は、受け取った光の変化を、事象を検出するための１つまたはそれ以上の閾値と比較するための、事象検出器の１つまたはそれ以上の比較器をさらに備えることができる。
【００２２】
他の実施形態において、比較器は読み出し回路内に配置される。
【００２３】
一般に、別の態様によれば、本発明は、変化検出センサの動作の方法を特徴とする。その方法は、ピクセルアレイ内のピクセルによって受け取られる光に関連付けられる事象を検出するステップと、ピクセルアレイからの事象を評価するステップと、ピクセルアレイからの事象の評価に基づいて、ピクセルが事象を検出する仕方を変化させるステップと、を含む。
【００２４】
構造および部品の組み合わせの様々な新規の細部を含む本発明の上記および他の特徴、ならびに他の利点を、次に、添付の図面を参照しながらより具体的に説明し、特許請求の範囲において指摘することになる。本発明を具体化する特定の方法および機器は、本発明の限定としてではなく、例証のために示されることを理解されたい。本発明の原理および特徴は、本発明の範囲から逸脱することなく、種々様々な実施形態において使用することができる。
【００２５】
添付の図面において、参照文字は、種々異なる図を通じて同じ部品を指す。図面は必ずしも一定の比率に縮小されてはおらず、むしろ本発明の原理を例証することに重点が置かれている。
【図面の簡単な説明】
【００２６】
【図１Ａ】事象速度制御部を含む、事象ベースの変化検出センサのブロック図である。
【図１Ｂ】ピクセルアレイ１１０内で使用することが可能な変化検出ピクセルの一例を示す回路図である。
【図２】周期的にリセットされる事象計数器として実施される事象速度検出器の一実施形態を示すブロック図である。
【図３Ａ】事象速度検出器に基づいて、閾値生成回路を制御するためのコントローラ１２０の動作を示す流れ図である。
【図３Ｂ】事象速度検出器に基づいて、閾値生成回路を制御するためのコントローラ１２０の動作を示す流れ図である。
【図４】別の実施形態による、事象速度推定値を生成する事象ベースの変化検出センサを示す概略図である。
【図５】さらに別の実施形態による、事象速度推定値を生成する事象ベースの変化検出センサを示す概略図である。
【図６】以前の実施形態の電流ＡＤＣ２１２の可能な実施を示す回路図である。
【図７】コントローラ１２０の可能な実施を示す状態図である。
【図８】基本的な閾値生成回路を示すブロック図である。
【発明を実施するための形態】
【００２７】
図１Ａは、事象速度制御部を有する事象ベースの変化検出センサ１００のブロック図である。
【００２８】
一般に、変化検出センサ１００は、特に現行システムに関連する５つの要素、
変化検出ピクセルのアレイ１１０と、
事象速度検出器２００と、
コントローラ１２０と、
閾値生成回路１３０と、
読み出し回路１４０と、
を含む。
【００２９】
ピクセルアレイ１１０は、可変量のデータ、変化事象を生成する。事象速度検出器２００は、例えば、変化事象を数えるかまたは推定することによって事象を周期的に評価する。次に、コントローラ１２０は、次の時間ステップにおいてピクセルアレイ１１０が、望ましい速度により近い変化事象の量を生成するように、センサ構成を適合させる。
【００３０】
ピクセルアレイは、引用により本明細書に組み入れられる「Ｐｈｏｔｏａｒｒａｙ  ｆｏｒ  Ｄｅｔｅｃｔｉｎｇ  Ｔｉｍｅ−Ｄｅｐｅｎｄｅｎｔ  Ｉｍａｇｅ  Ｄａｔａ」と題する、Ｌｉｃｈｔｓｔｅｉｎｅｒ他による、米国特許出願公開第２００８／００１３５７３１号に記載されているような変化検出ピクセル、または、２０１７年１２月２９日出願の「Ｄｙｎａｍｉｃ  Ｖｉｓｉｏｎ  Ｓｅｎｓｏｒ  Ａｒｃｈｉｔｅｃｔｕｒｅ」と題する米国特許出願第１５／８５８、４２７号（以後、Ｂｅｒｎｅｒ特許文献、この文献は引用によりその全体が本明細書に組み入れられる）に記載されているような変化検出ピクセル、または、Ｊ．Ｋｒａｍｅｒ、「Ａｎ  ｏｎ／ｏｆｆ  ｔｒａｎｓｉｅｎｔ  ｉｍａｇｅｒ  ｗｉｔｈ  ｅｖｅｎｔ−ｄｒｉｖｅｎ，ａｓｙｎｃｈｒｏｎｏｕｓ  ｒｅａｄ−ｏｕｔ」、ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ，２００２、第２巻、ページ１６５〜１６８、２００２年、に開示されているような変化検出ピクセル、或いは代替的に、Ｒｕｅｄｉｔ他、「Ａ  １２８ｘ１２８  ｐｉｘｅｌ  １２０−ｄＢ  ｄｙｎａｍｉｃ−ｒａｎｇｅ  ｖｉｓｉｏｎ−ｓｅｎｓｏｒ  ｃｈｉｐ  ｆｏｒ  ｉｍａｇｅ  ｃｏｎｔｒａｓｔ  ａｎｄ  ｏｒｉｅｎｔａｔｉｏｎ  ｅｘｔｒａｃｔｉｏｎ」、ＩＥＥＥ  Ｊｏｕｒｎａｌ  ｏｆ  Ｓｏｌｉｄ−Ｓｔａｔｅ  Ｃｉｒｃｕｉｔｓ，第３８巻、１２号、ページ２３２５〜２３３３、１２月、２００３年におけるような空間コントラスト検出ピクセル、などの任意のアレイとすることができる。
【００３１】
図１Ｂは、１つの可能な変化検出ピクセル１１２の回路図である。
【００３２】
２次元アレイ１１０のこの例示的なピクセル１１２は、衝突する光を検出または計測して光強度を信号に変換する光ダイオードＰＤ（ｐｈｏｔｏｄｉｏｄｅ）のような光センサを含む。ここで、信号は電流、Ｉｐｈｏｔｏである。ピクセル１１２はさらに事象検出器１１４を有し、これは、例えば、ある事象が起きたような十分な変化が光センサによって検出される光の中に存在するかどうかを決定する。このことは、電流Ｉｐｈｏｔｏを監視することにより達成される。
【００３３】
より詳細には、例示的な事象検出器１１４は、光受容器回路ＰＲＣを含み、これが次に光強度に応じて光受容器信号Ｖｐｒを生成する。次に、メモリキャパシタＣ１が過去の光受容器信号を記憶する。
【００３４】
比較器Ａ１は、現在の光受容器信号Ｖｐｒと過去の光受容器信号との間の差を閾値Ｖｂと比較する。この閾値Ｖｂは、閾値生成回路１３０によって供給される。
【００３５】
好ましくは、比較器Ａ１または一対の比較器が、ＯＮ事象閾値に基づいてＯＮ事象を検出し、ＯＦＦ事象閾値に基づいてＯＦＦ事象を検出する。ＯＮ事象は、光センサによって受け取られた光の増加の特性であり、ＯＦＦ事象は、光センサによって受け取られた光の減少の特性である。単一の比較器が使用される場合、ＯＮ事象閾値およびＯＦＦ事象閾値は、時間的に連続して閾値Ｖｂとして与えられる。
【００３６】
この比較器Ａ１は、各々のピクセル内に存在することができ、或いはピクセルのサブセット（例えば、列）の間で共有されることができる。一事例では、比較器は、読み出し回路１４０内で共有され配置される。そのような構成の種々の例がＢｅｒｎｅｒ特許文献に開示されている。
【００３７】
しかし、好ましい実施形態においては、比較器Ａ１はピクセル１１２に組み込まれることになり、各々のピクセルが１つまたはそれ以上の専用の比較器Ａ１を有する。
【００３８】
メモリ５０は、事象または複数事象を格納する。事象は、コントローラ１２０からのサンプル信号に基づいて、比較器出力Ｖｃｏｍｐから取られる。メモリは、サンプリング回路（例えば、スイッチおよび寄生または明示的キャパシタ）またはデジタルメモリ回路（ラッチまたはフリップ−フロップ）とすることができる。一実施形態において、メモリはサンプリング回路となり、各々のピクセルは、１つがいずれかのＯＮ事象を格納するため、１つがいずれかのＯＦＦ事象を格納するための、２つのメモリを有することになる。メモリは１つまたはそれ以上のラインＥｖｔに出力を供給する。
【００３９】
条件付きリセット回路Ｒ１は、記憶されている比較器出力の状態と、コントローラ１２０によって適用されるリセット信号ＧｌｏｂａｌＲｅｓｅｔとの組み合わせに基づいて、条件付きリセットをもたらす。
【００４０】
ピクセル回路１１２およびコントローラ１２０は以下のように動作する。
【００４１】
光センサＰＤによって受け取られた光強度の変化は、光受容器信号Ｖｐｒの変化に変わることになる。リセット回路Ｒ１が非導通状態にあるとき、Ｖｐｒの変化はさらに、比較器Ａ１への反転入力（−）における電圧Ｖｄｉｆｆに反映されることになる。このことは、メモリキャパシタＣ１を横切る電圧が一定のままであるために、生じる。
【００４２】
コントローラ１２０によって選択された時間において、事象検出器１１４の比較器Ａ１は、メモリキャパシタＣ１の第２の端子の電圧（ＶＤｉｆｆ）を、比較器Ａ１の非反転入力（＋）に印加される閾値電圧Ｖｂ（閾値生成回路１３０からの）と比較する。
【００４３】
コントローラ１２０は、メモリ５０を、比較器の出力Ｖｃｏｍｐを格納するように動作させる。メモリ５０は、典型的には、図示されるようにピクセル回路１１２の一部として実施される。
【００４４】
しかし、他の実施形態においては、メモリ５０は、読み出し回路１４０（ピクセルアレイ１１０の各列毎に１つの周辺回路）の一部として実施される。
【００４５】
図示される実施形態において、センサの読み出し回路１４０は、アレイ１１０内の各々のピクセル１１２のメモリ５０を読み出す。一例において、読み出し回路１４０は、変化事象を検出したアレイ内のピクセルの座標を格納する。
【００４６】
メモリ内５０に保持された格納された比較器出力の状態が、光強度の十分な変化（即ち、事象）を示し、および（ＡＮＤ）コントローラ１２０からのグローバルリセット信号ＧｌｏｂａｌＲｅｓｔ信号がアクティブである場合、条件付きリセット回路Ｒ１は導通状態になる。ここで「ＡＮＤ」は論理ＡＮＤ演算子を示す。導通状態にある条件付きリセット回路Ｒ１により、比較器Ａ１の反転入力における電圧（Ｖｄｉｆｆ）が既知のレベルにリセットされる。従って、これは、メモリキャパシタＣ１上に、現在の光受容器信号Ｖｐｒを格納する。
【００４７】
事象の計数
【００４８】
図２は、事象速度計数器の一実施形態を示す。
【００４９】
ここで、事象速度検出器２００は、コントローラ１２０によって周期的にリセットされる計数器２１０として実施される。この計数器は読み出し回路１４０によって読み出される事象に基づいてインクリメントされる。事象のカウントはコントローラ１２０に供給される。次いで、計数器２１０は、新しいカウントが必要なとき、コントローラ１２０によってリセットされる。
【００５０】
一例において、事象速度検出器２００は、所与の時間窓の間にセンサアレイ１１０によって出力される事象の数を数える。ここで、これは、読み出し回路が、ピクセルアレイ１１０から事象を読み出す毎に、インクリメント信号を計数器２１０に送るように遂行される。
【００５１】
１つの特定の例において、事象速度検出器２００は、所与の時間窓の間にセンサアレイ１１０によって出力されるＯＮ事象とセンサアレイ１１０によって出力されるＯＦＦ事象との両方を数える。これは、計数器２１０の中の別々のＯＮ事象計数器およびＯＦＦ事象計数器を用いて遂行されることが好ましい。
【００５２】
図３Ａは、一実施形態による、事象速度検出器２００に基づいて、閾値生成回路１３０を制御するためのコントローラ１２０の動作を示す流れ図である。
【００５３】
具体的には、ステップ３１０において事象速度検出器２００の計数器２１０は、新しいカウントが必要なときに、コントローラ１２０によってリセットされる。
【００５４】
ステップ３１２において、コントローラ１２０は、所定の時間後に事象のカウントを読み出す。
【００５５】
次に、ステップ３１４において、コントローラは、ピクセルアレイ１１０に適用される事象閾値の変化を計算する。この新しい閾値は、ステップ３１６において閾値生成回路１３０に送られる。次に、この閾値は、センサアレイ１１０の事象検出器１１４に、事象の次のセットを決定するステップにおける閾値Ｖｂとして、適用される。
【００５６】
図３Ｂは、別の実施形態による、事象速度検出器２００を制御するためのコントローラ１２０の動作を示す流れ図である。
【００５７】
この実施形態において、コントローラ１２０は、ステップ３１０において計数器をリセットする前に、ステップ３１８において外部トリガーを待つ。この実施形態は、センサが外部タイミングソースに同期させる必要がある状況において最も有用であろう。
【００５８】
事象カウント推定器
【００５９】
第２の手法は、事象速度推定値を生成するステップに依拠する。この手法は、事象速度検出器２００の内部の事象カウント推定器を使用する。これは、事象の数を決定するために、アレイからの全ての事象を読む必要を避ける。その代わりに、この手法は、事象が読み出される前にまたは読み出しプロセスの一部として、事象の数を大まかに推定することを可能にする。
【００６０】
図４は、別の実施形態による事象速度推定値を生成する、事象ベースの変化検出センサ１００を示す概略図である。
【００６１】
より詳細には、事象検出器１１４は、アレイ１１０の各ピクセル１１２内に、入射光を検出するための光受容器１１６と共に配置され、各ピクセル回路の一部である。各ピクセル回路１１２の電流源１１８は、このピクセル内に事象が存在する場合にのみ、作動させられる。
【００６２】
具体的には、事象検出器１１４が、例えば、ＯＮ事象および／またはＯＦＦ事象による、光受容器１１６によって受け取られる光の変化を記録する場合、事象信号Ｅｖｔがアクティブとなり、これがピクセル１１２に関連付けられるスイッチ１１７を閉じる。
【００６３】
アレイ１１０の全てのピクセル１１２の電流、またはセンサ１００のアレイ１１０の範囲にわたって分布するピクセルのサンプリングは合計され、事象速度検出器２００の電流アナログ・デジタル変換器（ＡＤＣ：ａｎａｌｏｇ  ｔｏ  ｄｉｇｉｔａｌ  ｃｏｎｖｅｒｔｅｒ）２１２に供給される。このＡＤＣ２１２は電流を取り込み、電流の大きさをデジタル表示に変換する。この電流の合計のデジタル表示は、次に、コントローラ１２０に、検出された事象の数の推定値として供給され、既知の期間にわたって行われた場合には、これは事象速度を示す。
【００６４】
一般に、電流源１１８は、ピクセル１１２の間で非常によく適合するものではないであろう。このことは、電流の合計が、幾つのピクセルがペンディング事象を有するかの正確な推定を可能にしないが、大まかな推定値を可能にするであろうことを意味する。
【００６５】
図５は、別の実施形態による事象速度推定値を生成する変化検出センサを示す概略図である。
【００６６】
より詳細には、各ピクセル１１２の光受容器１１６は、その光受容器１１６によって検出される光の瞬間的な量に敏感な且つそれを示す信号を生成する。この情報は、事象検出器１１４に送られる。
【００６７】
従って、事象検出器１１４内の比較器の出力は、光受容器１１６によって受け取られる光が、最後にリセットされた閾値より大きい量だけ変化したとき、変化する。多くの場合、ＯＮ事象閾値は、光受容器１１６によって検出される光の量の増加に関連付けられるＯＮ事象を識別するためのＰｉｘｅｌ  Ｔｈｒｅｓｈｏｌｄとして、ピクセルに供給される。次に、ＯＦＦ事象閾値が、光受容器によって検出される光の量の減少に関連付けられるＯＦＦ事象を識別するためのＰｉｘｅｌ  Ｔｈｒｅｓｈｏｌｄとして、ピクセルに供給される。
【００６８】
他の場合には、事象検出器は、ＯＮ事象を識別するためのＯＮ事象閾値を受け取る第１の比較器と、ＯＦＦ事象を識別するためのＯＦＦ事象閾値を受け取る第２の比較器と、の２つの比較器を含む。
【００６９】
信号Ｅｎａｂｌｅ  ｅｖｔ  ｃｏｕｎｔｅｒがアクティブ（およびそれ故に、Ｄｉｓａｂｌｅ  ｅｖｔ  ｃｏｕｎｔｅｒが非アクティブ）である場合、全ての読み出しラインが、スイッチ１８８の閉鎖によって互いに短絡され、読み出しラインはスイッチ１９０の開放によって列読み出し回路１８０から切断される。全ての読み出しラインが電流ＡＤＣ２１２に接続されると、電流は、電流ＡＤＣ２１２から全てのピクセルへ流れることになり、それらピクセル内で比較器出力が高くなり、Ｅｖｔがアクティブとなり、それにより、各ピクセル１１２内のスイッチ１１７を閉じる。さらに、各行のＯＲゲート１８６が、各ピクセル１１２内のスイッチ１７８を、Ｅｎａｂｌｅ  ｅｖｔ  ｃｏｕｎｔｅｒがアクティブであるために、閉じることになる。それ故に、全電流は、比較器１７４の出力が高であるかまたは信号ライン（単数または複数）のＥｖｔがアクティブであるピクセルの数に依存することになる。
【００７０】
信号Ｅｎａｂｌｅ  ｅｖｔ  ｃｏｕｎｔｅｒが非アクティブ（およびそれ故にＤｉｓａｂｌｅ  ｅｖｔ  ｃｏｕｎｔｅｒがアクティブ）である場合、ピクセル読み出しラインは、対応するＲｅａｄｏｕｔ  ｒｏｗ  ｓｅｌｅｃｔ  Ｘがアクティブである場合に、それらの対応する列読み出し回路１８０に接続される。
【００７１】
図６は、以前の実施形態の電流ＡＤＣ２１２の可能な実施を示す。
【００７２】
合計された電流が、負帰還構成にある抵抗Ｒ２１６によって演算増幅器Ａ２１４に供給される。基準電圧と演算増幅器の出力部における電圧との間の電圧差は、入力電流の大きさに比例し、従って、ペンディング事象の数を表す。
【００７３】
演算増幅器の出力部における電圧は次に、フラッシュＡＤＣ、ＳＡＲ  ＡＤＣ、シグマ−デルタＡＤＣなどとして実施することができる従来の電圧ＡＤＣ２１８に供給される。
【００７４】
電流から電圧への変換の後、長くなり得るＡＤＣ変換を、ピクセルが読み出される間に行うことができるように、電圧サンプリングステップ（ＯｐＡｍｐ２１４および電圧ＡＤＣ２１８の出力の間）を加えることができる。ひとたびＡＤＣ変換が完了すると、必要であれば、ピクセルの読み出しを停止することができる。
【００７５】
コントローラ１２０
【００７６】
コントローラ１２０は、事象速度検出器２００の入力、センサ１００の外部からの望ましい事象速度（または望ましい事象速度の範囲）、ならびに、オプションとしてトリガー入力、を有するデジタルブロックである可能性が最も高い。コントローラ１２０は、チップ構成のための制御信号（即ち、時間分解能および閾値生成回路１３０に対する閾値）を出力する。
【００７７】
コントローラ１２０は、伝統的なＰ、ＰＩまたはＰＩＤコントローラとして、或いはより簡単に状態機械として実施することができる。
【００７８】
しかし、事象速度推定器を使用するとき、コントローラ１２０は、アナログ回路として実施することもできる。このアナログコントローラに対する入力は、それ故に、デジタル表現ではなく、その代わりに、図６の演算増幅器２１４の出力電圧が、典型的には直接にコントローラ１２０に供給される。
【００７９】
図７は、コントローラ１２０の状態図である。
【００８０】
事象閾値は、事象速度推定器からの信号、
・  事象速度：事象速度検出器２００からの入力、
・  ＭｉｎＥｖｅｎｔＲａｔｅ：定数、最小の望ましい事象速度、
・  ＭａｘＥｖｅｎｔＲａｔｅ：定数、最大の望ましい事象速度、
・  ＭｉｎＥｖｅｎｔＴｈｒｅｓｈｏｌｄ：パラメータ、最小閾値設定、
・  ＭａｘＥｖｅｎｔＴｈｒｅｓｈｏｌｄ：パラメータ、最大閾値設定、
・  Ｓｔｅｐ：パラメータ、事象閾値がループの各通過の間に変化するステップ、
・  ＥｖｅｎｔＴｈｒｅｓｈｏｌｄ：事象生成回路に供給される出力、
・  Ｔｒｉｇｇｅｒ：ループを開始する周期的入力信号、
に基づいて、事象速度を望ましい範囲内に保持するように、修正される。
【００８１】
より詳細には、コントローラ１２０は、状態７１０においてトリガーを待つ。それを受け取ると、コントローラ１２０は、状態７１２において、事象速度検出器２００によって与えられた事象速度を、最小事象速度と比較する。事象速度が最小事象速度より小さい場合には、コントローラは状態７１６に進む。状態７１６において、コントローラ１２０は事象閾値を最小事象閾値と比較し、事象閾値がより小さい場合、７１０の待ち状態に戻る。他方、事象閾値が最小事象閾値より大きい場合、状態７１８において事象閾値が減らされ、待ち状態７１０に戻る。
【００８２】
他方、状態７１２において、事象速度が最小事象閾値より大きい場合、事象速度は、状態７１４において、最大事象速度と比較され、事象速度がより小さい場合には、コントローラ１２０は待ち状態７１０に戻る。他方、事象速度が最大事象速度より大きい場合、状態７２０において事象閾値が最大事象閾値と比較される。状態７２０において事象閾値が最大事象閾値より大きい場合、コントローラ１２０は待ち状態７１０に戻る。他方、事象閾値が最大事象閾値より小さい場合、事象閾値は状態７２２において１ステップだけ増加させられ、待ち状態７１０に戻る。
【００８３】
閾値生成回路
【００８４】
引用により本明細書に組み入れられる「Ｐｈｏｔｏａｒｒａｙ  ｆｏｒ  Ｄｅｔｅｃｔｉｎｇ  Ｔｉｍｅ−Ｄｅｐｅｎｄｅｎｔ  Ｉｍａｇｅ  Ｄａｔａ」と題する、Ｌｉｃｈｔｓｔｅｉｎｅｒ他による、米国特許出願公開第２００８／００１３５７３１号に開示されているような変化検出ピクセルに関して、事象閾値は、閾値電圧と増幅器バイアス電圧との間の差である。Ｏｎ閾値電圧は通常バイアス電圧より高く、他方、Ｏｆｆ閾値電圧はより低い。
【００８５】
基本閾値生成
【００８６】
図８は、例えば、Ｐ．Ｌｉｃｈｔｓｔｅｉｎｅｒ，Ｃ．Ｐｏｓｃｈ，およびＴ．Ｄｅｌｂｒｕｃｋ、「Ａ  １２８ｘ１２８  １２０ｄＢ  １５μｓ  Ｌａｔｅｎｃｙ  Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｔｅｍｐｏｒａｌ  Ｃｏｎｔｒａｓｔ  Ｖｉｓｉｏｎ  Ｓｅｎｓｏｒ」、ＩＥＥＥ  Ｊ．  Ｓｏｌｉｄ−Ｓｔａｔｅ  Ｃｉｒｃｕｉｔｓ，第４３巻、２号、ページ５６６〜５７６、２月、２００８年、ならびに、Ｔ．Ｄｅｌｂｒｕｃｋ，  Ｒ．Ｂｅｒｎｅｒ，  Ｐ．Ｌｉｃｈｔｓｔｅｉｎｅｒ，およびＣ．Ｄｕａｌｉｂｅ、「３２−ｂｉｔ  Ｃｏｎｆｉｇｕｒａｂｌｅ  ｂｉａｓ  ｃｕｒｒｅｎｔ  ｇｅｎｅｒａｔｏｒ  ｗｉｔｈ  ｓｕｂ−ｏｆｆ−ｃｕｒｒｅｎｔ  ｃａｐａｂｉｌｉｔｙ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ２０１０  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ，２０１０，ページ１６４７〜１６５０に開示されているような、一組の電圧デジタル・アナログ変換器（ＤＡＣ：ｄｉｇｉｔａｌ  ｔｏ  ａｎａｌｏｇ  ｃｏｎｖｅｒｔｅｒ）または電流ＤＡＣ８１０、８１２の基本閾値生成回路を示す。具体的には、一組のＤＡＣ８１０、８１２、８１４に関して、比較器バイアス電圧を生成するための１つ８１４、ＯｎＴｈｒｅｓ電圧のための１つ８１０およびＯｆｆＴｈｒｅｓ電圧のための１つ８１２が存在する。
【００８７】
事象速度および均衡制御
【００８８】
さらに別の実施形態において、センサ１００はＯＮ（増加する光強度）およびＯＦＦ（減少する光強度）事象を、別々に数える。次に、ＯＮ事象とＯＦＦ事象との間の比が、ＯＮおよびＯＦＦ閾値を別々に制御するために使用される。一般に、大きい（秒より大きい）時間窓にわたる類似の量のＯＮ事象およびＯＦＦ事象が望ましい。
【００８９】
非動き閾値
【００９０】
事象ベースの変化検出センサの特性は、シーンの中に動きがない場合に、データを（または非常に僅かなデータしか）生成しないことである。そのような、動きがない場合には、閾値を変えることは望ましくない可能性があり、それ故に、コントローラを、それより下ではＥｖｅｎｔＴｈｒｅｓｈｏｌｄ出力を変えるための制御ループが活性化されない最小事象速度閾値を含むように、拡張することができる。
【００９１】
時間分解能制御
【００９２】
幾つかのピクセル設計において、時間ビン速度（比較の速度）変えることができる。米国特許出願第ＵＳ２００８／００１３５７３１号における記載によって提案されるようなピクセルにおいては、無反応バイアス（ｒｅｆｒａｃｔｏｒｙ  ｂｉａｓ）を制御することができ、このことが、ピクセルが事象を生成できる速度を制限することを可能にする。
【００９３】
本発明は、その好ましい実施形態に関連して具体的に示され、説明されたが、当業者であれば、添付の特許請求の範囲によって包含される本発明の範囲から逸脱せずに、その中で、形状および細部に様々な変更を加えることができることを理解するであろう。
【図１Ａ】
2020505801.tif 000003
【図１Ｂ】
2020505801.tif 000004
【図２】
2020505801.tif 000005
【図３Ａ】
2020505801.tif 000006
【図３Ｂ】
2020505801.tif 000007
【図４】
2020505801.tif 000008
【図５】
2020505801.tif 000009
【図６】
2020505801.tif 000010
【図７】
2020505801.tif 000011
【図８】
2020505801.tif 000012
【国際調査報告】
2020505801.tif 000013
2020505801.tif 000014