(57)【要約】  本発明は、光センサによって生み出される非同期信号を処理するための方法に関し、このセンサが、シーンに対向して配置された画素マトリクスを有し、この方法は、光センサから、マトリクスの画素ごとに前記画素からの連続イベントを含む非同期信号を受信するステップ(500)、イベントが非同期信号中で受信されるときの活動プロファイルを使用して、非同期信号を解析するステップ(501)を含む。活動プロファイルは、センサの画素(p)ごとに、少なくとも、前記画素からの連続イベントの中で直近のイベント(310、311、312、313、314、320、321、322)から経過した時間(t)に応じて減少する活動値(S(p))を含む。
2018509847.tif 000002
【特許請求の範囲】
【請求項１】
光センサによって生み出される非同期信号を処理するための方法であって、前記センサが、シーンに対向して配置された画素マトリクスを有し、前記方法は、
-  前記光センサから、前記マトリクスの画素ごとに前記画素からの連続イベントを含む前記非同期信号を受信するステップ(500)、
-  イベントが前記非同期信号中で受信されるときの活動プロファイルを使用して、前記非同期信号を解析するステップ(501)
を含み、
前記活動プロファイルが、前記センサの画素(p)ごとに、少なくとも、前記画素からの前記連続イベントの中で直近のイベント(310、311、312、313、314、320、321、322)から経過した時間(t)に応じて減少する活動値(S(p))を含む、
方法。
【請求項２】
前記活動プロファイルが、前記画素からの前記連続イベントの中で直近のイベント(310、311、312、313、314、320、321、322)から経過した時間(t)に応じて指数関数的に減少する、請求項1に記載の方法。
【請求項３】
前記活動プロファイルが、さらに、前記画素からの前記連続イベントの中で直近のイベント(310、311、312、313、314、320、321、322)に先立つイベントから経過した時間(t)の関数である、請求項1または2に記載の方法。
【請求項４】
形状を認識するための方法であって、
(a)  請求項1から3のいずれか一項に記載の、非同期信号を処理するための方法を実行するステップ、
(b)  イベントが受信されると、前記センサの現在の画素(p)ごとに、
(b1)  前記現在の画素についてのコンテキスト(Sp)を決定するステップ(501)であって、前記コンテキスト(Sp)が、前記現在の画素(p)から所定の距離未満に位置する画素の活動プロファイルのセットとして規定される、ステップ(501)、
(b2)  所定の典型的コンテキストのセットから典型的コンテキスト(Ck)を決定するステップ(504)であって、決定される前記典型的コンテキストが、典型的コンテキストの前記セットから、前記ステップ(b1)において決定される前記コンテキストまでの最小距離を有する、ステップ(504)、
(c)  前記ステップ(b2)における典型的コンテキストの決定の発現数に応じて、シグネチャーを決定するステップ(521)、
(d)  前記シグネチャーをシグネチャータイプのベースと比較することにより、形状を決定するステップ(524)
を含む、方法。
【請求項５】
形状を認識するための方法であって、典型的コンテキストの階層モデルが規定され、各典型的コンテキストが、前記階層モデルの複数のレベルに関連付けられ、前記方法が、
(a)  センサの非同期信号のイベントを現在のイベントとして使用し、前記階層モデルの第1のレベルの典型的コンテキストを現在のタイプのコンテキストとして使用するステップ、
(b)  前記現在のイベントとともに請求項1から3のいずれか一項に記載の非同期信号を処理するための方法を実行するステップ、
(c)  現在のイベントが受信されると、前記センサの現在の画素(p)ごとに、
(c1)  前記現在の画素についてのコンテキスト(Sp)を決定するステップ(501)であって、前記コンテキスト(Sp)が、前記現在の画素(p)から所定の距離未満に位置する画素についての前記ステップ(b)に使用される活動プロファイルのセットとして規定される、ステップ(501)、
(c2)  前記現在の典型的コンテキストから典型的コンテキスト(Ck)を決定するステップ(504)であって、前記決定された典型的コンテキストが、前記現在の典型的コンテキストすべての中で、前記ステップ(c1)において決定される前記コンテキストまでの最小距離を有する、ステップ(504)、
(c3)  前記ステップ(c2)において識別される前記典型的コンテキストに応じてイベントを生成するステップ、
(d)  前記階層モデルのあるレベルが使用されていない場合、
-  前記ステップ(c3)において生成される前記イベントを現在のイベントとして使用するステップ、
-  まだ使用されていない前記階層モデルのあるレベルの前記典型的コンテキストを、現在の典型的コンテキストとして使用するステップ、
-  前記ステップ(b)〜(e)を再実行するステップ、
(e)  前記階層モデルの前記レベルのすべてが使用されている場合、
-  前記ステップ(c2)が最後に行われたときの典型的コンテキストの決定の発現数に応じて、シグネチャーを決定するステップ(521)、
-  前記シグネチャーを典型的シグネチャーのベースと比較することにより、形状を決定するステップ(524)
を含む、方法。
【請求項６】
コンテキストの前記決定が、相異なる極性を有する前記イベントを別々に考慮に入れる、請求項4または5に記載の方法。
【請求項７】
前記ステップ(e)の前記比較が、バタチャリヤ距離の計算を含む、請求項5または6に記載の方法。
【請求項８】
前記ステップ(e)の前記比較が、標準化距離の計算を含む、請求項5または6に記載の方法。
【請求項９】
コンピュータプログラム製品であって、プログラムがプロセッサによって実行されるときに請求項1から8のいずれか一項に記載の方法を実装するための命令を含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非同期信号処理の分野に関し、特に、この信号における形状検出に関する。
【背景技術】
【０００２】
様々な映像信号処理技法がこれまでに開発されている。それらの技法は、一般に、従来のラスター画像手法に基づいている。
【０００３】
非同期センサ(DVS、ATIS)が存在する。これらのセンサは、有利に、従来のカメラに取って代わることができる。
【０００４】
しかし、信号の処理は、ラスター画像カメラの世界におけるほど直感的ではない。ある種のアルゴリズムが、ある種の問題群(たとえば、オプティカルフロー、形状追跡)を処理するために開発されてはいるが、他の問題は、ほとんど、もしくは全く研究されておらず、またはそれらを解決することは、より難しい。
【０００５】
これは、特に形状認識の場合にそうである。
【０００６】
形状および/または動きを検出するために、現在の方法(すなわち、従来のカメラからの映像データを使用すること)は、問題の映像データ付近に位置する画素のセットに固有の特定の視覚的特性の識別を追及する。
【０００７】
これらの視覚的特性は、ほとんどの場合、当業者には、画像の空間情報として(たとえこの空間情報が動いている可能性があるとしても)とらえられる。
【０００８】
その場合、映像データ時間情報は、軽視されることが多く、せいぜい、視覚的特性の変動/変化が、映像データの2つ以上の画像(またはフレーム)間で追及され得るくらいのものである。
【０００９】
時間成分を軽視することは、主に、通常の映像取得技術によって説明することが可能であり、すなわち、映像データは、多数の静止画像(またはフレーム)を生み出す取得の産物である。
【００１０】
この映像取得技術は、歴史的に見て、映像が処理または表示される方式を条件付けている。この一連の静止画像の存在は、映像データの時間(または動的)情報の操作を困難にする。
【００１１】
映像データの秒当たりの画像の数を増加させることは可能であるが、取得という観点におけるハードウェアの制約に関する理由か、または形状検出のために従来のツールを用いてこのデータをリアルタイムに処理する理由かにかかわらず、これらの画像の周波数が100Hzを超えることはまれである。
【００１２】
したがって、映像データの時間情報を最大限に活用することによって使用可能な信頼できる形状を検出する必要性がある。
【００１３】
したがって、本発明は、この状況を改善する。
【００１４】
規則的なサンプリング瞬間に連続画像を記録する従来のカメラと対照的に、ヒトの眼の働きから着想された生体網膜が開発されている。生体網膜は、見ることになるシーンに関する冗長情報をほんのわずかしか伝送せず、これは、非同期的である。
【００１５】
イベント駆動型の非同期視覚センサは、圧縮されたデジタルデータをイベントの形で引き渡す。
【００１６】
そのようなセンサの提示は、「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426〜2429頁において参照され得る。イベントベースの視覚センサは、冗長性を除去するという利点を有し、それにより、従来のカメラに対して、ラグタイムが低減し、ダイナミックレンジが増大する。
【００１７】
そのような視覚センサの出力は、画素アドレスごとに、それらが行われる時にシーンの反射率の変化を表す一連の非同期イベントから成ることができる。
【００１８】
センサの各画素は、独立しており、最後のイベントが発生して以降の、閾値よりも大きい強度の変化(たとえば、強度の対数を15%上回るコントラスト)を検出する。強度の変化が設定された閾値を超えたとき、強度が増加しているのか、それとも減少しているのかに従って、ONまたはOFFイベントが画素によって生成される(DVSセンサ)。ある種の非同期センサは、検出されたイベントを光強度の測定結果に関連付ける(ATISセンサ)。
【００１９】
センサは、従来のカメラのようにクロック単位でサンプリングされないので、それは、(たとえば、約1μsの)高い時間精度でイベント順序付けを考慮に入れることができる。そのようなセンサが、一連の画像を再構築するのに使用される場合、従来のカメラの数十ヘルツと比較して、数キロヘルツという画像レートが達成し得る。
【００２０】
これらのカメラの高い時間精度は、映像の時間情報を最大限に活用することを可能にすることができる。
【００２１】
しかしながら、イベントは時間(t)および空間(x、y)において厳密な概念であるので、これらのセンサからのイベントを処理することは複雑であり得る。したがって、その処理およびその解析は、困難であり得る。
【先行技術文献】
【非特許文献】
【００２２】
【非特許文献１】「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426〜2429頁
【非特許文献２】D. BallardおよびJ. Jehee、「Dynamic coding of signed quantities in cortical feedback circuits」、Frontiers in Psychology、3巻、第254号、2012
【発明の概要】
【発明が解決しようとする課題】
【００２３】
そのため、非同期センサから生じる信号の適切な解析を行うために操作され得る単純な機器を創出する必要性がある。
【００２４】
そのようなセンサが引き渡す非常に多数のイベントにおいて時間次元の動態を失うことなく時空間特性の識別を容易にするために、解析には、特に、空間次元および時間次元を含めなくてはならない。
【課題を解決するための手段】
【００２５】
この趣旨で、本発明は、光センサによって生み出される非同期信号を処理するための方法を提案し、このセンサは、シーンに対向して配置された画素マトリクスを有し、この方法は、
-  光センサから、マトリクスの画素ごとに前記画素からの連続イベントを含む非同期信号を受信するステップ、
-  イベントが非同期信号中で受信されるときの活動プロファイル(activity profile)を使用して、非同期信号を解析するステップ
を含む。
【００２６】
活動プロファイルは、センサの画素ごとに、少なくとも、前記画素からの連続イベントの中で直近のイベントから経過した時間に応じて減少する活動値を含む。
【００２７】
画素の「活動プロファイル」は、時間に応じて曲線と見なされてよく、その値は、少なくとも、(可能性として、所与の極性に対してフィルタリングされた)この画素について受信した最後のイベントの時間を表す。
【００２８】
そのような形として確立される活動プロファイルは、それらの時空構造をローカルに保持することによって、イベントの出現を集約するツールを解析する。
【００２９】
活動プロファイルの形態は、センサによって観察されるシーンにおけるある種の基本的な形の存在を示すことが観察されている。
【００３０】
これらのプロファイルは、非同期イベントが受信されるにつれて変化し、そのため、センサの動態を保持する。
【００３１】
活動プロファイルのセットは、センサの「新鮮さカード(freshness card)」と呼ぶことができるものを形成する。
【００３２】
多くの信号処理アプリケーションが、活動プロファイルを使用する解析により開発され得る。非限定的な方式においては、活動プロファイルを次のために使用することが可能である。
-  形状認識:  規定された基本形状の規定された動きを変換する、典型的プロファイルのライブラリを参照する。解析により、ライブラリの典型的プロファイルに類似する活動プロファイルが検出された場合、形状認識が行われ、この形状の移動速度の示度が推定される。
-  シーンにおける動きの推定:  ある活動プロファイルが初めて検出され、その直後に近隣の領域内で(または非常に類似する活動プロファイル)が検出された場合は、センサの視野における物体の移動速度の推定が決定され得る。
-  画像(立体)における深度推定:  同じ(または類似する)活動プロファイルが、同じシーンを取り込む2つのセンサから生じる2つの画像において検出された場合、活動プロファイルに関連付けられている画素が、取り込まれたシーンの同じ点に対応するものと考え、したがって、この点の深度を決定することができる。
-  その他。
【００３３】
「非同期信号」は、所与の網膜センサから生じるイベントのセット、またはこれらのイベントのサブセット(特定の画素のみに限定された空間サブセット、および/または所与の時間期間に限定された時間サブセット)とすることができる。
【００３４】
さらには、活動プロファイルは、前記画素からの連続イベントの中で直近のイベントから経過した時間に従って、指数関数的に減少し得る。
【００３５】
この指数関数的減少により、センサが受信した最後のイベントをより良く検出することが可能になり得る。
【００３６】
特定の実施形態においては、活動プロファイルは、さらに、前記画素からの連続イベントの中で直近のイベントに先立つイベントから経過した時間の関数とすることができる。
【００３７】
関連の活動プロファイルを決定するために、この画素について受信したイベントをすべて考慮に入れることすら可能である。
【００３８】
本発明はまた、網膜センサに特に適し、かつ先に提示された非同期信号の処理を使用する、形状を認識するための方法を提案する。
【００３９】
本発明はまた、形状を認識するための方法にも関することができ、この方法は、
(a)  先に提示された非同期信号を処理するための方法を実行するステップ、
(b)  イベントが受信されると、前記センサの現在の画素ごとに、
(b1)  前記現在の画素についてのコンテキストを決定するステップであって、前記コンテキストが、前記現在の画素から所定の距離未満に位置する画素の活動プロファイルのセットとして規定される、ステップ、
(b2)  所定の典型的コンテキストのセットから典型的コンテキストを決定するステップであって、決定される典型的コンテキストが、典型的コンテキストのセットから、ステップ(b1)において決定されるコンテキストまでの最小距離を有する、ステップ、
(c)  ステップ(b2)における典型的コンテキストの決定の発現数に従って、シグネチャーを決定するステップ、
(d)  前記シグネチャーを典型的シグネチャーのベースと比較することにより、形状を決定するステップ
を含む。
【００４０】
距離は、数学的用語での距離とすることができる。したがって、距離は、ユークリッド距離、マンハッタン距離、ミンコフスキー距離、チェビシェフ距離、または任意の他の距離とすることができる。
【００４１】
ほとんどの場合、「コンテキスト」を3次元空間におけるサーフェスとして表すことができる(2つの軸は、画素の座標を表し、1つの軸は、(時間の関数として)次元を有していない)。
【００４２】
このコンテキストにより、検討されている(すなわち、現在の)イベントの近い環境を空間的かつ時間的にとらえることが可能になる。コンテキストは、現在の画素に対して、現在のイベントが生じる画素(「現在の画素」と呼ばれる)から所定の距離未満に位置する画素座標に関連付けられている値のセットと見なすことができる。
【００４３】
ほとんどの場合、「成分のセット」を「ヒストグラム」としてグラフに表すことができる。「ヒストグラム」または「シグネチャー」という専門用語はまた、本明細書の残りの部分にも使用される。
【００４４】
別の実施形態においては、使用される典型的コンテキストについて、階層モデルを考慮に入れることができる。
【００４５】
したがって、本発明は、形状を認識するための方法に関することができ、(典型的コンテキストの階層モデルが規定され、各典型的コンテキストは、その階層モデルの複数のレベルに関連付けられ)、この方法は、
(a)  センサの非同期信号のイベントを現在のイベントとして使用し、階層モデルの第1のレベルの典型的コンテキストを現在の典型的コンテキストとして使用するステップ、
(b)  現在のイベントとともに上記で示された非同期信号を処理するための方法を実行するステップ、
(c)  現在のイベントが受信されると、前記センサの現在の画素ごとに、
(c1)  前記現在の画素についてのコンテキストを決定するステップであって、前記コンテキストが、前記現在の画素から所定の距離未満に位置する画素についてのステップ(b)に使用される活動プロファイルのセットとして規定される、ステップ、
(c2)  現在の典型的コンテキストから典型的コンテキスト(Ck)を決定するステップ(504)であって、決定された典型的コンテキストが、現在の典型的コンテキストすべての中で、ステップ(c1)において決定されるコンテキストまでの最小距離を有する、ステップ(504)、
(c3)  ステップ(c2)において識別される典型的コンテキストに応じてイベントを生成するステップ、
(d)  階層モデルのあるレベルが使用されていない場合、
-  ステップ(c3)において生成されるイベントを現在のイベントとして使用するステップ、
-  まだ使用されていない階層モデルのあるレベルの典型的コンテキストを現在の典型的コンテキストとして使用するステップ、
-  ステップ(b)〜(e)を再実行するステップ、
(e)  階層モデルのレベルのすべてが使用されている場合、
-  ステップ(c2)が最後に行われたときの典型的コンテキストの決定の発現数に応じて、シグネチャーを決定するステップ(521)、
-  前記シグネチャーを典型的シグネチャーのベースと比較することにより、形状を決定するステップ(524)
を含む。
【００４６】
これらの階層レベルは、段階的な認識を進めることを可能にし、第1の階層レベルは、非常に基本的な形状を識別することを可能にし、より高次の階層レベルは、より下位のレベルを使用してより複雑な形状を識別することを可能にする。
【００４７】
特定の実施形態においては、コンテキストの決定は、相異なる極性を有するイベントを別々に考慮に入れる。
【００４８】
たとえば、極性は、画素強度が変動し得る(たとえば、増加の場合には+1、または減少の場合には-1)という事実に対応することができる。極性はまた、すぐ下位の階層レベルについて識別される典型的コンテキストに対応することもできる。
【００４９】
相異なる極性を有するイベントを別々に考慮に入れることにより、決定されるコンテキストの適切性を高めることが可能になる。
【００５０】
この場合においては、コンテキストは、
-  「現在の画素」からの、現在の画素に対して所定の距離未満に位置する画素の座標に、および
-  所与の極性に
関連付けられている値のセットと見なすことができる。
【００５１】
有利には、ステップ(e)に使用される距離は、バタチャリヤ距離、または標準化距離である。
【００５２】
既存の装置にインストールされる、上述した方法のすべてまたは一部分を実装するコンピュータプログラムは、それ自体で有利である。
【００５３】
したがって、本発明はまた、上述した方法を実装するための命令を含むコンピュータプログラムにも関し、このとき、このプログラムは、プロセッサによって実行される。
【００５４】
このプログラムは、任意のプログラミング言語(たとえば、オブジェクト指向言語もしくは他)を使用することができ、解釈可能なソースコード、部分的にコンパイルされたコード、または全体がコンパイルされたコードの形とすることができる。
【００５５】
本明細書において後述する図5は、そのようなコンピュータプログラムの一般的アルゴリズムのフローチャートを形成することができる。
【００５６】
本発明の他の特徴および利点は、次の説明を読むと、さらに明らかになるはずである。次の説明は、単なる例示にすぎず、付属の図面と併せて読まなくてはならない。
【図面の簡単な説明】
【００５７】
【図１】ATISタイプの非同期光センサの総観略図である。
【図２】回転する星を含むシーンに対向して置かれている非同期センサによって生成されるイベントを示す略図である。
【図３ａ】所与の画素のイベントについての「活動信号」の一実施形態である。
【図３ｂ】所与の画素のイベントについての「活動信号」の一実施形態である。
【図３ｃ】本発明の一実施形態による所与の「新鮮さ」カードを表す3D表面の一例である。
【図３ｄ】本発明の一実施形態によるコンテキストを表す3D表面の一例である。
【図４】トランプが裏返されているときのイベントストリームにおけるイベントの発現を示す図である。
【図５】本発明の可能な実施形態のフローチャートの一例である。
【図６ａ】本発明の可能な実施形態における典型的コンテキストの一例である。
【図６ｂ】本発明の可能な実施形態における典型的コンテキストの一例である。
【図６ｃ】本発明の可能な実施形態における典型的コンテキストの一例である。
【図７】本発明による一実施形態を実装するためのデバイスを示す図である。
【図８ａ】認識されることになる一形状についての、形状を検出する性能例である。
【図８ｂ】認識すべき別の形状についての形状を検出する性能例である。
【図８ｃ】認識されることになるさらに別の形状についての形状を検出する性能例である。
【発明を実施するための形態】
【００５８】
図1は、ATISの原理を示している。
【００５９】
センサを形成するマトリクスの画素101は、電子検出回路103a、103bにそれぞれ関連付けられている、フォトダイオードなどの2つの感光性素子102a、102bを備える。
【００６０】
センサ102aおよびその回路103aは、フォトダイオード102aに受信された光強度が規定された量だけ変わるときに、パルスP0を生み出す。
【００６１】
強度のこの変化を作るパルスP0は、他のフォトダイオード102bに関連付けられている電子回路103bをトリガする。次いで、この回路103bは、所与の光量(光子数)が、フォトダイオード102bに受信されるや否や、第1のパルスP1、次いで第2のパルスP2を生成する。
【００６２】
パルスP1とP2との間の時間差δtは、パルスP0の出現直後に画素101に受信された光強度に反比例する。
【００６３】
ATISからの非同期情報は、画素ごとに組み合わせられた2つのパルス列(104)を含み、第1のパルス列P0は、光強度が検出閾値を超えて変化した瞬間を示し、一方、第2の列は、パルスP1およびP2で構成され、その時間差δtは、対応する光強度またはグレーレベルを示す。
【００６４】
次いで、ATISのマトリクスの位置pの画素101からのイベントe(p,t)は、2つのタイプの情報、すなわち、イベントの瞬間tを与える、パルスP0の位置によって与えられる時間情報、およびパルスP1とP2との間の時間差δtによって与えられる階調情報を含む。
【００６５】
次いで、画素から生じるイベントは、図2に示すものなどの3次元時空表現に置くことができる。この図においては、各点pは、枠Aに図示される一定の角速度で回転する星の動きによって、位置
【００６６】
【数１】
2018509847.tif 000003
【００６７】
の、センサの画素pのレベルで瞬間tにおいて非同期に生成されるイベントe(p,t)をマークする。ほとんどのこれらの点は、略らせん形状を伴う表面付近に分布している。さらに、図には、星の実際の動きに対応することなく、測定されるらせん形表面からのある距離に特定の数のイベントが示されている。これらのイベントは取得雑音である。
【００６８】
次いで、イベントe(p,t)は、次の情報のすべてによって規定され得る。
【００６９】
【数２】
2018509847.tif 000004
【００７０】
ただし、Cは、センサの空間領域であり、polは、輝度の変化の方向を表す極性であり(たとえば、増加の場合は1、または減少の場合は-1)、I(p,t)は、点pの光強度信号である。
【００７１】
したがって、光強度信号は、図1において説明したように、組み合わせられたパルス列のセット104とすることができる。tuがイベントの発現のタイルを表し、te+,uとte-,uとの間の差が強度の変動に反比例する値を表す場合、I(p,t)=δ(t-tu)+δ(t-te+,u)+δ(t-te-,u)となるように、3つのディラックδを使用して強度を符号化することが可能である。次いで、座標pに位置する画素の強度信号は、輝度情報を時間的に符号化することを可能にする。
【００７２】
センサのi番目のイベントをev(i)と表記することが可能であり、ただし、このとき、ev(i)は、次の情報のすべてによって規定される。
【００７３】
【数３】
2018509847.tif 000005
【００７４】
ただし、Cは、センサの空間領域であり、Piは、i番目のイベントに関わるセンサの点であり、poliは、イベントのタイプを表す極性であり(たとえば、i番目のイベントについての輝度の変化の方向、たとえば、増加の場合は1、または減少の場合は-1)、tiは、i番目のイベントの発現時間であり、Ii(p,t)は、点pi(この値が利用可能である場合)の光強度信号である。
【００７５】
イベントをより簡単なやり方で操作するためには、画素pごとに、および極性polごとに、イベントの「新鮮さ」を表す関数Sを規定することが可能であり、S(p,pol)は、少なくともこの画素についての最後のイベントの発現時間tの関数であり、この極性polを有する。
【００７６】
所与の瞬間tにおいて、所与の画素pおよび所与の極性polのイベント
【００７７】
【数４】
2018509847.tif 000006
【００７８】
ごとに、原子関数
【００７９】
【数５】
2018509847.tif 000007
【００８０】
の和として関数Sを規定することが可能であり、hは、所定の値であり、θは、原始関数の減少の速度に対応する所定の係数である。
【００８１】
原始関数の「和」はまた、数学的には、
-  原始関数
【００８２】
【数６】
2018509847.tif 000008
【００８３】
の(またはより一般的には、任意の減少関数の)、
-  イベント
【００８４】
【数７】
2018509847.tif 000009
【００８５】
が発現した各時間tpのディラックを含む信号との
畳み込みと見なされ得る。
【００８６】
例示の目的として、図3aは、センサの3つの画素p1、p2、およびp3についての(および所与の極性値polについての)3つの可能な活動信号t→Sを示している。
【００８７】
イベントの非存在下では、値S(p1,t)、S(p2,t)、またはS(p3,t)は、ゼロである。しかしながら、画素p1における極性イベントpol(たとえば、310)の発現中、S(p1,t)は、所与の閾値を取る(ここではhであり、この値hはユニタリとすることができる)。
【００８８】
次いで、活動信号の値S(p1,t)は、このイベントの後、0に向かって移動するように次第に減少する。
【００８９】
これと同じことが、画素p1についてのイベント311、画素p2についてのイベント312、または画素p3についてのイベント313/314に適用される。
【００９０】
この場合、活動信号Sの減少が線形である場合、指数関数的減少などの任意のタイプの減少を定めることができる。
【００９１】
【数８】
2018509847.tif 000010
【００９２】
この指数関数的減少は、図3bによって例示され得る(曲線3bおよびイベント320参照)。
【００９３】
さらに、検討されている画素(たとえば、ここではp4)についてのイベントの発現中、関数Sの値が、値hに関して無視することができない(たとえば、イベント321が時間的にイベント322に近い)ことが起こり得る。
【００９４】
一実施形態においては、後続のイベント322の発現中、活動信号の値Sは、イベント322の直前の現在の値S(すなわち、h0)およびhの和(重み付けされる可能性もある)に設定され得る。したがって、曲線Sの減少は、図3bに示されているように値h+h0から開始することになる。さらに、h+h0の値が所定の値h1(すなわち、min(h1,h+h0))を上限とすることを定めることも可能である。
【００９５】
別の実施形態においては、後続のイベント322の発現中、曲線Sの値は、h0の値に関わらず、値hに設定される(すなわち、最後のイベント(すなわち、後続のイベント)に先立つイベントは無視される)。この他の実施形態においては、次のように規定される「最後のイベントの時間」と呼ばれる時間を規定することが可能である。
T(p,pol,i)=max(tj)|j<i
または
T(p,pol,t)=max(tj)|tj<t
ただし、tjは、極性polを含む画素pについての画素に発現するイベント時間である。
【００９６】
概念上は、p→T(p,pol,t)は、参照時間(すなわち、t)の直前に時間的に発現する同じ極性の最後のイベントの時間のカードを規定する。
【００９７】
次いで、この他の実施形態においては、p→S(p,pol,t)を、この時間セットT(p,pol,t)の関数であるように規定することが可能である。
【００９８】
たとえば、p→S(p,pol,t):
【００９９】
【数９】
2018509847.tif 000011
【０１００】
ただし、τおよびhは、所定の時間定数である(Sは、ある間隔にわたる時間tをより低い限界値T(p,pol,t)として含む任意の減少関数とすることができる)。
【０１０１】
これらの画素のイベントの「新鮮さ」を表す画素のカードSを作成することは、それが、不連続コンセプト(すなわちイベント)の連続的かつ単純な表現を可能にするので、有利である。この作成されたカードは、簡単なとらえ方の領域においてイベントの表現を変換することを可能にする。
【０１０２】
次いで、その作成は、イベントの操作および比較を単純化する。
【０１０３】
一旦、画素カードp→S(p,pol,t)が決定されると、時間tについて、および固定された極性値polについての座標pに従って、Sの振幅の3Dグラフを作成することが可能である(図3c参照)。
【０１０４】
もちろん、Sは、N個のセットの分離値(すなわち、(p,pol)→S(p,pol,t))を、各可能な極性値polにつき1つずつ含めることができる(N個の可能な極性値が存在する場合)。
【０１０５】
Spは、画素pの「コンテキスト」と呼ばれ、画素p付近の(すなわち、たとえば、画素p上に中心がある辺の平方2R+1における、画素pの所定の距離、たとえば、数学的用語での距離に位置する)画素qについての値(q,pol)→S(q,pol,t)のセットである。(いくつかの可能な極性値を含む)コンテキストを視覚的に表すために、様々の可能なpol値について、q→S(q,pol,t)のいくつかの表現を並置することが可能である。
【０１０６】
たとえば、図3dは、画素pの「コンテキスト」350を表すことができ、平坦域351は、関数q→S(q,1,t)の値を表し、平坦域352は、関数q→S(q,-1,t)の値を表す(もちろん、平坦域は任意の形状を有してよく、平坦域の選択は単に見やすくすることを可能にしているにすぎない)。同様に、点353および354は、同じ画素の、ただし、異なる極性についての関数Sの値に対応する。
【０１０７】
任意の画素pについてのコンテキストSpを規定することができる。
【０１０８】
可能な様々なコンテキストを特徴付けできるようにするために、「典型的」と称されるコンテキストを規定することが可能である。
【０１０９】
これらの典型的コンテキストは、あらかじめ決定されることも、または文献D. BallardおよびJ. Jehee、「Dynamic coding of signed quantities in cortical feedback circuits」、Frontiers in Psychology、3巻、第254号、2012によって、もしくは別の方法(たとえば、「k平均」法)を用いることによって、定められるアルゴリズムに基づいて決定されることもできる。
【０１１０】
画素pについて識別されるコンテキストSpごとに、画素pに、Spに最も近い典型的コンテキストに対応する典型的コンテキストを関連付けることができる。コンテキストSpと典型的コンテキストとの間の距離は、たとえば、同じ画素pおよび同じ極性polについてのコンテキストSpの値と典型的コンテキストの値との間のユークリッド距離の和を計算することによって決定され得る。距離はまた、二乗ユークリッド距離の和の関数とすることもできる。
【０１１１】
計算された距離が特定の所定の閾値以上である場合、画素pに、任意の典型的コンテキストを関連付けないことが可能である。
【０１１２】
これらの典型的コンテキスト{Ck}は、コンテキストSpについての上述した制限付き空間領域にわたって(たとえば、辺の平方2R+1に関して)規定される。
【０１１３】
また、典型的コンテキストのいくつかの階層レベルを規定することも可能であり、各階層レベルmは、複数の典型的コンテキスト{Ck_m}を規定する。そのような階層レベルの利益については、図5の説明に関して詳述する。
【０１１４】
例示の目的として、図6aは、可能な典型的コンテキストの第1の階層レベル(すなわち、極性1(典型的コンテキストのそれぞれのコンテキストの左ゾーン)または極性-1(典型的コンテキストのそれぞれのコンテキストの右ゾーン)についてのサイズ5×5画素)を示している。
【０１１５】
加えて、所与の瞬間tにおいて、および各画素pに関連付けられている典型的コンテキスト{Ck}(またはより概括的には、固定された階層レベルmについての{Ck_m})の識別後、可能な画素pのすべてについての典型的コンテキストのそれぞれのコンテキストの発現数を計算することも可能である。
【０１１６】
これらの計算された発現数により、イベントストリームを特徴付けるシグネチャー/ヒストグラムΗを作成することが可能になる(縦座標としては、発現数、横座標としては、識別される典型的コンテキストの指数)。
【０１１７】
形状認識を可能にするイベントのストリームの特徴付けはまた、エコーステートネットワーク(Echo-State Network)または反復ニューラルネットワーク(recurring Neural Network)などの他の方法も使用することができる。
【０１１８】
例示の目的として、図4は、クラブ、ダイヤモンド、ハート、およびスペードを含むトランプが裏返されているときの「ON」イベント(白色の点)および「OFF」イベント(黒色の点)の発現を示している。イベント(a)、(b)、(c)、および(d)のストリームのそれぞれのイベントにそれぞれ関連付けられているヒストグラムもまた、イベントのこれらのストリームの下部に表示されており、これらのヒストグラムは、イベントストリームにおいて認識すべき形状の、いわば「シグネチャー」を形成する。
【０１１９】
所定の数のトレーニング中、これらのヒストグラムを構築すること(すなわち、同じ形状を表すイベントストリームの提示によってヒストグラムを生成すること)が可能であり、したがって、同じ形状および/または同じ動きについてのトレーニング中に得られるヒストグラムを平均化することによって「典型的ヒストグラム」を決定することが可能である。
【０１２０】
一旦、これらの典型的ヒストグラムが決定されると、次いでイベントストリームから現在のヒストグラムを再度、決定し、このヒストグラムを、トレーニング段階中に決定される典型的ヒストグラムと比較することが可能である。
【０１２１】
次いで、現在のヒストグラムと距離が最も近い典型的ヒストグラムは、イベントストリームに対応する形状を識別することを可能にすることができる。
【０１２２】
さらには、k最接近ヒストグラムタイプを(可能性として、それらの近接度に対応するスコアと共に)戻すことも可能である。
【０１２３】
2つのヒストグラムΗ1とΗ2との間の距離は、典型的コンテキストのそれぞれのコンテキストについての発現数を座標に有する2つのベクトル間の数学的距離として計算され得る。
d(Η1;Η2)=||Η1-Η2||
【０１２４】
また、次のように、標準化距離を計算することも可能である。
【０１２５】
【数１０】
2018509847.tif 000012
【０１２６】
ただし、カード(Ηj)は、ヒストグラムΗjの典型的コンテキストの数(すなわち、縦棒)である。
【０１２７】
バタチャリヤ距離もまた、従来の距離の代わりとして使用され得る。
【０１２８】
【数１１】
2018509847.tif 000013
【０１２９】
ただし、Ηj(i)は、ヒストグラムΗjのi番目の典型的コンテキストの発現数である。
【０１３０】
任意の他の数学的距離もまた使用可能である。
【０１３１】
次いで、関連の典型的ヒストグラムに対応する形状が、イベントストリームに発現したと考えることができる。
【０１３２】
したがって、この典型的ヒストグラムのおかげで、形状認識が可能である。
【０１３３】
図5は、本発明の可能な実施形態のフローチャートの一例である。
【０１３４】
非同期センサから生じ、かつ時間tiに関連付けられているイベントストリーム500のイベントiを受信すると、上記で示したように、センサの各画素pについて、およびpolの各値についてのS(p,pol,ti)の値を決定する、または更新することが可能であり(ステップ501)、このステップにより、センサの「新鮮さ」カードを作成する、または更新することが可能になる。
【０１３５】
ステップ501では、Sの原始関数の減少に使用される時間定数は、τ1と表記される。したがって、たとえば、
【０１３６】
【数１２】
2018509847.tif 000014
【０１３７】
を得ることができる。
【０１３８】
一旦、この決定が実行されると、センサの画素pごとに、ステップ501において先に計算された新鮮さカードからコンテキストSpを抽出することが可能であり(ステップ502)、この抽出により、検討されている画素pに対する空間的近接度Npを含む画素qについて、および所与の極性値polについてのS(q,pol,ti)の特定の値を分離することが可能になる。例示の目的として、Np_1は、検討されている空間的位置pを中心とする正方形または長方形を規定することができる。空間的近接度Np_1は、そのように抽出されるコンテキストが、第1の階層レベルの典型的コンテキスト503(Ck_1)の次元に等しい次元であるように規定されて、この典型的コンテキストと比較され得る。
【０１３９】
例示の目的として、図6aは、可能な典型的コンテキストの第1の階層レベル(すなわち、極性1(典型的コンテキストのそれぞれのコンテキストの左ゾーン)または極性-1(典型的コンテキストのそれぞれのコンテキストの右ゾーン)についてのサイズ5×5画素)を示している。
【０１４０】
画素pに関連付けられている決定されたコンテキストSp_1を第1の階層レベルの可能な典型的コンテキスト{Ck_1}と比較することにより、上記で示したようにSp_1に最も近い典型的コンテキストを識別することが可能になる(ステップ504)。
【０１４１】
第1の階層レベルの可能な典型的コンテキスト{Ck_1}の中で最も近い典型的コンテキストCk_1proxのこの識別により、画素pについて、この画素pに関連付けられている典型的コンテキストを示すイベントev1を生成することが可能になる(ステップ505)。
【０１４２】
【数１３】
2018509847.tif 000015
【０１４３】
ただし、tは、現在の時間である。
【０１４４】
最も近い典型的コンテキストが識別されない場合(上記参照)、イベントは生成されない。
【０１４５】
これらのイベントev1(p)を生成すると、イベントの非同期ストリームも形成される(506)。
【０１４６】
次いで、センサから生じるイベント500と同様のやり方で、これらのイベント506を処理することが可能である。
【０１４７】
したがって、イベントストストリーム506の、時間tjに関連付けられる各イベントjを受信すると、たとえば、上記で示したように、センサの各画素pについて、およびpolの各値についての値(p,pol)→S2(p,pol,tj)として有する新規の「新鮮さ」カード(すなわち、第2の階層レベルについてのカード)の値を決定する、または更新することが可能である(ステップ511)(このステップ511では、polの値が、第1の階層レベルについてのステップ504中に識別される典型的コンテキスト、すなわち、図6aのフレームワークにおいて可能な4つの典型的コンテキストを示し、各典型的コンテキストが2つの極性を有することがわかる)。
【０１４８】
ステップ511では、原始関数の減少に使用される時定数はτ2と表記され、ただし、τ2≧τ1である。したがって、たとえば、
【０１４９】
【数１４】
2018509847.tif 000016
【０１５０】
を得ることができる。
【０１５１】
一旦、この決定が実行されると、センサの画素pごとに、上記のステップ511において計算された新鮮さカードからコンテキストSp_2を抽出することができ(ステップ512)、この抽出により、検討されている画素pに対する空間的近接度Np_2を含む画素qについて、および所与の極性値polについてのS2(q,pol,ti)の特定の値を分離することが可能になる。例示の目的として、Np_2は、検討されている空間的位置pを中心とする正方形または長方形を規定することができる。空間的近接度Np_2は、そのように抽出されるコンテキストが、第2の階層レベルの典型的コンテキスト513(Ck_2)の次元に等しい次元であるように規定されて、この典型的コンテキストと比較され得る。
【０１５２】
例示の目的として、図6bは、8つの可能な典型的コンテキストの第2の階層レベルを示している。
【０１５３】
第1の階層レベルの各典型的コンテキストが、2つのゾーン(極性-1のイベント(OFF)についての1つのゾーン、および極性1のイベント(ON)についての1つのゾーン、図6a参照)を有する場合、第2の階層レベルの典型的コンテキストは、すぐ下位の階層レベル(すなわち、ここでは、第1の階層レベル、図6b参照)における典型的コンテキストと同数のゾーン(すなわち、4)を有する。
【０１５４】
さらに、第2の階層レベルの典型的コンテキストは、空間的近接度Np_2が、空間的近接度Np_1によって規定されるものよりも大きいゾーンを規定するようなものとすることができる(たとえば、Np_1が辺の平方2R1+1によって規定される場合には、Np_2は、辺の平方2R2+1によって規定され得、ただし、R2≧R1である)。
【０１５５】
画素pに関連付けられている決定されたコンテキストSp_2を第1の階層レベルの可能な典型的コンテキスト{Ck_2}と比較することにより、上記で示したようにSp_2に最も近い典型的コンテキストを識別することが可能になる(ステップ514)。
【０１５６】
第2の階層レベルの可能な典型的コンテキスト{Ck_2}の中で最も近い典型的コンテキストCk_2proxのこの識別により、画素pについて、この画素pに関連付けられている典型的コンテキストを示すイベントev2を生成することが可能になる(ステップ515)。
【０１５７】
【数１５】
2018509847.tif 000017
【０１５８】
ただし、tは、現在の時間である。
【０１５９】
最も近い典型的コンテキストが識別されない場合(上記参照)、イベントは生成されない。
【０１６０】
これらのイベントev2(p)を生成すると、イベントの非同期ストリームも形成される(516)。
【０１６１】
次いで、イベント506と同様のやり方でこれらのイベント516を処理することができ、より高い階層レベル(テスト517、出力OK、たとえば、図6c(図6c(1)および図6c(2))によって表されるレベル3の階層レベル)が存在する場合、すぐ下位の階層レベルによって生成されるイベントを入力として取ることによって、およびこの上位の階層レベルの典型的コンテキスト(513参照)を使用することによって、ステップ511〜515を繰り返すことが可能である。
【０１６２】
上位の階層レベルが存在しない場合、画素pのすべてについて、および固定された時間tについて識別される典型的コンテキスト(513)の発現数をカウントすることが可能である。上記で説明したように、このカウンティングにより、識別される典型的コンテキストの発現数を表すヒストグラムΗの決定が可能になる(ステップ521)。
【０１６３】
ステップ521において決定されるヒストグラムを使用すると、次いで、形状および/または動きを表す典型的ヒストグラム(523)間の距離を計算し、したがって、最も近い典型的ヒストグラムを決定することが可能である(ステップ522)。
【０１６４】
決定されるこの典型的ヒストグラムのおかげで、このヒストグラムに関連付けられている形状および/または動きを決定し(ステップ524)、したがって、この形状および/またはこの動きを戻す(525)ことが可能である。
【０１６５】
もちろん、図5のフローチャートが、典型的コンテキストの少なくとも1つの第2の階層レベルの解析後にステップ520〜524の実行を示している場合、これらのステップ520〜524は、ステップ501〜505の後に、完全に実行可能である(すなわち、単一の階層レベルの解析による)。
【０１６６】
図7は、本発明による一実施形態を実装するためのデバイスを示している。
【０１６７】
この実施形態においては、デバイスは、方法の実装を可能にする命令、受信したイベントストリームに関するデータ、および上述したような方法の様々なステップを行うための一時データを記憶するためのメモリ705を含むコンピュータ700を備える。
【０１６８】
コンピュータは、回路704をさらに備える。この回路は、たとえば、
-  コンピュータプログラムの形の命令を解釈することができるプロセッサ、または
-  本発明の方法のステップがシリコンの中に記述されている電子カード、または
-  FPGAチップ(フィールドプログラマブルゲートアレイ)などのプログラマブル電子チップ
とすることができる。
【０１６９】
このコンピュータは、センサからイベントを受信するための入力インターフェース703、およびイベントストリームにおいて識別される形状707を供給するための出力インターフェース706を備える。最後に、コンピュータは、ユーザと簡単に対話することを可能にするために、スクリーン701およびキーボード702を備えることができる。もちろん、キーボードは、たとえば、タッチセンサー式タブレットの形を有するコンピュータのフレームワークにおいては特にオプションである。
【０１７０】
図8aは、形状(クラブ、ダイヤモンド、ハート、およびスペード)の検出の性能例である。
【０１７１】
各行(縦座標801参照)は、学習された特定の形状(すなわち、典型的ヒストグラム、上記参照)に関するデータに対応する。
【０１７２】
各列(横座標802参照)は、認識されなくてはならない特定の形状(すなわち、認識すべきヒストグラム)に関するデータに対応する。
【０１７３】
行と列との(たとえば、セット803に対応する)交わりは、典型的ヒストグラムと、形状のいくつかの提示(ここでは、点線の鉛直線によって分離されている、形状の9つの提示)について認識すべきヒストグラムとの距離を見ることを可能にする。
-  白色の棒(左の棒)は、従来の距離に対応する。
-  灰色の棒(中間の棒)は、標準化距離に対応する。
-  黒色の棒(右の棒)は、バタチャリヤ距離に対応する。
【０１７４】
そのように表される3つの距離(それぞれ、従来、標準化、およびバタチャリヤ)は、これらの形状について、94%、100%、および97%のそれぞれの性能を有する。
【０１７５】
図8bは、形状(数字および大文字)の検出の性能例である。
【０１７６】
各行(縦座標804参照)は、学習された特定の形状(すなわち、典型的ヒストグラム、上記参照)に関するデータに対応する。
【０１７７】
各列(横座標805参照)は、認識されなくてはならない特定の形状(すなわち、認識すべきヒストグラム)に関するデータに対応する。
【０１７８】
行と列との(たとえば、セット806に対応する)交わりは、典型的ヒストグラムと、形状の提示について認識すべきヒストグラムとの距離を見ることを可能にする。
-  白色の棒(左の棒)は、従来の距離に対応する。
-  灰色の棒(中間の棒)は、標準化距離に対応する。
-  黒色の棒(右の棒)は、バタチャリヤ距離に対応する。
【０１７９】
そのように表される3つの距離(それぞれ、従来、標準化、およびバタチャリヤ)はすべて、これらの形状について、100%の性能を有する。
【０１８０】
図8cは、形状(顔)の検出の性能例である。
【０１８１】
各表(807、808、および809)は、提示されている顔(横座標)の認識の発現数を、この顔の19個の提示についての学習された顔(縦座標)を用いて提示している。
【０１８２】
表807は、従来の距離を使用して、顔認識を実行する(認識率: 37%)。
【０１８３】
表808は、標準化距離を使用して、顔認識を実行する(認識率: 78%)。
【０１８４】
表808は、バタチャリヤ距離を使用して、顔認識を実行する(認識率: 79%)。
【０１８５】
さらに、図5に示されている機能図は、特定の命令が、説明されているデバイスにより実行され得るプログラムの典型的な例である。したがって、図5は、本発明の観点から、コンピュータプログラムの一般的アルゴリズムのフローチャートに対応することができる。
【０１８６】
もちろん、本発明は、例として上述した実施形態に限定されず、それは、他の代替形態に及ぶ。
【０１８７】
他の実施形態が可能である。
【０１８８】
たとえば、図6a〜図6cの典型的コンテキストは、いかなる任意の次元であってもよい。
【０１８９】
さらに、本明細書には、主に、光/映像センサから生じるイベントソースについて述べている。しかしながら、説明されている本発明は、そのような非同期モードを介して機能しかつその空間的構成が映像センサに類似することになる、たとえば、圧力センサのネットワークなどのイベント源の任意のセットに一般化される。
【符号の説明】
【０１９０】
101  画素
102a  感光性素子、センサ
102b  感光性素子、フォトダイオード
103a、103b  電子検出回路
104  パルス列
311、312、313、314、320、321、322  イベント
353、354  点
500、506  イベントストリーム
513  コンテキスト
516  イベント
517  テスト
523  典型的ヒストグラム
700  コンピュータ
701  スクリーン
702  キーボード
703  入力インターフェース
704  回路
705  メモリ
706  出力インターフェース
707  形状
801  縦座標
802  横座標
803  セット
804  縦座標
805  横座標
806  セット
807、808、809  表
P0、P1、P2  パルス
S  関数
m  階層レベル
p  マトリクスの位置、点、画素
pol  極性
t  瞬間、時間
Η  ヒストグラム
δt  時間差
【図１】
2018509847.tif 000018
【図２】
2018509847.tif 000019
【図３ａ】
2018509847.tif 000020
【図３ｂ】
2018509847.tif 000021
【図３ｃ】
2018509847.tif 000022
【図３ｄ】
2018509847.tif 000023
【図４】
2018509847.tif 000024
【図５】
2018509847.tif 000025
【図６ａ】
2018509847.tif 000026
【図６ｂ】
2018509847.tif 000027
【図６ｃ（１）】
2018509847.tif 000028
【図６ｃ（２）】
2018509847.tif 000029
【図７】
2018509847.tif 000030
【図８ａ】
2018509847.tif 000031
【図８ｂ】
2018509847.tif 000032
【図８ｃ】
2018509847.tif 000033
【国際調査報告】
2018509847.tif 000034
2018509847.tif 000035
2018509847.tif 000036
2018509847.tif 000037