(57)【特許請求の範囲】
【請求項１】
シーン内の形状を追跡する方法であって、
前記シーンに向かい合って配列されたピクセルの行列を有する光センサー(10)から非同期的な情報を受け取るステップであって、前記非同期的な情報が、前記行列の各ピクセルに関して、前記ピクセルから非同期に生じる連続的なイベントを含む、ステップと、
前記非同期的な情報内の物体に帰せられるイベントを検出した後、点の集合を含みかつ前記物体の追跡される形状を表すモデル(G)を更新するステップとを含み、前記更新するステップが、イベント(ev(p, t))の検出に続いて、
前記検出されたイベントが生じる前記行列の前記ピクセル(p)に関連する最小の距離を有する前記モデルの点(m)を前記検出されたイベントに関連付けること、および
前記検出されたイベントが生じる前記行列の前記ピクセル(p)および前記関連付けられた点(m)に従って、前記イベント(ev(p, t))の前記検出の前に実行された関連付けとは独立して前記更新されたモデルを決定することを含む、方法。
【請求項２】
前記モデル(G)の点が、検出されたイベント(ev(p, t))が生じる前記ピクセル(p)に関連する閾値(dmax、dth)未満の距離にないとき、前記モデルが、前記物体に帰せられない前記イベントの前記検出に続いて更新されない、請求項1に記載の方法。
【請求項３】
前記物体の変位の平面を推定するステップであって、変位の前記平面(Πk)が、現在の瞬間に終わる時間窓の間に前記物体に帰せられた検出されたイベントを示す点の集合に関連する距離の基準を最小化することによって、三次元、すなわち、ピクセルの前記行列の2つの方向に対応する2つの空間的次元および1つの時間の次元を有する空間内で推定される、ステップと、
イベント(ev(p, t))の検出に続いて、前記イベントを前記物体に帰すべきか否かを判断するために前記物体の変位の推定された平面を考慮に入れるステップとをさらに含む、請求項1または請求項2に記載の方法。
【請求項４】
複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記複数の物体のうちのそれぞれの物体が、前記物体に帰せられるイベントの検出後に更新されるそれぞれのモデル(Gk)および変位の推定された平面(Πk)を有し、前記方法が、前記物体のうちの少なくとも2つに帰せられ得るイベント(ev(p, t))の検出に続いて、
前記検出されたイベントを示す点と前記物体に関してそれぞれ推定された変位の前記平面との間の三次元空間内のそれぞれの距離を計算するステップと、
前記検出されたイベントを、前記計算された距離が最小である前記物体に帰するステップとをさらに含む、請求項3に記載の方法。
【請求項５】
前記物体の変位の前記平面(Πk)と前記物体に帰せられた検出されたイベントを示す点との間の距離の統計的分布を推定するステップと、
イベント(ev(p, t))の検出に続いて、前記イベントを前記物体に帰すべきか否かを判断するために前記物体の変位の前記推定された平面および前記推定された統計的分布を考慮に入れるステップとをさらに含む、請求項3または請求項4に記載の方法。
【請求項６】
前記推定された統計的分布に基づいて許容可能な距離の値の間隔(Ik)を決定するステップと、
三次元空間内の検出されたイベントを示す前記点が、変位の前記推定された平面に関連して、前記許容可能な距離の値の前記間隔から外れる距離を有する場合、前記検出されたイベントを前記物体に帰さないステップとをさらに含む、請求項5に記載の方法。
【請求項７】
複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記物体の各々が、前記物体に帰せられるイベントの検出の後に更新されるそれぞれのモデル(Gk)を有し、前記方法が、イベント(ev(p, t))の検出に続いて、
前記物体のうちの1つのみが、前記検出されたイベントが生じる前記行列の前記ピクセル(p)に関連する閾値(dth)未満の距離を有する点をそのモデル内に有する条件を満たす場合に、前記検出されたイベントを前記物体のうちの1つに帰するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。
【請求項８】
複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記物体のそれぞれの物体が、前記物体に帰せられるイベントの検出の後に更新されるそれぞれのモデル(Gk)を有し、前記方法が、前記物体のうちの少なくとも2つに帰せられ得るイベント(ev(p, t))の検出に続いて、
前記検出されたイベントが帰せられ得る各物体に関して、前記検出されたイベントが生じる前記行列の前記ピクセル(p)に関連するそれぞれの距離の基準を最小化することによって、前記物体のモデル(Gt)の点(m)を前記検出されたイベントに関連付けるステップと、
前記検出されたイベントを、距離の前記最小化された基準が最も小さい、物体に帰するステップとをさらに含む、請求項1から7のいずれか一項に記載の方法。
【請求項９】
複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記複数の物体のうちのそれぞれの物体が、前記物体に帰せられるイベントの検出後に更新されるそれぞれのモデル(Gk)を有し、前記物体のうちの少なくとも2つに帰せられ得るイベント(ev(p, t))の検出に続いて、前記検出されたイベントが、前記物体のうちの前記少なくとも2つのいずれにも割り当てられない、請求項1から7のいずれか一項に記載の方法。
【請求項１０】
複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記複数の物体のうちのそれぞれの物体が、前記物体に帰せられるイベントの検出後に更新されるそれぞれのモデル(Gk)を有し、前記物体のうちの少なくとも2つに帰せられ得るイベント(ev(p, t))の検出に続いて、前記検出されたイベントが、前記検出されたイベントが帰せられ得る前記物体のそれぞれの物体に割り当てられる、請求項1から7のいずれか一項に記載の方法。
【請求項１１】
前記検出されたイベントが帰せられる物体の前記モデル(Gk)を更新するステップが、前記物体に関してそれぞれ最小化される距離の基準に依存する重み付けを用いて実行される、請求項10に記載の方法。
【請求項１２】
複数の物体が、前記シーン内で追跡されるそれぞれの形状を有し、前記複数の物体のうちのそれぞれの物体が、前記物体に帰せられるイベントの検出後に更新されるそれぞれのモデル(Gk)を有し、前記方法が、
各物体に関して、前記物体に帰せられるイベントのレートを推定し、前記物体に帰せられる最後のイベントが検出された瞬間を記憶するステップと、
前記物体のうちの少なくとも2つに帰せられ得るイベント(ev(p, t))の検出に続いて、イベントの前記推定されたレートに前記記憶された瞬間と前記イベントの検出の前記瞬間との間の時間間隔を掛けた積が1に最も近い前記物体のうちの1つに前記検出されたイベントを帰するステップとをさらに含む、請求項1から7のいずれか一項に記載の方法。
【請求項１３】
前記更新されたモデルを決定することが、パラメータの組によって定義された空間変換(Ft)を推定すること(45)と、前記推定された空間変換を前記モデル(Gk)に適用すること(46)とを含み、前記空間変換を推定することが、前記検出されたイベントが生じる前記行列の前記ピクセル(p)と前記検出されたイベントに関連する前記モデルの前記点(m)に前記空間変換を適用することによって得られた点との間のピクセルの前記行列の平面内の距離の勾配の関数として前記パラメータを計算することを含む、請求項1から12のいずれか一項に記載の方法。
【請求項１４】
前記空間変換(Ft)が、ピクセルの前記行列の前記平面内の移動および回転を含み、前記移動が、-η1.∇Tf(Δθ0, ΔT0)に等しい選択されたベクトルΔTを有し、前記回転が、-η2.∇θf(Δθ0, ΔT0)に等しい選択された角度Δθを有し、η1およびη2が、予め定義された正の収束ステップであり、Δθ0およびΔT0が、回転の前記角度の特定の値および前記移動のベクトルの特定の値である、請求項13に記載の方法。
【請求項１５】
回転の前記角度の前記特定の値および前記移動のベクトルの前記特定の値が、それぞれ、
【数１】
0006665110.tif 000021
であり、pが、前記検出されたイベントが生じる前記行列の前記ピクセルを示し、mが、前記検出されたイベントに関連する前記モデルの前記点を示し、cが、前記回転の中心を示し、cpが、cからpを指すベクトルを示し、cmが、cからmを指すベクトルを示し、
【数２】
0006665110.tif 000022
が、中心cの、角度Δθ0の回転である、請求項14に記載の方法。
【請求項１６】
前記空間変換(Ft)が、ピクセルの前記行列に含まれる2つの軸に応じたそれぞれの倍率の適用をさらに含むアフィン変換である、請求項14または請求項15に記載の方法。
【請求項１７】
前記2つの軸x、yに応じた前記倍率sx、syが、sx=1+η3.(|px|-|mx|)およびsy=1+η3.(|py|-|my|)に従ってそれぞれ計算され、η3が、予め定義された正の収束ステップであり、pxおよびpyが、前記検出されたイベントが生じる前記行列の前記ピクセル(p)の、軸xおよびyに応じたそれぞれの座標であり、mxおよびmyが、前記検出されたイベントに関連する前記モデルの前記点(m)の、前記軸xおよびyに応じたそれぞれの座標である、請求項16に記載の方法。
【請求項１８】
光センサー(10)から受け取られた非同期的な情報を使用して請求項1から17のいずれか一項に記載の方法を実行するように構成されたコンピュータ(20)を含む、シーン内の形状を追跡するためのデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光センサーによって観測されたシーン内の動いている物体を検出し、追跡するための方法に関する。
【背景技術】
【０００２】
画像内の物体を検出するための知られている技法の中に、最近点(closest point)を探索するための反復的アルゴリズム、すなわち、ICP (反復最近点(Iterative Closest Point))型のアルゴリズムが存在する。これらのICPアルゴリズムは、距離データ位置合わせ(range data registration)、3D再構築、物体追跡、およびモーション分析などの応用におけるそれらのアルゴリズムの有効性で知られている。たとえば、S. RusinkiewiczおよびM. Levoyによる論文「Efficient Variants of the ICP Algorithm」、3rd International Conference on 3D Digital Imaging and Modeling、2001年6月、145〜152頁を参照されたい。
【０００３】
ICPアルゴリズムの原理は、物体の外形の境界を定めるモデルとして使用される点の集合を、その集合を獲得されたデータの一部である点の集合と一致させるために使用することである。知られているモデルの集合とデータの点の集合との間の変換が、誤差関数を最小化することによって、それらの集合の幾何学的関係を表すために推定される。任意の形状の追跡は、この形状のモデルが与えられるとき、ICP技法によって解決され得る。
【０００４】
M. Herschらによる論文「Iterative Estimation of Rigid Body Transformations -- Application to robust object tracking and Iterative Closest Point」、Journal of Mathematical Imaging and Vision、2012年、Vol. 43、No. 1、1〜9頁は、ICPアルゴリズムを実行するための反復的方法を示す。画像内で、画像の点{yi}がそれぞれ対応する点の集合{xi}によって画定されるパターンを検出することを可能にする剛体(rigid)空間変換Tを決定するために、総和がパターンの点xiの集合に関係する形状の誤差の基準
【０００５】
【数１】
0006665110.tif 000002
【０００６】
を最小化することによって変換Tを探すことである典型的な解析的な閉じた形の解法が、反復的な解法によって置き換えられ、変換Tの初期推定が行われ、各繰り返しは、パターンから点xiを無作為に取り出すことと、画像内のその点xiの対応する点yiを見つけることと、変換Tの移動および回転のパラメータに比して傾き∇||yi - Txi||2に比例する項を差し引くことによって変換Tを更新することとである。変換Tが反復するごとに変動しなくなるとき、反復が停止し、画像内のパターンを検出することを可能にする変換の最終的な推定としてTが保持される。
【０００７】
連続的に獲得された画像に基づく通常のビジョン(vision)において、(たとえば、約60画像毎秒の)カメラの画像のレートは、ICP技法には不十分であることが多い。また、連続的な画像内の同じ情報の反復的計算は、ICPアルゴリズムのリアルタイムの実行を制限する。実際には、それらのICPアルゴリズムは、余り速く動かない単純な形状を検出する場合に制限される。
【０００８】
規則的なサンプリングの瞬間に連続的な画像を記録する通常のカメラとは対照的に、生体網膜は、視覚化されるべきシーンに関して冗長な情報をほんのわずかしか送らず、これは、非同期的に実行される。非同期的なイベントに基づく視覚センサーは、イベントの形態で圧縮されたデジタルデータを送出する。「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426-2429頁におけるそのようなセンサーの提示が、参照され得る。イベントに基づく視覚センサーは、通常のカメラに対して冗長性を取り除き、レイテンシー時間を減らし、ダイナミックレンジを拡げるという利点を有する。
【０００９】
そのような視覚センサーの出力は、各ピクセルアドレスに関して、シーンの反射率(reflectance)の変化が起こるときにそれらの変化を表す一連の非同期的なイベントである可能性がある。センサーの各ピクセルは、独立しており、最後のイベントの放射以降の閾値(たとえば、強度に関する対数で15%のコントラスト)を超える強度(intensity)の変化を検出する。強度の変化が閾値の組を超えるとき、オンまたはオフイベントが、強度が高まるのかまたは低下するのかに応じてピクセルによって生成される。特定の非同期的なセンサーは、検出されたイベントを光度(light intensity)の測定値に関連付ける。センサーは、通常のカメラのようにクロックにあわせてサンプリングされないので、(たとえば、約1μsの)非常に高い時間の精度でイベントの順序付けを考慮に入れることができる。そのようなセンサーが画像のシーケンスを再構築するために使用される場合、通常のカメラの数十ヘルツに比べて、数キロヘルツの画像フレームレートが実現され得る。
【００１０】
イベントに基づく視覚センサーは有望な見通しがあり、そのようなセンサーによって送出される信号を使用して動いている物体を追跡するための効果的な方法を提案することが望ましい。
【００１１】
「Fast sensory motor control based on event-based hybrid neuromorphic-procedural system」、ISCAS 2007、New Orleans、2007年5月27〜30日、845-848頁において、T. DelbruckおよびP. Lichtsteinerは、たとえば、イベントに基づく視覚センサーを使用してサッカーのゴールキーパーのロボットを制御するために使用され得るクラスタを追跡するためのアルゴリズム(クラスタトラッカー)を説明する。各クラスタは、移動可能な物体をイベントのソースとしてモデル化する。クラスタに入るイベントは、後者の位置を変える。クラスタは、閾値を超えるいくつかのイベントを受け取った場合にのみ可視であると考えられる。
【００１２】
「Asynchronous event-based visual shape tracking for stable haptic feedback in microrobotics」、Z. Niら、IEEE Transactions on Robotics、2012年、Vol. 28、No. 5、1081-1089頁には、解析的な形態のコスト関数を最小化することに基づく、ICPアルゴリズムのイベントに基づくバージョンが示されている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】米国特許出願第2008/0135731(A1)号
【特許文献２】国際公開第2013/093378(A1)号
【非特許文献】
【００１４】
【非特許文献１】S. RusinkiewiczおよびM. Levoyによる論文「Efficient Variants of the ICP Algorithm」、3rd International Conference on 3D Digital Imaging and Modeling、2001年6月、145〜152頁
【非特許文献２】M. Herschらによる論文「Iterative Estimation of Rigid Body Transformations -- Application to robust object tracking and Iterative Closest Point」、Journal of Mathematical Imaging and Vision、2012年、Vol. 43、No. 1、1〜9頁
【非特許文献３】「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426-2429頁
【非特許文献４】「Fast sensory motor control based on event-based hybrid neuromorphic-procedural system」、ISCAS 2007、New Orleans、2007年5月27〜30日、845-848頁
【非特許文献５】「Asynchronous event-based visual shape tracking for stable haptic feedback in microrobotics」、Z. Niら、IEEE Transactions on Robotics、2012年、Vol. 28、No. 5、1081-1089頁
【非特許文献６】「A 128×128 120 dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteinerら、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、566〜576頁
【非特許文献７】A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Poschら、IEEE Journal of Solid-State Circuits、Vol. 46、No. 1、2011年1月、259〜275頁
【非特許文献８】R. Benosmanらによる論文「Event-based Visual Flow」、IEEE Transaction On Neural Networks and Learning Systems、Vol. 25、No. 2、2013年9月、407〜417頁
【発明の概要】
【発明が解決しようとする課題】
【００１５】
迅速で、良好な時間的精度を有する、形状を追跡するための方法に対するニーズが存在する。
【課題を解決するための手段】
【００１６】
シーン内の形状を追跡する方法であって、
-  シーンに向かい合って配列されたピクセルの行列を有する光センサーから非同期的な情報を受け取るステップであって、非同期的な情報が、行列の各ピクセルに関して、前記ピクセルから非同期に生じる連続的なイベントを含む、ステップと、
-  非同期的な情報内の物体に帰せられるイベントを検出した後、点の集合を含み、前記物体の追跡される形状を表すモデルを更新するステップとを含む、方法が提供される。
【００１７】
更新するステップは、イベントの検出に続いて、
-  検出されたイベントが生じる行列のピクセルに関連する最小の距離を有するモデルの点を検出されたイベントに関連付けること、および
-  検出されたイベントが生じる行列のピクセルおよび関連付けられた点に従って、前記イベントの検出の前に実行された関連付けとは独立して更新されたモデルを決定することを含む。
【００１８】
観測された点のモデルとのマッチングは、完全な画像、またはさらにはシーン内の追跡される形状に関連する十分な数のイベントの獲得の後、グループ化された方法で実行されない。反復的アルゴリズムによる形状の追跡が、非同期的なイベントが到着するときにずっと速く実行される。
【００１９】
モデルが更新されることを可能にする空間変換を決定することは、通常、以下の形態のコスト関数を最小化することに基づく。
ΣD(p[ev],Ft(A[ev]))   (1)
ここで、p[ev]は、イベントevが生じたピクセルの行列の位置を示し、
A[ev]は、イベントevに関連するモデルの点を示し、
Ft(.)は、空間変換を示し、
D(.,.)は、行列の平面内の距離の測定値であり
総和は、実行された特定の数の関連付け(p[ev]⇔A[ev])に対して実行される。
【００２０】
提案される方法においては、現在のイベントとそれに関連付けられたモデルの点との間の関連付けが考慮に入れられるが、前の関連付けは考慮に入れられないので手法が異なる。コスト関数がこれだけに基づいて最小化され得ないときに、それぞれの繰り返しが、後者をシーン内の形状を正しく追跡する解に収束させるためにモデルに適用される、勾配降下(gradient descent)によく似た補正項を計算することを可能にする。そのような収束は、ダイナミクス(dynamics)と、動きが引き起こすイベントの多い数とのおかげで、たとえ物体が動いているとしても保証される。
【００２１】
獲得雑音(acquisition noise)をフィルタリングするために、モデルの点が、この場合、物体に帰せられない検出されたイベントを生じるピクセルに関連する閾値未満の距離にないときに、モデルを更新することを控える可能性がある。
【００２２】
方法の興味深い実施形態は、
-  物体の変位の平面を推定するステップであって、変位の平面が、現在の瞬間に終わる時間窓(time window)の間に物体に帰せられた検出されたイベントを示す点の集合に関連する距離の基準を最小化することによって、三次元、すなわち、ピクセルの行列の2つの方向に対応する2つの空間的次元および1つの時間の次元を有する空間内で推定される、ステップと、
-  イベントの検出に続いて、前記イベントを物体に帰すべきか否かを判断するために物体の変位の推定された平面を考慮に入れるステップとをさらに含む。
【００２３】
上述の「変位の平面」の特性は、特に、複数の物体がシーン内で追跡されるそれぞれの形状を有する場合にいくつかの有用な処理を可能にし、物体のうちのそれぞれの物体は、その物体に帰せられるイベントの検出後に更新されたそれぞれのモデルおよび変位の推定された平面を有する。
【００２４】
たとえば、物体のうちの少なくとも2つに帰せられ得るイベントの検出に続いて、検出されたイベントを示す点と前記物体に関してそれぞれ推定された変位の平面との間の三次元空間内のそれぞれの距離を計算し、検出されたイベントを計算された距離が最小である物体に帰することがあり得る。これは、検出されたイベントが帰せられ得るいくつかの物体の間の曖昧性を削除するために、空間的制約と時間的制約とを組み合わせることを可能にする。
【００２５】
別の可能性は、物体の変位の平面と物体に帰せられた検出されたイベントを示す点との間の距離の統計的分布を推定し、それから、イベントの検出の後に、イベントを物体に帰すべきかどうかを判断するために、物体の変位の推定された平面および推定された統計的分布を考慮に入れることである。これは、非同期的なセンサーがそれ自体動いているときにシーンの背景のあり得る動きを考慮に入れることを可能にする。特に、推定された統計的分布に基づいて許容可能な距離の値の間隔を決定することと、三次元空間内の検出されたイベントを示す点が、変位の推定された平面に関連して、許容可能な距離の値の間隔から外れる距離を有する場合、検出されたイベントを物体に帰さないこととがあり得る。
【００２６】
複数の物体がシーン内で追跡されるそれぞれの形状を有し、物体のうちのそれぞれの物体がその物体に帰せられるイベントの検出後に更新されるそれぞれのモデルを有するとき、その他の特徴が提供される可能性がある。
【００２７】
たとえば、イベントの検出に続いて、物体のうちの1つのみが、検出されたイベントが生じる行列のピクセルに関連する閾値未満の距離を有する点を物体のモデル内に有する条件を満たす場合に、検出されたイベントを物体のうちの前記1つに帰することがあり得る。
【００２８】
物体のうちの少なくとも2つに帰せられ得るイベントの検出に続いて、曖昧性を削除するために空間的制約を考慮に入れることがあり得る。可能性は、検出されたイベントが帰せられ得る各物体に関して、検出されたイベントが生じる行列のピクセルに関連するそれぞれの距離の基準を最小化することによって、この物体のモデルの点を検出されたイベントに関連付け、検出されたイベントを、最小化された距離の基準が最も小さい物体に帰することである。代替は、検出されたイベントを物体のいずれにも割り当てないことである。
【００２９】
別の代替は、検出されたイベントが帰せられ得る物体の各々に検出されたイベントを割り当てることである。検出されたイベントが帰せられる物体のモデルを更新することは、前記物体に関してそれぞれ最小化される距離の基準に依存する重み付けを用いて実行される可能性がある。
【００３０】
少なくとも2つの物体に帰せられ得るイベントの検出に続いて、曖昧性を削除するために時間的制約を考慮に入れることもあり得る。可能性は、各物体に関して、その物体に帰せられるイベントのレートを推定し、その物体に帰せられる最後のイベントが検出された瞬間を記憶することである。それから、少なくとも2つの物体に帰せられ得るイベントは、イベントの推定されたレートに記憶された瞬間と前記イベントの検出の瞬間との間の時間間隔を掛けた積が1に最も近い物体のうちの1つに帰せられる。
【００３１】
方法の実施形態において、更新されたモデルを決定することは、パラメータの組によって定義された空間変換を推定することと、推定された空間変換をモデルに適用することとを含む。空間変換を推定することは、検出されたイベントが生じる行列のピクセルと検出されたイベントに関連するモデルの点に空間変換を適用することによって得られた点との間のピクセルの行列の平面内の距離の勾配の関数として前記パラメータを計算することを含む。
【００３２】
特定の場合は、空間変換がピクセルの行列の平面内の移動および回転を含む剛体変換である場合である。可能性は、移動に関して、-η1.∇Tf(Δθ0, ΔT0)に等しいベクトルΔTを選択し、回転に関して、-η2.∇θf(Δθ0, ΔT0)に等しい角度Δθを選択することであり、η1およびη2は、予め定義された正の収束ステップであり、Δθ0およびΔT0は、回転の角度の特定の値および移動のベクトルの特定の値である。たとえば、
【００３３】
【数２】
0006665110.tif 000003
【００３４】
および
【００３５】
【数３】
0006665110.tif 000004
【００３６】
が選択される可能性があり、pは、検出されたイベントが生じる行列のピクセルを示し、mは、検出されたイベントに関連するモデルの点を示し、cは、回転の中心を示し、cpは、cからpを指すベクトルを示し、cmは、cからmを指すベクトルを示し、
【００３７】
【数４】
0006665110.tif 000005
【００３８】
は、中心cの、角度Δθ0の回転である。
【００３９】
関心のある別の場合は、空間変換が、ピクセルの行列に含まれる2つの軸に応じたそれぞれの倍率(scaling factor)の適用をさらに含むアフィン変換である場合である。2つの軸x、yに応じた倍率sx、syは、sx=1+η3.(|px|-|mx|)およびsy=1+η3.(|py|-|my|)に従ってそれぞれ計算される可能性があり、η3は、予め定義された正の収束ステップであり、pxおよびpyは、検出されたイベントが生じる行列のピクセルの、軸xおよびyに沿った座標であり、mxおよびmyは、検出されたイベントに関連するモデルの点の、軸xおよびyに沿った座標である。
【００４０】
本発明の別の態様は、光センサーから受け取られた非同期的な情報を使用して、上で定義されたような方法を実行するように構成されたコンピュータを含む、シーン内の形状を追跡するためのデバイスに関する。
【００４１】
本発明のその他の特徴および利点は、添付の図面を参照すると、以降の説明において明らかになるであろう。
【図面の簡単な説明】
【００４２】
【図１】本発明の実装に適合されたデバイスのブロック図である。
【図２Ａ】非同期的なセンサーのピクセル上の光度のプロファイルの例を示す図である。
【図２Ｂ】図2Aの強度のプロファイルに応じて非同期的なセンサーによって送出される信号の例を示す図である。
【図２Ｃ】図2Bの信号を使用する強度のプロファイルの再構築を示す図である。
【図３Ａ】方法の別の実施形態において使用され得る光の獲得のための方法を示す、図2Aの図と同様の図である。
【図３Ｂ】方法の別の実施形態において使用され得る光の獲得のための方法を示す、図2Bの図と同様の図である。
【図４】ATIS型の非同期的な光センサーのブロック図である。
【図５】回転する星を含むシーンに向かい合って配置された非同期的なセンサーによって生成されたイベントを示す図である。
【図６Ａ】本発明による形状を追跡する方法の動作を試験するために使用される機器の図である。
【図６Ｂ】図6Aの構成において得られたイベント累積カード(event accumulation card)の例を示す図である。
【図７】回転する星の例におけるICPアルゴリズムの動作を示すために様々な画像を示す図である。
【図８】本発明の特定の実装において使用され得るアルゴリズムの例の流れ図である。
【図９】本発明の特定の実施形態を説明するために使用される幾何学的要素を示す図である。
【図１０】本発明の特定の実施形態を説明するために使用される幾何学的要素を示す図である。
【図１１】本発明のその他の実装において使用され得るアルゴリズムの例の流れ図である。
【図１２】図11に従う方法の実施形態の反復中に空間変換を計算するための方法を示す図である。
【図１３】非同期的なセンサーの視野内の動いているエッジに帰せられたイベントが記録される、2つの空間的次元および1つの時間の次元を含む三次元の空間の点と、変位の平面によるそれらの点の補間とを示すグラフである。
【図１４】図11のステップ44において使用され得る手順の例の流れ図である。
【図１５】図14のステップ56において使用され得る手順の例の論理図である。
【図１６】図14のステップ56において使用され得る手順の例の論理図である。
【図１７】イベントと、図13において示された変位の平面のタイプの変位の平面との間の距離の分布を示すブラフである。
【図１８】図17に示されたような距離に関する許容され得る値の間隔を推定するために使用され得る手順の流れ図である。
【図１９】図6および図7の条件で実行された実験において3つの異なる追跡方法を適用することによって観測された追跡誤差を示すグラフである。
【図２０】本発明の実施形態における物体の3つの形状の追跡を示す図である。
【図２１】本発明の実施形態の物体のモデルに適用される空間変換において倍率sx、syを考慮に入れることによって実行された実験の結果を示すグラフである。
【図２２】本発明の別の実験において得られた画像を示す図である。
【図２３】図22の実験において追跡の異なる方法を適用することによって観測された追跡誤差を示すグラフである。
【図２４】図22の実験において追跡の異なる方法を適用することによって観測された追跡誤差を示すグラフである。
【図２５】本発明の別の実験におけるいくつかの物体の間の曖昧性を削除するためのあり得る方法を示すグラフである。
【図２６】本発明の別の実験におけるいくつかの物体の間の曖昧性を削除するためのあり得る方法を示すグラフである。
【図２７】図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。
【図２８】図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。
【図２９】図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。
【図３０】図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。
【図３１】図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。
【図３２】図25〜図26と同じ実験において6つ異なる方法によって動いている物体の形状の追跡中に観測されたモデルの速度を示すグラフである。
【図３３】図32に示される結果において追跡の枠組の中でイベントが物体に帰すると決定するために使用される、図13による変位の2つの平面を示すグラフである。
【図３４】非同期的なセンサー自体が動いていた本発明の実験において得られたモデルの速度を示すグラフである。
【図３５】非同期的なセンサー自体が動いていた本発明の実験において得られたモデルの速度を示すグラフである。
【発明を実施するための形態】
【００４３】
図1に示されるデバイスは、シーンに面して配置され、1つまたは複数のレンズを含む獲得のための光学部品15を通じてシーンの光の流れを受け取る、イベントに基づく非同期的な視覚センサー10を含む。センサー10は、獲得のための光学部品15の画像平面内に配置される。センサー10は、ピクセルの行列に編成された感光素子のグループを含む。感光素子に対応する各ピクセルは、シーン内の光の変化に応じて連続的なイベントを生成した。
【００４４】
コンピュータ20は、センサー10から生じた非同期的な情報、すなわち、様々なピクセルpから非同期的に受け取られたイベントev(p, t)のシーケンスを、シーン内の変化する特定の形状に関する情報Ftをそれらのシーケンスから抽出するために処理する。コンピュータ20は、デジタル信号に対して動作する。コンピュータ20は、好適なプロセッサをプログラミングすることによって実装される可能性がある。特別な論理回路(ASIC、FPGA、...)を用いるコンピュータ20のハードウェアの実装も、あり得る。
【００４５】
行列の各ピクセルpに関して、センサー10は、センサーの視野内に現れるシーン内のピクセルによって検出された光の変化を使用してイベントに基づく非同期の信号のシーケンスを生成する。
【００４６】
非同期的なセンサーは、たとえば、図2A〜図2Cによって示される原理に従って獲得を実行する。センサーによって送出される情報は、アクティブ化閾値Qが達せられる一連の瞬間tk (k=0, 1, 2, ...)を含む。図2Aは、センサーの行列のピクセルによって見られた光度のプロファイルP1の例を示す。この強度が、時間tkにおける状態から始まってアクティブ化閾値Qに等しい量だけ増加するたびに、新しい瞬間tk+1が特定され、正のスパイク(図2Bのレベル+1)がこの瞬間tk+1に発せられる。対称的に、ピクセルの強度が、時間tkにおける状態から始まって量Qだけ減少するたびに、新しい瞬間tk+1が特定され、負のスパイク(図2Bのレベル-1)がこの瞬間tk+1に発せられる。そのとき、ピクセルに関する非同期の信号のシーケンスは、ピクセルに関する光のプロファイルに応じた、時間の経過とともに瞬間tkに位置付けられる一連の正のまたは負のパルスまたはスパイクである。これらのスパイクは、正のまたは負のディラック(Dirac)のピークによって数学的に示される可能性があり、それぞれが放出の瞬間tkおよび符号ビットによって特徴付けられる。そして、センサー10の出力は、アドレスイベント表現(AER: address-event representation)の形態である。図2Cは、図2Bの非同期信号の時間積分によってプロファイルP1の近似として再構築され得る強度のプロファイルP2を示す。
【００４７】
アクティブ化閾値Qは、図2A〜図2Cの場合と同様に設定され得るか、または図3A〜図3Bの場合と同様に光度に応じて適応し得る。たとえば、閾値±Qは、イベントの±1の生成のために光度の対数の変化と比較される可能性がある。
【００４８】
例として、センサー10は、「A 128×128 120 dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteinerら、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、566〜576頁または米国特許出願第2008/0135731(A1)号に記載された種類の動的視覚センサー(DVS: dynamic vision sensor)である可能性がある。数ミリ秒の網膜のダイナミクス(活動電位(action potential)の間の最小の継続時間)は、この種のDVSによって近づかれ得る。性能は、動的に、いずれの場合も、現実的なサンプリング周波数を有する通常のビデオカメラによって達成され得る性能を遙かに超えている。示されたイベントはイベントに基づく非同期信号の任意の時間的な幅または振幅または波形を有する可能性があるので、コンピュータ20の入力信号を構成するDVS 10によってピクセルに関して送出される非同期信号の形状は一連のディラックのピークと異なる可能性があることに留意されたい。
【００４９】
本発明に関連して有利に使用され得る非同期的なセンサーの別の例は、論文「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Poschら、IEEE Journal of Solid-State Circuits、Vol.46、No.1、2011年1月、259〜275頁に説明が与えられている非同期時間ベースイメージセンサー(ATIS: asynchronous time-based image sensor)である。
【００５０】
図4は、ATISの原理を示す。センサーを構成する行列のピクセル16は、電子的な検出回路18a、18bにそれぞれ関連するフォトダイオードなどの2つの感光素子17a、17bを含む。センサー17aおよびその回路18aは、上述のDVSの動作と同様の動作を有する。センサー17aおよびその回路18aは、フォトダイオード17aによって受け取られた光度が予め定義された量だけ変化するときにパルスP0を生じる。強度のこの変化を示すパルスP0は、他方のフォトダイオード17bに関連する電子的な回路18bをトリガする。そして、この回路18bは、第1のパルスP1を生成し、それから、所与の量の光(所与の数の光子)がフォトダイオード17bによって受け取られるとすぐに第2のパルスP2を生成する。パルスP1とP2との間の時間シフトδtは、パルスP0が現れた直後にピクセル16によって受け取られる光度に反比例する。ATISから生じる非同期的な情報は、各ピクセルに関する2つのパルス列を含む別の形態のAER表現であり、すなわち、パルスP0の第1の列が、光度が検出の閾値を超えて変化した瞬間を示し、一方、第2の列は、時間シフトδtが対応する光度またはグレイレベルを示すパルスP1およびP2からなる。そのとき、ATISの行列内の位置pのピクセル16から来るイベントev(p, t)は、2つの種類の情報、すなわち、イベントの瞬間tを与える、パルスP0の位置によって与えられる時間情報と、パルスP1とP2との間の時間シフトδtによって与えられるグレイスケール情報とを含む。
【００５１】
センサー10がピクセルの二次元行列からなる場合、ピクセルから生じたイベントが、図5に示されるような三次元空間-時間表現内に置かれる可能性がある。この図において、各点は、差し込み図Aに図示されるように一定の角速度で星が回転する動きによって位置
【００５２】
【数５】
0006665110.tif 000006
【００５３】
を有するセンサーのピクセルp上で瞬間tに非同期に生成されたイベントev(p, t)を示す。これらの点の大部分は、概してらせん状である表面の近傍に分散される。さらに、図は、星の実効的な移動に対応せずに測定される、らせん状の表面から離れた特定の数のいくつかのイベントを示す。これらのイベントは、獲得雑音である。
【００５４】
ICPアルゴリズムの原理は、たとえば、物体の外形を示す物体の形状を表すモデルを形成する点の集合を獲得データ(acquisition data)によって与えられる点の集合に合わせ、それから、誤差関数を最小化することによって点の集合とモデルとの間の幾何学的関係を計算するために、その点の集合を使用することである。
【００５５】
図6Aは、星形が描かれている回転板11に面して配置される、たとえばDVSまたはATIS型の本発明の実験において使用された機器、センサー10を示す。センサー10は、平坦部上の星形の回転を使用してデータを獲得する。比較および例示のみを目的として、図6Bは、星の黒い形状の上に重ね合わされた、約数ミリ秒の時間間隔の間に観測されたイベントを図式的に示す。
【００５６】
図7は、例として、星形を追跡する例を示す。この図において、一番上の行は、図6Aの場合と同様に、その板の上で回転する星を示す画像の通常のシーケンスである。真ん中の行は、時間期間内のイベントを検出するための正確な瞬間とは独立して、イベント累積マップ(event accumulation map)、すなわち、時間期間の間に起こったイベントのすべての平面への射影を示す。最後に、一番下の行は、獲得点(acquisition point)との(実線として示される)モデルのマッチングを示す。左側の列(a)に、星が回転を始める初期状態が示される。アルゴリズムは、モデルを最も近いイベントとマッチングしようとする。イベントからそれほど離れていないモデルの初期位置は、アルゴリズムが大域的な最小に収束するために有用である。列(b)においては、星が、モデルの初期位置の近傍を通り、後者が、星の位置に収束する。最後に、列(c)および(d)においては、星が、回転し続け、モデルが、パラメータが誤差関数を最小化することによって計算される回転RΔθおよび移動ΔTをそのモデルに適用することによって更新される。
【００５７】
シーンが通常のカメラではなくイベントに基づく非同期的なセンサーによって観測される場合、イベントは、それらのイベントが起こるときに正確なタイムスタンプを付けられて受け取られる。ICP型のアルゴリズムは、シーンが含むすべてのイベントを同時に処理することができるように、シーンの全体に関する情報を持つまで待つ必要がない。
【００５８】
イベントev(p, t)は、空間-時間領域における活動を記述する。図8に示されるICPアルゴリズムのイベントに基づくバージョンにおいては、生体ニューロンと同様に、各イベントはそのイベントが現れた後に特定の時間が経過する間影響を及ぼすと考えられる。イベントのこの時間的特性は、持続性関数(persistence function)の形態で導入され得る。そのとき、S(t)は、瞬間tにアクティブであるイベントの空間-時間集合を表す。
S(t)={ev(p, t')/0<t - t'≦Δt}   (2)
ここで、Δtは、持続時間(persistence time)である。時間間隔Δtがイベントのアクティブ化後に経過した後、このイベントは集合S(t)から削除される。
【００５９】
モデルと獲得データとの間の点をマッチングすることは、計算リソースの点で最も要求の厳しいステップを構成する。G(t)は、瞬間tにおける物体の形状を定義する二次元モデルの点の位置の集合を表す。獲得点とモデルの点との間の関連付けは、逐次的に実行される可能性がある。新しいイベントがアクティブ化されるたびに、そのイベントがG(t)の要素、好ましくは、S(t)のイベントにまだ関連付けられていないG(t)の要素とマッチングされる。雑音、または探索される形状の一部ではないその他の点を拒絶するために、距離の基準の検証をこのステップに追加することがあり得る。
【００６０】
センサーが非同期であるので、関連する点の数はかなり大きく変わる。概して、持続時間Δtの間に関連付けられた数個の点から数百個の点が存在する。これは、通常のフレームに基づく手法と大きく異なる。動かない物体は、いかなる刺激も生成せず、したがって、それらの物体の位置を更新する必要はない。シーンがほとんど動きを含まないとき、計算リソースのわずかな部分だけが使用される一方、非常に動的な状況において、アルゴリズムは、情報を更新するためにすべての能力を必要とする。
【００６１】
図8の例において、P(n)およびT(n)は、モデルの位置情報の更新のために保持される第nのイベントの位置および検出時間を表し、M(n)は、この第nのイベントに関連するモデルの点を表す。検出時間T(n)は、アルゴリズムを開始する前に任意に大きな値に初期化される(T(n)=+∞)。時間tにおけるイベントev(p, t)を検出すると、整数のインデックスaは、S(t)の中の最も古いイベントを示し、一方、整数のインデックスbは、S(t)の最も最近のイベントを示し、したがって、S(t)={ev(P(a), T(a)), ev(P(a+1), T(a+1)), ..., ev(P(b), T(b))}である。モデルG(t)は、単にGと記され、Mは、S(t)のイベントに関連付けられたモデルの点の集合を表し、つまり、M={M(a), M(a+1),…, M(b)}である。アルゴリズムが初期化されるとき(ステップ20)、整数のインデックスaおよびbは、それぞれ、1および0に初期化される。
【００６２】
図8に示されるアルゴリズムのバージョンにおいて、モデルの点を検出されたイベントの位置にマッチングする空間変換Ftが、解析的形態の通常の解決策によって、たとえば、特異値に分解すること(SVD、「特異値分解」)によって周期的に推定される。ステップ21において、アルゴリズムは、空間変換の更新期間が経過していない限り、センサー10から生じる新しいイベントを待つ。
【００６３】
時間tにおいて行列内の位置pのピクセルから生じるイベントev(p, t)を受け取った(ステップ22)後、2つの動作、すなわち、集合S(t)を更新することと、モデルGの点を検出されたイベントに関連付けることとが実行される。ループ23〜24において、Δtを超えて古くなるイベントはS(t)から削除され、テスト23が、時間T(a)がt -Δtを超えているかどうかを調べる。T(a)がt -Δtを超えていない場合、数aが、ステップ24において1単位だけインクリメントされ、テスト23が、再び繰り返される。古すぎるイベントは、テスト23においてT(a) > t -Δtであるとき、削除される。
【００６４】
それから、アルゴリズムは、ステップ25においてGの点を新しいイベントに関連付けることによって進行する。この関連付けられた点は、集合S(t)の点にまだ関連付けられていないモデルの点の中で、つまり、集合G - Mの点の中でイベントev(p, t)を生じるピクセルpに位置mが最も近い点である。
【００６５】
【数６】
0006665110.tif 000007
【００６６】
このステップ25において使用される距離の基準d(.,.)は、たとえば、行列の平面内のユークリッド距離である。イベントev(p, t)が集合S(t)に含まれるかどうかを判断する前に、アルゴリズムは、ステップ26において、最小化された距離が閾値dmax未満であるかどうかを調べる。例として、閾値dmaxは、6ピクセルに対応するように選択される可能性がある。テストが異なる閾値が特定の応用により適していることを示す場合、その異なる閾値が当然保持され得る。d(p, m)≧dmaxである場合、イベントは破棄され、アルゴリズムは次のイベントを待つステップ21に戻る。
【００６７】
イベントが探索される物体に帰せられる(テスト26においてd(p, m)<dmax)場合、インデックスbが、ステップ27において1単位だけインクリメントされ、検出時間t、このイベントの位置p、およびこのイベントに関連付けられたばかりのモデルの点mが、ステップ28においてT(b)、P(b)、およびM(b)として記録される。それから、イベントev(p, t)の検出に連続する処理が終了され、アルゴリズムは次のイベントを待つステップ21に戻る。
【００６８】
空間変換の更新期間が過ぎると、更新に貢献するために集合S(t)内に十分な数のイベントが存在し、たとえば、L=5イベントであることを保証するためにテスト30が実行される。したがって、b<a+L - 1(テスト30)である場合、更新は実行されず、アルゴリズムは次のイベントを待つステップ21に戻る。
【００６９】
十分なイベントが存在する(b≧a+L - 1)場合、モデルGを使用することによって探索される空間変換Ftが角度Δθの回転RΔθおよびベクトルΔTの移動の組合せである場合、回転角Δθおよび移動のベクトルΔTを選択するために最小化動作31が実行される。
【００７０】
図9は、本明細書において使用される表記を与える。Hは、決まった位置に配置された、シーン内で追跡される形状を定義する点のパターンを表し、Oは、点のこの集合Hの重心を表す。瞬間tにおいて、このパターンHは、ベクトルの移動Tおよびそのパターンの重心Oの周りの角度θの回転に従って移動され、これは、時間tに受け取られたイベントの処理中に参照されるモデルG=G(t)を与える。処理は、回転の角度θおよび移動ベクトルTの変化Δθ、ΔTの推定値を生じる。
【００７１】
最小化動作31は、たとえば、以下の形態の総和のような距離の基準を最小化するパラメータΔθ、ΔTを見つけることである。
【００７２】
【数７】
0006665110.tif 000008
【００７３】
これは、推定されるパラメータが行列
【００７４】
【数８】
0006665110.tif 000009
【００７５】
によって定義される回転RΔθの角度ΔθおよびベクトルΔTの座標である式(1)の特定の場合である。式(4)において、表記cP(n)およびcM(n)は、原点に関して回転RΔθの中心cを有し、それぞれP(n)およびM(n)を指すベクトルを表す。回転RΔθの中心cの位置は、モデルG(t)に関連して定義される可能性がある。たとえば、図9に示されるように、点cをモデルG(t)の点の重心に配置することがあり得る(そのとき、大域的な移動のベクトルTは、ベクトルOcに等しい)。
【００７６】
ここで、回転RΔθおよび移動ΔTからなる空間変換Ftは、最近考慮に入れられたイベント、すなわち、集合S(t)のイベントが検出されたピクセルのできるだけ近くにモデルG(t)を近づけるためにそのモデルG(t)を動かす変換である。これが、図10に示されることであり、ここで、記号+は、S(t)のイベントが検出されたピクセルP(n)の位置を表し、記号・は、これらのイベントに関連付けられたモデルGの点M(n)の位置を表し、G'は、点M(n)をピクセルP(n)のできるだけ近くに配置し、回転RΔθおよびベクトルの移動ΔTに従ってGの移動の結果として生じる、中心c'の次のモデルを表す。
【００７７】
基準(4)を最小化する回転RΔθおよび移動ΔTは、空間変換の更新の瞬間とその前の更新の瞬間との間のモデルGに対応する形状の動きを明らかにする。ステップ32において、これら2つの集合を更新するために集合GおよびMの点に同じ変換が適用される。モデルGの(または集合Mの)各位置Xは、cY=RΔθ[cX]+ΔTとなるような位置Yによって置き換えられる。ステップ32の後、アルゴリズムは、次のイベントを待つステップ21に戻る。
【００７８】
連続的に推定された回転RΔθの角度Δθおよび移動の対応するベクトルΔTによってそのように特徴付けられる空間変換Ftは、シーン内で追跡される形状の動きを表す。それらのパラメータが、図1のコンピュータ20の出力である。形状Hの決まった基準の位置に関連して定義される角度θおよび移動のベクトルTを得るために連続的に決定された値ΔθおよびΔTを累積することがあり得る。
【００７９】
図8に示された実施形態は、シーン内で探索される形状の追跡情報、すなわち、空間変換Ftのパラメータの更新周波数を制御することを可能にする。概して、この更新周波数は、10μsと1msとの間の周期に対応する。したがって、この更新周波数は、通常のカメラのフレーム周波数よりも速い可能性がある。
【００８０】
持続時間Δtは、シーンの動的な内容に応じて設定される。SVD計算に基づく実装においては、探索される移動可能な物体の完全な外形の点のほとんどすべてがイベントとの対応に含められ得るようにして、集合S(t)がこの完全な外形を保持するように時間間隔Δtが十分に長いことが望ましい。一方、あまりに長い継続時間Δtは、計算の負荷を高め、高速な物体を正しく追跡することを可能にしない。概して、継続時間Δtは、10μsから20msまでの間で選ばれる。
【００８１】
非同期的なセンサー10によって見られるシーン内の形状の追跡における別の手法が、図11に示される。より少ない計算をやはり必要としながらより優れたダイナミクスを提供するこの手法においては、更新されるモデルを更新することを可能にする空間変換Ftが、イベントev(p, t)の検出の前に実行される関連付けとは独立して、(このイベントが探索される物体に帰せられたので)検出されるイベントev(p, t)が生じる行列のおよび関連する点mのピクセルpに応じて決定される。
【００８２】
図11の実施形態においては、非同期的なセンサーによって観測されるシーン内でK個の物体が探索されると考えられる。これらの物体は、整数k(k=1, 2, ..., K)を付番され、それぞれの物体が、Gk(t)または単にGkと表記される点のモデルを有する。単一の物体が追跡されるよくある場合は、K=1とすることによって含められる。
【００８３】
各物体kの追跡を開始するために、その物体のモデルGkが、センサー10の視野内のこの物体の位置取りにかなり近い位置取りによって初期化される(ステップ40)。そして、ステップ41において、アルゴリズムは、センサー10から生じる新しいイベントを待つ。
【００８４】
時間tにおいて行列内の位置pのピクセルから生じるイベントev(p, t)を受け取った(ステップ42)後、モデルGkの点mkを検出されたイベントに関連付けるステップ43が、各物体k(k=1, 2, ..., K)に関して実行される。各物体kに関して、ステップ43は、アルゴリズムがイベントev(p, t)との以前の関連付けを記憶しないので、距離の基準d(mk, p)を最小化するモデルGkの点mkが、イベントに前に関連付けられた点を除外することなく選択されことを除いて、図8を参照して上で説明されたステップ25と同じである。
【００８５】
ステップ44において、ステップ42において検出されたイベントev(p, t)は、物体kに帰せられるか、またはこれが欠けている場合、シーン内の追跡される物体の動きに関連しないものとして除外される。イベントev(p, t)がいずれの物体にも帰せられない場合、アルゴリズムは、次のイベントを待つステップ41に戻る。物体kに帰せられる場合、空間変換Ftが、この物体のモデルGkに関してステップ45において計算される。
【００８６】
イベントev(p, t)を物体kに帰すべきか否かを判断するためにいくつかのテストまたはフィルタリングがステップ44において実行され得る。
【００８７】
最も単純なのは、図8を参照して上で説明されたステップ26と同様に、距離d(mk, p)を閾値dmaxと比較することによって進行することである。d(mk, p)<dmaxである場合、モデルGkの点mkとのピクセルpの関連付けが確認され、物体がこの条件を満たさない場合、帰属の決定は行われない。しかし、ある物体が別の物体を隠す可能性がありつつ、いくつかの追跡される物体がこの条件を満たすことが起こり得る。物体の間の遮蔽の場合を含むこれらの曖昧な場合を解決するために、空間的制約かまたは時間的制約かのどちらかを使用するいくつかの技法が適用される可能性がある。これらの技法が、以降で吟味される。
【００８８】
ステップ44において行われ得る別の処理は、背景のあり得る動きを考慮に入れている。特に、非同期的なセンサー10がそれ自体動いている場合、固定の背景は相対的に移動しており、関心のある物体の追跡に関する処理から除外されるべきである多くのイベントの検出を生じる。背景の動きを考慮に入れる方法が、以降で説明される。
【００８９】
イベントev(p, t)が物体kに帰せられていると、空間変換Ftのパラメータが、ステップ45において計算され、それから、この変換Ftが、ステップ46において後者を更新するためにモデルGkに適用される。最後に、Πkと表記される物体kの変位の平面が、ステップ47において推定される。それから、アルゴリズムは、次のイベントを待つステップ41に戻る。
【００９０】
空間変換Ftを計算するためにモデルGkの点mに関連する1つの現在のイベントpに限定していることは、コスト関数の構成要素fを導入する結果となる。
f=d[p, Ft(m)]   (5)
ここで、d[., .]は、ピクセルの行列の平面内の距離の測定値である。d[., .]は、特に、二次の距離(quadratic distance)である可能性がある。
【００９１】
剛体空間変換がモデルGkの更新のために考慮される場合、所与の中心cの回転RΔθの角度Δθおよび移動のベクトルΔTの決定がなされなければならず、二次の距離によるコスト関数の構成要素は、次のように記述される。
f=||cp - RΔθ[cm] -ΔT||2   (6)
ここで、cpおよびcmは、原点に関して回転RΔθの中心cを有し、それぞれ点pおよびmを指すベクトルを示する。
【００９２】
この構成要素fは、任意の角度Δθに関して、選択ΔT=cp - RΔθ[cm]がf=0をもたらすので、無限のペア(Δθ, ΔT)に関して最小化され得る。目的は、fが単なる構成要素である大域的なコスト関数を最小化することである。しかし、この構成要素fは、モデルGkの更新中にある種の勾配降下を実行するために、回転の角度θ(またはΔθ)および移動のベクトルT (またはΔT)に関連する勾配の項∇θf、∇Tfの推定を可能にする。その他の観点では、空間変換Ftに関してパラメータの値が保持される。
ΔT= -η1.∇Tf(Δθ0, ΔT0)   (7)
Δθ= -η2.∇θf(Δθ0, ΔT0)   (8)
ここで、η1およびη2は、予め定義された正の収束ステップである。例として、η1=0.25およびη2=0.025が、良好な感度を得るために選ばれる可能性がある。η1およびη2の好適な値は、いくつかのシミュレーションまたは実験を行うことによって必要に応じてそれぞれの応用に関して調整されるべきである。(7)および(8)において、偏導関数∇θf、∇Tfが、回転の角度および移動ベクトルの好適な値Δθ0、ΔT0に関して取得される。
【００９３】
fの偏微分は、式に関して、
【００９４】
【数９】
0006665110.tif 000010
【００９５】
を有し、ここで、(.)Tは、転置の演算を表し、
【００９６】
【数１０】
0006665110.tif 000011
【００９７】
である。これらの偏微分は、ΔT0およびΔθ0の特定の値に関して計算されることになる。それから、結果∇Tf(Δθ0, ΔT0)、∇θf(Δθ0, ΔT0)が、モデルGkを更新するためにステップ46において使用されるパラメータΔTおよびΔθを得るために(7)および(8)に入れられる。
【００９８】
方法の実施形態において、偏微分は、Δθ0に関して角度
【００９９】
【数１１】
0006665110.tif 000012
【０１００】
を選択し、ΔT0に関してベクトルcp - cm'を選択することによって(9)および(10)に従って計算され、
【０１０１】
【数１２】
0006665110.tif 000013
【０１０２】
である。回転のこの角度Δθ0および移動のこのベクトルΔT0は、もし点mに適用されるとするならば、図12に示されるように、その点mをイベントev(p, t)の位置pに一致させる。方法のこの実施形態において、ステップ45は、したがって、(8)〜(9)に従って勾配∇Tf(Δθ0, ΔT0)、∇θf(Δθ0, ΔT0)を計算し、それから、(6)〜(7)に従って空間変換FtのパラメータΔT、Δθを計算する際に
【０１０３】
【数１３】
0006665110.tif 000014
【０１０４】
および
【０１０５】
【数１４】
0006665110.tif 000015
【０１０６】
とすることにである。
【０１０７】
計算(9)〜(10)に関して、その他の選択、たとえば、Δθ0=0およびΔT0=mp(mをp上に持ってくる単純な移動)またはΔθ0=ΔT0=0があり得る。2回の反復の間の基本的な変位は振幅が小さいので、偏微分(9)〜(10)が計算される正確な点(ΔT0, Δθ0)は、(0, 0)において、またはmとpとの間の距離に関して選択される場合、おそらくほとんど影響がない。さらに、この選択は、回転の中心cの選択の取り決めに応じて変わる。回転の中心cは、概して、モデルGkの点の重心であるが、これは必須ではない。
【０１０８】
方法の多くの応用において、空間変換Ftは、上述のように、回転と移動との組合せによって表される可能性がある。しかし、物体のモデルGkの変形を可能にすることによる代替があり得る。
【０１０９】
特に、アフィン変換Ftを考慮に入れることがあり得る。これは、画像平面に制限された動きのみでなく、探索される物体の三次元の動きを考慮に入れることを可能にする。2Dアフィン行列は、2つの軸に沿った倍率sx、syの適用によって回転の行列RΔθから生じる。これは、形態
【０１１０】
【数１５】
0006665110.tif 000016
【０１１１】
の関係に従って点mおよびpをマッチングしようとすることに戻り、この形態において、点cは、やはり、モデルGkの点の重心において選択される可能性がある。倍率sx、syに関連したコスト関数の構成要素fの偏微分の計算によって、勾配降下の同じ原理が、これらの倍率を推定するために適用され得る。第1の近似として、(6)および(7)に従ってΔTおよびΔθの推定を完了するために、別の収束ステップη3を使用し、
sx=1+η3.( |px|  -  |mx| )   (11)
sy=1+η3.( |py|  -  |my| )   (12)
とすることがあり得る。式(11)および(12)において、|px|および|py|は、ベクトルcpの座標の絶対値であり、|mx|および|my|は、ベクトルcmの座標の絶対値である。
【０１１２】
センサーの非同期信号において追跡される物体kが単に一定速度
【０１１３】
【数１６】
0006665110.tif 000017
【０１１４】
で移動されているエッジである場合、図13は、三次元、すなわち、ピクセルの2D行列の2つの方向に対応する2つの空間的次元x、yおよび時間の次元tを有する空間内のこのエッジに帰せられるイベントを示す。エッジは、この平面内に含まれ、
【０１１５】
【数１７】
0006665110.tif 000018
【０１１６】
に比例する速度ベクトルVに従って平面Πk(t)をスキャンする。実際は、イベントを物体に帰することの獲得雑音およびあり得る誤差は、最近物体に帰せられたイベントによって通り抜けられた平均平面(mean plane)として延びる平面Πk(t)のまわりにイベントの特定のばらつきがあるようなものである。
【０１１７】
平面Πk(t)、または表記を簡単にするために時間インデックスtが省略される場合Πkは、その平面の点gk(t)またはgkのいずれかと、その平面の法線の方向を与えるベクトルnk(t)またはnkによって定義され得る。図13の表現において、点gkは、瞬間t -Δtとtとの間の物体kに帰せられるイベントの重心に一致し、Δt=40msである。主成分分析(PCA)等の特定の基準で、平面Πkと、瞬間t -Δtとtとの間の物体kに帰せられるイベントとの間の距離の合計を最小化することによって平面Πkのベクトルnkおよび点gkを推定するために、最小二乗法(least square fit)が使用され得る。
【０１１８】
この最小化する計算は、物体kの瞬間的な変位を表す平面Πkを推定するためにステップ47において実行される。
【０１１９】
変位の平面Πkを決定する方法に関するさらなる詳細に関しては、R. Benosmanらによる論文「Event-based Visual Flow」、IEEE Transaction On Neural Networks and Learning Systems、Vol. 25、No. 2、2013年9月、407〜417頁または特許出願国際公開第2013/093378(A1)号を参照し得る。
【０１２０】
追跡される物体が単純なエッジではなく、センサーによって見られる形状が二次元に広がる物体である場合、物体kに割り当てられた最近のイベントと平面のパラメータnk、gkによって定義される平面との間の距離の合計を最小化することによって変位の平面Πkを決定することがやはり可能である。三次元空間-時間表現において、この平面Πkは、物体kの局所的な変位全体を明らかにする。
【０１２１】
物体kに関して推定された変位の平面Πkは、新しいイベントev(p, t)を物体kに帰すべきか否かを判断するために、図11のステップ44においていくつかの方法で使用される可能性がある。
【０１２２】
ステップ44に戻ると、そのステップは、特に、いくつかの物体が追跡される(K>1)場合、イベントの帰属を決定するために、遮蔽の場合を解決すること、またはいくつかの物体の間の曖昧性のより広い場合を解決することを含む可能性がある。ステップ43において、イベントev(p, t)と追跡される様々な物体のモデルGkに最も近い点mkとの間のそれぞれの距離d(mk, p)が計算された。これらの距離d(mk, p)のうちの1つのみが閾値dth、たとえば、dth=3ピクセル未満である場合、イベントはこの物体に帰せられる。対称的に、いくつかの異なる物体に帰せられ得るイベントは、曖昧なイベントと考えられる。
【０１２３】
この処理が、図14に示される。この処理は、ステップ50において、それぞれ1および0へのインデックスkおよびjの初期化から始まる。ステップ43において最小化された距離d(mk, p)が閾値dth未満であるかどうかが、テスト51において調べられ、肯定的である場合、ステップ52において、インデックスjが1単位だけインクリメントされ、ステップ53において、テーブルの第jのエントリk(j)がkに等しくされる。ステップ53の後、またはテスト51においてd(mk, p)≧dthであるとき、テスト54において、すべての物体が調べられた(k=K)かどうかが調べられる。k < Kである場合、テスト54の後に、ステップ55においてインデックスkを1単位だけインクリメントすることと、それから、次のテスト51に戻ることとが続く。テスト54においてk=Kであるとき、整数jが評価される。j=0である場合、いずれの物体も、検出されたイベントev(p, t)に十分に近いその物体のモデルを持たないと考えられ、イベントは、拒絶される(図11のステップ41に戻る)。j=1である場合、イベントev(p, t)が、物体k=k(1)に帰せられる(図11のステップ45への経路)。j>1である場合、曖昧性の削除56が、物体k(1)、...、k(j)の間で実行されなければならない。
【０１２４】
曖昧性の削除56において空間的制約を考慮に入れることは、以下のいくつかの方針に従って行われ得る。
・最近に帰する:  新しいイベントev(p, t)は、モデルGkが最も近い(k(1)、...、k(j)の中の)物体k、すなわち、d(mk, p)を最小化する物体に帰せられる。理論的には、この方針は、新しいイベントがモデルGkに完璧に対応する場合、およびデータがいかなる雑音も含まない場合で、遮蔽による曖昧性がないときに正しく働く。
・すべてを拒絶する:  この手法は、単純に、曖昧なイベントを無視し、つまり、図11のステップ45〜47が、イベントev(p, t)に関して実行されない。この手法は、事前に明確な判断をし得ないので論理的であるように見える。しかし、追跡は、形状のダイナミクスを損なう恐れがあるので失敗する可能性がある。
・すべてを更新する:  曖昧なイベントev(p, t)の近くのすべてのモデルGkが更新される。その他の観点では、図11のステップ45〜47が、d(mk, p)≦dthであるような各物体kに関して実行される。
・重み付けされた更新:  曖昧なイベントev(p, t)は、距離の反対方向の変化する重み付けによってそれぞれの近くのモデルGkに寄与する。言い換えれば、図11のステップ45〜47は、それぞれの重み係数αkが、たとえば、d(mk, p)に反比例する距離d(mk, p)の減少関数として計算され、Σαk=1であるようにして、d(mk, p)≦dthであるような各物体kに関して実行される。
【０１２５】
イベントに基づく獲得プロセスの非常に高い時間解像度は、曖昧な状況の解決のためのさらなる情報を提供する。物体kの情報を含み、部分的に、この物体のダイナミクスを符号化する現在のイベントのレートrkが、追跡される各形状Gkに関して決定され得る。
【０１２６】
本明細書において、tk,0、tk,1、...、tk,N(k)は、長さΔtがおよそ数ミリ秒から数十ミリ秒までである可能性がある時間窓の間に物体kに帰せられた、番号がN(k)+1である最も最近のイベントの時間のラベルを表し、tk,0<tk,1<...<tk,N(k)である(したがって、tk,N(k)において検出されたイベントが、物体kに関して最も新しい)。これらの時間のラベルは、
【０１２７】
【数１８】
0006665110.tif 000019
【０１２８】
によって定義されるイベントのレートrkの移動平均を各物体kに関して計算することを可能にする。
【０１２９】
現在のイベントのレートrkのこの計算は、瞬間tk,N(k)におけるこのイベントの検出に続いてイベントが物体kに帰せられたら(ステップ44)すぐに実行される可能性がある。
【０１３０】
そして、次のイベントev(p, t)がいくつかの追跡される物体の間の曖昧性を生じるとき、ステップ44は、以下の式による、曖昧なイベントev(p, t)が帰せられ得る各物体kに関するスコアCkの計算を含む可能性がある。
Ck=(t - tk,N(k)) rk   (14)
【０１３１】
このスコアCkは、各物体kとの曖昧なイベントev(p, t)の時間コヒーレンシー(time coherency)を評価することを可能にする。イベントev(p, t)が物体kに属する場合、継続時間t - tk,N(k)が現在のレートrkの逆数に近いことが予測され得る。そのとき、ステップ44において時間的制約を考慮に入れることは、(14)に従ってスコアCkを計算した後、イベントev(p, t)が帰せられ得る様々な物体kからスコアが1に最も近い物体を選択することである。この選択がなされると、レートrkが、選択された物体に関して更新される可能性があり、制御が、図11のステップ45にわたる可能性がある。
【０１３２】
曖昧性を削除するために時間的制約を考慮に入れ、図14のステップ56の実行のモードを形成する処理が、図15に示される。その処理は、ステップ60においてインデックスiの1への初期化から始まり、物体kのインデックスが、k(1)に初期化され、スコアCが、(t - tk(1),N(k(1))) rk(1)に初期化される。ループ61〜65は、イベントev(p, t)が帰せられ得る様々な物体のスコアCk(i)を評価するために実行される。ステップ61において、インデックスiが、1単位だけインクリメントされる。ステップ62において、物体k(i)のスコアCk(i)が、C'=(t - tk(i),N(k(i))) rk(i)に従って計算される。|C' - 1|≧|C - 1|(テスト63)である場合、インデックスiを候補の物体の番号jと比較するためにループ脱出テスト65が実行される。テスト63において|C' - 1|<|C - 1|である場合、ループ脱出テスト65に抜ける前にインデックスkをk(i)で置き換え、C=C'の更新を行うためにステップ64が実行される。テスト65においてi < jである限り、プロセスは、次の反復のためにステップ61に戻る。j=jであるとき、イベントを物体kに帰することが、完了しており、アルゴリズムは、選択された物体kに関する数N(k)および時間のラベルtk,0、tk,1、...、tk,N(k)を更新するステップ66に移る。そのとき、レートrkは、ステップ67において(12)に従って更新され、アルゴリズムは、図11のステップ45に移る。
【０１３３】
ステップ56において曖昧性を削除するための別の方法は、イベントev(p, t)に帰せられ得る様々な物体k(1)、...、k(j)の変位の平面Πk(1)、...、Πk(j)を参照することによって空間的制約と時間的制約とを組み合わせることである。
【０１３４】
特に、イベントev(p, t)の帰属の決定のために、k(1)、...、k(j)の中で、イベントev(p, t)と各平面Πk(1)、...、Πk(j)との間の、三次元空間-時間表現内で測定された距離を最小化する物体kを保持することがあり得る。そのとき、イベントは、以下であるように物体kに帰せられ、
【０１３５】
【数１９】
0006665110.tif 000020
【０１３６】
であり、D(i)= |egk(i). nk(i)|   (16)
であり、ここで、「.」は、三次元空間内の2つのベクトルの間のスカラ積を示し、nk(i)は、平面Πk(i)の法線の方向を与えるベクトルであり、egk(i)は、三次元空間内の検出されたイベントev(p, t)を示す点eから平面Πk(i)の点gk(i)のうちの1つを指すベクトルである。
【０１３７】
曖昧性を削除し、図14のステップ56の別の実施形態を形成するために空間的制約と時間的制約とを組み合わせる処理が、図16に示される。その処理は、ステップ70においてインデックスiの1への初期化から始まり、物体kのインデックスが、k(1)に初期化され、距離Dが、|egk(1). nk(1)|に初期化される。ループ71〜75は、イベントev(p, t)が帰せられ得る様々な物体の距離D(i)を評価するために実行される。ステップ71において、インデックスiが、1単位だけインクリメントされる。ステップ72において、物体k(i)に関する距離D(i)が、D=|egk(i). nk(i)|に従って計算される。D'≧D (テスト73)である場合、インデックスiを候補の物体の番号jと比較するためにループ脱出テスト75が実行される。テスト73においてD'<Dである場合、テスト75に抜ける前にインデックスkをk(i)で置き換え、D=D'の更新を行うためにステップ74が実行される。テスト75においてi<jである限り、プロセスは、次の反復のためにステップ71に戻る。i=jであるとき、イベントを物体kに帰することが、完了しており、アルゴリズムは、図11のステップ45に移る。
【０１３８】
非同期的なセンサー10が動いているとき、イベントは、シーンの固定の背景によっても生成される。図17は、追跡される物体kに属するイベントとこの物体に関して推定された変位の平面Πkとの間の距離の典型的な分布(曲線78)と、固定の背景に属するイベントと物体の変位の平面との間の距離の典型的な分布(距離79)とを示す。これは、変位の平均平面Πkが追跡される物体kに関するイベントを背景を含む追跡されない物体に関するイベントと分けるための区別の基準を与えることができることを示す。追跡される物体とコヒーレント(coherent)でない、すなわち、変位の平面Πkから「遠すぎる」イベントは、単純に無視される。
【０１３９】
そのとき、シーンの背景から生じたイベントをフィルタリングするための1つの方法は、(図11のステップ47において推定された)追跡される物体の変位の平面Πkと時間窓Δtの間のステップ44においてこの物体に帰せられた検出されたイベントev(p, t)を示す点との間の距離の統計的な分布を推定することである。この統計的な分布は、図17の曲線78に対応する。この統計的な分布は、変位の平面Πkと物体に帰せられたイベントとの間の平均の距離dkと、分布の標準偏差σkとを評価することを可能にする。これらのパラメータを使用して、許容可能な距離の値に関して間隔Ikが決定される。新しい検出されたイベントev(p, t)が追跡される物体に割り当てられるべきであるかどうかに関して判断がなされるべきであるとき、三次元空間内のイベントev(p, t)を示す点と平面Πkとの間の距離D=|egk.nk|(16)に従って計算が行われる。この距離Dが間隔Ikから外れる場合、イベントは、物体kに帰せられない。対照的に、イベントは、物体kに帰せられるか、または、特に、図14〜図16を参照して上で検討されたような任意の遮蔽を考慮に入れるためにその他のフィルタリングにかけられる。
【０１４０】
たとえば、間隔Ikは、平均の距離dkの値に中心を置き、その間隔の幅は、標準偏差σkの倍数である。
【０１４１】
背景のあり得る動きを考慮に入れるために、図11のステップ44は、図18に示される処理を含み得る(単一の物体kが追跡される特定の場合。この場合は、K > 1である場合に容易に一般化され得る)。ステップ42におけるイベントev(p, t)の検出の後、距離D=|egk.nk|がステップ80において計算され、この距離Dが間隔Ik内に入るかどうかを判定するためにテスト81が実行される。DがIkの外にある場合、プロセスは、図11のステップ41に戻る。DがIk内に入る場合、イベントev(p, t)は、背景の動きではなく物体kに帰せられる。そのとき、物体kの変位の平面Πkと相対的な距離の分布(曲線78)が、ステップ82において距離Dによって更新され、それから、間隔Ikが、ステップ83において再計算される。そして、プロセスは、図11のステップ45に移る。
【０１４２】
図14〜図18を参照して説明されたプロセスは、図11による本発明の実施形態に関連して示された。しかし、追跡される複数の物体の間のあり得る遮蔽およびシーンの背景のあり得る動きを考慮に入れるために使用されるこの処理が、特に、図8を参照して説明されたSVD型の技法に頼るとき、形状を追跡する方法のその他の実施形態によっても使用され得ることが気づかれるであろう。
【０１４３】
デジタル試験(digital experiment)が、上で開示された方法の性能を明らかにするために行われた。これらの試験は、以下の例に包含される。
【実施例１】
【０１４４】
試験は、剛体空間変換Ft、すなわち画像の平面内の移動および回転からなる空間変換を探すことによって、図6Aおよび図7を参照して上で示された、回転するディスクに描かれた星の場合に行われた。
【０１４５】
ディスクは、毎分670回転の速度で回転された。モデルGの形状を与えるパターンHが、スナップショットから星のエッジごとに6つの点を選択することによって手動で生成された。6ピクセルの距離の閾値が、雑音の影響を取り除き、計算の負荷を削減するために使用された。図7によって示されたように、アルゴリズムは、高い回転速度にもかかわらず効果的な方法で回転する形状を追跡することに成功する。
【０１４６】
図19は、以下の追跡の3つの方法によって得られた星形の追跡の精度を比較することを可能にする。
・出力信号がフレームからなる通常のカメラの画像を処理するICPアルゴリズム(図19の曲線85)。比較が正確であるために、フレームを区別した後に残っているピクセルの位置のみがICPアルゴリズムによって考慮される。
・50μsの期間にわたって収集されたイベントを考慮することによって、図8を参照して示された方法で、SVDの手法に基づく解析的な形態の推定とともに非同期的なイベントに基づくセンサー10を使用する形状追跡の方法(曲線86)。
・図11を参照して示された方法で、イベントev(p, t)の検出の前に実行された関連付けとは独立して、このイベントev(p, t)を生じる行列のピクセルpとモデルの点mとの間の現在の関連付けに従って更新されたモデルの推定とともに非同期的なイベントに基づくセンサー10を使用する形状追跡の方法(曲線87)。
【０１４７】
形状追跡の精度を評価するために、モデルの集合とアクティブなイベントの位置との間の平均の距離が200μsごとに計算される。平均誤差は、曲線85、86、および87に関してそれぞれ2.43、1.83、および0.86ピクセルであり、それぞれの標準偏差は、0.11、0.19、および0.20ピクセルである。センサーの非同期信号を考慮に入れることは、特に、図11の場合、形状追跡の方法の著しい改善を可能にする。
【０１４８】
より優れた時間の精度は、より正確な追跡につながる。誤差の曲線は、刺激の反復的な回転による振動(図19の差し込み図)を示す。追跡誤差は、アルゴリズムの再現性および信頼性の良好な特性を示す。残余誤差(residual error)は、形状の角度位置に関連して等方性応答(isotropic response)を与えない、センサーの制限された空間解像度と組み合わされたピクセルの正方形の行列の幾何学的配置によるものである。
【０１４９】
モデルGに関して保持される点の数は、計算のコストおよび精度に影響を与える。
【０１５０】
図11による実施形態の場合、等しい画像レート(image rate)を1つのイベントを処理するために必要とされる計算の時間の逆数として定義することがあり得る。
【０１５１】
例において、追跡プログラムは、2.8GHzでクロック制御される「Intel Core i5」型の中央演算処理装置(CPU)を備えたコンピュータ上で実行され、このCPUの能力の25%を占有していた。この構成において、モデルの90点のサイズは、200kHzの等しい画像レートに対応する検出の周波数を提供できるように見えた。モデル内の最大で約2000点まで、後者は、少なくとも11kHzの等しい画像レートで更新され得る。経験により、60点から70点までのモデルに関して、アルゴリズムが最大1250rpmの速度で移動される形状をリアルタイムで追跡することができることが示された。
【０１５２】
概して、物体の外形の角をモデルに含めることに対する関心が存在する。しかし、物体の形状の直線的なエッジに沿って、追跡の最終的な精度に悪影響を与えることなく点の数を減らすことが可能である。
【０１５３】
点の数が増えるとき、追跡誤差は、ゼロに向かって下がらず、非同期的なセンサーの空間解像度の限界に関係がある値である約0.84ピクセルに向かって下がる。必然的に、モデルがより多くの点を含むほど、追跡の精度はより良くなるが、計算コストはより高くなる。モデルに関する60点から100点のサイズは、高い追跡周波数(約200kHz)を保つことによって相応の精度(約0.90ピクセル)を得るためのほどよい妥協点である。
【実施例２】
【０１５４】
実験は、図11による実施形態において式(6)、(7)、(11)、および(12)を使用して計算されたアフィン空間変換を考慮に入れることによっていくつかの形状(H形、自動車形、および星形)の場合に行われた。この実験中、物体の形状は、図20(H形のa〜d、自動車形のe〜h、星形のi〜l)に示される方法で変形され、サイズを変更される。
【０１５５】
図21は、自動車形の追跡中の形状の元のサイズに関連する倍率sx、syを示す(それぞれ、曲線90および91)。縮尺の関係は、パースペクティブ(perspective)の変化が実験中に水平軸に沿ってよりも垂直軸に沿ってより頻繁に起こるので2つの軸に沿って異なる。(92として描かれた)トラッキング誤差は、0.64ピクセルの平均値および0.48ピクセルの標準偏差を明らかにした。
【０１５６】
したがって、図11を参照して上で説明された方法は、アフィン変換に関して探索中に良好な性能をもたらす。
【実施例３】
【０１５７】
この実験においては、自動車の交通データが、非同期的なセンサーによって獲得された。図22に示されるように、4つの連続的な瞬間に、数台の車両が、いくつかのレーンを同時に走っていた。図22の列(a)は、数マイクロ秒の間に非同期的なセンサーによって生成され、蓄積されたイベントを示し、列(b)は、対応するグレイスケール画像を示す。選択されたシーンは、動かない物体(木、燈柱、...)が原因である大きな遮蔽があり、堅牢な追跡に関する大きな課題を形成する移動可能な物体(車両)がある決定的な瞬間を有することが分かる。
【０１５８】
自動車およびトラックに対応する2つの形状95、96が、アフィン変換Ftを探すことによる図11に示された方法によって追跡された。式(6)、(7)、(11)、および(12)の収束ステップη1、η2、およびη3は、それぞれ、0.1、0.002、および10-5に設定された。自動車に関するモデルG1が67点を含んでおり、トラックに関するモデルG2は、102点を含んでいた。これらのモデルは、獲得された画像のピクセルを手動で指し示すことによって生成された。
【０１５９】
図23は、図11による方法およびイベントに基づく非同期的なセンサーを用いて観測された追跡誤差を示し、一方、図24は、フレームベース(frame base)によりカメラから生じる画像を用いる通常の方法を用いて観測された同じ誤差を示す。比較が適切であるために、通常のフレームに基づくICP技法が、100フレーム毎秒の頻度で再構築されたグレイスケール画像に適用された。各画像は、連続するフレームの間の違いを計算し、閾値演算を適用することによって移動し得るエッジを得るために前処理される。イベントに基づく方法の時間的精度は、約1μsであった。
【０１６０】
図11によるイベントに基づく方法に関して、平均追跡誤差は、0.86ピクセルであり、標準偏差は0.19ピクセルであり(図23)、一方、通常のフレームに基づく方法は、5.70ピクセルの平均追跡誤差を生じ、標準偏差は2.11ピクセルであった(図24)。図23のサムネイル(a1)〜(a5)および図24の(b1)〜(b5)は、「トラック」の物体が遮蔽に遭い、追跡誤差の最大を生じる状況を示す。
【０１６１】
本発明による方法によって得られるより高い時間的精度が、通常のフレームに基づく方法よりも優れた追跡の安定性によって達成されることは注目に値する。通常の方法において、獲得頻度を増やすことである(高価な)解決策は、常に遮蔽の状況を正しく処理するために十分であるとは限らない。反対に、非同期的なセンサーによって生成されるイベントに基づく信号の動的な内容は、アルゴリズムのためのより安定した入力データをもたらす。動かない障害物は、いかなるイベントも生じず、したがって、実質的に、追跡プロセスに影響を与えない。
【実施例４】
【０１６２】
曖昧性を削除するためのいくつかの方針が、遮蔽される可能性がある複数の物体の追跡に関してテストされた。
【０１６３】
同じ方向に異なる速度で移動される「自動車」の物体および「トラック」の物体の形状が、自動車の交通を含む実際のシーン内で同時に追跡された。しばらくの間、トラックおよび自動車の形状は、トラックが自動車を追い越すまでセンサー10の視野内で重ね合わされる。トラックおよび自動車以外の物体は、背景雑音として処理される。
【０１６４】
図25は、
・「トラック」の物体から生じるイベントと物体「トラック」の重心との間で観測された距離(曲線100)と、
・「自動車」の物体から生じるイベントと「自動車」の物体の重心との間で観測された距離(曲線101)と、
・「トラック」の物体から生じるイベントと「自動車」の物体の重心との間で観測された距離(曲線102)と、
・「トラック」の物体から生じるイベントと「自動車」の物体の重心との間で観測された距離(曲線103)とを示す。
【０１６５】
曖昧性は、これらの曲線が同様の値を通過するときに生み出され、つまり、2つの車両の形状が、(約2.2sから2.9sの間)視野内で重なる。この場合、空間的な情報の使用は、共通領域のサイズが非常に小さくない限り不十分である可能性がある。
【０１６６】
図26は、「トラック」の物体の平均のイベントのレートrk (曲線105)および「自動車」の物体の平均のイベントのレートrk (曲線106)を示す。この実験においては、自動車に関する約3000イベント毎秒のイベントのレートおよびトラックに関する約5000イベント毎秒のイベントのレートに関連するシーケンス全体の間、2つの車両の形状が分離可能であり続けるように、2つの曲線が分けられることが分かる。しかし、分けられ得るこの特性は、必ずしもすべてのシーケンスに関して保証されるとは限らない。
【０１６７】
概して、通常、時間的制約を、たとえば空間的制約としてのさらなる制約と組み合わせることが好ましい。
【０１６８】
図27〜図32は、「トラック」の物体のモデルの速度(曲線110)および「自動車」の物体のモデルの速度(曲線111)を、連続的な画像上の対応する点を特定することによって手動で決定された実際の速度(それぞれ、点線の曲線112および113)と比較することによって図11による方法の実施中に推定されたそれらのモデルの速度を示す。平均速度は、それぞれ、トラックに関して42.0ピクセル/sおよび自動車に関して24.3ピクセル/sであった。6つの図は、曖昧性を削除するための6つの異なる方針、すなわち、「最近に帰する」(図27)、「すべてを拒絶する」(図28)、「すべてを更新する」(図29)、「重み付けされた更新」(図30)、「レートrkに基づく時間的制約」(図31)、および「変位の平面Πkを使用する空間的制約と時間的制約との組合せ」(図32)に対応する。図27〜図32に含まれるサムネイルは、方法の間の違いを学ぶための最も興味深い瞬間を示す。各曲線の始まりは、遮蔽が起こっていない限り同じである。グラフの右側部分に示される百分率は、一方の曲線110と曲線112との間および他方の曲線111と曲線113との間の平均の相対偏差に対応する。
【０１６９】
「最近に帰する」方針は、トラックのモデルが自動車のモデルによるそのトラックのモデルの遮蔽の後に見失われるので、比較的悪い結果をもたらすことが図27において分かる。「すべてを拒絶する」方針(図28)は、今度は、遮蔽の後に見失われるのが自動車のモデルであるので、もはや十分でない。
【０１７０】
「すべてを更新する」方針(図29)は、2つの車両の形状が見失われることなく追跡されたままであるので好ましいように見える。シーケンスの最後に、トラックによって生成されたイベントは、自動車に関する結果として得られる軌跡がトラックの結果として得られる軌跡に向かってわずかにそれ、自動車の推定された速度が増えるときにトラックの推定された速度が減るようにして自動車のモデルを引きつける(図29の(c3)参照)。
【０１７１】
「重み付けされた更新」の方針は、距離に依存する重み付けによって様々な物体の間の曖昧なイベントによってもたらされるダイナミクスを分散させる。図30は、トラックおよび自動車が見失われることなく追跡され、速度の曲線が実際の速度により一致することを示す。「すべてを更新する」方針と同じ理由で、シーケンスの最後にまだ違いがあるが、これらの誤差の大きさはより小さい。「重み付けされた更新」の方針は、複数の物体が交差または衝突するとき、空間的制約に基づいてそれらの中で好ましい。
【０１７２】
「レートrkに基づく時間的制約」の方針(図31)は、この実験の枠組の中で良好な結果をもたらす。しかし、その方針の信頼性は、目標の物体が同様のイベントのレートを有するとき、保証されない。
【０１７３】
「変位の平面Πkを使用する空間的制約と時間的制約との組合せ」の方針は、「トラック」の物体の変位の平面Π1および「自動車」の物体の変位の平面Π2を推定するために期間Δt 3 sとともに使用された(図33)。図32に示されるように、この方針は、2つの車両の追跡において最も小さな誤差を生じる方針である。これは、誤った帰属の決定を削除し、雑音に対するより優れた堅牢性を獲得することによって局所的な空間-時間平面Π1、Π2が近傍を実質的に制限するという事実によって説明され得る。より信頼性の高い帰属の決定のプロセスのおかげで誤差がトラックと自動車との間でより一様に分散されるに留意することは、興味深い。
【実施例５】
【０１７４】
移動可能なセンサーによって生成された非同期信号の2つのシーケンスが、図16を参照して説明された背景によって生成されたイベントを削除するための方法を適用することによってテストされた。
【０１７５】
第1のシーケンスにおいては、非同期的なセンサーが手元に保持され、同時に動かされながら星形が屋内環境内で移動された。図34は、シーン(a1)〜(a5)のいくつかのスナップショットを示す。
【０１７６】
結果を評価するために、(星の動きとセンサーとの動きとを組み合わせる)図11による方法によって計算された星の速度が、図34の曲線116によって示され、手動で取得され、点線の曲線117によって示される実際の速度と比較される。推定されたデータと実際のデータとの間の平均誤差は、6%と推定される。シーンは背景の多くのエッジを含むが、追跡プロセスは堅牢なままである。
【０１７７】
第2のシーケンスは、自動車の交通をやはり有する屋外のシーンから来る。自動車の形状が、手動で移動される非同期的な視覚センサー10を用いて追跡される。
【０１７８】
図35は、自動車の速度の推定の結果を示し(曲線118)、その結果を手動で決定された実際の速度と比較する(曲線119)。(たとえば、歩道または横断歩道が車に近いかまたは重ね合わされるときの)処理するのが難しい状況にもかかわらず、アルゴリズムの良好な時間-空間特性が、受け入れられ得る結果をもたらす。速度に対する平均推定誤差は、15%である。追跡の品質は、自動車がパースペクティブの実質的な変化にさらされ始めるとき、約3.5秒から劣化させられる(図35のb5)。
【０１７９】
全体的に、上で明らかにされたようなイベントに基づく追跡は、センサーおよび追跡される物体が動いているときでさえも堅牢である。
【０１８０】
上述の実施形態は、本発明の例示である。添付の請求項に由来する本発明の範囲を逸脱することなくそれらの実施形態に対して様々な修正がなされ得る。
【符号の説明】
【０１８１】
10  センサー
11  回転板
15  光学部品
16  ピクセル
17a  感光素子
17b  感光素子
18a  検出回路
18b  検出回路
20  コンピュータ
78  曲線
79  曲線
85  曲線
86  曲線
87  曲線
90  曲線
91  曲線
92  トラッキング誤差
95  形状
96  形状
100  曲線
101  曲線
102  曲線
103  曲線
105  曲線
106  曲線
110  曲線
111  曲線
112  曲線
113  曲線
116  曲線
117  曲線
118  曲線
119  曲線
【図１】
0006665110.tif 000023
【図２Ａ】
0006665110.tif 000024
【図２Ｂ】
0006665110.tif 000025
【図２Ｃ】
0006665110.tif 000026
【図３Ａ】
0006665110.tif 000027
【図３Ｂ】
0006665110.tif 000028
【図４】
0006665110.tif 000029
【図５】
0006665110.tif 000030
【図６Ａ】
0006665110.tif 000031
【図６Ｂ】
0006665110.tif 000032
【図７】
0006665110.tif 000033
【図８】
0006665110.tif 000034
【図９】
0006665110.tif 000035
【図１０】
0006665110.tif 000036
【図１１】
0006665110.tif 000037
【図１２】
0006665110.tif 000038
【図１３】
0006665110.tif 000039
【図１４】
0006665110.tif 000040
【図１５】
0006665110.tif 000041
【図１６】
0006665110.tif 000042
【図１７】
0006665110.tif 000043
【図１８】
0006665110.tif 000044
【図１９】
0006665110.tif 000045
【図２０】
0006665110.tif 000046
【図２１】
0006665110.tif 000047
【図２２】
0006665110.tif 000048
【図２３】
0006665110.tif 000049
【図２４】
0006665110.tif 000050
【図２５】
0006665110.tif 000051
【図２６】
0006665110.tif 000052
【図２７】
0006665110.tif 000053
【図２８】
0006665110.tif 000054
【図２９】
0006665110.tif 000055
【図３０】
0006665110.tif 000056
【図３１】
0006665110.tif 000057
【図３２】
0006665110.tif 000058
【図３３】
0006665110.tif 000059
【図３４】
0006665110.tif 000060
【図３５】
0006665110.tif 000061