(57)【特許請求の範囲】
【請求項１】
情報と関連付けられたポイントクラスタによって表わされた少なくとも１つの対象物を視覚追跡する方法であって、
一連の時空事象を表わすデータを受け取る段階（Ｅ１）と、
前記受け取った一連の時空事象内の各事象に対して、前記一連の時空事象内の事象が、前記少なくとも１つの対象物を表わす前記ポイントクラスタに属する確率を決定する段階（Ｅ２）と、
前記受け取った一連の時空事象内の各事象に対して、事象が前記ポイントクラスタに属するかどうかを、当該事象の前記決定された確率の関数として決定する段階（Ｅ３）と、
前の段階で前記ポイントクラスタに属すると決定された各事象に対して、前記少なくとも１つの対象物の前記ポイントクラスタと関連付けられた情報を更新する段階（Ｅ４）と、
前記少なくとも１つの対象物の位置、サイズ及び向きを、前記更新された情報の関数として計算する段階（Ｅ４，Ｅ５）と、を含み、
前記段落（Ｅ４）では、前記少なくとも１つの対象物の位置は、前記少なくとも１つの対象物の前回の位置と前記少なくとも１つの対象物を表わす前記ポイントクラスタに属するものとして前記段階（Ｅ３）で決定された前記事象との関数として更新される、
方法。
【請求項２】
前記一連の時空事象は、非同期センサ（９０）によって提供される、請求項１に記載の方法。
【請求項３】
事象が前記ポイントクラスタに属するかどうかを決定する段階（Ｅ３）は、
前記事象の前記決定された確率を所定のしきい値と比較する段階を含む、請求項１又は２に記載の方法。
【請求項４】
前記対象物を楕円によってモデル化して、当該楕円の半軸とその向きを計算することにより、前記少なくとも１つの対象物のサイズと向きが計算される（Ｅ５）、請求項１〜３のうちいずれか一項に記載の方法。
【請求項５】
前記少なくとも１つの対象物の速度を決定する段階をさらに含む、請求項１〜４のうちいずれか一項に記載の方法。
【請求項６】
前記受け取る段階、決定する段階、更新する段階及び計算する段階は、繰り返し行なわれる、請求項１〜５のうちいずれか一項に記載の方法。
【請求項７】
前記更新された情報の関数として計算された前記少なくとも１つの対象物の位置、サイズ及び向きを表すデータを表示する段階（Ｅ６）をさらに含む、請求項１〜６のうちいずれか一項に記載の方法。
【請求項８】
情報と関連付けられたポイントクラスタによって表わされる少なくとも１つの対象物を視覚追跡する装置であって、
一連の時空事象を表わすデータを受け取る手段と、
前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、前記一連の時空事象内の事象が、前記少なくとも１つの対象物を表わす前記ポイントクラスタに属する確率を決定する手段と、
前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、事象が前記ポイントクラスタに属するかどうかを、当該事象に関して決定された前記確率の関数として決定する手段と、
前記ポイントクラスタに属することが決定された各事象に対して、前記少なくとも１つの対象物の前記ポイントクラスタと関連付けられた情報を更新する手段と、
前記少なくとも１つの対象物の位置、サイズ及び向きを、前記更新された情報により計算する手段と、を含み、
前記更新する手段は、
前記少なくとも１つの対象物の位置を、前記少なくとも１つの対象物の前回の位置と前記少なくとも１つの対象物を表わす前記ポイントクラスタに属するものとして決定された前記事象との関数として更新する、
装置。
【請求項９】
請求項１〜７のうちいずれか一項による方法の段階を実施するための命令を含み、コンピュータ上で実行されるコンピュータプログラム。
【請求項１０】
請求項１〜７のうちいずれか一項による方法の段階を実施するのに適した命令を含むコンピュータプログラムが記憶された、コンピュータにより読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の視覚追跡、より詳細には高速かつ実時間での対象物の追跡に関する。
【０００２】
対象物追跡は、ビデオ監視、交通監視、運動解析、強化現実、ロボット工学及び人間機械インタフェースなどの多くの分野に用途を有する。
【０００３】
実時間で高速（典型的には１ｋＨｚ以上の周波数）の対象物追跡は、より詳細にはマイクロロボット工学、微生物挙動及び触覚学の研究に適用される。
【背景技術】
【０００４】
従来のカメラによるデータ収集は、約数十キロヘルツときわめて高速で行うことができるが、連続画像内の類似情報の繰り返しは、この情報の処理速度を制限する。したがって、処理される情報の量を制限しなければならない。実際には、この結果、画像の二段抽出や画像の範囲の縮小などの制限が生じる。
【０００５】
更に、処理が、きわめて単純でなければならず、多くの場合ソフトウェアではなくハードウェアによって実施される。
【０００６】
非特許文献１は、アドレス事象表現を使用した人の追跡を開示しており、当該開示された方法は、事象を収集し、データを１０ミリ秒ごとに更新する。したがって、満足な結果を提供できるほど高速ではない。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】"Spatiotemporal multiple persons tracking using dynamic vision sensor" by Piatkowska, Belbachir and Gelautz, Computer vision and pattern recognition workshops, 2012 IEEE Computer society conference on, IEEE
【発明の概要】
【課題を解決するための手段】
【０００８】
本発明は、情報と関連付けられたポイントクラスタによって表わされる少なくとも１つの対象物を視覚追跡する方法を提供することによって、先行技術における問題を解決することを目的とし、当該方法は、
一連の時空事象を表わすデータを受け取る段階と、
前記受け取った一連の時空事象内の各事象に対して、前記一連の時空事象内の事象が、前記少なくとも１つの対象物を表わす前記ポイントクラスタに属する確率を決定する段階と、
前記受け取った一連の時空事象内の各事象に対して、事象が前記ポイントクラスタに属するかどうかを、当該事象の前記決定された確率の関数として決定する段階と、
前の段階で前記ポイントクラスタに属すると決定された各事象に対して、前記少なくとも１つの対象物の前記ポイントクラスタと関連付けられた情報を更新する段階と、
前記少なくとも１つの対象物の位置、サイズ及び向きを、前記更新された情報の関数として計算する段階と、
を含む
【０００９】
本発明により、対象物の視覚追跡は、高速で、範囲の縮小なしに、即ち範囲全体で可能である。対象物追跡は、頑強である。
【００１０】
本発明は、いかなる事象最小化又は蓄積手順も必要としない。プロセスは、純粋に事象ベースである。
【００１１】
本発明は、非構造化されたシーンにおいて対象物を検出し追跡するために使用される。
【００１２】
本発明は、単一シーン内で移動する幾つかの対象物を同時に追跡することができる。この場合、選択された形状関数が事象によって互いに独立に更新されるので追跡はきわめて高速のままである。
【００１３】
本発明は、二次元又は三次元で適用可能である。
【００１４】
１つの好ましい特徴によれば、一連の時空事象が、非同期センサによって提供される。このタイプのセンサは、従来のセンサより少ない待ち持間と高い時間的ダイナミクスで、データを事象の形で提供し、情報冗長性をなくす。
【００１５】
１つの好ましい特徴によれば、事象がポイントクラスタに属するかどうかを決定する段階は、当該事象に対して決定された確率と所定のしきい値との比較を含む。
【００１６】
実行される計算は、単純であり、結果を迅速に提供する。
【００１７】
１つの好ましい特性によれば、前記対象物を楕円によってモデル化して、当該楕円の半軸とその向きを計算することにより、前記少なくとも１つの対象物のサイズと向きが計算されるこの場合も、計算は、高速で単純であり、正確な結果を提供する。
【００１８】
ひとつの好ましい特徴によれば、当該方法は、少なくとも１つの対象物の速度を決定する段階をさらに含む。
【００１９】
１つの好ましい特徴によれば、前記受け取る段階、決定する段階、更新する段階及び計算する段階は、繰り返し行なわれる。
【００２０】
１つの好ましい特徴によれば、当該方法は、前記更新された情報の関数として計算された前記少なくとも１つの対象物の位置、サイズ及び向きを表すデータを表示する段階をさらに含む。
【００２１】
本発明は、また、情報と関連付けられたポイントクラスタによって表わされる少なくとも１つの対象物を視覚追跡する装置であって、当該装置は、
一連の時空事象を表わすデータを受け取る手段と、
前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、前記一連の時空事象内の事象が、前記少なくとも１つの対象物を表わす前記ポイントクラスタに属する確率を決定する手段と、
前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、事象が前記ポイントクラスタに属するかどうかを、当該事象に関して決定された前記確率の関数として決定する手段と、
前記ポイントクラスタに属することが決定された各事象に対して、前記少なくとも１つの対象物の前記ポイントクラスタと関連付けられた情報を更新する手段と、
前記少なくとも１つの対象物の位置、サイズ及び向きを、前記更新された情報により計算する手段と、を含む。
【００２２】
装置は、前述のものと類似の利点を有する。
【００２３】
１つの特定の実施形態では、本発明による方法の段階は、コンピュータプログラム命令によって実行される。
【００２４】
その結果、本発明は、情報媒体上のコンピュータプログラムに適用され、当該コンピュータプログラムは、コンピュータ内で使用されてもよく、前述のような方法の段階を実施することができる命令を含む。
【００２５】
このプログラムは、任意のプログラミング言語を使用することができ、部分的にコンパイルされた形や他の望ましい形など、ソースコード、オブジェクトコード、又はソースコードとオブジェクトコードの間のコード中間物の形でよい。
【００２６】
本発明は、また、コンピュータによって読み取ることができ、前述の方法と似た方法の段階を実施するのに適したコンピュータプログラム命令を含む情報媒体に関する。
【００２７】
情報媒体は、プログラムを記憶することができる任意のエンティティ又は装置でよい。例えば、媒体は、ＲＯＭ（例えば、ＣＤ  ＲＯＭや超小形電子回路ＲＯＭ）、又は磁気記録手段（例えば、ディスケットやハードディスク）などの記憶手段を含むことができる。
【００２８】
更に、情報媒体は、無線や他の手段によって、電気又は光ケーブルを介して伝送されることがある、電気信号や光信号などの伝送可能な媒体でよい。本発明によるプログラムは、詳細には、インターネット型ネットワーク上でダウンロードされてもよい。
【００２９】
あるいは、情報媒体は、プログラムが組み込まれた集積回路でよく、回路は、本発明による方法を実行するかその方法を実施する際に使用されるように適応される。
【図面の簡単な説明】
【００３０】
他の特徴と利点は、図を参照して述べる非限定的な例として示される好ましい実施形態の以下の記述を読んだ後で明らかになるであろう。
【００３１】
【図１】本発明の一実施形態による少なくとも１つの対象物を視覚追跡する方法を示す図である。
【図２】本発明の一実施形態で使用される非同期センサによる信号の出力を示す図である。
【図３】本発明の一実施形態による対象物のモデルを示す図である。
【図４】本発明の一実施形態による少なくとも１つの対象物を視覚追跡する装置を示す図である。
【発明を実施するための形態】
【００３２】
図１に示された１つの好ましい実施形態によれば、少なくとも１つの対象物を視覚追跡するための方法は、段階Ｅ１〜Ｅ６を含む。
【００３３】
段階Ｅ１は、一連の時空事象を表わすデータの受け取りである。
【００３４】
これらのデータは、非同期センサによって提供される。このタイプのセンサは、例えば光、電界、磁界などの少なくとも１つの物理的規模と関連付けられた情報を収集することができる。非同期センサは、データを事象の形で提供し、従来のセンサより少ない待ち持間と高い時間的ダイナミクスによって、情報冗長性をなくす。
【００３５】
非同期センサは、従来のビデオ信号のフレームのクロックのような、時間的に所定のクロック周波数でサンプリングされない信号を出力する。非同期センサは、表示されるシーンのアドレス事象表現（ＡＥＲ）を提供する。各画素は、この画素に対応する光強度の変化による事象ベース信号シーケンスに対応する。例えば、画素の事象ベース非同期信号シーケンスは、画素と関係する光などの少なくとも１つの物理的規模の変化の関数として時間的に位置決めされた一連の正又は負パルスを含む。
【００３６】
図２に示されたように、個々に検討される各画素に関して、センサは、前の事象に関連した強度に対するしきい値より大きい対数強度の変化を検出する。そのような変化が検出されたとき、対数強度が増大するか減少するかにより、＋１又は−１事象が生成される。
【００３７】
センサが非同期なので、事象は、きわめて細かい時間分解能（例えば、１μｓ）で提供されうる。
【００３８】
各事象と時間が関連付けられる。したがって、事象は、数学的にｅ（ｘ，ｔ）によって表わされ、ここで、ｘは、空間座標系における事象の位置を表わす座標のベクトルであり、ｔは、事象の時間を表す。
【００３９】
前述のように、値ｅ（ｘ，ｔ）は、＋１又は−１である。
【００４０】
少なくとも１つの対象物を表わすデータが入手できると仮定する。そのようなデータは、ポイントクラスタ（ポイント群）の形であり、各ポイントは、前述したような事象である。
【００４１】
少なくとも１つの対象物を表わすデータが、一連のガウストラッカを使用して焦点面にメッシュをかけることによって初期化されることに注意されたい。
【００４２】
後述するように、指数ｉを有する対象物のポイントクラスタ（ポイント群）は、平均μｉ（ｔ）が座標系内の対象物の位置を示し、また分散行列Σｉ（ｔ）がそのサイズと位置と関連する二次元ガウス分布によってモデル化されうる。
【００４３】
次の段階Ｅ２は、段階Ｅ１で受け取った一連の時空事象内の事象が、受け取った一連の時空事象内の各事象に対して、対象物を表わすポイントクラスタに属する確率を決定する。
【００４４】
ｉ番目のポイントクラスタと関連付けられたｉ番目の対象物が検討され、ここで、平均μｉ（ｔ）＝［μｉ１，μｉ２］Ｔは、所定の二次元座標系内の時間ｔにおける対象物の位置を表わすベクトルであり、指数１は横軸に割り当てられ、指数２は縦軸に割り当てられる。対象物の位置は、この対象物をモデル化する楕円の中心の位置である。
【００４５】
ｉ番目のポイントクラスタの分散行列Σｉ（ｔ）は、次の通りである。
【００４６】
【数１】
0006448005.tif 000002
【００４７】
一連の時空事象内の事象ｅ（ｘ，ｔ）がｉ番目のポイントクラスタに属する確率は、次の通りである。
【００４８】
【数２】
0006448005.tif 000003
【００４９】
この式において、ベクトルｘ＝［ｘ１，ｘ２］Ｔは、同じ二次元の座標系内で検討された事象の時間ｔにおける位置であり、｜Σｔ（ｔ）｜は、分散行列の決定因子である。
【００５０】
確率ｐｉ（ｘ）は、非同期センサによって１つ以上の事象ｅ（ｘ，ｔ）が生成される所定の時間ｔに生じる全ての事象に関して、また全ての対象物に関して計算される。１つの確率ｐｉ（ｘ）は、所定の時間ｔに、その時間における各対象物事象ペアに関して計算される。
【００５１】
次の段階Ｅ３は、前の段階で確率ｐｉ（ｘ）が計算された各事象に関して、事象がポイントクラスタに属するかどうかを、決定された確率の関数として決定する。
【００５２】
これを達成するため、確率ｐｉ（ｘ）は、照明に依存する所定のしきい値Ｓと比較される。しきい値Ｓは、例えば確率２．５％である。
【００５３】
確率ｐｉ（ｘ）が、しきい値Ｓより小さい場合、事象ｅ（ｘ，ｔ）は、検討される対象物に属さない。
【００５４】
確率ｐｉ（ｘ）がしきい値Ｓより大きい場合、事象ｅ（ｘ，ｔ）は検討する対象物に属する。事象ｅ（ｘ，ｔ）に関して計算された幾つかの確率が、しきい値Ｓより大きい場合、事象ｅ（ｘ，ｔ）は、最も高い確率を有する対象物に属する。
【００５５】
次の段階Ｅ４は、前の段階で少なくとも１つの事象が検討されるポイントクラスタに属することが決定されたときに、少なくとも１つの対象物のポイントクラスタと関連した情報を更新することである。
【００５６】
利得又は重付け係数α１、α２及びα３が検討される。時間ｔにおいて、所定の対象物に関して、対象物の位置μｉ（ｔ）は、次のように、この対象物の時間（ｔ−１）における位置と、この対象物を表わすポイントクラスタに属するとして段階Ｅ３で決定された事象ｅ（ｘ，ｔ）との関数として更新される。
【００５７】
μｉ（ｔ）＝α１・μｉ（ｔ−１）＋（１−α１）・ｘ
【００５８】
検討される時間ｔにおけるポイントクラスタの分散行列Σｉ（ｔ）は、時間（ｔ−１）における分散行列Σｉ（ｔ−１）の関数として次のように更新される。
【００５９】
Σｉ（ｔ）＝α２・Σｉ（ｔ−１）＋（１−α２）・ΔΣｉ
【００６０】
この式で、ΔΣｉは、ポイントクラスタの現在位置μｉ（ｔ）と、段階Ｅ３でポイントクラスタに属するように決定された事象ｅ（ｘ，ｔ）の位置とから計算された共分散の差である。
【数３】
0006448005.tif 000004
【００６１】
１つの変形実施形態によれば、検討されるポイントクラスタの速度も決定され更新される。これは、画像平面における１秒当たりの画素数で表した速度である。
【００６２】
時間ｔで、速度ベクトルｖｉ（ｔ）＝［ｖｉ１（ｔ），ｖｉ２（ｔ）］Ｔは、次の式により決定される。
【００６３】
ｖｉ（ｔ）＝α３・ｖｉ（ｔ−１）＋（１−α３）（μｉ（ｔ）−μｉ（ｔ−１））／Δｔ
【００６４】
ここで、Δｔは、時間ｔと（ｔ−１）の差である。
【００６５】
ポイントクラスタの位置、分散行列、及び場合によっては速度を決定するこれらの計算は、段階Ｅ３でポイントクラスタに属するように決定された全ての事象に関して繰り返される。これらの計算は、また、段階Ｅ３で事象が属することが決定された各ポイントクラスタに関して繰り返される。
【００６６】
次の段階Ｅ５は、最新の情報の関数として少なくとも１つの対象物のサイズと向きを計算する。この計算は、段階Ｅ４で情報が更新された全ての対象物に関して行われる。
【００６７】
対象物は、楕円によってモデル化される。楕円の半軸ａとｂ及び向きαは、段階Ｅ４で計算された分散行列Σｉ（ｔ）の関数として決定される。
【００６８】
最初に、２つの大きさλｍａｘ及びλｍｉｎが、以下のように決定される。
【００６９】
【数４】
0006448005.tif 000005
【００７０】
【数５】
0006448005.tif 000006
【００７１】
楕円の半軸ａとｂ及び向きαは、以下の式を用いて計算される。
【００７２】
【数６】
0006448005.tif 000007
【００７３】
【数７】
0006448005.tif 000008
【００７４】
【数８】
0006448005.tif 000009
【００７５】
次の段階Ｅ６は、位置、サイズ及び向きが決定された対象物を表示画面に表示する。前の段階の処理が、時間（ｔ−１）とｔの間で修正されたデータに基づいて行われた場合、表示は、前の処理によって修正されなかった対象物も、全ての対象物の表示であることが好ましい。
【００７６】
段階Ｅ６は、任意である。
【００７７】
対象物追跡が、二次元系に関して開示されたことに注意されたい。しかしながら、本発明による対象物追跡は、三次元で行われてもよい。
【００７８】
これは、ガウス分布のサイズの修正を対象物のサイズに関連付ける較正を使用して行うことができる。追跡されている対象物のサイズが分かっているので、その深さを、ガウスパラメータの変化に基づいて推定することができ、換言すると、センサから遠ざかっているか近づいているかを推定することができる。
【００７９】
前述の全ての処理は、非同期センサが、この対象物に影響を及ぼす一連の時空事象を表わすデータを提供するとすぐに、対象物の位置、サイズ及び向きが計算され更新されるように繰り返し行われる。
【００８０】
事象が、非同期センサによってきわめて細かい時間分解能（例えば、１μｓ）で提供されることが分かっている。したがって、前述の処理の周波数は１ｋＨｚを超える。
【００８１】
図４は、本発明による少なくとも１つの対象物を視覚追跡する装置の特定の実施形態を示す。
【００８２】
情報が関連付けられたポイントクラスタによって表わされる少なくとも１つの対象物を視覚追跡する装置は、
一連の時空事象を表わすデータを受け取る手段と、
前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、前記一連の時空事象内の事象が、前記少なくとも１つの対象物を表わす前記ポイントクラスタに属する確率を決定する手段と、
前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、事象が前記ポイントクラスタに属するかどうかを、当該事象に関して決定された前記確率の関数として決定する手段と、
前記ポイントクラスタに属することが決定された各事象に対して、前記少なくとも１つの対象物の前記ポイントクラスタと関連付けられた情報を更新する手段と、
前記少なくとも１つの対象物の位置、サイズ及び向きを、前記更新された情報により計算する手段と、を含む。
【００８３】
少なくとも１つの対象物を視覚追跡する装置が、コンピュータの一般的構造を有する。詳細には、本発明による方法を実施するコンピュータプログラムを実行するプロセッサ１００、メモリ１０１、入力インタフェース１０２及び出力インタフェース１０３を含む。
【００８４】
これらの様々な要素は、従来通りバス１０５を介して接続される。
【００８５】
入力インタフェース１０２は、非同期センサ９０に接続され、一連の時空事象を表わすデータを受け取る。
【００８６】
プロセッサ１００は、前述の処理を実行する。この処理は、プロセッサ１００によって実行される前に、メモリ１０１に記憶されたコンピュータプログラムのコード命令の形で行われる。
【００８７】
メモリ１０１は、また、本発明により処理されたポイントクラスタに関する情報を記憶する。
【００８８】
出力インタフェース１０３は、表示画面１０４に接続されて対象物を表示する。
【００８９】
任意のタイプの確率密度が、本発明の枠組みにガウス形の代わりに使用されてもよいと注意されたい。例えば、全ての可能な向きを考慮する、ランダム分布と任意のガウス和及び累乗の次数と導関数に限定されないガウス分布の導関数を使用することが想定できる。
【００９０】
本発明の潜在的用途には、小規模で利用される光学ピンセット、マイクロアセンブリ、マイクロロボット及び遠隔操作が挙げられる。同様に、潜在的用途には、移動、飛行又はヒューマノイドロボット、及び粒子フィルタリングが挙げられる。
【符号の説明】
【００９１】
９０：非同期センサ
１００：プロセッサ
１０１：メモリ
１０２：入力インタフェース
１０３：出力インタフェース
１０４：表示画面
１０５：バス
【図１】
0006448005.tif 000010
【図２】
0006448005.tif 000011
【図３】
0006448005.tif 000012
【図４】
0006448005.tif 000013