(57)【要約】  本発明は、シーンを3D再構成するための方法であって、費用関数(E)の最小化(609)に応じて、第1のセンサの第1の非同期的な連続イベントの中からの第1のイベントを、第2のセンサの第2の非同期的な連続イベントの中からの第2のイベントとマッチングさせるステップ(610)を含む、方法に関する。費用関数は、畳み込みコア(gσ(t))を用いて畳み込まれた第1の輝度信号(Iu)であって、前記画素の輝度が前記第1の信号の最大値(te-,u、te+,u)間の差に依存する、第1の輝度信号(Iu)、および前記畳み込みコアを用いて畳み込まれた第2の輝度信号(Iv)であって、前記画素の輝度が前記第2の信号の最大値(te-,v、te+,v)間の差に依存する、第2の輝度信号(Iv)に少なくとも依存する輝度成分(EI)と、第1のセンサの画素からある距離に位置するイベントの発生に関する時間値、および第2のセンサの画素からある距離に位置するイベントの発生に関する時間値に少なくとも依存する動き成分(EM)とからの少なくとも1つの成分を含む。
2018516395.tif 000002
【特許請求の範囲】
【請求項１】
シーンを3D再構成する方法であって、
-  前記シーンに対向して位置する第1の画素マトリックスを有する第1のセンサ(501)から非同期情報の第1の部分を受け取るステップ(601)であって、非同期情報の前記第1の部分が、前記第1のマトリックスの各画素(p)について、前記画素からの第1の連続イベントを含む、受け取るステップ(601)と、
-  前記シーンに対向して位置する第2の画素マトリックスを有する第2のセンサ(502)から非同期情報の第2の部分を受け取るステップ(602)であって、非同期情報の前記第2の部分が、前記第2のマトリックスの各画素(q)について、前記画素からの第2の連続イベントを含み、前記第2のセンサが前記第1のセンサから分離されている、受け取るステップ(602)と、
-  費用関数(E)の最小化(609)に応じて、前記第1の連続イベントの中からの第1のイベントを、前記第2の連続イベントの中からの第2のイベントとマッチングさせるステップ(610)と
を含み、
前記費用関数は、
-  輝度成分(EI)であって、少なくとも
-  畳み込みコア(gσ(t))を用いて畳み込まれた前記第1のセンサの画素からの第1の輝度信号(Iu)であり、前記画素の輝度は、前記第1の信号の最大値(te-,u、te+,u)間の差に依存する、第1の輝度信号(Iu)、および
-  前記畳み込みコアを用いて畳み込まれた前記第2のセンサの画素からの第2の輝度信号(Iv)であり、前記画素の輝度は、前記第2の信号の最大値(te-,v、te+,v)間の差に依存する、第2の輝度信号(Iv)
に依存する輝度成分(EI)と、
動き成分(EM)であって、少なくとも
-  前記第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
前記第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分(EM)と
の中から少なくとも1つの成分を含む、方法。
【請求項２】
前記費用関数(E)は、
-  時間成分(ET)であって、
-  前記第1のセンサのイベントに関係する時間値と、
-  前記第2のセンサのイベントに関係する時間値と
の間の差に依存する時間成分(ET)
をさらに含む、請求項1に記載の方法。
【請求項３】
前記費用関数(E)は、
-  幾何学的成分(EG)であって、
-  前記第1のセンサの少なくとも1つの画素により定義されるエピポーラ直線またはエピポーラ交差部における前記第2のセンサの画素からの空間距離
に依存する幾何学的成分(EG)
をさらに含む、請求項1または2に記載の方法。
【請求項４】
前記第1のセンサの前記画素および前記第2のセンサの前記画素の前記輝度信号(Iu、Iv)は、輝度変動の発生時間をコード化した最大値を含み、前記畳み込みコアは、所定のガウス分散である、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記輝度成分(EI)は、
-  前記第1のセンサの前記第1の画素から所定の距離に空間的に位置し、前記畳み込みコアを用いて畳み込まれる、前記第1のセンサの画素の輝度信号と、
-  前記第2のセンサの前記第2の画素から所定の距離に空間的に位置し、前記畳み込みコアを用いて畳み込まれる、前記第2のセンサの画素の輝度信号と
にさらに依存する、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記動き成分(EM)は、
-  前記第1のセンサの前記画素から所定の距離に空間的に位置する、前記第1のセンサの画素イベントの発生に関係する前記時間値の平均値(
【数１】
2018516395.tif 000028
)と、
前記第2のセンサの前記画素から所定の距離に空間的に位置する、前記第2のセンサの画素イベントの発生に関係する前記時間値の平均値(
【数２】
2018516395.tif 000029
)と
に依存する、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記動き成分(EM)は、所与の時間について、
-  前記第1のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と、
-  前記第2のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と
に依存する、請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記動き成分(EM)は、
-  前記第1のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第1の畳み込みと、
-  前記第2のセンサの画素から所定の距離に空間的に位置する、前記イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第2の畳み込みと
に依存する、請求項1から6のいずれか一項に記載の方法。
【請求項９】
シーンの3D再構成のためのデバイスであって、
-  前記シーンに対向して位置する第1の画素マトリックスを有する第1のセンサ(501)から非同期情報の第1の部分を受け取る(601)ためのインターフェース(703)であって、前記非同期情報の第1の部分が、前記第1のマトリックスの各画素(p)について、前記画素からの第1の連続イベントを含む、インターフェース(703)と、
-  前記シーンに対向して位置する第2の画素マトリックスを有する第2のセンサ(502)から非同期情報の第2の部分を受け取る(602)ためのインターフェース(703)であって、前記非同期情報の第2の部分が、前記第2のマトリックスの各画素(q)について、前記画素からの第2の連続イベントを含み、前記第2のセンサが前記第1のセンサから分離されている、インターフェース(703)と、
-  費用関数(E)の最小化(609)に応じて、前記第1の連続イベントの中からの第1のイベントを、前記第2の連続イベントの中からの第2のイベントとマッチングさせる(610)のに適したプロセッサ(704)と
を備え、
前記費用関数は、
-  輝度成分(EI)であって、少なくとも
-  畳み込みコア(gσ(t))を用いて畳み込まれた前記第1のセンサの画素からの第1の輝度信号(Iu)であり、前記画素の輝度は、前記第1の信号の最大値(te-,u、te+,u)間の差に依存する、第1の輝度信号(Iu)、および
-  前記畳み込みコアを用いて畳み込まれた前記第2のセンサの画素からの第2の輝度信号(Iv)であり、前記画素の輝度は、前記第2の信号の最大値(te-,v、te+,v)間の差に依存する、第2の輝度信号(Iv)、
に依存する輝度成分(EI)と、
-  動き成分(EM)であって、少なくとも
-  前記第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
-  前記第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分(EM)と
の中から少なくとも1つの成分を含む、デバイス。
【請求項１０】
コンピュータプログラム製品であって、プロセッサによってこのプログラムが実行されたときに、請求項1から8のいずれか一項に記載の方法を実装するための命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、シーンが非同期センサを用いて取り込まれる場合における、シーンの3D再構成の分野に関する。
【背景技術】
【０００２】
規則的なサンプリング瞬間において連続画像を記録する標準的なカメラとは対照的に、生物学的な網膜は、見るべきシーンに関してわずかな反復情報を送るだけであり、これは非同期的に行われる。
【０００３】
イベントベースの非同期視覚センサは、イベントの形態で圧縮されたデジタルデータを送達する。
【０００４】
このようなセンサの提案は、「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、2010 IEEE International Symposium on Circuits and Systems (ISCAS)の議事録、2426〜2429ページにおいて見ることができる。イベントベースの視覚センサは、標準的なカメラと比較して、反復の増加、待ち時間の減少、ならびに時間力学およびグレーレベルの範囲の増加という利点を有する。
【０００５】
このような視覚センサの出力は、各画素アドレスについて、変化が生成されたときのシーンの反射における変化を表す一連の非同期イベントから構成することができる。
【０００６】
センサの各画素は、独立しており、最後のイベントの送信から、閾値を超える光強度の変化(例えば、強度対数で15%のコントラスト)を検出する。強度の変化が、設定された閾値を超えた場合、強度が増加したか、または減少したかに応じて、ONイベントまたはOFFイベントが画素により生成される(DVSセンサ)。一定の非同期センサは、検出されたイベントを光強度の絶対測定値に関連付ける(ATISセンサ)。
【０００７】
標準的なカメラのようにクロックに基づいてサンプリングされないセンサは、非常に高い時間精度(例えば、約1μs)でイベントの順序付けを図表化することができる。このようなセンサが、一連の画像を再構成するために使用される場合、標準的なカメラの数十ヘルツと比較して、数キロヘルツの画像レートが達成され得る。
【０００８】
さらに、シーンの3D再構成のフレームワークにおいて、センサの画素のそれぞれ1つについて、空間内における位置が計算される。これを達成するために、いくつかのカメラまたは他の標準的なセンサを用いる多くの方法がある。したがって、これらの方法は、標準の2D画像を用いて決定を達成し、この場合、画素は少なくとも1つの値を有する(すなわち、画素が定義される)。
【０００９】
前記に定義したものなど、非同期センサの場合、センサから出る「標準的な」2D画像は入手可能ではないので、本質的にこれらの方法を適用することができない。これらの方法を使用するためには、センサからの非同期情報から、2D画像を人工的に「再構成」することが必要になる。しかし、この再構成は負担が大きく、完全な画像を処理することは、その後の処理手段を必要とし得る。また、この再構成は、時間情報を離散化し、したがって、視覚情報の時間依存性は、実際には無視される。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、2010 IEEE International Symposium on Circuits and Systems (ISCAS)の議事録、2426〜2429ページ
【発明の概要】
【発明が解決しようとする課題】
【００１１】
したがって、非同期センサに適した方法である、3Dシーン再構成方法を開発する必要がある。
【００１２】
本発明は、その状況を改善することを目的としている。
【課題を解決するための手段】
【００１３】
この目的のために、本発明は、3Dで観察されるシーンを再構成するための、特に非同期センサに適した方法を提案する。
【００１４】
したがって、本発明は、シーンの3D再構成のための方法であって、
-  シーンに対向して位置する第1の画素マトリックスを有する第1のセンサから非同期情報の第1の部分を受け取るステップであって、非同期情報の第1の部分が、第1のマトリックスの各画素について、前記画素からの第1の連続イベントを含む、受け取るステップと、
-  シーンに対向して位置する第2の画素マトリックスを有する第2のセンサから非同期情報の第2の部分を受け取るステップであって、非同期情報の第2の部分が、第2のマトリックスの各画素について、前記画素からの第2の連続イベントを含み、第2のセンサが第1のセンサから分離されている、受け取るステップと、
-  費用関数の最小化に応じて、第1の連続イベントの中からの第1のイベントを、第2の連続イベントの中からの第2のイベントとマッチングさせるステップと
を含み、
費用関数は、
-  輝度成分であって、少なくとも
-  畳み込みコアを有する第1の畳み込みセンサの画素からの1つの第1の輝度信号であり、前記画素の輝度は、前記第1の信号の最大値間の差に依存する、1つの第1の輝度信号、および
-  前記畳み込みコアを有する第2の畳み込みセンサの画素からの1つの第2の輝度信号であり、前記画素の輝度は、前記第2の信号の最大値間の差に依存する、1つの第2の輝度信号
に依存する輝度成分と、
-  動き成分であって、少なくとも
-  第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
-  第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分と
の中からの少なくとも1つの成分を含む、方法を目的とする。
【００１５】
したがって、いくつかのDVSまたはATIS非同期センサを用いて取り込まれた3Dシーンの再構成を行うために、これらの画像に適用可能な従来技術の方法を用いて標準的な2D画像を再作成することは必要ではない。
【００１６】
したがって、このような3D再構成の精度は、非常に正確/高いものとなり、非同期時間情報は、さらに正確にサンプリングされる。
【００１７】
さらに費用関数は、
-  時間成分であって、
-  第1のセンサのイベントに関係する時間値と、
-  第2のセンサのイベントに関係する時間値と
の間の差に依存する時間成分をさらに含むことができる。
【００１８】
したがって、時間的に離れすぎているイベントが接続されることを回避することが可能である。
【００１９】
特定の実施形態では、費用関数は、
-  幾何学的成分であって、
-  第1のセンサからの少なくとも1つの画素により定義されるエピポーラ直線またはエピポーラ直線の交差部における第2のセンサの画素の空間距離
に依存する幾何学的成分をさらに含むことができる。
【００２０】
したがって、シーンの同じ点X(t)に対応しないイベントが接続されることを回避することが可能である。
【００２１】
有利には、第1のセンサの画素および第2のセンサの画素の輝度信号は、輝度変動の発生時間をコード化した最大値を含み、畳み込みコアは、所定のガウス分散とすることができる。
【００２２】
特定の実施形態では、前記輝度成分は、
-  第1のセンサの第1の画素から所定の距離に空間的に位置し、畳み込みコアを用いて畳み込まれる、第1のセンサの画素の輝度信号と
-  第2のセンサの第2の画素から所定の距離に空間的に位置し、畳み込みコアを用いて畳み込まれる、第2のセンサの画素の輝度信号と
にさらに依存することができる。
【００２３】
したがって、接続されるべき画素に近いイベントを考慮することは、全体が対応しているかどうかを調べること、および2つの画素についての局所的な相関性を取得することが、単なるアーティファクトまたは単なる特異点ではないことを調べることを可能にする。
【００２４】
さらに、前記動き成分は、
-  第1のセンサの画素から所定の距離に空間的に位置する、第1のセンサの画素イベントの発生に関係する時間値の平均値と、
-  第2のセンサの画素から所定の距離に空間的に位置する、第2のセンサの画素イベントの発生に関係する時間値の平均値と
にさらに依存することができる。
【００２５】
特定の実施形態では、前記動き成分は、所与の時間について、
-  第1のセンサの画素からの所定の距離に空間的に位置する、イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と、
-  第2のセンサの画素からの所定の距離に空間的に位置する、イベントの発生に関係する各現在の時間値について、前記所与の時間の距離から前記現在の時間値へと減少する関数値と
に依存することができる。
【００２６】
代替的な実施形態では、前記動き成分は、
-  第1のセンサの画素から所定の距離に空間的に位置する、イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第1の畳み込みと、
-  第2のセンサの画素から所定の距離に空間的に位置する、イベントの発生に関係する各時間値についてのディラックを含む信号を用いた減少関数の第2の畳み込みと
に依存することができる。
【００２７】
本発明はまた、シーンの3D再構成のためのデバイスであって、デバイスは、
-  シーンに対向して位置する第1の画素マトリックスを有する第1のセンサからの非同期情報の第1の部分を受け取るためのインターフェースであって、非同期情報の第1の部分が、第1のマトリックスの各画素について、前記画素からの第1の連続イベントを含む、インターフェースと、
-  シーンに対向して位置する第2の画素マトリックスを有する第2のセンサからの非同期情報の第2の部分を受け取るためのインターフェースであって、非同期情報の第2の部分が、第2のマトリックスの各画素について、前記画素からの第2の連続イベントを含み、第2のセンサが第1のセンサから分離されている、インターフェースと、
-  費用関数の最小化に応じて、第1の連続イベントの中からの第1のイベントを、第2の連続イベントの中からの第2のイベントとマッチングさせるのに適したプロセッサと
を備え、
費用関数は、
-  輝度成分であって、少なくとも
-  畳み込みコアを用いて畳み込まれた第1のセンサの画素からの第1の輝度信号であり、前記画素の輝度は、前記第1の信号の最大値間の差に依存する、第1の輝度信号、および
-  前記畳み込みコアを用いて畳み込まれた第2のセンサの画素からの第2の輝度信号であり、前記画素の輝度は、前記第2の信号の最大値間の差に依存する、第2の輝度信号
に依存する輝度成分と、
-  動き成分であって、少なくとも
-  第1のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値、および
-  第2のセンサの画素から所定の距離に空間的に位置するイベントの発生に関係する時間値
に依存する動き成分と
の中からの少なくとも1つの成分を含む、デバイスを目的とする。
【００２８】
上記で述べた方法の全部または一部を実装する、既存の機器上にインストールされたコンピュータプログラムは、それ自体有利である。
【００２９】
したがって、本発明はまた、コンピュータプログラムであって、プロセッサによってこのプログラムが実行されたときに、前述の方法の実装のための命令を含む、コンピュータプログラムを目的としている。
【００３０】
このプログラムは、任意のプログラミング言語(例えば、オブジェクト言語または他のもの)を使用することができ、解釈可能なソースコード、部分的にコンパイルされたコード、または完全にコンパイルされたコードの形態とすることができる。
【００３１】
以下で詳細に述べられる図6は、このようなコンピュータプログラムの一般的なアルゴリズムの流れ図を形成することができる。
【００３２】
本発明の他の特性および利点は、以下の説明を読めば、さらに明らかになろう。これは、完全に例示的なものであり、添付図面を参照しながら読まれるべきものである。
【図面の簡単な説明】
【００３３】
【図１】ATIS非同期光センサの概観図である。
【図２】回転する星を含むシーンに対向して位置する非同期センサにより生成されたイベントを示す図である。
【図３】2つの別々のセンサの2点についての輝度成分の計算の例の図である。
【図４ａ】所与の画素の活動信号の代表的な例の図である。
【図４ｂ】所与の画素の活動信号の代表的な例の図である。
【図４ｃ】別々の非同期センサを用いて生成された動きカードを表す図である。
【図５ａ】本発明の一実施形態における幾何学的成分の計算の例を表す図である。
【図５ｂ】本発明の一実施形態における幾何学的成分の計算の例を表す図である。
【図６】本発明による一実施形態を提示する流れ図である。
【図７】本発明による一実施形態を実装するためのデバイスを示す図である。
【発明を実施するための形態】
【００３４】
図1は、ATIS原理を示している。
【００３５】
センサを構成するマトリックスの画素101は、電子検出回路103a、103bにそれぞれ接続されたフォトダイオードなど、2つの感光性素子102a、102bを備える。
【００３６】
センサ102aおよびその回路103aは、フォトダイオード102aにより受け取られた光強度が、事前定義された量から変化したとき、パルスP0を生成する。
【００３７】
この強度変化を示すパルスP0は、他のフォトダイオード102bに接続された電子回路103bをトリガする。この回路103bは、次いで、第1のパルスP1を生成し、所与の光量(光子の数)がフォトダイオード102bによって受け取られると直ちに第2のパルスP2を生成する。
【００３８】
パルスP1とパルスP2との間の時間差δtは、パルスP0が出現した直後に、画素101によって受け取られた光強度に逆比例する。
【００３９】
ATISからの非同期情報は、各画素について2つの組み合わされたパルス列(104)を含む。すなわち、第1のパルス列P0は、光強度が、検出閾値を超えて変化した瞬間を示すが、第2の列は、時間差δtが、対応する光強度またはグレーレベルを示すパルスP1およびP2から構成される。
【００４０】
ATISのマトリックスにおける位置pの画素101からのイベントe(p,t)は、したがって、2つのタイプの情報を含む、すなわち、イベントの瞬間tが与えられると、パルスP0の位置によって与えられる情報の時間に関連する部分と、パルスP1とパルスP2との間の時間差δtによって与えられるグレーレベル情報の部分とである。
【００４１】
次いで、図2に提示されたものなど、3次元空間/時間表現における画素からのイベントが配置され得る。この図では、各点pは、囲みAの図で示されるように一定の角速度で回転する星の動きにより、
【００４２】
【数１】
2018516395.tif 000003
【００４３】
の、センサの画素pのレベルで瞬間tにおいて非同期に生成するイベントe(p,t)を識別する。これらの点の主要部分は、概して螺旋形状の表面近くに分散されている。さらに図は、星の実際の動きに対応することなく測定された螺旋面からの距離において、いくつかのイベントを示している。これらのイベントは、取得ノイズからのものである。
【００４４】
イベントe(p,t)は、次いで、以下のすべての情報により定義することができる、
【００４５】
【数２】
2018516395.tif 000004
【００４６】
ただし、Cはセンサの空間領域であり、polは、輝度変化の方向を表す極性であり(例えば、1は増加を、-1は減少を示す)、I(p,t)は、瞬間tにおける点pの光強度信号である。
【００４７】
したがって、光強度信号は、図1で述べられたものなど、すべての組み合わされたパルス列104とすることができる。tuがイベントの発生する時間を表し、te+,uとte-,uとの間の差が、受け取った光強度に逆比例する値を表す場合、I(p,t)=δ(t-tu)+δ(t-te+,u)+δ(t-te-,u)のように、3つのディラックδを用いて強度をコード化することが可能である。座標pに位置する画素強度信号は、したがって、輝度情報を時間的にコード化することを可能にする。この情報は、最小の変換量で、センサの電子回路から直接得ることができる。
【００４８】
図3は、2つの別々のセンサuおよびvの2点pおよびqに対する輝度成分の計算の例である。
【００４９】
2つのセンサの2点pおよびqが、観察されるシーンの同じ点に対応するかどうかを判定するために、観察されるシーンを含む表面がランベルト面である(すなわち、その面では、観察する角度にかかわらず、輝度が同じである)という仮説が存在する。
【００５０】
したがって、これらの面について、強度は、1つの同じ瞬間に2つのセンサで同じでなければならない、すなわち、Iu(p,t)=Iv(q,t)である。
【００５１】
例えば、これらの2つの信号Iu(p,t)とIv(q,t)との間の相関を計算することが可能である。
【００５２】
ディラック構成の光強度信号を簡単に比較できるようにするために、非void型サポートコアgσ(t)によりこれらの信号の畳み込みを行うことが有利になり得る。それは、次いで、2つの信号
【００５３】
【数３】
2018516395.tif 000005
【００５４】
と
【００５５】
【数４】
2018516395.tif 000006
【００５６】
との間の相関を計算することが可能になる。
【００５７】
さらに、2つの単一の点の比較に限定するのではなく、さらにpおよびqの近くに位置する(すなわち、pまたはqから所定の距離に位置する、ただし、距離とは数学的な用語の意味である)点を考慮することが有用であり得る。すなわち、pに近いすべての点は、組vu(p)を定義し、qに近いすべての点は、組vv(q)を定義する(Nはこれらの組の基数(cardinal)である)。したがって、輝度成分は、次のように表すことができる、
【００５８】
【数５】
2018516395.tif 000007
【００５９】
当然であるが、上記で定義したように、pまたはqの近くに位置するすべての点について畳み込まれた関数
【００６０】
【数６】
2018516395.tif 000008
【００６１】
のサポートをωと定義することにより、積分端点を低減することが可能である。
【００６２】
【数７】
2018516395.tif 000009
【００６３】
最後に、2つを超えるセンサを用いることによって、この式を一般化することが可能である。例えば、Q個のセンサ{u、v、w、...}を用いる場合、
【００６４】
【数８】
2018516395.tif 000010
【００６５】
と書くことが可能である。
【００６６】
コアgσ(t)は、ガウス分散δであると有利である。それはまた、ドア幅関数(door width function)δとすることもできる。
【００６７】
図4cは、別々の非同期センサを用いて生成されたカード401および402を表している。
【００６８】
これらのカードを生成するために、所与の瞬間tにおける、所与の画素pおよび所与の極性polの各イベント
【００６９】
【数９】
2018516395.tif 000011
【００７０】
について、言語プリミティブ
【００７１】
【数１０】
2018516395.tif 000012
【００７２】
の合計として関数Sを定義することが可能であり、hは所定の値であり、θは、言語プリミティブの減少速度に対応した所定の因子である。
【００７３】
言語プリミティブの「合計」はまた、
言語プリミティブ
【００７４】
【数１１】
2018516395.tif 000013
【００７５】
の、イベント
【００７６】
【数１２】
2018516395.tif 000014
【００７７】
が生ずる各時間tpについてのディラックを含む信号との畳み込みとして数学的に見ることができる。
【００７８】
例として、図4aは、センサの3つの画素p1、p2、およびp3についての(および所与の極性値polについての)3つの可能な活動信号t→Sを示す。
【００７９】
イベントがない場合、S(p1,t)、S(p2,t)、またはS(p3,t)の値はゼロである。しかし、画素p1のレベルにおいて、極性イベントpol(例えば、410)が生じたとき、S(p1,t)は、所定の閾値(ここではh、この値hは単一(unitary)のものとすることもできる)をとる。
【００８０】
活動信号S(p1,t)の値は、次いで、このイベントの後、次第に減少して0に達する。
【００８１】
このことは、画素p1に対するイベント411に対しても同じであり、画素p2に対するイベント412に対して、または画素p3に対するイベント413/414に対しても同様である。
【００８２】
ここで活動信号Sの減少が直線的である場合、任意のタイプの減少を指数関数的減少と予想することが可能である、すなわち、
【００８３】
【数１３】
2018516395.tif 000015
【００８４】
この指数関数的減少は、図4bで示すことができる(曲線4bおよびイベント320を参照のこと)。
【００８５】
さらに、検討される画素(例えば、ここではp4)に対するイベントの発生時において、関数Sの値は、hの値に対して無視することができない(例えば、イベント421は、イベント422に対して、時間的に近接している)ことがあり得る。
【００８６】
実施形態では、後のイベント422の発生時において、活動信号Sの値は、イベント422の直前のSの現在の値(すなわち、h0)とhとの合計(おそらく重み付けられた)に設定され得る。したがって、曲線Sの減少は、図4bが示すように、値h+h0から開始することになる。さらに、h+h0の値は、所定の値h1で上限を設ける(すなわち、min(h1,h+h0))ように予想することも可能である。
【００８７】
別の実施形態では、後のイベント422の発生時に、h0の値が何であれ、曲線Sの値はhに設定される(すなわち、最後のイベント(すなわち、後のイベント)に対する前のイベントは無視される)。この別の実施形態では、以下のように定義される「最後のイベント時間」として知られる時間を定義することが可能である、すなわち、
T(p,pol,i)=max(tj)|j<i
または
T(p,pol,t)=max(tj)|tj<t
ここで、tjは極性polを有する画素pに対する画素で生じたイベント時間である。
【００８８】
概念的には、p→T(p,pol,t)は、時間的に、基準時間(すなわち、t)の直前に生じた同じ極性の最後のイベントの時間カードを定義する。
【００８９】
したがって、この別の実施形態では、p→S(p,pol,t)は、時間T(p,pol,t)のこの組の関数であるとして定義され得る。
【００９０】
例えば、p→S(p,pol,t)は、
【００９１】
【数１４】
2018516395.tif 000016
【００９２】
であり、τおよびhは、所定の時定数である(Sは、下側の端点としてT(p,pol,t)を含む間隔にわたり、時間tに関する任意の減少関数とすることができる)。
【００９３】
これらの画素のイベントの「鮮度(freshness)」を表す画素カードSを作成することは、不連続な概念(すなわち、イベント)の連続する、簡単な表現を可能にするので有利である。この作成されたカードにより、イベントの表現を理解しやすい領域へと変換することが可能になる。
【００９４】
したがって、それを作成することは、イベントの処理および比較を簡単化する。
【００９５】
この関数Sは、この画素について生じたイベントの「鮮度」を表している。
【００９６】
図4cのカード401および402は、所与の時間tについて、2つの異なる視点から、1つの同じ手の動きを取り込む2つの非同期センサに対する関数Sを表している。
【００９７】
最も暗い点は、最後のイベントが時間tに関して最近である点を表す(すなわち、最大のS値を有する)。
【００９８】
最も明るい点は、最後のイベントが時間tに関して最も遠い点を表す(すなわち、最小のS値を有する、画像の背景は、明るい値をより容易に目立つようにするためにグレー化されているが、背景は関数Sのゼロ値に対応する)。
【００９９】
分散された暗い点は、センサ取込みノイズに相当する。
【０１００】
日付t0に生じた各イベントについて、画素pに対する動きカードを決定することが可能である。したがって、カードの各画素pは、値としてS(p,t0)を有する。
【０１０１】
2つのセンサの2つの点pおよびqが、観察されるシーンの同じ点に対応するかどうかを判定するために、各点pおよびqにおける2つのセンサのS値が同様である(これは、いくつかの限定された状況では必ずしもそうならない)、すなわち、S(p)=S(q)、または少なくともS(p)≒S(q)のいずれかであると仮定する。
【０１０２】
例えば、これらの2つの値S(p)とS(q)との間の相関を計算することが可能である。
【０１０３】
さらに、2つの単一の点の比較に限定することなく、p(403)およびq(404)の近くに位置する点(すなわち、数学的な用語の意味における距離である、pまたはqからの所定の距離に位置する点)を考慮することも有用であり得る。すなわち、pの近くのすべての点が組vu(p)(405)を定義し、qの近くのすべての点が組vv(q)(406)を定義する(Nはこの組の基数である)。
【０１０４】
点pおよび点qに近い2つのカード405とカード406の相関を決定することが可能である。加えて、センサを任意の時間差から解放するために、それらの各平均のオプティカルフロー405および406をそれぞれのもの(それぞれ、
【０１０５】
【数１５】
2018516395.tif 000017
【０１０６】
、および
【０１０７】
【数１６】
2018516395.tif 000018
【０１０８】
)から減算することが可能である。
【０１０９】
したがって、所与の瞬間tについて、動き成分は、次のように表すことができる、
【０１１０】
【数１７】
2018516395.tif 000019
【０１１１】
ただし、iは組vu(p)における点のインデックスであり、また組vv(q)における点のインデックスである。
【０１１２】
最後に、2つを超えるセンサを使用することにより、この式を一般化することが可能である。例えば、Q個のセンサ{u、v、w、...}の場合、(前に輝度成分に対して使用されたものと同じ表記を用いることにより)書くことが可能である。
【０１１３】
【数１８】
2018516395.tif 000020
【０１１４】
図5aおよび図5bは、本発明の一実施形態における幾何学的成分を計算する例の図である。
【０１１５】
2つのセンサ501および502が、1つの同じシーン(例えば、点X(t)を含むシーン、図5aを参照)に対向している場合であって、第1のセンサ501の点
【０１１６】
【数１９】
2018516395.tif 000021
【０１１７】
が、点X(t)を表している(すなわち、点
【０１１８】
【数２０】
2018516395.tif 000022
【０１１９】
、X(t)、およびRuが一直線に並んでいる)とき、センサ502に関してエピポーラ直線luvを定義することが可能である。
【０１２０】
Ruはセンサ501の投影中心であり、Rvはセンサ502の投影中心である。
【０１２１】
このエピポーラ直線luvは、平面(X(t)、Ru、Rv)とセンサ502との交差部であるとして定義される。
【０１２２】
より一般的には、最後のセンサ501の点pは、第2のセンサ502上のエピポーラ直線lv(p)を定義し、第2のセンサ502の点qは、第1のセンサ501上のエピポーラ直線lu(q)を定義する。
【０１２３】
したがって、第1のセンサおよび第2のセンサの2つの点pおよびqについて幾何学的成分を定義することが可能である。
【０１２４】
【数２１】
2018516395.tif 000023
【０１２５】
撮影デバイスが、3つのセンサを備える場合(図3bを参照)、2つのエピポーラ直線を、センサごとに定義することができ、これらの直線は、2つの他のセンサ上にあると見なされる点により定義される。したがって、これらの2つのエピポーラ直線は、その場合、以下でエピポーラ交差部と呼ぶ交差部を有する。したがって、
第1のセンサの点pおよび第2のセンサの点qは、第3のセンサ上でエピポーラ交差部iw(p、q)を定義する、
第1のセンサの点pおよび第3のセンサの点rは、第2のセンサ上でエピポーラ交差部iv(p、r)を定義する、
第2のセンサの点qおよび第3のセンサの点rは、第1のセンサ上でエピポーラ交差部iu(q、r)を定義する。
【０１２６】
したがって、第1、第2、および第3のセンサの3つの点p、q、およびrに対する幾何学的成分を定義することが可能である。
【０１２７】
【数２２】
2018516395.tif 000024
【０１２８】
ただし、εgは最大の受け入れ可能な幾何学的差を表す距離の所定の値である。
【０１２９】
撮影デバイスが、3つを超えるセンサ(例えば、Q個のセンサ)を備える場合、センサのエピポーラ交差部が、他のセンサの現在の点によりこのセンサ上で定義されるエピポーラ直線のセットの最も近くに位置する点であること(例えば、エピポーラ直線に対する前記点の距離の合計を最小化することにより、または距離の2乗を最小化することによる)を考慮することにより、前の式を一般化することが可能である。
【０１３０】
【数２３】
2018516395.tif 000025
【０１３１】
第1のセンサのイベントe(p,tu)、および第2のセンサのイベントe(q,tv)に対する時間成分を決定することも可能である。
【０１３２】
【数２４】
2018516395.tif 000026
【０１３３】
ただし、εtは、時間の次元を有し、これらの2つのイベント間の最大の受け入れ可能な時間差を表す数である。
【０１３４】
撮影デバイスが、3つを超えるセンサ(例えば、Q個のセンサ)を備える場合、前の式を一般化することが可能である。
【０１３５】
【数２５】
2018516395.tif 000027
【０１３６】
図6は、本発明による一実施形態を提示する流れ図を示す。
【０１３７】
2つの別々の非同期センサからの非同期イベント601および602の2つの組を受け取り、1つの同じシーンと比較すると、これらのセンサから2つのイベントを選択することが可能である(ステップ603、第1のセンサに対する画素piおよび時間t1i、ならびに第2のセンサに対する画素qjおよび時間t2jにより定義される)。
【０１３８】
これらのイベントが選択された後、上記で述べられた以下の成分の中から、少なくとも1つの成分を決定することができる、すなわち、
幾何学的成分(ステップ604)、
時間成分(ステップ605)、
動き成分(ステップ606)、
輝度成分(ステップ607)である。
【０１３９】
第1のセンサに対するイベントe1(pi,t1i)の組について、多数のイベントe2(qj,t2j)にわたって、(例えば、インデックスjを変化させることにより)反復させる(テスト608、出力j+1)ことが可能である。反復は、第2のセンサのすべてのイベント、または有利には、これらのイベントのサブセットだけ(例えば、エピポーラ直線から、もしくは少なくともpiにより定義されるエピポーラ交差部から、所定の幾何学的距離に位置するものだけ、および/または時間t1iの所定の時間距離に位置するものだけ)の概要を示すことができる。
【０１４０】
反復が終了した後(テスト608、出力OK)、イベントe1(pi,t1i)の組に対する費用関数Eを最小化するイベントe2(qj,t2j)を決定することが可能である(ステップ609)。費用関数は、例えば、前に計算された成分の単純な合計(E=ET+EM+EG+EI)、または重み付けられた合計(E=ωTET+ωMEM+ωGEG+ωIEI)とすることができる(これらの成分を含む任意の他の関数も可能である)。
【０１４１】
輝度成分および/または動き成分を考慮する費用関数は、行われる3D再構成の精度を大幅に増加させることができることが、実験を通して観察されている。
【０１４２】
最小化が実行された後、点piと点qjを接続することができ(ステップ610)、したがって、接続された点piと点qjを表す、観察されるシーンの点X(t)の空間における距離または位置を計算することができる(ステップ611)。
【０１４３】
計算された距離(または空間中の点X(t)の位置)が次いで返される(612)。
【０１４４】
図7は、本発明による一実施形態を実装するためのデバイスを示している。
【０１４５】
この実施形態では、デバイスは、コンピュータ700を備え、コンピュータ700は、方法を実装できるようにする命令と、受け取った測定値からのデータと、前述したような方法の様々なステップを実行するための時間データとを記憶するためのメモリ705を備える。
【０１４６】
コンピュータは、回路704をさらに備える。この回路は、例えば、
-  コンピュータプログラムの形態の命令を解釈できるプロセッサ、または
-  本発明の方法のステップが、シリコンチップに記述される電子基板、または、さらに
-  FPGA(「書替え可能ゲートアレイ」)チップなどのプログラム可能な電子チップ
とすることができる。
【０１４７】
このコンピュータは、センサからイベントを受け取るための入力インターフェース703と、距離707を供給するための出力インターフェース706とを備える。最後に、コンピュータは、ユーザと容易に対話することができるようにするために、スクリーン701およびキーボード702を備えることができる。当然であるが、キーボードは、特に、例えば、タッチスクリーンタブレットの形態を有するコンピュータの一部として任意選択のものである。
【０１４８】
さらに、図6で提示された機能的な図は、説明されたデバイスについて一定の命令が作成され得るプログラムの典型的な例である。これに関して、図6は、本発明の意味において、コンピュータプログラムの一般的なアルゴリズムの流れ図に対応することができる。
【０１４９】
当然ながら、本発明は、例として上記で述べた実施形態の形態に限定されない。本発明は、他の変形形態に及ぶ。
【０１５０】
他の実施形態も可能である。
【０１５１】
例えば、図6の流れ図はまた、第1のセンサのいくつかのイベントを、第2のセンサのイベントと関連付けるために、イベントe1(pi,t1i)に対する反復を含むこともできる。
【符号の説明】
【０１５２】
101  画素
102a  感光性素子、フォトダイオード
102b  感光性素子、フォトダイオード
103a  電子検出回路
103b  電子検出回路
104  パルス列
401  カード
402  カード
403  p
404  q
405  組vu(p)、カード、オプティカルフロー
406  組vv(q)、カード、オプティカルフロー
410  極性イベントpol
411  イベント
412  イベント
413  イベント
414  イベント
421  イベント
422  イベント
501  第1のセンサ
502  第2のセンサ
700  コンピュータ
701  スクリーン
702  キーボード
703  入力インターフェース
704  回路、プロセッサ
705  メモリ
706  出力インターフェース
707  距離
【図１】
2018516395.tif 000030
【図２】
2018516395.tif 000031
【図３】
2018516395.tif 000032
【図４ａ】
2018516395.tif 000033
【図４ｂ】
2018516395.tif 000034
【図４ｃ】
2018516395.tif 000035
【図５ａ】
2018516395.tif 000036
【図５ｂ】
2018516395.tif 000037
【図６】
2018516395.tif 000038
【図７】
2018516395.tif 000039
【国際調査報告】
2018516395.tif 000040
2018516395.tif 000041
2018516395.tif 000042
2018516395.tif 000043