(57)【要約】  本発明は、個別の立体角からのシーンを観察するために配置された一連の基本受信器をそれぞれが含む少なくとも二つのセンサの実現であって、センサの各々は、シーンから生じる基本受信器によって受信した信号の物理的な特性に応答し、センサは、所定の瞬時に基本受信器の一つによって受信した信号の変化をそれぞれ表すイベントの非同期ストリームを出すようにそれぞれが適合されることと、センサによって生成された信号を用いるセンサの各々の基本受信器のペアリングを行うステップを含む３Ｄアルゴリズムの実現であって、ペアリングは、センサの各々によって生成されたイベントを時間的に近接するイベントを選択することによって互いにペアリングすることからなることと、を含むシーンの３Ｄ再構成の方法に関する。【選択図】図３
2015508584.tif 000002
【特許請求の範囲】
【請求項１】
個別の立体角からのシーンを観察するために配置された一連の基本受信器をそれぞれが含む少なくとも二つのセンサ（Ｃ１，Ｃ２）の実現であって、前記センサの各々は、前記シーンから生じる前記基本受信器によって受信した信号の物理的な特性に応答することと、
前記センサによって生成された信号を用いる前記センサの各々の前記基本受信器の整合を行うステップを含む３Ｄアルゴリズムの実現と、
を含むシーンの３Ｄ再構成の方法において、
所定の瞬時に前記基本受信器の一つによって受信した信号の変化をそれぞれ表すイベント（Ｅｉ）の非同期ストリームを出すようにそれぞれが適合されたセンサの使用を含み、前記整合は、センサの各々によって生成されたイベントを時間的に近接するイベントを選択することによって互いに整合することからなることを特徴とする方法。
【請求項２】
各イベントは、
生成したイベントを有する前記基本受信器を識別することができるデータと、
前記基本受信器によって検知されるとともに前記基本受信器によって受信した信号が増大した場合の第１の値及び前記基本受信器によって受信した信号が減少した場合の第２の値を少なくともとる、前記信号の変化の標識と、
前記信号の変化の発生の瞬時と、
を備える請求項１に記載の方法。
【請求項３】
前記整合は、発生の所定の瞬時での第１のセンサによって生成されたソースイベントに対する、第２のセンサによって生成されるとともに前記ソースイベントの発生の瞬時（ｔ）の周辺の所定の幅（ΔＴ）の時間窓で生じる任意のイベントの選択を備える請求項２に記載の方法。
【請求項４】
前記センサは焦点面を有し、選択したイベントの各々に対して、前記選択したイベントを有する前記基本受信器に対応する前記第２のセンサの焦点面のポイントと前記生成されたソースイベントを有する前記第１のセンサの前記基本受信器に関連する前記焦点面のエピポーラ線との間の距離を算出し、その後、そのように決定した距離が所定の制限Ｄより上である前記選択したイベントの全てを除外する請求項３に記載の方法。
【請求項５】
標識が前記ソースイベントと同一の値を有しない前記選択したイベントの全てを除外する請求項３に記載の方法。
【請求項６】
整合が既に行われた前記選択したイベントの全てを除外する請求項３に記載の方法。
【請求項７】
少なくとも三つの非同期センサ（Ｃ１，Ｃ２，Ｃ３）を実現し、時間的な選択後、センサの各々によって生成されたイベントを保持し、保持されたイベントの各々が、対応する焦点面における他の保持されたイベントによって生成されたエピポーラ線の交点で見つけられる請求項１に記載の方法。
【請求項８】
前記センサは、前記非同期ストリームを生成するように適合された後処理と組み合わせられるＣＣＤ又はＣＭＯＳ型のカメラを備える請求項１に記載の方法。
【請求項９】
前記センサは、イベントの非同期ストリームを供給するようイベントを生成するために光度の相対変化を独立して連続的に定量化する受信器を含むタイプのものとする請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非同期センサに依存するシーンの３Ｄ再構成の方法に関する。
【背景技術】
【０００２】
同一シーンの画像を撮像する少なくとも二つの同期したカメラによって撮像された画像に基づく３次元再構成を行うことが知られている。最初の立体視アルゴリズムは１９７０年代に出現した。重大なプロセスがここ数年行われてきた。このプロセスは、効果的な整合アルゴリズムにとってますます重要になっている。
【０００３】
用いられる光センサは、立体角のそれぞれからシーンを見るとともに規則的な間隔でシーンの画像を取得する（一般的には１秒ごとに数個の画像）ために行列に配置された基本受信器（例えば、カメラの画素）を有する。この場合、各画像は、対応する基本センサによってシーンから受信した信号の物理的な特性をそれぞれ表す値、例えば、光度のテーブルによって表される。
【０００４】
更に正確に言えば、そのような光センサは、それぞれの時間増分ｔｋにおいてｘ，ｙに配置された基本受信機の各々に対して、情報
【数１】
2015508584.tif 000003
を生成する。この場合、ｆは、ｘ，ｙに配置された受信器によって受信した光度であり、δは、クロネッカーの記号である。そのようなセンサによって戻された情報は、行列又はフレーム
【数２】
2015508584.tif 000004
であり、この場合、Ｎ，Ｍは、行列の次元であり、この情報は、各時間増分で送られる。
【０００５】
整合アルゴリズムは、シーンの同一要素に起因し得るパターンに対するこれらの情報を探索し、対応する基本センサを互いに整合する。このように整合したこれらの基本受信器の位置がわかると、これらの二つの基本受信器によって見られたシーンのポイントを三角測量によって取得するのは容易であり、したがって、それをシーンの３Ｄ再構成に組み入れるのは容易である。
【０００６】
各画像は、数メガバイトのサイズを表すことができ、これは、１秒ごとに数枚の画像（典型的には、１秒ごとに２４枚の画像）のレートであり、かなりの帯域幅を表す。３Ｄ再構成アルゴリズムは、シーンの同一要素に対応するパターンを互いに整合するために同一瞬時に種々のセンサによって撮像された画像のパターンの探索を行う。これらのアルゴリズムは、大量の電力及び演算時間を消費するソフトウェアパッケージを必要とし、リアルタイムアプリケーションに対して想定できない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
発明の対象は、理想的な演算手段によってリアルタイムでの実現を行うことができるシーンの３Ｄ再構成の方法である。
【課題を解決するための手段】
【０００８】
この目的を達成するために、
個別の立体角からのシーンを観察するために配置された一連の基本受信器をそれぞれが含む少なくとも二つのセンサの実現であって、センサの各々は、シーンから生じる基本受信器によって受信した信号の物理的な特性に応答することと、
センサによって生成された信号を用いるセンサの各々の基本受信器の整合を行うステップを含む３Ｄアルゴリズムの実現と、
を含むシーンの３Ｄ再構成の方法を提案する。
【０００９】
本発明によれば、方法は、所定の瞬時に基本受信器の一つによって受信した信号の変化をそれぞれ表すイベントの非同期ストリームを出すようにそれぞれが適合されたセンサの使用を含み、整合は、センサの各々によって生成されたイベントを時間的に近接するイベントを選択することによって互いに整合することからなる。
【００１０】
そのようなセンサの使用によって、センサからの情報の出力を飛躍的に減少させることができ、整合をかなり簡単にする。時間的に近接するイベントの整合は、実際には、そのように整合されたイベントを生成したセンサの各々の受信器の整合になる。整合は、適度な処理手段を用いることにより、実現するのが非常に簡単になる。
【００１１】
本発明の３Ｄ再構成方法を、理想的な手段、例えば、適切なデータ取得カードを備えた単純なパーソナルコンピュータによって実現することができる。
【００１２】
本発明は、添付図面の図を考慮して更によく理解されるであろう。
【図面の簡単な説明】
【００１３】
【図１】本発明による同一シーンを観察する二つの非同期センサの焦点面を示す図である。
【図２】図１のセンサによって検出したイベントのタイミング図である。
【図３】本発明による同一シーンを観察する三つの非同期センサの焦点面を示す図である。
【図４】図３のセンサによって検出したイベントのタイミング図である。
【発明を実施するための形態】
【００１４】
以下詳細に説明する実現の態様において、図１を参照すると、シーンは、ＣＣＤ又はＣＭＯＳカメラを有する（それぞれ右及び左と称する）二つのセンサＣ１及びＣ２を用いて撮像される。各カメラは、各々が基本センサに相当するＭｘＮ画素を有する。各画素は、所定の立体角からのシーンを観察し、この立体角で受信した光度に応答する。図１は、二つのセンサＣ１及びＣ２の焦点面を示す。
【００１５】
しかしながら、本発明の関連においては、カメラは、通常の方法で用いられない。各々の基本情報が瞬時ｔｋで各画素によって受信した光度を表すフレーム
【数３】
2015508584.tif 000005
を規則的な間隔で生成させるためにカメラを使用するのではなく、ここで関心があるのは情報の微分であり、この場合、画素の各々によって受信した光度の変化の向きである。したがって、関心のある量は、二つの値：画素によって受信した信号の光度が減少する場合の−１及び画素によって受信した信号の光度が増大する場合の１を取ることができる
【数４】
2015508584.tif 000006
である。この量は、サンプリングの瞬時ｔｋ： 
【数５】
2015508584.tif 000007
に対してサンプリングされ、この場合、δは、クロネッカーの記号である。
【００１６】
したがって、このイベントは、時間ｔｋでｘ，ｙに配置された画素Ｐｘｙによって検知された光度の増大（＋１）又は減少（−１）を表す。
【００１７】
そのような情報を、カメラの画素の各々からの受信した光度についての情報の後処理によって生成させることができ、それは、カメラに接続したデジタル処理カードに埋め込まれ、又はカメラそれ自体若しくはカメラがリンクしたコンピュータに埋め込まれる。
【００１８】
通常そのようなカメラによって生成されるとともに既知の方法の３Ｄ再構成で用いられる行列情報
【数６】
2015508584.tif 000008
は、本発明によれば、行列情報
【数７】
2015508584.tif 000009
に置き換えられる。
【００１９】
そのような行列情報は、行列情報のデータが簡単に１オクテットに含められるので明らかに通常の画像よりも記憶空間を消費しない。
【００２０】
しかしながら、本発明の特に好適な態様によれば、情報を行列形式で送信するのではなく、イベントＥｉの非同期ストリームを送信することができ、各イベントを、
量ｅが変化した値を有する画素の識別を可能にするデータ、この場合、対応する画素Ｐｘｙの座標ｘ，ｙと、
値の変化の瞬時と、
画素によって検知された信号の変化の指標、この場合、この変化の際に量ｅによって到達した値（−１；１）を取り出すこと（以後、イベントの値）と、
によって識別することができる。
【００２１】
この非同期ストリームを以下の表記法
【数８】
2015508584.tif 000010
によって表すことができ、この場合、Ｅ１＝［ｘ１，ｙ１，ｔ１，ｅ１］は、最初のイベントであり、この場合、Ｅｎ＝［ｘｎ，ｙｎ，ｔｎ，ｅｎ］は、ｎ番目のイベントである。
【００２２】
この非同期ストリームは、ここでは、カメラデータの後処理を行う電子カードによって生成される。各イベントの識別情報は、小さい記憶容量であり、連続的に送信することができる。これらの情報は、当然、イベントＥが実際に生成された場合にのみ送信され、これによって、必要な出力が著しく減少する。イベントが存在しない場合（例えば、固定されたシーン又は固定されたカメラ）、何も送信されない。したがって、非同期信号が作成され、非同期信号を、単純なシリアルリンクによって送信することができるが、後に説明するように、非同期信号は、シーンの３Ｄ再構成を行うことができるのに十分な情報を有する。
【００２３】
このために、非常に簡単な整合方法が、二つのセンサＣ１，Ｃ２によって生成したイベントに基づいて本発明によって実現され、そのカメラは、同一シーンを撮像する。この整合の原理は、二つのカメラによって生成したイベントがシーンの同一のパターン又はポイントに関連する可能性が非常に高いという仮説を置くことからなる。この場合、左側センサ及び右側センサによって生成した二つの時間的に近接するイベントを整合するという試みが行われる。このようにして、空間的及び時間的な整合が行われる。
【００２４】
しかしながら、所定の瞬時において、例えばシーンの動きに起因する光度の変化が、両方のカメラのしかじかの画素に影響を及ぼし、適用可能である場合には、センサの各々に対するイベントを生成する場合、これらのイベントの発生の瞬時が互いに正確に一致する可能性が非常に低い。先ず、カメラは、応答及びイベントの生成に対するレイテンシータイムを示し、それも、画素の各々に対して変化する。次に、情報の生成及びその送信における遅延が生じるおそれがある。したがって、両方のカメラによって生成されたイベントの正確な時間的な一致だけに基づくイベントの整合は危険となり得る。
【００２５】
しかしながら、左側カメラによって生成したイベントＥ１（左側イベント又はソースイベントと称し、それに対応する画素Ｐ１が図１で見られる。）に対して、右側カメラによって生成されたイベントのセット（ここでは、イベントＥ２，Ｅ２’，Ｅ２”）（左側イベントと称し、それに対応する画素Ｐ２，Ｐ２’Ｐ２”を見ることができる）を選択することができ、それは、図２に示すように左側イベント発生の瞬時の周辺の所定の時間窓ΔＴで生じた。したがって、ソースイベントに時間的に近接する一つ以上の右側イベントが選択される。明らかに、時間窓が小さくなるに従って、そのように決定されたセットが含む右側イベントが少なくなる。
【００２６】
この予備選択によって、少数の右側イベントのみを保持することができ、そのうちの一つは、左側イベントに整合される。適用可能である場合、単一の右側イベントが選択される。この場合、所望される整合が実行される。そうでない場合、考慮する左側イベントに対応するもののみを保持するために右側イベントをフィルタ処理することが重要である。このために、以下の選別手順の少なくとも一つが適用される。
選択した右側イベントの各々に対して、対応する画素と右側カメラの焦点面のエピポーラ線Ｌ１との間の距離を算出し、それは、左側イベントにリンクした画素Ｐ１に対応する。したがって、このように決定した距離が所定の制限Ｄより上である右側イベントの全てが除外される。好適には、考慮する距離はユークリッド距離である。
左側イベントと同一の値を有しない選択した右側イベントの全てを除外する。したがって、左側イベントが光度の増大に対応する場合、光度の増大に対応する右側イベントのみを保持する。
一意性の原理の適用に従って、既に整合が行われた選択した右側イベントの全てを除外する。
【００２７】
好適には、選別手順を、一つの右側イベントが保持されるまで表示した順番に適用する。これらの選択手順及び分類手順は、記憶容量及び演算時間をほとんど消費せず、したがって、選択手順及び分類手順を、理想的な手段、例えば、単純なパーソナルコンピュータによって容易に実現することができる。
【００２８】
したがって、二つのイベントの整合によって、二つの対応する画素の整合及びこれら二つの画素を整合する必要がある瞬時を決定することができる。この場合、通常の三角測量によって、このように整合された二つの画素によって見られたシーンのポイントの位置を決定することができる。
【００２９】
特に好適な実施の形態によれば、図３に示すように、同一のシーンを観察するために少なくとも三つのセンサが用いられる。以下の説明は、三つのセンサＣ１，Ｃ２，Ｃ３の使用に関連するが、四つ以上のセンサに対して容易に一般化される。
【００３０】
少なくとも三つのセンサを使用することによって、イベントの細かい区別を可能にする。このために、センサの各対にリンクする基本行列ＦＡＢ，ＦＡＣ，ＦＢＣを知る必要がある。
【００３１】
上述したように、時間的な選択の実現によって、センサの各々によって生成される所定の数のイベントを保持するとともにシーンの同一ポイントに対応する可能性を高くすることができる。
【００３２】
例えば、ここでは、Ｃ１の面の画素Ｐ１のイベントＥ１に対して、各画素Ｐ２，Ｐ２’，Ｐ２”のイベントＥ２，Ｅ２’，Ｅ２”を、Ｃ２の面において選択し、各画素Ｐ３，Ｐ３’，Ｐ３”のイベントＥ３，Ｅ３’，Ｅ３”を、Ｃ３の面において選択した。
【００３３】
イベントＥ２，Ｅ２’，Ｅ２”及びイベントＥ３，Ｅ３’，Ｅ３”のいずれがイベントＥ１に対応するかを決定するために、基本行列を用いてＣ１の面のこれらのイベントの各々に対応するエピポーラ線をＣ１の面で決定すれば十分である。この場合、イベントに対応する画素Ｐ１は、二つのイベント（ここでは、画素Ｐ２のイベントＥ２及び画素Ｐ３のイベントＥ３）によって生成された二つのエピポーラ線（ここでは、ラインＬ１２及びＬ１３）の交点にある。
【００３４】
Ｃ２の面におけるイベントＥ１及びイベントＥ３によって生成したエピポーラ線Ｌ２３とエピポーラ線Ｌ２１との交点に画素Ｐ２があること、及び、Ｃ３の面におけるイベントＥ１及びイベントＥ２によって生成したエピポーラ線Ｌ３１とエピポーラ線Ｌ３２との交点に画素Ｐ３があることが、相互に観察される。この特性によって、時間的に選択したイベントのいずれを整合する必要があるかを非常に迅速に決定することができる。
【００３５】
当然、本発明は、上述したものに限定されるものではなく、特許請求の範囲によって規定した範囲内にある任意の変更を包含する。
【００３６】
整合手順を実現するために、これらの上述した選別手順を、表示した順番又は他の順番で適用することができる。当然、時間的に近接するイベントが互いに整合される限りは、他の選別を実行することができる。
【００３７】
当然、通常のカメラ以外のセンサを用いることができ、その信号は、画素によって受信した光度の変化に関連するイベントを供給するために処理される。例えば、文献“Ａ  １２８ｘ１２８  １２０  ｄＢ  １５μｓ  ｌａｔｅｎｃｙ  ａｓｙｎｃｈｒｏｎｏｕｓ  ｔｅｍｐｏｒａｌ  ｃｏｎｔｒａｓｔ  ｖｉｓｉｏｎ  ｓｅｎｓｏｒ”，  Ｐ．Ｌｉｃｈｔｓｔｅｉｎｅｒ，  Ｃ．Ｐｏｓｓｈ，  Ｔ．Ｄｅｌｂｒｕｃｋ，  ＩＥＥＥ  Ｊｏｕｒｎａｌ  ｏｆ  Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｃｉｒｃｕｉｔｓ，  Ｖｏｌ．４３，  Ｎｏ２，  Ｆｅｂｒｕｒａｒｙ  ２００８に記載したようなセンサを用いることができる。このタイプのセンサは、イベントを生成するために独立して連続的に光度の相対変化を定量化する受信器を有する。センサは、意図的にイベントの非同期ストリームを供給し、本発明の方法に完全に適合される。
【００３８】
上述した例において、センサの受信器によって検知された信号が光度であるが、当然、例えば、赤外線放射、音波強度、レーダー反射波等のようなシーンから生じる他の信号に応答するセンサを用いることができる。
【００３９】
基本受信器によって検知された信号の変化を、ここでは基本的な方法で定量化（信号の増加に対する第１の値及び信号の減少に対する第２の値）しているが、当然、これらの変化を、例えば、グレーレベル若しくはカラーレベルによって又は光度のレベルによって、イベントの指標の記憶容量を少し増大するだけで精巧な方法で定量化することができる。
【００４０】
当然、基本受信器を、センサを協働して形成するために配置された本物の受信器とすることができ、その視野は、基本受信器が存在する場合と同数の画素を含む。しかしながら、基本受信器を、受信した信号の物理的な特性の変化をそれぞれ検出する、前記信号に応答するセンサの表面の基本領域を計算的に分離するとともに、個別の領域が存在する場合と同数の信号を生成することによって、事実上作成することができる。特に、受信器のセットが同一のセンサを形成する場合、これらは、必ずしも平面でない任意の形状を仮定することができる。例えば、受信器のセットを球に配置することができる。そのような配置において、他のセンサによって検知されたイベントに関連したエピポーラ線は、一般的には測地線の形状をとる。
【００４１】
当然、本発明の方法は、固定センサをゆする移動シーン及び移動センサ、例えば、振動センサを有する固定シーンに適用される。
【００４２】
最後に、本発明の方法を、三つ以上の非同期センサの使用に対して即座に一般化することができる。
【図１】
2015508584.tif 000011
【図２】
2015508584.tif 000012
【図３】
2015508584.tif 000013
【図４】
2015508584.tif 000014
【国際調査報告】
2015508584.tif 000015
2015508584.tif 000016
2015508584.tif 000017
2015508584.tif 000018
2015508584.tif 000019
2015508584.tif 000020