"第1の画像センサから、および運動および/または位置計測モジュールから生じたデータを融合するための方法において、前記第1のセンサおよび前記運動および/または位置計測モジュールは一体型で、デバイスを形成し、前記方法は、前記デバイスの位置測定を行うために、処理モジュールによって実行され、少なくとも以下のステップ:特定の時点tに関して、前記デバイス、画像カメラ、および運動および/または位置計測モジュールの現在の姿勢の定義を行うために、画像上の幾つかの点を取得することから成る第1のステップと、前記同じ特定の時点tに関して、前記運動および/または位置計測モジュールからの計測結果を用いた、前記デバイスカメラおよび運動/位置センサの予測姿勢の予測ステップと、前記デバイスカメラcおよびセンサkの前記センサkに関する関連の制約εkを決定するステップと、前記制約の重み付け係数λtを自動的に決定するステップと、前記デバイスの現在の姿勢ptの推定ステップと、以下のコスト関数:であるコスト関数を用いたバンドル調整技術によって、前記デバイスのカメラおよびセンサの姿勢の同時最適化ステップと、を含むことを特徴とする方法。請求項1に記載の方法において、所定数の第1の姿勢を用いて前記画像センサの環境を再構築し、3Dプリミティブの三角測量を選択された姿勢に関してそれらを構築する興味対象要素から実行することにより、キー姿勢およびシーン要素3Dのデータベースを初期化するステップを含むことを特徴とする方法。請求項1に記載の方法において、前記重み付け係数の前記自動選択ステップは、前記デバイスの姿勢の精度向上ステップの結果を使用し、ビジョンによる姿勢の推定を行うためのモジュールによって提供された前記デバイスの姿勢の第1の推定[204、304]から開始され、以前に推定されたシーン要素を考慮に入れ[209]、において重み付けの自動選択モジュールによって提供され[208]、前記重み付けの自動選択モジュールにおいて学習された係数ラムダλまたはλtによって重み付けされた[208、308]予測誤差制約をコスト項に加えることによって行われ、前記精度向上ステップの最後に、システムの現在の姿勢を姿勢のデータベース[212]に加えることを特徴とする方法。請求項1に記載の方法において、前記重み付けの自動選択ステップは、前記デバイスの姿勢の精度向上ステップ[309]を含み、モジュール[309]において、前記コスト関数は、前記カメラ上のシーンの3Dプリミティブの再投影誤差のみから成り、前記カメラの姿勢は、現在精度向上が行われており、次に、前記制約の構築ステップが続き、その後、前記重み付けの自動選択ステップが続き、前記精度向上ステップの最後に、システムの現在の姿勢を姿勢のデータベース履歴[312]に加えることを特徴とする方法。請求項1に記載の方法において、以下のステップ:第1の画像I1をキー画像として選択するステップと、次に、映像中でI1から可能な限り離れて、かつI1に対して少なくともM個の興味対象対応点を有して第2の画像I2を選択するステップと、次に、I3およびI2間で対応する少なくともM個の興味対象点が存在し、かつI3およびI1間で対応する少なくともM’個の興味対象点が存在するように、I2から最も離れた第3の画像I3を選択するステップと、後に続く画像Inに関して同様のステップとを含むキー画像の選択ステップを含み、同様に続けることで、画像In-2、In-1、およびInが、同じ3Dプリミティブに対応する少なくともM個の興味対象点を有することを確認することを特徴とする方法。請求項1に記載の方法において、前記制約は、以下の制約リスト:位置制約配向制約式中、Rは、配向をパラメータ化する回転行列であり、Iは、恒等行列であり、スケール係数制約または変換基準制約から選択されることを特徴とする方法。請求項1に記載の方法において、前記デバイスの姿勢を予測するために、前記センサkの最後の計測結果に対応する、時点t’≦tにおける前記デバイスの状態の推定を提供する逆観測モデルを用い、このモデルは、前記運動/位置センサによって得られた計測結果および前の状態xt-1から画像時間Itに対応する時点tにおける前記デバイスの姿勢を推定することを特徴とする方法。第1の画像センサ101から、および運動および/または位置計測モジュールから生じたデータを融合するためのシステムであって、前記第1のセンサおよび前記運動および/または位置計測モジュール102は一体型で、デバイスを形成し、前記システムは、請求項1から7のいずれか一項に記載の方法の前記ステップを実行するのに適した処理装置103を含むシステム。定義t=特定の時点または時間インデックス、w:カメラ従って、w=cまたは運動センサw=kで、kはカメラの音声インデックスのいずれかである任意のセンサのインデックス、c:カメラセンサを示すインデックスあるいは、数個のセンサが存在する場合は、画像センサのインデックス、xt:時点tにおけるシーンまたはその一部およびカメラ姿勢またはそれらの一部の推定を含むベクトル、:時点tにおいてセンサwによって行われた計測に関連する観測ベクトル、s:シーン再構築された環境、p:カメラの姿勢、これは、位置Tおよび配向Rを含む。本発明によるシステムおよび方法は、バンドル調整によって画像に関連するデータを用いて運動および/または位置データ間の自動重み付けを実施する新しいアプローチに基づく。本発明は、第1の画像センサ、および運動および/または位置計測モジュールから生じたデータを融合するための方法に関し、前記第1のセンサおよび前記運動および/または位置計測モジュールは一体型で、デバイスを形成し、この方法は、前記デバイスの位置測定を行うために処理モジュールによって実行され、この方法は、少なくとも以下のステップ:特定の時点tに関して、デバイス画像カメラ、および運動および/または位置計測モジュールの姿勢の定義を行うために、画像上の幾つかの点を取得することから成る第1のステップと、同じ特定の時点tに関して、運動および/または位置計測モジュールからの計測結果を用いた、デバイスカメラおよび運動および/または位置センサの姿勢の予測ステップと、デバイスカメラおよびセンサkに関する関連の制約εkを決定するステップと、前記制約の重み付け係数λtを自動的に決定するステップと、前記デバイスの現在の姿勢ptの推定ステップと、以下のコスト関数:であるコスト関数を用いたバンドル調整技術による同時最適化ステップと、を含むことを特徴とする。この方法は、例えば、所定数の第1の姿勢を用いて画像センサの環境を再構築し、3Dプリミティブの三角測量を選択された姿勢に関してそれらを構築する興味対象要素から実行することによって、キー姿勢およびシーン要素3Dのデータベースを初期化するステップを含む。ある実施形態によれば、重み付け係数の自動選択ステップは、デバイスの姿勢の精度向上ステップの結果を使用し、これは、ビジョンによって姿勢の推定を行うモジュールによって提供されたデバイスの姿勢の第1の推定から開始され、以前に推定されたシーン要素を考慮に入れ、重み付けの自動選択モジュールによって提供され、重み付けの自動選択モジュールにおいて学習した係数ラムダλまたはλtによって重み付けされた予測誤差制約をコスト項に加えることにより行われ、精度向上ステップの最後に、システムの現在の姿勢を姿勢のデータベース履歴に加える。重み付けの自動選択ステップは、例えば、デバイスの姿勢の精度向上ステップを含み、精度向上モジュールにおいて、コスト関数は、カメラ上のシーンの3Dプリミティブの再投影誤差のみから成り、このカメラの姿勢は、現在精度向上が行われており、次に、制約の構築ステップが続き、その後、重み付けの自動選択ステップが続き、精度向上ステップの最後に、システムの現在の姿勢を姿勢のデータベース履歴に加える。この方法は、以下のステップ:第1の画像I1をキー画像として選択するステップと、次に、映像中でI1から可能な限り離れて、かつI1に対して少なくともM個の興味対象対応点を有して第2の画像I2を選択するステップと、次に、I3およびI2間で対応する少なくともM個の興味対象点が存在し、かつI3およびI1間で対応する少なくともM’個の興味対象点が存在するように、I2から最も離れた第3の画像I3を選択するステップと、後に続く画像Inに関して同様のステップとを含むキー画像の選択ステップも含むことができ、同様に続けることで、画像In-2、In-1、およびInが、同じ3Dプリミティブに対応する少なくともM個の興味対象点を有することを確認する。制約の値は、例えば、以下の制約リスト:位置制約配向制約式中、Rは、配向をパラメータ化する回転行列であり、Iは、恒等行列である等スケール係数制約または変換基準制約から選択される。デバイスの姿勢を予測するために、この方法は、センサkの最後の計測結果に対応する、時点t’≦tにおけるデバイスの状態の推定を提供する逆観測モデルを用いることが可能であり、このモデルは、運動/位置センサによって得られた計測結果および前の状態xt-1から画像時間Itに対応する時点tにおけるデバイスの姿勢を推定する。本発明は、第1の画像センサから、および運動および/または位置計測モジュールから生じたデータを融合するためのシステムにも関し、前記第1のセンサおよび前記運動および/または位置計測モジュールは一体型で、デバイスを形成し、前記システムは、上記方法のステップを実行するのに適した処理装置を含む。本発明の他の特徴および利点は、図面を添付した、一例として少しも限定的ではなく提供される1つまたは複数の実施形態例の以下の記載を読めば、より明白に分かるであろう。本発明において実施される原理およびモジュールのさらなる理解を提供するために、以下の例を、少しも限定的な意味ではなく、本方法の異なる実施形態のステップを実行するのに適した処理装置に接続された画像カメラおよび運動および/または位置センサを含むシステムの実例として提供する。場合によっては、自身の運動の計測を可能にするモジュールを備えたカメラを使用することが可能となる。要約すると、本発明による方法には、位置測定の適用SLAMにおけるバンドル調整のステップにおいて重み付けされる姿勢間制約inter-poseconstraintすなわち、軌道計測デバイスに接続されたビジョンによって計測される姿勢に対する制約が組み込まれる。運動モデルに関連する慣性データは、新しい画像の時点におけるシステムの姿勢の予測に役立つ。次に、この予測を用いて、姿勢間制約を構築する。学習理論から生じた技術は、効率的に、すなわち、自動的かつコンテキストに適して、リアルタイムでバンドル調整において直接的に重み付け係数共分散信号の雑音比を選択する。このように重み付けされた姿勢間制約は、次に、バンドル調整のコスト関数の範囲内で統合される。拡張バンドル調整は、特に数回のGauss-Newton反復を行うので、カルマンタイプのアルゴリズムと比較してより正確である。図1は、本方法の実施が可能なシステムアーキテクチャの図の一例を示す。本発明によるシステム100は、以下を含む:ピンホールカメラ、全方向性、三次元TOFカメラ、ステレオカメラ、ウェブカメラ、赤外線等の画像センサ101、GPS、オドメータ等の運動または位置センサ102;画像センサ101および運動センサは、同じ支持材上に存在してもよい;運動または位置センサ102は、それが生成する、または計測するデータを記憶するバッファメモリ107を組み込むことも可能である、同じ支持材上に存在する、あるいは正規の位置から離すことも可能な処理装置103。この処理装置が画像および位置センサから離れている場合には、これは、物理的通信手段有線、インターネット、または無線あるいはワイヤレス手段によって、情報またはデータのやりとりを行う、処理装置103は、例えば、本発明による方法のステップの実行に適したプロセッサ104と、例えばシステムの姿勢のデータベース105、シーンの3Dプリミティブと、3Dプリミティブおよび画像におけるそれらの観測を結び付ける関連性とのデータベース106であるデータの保存手段とから成る。運動センサによって生成されたデータを記憶するためのバッファメモリが運動センサに組み込まれていない場合には、このメモリは、処理装置103に挿入される。LCDスクリーンまたはPCモニタ等のオペレータによる可視化手段108、例えばロボットを自律的に操縦することを目的としてロボットは、例えばロボットのモータを制御することによって、本発明による方法のおかげで移動する、ドライバモータ等の制御を行うモジュール109。各センサは、世界シーンを観測し、それ自体の変位デバイスの変位ではないの計測を行う。従って、カメラセンサおよび運動センサから成るデバイスの場合にデバイスの動きを得るためには、当業者には公知の座標系の単純な変化後に記載する関数Hにおいてもモデリングされるを適用する。処理デバイスを組み込んだカメラの場合には、処理装置103は、カメラと一体化される。本発明による方法によって実施される異なるステップを説明する前に、本発明による方法を理解するための幾つかの有用なリマインダーを示す。リマインダーセンサの融合の問題は、時間領域で離散化された逆問題として公式化することができる。観測プロセスは、センサwに関して、以下の観測ベクトルの式:によって定義される。式中、は、特定の時点tにおいてセンサwによって実行された投影関数である。この関数は、実物体または情報xtここでは、システムおよびシーンの位置測定を観測ベクトルに関連付ける。関数は、座標系の変化を含み、これにより、関係したセンサに特有の座標系で表現された観測を、本発明によるシステムの座標系に渡すことが可能となる。当業者に公知の較正プロセスによってこれの推定を行うことができる。誤差ベクトルは、通常、零平均白色雑音によって特徴付けられるガウス関数のベクトルで表される。誤差ベクトルは、計測フェーズ中に導入された不正確さをモデリングする。逆問題の目的は、センサによって提供された複数の観測結果から未知の実ベクトルxtを取り出すことである。動的システムの場合、デバイスの経時的挙動を定義する運動モデルを使用する必要がある。使用されるモデルは、xt=Ftxt-1wtの未知の実ベクトルであり、式中、Ftは、その前の状態からデバイスの新しい状態wt特に姿勢を含むを定義する。例えばシーンs等の静的システムは、定義上、経時的に一定であり、その結果、時間インデックスtを用いることなく表現することができる。再帰的ベイズ推定計測結果に雑音が存在し得ることが分かっていれば、不確かで、先験的な計測結果を最も有効にする統計フィルタリングは、動的システムの状態の推定から成る。この方法では、システムの状態センサからの全ての計測結果は、確率密度関数pdfが求められる確率変数のベクトルである。再帰的ベイズ推定量の目的は、このpdfを求め、コスト関数による期待値を最小にすることである。最もよく知られたコスト関数は、推定量と、その観測結果との二乗誤差を最小にしようとする平均二乗誤差、またはMSE関数である。インデックスkのセンサに関する平均二乗誤差は、として定義され、式中、は、残差計測のベクトルであり、は、その長さであり、である。全ての計測結果が、共分散Iは、恒等行列であるから互いに独立していると考えられる場合、が得られる。センサ融合の問題は、センサの全ての平均二乗誤差を最小にすることから成る。ベイズ推定量の一例は、バンドル調整である。バンドル調整技術バンドル調整技術またはBABandleAdjustmentは、非線形最小二乗法例えば、Gauss-Newton法、Levenberg-Marquardt法等を解く方法に基づいた最適化技術である。最小化される目的E関数は、通常、画像単位はピクセルであるに基づいたコスト項であり、例えば、平均二乗誤差MSE:投影誤差これは、画像tにおけるカメラcの二次元観測結果と、画像におけるシーンの再投影との二乗距離の合計であるが用いられる。バンドル調整技術は、最適化される入力変数に応じて異なる適用に使用される。通常、変数は、最後の姿勢ptのみとなり得るが、シーンsのみ、あるいは、特定数の姿勢およびシーンの姿勢精度向上について述べ、次に、局所的または一般的バンドル調整全ての姿勢の精度向上を行う場合[pts]について述べることとする。例えば、シーンおよびデバイスの姿勢の精度向上を行うためには、方程式:を解き、上付き文字cは、これらが、カメラによって行われた観測結果であることを示す。上付き文字は、最適化を表す。この方程式は、Gauss-Newton法またはLevenberg-Marquardt法等の先行技術の技術によって解くことができる。再投影誤差カメラkによって行われた観測結果に対する再投影誤差は、ここでは、カメラcによって操作された画像のシーンの1組の3Dプリミティブの投影関数として、と定義され、この姿勢ptは、xtに含まれる。この関数は、システムに用いられるカメラのタイプおよび3Dプリミティブのタイプに特有のものである。例えば、ピンホールタイプのカメラと、3Dの点によって形成されたプリミティブを用いることができる。図2は、3Dの点からの投影、を示し、は、分かっている場合にはそうでなければ、観測結果zijの標準偏差である。そして、は、時点tにおけるカメラcの観測結果である。他の種類のものが、領域中に存在し、当業者には公知のものである。システムアーキテクチャ用のモジュール図3および図4は、本発明による方法の変形実施形態の2つの例を示す。これら2つの変形例において実施されるモジュールおよびそれらの機能性を説明する。ビジョン部による位置測定[201、301]データ処理デバイスに配置されたビジョンによる位置測定モジュールカメラの画像に基づいてシステムの姿勢を推定するために、このモジュールにおいて最先端の技術を用いる。このモジュールは、様々な最先端のアルゴリズムを含むことが可能であり、従って、その実施に従って変化し得る。本発明による方法にとって重要なことは、ビジョン部の出力において:システムの姿勢の推定システムまたはその一部の最後の姿勢の履歴シーンの3Dプリミティブおよび画像におけるそれらの観測結果またはそれらの一部の履歴を有することである。[202、302]画像の取得同期的または非同期的にカメラから提供された画像を取得するためのモジュールの考察を行う。[204、304]ビジョンによる姿勢の推定センサが処理装置と同じ支持材上に存在しない場合には、上記で定義した画像を用いてデバイスの姿勢位置および配向を推定する。姿勢の推定は、以下の方法によって行われる。二次元興味対象要素の検出画像がモジュール[204、304]に届くと、本方法は、興味対象要素の検出を実行する。興味対象要素は、画像において明確に定義された位置を有し、かつ、空間点に対応し、視点または照明の変化時にロバストに検出可能である3Dプリミティブの観測結果である。数多くの検出器が当業者には公知である。興味対象要素の説明次に、自身が互いに差別化を図ることを可能にし、後続の画像中にそれらを見つけ出すことを可能にする記述子によって、興味対象要素の特徴を定義する。記述子により、その近くの環境までずっと点を認識することが可能となる。多数の記述子ZeroMeanNormalizedCrossCorrelationのアングロサクソン式の略称であるZNCC等が当業者には公知である。興味対象要素の相互相関これより、異なる視点から取得された同じシーンの2つの画像を有する場合を検討する。これらの各々に関して、興味対象要素の検出、および対応する記述子の算出を行ったものと仮定する。実際の相関フェーズは、2つの画像間で類似特性を有する興味対象要素間の対応を確立することから成る。幾つかの相関方法が当業者には公知である。対応に基づいた姿勢の算出デバイスの姿勢は、一般座標系の三次元x,y,zにおける位置Ttと、例えば回転Rtを有する行列の形式で保存されるデバイスの配向とによって定義される。この方法は変更可能で、例えば、5点アルゴリズムまたは8点アルゴリズムコンピュータビジョンにおける古典的方法を用いることが可能で、N個の画像からデバイスの姿勢を算出できる。以前に再構築されたシーン当業者には公知のリセクションアルゴリズムを用いることによってデバイスの姿勢を算出することもできる。姿勢を描写するパラメータも異なっていてもよい回転行列の代わりに四元数等。姿勢のロバスト推定姿勢の第1の推定は、従来の方法による誤差によって混乱する場合があり、ここで、より正確かつロバストな方法でデバイスの姿勢の推定を行うことを提案する。これを行うためには、当業者は、公知の方法:RANSAC、M-Estimator等を用いる。キー姿勢の選択2つの連続した画像間の動きは、エピポーラ幾何学の正確な算出、従って、2つの画像の姿勢の推定を行うのに十分な大きさである必要がある。従って、この方法は、比較的互いに距離があるが、十分な数の共通点を持つ画像を選択する。これを達成するためには、第1の画像I1は、常にキー画像として選択される。選択される第2の画像I2は、映像中の画像I1から可能な限り離して選択されるが、それは、I1に対して少なくともM個の興味対象対応点を有していなければならない画像である。次に、I3に関しては、I3およびI2間で対応する少なくともM個の興味対象点が存在し、かつI3およびI1間で対応する少なくともM’個の興味対象点が存在するように、I2から最も離れた画像を選択する。このように、カメラの動きを決定するのに十分な共通の興味対象点が画像間に存在する。後に続く画像Inに関して、同様に続行し、画像In-2、In-1、およびInが、同じ3Dプリミティブに対応する少なくともM個の興味対象点を有することを確認する。これらの規則に従う場合、画像Iのみがキー画像Inとなる。キー画像のこの検出方法は異なっていてもよく、ここでは、一例を提案する。シーンの初期化シーンの初期化は、シーケンスの開始時に一度だけ行われる。ここでは、それは、初回に環境を再構築するという問題である。これを達成するためには、例えば、最初の3つのキー姿勢を使用し、3つの画像において、それら興味対象要素の観測結果から3Dプリミティブを三角測量することができる3D三角測量法。この方法により、特に、キー姿勢およびシーン要素3Dのデータベースの構築が可能となる。[212、312]キー姿勢のデータベースシステムの最後のN個2~全ての姿勢を含むデータベース現在のカメラ較正パラメータを有するを所有する場合を検討する。[213、313]シーン要素のデータベース再構築されたシーンの3Dプリミティブのデータベースを各キー画像におけるそれらの対応二次元観測結果x,y-3Dプリミティブの関連性と共に所有し、これらの対応において、要素その姿勢位置および配向はデータベース[212]によって分かっているが検出済みである場合を検討する。3Dプリミティブは、例えば、3D点x,y,zであるが、他の要素パッチ、セグメント等でもよい。[209、309]拡張姿勢精度向上姿勢精度向上および拡張姿勢精度向上モジュールは、コンピュータビジョンの領域において非常によく知られたアルゴリズム:バンドル調整に基づく。より正確には、この部分において、本方法は、モジュール[204、304]によって提供された姿勢の第1の推定から開始し、以前に推定されたシーン要素を考慮に入れて、デバイスの現在の姿勢のみを精度向上させる。モジュール[309]において、コスト関数は、現在その姿勢の精度向上を行っているカメラ上のシーンの3Dプリミティブの再投影誤差のみから成る。モジュール[209]では、モジュール[208]によって提供され、自動重み付け選択モジュール[208、308]において学習された係数ラムダλまたはλtによって重み付けされた予測誤差制約をコスト項に加える。精度向上の最後に、システムの現在の姿勢を姿勢のデータベース履歴[212、312]に加える。姿勢精度向上を以下に記載する詳細な方法で行うことができる。SfMインクリメンタル追跡法では、精度向上は、新しい画像またはキー画像が検出された際に、カメラの位置測定に関して実行される。従って、センサからの計測結果時点tにおける全てのカメラセンサcおよび運動センサkに関する計測結果の完全集合体を説明するデバイスの現在の姿勢ptを取り出すことが可能である。次に、カメラが一体型の運動計測モジュールを組み込んでいる場合に、センサkまたはカメラによって提供される姿勢予測に基づいて選択された制約と共に視覚標準誤差項を用いて、コスト総計関数を構築する。第2の項は、本明細書において後に詳述する以前に選択した重み付け係数λtを用いて重み付けされる。次に、一般項MSE平均二乗誤差は、公式運動または位置センサk、カメラc、時点tに関するによって与えられる。次に、を解くために、コスト関数Epxt,Ztと共に、Levenberg-Marquardtアルゴリズムを用いて現在の姿勢ptを最適化する。は、ptの最良値を得ることを意味する。[210、310]3Dプリミティブの再構築3Dプリミティブを再構築するためのこのモジュールは、姿勢の精度向上[209、309]の直後に、あるいは、その後しばらくしてから起動される。これは、シーンの3Dプリミティブ例えば3D点を、最後のN個の画像例えば、N=3において行われたそれらの二次元観測から三角測量することから成る。これを行うためには、コンピュータビジョンの最新のアルゴリズムを利用する。計算の完了時に、2D/3Dデータベースに3Dプリミティブおよびそれらの対応二次元観測結果-3Dプリミティブの関連性を加える。位置/運動センサからのデータの統合による姿勢の推定部。[205、305]位置/運動センサからのデータの取得運動および/または位置センサからのデータを非同期的に取り出すことを可能にするシステムセンサおよびドライバリンクに対する処理モジュールを検討する。運動センサによってデータ項目が生成されると、このデータ項目は、バッファメモリに保存するため、運動および/または位置センサあるいは処理モジュールに配置するために、プログラムによって取り出される。[206、306]慣性センサに基づいた姿勢予測要求が予測モジュール206、306にアドレッシングされるとビジョンによる姿勢の推定を行うためのモジュール[204、304]によって、予測モジュールは、同期が必要とする時点の前に、センサの観測結果を取り出し、それらをバッテリまたはバッファメモリから取り除き、次に、これらの計測結果および運動モデル任意であるが、本方法では、これを用いるとより正確であるからデバイスまたはシステムの姿勢またはその一部を算出する。デバイスカメラおよび運動センサから成るが例えばPCである処理手段とは別個のものである場合を考えると、この方法は、PCを組み込んだシステムの姿勢ではなく、デバイスの姿勢を算出する。予測モデルの仮定バンドル調整技術は、最適化速度を提供しないので、これらの量は、上流で推定される必要がある、あるいは、第2の運動および/または位置センサによって直接提供される必要がある。センサkの最後の計測結果に対応する、時点t’≦tにおけるデバイスの状態の推定を提供する逆観測モデルの存在も仮定する。従って、デバイスの運動予測モデルを用いると、時間または時点tにおける予測姿勢は以下の通りである:このモデルは、運動/位置センサによって得られた計測結果および前の状態xt-1から画像時間Itに対応する時点tにおけるデバイス例えば、カメラおよび運動および/または位置センサの姿勢を推定する。従って、誤差ベクトルおよびwtは、ゼロであると仮定する。[207、307]制約定義モジュールこのモジュールは、精度向上コスト関数に加える制約の種類または誤差の種類を定義する。システムの第1のバージョン図3では、この方法は、モジュール[209]および[214]のコスト関数を変更するが、図4に示す方法の第2のバージョンの実施では、この項が姿勢調整[314]のコスト関数にのみ加えられる。この項コスト関数は、通常、システムまたはデバイスの現在の姿勢またはその一部これの最適化を行うと、モジュール[206、306]によって予測された姿勢との距離である。誤差の選択は、設計者によって指定されるものであり、運動または位置センサによって提供される観測の種類によって決まる。例えば、3Dジャイロスコープを用いる場合、後者は、角速度Ωの情報を提供する。この情報は、運動モデル例えば、一定角速度との組み合わせで、キー画像これの現在の配向はqcであると同じ時点において、配向qkの予測の構築を可能にする。誤差は、例えば、2つの四元数qk-qc間の距離でもよい。制約の種類は、センサが取得する計測結果の性質によって決まる。例えば、センサに対して幾つかの制約を提案することができる。位置制約配向制約:Rは、配向をパラメータ化する回転行列であり、Iは、恒等行列である等スケール係数制約または変換基準制約各制約は、位置測定システムに対して異なる影響を持ち、対応するドリフトを修正する傾向がある。本発明による方法は一般的なものであるので、ユーザの定義した制約は、バンドル調整技術において最適化される変数を制約する任意の距離項最小二乗法におけるとなることが可能である。[208]重み付けの自動選択:共分散比の推定[210]新しい3Dプリミティブを選択するためのモジュール制約構築モジュールによって定義される誤差または制約は、その数例を以下に示す特定の技術によって選択される、我々がラムダλと呼ぶ係数によって重み付けされる必要がある。この特定の例では、この重み付け係数を算出するための方法を幾つか提案する。これらの方法は、この問題を解くために互いに独立して利用することができる。これを行うためには、ビジョンに基づく誤差項を用い、かつラムダによって重み付けされた融合項前の制約を用いて、一般コスト関数を構築する。次に、異なるラムダセット例えば、0.1~100までの範囲の100のラムダの静的セットに対して、図3のモジュール[209]を数回起動する、または図4のモジュール[314]を数回起動することによって、幾つかの最適化を実行する。以下に詳述するように、重み付けパラメータであるラムダの選択基準は変化する。Lカーブ法これは、ある特定の曲線の最大曲率を決定する問題であるを利用する、あるいはクロス確認として知られる方法を利用し、再投影の予測が最も効果的である最良ラムダ値を求める。基準L正接ノルム、Reginska等または学習クロス確認等などによる他の方法を利用することもできる。最良ラムダが選択されると、この重み付けを用いて最後の最適化[209]または[314]に進み、この値および制約パラメータの保存を、この目的で設けられたデータベース[211、311]において行う。当業者に公知の他の方法を実施することも可能であることは分かっているが、重み付けパラメータを決定する2つの方法を例として提供する。Lカーブ基準による選択方法Lカーブ基準は、本来、モデルの第1のコスト項およびパラメータ数を共に最小にすることが可能な有効正則化パラメータの推定を求める正則化問題において使用されたものである。さらに、この方法は、幾つかの目的で、非線形最小二乗の最適化の問題において用いられたものであり、この場合、これは、各コスト項の重み付け係数ラムダを推定することによって異なる目的間で妥協点を見つけ出し、それによって、1組の目的の最良の最小化を求めるという問題であった。従って、Lカーブ基準は、対数-対数スケールで、2つのコスト項間の妥協点を表す。この基準は、通常、L字形状を有し、垂直部分から水平部分を分離する角は、最小化される2つのコスト項目的の一方の優勢に対応する。Lカーブ基準の曲率klにより、求められる角を見つけ出すことが可能となる:式中、’およびは、ラムダとの関連で第1および第2の導関数を表す。良好な重み付けパラメータラムダは、基準の角付近に位置し、そこでは、曲率kが最大値である。そこから、を求める。Lカーブを推定するためには、インデックスcを有するカメラおよびインデックスkを有するセンサに関する数ペアの制約を算出する必要がある異なるラムダ値に関して最小化される2つの目的εc、εkを表す。これは、ラムダの各値に関して、デバイスの最後の姿勢を最適化する[209]、またはシーンの一部を用いて最後のN個の姿勢を最適化する[314]ことを意味する。次に、上記ペアを用いてLカーブを構築し、最大曲率kmaxに位置する最良ラムダを推定する。学習による選択方法クロス確認クロス確認法は、統計的考察に基づいた非常に良く知られた手段である:適切なモデルここでは、重み付け係数ラムダは、どのような欠測データも正確に予測することができるべきである。より正確には、データセットから2~3個の計測結果を除去した場合、推定された解学習フェーズ:モジュール[209または314]は、これらの観測結果をテストフェーズ中に予測できるべきである。クロス確認には幾つかの異なる型が存在し、これらは、主に、それらのテストおよび学習セットの扱いが異なる。現在のケースの場合、限られた数のカメラの観測結果により、1つ除外するleaveoneoutという表現でよく知られる観測結果を再利用する方法の使用が生じるが、全く同様に、別の異なる型を用いることが可能である。クロス確認スコアCvloolは、ある特定の重み付けパラメータラムダに関する予測の質を反映する。これは、3D点jの実観測yjと、予測式中、姿勢は、点jを用いずに最適化されるとの平均差を表す。は、点jを用いないモジュール[209または314]の解である。クロス確認の目的は、ラムダに関してモジュール[209または314]によって行われる予測の質を最大限に高めることであり、それによって、予測誤差を最小限に抑えることである。[211、311]重み付き制約のデータベース各重み付き制約は、キー画像の選択ステップが実施されない場合には画像ごとに、あるいは、キー画像ごとにデバイスの姿勢ptcと関連付けられ、その後、データベース211、311に保存される。この制約重み付けを有するは、デバイスの関連姿勢が調整モジュール[214、314]において精度向上されるたびに再使用される。制約要素をデータベース211、311に保存する:重み付けλkおよびデバイスの姿勢の予測であって、例えばTは、表記に指定されるようにpの一部であるの制約全体ではない。[214、314]拡張バンドル調整バンドル調整は、特定数のデバイスの姿勢データベース[212、312]から取り出された全てまたは一部を、データベース[213、313]に保存された特定数のシーン3Dプリミティブ例えば、現在最適化を行っている姿勢が見る全てのプリミティブと共に同時に最適化することから成る。最小化される一般コスト関数は、一方では、ビジョンを用いて形成され画像のシーン要素の再投影と、画像において取得されたそれらの実際の計測結果との距離、他方では、システムの異なるキー姿勢に関連する全ての重み付き制約データベース[211、311]によって形成される。この最適化問題を解くためには、Levenberg-Marquardt法と呼ばれる最適化アルゴリズムを起動する。当業者に公知の他のアルゴリズム条件付け有りまたは無しの勾配降下法、Gauss-Newton法等を用いることもできる。この方法は、通常、最後の3つのキーカメラまたはカメラの最後の3つの姿勢のみを最適化するただし、この数は変化し得る。局所的バンドル調整LBAインクリメンタルSLAMの累積誤差を低減するために、シーンおよびシステムの位置測定に対して周期的に精度向上を行う。局所的最適化によってすなわち、最後の姿勢のみを精度向上させることによって良い結果が得られる。従って、例えば、少なくとも最後の2つの姿勢可能であればキー姿勢の姿勢を最適化することが可能である。簡単な手順方法は、前の制約をLBAコスト関数に投入することである。Xt=[pt-9pts’]を定義し、ベクトルは、固定姿勢pt-9,pt-3、精度向上を望むカメラの姿勢pt-2,pt-1,pt、および例えば最後のN個の姿勢に見られる3D点のセットである、シーンsの一部s’の現在の推定を含む。例えば、N=3、M=9とする。この考えは、姿勢を最適化することであり、すなわち、カメラおよびデバイスの位置および配向を最適化することである。制約を有するバンドル調整コスト関数は、となる。この方程式の第1の要素は、例えば、a=3、b=9、d=2で姿勢が固定されたカメラの再投影の合計に相当する。方程式の第1の部分は、姿勢が精度向上されていない従って、固定されたカメラの再投影誤差に相当する。この場合、全ての姿勢を制約する必要はなく、オリジナルの再投影の誤差のみを考慮に入れる。方程式の第2の部分は、カメラのN個の最新の姿勢に対する再投影誤差および制約から成る。次に、この方法は、を解くためにLevenberg-Marquardtアルゴリズムを用いて、システムカメラの最後のN個の位置測定およびシーンの一部を最適化する。従って、本発明による方法およびシステムにより、データ間で効率的、自動的、かつリアルタイムの融合を達成することが可能となる。バンドル調整から直接的に融合を統合する能力を引き出すこのような融合は、リアルタイムでの重み付け項の最適化推定が行えない先行技術の方法では不可能であった。これは、バンドル調整法の範囲内で、データの直接的統合による正確かつ迅速な融合を提供し、実際、拡張カルマンフィルタを用いた方法と比較して、より高い精度を提供する。この技術によれば、計測の最初の共分散を推定する、あるいは、システム状態に共分散を伝える必要はなく、その理由は、本発明による方法は、自動的に自身を適応させるからである重み付けパラメータラムダのリアルタイムでの推定。重み付け係数の推定は、動的かつリアルタイムである。これは、新しい最適化ごとに計算され、これにより、前の状態の履歴を用いた、より完全な最適化方法、すなわち、先行技術によるカルマンフィルタを用いた方法とは異なり、デバイスの最後のN個の姿勢の精度向上を行う方法が提供される。"