(57)【特許請求の範囲】
【請求項１】
カメラの移動を決定する方法であって、ここにおいて、前記移動は参照状態からのカメラ状態の絶対的な変化に関して表現され、前記方法は、
前記カメラからキャプチャされたビデオ画像のストリームを受信することと、
前記ビデオ画像から、連続的な画像または連続的な画像の組の間のカメラ状態の相対的な変化を決定する走行距離測定のストリームを生成することと、
前記ビデオ画像から、非連続的な画像または非連続的な画像の組の間のカメラ状態の相対的な変化を決定することによってループ閉鎖測定のストリームを生成することと、
前記走行距離測定と前記ループ閉鎖測定とにおける相対的な変化の事後分布から、カメラ状態の絶対的な変化を推定することと、を備え、ここにおいて、前記事後分布は、前記相対的な変化が互いに独立であることを前提とする分解された分布によって近似される、
カメラの移動を決定する方法。
【請求項２】
前記ループ閉鎖測定を１つずつ処理することによって前記走行距離測定をフィルタリングするように動作する、請求項１に記載の方法。
【請求項３】
前記分解された分布が、新しいループ閉鎖測定が受信されるごとに再推定される、請求項１に記載の方法。
【請求項４】
前記分解された分布のパラメータが、各推定の後で保持される、請求項３に記載の方法。
【請求項５】
前記ループ閉鎖測定に関連するループ内に含まれる相対的な変化のみが更新される、請求項４に記載の方法。
【請求項６】
前記パラメータが、前記相対的な変化の推定された平均と共分散とである、請求項４に記載の方法。
【請求項７】
更新された分解された分布のパラメータがひとたび決定されると、生の走行距離測定とループ閉鎖測定とが保持されない、請求項４に記載の方法。
【請求項８】
実行されたループ閉鎖測定を、前記ループとゲーティング閾値とに関する分解された分布のパラメータに関する以前の値と比較することによって、前記実行されたループ閉鎖測定が有効であるかどうかを決定することをさらに備える、請求項１に記載の方法。
【請求項９】
前記カメラと固定された関係にある、少なくとも１つのさらなるカメラが提供され、ステレオ方法を用いて、前記カメラと前記少なくとも１つのさらなるカメラとから、前記走行距離測定と前記ループ閉鎖測定とが提供される、請求項１に記載の方法。
【請求項１０】
前記カメラによって得られる前記ビデオ画像が、決定された３Ｄポイントクラウドと組み合わせられ、前記走行距離測定とループ閉鎖測定とが前記３Ｄポイントクラウドから決定される、請求項１に記載の方法。
【請求項１１】
２Ｄ画像フレーム間で決定された２Ｄホモグラフィから、前記走行距離測定とループ閉鎖測定とが決定される、請求項１に記載の方法。
【請求項１２】
同時位置決めマッピングの方法であって、前記方法は、領域内にカメラを移動することと、前記カメラから画像データを得ることと、請求項１に記載の方法を用いて前記カメラの移動を決定することとを備え、ここにおいて、前記カメラ状態はカメラポーズであり、前記方法はさらに、前記カメラからの前記画像データと前記カメラポーズとを用いて前記領域をマッピングすることをさらに備える、方法。
【請求項１３】
前記カメラが、移動する物体に位置する、請求項１２に記載の方法。
【請求項１４】
ビデオモザイク化の方法であって、前記方法は、領域にカメラを移動することと、前記カメラから画像データを得ることと、請求項１１に記載の方法を用いて前記カメラの絶対的な変化を推定することとを備え、ここにおいて、前記領域に関する前記カメラの位置を決定するようにカメラ位置の絶対的な変化が用いられ、決定された絶対的な変化からの前記カメラの位置を用いてビデオのフレームを並べる、方法。
【請求項１５】
前記分解された分布が変分ベイズ近似を用いることによって決定される、請求項１に記載の方法。
【請求項１６】
前記変分ベイズ近似がカルバック・ライブラー発散を用いて決定される、請求項１５に記載の方法。
【請求項１７】
前記変分ベイズ近似によって誘発されるコスト関数を最小化するようにガウスニュートンアルゴリズムが用いられる、請求項１５に記載の方法。
【請求項１８】
相対的な変化推定におけるノイズが相互に独立であることが前提とされる、請求項１に記載の方法。
【請求項１９】
カメラの移動を決定するシステムであって、ここにおいて、前記移動は参照状態からのカメラ状態の絶対的な変化に関して表現され、前記システムは、
カメラからキャプチャされたビデオ画像のストリームを受信し、
前記ビデオ画像から、連続的な画像または連続的な画像の組の間のカメラ状態の相対的な変化を決定する走行距離測定のストリームを生成し、
前記ビデオ画像から、非連続的な画像または非連続的な画像の組の間のカメラ状態の相対的な変化を決定することによってループ閉鎖測定のストリームを生成し、
前記走行距離測定と前記ループ閉鎖測定とにおける相対的な変化の事後分布から、カメラ状態の絶対的な変化を推定し、ここにおいて、前記事後分布は、前記相対的な変化が互いに独立であることを前提とする分解された分布によって近似されるように、
適応されたプロセッサを備える、システム。
【請求項２０】
プロセッサ上で実行されると前記プロセッサに請求項１に記載の方法を行わせる、実行可能な命令を保持する、非一時的なコンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本発明は、内容の全体が参照により本明細書に組み込まれる、２０１６年３月１１日出願の米国仮特許出願第６２／３０６，９５９号と、２０１６年８月１６日出願の米国特許出願第１５／２３７８３９号との優先権の利益に基づき、これを請求する。
【０００２】
本明細書に説明されるものとしての本発明の実施形態は、概して、画像分析システムと方法との分野に関連する。
【背景技術】
【０００３】
多くの画像分析タスクにおいて、場面から画像をキャプチャしている、その場面に対して動いているカメラを有する必要がある。１つのそのようなタスクは、カメラが動いている物体に取り付けられ、カメラが場面を視覚化してそのポーズを決定する情報を記録する必要がある、いわゆるＳＬＡＭ（同時位置決めマッピング）である。そのようなＳＬＡＭタスクには、ロボット工学、自律運転車両などにおいて直面する。
【０００４】
カメラのポーズを推定する際、１つの手法はカメラのポーズの、その以前のポーズからの変化を推定し、相対的な変化を推定することである。相対的な変化のみを組み合わせることによってカメラのポーズを推定することは、ノイズによって大きな影響を受けるため、ドリフトを引き起こす。
【０００５】
３Ｄ回転を処理する際には「複数回転平均化」、カメラポーズに適用される際には「ポーズグラフ（ｐｏｓｅ−ｇｒａｐｈ）干渉」とも呼ばれる、この動作平均化問題は多くの研究の主題となってきた。ＳＬＡＭに関して上で述べたにもかかわらず、カメラの状態を推定する一般的問題もまた、映像モザイク化および３Ｄ場面の再構築などの他の用途において生じる。
【発明の概要】
【０００６】
非限定的な実施形態によるシステムと方法とが、添付の図面を参照して説明される。
【図面の簡単な説明】
【０００７】
【図１（ａ）】本発明の実施形態による方法の流れ図。
【図１（ｂ）】走行距離測定のみから導き出された、動くカメラの、あり得る予測された経路と変動とを示す概略図。
【図１（ｃ）】ループ閉鎖測定によって訂正された、図１（ｂ）に示された推定された経路と変動との概略図。
【図２】単一の完全なループを通って変化するカメラの状態の概略図。
【図３（ａ）】絶対的なパラメータ化に関するヤコビアン行列を表す図。
【図３（ｂ）】絶対的なパラメータ化に関する疑似ヘッセ行列を表す図。
【図３（ｃ）】絶対的なパラメータ化に関する疑似ヘッセ逆行列を表す図。
【図３（ｄ）】相対的なパラメータ化に関するヤコビアン行列を表す図。
【図３（ｅ）】相対的なパラメータ化に関する疑似ヘッセ行列を表す図。
【図３（ｆ）】相対的なパラメータ化に関する疑似ヘッセ逆行列を表す図。
【図４】走行距離測定とループ閉鎖測定とを処理する実施形態によるステップを示す流れ図。
【図５】ループ閉鎖測定の基本的処理を示す本発明の実施形態による方法を示す流れ図。
【図６（ａ）】本発明の実施形態による方法を実装するプロセッサによって実行された処理ステップの順序を示す流れ図。
【図６（ｂ）】図６（ａ）のガウスニュートン処理をより詳細に示す流れ図。
【図６（ｃ）】２つのループ閉鎖測定が異なる回数で発生する、経路の概略描画図。
【図６（ｄ）】２つのループ閉鎖測定が同時に発生する、経路の概略描画図。
【図７（ａ）】ＫＩＴＴＩ００データセットでの平面視覚ＳＬＡＭ（ＳＥ（２））タスクに適用された方法の精度に関する結果を示す図。
【図７（ｂ）】ＫＩＴＴＩ００データセットでの平面視覚ＳＬＡＭ（ＳＥ（２））タスクに適用された方法の再現率に関する結果を示す図。
【図７（ｃ）】ＫＩＴＴＩ０７データセットでの平面視覚ＳＬＡＭ（ＳＥ（２））タスクに適用された方法の精度に関する結果を示す図。
【図７（ｄ）】ＫＩＴＴＩ０７データセットでの平面視覚ＳＬＡＭ（ＳＥ（２））タスクに適用された方法の再現率に関する結果を示す図。すべての場合において、ｘ軸は本発明の実施形態による方法によって処理される不正確なループ閉鎖測定の数の測定。
【図８（ａ）】ＬＩＤＡＲによって測定されたカメラポーズを表す描画図。
【図８（ｂ）】本発明の実施形態による方法によって決定されるカメラポーズを表す描画図。
【図９（ａ）】ＬＩＤＡＲによって測定されたカメラポーズを表す描画図。
【図９（ｂ）】本発明の実施形態による方法によって決定されるカメラポーズを表す描画図。
【図１０（ａ）】ビデオモザイク化タスクに関するいくつかの入力画像を示す図。
【図１０（ｂ）】グラウンドトゥルースの結果を示す図。
【図１０（ｃ）】本発明の実施形態による方法を用いて得られた結果を示す図。
【図１１】本発明の実施形態によるシステムを示す図。
【図１２】本発明の実施形態によるシステムを用いた車両を示す図。
【発明を実施するための形態】
【０００８】
一実施形態において、本発明はカメラの移動を決定する方法を提供し、ここにおいて、前記移動は参照状態からのカメラ状態の絶対的な変化に関して表現され、方法は、
前記カメラからキャプチャされたビデオ画像のストリームを受信することと、
前記ビデオ画像から、連続的な画像または連続的な画像の組の間のカメラ状態の相対的な変化を決定する走行距離測定のストリームを生成することと、
前記ビデオ画像から、非連続的な画像または非連続的な画像の組の間のカメラ状態の相対的な変化を決定することによってループ閉鎖測定のストリームを生成することと、
前記走行距離測定と前記ループ閉鎖測定とにおける相対的な変化の事後分布から、カメラ状態の絶対的な変化を推定することと、を備え、ここにおいて、前記事後分布は、前記相対的な変化が互いに独立であることを前提とする分解された分布によって近似される。
【０００９】
上記実施形態において、入力データはビデオストリームであり、絶対的な変化のオンライン推定が行われる。
【００１０】
上記方法は、新しい測定が受信されるごとに以前のすべての測定に関する基準またはコスト関数を最小化するとは限らない。少ない計算回数を達成するように、上記方法はフィルタリングを実行する。すなわち、各測定を１つずつ処理する。上記方法において、推定された変化の事後分布のパラメータの数が推定された変化の数に対して高々線形的に増加するように、その分布は連続的に近似される。
【００１１】
上記方法の実施形態において、ループに含まれる相対的な変化における分解された分布は、同一のループに関する新しいループ閉鎖測定が受信されるごとに再推定される。さらに、分解された分布のパラメータは各推定の後で保持される。一実施形態において、パラメータは相対的な変化の推定された平均と共分散とである。
【００１２】
一実施形態において、ループ閉鎖測定に関連するループ内に含まれる相対的な変化のみが更新されることに留意すべきである。
【００１３】
上記方法は、対角線上のブロックの数がループ閉鎖測定により再推定されているループ内の相対的な変化の数であるブロック対角行列として、合計の共分散をモデル化する。処理されているループ閉鎖内にあるものを除いて、他のいかなる相対的な変化も更新されない。
【００１４】
ブロックのサイズは、オリジナルの走行距離測定からの共分散のサイズによって設定される。オリジナルの測定の共分散のサイズは測定の型によって設定される。典型的には、ブロックのサイズは自由度の数に対応する。例えば、カメラポーズは６の自由度を有し、共分散は６×６行列によって表されることができるが、行列のサイズをさらに圧縮することが可能であり、ホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）測定は８の自由度を有し、さらに行列のサイズは縮小されることが可能である。
【００１５】
したがって、任意の点において再推定される必要があるパラメータの数は、ループ閉鎖測定内の相対的な変化の数によって上下し、このことは、オフラインバッチ処理のみとは対照的に、システムがリアルタイムで動作して測定を処理することを可能とする。
【００１６】
上記で説明したように、実施形態は大きな範囲の問題に関するオンライン推定を可能にする。新しい測定が受信された場合、すべての過去のデータに基づいて絶対的な変化を再計算する必要はない。上記で説明したように、分解された分布のパラメータのみが保持される。したがって、更新された分解された分布のパラメータがひとたび決定されれば、生の走行距離測定とループ閉鎖測定とは破棄されてもよい。
【００１７】
大きな範囲の問題を処理することは、知覚的なエイリアシング（ａｌｉａｓｉｎｇ）のリスクと、それによる誤ったループ閉鎖の数とを増加させる。したがって、一実施形態において、誤ったループ閉鎖が検出されて削除される。一実施形態において、ループ閉鎖測定は、前記ループとゲーティング（ｇａｔｉｎｇ）閾値とに関する分解された分布のパラメータに関する以前の値と比較することによって、有効であると決定される。
【００１８】
上記方法は２Ｄまたは３Ｄ画像に適合されることができる。３Ｄ画像は単眼技法を用いて単一のカメラから決定されることができる。ここで、３Ｄポイントクラウドを生成するように、多数の２Ｄフレームが組み合わせられることができる。さらなる実施形態において、知られている地理的関係にある２つ以上のカメラが用いられ、知られているステレオ方法を用いて３Ｄポイントクラウドが決定される。
【００１９】
例えば、前記カメラと知られている固定された関係にある、少なくとも１つのさらなるカメラが提供され、ステレオ方法を用いて、カメラと前記少なくとも１つのさらなるカメラとから、走行距離測定とループ閉鎖測定とが提供される。
【００２０】
上記において、カメラによって得られたビデオフレームは、決定された３Ｄポイントクラウドと組み合わせられ、前記走行距離測定とループ閉鎖測定とが前記３Ｄポイントクラウドから決定される。
【００２１】
一実施形態において、上記方法はいわゆるＳＬＡＭ（同時位置決めマッピング）タスクに適用され、カメラを領域内に移動することと、前記カメラからの画像データを得ることと、上記で説明された前記カメラの絶対的な変化を推定することとを備え、ここにおいて、前記領域内の前記カメラの位置を決定するようにカメラ位置の絶対的な変化が用いられ、方法はさらに、カメラと、決定された絶対的な変化からのカメラの位置とから画像データを用いて前記領域をマッピングすることを備える。
【００２２】
カメラは、例えば車、ロボット、自律運転車両などの、移動する物体に位置してもよい。
【００２３】
上記方法はまた、２Ｄ画像フレーム間で決定された２Ｄホモグラフィから、走行距離測定とループ閉鎖測定とが決定される、２Ｄ画像に適用されてもよい。
【００２４】
一実施形態において、これはビデオモザイク化に適用され、方法は、領域にカメラを移動することと、前記カメラから画像データを得ることと、上記方法を用いて前記カメラの絶対的な変化を推定することとを備え、ここにおいて、前記領域に関する前記カメラの位置を決定するようにカメラ位置の絶対的な変化が用いられ、決定された絶対的な変化からのカメラの位置を用いてビデオのフレームを並べる。
【００２５】
一実施形態において、分解された分布は変分ベイズ近似を用いることによって決定される。さらなる実施形態において、変分ベイズ近似はカルバック・ライブラー（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ）発散を用いて決定される。
【００２６】
一実施形態において、カメラの状態は、カメラの回転（のみ）、カメラの位置（のみ）、カメラのポーズ（カメラの位置と回転）、または、カメラの状態が同一平面内の２つの画像の間の関係を表すホモグラフィ行列に符号化されるホモグラフィを意味するように解釈される。
【００２７】
変化は、例えば、３Ｄユークリッド動作に関するＳＥ（３）、ホモグラフィに関するＳＬ（３）、３Ｄ類似に関するＳｉｍ（３）など、任意のリー（Ｌｉｅ）群に含まれてもよい。
【００２８】
実施形態によるいくつかの方法がソフトウェアによって実装可能であるため、いくつかの実施形態は、汎用コンピュータに提供された、任意の適切な保持媒体上のコンピュータコードを包含する。保持媒体は、フロッピー（登録商標）ディスク、ＣＤ  ＲＯＭ、磁気デバイスもしくはプログラム可能なメモリデバイスなどの任意の記憶媒体、または、例えば電気的、光学的もしくはマイクロ波信号などの任意の信号などの一時的な媒体を備えることができる。
【００２９】
図１（ａ）は本発明の一実施形態による方法を示すフロー図である。
【００３０】
図１（ａ）の実施形態において、処理するための入力ビデオ信号がステップＳ１０１において受信される。この実施形態において、カメラポーズはビデオ画像の配列から推定される。しかしながら、これは例示的実施形態にすぎず、根本的な方法に依存する他の応用例が以下に述べられる。
【００３１】
ステップＳ１０１に集められたビデオフレームはステップＳ１０３において組にグループ化される。一実施形態において、これらの組はｎ個の連続するフレームのグループであり、ｎは少なくとも２である整数である。一実施形態において、ｎは５と１０の間である。別の実施形態において、ｎは組によって変化する。
【００３２】
各組において、３Ｄ再構築がステップＳ１０５において生成される。一連の２Ｄ画像から３Ｄポイントクラウドを生成するための知られている方法を用いて再構築を生成する多くの可能性がある。ポイントクラウドが生成される際、クラウド内の各ポイントは平均（シーン内のオブジェクトの表面の予測される位置）とこの位置の共分散とを含む確率分布を表す。
【００３３】
ステップＳ１０７において、異なる組からの２つの３Ｄ再構築が並べられ、２つの再構築の間の３Ｄ類似の測定が決定される。この３Ｄ類似測定は、２つの３Ｄ再構築の間の変化の平均と共分散との形式で表される。
【００３４】
連続する組からとられた３Ｄ再構築の間の類似が測定されると、測定された変化は走行距離測定変化Ｓ１０９である。非連続の再構築の間で類似が測定される際には、測定された変化はループ閉鎖変化Ｓ１１１である。
【００３５】
カメラが移動するにつれて、走行距離測定変化のシーケンスが生成される。そしてこれらは、ステップＳ１１３においてカメラ状態を更新するように用いられる。カメラ状態は、カメラの回転（のみ）と、カメラの位置（のみ）と、カメラのポーズ（カメラの位置と回転）と、カメラの状態が同一平面内の２つの画像の間の関係を表すホモグラフィ行列に符号化されるホモグラフィとに関して表現されることができる。
【００３６】
走行距離測定に加えて、ステップＳ１１３において更新されたカメラ位置の推定を行うように、ループ閉鎖変化Ｓ１１１が走行距離測定変化に組み合わせられる。これを行う方法は図４から図６ｂを参照してより詳細に説明される。方法はカメラ状態のリアルタイムな正確な推定を可能にする。
【００３７】
図１（ｂ）はカメラの現実の経路５０１を示す概略図である。測定された経路５０３が真の循環経路から逸脱するものとしてみられる。測定の分散は点線５０７、５０９の間の幅として示される。
【００３８】
図１ｃに示されるように、測定された経路５０３を訂正するように点５１１におけるループ閉鎖測定が用いられることができ、訂正された経路５１３は実際の経路５０１に近いものにみえ、点線５１５と５１７とによって示される分散の実質的な減少がある。
【００３９】
ループ閉鎖変化によってどのように走行距離測定変化が訂正されるか理解するように、単一のループの簡略化された状態がまず検討される。そのような例は、長さ１０の完全なループが例示される図２で示される。各錐体はカメラポーズを表す。走行距離測定は実線で示され、ループ閉鎖測定は点線で示される。
【００４０】
状況を考える前に、本明細書で用いられる数学的モデルと表記法とを説明する。本明細書で説明される理論は、任意の行列リー群（典型的にはＳＥ（３）、ＳＬ（３）、Ｓｉｍ（３）など）に適用されることができ、それらはフレームワークが様々な用途に適用されることを可能とするため、実用的に非常に便利であることが判明している。Ｃｈｉｒｉｋｊｉａｎ，Ｇ．Ｓ．：Ｓｔｏｃｈａｓｔｉｃ  Ｍｏｄｅｌｓ，Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｈｅｏｒｙ，ａｎｄ  Ｌｉｅ  Ｇｒｏｕｐｓ、第２巻、Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ、２０１２年は、本明細書で説明される原理の背景として有用なリー群の概説を与える。
【００４１】
本出願において、以下の表記法が用いられる。Ｇ⊂Ｒn×nは固有次元ｐの行列リー群であり（すなわち、Ｇ＝ＳＥ（３）⊂Ｒ4×4の場合ｐ＝６、Ｇ＝ＳＬ（３）⊂Ｒ3×3の場合ｐ＝８など）、ｅｘｐ∧G（・）：Ｒp→Ｇとｌｏｇ∨G（・）：Ｇ→Ｒpとは、それぞれＧの指数マップと対数マップとに対応し、Ｔij∈Ｇは座標系ｊから座標系ｉへの変化を表す行列であり、したがって表記法ＴijＴjk＝ＴikとＴij-1＝Ｔjiとなる。
【００４２】
以下の考察もまたＧの随伴表現、ＡｄG（・）：Ｇ→Ｒp×pを用い、それは、はじめはＴijに左から掛けられていた要素δij∈Ｒpを、Ｔijの右側へ運ぶことを可能にし、それによってｅｘｐ∧GδijＴij＝Ｔijｅｘｐ∧G（ＡｄG（Ｔji）δij）となる。最後に、Ｇ上のガウス分布の表記法は
【００４３】
【数１】
0006330068.tif 000002
【００４４】
として導入され、ここで｜｜・｜｜2は平方マハラノビス距離を表し、ＴijとＰijとはそれぞれ、ランダム変数Ｔijの平均と共分散とである。
【００４５】
動作平均化問題に対処することが可能であり、絶対的な変化の２つの異なるパラメータ化が共通して用いられる。相対的なパラメータ化と絶対的なパラメータ化である。異なるパラメータ化は異なる測定モデルにつながり、その結果として異なる計算的複雑性を有するアルゴリズムと異なる形状を有する事後分布とにつながる。
【００４６】
まず、相対的なパラメータ化のフレームワークが考察される。
【００４７】
Ｚn(n+1)∈Ｇで表される走行距離測定は、２つの連続するローカルな座標系の間のノイズが多い変化である。ｎ≠ｍ＋１であるＺmn∈Ｇで表されるループ閉鎖測定は、２つの時間的に非連続なローカルな座標系の間のノイズが多い変化である。さらに、この実施形態において、測定のノイズは相互に独立していると前提される。
【００４８】
相対的なパラメータ化はＴ(k-1)kの形式の変化を推定することにあり、ｋは時間の瞬間ｋにおけるカメラのローカルな座標系である。したがって、時間の瞬間ｋにおいて、推定される変化の組は｛Ｔi(i+1)｝i=1,......,k-1である。絶対的な変化Ｔ1kは、推定された相対的な変化を単純に掛けることによって得られることができる。すなわち、
【００４９】
【数２】
0006330068.tif 000003
【００５０】
である。走行距離測定とループ閉鎖とに関する尤度はガウシアン（Ｇａｕｓｓｉａｎ）であると前提され、それぞれ表１の式（２）と式（３）とにおいて与えられる。
【００５１】
【表１】
0006330068.tif 000004
【００５２】
単一ループの単純化された問題に戻ると、相対的なパラメータ化を用いて、図２（ａ）の状態が考慮される。ここで、長さＮLのループが考慮され、ＮL-1個の走行距離測定｛Ｚi(i+1)｝i=1,......,NL-1が利用可能であり、ローカルな座標系１とＮLとの間の単一のループ閉鎖Ｚ1NLがある。
【００５３】
式（２）と式（３）とで定義された尤度を用いて、相対的な変化
【００５４】
【数３】
0006330068.tif 000005
【００５５】
に関して以下の基準が最小化される。
【００５６】
【数４】
0006330068.tif 000006
【００５７】
一実施形態によれば、この基準を最小化する１つの方法は、相対的な変化が以下のように反復的に一緒に改良されるガウス−ニュートンアルゴリズムを適用することである（上付き文字は反復を表す）。
【００５８】
【数５】
0006330068.tif 000007
【００５９】
サイズｐ×ＮLの以下の（密行列）線形系を解くことによって、インクリメント
【００６０】
【数６】
0006330068.tif 000008
【００６１】
が各反復において得られる。
【００６２】
【数７】
0006330068.tif 000009
【００６３】
ここで
【００６４】
【数８】
0006330068.tif 000010
【００６５】
は系のヤコビアン行列であり（図３ｂを参照）、Λは測定の共分散行列の逆行列を連結するブロック対角行列であり、
【００６６】
【数９】
0006330068.tif 000011
【００６７】
である。
【００６８】
上記の相対的なパラメータ化は密行列の線形系を解くことを要求する。しかしながら、ウッドベリー式を用いて問題の構造を利用することによって、
【００６９】
【数１０】
0006330068.tif 000012
【００７０】
を示すことが可能である。
【００７１】
ここで、
【００７２】
【数１１】
0006330068.tif 000013
【００７３】
がループ閉鎖エラーのヤコビアンであり
【００７４】
【数１２】
0006330068.tif 000014
【００７５】
である。この場合、サイズｐ（すなわち、ループの長さと独立）の線形系のみが解かれる必要があり、アルゴリズムは、単一ループを閉じるために高効率なものとされる（実際には、Ｇ＝ＳＥ（３）に関してｐ＝６、Ｇ＝ＳＬ（３）に関してｐ＝８など）。
【００７６】
さらに、（アルゴリズムがひとたび収束に達して）線形近似における事後分布の共分散行列を表す疑似ヘッセ逆行列
【００７７】
【数１３】
0006330068.tif 000015
【００７８】
が、変化の間の非常に小さい相関を示す。それゆえ、その共分散行列のブロック対角近似は、大きなスケールの問題を効率的に処理可能なフィルタを導き出すことを可能にする、妥当な近似である。
【００７９】
上記を絶対的なパラメータ化と比較すると、絶対的なパラメータ化は形式ＴkWの変化を推定することからなり、Ｗは「世界」座標系であり、ｋは時間の瞬間ｋにおけるカメラのローカルな座標系である。したがって、時間の瞬間ｋにおいて、推定される変化の組は
【００８０】
【数１４】
0006330068.tif 000016
【００８１】
である。実際には、「世界」座標系も知られていないため、Ｔ1Wは通常は単位行列に固定される。走行距離測定とループ閉鎖との尤度はガウシアンと前提され、表Ａ１でそれぞれ式（Ａ１）と式（Ａ２）とで与えられる。
【００８２】
【表２】
0006330068.tif 000017
【００８３】
相対的なパラメータ化の場合と類似して、尤度は式（Ａ１）と式（Ａ２）とで定義され、以下の基準を用いて最小化されるが、この場合は絶対的な変化
【００８４】
【数１５】
0006330068.tif 000018
【００８５】
に関する。
【００８６】
【数１６】
0006330068.tif 000019
【００８７】
再び相対的なパラメータ化に関して、絶対的な変化が以下のように反復的に一緒に改良されるガウス−ニュートンアルゴリズムを適用することによって基準は最小化される（上付き文字は反復を表す）。
【００８８】
【数１７】
0006330068.tif 000020
【００８９】
サイズｐ×ＮLの以下の（疎行列）線形系を解くことによって、インクリメント
【００９０】
【数１８】
0006330068.tif 000021
【００９１】
が各反復において得られる。
【００９２】
【数１９】
0006330068.tif 000022
【００９３】
ここで
【００９４】
【数２０】
0006330068.tif 000023
【００９５】
は系のヤコビアン行列であり、Λは測定の共分散行列の逆行列を連結するブロック対角行列であり、†は行列の疑似逆行列を表す（
【００９６】
【数２１】
0006330068.tif 000024
【００９７】
がｐ個のヌル（ｎｕｌｌ）な固有値を有するため）。
【００９８】
さらに、
【００９９】
【数２２】
0006330068.tif 000025
【０１００】
であり
【０１０１】
【数２３】
0006330068.tif 000026
【０１０２】
である。
【０１０３】
相対的なパラメータ化の手法と、絶対的なパラメータ化の間の比較は図３（ａ）から図３（ｆ）にみられる。
【０１０４】
図３（ａ）から図３（ｆ）は、単一ループに関するＳＥ（３）群の動作平均化問題からの表示を示す。図３（ａ）は絶対的なパラメータ化に関するヤコビアン行列を表し、図３（ｂ）は絶対的なパラメータ化に関する疑似ヘッセ行列を表し、図３（ｃ）は絶対的なパラメータ化に関する疑似ヘッセ逆行列を表し、図３（ｄ）は相対的なパラメータ化に関するヤコビアン行列を表し、図３（ｅ）は相対的なパラメータ化に関する疑似ヘッセ行列を表し、図３（ｆ）は相対的なパラメータ化に関する疑似ヘッセ逆行列を表す。
【０１０５】
絶対的なパラメータ化を用いて、疑似ヘッセ逆行列（図３（ｂ））は絶対的な変化の間に非常に強い相関を示す。これに反して、図３（ｅ）に示された相対的なパラメータ化を用いて、疑似ヘッセ逆行列は相対的な変化の間に非常に小さい相関（ヌルではないがゼロに近い）を示し、これは独立した相対的な変化を前提とする事後分布の変分ベイズ近似の使用の選択を正当化する。
【０１０６】
上記から、相対的なパラメータ化は、少なくともオンライン推定に関して、絶対的なパラメータ化よりも魅力的なプラットフォームを提供する。したがって、本発明の実施形態による方法に関して、相対的なパラメータ化がフィルタの設計に関して用いられる。
【０１０７】
図４から図６（ｂ）を参照して説明されるように、ループ閉鎖測定は、各反復においてサイズｐの線形系を解くことのみを要求するこの高度に効率的なＧＮを用いて、連続的に処理される。ループ閉鎖を処理した後で、事後分布の共分散行列は、変分ベイズ近似を用いてブロック直交共分散行列によって近似される。
【０１０８】
一実施形態において、この手法はＧＮアルゴリズムを用い、それは互いに作用しないループを含む任意の問題（すなわち、測定に異方性ノイズを有する任意の行列リー群Ｇ）に関して最適である。
【０１０９】
図４はオンライン変分ベイズ動作平均に関して用いられる方法のステップの流れ図である。
【０１１０】
時間の瞬間ｋ−１（ここでｋ＞２である）において、推定された状態はすべての相対的な変化
【０１１１】
【数２４】
0006330068.tif 000027
【０１１２】
にある。より具体的には、時間の瞬間ｋ−１において、状態の事後分散は以下の分解された形式を有すると前提される。
【０１１３】
【数２５】
0006330068.tif 000028
【０１１４】
時間の瞬間ｋにおいて、新しい走行距離測定Ｚ(k-1)k（知られている共分散Σ(k-1)kを有する）がステップＳ１５１で利用可能であり、推定された状態は単純に増加する、すなわちχk＝｛Ｔi(i+1)｝i=1,......,k-1である。したがって、状態の事後分散は分解されたままであり、以下の形式を有する。
【０１１５】
【数２６】
0006330068.tif 000029
【０１１６】
時間の瞬間ｋにおいて、走行距離測定Ｚ(k-1)kを受信した後で、処理はステップＳ１５３に移動し、新しいループ閉鎖測定が利用可能である場合にそれが決定される。いかなるループ閉鎖測定も利用可能ではない場合、処理はステップＳ１５１にループして戻る。しかしながら、ループ閉鎖測定が利用可能な場合、処理はステップＳ１５５に移動する。ループ閉鎖測定が利用可能であるかそうでないかをどのように決定するかが、図５のステップＳ２０１を参照して説明される。
【０１１７】
ステップＳ１５５において、新しいループ閉鎖測定Ｚlk（知られている共分散Σlkを有する）（ここでｌ＜ｋ）が処理される。事実、複数のループ閉鎖が利用可能である。しかしながら、この説明に関して、表記法を整理された状態に保つように、１つのみのループ閉鎖が説明される。
【０１１８】
実際に、処理は図５を参照して説明される各ループ閉鎖に順番に適用される。
【０１１９】
新しいループ閉鎖測定Ｚlkが利用可能な際、その観察から来る情報は状態の現在の推定を向上させるように用いられる。しかしながら、観察モデル式（３）はループに含まれるすべての相対的な変化の間の依存を生成し、それゆえ、事後分布はこれ以上分解されない。したがって、パラメータの数は、特に大きなスケールの問題に関して、分解されない事後分布が巨大になる（典型的にはＯ（ｋ2）またはそれ以上）ことを正確に説明することが必要になる。
【０１２０】
一実施形態において、上記事後分布は分解された分布によって近似され、大きなスケールの問題に関してシステムがオンラインで動作することを可能にする。一実施形態において、分布のパラメータの数はＯ（ｋ）である。そのような近似は、図２と図３とを参照して考察された単一ループ分析によって正当化される。
【０１２１】
一実施形態において、真の事後分布と「同様の」分解された分布を発見する１つの方法は、カルバック−ライブラー発散
【０１２２】
【数２７】
0006330068.tif 000030
【０１２３】
を最小化することである。
【０１２４】
「変分ベイズ近似」または「構成された平均場」と呼ばれる上記手法において、完全に分解された分布は前提とされず、代わりに相対的な変化が互いに独立であると前提される。
【０１２５】
上記から続いて、χkに関する（１０）におけるＫＬ発散を最小化することは、下界を最大にすることに対応する。
【０１２６】
【数２８】
0006330068.tif 000031
【０１２７】
ここで、すべてのランダムな変数の（対数）接続分布は形式
【０１２８】
【数２９】
0006330068.tif 000032
【０１２９】
を有する。
【０１３０】
しかしながら、リー群の曲率のために、（１２）のノルム内の項は変化において線形ではない。この場合に変分ベイズ近似を当てはめる１つの方法は、ノルムの内側の項を線形にすることである。
【０１３１】
この点において、線形化ステップに含まれる変数を定義することが便利である。
【０１３２】
【数３０】
0006330068.tif 000033
【０１３３】
ここで
【０１３４】
【数３１】
0006330068.tif 000034
【０１３５】
は相対的な変化Ｔi(i+1)に関する（固定された）線形化点であり、εi(i+1)はランダムな変数である。この線形化点はかなり重要であり、その値はセクションの終わりにおいて考察される。線形化の後に、対数接続分布は
【０１３６】
【数３２】
0006330068.tif 000035
【０１３７】
となる。
【０１３８】
ここで
【０１３９】
【数３３】
0006330068.tif 000036
【０１４０】
のヤコビアンは単位行列によって近似され
【０１４１】
【数３４】
0006330068.tif 000037
【０１４２】
であり
【０１４３】
【数３５】
0006330068.tif 000038
【０１４４】
である。
【０１４５】
対数接続分布（１４）が与えられると、目的は今や、χkが線形化ステップのために
【０１４６】
【数３６】
0006330068.tif 000039
【０１４７】
に置き換えられるときに、下限（１１）を最小化することである。ここで
【０１４８】
【数３７】
0006330068.tif 000040
【０１４９】
である。
【０１５０】
実際には、各変数εi(i+1)に関して、最良の近似分布が以下の式
【０１５１】
【数３８】
0006330068.tif 000041
【０１５２】
によって与えられることを証明することが可能である。
【０１５３】
ここで、
【０１５４】
【数３９】
0006330068.tif 000042
【０１５５】
はεi(i+1)を除くすべての変数に関する条件的な期待値を表す。したがって、以下が得られる。
【０１５６】
【数４０】
0006330068.tif 000043
【０１５７】
ここで
【０１５８】
【数４１】
0006330068.tif 000044
【０１５９】
であり、
【０１６０】
【数４２】
0006330068.tif 000045
【０１６１】
である。
【０１６２】
【数４３】
0006330068.tif 000046
【０１６３】
のである。それゆえ、各ランダム変数εi(i+1)（ｉ＝１．．．．．．．．ｋ−１）に関して、最良の近似分散はガウシアンの形式である。
【０１６４】
【数４４】
0006330068.tif 000047
【０１６５】
ｉ＜ｌの場合、すなわち、相対的な変化Ｔi(i+1)がループ閉鎖Ｚlkに含まれない場合、
ループ閉鎖がそのループに含まれる相対的な変化を修正するのみであるため、
【０１６６】
【数４５】
0006330068.tif 000048
【０１６７】
がアルゴリズムを非常に効率的にする。理論的には、｛μi(i+1)｝ｉ＝１．．．．．ｋ−１の値を得るように、式（１９）は収束するまでループ内に含まれる各相対的な変化に関して繰り返されることができる。しかしながら、線形化ステップ（式（１３）を参照）が（１２）を最小にするものの周囲で行われる場合、ｉ＝ｌ，．．．．．，ｋ−１に関してμi(i+1)＝０であることが証明可能である。
【０１６８】
したがって、実際には、各新しいループ閉鎖測定において、ステップＳ２０３における（１２）を最小にするものを非常に効率的に見つけるように、ガウス−ニュートンアルゴリズムが適用される。そして、共分散
【０１６９】
【数４６】
0006330068.tif 000049
【０１７０】
（式１８を参照）のみが、ステップＳ２０５においてｉ＝ｌ，．．．．．，ｋ−１に関して計算される必要がある。
【０１７１】
最後に、各相対的な変化に関して、
【０１７２】
【数４７】
0006330068.tif 000050
【０１７３】
がゼロ平均のガウシアンである。したがって、式（１３）から、（線形近似である限り）
【０１７４】
【数４８】
0006330068.tif 000051
【０１７５】
は形式
【０１７６】
【数４９】
0006330068.tif 000052
【０１７７】
のリー群（式（１）を参照）上のガウス分布であることがわかる。その結果として、新しいループ閉鎖を処理した後で、事後の分解された近似は以下の形式となる。
【０１７８】
【数５０】
0006330068.tif 000053
【０１７９】
そして、これはステップＳ２０７により絶対的な変化の更新を可能にする。
【０１８０】
図５においてＳ２０１はループ閉鎖測定がインライアーであるかどうか決定する決定に言及する。実際には、同一であると理解されている２つの場所が、誤ったループ閉鎖をしばしば生成する。その結果として、一実施形態において、動作の平均化を行うように、特に、誤ったループ閉鎖が非常に起こりやすい大きなスケールの問題に関して、これらの誤ったループ閉鎖測定を検出して削除するステップがある。
【０１８１】
上記方法は事後分布の近似を継続的に維持するため、有効ゲーティングを介して誤ったループ閉鎖測定を検出することが可能である。この手法は、以下の分散
【０１８２】
【数５１】
0006330068.tif 000054
【０１８３】
のパラメータである平均
【０１８４】
【数５２】
0006330068.tif 000055
【０１８５】
と、共分散
【０１８６】
【数５３】
0006330068.tif 000056
【０１８７】
とをまず計算し、そして、閾値ｔに関して受信された測定がインライアー
【０１８８】
【数５４】
0006330068.tif 000057
【０１８９】
でありそうか否かを確認することにある。
【０１９０】
理論的には、ｔはカイ二乗分布のｐ値に基づくべきである。
【０１９１】
しかしながら、例を参照して説明されるように、そのような理論値は時には、特に、走行距離測定とループ閉鎖測定の共分散があまり正確ではない場合の現実のデータを処理する場合には、あまりに限定的となり、測定がすべて同一のデータセットから定義されるため、相互に独立したノイズであるとの前提に違反する可能性がある。実際には、ｔは試行錯誤によって、例えばグラウンドトゥルースのデータセットにおいてアルゴリズムを実行することによって選択されることができる。ある非限定的な例では、ｔ＝９００である。
【０１９２】
図６は上記方法を実装するための疑似コードの例である。これは、一実施形態において、上記ステップがどのように実装可能なのかを示すように、ここで詳細に説明される。
【０１９３】
システムは走行距離測定
【０１９４】
【数５５】
0006330068.tif 000058
【０１９５】
のストリームを提供され、ここでＺは類似の測定であり、Σは共分散であり、ｋは測定であり、ｋは時間の瞬間ｋにおけるカメラのローカルな座標系である。システムはまた、ループ閉鎖測定
【０１９６】
【数５６】
0006330068.tif 000059
【０１９７】
のストリームと、インライアーの存在を決定するゲーティング閾値ｔとを提供される。
【０１９８】
ステップＳ３０１において、ｋと絶対的な変化の平均
【０１９９】
【数５７】
0006330068.tif 000060
【０２００】
との値が、それぞれ１と単位行列とに初期化される。そして、ステップＳ３０２において、新しい走行距離測定が処理され、ｋは１だけインクリメントする。ここで、まず、時間瞬間ｋにおける相対的な変化の平均
【０２０１】
【数５８】
0006330068.tif 000061
【０２０２】
と共分散Ｐ(k-1)kが、ステップＳ３０３において処理されている走行距離測定の値に初期化される。
【０２０３】
そして、絶対的な変化の平均
【０２０４】
【数５９】
0006330068.tif 000062
【０２０５】
が、ステップＳ３０５で処理される走行距離測定によって増加させられた絶対的な変化の最近の推定値に設定される。
【０２０６】
ステップ３０６は処理すべき新しいループ閉鎖測定があるかどうか決定する。処理すべき新しいループ閉鎖測定がある場合、ステップＳ３０７において、上記の式２４に関連して考察された方法によってこの測定がインライアーであるかどうか決定される。閾値ｔは入力として受信される。ループ閉鎖測定がアウトライアーである（すなわち、条件が満たされない）場合、次の走行距離測定がステップＳ３０３において処理される。
【０２０７】
次のループ閉鎖測定がインライアーであると決定された場合、上記式（１２）を最大にするものを決定するようにガウスニュートン法が用いられ、線形化ステップが実行される。これを行うように、ガウスニュートン（ＧＮ）法はステップＳ３０９からＳ３１９にかけて実装される。図６ａにおいて、ＧＮ法はステップＳ３０８として示される。完全なＧＮ法は図６ｂに示される。
【０２０８】
ステップＳ３０９において、ループｌの開始からｋ−１までのループにおける各測定ｉに関して、各相対的な変化Ｔi（ｉ＋１）に関する（固定された）線形化ポイント
【０２０９】
【数６０】
0006330068.tif 000063
【０２１０】
が、各相対的な変化、すなわち
【０２１１】
【数６１】
0006330068.tif 000064
【０２１２】
に関する現在の推定において設定され、各相対的なエラーｒi（ｉ＋１）とインクリメントδi（ｉ＋１）とはステップＳ３０９において共にゼロに設定される。
【０２１３】
ガウスニュートン法が収束するまで、ループエラーはステップＳ３１１において計算される。次に、ステップＳ３１３において、ｌに関する相対的なエラーがインクリメントに設定され、ヤコビアンＪllが単位行列に設定される。そして、ループ（ｌ＋１からｋ−１）の残りの測定のすべてに関して、相対的なエラーとヤコビアン（Ｊll）とはステップＳ３１５で更新される。収束は多くの方法、例えば、固定された数の反復によって、または、反復の間で安定しているかどうか確かめるようにインクリメント、エラー、もしくはパラメータの少なくとも１つを監視することによって、決定されることができる。一実施形態では、安定性は、インクリメント、エラーの変化またはパラメータを、最小の固定値、例えば＜１０-6と比較することによって決定される。
【０２１４】
そして、積算されたエラーｒｌｋ，ｃｕｍと積算共分散Ｃｌｋ，ｃｕｍとは、ステップＳ３１７において、ループエラーｒｌｋの値とループ閉鎖測定の共分散の値とに初期化される。そして、ステップＳ３１９において、積算エラーと共分散とは、ループにおける各計測に関して決定されたヤコビアンから計算される。
【０２１５】
ステップＳ３２１において、ｘはＣｌｋ，ｃｕｍ  ｘ＝ｒｌｋ，ｃｕｍを解くことによって得られ、ｘはステップＳ３２３で用いられる。
【０２１６】
ステップＳ３２３において、ループの各測定に関して、インクリメントが更新され、相対的な変化（線形化ポイント）
【０２１７】
【数６２】
0006330068.tif 000065
【０２１８】
が更新される。
【０２１９】
ＧＮがステップＳ３２５で収束しなかった場合、ガウスニュートン処理はステップＳ３１１から繰り返す。ＧＮが収束する場合、事後分布の変分ベイズ近似が生成され、ループにおける各相対的な変化の共分散がＳ３２７において計算される。ここで、各測定に関する相対的な変化もまた、線形化ポイントに設定される。最後に、絶対的な変化がステップＳ３２９において決定される。
【０２２０】
ステップＳ３３１において、別の利用可能なループ閉鎖測定があるかどうか決定される。上記のように、新しい各走行距離測定に関して、１つ以上のループ閉鎖測定が利用可能である。１つ以上のループ閉鎖測定がある場合、ガウスニュートン処理Ｓ３０８が繰り返される。
【０２２１】
ステップＳ３３３において、新しい走行距離測定が利用可能であるかどうか決定され、そうであるなら、処理はステップＳ３０３から再度繰り返す。上記方法は更新された絶対的な変化を継続的に出力する。
【０２２２】
上記方法からみられるように、新しい各走行距離測定が受信されるにつれて絶対的な変化が更新されるため、システムはオンラインで動作することができる。ＧＮ法に注目すると、新しい各ループ閉鎖測定は相対的な変化の既存の推定を改良するように用いられる。
【０２２３】
変分ベイズ（ＶＢ）手法は、パラメータの数がＯ（ｋ）である分解された分布を有する事後分布を近似する。この実施形態において、ＶＢは、式１１と１２とにおいて上記されたようなＫＬ分散を最小化することによって実装される。式１２を最小にするものの周囲で実行される際、線形化ステップによって導き出された場合の相対的な変化の平均はゼロになり、したがって、上記式１２を最小にするようにＧＮ法を実行することによって相対的な変化の平均を導き出す非常に効率的な方法がある。上記フレームワークと知られているリー群の特性とにおけるゼロ平均のため、分散は式２２で示されるように表現されることができる。詳細な流れ図は、この方法を実装する１つの方法を示す図６（ａ）と図６（ｂ）とを参照して説明される。
【０２２４】
上記で説明された方法において、推定された分布のパラメータは相対的な変化の平均と共分散である。上記方法は、対角線上のブロックの数がループ閉鎖測定のために再推定されているループ内の相対的な変化の数であるブロック対角行列として、合計の共分散をモデル化する。処理されているループ閉鎖内にあるものを除いて、他のいかなる相対的な変化も更新されない。
【０２２５】
ブロックのサイズは、ステップＳ３０１で受信されたオリジナルの走行距離測定からの共分散のサイズによって設定される。オリジナルの測定の共分散のサイズは測定の型によって設定される。典型的には、ブロックのサイズは自由度の数に対応する。例えば、カメラポーズは６の自由度を有し、共分散は６×６行列によって表されることができるが、行列のサイズをさらに圧縮することが可能であり、ホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）測定は８の自由度を有し、さらに行列のサイズは縮小されることが可能である。
【０２２６】
したがって、任意の点において再推定される必要があるパラメータの数は、ループ閉鎖測定内の相対的な変化の数によって上下し、このことは、オフラインバッチ処理のみとは対照的に、システムがリアルタイムで動作して測定を処理することを可能とする。
【０２２７】
完全性のために、複数のループ閉鎖を有する状態を示すように、図６（ｃ）と図６（ｄ）とが用いられる。図６（ｃ）において、経路５５１は点５５３で第１のループ閉鎖を形成する。第２のループ閉鎖は点５５５で供給される。第１のループ閉鎖測定は５５３からの相対的な変化を点５５３に戻して訂正するように用いられる。第２のループ閉鎖５５５は、そして、点５５５からの相対的な変化を点５５５に戻して訂正するように用いられる。第２のループ閉鎖測定が計算される際、これらの測定は同一のループの一部を形成するものではないため、点５５３から点５５５への測定は、用いられることも更新されることもないことに留意すべきである。
【０２２８】
図６（ｄ）において、経路５６１は２回ループして戻る。それゆえ、推定された経路上の点５６３と５６５との間の第１のループ閉鎖測定があり、点５６７と５６３との間の第２のループ閉鎖測定がある。アルゴリズムは、ループ閉鎖測定のそれぞれを順番に処理することによって、そのような状況を取り扱う。
【０２２９】
一例において、方法は両眼の６Ｄ  ＳＬＡＭ用途（リー群ＳＥ（３））に応用される。このため、方法は１つの合成的なデータシーケンス（球形）と、２つの現実のシーケンス（もともとはＫａｒｌｓｒｕｈｅ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｔｅｃｈｎｏｌｏｇｙから得られるＫＩＴＴＩデータセットが起源（ｈｔｔｐ：／／ｗｗｗ．ｃｖｌｉｂｓ．ｎｅｔ／ｄａｔａｓｅｔｓ／ｋｉｔｔｉ／ｅｖａｌ＿ｏｄｏｍｅｔｒｙ．ｐｈｐを参照））とに適用される。ＫＩＴＴＩデータセットは生のデータを提供し、走行距離測定とループ閉鎖測定とがこれから得られる。この実験の結果は表２に与えられる。表２は、絶対的な位置に関する二乗平均平方根エラー（ＲＭＳＥ）と、Ｃ＋＋とＭａｔｌａｂとの両方においてかかる計算時間との両方を示す。
【０２３０】
【表３】
0006330068.tif 000066
【０２３１】
本発明の実施形態による方法は、すべての過去の測定を記憶することとは対照的に、最小の数のパラメータによって以前のデータを要約することに留意すべきである。このことは方法を高速で正確にする。
【０２３２】
図７（ａ）から図７（ｄ）は、ＫＩＴＴＩ００データセットとＫＩＴＴＩ０７データセットとから得られた（ＳＥ（２））群上の平面視覚ＳＬＡＭ測定からの結果を示す。視覚的走行距離測定モジュールとループ閉鎖モジュールとの両方が、処理を行う走行距離測定とループ閉鎖測定を生成するように用いられた。アルゴリズムの堅牢性を検査するように、用いられたループ閉鎖モジュールは、パラメータαを用いて出力の調整を可能にする閾値を有する。α＝１の場合、信頼度が高いループ閉鎖のみが出力され、α＝０の場合、すべてのループ閉鎖がループ閉鎖モジュールから出力される。合成的に誤ったループ閉鎖もまた生成され、ループ閉鎖測定の組に加えられる。アルゴリズムの堅牢性を評価するように、実験は、異なる値αに関して、アルゴリズムを適用してループ閉鎖検出精度と再現率とを計算することに存する。ここで、精度は、真のポジティブと偽のポジティブとの合計の数分の、真のポジティブの数として定義され、再現率は、真のポジティブと偽のネガティブとの数分の、真のポジティブの数として定義される。この実験の結果は図７（ａ）から図７（ｄ）に与えられる。図７（ａ）と図７（ｂ）とにおいて、それぞれ精度と再現率とに関するデータが与えられる。データはＫＩＴＴＩ００データセットからとられる。精度と再現率の両方が完全なスコア１を有することがみられる。図７（ｃ）と図７（ｄ）とはそれぞれ精度と再現率とに関するデータを示す。データはＫＩＴＴＩ０７データセットからとられる。ここで、α＝０．１５と０．２とにおいて方法が失敗していることがみられる。ここで、不明瞭な誤ったループ閉鎖がインライアーとして認識されたために、精度と再現率との両方がゼロに下がっている。このことは、推定された軌跡の歪みにつながり、その結果として、後に続くすべてのループ閉鎖の排除につながる。
【０２３３】
図８（ａ）と図８（ｂ）は、単眼視覚ＳＬＡＭ問題を考えることによってリー群Ｓｉｍ（３）を処理する上記手法の可能性を示すように用いられる。測定を得るように、ローカルなＳＬＡＭ手法が、小さく重なるサブマップを再構築するように、スライディングウインドウバンドル調整を実行する。ここで「サブマップ」はカメラの軌跡と小さい３Ｄポイントクラウドのフラグメントに対応する。走行距離測定は一時的な連続するサブマップの間の３Ｄ同一性を計算することによって得られる。現在のサブマップと以前のサブマップとの間のループ閉鎖を検出するように、まず位置認識アルゴリズムが用いられる。そして、過去のサブマップの各候補に関して、その３Ｄポイントの記述子と現在のサブマップの３Ｄポイントの記述子を合致させる。最後に、３Ｄ同一性が、ＲＡＮＳＡＣアルゴリズムを用いて計算される。
【０２３４】
この用途における動作平均化アルゴリズムの目的は、すべてのサブマップを並べて、環境のグローバルなマップ、すなわち、完全なカメラの軌跡と同様にグローバルな３Ｄポイントクラウドをもたらすことである。
【０２３５】
図８（ｂ）において、ＫＩＴＴＩデータセットの１５の連続における単眼視覚ＳＬＡＭ（リー群Ｓｉｍ（３））から得られた結果が示される。上記手法によって推定された軌跡が、Ｌｉｄａｒからの結果を示す図８（ａ）の結果に視覚的に近いことがわかる。図８（ａ）のＬｉｄａｒ測定は、ＣＯＰ−ＳＬＡＭによって推定された軌跡よりもグラウンドトゥルースであるとみなされる。
【０２３６】
図９（ａ）と図９（ｂ）とにおいて、ＫＩＴＴＩ１３データセットからの画像が示され、図９（ａ）はＬｉｄａｒ測定を示し図９（ｂ）は上記処理を用いた結果を示す。
【０２３７】
上記例は、ＳＬＡＭの型の問題に関するカメラの位置のトラッキングに関連する。しかしながら、次に、ビデオモザイク化において用いるための上記方法が、リー群ＳＬ（３）を用いて考察される。走行距離測定は、ビデオの一時的に連続するフレームの間のホモグラフィを計算することによって得られる。ループ閉鎖（すなわち、現在のビデオフレームが過去のビデオフレームに重なる場合）を検出するように、画像認識アルゴリズムがまず用いられ、現在のビデオフレームと回収された過去のビデオフレームとの間のホモグラフィを計算するように、ＲＡＮＳＡＣアルゴリズムが適用される。
【０２３８】
この用途における動作平均化アルゴリズムの目的は、すべてのビデオフレームを並べて、平面のシーンを前提として、シーン全体のグローバルな（平面の）モザイクをもたらすことである。
【０２３９】
図１０（ａ）から図１０（ｃ）までにおいて、図１０（ａ）に示されたデータセット上のビデオモザイク化（リー群ＳＬ（３））に関する結果が示される。図１０（ｂ）はグラウンドトゥルースな結果を示し、図１０（ｃ）は、ラージスケール問題を効率的に処理するように数個のパラメータを用いて事後分布が近似される、本発明の実施形態による方法を用いて得られた結果を示す。
【０２４０】
しかしながら、図１０（ｃ）からは、手法がグラウンドトゥルースに視覚的に非常に近いモザイクを生成し、また、誤ったループ閉鎖を完全に検出することがわかる。図１０（ｂ）と図１０（ｃ）とにおいて、最上部の横列はモザイクを示す。最下部の横列は白いピクセルがインライアーであるラベリング行列を示し、黒いピクセルは利用可能でない測定に対応し、灰色のピクセルはアウトライアーに対応する。
【０２４１】
図１１は画像分析システムの概略図である。
【０２４２】
システム１は、入力画像を受信するプログラム５を備えるプロセッサ３を備える。記憶装置７はプログラム５によって用いられるデータを記憶する。何のデータが記憶されるかの詳細は後に説明する。
【０２４３】
システム１はさらに、入力モジュール１１と出力モジュール１３とを備える。入力モジュール１１はカメラ出力または他の画像データストリームに接続される。入力されるデータの型は多くの形式をとってもよい。一実施形態において、データは生の画像データ、例えば２Ｄ画像データである。別の実施形態において、３Ｄポイントクラウドがシステムによって受信され、さらなる実施形態においてシステムは走行距離測定とループ閉鎖測定とを提供される。システムが走行距離測定とループ閉鎖測定とを提供されない場合、プログラムは２Ｄ画像データまたは３Ｄポイントクラウドからこれらの測定を導き出さなくてはならない。代替として、入力部は外部記憶媒体またはネットワークからデータを受信する受信機であってもよい。しかしながら、これは可能であっても、システムは第一にオンライン使用のために設計されるため、システムは画像データのリアルタイムでライブのストリームを受信することが期待される。
【０２４４】
出力モジュール１３に接続された出力部は出力部１７である。この出力部は多くの異なった形式をとってもよい。一実施形態では、出力部はカメラの動作時の情報を出力する。例えば、図１２に示すように、システム２１は、カメラ２５から画像データを受信する移動する車両２３に提供される。カメラ２５が車両の頂部に示されるが、それは車のどこに提供されてもよい。また、例えば駐車などの補助を提供するように、複数のカメラが提供されてもよい。
【０２４５】
上記の方法は車両の軌跡の高速な推定と、車両の３Ｄ位置と３Ｄ方向との推定とを可能にする。
【０２４６】
画像データは単一のカメラと、単眼技法を用いて構築されたポイントクラウドとからのものであってもよい。他の実施形態において、知られている固定の関係を互いに有する２つ以上のカメラが用いられ、３Ｄポイントクラウドがステレオ技法を用いて決定される。
【０２４７】
出力はシーンに関するカメラの移動を示す画像の形式であってもよい。他の実施形態では、出力は、上記方法で決定されたように、カメラの移動を用いて集められたカメラ出力から構成されたシーンであってもよい。さらなる実施形態において、カメラの位置は、カメラの位置に応じてどのように車両を動かすかに関する決定が行われる自律運転アルゴリズム、または、カメラの位置から決定されたシーンの再生成などの、アルゴリズムへの入力として用いられてもよい。
【０２４８】
車が示されているが、任意の型の車両、例えば、自律式電気掃除機がこのアルゴリズムから恩恵を受けてもよい。また、ロボット工学においては、方法はロボットのアームの位置を正確に制御するように用いられてもよい。
【０２４９】
上記方法に関するメモリ要求は相対的に少ない。方法は携帯デバイス、埋め込みデバイスなどの制限されたメモリデバイスに適用可能である。
【０２５０】
いくつかの実施形態が説明されるが、これらの実施形態は例示としてのみ示されており、発明の範囲を限定する意図はない。実際に、本明細書に説明された新しい方法とシステムとは様々な他の形態で実施可能である。さらに、本明細書に説明された方法とシステムとの形式への様々な省略と、置換と、変更とが、発明の精神から逸脱することなく行われてもよい。添付の特許請求の範囲とそれらの同等物とは、発明の範囲と精神との中にあるものとして、そのような変形の形式を対象に入れることを意図される。
【図１（ａ）】
0006330068.tif 000067
【図１（ｂ）】
0006330068.tif 000068
【図１（ｃ）】
0006330068.tif 000069
【図２】
0006330068.tif 000070
【図３（ａ）】
0006330068.tif 000071
【図３（ｂ）】
0006330068.tif 000072
【図３（ｃ）】
0006330068.tif 000073
【図３（ｄ）】
0006330068.tif 000074
【図３（ｅ）】
0006330068.tif 000075
【図３（ｆ）】
0006330068.tif 000076
【図４】
0006330068.tif 000077
【図５】
0006330068.tif 000078
【図６（ａ）】
0006330068.tif 000079
【図６（ｂ）】
0006330068.tif 000080
【図６（ｃ）】
0006330068.tif 000081
【図６（ｄ）】
0006330068.tif 000082
【図７（ａ）】
0006330068.tif 000083
【図７（ｂ）】
0006330068.tif 000084
【図７（ｃ）】
0006330068.tif 000085
【図７（ｄ）】
0006330068.tif 000086
【図８（ａ）】
0006330068.tif 000087
【図８（ｂ）】
0006330068.tif 000088
【図９（ａ）】
0006330068.tif 000089
【図９（ｂ）】
0006330068.tif 000090
【図１０（ａ）】
0006330068.tif 000091
【図１０（ｂ）】
0006330068.tif 000092
【図１０（ｃ）】
0006330068.tif 000093
【図１１】
0006330068.tif 000094
【図１２】
0006330068.tif 000095