(57)【要約】  リアルタイムマッピング解析、位置確認解析、および変化解析において使用可能な３Ｄ参照マップを構築する方法であって、３Ｄ参照マップは、モバイルレーザーレンジスキャナーに基づく３Ｄ  ＳＬＡＭ（同時の位置確認及びマッピング）フレームワークを使用して作成される。特にＧＰＳ使用不能環境においてリアルタイムマッピング解析、位置確認解析および変化解析を行う方法が提供され、前記方法を実現するためのモバイルレーザースキャニング装置も提供される。【選択図】図１
2018522345.tif 000002
【特許請求の範囲】
【請求項１】
リアルタイムのマッピング、位置確認、及び／又は変化の分析のために、環境の３Ｄ参照マップを構築する方法であって、該方法は：
（ａ）３Ｄスキャナーデータを提供するために、１秒につき少なくとも５つのフレームの速度でモバイルリアルタイムレーザーレンジスキャナーにより環境を獲得する工程、
（ｂ）各々がスキャナーデータにより画定される関連するポイントクラウドを持つ、レーザーレンジスキャナーの複数の姿勢の各々に関する３Ｄスキャナーデータを使用して、マップ表示を構築する工程であって、マップ表示は、大きな領域にわたる一定時間の高速な最近傍探索及びスケーラビリティにおける、データ構造へのランダムサンプルアクセスのために構成されるデータ構造を持つ、工程、及び
（ｃ）マップ表示を使用して、３Ｄの同時の位置確認及びマッピング（３Ｄ  ＳＬＡＭ）のフレームワークを用いる環境のための３Ｄ参照マップを構築する工程を含み、前記構築する工程は：
（ｉ）オドメーターモジュールを使用して、ローカルマップ表示への最後のポイントクラウドの登録に基づいて、レーザーレンジスキャナーの現行の姿勢を推定すること、
（ｉｉ）ローカルマップ表示におけるドリフトを最小化するために、ローカル軌道最適化モジュールを使用して、ポイントクラウドのセットの軌道を精密化すること、及び
（ｉｉｉ）ループが閉じたものを考慮する環境の全体のマップを再構築することにより大域的な軌道最適化をオフラインで行ない、それにより前記３Ｄ参照マップを形成すること
を含む、方法。
【請求項２】
ローカル軌道最適化モジュールは、最後の登録されたセットに構築されたマップに関して、姿勢のセット、及びそれらの関連するポイントクラウドにより構成された軌道のフラグメントを最適化する、ローカルウィンドウ機構を含み、ここで、ポイントは好ましくは、
【数１】
2018522345.tif 000165
のグループにおける姿勢補間を使用して世界座標において変換され、及び、Ｉｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔの方法の一般化は好ましくは、マップに対して全てのポイントをより良く位置合わせする軌道を見つけるために使用され；ここで、ローカルウィンドウ機構は、リストにおける第１の姿勢と最後の姿勢との距離が閾値よりも大きい時に、クラウドの姿勢が最適化され、且つ新しいリストが精密化された姿勢及び入力クラウドにより生成されるように、作動する、ことを特徴とする請求項１に記載の方法。
【請求項３】
データ構造は、生得的に３Ｄポイントを取り扱うように設定され、且つ、マップ表示における圧縮された密な特徴のリストにインデックスを付けるために使用されるスパースボクセル化構造により構成されるハイブリッド構造に基づいており、探索された空間にわたるスケーラビリティでデータのマップサイズ及び効果的な保管とは別にボクセル座標における一定時間のランダムアクセスを可能にする、ことを特徴とする請求項１又は２に記載の方法。
【請求項４】
データ構造は、保存されたデータの５つの異なる表示を維持し、それにより各マップの更新後に内部データ表示の間の一致を認め、前記５つの異なる表示は、
（ｉ）圧縮された密な特徴のリストＬ、及び最後の要素に対する指標Ｌｌａｓｔであって、各要素
【数２】
2018522345.tif 000166
は、世界座標の位置及び単位法線ベクトルなどの、マップ中の特徴に関連した全ての情報、及び好ましくは追加情報を含んでいる、圧縮された密な特徴のリストＬ、及び最後の要素に対する指標Ｌｌａｓｔ、
（ｉｉ）圧縮された密な有効性マスクＭであって、各要素
【数３】
2018522345.tif 000167
は、その対応するサンプル
【数４】
2018522345.tif 000168
が有効か否かを示し、ｍｉ＝０，ｉ＞Ｌｌａｓｔを確かにする、ブール値である、圧縮された密な有効性マスクＭ、
（ｉｉｉ）ホールのリストＨであって、各要素
【数５】
2018522345.tif 000169
は、
【数６】
2018522345.tif 000170
が有効ではないため
【数７】
2018522345.tif 000171
となることを示している、ホールのリストＨ、
（ｉｖ）パラメーター化可能なセルサイズで構築され、Ｌにおけるその対応する特徴の指標を各セル
【数８】
2018522345.tif 000172
に保存する、スパースボクセル表示Ｖであって、Ｌにおける特徴及びＶにおけるセルは、ｌｉの位置及びＶのセルサイズに基づいて、１対１の様式で関連付けられる、スパースボクセル表示Ｖ、及び
（ｖ）マップ上で最近傍探索を行なうように使用され、且つ、そのメモリフットプリントを低く維持するために密なリストのみに参照を保存する、ｋｄ木Ｋ
である、ことを特徴とする請求項１乃至３の何れか１つに記載の方法。
【請求項５】
中心の位置及び半径により表わされた関心領域を与えられると、内部特徴は、Ｌに保存された要素上をループすることにより選択され、且つ最近傍探索のための高速機構としてｋｄ木が再構築される、ことを特徴とする請求項４に記載の方法。
【請求項６】
特にＧＰＳが繋がらない環境において、リアルタイムのマッピング、位置確認、及び変更の分析を行うための方法であって、該方法は：
（ａ）３Ｄスキャナーデータを提供するために、１秒につき少なくとも５つのフレームの速度でリアルタイムレーザーレンジスキャナーにより環境を獲得する工程、
（ｂ）場所認識中に、リアルタイムでスキャナーを自己位置同定するために、場所認識中のスキャナー姿勢の予備知識無しに、場面内の減少された探索空間を用いてレーザーレンジスキャナーにより獲得された場面の単純且つ圧縮された記述子を事前に計算することなく、環境の内部のレーザーレンジスキャナーの現行の場所を識別する工程、
（ｃ）環境におけるスキャナーの位置確認の判定後、最近傍情報を含むデータを利用する標準のＩｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ方法を使用して、環境の既存の３Ｄ参照マップ内部の現行のスキャナーデータを登録することにより、スキャナー姿勢を追跡する工程、
（ｄ）現行のスキャナーデータにおける各スキャンポイントと３Ｄ参照マップにおける最も近いポイントとの距離を計算する工程であって、変化の分析はこの距離に閾値を適用することにより実行され、それにより、参照モデルにおいて対応する近傍を持たない現行のスキャナーデータにおける各ポイントは、変化と考慮される、工程、
（ｅ）リアルタイムユーザーインターフェース上で３Ｄ参照マップ及び現行の３Ｄスキャナーデータに関する情報を表示する工程であって、前記情報は好ましくは、情報の変化あり／変化無しといった分類に従い色分けされる、工程
を含む、方法。
【請求項７】
工程（ｂ）は、工程（ａ）のスキャナーデータに基づいたスキャナーの可能な場所のセットの識別を含み、工程（ｂ）は以下のサブ工程：
（ｂ１）最後の３Ｄスキャナーデータに基づいて、記述子空間に閾値半径ｒ、好ましくは３６０度の水平のビュースキャナーデータを与えられたＴ上で放射状捜索を行なうことにより、関連する記述子ｑを計算し、候補の場所
【数９】
2018522345.tif 000173
のセットを回復する工程であって、範囲の値を水平に推移させることにより追加の入力記述子を計算することによって候補の場所を増大させ、各記述子は、そのローカル軸上を回転され且つその後に候補の場所の結果として生じるセットｉそれぞれに従って回転する場合に、スキャナーが生成する読み取り値に対応する、工程、
（ｂ２）重み
【数１０】
2018522345.tif 000174
を各潜在的な場所
【数１１】
2018522345.tif 000175
に関連付ける工程であって：
【数１２】
2018522345.tif 000176
ここで、ｄｐは、Ｔから検索された場所
【数１３】
2018522345.tif 000177
に関連付けられる記述子であり、
【数１４】
2018522345.tif 000178
は、完全に一致する記述子に関しては１であり、サーチスフィアの境界上での記述子に関しては０である、工程、及び
（ｂ３）ｗにおいて重みを集め、ｍａｘ  ｗ＝１を持つようにこれらの重みを標準化する工程
を含む、請求項６に記載の方法。
【請求項８】
工程（ｂ）は、工程（ａ）のスキャナーデータに基づいたスキャナーの可能な場所のセットの識別を含み、工程（ｂ）は以下のサブ工程：
（ｂ１）最後の３Ｄスキャナーデータに基づいて、関連する記述子ｑを計算して、候補の場所
【数１５】
2018522345.tif 000179
のセットを再生する工程であって、候補の場所はｑと同様の記述子を持つ、工程、
（ｂ２）重み
【数１６】
2018522345.tif 000180
を各潜在的な場所
【数１７】
2018522345.tif 000181
に関連付ける工程であって：
【数１８】
2018522345.tif 000182
ここで、ｄｐは、Ｔから検索された場所
【数１９】
2018522345.tif 000183
に関連付けられる記述子であり、
【数２０】
2018522345.tif 000184
は、完全に一致する記述子に関しては１であり、サーチスフィアの境界上での記述子に関しては０である、工程、
（ｂ３）ｗにおいて重みを集め、ｍａｘ  ｗ＝１を持つようにこれらの重みを標準化する工程、
（ｂ４）動作を推定し、新たな姿勢にてクエリの結果に基づいて初期の候補の姿勢それぞれについて重みを再評価することにより、センサーが移動している間の候補の場所のセットを更新する工程、及び
（ｂ５）候補の姿勢が１つの場所に集中するまで更新のサブ工程を反復する工程
を含む、ことを特徴とする請求項６に記載の方法。
【請求項９】
特に地動に関して、それによりレーザーレンジスキャナーはフロアを通過するヒト又は車に取り付けられ、前記方法は、
（ｉ）３Ｄ参照マップにおいてフロアの範囲を識別する工程であって、フロアの抽出は、環境Ｖのスパースボクセル表示上で行なわれ、スパースボクセル表示の個々の完全なセルｖ（ｉ）は、候補のフロアのセル
【数２１】
2018522345.tif 000185
を表すボクセルのサブセットを抽出することにより、それらの関連する法線の垂直成分が優性、即ち、
【数２２】
2018522345.tif 000186
であることを確認することにより、その重心
【数２３】
2018522345.tif 000187
の周囲のポイントによりローカルに画定された表面に対する法線ベクトルを含んでおり、ここでεは典型的に０．５〜１の値である、工程、
（ｉｉ）セルの到達可能性を判定する工程であって、到達可能なセル
【数２４】
2018522345.tif 000188
を仮定して、下記条件が満たされる場合に、周囲のセル
【数２５】
2018522345.tif 000189
は全て到達可能であると考慮され：
【数２６】
2018522345.tif 000190
ここで、（６）における
【数２７】
2018522345.tif 000191
は、最大の工程距離（例えば、歩行動作について０．５メートル、又は車の動作についてＶｃｅｌｌＳｉｚｅ）を表し、（７）におけるθ１は最大の垂直工程サイズを表し、（８）における
【数２８】
2018522345.tif 000192
は、フロアのセルｇｉ上に集中する、オブザーバーの単純化された体積を表わす、工程
を含む、請求項６乃至８に何れか１つに記載の方法。
【請求項１０】
マップ構造は、特異的なボクセルサイズで構築される、保存且つ同期される要素の２つの異なるリスト、圧縮された平面のリストＬと密なボクセルのグリッドＶを含み、各平面
【数２９】
2018522345.tif 000193
は、世界座標における位置ｐｉ、及び単位法線
【数３０】
2018522345.tif 000194
を保存し；ここで、ボクセル
【数３１】
2018522345.tif 000195
はそれぞれ、完全、空、又は付近にあり得るの、何れかである現行の状態を保存し、完全なボクセルは、その関連する位置が該当する平面
【数３２】
2018522345.tif 000196
へとインデックスを保存し、空のセルはヌルの参照を保存し、及び付近のセルは、その関連する位置のボクセル中心までの距離が最短である平面
【数３３】
2018522345.tif 000197
へとインデックスを保存し；好ましくは付近のボクセルは、距離ｄｖが与えられた閾値ｄｍａｘ下にある場合のみ考慮され、さもなくばボクセルは空であると考慮される、請求項６乃至９の何れか１つに記載の方法。
【請求項１１】
総合的なシステムのロバスト性を改善するために、スキャナー追跡はオドメーターと組み合わせられ、ここで、姿勢が推定された後、世界座標におけるその関連するポイントは、ｋｄ木に保存され、レーザーレンジスキャナーにより新たな獲得物が与えられると、登録アルゴリズムがポイントのセット
【数３４】
2018522345.tif 000198
を作成した時、これは、参照マップ
【数３５】
2018522345.tif 000199
及び以前に固定されたポイントクラウド
【数３６】
2018522345.tif 000200
の両方において最近傍を探索し、
ここで、コレスポンデンスは以下のように画定され：
【数３７】
2018522345.tif 000201
ここで、Ｓはボクセルのセルサイズに対応し、ボクセル化されたグラウンドトゥルースマップと以前に固定されたクラウドの非離散ｋｄ木との間の異なる解像度を補う、ことを特徴とする請求項６乃至１０の何れか１つに記載の方法。
【請求項１２】
特にＧＰＳが繋がらない環境における、リアルタイムのマッピング、位置確認、及び変化の分析のためのモバイルレーザースキャニング装置であって、請求項１乃至５の何れか１つに記載の方法、又は請求項６乃至１１の何れか１つに記載の方法を実行する、モバイルレーザースキャニング装置。
【請求項１３】
リアルタイムレーザーレンジスキャナー、処理ユニット、電源ユニット、及び携帯型の視覚化及び制御ユニットを含んでおり、ここで、リアルタイムレーザーレンジスキャナーは、スキャナーデータを提供するために１秒につき少なくとも５つのフレームの速度で環境を獲得することができ、処理ユニットは、前記スキャナーデータを分析し、且つ携帯型の視覚化及び制御ユニットに３Ｄマップ／モデル、位置確認、及び変化の情報を含む処理結果を提供するように配置され、携帯型の視覚化及び制御ユニットは、前記処理結果を表示し且つユーザーがモバイルレーザースキャニング装置を制御するのを可能にするように配置される、ことを特徴とする請求項１２に記載のモバイルレーザースキャニング装置。
【請求項１４】
視覚化及び制御ユニットは、タブレットコンピューターである、ことを特徴とする請求項１２又は１３に記載のモバイルレーザースキャニング装置。
【請求項１５】
前記モバイルレーザースキャニング装置は、バックパック又は車両搭載装置である、ことを特徴とする請求項１２乃至１４の何れか１つに記載のモバイルレーザースキャニング装置。
【請求項１６】
３Ｄの屋内のマッピング／モデル化；施設管理；正確且つリアルタイムの屋内の位置確認及びナビゲーション；障害者又は高齢者への補助；設計情報の検証；防護措置検査のためなどの変化の分析；土木のためなどの経過の監視；又は災害管理及び応答のための、請求項１乃至５の何れか１つに記載の方法、又は請求項６乃至１１の何れか１つに記載の方法、或いは請求項１２乃至１５の何れか１つに記載のモバイルレーザースキャニング装置の使用。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は全体として、ＧＰＳが繋がらない環境、特に屋内での位置確認とマッピングに関する。
【背景技術】
【０００２】  位置確認又はマッピングなどの目的のための環境を獲得するために、異なる解決策が説明され、又は商業的に利用可能となっている。異なる方法は異なる解決策をもたらした。【０００３】  これらの中で、多くの商用及び原型の屋内ナビゲーションシステムは、慣性センサー（例えば、ＤＬＲのＦｏｏｔＳＬＡＭ、Ｃｈｉｒａｎｇｅ  Ｇｅｏｓｐａｔｉａｌ  Ｉｎｄｏｏｒ  Ｔｒａｃｋｉｎｇ）をベースとするものである。これらは小さく且つ低コストなものであるが、位置決め精度は低く、経時的に著しくドリフトしてしまう。更に、慣性システムはマップ情報を生成しない。それ故これらは、マップの生成ではなく、位置決めとナビゲーションの目的にのみ適切なものである。【０００４】  他の屋内位置決めシステムは、屋外環境におけるＧＰＳ信号と同様に、無線信号の送信をベースとする。幾つかのシステムは、既存のインフラストラクチャー（例えば空港のＷｉＦｉネットワーク、Ｎａｖｉｚｏｎ）を使用するものであり、その他のものは、専用のインフラストラクチャー（例えばＮｅｘｔＮａｖ、ＳｅｎｉｏｎＬａｂ）の設置を必要とする。このシステムには事実上、センサーのコストがかからない（クライアントアプリケーションは、専用のソフトウェアアプリケーションを備えたスマートフォンを使用する）が、これらは無線信号を発するネットワークインフラを必要とする。更に、このシステムはマップ情報を生成しない。それ故これらは、マップの生成ではなく、位置決めとナビゲーションの目的にのみ適切なものである。【０００５】  更に興味深い製品は３Ｄスキャニングを使用する。ＺＥＢ１は、高速（屋内）マッピングのために３Ｄレーザースキャニングを使用する製品である。レーザーはスプリングに取り付けられ、手により振動動作をもたらす必要がある。こにより、屋内環境の正確な３Ｄモデルが生成される。しかしこのシステムは、オフラインでデータ処理が実行されると、ユーザーに即時のフィードバックを提供しない。従って、このシステムは、リアルタイムの位置確認ではなくマッピングに適切なものである。【０００６】  また更なる解決策は、ＵＣ  Ｂｅｒｋｌｅｙで開発されたレーザーバックパック（ｌａｓｅｒ  ｂａｃｋｐａｃｋ）である。これは、屋内環境の３Ｄモデルを生成するために使用される様々な２Ｄラインスキャナーを備えたバックパックを提案する、Ｒ＆Ｄ計画である。再度、これはオンラインでの視覚化を提供しない。【０００７】  最後の解決策は、ＬＯＡＭ（Ｌｉｄａｒ  Ｏｄｏｍｅｔｒｙ  ａｎｄ  Ｍａｐｐｉｎｇ）と称されるものであり、リアルタイムの位置確認とマッピングのためにレーザースキャニングとビデオ画像を組み合わせた、関連するアルゴリズムを伴う持ち運び可能なセンサーから成る。【０００８】  このような解決策の略全ては、リアルタイム／オンラインの視覚化を欠いており、更に重要なことに、これらは、獲得及び処理の工程後に任意の直接ユーザー相互作用を可能にしない。【０００９】技術的問題
本発明の目的は、特にＧＰＳが繋がらない環境でのリアルタイムの獲得、マッピング、及び位置確認を可能にするだけでなく、リアルタイムの視覚化とユーザー相互作用の可能性も提供する、システム、装置、及び方法を提供することである。更に、本発明は、現行の獲得データと以前に獲得したマップとのリアルタイムの比較の提供も、可能にする。これにより、最後のマッピングから生じた差又は変化を識別することが可能となる。変化又は差の、そのようなオンラインでの識別は、セキュリティ検査、土木（ｃｉｖｉｌ  ｃｏｎｓｔｒｕｃｔｉｏｎ）、更には緊急事態又は災害管理などの用途において、多大な利益をもたらす場合もある。
【発明の概要】
【００１０】  この目的を達成するために、本発明は、第１の態様において、リアルタイムのマッピング、位置確認、及び／又は変化の分析（のための方法）に使用可能な、環境の３Ｄ参照マップを構築する方法を提供し、前記方法は以下の工程を含む：
（ａ）１秒につき少なくとも５つのフレーム（即ち５つのポイントクラウド）の速度、好ましくは１秒につき少なくとも１０フレームの速度で、モバイルリアルタイムレーザーレンジスキャナーにより環境の（３Ｄ）スキャナーデータを獲得する工程、
（ｂ）各々がスキャナーデータにより画定される関連するポイントクラウドを持つ、レーザーレンジスキャナーの複数の姿勢の各々に関する（３Ｄ）スキャナーデータを使用して、マップ表示を構築する工程であって、マップ表示は、大きな領域にわたる一定時間の高速な最近傍探索及びスケーラビリティにおける、データ構造へのランダムサンプルアクセスのために構成されるデータ構造を持つ、工程、及び
（ｃ）マップ表示を使用して、３Ｄの同時の位置確認及びマッピング（３Ｄ  ＳＬＡＭ）のフレームワークを用いる環境のための３Ｄ参照マップを構築する工程を含み、前記構築する工程は、以下を含む：
（ｉ）オドメーターモジュールを使用して、ローカルマップ表示への（最後の）ポイントクラウドの登録に基づいて、各ポイントクラウドに関するレーザーレンジスキャナーの現行の姿勢を推定すること、
（ｉｉ）ローカルマップ表示におけるドリフトを最小化するために、ポイントクラウドの（サブ）セットの軌道を精密化する、ローカル軌道最適化モジュールを使用すること、及び
（ｉｉｉ）ループが閉じたものを利用する（又は考慮に入れる）環境の全体のマップを（好ましくはポイントクラウドの全セットの使用により）再構築することによりオフラインの大域的な軌道の最適化を行い、それにより前記３Ｄ参照マップを形成すること。
【００１１】  本発明は更に、そのような方法に関するものであり、ここで、ローカル軌道最適化モジュールは、最後の登録されたセットに構築されたマップに関して、１セットの姿勢、及びそれらの関連するポイントクラウドにより構成された軌道のフラグメントを最適化する、ローカルウィンドウ機構を含み、ここで、ポイントは好ましくは、
【００１２】
【数１】
2018522345.tif 000003
のグループにおける姿勢の補間を使用して世界座標において変換され、及び、Ｉｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔの方法の一般化は好ましくは、マップに対して全てのポイントをより良く位置合わせする軌道を見つけるために使用され；ここで、ローカルウィンドウ機構は、リストにおける第１の姿勢と最後の姿勢との距離が閾値よりも大きい時に、クラウドの姿勢が最適化され、且つ新しいリストが精密化された姿勢及び入力クラウドにより生成されるように、作動する。
【００１３】  特に好ましい実施形態において、データ構造は、生得的に３Ｄポイントを取り扱うように設定され、且つ、マップ表示における（圧縮された密な）特徴のリストにインデックスを付けるために使用されるスパースボクセル化構造により構成されるハイブリッド構造に基づいており、探索された空間にわたるスケーラビリティでデータのマップサイズ及び効果的な保管とは別にボクセル座標における一定時間のランダムアクセスを可能にする。
【００１４】  また更に好ましい実施形態において、データ構造は、保存されたデータの５つの異なる表示を維持し、それにより、各マップの更新後に内部データ表示の間の一致を認め、５つの異なる表示は以下の通りである：
（ｉ）（圧縮された密な）特徴のリストＬ、及び最後の要素に対する指標Ｌｌａｓｔであり、ここで、各要素
【００１５】
【数２】
2018522345.tif 000004
は、世界座標の位置及び通常の単位ベクトルなどの、マップ中の特徴に関連した全ての情報、及び好ましくは追加情報を含んでいる。
（ｉｉ）（圧縮された密な）有効性マスクＭであって、各要素
【００１６】
【数３】
2018522345.tif 000005
は、その対応するサンプル
【００１７】
【数４】
2018522345.tif 000006
が有効か否かを示し、ｍｉ＝０，ｉ＞Ｌｌａｓｔを確かにする、ブール値である。
（ｉｉｉ）ホールのリストＨであって、各要素
【００１８】
【数５】
2018522345.tif 000007
は、
【００１９】
【数６】
2018522345.tif 000008
が有効ではないため
【００２０】
【数７】
2018522345.tif 000009
となることを示している。
【００２１】（ｉｖ）パラメーター化可能なセルサイズで構築され、各セル
【００２２】
【数８】
2018522345.tif 000010
に、Ｌにおけるその対応する特徴の指標を保存する、スパースボクセル表示Ｖであって、Ｌにおける特徴及びＶにおけるセルは、ｌｉの位置及びＶのセルサイズに基づいて、１対１の様式で関連付けられる。及び
（ｖ）マップ上で最近傍探索を行なうように使用される、且つ、そのメモリフットプリントを低く維持するために密なリストのみに参照を保存する、ｋｄ木Ｋ。
【００２３】  本方法は更に、中心の位置及び半径により表わされた関心領域を与えられると、内部特徴が、Ｌに保存された要素上をループすることにより選択され、且つ最近傍探索のための高速機構としてｋｄ木が再構築される工程を含む場合もある。
【００２４】  第２の態様において、本発明は、特にＧＰＳが繋がらない環境における、即ち、上述されるような本発明の第１の態様に従う方法から、又は、本発明の以前の実行を介して既に更新又は修飾されているそのような３Ｄ参照マップから利用可能な環境の３Ｄ参照マップに関する、環境のリアルタイムのマッピング、位置確認、及び変化の分析のための方法に関し、前記方法は好ましくは以下の工程を含む：
（ａ）１秒につき少なくとも５つのフレーム（ポイントクラウド）の速度で、リアルタイムレーザー範囲スキャナーにより環境の（３Ｄ）スキャナーデータを獲得する工程、
（ｂ）場所の認識中、場所認識中のスキャナー姿勢の予備知識無しに、場面内の減少された探索空間を用いてレーザーレンジスキャナーによって獲得された場面の単純且つ圧縮された記述子を事前に計算することなく、既知の環境内部（即ち、３Ｄ参照マップ内）のレーザーレンジスキャナーの現行の場所を識別する工程；又は、リアルタイムでスキャナーを自己位置同定するために、潜在的なスキャナー姿勢にて３Ｄ参照マップの予め計算された圧縮された記述子を使用してリアルタイムでスキャナーを自己位置同定するために事前に計算された記述子空間を利用する３Ｄ参照マップ内のレーザーレンジスキャナーの現行の場所を識別する工程、
（ｃ）既知の環境における（即ち、３Ｄ参照マップ内の）スキャナーの位置確認の決定後、最近傍情報を含むデータを利用する標準のＩｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ方法を使用して、３Ｄ参照マップ内部の現行のスキャナーデータを登録することにより、スキャナー姿勢を追跡する工程、
（ｄ）現行のスキャナーデータにおける各スキャンポイントと３Ｄ参照マップにおける最も近いポイントとの距離を計算する工程であって、ここで、変化の分析が、この距離に閾値を適用することにより実行される（それにより、閾値よりも遠くにある参照モデルにおいて対応する近傍を持つ現行のスキャナーデータにおける各ポイントは、変化と考慮される）、工程、及び
（ｅ）リアルタイムユーザーインターフェース上で３Ｄ参照マップ及び現行の（３Ｄ）スキャナーデータに関する情報を表示する工程であって、前記情報は好ましくは、情報の変化あり／変化無しといった分類に従い色分けされる、工程。
【００２５】  好ましくは、工程（ｂ）は、工程（ａ）のスキャナーデータに基づいたスキャナーの可能な場所のセットの識別を含み、工程（ｂ）は以下のサブ工程を更に含む：
（ｂ１）最後のスキャナーデータに基づいて、関連する記述子ｑを計算して、候補の場所
【００２６】
【数９】
2018522345.tif 000011
のセットを再生する工程であって、候補の場所はｑと同様の記述子を有しており、即ち、記述子空間の距離は閾値半径ｒよりも小さく、候補の場所
【００２７】
【数１０】
2018522345.tif 000012
のセットは、記述子空間に閾値半径を与えられたＴ上で放射状捜索を行なうことにより回復され得、範囲の値を水平に推移させることにより追加の入力記述子を計算することによって候補の場所を増大させ、各記述子は、そのローカル軸上を回転され且つその後に候補の場所の結果として生じるセットそれぞれに従って回転する場合に、スキャナーが生成する読み取り値に対応する、工程、
（ｂ２）重み
【００２８】
【数１１】
2018522345.tif 000013
を各潜在的な場所
【００２９】
【数１２】
2018522345.tif 000014
に関連付ける工程であって：
【００３０】
【数１３】
2018522345.tif 000015
ここで、ｄｐは、Ｔから検索された場所
【００３１】
【数１４】
2018522345.tif 000016
に関連付けられる記述子であり、
【００３２】
【数１５】
2018522345.tif 000017
は、完全に一致する記述子に関しては１であり、サーチスフィアの境界上での記述子に関しては０である、工程、及び
（ｂ３）ｗにおいて重みを集め、ｍａｘ  ｗ＝１を持つようにこれらの重みを標準化する工程。
【００３３】  都合の良いことに、工程（ｂ）は以下のサブ工程を更に含む：
（ｂ４）（上記第１の態様の方法の工程（ｃ）（ｉ）に記載されるようなオドメーターモジュールを使用して）動作を推定することにより、及び、新たな姿勢でのクエリ結果に基づいて初期の候補それぞれについて重みを再評価することにより、センサーが移動する間の候補の場所のセットを更新する工程、及び
（ｂ５）候補の姿勢が１つの場所に集中するまで（即ち、方法が現行の姿勢の曖昧さを無くすことができるまで）、更新のサブ工程を反復する工程。
【００３４】  特に地動に関して、これによりレーザーレンジスキャナーは、フロアを通過する人（例えばバックパックを持つ）又は自動車に取り付けられ、前記方法は以下の工程を含み得る：
（ｉ）３Ｄ参照マップにおいてフロアの範囲を識別する工程であって、フロアの抽出は、環境（３Ｄ参照マップ）Ｖのスパースボクセル表示上で行なわれ、スパースボクセル表示の個々の完全なセルｖ（ｉ）は、候補のフロアのセル
【００３５】
【数１６】
2018522345.tif 000018
を表すボクセルのサブセットを抽出することにより、それらの関連する法線の垂直成分が優性である、即ち、
【００３６】
【数１７】
2018522345.tif 000019
であることを確認することにより、その重心
【００３７】
【数１８】
2018522345.tif 000020
の周囲のポイントによりローカルに定義された表面に対する法線ベクトルを含んでおり、ここでεは典型的に０．５〜１の値である、工程、
（ｉｉ）セルの到達可能性を判定する工程であって、到達可能なセル
【００３８】
【数１９】
2018522345.tif 000021
を仮定して、下記条件が満たされる場合に、周囲のセル
【００３９】
【数２０】
2018522345.tif 000022
は全て到達可能であると考慮され：
【００４０】
【数２１】
2018522345.tif 000023
ここで、（６）における
【００４１】
【数２２】
2018522345.tif 000024
は、最大の工程距離（例えば、歩行動作について０．５メートル、又は車の動作についてＶｃｅｌｌＳｉｚｅ）を表し、（７）におけるθ１は最大の垂直工程サイズを表し、（８）における
【００４２】
【数２３】
2018522345.tif 000025
は、フロアのセルｇｉ上に集中する、オブザーバーの単純化された体積を表わす、工程。
【００４３】  本発明の文脈において使用可能なマップ構造は好ましくは、特異的なボクセルサイズで構築される、保存且つ同期される要素の２つの異なるリスト、圧縮された平面のリストＬと密なボクセルのグリッドＶを含み、各平面
【００４４】
【数２４】
2018522345.tif 000026
は、世界座標における位置ｐｉ、及び単位法線
【００４５】
【数２５】
2018522345.tif 000027
を保存し；ここで、ボクセル
【００４６】
【数２６】
2018522345.tif 000028
はそれぞれ、完全、空、又は付近にあり得るの、何れかである現行の状態を保存し、完全なボクセルは、その関連する位置が該当する平面
【００４７】
【数２７】
2018522345.tif 000029
へとインデックスを保存し、空のセルはヌルの参照を保存し、及び付近のセルは、その関連する位置のボクセル中心までの距離が最短である平面
【００４８】
【数２８】
2018522345.tif 000030
へとインデックスを保存し；好ましくは付近のボクセルは、距離ｄｖが与えられた閾値ｄｍａｘ下にある場合のみ考慮され、さもなくばボクセルは空であると考慮される。
【００４９】  大域的なシステムのロバスト性を改善するために、（例えば、上記第１の態様の方法の工程（ｃ）（ｉ）に記載されるようなオドメーターモジュールを使用して）スキャナー追跡をオドメーターに組み合わせることが考慮され、それにより、姿勢が推定された後、世界座標におけるその関連するポイントは、ｋｄ木に保存され（故にオドメーターマップを作成する）、レーザーレンジスキャナーから新しい獲得物（獲得されたポイントクラウド）が提供されると（即ち、登録アルゴリズムがポイントのセットを作成する時）
【００５０】
【数２９】
2018522345.tif 000031
、これは、３Ｄ参照マップ
【００５１】
【数３０】
2018522345.tif 000032
と、以前に固定されたポイントクラウド（オドメーターマップ）
【００５２】
【数３１】
2018522345.tif 000033
の両方において最隣接を求め、ここで、コレスポンデンスは次のように定義され：
【００５３】
【数３２】
2018522345.tif 000034
ここで、Ｓはボクセルのセルサイズに一致し、ボクセル化されたグラウンドトゥルースマップと以前に固定されたクラウドの非離散ｋｄ木との間の異なる解像度を補う。
【００５４】  第３の態様において、本発明は、本明細書に記載される方法の１つ以上を実施する、特にＧＰＳが繋がらない環境におけるリアルタイムのマッピング、位置確認、及び変化の変更分析のためのモバイルレーザースキャニング装置を提案する。特に、本発明は、ＧＰＳが繋がらない環境におけるリアルタイムのマッピング、位置確認、及び変化の分析のためのモバイルレーザースキャニング装置に関するものであり、該モバイルレーザースキャニング装置は、リアルタイムレーザーレンジスキャナー、処理ユニット、電源ユニット、及び携帯型視覚化及び制御ユニットを含んでおり、ここで、リアルタイムレーザーレンジスキャナーは、スキャナーデータを提供するために、１秒につき少なくとも５つのフレーム、好ましくは少なくとも１０のフレームの速度で環境を獲得することができ、処理ユニットは、前記スキャナーデータを分析し、３Ｄマップ／モデル、位置確認、及び変化の情報を含む処理結果を、携帯型視覚化及び制御ユニットに提供するように配置され、携帯型視覚化及び制御ユニットは、前記処理結果を表示し、ユーザーがモバイルレーザースキャニング装置を制御することを可能にするように配置される。
【００５５】  本発明に係る装置は故に、環境の３Ｄマッピング／モデル化、（生成されたマップ又は既存のマップ／モデルに関する）ユーザーの正確な位置確認、以前に獲得したモデルに関する変化の検出を提供する、オンラインでリアルタイムの処理を行うことが可能であり、環境照明及びＧＰＳ信号から独立させるレーザー信号に完全に依存する。更に、これはＧＰＳ又は慣性センサーなどの追加のセンサーを必要としない。それにもかかわらず、本発明は、有用であると考えられる場合に、更なるセンサーの追加を除外しない。故に、随意のセンサーが加えられることで、生成されたモデル（例えば、カラーカメラ）が強化される（ｅｎｒｉｃｈ）場合もある。更に、装置はユーザーにオンライン且つリアルタイムの結果を提供することができるが、獲得データを使用して、それを例えば、将来の位置確認及び変化の分析のための獲得された３Ｄモデルの改良のためにオフラインで更に処理することが、更に予測される。
【００５６】  本発明に係る装置は、例えば３Ｄ（屋内）マッピング／モデル化、施設管理、正確でリアルタイムの屋内の位置確認及びナビゲーション、設計情報の検証、変化の分析（例えば、保障措置検査のため）、経過の監視（例えば土木のため）、災害管理及び応答など、多数の用途に使用され、且つそれらに有用な場合もある。
【００５７】  モバイルレーザースキャニング装置において、視覚化及び制御ユニットは、好ましくはタッチスクリーンコンピューター、より好ましくはタブレットコンピューターである。
【００５８】  モバイルレーザースキャニング装置は、最も好ましくはバックパック又は車両搭載装置である。
【００５９】  第４の態様において、本発明は、３Ｄの屋外及び屋内、好ましくは屋内マッピング／モデル化；施設管理；正確且つリアルタイムの屋内の位置確認及びナビゲーション；障害者又は高齢者への補助；設計情報の検証；保障措置検査のためなどの変化の分析；土木のためなどの経過の監視；又は災害管理及び応答のための、本明細書に記載されるような方法又はモバイルレーザースキャニング装置の使用を提唱する。
【００６０】  第５の態様は、プログラマブルデバイス、好ましくは本発明のモバイルレーザースキャニング装置又はその処理ユニットに、本発明の方法の１つ以上を実行させるための、コンピューター実行可能命令を有しているコンピュータープログラム製品に関する。
【００６１】  最後の態様において、本発明は、プログラムされたプロセッサにより実行可能な命令を表わすデータを中に保存しているコンピューター可読媒体にも関連しており、該コンピューター可読媒体は、プログラマブルデバイス、好ましくは本発明のモバイルレーザースキャニング装置又はその処理ユニットに、本発明の方法の１つを実行させるための命令を含んでいる。
【００６２】  上述の態様、更には変形、代案、及び特徴の組み合わせの更なる詳細、同様にそれらの利点は、以下により詳細に記載されることとなる。
【図面の簡単な説明】
【００６３】  本発明の好ましい態様および実施形態が、添付の図面に関連して、例として、ここで記載される。
【図１】図１は、モバイルレーザースキャニングプラットフォーム（ＭＬＳＰシステム、または単にＭＬＳＰ）と呼ばれる、本発明によるモバイルレーザースキャニング装置の好ましい実施形態のハードウェアコンポーネントを示し、これは、３Ｄレーザースキャナ（１）、リュックサック（２）、処理装置（３）（リュックサック内に含まれ、例証のみで別に示される）およびタブレット（４）を含む。
【図２】図２は、リアルタイムでユーザーに提供されるユーザーインターフェースのスナップショット（白黒であるが元来カラーのスナップショット）を示す。これは、２つの時点でスキャンされたトンネル環境を示す。実際のカラー表示では、緑色は取得間の変化がないことを示し、赤色は２つの取得間の新しい構造を示す。
【図３】図３は、Ｋｉｔｔｉデータセットのサンプル追跡に対するループが閉じたものの効果を示す。軌道は、推測されたオンラインおよび大域的に最適化された軌道として示される。（実際の）マップは、２つのマップ（局所的なマップである青紫色の領域など）に対する異なるスキームを有する時点の法線ベクトルに従って着色されている。
【図４ａ】図４ａは、局所的なマップ（典型的に１Ｍ未満の特徴を含む）および大域的なマップ（典型的に１Ｍを超える特徴を含む）の両方に対するポイント選択時間を示し、また、異なる探索半径に対する局所的なマップポイント選択時間を示す。
【図４ｂ】図４ｂは、局所的なマップ（典型的に１Ｍ未満の特徴を含む）および大域的なマップ（典型的に１Ｍを超える特徴を含む）の両方に対するポイント選択時間を示し、また、異なる探索半径に対する大域的なマップポイント選択時間を示す。
【図５】図５は、提案されたマップ表示の好ましい実施形態を示す。充填セルは濃い灰色のボックスとして表示される。近傍セルは、それらの重心と関連する最近傍とをつなぐ線を有する薄い灰色のボックスとして表わされる。空セルは白色のボックスとして表示される。
【図６】図６は、対称環境および非対称環境のための回転ヒストグラム（Ｒｏｔａｔｉｏｎ  ｈｉｓｔｏｇｒａｍｓ）を示す。
【図７】図７はインライヤー選択を示す。軸は、検出された変換の主な優位な次元に対応している。各ポイントは、反復に従って灰色にされた候補変換を表わし、そこでアウトライヤー（中心から遠過ぎる幾つかのアウトライヤー変換は省略された）としてそれらがマークされた。中央の楕円における濃い灰色のポイントは、インライヤーとしてマークされた変換を表わす。該楕円は、具体的な続く繰り返しでの正常な予測値を表わす。
【図８】図８は、フロア抽出アルゴリズムの結果を示す。黒色の点は、獲得間のスキャナ位置を表わす。これらの場所は、初期のアクティブセルのセットを自動的に選択するために使用されてきた。
【図９】図９は、探索空間の縮小のための経験的パラメーター選択を示す。（左）幾つかのウォークスルーの間に観察されたフロアに対する平均高さに関するセンサーの偏差。（右）幾つかのウォークスルーの間に観察された垂直軸（Ｚ）に関するセンサーの偏差。
【図１０】図１０は、場所認識（分類による追跡）のみを使用するドリフト解析を示し、ここで分類子は、複数の環境に関連するデータを含む。そのような実験に対するグラウンドトゥルースは、採用された誤差基準の記述に関する正しいビルにおける初期化された追跡モジュールによって生成された最終的な軌道と考えられる。
【図１１ａ】図１１ａは、図１０に示されるドリフト解析をもたらすために使用されるサンプルパスを示す。破線は、完全なシステムを使用して予測されたグラウンドトゥルースパスを示す。実線は、分類による追跡を使用して予測されたパスを示す。黒色の円は、ユーザーが具体的なビルにおいて一意に特定されたフレームを示す。
【図１１ｂ】図１１ｂは、図１０に示されるドリフト解析をもたらすために使用されるサンプルパスを示す。  破線は、完全なシステムを使用して予測されたグラウンドトゥルースパスを示す。  実線は、分類による追跡を使用して予測されたパスを示す。黒色の円は、ユーザーが具体的なビルにおいて一意に特定されたフレームを示す。
【図１２】図１２は、提案されたインライヤー選択アルゴリズムの結果を示す。
【図１３】図１３は、ビル内部のサンプルのウォークスルーの間のオドメーターの統合の結果を示し、ここでセンサーは、その位置を見失うことなく、マッピングされていない空間（（右）に例証された、Ａ）に移動し、その後、ビルの外側の２つのループ（ＣおよびＤ）を実行する。
【図１４】図１４は、アウトライヤーのない環境（上）およびアウトライヤーを有する環境（下）における、標準のＩＣＰ（破線）と提案された強固な実装（実線）との間の追跡精度の比較を示す。
【図１５】図１５は、リュックサックを取り付けたセットアップのための追跡の間のシステム全体のパフォーマンスを示す。灰色の実線は、（数秒での）各フレームの処理に消費された時間である。横の破線は、Ｖｅｌｏｄｙｎｅ  ＨＤＬ−３２Ｅセンサー（１２Ｈｚ）を使用したリアルタイムの結果に関する最大の実行時間を示す。
【００６４】  本発明のさらなる詳細および利点が、添付の図面を参照して幾つかの限定しない態様および実施形態の以下の詳細な説明から明らかとなる。実際に、以下の詳細な説明は、本発明の範囲を限定するように解釈されるべきではなく、むしろ、通常の明細書、請求項および図面に提示された特定の態様を例証するように解釈されるべきである。
【発明を実施するための形態】
【００６５】＜好ましい実施形態の説明＞
既に前に言及したように、本明細書に記載されるような本発明の好ましい実施形態の主な利点の１つは、リアルタイムの変化解析を提供するおよびＧＰＳが繋がらない（例えば屋内）環境においてモニタリングする概念に存在する。ユーザーは、施設を歩き回りながら、携帯用デバイス上で施設を検査し、その変化を観察することができる。好ましい基礎的な方法論およびアルゴリズムが以下に要約され、その後さらに詳述される。
【００６６】  以前から知られていない（スキャンされていない）場所のための基本的なワークフローは、原則としては以下の２工程を必要とする：（Ａ）Ｔ０での３Ｄ参照モデルの構築、および（Ｂ）Ｔ１での３Ｄ参照モデルに基づく、位置確認、追跡および変化解析。そのような場所を再訪するときに、または適切なマップが既に存在する場合に、工程（Ｂ）は十分なものとなる。
【００６７】（Ａ）３Ｄ参照マップの構造
３Ｄ参照マップは、以下に記載されるようなモバイルレーザーレンジスキャナに基づいて３Ｄ  ＳＬＡＭ（同時の位置確認及びマッピング）の実装を使用して構築される。主な特徴は、好ましくは以下の通りである：
１）一定時間でのランダムサンプルのアクセスを可能にする効率的なマップ表示、高速最近傍探索、広範囲にわたるスケーラビリティ（以下のセクションＡ．２．を参照）。
２）ＳＬＡＭフレームワークは以下を含む（以下のセクションＡ．３．を参照）：
ａ）局所的なマップ表示への最後のクラウドの登録に基づいて現在の姿勢を推測するオドメーター。
ｂ）作成されたマップにおいてドリフトを最小限にするために１セットのクラウドの軌道を精密化する局所的な軌道最適化。
ｃ）ループが閉じたものを利用する環境の全マップを復元することを可能にする大域的な軌道最適化。
【００６８】  オドメーターは典型的にリアルタイムで実行される。マップ最適化は、後処理工程において実行することができる。
【００６９】（Ｂ）３Ｄ参照モデルに基づいた位置確認、追跡および変化解析
リアルタイムの位置確認、追跡および変化解析は、一般に、上に記載されるように以前に作成された、環境の既存の３Ｄ参照マップを必要とする。主な構成要素は好ましくは以下である：
１）場所認識の間に、システムは、センサー姿勢についての事前知識なしで既知の環境の内部の現在の場所を特定する。それは、リアルタイムでセンサーを自己位置同定するために、場面の簡易且つ圧縮された記述子を予め計算し、探索空間を縮小する（以下のセクションＢ．２．を参照）。
２）センサーが既知の環境においてローカライズされると、システムは、標準のＩｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ（ＩＣＰ）方法を使用して３Ｄ参照マップの内部に現在の観察（３Ｄスキャン）を登録することによってセンサー姿勢の追跡を開始する。リアルタイムでセンサー姿勢を正確に追跡するために、システムは、多くの改善を実行する、例えば、高速最近傍探索用に特別に設計されたデータ構造を利用する（以下のセクションＢ．３．を参照）。
３）データ構造における最近傍情報を考慮すると、ＭＬＳＰは、現在の観察における各スキャンポイントと３Ｄ参照モデルにおける最も近いポイントとの間の距離を効率的に計算することができる。変化解析は、純閾値をこの距離に単適用することによって実行される、例えば、参照モデルにおいて対応する近傍を有していない（または参照モデルにおいて対応する近傍を有しているが、閾値からさらに離れている）現在のスキャンにおける各ポイントが、変化であると考えられる。リアルタイムのユーザーインターフェースは、３Ｄ参照モデル、および変化有り／変化なしの分類に従った色分けされる現在の観察を示す。
【００７０】Ａ．３Ｄ参照マップの構築
外受容センサー（ｅｘｔｅｒｏｃｅｐｔｉｖｅ  ｓｅｎｓｏｒｓ）を使用する正確な３Ｄマッピングおよび６ＤＯＦ軌跡の推定が、多くの分野における重要な問題である。リアルタイムで移動するレーザーセンサーが、それらの正確な深さ測定、高いフレームレートおよび広い視野により人気を得た。
【００７１】  １つの好ましい態様では、本発明は、スキャン中に移動するシナリオ（ｓｃａｎｎｉｎｇ−ｗｈｉｌｅ−ｍｏｖｉｎｇ  ｓｃｅｎａｒｉｏ）において取得プロセスを適切にモデル化する、同時の位置確認及びマッピング（ＳＬＡＭ）に対する最適化の方法またはフレームワークを提案する。各測定は、
【００７２】
【数３３】
2018522345.tif 000035
における個別のセットの制御姿勢の線形補間として定義される連続時間軌道を考慮に入れることによって、マップ参照フレームに正確に再投影される。本発明はまた、ハイブリッドスパースボクセル化表示を利用する特に効率的なデータ構造を提案し、これは大規模なマップ管理を可能にする。このおかげで、本発明者は、軌道上の大域的な最適化を実行し、ループが実行されるときに蓄積されたドリフトをリセットすることもできた。
【００７３】  本発明者は、そのようなフレームワークが、最適化工程に含めることなく歪み効果を補うソリューションに関して位置確認及びマッピングを改善することを実験的に示した。さらに、本発明者は、提案されたデータ構造が、リアルタイムのＳＬＡＭを実行するためにマップサイズに関して線形または一定の演算時間を提供し、非常に大規模なマップに対処することを示している。
【００７４】Ａ．１．導入
３Ｄマップの作成および軌道の予測は、ロボット工学、自律誘導および監視における種々様々の適用のための基本的な構成要素である。同時の位置確認及びマッピング（ＳＬＡＭ）技術は、未知環境のマップを一緒に構築し、その環境でセンサーをローカライズする。標準のカメラ、深度カメラおよびレーザースキャナのためのＳＬＡＭの構成が提案されている。レーザースキャナに基づくほとんどのＳＬＡＭシステムは、スキャンのアラインメントを実行するために、様々なＩｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ（ＩＣＰ）アルゴリズムを使用する。リアルタイムの適用に焦点を置いたＩＣＰアルゴリズムのレビューは、３ＤＩＭ，２００１におけるＳ．Ｒｕｓｉｎｋｉｅｗｉｃｚ  ａｎｄ  Ｍ．Ｌｅｖｏｙ，”Ｅｆｆｉｃｉｅｎｔ  ｖａｒｉａｎｔｓ  ｏｆ  ｔｈｅ  ＩＣＰ  ａｌｇｏｒｉｔｈｍ，”において見られ得る。Ｖｅｌｏｄｙｎｅスキャナなどの、３Ｄ  ＬＩＤＡＲセンサーが、最近人気を得ており、これらのデバイスは、高データレートを有し、しばしば完全な３６０°の水平フィールドを提供し、距離測量の優れた精度を有している。
【００７５】  そのようなセンサー（スキャナ）は、移動しながら測定値を取得し、いたがって、軌道パスに沿って獲得したフレームを歪める（ｗａｒｐ）非中心射影のシステムを表わしている。そのような作成されたポイントクラウドのアラインメントは、３Ｄポイントに対するワーピング効果の適切な処理を必要とする。ＩＶＳ，２０１１におけるＦ．Ｍｏｏｓｍａｎｎ  ａｎｄ  Ｃ．Ｓｔｉｌｌｅｒ，”Ｖｅｌｏｄｙｎｅ  ＳＬＡＭ，”において提案された、ＳＬＡＭフレームワークは、センサーの現在の速度を考慮して各クラウドをアンワープし（ｕｎｗａｒｐｓ）、ＩＣＰを実行し、および新しい推定速度で再びポイントをアンワープする。ＬＯＡＭアルゴリズム（ＲＳＳ，２０１４におけるＪ．Ｚｈａｎｇ  ａｎｄ  Ｓ．Ｓｉｎｇｈ，”ＬＯＡＭ：Ｌｉｄａｒ  ｏｄｏｍｅｔｒｙ  ａｎｄ  ｍａｐｐｉｎｇ  ｉｎ  ｒｅａｌ−ｔｉｍｅ，”）は、各クラウドにおけるワーピング効果を除去するために、エッジおよび平面特徴に焦点を置くことによって、運動の継続的な予測を実行する。完全なフレームが生成するとき、それは、予測された最終的な姿勢を使用して、最終的なポイントクラウドをアンワープする。Ｃ．Ｈ．Ｔｏｎｇ，Ｓ．Ａｎｄｅｒｓｏｎ，Ｈ．Ｄｏｎｇ，ａｎｄ  Ｔ．Ｄ．Ｂａｒｆｏｏｔ，”Ｐｏｓｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｆｏｒ  ｌａｓｅｒ−ｂａｓｅｄ  ｖｉｓｕａｌ  ｏｄｏｍｅｔｒｙ，”Ｊｏｕｒｎａｌ  ｏｆ  Ｆｉｅｌｄ  Ｒｏｂｏｔｉｃｓ，ｖｏｌ．３１，ｐｐ．７３１−７５７，２０１４の研究は、取得反射画像における一致した特徴に依存する連続時間のガウシャンプロセスモデル（Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓ  Ｍｏｄｅｌ）（ＧＰＧＮ）を利用する補間を実行する。
【００７６】  本発明の好ましい態様では、最後に登録されたセットにまで構築されたマップに関して１セットの姿勢およびそれらの関連するポイントクラウドによって構成された軌道フラグメントを最適化するローカルウィンドウ機構を使用することが提案されている。
ポイントは、
【００７７】
【数３４】
2018522345.tif 000036
のグループにおいて姿勢補間を使用して、ワールド座標に変換され、すべてのポイントをマップへと好適に位置合わせする軌道を発見するために、ＩＣＰの一般化が使用される。この構成では、アンワープする操作は、最適化戦略の一部である。
【００７８】  ＳＬＡＭシステムのための重要な態様は、大きな環境に対するそれらのスケーラビリティおよび最適化ルーチンを支持するマップのリアルタイム管理である。一般に、一般的な八分木などのスパース構造、ボリューム周期的指標付け（ｖｏｌｕｍｅ  ｃｙｃｌｉｃａｌ  ｉｎｄｅｘｉｎｇ）を使用する密なボクセルマップ、またはボクセルヘイズ（ｖｏｘｅｌ  ｈａｚｉｎｇ）に基づいたスパース表示を使用して、スケーラビリティが達成される。一態様では、本発明は、３Ｄポイントをネイティブに処理する、および特徴の圧縮された密なリストに指標付けするために使用される、スパースボクセル化構造によって構成されたハイブリッド構造に基づく、データ構造に焦点を置いている。これは、マップサイズとは無関係のボクセル座標における一定時間のラングムアクセスおよびを調査された空間上にスケーラビリティを有するデータの効果的な保存を可能にする。本明細書で提案された構造は、大域的なマップ全体をメモリに維持することができ、グラフ最適化が利用される場合に局所的なセクションを更新する（例えば、ループが閉じたものを実行する）。
【００７９】  本発明の幾つかの実施形態の主な寄与は、（ｉ）推定プロセスにおいてアンワープすることを組み込む一般化ＩＣＰアルゴリズムの使用、（ｉｉ）高速空間クエリおよび大きな環境管理の両方を可能にするマップ管理のための効率的な構造の使用である。本発明者は、公に利用可能なデータセットおよび追加の取得した屋内／屋外の環境を使用して、それらの手段を確証した。
【００８０】  セクションＡ．２．は以下に、マップ管理のためのデータ構造およびその利用可能な操作を示し；セクションＡ．３．は、最適化フレームワークを示し；セクションＡ．４．は、この方法で得られたショー実験結果を示し、およびセクション、Ａ．５．は、幾つかの結論を導き出す。
【００８１】Ａ．２．マップ表示
リアルタイムのＳＬＡＭ適用に適したデータ構造は、（ｉ）保存された特徴への（平均での）一定時間におけるランダムサンプルアクセス、（ｉｉ）保存された要素の数に関する線形時間における網羅的な特徴反復、および（ｉｉｉ）クエリ特徴を考慮した高速最近傍探索を提供するはずである。さらに、それは、（ｉｖ）調査された空間上のスケーラビリティを提供するはずであり、および（ｖ）特徴の追加および除去を効率的に支持するはずである。
【００８２】  性質（ｉ）は、一般に密なボクセル表示に関連付けられ、ここでスケーラビリティに対するメモリ要件（ｉｖ）は、大きな欠点および網羅的な調査（ｉｉ）が遅いことである。性質（ｉｉ）は、逆に、スパース構造に関連付けられ、ここでメモリ要件（ｉｖ）は非常に緩いが、ラングムアクセス時間（ｉ）が遅い（ｋｄ木の場合には対数）。必要とされる特性をすべて保持しながら密およびスパースな構造の両方の内在的利益を引き出すために、提案された好ましいマップ構造は、保存されたデータの５つの異なる表示を維持する。内部データ表示間の一致が、各マップの更新後に認められるべきである。
（ｉ）特徴の圧縮された密なリスト、Ｌおよび最後の要素に対する指標、Ｌｌａｓｔ、ここで各要素、ｌｉ∈Ｌは、マップ（位置、正常および追加情報）における特徴に関連付けられた情報をすべて含む。
（ｉｉ）圧縮された密な有効度マスク、Ｍ、ここで各要素、ｍｉ∈Ｍは、その対応するサンプル、ｌｉ∈Ｌが有効であるか否かを示すブール値であり、これはｍｉ＝０，１＞Ｌｌａｓｔであることを確かなものとしている。
（ｉｉｉ）穴のリスト、Ｈ、ここで各要素、ｈｉ∈Ｈ＜Ｌｌａｓｔは、
【００８３】
【数３５】
2018522345.tif 000037
が有効ではなく、そのため、
【００８４】
【数３６】
2018522345.tif 000038
であることを示す。
（ｉＶ）各セル、ｖｉ∈Ｖに保存する、パラメーターで表記可能なセル寸法で構築された、スパースボクセル表示Ｖ、Ｌにおけるその対応する特徴の指標。Ｌにおける特徴およびＶにおけるセルは、ｌｉの位置およびＶのセル寸法に基づいて、１対１の方法で関連する。本発明のスパースボクセル表示は、ＯｐｅｎＶＤＢ構造に基づいている（Ｋ．Ｍｕｓｅｔｈ，”Ｖｄｂ：Ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ  ｓｐａｒｓｅ  ｖｏｌｕｍｅｓ  ｗｉｔｈ  ｄｙｎａｍｉｃ  ｔｏｐｏｌｏｇｙ，”ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｇｒａｐｈｉｃｓ，ｖｏｌ．３２，ｎｏ．３，２０１３）。
（Ｖ）マップ上で最近傍探索を実行するために使用されるｋｄ木、Ｋ。Ｋは、稠密リストＬへの参照を保存して、そのメモリフットプリントを低く維持するだけである。必要に応じて（例えば、最後の観察場所まわりの領域に従って）、ｋｄ木はマップの局所的な領域に構築され得る。
【００８５】  特徴の稠密リストを有していることによって、全マップを網羅的に調査する時間は、含まれる要素の数が線形である。一方、ＯｐｅｎＶＤＢのスパースボクセル構造およびキャッシングシステムを利用することによって、恣意的クエリが（平均での）一定のラングムアクセス時間で解決される。
【００８６】  新しい特徴ｐがマップに加えられることを考慮して、提案されたデータ構造が以下の通りに修正される：特徴の世界位置、ｐＷを考慮し、その対応するボクセルセル、ｖｉを計算する。セルが既に満たされている場合
【００８７】
【数３７】
2018522345.tif 000039
、その関連情報は、
【００８８】
【数３８】
2018522345.tif 000040
から取得され、その値は必要に応じて更新される。そうでなければ、（ｖｉ＜０）新しい特徴が構造に加えられる。それを行うために、Ｌにおける挿入位置、ｊは、以下の通りに計算され：
【００８９】
【数３９】
2018522345.tif 000041
その後、内部値が以下通りに更新される：
【００９０】
【数４０】
2018522345.tif 000042
【００９１】  このように、穴のセットが要素を含む一方で、特徴の追加は稠密な表示におけるギャップを満たす。穴が残ってないとき、特徴がリストの終わりに加えられる。
【００９２】  マップの特徴が削除されなければならない場合、その対応するボクセルセル、ｖｉは、前と同じ方法で計算される。ｖｉに保存された値は、稠密リスト、
【００９３】
【数４１】
2018522345.tif 000043
における特徴位置を示し、値は以下の通りに更新される：
【００９４】
【数４２】
2018522345.tif 000044
【００９５】  このように、特徴の削除は、Ｌｌａｓｔの値を更新することなく、稠密リストに新しい穴を生成する。ＭおよびＨが操作中に正確に更新されるため、内部データ表示はまだ一貫しているが、あまりにも多くの穴の存在が、パフォーマンスの減少につながりかねない。
【００９６】  この問題に対処するために、本発明者は、特に好ましい実施形態において、ＬおよびＭ両方のベクトルにおいてスワップを実行することによって穴にリストにおける最後の要素を投入する圧縮された操作を導入すること提案している。Ｖにおいて影響を受けた値は、その後、新しい位置に従って更新され、Ｌｌａｓｔは、短縮されたリストの新しい最後の要素に移動される。この操作のコストは、穴の数に関して線形であり、そのため、
【００９７】
【数４３】
2018522345.tif 000045
の場合、それは何もしない。
【００９８】  最終的に、最近傍検索のための高速機構を提供するために、中立点および半径によって表わされた対象の領域を考慮して、内部特徴が、Ｌに保存された要素上をループすることによって選択され得（マップにおけるサンプルの数に対する線形コスト）、ｋｄ木Ｋが再構築される。Ｋにおける要素は、Ｌにおける関連する特徴への参照を保存するだけであり、したがって、Ｋのメモリ空間は、小さく（対象の領域に存在する特徴の数が線形）および平均で一定に維持たれる。同じ操作が、ボクセル構造にアクセスすることによって全リストにわたって反復せずに実行することができる。本発明者は、実験のセクションにおいてこれらの２つの機構間の差を調査している。
【００９９】  木は、作成されると、新しい特徴が加えられた（Ｌにおける既存の要素が変更されなかった）としても、または既存の特徴が削除された（Ｌにおける要素が、穴としてマークされたが、それらの値が交換されなかった）としても有効なままとなるが、両方の操作が実行された（Ｌにおいて除去された要素が上書きされた）場合は別である。
【０１００】  提案された操作を効率的に実行するために、新しいｋｄ木が必要とされるまで、好ましくはクラウドの追加は延期される。これが生じるとき、対象の領域の外側のマップにおける既存の特徴は削除されて、新しい穴が作成される。その後、延期されたクラウドが、対象領域の内部にある特徴を単に加えることによって加えられる。このように、以前に作成された穴は、一定時間で新しいサンプルで充填される。すべての追加後、まだ穴がある（加えられるよりも、より多くの特徴が削除された）場合、穴の残数に関する線形コストで、圧縮された操作が実行され得る。最終的に、Ｋは、Ｌの要素を使用して再構築され、新しいものが必要とされるまで使用され得る。
【０１０１】Ａ．３．ＳＬＡＭフレームワーク
本発明の好ましい最適化フレームワークは、以下の連続する２つのモジュールによって構成される：マップを考慮して各クラウドの姿勢を予測するオドメーターおよび１セットのクラウドの軌道を精密化する局所的な軌道オプティマイザー。両方のモジュールが、本明細書に記載されるようにマップデータ構造を利用して、成長しているマップを処理する。
【０１０２】  マップＭに保存された特徴はそれぞれ、ポイント世界位置ｐＷ、その正常な単位ベクトルｎＷおよび追加情報（例えば反射率）によって構成される。後者は、登録工程には使用されない。このフレームワークはまた、ループが閉じたものを利用する環境の全マップを復元することを可能にする大域的な軌道最適化を実行するために拡張され得る。
【０１０３】  そのようなフレームワークの入力は、センサーによってストリーミングされたデータで作成された１セットの３Ｄポイントクラウド｛Ｃｉ｝である（Ｖｅｌｏｄｙｎｅスキャナの場合には、ポイントクラウドは、センサーの完全な回転後に作成される）。各ポイントクラウドＣｉは、１セットのポイントＰ＝｛Ｐｊ｝，ｊ＝１・・・Ｎｐ、１セットの相対的なタイムスタンプＴ＝｛ｔｊ｝および１セットの正常な単位ベクトルＮ＝｛ｎｊ｝によって構成される。相対的なタイムスタンプは、生成された最初のポイントがタイムスタンプ０を有し、最後のポイントが１を有するように割り当てられる。正常な単位ベクトルは、ＩＣＲＡ、２０１１年、ポイントクラウドの格子構造のボックスフィルタリングの利点を生かして、ＩＣＲＡ，２０１１におけるＨ．Ｂａｄｉｎｏ，Ｄ．Ｈｕｂｅｒ，Ｙ．Ｐａｒｋ，ａｎｄ  Ｔ．Ｋａｎａｄｅ，”Ｆａｓｔ  ａｎｄ  ａｃｃｕｒａｔｅ  ｃｏｍｐｕｔａｔｉｏｎ  ｏｆ  ｓｕｒｆａｃｅ  ｎｏｒｍａｌｓ  ｆｒｏｍ  ｒａｎｇｅ  ｉｍａｇｅｓ，”において提案された制約なしの最小自乗構成で予測され得る。
【０１０４】＜オドメーター＞
最初に、各ポイントクラウドの姿勢を回復させることによって、センサーの軌道の第１の推定値を生成する必要がある。センサーが移動しているため、クラウドの代表的な姿勢として、最後のポイントが受信されたときのセンサー姿勢を考慮に入れる。
【０１０５】  最後に受信したクラウドのポイントのサブセットとマップとの間のポイント−平面ＩＣＰを実行する。ＩＶＳ，２０１１におけるＦ．Ｍｏｏｓｍａｎｎ  ａｎｄ  Ｃ．Ｓｔｉｌｌｅｒ，”Ｖｅｌｏｄｙｎｅ  ＳＬＡＭ，”でのように、選択されたクラウドのポイントは、登録を実行する前に最後に予測された運動を考慮に入れることによってアンワープされる。
【０１０６】  クラウドが登録されることを考慮して、前の２つの登録されたクラウド
【０１０７】
【数４４】
2018522345.tif 000046
の姿勢を使用して予測された最後の相対運動を考慮に入れる：
【０１０８】
【数４５】
2018522345.tif 000047
【０１０９】  ここで、
【０１１０】
【数４６】
2018522345.tif 000048
は、逆マッピング関数ログ（・）を用いて、
【０１１１】
【数４７】
2018522345.tif 000049
の代数で表わされる（Ｈ．Ｓｔｒａｓｄａｔ，”Ｌｏｃａｌ  ａｃｃｕｒａｃｙ  ａｎｄ  ｇｌｏｂａｌ  ｃｏｎｓｉｓｔｅｎｃｙ  ｆｏｒ  ｅｆｆｉｃｉｅｎｔ  ｓｌａｍ．”Ｐｈ．Ｄ．ｄｉｓｓｅｒｔａｔｉｏｎ，Ｉｍｐｅｒｉａｌ  Ｃｏｌｌｅｇｅ  Ｌｏｎｄｏｎ，２０１２）。
【０１１２】  その後、発明者らは、関連する法線
【０１１３】
【数４８】
2018522345.tif 000050
および相対的タイムスタンプ
【０１１４】
【数４９】
2018522345.tif 000051
を用いて、選択された点
【０１１５】
【数５０】
2018522345.tif 000052
のサブセットを考慮する。アンワープは：
【０１１６】
【数５１】
2018522345.tif 000053
【０１１７】
【数５２】
2018522345.tif 000054
【０１１８】
【数５３】
2018522345.tif 000055
を計算することにより、選択された点上で実行され、
【０１１９】  式中、
【０１２０】
【数５４】
2018522345.tif 000056
は、クラウドＣｉの予測された姿勢であり、
【０１２１】
【数５５】
2018522345.tif 000057
および
【０１２２】
【数５６】
2018522345.tif 000058
は、予測されたクラウド姿勢
【０１２３】
【数５７】
2018522345.tif 000059
の局所的座標フレームにおいて選択された点である。
【０１２４】
【数５８】
2018522345.tif 000060
は、グループ
【０１２５】
【数５９】
2018522345.tif 000061
を代数
【０１２６】
【数６０】
2018522345.tif 000062
にマッピングする。
【０１２７】  これらの要素を考慮して、発明者らは、アンワープな点と、法線
【０１２８】
【数６１】
2018522345.tif 000063
および
【０１２９】
【数６２】
2018522345.tif 000064
と、マップＭとの間の点−面ＩＣＰを用いて、姿勢
【０１３０】
【数６３】
2018522345.tif 000065
を評価することにより登録を実行し、最初の推測として
【０１３１】
【数６４】
2018522345.tif 000066
を提供する。
【０１３２】  その関連姿勢
【０１３３】
【数６５】
2018522345.tif 000067
を用いて登録された各クラウドＣｉは、登録されたクラウドＲＣＯＤＯのリストに加えられる：
【０１３４】
【数６６】
2018522345.tif 000068
【０１３５】  局所的軌道オプティマイザー
【０１３６】  このモジュールは、インプットとして、それらの関連姿勢ＲＣＯＤＯを含むクラウドのリストを得て、局所的なウィンドウアプローチの使用により軌道改善を実行する。リスト内の第１の姿勢と最後の姿勢との間の距離が閾値より大きいとき、クラウド姿勢が最適化され、新しいリスト
【０１３７】
【数６７】
2018522345.tif 000069
が、改善された姿勢および入力クラウドにより生産される。このステップが最適化におけるアンワープを適切に統合することに注意すること。
【０１３８】  このステップにおいて最小化された目的関数ｅ（・）は、各クラウドの個別の調整誤差ｅｉ（・）の合計であり、以下の式で示され：
【０１３９】
【数６８】
2018522345.tif 000070
【０１４０】  この式は、クラウドの第１の点および最後の点に関連する姿勢に依存する。シーケンスの第１のクラウドの最初の姿勢である
【０１４１】
【数６９】
2018522345.tif 000071
は、前に最適化されたセットの最後のクラウドの最後の姿勢であると仮定される。ｅｉ（・）は、２つの姿勢間の
【０１４２】
【数７０】
2018522345.tif 000072
における線形補間により定義された、軌道上で一般化される点−面ＩＣＰの全誤差として計算され、以下の式で示され：
【０１４３】
【数７１】
2018522345.tif 000073
【０１４４】
【数７２】
2018522345.tif 000074
【０１４５】
【数７３】
2018522345.tif 000075
【０１４６】式中、
【０１４７】
【数７４】
2018522345.tif 000076
は、登録のために選択された点
【０１４８】
【数７５】
2018522345.tif 000077
に関連する時間ｔｊで補間された世界姿勢を表わす。
【０１４９】
【数７６】
2018522345.tif 000078
を考慮すると、現在の点、ｐＮＮおよびｎＮＮの評価された世界座標は、それぞれマップから取得されたその最も近い点、およびその関連する法線である。
【０１５０】  全目的関数は、収束基準が満たされるか、イテレーションの最大数が達成されるまで、ガウスニュートンステップ、およびマップにおける新しいコレスポンデンスの探索を交互に実施することにより最小化される。
【０１５１】  発明者らは、Ｒ．Ｋｕｅｍｍｅｒｌｅ，Ｇ．Ｇｒｉｓｅｔｔｉ，Ｈ．Ｓｔｒａｓｄａｔ，Ｋ．Ｋｏｎｏｌｉｇｅ，ａｎｄ  Ｗ．Ｂｕｒｇａｒｄ，”ｇ２ｏ：Ａ  ｇｅｎｅｒａｌ  ｆｒａｍｅｗｏｒｋ  ｆｏｒ  ｇｒａｐｈ  ｏｐｔｉｍｉｚａｔｉｏｎ，”ｉｎ  ＩＣＲＡ，２０１１において提案された種々の公式化を使用することを提案し：最適化は、摂動ベクトル
【０１５２】
【数７７】
2018522345.tif 000079
上で実行され、
【０１５３】
【数７８】
2018522345.tif 000080
の姿勢
【０１５４】
【数７９】
2018522345.tif 000081
上で、
【０１５５】
【数８０】
2018522345.tif 000082
代数の要素により構成される。合成演算は
【０１５６】
【数８１】
2018522345.tif 000083
として定義される。目的関数における項のヤコビアンは
【０１５７】
【数８２】
2018522345.tif 000084
として合成基準を適用することにより評価され、
【０１５８】  同様に
【０１５９】
【数８３】
2018522345.tif 000085
にも適用される。方程式１における各項ｅｉ（・）は１組の連続する姿勢を含み、したがって、近似されたヘッセ行列は、疎行列上のコレスキー分解のための法線アルゴリズムにより容易に扱いやすいブロック三重対角行列をもたらす。
【０１６０】  一旦最適化が終了すれば、リストＲＣＲＥＦは最適化された姿勢により更新することができる。その後、クラウドの点および法線の全セットは、方程式３に従って世界座標に変換され、次に、マップＭに加えられる。この段階で、発明者らは、段落Ａ．２に記載された局所的なマップを更新するために、効率的な戦略を利用し：点を加える前に、発明者らは、第１に、最後の軌道姿勢から与えられた半径よりもさらに離されている全ての点をマップから削除し、その後、発明者らはＲＣＲＥＦから変換されたクラウドを加える。一旦マップが更新されれば、新しいｋｄ木が、続く最近傍探索を可能にするために、結果として生じる点に作成される。リストＲＣＯＤＯは消去され、次のクラウド登録のためのオドメーター推測が、ＲＣＲＥＦの最後の２つの姿勢に従って更新される。提案された公式は、移動中に点を得る、リアルセンサーモデルの付随的な仕様を表わし：世界座標における点変換は、各クラウドの最初および最後の姿勢を含む。さらに、各姿勢の評価（第１および最後のものとは別に）は、２つのクラウドに直接影響を受ける。
【０１６１】  大域的軌道オプティマイザー
【０１６２】  提案されたフレームワークは、軌道のオフラインの大域的な最適化を実行するために、拡張することができる。確かに、提案された局所的軌道オプティマイザーには、マップに既に加えられた点（および結果的な姿勢）を改善することができないという制限がある。局所的なスケールで環境を探索するとき、この制限は一般的に許容できるが、非常に大きな環境において移動するとき、ドリフトが蓄積される可能性がある。これらの場合に対して、環閉合または外部絶対測定を活用する大域的最適化技術を考慮しなければならない。
【０１６３】  発明者らは、豊富なマップ仕様を利用する大域的な軌道最適化を提案し：マップにおける各特徴に対して、発明者らは、世界座標（ｐＷとｎＷ）におけるその位置および法線、局所的なセンサー基準座標系における、点ｐＬおよび法線単位ベクトルｎＬの本来の座標、相対的なタイムスタンプｔ、およびそれを考案するクラウドのインデックスＩＤを加える。クラウドインデックスおよび軌道を考慮すると、点および法線の局所的な座標が余分な情報であるということが指摘される可能性があるが、発明者らは、再計算を回避するためにそれらを記憶するほうを好む。
【０１６４】  発明者らは、２のマップＭｌおよびＭｇを使用することも提案し、それらはそれぞれ局所的および大域的なマップである。Ｍｌはオドメーターおよび局所的軌道オプティマイザーモジュールにより使用される。発明者らがＭｌから点を除去する必要があるとき、発明者らは、その代わりに大域的マップにそれらを移動させる。さらに、局所的オプティマイザーの各ステップにおいて、一般化されたＩＣＰ内で使用される選択されたコレスポンデンスは、リスト
【０１６５】
【数８４】
2018522345.tif 000086
に加えられ、式中、その関連する法線
【０１６６】
【数８５】
2018522345.tif 000087
およびタイムスタンプ
【０１６７】
【数８６】
2018522345.tif 000088
と共にクラウド
【０１６８】
【数８７】
2018522345.tif 000089
から得られた各クエリ点
【０１６９】
【数８８】
2018522345.tif 000090
のために、発明者らは、最適化の最後のステップで、使用される最近傍に関連したＭｌデータから、以下のものを検索する：その位置
【０１７０】
【数８９】
2018522345.tif 000091
、法線ベクトル
【０１７１】
【数９０】
2018522345.tif 000092
、クラウドインデックス
【０１７２】
【数９１】
2018522345.tif 000093
、およびタイムスタンプ
【０１７３】
【数９２】
2018522345.tif 000094
。その情報全てがセンサーの局所的な座標内にあることに注意すること。
【０１７４】  発明者らが全クラウドを記憶する必要がなく、記憶するものは各ステップでマップに加えられる点のみであることを考慮すると、マップ内に局所的な情報を有することは、このステップにおいて基本であり、メモリ要求は低いままである。新しいクラウドを追加するとマップの古い点が上書きされる可能性があるため、リストＬｃは、局所的オプティマイザーの各ステップの後に追加されなければならないことに、注意しなければならない。
【０１７５】  同様に、局所的最適化ステップにより改善された姿勢
【０１７６】
【数９３】
2018522345.tif 000095
を積み重ねることにより、クラウドに関連する全ての姿勢のリストを作成する。Ｎｃクラウドを考慮して、姿勢リストがＮｃ＋１の要素を含むことに注意すること。大域的軌道最適化は、
【０１７７】
【数９４】
2018522345.tif 000096
を最小化することにより実行され、式中、
【０１７８】
【数９５】
2018522345.tif 000097
【０１７９】
【数９６】
2018522345.tif 000098
【０１８０】
【数９７】
2018522345.tif 000099
【０１８１】
【数９８】
2018522345.tif 000100
【０１８２】
【数９９】
2018522345.tif 000101
である。
【０１８３】  目的関数は、方程式５において、一般化された点−面ＩＣＰをなお表し、そこでは、クエリおよびモデル点の両方が局所的座標において表現され、それらのクラウドに関連する姿勢および補間タイムスタンプを用いて世界座標へと転換される。
【０１８４】  合計の各項が、わずか３つ（
【０１８５】
【数１００】
2018522345.tif 000102
のとき）または４つの全軌道の姿勢しか含まないため、ガウス・ニュートンにより方程式５を最適化することはなお、まばらに近似されたヘッセ行列を結果としてもたらすが、その行列は、同じクラウドからの２つの点が、異なるクラウドの点に関連する可能性があるため、三重対角なブロックではない。このような理由で、Ｒ．Ｋｕｅｍｍｅｒｌｅ，Ｇ．Ｇｒｉｓｅｔｔｉ，Ｈ．Ｓｔｒａｓｄａｔ，Ｋ．Ｋｏｎｏｌｉｇｅ，ａｎｄ  Ｗ．Ｂｕｒｇａｒｄ，”ｇ２ｏ：Ａ  ｇｅｎｅｒａｌ  ｆｒａｍｅｗｏｒｋ  ｆｏｒ  ｇｒａｐｈ  ｏｐｔｉｍｉｚａｔｉｏｎ，”ｉｎ  ＩＣＲＡ，２０１１．において提案されるように、発明者らは、グラフ最適化アプローチを使用する。
【０１８６】  計算時間を縮小するために、特徴が局所的軌道オプティマイザーにより適切に一致すると仮定し、特徴の関連性を一度も再計算しないということが提案される。一旦最適化が終了すれば、大域的および局所的なマップの両方は、全ての特徴の世界座標を計算することにより更新される。
【０１８７】  この最適化は、全軌道を改善するために、クラウドの完全なシーケンスに適用することができる。さらに、ループ検出が存在するとき、ループを表すコレスポンデンスは、全体の姿勢を改善する軌道を推定することを可能し、正しくループが閉じることを妨げる。
【０１８８】  しかしながら、そのような大域的最適化は、全体の軌道に沿って実施される全ての姿勢および全ての関連性を含むため、実時間計算には適さないことに注意すること。
【０１８９】  しかしながら、適切な情報を保存することにより、現在のデータ構造が、大域的最適化および環閉合のために使用することができるということが示される。大域的軌道改善は、Ｍ．Ｎｉｅβｎｅｒ，Ｍ．Ｚｏｌｌｈｏｆｅｒ，Ｓ．Ｉｚａｄｉ，ａｎｄ  Ｍ．Ｓｔａｍｍｉｎｇｅｒ，“Ｒｅａｌ−ｔｉｍｅ  ３ｄ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ａｔ  ｓｃａｌｅ  ｕｓｉｎｇ  ｖｏｘｅｌ  ｈａｓｈｉｎｇ，”ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ，２０１３において提供されたように、姿勢グラフ最適化ソリューションを用いてより効率的に実行される可能性があるが、メモリ内に大きいマップを維持する能力が、ループが閉じた後にマップを再作成ための主要因である。
【０１９０】  Ａ．４．  実験結果
【０１９１】  発明者らは、Ｖｅｌｏｄｙｎｅ  ＨＤＬ−３２Ｅを使用して得た実際のデータセット上のシステムを試験した。第１のデータセットは、約１０×３５×３メーターの室内環境を探索中に、センサーを携帯するオペレーターにより得られた。同様に、第２のデータセットは、約１６×６５×１０メーターの屋内の工業用建物の中で得られた。第３のデータセットは、各辺の長さが約５００メーターの街区内で４回のループを実行し、通常な交通状況において運転する間に、自動車の屋根の上に取り付けられたセンサーにより得られた。さらに、発明者らは、様々な都市環境および様々な速度において得られた、車に取り付けられたＶｅｌｏｄｙｎｅ  ＨＤＬ−６４Ｅの取得物を提供する、公的に入手可能なＫｉｔｔｉデータセット（Ｈ．Ｓｔｒａｓｄａｔ，”Ｌｏｃａｌ  ａｃｃｕｒａｃｙ  ａｎｄ  ｇｌｏｂａｌ  ｃｏｎｓｉｓｔｅｎｃｙ  ｆｏｒ  ｅｆｆｉＣｉｅｎｔ  ｓｌａｍ．”Ｐｈ．Ｄ．ｄｉｓｓｅｒｔａｔｉｏｎ，Ｉｍｐｅｒｉａｌ  Ｃｏｌｌｅｇｅ  Ｌｏｎｄｏｎ，２０１２）に対するフレームワークを評価した。Ｋｉｔｔｉトレーニングデータセットは、ＧＰＳで測定された各単一追跡のグラウンドトゥルースも入手可能にする。しかしながら、提供される３Ｄ点クラウドは、内蔵されたオドメトリシステムで推定された動きを使用して、既にアンワープされている。このような理由で、発明者らは、固有の生データが入手可能であったトレーニングトラックのみを使用した。
【０１９２】  局所的軌道最適化は、得られた環境の高解像度ローカル３Ｄモデルを生成するために使用することができる。生成されたモデルの品質を確認するために、発明者らは、２ｍの局所的最適化を引き起こす閾値を有する１ｃｍのボクセル解像度を使用して、２つの屋内のデータセットを処理した。これは、第１のデータセットに対しおよそ８００万点、および第２のデータセットに対しおよそ２４００万点を結果的にもたらす。その後、参照モデルは、Ｊ．Ｙａｏ，Ｍ．Ｒ．Ｒｕｇｇｅｒｉ，Ｐ．Ｔａｄｄｅｉ，ａｎｄ  Ｖ．Ｓｅｑｕｅｉｒａ，”Ａｕｔｏｍａｔｉｃ  ｓｃａｎ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｕｓｉｎｇ  ３ｄ  ｌｉｎｅａｒ  ａｎｄ  ｐｌａｎａｒ  ｆｅａｔｕｒｅｓ，”３Ｄ  Ｒｅｓｅａｒｃｈ，ｖｏｌ．１，ｎｏ．３，ｐｐ．１−１８，２０１０．の方法を使用して、高解像度ＺＦ  ５０１０Ｃスキャナでとられた環境のペアの登録するスキャンにより作成されていた。発明者らは、２つのモデルを正確に登録して、それらの間の点点距離を計算していた。目視可能な歪みはモデル内に存在せず、２つのクラウド間の距離のヒストグラムは、０．０２ｍ未満のピークを有し、そのピークは、使用したＶｅｌｏｄｙｎｅ  ＨＤＬ−３２Ｅセンサーの公称確度以内である。
【０１９３】  トラッキングの品質および蓄積されたドリフトを評価するために、発明者らは、センサーの生の読み取り値（合計１０のトラック）を入力データとして使用し、全てのＫｉｔｔｉトレーニングデータセット上で、本フレームワークを実行した。さらに、最適化フレームワークにセンサーモーションを組み込む利点を実証するために（内蔵のオドメトリシステムで推定された動きを使用してアンワープされた）、データセットの公式の前処理されたクラウドを用いて、同じトラック上でも本システムを実行した。この場合、発明者らは、最適化中にいずれのアンワープも実行しなかった（すなわち、オドメトリモジュールだけを使用した）。これらの実験のために、マップにおいて１５ｃｍのボクセルサイズが使用され、環閉合は実行されなかった。図２は、１００ｍ、２００ｍ、．．．、８００ｍの長さの軌道セグメントを使用して生成された、平均相対並進運動および回転の誤差の観点から、両方の実験結果を示す（採用された誤差メトリックの仕様のためのＨ．Ｓｔｒａｓｄａｔ，”Ｌｏｃａｌ  ａｃｃｕｒａｃｙ  ａｎｄ  ｇｌｏｂａｌ  ｃｏｎｓｉｓｔｅｎｃｙ  ｆｏｒ  ｅｆｆｉＣｉｅｎｔ  ｓｌａｍ．”Ｐｈ．Ｄ．ｄｉｓｓｅｒｔａｔｉｏｎ，Ｉｍｐｅｒｉａｌ  Ｃｏｌｌｅｇｅ  Ｌｏｎｄｏｎ，２０１２を参照のこと）。最適化フレームワークへとアンワープするクラウドを組み込むことで、よりよい結果がもたらされ、並進運動および回転ドリフトが減少することが明らかである（特に平均０．３点パーセント改善された並進運動誤差）。ＬＩＤＡＲデータ（ＬＯＡＭ）を単に使用するＫｉｔｔｉベンチマークのための技術アルゴリズム（ｔｈｅ  ａｒｔ  ａｌｇｏｒｉｔｈ）の現在の状況の方がよりよく実行されることに注意すること。それは本来のアンワープされた点クラウド上で直接確認され、１Ｈｚのみでクラウドを処理するが、そのことを注意しなければならない。
【０１９４】  環閉合を統合した後に提案される大域的最適化戦略で導入された改善を評価するために、発明者らは、単一のループを含むＫｉｔｔｉデータセットのサンプルトラック上でこの特徴を使用可能にした。それらのループ検出機構は非常に単純であり、実際のアプリケーションに適しておらず：現在の姿勢とはるかに前の姿勢との間の距離が、閾値よりも低いとき、ループが検出される。その後、発明者らは、大域的マップ上で最後のクラウドを登録し、これが成功する場合、発見されたコレスポンデンスを大域的最適化に追加する。図３は、検討されるトラックにおける環閉合の効果を示す。実験結果は、オドメーターおよび局所的に最適化された軌道の両方にわたって、大域的最適化が改善されたことも示した。
【０１９５】  発明者らは、システムを、取得される点クラウド上で動き補償も実行する、公に利用可能な、Ｖｅｌｏｄｙｎｅ  ＳＬＡＭ［Ｆ．Ｍｏｏｓｍａｎｎ  ａｎｄ  Ｃ．Ｓｔｉｌｌｅｒ，”Ｖｅｌｏｄｙｎｅ  ＳＬＡＭ，”ｉｎ  ＩＶＳ，２０１１］と比較した。２つのシステムを比較するために、発明者らは、アウトドア用の車のデータセットを使用して蓄積されたドリフトを測定した。同じ場所が複数回再訪されるので、発明者らは、最初の局所的なマップを、各次の通路で生成されたマップと共に登録することで、ドリフトを推定した。現在の局所的なマップを当初のマップに位置合わせする、登録の並進運動と配向のコンポーネントは、どれだけのドリフトが蓄積されたか示す。［Ｆ．Ｍｏｏｓｍａｎｎ  ａｎｄ  Ｃ．Ｓｔｉｌｌｅｒ，”Ｖｅｌｏｄｙｎｅ  ＳＬＡＭ，”ｉｎ  ＩＶＳ，２０１１］の顕著な特性の１つは、軌道推定に良い影響を与える一連の発見的試験に基づく、マップ改善戦略（適応（ａｄａｐｔｉｏｎ）と呼ばれる）が存在することである。本システムは、その問題を適切にモデル化することにより最適化戦略に焦点を当てているため、発明者らは、分析を軌道推定に集中させる当初の作業におけるこの特徴を無力化した。各ループ後の結果が、表Ｉに示される。発明者らが当初の作業よりも少ないドリフトしか蓄積していないということがわかる。さらに、本システムは、Ｖｅｌｏｄｙｎｅ  ＳＬＡＭの発見的戦略ほども少ない構成パラメーターを必要としない問題の自然的な構成である。本システムの実行は、実行時間の観点から、および環境の大域的マップを維持する能力において、Ｖｅｌｏｄｙｎｅ  ＳＬＡＭシステムより優れている一方、原作においては、局所的なマップのみ維持されている。大域的マップを使用する能力は、第１のループで蓄積されたドリフトを修正するために  環閉合および大域的最適化技術を使用する場合、ならびに次のループのための大域的マップを使用する場合に確認されている。
【０１９６】  提案されたマップ表示の性能を評価するために、発明者らは、Ｉｎｔｅｌ  Ｘｅｏｎ  Ｅ５−２６５０  ＣＰＵを搭載したＰＣ上でアウトドア用の車データセットを実行する間に、各動作の実行時間を測定した。
【０１９７】  予想通りに、追加動作は、マップに加えられる特徴の数に関する線形時間内で実行され、特徴当たりの平均時間は３６．４ｎｓであり、ＨＤＬ−３２Ｅセンサーでは１．８１ｍｓの平均クラウド書き込み時間を与える。
【０１９８】  本ＳＬＡＭフレームワークにおける削除動作は、ｋｄ木を更新する直前に、単に局所的なマップ上で実行される。
【０１９９】  表Ｉ：ドリフト誤差レポート
【０２００】
【表１】
2018522345.tif 000103
【０２０１】  削除される特徴は、関心地点（例えば、最後に評価されたセンサー姿勢）のまわりで半径探索（ｒａｄｉｕｓ  ｓｅａｒｃｈ）を実行することにより選択され、大域的マップへ追加される結果は、平均３０．８４ｎｓかかる、特徴当たりの一定の削除時間を示す。
【０２０２】  局所的なマップから削除される特徴の選択は、以下の２つの手法で実行することができる：ボクセル構造を使用する、または密なリスト上で繰り返す。図４（ａ）は、マップに記憶された特徴の数と探索半径に基づく、平均探索時間を示す。密なリストを使用すると、いつも同じ性能（半径探索は無関係に、記憶された特徴の数に対して線形）が提供されることが分かる。一方、ボクセル探索時間は、半径が増大するとともに増大し、全ての場合において、最悪な結果を提供する。
【０２０３】  点は大域的マップから削除されないので、圧縮された動作は局所的なマップのみでしか発生しない。新しいｋｄ木が要求されるまで新しいクラウドの追加を延期する、提案された戦略のおかげで、７．７９％の時間のみ、作成されたホールの数は加えられた特徴の数より大きく、そのことが圧縮された動作を実行するために必要であった。この場合は、実行時間は、残っているホールの数に関する線形挙動を示し、各動作の平均時間１．８１ｍｓである。
【０２０４】  最終的に、環閉合動作のために、関心領域の周囲で大域的マップに問い合わせを行わなければならない。局所的なマップで発生したように、この選択は２つの手法で実行することができる。図４（ｂ）は、ボクセル構造および密なリストを使用した結果を示す。９０メートル未満の半径探索のために、ボクセルは密なリストを過剰に実行することがわかり得る。しかしながら、半径が増大すると、内部のスパースボクセル構造におけるキャッシュが失敗することで、高い性能ロスがもたらされてしまう。
【０２０５】  局所的軌道最適化がアクティブでないとき、システムは、１２．９３Ｈｚで（すなわち、Ｖｅｌｏｄｙｎｅ取得率に関するリアルタイムにおいて）、クラウドを処理することができる一方、周波数は、局所的な軌道最適化を使用して、リアルタイムに近い７．５Ｈｚまで減少される。登録と局所的最適化はマルチスレッドにおいて実行するようにコーディングされないことが分かり、したがって発明者らは、オドメーターおよび局所的最適化の両方において、性能が向上し得ることを予想する。
【０２０６】  オドメーターモードにおいて、クラウドの登録で費やされた時間は合計で５４％である一方、局所的最適化モードにおいては、３０％の時間がオドメーターの登録に費やされ、３５％の時間が局所的軌道最適化のため費やされる。オドメーターモードに取り組んでいるとき（第１列）、および局所的軌道最適化を実行するとき（第２列）に、登録が最近傍探索時間を含むが、局所的および大域的なマップ上で実行された各動作の影響が、表ＩＩで要約されている。局所的なマップにおける追加、削除および圧縮された動作は、表において、それぞれａｄｄ、ｄｅｌｅｔｅ、ｃｏｍｐａｃｔとして示され、削除時間は、局所的なマップにおける点選択、および大域的マップへの追加も含む。局所的なマップ全体にわたってｋｄ木を構築する影響は、表において、ｋｄ木として示され、最後に、局所的なマップの削除された点を大域的マップへと追加することの影響は、表において、ａｄｄ  ｇ．として示される。
【０２０７】表ＩＩ：システム性能
【０２０８】
【表２】
2018522345.tif 000104
【０２０９】  Ａ．５．  結論
【０２１０】  本明細書は、移動式レーザーを使用して取得する点クラウドの局所的最適化のためのフレームワークを提示する。特に、発明者らは、その開始位置および終了位置との間で得られた各点クラウドを補間することにより、捕捉動作を最適化へと組み込んだ。発明者らは、公に利用可能なデータセットを使用して、正確にセンサー移動をモデル化することにより、オドメトリ推定の誤差を減らすことが可能であることを、実験的に示した。
【０２１１】  さらに、まばらな特徴により構成された、大きくボクセル化された３Ｄマップを管理するために、効率的なデータ構造が提示される。マップのデータ構造は、局所的マップ最適化、およびオフラインの大域的最適化の両方に適している。それらの実験は、前の問題のために、リアルタイムオドメトリ、およびほぼリアルタイムの局所的な改善を提供するような構造を示す。これらの性能は、局所的軌道最適化が実行されるとき（例えば、最近傍探索、クラウドのアンワープ）、マルチスレッド動作を利用することにより、さらに向上させられてもよい。
【０２１２】  Ｂ．  ３Ｄ参照モデルに基づく位置確認解析、トラッキング解析、および変化解析
【０２１３】  八分木またはｋｄ木に基づいたアプローチは、最近傍（典型的には、マップサイズに関する対数）および良いスケーラビリティに対して合理的な探索時間を提供する。それらのアプローチにおいて、発明者らは、密なボクセル表現によって提供される高速のランダムアクセス、および疎データ構造によって提供されるスケーラビリティを組み合わせる代替的なボクセル表示を導入する。
【０２１４】  正確な姿勢トラッキングを確実にするために好ましいシステムは、ＩＣＰアルゴリズムにとってよい幾何学的な安定性を確実にする登録プロセスで使用される、点の効率的な選択を実行する。その後、効率的にアウトライヤーを切り捨てる戦略は、登録が、大域的に一貫している（インライヤー）コレスポンデンスのみを使用して実行されることを確実とする。
【０２１５】  ユーザーがマップを放置していた時や、観測された環境が最初に取得したモデルと大きく異なる（家具が変更された場合など）場合でさえ、本発明の好ましいフレームワークは、登録プロセスにおいて、グランドトゥルースモデル（ｇｒｏｕｎｄ  ｔｒｕｔｈ  ｍｏｄｅｌ）に関し、リアルタイム追跡が可能であるロバストオドメーターを結合させる。既知のマップを再入力することにより、システムは自動的に正しい位置を回復し、したがってドリフトの蓄積を防ぐ。
【０２１６】  Ｂ．１．以下に記載される好ましい実施形態の主な利点
１）  事前計算された記述子を使用し、グランドトゥルースマップ（ｇｒｏｕｎｄ  ｔｒｕｔｈ  ｍａｐ）へのアクセスを避けて、非常に大きな環境でセンサーを位置確認する、スケーラブル場所認識戦略。
２）  一定時間の最近傍探索および低メモリ占有領域（ｆｏｏｔｐｒｉｎｔ）を提供する、マップを表示する効率的なデータ構造。
３）  幾何学的に安定した結果を保証する迅速な点選択戦略。
４）  登録プロセス中のアウトライヤーの干渉を効率的に除去する、インライヤー選択技術。
５）  局所的オドメーターと、静的なアウトライヤーを開発し、ユーザーがマッピングされていない領域を通行できるようにする、グランドトゥルースマップ（ｇｒｏｕｎｄ  ｔｒｕｔｈ  ｍａｐ）に対する登録との、間の結合。
６）  高精度でリアルタイムの結果を提供する、完全なシステム。
【０２１７】  下記の記述は以下のように構成される。セクションＢ．２．は、好ましいオンライン場所認識および再位置確認戦略を提示し、セクションＢ．３．は、一旦ユーザーの姿勢が既知の環境で特定された場合にオンライン追跡を実行する方法を示す。次いで、セクションＢ．４．は実験結果を提示し、最後に、セクションＢ．５．は結論を導き出す。
【０２１８】  場所認識
【０２１９】  場所認識コンポーネントは、演繹的情報なしでユーザーの位置および方向の初期推定の回復を処理する。これは、現在のセンサー観測が行われたら、候補位置を提供するために、フレームレートでオンラインで実行することができる。さらに、遠隔地または異なるマップにさえ関連する（したがって、メモリにロードされない）候補姿勢を提供しうるので、スケーラビリティのためには、実行時にマップモデルを使用すべきではない。これらに２つの要求を満たすために、（１）利用可能な姿勢の探索空間を縮小させ、（２）観測が行われたら特定の場所にいる可能性を効率的に推定する、ロバストで圧縮された分類子を仕立て上げるために、前処理段階を導入することが好ましい。
【０２２０】  探索空間縮小
【０２２１】  最初に、好ましくは、マップ全体の中で通行可能な領域を検出する。これらの領域は、環境の探査中にセンサーが配置されうるボリュームとして定義される。さらに、概して、一般性を失うことなく、マップモデルＺ軸が重力ベクトルとおおむね一直線になっていると仮定しうる。
【０２２２】  発明者らは、グランドモーション（センサーが取り付けられたリュックサックまたは車両）に焦点を当てたので、通行可能エリアは、通行可能フロア上の比較的狭い空間にあると予想される。このため、まず、フロアの範囲を識別する。フロアの抽出は、環境Ｖのスパースボクセル表示上で実行され、各フルセルｖ（ｉ）は、重心
【０２２３】
【数１０１】
2018522345.tif 000105
の周りの点によって局所的に定義される表面に対する法線ベクトルを含む。それらの関連する法線内の垂直成分が支配的であること、すなわち、
【０２２４】
【数１０２】
2018522345.tif 000106
εが典型的には０．５と１の間の値であることをチェックすることにより、候補フロアセルＦ⊆Ｕを表すボクセルの部分集合を抽出する。しかしながら、この制約のみでは、フロア（例えば、テーブルまたは空の棚）として、非常に多くのセルを分類することにつながる可能性がある。
【０２２５】  この問題に対処するために、発明者らは、到達可能性（ｒｅａｃｈａｂｌｉｌｔｙ）の概念を導入することを提案する。到達可能セル（ｒｅａｃｈａｂｌｅ  ｃｅｌｌ）ｆ∈Ｆを与えられると、下記条件が満たされる場合、周囲のセル（ｇ（１），ｇ（２），．．．，ｇ（ｍ））∈Ｆはすべて、到達可能とみなされる。
【０２２６】
【数１０３】
2018522345.tif 000107
【０２２７】
【数１０４】
2018522345.tif 000108
【０２２８】
【数１０５】
2018522345.tif 000109
【０２２９】  （６）におけるθ０≧ＶｃｅｌｌＳｉｚｅは、最大歩幅（例えば、歩行動作の場合０．５メートル、または車の動作の場合はＶｃｅｌｌＳｉｚｅを表し、（７）におけるθ１は、歩幅の最大垂直サイズを表し、（８）における
【０２３０】
【数１０６】
2018522345.tif 000110
は観測者の単純化された体積を表し、フロアセルｇｉ（本実施における境界シリンダ（ｂｏｕｎｄｉｎｇ  ｃｙｌｉｎｄｅｒ））上に中央に置かれる。
【０２３１】  最初の到達可能セルは手動で提供することができるが、しかし、マップの生成は、好ましくは、到達可能セル上にスキャナを置くことにより行なわれるため、この初期化は、取得位置より下のフロアセルを到達可能と仮定して自動的に実行することができる。
【０２３２】  これらの条件によれば、全てのフロアセルＦ＊⊆Ｆの検出は、最初にＡが到達可能セルの第１のセットを蓄積するアルゴリズムを示す表ＩＩＩに例証されるように、フラッディングアルゴリズムスタイル（ｆｌｏｏｄｉｎｇ−ａｌｇｏｒｉｔｈｍ  ｓｔｙｌｅ）で実行される。
【０２３３】
【表３】
2018522345.tif 000111
【０２３４】  一旦フロアが識別されると、通行可能空間Ｎは、
【０２３５】
【数１０７】
2018522345.tif 000112
であるフロアセルの上のセルのセットｎ（ｉ）∈Ｎとして定義される。
【０２３６】  精度を損なうことなく通行可能空間をさらに減少させるために、発明者らは、有効な通行可能空間Ｎ＊⊆Ｎを提供するシステムの特定の操作性に関連する物理的制約（例えば、特定のセンサー取り付けのために取りうるセンサー姿勢に対する垂直および角度の限界）を導入することを提案する。このような制約は、サンプルデータセットに対する一連の実験を実行することによって経験的に選択される（セクションＢ．４．参照）。
【０２３７】  姿勢分類子
【０２３８】  姿勢分類子を構築するために、まず、それぞれの単一の観測の圧縮された表示を定義する必要がある。特に、発明者らは、Ｔａｄｄｅｉ，Ｐ．，Ｓａｎｃｈｅｚ，Ｃ．，Ｒｏｄｒｉｇｕｅｚ，Ａ．Ｌ．，Ｃｅｒｉａｎｉ，Ｓ．，Ｓｅｑｕｅｉｒａ，Ｖ．，２０１４．Ｄｅｔｅｃｔｉｎｇ  ａｍｂｉｇｕｉｔｙ  ｉｎ  ｌｏｃａｌｉｚａｔｉｏｎ  ｐｒｏｂｌｅｍｓ  ｕｓｉｎｇ  ｄｅｐｔｈ  ｓｅｎｓｏｒｓ．Ｉｎ：３ＤＶ：によって定義された単純で高速な計算され圧縮された記述子を採用する。レンジ画像をＷｂ×Ｈｂ通常のビンで分割し、それぞれについて、中央範囲値を推定する。これらの値はすべて、観測されたフレームｄの記述子の中で積み重ねられる。
【０２３９】  次いで、既知の有効な通行可能空間Ｎ＊⊆Ｎにおいて１セットのトレーニング姿勢
【０２４０】
【数１０８】
2018522345.tif 000113
を生成する。各姿勢
【０２４１】
【数１０９】
2018522345.tif 000114
について、３Ｄマップを、提供された姿勢に整列されたセンサー画像面にレイキャスティングすることによって深さ画像を合成し、発明者らは、生成された深さ画像からその記述子
【０２４２】
【数１１０】
2018522345.tif 000115
を抽出する。それらの対応する姿勢
【０２４３】
【数１１１】
2018522345.tif 000116
に生成された記述子
【０２４４】
【数１１２】
2018522345.tif 000117
をすべて写像するｋｄ−木
【０２４５】
【数１１３】
2018522345.tif 000118
を構築する。記述子ｑを与えられると、記述子空間において接近している位置／記述子のペアのセットは、記述子空間の対数的複雑さを伴うＴ上で有効な探索を行なうことにより検索することができる。トレーニングサンプル
【０２４６】
【数１１４】
2018522345.tif 000119
のセットが与えられると、例えばＧｌｏｃｋｅｒ、Ｂ．、Ｉｚａｄｉ、Ｓ．、Ｓｈｏｔｔｏｎ、Ｊ．、Ｃｒｉｍｉｎｉｓｉ．Ａ．、２０１３．Ｒｅａｌ−ｔｉｍｅ  ｒｇｂ−ｄ  ｃａｍｅｒａ  ｒｅｌｏｃａｌｉｚａｔｉｏｎ．Ｉｎ：ＩＳＭＡＲ．に記載されているように、より圧縮された分類子を構築することも可能であることに注意されたい。しかしながら、Ｎ＊は、メモリ内にフルトレーニングセットを保持し、ｋｄ木の記述子空間内の放射状の最近傍探索による分類を実行するのに十分小さいものであったことを、発明者らは実験的に観察した。
【０２４７】  実行中に、現在の観測が与えられた姿勢分類子を使用して、最も可能性のある位置を回復する。特に、発明者らは２つの異なる段階のプロセスを分割する：演繹的情報が利用できない時に、可能性のある位置の推定を処理する初期化と、および、候補位置の評価およびそれらの再サンプリングを処理する更新と、である。
【０２４８】  初期化ステップにおいて、単一センサー観測が与えられると、センサーの可能性のある位置のセットを導き出す必要がある。発明者らは以下のように進めることを提案する：
【０２４９】  １．最後のセンサー観測が与えられると、その関連する記述子を計算し、記述子空間内の閾値ｒを付与されたＴ上での放射状探索を実行する候補位置Γのセットを回復する。３６０水平視野を提供するセンサーの場合、範囲値を水平方向にシフトして追加の入力記述子を計算することにより、候補位置を増加させ得る。各記述子は、局所的軸上で回転すると、センサーが生成する示度に対応する。生じた候補位置の各セットは、その後、ｉに従って回転する。
【０２５０】  ２．各潜在的な場所Γｐ∈Γに重み
【０２５１】
【数１１５】
2018522345.tif 000120
を関連付ける。
【０２５２】
【数１１６】
2018522345.tif 000121
【０２５３】  ｄｐは、Ｔから検索された位置Γｐに関連する記述子である。完全に一致する記述子については、
【０２５４】
【数１１７】
2018522345.tif 000122
は１であり、探索球境界上の記述子については０である。
【０２５５】  ３．最後に、重みをｗに集め、標準化してｍａｘｗ＝１とする。
【０２５６】  更新段階は、関連する重みｗ＝ｗ０，．．．，ｗＮが与えられてセンサーが動く間に、可能性のある位置Γ＝Γ０，．．．，ΓＮの更新を処理する。このステップでは、次のセクションで説明される手法に従って、先行処理に１つのクラウドを登録するオドメーターを使用することに注意されたい。発明者らは特に以下のように進める：
【０２５７】  １．オドメーターおよび現在の観測を使用してΓにあるすべての場所を更新する。
【０２５８】  ２．最後の潜在的な位置が作成されてから所与の距離を移動すると、最後の観測から新しい記述子ｑが計算される。これは、初期化段階のステップ１と同様に、一連の可能性のある位置
【０２５９】
【数１１８】
2018522345.tif 000123
を、Ｔから検索するために使用される。
【０２６０】  ３．それぞれの可能性のある位置
【０２６１】
【数１１９】
2018522345.tif 000124
に関連する重みは、次のように計算される。
【０２６２】
【数１２０】
2018522345.tif 000125
【０２６３】  すべての重みが計算されると、最大値が１になるように標準化される。
【０２６４】
【数１２１】
2018522345.tif 000126
およびｗ＝ｗを更新し、更新段階の反復を繰り返す。
【０２６５】  方程式（９）は、それぞれの可能性のある位置に関連する重みを、Ｄｕｂｏｉｓ，Ｄ．，２００６．Ｐｏｓｓｉｂｉｌｉｔｙ  ｔｈｅｏｒｙ  ａｎｄ  ｓｔａｔｉｓｔｉｃａｌ  ｒｅａｓｏｎｉｎｇ．Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｓｔａｔｉｓｔｉｃｓ  ａｎｄ  Ｄａｔａ  Ａｎａｌｙｓｉｓ  ５１（１），４７−６９，ｔｈｅ  Ｆｕｚｚｙ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｓｔａｔｉｓｔｉｃａｌ  Ａｎａｌｙｓｉｓで同様に可能性理論において表現されたベイズ定理を用いて計算する。（９）の個々の項は以下のとおりである。
【０２６６】
【数１２２】
2018522345.tif 000127
【０２６７】
【数１２３】
2018522345.tif 000128
【０２６８】
【数１２４】
2018522345.tif 000129
【０２６９】
【数１２５】
2018522345.tif 000130
【０２７０】  方程式（１０）は、初期化段階のステップ２と同じ方法で姿勢
【０２７１】
【数１２６】
2018522345.tif 000131
が与えられると、記述子ｑの可能性を推定する（多重入力記述子の場合は、それぞれを個別に考慮する必要がある）。方程式（１１）は、潜在的な場所Ｆのセットにおいて最も適合する位置を見つけることにより、姿勢
【０２７２】
【数１２７】
2018522345.tif 000132
に存在する可能性を評価する。この適合性は、前の潜在的な姿勢Γｋと姿勢
【０２７３】
【数１２８】
2018522345.tif 000133
との間の重み付き相対距離（方程式（１２））として定義される。方程式（１３）は、トレーニングセットのサイズに関して検索される近傍の数を比較することによって、現在の観測の特徴を推定する。例えば、廊下にいるような非常にあいまいな姿勢は、多くの結果をもたらし、非常に曖昧になる。
【０２７４】  更新段階は、潜在的な姿勢が単一の位置に収束するまで、すなわち重みに従い計算された重心Γの共分散が小さいときに反復される。この時点で、問題が解決されたとみなし、姿勢追跡コンポーネントが開始される。
【０２７５】  上記で概説した好ましいシステムは、単一のセンサー観測を使用する高速ブートストラッピングを伴う、可能性のある位置の反復的再重みづけに基づいている。大規模なマップへのスケーラビリティの重要な因子は、関連する姿勢を伴うｋｄ木構造における参照マップとその構成からの軽量記述子の事前計算である。このようにして、記述子空間内のクエリを使用して、第１の観測が与えられた候補位置でシステムを効率的に配置する。次いで、後続の更新ステップでは、記述子空間内の推定された動きおよびクエリを使用して、新しい可能性のある位置のセットおよびそれらの関連する重みを導き出す。
【０２７６】  このアプローチは、粒子フィルタを使用する、［Ｔｈｒｕｎ，Ｓ．，Ｆｏｘ，Ｄ．，Ｂｕｒｇａｒｄ，Ｗ．，Ｄｅｌｌａｅｒｔ，Ｆ．，２００１．Ｒｏｂｕｓｔ  ｍｏｎｔｅ  ｃａｒｌｏ  ｌｏｃａｌｉｚａｔｉｏｎ  ｆｏｒ  ｍｏｂｉｌｅ  ｒｏｂｏｔｓ．Ａｒｔｉｆｉｃｉａｌ  ｉｎｔｅｌｌｉｇｅｎｃｅ  １２８（１），９９＊１４１］および［Ｔｈｒｕｎ  ｅｔ  ａｌ．（２００５）Ｔｈｒｕｎ，Ｂｕｒｇａｒｄ，ａｎｄ  Ｆｏｘ］に提示される一般的なＭｏｎｔｅ  Ｃａｒｌｏ  Ｌｏｃａｌｉｚａｔｉｏｎ  ｔｅｃｈｎｉｑｕｅｓと適合する。しかしながら、これらの技術は、位置確認問題の全段階を解決するために、センサー確率分布を一連の重み付け粒子でそれに接近することによって正確に推定することを目的としている［Ｔｈｒｕｎ，Ｓ．，Ｂｕｒｇａｒｄ，Ｗ．，Ｆｏｘ，Ｄ．，２００５．Ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｒｏｂｏｔｉｃｓ（Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｎｏｍｏｕｓ  Ａｇｅｎｔｓ）．Ｔｈｅ  ＭＩＴ  Ｐｒｅｓｓ］。
【０２７７】  一旦固有の位置が識別されると、正確な姿勢追跡が後続の追跡コンポーネント（セクションＢ．３．）によって実行されるので、本場所認識コンポーネントは、代わりに、迅速かつ粗い姿勢推定しか必要としない。さらに、本システムは、可能性のある位置が処分されないようにしなければならず、したがって正確なセンサー姿勢確率密度推定を必要としない。このため、セクションＢ．４．が示すように、通行可能空間の高密度のサンプリングを必要としない。しかしながら、サンプリング密度が低いと、粒子の初期化の誤りのために追跡ロスをもたらしうる。この問題は、更新段階が行なわれるごとに、粒子の新しいセットを導き出すことにより克服される。
【０２７８】  Ｂ．３．姿勢追跡
【０２７９】  姿勢追跡コンポーネントは、センサーが環境の周りを移動する際のセンサーの局所的な動きの計算を処理する。以前に推定された姿勢がわかり、新しい取得が受信されると、発明者らは、マップと観測された点との間の局所的な登録を行う。生じた変換から、暗黙の動きが推測され、以前に推定された姿勢に適用される。
【０２８０】  リアルタイムでセンサー姿勢を正確に追跡するために、（１）最近傍探索のために特別に設計されたデータ構造を採用すること、（２）安定した代表的な入力点の部分集合を正しく選択して登録を行うこと、が重要である。それにもかかわらず、正確な推定を保証するために、（３）異常値を適切に検出しなければならない。これは、大きな支配的方向がほとんどない変性環境、例えば長い廊下、トンネル、または間違った登録を妨げる適切な点が少ない対称環境、において特に重要である。
【０２８１】  マップ表示
【０２８２】  現在提案されているマップ構造では、２つの異なる要素のリストが格納され、同期される。すなわち、圧縮された面のリストＬ、および、特定のボクセルサイズで構築された密集したボクセルグリッドＶである。各面ｌｉ∈Ｌは、ワールド座標ｐｉの位置と単位法線
【０２８３】
【数１２９】
2018522345.tif 000134
を格納する。各ボクセルｖｉ∈Ｖは、フル、空（ｅｍｐｔｙ）、または近傍の、いずれかの現在の状態を格納する。フルボクセルは、関連する位置がおさまっている平面
【０２８４】
【数１３０】
2018522345.tif 000135
へ指標を格納する。特に、ボクセルに属する参照マップ点は、平面パラメーターを推定するために使用される。空（ｅｍｐｔｙ）セルはヌル参照を格納し、近くのセルは、ボクセル中心までの関連位置距離ｄｖが最も短い平面
【０２８５】
【数１３１】
2018522345.tif 000136
へ、指標を格納する。本発明者らは、距離ｄｖが所与の閾値ｄｍａｘ未満である場合にのみ近傍ボクセルを考慮することが好ましく、そうでない場合、ボクセルは空であるとみなされることに注意されたい。図５は提案された表示を示す。
【０２８６】  このマップ表示で、最近傍探索はすべてオフラインで事前計算され、密集したグリッドの内部に格納される。ワールド座標中のクエリ点を与えられると、ランタイムでは、発明者らは、それを含むボクセルを計算することによって、そのマップにおける最近傍の計算を近似させる。その後、セルの状態がフルまたは近傍の場合、関連面が返される。そうでなければ、近傍がないことが通知される。
【０２８７】  提案されたアプローチ（１）のために、単一の探索の間に実行されるすべての操作は、マップのサイズに関係なく、一定の実行時間を提示することに注意されたい。比較すると、ｋｄ−木構造は、平均して、マップのサイズに関し対数時間を提供する。さらに、適切にｄｍａｘを設定することによって、ＩＣＰで最近傍を捜す時に、あまりにもかけ離れているコレスポンデンスの最初のアウトライヤー拒否（ａｎ  ｉｎｉｔｉａｌ  ｏｕｔｌｉｅｒ  ｒｅｊｅｃｔｉｏｎ  ｏｆ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）を暗黙のうちに実行する。
【０２８８】  密集したボクセル構造を用いて大規模な環境を表示することの主な欠点は、そのメモリ占有領域（ｆｏｏｔｐｒｉｎｔ）である。発明者らは、中間ノードが３２×３２×３２ノードのブロックである３レベル階層構造を使用して、この問題を解決する。このように、ノードが完全に空の場合、格納されなくともよく、かつ、２５×２５×２５の提案されたリーフサイズが与えられると、２バイトのみを使用して各単一の内部セルに対処でき（ａｄｄｒｅｓｓ）、余分なビットを加えて、空いているセルをマークすることができる（１５＋１ビット）。さらに、本実施形態は、センサーの範囲内の部分のみがメモリ内になければならないようにストリーミングを可能にする。センサーの移動速度は関連するロード動作よりも桁違いに小さいので、オンライン実行メモリの要件は常に制限されており、マップは常にセンサー姿勢の周辺で更新される。
【０２８９】  点選択戦略
【０２９０】  現行の取得の点の選択された部分集合は、登録中に、あまり定義されていない自由度を正しくロックできる程度に十分に表していることを確実にするべきである。［Ｇｅｌｆａｎｄ  ｅｔ  ａｌ．（２００３）Ｇｅｌｆａｎｄ，Ｉｋｅｍｏｔｏ，Ｒｕｓｉｎ  ｋｉｅｗｉｃｚ，ａｎｄ  Ｌｅｖｏｙ］に記載の作業と同様に、発明者らは、点−面距離（ｐｏｉｎｔ−ｐｌａｎｅ  ｄｉｓｔａｎｃｅ）のトランスフォーメーションベクトル
【０２９１】
【数１３２】
2018522345.tif 000137
による点ｐｉおよびそれに関連する法線
【０２９２】
【数１３３】
2018522345.tif 000138
の寄与を考慮する。これは、小角度近似を用いて回転を線形化することにより、次のように表示することができる：
【０２９３】
【数１３４】
2018522345.tif 000139
【０２９４】  方程式（１４）の中の回転だけを考えれば、点−面距離に導入された誤差は、センサーおよび、その法線と視線（ｖｉｅｗｉｎｇ  ｒａｙ）との間の角度に関する点の距離に比例する。これにより、視線に関して可能な限り法線が垂直である遠点および点が選択される。残念ながら、レーザーを移動させることで均等でない分布点が生成され、特に、遠方の領域は、より低い点密度で取得され、したがって、推定されていない法線をほとんど提供しない。同様に、循環性の環境については、センサーが対称軸に接近する時、視線と法線の間の角度は消滅する。
【０２９５】  発明者らは、並進と回転を明確に区別することによって、これらの問題を解決することが好ましい。適切に並進を制限するために、点法線のみを考慮する。それらは、次のように、並進Ｃｔのための共分散行列を計算する：
【０２９６】
【数１３５】
2018522345.tif 000140
【０２９７】  そして、関連する固有ベクトル
【０２９８】
【数１３６】
2018522345.tif 000141
および固有値
【０２９９】
【数１３７】
2018522345.tif 000142
を抽出する。その後、取得点は、３つのビン｛ｂ１，ｂ２，ｂ３｝に以下のように分類される：
【０３００】
【数１３８】
2018522345.tif 000143
【０３０１】  ３つのビンが均衡している場合、並進の自由度は等しく制限される。一方で、変性のケース、例えば長い廊下、においては、１つのビンは、他のビン、例えば、関連する法線が縦軸に平行である点を含むもの、よりもかなり集合が疎である（ｃｏｎｓｉｄｅｒａｂｌｙ  ｌｅｓｓ  ｐｏｐｕｌａｔｅｄ）。
【０３０２】  方向に関しては、位置と法線の間のクロス乗積を使って主な回転軸を計算する。生じる分散行列は次のように定義される：
【０３０３】
【数１３９】
2018522345.tif 000144
【０３０４】  並進と同様に、関連する固有ベクトル
【０３０５】
【数１４０】
2018522345.tif 000145
、および固有値
【０３０６】
【数１４１】
2018522345.tif 000146
を計算する。次に、入力クラウドからの点は、次のように３つのビン｛ｂ１，ｂ２，ｂ３｝に分類される。
【０３０７】
【数１４２】
2018522345.tif 000147
【０３０８】  各ビンについては、センサーへの距離に応じて、含まれる位置の重みづけ平均として回転中心を近似させる（この近似はセンサーについては有効である。他の視野では代替近似が必要な場合がある）：
【０３０９】
【数１４３】
2018522345.tif 000148
【０３１０】  そして、次に、ビン中の各点については、その対応する固有ベクトルｘに対する回転のロッキングにどのくらい寄与しているかが次のように推定される：
【０３１１】
【数１４４】
2018522345.tif 000149
【０３１２】  方程式（１５）の中の最初の項は、回転軸に対する垂直性に応じて、与えられた点法線の影響を重み付けする（垂直に近いほど重くなる）。第２の項の分子は、点に回転中心を結合するベクトルと、法線と回転軸によって定義される平面に垂直なベクトルとの間の角度を計算することによって、回転をロックする際の質を推定する。最後に、分母は、範囲［０．．１］中の結果を標準化し、したがって、点選択はセンサーまでの距離とは無関係である。
【０３１３】  小値ｄに関連付けられたビンが多すぎる点が含む時、考慮する軸の周りの回転はほとんど制限されない。最高値を備えた点だけを選択する必要がある。図６は、対称性が高い環境および回転が適切に定義された環境から回収された値ｄのサンプルヒストグラムを示すこの概念を例証する。
【０３１４】  登録とインライヤー選択
【０３１５】  登録目的のために、発明者らは、（ワールド座標中の）センサー点ＰｉＷと上記一致の残りと矛盾するマップ点ｑｉとの間のそれらを誤ったコレスポンデンスとみなす。これは：（ａ）センサーにより見られる点がマップ中に存在しないオブジェクト（つまり、最初の獲得後に加えられたか削除されたもの）に対応するか、あるいは、（ｂ）評価されたＰｉＷがマップ中のその対応部分から離れているときに、生じる。両方の場合で、最も近い隣接物は、他のコレスポンデンスに関して、幾何学的意味をなさない。これらのアウトライヤーを識別する古典的な方法は、対応する点の間の相対位置と正常位置に基づいてヒューリスティックスを使用し、その距離が任意の閾値よりも大きいか、あるいは非常に様々な通常のオリエンテーションを備える隣接物はアウトライヤーとみなされる。例は［Ｒｕｓｉｎｋｉｅｗｉｃｚ  ａｎｄ  ｅｖｏｙ（２００１）］で見られる。高い公差値（例えば、たいていの場合、５よりも遠い対応点は間違っていることもある）を使用する場合、これらの近似値は有用であるが、このような場合、その識別力は低い。
【０３１６】  発明者らはまず、ビンを上記の並進運動に関連すると考える。発明者らはその後、すべての軸に関して回転が適切に定義されているかどうかを評価する。任意の軸についてこれが当てはまらない場合、発明者らは、そのような回転をよりよく抑制する点（つまり、最も大きなｄｉ値を備えた点）を含むビンを加える。
【０３１７】  その後、発明者らは、新しいセンサー姿勢上で初期推測を行うために、最後の予想される運動（２つの事前に登録された姿勢を使用して）を検討する：
【０３１８】
【数１４５】
2018522345.tif 000150
【０３１９】  この推測からスタートして、ＩＣＰアルゴリズムの各反復により、点のｎ個の無作為のセットＳが作成され、ここで、各セット
【０３２０】
【数１４６】
2018522345.tif 000151
は、各ビンからのｋ個の任意に選択された点を含む（典型的にｋ＝１）。これらの点のそれぞれ１つについては、当業者は、
【０３２１】
【数１４７】
2018522345.tif 000152
を用いてワールド座標の関連する位置ｐｉＷを計算し、マップ中のその対応する最も近い面が検索され、コレスポンデンス
【０３２２】
【数１４８】
2018522345.tif 000153
が作成される。いったん各セット中のすべてのコレスポンデンスが解決されると、式
【０３２３】
【数１４９】
2018522345.tif 000154
を最小化する厳密な変換
【０３２４】
【数１５０】
2018522345.tif 000155
が各々について独立して計算される。
【０３２５】  各セットのコレスポンデンスが、６つのすべての自由度で適切にロックされる観察された点にわたって定義され、その関連する厳密な変換は類似していると予想される。しかしながら、アウトライヤーのある状態で、および各セットの点の数が減少していることを考えると、結果として生じる変換は無作為に異なるであろう。当業者は、ガウス分布を用いて推定誤差の近似値を求め、そのような分布から外れるセットを取り除くことによりアウトライヤーコレスポンデンスを識別してもよい。当業者は、まずすべての変換を考慮し、関連する正規分布Ｎ（μ，Σ）を計算することによって反復処理する：ここで、
【０３２６】
【数１５１】
2018522345.tif 000156
【０３２７】
【数１５２】
2018522345.tif 000157
γ（ｎ）であることは、ベクトルとして表現される各セットに関連した厳密な変換であり、回転はヨー各、ピッチ角、ロール角である。その後、Ｎ（μ，Σ）に従って、各セットのマハラノビス距離が
【０３２８】
【数１５３】
2018522345.tif 000158
として計算され、
【０３２９】  および、１％未満の関連する確率の変換は切り捨てられる。いかなる変換も切り捨てられなくなるまで、あるいは、最少数のインライヤー変換に達するまで、このプロセスは反復して繰り返される（各工程で残りの変換で更新して）。最終登録は、残りの変換に関連したセットで存在するコレスポンデンスのみを考慮して予測される。
【０３３０】  図７は提唱されたインライヤー選択戦略後の結果を示す。独立して計算された変換が、すべて十分に定義された中心位置のまわりでどのように分布しているかに注目する。さらに、アウトライヤー除去をそれぞれ繰り返した後、インライヤーとしてマークしたコレスポンデンスをすべて検討する際に、分布が最終的な予想変換にすぐに集約することにも留意する。
【０３３１】  オドメーター集積化
【０３３２】  システム全体のロバスト性を改善するために、発明者らは、好ましくは提唱されたセンサー追跡コンポーネントをオドメーターと組み合わせる。
【０３３３】  姿勢が予想された後、ワールド座標のその関連する点がｋｄ木へ保存される。新しい獲得を考慮すると、登録アルゴリズムが点のセット（ｐｉＷ）を作成すると、それは参照マップ（ｑｉＭ，ｎｉ−Ｍ）とあらかじめ固定されたクラウド（ｑｉＯ，ｎｉ−Ｏ）の両方の最も近い隣接物を探す。コレスポンデンスはそのとき以下のように定義される：
【０３３４】
【数１５４】
2018522345.tif 000159
【０３３５】  このとき、ｓはボクセルセルサイズに対応し、ボクセル化したグランドトゥルースマップとあらかじめ固定されたクラウドの非離散化したｋｄ木との間の様々な分解能を補正する。主な利点は、（ａ）参照マップで見当たらない表面を登録プロセス中に利用することができ、（ｂ）システムがユーザーを継続的に追跡することにより、マッピングされていない領域を探ることを可能にするということである。
【０３３６】  Ｂ．４．結果
【０３３７】  提唱されたローカライゼーションおよび追跡システムを評価するために、発明者らは、ＬＩＤＡＲスキャナ用いて獲得した４つの様々なデータセットを使用して、複数の試験を実行した：（ａ）階下に大きな研究所と１階にいくつかのオフィスを備えた、約１４００の表面の２階建てのビル；（ｂ）１つの階と約１８００の表面を備えた会議ビル；（ｃ）非常に高い天井と約３０００の表面を備えた工業用のワークショップ；（ｄ）自動車で探索可能な、２．２の合計長さの大きな地下鉄用トンネル。
すべてのモデルは、Ｙａｏ，Ｊ．，Ｒｕｇｇｅｒｉ，Ｍ．Ｒ．，Ｔａｄｄｅｉ，Ｐ．，Ｓｅｑｕｅｉｒａ，Ｖ．，２０１０．Ａｕｔｏｍａｔｉｃ  ｓｃａｎ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｕｓｉｎｇ  ３ｄ  ｌｉｎｅａｒ  ａｎｄ  ｐｌａｎａｒ  ｆｅａｔｕｒｅｓ．３Ｄ  Ｒｅｓｅａｒｃｈ  １（３），１−１８の方法を使用して、一般参照フレームへ獲得物を登録することにより得られる。最終的なマップは、サイズ１あるいは１０のボクセルサブサンプリング工程の後に、点と関連する正常位置（および、存在する場合には、色）を保存することにより生成される。
【０３３８】  これらのデータセットについては、発明者らは、３つの様々な構成：：歩行者通路用のリュックサック、セグウェイ、および自動車の頂部に取り付けたＶｅｌｏｄｙｎｅ  ＨＤＬ−３２Ｅセンサーを使用してシステムを評価した。８ＧＢのＲＡＭと６４ビットのオペレーティングシステムを有するインテルＸｅｏｎ  ＣＰＵ＠２．８０ＧＨｚのコンピューターを使用して結果を生成した。
【０３３９】  場所認識
【０３４０】  場所認識装置の探索領域を減らすために、提唱されたフラッディングアルゴリズムを使用してすべてのマップのフロアを計算した。この段階では、フロア制限を非常に詳細に表現する必要がないため、発明者らは大きなボクセルセル（２０）を使用して計算を行った。３つのビルの平均フロア計算時間はわずか０．１４であり、トンネルデータセットには３．９１かかった。図８はオフィスビルの結果を示す。
【０３４１】  いったんフロアが計算されると、発明者らは効果的なナビゲート可能な空間
【０３４２】
【数１５５】
2018522345.tif 000160
を推定した。とりわけ、リュックサックに取り付けられる用途のために、発明者らは、平坦な面を通常通り歩く、走る、階段を歩く、および、このローテーションをすばやく行うことを含む複数の試験を行った。これらの試験において、観察者の位置は継続的に追跡・記録された。達成された結果の一部が図８に提示される。
【０３４３】  図９（左）はフロア上の平均高さに関する偏差のヒストグラムを示す。結果は、標準偏差σ＝２．９７を備えた分布を示す。このように、リュックサックに取り付けたセンサーが運搬人の頭上の１０の位置にあること、および［ＭｃＤｏｗｅｌｌ  ＭＡ  ａｎｄ  ＣＬ（２００８）］によれば、人間の身長の５％〜９５％が［１５０．７．．．１８８．７］の範囲にあることを考慮すれば、フロア上の有効高さ範囲は［１５４．７．．．２０４．６］と推定された。
【０３４４】  オリエンテーションに関して、当業者はＺ軸上の自由運動を考慮する。人はウォーキングしているあいだ典型的には数度しか曲げないので、他の２つの自由度は抑制される。図９（右）は、評価テストの間に観察された絶対的なＺ軸に関する偏差のヒストグラムを示す（値はμ＝３．６６°に集中し、標準偏差はσ＝２．３７°である）。これによれば、本トレーニングプロセスは、垂直軸（μ＋２σ）対して±８．４１°の偏差しか考慮していない。
【０３４５】  これらのパラメーターを考慮して、探索空間（位置のみを考える）上の全体積の減少が表ＩＶで示される。通常の建物（オフィス（ａ）と会議（ｂ）ビル）について、結果として生じた探索空間がマップの全体積の約２−３％であり、その一方で、ワークショップ（ｃ）とトンネル（ｄ）では、この比率は、最初の天井が高く、第２のナビゲート可能な領域の密度が低いことから、相当低い。
【０３４６】表ＩＶ：通行可能空間減少
【０３４７】
【表４】
2018522345.tif 000161
【０３４８】  場所認識性能のみを測定するために、発明者らは５つの獲得シーケンスを使用して、手で初期化されたセンサー位置のその追跡コンポーネントを使用することでグランドトゥルーストラックを推定した。その後、発明者らは３つの異なるビルを使用して、場所認識分類子をトレーニングした。その後、単一トラックはそれぞれ、場所認識コンポーネントを単独で用いて（分類に基づいて追跡して）処理された。発明者らがユーザーが移動している特定のビルに関する情報を提供しなかったので、最初の候補解は３つのすべての環境に一様に広がった。実験のあいだ、センサーが２回を超えて動くたびに、場所認識装置は問い合わせを受けた。使用される記述子中のビンの総数は１２×１であり、クエリは記述子空間の６の半径で行われた。ｄＭａｘ＝１であることと、その相対的なオリエンテーションが４５よりも小さい場合にのみ、場所は比較可能であることを考慮して、潜在的な姿勢のアプリオリな可能性を計算した。３つのビルに使用されたトレーニングセットの合計サイズは、１４７３ＫＢであった。
【０３４９】  発明者らは、２回あるいは３回の反復の後に、開始位置からおよそ１０以内で、候補解は、固有の適切な環境でクラスター化され、その後適切なセンサー位置に密接に従った。図１０は、使用されたすべてのシーケンスのドリフト解析結果を示す。各トラックについては、発明者らが、システムが一意的に環境を識別するのに十分な情報を持っていない場合に、フレームに関連する当初の姿勢推定を除去したことに注目する。Ｇｅｉｇｅｒ，Ａ．，Ｌｅｎｚ，Ｐ．，Ｓｔｉｌｌｅｒ，Ｃ．，Ｕｒｔａｓｕｎ，Ｒ．，２０１３．Ｖｉｓｉｏｎ  ｍｅｅｔｓ  ｒｏｂｏｔｉｃｓ：Ｔｈｅ  ｋｉｔｔｉ  ｄａｔａｓｅｔ．Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｒｏｂｏｔｉｃｓ  Ｒｅｓｅａｒｃｈに記載されているように、グラフは、特定の追跡長さの後にトラック上の任意の点を考慮して、並進運動と回転の平均的なドリフト誤差を示す。
【０３５０】  姿勢追跡
【０３５１】  姿勢追跡コンポーネントは、そのコンポーネントのそれぞれ１つを分離して個別の結果（マップ表現、点選択、インライヤー選択、およびオドメーター集積化）を生成することにより、および完全なシステムの全体の精度と性能を測定することにより評価された。
【０３５２】  マップ表現
【０３５３】  提唱されたマップ表現のスケーラビリティを評価し、それが標準的なｋｄ木に関連してどのように行われるかを比較するために、発明者らは、メモリ中の各データセットのボクセル構造全体をロードするという空間の要件を測定し、１回のクエリ当たりの平均計算時間を推定するために登録プロセスで最も近傍の隣接物探索を分離した。
【０３５４】  表Ｖは、ボクセルサイズ（第２のカラム）と完全なボクセル構造（第３のカラム）の寸法を考慮して、各データセットのメモリフットプリント（第４のカラム）を示す。工業用ビル（ｃ）については、２つのケースが考慮されることに注目する：１つのケースは、外部に関する情報を加えることにより元々のマップを拡張すること（ｃ）−ｏ、および内部のみが保存される場合に元々のマップを拡張する（ｃ）−ｉ。さらに、すべての場合に、ボクセルデータ構造メモリ容量は、それらを生成した点のクラウドよりも小さいことに気づくことは重要である。
【０３５５】表Ｖ：様々なデータセットのためのマップサイズ。
【０３５６】
【表５】
2018522345.tif 000162
【０３５７】  表ＶＩは、標準的なｋｄ木に関する提唱されたマップ表現の最も近い隣接物の探索時間を比較する。この試験については、両方の構造は同じ数の点を含んでおり、クエリは同じデータを使用して行われた。第２のカラムと第３のカラムにおける結果は、１つの点当たりナノ秒で表され、すべてのクエリを考慮した平均時間を表す。第４のカラムは、空間の離散化により、提唱されたマップ表現の平均的な最も近い隣接物の誤差を示す。第５のカラムはマップ中の点の総数を示す。
【０３５８】表ＶＩ：標準的なｋｄ木の実施と比較して、提唱されたマップ表現に関する平均的なもっとも近い隣接物の計算時間と誤差をマッピングする。
【０３５９】
【表６】
2018522345.tif 000163
【０３６０】  平均探索時間がどのようにして常にｋｄ木を使用するよりも約１０倍速くなるかに着目する。さらに、１０のボクセルセルサイズが使用される場合に（ａ）、（ｂ）、（ｄ）のケースで、総合誤差がどのようにすれば約０．２になるのかということにも着目する。これが５に下がると、（ｃ）で示されるように、誤差は０．０８まで落ちる。
【０３６１】  点選択
【０３６２】  実験では、発明者らは、幾何学的な安定性を確保するための点選択技術がロバストな結果を常にもたらしたことに気が付いた。発明者らはさらに、この機能が使用可能でなかった場合、廊下でナビゲートをする際に追跡が絶たれたことにも気付いた。しかしながら、Ｇｅｌｆａｎｄ  ｅｔ  ａｌ．（２００３）Ｇｅｌｆａｎｄ，Ｉｋｅｍｏｔｏ，Ｒｕｓｉｎｋｉｅｗｉｃｚ，ａｎｄ  Ｌｅｖｏｙ］によって提唱された技術に関して結果の安定性を比較すると、有意な差は見られなかった。他方で、使用されるビニング戦略がそのロッキング能力に従って点をソートしないようにすることから、実行時間は本技術の方が常に短かった。
【０３６３】  対称な環境に関する点選択戦略を評価する追加試験を行った。この場合、本技術は適切な点を選択することによってオリエンテーションを適切にロックしたが、Ｇｅｌｆａｎｄ  ｅｔ  ａｌ．（２００３）Ｇｅｌｆａｎｄ，Ｉｋｅｍｏｔｏ，Ｒｕｓｉｎｋｉｅｗｉｃｚ，ａｎｄ  Ｌｅｖｏｙ］で提唱された技術はこれに失敗した。この場合、本点選択戦略は点とセンサーとの間の距離の影響を受けない。このように、ケースＡとＣで示されるもののような重要な点を選択することができる。ケースＢの結果を比較すれば、この事実は明白である。本選択が距離によって正規化されるため、最も遠い点の効果は最も近い点の選択を損なうものではない。
【０３６４】  インライヤー選択
【０３６５】  提唱されたインライヤー選択戦略を評価するために、発明者らは以下のように処理を進めた：発明者らは、Ｖｅｌｏｄｙｎｅ  ＨＤＬ−３２Ｅセンサーを三脚に取り付け、固定した。第１のフレームは参照モデルとして使用され、実験の残りのあいだ、アウトライヤーを漸進的に加えた（例えば、人々は動き回っており、オブジェクトは動いていた）。このように、発明者らは、参照フレーム内の各点とその最も近い隣接物との間の距離を評価することにより、インライヤーのコレスポンデンスを分類することができた。
【０３６６】  図４は、入力されたクラウド中のアウトライヤーの数に関する本インライヤー選択戦略の最終的な精度を示す。アウトライヤーの総数が２０％を下回るとき、本精度がどのようにしてほぼ常に１００％になる（誤ったコレスポンデンスは登録に選択されない）かに着目する。アウトライヤーの総数が増加するにつれ、精度は低下する。平均では、提唱された実験は２７．８３％の誤ったコレスポンデンスを有し、精度は９８．９７％であった。
【０３６７】  オドメーター集積化
【０３６８】  姿勢更新用コンポーネントにおける提唱されたオドメーター集積化の利点を例証するために、発明者らは追跡を記録し、ビル（ａ）の内部から始まり、発明者らはスキャンされていない部屋に入ると、ビルから出たり違うドアから入ったりする繰り返しを行った。図１３は、結果が達成されたことを示す。
【０３６９】  センサーが既知の環境（ケースＡ、Ｃ、およびＤ）を去るとき、追跡はオドメーターのみに依存する。同様に、既知のマップとマッピングされていない領域との間の移行のあいだ、こうした状況に対処するための特定の論理に縛られることなく（例えば、ケースＣで右側に示される移行を例にとる）、提唱された点選択戦略は徐々に最も便利なマップからより多くの情報を引き出す。観察されるように、提唱された登録アルゴリズムの精度により、ユーザーがマッピングされていない領域を探索した後にマップに再び入るときに、オドメーターのドリフトは、参照マップを使用する追跡を継続することができるように、十分に低くなることが保証される。最後に、センサーが既知の空間の内部で動作するときに、登録に使用された点の一部がどのようにしてオドメーターから得られるのかに気付くであろう。これは、一般に参照マップ内に有効なコレスポンデンスを持たない点の存在によるものであるが、そのような点はオドメーターのローカルマップ内では有効なコレスポンデンスを有している。例えば、ケースＢの環境には大きな窓があり、これによってセンサーは、元々のマップの中には存在しない点を外部から獲得することができる。
【０３７０】全体の精度と性能
提唱された姿勢追跡技術の精度を測定するために、発明者らは、各クラウド登録後にＩＣＰの残りの解析を行った。これは、カバーするべき領域が正確な外部参照システムを使用するには大きすぎるため、大きな屋内のシナリオで自由運動のグランドトゥルース軌道の不足によって課される。
【０３７１】  図１４（上部）は、古典的な点−面ＩＣＰアルゴリズムと本ロバストＩＣＰの、両方のアウトライヤーのないシナリオの内部で移動する場合の平均的な点−面距離を示している。アウトライヤーの不在は、１０のボクセルセルサイズを用いて表される、グランドトゥルースモデルをスキャンした直後に獲得を行うことにより保証された。両方の手法の残りは、Ｖｅｌｏｄｙｎｅ  ＨＤＬ−３２Ｅセンサーの公称精度内である２でピークに達して、ほぼ同一である。
【０３７２】  他方で、図１４（下部）は変化が環境へ導入される際の有意な差を示す。この場合、追跡は環境を改修した記録された。本ロバストＩＣＰを実施することで、インライヤーコレスポンデンスの効率的な選択により、古典的な点−面ＩＣＰを使用するよりもはるかに優れた結果がもたらされる。この場合、示されたヒストグラムを計算するための点−面距離推定におけるアウトライヤーの干渉によって、残りは３でピークに達する。
【０３７３】  システムがリアルタイムの結果を提供しなければならないと仮定して、発明者らは、すべてのデータセットにおける様々な種類の運動の姿勢追跡中の全体的な性能を測定した。図１５は、徒歩のセットアップシナリオ向けに各クラウドを登録する際とセンサーの新しい姿勢を計算する際に費やされた実行時間を示す。このプロセスには通常２０〜３０ｍｓかかるが、フレームによっては、約１００ｍｓでピークが観察される。こうしたピークは、木の最後の更新のときから一定の距離移動をすると生じる、オドメーターのｋｄ木生成に関する。センサーが速く移動すればするほど、ますますこの事象は全体の性能に影響を与える。フレームが落ちないようにするために、ｋｄ木生成とオドメーターは、異なるスレッドで実行され、後者は新しいものの準備ができるまで、最後の利用可能なｋｄ木を使用する。
【０３７４】  表ＶＩＩでは、３つの様々なセットアップ（歩き、セグウェイに取り付け、車に取り付け）に関するシステムの平均的な性能が示されている。センサーが速く移動すればするほど、オドメーターのｋｄ木の更新によって性能はどのようにして最低になるのかに着目する。Ｖｅｌｏｄｙｎｅ  ＨＤＬ−３２Ｅセンサーが１２Ｈｚで読み取りを提供するため、すべてのケースでリアルタイムの結果が保証され、追加のオペレーションを行うためのプロセッサ時間が残される。最後に、最新の実施では、すべての追跡計算は単一ＣＰＵコアを使用して行われたということに着目する。
【０３７５】表ＶＩＩ：様々なセットアップ向けのシステムの実行性能
【０３７６】
【表７】
2018522345.tif 000164
【０３７７】  ５  結論
【０３７８】  本発明は、非常に広大な環境の探索を可能にする、十分なリアルタイムの結果とスケールをマップサイズに供給する、屋内のローカライゼーション適用を助けるための好ましい実施形態を伴う完全なシステムを提示する。
【０３７９】  事前処理段階を加えることによって、オドメーターとコンパクトかつ高速計算用の記述子とを使用して測定されたセンサーの局所的な運動を利用する効率的な場所認識装置が提唱されてきた。場所認識装置のトレーニング中に、システムの特定の操作モードに関連する物理的な拘束を考慮するサーチ空間減少戦略が提唱されている。
【０３８０】  姿勢追跡は、一定の最も近い隣接物の探索時間を提供し、メモリ要件を低く維持する、効率的なマップ表現を用いて行われる。本登録アルゴリズムは、（１）幾何学的な安定性を保証する点を選択し、（２）アウトライヤーを効率的に廃棄し、および（３）登録用の参照マップに存在しない点を使用することとマッピングされていない領域をナビゲートすることを可能にする局所的なオドメーターと融合されることによって、ロバストな結果を提供する。
【０３８１】  実験結果は、本システムが高度にスケーラブルであり、追加の操作を行うために、および、たとえ、多くのアウトライヤーが導入されても非常に正確な結果（使用されるセンサーの公称精度内の）を生み出すために、大量のＣＰＵ時間を残しつつフレームレートで追跡を行うことを証明した。
【図１】
2018522345.tif 000202
【図２】
2018522345.tif 000203
【図３】
2018522345.tif 000204
【図４ａ】
2018522345.tif 000205
【図４ｂ】
2018522345.tif 000206
【図５】
2018522345.tif 000207
【図６】
2018522345.tif 000208
【図７】
2018522345.tif 000209
【図８】
2018522345.tif 000210
【図９】
2018522345.tif 000211
【図１０】
2018522345.tif 000212
【図１１ａ】
2018522345.tif 000213
【図１１ｂ】
2018522345.tif 000214
【図１２】
2018522345.tif 000215
【図１３】
2018522345.tif 000216
【図１４】
2018522345.tif 000217
【図１５】
2018522345.tif 000218
【手続補正書】
【提出日】平成29年5月13日(2017.5.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】  このような解決策の略全ては、リアルタイム／オンラインの視覚化を欠いており、更に重要なことに、これらは、獲得及び処理の工程後に任意の直接ユーザー相互作用を可能にしない。
ＵＳ２０１４／００５９３３Ａ１は、ロボットマッピングシステムにより獲得されたパラメータデータをマッピングするシステム及び方法を開示している。環境を特徴化するパラメータデータが集められる一方で、ロボットは目印を使用して自身を環境内に位置付ける。パラメータデータは、複数のローカルグリッド、即ち、データ収集時のロボットの位置と配向に関連したサブマップに記録される。ロボットは、新しいグリッドを生成する又はロボットの現在の姿勢に依存して既存のグリッドを再使用するように構成され、前記姿勢は、他のグリッド、及びこれらの総体的な姿勢の推定の不確実性に関連する。ロボットが、環境における自身の姿勢を判定する目印の場所の推定を精密化すると、グリッドに関連した姿勢の推定は経時的に更新される。占有マップ又は他のグローバルパラメータマップが、環境の範囲を拡張する大域的な基準枠におけるパラメータデータを示す、包括的なマップへとローカルグリッドをレンダリングすることにより生成される場合もある。
ＴＩＭＯＴＨＹ  ＬＩＵ  ＥＴ  ＡＬ：“Ｉｎｄｏｏｒ  ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  ｖｉｓｕａｌｉｚａｔｉｏｎ  ｕｓｉｎｇ  ａ  ｈｕｍａｎ−ｏｐｅｒａｔｅｄ  ｂａｃｋｐａｃｋ  ｓｙｓｔｅｍ”，ＩＮＤＯＯＲ  ＰＯＳＩＴＩＯＮＩＮＧ  ＡＮＤ  ＩＮＤＯＯＲ  ＮＡＶＩＧＡＴＩＯＮ（ＩＰＩＮ），２０１０  ＩＮＴＥＲＮＡＴＩＯＮＡＬ  ＣＯＮＦＥＲＥＮＣＥ  ＯＮ，ＩＥＥＥ，ＰＩＳＣＡＴＡＷＡＹ，ＮＪ，ＵＳＡ，１５  Ｓｅｐｔｅｍｂｅｒ  ２０１０（２０１０−０９−１５），ページ１−１０，ＸＰ０３１８０９３６７，ＩＳＢＮ：９７８−１−４２４４−５８６２−２は、２Ｄレーザスーキャナー及び慣性計測装置（ＩＭＵ）を備えた、ヒトによって操作されるバックパックシステムを使用した屋内の位置確認及び視覚化のための技術を開示しており、そこでは、スキャンの一致に基づくアルゴリズムを使用して、複雑な屋内環境においてバックパックが位置確認される。３Ｄテクスチャモデルの構築時にテクスチャリングに使用される連続画像間の誤整列に対処するために、測定者は、スキャンの一致に基づく位置確認から結果を精密化するための画像ベースの姿勢推定アルゴリズムを提案する。
ＷＯ２０１５／０１７９４１Ａ１は、場面の三次元表示を示すデータを生成するためのシステム及び方法を開示している。場面を示す現行の深さデータは、センサーを使用して生成される。顕著な特徴は、深さデータに関連した深さフレーム内で検出され、このような顕著な特徴は、特徴尤度分布（ｓａｌｉｅｎｃｙ  ｌｉｋｅｌｉｈｏｏｄｓ  ｄｉｓｔｒｉｂｕｔｉｏｎ）と一致させられる。特徴尤度分布は場面を表わし、以前に検出された顕著な特徴から生成される。センサーの姿勢は、検出された顕著な特徴の一致に基づいて推定され、この推定された姿勢は、場面の容積測定表示に基づいて精密化される。場面の容積測定表示は、現行の深さデータと推定された姿勢に基づいて更新される。特徴尤度分布の表示は、顕著な特徴に基づいて更新される。場面を示す画像データも、深さデータと共に生成され且つ使用される場合もある。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
特にＧＰＳが繋がらない環境において、リアルタイムのマッピング、位置確認、及び変化の分析を行うための方法であって、該方法は：
（Ａ）環境の３Ｄ参照マップが存在しない場合、前記環境の３Ｄ参照マップを構築する工程であって、該工程は、
（ａ）３Ｄスキャナーデータを提供するために、１秒につき少なくとも５つのフレームの速度でモバイルリアルタイムレーザーレンジスキャナー（１）により環境を獲得する工程、
（ｂ）各々がスキャナーデータにより画定される関連するポイントクラウドを持つ、レーザーレンジスキャナー（１）の複数の姿勢の各々に関する３Ｄスキャナーデータを使用して、マップ表示を構築する工程であって、マップ表示は、大きな領域にわたる一定時間の高速な最近傍探索及びスケーラビリティにおける、データ構造へのランダムサンプルアクセスのために構成されるデータ構造を持つ、工程、及び
（ｃ）マップ表示を使用して、３Ｄの同時の位置確認及びマッピング（３Ｄ  ＳＬＡＭ）のフレームワークを用いる環境のための３Ｄ参照マップを構築する工程により行われ、前記構築する工程は：
（ｉ）オドメーターモジュールを使用して、ローカルマップ表示への最後のポイントクラウドの登録に基づいて、レーザーレンジスキャナー（１）の現行の姿勢を推定すること、
（ｉｉ）ローカルマップ表示におけるドリフトを最小化するために、ローカル軌道最適化モジュールを使用して、ポイントクラウドのセットの軌道を精密化すること、及び
（ｉｉｉ）軌道のループが閉じたものを考慮する環境の全体のマップを再構築することにより大域的な軌道最適化をオフラインで行ない、それにより前記３Ｄ参照マップを形成することを含む、工程；及び
（Ｂ）環境の既存の３Ｄ参照マップに基づいて、前記環境のリアルタイムのマッピング、位置確認、及び変化の分析を行う工程であって、該工程は、
（ｄ）３Ｄスキャナーデータを提供するために、１秒につき少なくとも５つのフレームの速度でリアルタイムレーザーレンジスキャナー（１）により環境を獲得する工程、
（ｅ）場所認識中に、リアルタイムでスキャナーを自己位置同定するために、場所認識中のレーザーレンジスキャナー姿勢の予備知識無しに、場面内の減少された探索空間を用いてレーザーレンジスキャナー（１）により獲得された場面の単純且つ圧縮された記述子を事前に計算することなく、環境の内部のレーザーレンジスキャナー（１）の現行の場所を識別する工程、
（ｆ）環境におけるスキャナーの位置確認の判定後、最近傍情報を含むデータを利用する標準のＩｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ方法を使用して、環境の前記既存の３Ｄ参照マップ内部の現行のスキャナーデータを登録することにより、スキャナー姿勢を追跡する工程、
（ｇ）現行のスキャナーデータにおける各スキャンポイントと３Ｄ参照マップにおける最も近いポイントとの距離を計算する工程であって、変化の分析はこの距離に閾値を適用することにより実行され、それにより、参照モデルにおいて対応する近傍を持たない現行のスキャナーデータにおける各ポイントは、変化と考慮される、工程、
（ｈ）リアルタイムユーザーインターフェース上で３Ｄ参照マップ及び現行の３Ｄスキャナーデータに関する情報を表示する工程であって、前記情報は好ましくは、情報の変化あり／変化無しといった分類に従い色分けされる、工程により行われる、工程
を含む、方法。
【請求項２】
ローカル軌道最適化モジュールは、最後の登録されたセットに構築されたマップに関して、姿勢のセット、及びそれらの関連するポイントクラウドにより構成された軌道のフラグメントを最適化する、ローカルウィンドウ機構を含み、ここで、ポイントは好ましくは、
【数１】
2018522345.tif 000219
のグループにおける姿勢補間を使用して世界座標において変換され、及び、Ｉｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔの方法の一般化は好ましくは、マップに対して全てのポイントをより良く位置合わせする軌道を見つけるために使用され；ここで、ローカルウィンドウ機構は、リストにおける第１の姿勢と最後の姿勢との距離が閾値よりも大きい時に、クラウドの姿勢が最適化され、且つ新しいリストが精密化された姿勢及び入力クラウドにより生成されるように、作動する、ことを特徴とする請求項１に記載の方法。
【請求項３】
データ構造は、生得的に３Ｄポイントを取り扱うように設定され、且つ、マップ表示における圧縮された密な特徴のリストにインデックスを付けるために使用されるスパースボクセル化構造により構成されるハイブリッド構造に基づいており、探索された空間にわたるスケーラビリティでデータのマップサイズ及び効果的な保管とは別にボクセル座標における一定時間のランダムアクセスを可能にする、ことを特徴とする請求項１又は２に記載の方法。
【請求項４】
データ構造は、保存されたデータの５つの異なる表示を維持し、それにより各マップの更新後に内部データ表示の間の一致を認め、前記５つの異なる表示は、
（ｉ）圧縮された密な特徴のリストＬ、及び最後の要素に対する指標Ｌｌａｓｔであって、各要素
【数２】
2018522345.tif 000220
は、世界座標の位置及び単位法線ベクトルなどの、マップ中の特徴に関連した全ての情報、及び好ましくは追加情報を含んでいる、圧縮された密な特徴のリストＬ、及び最後の要素に対する指標Ｌｌａｓｔ、
（ｉｉ）圧縮された密な有効性マスクＭであって、各要素
【数３】
2018522345.tif 000221
は、その対応するサンプル
【数４】
2018522345.tif 000222
が有効か否かを示し、ｍｉ＝０，ｉ＞Ｌｌａｓｔを確かにする、ブール値である、圧縮された密な有効性マスクＭ、
（ｉｉｉ）ホールのリストＨであって、各要素
【数５】
2018522345.tif 000223
は、
【数６】
2018522345.tif 000224
が有効ではないため
【数７】
2018522345.tif 000225
となることを示している、ホールのリストＨ、
（ｉｖ）パラメーター化可能なセルサイズで構築され、Ｌにおけるその対応する特徴の指標を各セル
【数８】
2018522345.tif 000226
に保存する、スパースボクセル表示Ｖであって、Ｌにおける特徴及びＶにおけるセルは、ｌｉの位置及びＶのセルサイズに基づいて、１対１の様式で関連付けられる、スパースボクセル表示Ｖ、及び
（ｖ）マップ上で最近傍探索を行なうように使用され、且つ、そのメモリフットプリントを低く維持するために密なリストのみに参照を保存する、ｋｄ木Ｋ
である、ことを特徴とする請求項１乃至３の何れか１つに記載の方法。
【請求項５】
中心の位置及び半径により表わされた関心領域を与えられると、内部特徴は、Ｌに保存された要素上をループすることにより選択され、且つ最近傍探索のための高速機構としてｋｄ木が再構築される、ことを特徴とする請求項４に記載の方法。
【請求項６】
工程（ｅ）は、工程（ｄ）のスキャナーデータに基づいたスキャナーの可能な場所のセットの識別を含み、工程（ｅ）は以下のサブ工程：
（ｅ１）最後の３Ｄスキャナーデータに基づいて、記述子空間に閾値半径ｒ、好ましくは３６０度の水平のビュースキャナーデータを与えられたＴ上で放射状捜索を行なうことにより、関連する記述子ｑを計算し、候補の場所
【数９】
2018522345.tif 000227
のセットを回復する工程であって、範囲の値を水平に推移させることにより追加の入力記述子を計算することによって候補の場所を増大させ、各記述子は、そのローカル軸上を回転され且つその後に候補の場所の結果として生じるセットｉそれぞれに従って回転する場合に、スキャナーが生成する読み取り値に対応する、工程、
（ｅ２）重み
【数１０】
2018522345.tif 000228
を各潜在的な場所
【数１１】
2018522345.tif 000229
に関連付ける工程であって：
【数１２】
2018522345.tif 000230
ここで、ｄｐは、Ｔから検索された場所
【数１３】
2018522345.tif 000231
に関連付けられる記述子であり、
【数１４】
2018522345.tif 000232
は、完全に一致する記述子に関しては１であり、サーチスフィアの境界上での記述子に関しては０であり、及び
（ｅ３）ｗにおいて重みを集め、ｍａｘ  ｗ＝１を持つようにこれらの重みを標準化する工程
を含む、請求項１に記載の方法。
【請求項７】
工程（ｅ）は、工程（ｄ）のスキャナーデータに基づいたスキャナーの可能な場所のセットの識別を含み、工程（ｅ）は以下のサブ工程：
（ｅ１）最後の３Ｄスキャナーデータに基づいて、関連する記述子ｑを計算して、候補の場所
【数１５】
2018522345.tif 000233
のセットを再生する工程であって、候補の場所はｑと同様の記述子を持つ、工程、
（ｅ２）重み
【数１６】
2018522345.tif 000234
を各潜在的な場所
【数１７】
2018522345.tif 000235
に関連付ける工程であって：
【数１８】
2018522345.tif 000236
ここで、ｄｐは、Ｔから検索された場所
【数１９】
2018522345.tif 000237
に関連付けられる記述子であり、
【数２０】
2018522345.tif 000238
は、完全に一致する記述子に関しては１であり、サーチスフィアの境界上での記述子に関しては０である、工程、
（ｅ３）ｗにおいて重みを集め、ｍａｘ  ｗ＝１を持つようにこれらの重みを標準化する工程、
（ｅ４）動作を推定し、新たな姿勢にてクエリの結果に基づいて初期の候補の姿勢それぞれについて重みを再評価することにより、センサーが移動している間の候補の場所のセットを更新する工程、及び
（ｅ５）候補の姿勢が１つの場所に集中するまで更新のサブ工程を反復する工程
を含む、ことを特徴とする請求項１に記載の方法。
【請求項８】
特に地動に関して、それによりレーザーレンジスキャナー（１）はフロアを通過するヒト又は車に取り付けられ、前記方法は、
（ｉ）３Ｄ参照マップにおいてフロアの範囲を識別する工程であって、フロアの抽出は、環境Ｖのスパースボクセル表示上で行なわれ、スパースボクセル表示の個々の完全なセルｖ（ｉ）は、候補のフロアのセル
【数２１】
2018522345.tif 000239
を表すボクセルのサブセットを抽出することにより、それらの関連する法線の垂直成分が優性、即ち、
【数２２】
2018522345.tif 000240
であることを確認することにより、その重心
【数２３】
2018522345.tif 000241
の周囲のポイントによりローカルに画定された表面に対する法線ベクトルを含んでおり、ここでεは典型的に０．５〜１の値である、工程、
（ｉｉ）セルの到達可能性を判定する工程であって、到達可能なセル
【数２４】
2018522345.tif 000242
を仮定して、下記条件が満たされる場合に、周囲のセル
【数２５】
2018522345.tif 000243
は全て到達可能であると考慮され：
【数２６】
2018522345.tif 000244
ここで、（６）における
【数２７】
2018522345.tif 000245
は、最大の工程距離（例えば、歩行動作について０．５メートル、又は車の動作についてＶｃｅｌｌＳｉｚｅ）を表し、（７）におけるθ１は最大の垂直工程サイズを表し、（８）における
【数２８】
2018522345.tif 000246
は、フロアのセルｇｉ上に集中する、オブザーバーの単純化された体積を表わす、工程を含む、ことを特徴とする請求項１乃至７の何れか１つに記載の方法。
【請求項９】
マップ構造は、特異的なボクセルサイズで構築される、保存且つ同期される要素の２つの異なるリスト、圧縮された平面のリストＬと密なボクセルのグリッドＶを含み、各平面
【数２９】
2018522345.tif 000247
は、世界座標における位置ｐｉ、及び単位法線
【数３０】
2018522345.tif 000248
を保存し；ここで、ボクセル
【数３１】
2018522345.tif 000249
はそれぞれ、完全、空、又は付近にあり得るの、何れかである現行の状態を保存し、完全なボクセルは、その関連する位置が該当する平面
【数３２】
2018522345.tif 000250
へとインデックスを保存し、空のセルはヌルの参照を保存し、及び付近のセルは、その関連する位置のボクセル中心までの距離が最短である平面
【数３３】
2018522345.tif 000251
へとインデックスを保存し；好ましくは付近のボクセルは、距離ｄｖが与えられた閾値ｄｍａｘ下にある場合のみ考慮され、さもなくばボクセルは空であると考慮される、請求項１乃至８の何れか１つに記載の方法。
【請求項１０】
総合的なシステムのロバスト性を改善するために、スキャナー追跡はオドメーターと組み合わせられ、ここで、姿勢が推定された後、世界座標におけるその関連するポイントは、ｋｄ木に保存され、レーザーレンジスキャナー（１）により新たな獲得物が与えられると、登録アルゴリズムがポイントのセット
【数３４】
2018522345.tif 000252
を作成した時、これは、参照マップ
【数３５】
2018522345.tif 000253
及び以前に固定されたポイントクラウド
【数３６】
2018522345.tif 000254
の両方において最近傍を探索し、
ここで、コレスポンデンスは以下のように画定され：
【数３７】
2018522345.tif 000255
ここで、Ｓはボクセルのセルサイズに対応し、ボクセル化されたグラウンドトゥルースマップと以前に固定されたクラウドの非離散ｋｄ木との間の異なる解像度を補う、ことを特徴とする請求項１乃至９の何れか１つに記載の方法。
【請求項１１】
特にＧＰＳが繋がらない環境における、リアルタイムのマッピング、位置確認、及び変化の分析のためのモバイルレーザースキャニング装置であって、請求項１乃至１０の何れか１つに記載の方法を実行するために配置される、モバイルレーザースキャニング装置。
【請求項１２】
リアルタイムレーザーレンジスキャナー（１）、処理ユニット（３）、電源ユニット、及び携帯型の視覚化及び制御ユニット（４）を含んでおり、ここで、リアルタイムレーザーレンジスキャナー（１）は、スキャナーデータを提供するために１秒につき少なくとも５つのフレームの速度で環境を獲得することができ、処理ユニット（３）は、前記スキャナーデータを分析し、且つ携帯型の視覚化及び制御ユニット（４）に３Ｄマップ／モデル、位置確認、及び変化の情報を含む処理結果を提供するように配置され、携帯型の視覚化及び制御ユニット（４）は、前記処理結果を表示し且つユーザーがモバイルレーザースキャニング装置を制御するのを可能にするように配置される、ことを特徴とする請求項１１に記載のモバイルレーザースキャニング装置。
【請求項１３】
視覚化及び制御ユニット（４）は、タブレットコンピューターである、ことを特徴とする請求項１１又は１２に記載のモバイルレーザースキャニング装置。
【請求項１４】
前記モバイルレーザースキャニング装置は、バックパック（２）又は車両搭載装置である、ことを特徴とする請求項１１乃至１３の何れか１つに記載のモバイルレーザースキャニング装置。
【請求項１５】
３Ｄの屋内のマッピング／モデル化；施設管理；正確且つリアルタイムの屋内の位置確認及びナビゲーション；障害者又は高齢者への補助；設計情報の検証；防護措置検査のためなどの変化の分析；土木のためなどの経過の監視；又は災害管理及び応答のための、請求項１乃至１０の何れか１つに記載の方法、或いは請求項１１乃至１４の何れか１つに記載のモバイルレーザースキャニング装置の使用。
【国際調査報告】
2018522345.tif 000256
2018522345.tif 000257
2018522345.tif 000258
2018522345.tif 000259
2018522345.tif 000260