(57)【要約】  センサをホスティングする車両をローカライズする方法は、センサからのデータを取り込んで、現時点での車両周辺の検知されたシーンを提供する工程と、検知されたシーンを処理して、検知されたシーンから特徴点のセットを抽出し、抽出された特徴点を使用して、以前の時刻でのセンサの位置について検知されたシーンから車両の位置を判断し、検知されたシーンから抽出された特徴点のセットを、保存された経験の１つまたは複数と比較する工程を有する。保存された経験の各々は、特徴点の複数のセットを有する。特徴点の各セットは、以前に検知されたシーンから判断され、検知されたシーンが適宜の保存された経験の中で認識されえるか否かを確かめる。検知されたシーンの抽出された特徴点のセットが、保存された経験の任意の１つの中で認識される場合、保存された経験が使用されて、保存された経験についての現時点での車両の位置の評価を作成する。【選択図】図３
2015508163.tif 000002
【特許請求の範囲】
【請求項１】
センサをホスティングする車両をローカライズする方法であって、
ａ）センサからのデータを取り込んで、現時点での車両周辺の検知されたシーンを提供する工程と、
ｂ）検知されたシーンを処理して、検知されたシーンから特徴点のセットを抽出し、抽出された特徴点を使用して、以前のセンサの位置について検知されたシーンから車両の位置を判断する工程と、
ｃ）検知されたシーンから抽出された特徴点のセットを、保存されたエクスペリエンスの１つまたは複数と比較する工程であって、保存されたエクスペリエンスの各々は、特徴点の複数のセットを有し、特徴点の各セットは、以前に検知されたシーンから判断され、検知されたシーンが保存されたエクスペリエンスの中で認識されえるか否かを確かめる工程と、
ｄ）検知されたシーンの抽出された特徴点のセットが、保存されたエクスペリエンスの任意の１つの中で認識される場合、保存されたエクスペリエンスは、保存されたエクスペリエンスについての現時点での車両の位置の推定を作成するために使用される工程と、
ｅ）前記ａからｄまでの工程の少なくともいくつかを繰り返す工程と
を含むことを特徴とする方法。
【請求項２】
前記方法は、検知されたシーンが、保存されたエクスペリエンスの所定数を超える数の中で認識されない場合、前記方法は、検知されたシーンがさらなる比較のために新たに保存されたエクスペリエンスの一部となるように、検知されたシーンを保存するように構成されていることを特徴とする請求項１に記載の方法。
【請求項３】
前記方法が、検知されたシーンを新たなエクスペリエンスとして保存するので、保存されたエクスペリエンスの１つ以上の中で検知されたシーンの認識を継続することを特徴とする請求項２に記載の方法。
【請求項４】
保存されたエクスペリエンスは、保存されたエクスペリエンスを生成した車両・センサによって使用されることを特徴とする請求項１から３のいずれか一に記載の方法。
【請求項５】
保存されたエクスペリエンスは、保存されたエクスペリエンスを生成する車両・センサに加えて、車両及びセンサの少なくとも一方によって使用されることを特徴とする請求項１から４のいずれか一に記載の方法。
【請求項６】
抽出された特徴点を分析して、現時点で検知されたシーンの中の特徴点を、変換を使用して、第２、後の時間で検知された次のシーンにおける特徴点とリンクさせることを特徴とする請求項１から５のいずれか一に記載の方法。
【請求項７】
検知されたシーン内のノードとリンクする情報を使用して、車両の軌道を生成するように構成されていることを特徴とする請求項６に記載の方法。
【請求項８】
車両の粗いポジショニングを使用して、車両の位置をラフに判断することを特徴とする請求項１から７のいずれか一に記載の方法。
【請求項９】
車両の場所を使用して、どの保存されたエクスペリエンスを考慮して、検知されたシーンがその中で認識されえるか否かを判断することを特徴とする請求項８に記載の方法。
【請求項１０】
画像マッチング技術を使用して、検知されたシーンと類似していると思われる保存されたエクスペリエンスを判断し、次に、検知されたシーンがその中で認識されえるか否かを判断するために同様であると思われる検知されたシーンを使用することを特徴とする請求項１から９のいずれか一に記載の方法。
【請求項１１】
車両がローカライズされたと判断される前に、検知されたシーンが、所定数の保存されたエクスペリエンスの内部で認識されることを要求することを特徴とする請求項１から１０のいずれか一に記載の方法。
【請求項１２】
保存されたエクスペリエンスが、お互いに類似する場所に関係しているか否かを判断し、保存されたエクスペリエンスが、実質的に同じ場所に関係すると判断されるべきであり、係る保存されたエクスペリエンスとリンクすることを特徴とする請求項１から１１のいずれか一に記載の方法。
【請求項１３】
車両をローカライズするように構成されたシステムであって、システムは、現時点での車両の周辺の検知されたシーンを表すデータを生成するように構成されたセンサと、データを処理するように構成された処理回路とを有し、前記処理回路は、
検知されたシーンから特徴点のセットを抽出し、以前の時刻でのセンサの位置に対するデータからの車両の位置を判断し、
前記データを１つ以上の保存されたエクスペリエンスと比較し、
各エクスペリエンスは、ストレージデバイスに保持された特徴点のロケーションの複数のセットを提供して、検知されたシーンが、保存されたエクスペリエンスの中で認識され得るか否かを確認し、
データが、検知されたシーンが保存されたエクスペリエンスの中で認識され得ることを可能にして、次に、保存されたエクスペリエンスを使用して、車両の位置を推定するように構成されていることを特徴とするシステム。
【請求項１４】
ストレージデバイスの少なくとも部分は、前記車両から離れて装備され、前記車両からアクセス可能に構成されていることを特徴とする請求項１３記載のシステム。
【請求項１５】
前記車両に備えられた前記処理回路と通信するように構成されたサーバをさらに有することを特徴とする請求項１３又は１４に記載のシステム。
【請求項１６】
前記処理回路は、利用可能な保存されたエクスペリエンスのサブセットに対して前記データを比較するように構成されていることを特徴とする請求項１３から１５のいずれか一に記載のシステム。
【請求項１７】
前記処理回路は、リモートストレージデバイスから、利用可能な保存されたエクスペリエンスのサブセットを獲得するように構成され、前記利用可能な保存されたエクスペリエンスは、前記車両に備えられたストレージデバイスに部分的に保持されていることを特徴とする請求項１６記載のシステム。
【請求項１８】
センサが装着された車両であって、前記センサは、現時刻での前記車両の周囲の検知されたシーンを表すデータを生成するように構成され、さらに、前記データを処理するように構成された処理回路を有し、前記処理回路は、
前記検知されたシーンから特徴点のセットを抽出して、以前の時刻における前記センサの位置に対する前記データから前記車両の位置を判断し、
前記データを１つ以上の保存されたエクスペリエンスと比較し、
各エクスペリエンスは、特徴点のロケーションの複数のセットを提供して、検知されたシーンが、適宜の個数の保存されたエクスペリエンスの中で認識され得るか否かを確認し、
前記データによって、前記検知されたシーンが、適宜保存されたエクスペリエンスの中で認識され得ることを可能とし、次に、保存されたシーンを使用して、前記車両の位置を推定することを特徴とする車両。
【請求項１９】
１つ以上の保存されたエクスペリエンスのためにネットワークからネットワークリクエストを受け取るサーバであって、
前記サーバは、前記リクエストを処理して、ストレージデバイスからリクエストされ保存されたエクスペリエンスを取り出し、前記リクエストされ保存されたエクスペリエンスを前記ネットワークを介して送信することを特徴とするサーバ。
【請求項２０】
マシンによって読まれたときに、このマシンを、請求項１から１２のいずれか一に記載の方法として動作させるインストラクションを含むマシン読み取り可能な媒体。
【請求項２１】
マシンによって読まれたときに、このマシンを、請求項１３から１７のいずれか一に記載のシステムの少なくとも一部として動作させるインストラクションを含むマシン読み取り可能な媒体。
【請求項２２】
マシンによって読まれたときに、このマシンを、請求項１８に記載の車両として動作させるインストラクションを含むマシン読み取り可能な媒体。
【請求項２３】
マシンによって読まれたときに、このマシンを、請求項１９に記載のサーバとして動作させるインストラクションを含むマシン読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、車両の位置を推定する方法、又は、車両に取り付けられて使用されるように構成されたセンサ、及び関連装置に関する。
【背景技術】
【０００２】
自己位置推定（すなわち、位置の判断、ローカライゼーション）及びマッピングアルゴリズムは成熟しているので、本当にロングタームのナビゲーションの問題は、より差し迫っている。ロボット（実施の形態によっては、これは車両である）ナビゲーションでの共通の問題は、変化する環境において必要とされ、終生の自律を実現するための大きな障害物である。従来のマッピングアプローチは、しばし初期マップを作成する。そして、このマップは、大抵は、（融合や平均化などの処理の結果として）単一のモノリシックアプローチである。初期の訪問において、後の訪問に役立つ外観において十分に近いものとなることが望まれる。近頃、これらの問題と戦う試みがなされている。
【０００３】
ロングタームを達成するために、自立ロボットシステムは、変化する環境において機能できるべきである。そして、これは、当該分野ではビッグチャレンジとして見られる。変化は、多くのソースからやってくる。例えば、突然の構造的な変化や、光の状態、時刻、天候、季節的な変化などである。実例を示すために、屋外操作ロボットに装着されたカメラを備えた自己運動推定の問題を検討する。これは、十分深く研究されたエリアであり、ビジュアルナビゲーション（自己位置推定及びマッピング：ＳＬＡＭ）システムに手を伸ばした。この視覚ナビゲーションシステムは、瞬時に全てのマップを作って位置を推定することができる。しかしながら、ロケーションに再訪するとき、ロケーションが大いに変化することがあり、そして、例えば、降雪しているかもしれない。季節が変化するとき、夏から秋は、シーンの外観は、徐々に変化する。従来技術は、変化する環境内での自己位置推定を可能にする情報を含むモノリシックマップを作成することが必要であることを提案する。
【０００４】
コノリゲ及びボウマン（[1] K. Konolige and J. Bowman, “Towards lifelong visual maps,” in IROS, 2009, pp. 1156-1163）は、視覚ベースのマップシステム（[2]  K. Konolige, J. Bowman, J. D. Chen, P. Mihelich, M. Calonder, V. Lepetit, and P. Fua, “View-based maps,” International Journal of Robotics Research (IJRR), vol. 29, no. 10, 2010）を作り、室内環境での変化に応用した。システムは、ＶＯ（ビジュアルオドメトリ）システムからキーフレームのスケルトングラフを作成する。次に、ノードで保存されたビューは、ビューの最大個数を制限しながらもビュー・ダイバーシティを保存するように設計されたスキームに基づいて、アップデートされたり、削除される。このスケルトンマップは、リファレンスのシングルフレームの中にあり、トロ（[3] G. Grisetti, C. Stachniss, S. Grzonka, and W. Burgard, “A Tree Pa- rameterization for Efficiently Computing Maximum Likelihood Maps using Gradient Descent,” Robotics Science and Systems, 2007）を介して漸増に最適化される。これらは、移動する人々を含むオフィス、備品、及び変化する光の条件に対する結果を示す。
【０００５】
ミルフォード及びホィッスのＲａｔＳＬＡＭシステム（[4] M. Milford and G. Wyeth, “Persistent navigation and mapping using a biologically inspired SLAM system,” The International Journal of Robotics Research, 2009）は、エクスペリエンスのコレクションを保存するエクスペリエンスマップの概念を使用する。このエクスペリエンスは、オドメトリ・ドリフトの問題と戦う他のエクスペリエンスに対するトランジション情報を保存する世界における場所である。時間に亘り、エクスペリエンスマップは、緩和されて、絶対的なエクスペリエンスロケーションと、他に対するトランジション情報との間の差異を最小にする。エクスペリエンスも、密度を下げて維持するために削除される。
【０００６】
バイバー及びデュケット（[5] P. Biber and T. Duckett, “Dynamic maps for long-term operation of mobile service robots,” in Proceedings of Robotics: Science and Systems, Cambridge, USA, June 2005）は、一連のタイムスケールでレーザマップをサンプルし、ロングターム及びショートタームストラクチャの両方を有するシングルマップを作成する。これによって、これらは、ロングタームストラクチャの変化と同様に、ショートタームダイナミックオブジェクトの両方のモデル化を可能にする。これらは、ビジー・ラボ環境に対する一週間に亘る自己位置推定の精度の改善を示す。
【０００７】
ファーガル及びバーフットの研究（[6] P. Furgale and T. D. Barfoot, “Visual teach and repeat for long-range rover autonomy,” Journal of Field Robotics, vol. 27, no. 5, pp. 534- 560, 2010）に注目する。ファーガル及びバーフットは、野外環境でのビジョンを使用するティーチ・リピートシステムを発展させた。ティーチ・フェーズの間、ロボットは、ＶＯを使用する一連のサブマップを作成する。次に、自己位置推定モデルが使用されて、オリジナルパスを再トレースする。これらは、数キロメートルに亘る結果を示す。
【０００８】
しかしながら、上記技術のいずれも、変化する環境に十分に対処していない。変化する環境は、センサ（又はそのセンサを運搬する車両）が環境の中を移動する時に体験される。
【０００９】
本発明の第１の概念によれば、センサをホスティングする車両の位置を推定する方法が提供される。この方法は、以下の行程の少なくとも１つを含む。
ａ）センサからのデータを取り込んで、現時点での車両周辺の検知されたシーンを提供する工程。
ｂ）検知されたシーンを処理する行程。この処理は、過去のセンサの位置について検知されたシーンから車両の位置を判断する行程。
ｃ）検知されたシーンと、保存されたエクスペリエンスの１つまたは複数と比較して、検知されたシーンが適宜の保存されたエクスペリエンスの中で認識されえるか否かを確かめる工程。
ｄ）検知されたシーンが、保存されたエクスペリエンスの中で認識される場合、保存されたエクスペリエンスは、保存されたシーンについての現時点での車両の位置の推定を作成するために使用される工程。
ｅ）前記ａからｄまでの工程の少なくともいくつかを繰り返す工程。
【００１０】
係る方法を提供する実施の形態は、有利であると考えられている。その理由は、実施の形態は、従来のシステムより、より確実に変化する環境の中での車両の位置推定を可能にするからである。さらに、係る実施の形態は、必要が生じた場合に、検知されたシーンに関するデータは、保存されることが必要とされることを意味し、係るストラテジは、プロセシングの量と共に一緒に必要とされるストレージの量を減らすことにも役立つ。このプロセシングの量は、保存されたデータを処理するために必要とされる。本発明の実施の形態は、従来技術よりもより正確であり、予測されるメモリが少なく、また、高速である。
【００１１】
車両の位置を推定（ローカライズ）するという用語は、センサによって生成されたデータから、以前の時刻に対する車両の位置を判断することに関することを意味する。自己位置推定は、センサからのデータを採用し、そのデータを、シーンの過去の表現（大抵は、マップによって提供され、または、保存されたエクスペリエンスによって実施の形態の中で提供される）の存在の中で処理し、その過去の表現についての車両の姿勢（位置）のパラメータ表示を考え出す能力である。多くの場合、本発明の実施の形態の中で、過去の表現は、複数の保存されたエクスペリエンスによって提供される。
【００１２】
都合の良いことに、係る方法は、以下のように構成されている。すなわち、現在のシーンが、所定個数を超える保存されたエクスペリエンスの中で認識されない場合、方法は、検知されたシーンが、将来の比較のための新しい保存されたエクスペリエンスの一部になるように、検知されたシーンを保存する。係る実施の形態は、自身のエクスペリエンスから学習する以上に効果的であると考えられる。車両が多くを検知するにつれて、車両が将来使うことができる保存されたエクスペリエンスの個数は、増加する傾向がある。
【００１３】
本発明の実施の形態によって使用されるアプローチは、冬の木の上の特徴点は、単純であり、夏の同じ木の上で注目される特徴点でないことに注目する。正午の濡れた路上で見られる詳細は、道路が乾いているときに夜明けに見られるものとは異なる。本発明の実施の形態は、事物の整合をとることを強制しない。例えば、火曜日の環境が、水曜日に相当異なっている場合、実施の形態は、これらを、その環境のエッセンスを等しく捉えている２つの独立したエクスペリエンスとして扱う傾向がある。実施の形態は、地形学的にこれらを一緒に結合するのみである。後に、実施の形態によっては、保存されたエクスペリエンスを後述する場所のコンセプトを介してリンクしても良い。
【００１４】
車両の新しいエリアへの最初の訪問の時、本発明の実施の形態は、ビジュアルな特徴点の配置（多くの場合、センサから生成されたデータによって提供される）を新しいエクスペリエンスとしてセーブする。
【００１５】
しかしながら、センサや車両は移動するので、本発明の実施の形態は、適宜保存したエクスペリエンスの中で検知したシーンの場所を推定することを試みるように構成されている。このエリアを再訪するとき、センサや車両は、データのライブストリーム（画像）を使用して、保存したエクスペリエンスの中で位置を推定することを試みる。実施の形態によっては、方法は、保存されたエクスペリエンスが、これらのエクスペリエンスを使用する車両やセンサによって生成されるように構成されている。
【００１６】
しかしながら、他の実施の形態では、保存されるエクスペリエンスは、これらのエクスペリエンスを生成した車両やセンサ以外の車両やセンサによって使用されることもある。これは、エクスペリエンスを生成した車両やセンサによって使用されることの追加となりえる。係る実施の形態は、エクスペリエンスをプールすることによって、複数の車両が保存されたエクスペリエンスにアクセスが可能となるものとして考えられる。この方法は、データが、複数の車両によって組み立てられたり、またはシェアされることを可能にするため、効果的である。
【００１７】
車両が、この新しいエクスペリエンスのセービングを継続するので、車両は、以前に保存されたエクスペリエンスにおいて再び位置を推定しようとする（すなわち、保存されたエクスペリエンスの中で検知されたシーンの認識）ように構成されている。再度の位置推定が、適宜のポイントで成功すれば、新しいエクスペリエンスのセービングは、停止され、この方法は、以前のエクスペリエンスにおける位置の推定に戻る。
【００１８】
係る方法は、大抵、実施の形態が、頻繁に変化する検知されたシーンに対してより多くの表現を保存するように、又はより不変の検知されたシーンに対しては殆ど表現を保存しないようにしている。
【００１９】
このように、実施の形態は、新しいルートを扱い、自己位置推定の失敗をシームレスに完了する。多くの場合、自己位置推定の失敗は、新しいエクスペリエンスのセービングをドライブする。自己位置推定の失敗は、悪い、又は溶けないデータ結合によるものと考えられている。以前存在したものが、単に、現在はそこにはないということである。
【００２０】
従来技術の過去のアプローチとは対照的に、実施の形態によっては、現在保存されるエクスペリエンスが不十分なときに、新しいエクスペリエンスを保存するのみである。かかる方法は、結果として、異なるビジュアルモードを表現する保存されたエクスペリエンスの各々になり、よって、削除は懸念ではない。実施の形態によって、各エクスペリエンスは、リファレンスの自身のフレームに出て行くことが可能となり、係る方法によって、自己位置推定は、並列処理が可能となり、適宜の時刻に複数のエクスペリエンスの使用が可能とされる。これは、また、異なるビジュアルモードが、相当異なっているかもしれないが、同一の物理的空間を表現することを可能とする。
【００２１】
実施の形態によっては、センサからのデータは、データのストリームの一部であってもよい。
【００２２】
一の実施の形態において、センサは、カメラの立体的なペアである。このように、係る実施の形態のセンサからの出力は、画像のストリームであり、画像のペアのストリームである。
【００２３】
方法は、センサの出力に対する初期処理を実行する。このセンサの出力は、ステレオカメラによって生成される画像の対の間の共通の特徴点を特定する。初期処理は、車両の場所の３Ｄモデルを生成する。このように、実施の形態は、検知されたシーンから特徴点のセットを抽出し、センサや、センサが装着されている車両やロボットなどの位置を判断するときに、これらの抽出された特徴点を使用する。
【００２４】
３Ｄモデルは、リファレンスが後で作成されるエクスペリエンスを提供する。実施の形態によっては、エクスペリエンスは、特徴点の複数のセットによって提供され、この場合、特徴点のセットの各々は、所定の検知されたシーンから抽出される。大抵は、実施の形態によって、センサは、車両の軌道に対する３Ｄ特徴点（すなわち、データ内のポイント）の途切れることのないストリームを生成する。このように、軌道は、ステレオペアが取り付けられた時間の中の様々な瞬間での一連のポイント、時間について過去のポイントに対する相対的な姿勢、及び複数の３Ｄ特徴点として、考えられている。
【００２５】
方法は、センサからのデータを分析して、検知されたシーンの中での（ポイントやノードとして参照される）３Ｄ特徴点を判断するように構成されている。さらに、第１の時刻での画像（又はセンサによって作成された検知されたシーンの別の表現）の中の３Ｄ特徴点を、変換を使用して、第２の、後の時刻での後の画像にリンクするように構成されている。このリンク行為は、センサや車両の軌道を提供する。
【００２６】
方法は、画像内のランドマークを判断するように構成されている。ランドマークは、センサからの出力の中で認識可能な構造物であり、大抵は、現実世界の障害物に相当する。例えば、ランドマークは、建物のコーナや樹木などに相当する。
【００２７】
本発明の実施の形態において、方法は、センサや車両に対するランドマークの位置を生成するように構成されている。センサがステレオカメラである実施の形態において、ランドマークの位置は、両方の画像からの情報を使用して判断される。
【００２８】
大抵は、当該方法は、適宜の１の検知されたシーン内で複数のランドマークの位置を推定する。
【００２９】
他の実施の形態では、センサには、レーザスキャナ、レーダ、ライダ（レーザ光による検知と測距）、３Ｄフラッシュ・ライダ、マイクロソフト（登録商標）Ｋｉｎｅｃｔ（登録商標）などが設けられても良い。
【００３０】
方法は、センサ（又は、センサが装着されている車両）の荒いポジショニングを利用して、センサの位置をラフに判断する。特に、本発明の実施の形態は、車両の位置を特定するための、グローバル・ポジショニング・システム（ＧＰＳ）や、１つ以上のアクセレロメータ、他のオドメトリシステム等を使用する。
【００３１】
実施の形態は、センサ（又はセンサが装着されている車両）の位置を使用して、検知されたシーンがその中で認識され得るか否かを判断するために、保存されたエクスペリエンスのうちのいずれかを考慮して判断する。粗いポジショニングを使用するセンサの位置は、ループクロージャを使用するものとして考慮される。
【００３２】
他の実施の形態は、粗いポジショニングの使用を追加したり、又は代替とするが、画像マッチング技術を使用して、検知されたシーンと視覚的に類似する保存されたエクスペリエンスを判断する。係る実施の形態は、有効と感じられる。その理由は、視覚的に類似する保存されたエクスペリエンスは、検知されたシーンとの整合を提供する良好な候補を提供するからである。
【００３３】
方法は、並行処理されるように構成され、方法は、適宜の時刻に、複数の保存されたエクスペリエンスの中で、検知されたシーンを認識しようとする。これは、適宜の時刻にて複数のローカライザを実行させているものとして考えられる。検知されたエクスペリエンスの中での検知されたシーンの認識に加え、方法は、検知されたシーンの中に位置するノードから、保存されたエクスペリエンス内のこれらのノードまでの変換を計算する。
【００３４】
方法は、車両の位置が推定されたことを判断する前に、検知されたシーンが、所定個数の保存されたエクスペリエンスの中で認識され得ることを要求する。係る行程を備える実施の形態は、車両の位置が実際に正しく推定されたことをかなりの確からしさで提供するものと考えられる。
【００３５】
方法は、保存されたエクスペリエンスが、互いに類似する場所に関係するかどうかを判断するように構成されている。保存されたエクスペリエンスが、類似する場所であるとして判断される場合、実施の形態は、係る保存されたエクスペリエンスをリンクする。保存されたエクスペリエンスをリンクして係る場所を形成することは、有効であると考えられている。その理由は、場所が使用されて、保存されたエクスペリエンス内で検知されたシーンの認識を支援するからである。
【００３６】
保存されたエクスペリエンスは、センサからの生のデータ出力、車両の粗い位置、時刻と日付、天候の状態、センサからの出力内で測定されたノード、車両の場所の生成された３Ｄマップのうちのいくつかを含む。
【００３７】
本発明の第２の概念によれば、車両の位置を推定するように構成されたシステムが提供される。当該システムは、現時点での車両の周辺の検知されたシーンを表すデータを生成するように構成されたセンサと、データを処理するように構成された処理回路とを有する。処理回路は、以下の行程の少なくとも１つを実行するように構成されている。
【００３８】
以前の時刻でのセンサの位置に対するデータから車両の位置を判断する行程。
【００３９】
データを、ストレージデバイスに保持された１つ以上の保存されたエクスペリエンスと比較し、検知されたシーンが、保存されたエクスペリエンスの中で認識され得るか否かを確認する行程。
【００４０】
データによって、検知されたシーンが、保存されたエクスペリエンスの中で認識され得ることを可能にして、次に、保存されたエクスペリエンスを使用して、車両の位置を推定する行程。
【００４１】
ストレージデバイスは、ハードドライブや、ハードドライブのアレイなどの適宜の形態で設けられている。ストレージデバイスは、分散型である。
【００４２】
実施の形態によっては、ストレージデバイスの少なくとも一部は、車両に装着されている。他の実施の形態では、ストレージデバイスの少なくとも一部は、車両から離れて設けられていても良く、車両にアクセス可能に構成されている。
【００４３】
システムは、車両に設けられた処理回路と通信するように構成されたサーバを有する。サーバは、適宜のネットワークを介して処理回路と通信するように構成されている。そして、ネットワークは、インターネットや、３Ｇ、４Ｇ、ＷＩＦＩなどの通信ネットワークを含む。
【００４４】
処理回路は、データを、利用可能な保存されたエクスペリエンスのサブセットと比較するように構成されている。実施の形態によっては、処理回路は、リモートストレージデバイスから、利用可能な保存されたエクスペリエンスのサブセットを取得するように構成されている。そして、利用可能な保存されたエクスペリエンスのサブセットは、車両に設けられたストレージデバイスに局部的に保持されている。
【００４５】
本発明の第３の概念により、センサ及び処理回路が装着された車両が提供される。センサは、現時刻での車両の周囲の検知されたシーンを表すデータを生成するように構成される。処理回路は、データを処理するように構成される。さらに、処理回路は、以下の行程の少なくとも１つを実行するように構成されている。
【００４６】
以前の時刻におけるセンサの位置についてのデータから車両の位置を判断する行程。
【００４７】
データを１つ以上の保存されたエクスペリエンスと比較して、検知されたシーンが、適宜の保存されたエクスペリエンスの中で認識され得るか否かを確認する行程。
【００４８】
データによって、検知されたシーンが、適宜保存されたエクスペリエンスの中で認識され得ることを可能とし、次に、保存されたシーンを使用して、車両の位置を推定する行程。
【００４９】
本発明の第４の概念により、１つ以上の保存されたエクスペリエンスのためにネットワークからネットワークリクエストを受け取るサーバが提供される。このサーバは、リクエストを処理して、ストレージデバイスからリクエストされ保存されたエクスペリエンスを取り出し、リクエストされ保存されたエクスペリエンスをネットワークを介して送信する。
【００５０】
本発明の第５の概念により、マシンによって読まれたときに、このマシンを、本発明の第１の概念による方法として、本発明の第２の概念によるシステムの少なくとも一部として、又は、システムの第３の概念による車両の処理回路として、動作させるインストラクションを含むマシン読み取り可能な媒体が提供される。
【００５１】
本発明の任意の上記概念において参照されるマシン読み取り可能な媒体は、ＣＤＲＯＭ、ＤＶＤ  ＲＯＭ/ＲＡＭ（−Ｒ/−ＲＷ、又は＋Ｒ/＋ＲＷを含む）、ハードドライブ、メモリ（ＵＳＢドライブ、ＳＤカード、コンパクトフラッシュ（登録商標）カードなどを含む）、送信された信号（インターネットダウンロード、ｆｔｐファイル転送などを含む）、ワイヤなどを含む。
【００５２】
本発明の上記の適宜の概念について記載される特徴は、本発明の他の概念に適用され得るし、または、その逆も適用される。
【００５３】
以下の記載は、本発明の実施の形態の詳細な記載を例示するのみである。
【図面の簡単な説明】
【００５４】
【図１】車両の場所に対して車両の位置を推定する車両の実施の形態を利用する車両の概略図。
【図２】車両の場所が、時刻や場所が経験する天候に応じてどのように変化するかを説明する一連の写真。
【図３】本発明の実施の形態の方法を示す概略図。
【図４】例えば、図１の車両において使用されるビジュアルオドメトリシステムからの出力を示す概略図。
【図５】場所に関するデータをアップデートする方法を示す概略図。
【図６】場所が変化する（ａ及びｂ）または比較的一定のままである（ｃ及びｄ）のシーンのさらなる説明を提供する図。
【図７】図に示すトラック周辺の複数の行程から生成され且つ保存されるエクスペリエンスの個数を示す図。
【図８】検知されたシーンが、テスト回路のトラバース用に保存されたエクスペリエンスに追加される方法を示す図。
【図９】図７及び８の結果を作成するために使用される行程用の天候の統計を示す図。
【図１０】現在検知されたシーンが、保存されたエクスペリエンスとして保存される方法についてのデータを記録するエフェクトを示す図。
【図１１】検知されたシーンが、保存されたエクスペリエンスとして保存される方法についての天候のエフェクトを示す図。
【図１２】図７のトラックの周辺の第１行程の間の自己位置推定の失敗の実施例を示す。
【図１３】図７のトラック周辺の第２工程の間の自己位置推定の失敗の実施例を示す。
【図１４】図７のトラックの周辺の第３工程の間に、図１に示す車両の処理回路のタイミング性能を示す図。
【図１５】例示的な実施の形態の概略を説明するフローチャート。
【図１６】本発明のさらなる分散実施の形態を示す図。
【発明を実施するための形態】
【００５５】
本発明の実施の形態を、車両１０２に装着されたセンサ１００との関連で、また、図１５に示すフローチャートとの関連で記載する。センサ１００は、その場所をモニタし、モニタに基づいてデータを生成するように構成され、故に、車両１５００周辺の検知されたシーンについてのデータを提供する。記載されている実施の形態において、センサは車両１０２に装着されているので、センサ１００も、車両の現場をモニタするように構成されている。
【００５６】
記載されている実施の形態において、センサ１００は、パッシブセンサ（すなわち、放射を生成せず、放射を検出するのみ）であり、特に、ステレオカメラである。センサ１００は、２つのカメラ１０４、１０６を含む。当業者であれば、係るセンサは、２つの分離したカメラによって設けられていることを理解する。
【００５７】
他の実施の形態において、センサ１００は、レーザスキャナなどの他の形態のセンサからなっても良い。センサ１００は、自ら放射を発して、反射された放射を検出するように構成されたアクティブセンサでもよい。
【００５８】
図１に示す実施の形態において、車両１０２は、道路１０８に沿って移動し、車両１０２の移動に伴い、センサ１００は、現場（例えば建物１１０や道路１０８など）を撮像する。本実施の形態において、車両１０２は、さらに、センサからのデータを取り込み、次にセンサ１００によって生成されたデータ（この場合は画像）を処理するように構成された処理回路１１２を有する。このように、処理回路は、センサ１００からデータを取り込み、どのデータが現時点で車両の周辺から検知されたシーンを提供するかを判断する。記載されている実施の形態において、処理回路１１２は、さらに、車載のストレージデバイス１１４を有し、このストレージデバイス１１４にアクセスする。
【００５９】
図の下方部分に、代表的な処理回路１１２に見られる部品を示す。処理ユニット１１８は、Ｉ５、Ｉ７プロセッサなどのインテル（登録商標）Ｘ８６からなる。処理ユニット１１８は、システムバス１２０を介して、Ｉ／Ｏサブシステム１２２（さらに、外部ネットワークやディスプレイなど）及びメモリ１２４と、通信するように構成されている。
【００６０】
当業者であれば、メモリ１２４は、揮発性メモリ、ハードドライブ、不揮発性メモリなどを含むさまざまな部品によって設けられていることを理解する。メモリ１２４は、処理ユニット118の制御の下に複数の部品を有する。
【００６１】
しかし、多くの場合、メモリ１２４は、実行されたときのアクションを行うプログラムコードを保存するように構成されたプログラム記憶部１２６と、一時的にまたは永久的にデータを保存するために使用され得るデータ記憶部１２８とを備える。
【００６２】
他の実施の形態において、処理回路１１２の少なくとも一部は、車両から離れて設けられていても良い。センサ１００によって生成されたデータの処理は、車両１０２から離れて、または、一部は車両１０２にて、一部は車両１０２から離れて、実行される。実施の形態によっては、処理回路の一部が車両内に、他の一部が車両から離れて設けられ、処理回路の一部と他の一部とは、ネットワーク（３Ｇ ＵＭＴＳ（ユニバーサル・モバイル・テレコミュニケーション・システム）やＷｉＦｉ（ＩＥＥＥ ８０２．１１）等）によって接続されている。
【００６３】
道路に沿って移動する車両を参照するのは都合が良い。しかし、当業者であれば、本発明の実施の形態は、車両への取り付けに限定されず、船やボートなどの海運用船舶、飛行機などの航空車両にも適用されることを理解する。同様に、以下の記載において、カメラ１０４、１０６によって生成された画像データを参照することは便利である。しかし、本発明の他の実施の形態では、他のタイプのデータを生成しても良い。
【００６４】
センサ１００は、センサ１００が接続される処理回路１１２、及び処理回路１１２上で実行されるソフトウエアと共に、ビジュアルオドメトリ（ＶＯ）システムと称されるものを形成する。記載されている実施の形態において、ビジュアルオドメトリ（ＶＯ）システムは、カメラ（１０４、１０６）から生成されたデータを使用して、（瞬間的な）３Ｄモデルの世界を継続的に生成する。多くの場合、ＶＯシステムは、カメラペアからの各画像内の特徴点（ノードまたはポイントとして参照される）の位置を探し出す。そして、この特徴点は、両画像内で探し出される。これらの特徴点は、後の画像との間で（すなわち、第１、すなわち過去の時間と、第２、おそらく現在の時間との間で）追跡され、車両１０２の軌道を作成する。
【００６５】
カメラのこの配置は、ステレオペアとして参照される。記載されている実施の形態において、車両１０２が走行しているとき、ＶＯシステムは、常にオンであり、常にカメラ（１０４、１０６）からのデータ（すなわち、画像）のライブストリームを使用し、２つのカメラ１０４、１０６から生成された画像の間の相対的変形（すなわち、カメラ姿勢）を推定して軌跡を生成し、また、これらのカメラ姿勢に対する特徴点の位置を作成する。カメラの立体的な特質によって、特徴点の３次元の位置を、カメラに対して計算することが可能となる。
【００６６】
センサ１００や車両１０２は移動するので、特徴点のロケーションの複数のセットが生成される。すなわち、特徴点のセットが、各シーンから生成される。ロケーションの複数のセットは、エクスペリエンスとして参照される。処理回路１１２は、エクスペリエンスに対し、以下のメタデータの少なくとも１つを保存するように構成されている。メタデータは、センサ１００から生成されたデータ（これは、本実施の形態において、２つのカメラからの画像）、特徴点（すなわち、３Ｄの特徴点のロケーション）、時間や日付、天候、（グローバルポジショニングシステムＧＰＳなどの）ロケーション、輝度の測定値、トラフィックレベル、雲量、センサのタイプなどである。
【００６７】
故に、車両１０２が移動するので、エクスペリエンスは、相対姿勢及び特徴点（すなわち、ノード）のロケーションのセットとして保存される。これは、保存される相対姿勢のセットであることに留意する。本発明の実施の形態は、一般的に、単一のグローバルフレームを使用して動作しない。本発明の実施の形態は、センサ１００近傍のカメラモーション及び３Ｄ特徴点のロケーションの測量用の的確なアイディアを、現在の姿勢にする。本発明の実施の形態は、センサから相当離れ且つセンサ１００によって検出できない（すなわち、この場合見ることのできない）物体のロケーションを判断する必要はない。ここに記載されるように、車両１０２がエリアを再訪するとき、自己位置推定が、このエリアに関係する過去の（保存された）エクスペリエンスの中で試行される。係る自己位置推定は、以前にセンサの位置に関係して検知されたシーンから車両１０２の位置を判断しようとする試行として考えられる。この場合、過去のセンサの位置は、保存されたエクスペリエンス又はその各々によって提供される。このような関係において、自己位置推定は、保存されたエクスペリエンスの少なくとも１つの中で、現在時刻でセンサ１００によって提供され、検知されたシーンを認識するものとして考えられる。なお、保存されたエクスペリエンスは、過去の時刻におけるセンサのロケーションを提供する
【００６８】
車両１０２が、保存されたエクスペリエンスのセットの周辺を移動する時間に亘り、エクスペリエンスの各々は、互いに独立である。ローカライザは、保存されたエクスペリエンスの各々と関連付けされ、その保存されたエクスペリエンス内で検知されたシーンを試行して認識するように構成されている。他の実施の形態において、ローカライザは、複数の保存されたエクスペリエンスを処理するように構成されても良い。
【００６９】
本発明の実施の形態は、保存されたエクスペリエンスを処理して、以前に保存されたエクスペリエンスの中で、車両１０２やセンサ１００の現在のロケーションを突き止めようとするように構成されている。すなわち、実施の形態は、車両１０２の位置を突き止める試行の中で、検知されたシーンを保存されたシーンと比較する（ステップ１５０６）。実施の形態は、コンパレータ１３４（すなわち、ローカライザ）を含むものとして考えられる。自己位置推定によって、処理回路１１２は、現在のライブ画像が、以前の（保存された）エクスペリエンスに対して首尾良く整合するかどうかを判断することができる。この自己位置推定は、処理回路１１２で実行されるローカライザ１３０によって行われ、自己位置推定は、以前に保存されたエクスペリエンスを独立に維持することによって、可能になる。
【００７０】
本発明の実施の形態は、検知されたシーン内のランドマークを判断するように構成されていてもよい。ランドマークは、大抵は、建物のコーナなどの実世界の物体に相当する。ランドマークは、検知されたシーン内で認識されるものであり、次に、車両に対するランドマークの位置が判断される。本実施の形態において、これは、幾何学的な計算によって実行される。その理由は、ステレオカメラペアは、２つの画像を提供し、その中で、ランドマークが発見されて、センサに対するランドマークのロケーションを判断する十分な情報を提供するからである。ランドマークが作成されるとき、データのパッチが保存される。記載されている実施の形態において、これは、ピクセルデータであり、一の実施の形態において、９×９グリッドの画素が保存される。実施の形態によっては、特定されたランドマークやデータのパッチを、保存されたエクスペリエンスの一部として保存する。
【００７１】
保存されたエクスペリエンスに対して検知されたシーンをマッチさせるために、実施の形態は、検知されたシーンの中で探し出されたランドマークに対して、保存されたエクスペリエンスの中で見いだされるランドマークを探しだそうとする。これは、保存されたシーン内のランドマークに関連するデータのパッチ（この場合は９×９グリッドの画素）の位置を、検知されたシーン内で見いだされたものと共に、突き止めようとすることによって達成される。記載されている実施の形態において、ローカライザは、保存されたエクスペリエンスと関連付けられ、保存されたエクスペリエンスの中でランドマークと関連するデータのパッチを探す。そして、これは、検知されたシーンの中で保存されたエクスペリエンスと関連している。
【００７２】
実施の形態によっては、高レベルでパッチのマッチングが行われる。これは、適切な候補のパッチが、迅速にその位置が突き止められ、後に、整合が実際に生じたかどうかを特定するために、より詳細な比較を行うためである。
【００７３】
以前のエクスペリエンスでの自己位置推定は、並列に実行でき、システムは、関連する過去のエクスペリエンスを利用することが可能である。実際は、ランタイムで、一般的に、アクティブで且つ上手に位置が突き止められたエクスペリエンスの個数は、小さいことが分かっている。後述するように、大抵は、新しいエクスペリエンスの各々は、作成されるのみである。その理由は、データは、保存されたエクスペリエンスの所定数（Ｎ）よりも少なく整合されるのみであるからである（記載されている実施の形態において、これは、カメラ１０４、１０６によって生成される画像は、整合されず、２以上の保存されたエクスペリエンス及び自己位置推定は、実行できないことを意味する）。故に、エリアへの後の訪問は、少数の保存されたエクスペリエンスの中でのみ位置の推定が行われるべきである。それは、これらの訪問が、視覚的に異なるコンストラクションによるからである。このように、方法が、検知されたシーンが十分なエクスペリエンス（すなわち、所定数以上）の中で整合できないことを判断すれば、自己位置推定は実行できず、検知されたシーンは、大抵、新しい保存されたエクスペリエンスとして保存される。この新しい保存されたエクスペリエンスは、将来の比較ステップ１５０８のために使われる。
【００７４】
このように、本発明の実施の形態は、変化する環境の中でロングタームのナビゲーション用のフレームワークを提供する。記載するように、手短には、車両１０２は、継続的に、ＶＯシステムから環境の３Ｄモデルを作成する。そして、ＶＯシステムは、センサ１００からのライブ画像ストリームを入力として取り込む。同時に、車両１０２の処理回路１１２は、日和見主義的には、以前に保存されたエクスペリエンスの中で現在の位置を特定するよう試みが行われる。
【００７５】
自己位置推定が過去のエクスペリエンスの中で成功する場合、実施の形態は、現在の場所の表現が十分であると仮定し、次に、保存されたシーンに関して現時点での車両の位置の推定を作製することが可能である。しかしながら、自己位置推定が過去のエクスペリエンスの中で実行できない場合、新しいエクスペリエンスが、ＶＯシステムの出力をセービングすることによって創作される。
【００７６】
エクスペリエンスは、εによって示され、ｊ番目のエクスペリエンスは、ｊεとして参照される。このように、全てのエクスペリエンスのセットは、マップを作成する。このマップは、便宜上、プラスチックマップと称される。このマップは、式（１）として与えられる。
【００７７】
【数１】
2015508163.tif 000003
【００７８】
多くの場合、本発明の実施の形態は、ローカルにナビゲートし、さらに、「ループをクローズする」ことができる能力に依存する。これは、車両１０２やセンサ１００が以前に訪問した場所（以前に保存されたエクスペリエンス）に戻ったときに認識される。
【００７９】
ローカルにナビゲートする技術は、様々な文献に示されている。これらの文献は、軌道推定システムを提供する。特に、レーザスキャナを使用する技術は、以下に議論されている。
[7] M. Bosse and R. Zlot, “Map Matching and Data Association for Large-Scale Two-dimensional Laser Scan-based SLAM,” International Journal of Robotics Research, vol. 27, pp. 667-691, 2008.
【００８０】
ビジョンシステムを使用する軌道推定の技術は、以下の文献に示されている。
[8] D. Nister, O. Naroditsky, and J. Bergen, “Visual Odometry for Ground Vehicle Applications,” Journal of Field Robotics, vol. 23, 2006.
[9] C. Mei, G. Sibley, M. Cummins, P. Newman, and I. Reid, “Real: A system for large-scale mapping in constant-time using stereo,” International Journal of Computer Vision, pp. 1-17, 2010, special issue of BMVC.
【００８１】
これらの文献の内容は、リファレンスとして本明細書に取りこまれている。当業者であれば、特に、軌道がＶＯシステムから車両のために判断される方法について、上記を読んで理解するものと考える。
【００８２】
さらに、ループ・クロージャ技法は、現在のセンサデータが以前のエクスペリエンスの中で体験されたかどうかを判断するために使用される。この技法が、以下のビジョンシステムに関連して教示されている。
[10] M. Cummins and P. Newman, “Highly Scalable Appearance-Only SLAM FAB-MAP 2.0,” in Robotics Science and Systems, 2009.
【００８３】
また、この文献のコンテンツが、リファレンスとして本明細書に取りこまれている。当業者は、特に、ＶＯシステムからのループ・クロージャシステムの実行について、上記を読んで理解するものと考える。係るシステムは、多くの場合、保存されたエクスペリエンスの中で、画像の位置を突き止めようとする（すなわち、画像マッチング技術を提供する）。この保存されたエクスペリエンスは、視覚的に、検知されたシーンのものと同様である。ＦＡＢＭＡＰは、ループ・クロージャとして考えられる。このループ・クロージャが使用されて、保存されたエクスペリエンスに関連するローカライザをトリガして、その保存されたエクスペリエンスを検知されたシーンと共に位置を突き止める。
【００８４】
当業者は、グローバル・ポジショニング・システム（ＧＰＳ）が利用可能であることを理解する。ＧＰＳは、２、３メートルの精度でロケーションを提供することができる。このように、本発明の実施の形態は、粗い位置を与えるＧＰＳシステム１１６や同様な他のシステムからの出力を使用する。ＧＰＳシステム１１６の出力は、多くの場合、処理回路に接続されて、処理回路による車両１０２の粗い位置の特定を可能にする。「粗い位置」の用語は、センサ１００からのデータの処理を使用して得られるポジショニングと比較するとき、比較的不正確な意味を意味するように意図されている。
【００８５】
しかしながら、本発明の実施の形態は、センサ１００からの出力を使用し、以前に保存されたエクスペリエンスに対する車両１０２の動作を、ミリメートル、又は少なくとも２、３センチメートルのオーダで判断することができる。
【００８６】
このように、広義に記載するように、ＶＯシステムは、一連のステレオフレームＦｋ＝｛Ｆ０，....、Ｆｋ｝で動作する。
【００８７】
時刻ｋで、ステレオフレームは、処理され、カメラノードｎkは、６自由度の変換ｔｋ＝［ｘ，ｙ，ｚ，θｒ、θｐ、θｑ］Ｔによって、ノードｎk-1にリンクされる。なお、θｒ、θｐ、θｑは、それぞれ、ロール、ピッチ、ヨーである。ノードｎk-1は、第１の時間で生じるものとして考えられ、ノードｎｋは、第２の、後の時間で生じるものとして考えられている。処理回路１１２は、検知されたシーン１５０２の中でノードを特定する。これらのノードは、後述するように、一連のフレームに亘って追跡され、車両の軌道を生成する（１５０４）。実施の形態は、この機能１３２を実行するノードロケータを有するものとして考えられている。
【００８８】
新しい３ＤのランドマークがＦｋとして初期化されれば、これらのランドマークも、カメラノードｎｋに結合される。ｎｋに結合される係るｉ番目のランドマークは、時刻ｋでのカメラフレームにおけるｌi,k＝［ｘ、ｙ、ｚ］T−ベクトルとして表す。なお、ｉはグローバルインデックスである（従って、各ランドマークは、固有のＩＤを有する）。カメラノードｎｋも、Ｆｋの中で観測される全てのランドマークのリストを含むように構成されている。多くのランドマークは、他のノードに結合される。その中のいくつかが初期化される。
【００８９】
フレームｐにおいて記載されるランドマークは、pπqによって表現される演算によってｌ＊,pから１＊,qを変換することによって、異なるフレームｑにリンクされることができる。
【数２】
2015508163.tif 000004
【００９０】
記載されている実施の形態において、ＶＯシステムは、カメラ１０４、１０６によって生成されたライブフレームストリーム（すなわち、データ）で連続的に動作する。新しいエクスペリエンスが作製される場合（これが生じるときについての以下の記載を参照）、新しいエクスペリエンスjεが作製され、ＶＯシステムからの出力は、このエクスペリエンスの中で保存される。そして、jεは、カメラノードｎk，インターノード変換及び関係する３Ｄ特徴点のチェーンである。エクスペリエンスにおけるノードをjεmと称す。後に、これらのチェーンが、協力してプラスチックマップを作成するために、どのように関係するかについて説明する。
【００９１】
このように、図４は、エクスペリエンスが、ノードｎによって表現されている一連のフレームから組み立てられる方法を示す。ＶＯシステム（円によって示される）からの出力の各フレームは、ｎk-2からｎkを介してｎk+1まで示されている。なお、現在のフレームｎkは、参照符号４００によって示す。ノードｎの各々は、Ｆk-1とＦkとの間のカメラの動きを記載する６度の自由変換によってリンクされている。
【００９２】
さらに、一連のランドマーク４０２、４０４、４０６、４０８が、現在のフレームＦkの中で車両１０２の場所と共に記されている。これらのランドマーク４０２、４０４、４０６、４０８の各々は、変換されて、上記式（２）を使用してｋに関係する。
【００９３】
上記に広義に記載するように、ローカライザが使用されて、以前のエクスペリエンスの中で車両１０２の現在のロケーションの位置を突き止める。広義では、これは、以前のエクスペリエンス（保存されたエクスペリエンス）の中で検知したシーンを認識しているものとして考えられる。複数のローカライザが設けられ、各ローカライザは、以前のエクスペリエンス（すなわち保存されたエクスペリエンス）に対して動作する。ライブフレームＦkとすると、各ローカライザのタスクは、以前のエクスペリエンスにおいてフレームＦkからノードｎまでの変換を計算することである。
【００９４】
ローカライザは、ライブＶＯシステムに対し、以前のフレームＦk-1ではない保存したエクスペリエンスから来る提案されたランドマークセットを除いて、同様な方法で動作する。ランドマークは、エクスペリエンスの中で以前の位置を取り囲むローカル領域から採用される。さらに、記載されている実施の形態において、ローカライザは、現在のＶＯ出力又は以前のエクスペリエンスのいずれか一方の中で、ランドマークを追加したり、またはアップデートすることは試行していない。ローカライザは、両方のインパクトの観点から、完全に受け身的である。すなわち、ローカライザは、現在のＶＯ出力、又は以前のエクスペリエンスのデータを変更しない。
【００９５】
ローカライザは、それが、失われたかどうかを知るように構成されている。すなわち、入ってくるフレームＦkは、以前のエクスペリエンスにおいてもはやローカライズされていない。これを計算する多数の方法が存在する。可能性は、インライアとして見いだされたり又は分類されるランドマークの個数と、現在のＶＯ出力との比較とを含む。各時間ステップでの各ローカライザの出力は、それが首尾良くローカライズされれば、
【数３】
2015508163.tif 000005
を示す２進数の結果である。うまくいけば、ローカライザに、Ｆkが最も近いエクスペリエンスの中のノードに対して問い合わせる。
【００９６】
【数４】
2015508163.tif 000006
ローカライザが消滅したと宣言された場合、ローカライザは、以下に記載するように、外部の支援を受け取るまでこの状態に留まる。そして、以前のエクスペリエンスと共に再びループを閉じる。
【００９７】
Ｎを、適宜の時刻において成功したローカライザの最小許容個数と定義する（すなわち、以前のエクスペリエンスの中、又はさらなる期間の中での現在の位置を判断する成功した試行。Ｎは、保存されたエクスペリエンスの所定の最小個数であり、このエクスペリエンスの中で、検知されたシーンは、自己位置推定が生じたと考えられる前に認識されるべきである）。各フレームＦkに対して、アクティブエクスペリエンスのセットＡが計算される。Ａにおける各エクスペリエンスに対し、関連するローカライザが動作し、結果は、各々の成功又は失敗を示す２進数のベクトルＳである。Ｓの絶対値が、Ｎより小さくなれば、新しいエクスペリエンスjεが作成され、ＶＯ出力は、Ｓの絶対値がＮ以上に戻るまで保存される。このプロセスは、アルゴリズム１によって記載される。
【数５】
2015508163.tif 000007
【００９８】
検知されたシーンが、Ｎを超える個数の保存されたシーンの中でローカライズできれば、これらの保存されたエクスペリエンスに対する車両１０２の位置を判断することは可能である（ステップ１５１２）。
【００９９】
このアルゴリズムは、図３を参照して説明できる。そして、この図３の上方領域に、分離された「エポック」が示されている。各エポックは、３つの別々の時刻でのＶＯシステムの出力からのフレームのセットＦkを示す。本実施の形態において、成功したローカライザの最小個数（Ｎ）は、２にセットされている。
【０１００】
図の左側に位置する第１のエポックＡに対し、フレームの各々は、Ｆk-2からＦkを介してＦk+3までラベルが付されている。他のエポック（Ｂ及びＣ）の各々も同様にラベルを付すことができるが、明確さを理由にラベルを付していない。
【０１０１】
エポックＡからＣのフレームの各々の下に、３つの表現がある。上部の円の列は、ＶＯシステムからの現在の出力を表し、第２の、中間の円の列は、エクスペリエンス１において保存されたデータを表し、第３の、下方の円の列は、エクスペリエンス２において保存されたデータを表す。
【０１０２】
エポックＡにおいて、センサによって作成されたイメージは、２つの異なるトレンドのデータの組み合わせであり、これは、ブラック・グレイ３００及び水平の実線３０２として考えられている。エクスペリエンス１を見ると、データの中に「水平」実線トレンドがあることが分かり、ローカライザも、現在のイメージをエクスペリエンス１と共にローカライズすることができる。エクスペリエンス２を見ると、データの中に「ブラック・グレイ」トレンドがあることが分かり、ローカライザも、現在のイメージをエクスペリエンス２と共にローカライズすることができる。Ｎ＝２であることに留意すると、新しいエクスペリエンスを作成する必要がない。その理由は、既に最小個数でローカライズされ、ＶＯ出力は、単に無視されているからである。
【０１０３】
エポックＢに移ると、センサによって作られたイメージは、２つの異なるトレンドのデータの組み合わせであり、ブラック・グレイ３００及び水平の点線３０４として考えられる。エクスペリエンス１を見ると、水平の実線３０２のトレンドは、現在の像の中でローカライズできない。しかしながら、エクスペリエンス２を見ると、現在のデータの中にブラック・グレイトレンドがあり、ローカライザは、エクスペリエンス２の中で現在のデータをローカライズすることができる。しかしながら、Ｎは２にセットされ、単一の自己位置推定のみが生じているため、ＶＯシステムの出力は、新しいエクスペリエンス３０６として保存される。
【０１０４】
エポックＣに移ると、現在のイメージの中のトレンドは、ブラック・グレイ及び水平の実線に戻る。水平の実線は、エクスペリエンス１及び２の両方のおいてローカライズされている。ＶＯシステムからの出力は、再び、無視される。
【０１０５】
当業者であれば、Ｎを超える自己位置推定が発生したとしても、そうしないことが効果的であるとの傾向があることから、実施の形態は、ＶＯ出力を保存することを理解する。不必要なデータの保存は、データのより多量の蓄積と、システムの性能の低下の可能性につながる。
【０１０６】
そのためのプラスチックマップ（式（１）によって特定される）は、結合していない空間領域をカバーする多数のエクスペリエンスを、同一の領域の異なる外観を捉えることに加え、保存する。従って、エクスペリエンスは、全ての時刻において、全て関係するわけではない。すなわち、ＶＯシステムは、異なる空間領域や異なる視覚的外観から情報を出力しても良い。環境における車両の空間的位置は、全てのエクスペリエンスによって捕捉されない。故に、どのエクスペリエンスがＦkに対して適用可能であるかを計算することが必要とされる。エクスペリエンスは、リファレンスの単一のフレームの中に保存されない。故に、ローカル変換を集積して１つから他のものへの位置を推定することは可能ではない。
【０１０７】
１のフレームから他のフレームへの位置を推定できないことを克服するために、出願人は、場所の概念を導入した。これらの場所は、エクスペリエンスの間のトポロジー的なリンクを作成する。場所は、Ｐとして、ｚ番目の場所はＰZとして参照される。
【０１０８】
ＰZ＝｛jεm｝は、（様々なエクスペリエンスから取りこまれた）全ノードのセットである。そして、このノードは、同時にローカライズされるものとして周知である。このように、ＰZは、同一の物理的場所を見るカメラフレームのセットである。
【０１０９】
Ｆkが、複数のエクスペリエンスの中で同時にローカライズされるとき、場所を作ることができる。直近のノードに対してサクセスフルなローカライザの各々について問い合わせることによって、セット｛jεm｝kを備えた場所を作ることができる。しかしながら、以前に作成された場所が、これらのノードのいくつかを含むことも可能である。これらのノードの中で、Ｆkから作成されたセットと、以前の場所とを結合している。
【０１１０】
【数６】
2015508163.tif 000008
【０１１１】
なお、右手側のＰZは、Ｆkから作成されたノードが以前の場所にあるかどうかに依存して、潜在的に空のセットである。場所の生成及び結合の簡単な実施例を図５に示し、図３を参照して説明する。
【０１１２】
最初に図３を参照すると、事実上、図面の中で参照される３つのエクスペリエンスがあることが分かる。水平の実線で示されるエクスペリエンス、ブラック・グレイで示されるエクスペリエンス、水平の点線で示されるエクスペリエンスである。図５もまた、３つのエクスペリエンスを示す。エクスペリエンス１、２、３は、それぞれ、ブラック、グレイ、ホワイトの円によって示される。
【０１１３】
図５は、以前のフレームＦpreviousを示し、エクスペリエンス１及びエクスペリエンス２の両方においてそのフレームをローカライズし、次に、場所Ａを作成することが可能である。しかしながら、現在のフレームＦkにおいて、エクスペリエンス２及びエクスペリエンス３の中でローカライズして場所Ｂを作成することが可能である。従って、場所Ａ及びＢが、（両方にエクスペリエンス２を含むことにより）実際に同一の場所を参照していると結論することができる。場所Ａ及びＢは、結合されて場所Ｃを作成することができる。
【０１１４】
このように、再び図３を参照すると、３つのエクスペリエンスの全てがここでは参照され（エクスペリエンス１、エクスペリエンス２、及びエポックＢにおいてＶＯから保存されたエクスペリエンス）、全てが実際に同一の場所を参照する。その理由は、エクスペリエンス２が、３つの全てのエポックＡからＣに共通するからである。
【０１１５】
このように、図３に関係して議論されるように、場所は、エクスペリエンスをリンクするために使用することができる。エクスペリエンスノードのセットと共に全ての場所について問合せ、これらのノードを含む場所のセットを受け取る能力を使用する。この問合せは、Ωを介して定義される。
【０１１６】
【数７】
2015508163.tif 000009
【０１１７】
１）関連したエクスペリエンスの計算：上述の如く、保存されたエクスペリエンスは、車両の現在の位置を必ずしもカバーするとは限らないので、保存されたエクスペリエンスの全てが、Ｆkに対して関連しているわけではない。故に、実施の形態によって、ローカライザは、２つの状態、アクティブと、不活性とを取り得る。Ｆkを処理する前に、以前のフレームからの成功したローカライザの位置のセット｛jεm｝k-1が使用されて、関係する場所のセットを生成する。
【０１１８】
【数８】
2015508163.tif 000010
【０１１９】
次に、各不活性ローカライザは、自身が有するノードの存在を、｛ＰZ｝relatedを問い合わせる。何らかが存在する場合、ローカライザは、回復した位置で自身をアクティブにする。車両１０２がエクスペリエンスの範囲を超えて移動する（すなわち、ローカライザが、図３について記載されるように道に迷う）時、関連するローカライザは、自身を不活性にセットする。
【０１２０】
２）道に迷ったローカライザの再初期化：ローカライザは、もはや現在のフレームＦkを追跡できなくなったので、道に迷う。しかしながら、これは、一時的な状態であり、ローカライザは、エクスペリエンスの中で、自身を再びローカライズすることが可能である。エクスペリエンスは、ローカライザが最初に迷った後しばらくの間、再び関連性のある状態になる。故に、実施の形態は、道に迷ったローカライザを再び初期化する。道に迷ったローカライザの再初期化の失敗は、データ用に増加した保存条件と、余分なデータを考慮して低下した処理性能と共に、システムの必要とされるよりも多くのエクスペリエンスの保存につながる。
【０１２１】
本発明の実施の形態は、１つのエクスペリエンスの中での周知のロケーションを前提として、位置は、場所を介して他のエクスペリエンスに対して周知である。故に、実施の形態によっては、再初期化できるか否かを判断するために、迷子になったローカライザは、周期的に｛ＰZ｝relatedを問い合わせるように構成されている。
【０１２２】
ときどき、自己位置推定プロセスの全てが、迷子になる。そのポイントで、システムは、それがプラスチックマップの中にあることを知らない。これは、現在のロケーションがかなり変化したか（例えば、降雪）、又は、車両１０２が新しいルートを探検しているためである。理由の如何に関わらず、ＶＯシステムは、ライブフレーム（データ）ストリームの処理を継続し、エポックＢについて図２について記載されるような新しいエクスペリエンスへの出力をセービングする。しかしながら、車両１０２が、その後、場所に戻ることは可能であり、プラスチックマップにおいてその場所をローカライズして再取得することができる。すなわち、車両１０２は、Ｎよりも大きな個数のエクスペリエンスを今一度ローカライズできる。この問題の解決のために、この問題は、繰り返されるトラバースに対して次第に頻繁ではなくなるべきであり、迷ったローカライザを再初期化できる外部のループ・クローザが使用される。
【０１２３】
外部のループ・クロージングは、新しい回路から以前に調査された回路を再結合する車両についての議論で以下に議論する図７に関してハイライトされている。
【０１２４】
しかしながら、実施の形態によっては、ＧＰＳなどのシステムは、車両１０２の粗い位置を与えるために使用される。係る実施の形態において、車両の粗い位置は、処理回路のよって使用されても良い。処理回路は、どの保存されたエクスペリエンスが、その中での車両の自己位置推定のために考慮する候補を見込んでいるかをハイライトする。車両１０２の粗いポジショニングは、車両１０２をローカライズするためにどの保存されたエクスペリエンスが使用されるかの特定を支援する（ステップ１５１０）。実施の形態は、ループクロージャ１３６を有するものとして考慮する。
【０１２５】
本発明の実施の形態において、一般的に、ひとたび、関係するローカライザのセットが計算されると、各々は独立になり、並列処理できる場合がある。データの関連性（すなわち、保存されたエクスペリエンスからのランドマークの、検知されたシーンのステレオカメラフレームの各々へのマッチング）及び軌道推定ステップ（すなわち、現在のフレームと以前のフレームとの間の車両の姿勢の変化の判断）が計算時間よりも優位に立つと仮定する場合、これらを並列処理することによって、実施の形態は、現在は、１５Ｈｚでフレームを処理することができる。当業者は、さらなる処理パワーが追加され、データが処理される頻度が増加することを理解する。
【０１２６】
当業者は、センサデータのストリームから軌道を処理して生成できるシステムの実行方法を理解していると考えるが、以下の文献をリファレンスとして提供する。これらの文献は、リファレンスとして取りこまれ、当業者は、これらの文献の関係する部分を読むものとする。
【０１２７】
ロバストなデータ関連性を得るために、本発明の実施の形態は、バイナリ・ロバスト・インデペンデント・エレメンタリ・フィーチャーズ（ＢＲＩＥＦ）ディスクリプタを使用しても良い。
[11] M. Calonder, V. Lepetit, C. Strecha, and P. Fua, “BRIEF: Binary Robust Independent Elementary Features,” in European Conference on Computer Vision, September 2010.
【０１２８】
ＢＲＩＥＦディスクリプタの特徴点は、高速で、処理回路１１２のＣＰＵを使用するのみで、計算し、且つ整合を行い、ＳＵＲＦ[１２]へ相当する性能を提供することができる。
[12] H. Bay, A. Ess, T. Tuytelaars, and L. V. Goo, “Surf: Speeded up robust features,” Computer Vision and Image Understanding (CVIU), vol. 110, pp. 346-359, 2008.
【０１２９】
本発明の実施の形態は、ＧＰＵ（グラフィックスプロセッサ）を使用してもよく、ＳＵＲＦ等のディスクリプタの実行が、利用可能であり、フレームレート性能を可能にする。
[13] N. Cornelis and L. V. Gool, “Fast Scale Invariant Feature Detection and Matching on Programmable Graphics Hardware,” in Computer Vision and Pattern Recognition, 2008.
【０１３０】
しかしながら、各ローカライザにおける整合行程及びライブＶＯシステムは、ＧＰＵへのアクセスを要求する（入力されるフレーム上の特徴点の抽出は、独立であり、スタート時に１回実行され得る）。大抵のシステムは、せいぜい１つのＧＰＵを有するのみなので、ＧＰＵを使用する要求は、マルチコア又はマルチプロセスシステムでＣＰＵオンリープログラムが実行される場合に比較して、並列処理を困難にする。実施の形態は、ＣＰＵベースの方法を使用する傾向がある。
【０１３１】
実施の形態は、ＢＲＩＥＦ用の対象のポイントを計算するＦＡＳＴコーナーエクストラクタを使用してもよい。
[14] E. Rosten, G. Reitmayr, and T. Drummond, “Real-time video annotations for augmented reality,” in Advances in Visual Computing. LNCS 3840, December 2005, pp. 294-302.
【０１３２】
実施の形態によっては、整合したランドマークが、Ｍｅｉによって記載される、有効２次整合を使用するサブピクセル精度に改善される。
[15] C. Mei, S. Benhimane, E. Malis, and P. Rives, “Efficient homography- based tracking and 3-d reconstruction for single-viewpoint sensors,” IEEE Transactions on Robotics, vol. 24, no. 6, pp. 1352-1364, Dec. 2008.
【０１３３】
データは、ベグブローク・サイエンス・パーク周辺の２つのセミ・オーバラッピング０．７ｋｍルートの５３のトラバースから集められた。データは、グループ調査車両、ワイルドキャットを使用して、様々な日時や異なる天候で３ヶ月の期間に亘り集めた。
【０１３４】
図７は、車両１０２などの車両によってドライブされた２つのルートに沿った、サイトのオーバーヘッドを示す。外側のループ７００は、極太線によって示され、第１の４７のトラバースで運転された。一方、最後の６のトラバースは、内側のループ７０２を介して進行し、薄線によって示されている。プロットの強度は、どれだけ多くのエクスペリエンスが、各ポイントに存在するかを示し、スケールを、図の右に示す。図示する目的で、外部のループ・クロージャからの信号を制御し、各ループで１４の所定ポイントでのみ行った。ポイントは、各ループに沿って略均等に配置される。ローカライザは、迷子になり、これらの１４の所定ポイントで再ローカライズされ得る。当業者は、他の実施の形態が、これとは異なる方法で、おそらくランダムに、実質的に継続して、又は所定の時間間隔などで実行されることを理解する。
【０１３５】
ルートの領域によっては、他の領域よりも多くのエクスペリエンスを必要とする。図６に、低視覚変化及び高視覚変化の両方を呈する場所の例を示す。高視覚変化を有する場所の例は、図６（ａ）に示す駐車場である。この空間のコンテンツ及び構成は、日ごとに変化し、故に、この数日間に保存されたエクスペリエンスは、役立つ見込みはない。もう１つは、図６（ｂ）に示すように、樹木が張り出すことによってカバーされている道の部分である。太陽光線によって、強力且つ複雑な陰影効果が生じている。ライブＶＯシステムがランドマークを提供することは有効ではあるが、ロケートされたランドマークは、以前のエクスペリエンスが有効では無いことを意味することに対して遭遇しない。高度の視覚変化を有する画像は、いつもライブＶＯシステムの使用と遭遇する。
【０１３６】
対照的に、図６ｃ及び６ｄは、範囲が開放的な道路を示す。道は、同じような天候の条件の中で、一定の外観を呈している。
【０１３７】
図８は、捕捉された時間と共に、各トラバースのうちどの程度がセーブされたかを示す。ここに、訪問回数は、データが収集された順番にある。図の左側に、プラスチックマップが相対的に広範囲であり、多数のエクスペリエンスが保存されないときに、多くのＶＯ出力が保存される。トラバースの個数が増加するにつれて、保存されるＶＯ出力の量は、減少する。車両１０２が、以前のエクスペリエンスの中でそれ自身をローカライズできるからである（図３に関して、Ｎよりも大きな自己位置推定が生じたときに、新たなＶＯ出力はもはや保存されない）。
【０１３８】
トラバース３５−３８のあたりで大きなジャンプが発生する。その理由は、夕暮れになったので、第１時刻のデータが集められたからである。道も、水たまりがあり、また、若干雨が降っていて、システムが以前に遭遇しない。図１３は、トラバース３８でセンサによって生成された画像を提供する。画像ｂ）及びｄ）は、トラバース３８で生成されるが、画像ａ）及びｃ）は、過去のトラバースで作成され、保存されたエクスペリエンスと関係している。このように、トラバース３８で生成した画像は、過去のトラバースのものとは異なる。
【０１３９】
訪問４７での第２のスパイクは、最初に内側ループ７０２をドライブすることによって生じる。突然、自己位置推定は成功せず、ループクロージャが動作するまで、全セクションがセーブされる。ループクロージャは、車両１０２の位置を再ローカライズすることができる。インナーループ７０２が再結合するとき、又はその後まもなく、アウターループ７０４及びローカライザは、保存されたエクスペリエンスの中で再びローカライズすることができる。
【０１４０】
図８に詳細を記載する。グラフは、将来の使用のためにセーブされるＶＯ出力の部分（左側の軸を参照）を示す。また、結果は、Ｎ（車両１０２が迷子になっていないと決定するために必要とされる自己位置推定の最小個数）を変えたことの効果をハイライトする。結果は、グラフの各ラインに対して使用されるシンボルを変更することによって、ローカライザＮ＝１，Ｎ＝２、Ｎ＝３の最小個数を示す。
【０１４１】
各トラバースに対して、他の訪問が単一の利用可能なエクスペリエンスとして使用され、且つ結果を平均する毎に、セーブされたＶＯ出力の部分を計算した。これを、単一の過去のエクスペリエンスによる平均（ＡｗＳＰＥ）と称す。また、これは、三角マークを有する点線によって示されている。
【０１４２】
図１２は、トラバース４での自己位置推定の失敗の例である。強力な影の影響に、最初に遭遇し、画像ａ）及びｃ）は、過去のトラバースから生成されてエクスペリエンスとして保存され、一方、画像ｂ）及びｄ）は、トラバース４で生成される。
【０１４３】
このように、図１２及び１３について分かるように、環境内で大きな変化を生じる状況が生じた場合（夕暮れ時や異なるルートでのドライブ）、車両１０２は、ルートを再訪するので、それは、大抵は、各トラバースのＶＯ出力の僅かなものを記憶する必要がある。
【０１４４】
多数のエクスペリエンスをセーブする効果を評価して、プラスチックマップを、上記の本発明の実施の形態について記載するものとして作るために、エクスペリエンスが、実行され、このエクスペリエンスは、１回の前回の訪問の中で現在のＶＯデータをローカライズしようとする。すなわち、変化する環境を捉えようとする試みはしない。これらのエクスペリエンスに対し、保存されたエクスペリエンスのみが、選択された実施例の訪問であるとして制限され、ルートの各トラバースにおいて、セーブが必要とされるＶＯ出力の量は、各ケースにおいて判断され、自己位置推定の失敗を示し、そして、結果は平均化される。このように、第１のパスとして、トラバース番号１は、選択された実施例であるとして採用され、トラバース番号２〜５３に対して保存されたエクスペリエンスのみとして使用される。第２のパスにおいて、トラバース番号２は、選択された実施例であるとして採用され、トラバース番号１及び３〜５３に対して保存されたエクスペリエンスのみとして使用される。このパターンは、トラバースの各々が、選択された実施例として使用されるまで繰り返される。
【０１４５】
これらは、図８において、単一の過去のエクスペリエンスを有する平均（ＡｗＳＰＥ）として参照される。全ての訪問に亘り、セーブされる平均ＶＯ出力は、６８．５％であり、他の訪問用の前として、特別に「良好」な訪問はない。これは、環境を表す複数のエクスペリエンスの使用を動機付ける。時間に亘り、新しいルートを明らかにし、上述のようにプラスチックマップを生成する実施の形態は、「１／（トラバースのカウント）」減衰を生成する。これは、システムが、ルートの典型的な変動を捉えるからである。
【０１４６】
データが収集される順番は、優先シーケンスである。しかしながら、異なる性能のグラフを作成するためには、５３！の方法で順番付けされてもよい。ポイントを欲深くするために、並べ替えは、アウタールートの１０個の最も意外なトラバースと、システムの最初及び再実行に対する６個のインナートラバースが存在する中で行われた。結果としての性能のグラフを図１０に示す。最も「興味深く」且つ「意外な」トラバースは、プラスチックマップの作成の開始に移動される。かなり低下するまえのトラバース１８まで、（大いに変化するトラバースが発生しているが）エクスペリエンスの蓄積はハイに留まることに留意する。
【０１４７】
各トラバースを、曇天又は晴天のいずれかとして分類することも可能である（各訪問の天候を図９に示す）。さらなる実施の形態において、データは、曇天又は晴天のエクスペリエンスのみを使用して再処理され、その結果を図１１に示す（４つの夕暮れ時及び６つのインナーループトラバースは除外）。興味深いことに、曇天のみのトラバース（図１１の上方のグラフ）では、システムは、十分なエクスペリエンスを素早く蓄積して、曇りの状態を管理する。一方、晴天のトラバース（図１１の下方のグラフ）は、若干オフセットされたバイアスを有する。若干オフセットされたバイアスは、過去の困難なエクスペリエンスの中での自己位置推定を行う効果を遮ることによって生じるものと考えられる。このような遮りは、図６（ｂ）に見ることができる。
【０１４８】
最後に、テスト車両で実行するシステムの性能を図１４に示す。トラバース４７にて各フレームに対して成功したローカライザ及びタイミング性能の個数を示す。トラバース47は、インナーループの最初のトラバースである。自己位置推定は、フレーム１２９６までは成功する。このフレーム１２９６のポイントで、車両がインナーループへと入る。このポイントで、新しいエクスペリエンスが始まる。保管された関係するエクスペリエンスが無いため、自己位置推定はない。フレーム２２３９で、外部ループクロージャは、起動し、結果として、自己位置推定は成功し、新しいエクスペリエンスのセービングを停止する。アクティブローカライザの個数の変化に拘わらず、フレーム毎のタイミングは、大抵、１００ｍｓより下となる。一方、シーケンスの成功した自己位置推定パートの平均（すなわち、フレーム１２９６−２２３９を含まず）は、５３ｍｓである。
【０１４９】
図１６は、図１のシステムと比較すると変形されたシステムの実施の形態を示す。しかしながら、理解を容易とするために、同様な部品は、同一の参照番号を付すものとする。本実施の形態において、処理回路１１２には、３Ｇ  ＭＯＤＥＭ等の無線通信手段１６００が設けられている。無線通信手段１６００によって、処理回路１１２は、ネットワーク１６０２を介して、リモートサーバ１６０４との通信が可能となる。ネットワークは、適宜のネットワークでよいが、大抵は、インターネットである。当業者は、サーバ１６０４は、図面においては単一のデバイスとして表されているが、実際には、多数の分離したデバイスからなり、互いに異質のデバイスでも良い。
【０１５０】
図１６に示すような実施の形態において、リモートサーバ１６０４は、センサ１００から作成されるデータ（やＶＯシステムからの出力）を処理する処理負荷を部分的に共有する。しかしながら、サーバは、車両１０２をローカライズするために使用されるエクスペリエンスを保存しても良い。
【０１５１】
上述したように、センサ１００からのデータ出力は、時刻、天候などにより実質的に変化する。保存されたエクスペリエンスのサブセットは、現在の場所で車両１０２をローカライズするためには役立つことが考えられる。
【０１５２】
リモートサーバ１６０４は、ストレージデバイス１６０６において、エクスペリエンスのセットを保存するように構成されている。車両１０２は、保存されたエクスペリエンスのサブセットをダウンロードするように構成されている。このように、ストレージデバイス１６０６は、車両１０２に装着されたストレージデバイスを提供する。エクスペリエンスのサブセットは、以下のものの１つ以上を含む様々なパラメータに依存して車両１０２にダウンロードされる。なお、以下の者は、時刻、天候条件、目的とするルートなどである。
【０１５３】
車両１０２は、車両１０２が作るトラバースの間に新しいエクスペリエンスを生成する。次に、車両１０２は、リモートサーバ１６０４にその新しいエクスペリエンスをアップロードするように構成されている。
【０１５４】
サーバ１６０４に保持されるエクスペリエンスのセットは、複数の車両によって作成されてもよい。サーバ１６０４は、エクスペリエンスの宝庫を提供する。このエクスペリエンスは、これらのエクスペリエンスを使用して車両をローカライズすることを希望する適宜の車両によって使用される。
【０１５５】
本発明の実施の形態は、車両１０２の継続的な自己位置推定のデモを行う。この自己位置推定は、所定の期間に亘る明暗や天候条件の変化である。この所定の期間は、エクスペリエンスの中では、３ヶ月の期間だった。実施の形態は、プラスチックマッピングであるものを使用した。本実施の形態は、建物の、単一のモノリシックマップの組み立てや潜在的な根本的な状態にはフォーカスしない。この潜在的な根本的な状態は、作業空間の全ての観察を説明する。本実施の形態は、複数のオーバーラッピングするエクスペリエンスから構成される合成表現の作成にフォーカスする。この表現（すなわち、プラスチックマップ）は、必要とされているほどに複雑で且つ豊富である。実施の形態は、多くの場合、同じ方法で、強烈的でかつ潜行性の変化を対処する。それと同じくらい素早く、以前のエクスペリエンスは、現在の新しいエクスペリエンスは、将来の参考用にセーブされることを十分に記載し損ねる。エクスペリエンスは、３ヶ月のデータを使用して、自己位置推定の性能（ロバストネス）の中でプラスチックマップの利点を示す。なお、この３ヶ月のデータは、既に獲得されたものであり、プラスチックマップのメンテナンスの漸近特性のデモをすることが可能である。
【０１５６】
当業者は、上述の特徴点の多くは、ソフトウエア、ファームウエア、又はハードウエア、或いはこれらの組み合わせによって実行されることを理解する。これらの技術の組み合わせによって実行されるシステムも、カバーされる。
【符号の説明】
【０１５７】
１００  センサ
１０２  車両
１１２  処理回路
１６０４  サーバ
１６０２  ネットワーク
【図１】
2015508163.tif 000011
【図２】
2015508163.tif 000012
【図３】
2015508163.tif 000013
【図４】
2015508163.tif 000014
【図５】
2015508163.tif 000015
【図６】
2015508163.tif 000016
【図７】
2015508163.tif 000017
【図８】
2015508163.tif 000018
【図９】
2015508163.tif 000019
【図１０】
2015508163.tif 000020
【図１１】
2015508163.tif 000021
【図１２】
2015508163.tif 000022
【図１３】
2015508163.tif 000023
【図１４】
2015508163.tif 000024
【図１５】
2015508163.tif 000025
【図１６】
2015508163.tif 000026
【国際調査報告】
2015508163.tif 000027
2015508163.tif 000028
2015508163.tif 000029
2015508163.tif 000030
2015508163.tif 000031