(57)【要約】  位置特定およびマッピングの方法である。この方法は、グローバルシステム位置に関連付けられた車両に搭載されたカメラで画像を記録するステップと、車両に関連付けられたコンピューティングシステムのランドマーク識別モジュールにより、画像に示されるランドマークを識別するステップであって、識別したランドマークがランドマーク地理的位置および既知のパラメータを有する、ステップと、コンピューティングシステムの特徴抽出モジュールにより、画像からランドマークパラメータのセットを抽出するステップと、コンピューティングシステムにおいて、抽出したランドマークパラメータのセットと既知のパラメータの比較に基づいて、車両とランドマーク地理的位置の相対位置を求めるステップと、コンピューティングシステムにおいて、相対位置に基づいてグローバルシステム位置を更新するステップとを備える。【選択図】図１
2019527832.tif 000002
【特許請求の範囲】
【請求項１】
位置特定およびマッピングのための方法であって、
・グローバルシステム位置および位置誤差に関連付けられた車両に搭載されたカメラにより、位置誤差が閾値誤差値を超えることに応答して画像を記録するステップと、
・車両に関連付けられたコンピューティングシステムのランドマーク識別モジュールにより、前記画像に示されるランドマークを識別するステップであって、ランドマークが、ランドマーク地理的位置および既知の寸法に関連付けられている、ステップと、
・前記コンピューティングシステムの特徴抽出モジュールにより、ランドマークの既知の寸法に基づいて、前記画像からランドマークポーズを抽出するステップと、
・前記コンピューティングシステムにおいて、抽出したランドマークポーズに基づいて、車両とランドマーク地理的位置との間の相対位置を求めるステップと、
・前記コンピューティングシステムにおいて、前記相対位置に基づいて、グローバルシステム位置を更新するステップと、
・グローバルシステム位置の更新に応答して、位置誤差を閾値誤差値よりも小さい誤差値に設定するステップと、
・前記コンピューティングシステムにおいて、車両に関する速度値および方位値を求めるステップであって、速度値が速度誤差に関連付けられ、方位値が方位誤差に関連付けられる、ステップと、
・求めた速度値および方位値に基づいて、グローバルシステム位置を継続的に更新するステップと、
・速度誤差および方位誤差に基づいて、位置誤差を継続的に更新するステップとを備えることを特徴とする方法。
【請求項２】
請求項１に記載の方法において、
前記グローバルシステム位置および前記相対位置に基づいて、識別したランドマークのランドマーク地理的位置を求めるステップと、
前記コンピューティングシステムに関連するデータベースに、前記ランドマーク地理的位置を格納するステップとをさらに備えることを特徴とする方法。
【請求項３】
請求項１に記載の方法において、
・前記画像内に示される複数のランドマークを識別するステップであって、複数のランドマークの各々が、対応する地理的位置に関連付けられている、ステップと、
・複数のランドマークの各々に関連するランドマークポーズを前記画像から抽出するステップと、
・複数のランドマークの各々に関連する抽出したランドマークポーズに基づいて、ランドマーク地理的位置のセットを決定するステップと、
・ランドマーク地理的位置のセットに基づいて、グローバルシステム位置を求めるステップとをさらに備えることを特徴とする方法。
【請求項４】
請求項１に記載の方法において、
・第２のグローバルシステム位置に関連する第２の車両に、前記グローバルシステム位置を送信するステップと、
・第２の車両と車両との間の第２の相対位置を求めるステップと、
・グローバルシステム位置および第２の相対位置に基づいて、第２のグローバルシステム位置を更新するステップとをさらに備えることを特徴とする方法。
【請求項５】
請求項１に記載の方法において、
位置誤差の累積速度が閾値累積速度値を超えることに基づいて、ルートを決定するステップと、
前記ルートに従って車両をナビゲートするステップとをさらに備えることを特徴とする方法。
【請求項６】
請求項１に記載の方法において、
ランドマークが、ランドマーク位置と関連付けられており、当該方法がさらに、
・前記コンピューティングシステムにおいて、車両とランドマーク位置との間の第２の相対位置を求めるステップと、
・グローバルシステム位置および前記相対位置に基づいて、ランドマーク地理的位置を求めるステップと、
・ランドマークポーズおよび前記相対位置を関連付けて、ポーズ−位置のペアを生成するステップと、
・ポーズ−位置のペアおよびランドマーク地理的位置をデータベースに格納するステップとを備えることを特徴とする方法。
【請求項７】
請求項６に記載の方法において、
前記画像に基づいて、識別したランドマークの既知の寸法における変化を判定するステップと、
前記変化に基づいて、前記データベースにおいて既知の形状を更新するステップとをさらに備えることを特徴とする方法。
【請求項８】
位置特定およびマッピングのための方法であって、
・グローバルシステム位置に関連付けられた車両に搭載されたカメラで、画像を記録するステップと、
・車両に関連付けられたコンピューティングシステムのランドマーク識別モジュールにより、前記画像に示されるランドマークを識別するステップであって、識別したランドマークが、ランドマーク地理的位置および既知のパラメータを有する、ステップと、
・前記コンピューティングシステムの特徴抽出モジュールにより、前記画像からランドマークパラメータのセットを抽出するステップと、
・前記コンピューティングシステムにおいて、抽出したランドマークパラメータのセットと既知のパラメータとの比較に基づいて、車両とランドマーク地理的位置との間の相対位置を求めるステップと、
・前記コンピューティングシステムにおいて、前記相対位置に基づいて、グローバルシステム位置を更新するステップとを備えることを特徴とする方法。
【請求項９】
請求項８に記載の方法において、
前記コンピューティングシステムに関連付けられたリモートデータベースから、識別したランドマークのランドマーク地理的位置を取り出すステップをさらに含むことを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、
グローバルシステム位置に基づいて、単位領域のセットを決定するステップと、
前記単位領域のセットに基づいて前記リモートデータベースからランドマーク地理的位置を取り出すステップとをさらに含むことを特徴とする方法。
【請求項１１】
請求項９に記載の方法において、
前記ランドマークパラメータのセットが、テキスト位置インジケータを含み、当該方法がさらに、
前記テキスト位置インジケータに基づいて単位領域のセットを決定するステップと、
前記単位領域のセットに基づいて前記リモートデータベースからランドマーク地理的位置を取り出すステップとを含むことを特徴とする方法。
【請求項１２】
請求項８に記載の方法において、
車両のグローバルシステム位置が位置誤差に関連付けられており、当該方法がさらに、
・グローバルシステム位置を更新した後の経過時間に比例して、位置誤差を増加させるステップと、
・位置誤差が閾値誤差値を超えることに応答して、前記画像を記録するステップと、
・グローバルシステム位置の更新に応答して、位置誤差を閾値誤差値よりも小さい誤差値に設定するステップとを含むことを特徴とする方法。
【請求項１３】
請求項１２に記載の方法において、
位置誤差の累積速度が閾値累積速度値を超えることに基づいて、ルートを決定するステップであって、ルートに沿ったランドマーク密度に従ってルートを決定するステップと、
前記ルートに従って車両をナビゲートするステップとをさらに含むことを特徴とする方法。
【請求項１４】
請求項１２に記載の方法において、
前記コンピューティングシステムにおいて、抽出したランドマークパラメータのセットに基づいて、車両に関連する速度値および方位値を求めるステップをさらに含み、速度値が速度誤差に関連付けられ、方位値が方位誤差に関連付けられることを特徴とする方法。
【請求項１５】
請求項１４に記載の方法において、
求めた速度値および方位値に基づいて、グローバルシステム位置を継続的に更新するステップと、
速度誤差および方位誤差に基づいて、位置誤差を継続的に更新するステップとをさらに含むことを特徴とする方法。
【請求項１６】
請求項１４に記載の方法において、
１分当たりの車輪回転数を測定するステップと、
１分当たりの車輪回転数および既知の車輪直径の組合せに基づいて、速度値を求めるステップと、
抽出したランドマークパラメータのセットに基づいて、方位値を求めるステップとをさらに含むことを特徴とする方法。
【請求項１７】
請求項８に記載の方法において、
ランドマークパラメータのセットが、ランドマークポーズを含むことを特徴とする方法。
【請求項１８】
請求項１７に記載の方法において、
ランドマークが、コーナのセットを有する道路標識を含み、特徴のセットを抽出することが、前記画像から前記コーナのピクセル位置のセットを抽出して、当該ピクセル位置のセットに基づいてランドマークポーズを判定することを含むことを特徴とする方法。
【請求項１９】
請求項８に記載の方法において、
・カメラで一連の画像を記録するステップと、
・一連の画像の各々においてランドマークを識別するステップと、
・一連の画像の各々から対応するランドマークポーズを抽出するステップと、
・一連の画像の各々から抽出した対応するランドマークポーズに基づいて、時間的パターンを求めるステップと、
・時間的パターンに基づいて、車両の軌跡を求めるステップと、
・求めた車両の軌跡に基づいて、車両を制御するステップとをさらに含むことを特徴とする方法。
【請求項２０】
請求項８に記載の方法において、
・前記画像内に示される複数のランドマークを識別するステップであって、複数のランドマークの各々が、対応する地理的位置に関連付けられている、ステップと、
・複数のランドマークの各々に関連するランドマークパラメータのセットを前記画像から抽出するステップと、
・複数のランドマークの各々に関連する抽出したランドマークパラメータのセットに基づいて、静的パターンを判定するステップと、
・前記静的パターンに基づいて、グローバルシステム位置を求めるステップとをさらに含むことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概してマッピングの分野に関し、より具体的には、マッピングの分野における正確な位置特定のための新規かつ有用なシステムおよび方法に関する。
【０００２】
関連出願の相互参照
本出願は、２０１７年５月１日に出願された米国仮出願第６２／４９２，７９０号、並びに、２０１６年８月９日に出願された米国仮出願第６２／３７２，６３３号の利益を主張するものであり、それぞれの全体が、引用により本明細書に援用されるものとする。
【図面の簡単な説明】
【０００３】
【図１】図１は、正確な位置特定方法の概略図である。
【図２】図２は、方法の一適用例である。
【図３】図３は、ランドマークパラメータ値に基づいてシステム位置を判定する一例である。
【図４】図４は、システム位置と既知のランドマーク位置とに基づいて正確なシステム位置を判定する一例である。
【図５】図５は、方法を実行するトリガイベントの一例である。
【図６】図６は、複数の検出したランドマーク位置に基づいてシステム位置を三辺測量する一例である。
【図７】図７は、ランドマーク検出および／またはパラメータ抽出のために記録した画像を処理する一例である。
【図８】図８は、求めた位置および／または検出したランドマークに基づいてリアルタイムマップを構築する一例である。
【図９】図９は、求めた位置および／または検出したランドマークに基づいてリアルタイムマップを構築する一例である。
【図１０】図１０は、正確な位置特定およびマッピングシステムの例示的な実施形態の概略図である。
【発明を実施するための形態】
【０００４】
本発明の好ましい実施形態の以下の説明は、本発明をそれらの好ましい実施形態に限定することを意図するものではなく、当業者が本発明を製造および使用することを可能にすることを意図している。
【０００５】
１．概要
図１に示すように、正確な位置特定のための方法１００は、車両近傍のランドマークを検出するステップと、検出したランドマークに対する車両の位置を求めるステップと、検出したランドマークに対する車両の位置に基づいてグローバルシステム位置を求めるステップとを備える。この方法は、システム２００の正確な地理的位置を判定するように機能する。この高精度のシステム位置は、二次位置特定システム（例えば、ＧＰＳ）によって提供される位置における縮尺の曖昧性およびドリフトを最小にするために使用することができ、正確なデータロギング、ナビゲーション、リアルタイムマップ更新（図８および図９に示す例）または他の任意の適切な目的のために使用することができる。
【０００６】
本方法は、好ましくは、車両が物理的空間（例えば、屋外、道路上、トンネル内、空域など）を横断している間に実行されるが、追加的または代替的には、車両が動いていないとき（例えば、駐車しているとき）または他の任意の適切なモードで動作しているときに実行することもできる。本方法は、所定の頻度で、（例えば、推定、計算される）位置誤差が閾値を超えることに応答して、トリガイベントの発生（例えば、システム位置が予め設定されたジオフェンス内にあること）に応答して、または他の任意の適切な時間に、実行することができる。
【０００７】
一適用例（図２に示す特定の例）では、車両が、横断中に二次位置特定システムによって提供された位置推定値を使用し（例えば、位置推定値を補助サンプリング信号と関連付け）、本方法を実行して、ランドマークがすぐ近傍で検出されるときにより高い精度の位置および／または正確な位置を求める。正確なシステム位置は、１メートル未満の精度（例えば、１シグマ、２シグマ、３シグマの１メートル未満の精度など）、０．５ｍ未満の精度（例えば、１シグマ、２シグマ、３シグマの０．５メートル未満の精度など）または他の任意の適切な精度および／または正確さで求めることができる。位置推定値は、搭載型のグローバルナビゲーションシステム（例えば、低分解能ＧＰＳシステム）、デッドレコニングシステムまたは他の任意の適切な二次位置特定システムによって提供することができる。グローバルナビゲーション位置が使用されるとき、高精度位置は、同時に記録される位置推定値および／または以前に求められた位置推定値の精度を高めるために使用することができる。デッドレコニングシステムが使用されるとき、高精度位置は、ドリフト（例えば、位置誤差）を補正または除去するために、かつ／またはデッドレコニングシステムのための基準点を再設定するために（例えば、位置誤差を再設定するために、あるいは位置誤差をゼロ値または別の適切な値に設定するために）使用することができる。正確な位置決定および／または位置推定値補正は、車両がランドマークから予め設定された距離内にあるとき、ランドマークが検出されたとき、リアルタイムで、位置誤差が閾値を超えたときおよび／または閾値に達したとき、または他の任意の適切なときに実行できる。位置推定値の補正係数は、任意選択的には、位置推定値と関連付けて記憶され、同等な位置推定値に対して（例えば、同じ位置推定値、あるいは同じ二次位置特定システムなどに対して）他の車両位置を補正するために使用できる。
【０００８】
第２の適用例では、本方法が、密集した市街地、ＧＰＳのカバレッジが悪い地域、または高速道路での車線検出のようなアルゴリズムを使用できない場合（例えば、車線が存在しない場合）に、正確なシステム位置を提供できる。
【０００９】
第３の適用例では、本方法が、非常に正確でリアルタイムのマップ、および／または交差点情報（例えば、混雑、信号のステータス、車線移行部など）、工事、交通情報、付近の環境の変化、または他の任意の適切な情報などのマップ更新を提供することができる。このリアルタイムまたはほぼリアルタイムの情報は、自動運転用途において、あるいは自律走行車の教育のためのシミュレーションデータとして、車両周囲の領域の３Ｄモデル（および／または複数の車両システムからのデータが集められる場合には、グローバルモデル）を構築するために、あるいは物理的な世界（例えば、所与のナンバープレートの番号）を検索するために、または他の任意の適切な目的のために、使用することができる。
【００１０】
２．利点
本システムおよび方法、および／またはそれらの変形例は、いくつかの利点を与えることができる。
【００１１】
第一に、本システムおよび方法は、（例えば、車両が横切っている間に）その場で正確な位置を求めるように機能する。これは、より正確なセンサ測定位置相関、自律ナビゲーション（例えば、正確な位置に基づく、あるいはランドマークに基づく）、オンザフライカメラ固有較正（例えば、既知の基準寸法に基づく、カメラ焦点距離、主点などの較正）を提供し、かつ／またはリアルタイムまたはほぼリアルタイムで正確な位置を有することによる他の任意の適切な利益を提供するように機能することができる。
【００１２】
第二に、本システムおよび方法は、適切な線形化、特徴／状態パラメータ化および／または他の方法を使用することによって、ランドマーク（例えば、車両環境における基準）の一貫した推定を提供することができる。一変形例では、本方法は、エッジ検出、輪郭形成、ラインフィッティング、モデルフィッティングおよび／またはディープラーニング法などのコンピュータビジョン法を適用して、基準検出における誤検出を排除することができる。
【００１３】
第三に、本システムおよび方法は、ランドマークマップのセットを参照するため、（例えば、検出したランドマークを予想されるランドマークと比較することによって）環境の変化を検出するようにさらに機能することができる。これらの変化は、その後、補助的な車両のルーティング、保守通知および／または他の任意の適切な目的のために解釈することができる。
【００１４】
第四に、求めた正確な位置は、同じ領域内の第２の車両についての位置推定値を推定および／または補正するために使用することができる。例えば、車両とパラメータ（例えば、同一または類似のＧＰＳ位置パターン、不正確パターン、コンテキスト、二次位置特定システム、ルートなど）を共有する第２の車両は、第１の車両によって求められた補正係数を使用することができる。第二の例では、第１の車両の正確な位置を、近傍の第２の車両（例えば、第１の車両に追従する車両、第１の車両に接近する車両など）に伝達することができ、第２の車両は、第１の車両の位置と、第１の車両と第２の車両間の測定距離（例えば、ＬＩＤＡＲ、ＴＯＦ、ソナー、レーダ、超音波または他の距離システムなどを使用して測定される測定距離）とに基づいて、第２の車両の正確な位置を求めることができる。しかしながら、求めた正確な位置は、他の方法で使用することもできる。
【００１５】
第五に、本システムおよび方法の変形例は、全体的なシステム性能および挙動を改善するために、車両システムと遠隔システムとの間で計算を分散するように機能することができる。例えば、第１の車両のシステムは、ランドマークを識別し（さらに、例えば、ランドマークを再識別することを可能にするランドマークデータを生成し）、ランドマークを地理的位置と関連付け、ランドマークデータおよび関連付けられた地理的位置をリモートデータベースで記憶することができ、他の車両および／または同じ車両がランドマークデータを取り出して、それによりその車両（第１の車両、第２の車両など）でシステムのグローバルシステム位置を求めることを可能にする。
【００１６】
第六に、本方法の変形例は、物理システム（例えば、ハードウェア）の動作を改善することができる。例えば、基準ランドマークのリアルタイム画像ベースのマップを生成および／または利用することは、自律型および／または半自律型車両のナビゲーション、位置特定および／またはマッピング能力を向上させることができる。別の例では、本方法の変形例が、画像ベースのコンピュータビジョンおよび機械学習モデルを介して制御される自律型車両の性能を、それらのモデルの教育および性能を改善することによって、向上させることができる。別の例では、本方法の変形例が、プロセッサの計算負荷を低減し、より低い電力による動作を可能にすること、および同様の改善によって、統合計算モジュール（例えば、システムオンチップのコンピュータビジョンシステム）を有する車載ハードウェアの性能を改善することができる。
【００１７】
第七に、本システムおよび方法の変形例は、コンピュータ化された技術の使用から生じる、コンピュータおよび機械技術に根ざした問題を解決することができる。例えば、デッドレコニングを含むシステム位置特定、コンピュータ化された技術は、位置特定誤差（例えば、位置誤差、ドリフト誤差など）の影響を受け易いが、これは、本システムおよび／または方法の変形例に従うランドマーク認識、識別および分析によって低減することができる。別の例では、本方法の変形例は、教師付き学習に基づく車両制御モデルの教育（例えば、車両システムにおいてエキスパートの運転行動を検出し、エキスパート運転行動に関連する画像データを記録し、エキスパート運転行動に関連付けられた記録された画像データを使用して画像ベースの制御モデルを教育すること）を可能にすることができる。
【００１８】
しかしながら、このシステムおよび方法、および／またはそれらの変形例は、他の任意の適切な利益および／または利点を与えることができる。
【００１９】
３．システム
本方法は、好ましくは、高精度位置特定システム２００を用いて実行される。図１０に示すように、高精度位置特定システムは、好ましくは、センサシステム２１０を有する車両２０１と、信号分析システムと、ランドマークデータベース２３０とを含むが、追加的または代替的には、他の任意の適切な構成要素を含むことができる。信号分析システム、ランドマークデータベースおよび／または他の処理モジュール２２２は、車両２０１、センサシステム２１０、リモートコンピューティングシステム２２０（例えば、サーバシステム）、車両および／または車両のユーザに関連するモバイルデバイス２４０、補助的な車両、ランドマーク自体（例えば、ランドマークに取り付けられたビーコンシステムによる）、分散型システムおよび／または他の任意の適切なコンピューティングシステム上で記憶および／または実行することができる。
【００２０】
一変形例では、メイン処理モジュールが、リモートコンピューティングシステムによって記憶および／または維持され（例えば、生成され、較正され）、ローカルバージョン（例えば、より小型のバージョン、より簡易なバージョン）が、車両に格納される。第２の変形例では、本システムが、処理モジュールの複数の変形例（例えば、周囲光の利用可能性、基準密度、基準数、基準サイズ、車両速度、車両加速度、車両位置、時刻または他のコンテキストパラメータなどの動作コンテキストによって区別される変形例）を含み、本システムが、現在の動作コンテキストに基づいて処理モジュールの変形例を自動的に選択および実行する。この変形例では、処理モジュールの変形例は、リモートコンピューティングシステムによって車両に格納することができ（例えば、コンテキスト動作データを車両からリモートシステムに送信することができ、モジュール選択および／またはモジュール自体をリモートシステムから戻すことができ）、かつ／または他の任意の適切なシステムによって格納することができる。
【００２１】
システムの車両は、物理的な空間を通過するように機能する。車両は、自律型、遠隔制御型（例えば、遠隔操作型）、手動運転型、これらのうちの１または複数の組合せとすることができ、または他の方法で制御されるものであってもよい。車両は、陸上、航空、水中または他の車両であり得る。車両の例には、自動車、オートバイ、自転車、ドローン、ヘリコプタ、航空機、船舶または他の任意の適切な車両が含まれる。車両は、駆動機構（例えば、車輪、ドライブトレイン、モータなど）、データ通信システム（例えば、ＣＡＮバスなどの車両データバス）または他の任意の適切なシステムを含むことができる。
【００２２】
システムのセンサシステムは、信号をサンプリングするように機能し、これは、周囲環境を示す信号（例えば、画像）をサンプリングし、周囲環境内の基準（例えば、ランドマーク、ランドマークの特徴など）を識別するために使用することができ、かつ／または他の任意の適切な方法で使用することができる。センサシステムは、好ましくは、車両に対して既知の位置に取り付けられる（例えば、設置中またはシステム動作中に、その位置が測定、記録、検索、推測および／または較正され得る）が、他の方法で車両に取り付けることもできる。センサシステムの構成要素は、共通のハウジングまたは異なるハウジング内に取り付けることができる。図１０に示すように、センサシステムは、１または複数のセンサ２１１、ランドマーク検出システム２１２、二次位置特定システム２１４、方位特定システム２１３（例えば、ＩＭＵ、加速度計、ジャイロスコープ、高度計、磁力計など）、車両データシステム２１６（ＯＢＤ  ＩＩコネクタ、ＣＡＮバスコネクタ、無線通信機）、処理システム２１５（例えば、ＣＰＵ、ＧＰＵ、ＴＰＵ、ＤＳＰなど）、記憶装置（例えば、フラッシュ、ＲＡＭなど）、通信サブシステム（例えば、無線機、アンテナ、無線データリンクなど）、または他の任意の適切なサブシステムを含むことができる。センサは、補助センサ（例えば、音響センサ、フォトダイオードなどの光学センサ、温度センサ、圧力センサ、流量センサ、振動センサ、近接センサ、化学センサ、電磁気センサ、力センサなど）、電源（例えば、バッテリ、電源コネクタ）、または他の任意の適切な種類のセンサを含むことができる。ランドマーク検出システムは、ランドマークおよび／または測定したランドマークパラメータを検出するように機能する。ランドマーク検出システムの例には、光学センサ（例えば、単眼カメラ、ステレオカメラ、マルチスペクトルカメラ、ハイパースペクトルカメラ、可視範囲カメラ、ＵＶカメラ、ＩＲカメラ）、アンテナ（ＢＬＥ、ＷｉＦｉ、３Ｇ、４Ｇ、５Ｇ、Ｚｉｇｂｅｅ、８０２．１１ｘなど）、音響センサ（マイクロフォン、スピーカなど）、距離測定システム（ＬＩＤＡＲ、ＲＡＤＡＲ、ソナー、ＴＯＦなど）または他の任意の適切なセンサが含まれる。二次位置特定システムは、車両位置を求める（例えば、推定、計算、測定、受信などを行う）ように機能し、高精度位置特定システムおよび／または方法と組み合わせて、かつ／またはその代わりに使用することができる。
【００２３】
使用可能な二次位置特定システムの例としては、グローバルナビゲーションシステム（例えば、ＧＰＳ）、基地局三角測量システム、三辺測量システム、ビーコンシステム、デッドレコニングシステム（例えば、方位センサ、オプティカルフロー、車輪またはモータのオドメトリ測定などを使用）または他の任意の適切な位置特定システムが含まれる。一例では、二次位置特定システムが、反復最小化技法およびカルマン／粒子フィルタを使用する推定量をサンプリングした画像および慣性測定値に適用する視覚慣性オドメトリモジュールを含む。特定の例では、センサシステムが、前向きカメラ（例えば、単眼カメラ）、後向きカメラ（例えば、単眼カメラ）、方位センサおよび二次位置特定システムを含み、それらがすべて共通のハウジング内に静的に取り付けられ、それら構成要素の相対位置（例えば、視野）が既知とされる。
【００２４】
本システムの信号分析システムは、センサシステムによってサンプリングされた信号からパラメータを抽出するように機能する。信号分析システムは、車両、センサシステム、リモートコンピューティングシステム、車両および／またはセンサシステムと通信可能に着脱自在に接続されたユーザデバイス、または他の任意の適切なコンピューティングシステム上で記憶および／または実行することができる。信号分析システムは、１または複数の処理モジュールを含むことができ、それらが、コンテキスト動作パラメータ（例えば、位置推定値、軌跡、速度、加速度、車輪角度などの車両動作パラメータ、時刻、予想天気または現在の天気、周囲の光、周囲の風、位置の正確さ、基準クラスなど）または他のパラメータに基づいて、選択的に使用される。
【００２５】
処理モジュールは、回帰（例えば、最小二乗推定）、分類、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）、発見的手法、方程式（例えば、重み付き方程式など）、選択（例えば、ライブラリからの）、例に基づく方法（例えば、近傍法）、正則化法（例、リッジ回帰）、反復法（同じ物理空間を通る複数のパスに適用される、例えば、ＲＡＮＳＡＣ、反復最小化アプローチなど）、決定木、ベイズ法（例えば、ＥＫＦ）、モンテカルロ法（例えば、粒子フィルタ）、カーネル法、確率法、決定論的方法、または他の任意の適切な方法のうちの１または複数を使用することができる。
【００２６】
処理モジュールのセットは、教師あり学習（例えば、ロジスティック回帰を使用、誤差逆伝播法によるニューラルネットワークを使用、ランダムフォレストを使用、決定木など）、教師なし学習（例えば、Ａｐｒｉｏｒｉアルゴリズムを使用、Ｋ平均クラスタリングを使用）、半教師あり学習、強化学習（例えば、Ｑ学習アルゴリズムを使用、時間的差分学習を使用）、および他の任意の適切な学習スタイルのうちの１または複数を利用することができる。複数のうちの各モジュールは、回帰アルゴリズム（例えば、通常の最小二乗法、ロジスティック回帰、段階的回帰、多変量適応型回帰スプライン、ＬＯＥＳＳ（Locally Estimated Scatterplot Smoothing）など）、例に基づく学習方法（例えば、ｋ近傍法、学習ベクトル量子化、自己組織化マップなど）、正則化方法（例えば、リッジ回帰、ＬＡＳＳＯ（Least Absolute Shrinkage and Selection Operator）、Ｅｌａｓｔｉｃ  Ｎｅｔなど）、決定木学習法（例えば、ＣＡＲＴ（Classification and Regression Tree）、ＩＤ３（Iterative Dichotomiser 3）、Ｃ４．５、ＣＨＡＩＤ（Chi-squared Automatic Interaction Detection）、 決定株、ランダムフォレスト、多変量適応型回帰スプライン、勾配ブースティングマシンなど）、ベイズ法（例えば、ナイーブベイズ、ＡＯＤＥ（Averaged One-Dependence Estimators）、ベイジアンブリーフネットワークなど）、カーネル法（例えば、サポートベクターマシン、放射基底関数、線形判別分析など）、クラスタリング法（例えば、Ｋ平均クラスタリング、期待値最大化など）、相関ルール学習アルゴリズム（例えば、Ａｐｒｉｏｒｉアルゴリズム、Ｅｃｌａｔアルゴリズムなど）、人工ニューラルネットワークモデル（例えば、Ｐｅｒｃｅｐｔｒｏｎ法、誤差逆伝播法、Ｈｏｐｆｉｅｌｄネットワーク法、自己組織化マップ法、学習ベクトル量子化法など）、ディープラーニングアルゴリズム（例えば、制限付きボルツマンマシン、ＤＢＮ（Deep Belief Network）法、畳み込みネットワーク法、積層オートエンコーダ法など）、次元削減法（例えば、主成分分析、部分最小二乗回帰、サモンマッピング、多次元尺度法、射影追跡など）、アンサンブル法（例えば、ブースティング、ブートストラップアグリゲーション、ＡｄａＢｏｏｓｔ、Ｓｔａｃｋｅｄ  Ｇｅｎｅｒａｌｉｚａｔｉｏｎ、勾配ブースティングマシン法、ランダムフォレスト法など）、および任意の適切な形式の機械学習アルゴリズムのうちの１または複数を実行することができる。各モジュールは、追加的または代替的に、オブジェクトモデルベースの検出方法（例えば、エッジ検出、原始スケッチ、Ｌｏｗｅ、部品による認識など）、外観ベースの検出方法（例えば、エッジマッチング、分割統治、グレースケールマッチング、勾配マッチング、受容野応答のヒストグラム、ＨＯＧ、ラージモデルベース）、特徴ベースの検出手法（例えば、解釈木、仮説検定、ポーズの一貫性、ポーズのクラスタリング、不変性、幾何学的ハッシュ、ＳＩＦＴ、ＳＵＲＦ、語の袋表現、Ｖｉｏｌａ−Ｊｏｎｅｓオブジェクト検出、Ｈａａｒカスケード検出）、遺伝的アルゴリズム、背景／前景セグメンテーション手法、またはコンピュータビジョンおよび／または自動画像分析のための他の任意の適切な方法のうちの１または複数を利用することができる���各モジュールは、追加的または代替的に、確率論的モジュール、ヒューリスティックモジュール、決定論的モジュール、または他の任意の適切な計算方法、機械学習方法またはそれらの組合せを利活用する他の任意のモジュールであってもよい。
【００２７】
各モジュールは、新たに受信した最新の測定値、動作セッション（例えば、運転セッション）中に記録された過去の測定値、過去の動作セッション中に記録された過去の測定値に基づいて、確認、検証、強化、較正、またはその他の方法で更新することができ、あるいは他の任意の適切なデータに基づいて更新することができる。各モジュールは、一度、予め設定された頻度で、方法が実行される度に、予期しない測定値が受信される度に、または他の任意の適切な頻度で、実行または更新することができる。モジュールのセットは、１または複数の他のモジュールと同時に、連続的に、様々な頻度で、または他の任意の適切な時間に、実行または更新することができる。各モジュールは、新たに受信した最新のデータ、過去のデータに基づいて、確認、検証、強化、較正、またはその他の方法で更新することができ、あるいは他の任意の適切なデータに基づいて更新することができる。各モジュールは、予想した結果とは異なる実際の結果の判定に応じて、または他の任意の適切な頻度で、実行または更新することができる。
【００２８】
一変形例では、信号分析システムが、（サンプリングした信号からランドマークを検出する）ランドマーク検出モジュールと、（サンプリングした信号にわたってランドマークを追跡する）ランドマーク追跡モジュールと、（ランドマークを分類する）ランドマーク分類モジュールと、（サンプリングした信号からランドマークパラメータなどのオブジェクトパラメータを抽出する）パラメータ抽出モジュールと、（ランドマークに対する車両接近角度を説明することができる、複数の動作インスタンスにわたってパラメータ値を相関させる）母集団相関モジュールと、および／または他の任意の適切な処理モジュールとを含むことができる。
【００２９】
ランドマーク検出モジュールは、ランドマークが画像データ内（例えば、画像フレーム内、画像シーケンス内）に示されていることを検出するように機能する。第１の変形例では、システムが、予め設定されたランドマークタイプのセットの各々についてのランドマーク検出モジュールを含む。第２の変形例では、システムが、画像データ内の予め設定されたランドマークタイプのセットのうちの何れかを検出するグローバルランドマーク検出モジュールを含む。ランドマーク検出モジュールの出力は、バウンディングボックス（例えば、検出したランドマークのすべてまたは一部の周囲に描かれる）、注釈付き画像データ（例えば、検出したランドマークに注釈が付される）、画像ワードに基づく特徴ベクトル（例えば、埋め込み）および他の任意の適切な出力を含むことができる。ランドマーク検出モジュールは、特徴検出、位置特定、パターンマッチング、前景／背景セグメンテーション、ステッチング／レジストレーション、フィルタリング、閾値処理、ピクセルカウント、エッジ検出、色分析、ブロブ発見および操作、光学文字認識、エゴモーション、追跡、オプティカルフロー、ポーズ推定（例えば、解析的または幾何学的方法、遺伝的アルゴリズム、学習ベースの方法；例えば、ＥＫＦ、粒子フィルタおよび最小二乗推定）、または基準を識別して信号から基準パラメータを抽出する他の方法を適用することができる。
【００３０】
システムはさらに、車両システムと画像データ内で識別（例えば、検出、分類など）したランドマークとの間の相対的な軌跡を予測するように機能するランドマーク追跡モジュールを含むことができる。また、追跡モジュールは、一連の画像フレーム内のフレーム間で以前に検出および／または分類したランドマークを追跡することによって、実行すべき新たなランドマーク認識および／または検出を必要とする画像の数を減らすように機能することができる。第１の変形例では、ランドマーク追跡が、決定論的方法（例えば、オブジェクトのオブジェクトクラスに基づくパラメトリック拘束を用いる）または統計的方法（例えば、カルマンフィルタリング）などによる点追跡を介して実行される。第２の変形例では、ランドマーク追跡が、テンプレートベースの方法またはマルチビューアピアランス方法を使用するなど、カーネルフィルタリングおよびカーネルトラッキングを介して実行される。第３の変形例では、ランドマーク追跡が、形状マッチング、エッジマッチングおよび／または輪郭追跡を使用するようなシルエット追跡を介して実行される。しかしながら、オブジェクト追跡および軌跡予測および／または判定は、動作分析を使用して実行することができ、あるいは任意の適切な方法または手法によって適切に実行することができる。ランドマーク追跡モジュールは、カーネルベースの追跡、輪郭追跡、または他の任意の適切な追跡プロセスを適用することができる。
【００３１】
分類モジュールは、画像データに示されるランドマークのクラス（例えば、オブジェクトクラス、ランドマーククラス）を決定するように機能する。ランドマーククラスは、抽出した画像特徴値、埋め込み、またはランドマーク検出モジュールによって決定された他の任意の適切な測定基準に基づいて決定することができる。第１の変形例では、分類モジュールが、検出したランドマークのクラスを決定するために、埋め込み値を画像ワードの語彙と照合することができ、画像ワードの語彙のサブセットがランドマーククラスを示している。第２の変形例では、システムが各オブジェクトクラスについて１つの分類モジュールを含むことができ、そして、各オブジェクトクラスに関連する埋め込みを順次分析し、次に、結果を分析して分類モジュール間の最良の一致を判定し、それによりランドマーククラス（例えば、結果が画像データに最も良く一致する分類モジュールに対応するクラス）を決定することによって、オブジェクトクラスを決定することができる。第３の変形例では、システムが、階層的分類モジュールから構成されるカスケード分類器を含む（例えば、各親分類モジュールが子分類モジュールよりも高いレベルの分類を実行する）。分類モジュールの出力は、バウンディングボックス（例えば、分類したオブジェクトのすべてまたは一部の周囲に描かれる）、注釈付き画像データ（例えば、関連するランドマーククラスに対応するテキストフラグメントで注釈が付けられたランドマークを有する）、画像ワードに基づく特徴ベクトル（例えば、埋め込み）、および他の任意の適切な出力を含むことができる。
【００３２】
分類モジュールの第１の特定の例では、システムが、カスケード接続されたシーケンシャル分類器を含み、第１の分類モジュール（例えば、第１のモジュール）が車両システムで実行され、第２の分類モジュールがリモートコンピューティングシステムで実行される。この例では、第１の分類モジュールが、画像データに示されるランドマークについてのランドマーククラス（例えば、「道路標識」）を決定し、第２の分類モジュールが、そのランドマークについてのランドマークサブクラス（例えば、「一時停止標識」）を決定する。
【００３３】
分類モジュールの第２の特定の例では、第１の複雑度を有する分類モジュールの第１のバージョンが、車両システムで実行され、第２の複雑度を有する分類モジュールの第２のバージョンが、リモートコンピューティングシステムで実行され、第２の複雑度が、第１の複雑度よりも大きい。この例および関連する例では、モジュールの複雑度を、人工ニューラルネットワークにおけるいくつかの人工ニューロンによって表すことができ、モジュールが人工ニューラルネットワークとして実行される。代替例では、モジュールの複雑度を、モジュールによって実行されるモデルの次元数によって表すことができる。更なる代替例では、モジュールの複雑度を、画像ワードの語彙のサイズによって表すことができる。しかしながら、モジュールの複雑度は他の方法で適切に表すこともできる。ランドマーク分類モジュールは、追加的または代替的に、分類、パターンマッチング、または他の任意の適切な分類またはラベリングプロセスを適用することができる。
【００３４】
母集団相関モジュールは、（例えば、最小二乗法およびＲＡＮＳＡＣを使用する）マルチパス軌跡アライメント、または他の任意の適切なクロス軌跡相関プロセスを適用することができる。処理モジュールの精度を高めるために、１または複数の方法を組み合わせることができる。例えば、様々な縮尺および角度で一貫した基準検出を達成するために、複数の特徴検出器からの情報を統合することができ、あるいは合成トレーニングデータセットおよびＣＮＮのような一般化された特徴検出器を使用することができる。第２の例では、画像強度変換を適用すること、照明特有のマップ（例えば、昼間マップおよび夜間マップ）を構築すること、ランドマークをオーバーサンプリングすること、および／または他の適切な方法を適用することによって、異なる照明条件下での基準検出の信頼性を高めることができる。
【００３５】
処理モジュールは、教師あり学習（例えば、ロジスティック回帰を使用、誤差逆伝播法によるニューラルネットワークを使用、ランダムフォレストを使用、決定木など）、教師なし学習（例えば、Ａｐｒｉｏｒｉアルゴリズムを使用、Ｋ平均クラスタリングを使用）、半教師あり学習、強化学習（例えば、Ｑ学習アルゴリズムを使用、時間的差分学習を使用）、および他の任意の適切な学習スタイルを使用して、決定（例えば、生成、計算など）することができる。各モジュールは、新たに受信した最新の測定値、動作セッション中に記録した過去の測定値、過去の動作セッション中に記録した過去の測定値に基づいて、確認、検証、強化、較正、またはその他の方法で更新することができ、あるいは他の任意の適切なデータに基づいて更新することができる。各モジュールは、予想した結果とは異なる実際の結果の判定に応じて、または他の任意の適切な頻度で、実行または更新することができる。モジュールは、一度、予め設定された頻度で、方法が実行される都度、予期しない測定値が受信される都度、または他の任意の適切な頻度で、実行または更新することができる。モジュールは、１または複数の他のモジュールと同時に、連続的に、様々な頻度で、または他の任意の適切な時間に、実行または更新することができる。
【００３６】
例えば、ポーズ推定器は、ビデオフレームにわたって基準特徴を識別し、ＧＰＳ−ＲＴＫグラウンドトゥルースに対するポーズ推定アルゴリズムの精度およびロバスト性を測定することによって、更新することができる。第２の例では、ポーズ推定の精度によって特徴を測定およびランク付けし、ランドマークの種類および視覚条件、高コントラストのコーナ、エッジおよび／または他のランドマーク／基準による変動を測定することによって、ランドマーク特徴抽出モジュールを更新することができる。第３の例では、小さな領域についてのランドマーク、基準特徴および車両経路を識別し、パスが比較され得るように複数のパスを整列させることによって、母集団相関モジュールを更新することができる。第４の例では、カメラのポーズおよび位置を推定し、不変特徴を推定するためのアルゴリズムの性能をテストし、テスト領域（例えば、交差点）内で不変特徴を見付けるためにモジュールを評価し、交差点を複数回通過した場合の基準ランドマークの推定精度と推定値の収束性を評価することによって、モジュールを反復的に改善することができる。
【００３７】
ランドマークデータベースは、既知のランドマークデータを提供するように機能する。動作中、システムは、ビデオ、画像、距離測定値または他の測定値から基準を抽出し、ランドマークデータベースを使用して、検出した基準を識別し、基準情報を使用して動作パラメータ（例えば、正確な位置）を決定することができる。ランドマークは、好ましくは不変ランドマークであるが、代替的には可変でもよい。ランドマーク（基準）には、道路標識（一時停止標識、譲れの標識、横断歩道標識、道路名、出口標識など）、路面標識（一時停止バー、一時停止線、境界線、車線標識）、電柱、縁石、交差点の詳細、信号灯の詳細、道路施設および路側施設、街灯、信号機、ロゴ（例えば、ガソリンスタンドのロゴ）、店頭、トピアリ（例えば、木々、茂み）、路面標示（車線標示）、メールボックス、消火栓および／または他の任意の適切なランドマークまたは基準（例えば、光学基準）が含まれる。ランドマークデータベースは、基準に対する車両位置に関連する基準パラメータ値、基準についての既知の地理的位置（例えば、１メートル未満または０．５メートル未満の精度）、基準のパターン（例えば、空間パターン）および／または既知の車両位置に関連するパラメータ値、および／または他の適切な関連付け記憶することができる。
【００３８】
ランドマークデータベースは、１または複数のマップ（例えば、各単位領域ごとにランドマークを有するスパースマップ）、行列（例えば、スパース行列）、テーブルまたは他のデータ構造を含むことができる。マップは静的であっても、あるいはリアルタイムまたはほぼリアルタイムで生成されるものであっても、若しくは別の方法で求められるものであってもよい。様々なデータ構造は、様々な、地理的領域（例えば、重複、非重複；同じまたは異なる領域をカバーなど）、ランドマーク密度、位置推定の分解能または精度、動作コンテキスト（例えば、昼／夜）、ルート、ユーザアカウントまたは他の任意の変数についてのものとすることができる。本システムおよび／または方法の異なるインスタンスは、同じまたは異なるセットのマップを使用することができる。例えば、本システムは、車両ポーズのＧＰＳ推定値およびカメラ情報が与えられたときに、基準ランドマークのグローバルマップを参照し、グランドトゥルースランドマークおよびカメラ情報が与えられたときの車両ポーズのローカルマップを生成することができる。
【００３９】
ランドマークデータベースは、地方自治体のデータ（例えば、市町村地図）に基づいて、あるいは高分解能位置特定システム（例えば、ＧＰＳ−ＲＴＫ）および相関ランドマーク検出システム（例えば、距離、ポーズおよび／または寸法を決定するためのＬＩＤＡＲ）を使用した測量によって、あるいは協調マッピング（例えば、同じ車両または複数の車両による複数のパスにわたって同じランドマークを識別し、同時に求めた位置推定値とランドマークとを関連付け、位置推定値の平均としての車両位置を求めること）によって、あるいは注釈付きの航空地図によって、または他の適切な方法によって、生成することができる。
【００４０】
４．方法
本方法１００は、図１にその一実施例が示されている。この方法は、好ましくは、前述したシステムおよび／またはその要素により、またはそれらを他の方法で適切に組み合わせて実行される。しかしながら、本方法１００は、追加的にまたは代替的に、任意の適切なシステムにより、または任意の適切なシステムと組み合わせて適切に実行されるものであってもよい。
【００４１】
本システムの近くのランドマークを検出するステップＳ１００は、位置較正のための既知の位置を有する基準点を識別するように機能する。ランドマークは、センサシステムによってサンプリングされた信号に適用される信号分析システムを使用して検出されることが好ましいが、代替的には、他の任意の適切なシステムを使用して検出することもできる。適用される処理モジュールは、汎用処理モジュール、コンテキスト固有の処理モジュールとすることができ、あるいは他の方法で選択することができる。Ｓ１００は、予め設定された頻度で、誤差推定値が閾値を超えるとき、推定位置が基準位置または領域を含むとき（図５に示す例）、かつ／または他の任意の適切なときに、実行することができる。
【００４２】
第１の変形例では、Ｓ１００は、（例えば、車両の運転中に）光学センサで画像のセットを記録するステップと、（例えば、信号分析システムを使用して）画像のセットからランドマークを識別するステップとを含む。例えば、ランドマークを識別するステップは、画像内の特徴のセット（例えば、コーナ、エッジ）を識別すること、並びに、特徴のセットに基づいてランドマークのラベルを判定すること（例えば、８つのコーナが検出されるときは一時停止標識；３つのコーナが検出されるときは譲れの標識）を含むことができる。特定の例では、Ｓ１００は、前方を向くビデオストリーム（前方を向くカメラによって記録されたビデオストリーム）のみからランドマークを識別するステップを含む。第２の特定の例では、Ｓ１００が、前方を向くビデオストリームと、後方または内側を向くビデオストリームとの両方からランドマークを識別する（例えば、サイドウィンドウ、サンルーフおよび／またはリアウィンドウから見えるランドマークを分析する）ステップを含む。第２の変形例では、Ｓ１００が、ランドマークによってブロードキャストされたパケットを受信するステップを含む。第３の変形例では、Ｓ１００が、（例えば、測定した距離が閾値未満であるとき、形状に基づいて）距離測定システムを使用してオブジェクトを検出するステップを含む。第４の変形例では、Ｓ１００が、距離測定システムを使用してランドマークを検出するステップと、ランドマーク位置に対応する画像フレームの領域（例えば、距離測定信号位置にマッピングされるピクセル）を識別するステップと、ランドマーク位置に対応する画像フレームの部分（例えば、ランドマークのどちら側がセンサシステムを向いているか）に基づいてランドマークを判定するステップとを含む。第５の変形例では、Ｓ１００が、単一の画像（例えば、画像のセットのうちの単一の画像、単一の記録画像など）からランドマークを識別するステップを含む。第６の変形例では、Ｓ１００が、（例えば、シーケンスの複数のフレーム、単一のフレームなどに基づいて）画像シーケンス内の複数のランドマークを識別するステップを含む。しかしながら、Ｓ１００は他の方法で実行されるようにしてもよい。
【００４３】
Ｓ１００は、検出したランドマークＳ１１０についてのランドマークパラメータを決定するステップ（図７に示される例）をさらに含むことができる。Ｓ１１０は、１または複数の特徴検出モジュール、特徴抽出モジュールまたは他の任意の適切なモジュールによって実行することができる。適用した特徴検出モジュールは、時刻、推定位置、求めた単位領域（例えば、グローバルシステム位置に関連付けられたグローバルマップのサブユニットおよび／またはユニットマップ）に基づいて選択されるか、あるいは他の方法で選択される。ランドマークパラメータは、画像フレーム内のランドマーク位置、ランドマークスケールおよび／またはフレーム内の占有面積、ランドマークに対応するピクセル数、ランドマーク形状、センサシステムに対するランドマークポーズ（例えば、コーナなどの隣接する検出したランドマーク特徴間の距離に基づく）、車両に対するランドマークポーズ、色（例えば、ランドマークの前面、背面および／または側面の色など）、同じまたは異なるフレーム／信号における他のランドマークとのランドマーク関係性（例えば、検出したランドマークの分布、ランドマーク間の距離、相対サイズ、ポーズ、フレーム内の相対位置など）、テキスト（例えば、テキストインジケータ）、またはランドマーク上またはフレーム（例えば、画像）内に現れるパターン、反射率、または他の任意の適切な情報を含むことができる。
【００４４】
Ｓ１００は、検出したランドマークをフィルタリングするステップＳ１２０を任意選択で含むことができる。Ｓ１２０は、検出したランドマークを、コンテキストパラメータ（例えば、軌跡、ルートまたは接近角度、時刻、照明レベルなどのような動作パラメータ）、信頼レベル（例えば、特徴抽出信頼度）に基づいてフィルタリングすること、または他の任意の適切なパラメータに基づいてフィルタリングすることを含むことができる。例えば、Ｓ１２０は、画像内の３つのランドマークを識別し、一画像内のランドマーク表面の投影された（例えば、可視の）面積に基づいて（例えば、最大可視領域を有するランドマークに基づいて）、３つのランドマークをフィルタリングして、単一のランドマークを選択することを含むことができる。
【００４５】
検出したランドマークに対するシステム位置を求めるステップＳ２００は、ランドマークからのシステムの距離と、ランドマーク上の基準ベクトルに対する（例えば、ランドマークの前面から延びる法線ベクトルに対する）システムの角度位置とを求めるように機能する。Ｓ２００は、ランドマーク検出に応答して実行されることが好ましいが、代わりに、システムが予め設定された地理的領域内にあるとき、ランドマークが画像フレームの閾値割合を超えて占めるとき、または他の任意の適切なときに実行されるものであってもよい。Ｓ２００は、信号分析システムによって求められる（例えば、センサシステム、車両、ユーザデバイスおよび／またはリモートコンピューティングシステムによって実行される）ことが好ましいが、他の任意の適切なシステムによって実行することもできる。
【００４６】
第１の変形例では、Ｓ２００が、測定した信号値と既知の信号値（例えば、ランドマークの既知のパラメータ）とに基づいて、ランドマークに対するシステム位置を計算することを含む。例えば、ランドマークまでのシステムの距離は、測定したＲＳＳＩと、ランドマークから１ｍの距離に関連する基準ＲＳＳＩ値とから計算することができる。システムに対するランドマークの角度位置は、信号の到着角度からさらに判定することができる。第２の例では、ランドマークまでのシステムの距離が、サンプリングした画像内の一時停止標識によって占められるピクセルの数および空間分布と、一時停止標識からの既知のシステムの距離およびポーズ（例えば、前面法線から０°で１ｍの距離）に関連付けられたピクセルの基準の数および空間分布とから算出することができる。
【００４７】
第２の変形例では、Ｓ２００が、サンプリングした信号からランドマーク信号値を求め、そのランドマーク信号値に基づいてシステム位置（例えば、高さ、角度位置、距離など）を調べることを含む。この変形例では、ランドマークデータベースが、ランドマークについての複数のランドマーク信号値の組合せを含むことができ、各組合せが異なるシステム位置に関連付けられる。
【００４８】
第３の変形例では、Ｓ２００が、ランドマークパラメータ値に基づいてシステム位置を求めるステップＳ２１０を含む。Ｓ２１０は、分類、パターンマッチング、位置特定法、畳み込みニューラルネットワーク、遺伝的アルゴリズムまたは他の任意の適切な方法を使用して実行することができる。第１の実施形態では、Ｓ２１０が、検出したランドマークタイプまたはクラス（例えば、一時停止標識）の既知のランドマークパラメータ値（例えば、標準寸法）を求めること、サンプリングした信号から推定ランドマークパラメータ値を抽出すること（例えば、ランドマーク画素の数および分布に基づいてランドマーク寸法を決定すること。ここで、各画素は予め設定された物理的サイズに予めマッピングされる）、既知のランドマーク寸法および測定したランドマーク寸法に基づいて縮尺係数を求めること、並びに、縮尺係数に基づいてランドマーク（または、ランドマーク特徴）までの距離を求めることを含む（具体例を図３に示す）。
【００４９】
いくつかの変形例では、Ｓ２１０が、ランドマークの種類またはクラスに基づいてランドマークの既知のパラメータ値を求めることを含むことができる。そのような変形例では、既知のパラメータが、（例えば、高分解能の三次元マッピングツールによる）経験的測定の代わりに、ランドマークタイプに関連付けられた絶対的情報に基づくものであることが好ましい。代替的には、既知のパラメータを、ランドマークに関連付けられた他の任意の適切な情報に基づくものとすることができる。第１の例では、既知のパラメータが、地域（例えば、市、州、国）に関連付けられ、地域に存在するランドマークの各インスタンスを特徴付ける既知の寸法（例えば、標準化された一時停止標識に関連付けられた既知のサイズおよび形状）を含む。このため、この例では、既知のパラメータに基づいて（例えば、ランドマークの予め設定されたパラメータの経験的測定を必要とすることなく）車両とランドマークとの間の正確な相対位置を導出するために、記録された画像において識別される上述したランドマークタイプのインスタンスの描写を既知の寸法と比較することができる。第２の例では、既知のパラメータが、ランドマークのクラス（例えば、一時停止標識、譲れの標識）に書かれたテキストインジケータのフォントを含む。よって、この例では、上述したランドマークタイプのインスタンスの画像から抽出されたテキストインジケータの（例えば、テキストインジケータの画像が取り込まれる視点による）見かけのフォントを既知のフォントと比較して、車両とランドマークとの間の正確な相対位置を判定することができる。しかしながら、Ｓ２１０は、その他の方法で適切に実行することもできる。
【００５０】
第２の実施形態では、画像フレームを水平バンドのセットに分割することができ、各水平バンドが異なる距離に関連付けられる。システムからのランドマークの距離は、ランドマークがどの水平バンドで検出されるかに基づいて推定することができる。この実施形態の特定の例では、１または複数の画像処理アルゴリズムを使用して、画像内のランドマーク描写（例えば、ランドマークを示す画像のピクセル）の位置を抽出し、画像描写の図心が位置する水平バンドを識別し、その水平バンドに基づいて車両（例えば、車両のカメラシステムの位置）とランドマークとの間の相対距離を計算することができる（例えば、画像の上部に近い水平バンドは、画像の下部に近い水平バンドよりも、車両からより遠い距離に関連付けられる）。水平バンドは、画像の直線座標と整列させることが好ましいが、代替的には、画像座標に対する任意の適切な座標に従って整列させることもできる。
【００５１】
第３の実施形態では、画像フレームを鉛直バンドのセットに分割することができ、各鉛直バンドがシステムに対する異なる角度位置に関連付けられる。システムに対するランドマークの角度位置は、ランドマークがどの鉛直バンドで検出されるかに基づいて推定することができる。この実施形態の特定の例では、１または複数の画像処理アルゴリズムを使用して、画像内のランドマーク描写（例えば、ランドマークを示す画像のピクセル）の位置を抽出し、画像描写の図心が位置する鉛直バンドを識別し、その鉛直バンドに基づいて車両（例えば、車両のカメラシステムの位置）とランドマークとの間の相対的な角度位置を計算することができる（例えば、画像の左端に近い鉛直バンドは、画像の右端に近い鉛直バンドよりも、車両の移動方向とランドマークの位置との間のより小さい鋭角に関連付けられる）。鉛直バンドは、画像の直線座標と整列させることが好ましいが、代替的には、画像座標に対する任意の適切な座標に従って整列させることもできる。
【００５２】
代替的には、画像フレームを、予測座標空間または測定座標空間に基づいて任意の方法で分割することができる（例えば、異なる範囲、角度、速度または位置間隔に対応する区画に分割することができる）。
【００５３】
第４の変形例では、ランドマークに対するシステム位置が、記録した信号にＣＮＮまたは他のニューラルネットワークを適用することによって求められる。第５の変形例では、ランドマークに対するシステム位置が、（例えば、オプティカルフロー、車両操縦信号などを使用して求められるように）システム軌跡に基づいて求められる。しかしながら、システム位置を他の方法で決定することもできる。
【００５４】
検出したランドマークに対するシステム位置に基づいてグローバルシステム位置を求めるステップＳ３００は、正確なグローバルシステム位置を求めるように機能する。Ｓ３００は、Ｓ１００の発生に応答して実行されることが好ましいが、代替的には、システムが予め設定された地理的領域内にあるとき、あるいはランドマークが画像フレームの閾値割合以上占めるとき、または他の任意の適切なときにも実行することができる。Ｓ２００は、（例えば、センサシステム、車両、ユーザデバイスおよび／またはリモートコンピューティングシステムによって実行される）位置決定モジュールによって求められることが好ましいが、他の任意の適切なシステムによって実行することもできる。
【００５５】
Ｓ３００は、検出した各ランドマークについて既知のランドマーク位置を求める（例えば、取り出す）ステップＳ３１０と、既知のランドマーク位置および検出したランドマークに対するシステム位置に基づいてグローバルシステム位置を求めるステップＳ３２０とを含むことができ、その例が図４に示されている。しかしながら、Ｓ３００は他の方法で実行することもできる。
【００５６】
検出した各ランドマークについて既知のランドマーク位置を求めるステップＳ３１０は、正確な基準位置を求めるように機能する。既知のランドマーク位置は、ランドマークデータベースから取り出すことが好ましいが、その他の方法で求めることもできる。
【００５７】
第１の変形例では、Ｓ３１０が、画像のセットから複数のランドマークのパターンを抽出すること、抽出したパターンを、既知の地理的位置に関連付けられたランドマークの既知のパターン（例えば、ランドマークの特徴）と照合すること、並びに、（既知のランドマークパターンについての）既知の地理的位置をシステム位置として割り当てることを含む。パターンは、単一画像内の複数のランドマークに関連付けられた静的パターンを含むことができ、例えば、Ｓ３１０は、複数のランドマークの画像からランドマーク地理的位置のセットを抽出することを含むことができ、各ランドマークが、関連付けられたポーズおよび地理的位置を有し、ポーズから、車両システムとランドマークとの間の相対位置を判定することができ、地理的位置は、ランドマークデータベースから取り出されるか他の方法で適切に求めることができ、それによってグローバルシステム位置を求めることができる。パターンは、追加的または代替的に、複数の連続画像に現れる１または複数のランドマークに関連付けられた時間的パターンを含むことができ、例えば、Ｓ３１０は、一連の画像に示されるランドマークと車両システムとの間の相対的な軌跡を抽出すること、並びに、その軌跡およびランドマーク地理的位置に基づいてグローバルシステム位置を決定すること（例えば、取り出すか、他の方法で適切に求めること）を含むことができる。
【００５８】
第２の変形例では、Ｓ３１０が、（例えば、二次位置特定システムからの）車両位置推定値に含まれる単位領域のセット（例えば、単位マップ）を識別（例えば、選択、検索など）すること、並びに、ランドマークパラメータ値に基づいて、識別した単位領域のセット内の既知のランドマークを識別することを含む。
【００５９】
第３の変形例では、Ｓ３１０が、テキスト位置インジケータ（例えば、道路名、都市名など）を識別すること、位置インジケータに関連付けられた単位領域のセット（例えば、マップ）を識別すること、並びに、ランドマークパラメータ値に基づいて、識別した単位領域セット内のランドマークを識別することを含む。特定の例では、Ｓ３１０が、道路標識に示される道路名を識別すること、照会の基礎として道路名を使用してリモートマップデータベースを照会すること、ローカルエリア（例えば、単位領域）内の各ランドマークに関連付けられたランドマークパラメータを含むローカルマップ（例えば、１マイルの半径、１００メートルの半径または他の任意の適切な半径内の車両周辺の地図）を取り出すこと、並びに、（例えば、車両システムにより取り込まれた近傍のランドマークの画像から）ローカルエリア内のランドマークの１つに関連付けられたランドマークパラメータに基づいてローカルエリア内の既知のランドマークを識別することを含むことができる。しかしながら、Ｓ３１０は他の方法で実行することもできる。
【００６０】
Ｓ３１０は、検出したランドマークを一意に識別するステップＳ３１２を任意選択で含むことができる。ランドマークは、車両の軌跡または経路（および／または車両に対するランドマークの軌跡）、ランドマークの方向（例えば、センサシステムに曝される面）、センサシステムに対するランドマークのポーズ（例えば、左、右、高、低など）、または他の任意の適切なパラメータに基づいて、一意に検出することができる。例えば、識別した単位領域（例えば、交差点）内の一時停止標識は、（例えば、計画ルートから、記録したビデオのオプティカルフロー分析などから求められる）車両の軌跡、（例えば、検出した特徴、識別したテキストなどに基づく）センサシステムに対する一時停止標識のポーズ、および（例えば、標識の色または反射率に基づいて判定される）センサシステムにより撮像される一時停止標識の面に基づいて、一意に識別することができる。しかしながら、その他の方法でランドマークを一意に検出することもできる。
【００６１】
既知のランドマーク位置および検出したランドマークに対するシステム位置に基づいてグローバルシステム位置を決定するステップＳ３２０は、高精度基準位置（例えば、ランドマーク位置）に基づいて高精度システム位置を求めるように機能する。グローバルシステム位置は、計算されることが好ましいが、その代わりに、推定することも、テーブルから選択することも、あるいは他の方法で決定することもできる。グローバルシステム位置は、（Ｓ２００で求められる）ランドマークに対するシステム位置に基づいて決定されることが好ましいが、他の適切な方法で求められるランドマークとシステムとの間の他の任意の適切な位置関係に基づいて決定することもできる。
【００６２】
第１の変形では、グローバルシステム位置が、求めたシステム角度位置および既知のランドマーク位置からの距離を使用して計算される。第２の変形例では、グローバルシステム位置が、複数のランドマーク（例えば、複数の識別したランドマーク）についての既知の位置と、それぞれのランドマークに対する、システムで求めた角度位置および距離とに基づいて三辺測量される（図６に例を示す）。しかしながら、その他の方法でグローバルシステム位置を求めることも可能である。
【００６３】
本方法は、車両の特定した位置および／またはマッピングした位置に基づいて所定の（または予め設定された）ルートに従って車両をナビゲートするように機能する、車両をルーティングするステップＳ４００を任意選択で含むことができる。Ｓ４００は、（例えば、障害物を回避するために、所望の目的地に到達する等のために）求めたグローバルシステム位置および／または識別したランドマーク位置に対する正確なシステム位置に従って、車両を（例えば、自律的に）制御することを含むことができる。
【００６４】
第１の変形例では、Ｓ４００が、位置誤差に基づいて車両をルーティングすることを含む。例えば、位置誤差が閾値を超えるときに車両運転中である場合には、コンピューティングシステムが、位置誤差を補償するために既知のランドマークの近くに車両のルートを指定することができる。関連する例では、コンピューティングシステムが、位置誤差の累積速度が予め設定された閾値速度を超えることに基づいて車両のルートを指定することができる。例示的な実施形態では、Ｓ４００が、所定のルートに沿って利用可能なランドマーク密度に基づいてルートを決定すること、並びに、決定したルート（例えば、決定したルートが、出発地と目的地との間の全体距離がより大きいが、ランドマーク密度がより高くなるような、インスタンスを含む）に従って車両のルートを指定することを含むことができる。このため、ルートに沿った各点での位置誤差が最小になるようにルートを決定することができるが、追加的または代替的には、移動時間、移動距離または他の任意の適切なナビゲーション関連パラメータを最適化するように、ルートを決定することもできる。
【００６５】
第２の変形例では、Ｓ４００が、第２の車両から受信したデータに基づいて車両をルーティングすることを含む。第１の例では、第２の車両が、第２の車両に近接するランドマークに基づいてそのグローバルシステム位置を求め、（例えば、車両に関連するモジュールおよび第２の車両に関連するモジュールを含む）コンピューティングシステムが、（例えば、飛行時間型パケット伝送測定に従って、あるいは距離測定システムの出力に基づいて、あるいは第１の車両のカメラで捕捉された第２の車両の後部の画像の画像処理に基づいて）車両と第２の車両の相対位置を求め、この相対位置に基づいて車両のグローバルシステム位置を求め、求めたグローバルシステム位置に従って車両のルートを指定する。
【００６６】
Ｓ４００は、この方法１００の他のブロックから導出される任意の適切なデータに従って、かつ／またはそれに基づいて、任意の適切な方法で車両をルーティングすることを追加的または代替的に含むことができる。
【００６７】
この方法は、ランドマークに関連付けられた地理的位置（例えば、各ランドマークのそれぞれの地理的位置）を分類し、車両システムの構成要素（例えば、カメラ）とランドマークとの間の相対位置を求めるために抽出されるランドマークのパラメータと地理的位置とを関連付けるように機能する、ランドマークデータベースを生成するステップＳ５００を任意選択で含むことができる。また、Ｓ５００は、その後の検索および／または利用のために既知のランドマークデータを求めて格納するように機能することもできる。Ｓ５００は、ビデオ、画像、距離測定値または他の測定値から基準を抽出すること、ランドマークデータベースを使用して検出した基準を識別すること、並びに、動作パラメータ（例えば、正確な位置）を決定するために基準情報を使用することを含むことができる。ランドマークデータベースを生成するために使用されるランドマークは、不変ランドマークであることが好ましいが、代替的には可変（例えば、任意の適切な時間スケールで変化するもの）であってもよい。ランドマーク（基準）には、道路標識（一時停止標識、譲れの標識、横断歩道標識、道路名、出口標識など）、路面標識（一時停止バー、一時停止線、境界線、車線標識）、電柱、縁石、交差点の詳細、信号灯の詳細、道路施設および路側施設、街灯、信号機、ロゴ（例えば、ガソリンスタンドのロゴ）、店頭、トピアリ（例えば、木々、茂み）、路面標示（車線標示）、メールボックス、消火栓および／または他の任意の適切なランドマークまたは基準（例えば、光学基準）が含まれる。Ｓ５００は、基準に対する車両位置に関連する基準パラメータ値、基準についての既知の地理的位置（例えば、１メートル未満または０．５メートル未満の精度）、基準のパターン（例えば、空間パターン）および／または既知の車両位置に関連するパラメータ値、ポーズ−位置のペア（例えば、特定のランドマークポーズと、ランドマークを撮像して特定のポーズを見るカメラまたは他の撮像システムの相対位置との間の関連付け）、および／または他の適切な関連付け記憶することができる。
【００６８】
ランドマークデータベースを生成することは、１または複数のマップ（例えば、各単位領域ごとにランドマークを有するスパースマップ）、行列（例えば、スパース行列）、テーブルまたは他のデータ構造をもたらすことを含むことができる。マップは静的であっても、あるいはリアルタイムまたはほぼリアルタイムで生成されるものであっても、若しくは他の方法で求められるものであってもよい。様々なデータ構造は、様々な、地理的領域（例えば、重複、非重複；同じまたは異なる領域をカバーなど）、ランドマーク密度、位置推定の分解能または精度、動作コンテキスト（例えば、昼／夜）、ルート、ユーザアカウントまたは他の任意の変数について生成することができる。方法の異なるインスタンスは、同じまたは異なるセットのマップを使用することができる。例えば、Ｓ５００は、車両ポーズ（および／またはランドマークポーズ）のＧＰＳ推定値およびカメラ情報が与えられたときに、基準ランドマークのグローバルマップを参照し、グランドトゥルースランドマークおよびカメラ情報が与えられたときの車両ポーズのローカルマップを生成することができる。
【００６９】
変形例では、Ｓ５００が、地方自治体のデータ（例えば、市町村地図）に基づいて、あるいは高分解能位置特定システム（例えば、ＧＰＳ−ＲＴＫ）および相関ランドマーク検出システム（例えば、距離、ポーズおよび／または寸法を決定するためのＬＩＤＡＲ）を使用した測量によって、あるいは注釈付きの航空地図によって、または他の任意の適切な方法またはプロセスによって、ランドマークデータベースおよび／または関連するマップ（例えば、市街図）を生成することができる。
【００７０】
第１の特定の例では、Ｓ５００が、（例えば、二次位置特定システムを使用して）車両とランドマーク位置との間の相対位置を決定すること、グローバルシステム位置および相対位置に基づいてランドマーク地理的位置を決定すること、（例えば、車両システムのカメラから見た）ランドマークポーズおよび相対位置を関連付けてポーズ−位置のペアを生成すること、並びに、ランドマークデータベースにポーズ−位置のペアおよびランドマーク地理的位置を格納することを含む。車両システムは、（例えば、リモートランドマークデータベース、ローカルランドマークデータベースなどから取り出した後に）格納したポーズ−位置のペアを使用して、記録した画像をデータベースと比較し、それにより車両システムとランドマークとの間の相対位置、すなわち車両システムのグローバルシステム位置を求めることができる。
【００７１】
第２の特定の例では、図９に示すように、Ｓ５００は、ランドマークデータベースを協調的に生成するステップＳ５１０を含むことができる。Ｓ５１０は、複数の車両に対応する複数のパスにわたって同じランドマークを識別すること、それらランドマークを、各ランドマークについて同時に求められた位置推定値と、車両（例えば、車両のカメラシステム）間の相対位置のセットに対応するランドマークパラメータのセットとに関連付けること、並びに、各ランドマークのランドマーク地理的位置および関連するランドマークパラメータを、位置推定値および関連するランドマークパラメータの平均として求めることを含むことができる。しかしながら、Ｓ５１０は、ランドマークデータベース（例えば、ランドマークのマップおよび関連データ）を他の方法で適切に協調的に生成することを含むことができる。
【００７２】
Ｓ５００は、信頼スコアを決定することを含むことができ、信頼スコアは、パラメータの協調的な決定に基づいて、ランドマークパラメータ（例えば、ランドマークの形状、ランドマーク地理的位置など）に割り当てることができる。例えば、信頼スコアは、連続する車両がランドマークパラメータを決定して（例えば、定量的比較に基づいて）パラメータ値、値のセットまたは値の範囲の相互の合意を得るに連れて、増加することができる。決定した信頼スコアは、データベース内のランドマークパラメータ値と関連付けることができ、いくつかの変形例では、ランドマークパラメータの決定が、信頼スコアに基づくものとなる（例えば、最も高い信頼スコアに関連付けられたパラメータ値を取り出すことができる）。他の変形例では、ランドマークパラメータを決定することが、信頼スコアに基づいて、格納されたランドマークパラメータの加重平均（例えば、高い信頼スコアに関連付けられたパラメータが、加重平均においてより高い重みを有する）を計算することを含むことができる。この方法１００の任意のブロックは、ブロックＳ５００で決定されたように信頼スコアに基づいて実行することができる。
【００７３】
追加的または代替的には、Ｓ５００が、他の方法でランドマークデータベースを適切に生成することを含むことができる。
【００７４】
本システムおよび／または本方法の実施形態は、様々なシステム構成要素および様々な方法プロセスのあらゆる組み合わせおよび置換を含むことができ、本明細書に記載の方法および／またはプロセスの１または複数のインスタンスは、非同期的に（例えば、順次）、同時に（例えば、並行して）または他の任意の順序で、かつ／または、本明細書に記載のシステム、構成要素および／またはエンティティの１または複数のインスタンスを使用することにより、実行することができる。
【００７５】
当業者であれば、前述した詳細な説明、並びに、図面および特許請求の範囲から認識されるように、添付の特許請求の範囲で規定される本発明の範囲から逸脱することなく、本発明の好ましい実施形態に対して修正および変更を加えることができる。
【図１】
2019527832.tif 000003
【図２】
2019527832.tif 000004
【図３】
2019527832.tif 000005
【図４】
2019527832.tif 000006
【図５】
2019527832.tif 000007
【図６】
2019527832.tif 000008
【図７】
2019527832.tif 000009
【図８】
2019527832.tif 000010
【図９】
2019527832.tif 000011
【図１０】
2019527832.tif 000012
【国際調査報告】
2019527832.tif 000013