(57)【要約】車両の位置を追跡する測位システムは、複数の衛星から複数の時点において受信された衛星信号の位相測定値を受信するように構成された受信機と、いくつかの時点における衛星信号のうちの少なくとも一部のマルチパス送信によって引き起こされる雑音の存在下での位相測定値のセットから車両の位置を求めるようにトレーニングされた再帰型ニューラルネットワークを記憶するように構成されたメモリとを備える。測位システムのプロセッサは、再帰型ニューラルネットワークを用いて各時点において受信された位相測定値のセットを処理することによって、異なる時点にわたって車両の位置を追跡して、各時点における車両の位置を生成するように構成される。【特許請求の範囲】
【請求項１】
車両の位置を追跡する測位システムであって、
複数の衛星から複数の時点において受信された衛星信号の位相測定値を受信するように構成された受信機と、
いくつかの時点における前記衛星信号のうちの少なくとも一部のマルチパス送信によって引き起こされる雑音の存在下での位相測定値のセットから前記車両の位置を求めるようにトレーニングされた再帰型ニューラルネットワークを記憶するように構成されたメモリと、
前記再帰型ニューラルネットワークを用いて各時点において受信された前記位相測定値のセットを処理することによって、異なる時点にわたって前記車両の位置を追跡して、各時点における前記車両の位置を生成するように構成されたプロセッサと、
を備える、測位システム。
【請求項２】
前記再帰型ニューラルネットワークは、前記位相測定値のセットを受信することに応答して、前記車両の位置を出力するのにアテンションベースマルチモーダルフュージョンを用いる、請求項１に記載の測位システム。
【請求項３】
前記再帰型ニューラルネットワークは、少なくともいくつかの異なる位相測定値に異なる重みを適用して、重み付けされた位相測定値のセットを生成するとともに、前記重み付けされた位相測定値のセットから前記車両の位置を求める、請求項１に記載の測位システム。
【請求項４】
前記再帰型ニューラルネットワークは、
前記衛星の前記位相測定値の現在の時間特徴及び以前の時間特徴に基づいて各衛星の位相測定値の個々の重みを求め、
以前の共同重みに基づいて複数の衛星の組み合わされた個々に重み付けされた位相測定値の共同重みを求め、
前記共同重みを用いて重み付けされた、前記組み合わされた個々に重み付けされた位相測定値から前記車両の位置を推定する、
ようにトレーニングされる、請求項１に記載の測位システム。
【請求項５】
前記再帰型ニューラルネットワークは、
現在の時間ウィンドウにわたって収集された位相測定値のシーケンスから前記衛星の前記位相測定値の現在の時間特徴を抽出し、
以前の時間ウィンドウにわたって収集された位相測定値のシーケンスについて求められた前記衛星の前記位相測定値の以前の時間特徴、及び、前記以前の時間特徴について求められた個々の重みを索出し、
前記現在の時間特徴と、前記以前の時間特徴との比較に基づいて前記以前の時間特徴について求められた前記個々の重み又は時間アテンション重みを調整することによって、入力位相測定値における時間依存性を特徴付ける前記現在の時間特徴についての前記個々の重みを求める、
ように更にトレーニングされる、請求項４に記載の測位システム。
【請求項６】
前記再帰型ニューラルネットワークは、
現在の時間ウィンドウにわたって前記複数の衛星から受信された前記個々に重み付けされた位相測定値を組み合わせて、前記現在の時間ウィンドウについて前記組み合わされた個々に重み付けされた位相測定値を生成し、
以前の時間ウィンドウについて求められた以前に組み合わされた個々に重み付けされた位相測定値を索出し、
前記以前に組み合わされた個々に重み付けされた位相測定値について求められた以前の共同重みを索出し、
前記組み合わされた個々に重み付けされた位相測定値と前記以前に組み合わされた個々に重み付けされた位相測定値との比較に基づいて以前の共同重みを調整することによって、入力位相測定値全体における時間依存性を特徴付ける前記共同重みを求める、
ように更にトレーニングされる、請求項４に記載の測位システム。
【請求項７】
前記再帰型ニューラルネットワークは、前記プロセッサが特定のパスの少なくとも一部に沿って走行する前記車両の前記位置を追跡するように、前記特定のパスについてトレーニングされる、請求項１に記載の測位システム。
【請求項８】
前記車両は、前記特定のパスに沿って走行する列車である、請求項７に記載の測位システム。
【請求項９】
前記メモリは、再帰型ニューラルネットワークのセットを記憶し、各再帰型ニューラルネットワークは、特定のパスについてトレーニングされ、前記プロセッサは、前記追跡に基づいて前記再帰型ニューラルネットワークのセットから前記再帰型ニューラルネットワークを選択する、請求項１に記載の測位システム。
【請求項１０】
前記メモリは、再帰型ニューラルネットワークのセットを記憶し、各再帰型ニューラルネットワークは、特定のパスについてトレーニングされ、前記プロセッサは、追跡中に前記再帰型ニューラルネットワークのセットから異なる再帰型ニューラルネットワークを用いる、請求項１に記載の測位システム。
【請求項１１】
前記測位システムは、車両ネットワークのアクセスポイントと通信する前記車両を含む前記車両ネットワークにわたって実装される分散システムであり、前記再帰型ニューラルネットワークは、前記アクセスポイントの前記メモリに記憶されるとともに、前記アクセスポイントによってカバーされる前記車両ネットワークのエリア内の位置を求めるようにトレーニングされる、請求項１に記載の測位システム。
【請求項１２】
前記プロセッサは、追跡中に前記車両の異なるアクセスポイントにおいて記憶された異なる再帰型ニューラルネットワークを用いる、請求項１１に記載の測位システム。
【請求項１３】
前記位相測定値を前記アクセスポイントに送信する送信機を更に備える、請求項１１に記載の測位システム。
【請求項１４】
前記プロセッサは、前記アクセスポイントによって実行され、前記測位システムは、
前記位相測定値を前記アクセスポイントに送信するとともに、前記アクセスポイントから前記車両の前記位置の推定値を受信する送受信機、
を更に備える、請求項１１に記載の測位システム。
【請求項１５】
前記車両の位置を追跡して、位相測定値及び対応する位置推定値を含むログファイルを生成するように構成されたナビゲータと、
前記ログファイルから抽出されたデータを用いて前記再帰型ニューラルネットワークをトレーニングするように構成されたトレーナと、
前記再帰型ニューラルネットワークがトレーニングされると前記ナビゲータから前記再帰型ニューラルネットワークに追跡をスイッチするように構成されたスイッチャと、
を更に備える、請求項１に記載の測位システム。
【請求項１６】
前記プロセッサは、前記マルチパス送信について前記位相測定値を試験することなく、前記再帰型ニューラルネットワークを用いて各時点において受信された前記位相測定値のセットを処理する、請求項１に記載の測位システム。
【請求項１７】
車両の位置を追跡する測位方法であって、前記測位方法は、前記測位方法を実施する記憶された命令と結合されたプロセッサを使用し、前記命令は、前記プロセッサによって実行されると、前記測位方法のステップを実行し、前記ステップは、
複数の衛星から複数の時点において受信された衛星信号の位相測定値を受信するステップと、
いくつかの時点における前記衛星信号のうちの少なくとも一部のマルチパス送信によって引き起こされる雑音の存在下での位相測定値のセットから前記車両の位置を求めるようにトレーニングされた再帰型ニューラルネットワークにアクセスするステップと、
前記再帰型ニューラルネットワークを用いて各時点において受信された前記位相測定値のセットを処理することによって、異なる時点にわたって前記車両の前記位置を追跡して、各時点における前記車両の前記位置を生成するステップと、
を含む、測位方法。
【請求項１８】
前記再帰型ニューラルネットワークは、前記位相測定値のセットを受信することに応答して、前記位置を出力するのにアテンションベースマルチモーダルフュージョンを用いる、請求項１７に記載の測位方法。
【請求項１９】
前記再帰型ニューラルネットワークは、少なくともいくつかの異なる位相測定値に異なる重みを適用して、重み付けされた位相測定値のセットを生成するとともに、前記重み付けされた位相測定値のセットから前記車両の前記位置を求める、請求項１７に記載の測位方法。
【請求項２０】
方法を実行するプロセッサによって実行可能であるプログラムが具現化された非一時的コンピュータ可読記憶媒体であって、前記方法は、
複数の衛星から複数の時点において受信された衛星信号の位相測定値を受信することと、
いくつかの時点における前記衛星信号のうちの少なくとも一部のマルチパス送信によって引き起こされる雑音の存在下での位相測定値のセットから車両の位置を求めるようにトレーニングされた再帰型ニューラルネットワークにアクセスすることと、
前記再帰型ニューラルネットワークを用いて各時点において受信された前記位相測定値のセットを処理することによって、異なる時点にわたって前記車両の位置を追跡して、各時点における前記車両の位置を生成することと、
を含む、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、全地球測位衛星システム（ＧＮＳＳ：Global Navigation Satellite System）に関し、より詳細には、少なくともいくつかの衛星信号のマルチパス送信下での位置推定に関する。
【背景技術】
【０００２】
ＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ又はＢｅｉＤｏｕシステムを用いる全地球測位衛星システム（ＧＮＳＳ）受信機は、多くの応用において用いられる。ＧＮＳＳは、４つ以上の衛星への見通し線（ＬＯＳ）を用いて、ロケーション及び時間情報を提供する衛星測位システムである。都市環境では、ＬＯＳ衛星信号の反射及び屈折により、位置推定の精度に悪影響を与えるマルチパス送信がもたらされ得る。
【０００３】
従来のＧＮＳＳは、衛星信号のマルチパスに伴う問題を最小化するために時空間ダイバーシティを用いる。時間を特定する方法は、マルチパス信号とＬＯＳ信号との間の時間遅延における差を用いる。一方で、これらの方法は、計算上複雑であるとともに、マルチパス信号の遅延が短い場合には効果がない。
【０００４】
場所を特定する方法は、マルチパス検出及び軽減のために複数のアンテナを用いる。例えば、特許文献１に記載されている方法は、少なくとも１つのアンテナが、強め合う干渉を受けた信号から生じる「良好な」信号を受信することを期待して、信号を受信するために２つのアンテナを用いる。一方で、衛星信号の干渉は、強め合う保証はないため、そのようなＧＮＳＳシステムの全てのアンテナが同じマルチパス劣化を受ける可能性がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第７，６４２，９５７号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、少なくともいくつかのＧＮＳＳ信号のマルチパス送信下で位置を推定するための方法及びシステムが依然として必要とされている。
【課題を解決するための手段】
【０００７】
いくつかの実施の形態は、まず衛星信号の送信におけるマルチパスを検出し、マルチパス送信から受信された信号を除去し、その後初めて、残りの衛星送信の測定値に基づいて位置を推定することが自然であるという理解に基づいている。しかしながら、マルチパス検出は、複雑なプロセスになり得る。それゆえ、そのような手法は、計算的に負荷が高くなるとともに時間がかかる可能性があり、マルチパス送信の存在下での迅速な位置推定が妨げられる。
【０００８】
そのため、いくつかの実施の形態の目的は、マルチパス送信のために試験することなく、車両の位置を推定することである。マルチパス検出の回避により、位置推定の迅速性を高め、位置を求めるコンピュータの計算負荷を削減し、及び／又は、分散応用、例えば、クラウド内で実施することができる分散応用に位置推定を適応させることができる。
【０００９】
いくつかの実施の形態は、複数の衛星からの衛星送信がマルチパス送信及び見通し線（ＬＯＳ）送信を含む場合、そのような送信は、ＬＯＳ送信によって表されるクリーンな信号と、マルチパス送信によって表されるクリーンな信号上の雑音とを含む雑音含有信号として扱うことができるという理解に基づいている。この類推において、マルチパス検出を用いる位置推定は、クリーンな信号に基づく後続の位置推定を有する雑音推定／除去に等価である。しかしながら、いくつかの実施の形態は、雑音含有信号から直接位置推定を実行することを目標とする。
【００１０】
いくつかの実施の形態は、雑音含有信号から位置推定のために機械学習技法を適用することができるという認識に基づいている。機械学習を用いて、収集されたデータ、例えば、衛星信号の位相測定値を、自動位置推定システムにおいて利用することができ、ここで、データの時間依存性をトレーニングを通じて学習することができる。例えば、ニューラルネットワークは、種々のタイプの雑音含有信号を含む複雑なシステムについて実用的にトレーニングすることができる機械学習技法のうちの１つである。そのため、いくつかの実施の形態の目的は、ＬＯＳ送信及びマルチパス送信から受信された衛星信号から測定された位相を含む雑音含有信号から直接位置推定を実行するようにトレーニングされたニューラルネットワークを提供することである。
【００１１】
しかしながら、複数の雑音含有信号とは対照的に、位相測定値の雑音含有信号内の雑音は、クリーンな信号自体と同じ性質を有し、すなわち、雑音及びクリーンな信号の双方が位相測定値である。例えば、ニューラルネットワークは、雑音含有音声発話における単語を認識するのに用いることができる。しかしながら、位置推定とは対照的に、雑音含有音声発話内の雑音は、その発話内のクリーンな音声とは異なる特性を有する。そのため、雑音含有信号の１つのタイプを処理するのに適したニューラルネットワークは、雑音含有位相測定値に基づいた位置推定に適していない場合がある。
【００１２】
いくつかの実施の形態は、位置推定が移動している車両について実行される場合、経時的なマルチパス送信の変化の動態は、ＬＯＳ送信の変化の動態とは異なるという認識に基づいている。そのようにして、時系列の位相測定値について、雑音、すなわちマルチパス送信の特性は、実際には、クリーンな信号、すなわちＬＯＳ送信の特性とは異なる。
【００１３】
そのため、いくつかの実施の形態では、いくつかの時点における衛星信号のうちの少なくとも一部のマルチパス送信によって引き起こされる雑音の存在下での位相測定値のセットから車両の位置を求めるように再帰型ニューラルネットワーク（ＲＮＮ）をトレーニングする。ＲＮＮは、ノード間の接続がシーケンスに沿って有向グラフを形成する人工ニューラルネットワークの一クラスである。これにより、ＲＮＮが時間シーケンスについての動的時間挙動を呈することが可能になる。フィードフォワードニューラルネットワークとは異なり、ＲＮＮは、入力のシーケンスを処理するのに自身の内部状態（メモリ）を用いることができる。これにより、ＲＮＮが、分割されていない繋がった手書き文字の認識又は音声認識等のタスクに適用可能になる。しかしながら、いくつかの実施の形態では、ＲＮＮをマルチパスフリー位置推定に採用することができることを認識する。
【００１４】
したがって、本開示は、車両の位置を追跡する測位システムを記載し、測位システムは、複数の衛星から複数の時点において受信された衛星信号の位相測定値を受信するように構成された受信機と、いくつかの時点における衛星信号のうちの少なくとも一部のマルチパス送信によって引き起こされる雑音の存在下での位相測定値のセットから車両の位置を求めるようにトレーニングされたＲＮＮを記憶するように構成されたメモリと、マルチパス送信について位相測定値を試験することなくＲＮＮを用いて各時点において受信された位相測定値のセットを処理することによって、異なる時点にわたって車両の位置を追跡して、各時点における車両の位置を生成するように構成されたプロセッサとを備える。
【００１５】
例えば、１つの実施の形態では、ＲＮＮは、位相測定値のセットを受信することに応答して、位置を出力するのにアテンションベースマルチモーダルフュージョン（attention-based multimodal fusion）を用いる。例えば、ＲＮＮは、少なくともいくつかの異なる位相測定値に異なる重みを適用して、重み付けされた位相測定値のセットを生成するとともに、個々に重み付けされた位相測定値のセットから車両の位置を求める。そのようにして、ＲＮＮは、例えば重みを用いて、位置推定に対するマルチパス送信の負の影響を最小化するようにトレーニングされる。
【００１６】
ＲＮＮをトレーニングするために、位相測定値を、マルチパスがないクリーンな信号から求められる位置推定に関係付けるデータが必要とされている。いくつかの実施の形態は、種々の市販のナビゲータのログファイルがそのようなデータを提供することができるという認識に基づいている。そのため、いくつかの実施の形態では、それらのログファイルから抽出された情報を用いてＲＮＮをトレーニングする。実施の形態により、同じ又は異なるナビゲータから収集された同じ又は異なるルートの異なるログファイルを用いてＲＮＮをオフラインでトレーニングすることが可能になる。加えて、又は代替的に、１つの実施の形態は、種々のナビゲータを用いてオンライン位置推定を実行するとともに、トレーニングされたＲＮＮが位置推定のターゲット精度を達成するまで利用されるナビゲータのログファイルを用いてＲＮＮをトレーニングする。
【００１７】
しかしながら、実験及び試験を通じて、いくつかの実施の形態は、ＲＮＮのトレーニングが非常に多くのデータを要求するタスクであるという理解に基づいている。具体的には、雑音及び非雑音等の入力を分類することを目標としたニューラルネットワークの分類タスクとは対照的に、位置推定は、トレーニングのために分類タスクよりもはるかに多くのデータを必要とする数値問題である。いくつかの実施の形態では、この問題は、ＲＮＮのトレーニングに対してより多くの時間をかけることによって克服される。加えて、又は代替的に、いくつかの実施の形態では、この問題は、ＲＮＮが位置推定を実行するようにトレーニングされるエリアを削減することによって克服される。
【００１８】
例えば、１つの実施の形態では、ＲＮＮは、プロセッサが特定のパスの少なくとも一部に沿って走行する車両の位置を追跡するように、特定のパスについてトレーニングされる。そのようにして、ニューラルネットワークは、パスに沿って走行することから収集されたデータを用いてそのパスについてトレーニングされ、それにより、ＲＮＮをトレーニングするのに十分なデータの量が削減される。いくつかの応用の場合、この限界は、問題にすらならない。例えば、列車は、所定のパスに沿って走行し、いくつかの実施の形態は、特定のパスに沿って走行する列車の位置を求めるようにトレーニングされたＲＮＮを用いる。
【００１９】
加えて、又は代替的に、いくつかの実施の形態では、異なるパスについてトレーニングされた複数のＲＮＮを用いる。それらの実施の形態では、位置推定に融通性を加える。なぜならば、異なるＲＮＮを別個に、すなわち、互いから独立してトレーニングするとともに更新することができるためである。例えば、１つの実施の形態では、測位システムのメモリは、ＲＮＮのセットを記憶し、各ＲＮＮは、特定のパスについてトレーニングされ、測位システムのプロセッサは、追跡のためにＲＮＮのセットからＲＮＮを選択する。とりわけ、この実施の形態の１つの実施態様により、追跡中にＲＮＮのセットから異なるＲＮＮを用いることが可能になる。メモリから現在のＲＮＮを選択するのに種々の方法を用いることができる。例えば、１つの実施の形態は、現在のＲＮＮを選択するために、粗い位置推定及び／又は、追跡からの現在の位置を用いる。
【００２０】
いくつかの実施の形態は、別個のマルチパス検出プロセスの回避により、位置推定が、分散応用について適応可能になるという理解に基づいている。例えば、いくつかの実施の形態では、測位システムは、車両ネットワークのアクセスポイントと通信する車両を含む車両ネットワークにわたって実装される分散システムである。そのようにして、測位システムのいくつかの要素は、車両上に実装することができ、いくつかの要素は、アクセスポイント及び／又はアクセスポイントに作動的に接続された他のシステム上に実装することができる。
【００２１】
例えば、１つの実施の形態では、車両は、位相測定値をアクセスポイントに送信するとともに、アクセスポイントから車両の位置の推定値を受信する送受信機を備える。位置推定は、アクセスポイント（及び／又はアクセスポイントに作動的に接続された他のシステム）によって実行されるとともに、車両に返送される。そのようにして、ＲＮＮは、アクセスポイントのメモリに記憶されるとともに、アクセスポイントによってカバーされる車両ネットワークのエリア内の位置を求めるようにトレーニングされる。車両が、車両に未知の異なるアクセスポイントによってカバーされるエリア間を移動する場合、異なるアクセスポイントは、異なるＲＮＮを用いて車両の位置を追跡する。
【００２２】
したがって、１つの実施の形態は、車両の位置を追跡する測位システムであって、複数の衛星から複数の時点において受信された衛星信号の位相測定値を受信するように構成された受信機と、いくつかの時点における衛星信号のうちの少なくとも一部のマルチパス送信によって引き起こされる雑音の存在下での位相測定値のセットから車両の位置を求めるようにトレーニングされた再帰型ニューラルネットワークを記憶するように構成されたメモリと、再帰型ニューラルネットワークを用いて各時点において受信された位相測定値のセットを処理することによって、異なる時点にわたって車両の位置を追跡して、各時点における車両の位置を生成するように構成されたプロセッサとを備える、測位システムを開示する。
【００２３】
別の実施の形態は、車両の位置を追跡する測位方法であって、方法は、方法を実施する記憶された命令と結合されたプロセッサを使用し、命令は、プロセッサによって実行されると、方法の少なくともいくつかのステップを実行し、ステップは、複数の衛星から複数の時点において受信された衛星信号の位相測定値を受信するステップと、いくつかの時点における衛星信号のうちの少なくとも一部のマルチパス送信によって引き起こされる雑音の存在下での位相測定値のセットから車両の位置を求めるようにトレーニングされた再帰型ニューラルネットワークにアクセスするステップと、再帰型ニューラルネットワークを用いて各時点において受信された位相測定値のセットを処理することによって、異なる時点にわたって車両の位置を追跡して、各時点における車両の位置を生成するステップと、を含む、測位方法を開示する。
【００２４】
更に別の実施の形態は、方法を実行するプロセッサによって実行可能であるプログラムが具現化された非一時的コンピュータ可読記憶媒体を開示する。本方法は、複数の衛星から複数の時点において受信された衛星信号の位相測定値を受信することと、いくつかの時点における衛星信号のうちの少なくとも一部のマルチパス送信によって引き起こされる雑音の存在下での位相測定値のセットから車両の位置を求めるようにトレーニングされた再帰型ニューラルネットワークにアクセスすることと、再帰型ニューラルネットワークを用いて各時点において受信された位相測定値のセットを処理することによって、異なる時点にわたって車両の位置を追跡して、各時点における車両の位置を生成することとを含む。
【図面の簡単な説明】
【００２５】
【図１】いくつかの実施形態による全地球測位衛星システム（ＧＮＳＳ）のブロック図である。
【図２】いくつかの実施形態による、マルチパス環境内を移動するＧＮＳＳ受信機の概略図である。
【図３】いくつかの実施形態によって対処される、マルチパスフリー衛星信号からの位置推定の方法のブロック図である。
【図４】いくつかの実施形態による、ＲＮＮ位置推定器１３５によって用いられる方法のブロック図である。
【図５Ａ】いくつかの実施形態のＲＮＮ位置推定器によって用いられるアテンションベースマルチモーダルフュージョンＲＮＮのアーキテクチャのブロック図である。
【図５Ｂ】１つの実施形態による、位相測定値のセットを受信することに応答して位置推定を実行するアテンションベースマルチモーダルフュージョンアーキテクチャのブロック図である。
【図６】いくつかの実施形態によって用いられるＬＳＴＭベースエンコーダ及びデコーダアーキテクチャのブロック図である。
【図７Ａ】いくつかの実施形態によるアテンションベース推定器の一例のブロック図である。
【図７Ｂ】いくつかの実施形態によって用いられるマルチモーダル推定器の概略図である。
【図８Ａ】いくつかの実施形態による、衛星依存測定値のセットからの車両の位置推定における基本手順を示すフローチャートである。
【図８Ｂ】いくつかの実施形態による、個々の重みの計算における基本手順を示すフローチャートである。
【図８Ｃ】いくつかの実施形態による、共同重み又はマルチモーダルアテンション重みの更新手順を示すフローチャートである。
【図９Ａ】特定のパス９００に沿った位置推定のためにニューラルネットワークをトレーニングするために、いくつかの実施形態によって用いられるこのパスを定義するレールトラックの概略図である。
【図９Ｂ】複数のパスに沿った位置推定のために複数のニューラルネットワークをトレーニングするために、いくつかの実施形態によって用いられる複数のパスを定義する複数のレールトラックの概略図である。
【図１０】１つの実施形態による、ＲＮＮ位置推定器のオンライントレーニングに適応された測位システムの概略図である。
【図１１】いくつかの実施形態による分散位置推定システムのブロック図である。
【図１２】１つの実施形態による、車両ネットワークにわたって実装される分散測位システムの概略図である。
【図１３】種々の実施形態による位置推定システムを利用する車両の概略図である。
【図１４】いくつかの実施形態による位置推定システムのブロック図である。
【発明を実施するための形態】
【００２６】
図１は、いくつかの実施形態による全地球測位衛星システム（ＧＮＳＳ）１００のブロック図を示している。ＧＮＳＳは、４つ以上の衛星への見通し線（ＬＯＳ）を用いて、ロケーション及び時間情報を提供する衛星測位システムである。いくつかの実施形態では、ＧＮＳＳは、車両の位置を追跡して、例えば、各時点における車両の位置を生成するように構成される。都市環境では、ＬＯＳ衛星信号の反射及び屈折により、位置推定の精度に悪影響を与えるマルチパス送信がもたらされる可能性がある。そのため、ＧＮＳＳシステムは、マルチパス送信を考慮して車両の位置を追跡する。
【００２７】
ＧＮＳＳ  １００は、記憶された命令を実行するように構成されたプロセッサ１２０と、このプロセッサによって実行可能である命令を記憶するメモリ１４０とを備える。プロセッサ１２０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスター、又は任意の数の他の構成とすることができる。メモリ１４０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。プロセッサ１２０は、バス１０６を通じて、１つ以上の入出力デバイスに接続される。これらの命令は、車両の位置を追跡する方法を実施する。
【００２８】
ＧＮＳＳは、マルチパス送信を考慮して、かつ、特定の送信がＬＯＳ送信であるかマルチパスであるかを判断する必要なく、車両の位置を追跡するように構成される。そのため、ＧＮＳＳ  １００は、いくつかの時点における衛星信号のうちの少なくとも一部のマルチパス送信によって引き起こされる雑音の存在下での位相測定値のセット１３１から車両の位置を求めるようにトレーニングされた再帰型ニューラルネットワーク（ＲＮＮ）１３５を用いる。例えば、トレーニング済みＲＮＮ位置推定器１３５を記憶するように記憶デバイス１３０を適合させることができる。記憶デバイス１３０は、ハードドライブ、光ドライブ、サムドライブ、ドライブのアレイ、又はこれらの任意の組み合わせを用いて実施することができる。
【００２９】
さらに、プロセッサは、メモリに記憶された命令を用いて、再帰型ニューラルネットワークを用いて各時点において受信された位相測定値のセットを処理することによって、さまざまな時点にわたって車両の位置を追跡して、各時点における車両の位置を生成するように構成される。とりわけ、プロセッサは、マルチパス送信について位相測定値を試験することなく、位相測定値から位置を直接追跡する。
【００３０】
ＧＮＳＳ  １００は、複数の衛星から複数の時点において受信された衛星信号の位相測定値を受信するように構成された受信機１５０を備える。１つの実施形態では、受信機は、アンテナ１１２を用いて、さまざまな衛星から衛星信号を受容するとともに、位相測定値１３１を求める。例えば、受信機は、位相測定値の先頭にアタッチされた一意のヘッダーを検出することによって、他の信号からの位相測定値を区別することが可能である。加えて、又は代替的に、受信機は、ネットワーク１９０を介して位相測定値１９５を受信し、これらを測定値１３１として記憶装置に記憶することができる。ネットワーク１９０を通じて、位相測定値１９５を、記憶及び／又は更なる処理のためにダウンロードして、コンピュータの記憶システム１３０内に記憶することができる。ネットワーク１９０は、有線及び／又は無線ネットワークとすることができる。測定値１９５がリモートデバイスによって求められる場合、ＧＮＳＳシステム１００は、リモートデバイスの位置を追跡することができる。
【００３１】
いくつかの実施態様では、ＧＮＳＳ  １００内のヒューマンマシンインターフェース１１０は、システムをキーボード及び／又はポインティングデバイス１１１に接続する。ポインティングデバイス１１１は、とりわけ、マウス、トラックボール、タッチパッド、ジョイスティック、ポインティングスティック、スタイラス、又はタッチスクリーンを含むことができる。いくつかの実施態様では、ＧＮＳＳは、記憶装置１３０に記憶された構成パラメータ１３３を含む。例えば、いくつかの実施態様では、ＧＮＳＳは、複数の再帰型ニューラルネットワーク１３５と、種々のニューラルネットワークを用いるための規則を指定する構成パラメータとを含む。例えば、構成パラメータは、ネットワーク１９０又はＨＭＩ  １１０を通じて受信することができる。
【００３２】
ＧＮＳＳ  １００は、バス１０６を通じて、ＧＮＳＳ  １００をディスプレイデバイス１６５に接続するように適応されたディスプレイインターフェース１６０にリンクすることができ、ディスプレイデバイス１６５は、とりわけ、コンピュータモニタ、カメラ、テレビジョン、プロジェクター、又はモバイルデバイスを含むことができる。
【００３３】
ＧＮＳＳ  １００は、システムを制御デバイス１７５に接続するように適応された制御インターフェース１７０に接続することもできる。例えば、コントローラは、ＧＮＳＳのＧＮＳＳ位置推定値に基づいて車両のモーションを制御することができる。例えば、制御デバイス１７５は、車両の加速度及び／又は車輪の転舵を制御することができる。
【００３４】
いくつかの実施形態では、ＧＮＳＳ  １００は、バス１０６を通じて、位置推定の結果に基づいて動作することができるアプリケーションデバイス１８５にＧＮＳＳ  １００を接続するように適応されたアプリケーションインターフェース１８０に接続される。例えば、デバイス１８５は、運転者にアラートするために車両のロケーションを用いる情報システムである。
【００３５】
種々の実施形態において、ＧＮＳＳシステムは、ニューラルネットワークを用いて車両の位置を追跡するように構成される。ニューラルネットワークは、動物の脳を構成する生物学的神経回路網（biological neural networks）に大まかに着想を得たコンピューティングシステムである。そのようなシステムは、一般に任意のタスク固有の規則を用いてプログラミングされることなく、例を考慮することによってタスクを実行するように「学習」する。マルチパス送信を考慮して車両の位置を追跡することは計算的に要件が多いタスクであるので、ニューラルネットワークの使用は、メモリ及び計算量の節約を提供することができる。
【００３６】
さらに、いくつかの実施形態の目的は、マルチパス送信のために試験することなく、車両の位置を推定することである。マルチパス検出の回避により、位置推定の迅速性を高め、位置を求めるコンピュータの計算負荷を削減し、及び／又は、分散応用、例えば、クラウド内で実施することができる分散応用に位置推定を適応させることができる。
【００３７】
図２は、いくつかの実施形態による、マルチパス環境内を移動する（２１１）ＧＮＳＳ受信機２００の概略図を示している。ＧＮＳＳ受信機２００は、それぞれＧＮＳＳ衛星２１６及び２１８からのＧＮＳＳ信号２０４、２０６、２０８、及び２１０の一部を部分的に遮断する構造物２０２と近接して位置する可能性がある。構造物２０２は、一例として、建築物、峡谷の壁又は高い構築物を有する市街内の通り等の自然又は人工の環境構造物とすることができる。しかしながら、構造物２０２は、ＧＮＳＳ衛星２２０及び２２２からの直接ＧＮＳＳ信号２１２及び２１４を遮断しない。ＧＮＳＳ受信機２００が移動するにつれて、異なる衛星からの、遮断されるＧＮＳＳ信号及び受信されるＧＮＳＳ信号の組み合わせ、又は直接信号及び反射信号の合成信号は、経時的に変化する。
【００３８】
この例では、ＧＮＳＳアンテナ２２３は、構造物２０２における妨害物又はあり得る物体から反射した複数のパスを介して、各ＧＮＳＳ衛星２１６、２１８、２２０、及び２２２から信号を受信する。マルチパス信号は、強め合う干渉又は弱め合う干渉をもたらす可能性があり、強め合う干渉は信号電力を上昇させるとともに、弱め合う干渉は信号電力を低下させる。一般に、ＧＮＳＳアンテナ２２３が「フラットフェージング（flat fading）」としても知られる弱め合うマルチパス干渉を受信する場合、信号を復元することができない。
【００３９】
具体的には、一例として、ＧＮＳＳ信号２０４及び２０８は構造物２０２の一部２０３によって遮断される一方、ＧＮＳＳ信号２０６、２１０、２１２、及び２１４は自由空間２２４を通過する。ただし、この例では、ＧＮＳＳ信号２１２及び２１４のみがＧＮＳＳ受信機２００によって直接受信される一方、ＧＮＳＳ信号２０６及び２１０は、それぞれ別の構造物２３２から反射したマルチパスＧＮＳＳ信号２２８及び２３０を介してＧＮＳＳ受信機２００によって間接的に受信される。
【００４０】
マルチパス伝播の別の可能性は、直接見通し線ＧＮＳＳ信号と、反射した、非見通し線又はそのＧＮＳＳ信号の遅延バージョンとの組み合わせである。この事例では、ＧＮＳＳ信号の２つのバージョンは、潜在的に、異なる遅延、振幅、位相、及び周波数を有し得る。マルチパスは、直接ＧＮＳＳ信号と干渉することになる。それゆえ、コード及び搬送波追跡ループは、合成信号を追跡することによって、誤差をもたらす。例えば、結果として得られるコード追跡誤差は、直接ＧＮＳＳ信号に対する反射信号のパス遅延、信号の相対強度、及び信号間の位相差等のいくつかの態様に依存する。
【００４１】
コード位相測定値に対するマルチパス干渉を軽減するために、ダブルデルタ判別器（double-delta discriminator）、ゲート相関器（gated correlator）、及び視覚相関器（vision correlator）等のいくつかの受信機ベース手法が提案されている。それゆえ、追加動作、例えば、受信機ベース手法を適用しなければ、マルチパス信号は、各時点における雑音含有信号と容易に識別可能でなく、追跡誤差は不可避である。加えて、モバイルＧＮＳＳ受信機２００に対して正確に動的マルチパス信号を正確に特定する決定論的モデルは存在しない。
【００４２】
いくつかの実施形態は、複数の衛星からの衛星送信がマルチパス送信及びＬＯＳ送信を含む場合、そのような送信は、ＬＯＳ送信によって表されるクリーンな信号とマルチパス送信によって表されるクリーンな信号上の雑音とを含む雑音含有信号として扱うことができるという理解に基づいている。この類推において、マルチパス検出を用いる位置推定は、クリーンな信号に基づく後続の位置推定を有する雑音推定／除去に等価である。しかしながら、いくつかの実施形態は、雑音含有信号から直接位置推定を実行することを目標とする。
【００４３】
いくつかの実施形態は、雑音含有信号からの位置推定のために機械学習技法を適用することができるという認識に基づいている。機械学習を用いて、収集されたデータ、例えば、衛星信号の位相測定値を、自動位置推定システムにおいて利用することができ、ここで、データの時間依存性を、トレーニングを通じて学習することができる。例えば、ニューラルネットワークが、種々のタイプの雑音含有信号を含む複雑なシステムについて実用的にトレーニングすることができる機械学習技法のうちの１つである。そのために、いくつかの実施形態の目的は、ＬＯＳ送信及びマルチパス送信から受信された衛星信号から測定された位相を含む雑音含有信号から直接位置推定を実行するようにトレーニングされたニューラルネットワークを提供することである。
【００４４】
しかしながら、複数の雑音含有信号とは対照的に、位相測定値の雑音含有信号内の雑音は、クリーンな信号自体と同じ性質を有し、すなわち、雑音及びクリーンな信号の双方が位相測定値である。例えば、ニューラルネットワークは、雑音含有音声発話における単語を認識するのに用いることができる。しかしながら、位置推定とは対照的に、雑音含有音声発話内の雑音は、その発話内のクリーンな音声とは異なる特性を有する。そのために、雑音含有信号の１つのタイプを処理するのに適したニューラルネットワークは、雑音含有位相測定値に基づいた位置推定に適していない場合がある。
【００４５】
いくつかの実施形態は、位置推定が移動している車両について実行される場合、経時的なマルチパス送信の変化の動態は、ＬＯＳ送信の変化の動態とは異なるという認識に基づいている。そのようにして、時系列の位相測定値について、雑音、すなわちマルチパス送信の特性は、実際には、クリーンな信号、すなわちＬＯＳ送信の特性とは異なる。例えば、マルチパス信号２２８及び／又は２３０の動的挙動は、マルチパス信号を合成しないクリーンな直接ＧＮＳＳ信号２０６及び／又は２１０の動的挙動とは異なる。
【００４６】
したがって、いくつかの実施形態は、いくつかの時点における衛星信号のうちの少なくとも一部のマルチパス送信によって引き起こされる雑音の存在下での位相測定値のセットから車両の位置を求めるようにＲＮＮをトレーニングする。ＲＮＮは、ノード間を接続して、シーケンスに沿って有向グラフを形成する人工ニューラルネットワークの一クラスである。これにより、ＲＮＮが時間シーケンスについての動的時間挙動を呈することが可能になる。フィードフォワードニューラルネットワークとは異なり、ＲＮＮは、入力のシーケンスを処理するのに自身の内部状態（メモリ）を用いることができる。これにより、ＲＮＮが、分割されていない繋がった手書き文字の認識又は音声認識等のタスクに適用可能になる。しかしながら、いくつかの実施形態は、ＲＮＮをマルチパスフリー位置推定に採用することができることを認識する。
【００４７】
図３は、いくつかの実施形態によって対処される、マルチパスフリー衛星信号からの位置推定の方法３００のブロック図を示している。方法３００は、マルチパス検出の一連のステップ３０１及び３１１等、これに後続するマルチパス除去３０５及び３１５、並びにクリーンな位相測定値からの位置推定３０８及び３１８を含む。例えば、処理時点Ｔ１において、位相測定値ｘ（Ｔ１）から、方法は、マルチパスが存在する（３０３）か存在しない（３０２）かを検出する（３０１）。マルチパスが存在する場合、方法は、その入力合成ＧＮＳＳ信号からマルチパス信号を除去し（３０５）、その後、クリーンな信号３０６を生成する。３０２又は３０６のいずれかからクリーンなＧＮＳＳ信号を用いて、方法は、クリーンな位相測定値から位置推定を実行する（３０８）。次の処理時点Ｔ１＋Δにおいて、３１２又は３１３のいずれかによって行われる判断に従って、入力測定値ｘ（Ｔ１＋Δ）からの３１２又は３１６のいずれかからの次のクリーンなＧＮＳＳ信号によって処理ブロック３１１、３１５、及び３１８によって同様の動作が行われる。
【００４８】
図４は、いくつかの実施形態による、ＲＮＮ位置推定器１３５によって用いられる方法４００のブロック図を示している。異なる処理時点、例えばＴ１において、位置推定値
【数１】
2021532373.tif 000002
４１４は、雑音含有位相測定値ｘ（Ｔ１）４０２から、及び、最後の位置推定値
【数２】
2021532373.tif 000003
４０４からの補助によって、ブロック４０６によって得られる。次の処理時点Ｔ１＋Δについて、ブロック４１６は、雑音含有位相測定値ｘ（Ｔ１＋Δ）４１２及び位置推定値
【数３】
2021532373.tif 000004
４１４に基づいて、
【数４】
2021532373.tif 000005
４２４を出力する。同様に、
【数５】
2021532373.tif 000006
４３４は、ｘ（Ｔ１＋２Δ）４２２及び
【数６】
2021532373.tif 000007
４２４を用いることによってブロック４２６から生成される。後続の処理時点について、同じ手順が、この実施形態から達成される。
【００４９】
とりわけ、方法４００は、方法３００におけるようなクリーンなＧＮＳＳ信号ではなく、一連の雑音含有ＧＮＳＳ位相測定値４０２、４１２、及び４２２を用いる。加えて、位置推定の履歴４０４、４１４、及び４２４は、位置推定４１４、４２４、及び４３４に影響を及ぼしている。ＲＮＮは、ニューラルネットワークの他のいくつかのタイプよりもシーケンス予測問題に取り組むのにより有利であり、いくつかの実施形態は、ＧＮＳＳ衛星及び／又はＧＮＳＳ受信機が移動しているＧＮＳＳシステムのシーケンス位置推定のためにＲＮＮを用いる。
【００５０】
いくつかの実施形態は、ＲＮＮをマルチパス検出及び／又は位置推定を実行するように位相測定値信号からトレーニングすることができるという認識に基づいている。例えば、いくつかの実施形態では、ＲＮＮは、エンコーダ／デコーダアーキテクチャを用いることによって設計される。エンコーダは、入力ＧＮＳＳ位相測定値のセットを学習するようにトレーニングされ、デコーダは、エンコーダの出力を、位相測定値のセットの時間依存性を特徴付ける固定数の特徴を抽出することによって、位置推定のために用いられる予測されたＧＮＳＳ信号測定値のセットに変換する。フィードフォワードニューラルネットワークの拡張として、ＲＮＮは、処理時間にわたって隣接する隠れ状態間のエッジを追加することによって、現在の情報と過去の情報との間の接続を行い、ここで、隠れ層の現在の状態値は、現在の位相測定値４０２、４１２、及び４２２並びに隠れ層の以前の状態値によって影響を及ぼされる。それゆえ、ＲＮＮによって、入力位相測定値間に存在する雑音特性の差に関する未知の背景情報を活用することができる。
【００５１】
いくつかの実施形態は、マルチパス推定が個々のプロセスであり、すなわち、１つの特定の衛星信号によって引き起こされるマルチパスが他の衛星の信号から独立しているという認識に基づいている。例えば、図２に示されるように、信号のマルチパス２２８は、信号のマルチパス２３０から独立している。しかしながら、位置推定は、受信機２００側で少なくとも４つの衛星の信号が要求されるので、共同プロセスである。それゆえ、ＲＮＮのフレームにおいて複数の衛星信号をともに用いる必要性が存在する。そのために、いくつかの実施形態では、再帰型ニューラルネットワークは、位相測定値のセットを受信することに応答して、位置推定を実行するのにアテンションベースマルチモーダルフュージョンアーキテクチャを用いる。
【００５２】
図５Ａは、いくつかの実施形態のＲＮＮ位置推定器１３５によって用いられるアテンションベースマルチモーダルフュージョンＲＮＮ  ５９９のアーキテクチャのブロック図を示している。ネットワーク５９９は、符号化サブネットワーク５１０、５１５、５１６、及び５１７のセットを含む。各衛星について、すなわち、各衛星からの位相測定値について、１つの符号化サブネットワークが存在する。符号化サブネットワークの目的は、対応する位相測定値を重み付けして、マルチパス測定値又はＬＯＳ測定値によってこれらの測定値の尤度を考慮することである。例えば、重みは、ＬＯＳ信号を表すために位相測定値の尤度に（線形に又は非線形に）比例とすることができる。
【００５３】
ネットワーク５９９は、符号化サブネットワーク５１０、５１５、５１６、及び５１７によって生成された位相測定値の共同で重み付けされた和に基づいて位置５５７を推定するようにトレーニングされた位置推定器サブネットワーク５５５も含む。とりわけ、サブネットワーク５１０、５１５、５１６、５１７、及び５５５は、同じニューラルネットワーク５９９の一部であり、それゆえ、共同で位置を求めながら、信号の信頼性を別個に符号化するようにともにトレーニングすることができる。いくつかの実施態様では、符号化サブネットワークは、特定の衛星についてトレーニングされる。構成パラメータ１３３は、動作中に、特定の衛星についてトレーニングされた特定の符号化サブネットワークがその特定の衛星の位相測定値を受信するように対応関係を記憶する。例えば、特定の衛星について、位相測定値の時系列は、メモリに記憶され、例えば、長短期記憶（ＬＳＴＭ）への入力として用いられる。その後、衛星依存αアテンションベクトル又は衛星依存アテンション重みのセットを個々に計算する。したがって、ＲＮＮ  ５９９は、少なくともいくつかの異なる位相測定値に異なる共同重み、すなわち、アテンションを適用して、重み付けされた位相測定値のセットを生成するとともに、個々に重み付けされた位相測定値のセット、すなわち、異なる衛星からの共同重みが異なるモダリティを表すマルチモーダルフュージョンから車両の位置を求める。そのようにして、ＲＮＮは、例えば、重みを用いて、位置推定に対するマルチパス送信の負の影響を最小化するようにトレーニングされる。
【００５４】
ＲＮＮの構造において、いくつかの実施形態は、マルチパス推定のみでなく位置推定のためにも、エンドツーエンドのトレーニング済みニューラルネットワークを用いる。それゆえ、トレーニングは、エンコーダ及びデコーダ（位置推定器）、並びに特定のロケーション及び時間における視野内の全ての衛星の信号を含むモデル全体に対してエンドツーエンドで達成され、これは、各衛星を別個にトレーニングすることとは対照的である。これは、共同位置推定プロセスにおいて異なるように関与する衛星に異なるアテンションを適用することによって、マルチパスの存在下でのロバストな位置推定を生成することの利点である。
【００５５】
図５Ｂは、１つの実施形態による、位相測定値のセットを受信することに応答して位置推定を実行するＲＮＮ  ５００のアテンションベースマルチモーダルフュージョンアーキテクチャのブロック図を示している。この実施形態は、位置推定のための時間アテンションベースＲＮＮ  ５００を用い、これは、ブロック５９１、５９２、５９３、及び５９５から構成される。また、この実施形態は、２層処理を用いる。第１の層は、対応する衛星信号からの入力測定値に接続された異なる処理５９１、５９２、及び５９３を含む。第２の層５９５は、第１の層から出力された個々に重み付けされた和を処理する。時間アテンションベースＲＮＮを適用することによって、一連の衛星依存位相測定値における非線形で未知の時間依存性を抽出することができ、その後、位置推定に対するその効果が、第２の層のプロセスにおいて評価される。それゆえ、位置を求める際の非線形で未知の時間依存性は、衛星及び位相測定値のセットにわたって効果的に活用することができる。
【００５６】
ＲＮＮ  ５００の入力及び出力は、Ｋ個の衛星からのＴ個のＧＮＳＳ位相測定値、位置推定５８０、並びに、ブロック５９１、５９２、及び５９３によって用いられている以前の個々に重み付けされた和５７１、５７２、及び５７３である。ブロック５９１、５９２、及び５９３は、衛星依存であり、すなわち、各ブロックが１つの衛星のみに関連する。第１の層では、各ブロックは、ＬＳＴＭベースエンコーダ、例えばエンコーダ５０１、５１１、及び５２１、アテンション推定器、例えば推定器５０２、５１２、及び５２２、並びに個々の重み付け加算器、例えば５０３、５１３、及び５２３を含む。各アテンション推定器は、重みα１、α２、．．．、αＫを生成し、これらの重みは、対応する個々の重み付け加算器５０３、５１３、及び５２３によって用いられている。
【００５７】
第２の層のブロック５９５は、時間アテンションベースＲＮＮのＬＳＴＭベース復号プロセスのためのものである。ブロック５９１、５９２、及び５９３から、ブロック５４０及び５５０は、個々の重み付け加算器５０３、５１３、及び５２３の出力を受信し、その後、位置推定のための復号プロセス５６０、例えば、
【数７】
2021532373.tif 000008
を適用する。ブロック５９５は、共同アテンション推定器５４０、共同重み付け加算器５５０、及び位置推定器のシーケンス５６０を含む。共同アテンション推定の出力は、共同重みβであり、この共同重みは、共同重み付け加算器ブロック５５０によって用いられる。ブロック５９１、５９２、及び５９３のそれぞれは、αｋが位相測定値の時系列についての個々の重みのセットを示すとともに、βが入力位相測定値の異なる個々に重み付けされた和についてのアテンションに対応する共同重みを示すようにトレーニングすることができる。それゆえ、βは、適応的共同重みのセットを示す。その後、５６０の内部のデコーダは、共同重みベクトルβに基づいて出力として位置５８０を推定する。それゆえ、αｋそれぞれについて異なる重みが期待される。
【００５８】
いくつかの実施態様では、ニューラルネットワーク５００は、位相測定値の衛星依存セットから衛星依存時間依存性を抽出又は学習するようにトレーニングされる。通常、時間依存性のタイプは、隠されており、トレーニング中にネットワークによって学習される。この学習又は特徴抽出は、各衛星の位相測定値の隠れた時間依存性を抽出するように設計されたエンコーダ５１０、５１１、及び５２１によって、隠れ層Ｈにおいて実施される。これらの時間依存性は、ＬＯＳ信号からマルチパスを区別する際に位相測定値の動的性質を活用するのに役立つ。
【００５９】
次に、ニューラルネットワーク５００は、個々の、すなわち、個々の重みの衛星依存セットを推定するようにトレーニングされる。個々の重みは、エンコーダによって求められる衛星依存時間依存性及び以前に求められた位置推定値５７１、５７２、及び５７３の依存性から求められる。個々の重みは、個々のアテンション推定器５０２、５１２、及び５２２によって求められる。個々の重みは、対応する個々の重み付け加算器５０３、５１３、及び５２３に出力される。個々の重み付け加算器は、求められた重みを用いてエンコーダの特徴を重み付けし、特徴の重み付き和を第２の層のブロック５９５に出力する。
【００６０】
このような重み付けプロセスは、グローバルレベル、すなわち、共同衛星測定に対して繰り返される。各衛星からの個々に重み付けされた和５０６、５１６、及び５２６は、第２の層５９５の共同アテンション推定器５４０及び第２の層５９５の共同重み付け加算器５５０にサブミットされる。共同アテンション推定器５４０は、以前に求められた位置推定値５６２の特徴を用いて各衛星からの個々に重み付けされた和５０６、５１６、及び５２６を重み付けし、共同重み付け加算器５５０が、それらの重みを用いて各衛星からの出力５０６、５１６、及び５２６を再度重み付けすることが可能になる。そのようにして、各衛星の重み又はアテンションは、２度、すなわち、まずは個々に、次は共同で評価される。この評価は、上記で論述された位置推定におけるマルチパスの性質を反映し、すなわち、マルチパスは個々のプロセスであり、一方、位置推定は、共同プロセスである。次に、位置推定値５８０は、共同重み付け加算器５５０の出力から生成される（５６０）。
【００６１】
位置推定値のシーケンスのためのエンコーダ／デコーダベース推定器
いくつかの実施形態は、シーケンスツーシーケンス学習に基づいて位置推定についてＲＮＮをトレーニングするためのものである。入力シーケンス、すなわち、ＧＮＳＳ位相測定値がまず符号化される。その後、出力シーケンス、すなわち、位置推定値が生成される。１つのシンプルな実施形態では、エンコーダ及びデコーダ（位置推定器）の双方がＬＳＴＭネットワークとしてモデル化される。
【００６２】
図６は、いくつかの実施形態によって用いられるＬＳＴＭベースエンコーダ／デコーダアーキテクチャの一例を示している。ＧＮＳＳ位相測定値のシーケンスＸ＝ｘ１，ｘ２，．．．，ｘＬ  ６１０は、ＬＳＴＭエンコーダ６２０にフィードされ、ＬＳＴＭエンコーダ６２０の隠れ状態は、
【数８】
2021532373.tif 000009
によって表され、ここで、エンコーダネットワークλＥのＬＳＴＭ関数は、以下のように計算される。
【数９】
2021532373.tif 000010
ここで、
【数１０】
2021532373.tif 000011
であり、ここで、σ（．）は、要素単位シグモイド関数であり、ｉｔ、ｆｔ、ｏｔ、ｃｔは、それぞれ、第ｔの入力ベクトルについての、入力ゲート、忘却ゲート、出力ゲート、及びセル活性化ベクトルである。重み行列
【数１１】
2021532373.tif 000012
及びバイアスベクトル
【数１２】
2021532373.tif 000013
は、下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される。例えば、Ｗｈｉは、隠れ入力ゲート行列であり、Ｗｘｏは、入力出力ゲート行列である。いくつかの実施態様では、覗き穴結合（peephole connections）は用いられない。
【００６３】
ＬＳＴＭデコーダ６３０は、位置６４０を順次推定する。デコーダ状態ｓｉ−１を与えられると、デコーダネットワークλＤは、次の位置確率分布を、
【数１３】
2021532373.tif 000014
として推測し、
【数１４】
2021532373.tif 000015
に従って、最高確率を有する推定値ｙｉを生成し、ここで、Ｖは、位置についての探索範囲を示す。デコーダ状態は、デコーダのＬＳＴＭネットワークを用いて、
【数１５】
2021532373.tif 000016
のように更新され、ここで、初期状態ｓ０は、最終エンコーダ状態ｈＬ及びｙ０から得られる。
【００６４】
トレーニングフェーズにおいて、Ｙ＝ｙ１，．．．ｙＭのセット６４０が参照として与えられる。
【００６５】
位置推定値のシーケンスのためのアテンションベース推定器
いくつかの実施形態は、アテンションベース推定器を使用し、アテンションベース推定器により、ネットワークが瞬時マルチパスに依存する特定の時間又は空間領域からのマルチパスを強調することが可能になり、次の位置推定値がより正確に予測されることが可能になる。アテンションベース推定器は、入力及び出力関係に従って選択的に入力位相測定値を活用することができる。
【００６６】
図７Ａは、いくつかの実施形態によるアテンションベース推定器の一例のブロック図である。この例では、アテンションベース推定器は、動的情報を用いるとともに、経時的に獲得された位相測定値７１０の時間依存性を学習するその能力を改善する入力位相測定値にわたる時間アテンションメカニズムを有する。異なる実施形態において、アテンションベース推定器は、双方向ＬＳＴＭ（ＢＬＳＴＭ）又はゲート付き再帰型ユニット（ＧＲＵ：Gated Recurrent Units）に基づくエンコーダを利用し、それにより、各ベクトルは、その個々に重み付けされた和の情報を含む。
【００６７】
ＢＬＳＴＭエンコーダ７２０が用いられる場合、活性化ベクトル７２５（すなわち、エンコーダ状態）は、以下のように得ることができ、
【数１６】
2021532373.tif 000017
ここで、
【数１７】
2021532373.tif 000018
及び
【数１８】
2021532373.tif 000019
は、前方隠れ活性化ベクトル及び後方隠れ活性化ベクトル
【数１９】
2021532373.tif 000020
である。
【００６８】
フィードフォワード層が用いられる場合、活性化ベクトルは、以下のように計算され、
【数２０】
2021532373.tif 000021
ここで、Ｗｐは、重み行列であり、ｂｐは、バイアスベクトルである。
【００６９】
アテンションメカニズム７３０は、入力測定値にわたって隠れ活性化ベクトルに時間アテンション重みαｉ，ｊを用いることによって実施される。これらの重みにより、ネットワークが、次の位置推定値を予測するのに最も重要である時間ステップからの入力を強調することが可能になる。
【００７０】
第ｉの出力と第ｔの入力との間の時間アテンション重みをαｉ，ｔとする。したがって、アテンションメカニズムを適用する第ｉの出力は、隠れユニット活性化ベクトルの重み付き和として評価される。
【数２１】
2021532373.tif 000022
【００７１】
デコーダネットワーク７４０は、コンテンツベクトルｃｉを用いて出力シーケンスを生成するアテンションベース再帰型シーケンス生成器（ＡＲＳＧ：Attention-based Recurrent Sequence Generator）である。ネットワークは、ＬＳＴＭデコーダネットワークも有し、ここで、デコーダ状態は、（９）と同じ方法で更新することができる。その後、推定値ｙの確率は、以下のように計算され、
【数２２】
2021532373.tif 000023
位置推定値ｙｉ  ７５０は、
【数２３】
2021532373.tif 000024
に従って生成される。
【００７２】
エンコーダ／デコーダの式（７）及び（８）とは対照的に、確率分布は、ｃｉを条件とし、これにより、位置推定値に最も関連する瞬時マルチパスが強調される。いくつかの実施形態では、追加のフィードフォワード層が、ソフトマックス層に前置して挿入される。この事例では、確率は、以下のように計算される。
【数２４】
2021532373.tif 000025
【００７３】
時間アテンション重みは、以下のように計算され、
【数２５】
2021532373.tif 000026
ただし、
【数２６】
2021532373.tif 000027
であり、ＷＡ及びＶＡは、行列であり、ｗＡ及びｂＡは、ベクトルであり、ｅｉ，ｔは、スカラーである。
【００７４】
アテンションベースマルチモーダル推定器
本開示のいくつかの実施形態は、各モダリティが自身のＧＮＳＳ位相測定値のシーケンスを有する複数のモダリティの混合体をハンドリングするためにアテンションモデルを提供する。マルチパスが個々のプロセスであり、すなわち、１つの特定の衛星信号によって引き起こされるマルチパスが他の衛星の信号から独立している（例えば、２２８対２３０）ものの、位置推定は、共同プロセスである。なぜならば、少なくとも４つの衛星の信号が要求されるためである。
【００７５】
図７Ｂは、いくつかの実施形態によって用いられるマルチモーダル推定器の概略図を示している。モダリティの数、すなわち、視野内にある衛星の数をＫとする。その場合、マルチモーダル推定器のマルチモーダルフュージョン７１１は、以下の活性化ベクトル７４１を計算し、
【数２７】
2021532373.tif 000028
ここで、
【数２８】
2021532373.tif 000029
は、８２６及び８３６において計算され、｛ｃｋｉ｝８２０及び８３０は、コンテンツベクトルのセットであり、ただし、ｃｋｉは、第ｋのモダリティに対応する第ｋのコンテンツベクトルを示す。
【００７６】
図７Ｂのマルチモーダル推定器において、コンテンツベクトルｃ１，ｉ  ７２１及びｃ２，ｉ  ７３１は、それぞれ個々の入力シーケンスｘ１，１、．．．、ｘ１，Ｌ  ７２２及びｘ２，１、．．．、ｘ２，Ｌ  ７３２についての時間アテンション重みを用いて得られる。例えば、
【数２９】
2021532373.tif 000030
である。しかしながら、これらのコンテンツベクトルは、重み行列Ｗｃ１及びＷｃ２と組み合わされる。現在のデコーダ状態及びコンテンツベクトルに基づいて、デコーダネットワークは、入力の特定のモダリティに選択的に注目して、次の位置推定値を予測することができる。
【００７７】
マルチモーダルアテンション重みβｋ，ｉ  ７２４及び７３４は、以下のように時間アテンションメカニズムと類似の方法で得られる。
【数３０】
2021532373.tif 000031
ただし、
【数３１】
2021532373.tif 000032
ここで、ＷＢ及びＷＢｋは、行列であり、ｗＢ及びｂＢｋは、ベクトルであり、ｖｋ，ｉは、スカラーである。
【００７８】
図８Ａは、いくつかの実施形態によるＲＮＮによって実行される位置推定のための方法のブロック図を示している。ＲＮＮは、衛星の位相測定値の現在の時間特徴及び以前の時間特徴に基づいて各衛星の位相測定値の、図５Ｂからの個々の又は時間アテンション重みα１、．．．、αＫを求める（８１０）ようにトレーニングされる。例えば、これらの現在の特徴は、エンコーダ５０１、５１１、及び５２１からの出力である。位相測定値の以前の時間特徴は、５７１、５７２、及び５７３に対応し、これらは、５６０からの出力である。この処理は、式（１９）及び式（２０）によって記述することができる。
【００７９】
ＲＮＮは、５４０において、以前の共同重み５６２に基づいて複数の衛星の、組み合わされた個々に重み付けされた位相測定値５０６、５１６、及び５２６の共同重み又はマルチモーダルアテンション重みβを求める（８１３）ようにトレーニングされる。この処理は、式（２３）及び式（２４）によって記述することができる。
【００８０】
ＲＮＮは、共同重みを用いて重み付けされた組み合わされた個々に重み付けされた位相測定値から車両の位置を推定する（８１５）ようにトレーニングされる。例えば、これは、式（７）及び式（８）によって記述される類似の処理によって達成される。すなわち、式（２１）によって記述される活性化ベクトルｇｉについて、式（７）及び式（８）を適用する。その後、ｙｉは、車両位置の推定値に対応する。
【００８１】
図８Ｂは、１つの実施形態による、５０２、５１２、及び５２２において個々の重みα１、α２、．．．、αＫを求める方法のブロック図を示している。この実施形態では、ＲＮＮは、現在の時間ウィンドウにわたって収集された位相測定値のシーケンスから衛星の位相測定値の現在の時間特徴を抽出する（８２０）ように更にトレーニングされる。
【００８２】
ＲＮＮは、以前の時間ウィンドウにわたって収集された位相測定値のシーケンスについて求められた衛星の位相測定値の以前の時間特徴、及び、この以前の時間特徴について求められた個々の重みを索出する（８２３）ようにトレーニングされる。例えば、これは、５６０からの出力である入力５７１、５７２、５７３について５０２、５１２、及び５２２において達成することができる処理である。
【００８３】
ＲＮＮは、現在の時間特徴と、以前の時間特徴との比較に基づいて以前の時間特徴について求められた個々の重みを調整することによって、現在の時間特徴についての個々の重みを求める（８２５）ようにトレーニングされる。例えば、これは、５０２、５１２、及び５２２によって達成される処理である。
【００８４】
図８Ｃは、１つの実施形態による、共同重みβを求める方法のブロック図を示している。この実施形態では、ＲＮＮは、現在の時間ウィンドウにわたって複数の衛星から受信された個々に重み付けされた位相測定値５０３、５１３、及び５２３を組み合わせて（８３０）、現在の時間ウィンドウについて共同重み付け加算器５５０において組み合わされた個々に重み付けされた位相測定値を生成するように更にトレーニングされる。
【００８５】
ＲＮＮは、以前の時間ウィンドウについて求められた以前に組み合わされた個々に重み付けされた位相測定値を索出する（８３３）ようにトレーニングされる。例えば、これは、５６０からの出力である入力５６２に対して、共同アテンション推定器５４０において達成することができる。ＲＮＮは、以前に組み合わされた個々に重み付けされた位相測定値について求められた以前の共同重みを索出する（８３３）ようにトレーニングされる。さらに、ＲＮＮは、組み合わされた個々に重み付けされた位相測定値と以前に組み合わされた個々に重み付けされた位相測定値との比較に基づいて以前の共同重みを調整すること（８３５）によって共同重みを求めるようにトレーニングされる。
【００８６】
いくつかの実施形態は、ＲＮＮをトレーニングするために、位相測定値を、マルチパスがないクリーンな信号から求められる位置推定に関係付けるデータを用いる。いくつかの実施形態は、種々の市販のナビゲータのログファイルがそのようなデータを提供することができるという認識に基づいている。そのために、いくつかの実施形態は、それらのログファイルから抽出された情報を用いてＲＮＮをトレーニングする。実施形態により、同じ又は異なるナビゲータから収集された同じ又は異なるルートの異なるログファイルを用いてＲＮＮをオフラインでトレーニングすることが可能になる。それらのログファイルにおけるいくつかの可能なデータフォーマットは、ｋｌｍにおけるパスを、その位置の緯度及び経度に関係付ける。
【００８７】
しかしながら、実験及び試験を通じて、いくつかの実施形態は、ＲＮＮのトレーニングが非常に多くのデータを要求するタスクであるという理解に基づいている。具体的には、雑音及び非雑音等の入力を分類することを目標としたニューラルネットワークの分類タスクとは対照的に、位置推定は、トレーニングのために分類タスクよりもはるかに多くのデータを要求する数値問題である。いくつかの実施形態では、この問題は、ＲＮＮのトレーニングに対してより多くの時間をかけることによって克服される。加えて、又は代替的に、いくつかの実施形態では、この問題は、ＲＮＮが位置推定を実行するようにトレーニングされるエリアを削減することによって克服される。
【００８８】
例えば、１つの実施形態では、ＲＮＮは、プロセッサが特定のパスの少なくとも一部に沿って走行する車両の位置を追跡するように、特定のパスについてトレーニングされる。そのようにして、ニューラルネットワークは、パスに沿って走行することから収集されたデータを用いてそのパスについてトレーニングされ、それにより、ＲＮＮをトレーニングするのに十分なデータの量が削減される。いくつかの応用の場合、この限界は、問題にすらならない。例えば、列車は、所定のパスに沿って走行し、いくつかの実施形態は、特定のパスに沿って走行する列車の位置を求めるようにトレーニングされたＲＮＮを用いる。
【００８９】
図９Ａは、特定のパス９００に沿った位置推定のためにニューラルネットワークをトレーニングするために、いくつかの実施形態によって用いられるこのパス９００を定義するレールトラックの概略図を示している。特定のパス９００について、いくつかの実施形態は、このパスに沿った特定の位置９０１、９０２、９０３、９０４、９０５、及び９０６についての位相測定値を有するログファイルを得る。ログファイルからのこの情報を用いて、実施形態は、特定のパスに沿った位置を推定するためにニューラルネットワークをトレーニングする。そのようなトレーニングにより、次元が削減されるとともに、位置推定の精度が高まる。
【００９０】
加えて、又は代替的に、いくつかの実施形態は、異なるパスについてトレーニングされた複数のＲＮＮを用いる。それらの実施形態は、位置推定に融通性を加える。なぜならば、異なるＲＮＮを別個に、すなわち、互いから独立してトレーニングするとともに更新することができるためである。
【００９１】
図９Ｂは、複数のパス９００及び９１０に沿った位置推定のために複数のニューラルネットワークをトレーニングするために、いくつかの実施形態によって用いられる複数のパス９００及び９１０を定義する複数のレールトラックの概略図を示している。これらの実施形態は、第１のトラックのための位置９０１、９０２、９０３、９０４、９０５、及び９０６を指定するログファイルと、第２のトラックのための位置９１１、９１２、９１３、９１４、９１５、及び９１６を指定するログファイルとを得る。実施形態は、各パスについて別個に各ニューラルネットワークをトレーニングし、車両の移動中に必要とされるニューラルネットワークを選択することができる。
【００９２】
例えば、１つの実施形態では、測位システムのメモリは、ＲＮＮのセットを記憶し、そのそれぞれは、特定のパスについてトレーニングされ、測位システムのプロセッサは、追跡のためにＲＮＮのセットからＲＮＮを選択する。構成パラメータ１３３は、ネットワーク選択を支援するのに用いることができる。とりわけ、この実施形態の１つの実施態様により、追跡中にＲＮＮのセットから異なるＲＮＮを用いることが可能になる。メモリから現在のＲＮＮを選択するのに種々の方法を用いることができる。例えば、１つの実施形態は、現在のＲＮＮを選択するために、粗い位置推定及び／又は、追跡からの現在の位置を用いる。
【００９３】
加えて、又は代替的に、１つの実施形態は、種々のナビゲータを用いてオンライン位置推定を実行するとともに、トレーニングされたＲＮＮが位置推定のターゲット精度を達成するまで利用されるナビゲータのログファイルを用いてＲＮＮをトレーニングする。この実施形態は、特定の車両の任意のパスについてニューラルネットワークをトレーニングすることを可能にする。例えば、そのパスは、自宅から職場へのパス、又は倉庫から荷揚港へのパス等の、車両が通常辿るパスとすることができる。
【００９４】
図１０は、１つの実施形態による、ＲＮＮ位置推定器１３５のオンライントレーニングについて適応された測位システムの概略図を示している。この実施形態は、車両の位置を追跡して、位相測定値及び対応する位置推定値を含むログファイルを生成するように構成されたナビゲータ１０１０、ログファイルから抽出されたデータを用いてＲＮＮをトレーニングするように構成されたトレーナ１０２０、及び、ＲＮＮがトレーニングされるとナビゲータからＲＮＮに追跡をスイッチするように構成されたスイッチャ１０３０を含む。
【００９５】
トレーニングが完了するまで、車両のナビゲーションは、ナビゲータ１０１０を用いて実行される。トレーニング後、スイッチ１０３０は、ナビゲータからＲＮＮ位置推定器に位置推定を変更する。そのようなスイッチングは、位置推定の計算負荷を削減することを可能にする。スイッチングは、ナビゲータを除去するとともに、これを他の車両にインストールすることも可能にする。スイッチングは、ニューラルネットワークのバンクにトレーニング済みニューラルネットワークを追加することも可能にする。
【００９６】
図１１は、いくつかの実施形態による分散位置推定システム１１００のブロック図を示している。これらの実施形態は、別個のマルチパス検出プロセスの回避により、位置推定が、分散応用について適応可能になるという理解に基づいている。例えば、分散位置推定システム１１００の顧客位置推定器１１０５は、位相測定値を測定する１つ又は複数のセンサ又はＧＮＳＳ受信機１１３０、位相測定値をリモート位置推定器１１５０に送信する送信機１１２０、及びリモート位置推定器１１５０から位置推定を受信する受信機１１３０を備える。
【００９７】
同様に、リモート位置推定器１１５０は、位相測定値を受信する受信機１１６０、位置を推定するＲＮＮ位置推定器１１７０、及び推定された位置を顧客位置推定器に返送する送信機１１８０を備える。
【００９８】
図１２は、１つの実施形態による、車両ネットワークにわたって実装される分散測位システムの概略図を示している。この実施形態では、車両１２０１、１２０２、１２０３等の車両が、アクセスポイント１２３０、１２２０、及び１２１０等の車両ネットワークのアクセスポイントと通信する。そのようにして、測位システムのいくつかの要素は、車両上に実装することができ、いくつかの要素は、アクセスポイント及び／又はアクセスポイントに作動的に接続された他のシステム上に実装することができる。この例では、車両１２０１、１２０２、１２０３は、異なる車両とすることもできるし、異なる時点における同じ車両とすることもできる。
【００９９】
例えば、１つの実施形態では、車両１２０１は、位相測定値をアクセスポイント１２３０に送信するとともに、アクセスポイントから車両の位置の推定値を受信する送受信機を備える。位置推定は、アクセスポイント１２３０（及び／又はアクセスポイントに作動的に接続された他のシステム）によって実行されるとともに、車両に返送される。そのようにして、ＲＮＮは、アクセスポイントのメモリに記憶されるとともに、アクセスポイントによってカバーされる車両ネットワークのエリア内の位置を求めるようにトレーニングされる。車両が、車両に未知の異なるアクセスポイント、例えばアクセスポイント１２２０又は１２１０によってカバーされるエリア間を移動する場合、異なるアクセスポイントは、異なるＲＮＮを用いて車両の位置を追跡する。
【０１００】
図１３は、種々の実施形態による、位置推定システム１３１０を利用する車両１３０１の概略図を示している。車両１３０１は、位置推定１３１０を実行するように構成されたプロセッサ１３０２を備える。いくつかの実施形態では、プロセッサ１３０２は、位置推定器１３１０によって推定された位置に基づいて種々の制御アプリケーション１３２０を実行するようにも構成される。
【０１０１】
図１４は、いくつかの実施形態による位置推定システム１４００のブロック図を示している。システム１４００は、車両１３０１の内部に実装することができる。付加的又は代替的に、システム１４００は、車両１３０１に通信可能に接続することができる。
【０１０２】
システム１４００は、カメラ１４１０、慣性測定ユニット（ＩＭＵ）１４３０、プロセッサ１４５０、メモリ１４６０、送受信機１４７０、及びディスプレイ／スクリーン１４８０のうちの１つ又は組み合わせを備えることができる。これらは、接続１４２０を通じて他の構成要素に動作的に結合することができる。接続１４２０は、バス、ライン、ファイバー、リンク又はそれらの組み合わせを含むことができる。
【０１０３】
送受信機１４７０は、例えば、１つ以上のタイプの無線通信ネットワークを通じて１つ以上の信号を送信することを可能にする送信機と、１つ以上のタイプの無線通信ネットワークを通じて送信された１つ以上の信号を受信する受信機とを備えることができる。送受信機１４７０は、様々な技術に基づいて無線ネットワークとの通信を可能にすることができる。これらの技術は、標準規格のＩＥＥＥ８０２．１１ファミリーに基づくことができるフェムトセル、Ｗｉ−Ｆｉネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）、標準規格のＩＥＥＥ８０２．１５ｘファミリーに基づくＢｌｕｅｔｏｏｔｈ、近距離場通信（ＮＦＣ）、ネットワーク等の無線パーソナルエリアネットワーク（ＷＰＡＮ）、及び／又はＬＴＥ、ＷｉＭＡＸ等の無線ワイドエリアネットワーク（ＷＷＡＮ）等であるが、これらに限定されるものではない。システム１４００は、有線ネットワークを通じて通信するための１つ以上のポートを備えることもできる。
【０１０４】
いくつかの実施形態では、システム１４００は、ＣＣＤセンサ若しくはＣＭＯＳセンサ、レーザ及び／又はカメラ等の画像センサ１４１０を備えることができる。この画像センサは、以下では「センサ１４１０」と呼ばれる。例えば、センサ１４１０は、光画像を電子画像又はデジタル画像に変換することができ、取得された画像をプロセッサ１４５０に送信することができる。付加的又は代替的に、センサ１４１０は、シーン内のターゲット物体から反射された光を検知し、捕捉された光の強度をプロセッサ１４５０にサブミットすることができる。
【０１０５】
例えば、センサ１４１０は、「カラー情報」を提供するカラーカメラ又はグレースケールカメラを含むことができる。「カラー情報」という用語は、本明細書において用いられるとき、カラー情報及び／又はグレースケール情報を指す。一般に、カラー画像又はカラー情報は、本明細書において用いられるとき、１〜Ｎ個のチャネルを含むものとみなすことができる。ここで、Ｎは、画像を記憶するのに用いられている色空間に依存する或る整数である。例えば、ＲＧＢ画像は、３つのチャネルを含み、赤情報、青情報及び緑情報についてそれぞれ１つのチャネルを有する。
【０１０６】
例えば、センサ１４１０は、「深度情報」を提供する深度センサを含むことができる。深度情報は、深度センサを用いて様々な方法で取得することができる。「深度センサ」という用語は、深度情報を単独で及び／又は他のいくつかのカメラと併せて取得するのに用いることができる機能ユニットを指すのに用いられる。例えば、いくつかの実施形態では、深度センサ及び光カメラは、センサ１４１０の一部分とすることができる。例えば、いくつかの実施形態では、センサ１４１０はＲＧＢＤカメラを備える。このＲＧＢＤカメラは、カラー（ＲＧＢ）画像に加えて、深度センサが有効にされているときはピクセルごとの深度（Ｄ）情報を捕捉することができる。
【０１０７】
別の例として、いくつかの実施形態では、センサ１４１０は、３Ｄ飛行時間（３ＤＴＯＦ）カメラを含むことができる。３ＤＴＯＦカメラを用いた実施形態では、深度センサは、３ＤＴＯＦカメラに結合されたストロボライトの形態を取ることができる。このストロボライトは、シーン内の物体を照明することができ、反射された光は、センサ１４１０内のＣＣＤ／ＣＭＯＳセンサが捕捉することができる。深度情報は、光パルスが物体に進んでセンサに戻って来るまでに要する時間を測定することによって取得することができる。
【０１０８】
更なる例として、深度センサは、センサ１４１０に結合された光源の形態を取ることができる。１つの実施形態では、この光源は、１つ以上の狭い光の帯を含むことができる構造化された光パターン又はテクスチャー付けされた光パターンをシーン内の物体に投射する。深度情報は、物体の表面形状によって引き起こされる投射パターンの幾何学的歪みを利用することによって取得される。１つの実施形態は、赤外線構造化光プロジェクターと、ＲＧＢカメラに位置合わせされた赤外線カメラとの組み合わせ等のステレオセンサから深度情報を求める。
【０１０９】
いくつかの実施形態では、センサ１４１０は立体カメラを備える。例えば、深度センサは、２つ以上のカメラを用いてシーンの深度情報を取得することができる受動ステレオビジョンセンサの一部分を成すことができる。捕捉されたシーンにおける双方のカメラに共通の点のピクセル座標を、カメラ姿勢情報及び／又は三角測量技法とともに用いて、ピクセルごとの深度情報を取得することができる。
【０１１０】
いくつかの実施形態では、システム１４００は、デュアルフロントカメラ及び／又は前面カメラ及び背面カメラ等の複数のセンサ１４１０に動作的に接続することができ、これらの複数のセンサは、様々なセンサを組み込むこともできる。いくつかの実施形態では、センサ１４１０は、静止画像及びビデオ画像の双方を捕捉することができる。いくつかの実施形態では、センサ１４１０は、例えば、３０フレーム毎秒（ｆｐｓ）で画像を捕捉することが可能なＲＧＢＤ又は立体ビデオカメラを備えることができる。１つの実施形態では、センサ１４１０によって捕捉された画像は、生の未圧縮フォーマットとすることができ、処理及び／又はメモリ１４６０への記憶の前に圧縮することができる。いくつかの実施形態では、画像圧縮は、プロセッサ１４５０によって可逆圧縮技法又は非可逆圧縮技法を用いて実行することができる。
【０１１１】
いくつかの実施形態では、プロセッサ１４５０は、ＩＭＵ１４３０から入力を受信することもできる。他の実施形態では、ＩＭＵ１４３０は、３軸加速度計、３軸ジャイロスコープ、及び／又は磁気計を備えることができる。ＩＭＵ１４３０は、速度、方位、及び／又は他の位置関連情報をプロセッサ１４５０に提供することができる。いくつかの実施形態では、ＩＭＵ１４３０は、測定情報を、センサ１４１０による各画像フレームの捕捉と同期して出力することができる。いくつかの実施形態では、ＩＭＵ１４３０の出力は、プロセッサ１４５０がセンサ測定値を融合し及び／又は融合された測定値を更に処理するのに部分的に用いられる。
【０１１２】
また、システム１４００は、カラー画像及び／又は深度画像等の画像をレンダリングするスクリーン又はディスプレイ１４８０を備えることができる。いくつかの実施形態では、ディスプレイ１４８０は、センサ１４１０によって捕捉されたライブ画像、融合画像、拡張現実（ＡＲ）画像、グラフィカルユーザインターフェース（ＧＵＩ）、及び他のプログラム出力を表示するのに用いることができる。いくつかの実施形態では、ディスプレイ１４８０は、ユーザが、仮想キーボード、アイコン、メニュー、又は他のＧＵＩ、ユーザジェスチャー及び／又はスタイラス及び他の筆記用具等の入力デバイスの或る組み合わせを介してデータを入力することを可能にするタッチスクリーンを備えることができ及び／又はこのようなタッチスクリーンとともに収容することができる。いくつかの実施形態では、ディスプレイ１４８０は、液晶ディスプレイ（ＬＣＤ）又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ等の発光ダイオード（ＬＥＤ）ディスプレイを用いて実施することができる。他の実施形態では、ディスプレイ１４８０は、ウェアラブルディスプレイとすることができる。いくつかの実施形態では、融合の結果をディスプレイ１４８０にレンダリングすることもできるし、システム１４００の内部又は外部に存在することができる異なるアプリケーションにサブミットすることもできる。
【０１１３】
例示的なシステム１４００は、図示した機能ブロックのうちの１つ以上の追加、組み合わせ、又は省略等によって、本開示と整合性を有するように様々な方法で変更することもできる。例えば、いくつかの構成では、システム１４００は、ＩＭＵ１４３０又は送受信機１４７０を備えていない。さらに、いくつかの特定の例示の実施態様では、システム１４００は、周辺光センサ、マイクロフォン、音響センサ、超音波センサ、レーザレンジファインダー等の様々な他のセンサ（図示せず）を備える。いくつかの実施形態では、システム１４００のいくつかの部分は、１つ以上のチップセット等の形態を取る。
【０１１４】
プロセッサ１４５０は、ハードウェア、ファームウェア及びソフトウェアの組み合わせを用いて実現することができる。プロセッサ１４５０は、センサ融合及び／又は融合した測定値を更に処理する方法に関連付けられる計算手順又はプロセスの少なくとも一部を実行するように構成可能な１つ以上の回路を表すことができる。プロセッサ１４５０は、メモリ１４６０から命令及び／又はデータを引き出す。プロセッサ１４５０は、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、中央及び／又はグラフィカル処理ユニット（ＣＰＵ及び／又はＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、埋め込みプロセッサコア、電子デバイス、本明細書において記述される機能を実行するように設計された他の電子ユニット、又はその組み合わせを用いて実現することができる。
【０１１５】
メモリ１４６０は、プロセッサ１４５０の内部に、及び／又はプロセッサ１４５０の外部に実装することができる。本明細書において使用されるときに、「メモリ」という用語は、任意のタイプの長期、短期、揮発性、不揮発性又は他のメモリを指しており、任意の特定のタイプのメモリ若しくはメモリの数、又はメモリが記憶される物理媒体のタイプに制限されるべきではない。いくつかの実施形態では、メモリ１４６０は、位置推定を容易にするプログラムコードを保持する。
【０１１６】
例えば、メモリ１４６０は、静止画像、深度情報、ビデオフレーム、プログラム結果、並びにＩＭＵ１４３０及び他のセンサによって提供されるデータ等のセンサの測定値を記憶することができる。メモリ１４６０は、車両のジオメトリ、周囲空間のマップ、車両の運動学的モデル、及び車両の動的モデルを記憶するメモリを格納することができる。一般に、メモリ１４６０は、任意のデータ記憶機構を表すことができる。メモリ１４６０は、例えば、一次メモリ及び／又は二次メモリを含むことができる。一次メモリは、例えば、ランダムアクセスメモリ、リードオンリーメモリ等を含むことができる。図１４においてプロセッサ１４５０とは別であるように示されるが、一次メモリの全て若しくは一部をプロセッサ１４５０内に設けることができるか、又はそうでなくても、プロセッサ１４５０と同一の場所に配置し、及び／又はプロセッサ１４５０に結合することができることは理解されたい。
【０１１７】
二次メモリは、例えば、一次メモリと同じ、又は類似のタイプのメモリ、及び／又は例えば、フラッシュ／ＵＳＢメモリドライブ、メモリカードドライブ、ディスクドライブ、光ディスクドライブ、テープドライブ、ソリッドステートドライブ、ハイブリッドドライブ等の１つ以上のデータ記憶デバイス又はシステムを含むことができる。或る特定の実施態様において、二次メモリは、取外し可能な媒体ドライブ（図示せず）内の非一時的コンピュータ可読媒体に動作的に収容可能であるか、又は別の方法で、動作的に構成可能とすることができる。いくつかの実施形態において、非一時的コンピュータ可読媒体は、メモリ１４６０及び／又はプロセッサ１４５０の一部を形成する。
【０１１８】
本発明の上記で説明した実施形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピュータに設けられるのか又は複数のコンピュータ間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。
【０１１９】
また、本発明の実施形態は、例が提供された方法として実施することができる。この方法の一部として実行される動作は、任意の適切な方法で順序付けすることができる。したがって、動作が示したものと異なる順序で実行される実施形態を構築することができ、これには、例示の実施形態では一連の動作として示されたにもかかわらず、いくつかの動作を同時に実行することを含めることもできる。
【０１２０】
請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、或る請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する或る請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。
【図１】
2021532373.tif 000033
【図２】
2021532373.tif 000034
【図３】
2021532373.tif 000035
【図４】
2021532373.tif 000036
【図５Ａ】
2021532373.tif 000037
【図５Ｂ】
2021532373.tif 000038
【図６】
2021532373.tif 000039
【図７Ａ】
2021532373.tif 000040
【図７Ｂ】
2021532373.tif 000041
【図８Ａ】
2021532373.tif 000042
【図８Ｂ】
2021532373.tif 000043
【図８Ｃ】
2021532373.tif 000044
【図９Ａ】
2021532373.tif 000045
【図９Ｂ】
2021532373.tif 000046
【図１０】
2021532373.tif 000047
【図１１】
2021532373.tif 000048
【図１２】
2021532373.tif 000049
【図１３】
2021532373.tif 000050
【図１４】
2021532373.tif 000051
【国際調査報告】
2021532373.tif 000052
2021532373.tif 000053
2021532373.tif 000054