(57)【要約】車両位置に基づいて車両構成要素（８０，９４，９６，９８）を調整する方法およびシステムは：車両上の慣性計測ユニット（６０，３０１）から運動学的データを取得し；プロセッサ（６０，３０３）を用いて、ＩＭＵ（６０，３０１）から取得したデータと、従前の既知の車両位置とから、現在の車両位置に関する情報を導出し；プロセッサ（６０，３０３）を用いて、導出された現在の車両位置を調整して、補正された現在の車両位置を取得する。後者は車両上の少なくとも１つのカメラアセンブリ（１３０，１３２，１３４）を使用して、車両の外部の領域の少なくとも１つの画像を取得する。少なくとも１つのカメラアセンブリの各々は、ＩＭＵ（６０，３０１）に対して固定された関係にある。後者は、取得された少なくとも１つの画像内の複数のランドマークを識別し；プロセッサを用いて、少なくとも１つの取得された画像を解析してランドマークの各々に関する位置情報を導出し；識別されたランドマークの各々に関する位置情報を地図データベース（４８）から取得し；プロセッサを用いて、取得された少なくとも１つの画像から導出された各ランドマークについての位置情報と、地図データベースから取得された同じランドマークについての位置情報との間の不一致を識別し；そしてプロセッサを用いて、識別された不一致に基づいて導出された現在の車両位置を調整して、補正された現在の車両位置を取得する；ことにより達成される。車両構成要素（６０，９４，９６，９８）の動作は、補正された現在の車両位置に基づいて変更される。【選択図】図４Ｂ
2019508677.tif 000002
【特許請求の範囲】
【請求項１】
車両位置に基づいて車両構成要素を調整する方法であって：
前記車両上の慣性計測ユニットから運動学的データを取得するステップと；
プロセッサを用いて、前記慣性計測ユニットから取得したデータと、従前の既知の車両位置とから、現在の車両位置に関する情報を導出するステップと；
前記プロセッサを用いて、導出された前記現在の車両位置を調整して、補正された現在の車両位置を取得するステップと；
前記補正された現在の車両位置に基づいて前記車両構成要素の動作を変更するステップと；
を有し、
前記補正された現在の車両位置を取得する前記ステップは：
前記車両上の少なくとも１つのカメラアセンブリを使用して、前記車両の外部領域の少なくとも１つの画像を取得するステップであって、前記少なくとも１つのカメラアセンブリの各々は、前記慣性計測ユニットに対して固定された関係にある、ステップと；
前記少なくとも１つの取得された画像内の複数のランドマークを識別するステップと；
前記プロセッサを用いて、前記少なくとも１つの取得された画像を解析して前記ランドマークの各々に関する位置情報を導出するステップと；
識別された前記ランドマークの各々に関する位置情報を地図データベースから取得するステップと；
前記プロセッサを用いて、前記少なくとも１つの取得された画像から導出された各前記ランドマークについての前記位置情報と、前記地図データベースから取得された同じ前記ランドマークについての前記位置情報との間の不一致を識別するステップと；そして
前記プロセッサを用いて、識別された前記不一致に基づいて、前記導出された現在の車両位置を調整して、補正された現在の車両位置を取得するステップと；
を有する、ことを特徴とする、車両位置に基づいて車両構成要素を調整する方法。
【請求項２】
前記プロセッサを用いて、識別された前記不一致に基づいて、前記導出された現在の車両位置を調整して、補正された現在の車両位置を取得する前記ステップは、前記プロセッサが、前記慣性測定ユニットから得られた前記データおよび前記従前の既知の車両の位置から車両位置に関する情報を導出する態様を変更するステップを有する、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記補正された現在の車両位置に基づいて前記車両構成要素を変更する前記ステップは、前記車両のディスプレイ上に前記補正された現在の車両位置を表示するステップを有し、変更される前記車両構成要素は前記ディスプレイである、ことを特徴とする請求項１に記載の方法。
【請求項４】
前記補正された現在の車両位置を得るために前記導出された現在の車両位置を調整するステップは、衛星に基づく位置決定サービスが利用可能でないときにのみ実行される、ことを特徴とする請求項１に記載の方法。
【請求項５】
前記地図データベースを前記車両にインストールするステップと、前記インストールされた地図データベースに複数のランドマークの識別情報と前記複数のランドマークの各々に関する位置情報とを含ませるステップと、をさらに有し、
識別された前記ランドマークの各々に関する位置情報を地図データベースから取得する前記ステップは、前記地図データベースに前記識別されたランドマークの各々の前記識別情報を提供するステップと、それに応答して、前記提供されたランドマークに関する位置情報を取得するステップと、を有する、
ことを特徴とする、請求項１に記載の方法。
【請求項６】
請求項１に記載の方法であって、さらに
走行車線上を移動するマッピング車両上の少なくとも１つのカメラアセンブリを使用して、車両が走行する前記走行車線の周辺領域の画像を取得するステップと；
プロセッサを用いて、前記マッピング車両によって取得された前記画像内のランドマークを識別するステップと；
衛星測位システムを使用して前記マッピング車両の位置を決定し、それによりそれぞれの画像が前記マッピング車両によって取得される時の前記マッピング車両の位置が正確に分かるようにするステップと；
前記ランドマークを含む前記画像が獲得された時の前記決定されたマッピング車両の位置を考慮して、写真測量を使用して、前記識別されたランドマークの各々の位置を決定するステップと；  
により前記地図データベースを作成するステップをさらに有し、
前記識別されたランドマークの各々の位置を決定する前記ステップは：
前記走行車線を走行する前記マッピング車両上の少なくとも１つのカメラアセンブリを用いて、識別された前記ランドマークの各々について２つの画像が得られるまで、車両が走行する前記走行車線の周辺画像を取得するステップと、そして
前記２つの画像のそれぞれが取得された場合に、前記プロセッサを用いて、決定された前記マッピング車両の前記位置から、前記２つの画像内の前記ランドマーク上の１つの共通点に向かって描画された、２つの仮想ベクトルの交点からの前記識別されたランドマークの位置を計算するステップと、
を有する、ことを特徴とする請求項１に記載の方法。
【請求項７】
前記走行車線を走行する前記マッピング車両上の少なくとも１つのカメラアセンブリを用いて、車両が走行する走行車線の周辺画像を取得する前記ステップは、識別された各前記ランドマークに対して少なくとも３つの画像が得られるまで、画像を取得するステップを有し、
前記ランドマークを含む前記画像が獲得された時の前記決定されたマッピング車両の位置を考慮して、写真測量を使用して、前記識別されたランドマークの各々の位置を決定する前記ステップは、リアルタイムキネマティック（ＲＴＫ）を使用して、前記取得された３つの画像全ての中の前記ランドマークの前記位置の推定を提供するステップを有する、
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記少なくとも１つの取得された画像を解析して前記ランドマークの各々に関する位置情報を導出する前記ステップは、前記慣性測定ユニットの座標および、前記少なくとも１つの画像が得られた前記少なくとも１つのカメラアセンブリの指示方向、を決定するステップを有する、ことを特徴とする請求項１に記載の方法。
【請求項９】
前記プロセッサを用いて、識別された前記不一致に基づいて、前記導出された現在の車両位置を調整して、補正された現在の車両位置を取得する前記ステップは、
前記プロセッサを用いて、前記慣性計測ユニットの各座標の、未知数としての誤差を含む数式を構成するステップであって、前記数式は、前記地図データベースから得られた前記ランドマークの位置情報が、少なくとも１つの画像から得られた前記ランドマークのそれぞれについての位置情報と一致するように前記座標を補正し、ここで前記数式の数は前記未知数としての誤差の数より大きい、ステップと；そして
前記プロセッサを用いて、前記未知数としての誤差を決定するために、構成された前記数式を解くステップと；
を有する、ことを特徴とする請求項８に記載の方法。
【請求項１０】
前記車両上の少なくとも１つのカメラアセンブリを使用して、車両の外部領域の少なくとも１つの画像を取得する前記ステップは、同じ前記ランドマークをそれぞれ含む、ｎが２より大きいｎ個の画像を取得するステップを有し、
前記少なくとも１つの取得された画像を解析して前記ランドマークの各々に関する位置情報を導出する前記ステップは、
プロセッサを使用して、前記同一のランドマークの複数の位置推定値を計算するステップであって、それぞれの前記推定値は、異なる、前記取得された画像の内の２つの画像の組み合わせ、から計算される、ステップと；
前記プロセッサを用いて、計算された前記推定値から前記ランドマークに関する位置情報を導出するステップと；そして
前記プロセッサを用いて、識別された前記不一致に基づいて、前記導出された現在の車両位置を調整して、補正された現在の車両位置を取得する前記ステップを実行する場合、少なくとも１つの取得された画像から導出された各前記ランドマークについての位置情報に対する前記計算された推定値から導出された、前記ランドマークについての位置情報を使用するステップと；
を有する、ことを特徴とする請求項１に記載の方法。
【請求項１１】
プロセッサを使用して、前記同じランドマークの位置の複数の推定値を計算するステップであって、それぞれの前記推定値は、異なる、前記取得された画像の内の２つの画像の組み合わせから計算される、前記ステップは、その前記同じランドマークの（ｎ＊（ｎ−１））／２個の位置推定値を計算するステップを有する、ことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記少なくとも１つの取得された画像内の複数のランドマークを識別する前記ステップは、
前記少なくとも１つの取得された画像の各々を神経ネットワークに入力するステップを有し、前記神経ネットワークは、潜在的に既知のランドマークを含む画像の入力を受信すると、既知のランドマークの識別を出力し、それにより前記取得された少なくとも１つの画像内の前記ランドマークの識別を得る、ように構成される、ことを特徴とする請求項１に記載の方法。
【請求項１３】
前記少なくとも１つのカメラアセンブリは、前記慣性測定ユニットと同じ場所に配置されることを特徴とする請求項１に記載の方法。
【請求項１４】
車両用ナビゲーションシステムであって、
車両の位置が表示されたディスプレイと、
前記車両に関する運動学的データを取得する慣性計測ユニットと、
前記車両の外部領域の画像を取得する少なくとも１つのカメラアセンブリであって、前記少なくとも１つのカメラアセンブリの各々が前記慣性計測ユニットに対して固定した関係にある、少なくとも１つのカメラアセンブリと、
各ランドマークの識別に関連して前記ランドマークについての位置情報を含有する地図データベースと、そして
前記慣性計測ユニットから取得されたデータおよび従前の既知の車両位置から、現在の車両位置に関する情報を導出し、そして補正された現在の車両位置を獲得するため、前記少なくとも１つのカメラアセンブリによって取得された画像の処理に基づいて、導出された前記現在の車両位置を調整する、プロセッサと、
を有し、
前記プロセッサは、
前記取得された少なくとも１つの画像内の複数のランドマークを識別するステップと；
前記少なくとも１つの取得された画像を解析して前記ランドマークの各々に関する位置情報を導出するステップと；
識別された前記ランドマークの各々に関する位置情報を地図データベースから取得するステップと；
前記取得された少なくとも１つの画像から導出された各前記ランドマークについての前記位置情報と、前記地図データベースから取得された同一の前記ランドマークについての前記位置情報との間の不一致を識別するステップと；そして
識別された前記不一致に基づいて導出された現在の車両位置を調整して、補正された現在の車両位置を取得するステップと；そして
前記補正された現在の車両位置を前記ディスプレイ上に表示するようにディスプレイに指示するステップと；
を実行するように構成される、
ことを特徴とする車両用ナビゲーションシステム。
【請求項１５】
前記プロセッサは、前記少なくとも１つの取得された画像を分析して、前記慣性測定ユニットの座標および、少なくとも１つの前記画像が取得された前記少なくとも１つのカメラアセンブリの指示方向、を決定することによって、前記ランドマークのそれぞれに関する位置情報を導出するようにさらに構成される、ことを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記プロセッサは、さらに、
前記慣性計測ユニットの各座標の、未知数としての誤差を含む数式を構成するステップであって、前記数式は、前記地図データベースから得られた前記ランドマークの位置情報が、少なくとも１つの画像から得られた前記ランドマークのそれぞれについての位置情報と一致するように前記座標を補正し、ここで前記数式の数は前記未知数としての誤差の数より大きい、ステップと；そして  
プロセッサを用いて、前記未知数としての誤差を決定するために、構成された前記数式を解くステップと；により、
前記特定された不一致に基づいて前記導出された現在の車両位置を調整して、前記補正された現在の車両位置を取得するように構成される、ことを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記少なくとも１つのカメラアセンブリは、
同じランドマークをそれぞれ含む、ｎが２より大きいｎ個の画像を取得することにより、前記車両上の少なくとも１つのカメラアセンブリを使用して、車両の外部領域の少なくとも１つの画像を取得するように構成され、
そして前記プロセッサは、
前記同じランドマークの複数の位置推定値を計算するステップであって、それぞれの前記推定値は、異なる、前記取得された画像の内の２つの画像の組み合わせから計算される、ステップと；
計算された前記推定値から前記ランドマークに関する位置情報を導出するステップと；そして
識別された前記不一致に基づいて、導出された現在の車両位置を調整して、補正された現在の車両位置を取得する前記ステップを実行する場合に、少なくとも１つの取得された画像から導出された各前記ランドマークについての位置情報に対する前記計算された推定値から導出された、前記ランドマークについての位置情報を使用するステップと；
により前記少なくとも１つの取得された画像を解析して前記ランドマークの各々に関する位置情報を導出するように構成される、
ことを特徴とする請求項１４に記載のシステム。
【請求項１８】
前記プロセッサは、
同じ前記ランドマークの（ｎ＊（ｎ−１））／２個の位置推定値を計算することによって、同じ前記ランドマークの複数の位置推定値を計算するように構成され、ここでそれぞれの前記推定値は、異なる、前記取得された画像の内の２つの画像の組み合わせから計算される、ことを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記プロセッサは、
前記少なくとも１つの取得された画像の各々を神経ネットワークに入力することにより、前記取得された少なくとも１つの画像内の複数のランドマークを識別するように構成され、前記神経ネットワークは、潜在的に既知のランドマークを含む画像の入力を受信すると、既知のランドマークの識別を出力し、それにより前記取得された少なくとも１つの画像内の前記ランドマークの識別を得るように構成される、
ことを特徴とする請求項１４に記載のシステム。
【請求項２０】
前記少なくとも１つのカメラアセンブリは、前記慣性測定ユニットと同じ場所に配置されることを特徴とする請求項１４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、グローバルナビゲーション衛星システム（ＧＮＳＳ）の代替として車両を位置決めするために地図および画像を使用し、次に車両位置を使用して、ナビゲーションシステムの表示、車両ステアリングまたはガイダンスシステム、車両スロットルシステムおよび車両ブレーキシステムを含む１つまたは複数の車両構成要素を制御するシステム、装置および方法に関する。非常に正確な車両位置決定を用いたルートガイダンスと自律的な車両操作が提供される。
【背景技術】
【０００２】
背景情報の詳細な議論は、米国特許第６，４０５，１３２号（特許文献１）、第７，０８５，６３７号（特許文献２）、第７，１１０，８８０号（特許文献３）、第７，２０２，７７６号（特許文献４）、第９，１０３，６７１号（特許文献５）、および第９，５２８，８３４号（特許文献６）に記載されている。追加の関連する従来技術は、米国特許第７，４５６，８４７号（特許文献７）、同第８，３３４，８７９号（特許文献８）、同第８，５２１，３５２号（特許文献９）、同第８，６７６，４３０号（特許文献１０）および同第８，９０３，５９１号（特許文献１１）に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６，４０５，１３２号
【特許文献２】米国特許第７，０８５，６３７号
【特許文献３】米国特許第７，１１０，８８０号
【特許文献４】米国特許第７，２０２，７７６号
【特許文献５】米国特許第９，１０３，６７１号
【特許文献６】米国特許第９，５２８，８３４号
【特許文献７】米国特許第７，４５６，８４７号
【特許文献８】米国特許第８，３３４，８７９号
【特許文献９】米国特許第８，５２１，３５２号
【特許文献１０】米国特許第８，６７６，４３０号
【特許文献１１】米国特許第８，９０３，５９１号
【発明の概要】
【０００４】
高精度の車両位置に基づいて車両構成要素を調整する方法およびシステムは、車両上の慣性計測ユニット（ＩＭＵ）から運動学的データを取得するステップと、プロセッサを用いて、慣性計測ユニットから得られたデータと従前の既知の車両位置から現在の車両位置に関する情報を導出するステップと、そしてプロセッサを用いて、導出された現在の車両位置を調整して、補正された現在の車両位置を取得するステップとを含む。この後者のステップは、車両上の少なくとも１つのカメラアセンブリを使用して、車両の外部領域の少なくとも１つの画像を取得するステップと、ここで各々のカメラはＩＭＵと固定された関係にあり、各取得画像の中の複数のランドマークを識別するステップと、プロセッサを使用して各画像を分析し、各ランドマークの位置情報を導出するステップと、地図データベースから識別された各ランドマークについての位置情報を獲得するステップと、そしてプロセッサを使用して、それぞれの画像由来の各ランドマークの位置情報と、地図データベースから得られた同じランドマークについての位置情報との不一致を識別するステップとを伴う。最終的に、導出された現在の車両位置は、識別された不一致に基づいてプロセッサを使用して調整され、補正された現在の車両位置が取得され、それは車両構成要素の動作を変更するために使用される。
【０００５】
本明細書に記載される本発明を実施するために使用される様々なハードウェアおよびソフトウェア要素が、システム図、ブロック図、フローチャート、および神経ネットワークアルゴリズムおよび構造の形式で示される。  
【図面の簡単な説明】
【０００６】
好適な実施形態が以下の図面で示される：
【図１】位置情報を車両及び基地局に送信する４つのＧＮＳＳ衛星を備えたＷＡＤＧＮＳＳシステムを示す図であり、この基地局は、次に直接的又は間接的にディファレンシャル補正信号を車両に送信する。
【図２】ＧＮＳＳシステムと慣性計測ユニット（ＩＭＵ）との組み合わせを示す図である。
【図３Ａ−Ｄ】図３Ａは１台のカメラと、２つのＧＮＳＳアンテナと、本発明によるシステムを動作させるための電子機器パッケージとを備えた車両を示す図である。図３Ｂは、図３Ａに示される電子機器パッケージの詳細である。図３Ｃは、図３Ａに示されたカメラおよびＧＮＳＳアンテナの詳細である。図３Ｄは、２台のカメラの使用を示す図である。
【図４Ａ】ＧｏＰｒｏ（登録商標）カメラを使用する本発明の実施形態である。
【図４Ｂ】一緒に配置されていない２つのＧｏＰｒｏ（登録商標）カメラの使用を示す図である。
【図５Ａ】本発明によるシステムが生産車両に統合され、カメラアセンブリが車両のＡピラーに組み込まれた第１の実施形態を示す図である。
【図５Ｂ】図５Ａに示す実施形態と同様の実施形態を示す図であり、本発明によるシステムがおよそ１８０度の合計視野（ＦＯＶ）を提供する第３のカメラを組み込む。
【図５Ｃ】図５Ａに示す実施形態と同様の実施形態を示す図であり、本発明によるシステムは、２つの並置されたカメラアセンブリを含む。
【図６】図３Ｂの電子システムのブロック図である。
【図７】ＧＮＳＳ衛星の必要性を無くすために写真測量を用いてＩＭＵ誤差を補正する方法を示すフローチャートであり、それにより車両がランドマークと地図を使用して車両の位置決めをすることを可能にする。
【図８】地図作成のためにクラウド内で行われる計算を示すフローチャートである。
【図９】画像圧縮のために車両上で行われる計算を示すフローチャートである。
【図１０Ａ−Ｂ】図１０Ａはレンズ像のバレル歪みを示す図であり、図１０Ｂは、ローリングシャッタのカメラを用いた場合の歪みを示す図である。
【発明を実施するための形態】
【０００７】
図示される実施形態は全体として一般的な車両の一部として見做されうる。
（１．正確なナビゲーション、総論）
図１は、ＧＰＳなどのＧＮＳＳのＳＶ１、ＳＶ２、ＳＶ３およびＳＶ４と記載される４つの衛星２の従来技術の構成を示し、衛星システムは、基地局２０および２１の受信機に、基地局２０，２１に関連するアンテナ２２などにより位置情報を送信する。基地局２０，２１は、第２のアンテナ１６などの関連する送信機局を介して地心または低地周回衛星（ＬＥＯ）３０に、または他の何らかの経路によってインターネットに、ディファレンシャル補正信号を送信する。ＬＥＯ衛星３０は、車両１８にディファレンシャル補正信号を送信するか、または補正値はインターネットまたは他の便利な経路から取得される。ＷＡＤＧＮＳＳ（広域グローバルナビゲーション衛星システム）では、１つまたは複数の基地局２０，２１が、信号を受信しそして対象領域をカバーする複数の基地局２０，２１から受信したすべての信号について数学的分析を実行し、そして全域に亘るＧＮＳＳ信号誤差の数学的モデルを作成する。
【０００８】
図２は、ＧＮＳＳおよびＤＧＮＳＳ（差動グローバルナビゲーション衛星システム）処理システム４２および慣性測定ユニット（ＩＭＵ）４４の組合せ４０を示すシステム５０の図である。ＧＮＳＳシステムは、ＧＮＳＳ衛星システム（図１に示す）の衛星２から受信した情報、ＤＧＮＳＳシステムのＬＥＯ衛星３０からの情報、およびＩＭＵ４４からのデータを処理するユニットを含む。ＩＭＵ４４は、好ましくは、１つ以上の加速度計と、１つ以上のジャイロスコープ、例えば、３つの加速度計と３つのジャイロスコープとを含む。また、ＩＭＵ４４は、補正ユニットとして機能するＧＮＳＳおよびＤＧＮＳＳ処理システム４２と一体化されたＭＥＭＳパッケージＩＭＵであってもよい。
【０００９】
地図データベース４８は、ナビゲーションシステム４６と連動して、地図表示上の彼／彼女の位置、経路案内、速度制限、道路名称などの情報を車両１８（図１参照）の運転手に提供する。それは、車両の通常の動きまたは操作から車両の動きが逸脱していると判定されたことを運転者に警告するためにも使用される。
【００１０】
地図データベース４８は、数センチメートル（１σ）の精度の道路地図を含み、すなわち、道路の車線の端部および道路の端部、およびすべての停止標識および停止灯および他のタイプの道路標識のような他の交通制御装置についてのデータを含む。車両の動きまたは操作は、地図データベース４８内のデータ、例えば走行レーンの端部に関するデータ、交通制御装置によって提供または課される命令または制限に関するデータ、および検知された車両の通常の動きまたは操作と比較して分析されうる。
【００１１】
ナビゲーションシステム４６は、ＧＮＳＳおよびＤＧＮＳＳ処理システム４２に接続されている。ナビゲーションシステム４６に接続された車両制御またはドライバ情報システム４５によって警告状況が検出された場合、ドライバに警告が出される。ドライバ情報システム４５は、アラーム、光、ブザーまたは他の可聴ノイズ、および／または黄色の線および「道路からのはみ出し」状況に対する模擬ランブルストリップ、および停止標識および停止標識違反に対する光と警報の組み合わせ、を含む。ドライバ情報システム４５は、模擬ランブルストリップと同様に、音のみ、または音と振動であってもよい。
【００１２】
リアル・タイム・キネマティックまたはＲＴＫディファレンシャルシステムとして知られているローカルエリアディファレンシャル補正システムおよび正確な地図を作成するための選択システムが利用可能である。このシステムでは、時間の経過と共にミリメートル単位で正確な位置を決定するローカル局が確立される。この情報を使用して、ローカル局は、近くにある移動する車両に補正を提供することができ、それにより車両はその位置を数センチメートル以内で決定することができる。ＲＴＫ基地局は、それらの推定位置を経時的に平均化することによってそれらの位置を決定し、それによってＧＮＳＳ信号の誤差を平均化して消去する。この方法により、正確な位置決定に収束する。ＲＴＫ基地局または車両が位置を決定する場合、ＲＴＫ基地局または車両上のハードウェアおよび／またはソフトウェアは、信号またはデータを受信しそこから位置を導出するように構成されていることを意味する。実際には、ＲＴＫ基地局は、通常、３０から１００キロ離れて配置される。しかし、マルチパス問題が関連する都市では、基地局は数十から数百メートルの距離にまで近くに配置することができる。
【００１３】
（地図作成、写真測量ベースのマッピングシステムの説明）
衛星写真から作成された地図は、世界のほとんどの地域で利用可能である。このような地図は、道路および近くの道路構造を含む地形の性質を示す。このような道路の精度は数メートルに限定されており、このような衛星で作成された地図は、例えば、車両ルート案内目的および本明細書に記載されている他の目的などには不十分であることが多い。様々な地図作成会社は、特殊マッピング車両の採用により地図に大きな補正を加えており、それは典型的にはライダーやレーザーレーダー技術を使用して、世界中の多くの場所で車両により例えばルートガイダンス用に広く使用される地図を作製した。しかし、このような地図は数メートルの精度しかない。
【００１４】
これはルートガイダンスには十分であるが、車両が車線マーカーを横切ったり、道路からはみ出したり、および／または柱や樹木、縁石などの固定物に衝突しないようにするために、センチメートルレベルの精度が要求される自律車両ガイダンスには、さらに高い精度が必要である。これは特に、レーザーレーダーシステムが限界値になる可能性のある視界の悪い状況では問題である。本明細書に記載された技術は、この問題を解決し、センチメートルレベルの精度の地図を提供する。
【００１５】
本発明のアプローチは、以下に説明するように、複数プローブの車両を使用してマッピング機能を達成することであり、その車両はそれ以外は通常の車両であり、それぞれが１つ以上のカメラ、１つのＩＭＵおよび以下に述べる正確なＲＴＫ  ＤＧＮＳＳシステムを備える。そのようなシステムは、クラウドソーシングと呼ぶことができる。ＯｍｎｉＳＴＡＲ補正によって提供されるようなＷＡＤＧＮＳＳを得るための受信機はＲＴＫ  ＤＧＮＳＳが利用できない地域での使用されるための車両で好ましくは利用可能である。
【００１６】
各プローブ車両が道路を横断すると、その上の各カメラは、車両の周囲の空間の画像を取得し、そしてこれらの画像またはそこから得られた情報を、車両搭載通信ユニットの一部であってもよい送信機を使用して、車両と離れた遠隔局に送信する。この通信は、携帯電話、ＷｉＭＡＸ、ＬＥＯまたはＧＥＯ衛星などのブロードバンドを使用するインターネット、または利用可能なＷｉ−Ｆｉまたはその他のテレマティクス通信システムを含む様々な方法のいずれかで行うことができる。この情報は、後で送信するために車両のメモリに記憶することもできる。
【００１７】
遠隔局は、プローブ車両によって送信された情報から地図データベースを作成し維持することができる。そのようなプローブ車両によって道路区間が最初に横断されるとき、遠隔局は、利用可能な帯域幅に応じてプローブ車両からフルセットの画像を送信するよう要求することができる。十分な帯域幅が利用できない場合、画像は、後でアップロードするために位置情報とともに車両に格納することができる。遠隔局が十分な画像セットが得られたと判断するまで、すなわち遠隔局で画像を処理するように構成されたプロセッサが十分な画像セットが得られたと判断するまで、他のプローブ車両から追加の画像を要求することもできる。その後、プローブ車両は、地形を監視し、それを（地図データベース４８からの）車載地図と比較し、不一致が発見された場合に遠隔局に通知することができる。
【００１８】
ＧＮＳＳ受信機が固定位置に置かれた場合、測量を必要とせずに適切なソフトウェアを用いて最終的に正確にその位置を決定することができる。これは、ＧＮＳＳ衛星が空を横切って移動し、当技術分野で知られている適切なアルゴリズムを適用することにより、多数のＧＮＳＳデータを取得し、多数の位置推定を行うことによってこれを達成する。これらの位置推定値を平均することによって、推定位置は徐々に正確な位置に近づく。これは、ローカルＲＴＫ局が作成される方法である。このプロセスは、既知の不確定な誤差が存在する場合、より複雑になる可能性がある。ソフトウェアはこれらの異常を取り除くために存在し、いくつかのケースでは、位置精度推定値を改善するために使用することもできる。
【００１９】
プローブ車両では、補正されたＧＮＳＳ信号または補正されていないＧＮＳＳ信号が、ＩＭＵ４４のドリフト誤差を補正するために使用され、そして任意の時間においてその位置の推定値を提供するために車両により使用されるのはＩＭＵ４４である。ＧＮＳＳ信号が利用可能な唯一の情報である場合、ＩＭＵ４４によって表される車両位置は、数メートルのオーダーの大きな誤差を含むことになる。ＷＡＤＧＮＳＳが利用可能である場合、これらの誤差はデシメートルのオーダーに減少し、ＲＴＫ  ＤＧＮＳＳが利用可能である場合、これらの誤差は数センチメートル以下に減少する。
【００２０】
プローブ車両が画像を取得すると、カメラの位置およびＩＭＵ４４によって決定される指向角度が記録される。位置および指向角度は、画像内のポールなどのオブジェクト、ランドマーク上の点、へのベクトルを決定するのに使用される。２つの画像が得られた後、ポールの位置は、ポール上の同じ点に対する２つのベクトルの交差点として数学的に決定することができる。この位置は、ＩＭＵ４４の精度および撮像装置の精度に起因して誤差が生じる。
【００２１】
撮像装置の誤差は、レンズの不完全性のような不変性であるため、装置の較正によって大部分は除去することができる。レンズ収差による歪みは、ソフトウェアでマッピングして補正することができる。バレルのゆがみまたはローリングシャッターカメラのシャッタータイミングによる他の誤差も、同様に数学的に除去することができる。したがって、残りの誤差はＩＭＵ４４に起因する。これらの誤差は、例えば車両とポールとの間の距離に基づいて拡大される。
【００２２】
固定ＧＮＳＳ  ＲＴＫ受信機が、複数の推定値を平均化することによってその正確な位置を徐々に決定するのと同じ方法で、同様に、ポール上の基準点の位置は、位置推定値を平均することによって正確に決定することができる。ＩＭＵの位置がＧＮＳＳの読み取り値のみを使用して決定される場合、ＩＭＵの誤差が大きくなるため、多数の位置推定値が必要となる。同様に、ＷＡＤＧＮＳＳが利用可能な場合は、必要な位置推定数が少なくて済み、ＲＴＫ  ＤＧＮＳＳではわずか２−３個の位置推定が必要である。このプロセスは、誤差拡大効果のために近くのポールを使用することを好むが、十分な位置推定が利用可能である場合には遠方のポールでさえも正確に位置決めされる。
【００２３】
両方の画像に同じランドマークがあると仮定して、１つの位置推定を得るのに２つの画像が必要である。３つの画像は、画像１を画像２、画像１を画像３、画像２を画像３と組み合わせることにより、３つの位置推定を提供する。位置推定の数は、式ｎ＊（ｎ−１）／２にしたがって、画像の数ｎと共に急速に増加する。従って１０個の画像から４５個の位置推定が得られ、１００個の画像から４９５０個の位置推定が得られる。
【００２４】
最初は、単一のプローブ車両により複数の画像を得ることができるが、システムが広く採用されるにつれて、複数のプローブ車両からの画像を使用することができ、さらに首尾よく除去されなかった任意の装置のシステム誤差をランダム化する。
【００２５】
ポールは、本明細書で教示されるような正確な地図の作成に使用されるランドマークの一例である。他のランドマークには、ポールの中心、頂点または地面と地面との交点など、ポールの右端または中心など、簡単に位置決めできる特性を持つ不変（固定の位置）構造が含まれる。基準点上にある。他のランドマークの例は、建物、窓、縁石、ガードレール、道路の端、車線マーカーまたはその他の塗装された道路標示、橋、ガントリー、フェンス、道路標識、信号灯、看板および壁がある。
【００２６】
ランドマークは人工物に限られてもよい。しかし、いくつかのケースでは、岩や木などの自然のものを使用することもできる。多くのランドマークでは、ポールの中間点や頂点などの特定の点を代表点または位置代表点として選択する必要がある。カーブ、道路の端または塗装された車線のマーカーなどの一部のランドマークでは、単一の画像に表示される独特の始まりや終わりがない。そのような場合であっても、線は開始および終了するか、または別の線が交差する。このような始点または交差点から移動した距離を代表点と定義することができる。
【００２７】
樹木や岩石などの一部のオブジェクトは、ランドマークとして選択されることはないが、安全上の理由からそれらを地図上に配置することが重要になる。このようなオブジェクトは地図上に配置することができ、その結果、車両はそれらに衝突することを回避できる。そのようなオブジェクトに対しては、より概略の場所を特定できるが、そのオブジェクトは地図の精度向上の目的では使用されない。
【００２８】
衛星が作成した地形の特徴を示す地図が一般に利用可能である。しかしながら、衛星が作成した地図は一般にルート誘導目的には十分に正確ではなく、このような地図は本発明の教授を使用してより正確にすることができる、なぜならば、衛星作成地図上で観察できる上述のランドマークの位置は、より正確にすることができ、そして衛星が作成した地図は適切に調整することができ、それにより地形のすべての局面が正確に表示されるからである。
【００２９】
最初にマッピングプロセスにおいて、完全な画像がクラウドに送信される。地図が確立されると、ランドマークに関連する情報のみが送信を必要とされ、必要な帯域幅を大幅に削減する。さらに、所望の精度レベルが得られると、地図変更に関連するデータのみが送信を必要とされる。これは自動更新プロセスである。
【００３０】
クラウド内のコンピュータプログラム、すなわちホスティングファシリティ（遠隔局）に常駐し、プロセッサおよびそれに関連するソフトウェアおよびハードウェアによって実行されるコンピュータプログラムは、衛星画像を調整し、ランドマークを組み込んで、本明細書に記載の様々な用途のための地図を作成する。プローブ車両は、画像を連続的に取得し、それらの画像内のランドマークの位置を地図データベース上のその位置と比較することができ、不一致が発見されると、新しい画像データまたはそこから抽出されたデータが地図更新のためにクラウドに送信される。この方法により、プローブ車両と地図データベースを作成して更新するクラウド内の遠隔局を使用して、正確な地図データベースを作成し、継続的に検証することができる。この比較を容易にするために、各ランドマークに固有の識別子を付けることができる。
【００３１】
（衛星画像と補足情報を使用した地図の拡張）
遠隔局で複数の画像を処理する場合、例えば二重画像による立体画像技術を使用して、画像から得られた画像またはデータは、画像内の共通オブジェクトを識別することによって、例えば神経ネットワークまたはディープラーニングにより、そしてオブジェクトを地図上に配置するために、画像が取得されたときからの位置およびポインティング情報を使用して、画像からオブジェクトを含む地図に変換される。画像は、同一のプローブ車両から、異なる時間に撮影され、そして同一の共通のオブジェクトを含んで取得されるか、または２つ以上のプローブ車両から、そして同様に同一の共通のオブジェクトを含んで取得されることができる。
【００３２】
遠隔局にある、即ちプローブ車両には配置されていないがプローブ車両と通信する、プロセッサを使用することによって、複数の車両からの画像または異なる時間に撮影された同じ車両の画像を使用して地図を形成することができる。さらに、プロセッサをプローブ車両から分離することによって、このような補正を可能にする装置をプローブ車両に持たずに、ＷＡＤＧＮＳＳを使用することが可能である。
【００３３】
上記の方法を使用することにより、正確な地図データベースを自動的に構築し、特別なマッピング車両を必要とせずに継続的に検証することができる。道路沿いの、自然物や人工物、ランドマーク、興味のあるポイント、商業施設（ガソリンスタンド、図書館、レストランなど）の場所、名前、説明などの他の地図情報は、その位置がプローブ車両によって記録されている可能性があるため、遠隔地において地図データベースに組み込むことができる。
【００３４】
プローブ車両からのより限定されたデータを使用して地図データベースが一度構築されると、初期プローブ車両が得たデータとは異なるデータを得るように設計されたプローブ車両からのデータを用いて、追加データを追加することができ、それにより地図データベースを連続的に充実させ改良することができる。さらに、通りや道路、町、郡などの名前または位置に基づく名前およびその他の情報を地図の一部とすることもできる。
【００３５】
工事、地滑り、事故などによる道路の位置の変化は、プローブ車両によって自動的に判定される。これらの変更は、地図データベースに迅速に組み込むことができ、地図の更新として道路上の車両に送信することができる。これらの更新は、ＷｉＭＡＸなどのユビキタスインターネット、または同等のもの、または他の適切なテレマティクス方式によって送信することができる。すべての車両は最終的には、効率的で連続的な地図更新を可能にする永久的なインターネットアクセスを持つべきである。
【００３６】
ＷＡＤＧＮＳＳディファレンシャル補正は、遠隔局で適用することができ、プローブ車両で考慮する必要がないため、プローブ車両から計算およびテレマティクス負荷を除去する。たとえば米国特許６，２４３，６４８参照。遠隔局は、たとえば、画像またはＧＮＳＳ読み取り値が取得された時点で、車両のおおよその位置に対するＤＧＮＳＳ補正を知ることができる。時間が経つにつれて、遠隔局は、上述した固定ＧＮＳＳ受信機と同様の方法で、上述したインフラに存在するポールのような特徴の正確な位置を知ることになる。
【００３７】
この実施形態では、遠隔局は、車載カメラ、ＧＮＳＳ受信機およびＩＭＵの車両上の、そして互いに対する相対的な搭載位置、そして車載カメラの視野角および車両のＤＧＮＳＳによる補正位置を知り、それはＷＡＤＧＮＳＳでは１０ｃｍ、１シグマ以内でなければならない。所与のプローブ車両および異なるプローブ車両からの連続する画像内のオブジェクトの相対的な位置および車両の動きを監視することにより、時間の経過とともにシーンの正確な３次元表現を生成することができる。
【００３８】
一旦、道路端部および車線位置、および他の道路情報が、車両に送信されるか、そうでなければデータベースに組み込まれると（例えば、システムの車両への初期インストール時など）、加入ベースまたは広告に基づいて行われうる、ガソリンスタンド、レストランなどの旅行者が興味を持つすべてのビジネスの位置のような他の情報を含めるための、追加で必要とされる帯域幅は非常に少ない。
【００３９】
（４．プローブマッピング車両システムの記述）
ここで、図３Ａ、図３Ｂ、図３Ｃ、および図３Ｄを参照する。図３Ａは、カメラアセンブリ７０および２つのＧＮＳＳアンテナを示しており、ＧＮＳＳアンテナの１つはカメラアセンブリ７０内にあり、もう１つ７５は車両屋根９０の後部に取り付けられており、図２に示す構成で使用することができる。ヘッドライナ（図示せず）内で屋根９０の下側に取り付けられた電子機器パッケージ６０は、オペレーティングシステムおよび後述する様々な他の構成要素（図６）を収容する。カップリング９２は、電子パッケージ６０を屋根９０の後部のアンテナ７５に接続する。カメラアセンブリ７０は、図３Ｂに示すように電子パッケージ６０の前方にある。
【００４０】
図３Ｃは、同じハウジング７６内のカメラアセンブリ７２およびカメラアセンブリ７２の後方のＧＮＳＳアンテナ７４を詳細に示す。図３Ｄは、２つのカメラアセンブリ７２，７３が使用される別の構成を示す。示されたカメラは、ｅ−ｃｏｎシステム、ｈｔｔｐ：／／ｗｗｗ．ｅ−ｃｏｎｓｙｓｔｅｍｓ．ｃｏｍ／ＵｌｔｒａＨＤ−ＵＳＢ−Ｃａｍｅｒａ．ａｓｐからのＳｅｅ３ＣＡＭ＿ＣＵ１３０−１３ＭＰとして市販されている。各カメラアセンブリ７２，７３は、好ましくは、約６０度の水平視野と、それより幾分小さい垂直方向視野を有するレンズを備えている。
【００４１】
図３Ｄに示すように、ハウジング７０Ａは、カメラアセンブリ７２，７３の開口部の中間に延びる車両軸線ＶＡに対して、その撮像方向がプラスおよびマイナス３０度の方向に向けられた２つのカメラアセンブリを含む。したがって、各カメラが６０度水平視野（ＦＯＶ）を有するカメラアセンブリ７２，７３の場合、カメラアセンブリは約１２０度の合成視野を有する。選択されたレンズは、均一なピクセル分布を有する。水平方向に３８４０ピクセルの場合、これは１度に約６４ピクセルが存在することを意味する。１つのピクセルは、約３０メートルの距離で約０．８１ｃｍ×約０．８１ｃｍの領域をカバーする。ほとんどのランドマークは車両から３０メートル以内にあり、多くのランドマークは１０メートルから１５メートル以内にある。
【００４２】
２つのアンテナ７４，７５は、電子機器パッケージ６０内のプロセッサに情報を提供して、車両の進行方向またはヨーの正確な測定値を与える。これは、車両が移動しているときにＩＭＵからも測定することができる。車両が長期間静止している場合、ＩＭＵはドリフト誤差に起因する低品質の進行方向測定値を与える可能性がある。
電子機器アセンブリ６０を構成する構成要素を図６に示し、それを参照して以下に説明する。
【００４３】
本発明による付加的なシステムが、単一のカメラアセンブリを有する図４Ａに、別々に配置された２つのカメラ組立体、すなわち、互いに間隔を置いて配置された２つのカメラ組立体を有する図４Ｂに示される。このシステムは、全体として図４Ａに１００で示され、カメラアセンブリ１１０を備え、そのカメラアセンブリ１１０はＧｏＰｒｏ  ＨＥＲＯ  Ｂｌａｃｋカメラ１３０または同等の撮像装置、以下に説明するアドバンスドナビゲーションアセンブリ１４０、およびＧＮＳＳアンテナ１２０を含み、これらはすべて共通のカメラアセンブリハウジング１２２内にある。内部回路１２４は、カメラアセンブリハウジング１２２内のアンテナ１２０、カメラ１３０およびナビゲーションアセンブリ１４０を接続する。内部回路１２４は、プロセッサを含むことができる。
【００４４】
カメラアセンブリ１１０は、車両１２８のルーフ１２６の外面に、結合コネクタ１１８によって結合される第２のＧＮＳＳアンテナ１４５に沿って取り付けられる。この取り付けを提供するための取り付け手段は、車両の車体パネルおよび屋根に外部車両部品を取り付けるための当業者に既知の任意の手段で良い。
【００４５】
図４Ｂに示すように、２つのカメラアセンブリ１３２，１３４がルーフ１２６の外面の側部に配置され、それらのＦＯＶ（視野）が大きく重ならないような角度で回転される（視野が車両の長手方向軸線に対して実質的に対称である図４Ａに示す位置から）。
この回転により、各カメラアセンブリハウジング１２２の長手方向軸線が車両の長手方向軸線に対して約３０度の角度になるように、カメラアセンブリ１３２，１３４が位置決めされる。カメラアセンブリハウジング１２２は、長手方向軸が車両の長手方向軸にほぼ平行であるが、カメラアセンブリは、車両の長手方向軸に対して約３０度の角度で撮像方向に対して傾斜しているように構成することが可能である。したがって、構成または位置決め基準は、カメラアセンブリ１３２，１３４の撮像方向ＤＩ１、ＤＩ２が車両１２８（図４Ｂ参照）の長手方向軸ＬＡに対して約３０度の角度Ａにあることである。
【００４６】
各カメラアセンブリ１３２，１３４において６０度のレンズが使用される場合、回転角は約３０度よりも僅かに小さくなり得るので、車両の中央及び前方の小さな三角形を除く１２０度のＦＯＶ内の全ての領域が撮像される。ナビゲーションおよびアンテナアセンブリ１１２は、屋根１２６の外面の中心に取り付けられていることが示されている。
【００４７】
潜在的により高い精度を提供する別の構成は、カメラアセンブリ１３２，１３４をナビゲーションおよびアンテナアセンブリ１１２に可能な限り近接する位置に移動させ、ナビゲーションおよびアンテナアセンブリ１１２をわずかに後方に移動させて、カメラアセンブリ１３２，１３４が互いに接触するようにすることである。
【００４８】
いくつかのシステムでは、図３に示すラップトップ８０のようなポータブルコンピューティングデバイスが提供され、画像、ナビゲーションおよびＩＭＵデータを受信し、収集し、処理する。ラップトップまたは他のプロセッサ８０は、使用中は図３に示すように車両に存在し、そして必要に応じて車両から取り外すか、または車両の一部として永久に固定される。ラップトップ８０は、ナビゲーションシステムのディスプレイを構成し、その動作は本発明による位置決定によって変更される。
【００４９】
いくつかの実施形態では、ラップトップ８０による唯一の処理は、各画像を提供するカメラの変位および角度座標で受信画像をタグ付けし、そしてナビゲーションユニットから計算された補正値でＩＭＵを更新することである。ＩＭＵは、ナビゲーションユニットの一部であってもよい。画像はその後、ラップトップ８０上に保持され、ラップトップ８０の電気通信能力を介して、直ちにまたは後で、遠隔局に転送される。
【００５０】
遠隔局では、データをさらに処理して地図を作成する別の処理ユニットが存在する可能性がある。他の実施形態では、画像は、処理ユニットによって実行されるコンピュータプログラムによって処理されて、神経ネットワークのようなパターン認識技術を使用してランドマークを探索し、画像内のポールおよび他のランドマークを認識するように構成されまたは学習される。この場合、ランドマークデータのみが、コンピュータプログラムによる処理のために遠隔局の処理ユニットに対し転送される必要がある。最初は第１のプロセスが使用されるが、地図が完全に開発されて操作された後、地図の変更または誤差を示すランドマークデータのみが遠隔局の処理装置に対し送信される必要がある。
【００５１】
図５Ａは、車両１５０のＡピラー１５６に組み込まれたカメラアセンブリ１５１，１５２を有する本発明のマッピングシステムの生産車両１５０への組み込みを示す図である。アンテナ１６１，１６２は屋根１５５の表面１５４に一体化されており、外からは見えない。ナビゲーションおよび他の電子機器は、スマートフォンサイズのパッケージ１７０に統合され、屋根１５５の下で車両１５０のヘッドライナ１５７に取り付けられる。
【００５２】
図５Ｂは図５Ａと類似し、ヘッドライナ１５７に第３のカメラアセンブリ１５３を組み込み、それによって、約１８０度の合計ＦＯＶ（視野）を提供する。
【００５３】
図５Ｃは、図５Ａおよび図５Ｂと類似し、そして車両の中央に２つのカメラ１５１Ａ、１５２Ａを一緒に配置した実施形態を示す。カメラアセンブリ１５１Ａの視野はＦＯＶ１と表示され、カメラアセンブリ１５２Ａの視野はＦＯＶ２と指定され、ＦＯＶ１およびＦＯＶ２の各々は約６０度であり、合計ＦＯＶは約１２０度である。図５Ａ、５Ｂおよび５Ｃでは、システムの生産意図設計が示され、それはカメラアセンブリ１５１，１５１Ａ、１５２，１５２Ａおよび１５３のレンズのみが、フロントガラス１５８とルーフ１５５との間の界面付近から突出して見えることが示される。例えば９０度のレンズが使用された場合には、この位置からは各獲得された画像の比較的多くの部分がルーフ１５５およびフロントガラス１５８によってブロックされ、そして特に６０度を超える角度では画像の多くが失われる。９０度のレンズを使用することから得られることはほとんどなく、１度のピクセル数は６４から約４３に減少するので、これらの実施形態では６０度のレンズが好ましい。
【００５４】
カメラアセンブリ１５１，１５１Ａ、１５２，１５２Ａ、および１５３は、同じ場所に取り付けられる必要はなく、それらが例えば図５Ｂに示すようにルーフ１５５の端部でＡピラー１５６に配置されていれば、９０度などの異なる角度のレンズの利点は説得力がある。ここでのトレードオフは、ＩＭＵとのカメラアセンブリの位置合わせ精度である。このシステムは、その正確さをカメラアセンブリの位置および方向を知ることに依存しており、それはＩＭＵにより決定される。ＩＭＵに対するカメラアセンブリの位置およびその指示方向が正確にわからない場合、誤差が導入される。カメラアセンブリとＩＭＵとの間で起こる未知の変位または回転の可能性は、それらが非常に接近し、同じ剛性構造にしっかりと取り付けられている場合、大幅に低減される。これは、好ましい構成であり、２つのカメラアセンブリと１２０度のＦＯＶ（視野）に対し、図５Ｃに示すように、装置をできるだけ近くに一緒に取り付けることが必要とされる。  
【００５５】
本発明のシステムが、視界の悪い状況での車両の位置の決定と、その車両位置のラップトップ８０のディスプレイ上の表示に使用される場合、車両１５０の各側の前面にＩＲ（赤外）投光照明器１８０を設けて、車両１５０のヘッドライト１７８の照明を補助することができる。この場合のカメラアセンブリは、近赤外線照明に感度を有する必要がある。
【００５６】
いくつかの実施形態では、ＦＯＶ（視野）を１８０度以上に拡げる追加のカメラまたは広角レンズを備えることができる。これにより、システムはストリートビューのシーンを監視し、変更を報告することができる。
図５Ａ、図５Ｂおよび図５Ｃの実施形態は、好ましくは、例えば夜間のような視界が悪い条件下で車両１５０の位置を決定するためのパッシブＩＲを組み込む。
【００５７】
図３Ａのボックス６０で使用される電子機器は図６のブロック図で全体として参照番号６０で示されている。電子機器パッケージ６０の重要な構成要素は、本明細書でＡＮ３０１と総称される、姿勢及び進行方向基準システム（ＡＨＲＳ）を含むＧＮＳＳ支援慣性航法システムである。ＡＨＲＳは、一般に、ロール、ピッチおよびヨーを含む姿勢情報を提供する３軸センサを有し、ＩＭＵとしても知られている。それらは伝統的なメカニカルジャイロスコープの飛行器具に代わるものとして設計されており、優れた信頼性と精度を提供する。本明細書で使用される好ましいシステムは、スパチアルデュアル（Ｓｐａｔｉａｌ  Ｄｕａｌ）と呼ばれ、オーストラリアのＡｄｖａｎｃｅｄ  Ｎａｖｉｇａｔｉｏｎ（ｈｔｔｐｓ：／／ｗｗｗ．ａｄｖａｎｃｅｄｎａｖｉｇａｔｉｏｎ．ｃｏｍ．ａｕ）によって製造される。ＡＮ  ３０１の詳細な説明については、Ａｄｖａｎｃｅｄ  Ｎａｖｉｇａｔｉｏｎから入手可能なＡｄｖａｎｃｅｄ  Ｎａｖｉｇａｔｉｏｎ  Ｓｐａｔｉａｌ  Ｄｕａｌ  Ｆｌｙｅｒを参照。
【００５８】
ＲＴＫディファレンシャルＧＰＳと共に使用する場合、水平位置精度は約０．００８ｍ、垂直位置精度は約０．０１５ｍ、動的ロールおよびピッチ精度は約０．１５度、方位精度は約０．１度である。本発明のシステムが連続生産される場合、潜在的に低コストで、ＡＮと同様の特性を有する特別なナビゲーション装置が提供される。そのような時まで、市販のＡＮを本発明に使用することができる。
【００５９】
ＡＮ３０１は、ＩＭＵおよび２つの離間したＧＮＳＳアンテナを含む。アンテナは正確な方向（ヨー）情報を得る能力を提供する。さらに、ＡＮ３０１は、ＯｍｎｉＳＴＡＲおよびＲＴＫディファレンシャル補正システムからのディファレンシャル補正を受信する受信機を含む。どちらのシステムでも、ディファレンシャル補正を行わなくても、正確なマッピングが得られる。しかしながら、より多数の画像が必要とされるほど、使用可能な位置および角度の精度は低くなる。ＲＴＫが利用可能な場合、１０ｃｍのポール位置の精度が画像取得車両の１回の通過で得られるのに対して、ＯｍｎｉＳＴＡＲのみが利用可能である場合は１０回、ディファレンシャル補正が利用できない場合は５０〜１００回の通過が必要となりうる。
【００６０】
図６では３０２はＵＳＢ２−ＧＰＩＯ汎用入出力モジュール、３０３はプロセッサ、３０４はＷｉ−Ｆｉまたは同等の通信ユニット、３０６は追加のカメラ（電子機器パッケージ６０の下に示されている２つのカメラに付加して）用の拡張ＵＳＢポートを示す。
【００６１】
（衛星ナビゲーションシステムを使用しない車両位置の決定）
図７は、写真測量を用いてＩＭＵ誤差を補正してＧＮＳＳ衛星の必要性を排除することにより、車両がランドマークと地図を使用して自分の位置を決め、そしてラップトップ８０上で走るようなナビゲーションシステムのディスプレイに車両位置を表示させる技術を示すフローチャートである。ＩＭＵデータの処理は、画像処理から得られた各ランドマークに関する位置情報と、地図データベースから取得された同じランドマークに関する位置情報との間の不一致に基づいて調整される。生のＩＭＵデータおよび／または統合された生のＩＭＵデータ（生のＩＭＵデータから統合された変位、ロール、ピッチ、ヨー）は、共に調整済み（誤差補正または誤差補償済み）の変位、ロール、ピッチおよびヨーを提供することができる。ＩＭＵからのデータの最終的な統合結果がある量だけ誤っている場合（同じランドマークに対する２つの位置決定の間に不一致がある）、測定された特性（加速度／角速度−ステップ４０３）を距離または角度（ステップ４０５）に変換する係数が誤差を補正するために適用される（例えば、ステップ４０４）。このような係数は、生データに適用される（ステップ４０３）か、生データの統合後に適用される（ステップ４０５）。係数の数値は、適用時によって異なり、そしてランドマーク位置の不一致分析に基づく。
【００６２】
チャートでは、「ＦＩＤ」はランドマークを意味する。このフローチャートは全体的に参照番号４００で示される。各ステップは以下に列挙される。ステップ４０１は開始である。ステップ４０２は、カルマンフィルタのパラメータを含む初期データを設定するステップである。ステップ４０３は、周波数１００Ｈｚ：加速度Ａ→、角速度ω→（車両の運動学的特性とみなされる）でのＩＭＵデータを読み取る（検出する）ステップである。ステップ４０４は、ＩＭＵの誤差を補償するステップである。ステップ４０５は、現在の経度λ、緯度φ、高度ｈ、ロール、ピッチ、ヨー、及び線速度Ｖ→ｇｐｓを計算するステップである。ステップ４０５は、一般に、プロセッサを用いて、ＩＭＵから取得されたデータおよび以前の既知の車両位置から、そこからの動きを分析することによって、現在の車両位置に関する情報を導出するステップである。ステップ４０６は、周波数１，．．．，１０Ｈｚで検出されたＧＮＳＳまたはＲＴＫ補正（あれば）後のＧＰＳデータ：経度λｇｐｓ、緯度φｇｐｓ、高度ｈｇｐｓ、線速度Ｖ→ｇｐｓを読み取るステップである。ステップ４０７は、利用可能な新しい信頼できるＧＰＳデータがあるかどうかを問い合わせるステップである。ある場合、ステップ４０８は、ＧＰＳおよびＩＭＵ測定値を共通の時間に持ち込む（同期）ステップであり、ステップ４０９は、第１の観測ベクトル：Ｙ→１＝［（λ−λｇｐｓ）Ｒｅ・ｃｏｓ(φｇｐｓ)；（φ−φｇｐｓ）Ｒｅ；ｈ−ｈｇｐｓ；Ｖ→−Ｖ→ｇｐｓ］を計算するステップである。ここでＲｅ＝６３７１１１６ｍは平均地球半径である。その後、またはステップ４０７で利用可能な新しい信頼できるＧＰＳデータがないとき、ステップ４１０は、周波数１，．．．，３０Ｈｚで画像（あれば）を取得する。したがって、正しい車両位置のためのランドマーク処理は、ＧＰＳデータが利用できない場合にのみ行われる。
【００６３】
ステップ４１１は、新しい画像が利用可能であるかどうかを問い合わせるステップである。利用可能な場合、ステップ４１２は、現在の領域で以前に認識されたランドマークに関する情報を地図からプリロードするステップであり、ステップ４１３は、既知のランドマークＮｊ、ｊ＝１，．．．，Ｍを識別するステップであり、ステップ４１４は、１つ以上のランドマークが画像内で認識されるか否かを問い合わせるステップである。認識される場合、ステップ４１５は、地図（データベース）からｊ番目のランドマークの座標λｊ、φｊ、ｈｊを検索するステップであり、ステップ４１６はランドマークのローカル角度ΘｊおよびΥｊを計算するステップであり、ステップ４１７はＩＭＵ測定値を静止画像の時間へ持ち込む（同期）ステップであり、ステップ４１８は、第２の観測ベクトル：Ｙ→２＝［Ｙ´→１；  ．．．；Ｙ´→ｊ；．．．；Ｙ´→Ｍ´］，ｊ＝１．．．Ｍ´ここでＭ´は認識されたランドマークの数であり（Ｍ´≦Ｍ），Ｙ´→ｊ＝［（λ−λｊ）Ｒｅ・ｃｏｓ（φｊ）；（φ−φｊ）Ｒｅ；ｈ−ｈｊ）］−ｒｊ・Ｒ→・Ｆ→ｊ，ｒｊ＝［｛（λ−λｊ）Ｒｅ・ｃｏｓ（φｊ）｝２＋｛（φ−φｊ）Ｒｅ｝２＋｛ｈ−ｈｊ｝２］１／２，Ｒ→とＦ→ｊはアルゴリズム１Ｂのように計算される。
【００６４】
ステップ４１９は、誤差補償のための新しいデータがあるかどうかを問い合わせるステップである。もしあれば、ステップ４２０は、カルマンフィルタを用いた再帰的推定を行うステップである：Ｘ^→  ＝  Ｋ→・［Ｙ→１，Ｙ→２］，Ｘ^→＝［Δλ，Δφ，Δｈ，（ΔＶ）→，（ΔΨ）→，（ΔＢ）→］，（ΔΨ）→＝［ΔＲｏｌｌ，ΔＰｉｔｃｈ，ΔＹａｗ］は方向角度誤差ベクトルであり、（ΔＢ）→は、ＩＭＵ誤差ベクトルであり、Ｋ→は、ゲイン係数の行列であり。そしてステップ４２１は、経度λ、緯度φ、高度ｈ、ロール、ピッチ、ヨー、および線速度Ｖ→に対して誤差を補償するステップである。ステップ４２１は、調整されたＩＭＵ出力の決定を構成する。その後、またはステップ４１９で誤差補償のための新しいデータがないとき、ステップ４２２は、パラメータ：経度λ、緯度φ、高度ｈ、ロール、ピッチ、ヨーおよび線速度Ｖ→を出力するステップである。ステップ４２３は、動作を終了するかどうかを問い合わせするステップであり、終了するのであればステップ４２４で終了する。そうでない場合には、プロセスはステップ４０３に戻る。ステップ４０６〜４２１の一部または全部は、導出された現在の車両位置（ステップ４０５で、以前の既知の車両位置と、そこからの動きを使用して決定）を、プロセッサを用いて調整し、そして現在の正しい車両位置を得る（ＩＭＵからの出力の誤差を補償することによって）全体的なステップを構成すると考えられる。
【００６５】
この技術の重要な側面は、インフラストラクチャの多くが不変であり、いったん正確にマッピングされると、１つまたは複数のカメラを搭載した車両が、衛星ナビゲーションシステムの助けなしに正確にその位置を決定できるという事実に基づく。この正確な位置は、例えばナビゲーションシステムのディスプレイ上に車両位置を表示するなど、既知の目的に使用される。
【００６６】
最初に、地図は、道路の近くの環境内のオブジェクトを識別し、そして国際特許出願ＰＣＴ／ＵＳ１４／７０３７７および米国特許第９，５２８，８３４号に記載されている写真測量を使用して、写真撮影技術を介してこれらのオブジェクトのそれぞれの位置を決定することによって基本的に作成される。その後この地図は、車両がある地点から別の地点へナビゲートすることを可能にするために、少なくとも部分的に車両に常駐するルート案内システムによって使用されることができる。
【００６７】
この写真測量技術を使用して、車両は自律的に駆動されることができ、それにより車両は、道路上またはその近くにある固定オブジェクトに接近せず、理想的には衝突しない。自律動作のために、位置決定に基づいて制御される車両構成要素は、車両案内またはステアリングシステム９６、エンジン９８を含む車両スロットルシステム、車両制動システム９４（図３Ａ参照）、および１つまたはそれ以上の、自律的な操作を可能にするために車両の位置に基づいて制御される必要のある任意の他のシステムを含む。車両制動システム９４、車両案内またはステアリングシステム９６およびエンジン９８が、目的地までの経路に沿って車両を誘導する（一般に経路誘導と呼ばれる）ための、車両位置（地図に対する）に基づく制御の態様は、本発明に関連する当業者には公知である。
【００６８】
経路案内のために、補正された現在の車両位置をラップトップ８０のようなナビゲーションシステムのディスプレイ上に表示する代わりに、補正された現在の車両位置が１つ以上の車両構成要素制御システムに入力されて、それらの動作を変化させる、例えば、車輪を回転させ減速させる。ラップトップ８０または車両内の他のシステムなどのナビゲーションシステムに表示されると、補正された現在の車両位置に基づいてディスプレイの内容が制御され、補正された現在の車両位置の周囲にロッド、ランドマーク、地形などを示す。
【００６９】
この技法は、数センチメートル以内の正確な地図を生成するので、その地図は既存の地図よりも正確でなければならず、そして可視性が悪い場合でも自律車両ガイダンスに適していなければならない。地図作成段階の車両の位置は、ＧＮＳＳ衛星とディファレンシャル補正システムによって決定される。ＲＴＫの差動ＧＮＳＳが利用可能な場合、車両の位置精度は数センチメートル以内になると予想される。ＷＡＤＧＮＳＳを使用する場合、精度はデシメートル単位である。
【００７０】
一度地図が作成されると、車両の処理ユニットは車両の位置を決定する選択肢を有し、それは地図データベースに表示されたランドマークに基づく見做し位置である。これを行う方法を以下に説明する。そのようなプロセスの、例証的であるが、非限定的で非排他的なステップは：
１．車両周囲の環境を撮影する。
２．車両常駐地図データベースから、画像内にあるべき識別されたランドマークおよびそれらの期待ピクセル位置を決定する。
３．写真で見られるように、識別された各ランドマークのピクセルを位置決めする（いくつかのランドマークは他の車両によってブロックされることがあることに注意）。
４．その写真を取得した各車両カメラアセンブリのＩＭＵ座標および指示方向を決定する。
５．各ランドマークに対して、未知数としての誤差を含む、各ＩＭＵ座標（３つの変位および３つの角度）の方程式を構成し、その方程式はＩＭＵ座標を補正しそれにより地図ピクセルが写真ピクセルと一致する。
６．６つのＩＭＵ誤差未知数よりも多くの方程式、例えば１０個のランドマークを使用する。
７．シンプレックスまたは他の方法を用いて誤差の未知数を解いて、各座標の誤差の最良推定値を得て、そして（可能であれば）、どのランドマークが最も不正確な地図位置を有するかの指示を得る。
８．新しい補正に基づいてピクセルが一致する場合、新しい誤差推定値でＩＭＵを補正する。これは、ＧＮＳＳ信号を使用したＤＧＮＳＳ補正と同様である。
９．最も精度が低いと思われるランドマークの新しい座標を記録し、それは地図を補正するのに使用でき、そしてこれらを遠隔サイトにアップロードする。
【００７１】
このプロセスは、以下の考察からさらに説明することができる。
１．各ランドマークに対して２つの方程式、すなわち画像内の垂直ピクセル変位と横方向ピクセル変位の２つの式が存在するので、ＩＭＵ誤差を解くためには３つのランドマークしか必要とされない。
２．４つのランドマーク（一度に３（ｒ）個ずつ４（ｎ）個のオブジェクトを撮影するとする）を使用すると、（ｎ！／（ｎ−ｒ）！＊ｒ！）＝４つのＩＭＵ誤差の推定値が得られ、そして１０個のランドマークでは１２０個の推定値が得られる。
３．２−３のランドマークに多数のＩＭＵ誤差推定値のセットが存在する可能性があるため、問題はどのセットを使用するかを決定することである。それは本明細書の範囲を超えているが、その技術は当業者に既知である。一旦選択がなされると、ランドマークの地図位置精度に関する判断がなされ、新しい写真を地図誤差の補正に使用することができる。これは、将来の地図補正のためにアップロードする写真の選択をガイドする。
４．誤差計算式は、以下の形式であってもよい：ｅｘ＊ｖｘ＋ｅｙ＊ｖｙ＋ｅｚ＊ｖｚ＋ｅｐ＊ｖｐ＋ｅｒ＊ｖｒ＋ｅｗ＊ｖｗ＝ｄｘ  
ここで、
１．ｅｘ  ＝長手方向の未知のＩＭＵ誤差
２．ｅｙ  ＝垂直方向の未知のＩＭＵ誤差
３．ｅｚ  ＝横方向の未知のＩＭＵ誤差
４．ｅｐ  ＝ピッチ角における未知のＩＭＵ誤差
５．ｅｒ  ＝ロール角における未知のＩＭＵ誤差
６．ｅｗ  ＝ヨー角における未知のＩＭＵ誤差
７．ｖｘ他  ＝ｘピクセル位置に関する様々な座標および角度の導関数
８．ｄｘ  ＝地図と画像ランドマークの横方向ピクセル位置の差（これはピクセル角度の関数になる）
９．ｄｙにも同様の式がある。
【００７２】
上記のプロセスを使用して、車両上の処理ユニットは、マッピングされたランドマークの存在または知識のもと、その位置を迅速に決定し、ＧＮＳＳ衛星を使用せずにＩＭＵ内の誤差を補正することができる。一度地図が設置されると、車両は衛星の偽装、妨害、または戦闘中に起こる可能性のある衛星の破壊からさえも影響を受けない。実際には、３つの異なる位置から少なくとも３つの画像がそのランドマークについて作られていれば、マッピングされた単一のランドマークだけが必要である。１つの画像内に３つのランドマークが使用可能である場合、車両がそのＩＭＵを補正するために必要な画像は１つだけである。画像内のより多くのランドマークおよび特定のランドマークのより多くの画像は、ＩＭＵ誤差のより良い推定をもたらす。
【００７３】
車両位置及びＩＭＵ誤差補正のこの方法を利用するためには、ランドマークは車両のカメラアセンブリから見える必要がある。通常、ヘッドライトは夜間の運転に十分な照明を提供する。追加の補助として、図５Ａ、５Ｂ，５Ｃの参照番号１８０のような近赤外線投光照明を提供することができる。そのような場合、カメラアセンブリは近赤外周波数に感応する必要がある。
【００７４】
（システム実装）
図８は、本発明による地図作成方法の「クラウド」で実行される計算を示すフローチャートである。手順は次のとおり：
車両４５０では、以下のステップが行われる：ステップ４５１で、画像を取得する；ステップ４５２では、ＩＭＵの角度および位置を取得する；ステップ４５３で、取得されたデータをクラウドに送信するために圧縮する；ステップ４５４で、圧縮されたデータをクラウドに送信する。
【００７５】
クラウド４６０では、以下のステップが生じる：ステップ４６１で、マッピング車両から画像を受信する；ステップ４６２で、神経ネットワークなどのパターン認識アルゴリズムを使用してランドマークを識別する；ランドマークが識別された場合、ステップ４６３でＩＤを割り当てる；ステップ４６４で、ランドマークに割り当てられたＩＤをデータベースに格納する；そして識別されたランドマークが存在しない場合、ステップ４６５において、複数の同じＩＤエントリについてデータベースを検索する。もし存在しなければ、プロセスはステップ４６１に戻る。ステップ４６５でデータベース内に複数のＩＤエントリがあると決定された場合、ステップ４６６では、１ペアを組み合わせ、ランドマーク基準点を通過するベクトルの交点を計算することによって、位置推定値を形成する。
【００７６】
本発明の重要な側面は、それぞれが同じランドマークを含む２つの画像の使用、および画像に基づいて描かれた２つのベクトルの交点、およびそれぞれの画像が取得されたときの既知の車両位置からランドマーク上の点の位置の計算をすることである。ステレオビジョンは、ステレオカメラ間の距離が大きいため、交点計算の精度が優れている。（ｎ＊（ｎ−１）／２）個の画像を組み合わせる方法と組み合わせて、１つのランドマークの１回の通過、おそらくは１０個の画像で、高精度の位置決定が得られる。
【００７７】
ステップ４６７は、さらに多くのペアが存在するかどうかの問い合わせであり、そうであれば、プロセスはステップ４６６に戻る。そうでない場合、プロセスはステップ４６８に進み、位置推定を組み合わせて車両の最も可能性の高い位置を見つけ、ステップ４６９で地図上に車両の位置を配置し、ステップ４７０で、更新された地図データを車両に利用可能にする。プロセスはステップ４７０からステップ４６５に戻る。
【００７８】
図８に示すシステム処理は、一般に地図作成の初期段階で使用される。多くのランドマークがまだ選択されていないので、追加された新しいランドマークを遡及的に検索できるように、取得されたすべての画像を保持することが望ましい。地図が安定して新しいランドマークが追加されない場合、画像全部の保持の必要性はもはやなくなり、そしてデータ処理の多くは（クラウドではなく）車両上で行われ、そして限られたデータのみクラウドに送信される。この段階では、ランドマーク情報のみが車両４５０からクラウド４６０に送信されるので、必要な帯域幅は劇的に減少する。
【００７９】
クラウド４６０は、車両４５０から離れた位置、最も一般的には車両４５０と無線通信する車外の位置を表す。クラウド４６０は、クラウドを構成すると一般的に考えられる主体に限定されず、処理ユニットが常駐する車両とは別の離れた位置にあってもよい。
【００８０】
図９は、画像圧縮のために車両に対して実行される計算のフローチャートである。手順は次のとおり：
車両５００では、以下のステップが行われる：
ステップ５０１で、画像を取得する；
ステップ５０２で、その画像が取得されたＩＭＵ角度及び位置を取得する；
ステップ５０３で、神経ネットワークなどのパターン認識アルゴリズムを使用してランドマークを識別する；
ステップ５０４で、識別されたランドマークにＩＤを割り当てる；
ステップ５０５で、取得したデータをクラウドに送信するために圧縮する；そして
ステップ５０６で、圧縮された取得データをクラウドに送信する。
クラウドでは、次の手順が実行される：
ステップ５１１で、画像を受信する；
ステップ５１２で、受信した画像をデータベースに格納する；
ステップ５１３で、複数の同一のＩＤエントリについてデータベースを検索する；
見つかった場合には、
ステップ５１４において、ペアを組み合わせて位置推定値を形成する；
複数の同一のＩＤエントリが見つからない場合、
ステップ５１１において追加の画像を受信する。
【００８１】
ステップ５１５で、複数の同一のＩＤエントリのペアが存在するかどうかについて問い合わせ；
そうであれば
ステップ５１４でそれぞれ処理され；
そうでなければ
ステップ５１６で、（車両の）最も可能性の高い位置を見つけるため位置推定値が組み合わされ；そして
ステップ５１７で、車両位置が地図上に配置され；
ステップ５１８で、更新された地図が車両に利用可能にされる。
【００８２】
一度地図が作成されて車両５００上の地図データベースに格納されると、本質的に、クラウド５１０への唯一の送信は、地図の変更または精度の改善に関連する。これにより、システムの車両台数が増加するときの帯域幅要件が大幅に削減される。
【００８３】
（７．画像の歪み）
カメラアセンブリによってシーンを撮影した画像には、いくつかの歪みが生じることがある。いくつかは、レンズが不完全な幾何形状を含む場合に生じる局所的な歪みである、カメラアセンブリのレンズにおける収差に起因する。これらは、既知のパターンを撮影し、その既知のパターンからの偏差がどこで発生しているかを見ることにより、位置を特定して補正することができる。これらの誤差の地図を作成し、その地図を使用して画像を補正することができる。このような画像補正は、例えば、カメラアセンブリから画像を受け取る処理ユニットによる一種の前処理ステップとして、画像の処理中に実行されることが多い。
【００８４】
バレル歪みは、湾曲したレンズを使用して平坦な表面上にパターンを生成することに起因する歪みによって引き起こされる。それらは、図１０Ａに示すように、そうでなければ直線の曲がりを特徴とする。この場合、画像の横側の直線状のポール３５１，３５２は画像の中央に向かって曲げられ、一方、既に中心に位置するポール３５３，３５４はそのような曲がりを示さない。この歪みはレンズでは不変であり、画像からマッピングすることもできる。このような画像補正は、例えば、カメラアセンブリから画像を受け取る処理ユニットによる一種の前処理ステップとして、画像の処理中に実行されることが多い。
【００８５】
一般に、カメラは、グローバルシャッタまたはローリングシャッタのいずれかを有する。グローバルシャッタの場合、全てのピクセルが同時に露光されるのに対して、ローリングシャッタの場合、最初に一番上のピクセルの行が露光され、データが撮像チップから転送され、次に二番目の行のピクセルが露光される。カメラがローリングシャッターケース内で撮影されている間に移動しているとき、垂直の直線は、図１０Ｂの遠位のポール３６２と比較して近くのフェンスポール３６１によって示されるように左に曲がって見える。ローリングシャッタに起因する歪みの補正は、歪み量が、例えば、シャッタ速度、車速、およびオブジェクトから車両までの距離の関数であるため、より複雑である。シャッタースピードは、カメラアセンブリから転送された最初と最後のデータをクロッキングすることによって決定できる。車速は走行距離計またはＩＭＵから得ることができるが、オブジェクトまでの距離はより問題になる。この決定は、２つ以上の画像の比較と、２つの画像間で起こる角度変化を必要とする。三角測量により、車両が２つの画像の間を移動した距離を知ることにより、オブジェクトまでの距離を決定することができる。
上記の方法により、既知の歪みを画像から計算的に除去することができる。
【００８６】
本発明のいくつかの実施形態の重要な部分は、車両が走行している道路に関する関連情報を含むデジタル地図である。本発明のデジタル地図は、通常、道路の端部の位置、路肩の端部、道路の高度および表面形状、道路の向こうの土地の特徴、樹木、柱、ガードレール、標識、車線標識、速度制限などを含むことができる。これらのデータまたは情報は、本発明における使用のために独自の方法で取得され、そして特殊車両またはプローブ車両のいずれかによって情報を取得し、車両システムによってアクセス可能な地図データベースへそれを変換または組み込むことは、本発明の一部である。
【００８７】
地図データベース内の地図は、道路状態情報、緊急通知、危険警告、および車両道路システムの安全性を向上させるのに有用な他の情報も含むことができる。地図の改善には、対象ポイントの存在と位置、および位置ベースのサービスを提供する商業施設が含まれる。そのような商業的な位置は、自動車の運転者または他の乗員にとって関心のある広告および付加的な情報と共に、その存在の強化された表現を持つことに対し対価を支払うことができる。この付加的な情報は、営業時間、ガソリン価格、特別プロモーション等を含むことができる。繰り返すが、商業施設の位置はプローブ車両から取得することができ、そして商業施設は、施設の位置がナビゲーションシステムのディスプレイに表示されている地図上に存在する場合、地図データベースに乗員に示される追加情報を追加することに対し対価の支払いをすることができる。
【００８８】
速度制限、ガードレールの有無、各車線の幅、高速道路の幅、路肩の幅、道路の向こうの土地の特徴を含む、一時的と恒久的の両方の道路に関するすべての情報は、地図データベースの一部でなければならない。地図上の特定の位置に関連する制限速度は、制限速度が時刻および／または気象条件に依存しうるようにコード化されてもよい。換言すれば、速度制限は、条件に応じて時々変化する変数であってもよい。
【００８９】
少なくとも車両が自動制御下で動作しているときには、乗客および／または運転者の視界に入る種々の地図情報のためのディスプレイが常に存在すると考えられる。したがって、交通状況、気象条件、広告、レストランおよびガソリンスタンドの場所など、追加のユーザ情報をこのディスプレイ上に表示することもできる。
【００９０】
非常に大規模な地図データベースは、現在、メモリの価格が低下し続ける中で、車両に常駐することができる。まもなく、国全体の地図データベースを車両に格納し、変更が行われたときにそれを更新することが可能になる。車両から例えば１０００マイル以内の領域は確かに記憶され、車両が場所を移動するにつれて、残りのデータベースは、例えばインターネットへの接続を通じて必要に応じて更新することができる。
【００９１】
車両が通信機能を実行するように動作可能であると言及される場合、車両は、プロセッサ、処理ユニットまたは他の処理機能を含み、これはコンピュータの形態であってもよく、少なくとも無線または携帯電話通信を受信することができる受信機であり、したがってこの通信ユニットは通信機能を実行しており、プロセッサは処理または分析機能を実行していると理解される。
【００９２】
ＩＭＵピッチセンサおよびロールセンサの出力が追加記録される場合、道路地形の地図を地図に追加して、道路の横から横へ、そして前方から後方への斜面を示すことができる。この情報は、運転の安全性に影響を与える可能性がある道路勾配の予期しない変化を、車両に警告するために使用することができる。それはまた、修理が必要な場所について道路管理者をガイドするために、道路の穴の情報と一緒に使用することもできる。
【００９３】
高速道路の安全性を向上させるために、多くの追加の地図強化を提供することができる。本明細書に記載されているマッピングカメラは、その視野に信号のライトを含むことができ、車両が信号に近づいている、すなわち、カメラが信号の状態を判定できるようにする所定の距離内にあると判定されると、信号は地図上に記録されているので、信号の存在をシステムが知ることができ、車両は信号をいつ見るべきかを知り、そして信号の色を決定する。より一般的には、可変情報を提供する交通関連装置に関する情報を取得する方法は、装置の位置を含む地図データベースを車両に提供するステップと、車両の位置を決定するステップと、そして車両の位置が各装置の位置に近づいていると決定されるときに、例えば車載カメラを使用して装置の画像を取得するステップとを有する。このステップは、地図データベースおよび車両位置決定システムとインターフェースする本明細書に開示されたプロセッサによって実行されてもよい。画像は装置の状態を決定するために分析され、それは光学的認識技術を必要とする。
【００９４】
ＲＴＫ  ＧＮＳＳが利用可能な場合、プローブ車両は数センチメートル以内、場合によっては１センチメートル以内でその位置を知ることができる。このような車両が例えば１００ＫＰＨ未満で走行している場合、道路の近くの各ランドマークに対して少なくとも３〜４枚の画像を得ることができる。これらの３つから４つの画像から、各ランドマークの位置は、道路およびその近くの構造の正確な地図を形成するのに十分な１０センチメートル以内で得ることができる。特別なマッピング車両を使用せずに正確な道路地図を提供するには、プローブ車両の１回の通過で十分である。
【００９５】
（８．要約）
本発明は、図面および上記の記載のなかで詳細に図示され、記載されているが、それらはその性格が例示的なものであり、制限的なものではなく、好ましい実施形態のみが示され、記載され、本発明の精神に含まれる変更および改変は保護されることが望まれることが理解される。
【図１】
2019508677.tif 000003
【図２】
2019508677.tif 000004
【図３Ａ−Ｄ】
2019508677.tif 000005
【図４Ａ】
2019508677.tif 000006
【図４Ｂ】
2019508677.tif 000007
【図５Ａ】
2019508677.tif 000008
【図５Ｂ】
2019508677.tif 000009
【図５Ｃ】
2019508677.tif 000010
【図６】
2019508677.tif 000011
【図７】
2019508677.tif 000012
【図８】
2019508677.tif 000013
【図９】
2019508677.tif 000014
【図１０Ａ−Ｂ】
2019508677.tif 000015
【国際調査報告】
2019508677.tif 000016