(57)【要約】本開示の実施形態は、高解像度地図を更新するためのシステムおよび方法を提供する。システムは、車両が軌道に沿って走行する間に、車両に装備された両眼カメラで取り込まれた複数の画像フレームを受信するように構成された通信インタフェースを含んでもよい。システムは、更に、高解像度地図および複数の画像フレームを保存するように構成されたストレージを含んでもよい。システムは、また、少なくとも一つのプロセッサを含んでもよい。少なくとも一つのプロセッサは、個々の画像フレームに基づいてポイントクラウドフレームを生成するように構成されてもよい。少なくとも一つのプロセッサは、更に、ポイントクラウドフレームを用いて車両を位置特定するように構成されてもよい。少なくとも一つのプロセッサは、更に、個々の車両位置に基づいてポイントクラウドフレームをマージするように構成されてもよい。少なくとも一つのプロセッサは、また、マージしたポイントクラウドに基づいて高解像度地図の一部分を更新するように構成されてもよい。【選択図】図３
2020525809.tif 000002
【特許請求の範囲】
【請求項１】
高解像度地図を更新するためのシステムであって、
車両が軌道に沿って走行する間に、前記車両に装備された両眼カメラで取り込まれた複数の画像フレームを受信するように構成された通信インタフェースと、
前記高解像度地図および前記複数の画像フレームを保存するように構成されたストレージと、
少なくとも一つのプロセッサと、を備え、
前記少なくとも一つのプロセッサは、
個々の前記画像フレームに基づいてポイントクラウドフレームを生成し、
前記ポイントクラウドフレームを用いて前記車両を位置特定し、
個々の車両位置に基づいて前記ポイントクラウドフレームをマージし、
前記マージしたポイントクラウドに基づいて前記高解像度地図の一部分を更新する、ように構成される、
システム。
【請求項２】
画像フレームに基づいてポイントクラウドフレームを生成するために、前記少なくとも一つのプロセッサは、
画像フレーム内の各画素の奥行き情報を推定し、
前記奥行き情報に基づいて前記画素の三次元座標を決定する、ように構成されている、請求項１記載のシステム。
【請求項３】
奥行き情報を推定するために、前記少なくとも一つのプロセッサは、
前記画像フレームに基づいて両眼視差地図を推定し、
両眼視差および前記両眼カメラのパラメータを用いて、前記奥行き情報を推定する、ように構成されている、請求項２に記載のシステム。
【請求項４】
前記少なくとも一つのプロセッサは、さらに、前記両眼カメラの前記パラメータを特定するために前記両眼カメラを校正する、ように構成されている、請求項３に記載のシステム。
【請求項５】
事前学習させたニューラルネットワークを用いて、前記両眼視差地図を推定する、請求項３に記載のシステム。
【請求項６】
前記車両を位置特定するために、前記プロセッサは、さらに、
前記ポイントクラウドフレーム、およびポジショニングシステムで取得した姿勢情報に基づいて、前記車両の位置情報を生成し、
前記位置情報を、前記高解像度地図とマッチングする、ように構成されている、請求項１に記載のシステム。
【請求項７】
前記ポジショニングシステムは、グローバルポジショニングシステムまたは慣性計測装置のうちの少なくとも一つを含む、請求項６に記載のシステム。
【請求項８】
前記少なくとも一つのプロセッサは、さらに、
前記高解像度地図の前記一部分は閾値サイズよりも小さいと判断し、
前記マージしたポイントクラウドを用いて、前記高解像度地図の前記一部分を更新する、ように構成されている、請求項１に記載のシステム。
【請求項９】
前記少なくとも一つのプロセッサは、さらに、
前記高解像度地図の前記一部分は閾値サイズよりも大きいと判断し、
前記高解像度地図の前記一部分の調査のために、光検出・測距レーダを装備した調査車両を派遣する、ように構成されている、請求項１に記載のシステム。
【請求項１０】
高解像度地図を更新する方法であって、
車両が軌道に沿って走行する間に、前記車両に装備された両眼カメラで取り込まれた複数の画像フレームを、通信インタフェースで受信するステップと、
少なくとも一つのプロセッサにより、個々の前記画像フレームに基づいてポイントクラウドフレームを生成するステップと、
前記少なくとも一つのプロセッサにより、前記ポイントクラウドフレームを用いて前記車両を位置特定するステップと、
前記少なくとも一つのプロセッサにより、個々の車両位置に基づいて前記ポイントクラウドフレームをマージするステップと、
前記少なくとも一つのプロセッサにより、前記マージしたポイントクラウドに基づいて前記高解像度地図の一部分を更新するステップと、を含む方法。
【請求項１１】
前記画像フレームに基づいてポイントクラウドフレームを生成するステップは、
前記画像フレーム内の各画素の奥行き情報を推定するステップと、
前記奥行き情報に基づいて前記画素の三次元座標を決定するステップと、を含む、請求項１０に記載の方法。
【請求項１２】
前記奥行き情報を推定するステップは、
前記画像フレームに基づいて両眼視差地図を推定するステップと、
両眼視差および前記両眼カメラのパラメータを用いて、前記奥行き情報を推定するステップと、を含む、請求項１１に記載の方法。
【請求項１３】
前記両眼カメラの前記パラメータを特定するために、前記両眼カメラを校正するステップをさらに含む、請求項１２に記載の方法。
【請求項１４】
事前学習させたニューラルネットワークを用いて、前記両眼視差地図を推定する、請求項１２に記載の方法。
【請求項１５】
前記車両を位置特定するステップは、
前記ポイントクラウドフレーム、およびポジショニングシステムで取得した姿勢情報に基づいて、前記車両の位置情報を生成するステップと、
前記位置情報を、前記高解像度地図とマッチングするステップと、をさらに含む、請求項１０に記載の方法。
【請求項１６】
前記高解像度地図の前記一部分は閾値サイズよりも小さいと判断するステップと、
前記マージしたポイントクラウドを用いて、前記高解像度地図の前記一部分を更新するステップと、をさらに含む、請求項１０に記載の方法。
【請求項１７】
前記高解像度地図の前記一部分は閾値サイズよりも大きいと判断するステップと、
前記高解像度地図の前記一部分の調査のために、光検出・測距レーダを装備した調査車両を派遣するステップと、をさらに含む、請求項１０に記載の方法。
【請求項１８】
コンピュータプログラムを格納した非一時的コンピュータ可読媒体であって、前記コンピュータプログラムは、少なくとも一つのプロセッサで実行されるときに、高解像度地図を更新する方法を実施し、前記方法は、
車両が軌道に沿って走行する間に、前記車両に装備された両眼カメラで取り込まれた複数の画像フレームを受信するステップと、
個々の前記画像フレームに基づいてポイントクラウドフレームを生成するステップと、
前記ポイントクラウドフレームを用いて前記車両を位置特定するステップと、
車両位置に基づいて前記ポイントクラウドフレームをマージするステップと、
前記マージしたポイントクラウドに基づいて前記高解像度地図の一部分を更新するステップと、を含む、非一時的コンピュータ可読媒体。
【請求項１９】
前記方法は、
前記高解像度地図の前記一部分は閾値サイズよりも小さいと判断するステップと、
前記マージしたポイントクラウドを用いて、前記高解像度地図の前記一部分を更新するステップと、をさらに含む、請求項１８に記載の非一時的コンピュータ可読媒体。
【請求項２０】
前記方法は、
前記高解像度地図の前記一部分は閾値サイズよりも大きいと判断するステップと、
前記高解像度地図の前記一部分の調査のために、光検出・測距レーダを装備した調査車両を派遣するステップと、をさらに含む、請求項１８に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、高解像度地図を更新するためのシステムおよび方法に関し、より具体的には、両眼カメラで取り込んだ画像に基づき高解像度地図を更新するためのシステムおよび方法に関するものである。
【背景技術】
【０００２】
自動運転技術は、正確な地図に依存するところが大きい。例えば、位置特定、周囲認識、意思決定、および制御のような自動運転車両の機能にとって、ナビゲーション地図の正確さは重要である。高解像度地図は、車両が走り回るときに車両に装備した各種センサ、検出器、および他の装置で取得した画像ならびに情報を集約することにより得られることがある。例えば、車両は、この車両が走行している道路または周囲の物体の特徴を取り込むために、ＬｉＤＡＲレーダ、グローバルポジショニングシステム（ＧＰＳ）受信機、一つ以上の慣性計測装置（ＩＭＵ）センサ、および一つ以上のカメラのような複数の統合されたセンサを装備し得る。取り込まれるデータは、例えば、車線の中心線もしくは境界線の座標、建物、他車両、ランドマーク、歩行者、または交通標識のような物体の座標および画像を含むことがある。
【０００３】
再計画、新整備、建設、およびその他のインフラの変更が理由で、高解像度地図は、道路情報を正確に反映するための日常的な更新が必要となる。例えば、一車線道路が二車線道路に拡張されることがあり、これにより、路面標識、交通標識、交通信号機、ならびに木および建物のような周囲の物体の、変更または移動があり得る。高解像度地図を更新するには、一般的に、変更された道路部分を再調査するための調査車両の派遣が必要となる。しかしながら、変更が生じるたびに、地図データを取得するためのＬｉＤＡＲを装備した百万ドル相当の調査車両を派遣して、その調査車両を整備することは、多大なコストを要するので、経済的に実行不可能なことがある。また、それは、かなりの人的介入を要することもあり、これにより、さらなる高コストとなる。一方、低コスト機器で取得した低解像度データで地図を更新すると、地図の品質を損なうことになる。例えば、単眼カメラは、三次元（３Ｄ）モデルを再構築するために必要な奥行き情報を提供しない。従って、高解像度地図を更新するための改善されたシステムおよび方法が必要とされている。
【発明の概要】
【０００４】
本開示の実施形態は、両眼カメラで取得した画像に基づき高解像度地図を更新するための方法およびシステムによって、上記問題に対処するものである。
【０００５】
本開示の実施形態により、高解像度地図を更新するためのシステムを提供する。このシステムは、車両が軌道に沿って走行する間に、車両に装備された両眼カメラで取り込まれた複数の画像フレームを受信するように構成された通信インタフェースを備え得る。本システムは、さらに、高解像度地図および複数の画像フレームを保存するように構成されたストレージを備え得る。本システムは、さらに、少なくとも一つのプロセッサを備え得る。その少なくとも一つのプロセッサは、個々の画像フレームに基づいてポイントクラウドフレームを生成するように構成され得る。その少なくとも一つのプロセッサは、さらに、それらのポイントクラウドフレームを用いて車両を位置特定するように構成され得る。その少なくとも一つのプロセッサは、さらに、それらの車両位置に基づいてポイントクラウドフレームをマージするように構成され得る。その少なくとも一つのプロセッサは、さらに、マージしたポイントクラウドに基づいて高解像度地図の一部分を更新するように構成され得る。
【０００６】
本開示の実施形態により、さらに、高解像度地図を更新する方法を提供する。この方法は、車両が軌道に沿って走行する間に、車両に装備された両眼カメラで取り込まれた複数の画像フレームを、通信インタフェースで受信するステップを含み得る。本方法は、さらに、少なくとも一つのプロセッサにより、個々の画像フレームに基づいてポイントクラウドフレームを生成するステップを含み得る。本方法は、さらに、少なくとも一つのプロセッサにより、それらのポイントクラウドフレームを用いて車両を位置特定するステップを含み得る。本方法は、さらに、少なくとも一つのプロセッサにより、それらの車両位置に基づいてポイントクラウドフレームをマージするステップを含み得る。本方法は、さらに、少なくとも一つのプロセッサにより、マージしたポイントクラウドに基づいて高解像度地図の一部分を更新するステップを含み得る。
【０００７】
本開示の実施形態により、さらに、命令を格納した非一時的コンピュータ可読媒体を提供し、それらの命令は、一つ以上のプロセッサで実行されることで、高解像度地図を更新する方法を、その一つ以上のプロセッサに実行させる。その方法は、車両が軌道に沿って走行する間に、車両に装備された両眼カメラで取り込まれた複数の画像フレームを受信するステップを含み得る。その方法は、さらに、個々の画像フレームに基づいてポイントクラウドフレームを生成するステップを含み得る。その方法は、さらに、それらのポイントクラウドフレームを用いて車両を位置特定するステップを含み得る。その方法は、さらに、それらの車両位置に基づいてポイントクラウドフレームをマージするステップを含み得る。その方法は、さらに、マージしたポイントクラウドに基づいて高解像度地図の一部分を更新するステップを含み得る。
【０００８】
理解されるべきことは、上記の概要説明および以下の詳細説明は、いずれも例示的かつ説明的なものにすぎず、請求項に記載の発明を限定するものではないということである。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施形態による、センサを装備した例示的な車両の概略図を示している。
【図２】本開示の実施形態による、高解像度地図を更新するための例示的なシステムのブロック図を示している。
【図３】本開示の実施形態による、高解像度地図を更新するための例示的な方法のフローチャートを示している。
【図４】本開示の実施形態による、例示的な両眼画像取得プロセスを示している。
【図５】本開示の実施形態による、例示的な単独のポイントクラウドフレームおよび例示的なマージ後のポイントクラウドを示している。
【発明を実施するための形態】
【００１０】
以下で、詳細に、例示的な実施形態について参照し、それらの例を添付の図面に示している。それらの図面全体を通して、同一または類似の部分は、可能な限り同じ参照番号を用いて参照している。
【００１１】
図１は、本開示の実施形態による、複数のセンサ１４０および１５０を備えた例示的な車両１００の概略図を示している。いくつかの実施形態によれば、車両１００は、高解像度地図の構築または三次元（３Ｄ）都市モデリングのためのデータを取得するように構成された調査車両であり得る。車両１００は、電気車両、燃料電池車両、ハイブリッド車両、または通常の内燃機関車両であり得ることが企図される。車両１００は、車体１１０および少なくとも一つの車輪１２０を有し得る。車体１１０は、スポーツ車両、クーペ、セダン、ピックアップトラック、ステーションワゴン、スポーツユーティリティビークル（ＳＵＶ）、ミニバン、またはコンバージョンバンのような、任意の車体型式であり得る。いくつかの実施形態では、車両１００は、図１に示すように、一対の前輪および一対の後輪を有し得る。しかしながら、車両１００は、より多数もしくはより少数の車輪を有し得ること、または車両１００が動き回ることを可能とする同等の構造を有し得ること、が企図される。車両１００は、全輪駆動（ＡＷＤ）、前輪駆動（ＦＷＲ）、または後輪駆動（ＲＷＤ）であるように構成され得る。いくつかの実施形態では、車両１００は、車両に乗り込んだ運転者により運転されるように、および／または遠隔操作されるように、および／または自律型であるように、構成され得る。
【００１２】
図１に示すように、車両１００は、取付構造１３０によって車体１１０に取り付けられたセンサ１４０を装備し得る。取付構造１３０は、車両１００の車体１１０に設置またはその他の方法で装着された電気機械装置であり得る。いくつかの実施形態では、取付構造１３０は、ネジ、接着剤、またはその他の取付機構を使用し得る。車両１００は、任意の適切な取付機構を用いて車体１１０の内側または外側にセンサ１５０を追加装備し得る。センサ１４０または１５０を車両１００に装備することが可能な方法は、図１に示す例に限定されることなく、所望の検知性能を実現するために、センサ１４０／１５０および／または車両１００のタイプに応じて変更し得ることが企図される。
【００１３】
いくつかの実施形態では、センサ１４０および１５０は、車両１００が軌道に沿って走行する間に、データを取り込むように構成され得る。本開示によれば、センサ１４０は、周囲の写真またはビデオを撮るように構成された両眼カメラであり得る。両眼カメラには、同じ方向を向くように照準を合わせて、二つの光学系が並べて取り付けられている。このデュアル視点によって、両眼カメラで取り込まれる画像は奥行き情報を含む。奥行き情報を検知可能な他の適切なカメラまたはセンサを使用し得ることが企図される。車両１００が軌道に沿って走行する間に、センサ１４０でデータを連続的に取り込み得る。ある特定の時点で取り込まれたシーンデータの各セットは、データフレームとして知られている。例えば、センサ１４０は、複数の時点で取り込まれる複数の画像フレームで構成されるビデオを記録し得る。本開示によれば、センサ１４０は、あるシーンの一連の両眼画像フレームを、そのシーンの付近または周辺の軌道に沿って車両１００が走行する間に取り込み得る。それらの両眼画像フレームは、（例えば、ストリーミングによって）リアルタイムで、または車両１００が軌道全体を完走した後にまとめて、サーバ１６０に送信されてよい。
【００１４】
図１に示すように、車両１００には、センサ１５０が追加装備されることがあり、それは、ＧＰＳ受信機のようなナビゲーションユニットで使用されるセンサおよび一つ以上のＩＭＵセンサを含み得る。ＧＰＳは、地理位置情報および時間情報をＧＰＳ受信機に提供するグローバルナビゲーション衛星システムである。ＩＭＵは、加速度計およびジャイロスコープのような様々な慣性センサを用いて、さらに場合によっては磁力計も用いて、車両の固有の力、角速度、さらに場合によっては車両周囲の磁場を、計測および提供する電子装置である。ＧＰＳ受信機とＩＭＵセンサを併用することによって、センサ１５０は、走行するときの車両１００のリアルタイムの姿勢情報を提供することができ、それは、各時点での車両１００の位置および方位（例えば、オイラー角）を含む。本開示によれば、センサ１５０は、センサ１４０で画像フレームを取り込むのと同じ時点での姿勢情報を計測し得る。従って、姿勢情報は、個々の画像フレームに関連付けられてよい。いくつかの実施形態では、画像フレームとそれに関連付けられた姿勢情報との組み合わせを用いて、車両１００を位置特定し得る。
【００１５】
本開示によれば、センサ１４０および１５０は、サーバ１６０と通信し得る。いくつかの実施形態では、サーバ１６０は、ローカル物理サーバ、（図１に示すような）クラウドサーバ、仮想サーバ、分散サーバ、または他の任意の適切なコンピューティングデバイスであってよい。本開示によれば、サーバ１６０は、高解像度地図を保存し得る。いくつかの実施形態では、高解像度地図は、元々は、ＬｉＤＡＲレーザスキャナで取得されたポイントクラウドデータを用いて構築されるものであり得る。ＬｉＤＡＲで、ターゲットにパルスレーザ光を照射して、反射パルスをセンサで計測することにより、ターゲットまでの距離を計測する。このとき、レーザの戻り時間および波長の違いを利用して、ターゲットのデジタル３Ｄ表現を構築することができる。ＬｉＤＡＲスキャンに用いる光は、紫外線、可視光線、または近赤外線であってよい。狭レーザビームにより、極めて高解像度で物理的特徴をマッピングすることが可能であるため、ＬｉＤＡＲスキャナは、高解像度地図の調査に特に適している。
【００１６】
本開示によれば、サーバ１６０は、さらに、地図の何箇所かにおける変化を反映させるための、高解像度地図の随時の更新も担うことがある。ＬｉＤＡＲを用いてエリアを再調査する代わりに、サーバ１６０は、（一つ以上の）変化している物体の付近の軌道に沿って車両１００が走行する間に様々な位置で、（一つ以上の）変化している物体について取り込まれたデータを取得し得る。サーバ１６０は、取得したデータを用いて、高解像度地図を更新し得る。例えば、サーバ１６０は、センサ１４０および１５０からデータを取得し得る。サーバ１６０は、無線ローカルエリアネットワーク（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）のようなネットワーク、電波網、セルラネットワーク、衛星通信ネットワークのような無線ネットワーク、および／またはローカル無線ネットワークもしくは近距離無線ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））を介して、センサ１４０、１５０および／または車両１００の他のコンポーネントと通信し得る。
【００１７】
例えば、図２は、本開示の実施形態による、高解像度地図を更新するための例示的なサーバ１６０のブロック図を示している。本開示によれば、サーバ１６０は、センサ１４０から両眼画像フレームを受信し、センサ１５０から車両姿勢情報を受信し得る。両眼画像フレームに基づいて、サーバ１６０は、車両１００の走行する軌道に沿った位置特定のために姿勢情報と共に後に用いられる３Ｄポイントクラウドフレームを生成し得る。それらの車両位置を用いて、サーバ１６０は、更新が必要な高解像度地図の部分についてポイントクラウドを再構築するために、それらのポイントクラウドフレームをマージ、フィルタリング、またはその他の方法で集約し得る。いくつかの実施形態では、サーバ１６０は、更新対象部分のサイズに基づいて、地図を更新すべき方法を決定し得る。例えば、その部分が比較的小さい例えば交通標識またはフェンスである場合には、その地図の更新のために、マージしたポイントクラウドを用いてよい。そうではなく、その部分がかなり大きい例えば新開発区域または拡張された道路である場合には、サーバ１６０は、その部分の再調査のために、ＬｉＤＡＲを装備した調査車両を派遣することを決定し得る。
【００１８】
いくつかの実施形態において、図２に示すように、サーバ１６０は、通信インタフェース２０２と、プロセッサ２０４と、メモリ２０６と、ストレージ２０８と、を備え得る。いくつかの実施形態では、サーバ１６０は、（特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実現される）集積回路（ＩＣ）チップのような単一デバイスに様々なモジュールを有するか、または専用機能を備えた別々の装置を有し得る。いくつかの実施形態では、サーバ１６０の一つ以上のコンポーネントはクラウドに配置されることがあり、あるいは（車両１００内部もしくはモバイルデバイス内部のような）単一の場所または分散した場所に配置されることがある。サーバ１６０のコンポーネントは、集積デバイス内にあってよく、または様々な場所に分散されているがネットワーク（図示せず）を介して互いに通信するものであってよい。
【００１９】
通信インタフェース２０２は、通信ケーブル、無線ローカルエリアネットワーク（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、電波網のような無線ネットワーク、セルラネットワーク、および／またはローカル無線ネットワークもしくは近距離無線ネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））、または他の通信方法を介して、センサ１４０および１５０のようなコンポーネントとデータを送受信し得る。いくつかの実施形態では、通信インタフェース２０２は、統合サービスデジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、またはデータ通信接続を提供するためのモデムとすることができる。他の例として、通信インタフェース２０２は、準拠するＬＡＮへのデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カードとすることができる。また、通信インタフェース２０２によって、無線リンクを実現することもできる。そのような実施形態では、通信インタフェース２０２は、ネットワークを介して、各種情報を表すデジタルデータストリームを搬送する電気信号、電磁信号、または光信号を送受信することが可能である。
【００２０】
いくつかの実施形態によれば、通信インタフェース２０２は、センサ１４０で取り込んだ画像フレーム２０３で構成されたビデオなどのデータ、ならびにセンサ１５０で取り込んだ姿勢情報２０５、を受信し得る。通信インタフェースは、さらに、受信したデータを、保存のためにストレージ２０８に、または処理のためにプロセッサ２０４に、供給し得る。また、通信インタフェース２０２は、プロセッサ２０４で生成されたポイントクラウドも受信して、そのポイントクラウドを、車両１００内のいずれかのローカルコンポーネントに、またはネットワークを介していずれかのリモート装置に、供給し得る。
【００２１】
プロセッサ２０４は、任意の適切なタイプの汎用もしくは専用の、マイクロプロセッサ、デジタル信号プロセッサ、またはマイクロコントローラを含み得る。プロセッサ２０４は、高解像度地図の更新のための専用の独立したプロセッサモジュールとして構成されてよい。あるいは、プロセッサ２０４は、カラーポイントクラウド生成に無関係の他の機能を実行するための共有プロセッサモジュールとして構成されてよい。
【００２２】
図２に示すように、プロセッサ２０４は、ポイントクラウド生成ユニット２１０、位置特定ユニット２１２、ポイントクラウドマージユニット２１４、および地図更新ユニット２１６などの複数のモジュールを有し得る。これらのモジュール（および対応するサブモジュールまたはサブユニット）は、プロセッサ２０４でプログラムの少なくとも一部を実行することにより実現される他のコンポーネントまたはソフトウェアユニットと共に用いるように設計された、プロセッサ２０４のハードウェアユニット（例えば、集積回路のいくつかの部分）とすることができる。そのプログラムは、コンピュータ可読媒体に格納し得るものであって、プロセッサ２０４で実行されることで、一つ以上の機能を実行し得る。図２では、ユニット２１０〜２１６のすべてを一つのプロセッサ２０４内に示しているが、これらのユニットを、互いに近傍または遠隔に配置された複数のプロセッサに分散させ得ることが企図される。
【００２３】
ポイントクラウド生成ユニット２１０は、画像フレーム２０３に基づいてポイントクラウドフレームを生成するように構成され得る。生成されるポイントクラウドフレームは、カラーポイントクラウドフレームであり得る。いくつかの実施形態では、画像フレーム２０３は、両眼画像であり得る。ポイントクラウド生成ユニット２１０は、両眼画像に基づいて両眼視差地図を推定するように構成され得る。両眼視差とは、両眼カメラの左右の光学系から見た物体の像位置の差を指す。いくつかの実施形態では、パッチマッチング法を用いて、両眼視差地図を決定し得る。例えば、視差を特定するために、二つの両眼視点の画像から、一致するパッチを特定する。本開示によるいくつかの実施形態では、両眼視差を特定するために、機械学習法を適用し得る。例えば、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）を、両眼画像を処理して両眼視差地図を決定するように事前学習させてよい。物体のテクスチャに大きく依存するパッチマッチング法とは異なり、機械学習法は、光テクスチャ情報を用いてエリアの視差を特定するのに特に適している。例えば、大部分が平坦である道路の視差を特定するためのパッチマッチング法の場合には、奥行き情報を得るために車線区分線に頼らなければならない。これに対し、機械学習法は、視差推定の助けとなる非テクスチャ特徴をより多く抽出し得る。
【００２４】
ポイントクラウド生成ユニット２１０は、両眼視差地図から奥行き情報を抽出し得る。画像画素の奥行きは、その画像画素とカメラとの間の距離と定義される。いくつかの実施形態では、奥行き情報の抽出は、カメラパラメータおよび基線の長さに基づき得る。本開示によれば、カメラパラメータは、車両１００による調査の実施前に実行されるセンサ１４０の校正を通じて取得し得る。追加的または代替的に、調査前にセンサ１５０の校正も行ってよい。
【００２５】
次に、ポイントクラウド生成ユニット２１０は、抽出した奥行き情報をマッピングして変換することにより、カメラ座標系における画素の３Ｄ座標を取得し得る。従って、各画像フレームについて、その画像フレーム内の画素の３Ｄ座標を集約することにより、３Ｄポイントクラウドフレームを生成し得る。いくつかの実施形態では、ポイントクラウド生成ユニット２１０は、ポイントクラウドフレームをリアルタイムで生成し得る。
【００２６】
それらの生成された３Ｄポイントクラウドフレームに基づいて、位置特定ユニット２１２は、例えばセンサ１４０を装備した車両１００である車両を、軌道に関して位置特定するように構成され得る。いくつかの実施形態では、画像フレームが取り込まれた時点に対応して、軌道上の車両の位置を特定する。位置特定ユニット２１２は、位置特定精度を向上させるために、ポイントクラウドフレームに加えて、追加の位置情報を引き出し得る。例えば、位置特定ユニット２１２は、ＧＰＳ受信機および一つ以上のＩＭＵセンサのようなセンサ１５０で取得した姿勢情報２０５を用いることがある。姿勢情報２０５は、画像フレームの取り込み時に対応した時点においてリアルタイムで取得し得る。例えば、リアルタイムの姿勢情報は、各時点での車両１００の位置および方位を含み得る。いくつかの実施形態では、位置特定ユニット２１２は、さらに追加的に、車両１００の位置特定を助けるために既存の高解像度地図を使用することがある。
【００２７】
いくつかの実施形態では、位置特定ユニット２１２は、軌道上の車両１００を反復的に位置特定するために、粒子群最適化（ＰＳＯ：Ｐａｒｔｉｃｌｅ  Ｓｗａｒｍ  Ｏｐｔｉｍｉｚａｔｉｏｎ）法を用いることがある。ＰＳＯ法は、所与の品質尺度に関して候補解を反復的に改善することにより問題を最適化する計算法である。例えば、位置特定ユニット２１２は、疎な空間分布を有する姿勢情報に基づいて車両位置の概算推定を生成するために、ＰＳＯ法を用いることがある。車両１００が軌道に沿って移動し、その過程で、より多くの情報を取得するにつれて、姿勢情報の空間分布を精緻化し得るとともに、車両位置の推定を改善し得る。位置特定ユニット２１２は、推定した車両姿勢分布を、高解像度地図上の対応する位置とマッチングすることにより、地図上で車両１００を位置特定し得る。
【００２８】
いくつかの実施形態では、それらの車両位置を、個々のポイントクラウドフレームに関連付けてよい。ポイントクラウドマージユニット２１４は、それらの関連付けられた車両位置に従って、ポイントクラウドフレームをマージするように構成され得る。例えば、それらのポイントクラウドは、マージしたポイントクラウドを生成するために、車両位置に従って空間的にぐらつき得る。いくつかの実施形態では、マージ後のポイントクラウドは、滑らかさを向上させるとともに、不均一なデータ点を除去するために、フィルタリングしてよい。いくつかの実施形態では、ポイントクラウドマージユニット２１４は、さらに、マージしたポイントクラウドを高解像度地図の一部分とマッチングし得る。例えば、そのマッチングのために、正規分布変換（ＮＤＴ：Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法を用いてよい。
【００２９】
地図更新ユニット２１６は、地図更新戦略を決定し、それに従って高解像度地図を更新するように構成され得る。いくつかの実施形態では、地図更新ユニット２１６は、ポイントクラウドマージユニット２１４によってマッチングされた地図部分のサイズを特定し得る。例えば、そのサイズは、マッチングされた地図部分の長さ、幅、または面積で示されることがある。いくつかの実施形態では、地図更新ユニット２１６は、その部分のサイズを、所定のサイズ閾値と比較し得る。そのサイズが閾値よりも小さい場合、例えば、その地図部分が交通標識またはフェンスである場合には、地図更新ユニット２１６は、マージしたポイントクラウドを用いて、その地図部分を自動的に更新し得る。そのサイズが閾値よりも大きい場合、例えば、その地図部分が新開発区域または拡張された道路である場合には、地図更新ユニット２１６は、そのエリアの再調査のために、ＬｉＤＡＲを装備した調査車両を派遣するための調査要求を開始し得る。
【００３０】
いくつかの実施形態では、プロセッサ２０４は、さらに追加的に、センサ１４０または１５０に関連した一つ以上の校正パラメータを決定するように構成されたセンサ校正ユニット（図示せず）を有し得る。いくつかの実施形態では、これに代えて、センサ校正ユニットは、車両１００内部、モバイルデバイス内、またはプロセッサ２０４から遠隔のその他の場所に配置されることがある。両眼カメラおよびポジショニングセンサの校正を含むセンサ校正は、ポイントクラウドと画像との間の投影関係を得るために用いられる。センサ校正の精度は、ターゲット（例えば、取り込まれるシーンにおいて車両１００の周囲にある物体）とセンサ（例えば、車両１００に装備されたセンサ１４０および１５０）との間の距離の影響を受けることがある。その距離が小さいほど、校正の精度は高くなり得る。センサ校正ユニットは、特徴点の３Ｄから２Ｄへの変換関係に基づいて、回転行列および並進ベクトルのような、ポイントクラウドおよびマッチング画像の一つ以上の校正パラメータを計算し得る。校正精度を高めるために、センサ校正ユニットは、ポイントクラウドセグメントと車両１００との間の様々な距離に基づいて様々に異なる校正パラメータを提供し得る。
【００３１】
メモリ２０６およびストレージ２０８は、プロセッサ２０４による処理が必要であり得る任意のタイプの情報を保存するために提供される任意の適切なタイプのマスストレージを含み得る。メモリ２０６およびストレージ２０８は、揮発性もしくは不揮発性、磁気、半導体、テープ、光学、リムーバブル、非リムーバブル、または他のタイプの、ストレージデバイスもしくは有形（すなわち、非一時的）コンピュータ可読媒体であってよく、それは、ＲＯＭ、フラッシュメモリ、ダイナミックＲＡＭ、スタティックＲＡＭを含むが、ただし、これらに限定されない。メモリ２０６および／またはストレージ２０８は、本明細書で開示するカラーポイントクラウド生成機能を実行するために、プロセッサ２０４で実行され得る一つ以上のコンピュータプログラムを格納するように構成され得る。例えば、メモリ２０６および／またはストレージ２０８は、両眼カメラで取り込まれた画像フレームに基づいて高解像度地図を更新するために、プロセッサ２０４で実行され得るプログラムを格納するように構成され得る。
【００３２】
メモリ２０６および／またはストレージ２０８は、さらに、プロセッサ２０４で用いる情報およびデータを保存するように構成され得る。例えば、メモリ２０６および／またはストレージ２０８は、センサ１４０および１５０により取り込まれる各種データ（例えば、画像フレーム、姿勢情報など）、ならびに高解像度地図を保存するように構成され得る。メモリ２０６および／またはストレージ２０８は、さらに、機械学習モデル、両眼視差地図、およびポイントクラウドなどのような中間データも保存し得る。各種データは、永久保存されるか、定期的に削除されるか、またはデータの各フレームの処理後に直ちに無視されることがある。
【００３３】
図３は、本開示の実施形態による、高解像度地図を更新するための例示的な方法３００のフローチャートを示している。いくつかの実施形態では、方法３００は、特にサーバ１６０ならびにセンサ１４０および１５０を備える地図更新システムによって実施され得る。しかしながら、方法３００は、この例示的な実施形態に限定されない。方法３００は、以下で説明するように、ステップＳ３０２〜Ｓ３２２を含み得る。なお、それらのステップのうちのいくつかは、本明細書で提供する開示を実施するためのオプションであり得ることは理解されるべきである。さらに、それらのステップのうちのいくつかは、同時に、または図３に示すのとは異なる順序で、実行されてよい。
【００３４】
ステップＳ３０２で、センサ１４０および１５０の一つ以上を校正し得る。いくつかの実施形態では、センサパラメータの校正に用いるデータを収集するための校正走行に車両１００を派遣することがある。地図の更新のための実際の調査を実施する前に、校正を行ってよい。校正パラメータとして、例えば、（センサ１４０の一例としての）両眼カメラで取り込んだ画像内の画素を対応するポイントクラウドの特徴点に変換するための回転行列および並進ベクトルが含まれる。また、ＧＰＳ受信機および一つ以上のＩＭＵセンサのようなポジショニング装置を含むセンサ１５０についても校正を実施してよい。
【００３５】
ステップＳ３０４で、軌道に沿って走行するときの車両１００の周囲のビデオを、センサ１４０で取り込み得る。いくつかの実施形態では、変化したと分かっているまたは疑われるエリアの調査のために、車両１００を派遣し得る。車両１００が軌道に沿って移動する間に、その周囲のシーンのビデオをセンサ１４０で取り込み得る。いくつかの実施形態では、そのビデオは、車両が軌道上のある特定の位置にある特定の時点で各フレームが取り込まれた、両眼画像の複数フレームで構成され得る。
【００３６】
例えば、図４は、本開示の実施形態による、例示的な両眼画像取得プロセスを示している。図４に示すように、新たな交通標識４１０を含むエリアの調査のために、車両１００を派遣し得る。車両１００は、軌道４２０に沿って走行し得る。いくつかの実施形態では、軌道４２０は、サーバ１６０で事前に決定されて、調査任務の一部として車両１００に通知されることがある。いくつかの他の実施形態では、最適に追跡して交通標識４１０のデータを取り込むために、調査中に、車両１００で軌道４２０を動的かつ適応的に決定し得る。
【００３７】
車両１００が軌道４２０に沿って走行する間に、新たな交通標識４１０を含むエリアのビデオをセンサ１４０で取り込み得る。そのビデオは、一連の時点で取り込まれた画像フレームを含み得る。例えば、センサ１４０が両眼カメラである場合には、取り込まれる画像フレームは両眼画像である。典型的には、二つの時点の間ごとに設定された時間間隔を用いる。例えば、１ｍｓごと、２ｍｓごとなどで、新たな画像フレームを取り込み得る。車両１００は、画像フレームを取り込む各時点で、それに対応した異なる位置にある。従って、各画像フレームを、車両位置に関連付けることができる。例えば、画像フレーム４３２は車両位置Ｐ１に関連付けられ、画像フレーム４３４は車両位置Ｐ２に関連付けられ、画像フレーム４３６は車両位置Ｐ３に関連付けられる。軌道４２０に沿って車両１００を移動させて、その周囲のシーンの画像フレームを連続的に取り込むことにより、車両１００は、高解像度地図の一部分を更新するための十分なデータを取り込み得る。
【００３８】
いくつかの実施形態では、センサ１４０で取り込まれる画像フレームに加えて、車両１００に装備された（例えば、ＧＰＳ受信機および一つ以上のＩＭＵセンサを含む）センサ１５０で、時間、位置、および方位を含む車両１００の姿勢情報も取得し得る。姿勢情報は、画像フレームを取り込むのと同じ車両位置（例えば、Ｐ１、Ｐ２、Ｐ３．．．）および／または時点で取得し得る。従って、車両位置Ｐ１、Ｐ２、Ｐ３で取得した姿勢情報を、それぞれ画像４３２、４３４、４３６に関連付けてよい。
【００３９】
いくつかの実施形態では、例えば画像フレームおよび姿勢情報を含む、取り込まれたデータを、センサ１４０／１５０からサーバ１６０にリアルタイムで送信し得る。例えば、データは、入手されると同時にストリーミングされてよい。データのリアルタイム伝送によって、サーバ１６０は、後続のフレームが取り込まれている間に、データをフレームごとにリアルタイムで処理することが可能となる。あるいは、調査の一部または全体が完了した後に、データをバルク伝送してもよい。
【００４０】
図３を再び参照して、ステップＳ３０６で、サーバ１６０は、ステップＳ３０４で取り込んだ両眼画像フレームに基づいて両眼視差地図を推定し得る。両眼画像の各フレームは、それぞれ一つの視点で取り込まれた一対の画像を含み得る。一対の画像間の差により、後に各画像画素の３Ｄ位置を再構成するために用いることが可能な奥行き情報が得られる。いくつかの実施形態では、サーバ１６０は、二つの両眼視点で取り込まれた画像において対応するパッチを比較することにより視差を特定するために、パッチマッチング法を実施し得る。本開示によれば、サーバ１６０は、代替的または追加的に、視差を特定するために機械学習法を実施し得る。機械学習法により、非テクスチャ特徴を抽出することができ、これにより、特に、大部分が平坦に舗装された道路のような、テクスチャがほとんどなく大部分が平坦面である領域について、より良好な視差推定を提供し得る。いくつかの実施形態では、両眼画像を処理して両眼視差地図を決定するために、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）を用いてよい。ニューラルネットワークは、多数のサンプルを用いてオフラインで学習させてから、視差地図をリアルタイムまたは準リアルタイムで推定するために適用してよい。
【００４１】
ステップＳ３０８で、サーバ１６０は、ステップＳ３０６で推定した両眼視差地図およびステップＳ３０２で校正したセンサパラメータに基づいて、奥行き情報を特定し得る。例えば、サーバ１６０は、両眼視差地図に基づいて、画素とカメラとの間の距離を特定し得る。いくつかの実施形態では、奥行き情報の抽出は、さらに追加的に、基線の長さに基づき得る。
【００４２】
ステップＳ３１０で、サーバ１６０は、その奥行き情報を用いて、各画像画素をカメラ座標系にマッピングして変換し得る。いくつかの実施形態では、カメラ座標系における各画素の３Ｄ座標を決定し得る。サーバ１６０は、さらに、画像フレーム内のすべての画素の３Ｄ座標を集約することで、その画像フレームに対応した３Ｄポイントクラウドを構築し得る。このようなポイントクラウドを、ポイントクラウドフレームと呼ぶ。いくつかの実施形態では、十分に学習させた機械学習モデルを用いることで、このポイントクラウド生成はリアルタイムであり得る。
【００４３】
ステップＳ３１２で、サーバ１６０は、ステップＳ３１０で生成したポイントクラウドフレームを用いて、車両１００を位置特定し得る。例えば、画像フレームが取り込まれた時点に対応して、軌道上の車両の位置を特定することができる。いくつかの実施形態では、サーバ１６０は、さらに追加的に、位置特定精度を向上させるために、センサ１５０で取り込まれた姿勢情報を用いることがあり、さらに／またはメモリ２０６／ストレージ２０８に保存されている既存の高解像度地図を用いることがある。
【００４４】
いくつかの実施形態では、軌道上の車両１００を反復的に位置特定するために、ＰＳＯ法を用いてよい。例えば、データの最初の数フレームを受け取り始めたら、ＰＳＯ法により、車両姿勢情報の空間分布の初期推定を生成し得る。この初期推定は、概算かつ疎である可能性がある。車両１００が軌道４２０に沿って移動する間に、より多くのデータフレームがサーバ１６０に伝送されるにつれて、姿勢情報の空間分布を精緻化し得る。いくつかの実施形態では、推定した車両姿勢分布を、既存の高解像度地図とマッチングすることにより、車両１００の位置を特定し得る。いくつかの実施形態では、それらの車両位置を、個々のポイントクラウドフレームに関連付けてよい。
【００４５】
ステップＳ３１４で、サーバ１６０は、それらの関連付けられた車両位置に従って、ポイントクラウドフレームをマージし得る。例えば、それらのポイントクラウドを、車両位置に従って空間的にぐらつき得る。いくつかの実施形態では、マージ後のポイントクラウドは、滑らかさを向上させるとともに、不均一なデータ点を除去するために、フィルタリングしてよい。いくつかの実施形態では、マージしたポイントクラウドを、Ｓ３１６で、高解像度地図の一部分とマッチングし得る。例えば、そのマッチングのために、ＮＤＴ法を用いてよい。図５は、本開示の実施形態による、例示的な単独のポイントクラウドフレーム５１０および例示的なマージ後のポイントクラウド５２０を示している。図５で示すように、マージ後のポイントクラウド５２０は、ポイントクラウドフレーム５１０よりもはるかに密であって、このシーンの物体をより正確に反映している。
【００４６】
ステップＳ３１８で、サーバ１６０は、マッチングされた地図部分のサイズが、所定の閾値サイズよりも小さいかどうか判断し得る。いくつかの実施形態では、そのサイズは、マッチングされた地図部分の長さ、幅、または面積で示されることがある。例えば、そのサイズが閾値よりも小さい場合（Ｓ３１８：Ｙｅｓ）、サーバ１６０は、マージしたポイントクラウドを用いて、ステップＳ３２０で、その地図部分を自動的に更新し得る。そのサイズが閾値よりも大きい場合（Ｓ３１８：Ｎｏ）、サーバ１６０は、ステップＳ３２２で、そのエリアの再調査のために、ＬｉＤＡＲを装備した調査車両を派遣するための調査要求を開始し得る。
【００４７】
統計的には、交通標識、フェンス、歩行者通行帯区分線、交通信号機のような、より小さいエリアに関わる変更は、新整備、抜本的な道路拡張、またはルート変更などのような、より大きいエリアに関わる変更よりも、はるかに頻繁に生じ得る。従って、提案されたシステムおよび方法を用いて、サーバ１６０は、ほとんどの地図更新は、より高コストのＬｉＤＡＲ調査車両を派遣するのではなく、低コストの両眼カメラを用いて実施し得る。
【００４８】
本開示の他の態様は、命令を格納した非一時的コンピュータ可読媒体に関し、それらの命令は、実行されることで、一つ以上のプロセッサに上述のような方法を実施させる。このコンピュータ可読媒体は、揮発性もしくは不揮発性、磁気、半導体、テープ、光学、リムーバブル、非リムーバブル、または他のタイプのコンピュータ可読媒体もしくはコンピュータ可読ストレージデバイスを含み得る。例えば、このコンピュータ可読媒体は、開示されたようなコンピュータ命令を格納したストレージデバイスまたはメモリモジュールであり得る。いくつかの実施形態では、このコンピュータ可読媒体は、コンピュータ命令を格納したディスクまたはフラッシュドライブであり得る。
【００４９】
開示されたシステムおよび関連した方法に対して種々の変更および変形を実施できることは、当業者には明らかであろう。他の実施形態は、開示されたシステムおよび関連した方法の仕様および実施を考察することで、当業者には明らかであろう。
【００５０】
本明細書および実施例は単なる例示的なものとみなされるものであり、真の範囲は、以下の請求項およびその均等物によって示されるものとする。
【図１】
2020525809.tif 000003
【図２】
2020525809.tif 000004
【図３】
2020525809.tif 000005
【図４】
2020525809.tif 000006
【図５】
2020525809.tif 000007
【手続補正書】
【提出日】平成31年2月19日(2019.2.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
高解像度地図を更新するためのシステムであって、
車両が軌道に沿って走行する間に、前記車両に装備された両眼カメラで取り込まれた複数の画像フレームを受信するように構成された通信インタフェースと、
前記高解像度地図および前記複数の画像フレームを保存するように構成されたストレージと、
少なくとも一つのプロセッサと、を備え、
前記少なくとも一つのプロセッサは、
個々の前記画像フレームに基づいてポイントクラウドフレームを生成し、
前記ポイントクラウドフレームを用いて前記車両を位置特定し、
個々の車両位置に基づいて前記ポイントクラウドフレームをマージし、
前記マージしたポイントクラウドに基づいて前記高解像度地図の一部分を更新する、ように構成される、
システム。
【請求項２】
画像フレームに基づいてポイントクラウドフレームを生成するために、前記少なくとも一つのプロセッサは、
画像フレーム内の各画素の奥行き情報を推定し、
前記奥行き情報に基づいて前記画素の三次元座標を決定する、ように構成されている、請求項１記載のシステム。
【請求項３】
奥行き情報を推定するために、前記少なくとも一つのプロセッサは、
前記画像フレームに基づいて両眼視差地図を推定し、
両眼視差および前記両眼カメラのパラメータを用いて、前記奥行き情報を推定する、ように構成されている、請求項２に記載のシステム。
【請求項４】
前記少なくとも一つのプロセッサは、さらに、前記両眼カメラの前記パラメータを特定するために前記両眼カメラを校正する、ように構成されている、請求項３に記載のシステム。
【請求項５】
事前学習させたニューラルネットワークを用いて、前記両眼視差地図を推定する、請求項３または４に記載のシステム。
【請求項６】
前記車両を位置特定するために、前記プロセッサは、さらに、
前記ポイントクラウドフレーム、およびポジショニングシステムで取得した姿勢情報に基づいて、前記車両の位置情報を生成し、
前記位置情報を、前記高解像度地図とマッチングする、ように構成されている、請求項１から５のいずれか一項に記載のシステム。
【請求項７】
前記少なくとも一つのプロセッサは、さらに、
前記高解像度地図の前記一部分は閾値サイズよりも小さいと判断し、
前記マージしたポイントクラウドを用いて、前記高解像度地図の前記一部分を更新する、ように構成されている、請求項１から６のいずれか一項に記載のシステム。
【請求項８】
前記少なくとも一つのプロセッサは、さらに、
前記高解像度地図の前記一部分は閾値サイズよりも大きいと判断し、
前記高解像度地図の前記一部分の調査のために、光検出・測距レーダを装備した調査車両を派遣する、ように構成されている、請求項１から７のいずれか一項に記載のシステム。
【請求項９】
高解像度地図を更新する方法であって、
車両が軌道に沿って走行する間に、前記車両に装備された両眼カメラで取り込まれた複数の画像フレームを、通信インタフェースで受信するステップと、
少なくとも一つのプロセッサにより、個々の前記画像フレームに基づいてポイントクラウドフレームを生成するステップと、
前記少なくとも一つのプロセッサにより、前記ポイントクラウドフレームを用いて前記車両を位置特定するステップと、
前記少なくとも一つのプロセッサにより、個々の車両位置に基づいて前記ポイントクラウドフレームをマージするステップと、
前記少なくとも一つのプロセッサにより、前記マージしたポイントクラウドに基づいて前記高解像度地図の一部分を更新するステップと、を含む方法。
【請求項１０】
前記画像フレームに基づいてポイントクラウドフレームを生成するステップは、
前記画像フレーム内の各画素の奥行き情報を推定するステップと、
前記奥行き情報に基づいて前記画素の三次元座標を決定するステップと、を含む、請求項９に記載の方法。
【請求項１１】
前記奥行き情報を推定するステップは、
前記画像フレームに基づいて両眼視差地図を推定するステップと、
両眼視差および前記両眼カメラのパラメータを用いて、前記奥行き情報を推定するステップと、を含む、請求項１０に記載の方法。
【請求項１２】
前記車両を位置特定するステップは、
前記ポイントクラウドフレーム、およびポジショニングシステムで取得した姿勢情報に基づいて、前記車両の位置情報を生成するステップと、
前記位置情報を、前記高解像度地図とマッチングするステップと、をさらに含む、請求項９から１１のいずれか一項に記載の方法。
【請求項１３】
前記高解像度地図の前記一部分は閾値サイズよりも小さいと判断するステップと、
前記マージしたポイントクラウドを用いて、前記高解像度地図の前記一部分を更新するステップと、をさらに含む、請求項９から１２のいずれか一項に記載の方法。
【請求項１４】
前記高解像度地図の前記一部分は閾値サイズよりも大きいと判断するステップと、
前記高解像度地図の前記一部分の調査のために、光検出・測距レーダを装備した調査車両を派遣するステップと、をさらに含む、請求項９から１３のいずれか一項に記載の方法。
【請求項１５】
コンピュータプログラムを格納した非一時的コンピュータ可読媒体であって、前記コンピュータプログラムは、少なくとも一つのプロセッサで実行されるときに、高解像度地図を更新する方法を実施し、前記方法は、
車両が軌道に沿って走行する間に、前記車両に装備された両眼カメラで取り込まれた複数の画像フレームを受信するステップと、
個々の前記画像フレームに基づいてポイントクラウドフレームを生成するステップと、
前記ポイントクラウドフレームを用いて前記車両を位置特定するステップと、
車両位置に基づいて前記ポイントクラウドフレームをマージするステップと、
前記マージしたポイントクラウドに基づいて前記高解像度地図の一部分を更新するステップと、を含む、非一時的コンピュータ可読媒体。
【国際調査報告】
2020525809.tif 000008
2020525809.tif 000009