(57)【要約】【課題】自動運転車両をナビゲートする方法が提供される。【解決手段】自動運転車両１０をナビゲートする方法（２００）は、車両環境１２内のオブジェクト１４からパルス化照明１１２を受信すること（２１０）、及びパルス化照明１１２を復号すること（２２０）を備える。オブジェクト１４は、パルス化照明１１２のうちの復号されたパルス化照明を使用して識別され（２３０）、自動運転車両１０は、このオブジェクト１４の識別に基づき車両環境１２を介してナビゲートされる（２４０）。また、自動運転車両１０のための障害物回避方法及びナビゲーションシステム１００を記述する。【選択図】図２
2019003645.tif 000002
【特許請求の範囲】
【請求項１】
自動運転車両をナビゲートする方法であって、
前記車両環境内のオブジェクトからパルス化照明を受信し、
前記パルス化照明を復号し、
前記復号されたパルス化照明を使用して前記オブジェクトを識別し、
前記オブジェクトの前記識別に基づき前記車両環境を介して前記自動運転車両をナビゲートする、
ことを備える、自動運転車両をナビゲートする方法。
【請求項２】
前記パルス化照明を使用して前記車両環境のパルスデータを生成することをさらに備える、請求項１に記載の方法。
【請求項３】
前記車両環境から非パルス化照明を受信し、前記非パルス化照明を使用して前記車両環境の画像データを生成することをさらに備える、請求項１に記載の方法。
【請求項４】
前記パルス化及び非パルス化照明は、可視帯、短波長赤外線帯、中波長赤外線帯、または長波長赤外線帯を共有する、請求項３に記載の方法。
【請求項５】
前記パルス化データと関連するアイデンティティを前記画像データ内に挿入することにより、前記画像データを強調することをさらに備える、請求項３に記載の方法。
【請求項６】
形状認識アルゴリズムを前記画像データへ適用することをさらに備える、請求項３に記載の方法。
【請求項７】
マシンビジョンアルゴリズムにより前記画像データを分析することをさらに備え、前記画像データは、オブジェクトアイデンティティにより強調される、請求項１に記載の方法。
【請求項８】
前記オブジェクトを識別することは、前記パルス化照明の周波数を使用して前記オブジェクトについてのアイデンティティを選択することを備える、請求項１に記載の方法。
【請求項９】
前記車両環境を介して前記自動運転車両をナビゲートすることは、前記オブジェクトアイデンティティを含む画像データの分析に基づき車両コントローラへナビゲーションコマンドを発行することを備える、請求項１に記載の方法。
【請求項１０】
自動運転車両を制御する方法であって、
非パルス化照明を前記車両環境から受信し、
前記非パルス化照明を使用して前記車両環境の画像データを生成し、
パルス化照明を前記車両環境内のオブジェクトから受信し、前記パルス化照明及び非パルス化照明は共通の可視波長帯、短波長赤外線波長帯、中波長赤外線波長帯、または長波長赤外線波長帯内にあり、
前記パルス化照明を復号し、
前記復号されたパルス化照明を使用して前記オブジェクトを識別し、前記オブジェクトを識別することは、前記復号されたパルス化照明に基づき前記オブジェクトと関連するアイデンティティを選択することを備え、
前記オブジェクトアイデンティティを前記画像データ内に挿入することにより前記画像データを強調し、
前記強調された画像データをマシンビジョンアルゴリズムにより分析し、
前記オブジェクトの前記識別に基づき前記車両環境を介して前記自動運転車両をナビゲートする、
ことを備える、自動運転車両を制御する方法。
【請求項１１】
自動運転車両外部にオブジェクトを含む外部車両環境を介して前記自動運転車両をナビゲートするためのナビゲーションシステムであって、
パルス化照明を前記車両環境内の前記オブジェクトから受信するためのセンサ、
前記パルス化照明を復号するために前記センサと通信するデコーダ、
前記復号されたパルス化照明を使用して前記オブジェクトを識別するために前記デコーダと通信するオブジェクト識別子、及び
前記オブジェクト識別子と通信し、前記オブジェクトの前記識別に基づき前記車両環境を介して前記自動運転車両をナビゲートするために前記自動運転車両に操作可能に接続されるコントローラ、
を備える、ナビゲーションシステム。
【請求項１２】
前記センサは、前記外部環境から受信する入射照明からパルスデータ及び画像データを生成するように構成されるパルス検出器撮像センサである、請求項１１に記載のナビゲーションシステム。
【請求項１３】
前記センサは、可視波長帯、短波長赤外線波長帯、中波長赤外線波長帯、及び長波長波長帯内の入射照明を使用してパルスデータ及び画像データを生成するように構成される、請求項１１に記載のナビゲーションシステム。
【請求項１４】
複数の復号されたパルス化照明／オブジェクトアイデンティティ関連付けを含むルックアップテーブルをさらに備え、前記オブジェクト識別子は、前記ルックアップテーブルと通信するように配置される、請求項１１に記載のナビゲーションシステム。
【請求項１５】
前記復号されたパルス化照明／オブジェクトアイデンティティ関連付けは、１つ以上の復号されたパルス化照明／交通制御装置関連付け、復号されたパルス化照明／車両関連付け、ならびに復号されたパルス化照明／非交通制御装置及び車両関連付けを備える、請求項１４に記載のナビゲーションシステム。
【請求項１６】
前記オブジェクト識別子と通信するマシンビジョンアルゴリズムをさらに備え、オブジェクトアイデンティティに基づきナビゲーションコマンドを生成するように構成される、請求項１１に記載のナビゲーションシステム。
【請求項１７】
前記センサ、前記オブジェクト識別子、及び前記マシンビジョンアルゴリズムと通信する画像データエンハンサーをさらに備え、前記エンハンサーは、前記オブジェクト識別子から受信する１つ以上のオブジェクトアイデンティティにより前記センサから受信する画像データを強調するように、及び前記マシンビジョンアルゴリズムへ前記強調された画像データを提供するように配置される、請求項１６に記載のナビゲーションシステム。
【請求項１８】
前記センサ、前記オブジェクト識別子、及び前記マシンビジョンアルゴリズムと通信する画像データエンハンサーをさらに備え、前記エンハンサーは、前記オブジェクト識別子から受信する１つ以上のオブジェクトアイデンティティにより前記センサから受信する前記画像データを強調するように、及び前記強調された画像データをユーザインタフェースへ提供するように配置される、請求項１６に記載のナビゲーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両ナビゲーションに関し、さらに特に、マシンビジョンシステム及び技術を使用する自動運転車両ナビゲーションに関する。
【背景技術】
【０００２】
ドローン及び自動運転自動車などの、いくつかの車両は、オペレータからの入力がほとんどない、またはオペレータからの入力がない、車両環境を介して車両がナビゲートする自動運転モードにおいて操作するように構成される。これらのような車両は、車両がオペレータの入力なしで車両環境を介してナビゲートするために使用することができる、車両環境についての情報を感知するように構成される１つ以上のセンサを一般的に用いる。
【０００３】
センサは、画像を構築するために車両環境内のオブジェクトに反射した光を一般的に検出する。つぎにマシンビジョンアルゴリズムは、道路標識、街灯、歩行者、他の車両などのような形状を検出するために画像に適用され、車両は、画像から抽出される形状情報に基づきナビゲーション、制御、及び障害物回避決定を行う。たとえば、車両が停止標識に接近しているとセンサが判定する場合に、この車両は、車両が停止標識へのその接近中に減速し、停止状態になるように、制動ルーティンを開始することができる。これらのような自動運転車両は、限定されないが、日中、夜間、良好な視界条件、及び／または低い視界条件などの、さまざまな気象条件、及び照明条件において動作することができる。
【０００４】
自動運転車両をナビゲートするこれらのようなナビゲーションシステム及び方法は、一般的にそれらの意図された目的に当てはまるとみなされている。しかしながら、改良された自動運転車両ナビゲーションシステム及び方法について当該技術分野において依然として必要性がある。本開示は、この必要性についての解決策を提供する。
【発明の概要】
【課題を解決するための手段】
【０００５】
自動運転車両をナビゲートする方法は、パルス化照明を車両環境内のオブジェクトから受信すること、及びパルス化照明を復号することを備える。オブジェクトは、パルス化照明を復号することにより識別され、自動運転車両は、このオブジェクトの識別に基づき車両環境を介してナビゲートされる。
【０００６】
特定の実施形態において、パルス化照明を復号することは、パルス化照明の、周波数、波長、及び／または強度に従いパルス化照明を復号することを備えることが可能である。パルス化照明は、変調されたパルス化照明、または変調されていないパルス化照明を含むことが可能である。方法がパルス化照明を復調することを備えることが可能であることを企図する。
【０００７】
特定の実施形態に従い、方法は、パルス化照明を使用する車両環境を表現するパルスデータを生成することを備えることが可能である。非パルス化照明は、車両環境から受信することが可能であり、車両環境を表す画像データは、非パルス化照明を使用して生成されることが可能である。パルス化及び非パルス化照明は、可視波長帯、短波長赤外線波長帯、中波長赤外線波長帯、または長波長赤外線波長帯を共有することが可能である。オブジェクトを識別することが復号されたパルス化照明を使用してオブジェクトについてのアイデンティティを選択することを備えることが可能であることを企図する。
【０００８】
特定の実施形態に従い、方法が画像データ内にオブジェクトインジケータを挿入することにより画像データを強調することを備えることが可能であることをも企図する。形状認識アルゴリズムは、画像データに適用されることが可能である。画像データは、オブジェクトインディシアにより強調され、マシンビジョンアルゴリズムにより分析されることが可能である。ナビゲーションコマンドは、オブジェクトの識別を含む画像データの分析に基づき車両コントローラへ発行されることが可能である。オブジェクトインディシアを含む画像は、ユーザインタフェース上に表示されることが可能である。
【０００９】
自動運転車両を制御する方法は、車両環境から非パルス化照明を受信すること、非パルス化照明を使用して車両環境の画像データを生成すること、及びパルス化照明を車両環境内のオブジェクトから受信することを備える。パルス化照明は、復号され、オブジェクトは、この復号されたパルス化照明を使用して識別され、オブジェクトアイデンティティは、オブジェクトのために選択される。画像データは、オブジェクト識別子を画像データ内に挿入することにより強調され、この強調された画像データは、マシンビジョンアルゴリズムを使用して分析される。自動運転車両は、オブジェクトの識別に基づき車両環境を介してナビゲートされる。パルス化照明及び非パルス化照明は、共通の可視波長帯、短波長赤外線波長帯、中波長赤外線波長帯、または長波長赤外線波長帯内にある。
【００１０】
自動運転車両外部にオブジェクトを含む外部車両環境を介して自動運転車両をナビゲートするためのナビゲーションシステムは、車両環境内のオブジェクトからパルス化照明を受信するためのセンサ、デコーダ、オブジェクト識別子、及びコントローラを含む。デコーダは、この環境から受信するパルス化照明を復号するためにセンサと通信する。オブジェクト識別子は、受信したパルス化照明を復号することにより車両環境内のオブジェクトを識別するためにデコーダと通信する。コントローラは、オブジェクト識別子と通信し、オブジェクトの識別に基づき車両環境を介して自動運転車両をナビゲートするために自動運転車両に操作可能に接続される。
【００１１】
特定の実施形態において、パルス検出撮像センサは、外部環境から受信する入射照明からパルスデータ及び画像データを生成するように構成されることが可能である。このセンサは、共通の可視波長帯、短波長赤外線波長帯、中波長赤外線波長帯、または長波長波長帯内で、入射照明を使用してパルスデータ及び画像データを生成するように構成されることが可能である。このセンサは、画像データに関する空間レジストレーションにおいてパルスデータを取得することが可能である。
【００１２】
特定の実施形態に従い、システムは、複数の復号されたパルス化照明／オブジェクト関連付けを有するルックアップテーブルを含むことが可能である。オブジェクト識別子は、復号されたパルス化照明とのオブジェクト関連付けに基づきオブジェクトを識別するためにルックアップテーブルと通信するように配置される。復号されたパルス化照明／オブジェクト関連付けは、１つ以上の復号されたパルス化照明／交通制御装置オブジェクト関連付け、復号されたパルス化照明／車両アイデンティティ関連付け、ならびに復号されたパルス化照明／非交通制御装置及び非車両アイデンティティオブジェクトを含むことが可能である。復号されたパルス化照明／オブジェクト関連付けは、１つ以上の強度／交通制御装置オブジェクト関連付け、強度／車両アイデンティティ関連付け、ならびに強度／非交通制御装置及び非車両アイデンティティオブジェクト関連付けを含むことが可能である。復号されたパルス化照明／オブジェクト関連付けは、波長／交通制御装置オブジェクト、波長／車両アイデンティティ、ならびに波長／非交通制御装置及び非車両アイデンティティオブジェクト関連付けのうちの１つ以上を含むことが可能である。
【００１３】
ナビゲーションシステムがマシンビジョンアルゴリズムを含むことが可能であることをも企図する。マシンビジョンアルゴリズムは、オブジェクト識別子と通信し、オブジェクト識別に基づきナビゲーションコマンドを生成するように構成されることが可能である。画像データエンハンサーは、センサ、オブジェクト識別子、及びマシンビジョンアルゴリズムと通信し、オブジェクト識別子から受信するオブジェクトインディシアによりセンサから受信する画像データを強調し、強調された画像データをマシンビジョンアルゴリズムへ提供する。
【００１４】
主題の開示のシステム及び方法のこれらの、及び他の特徴は、図面と併せて以下の発明を実施するための形態から当業者にさらに容易に明らかになるであろう。
【００１５】
主題の開示にかかる当業者は、過度な実験なしで主題の開示の装置の製造方法及び使用方法、ならびに方法の行い方及び使用の仕方を容易に理解するために、その実施形態は、以下で特定の図面を参照して本明細書に詳細に記述されるであろう。
【図面の簡単な説明】
【００１６】
【図１】ナビゲーションシステムと通信するように配置されるセンサを示す、本開示に従い構築される自動運転車両についてのナビゲーションシステムの例示的な実施形態の概略図である。
【図２】方法のステップを示す、自動運転車両をナビゲートする方法のブロック図である。
【図３】表示された画像内にオブジェクトアイデンティティによりユーザインタフェース上に表示される車両環境内のオブジェクトを示す、自動運転車両及び車両環境の部分図である。
【発明を実施するための形態】
【００１７】
ここで、図面への参照を行い、同様の参照番号は、主題の開示の同様の構造上の特徴または態様を同定する。説明及び図解の目的のために、限定されないが、本開示に従うナビゲーションシステムの例示的な実施形態の部分図は、図１に示され、一般的に参照番号１００により指定される。本開示、またはその態様に従う、ナビゲーションシステム、自動運転車両をナビゲートする方法、及び自動運転車両を制御する方法の他の実施形態は、記述されるように、図２及び図３に提供される。本明細書に記述されるシステム及び方法は、自動車などの自動運転車両において使用されることが可能であるが、本開示は、一般的な自動車または自動運転車両に限定されない。
【００１８】
図１を参照して、自動運転車両１０を示す。自動運転車両１０は、ナビゲーションシステム１００、コントローラ１０２、及びセンサ１０４を含む。ナビゲーションシステム１００は、車両環境１２を介して自動運転車両１０をナビゲートするために配置される。車両環境１２は、その中に配置される１つ以上のオブジェクト１４を含み、オブジェクトは、自動運転車両１０の外部にある。１つ以上のオブジェクト１４の例は、非限定の例として、交通制御装置、歩行者、障害物、及び車両を含む。例示的な実施形態において、オブジェクト１４は、発光ダイオード（ＬＥＤ）光源を備える道路標識である。
【００１９】
センサ１０４は、パルスデータ１０６及び画像データ１０８を生成するように構成されるパルス検出撮像センサを含む。画像データ１０８は、車両環境１２から受信する非パルス化照明１１０から、及び／または車両環境１２内に配置されるオブジェクト１４から生成される。パルスデータ１０６は、たとえば、オブジェクト１４から能動的に放射される（またはオブジェクトから反射される）、車両環境１２から受信するパルス化照明１１２から生成される。特定の実施形態において、パルス化照明１１２は、信号灯、またはアクティブサイネージなどの、交通制御装置から放射される可視波長帯照明である。特定の実施形態に従い、パルス化照明１１２は、自動運転車両１０により搬送される光源１６から投影される照明などの、オブジェクト１４から受動的に反射される可視波長帯照明である。また、非パルス化照明１１０及び／またはパルス化照明１１２のいずれか一方（または両方）が共通の赤外線波長帯、たとえば、短波赤外線波長帯、近赤外線波長帯、または長波赤外線波長帯内の照明であることが可能であることを企図する。本開示の観点から当業者が理解するように、赤外線波長帯は、可視光より車両環境１２内に存在することが可能である、障害物１８、たとえば、霧、煙霧、及び／または降水によりほとんど減衰を受けない。適切なセンサの例は、本出願の譲受人により２０１６年９月１５日に出願された、米国特許出願第１５／２６６，８３７号に記述されるこれらを含み、その内容は、本明細書にその全体が参照により援用される。
【００２０】
コントローラ１０２は、自動運転車両１０の駆動系２０に操作可能に接続される。図示された例示的な実施形態において、駆動系２０は、自動車の駆動系である。これは、図解目的のためであり、限定するものではない。駆動系２０が所与の用途のために適切であるような、無人航空機からの飛行制御系、海上車両のための海上推進系、または任意の他のタイプの推進系であることが可能であることを企図する。
【００２１】
ナビゲーションシステム１００は、デコーダ１１４、オブジェクト識別子１１６、及び画像データエンハンサー１１８を含む。またナビゲーションシステム１００は、マシンビジョンアルゴリズム１２０及びルックアップテーブル１２２を含む。ナビゲーションシステム１００が意図された用途のために適切であるような、電子回路、ソフトウェア、または回路及びソフトウェアの組み合わせを含み、デコーダ１１４、オブジェクト識別子１１６、画像データエンハンサー１１８、マシンビジョンアルゴリズム１２０、及びルックアップテーブル１２２を実装することを企図する。
【００２２】
デコーダ１１４は、センサ１０４からパルスデータ１０６を受信するためにセンサ１０４と通信するように配置される。デコーダ１１４は、センサ１０４上に入射するパルス化照明１１２のパルス周波数を決定するように配置される周波数デコーダ１３４、センサ１０４上に入射するパルス化照明１１２の強度を決定するように配置される強度デコーダ１３６、センサ１０４上に入射するパルス化照明の波長を決定するように配置される波長デコーダ１３８、及び／またはセンサ１０４上に入射するパルス化照明１１２内に符号化される信号を復調するように配置される復調器１４０のうちの１つ以上を含むことが可能である。パルスデータ１０６が電気信号として受信され、センサ１０４のピクセルアレイから発行され、センサ１０４とデコーダ１１４との間で、無線により、または有線接続を介してのいずれか一方により受信されることを企図する。パルスデータ１０６を含む電気信号に基づき、デコーダ１１４は、周波数／強度／波長を決定する、及び／またはパルスデータ１０６を復調する。パルスデータ１０６を復調することは、たとえば、オブジェクト１４が車両環境内に放射しているパルスのパターンを復調することを備えることが可能である。パルスのパターンは、たとえば、特定のタイプのオブジェクトに固有の、第一パターンによりパルス化照明を放射する停止標識、及び第一パターンと異なる第二パターンによりパルス化照明を放射するゆずれ標識であることが可能である。
【００２３】
オブジェクト識別子１１６は、復号されたパルスデータ１２４を使用してオブジェクト１４を識別するためにデコーダ１１４及びルックアップテーブル１２２と通信するように配置される。この点において、オブジェクト識別子１１６は、デコーダ１１４から復号されたパルスデータ１２４を受信し、復号されたパルスデータ１２４をルックアップテーブル１２２へ通信する。ルックアップテーブル１２２は、復号されたパルスデータ１２４に基づきオブジェクト識別子１１６へオブジェクト１４のアイデンティティ１２６を返し、オブジェクト識別子１１６は、オブジェクト１４のアイデンティティ１２６を画像データエンハンサー１１８へ提供する。特定の実施形態において、アイデンティティ１２６は、画像データ１０８内に挿入のためのオブジェクト１４の、インディシア、たとえば、シンボルを含む。
【００２４】
ルックアップテーブル１２２は、復号されたパルス化照明／オブジェクト関連付けのリストを含む。復号されたパルスデータ１２４と関連するオブジェクトに基づき、ルックアップテーブル１２２は、ルックアップテーブル１２２上に記録される復号されたパルス化照明／オブジェクト関連付けに対応するアイデンティティ１２６をオブジェクト識別子１１６へ返す。発光ダイオード（ＬＥＤ）素子により生成される可視光のためにこれらの周波数を使用することが可能であり、信号灯、車両インジケータ照明、またはアドバイスサイネージを発色させるためにこれらの周波数を使用することを企図する。例示的な実施形態において、周波数は、デコーダ１１４の解像度に対応する周波数間隔により約１００ヘルツのオーダーにある。たとえば、交通制御装置のアイデンティティは、第一周波数範囲内の周波数と関連することが可能であり、車両のアイデンティティは、車両のオブジェクト範囲内の周波数と関連することが可能であり、非交通制御装置／非車両のアイデンティティ、たとえば、歩行者のアイデンティティは、第三周波数範囲内に関連付けられることが可能である。
【００２５】
画像データエンハンサー１１８は、パルス化照明１１２の復号されたパルスデータ１２４を使用してオブジェクト１４を識別するために、オブジェクト識別子１１６と、及びそれを通してデコーダ１１４と通信するように配置される。また画像データエンハンサー１１８は、センサ１０４と通信して、そこから画像データ１０８を受信するように配置され、アイデンティティ１２６を画像データ１０８内に挿入することにより画像データ１０８を強調して、強調された画像データ１２８を生成するように構成される。センサ１０４により提供されるデュアルパルス検出撮像機能により可能にされるように、アイデンティティ１２６をその中の空間レジストレーションにおいて画像データ１０８内に挿入し、画像データ１０８の強調を簡単にすることを企図する。
【００２６】
マシンビジョンアルゴリズム１２０は、画像データエンハンサー１１８と通信し、強調された画像データ１２８を分析するように配置される。アイデンティティ１２６の存在（または不在）を有する、強調された画像データ１２８のコンテンツに基づき、マシンビジョンアルゴリズム１２０は、ナビゲーションインストラクション１３０を生成し、マシンビジョンアルゴリズム１２０は、ナビゲーションインストラクション１３０を電気信号としてコントローラ１０２に提供する。特定の実施形態において、マシンビジョンアルゴリズム１２０は、非限定的な例として、サイズ、形状、または色認識技術などの、画像データ内にアイデンティティを挿入する以外の、技術を使用して強調された画像データ１２８内のオブジェクトを識別するオブジェクト識別モジュールを含むことができる。本開示を鑑みて当業者が理解するように、強調された画像データ１２８内に配置されるアイデンティティと併せて、これらのような追加の分析技術の使用は、センサ１０４により取得される画像データ１０８を分析する際にエラーを減らす。それは、関連しない装置により、たとえば、交通制御装置インジケータが交通制御装置に対応する形状付近に設置されることを必要とすることにより、表の周波数においてスプーフィング及び／または採用光に対してナビゲーションシステム１００を強化することも可能である。
【００２７】
特定の実施形態において、ナビゲーションシステム１００（または自動運転車両１０）は、ユーザインタフェース１３２を含むことが可能である。ユーザインタフェース１３２は、ナビゲーションシステム１００と通信するように配置され、ナビゲーションシステム１００から強調された画像データ１２８内のアイデンティティ１２６を受信するように配置される。ユーザインタフェース１３２は、強調された画像データ１２８内にアイデンティティ１２６を含む車両環境１２の画像１４２（図３に示される）を表示するようにさらに配置される。特定の実施形態において、画像１４２は、センサ１０４により受信する、パルス化照明及び非パルス化照明のレジストレーションにより画像１４２内の空間レジストレーションにおいてアイデンティティ１２６を含む。
【００２８】
ここで図２を参照して、自動運転車両、たとえば、自動運転車両１０（図１に示される）をナビゲートする方法２００を示す。方法２００は、ボックス２１２により示されるように、車両環境内に設置されるオブジェクト、たとえば、オブジェクト１４（図１に示される）からパルス化照明を受信することを一般的に備える。パルス化照明は、ボックス２２０により示されるように、周波数、強度、波長及び変調のうちの１つ以上に従い復号される。復号されたパルス化照明に基づき、ボックス２３０により示されるように、オブジェクトがアイデンティティ、たとえば、アイデンティティ１２６（図１に示される）を含むかどうかについての決定を行う。オブジェクトがパルスデータと同時に取得されるアイデンティティ画像データ、たとえば、画像データ１０８（図１に示される）を含むときに、ボックス２６０により示されるように、画像データをオブジェクト識別子により強調し、ボックス２４０により示されるように、オブジェクトの識別に基づき車両環境を介して自動運転車両をナビゲートする。
【００２９】
特定の実施形態において、方法２００は、ボックス２１０により示されるように、パルス化照明を受信すること、及び非パルス化照明を受信することの両方を備える。データは、ボックス２５０により示されるように、共通パルス検出及び撮像センサ、たとえば、センサ１０４（図１に示される）を使用して生成される。ボックス２５２及び２５４により示されるように、センサを使用して画像データ及びパルスデータの両方を生成することが可能であることを企図する。画像データ及びパルスデータは、共通センサアレイを使用して同時に生成されることが可能であることにより、パルスデータは、画像データにより空間レジストレーション内で取得される。パルス化及び非パルス化照明は、共通の可視波長帯、短波長赤外線波長帯、中波長赤外線波長帯、または長波長赤外線波長帯を共有することが可能である。オブジェクトを識別することが復号されたパルス化照明を使用してオブジェクトについてのアイデンティティを選択することを備えることが可能であることを企図する。
【００３０】
復号されたパルス化照明がオブジェクトと関連するパラメータ、たとえば、周波数／強度／波長／変調を含まない決定を行うときに、画像データは、矢印２３２により示されるように、マシンビジョンアルゴリズム、たとえば、マシンビジョンアルゴリズム１２０（図１に示される）により分析されることが可能である。パルス化照明がオブジェクトと関連するパラメータを含む決定を行うときに、画像データは、強調され、矢印２３４及びボックス２６０により示されるように、強調された画像データ、たとえば、強調された画像データ１２８（図１に示される）を生成する。画像データを強調することは、ボックス２６２により示されるように、アイデンティティ、たとえば、アイデンティティ１２６（図１に示される）を挿入することを備える。このアイデンティティは、センサにより生成される画像データ内にパルス化照明源に関する空間レジストレーションにおいて挿入されるシンボルであることが可能であり、参照に固有のパルス化照明／オブジェクトアイデンティティ関連付け、たとえば、ルックアップテーブル１２２（図１に示される）と対応する。
【００３１】
強調された、または強調されていない画像データは、ボックス２７０により示されるように、その後分析される。強調された、または強調されていない画像データを分析することは、マシンビジョンアルゴリズム、たとえば、マシンビジョンアルゴリズム１２０（図１に示される）を適用することを備えることが可能である。また強調された、または強調されていない画像データを分析することは、形状、サイズまたは色認識アルゴリズムを強調された、または強調されていない画像データへ適用することを備えることが可能である。加えて、強調された、または強調されていない画像データを分析することは、アイデンティティ強調に近接する形状を相関し、オブジェクトのフォールスネガティブアイデンティフィケーションまたはフォールスポジティブアイデンティフィケーションの可能性を低減すること、及び／またはナビゲーションシステムにスプーフィングすることを妨げることを備えることが可能である。任意選択で、画像１４２（図３に示される）は、ディスプレイ１３２（図１に示される）上に表示されることが可能である。
【００３２】
図３を参照して、例示的な自動運転車両１０は、例示的な実施形態に従い示される。自動運転車両１０がＬＥＤを備えた停止標識である、オブジェクト１４に接近すると、センサ１０４は、車両環境１２からパルス化照明１１２及び非パルス化照明１１０（図１に示される）を受信する。認可制度下で標識を出す道路用に認可されるＬＥＤを備える周波数特性においてパルス化する、パルス化照明１１２を変調していない。ナビゲーションシステム１００は、方法２００（図２に示される）を使用してアイデンティティ１２６をオブジェクト１４と関連付け、アイデンティティ１２６を画像データ１０８（図１に示される）内に挿入し、画像１４２は、アイデンティティ１２６により生成され、ディスプレイ１３２上に表示される。その後、自動運転車両１０は、この事例において制動スケジュールを実施する、ナビゲーションインストラクション１３０（図１に示される）を受信する。
【００３３】
任意選択で、ナビゲーションシステム１００は、マシンビジョンアルゴリズム１２０を画像データ１０８へさらに適用し、オブジェクト１４と関連する所期の形状１４４を検証する。この検証は、たとえば、画像データ１０８を取得する時間についての撮像条件に基づき、重み付けされることができる。たとえば、ポジティブアイデンティフィケーション閾値は、撮像条件に従い調整されることが可能である。劣悪な撮像条件の事例において、ナビゲーションシステム１００（図１に示される）は、画像データ１０８（図１に示される）に適用されるマシンビジョンアルゴリズム強調についての優先順位よりアイデンティティ１２６（図１に示される）についてより高い優先順位をおく。
【００３４】
自動運転車両ナビゲーションは、オブジェクトを認識するために、車両環境内でのオブジェクトの、サイズ、形状、色及び／または動きについての情報を一般的に必要とする。このような情報は、車両環境内でオブジェクトに反射された光を受動的に利用して取得され、環境の画像を構築した後に、１つ以上のマシンビジョンアルゴリズムを適用し、画像内の、道路標識、街灯、歩行者、及び他の車両などの形状を検出することが可能である。つぎに車両制御アルゴリズムは、画像から抽出される形状情報に基づき、ナビゲーション、制御、及び障害物回避決定を行うことが可能である。これは、良好な（すなわち、不明瞭ではない）条件において許容可能な結果を提供することが可能である。暗闇の中、悪天候の期間などの、低下した条件は、これらのような技術の信頼性を低下させる可能性がある。
【００３５】
本明細書に記述される特定の実施形態において、低コスト、低消費電力、及び高い信頼性のパルス化ＬＥＤ照明器具は、ナビゲーションシステム性能を向上させるために用いられる。アクティブ照明器具は、車道に近接する、道路標識、街灯、車両、歩行者、犬の首輪またはベスト、及び他のオブジェクトに取り付けられる。各クラスのパルス化ＬＥＤ照明器具（光源）は、固有の周波数または周波数範囲においてパルス化する。たとえば、停止標識ＬＥＤ照明器具は、約１００ヘルツでパルス化し、ゆずれ標識は、約１１０ヘルツでパルス化し、合流標識は、約１２０ヘルツでパルス化することなどができ、車載パルス検出器及び撮像アレイは、自動運転車両に関連するオブジェクトの空間位置と同様に、オブジェクトと関連するパルス化照明周波数を感知する。
【００３６】
たとえば、自動運転車両が停止標識オブジェクトに遭遇するときに、それは一般的に、停止標識オブジェクトを認識するために画像データ（たとえば、サイズ、形状、色、動き）のみに依存しなければならない。弱光または悪天候などの劣悪な撮像条件において、停止標識を検出して識別する車両の能力は、低下し、フォールスネガティブの可能性を増加させ得る。本明細書に記述される特定の実施形態において、交通方向のパルス化照明を放射する停止標識オブジェクト内に統合されるパルス化照明源は、自動運転車両１０（図１に示される）がナビゲーションシステム１００（図１に示される）を使用してパルス化照明器具の存在及び位置を検出することを可能にする。ナビゲーションシステム１００は、パルス化照明器具の周波数を復号し、１００ヘルツのパルス化照明が停止標識オブジェクトと関連することを認識し、ナビゲーションシステムのマシンビジョンアルゴリズムへ停止標識オブジェクトアイデンティティにより強調される画像を提供し、マシンビジョンアルゴリズムが車両環境内の停止標識を認識する可能性を増加させる。これは、道路標識などのオブジェクトの検出及び認識を強化するために、形状、サイズ、色、及び／または動きに基づくオブジェクト認識技術を増強させるために行われることが可能である。周波数／オブジェクト関連付けが歩行者、自転車、犬／猫の首輪、及び他の車両などの移動体オブジェクトと同様に、信号灯などの他の静的オブジェクトに拡張されることが可能であることを企図する。
【００３７】
自動運転車両と、静止したオブジェクトとの間の片方向の通信の観点から記述されるが、パルス化照明源を車両上に設置し、車両間に片方向の、及び双方向の通信を提供することが可能であることを理解し、認識するであろう。たとえば、車両は、この車両付近にある他の車両への意図された操縦を示すことが可能である。標準的な制動灯は、制動が開始すると同時に始動するが、自動運転車両は、車両制動の実際の使用につながるパルス化照明源の周波数を上げることにより減速カウントダウンを開始することが可能である。周囲の車両は、メッセージの受信を承認することが可能である。特に、通信は、自動運転車両が通信している、車両または他のオブジェクトの空間位置を含む。
【００３８】
上記に記述され、図面に示されるような、本開示の方法及びシステムは、車両環境内のオブジェクトのフォールスネガティブ及び／またはフォールスポジティブの低下した割合を有する、優れた特性を有する自動運転車両をナビゲートするためのナビゲーションシステム及び方法を提供する。主題の開示の装置及び方法は、好ましい実施形態を参照して示され、記述されるが、当業者は、主題の開示の範囲から逸脱することなく、変更及び／または修正をそこへ行うことができることを容易に理解するであろう。
【図１】
2019003645.tif 000003
【図２】
2019003645.tif 000004
【図３】
2019003645.tif 000005