(57)【要約】      （修正有）【課題】実際の走行データを基盤に仮想走行環境での精巧な交通シナリオを生成する方法及び装置を提供する。【解決手段】交通シナリオ生成装置は、映像基盤ＡＤＡＳにより既存の走行映像から抽出された離散交通データに対応する以前交通データ及び実際の走行環境のデータ収集車両のセンサから収集された順次交通データに対応する詳細交通データを利用して走行データが取得された状態で、前記走行データを状況分析器に入力して走行環境情報を抽出するようにし、前記走行データを車両情報抽出器で入力して自車両に対する車両状態情報を抽出するようにし、走行シークエンスによる順次交通ログを生成し、順次交通ログをシナリオ増強ネットワークに入力して、前シナリオ増強ネットワークをもって、クリティカルイベントを利用して、前順次交通ログを増強させることにして、交通シナリオを検証し、交通シナリオを交通シミュレータにマッピングする。【選択図】図２
2020123351.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの仮想走行環境における少なくとも一つの交通シナリオを生成する方法において、
（ａ）以前交通データと、詳細交通データとを参照して生成された走行データが取得された状態で、交通シナリオ生成装置が、前記走行データを状況分析器に入力して、前記状況分析器をもって、前記走行データから走行環境情報を抽出するようにするプロセス、前記走行データを車両情報抽出器に入力して、前記車両情報抽出器をもって、前記走行データから自車両に対する車両状態情報を抽出させるプロセス、及び前記走行環境情報と前記車両状態情報とを参照して、走行イベントを含む走行シークエンスによる順次交通ログを生成するプロセスを遂行する段階；及び
（ｂ）前記交通シナリオ生成装置が、前記順次交通ログをシナリオ増強ネットワークに入力して、前記シナリオ増強ネットワークをもって、少なくとも一つのクリティカルイベントを少なくとも一つの条件として利用して、前記順次交通ログを前記クリティカルイベントのイベント走行環境に対応するように前記順次交通ログを増強させることにより、前記交通シナリオを生成するプロセス、予め設定された参照交通情報を参照して前記交通シナリオを検証するプロセス、及び前記交通シナリオが有効であると決定されると、前記交通シナリオを仮想走行環境の交通シミュレータにマッピングするプロセスを遂行する段階；
を含み、前記以前交通データは、映像基盤ＡＤＡＳにより少なくとも一つの前記走行イベントを含む少なくとも一つの既存の走行映像から抽出された離散交通データに対応するメタデータであり、前記詳細交通データは、実際の走行環境で走行される一つ以上のデータ収集車両の一つ以上のセンサから収集された順次交通データに対応するメタデータであることを特徴とする方法。
【請求項２】
ＬＳＴＭを含む生成器が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器の状態として設定した状態で、前記交通シナリオ生成装置は、前記シナリオ増強ネットワークをもって、前記生成器によって予測交通ログをそれに対応する次の動作として生成することにより前記生成器によって前記交通シナリオを生成するようにし、前記初期交通ログ以降の前記予測交通ログが前記イベント走行環境に対応するように増強されることを特徴とする請求項１に記載の方法。
【請求項３】
前記交通シナリオ生成装置は、判別器が、前記順次交通ログと前記予測交通ログとの間を区別するように前記判別器を学習させるプロセスと、前記順次交通ログ、前記予測交通ログ、及び前記条件を参照して生成された前記判別器の少なくとも一つのリワードを利用した方策勾配によって前記生成器の少なくとも一つのパラメータを最適化させるプロセスとを遂行することを特徴とする請求項２に記載の方法。
【請求項４】
前記（ｂ）段階で、
前記交通シナリオが有効でないものと決定されたら、前記交通シナリオ生成装置は、前記検証するプロセスを参照して前記条件を変更することで少なくとも一つの変更された条件を生成し、前記シナリオ増強ネットワークをもって、前記変更された条件を利用して前記順次交通ログを増強することで新たな交通シナリオを生成させることを特徴とする請求項１に記載の方法。
【請求項５】
前記交通シナリオ生成装置は、順次データから前記クリティカルイベントを抽出するか、クリティカルイベントデータベースから前記クリティカルイベントを抽出することを特徴とする請求項１に記載の方法。
【請求項６】
前記順次交通ログそれぞれは、少なくとも一つの物体の数と、前記物体の位置と、少なくとも一つの歩行者の数と、前記歩行者の位置と、前記物体の少なくとも一つの軌跡と、交通信号変化情報とを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記映像基盤ＡＤＡＳは、前記既存走行映像を利用する、物体検出と、距離予測と、ＴＳＲと、車道検出と、車線検出と、ＴＴＣ予測と、相対速度予測とのうちの少なくとも一つを遂行することを特徴とする請求項１に記載の方法。
【請求項８】
前記車両状態情報は、前記自車両の速度と、前記自車両の加速度と、前記自車両のステアリングホイール状態と、前記自車両の加速ペダルの位置と、前記自車両のブレーキ状態とのうちの少なくとも一つを含むことを特徴とする請求項１に記載の方法。
【請求項９】
少なくとも一つの仮想走行環境における少なくとも一つの交通シナリオを生成する交通シナリオ生成装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）以前交通データと、詳細交通データとを参照して生成された走行データが取得された状態で、前記走行データを状況分析器に入力して、前記状況分析器をもって、前記走行データから走行環境情報を抽出するようにするプロセス、前記走行データを車両情報抽出器に入力して、前記車両情報抽出器をもって、前記走行データから自車両に対する車両状態情報を抽出するようにするプロセス、及び前記走行環境情報と前記車両状態情報とを参照して、走行イベントを含む走行シークエンスによる順次交通ログを生成するプロセスを遂行するプロセス、及び（ＩＩ）前記順次交通ログをシナリオ増強ネットワークに入力して、前記シナリオ増強ネットワークをもって、少なくとも一つのクリティカルイベントを少なくとも一つの条件として利用して、前記順次交通ログを前記クリティカルイベントのイベント走行環境に対応するように前記順次交通ログを増強させることにより、前記交通シナリオを生成するプロセス、予め設定された参照交通情報を参照して前記交通シナリオを検証するプロセス、及び前記交通シナリオが有効であると決定されると、前記交通シナリオを仮想走行環境の交通シミュレータにマッピングするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含み、前記以前交通データは、映像基盤ＡＤＡＳにより少なくとも一つの前記走行イベントを含む少なくとも一つの既存の走行映像から抽出された離散交通データに対応するメタデータであり、前記詳細交通データは、実際の走行環境で走行される一つ以上のデータ収集車両の一つ以上のセンサから収集された順次交通データに対応するメタデータであることを特徴とする交通シナリオ生成装置。
【請求項１０】
ＬＳＴＭを含む生成器が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器の状態として設定した状態で、前記プロセッサは、前記シナリオ増強ネットワークをもって、前記生成器によって予測交通ログをそれに対応する次の動作として生成することにより前記生成器によって前記交通シナリオを生成するようにし、前記初期交通ログ以降の前記予測交通ログが前記イベント走行環境に対応するように増強されることを特徴とする請求項９に記載の交通シナリオ生成装置。
【請求項１１】
前記プロセッサは、判別器が、前記順次交通ログと前記予測交通ログとの間を区別するように前記判別器を学習させるプロセスと、前記順次交通ログ、前記予測交通ログ、及び前記条件を参照して生成された前記判別器の少なくとも一つのリワードを利用した方策勾配によって前記生成器の少なくとも一つのパラメータを最適化させるプロセスとを遂行することを特徴とする請求項１０に記載の交通シナリオ生成装置。
【請求項１２】
前記（ＩＩ）プロセスで、
前記交通シナリオが有効でないものと決定されたら、前記プロセッサは、前記検証するプロセスを参照して前記条件を変更することで少なくとも一つの変更された条件を生成し、前記シナリオ増強ネットワークをもって、前記変更された条件を利用して前記順次交通ログを増強することで新たな交通シナリオを生成させることを特徴とする請求項９に記載の交通シナリオ生成装置。
【請求項１３】
前記プロセッサは、順次データから前記クリティカルイベントを抽出するか、クリティカルイベントデータベースから前記クリティカルイベントを抽出することを特徴とする請求項９に記載の交通シナリオ生成装置。
【請求項１４】
前記順次交通ログそれぞれは、少なくとも一つの物体の数と、前記物体の位置と、少なくとも一つの歩行者の数と、前記歩行者の位置と、前記物体の少なくとも一つの軌跡と、交通信号変化情報とを含むことを特徴とする請求項９に記載の交通シナリオ生成装置。
【請求項１５】
前記映像基盤ＡＤＡＳは、前記既存走行映像を利用する、物体検出と、距離予測と、ＴＳＲと、車道検出と、車線検出と、ＴＴＣ予測と、相対速度予測とのうちの少なくとも一つを遂行することを特徴とする請求項９に記載の交通シナリオ生成装置。
【請求項１６】
前記車両状態情報は、前記自車両の速度と、前記自車両の加速度と、前記自車両のステアリングホイール状態と、前記自車両の加速ペダルの位置と、前記自車両のブレーキ状態とのうちの少なくとも一つを含むことを特徴とする請求項９に記載の交通シナリオ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行車両の学習のための仮想走行環境に関し；より詳しくは、前記自律走行車両を学習、テスティング及び検証するための仮想走行環境における交通シナリオを生成する方法及び装置に関する。
【背景技術】
【０００２】
現代の車両、特に自動車は、自律走行と、ブラインドスポットモニター、自動駐車、及び自動ナビゲーションのような走行補助システムをますます提供している。しかしながら、自律走行及び自律補助システムをテスティングし、検証することは非常に複雑であり、長期的な道路走行テスティング（例えば、数百万時間とマイル）が必要であり得る。自律走行及び走行補助システムのアップデートは再検証を必要とし、車種によって個別の検証が求められることを踏まえると、テスティングや検証の努力が倍になり得る。
【０００３】
また、自律走行自動車の自律走行システム及び走行補助システムを学習させるための学習データを十分に確保することにも困難がある。
【０００４】
したがって、実際の走行状況を仮想化した仮想走行環境で走行する自律走行自動車の自律走行システム及び走行補助システムを学習、テスティング、及び検証する方法が提案されている。
【０００５】
仮想走行環境における自律走行自動車の自律走行システム及び走行補助システムを学習、テスティング、及び検証をするために、仮想走行環境における周辺情報についてのシナリオが提供されるべきである。
【０００６】
しかし、従来の仮想走行環境において、特定の交通状況に対するシナリオのみを提供してくれるので、実際の走行環境のような多様で精巧なシナリオを提供できないという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、前述した問題点を全て解決することを目的とする。
【０００８】
本発明は、仮想走行環境において、実際の走行環境のような多様で精巧なシナリオを生成できるようにすることを他の目的とする。
【０００９】
本発明は、データ増強によって仮想走行環境において多様で精巧な交通シナリオを生成できるようにすることをまた他の目的とする。
【課題を解決するための手段】
【００１０】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
【００１１】
本発明の一態様によれば、少なくとも一つの仮想走行環境における少なくとも一つの交通シナリオを生成する方法において、（ａ）以前交通データと、詳細交通データとを参照して生成された走行データが取得された状態で、交通シナリオ生成装置が、前記走行データを状況分析器に入力して、前記状況分析器をもって、前記走行データから走行環境情報を抽出するようにするプロセス、前記走行データを車両情報抽出器に入力して、前記車両情報抽出器をもって、前記走行データから自車両（ｅｇｏ−ｖｅｈｉｃｌｅ）に対する車両状態情報を抽出させるプロセス、及び前記走行環境情報と前記車両状態情報とを参照して、走行イベントを含む走行シークエンス（ｓｅｑｕｅｎｃｅ）による順次交通ログ（ｌｏｇ）を生成するプロセスを遂行する段階；及び（ｂ）前記交通シナリオ生成装置が、前記順次交通ログをシナリオ増強ネットワークに入力して、前記シナリオ増強ネットワークをもって、少なくとも一つのクリティカルイベントを少なくとも一つの条件として利用して、前記順次交通ログを前記クリティカルイベントのイベント走行環境に対応するように前記順次交通ログを増強させることにより、前記交通シナリオを生成するプロセス、予め設定された参照交通情報を参照して前記交通シナリオを検証するプロセス、及び前記交通シナリオが有効であると決定されると、前記交通シナリオを仮想走行環境の交通シミュレータにマッピング（ｍａｐｐｉｎｇ）するプロセスを遂行する段階；を含み、前記以前交通データは、映像基盤（Ｖｉｓｉｏｎ−ｂａｓｅｄ）ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）により少なくとも一つの前記走行イベントを含む少なくとも一つの既存の走行映像から抽出された離散（ｄｉｓｃｒｅｔｅ）交通データに対応するメタデータであり、前記詳細交通データは、実際の走行環境で走行される一つ以上のデータ収集車両の一つ以上のセンサから収集された順次（ｓｅｑｕｅｎｔｉａｌ）交通データに対応するメタデータであることを特徴とする方法が提供される。
【００１２】
一実施例として、ＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ）を含む生成器が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器の状態として設定した状態で、前記交通シナリオ生成装置は、前記シナリオ増強ネットワークをもって、前記生成器によって予測交通ログをそれに対応する次の動作として生成することにより前記生成器によって前記交通シナリオを生成するようにし、前記初期交通ログ以降の前記予測交通ログが前記イベント走行環境に対応するように増強される。
【００１３】
一実施例として、前記交通シナリオ生成装置は、判別器が、前記順次交通ログと前記予測交通ログとの間を区別するように前記判別器を学習させるプロセスと、前記順次交通ログ、前記予測交通ログ、及び前記条件を参照して生成された前記判別器の少なくとも一つのリワード（ｒｅｗａｒｄ）を利用した方策勾配（ｐｏｌｉｃｙ ｇｒａｄｉｅｎｔ）によって前記生成器の少なくとも一つのパラメータを最適化させるプロセスとを遂行する。
【００１４】
一実施例として、前記（ｂ）段階で、前記交通シナリオが有効でないものと決定されたら、前記交通シナリオ生成装置は、前記検証するプロセスを参照して前記条件を変更することで少なくとも一つの変更された条件を生成し、前記シナリオ増強ネットワークをもって、前記変更された条件を利用して前記順次交通ログを増強することで新たな交通シナリオを生成させる。
【００１５】
一実施例として、前記交通シナリオ生成装置は、順次データから前記クリティカルイベントを抽出するか、クリティカルイベントデータベースから前記クリティカルイベントを抽出する。
【００１６】
一実施例として、前記順次交通ログそれぞれは、少なくとも一つの物体の数と、前記物体の位置と、少なくとも一つの歩行者の数と、前記歩行者の位置と、前記物体の少なくとも一つの軌跡と、交通信号変化情報とを含む。
【００１７】
一実施例として、前記映像基盤ＡＤＡＳは、前記既存走行映像を利用する、物体検出と、距離予測と、ＴＳＲ（Ｔｒａｆｆｉｃ−ｓｉｇｎ Ｒｅｃｏｇｎｉｔｉｏｎ）と、車道検出と、車線検出と、ＴＴＣ（ｔｉｍｅ−ｔｏ−ｃｏｌｌｉｓｉｏｎ）予測と、相対速度予測とのうちの少なくとも一つを遂行する。
【００１８】
一実施例として、前記車両状態情報は、前記自車両の速度と、前記自車両の加速度と、前記自車両のステアリングホイール状態と、前記自車両の加速ペダルの位置と、前記自車両のブレーキ状態とのうちの少なくとも一つを含む。
【００１９】
本発明の他の態様によれば、少なくとも一つの仮想走行環境における少なくとも一つの交通シナリオを生成する交通シナリオ生成装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）以前交通データと、詳細交通データとを参照して生成された走行データが取得された状態で、前記走行データを状況分析器に入力して、前記状況分析器をもって、前記走行データから走行環境情報を抽出するようにするプロセス、前記走行データを車両情報抽出器に入力して、前記車両情報抽出器をもって、前記走行データから自車両に対する車両状態情報を抽出するようにするプロセス、及び前記走行環境情報と前記車両状態情報とを参照して、走行イベントを含む走行シークエンス（ｓｅｑｕｅｎｃｅ）による順次交通ログを生成するプロセスを遂行するプロセス、及び（ＩＩ）前記順次交通ログをシナリオ増強ネットワークに入力して、前記シナリオ増強ネットワークをもって、少なくとも一つのクリティカルイベントを少なくとも一つの条件として利用して、前記順次交通ログを前記クリティカルイベントのイベント走行環境に対応するように前記順次交通ログを増強させることにより、前記交通シナリオを生成するプロセス、予め設定された参照交通情報を参照して前記交通シナリオを検証するプロセス、及び前記交通シナリオが有効であると決定されると、前記交通シナリオを仮想走行環境の交通シミュレータにマッピングするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含み、前記以前交通データは、映像基盤ＡＤＡＳにより少なくとも一つの前記走行イベントを含む少なくとも一つの既存の走行映像から抽出された離散交通データに対応するメタデータであり、前記詳細交通データは、実際の走行環境で走行される一つ以上のデータ収集車両の一つ以上のセンサから収集された順次交通データに対応するメタデータであることを特徴とする交通シナリオ生成装置が提供される。
【００２０】
一実施例として、ＬＳＴＭを含む生成器が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器の状態として設定した状態で、前記プロセッサは、前記シナリオ増強ネットワークをもって、前記生成器によって予測交通ログをそれに対応する次の動作として生成することにより前記生成器によって前記交通シナリオを生成するようにし、前記初期交通ログ以降の前記予測交通ログが前記イベント走行環境に対応するように増強される。
【００２１】
一実施例として、前記プロセッサは、判別器が、前記順次交通ログと前記予測交通ログとの間を区別するように前記判別器を学習させるプロセスと、前記順次交通ログ、前記予測交通ログ、及び前記条件を参照して生成された前記判別器の少なくとも一つのリワードを利用した方策勾配によって前記生成器の少なくとも一つのパラメータを最適化させるプロセスとを遂行する。
【００２２】
一実施例として、前記（ＩＩ）プロセスで、前記交通シナリオが有効でないものと決定されたら、前記プロセッサは、前記検証するプロセスを参照して前記条件を変更することで少なくとも一つの変更された条件を生成し、前記シナリオ増強ネットワークをもって、前記変更された条件を利用して前記順次交通ログを増強することで新たな交通シナリオを生成させる。
【００２３】
一実施例として、前記プロセッサは、順次データから前記クリティカルイベントを抽出するか、クリティカルイベントデータベースから前記クリティカルイベントを抽出する。
【００２４】
一実施例として、前記順次交通ログそれぞれは、少なくとも一つの物体の数と、前記物体の位置と、少なくとも一つの歩行者の数と、前記歩行者の位置と、前記物体の少なくとも一つの軌跡と、交通信号変化情報とを含む。
【００２５】
一実施例として、前記映像基盤ＡＤＡＳは、前記既存走行映像を利用する、物体検出と、距離予測と、ＴＳＲ（Ｔｒａｆｆｉｃ−ｓｉｇｎ Ｒｅｃｏｇｎｉｔｉｏｎ）と、車道検出と、車線検出と、ＴＴＣ（ｔｉｍｅ−ｔｏ−ｃｏｌｌｉｓｉｏｎ）予測と、相対速度予測とのうちの少なくとも一つを遂行する。
【００２６】
一実施例として、前記車両状態情報は、前記自車両の速度と、前記自車両の加速度と、前記自車両のステアリングホイール状態と、前記自車両の加速ペダルの位置と、前記自車両のブレーキ状態とのうちの少なくとも一つを含む。
【００２７】
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
【発明の効果】
【００２８】
本発明によれば、実際の走行データを基盤に仮想走行環境での精巧な交通シナリオを生成できる効果がある。
【００２９】
また、本発明によれば、特定交通状況に対する離散及び順次データの増強により仮想走行環境で多様な交通シナリオを生成できる効果がある。
【図面の簡単な説明】
【００３０】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図１】図１は、本発明の一実施例に係る仮想走行環境での少なくとも一つの交通シナリオを生成する交通シナリオ生成装置を概略的に示した図面である。
【図２】図２は、本発明の一実施例に係る前記仮想走行環境での前記交通シナリオを生成するシナリオ生成方法を概略的に示した図面である。
【図３】図３は、本発明の一実施例に係る前記仮想走行環境での前記交通シナリオを生成する前記方法において少なくとも一つの条件を追加するプロセスを概略的に示した図面である。
【図４】図４は、本発明の一実施例に係る前記仮想走行環境での前記交通シナリオを生成する前記方法においてシナリオ増強ネットワークを学習するプロセスを概略的に示した図面である。
【図５】図５は、本発明の一実施例に係る前記仮想走行環境での前記交通シナリオを生成する前記方法においてシナリオ増強ネットワークを学習するプロセスを概略的に示した図面である。
【発明を実施するための形態】
【００３１】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
【００３２】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３３】
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００３４】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３５】
本願に提供されている本発明の題名及び要約は、便宜のためのものであり、実施例の範囲を限定したり、実施例の意味を解析したりするものではない。
【００３６】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明する。
【００３７】
図１は、本発明の一実施例に係る仮想走行環境での少なくとも一つの交通シナリオを生成する交通シナリオ生成装置を概略的に示した図面である。図１を参照すれば、前記交通シナリオ生成装置１００は、前記仮想走行環境での前記交通シナリオを生成するためのインストラクションを格納するメモリ１１０及び前記メモリ１１０に格納された前記インストラクションに対応して仮想走行環境での前記交通シナリオを生成するプロセスを遂行するプロセッサ１２０を含むことができる。
【００３８】
具体的に、前記交通シナリオ生成装置１００は、典型的にコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、または、その他の既存のコンピューティング構成要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、コンピュータソフトウェア（つまり、前記コンピューティング装置をもって、特定の方式で機能させるインストラクション）との組み合わせを利用して、希望するシステム性能を達成するものであり得る。
【００３９】
前記コンピューティング装置の前記プロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などを含み得る。また、前記コンピューティング装置は、オペレーティングシステム及び特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【００４０】
しかし、前記コンピューティング装置１００が本発明を行うためのミディアム（ｍｅｄｉｕｍ）、プロセッサ、メモリまたはほかのコンピューティング構成要素が統合された形である統合プロセッサを含む場合を排除するものではない。
【００４１】
このように構成された本発明の一実施例に係る交通シナリオ生成装置１００を利用して前記仮想の走行環境での前記交通シナリオを生成する方法を、図２を参照して説明する。
【００４２】
まず、前記交通シナリオ生成装置１００は、以前交通データと詳細交通データとを取得するか、他の装置をもって取得するよう支援することができる。
【００４３】
その際、前記以前交通データは、車両事故のように実際の走行環境において取得しにくいデータであり得、現在のコンピュータ映像技術基盤のＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）を活用して、少なくとも一つの走行イベントを含む少なくとも一つの既存走行映像から抽出されたメタデータであり得る。一方、前記映像基盤ＡＤＡＳは、前記既存走行映像を利用する、物体検出と、距離予測と、ＴＳＲ（Ｔｒａｆｆｉｃ−ｓｉｇｎ Ｒｅｃｏｇｎｉｔｉｏｎ）と、車道検出と、車線検出と、ＴＴＣ（ｔｉｍｅ−ｔｏ−ｃｏｌｌｉｓｉｏｎ）予測と、相対速度予測とのうちの少なくとも一つを遂行することができる。
【００４４】
そして、前記詳細交通データは、実際の走行環境で走行される車両の一つ以上のセンサ、例えばライダ（ＬｉＤＡＲ）、レーダ（Ｒａｄａｒ）、カメラ、ＧＰＳ装置などから収集されたメタデータであり得る。
【００４５】
一方、前記以前交通データは、離散（ｄｉｓｃｒｅｔｅ）交通データであり得、前記詳細交通データは順次（ｓｅｑｕｅｎｔｉａｌ）交通データであり得る。
【００４６】
次に、前記交通シナリオ生成装置１００は、前記以前交通データ及び前記詳細交通データを参照して走行データを取得することができる。一例として、前記走行データは、前記車両の入力センサに対応する、前記ＧＰＳ装置、前記ライダ、前記レーダ、前記カメラ等から取得した情報のような、前記車両に関連する前記走行データであり得る。
【００４７】
そして、前記交通シナリオ生成装置１００は、前記走行データを状況分析器１３０に入力して、前記状況分析器１３０をもって、前記走行データから走行環境情報を抽出するようにするプロセス、及び、前記走行データを車両情報抽出器１４０に入力して、前記車両情報抽出器１４０をもって、前記走行データから自車両（ｅｇｏ−ｖｅｈｉｃｌｅ）に対する車両状態情報を抽出するようにするプロセスを遂行することができる。その際、通常の技術者に広く知られているように、前記自車両は対象車両、例えば本発明に係る前記仮想走行環境において走行される車両を意味し得る。
【００４８】
一例として、前記状況分析機１３０は、物体検出情報、距離予測情報、ＴＳＲ（Ｔｒａｆｆｉｃ−ｓｉｇｎ Ｒｅｃｏｇｎｉｔｉｏｎ）情報、車道検出情報、車線検出情報、ＴＴＣ（ｔｉｍｅ−ｔｏ−ｃｏｌｌｉｓｉｏｎ）予測情報、相対速度予測情報等の中から少なくとも一部を前記走行データから取得することができる。
【００４９】
また、前記車両情報抽出器１４０は、前記自車両の速度と、前記自車両の加速度と、前記自車両のステアリングホイール状態と、前記自車両の加速ペダルの位置と、前記自車両のブレーキ状態とのうちの少なくとも一つを抽出することができる。
【００５０】
次に、前記交通シナリオ生成装置１００は、前記状況分析器１３０からの前記走行環境情報と、前記車両情報抽出器１４０からの前記車両状態情報とを参照して、前記走行イベントを含む走行シークエンス（ｓｅｑｕｅｎｃｅ）による順次交通ログ（ｌｏｇ）を生成することができる。
【００５１】
一例として、前記交通シナリオ生成装置１００は、前記状況分析器１３０によって取得された前記走行環境情報を前記車両情報抽出器１４０から取得された前記車両状態情報にマッチングさせることにより、イメージフレームを生成することができる。この際、前記イメージフレームは、離散及び順次データであり得、これは、トンネルまたは橋梁進入イベント、車線変更イベント、トンネルまたは橋梁通過イベント等の特定イベントが発生する前後の前記走行データであり得る。
【００５２】
そして、前記交通シナリオ生成装置１００は、前記離散及び順次データに含まれた前記走行イベントを後処理（ｐｏｓｔ−ｐｒｏｃｅｓｓｉｎｇ）することにより、離散的及び順次的二次加工データである一つ以上の順次交通ログを生成することができる。
【００５３】
この際、前記順次交通ログそれぞれは、少なくとも一つの物体の数と、前記物体の位置と、少なくとも一つの歩行者の数と、前記歩行者の位置と、前記物体の少なくとも一つの軌跡と、交通信号変化情報とを含み得る。
【００５４】
その後、前記交通シナリオ生成装置１００は、前記順次交通ログを順次メタデータに変換することができる。
【００５５】
つまり、前記交通シナリオ生成装置１００は、少なくとも一つの順次メタコンバータをもって、前記順次交通ログに含まれた、前記状況分析器１３０及び前記車両情報抽出器１４０によって抽出されたデータをエンコードするようにして、少なくとも一つの交通シミュレータが前記エンコードされたデータを識別するようにすることができる。
【００５６】
次に、前記交通シナリオ生成装置１００は、前記順次交通ログをシナリオ増強ネットワーク１５０に入力して、前記シナリオ増強ネットワーク１５０をもって、少なくとも一つのクリティカルイベントを少なくとも一つの条件として利用して、前記順次交通ログを前記クリティカルイベントのイベント走行環境に対応するように前記順次交通ログを増強させることにより、前記交通シナリオを生成するプロセスを遂行することができる。
【００５７】
一例として、ＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ
ｍｅｍｏｒｙ）を含む生成器１５１が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器１５１の状態として設定した状態で、前記シナリオ増強ネットワーク１５０は、前記生成器１５１によって一つ以上の予測交通ログをそれに対応する次の動作として生成することにより前記生成器１５１によって前記交通シナリオを生成するようにし、前記初期交通ログ以降の前記予測交通ログは、前記イベント走行環境に対応するように増強され得る。
【００５８】
図３を参照すれば、前記シナリオ増強ネットワーク１５０は、少なくとも一つのレイテントコード（ｌａｔｅｎｔ ｃｏｄｅ）ｚと少なくとも一つのクリティカルイベントｙとを前記生成器１５１に入力することにより、前記生成器１５１をもって、前記初期交通ログに対応する前記予測交通ログを生成するようにして、前記予測交通ログが前記走行環境内の前記クリティカルイベントに対応するようにすることができる。
【００５９】
この際、順次データから前記クリティカルイベントが抽出され得、または多様なクリティカルイベントを格納するクリティカルイベントデータベース１６０から特定クリティカルイベントが検索され得る。
【００６０】
一例として、前記クリティカルイベントは、緊急状況での急停車、交差点での交通信号変化などのような走行イベントのうちの特定走行イベントであり得、前記交差点で青信号が赤信号に変更されるのと同じく、多様な条件が設定され得、このようなクリティカルイベント及び前記様々な条件によって、前記生成器１５１は、前記実際の走行状況のように様々な交通シナリオを生成することができる。
【００６１】
一方で、前記シナリオ増強ネットワーク１５０は、前記交通シナリオを生成する前記生成器１５１と、前記交通シナリオを評価する判別器１５２とが互いに並列に、競争的に学習して、前記生成器が前記判別器を騙すことができるほどに精巧なデータを生成するようにする構成を有することができる。
【００６２】
前記シナリオ増強ネットワーク１５０は、少なくとも一つの状態と少なくとも一つの動作とで構成され、前記離散データをモデリングするのに容易であり、リワード（ｒｅｗａｒｄ）を基盤にして部分的に確率的方策（ｓｔｏｃｈａｓｔｉｃ ｐｏｌｉｃｙ）を取得することができる方策基盤強化学習技法である方策勾配（ｐｏｌｉｃｙ ｇｒａｄｉｅｎｔ）を利用することにより、前記生成器１５１を学習させることができる。また、方策勾配技法のうちのモンテカルロ方策勾配（Ｍｏｎｔｅ  Ｃａｒｌｏ  ｐｏｌｉｃｙ  ｇｒａｄｉｅｎｔ）が利用され得る。この際、前記モンテカル方策勾配は、（ｉ）現在の状態から次の状態を予測できるネットワークの一つであるロールアウト方策、及び（ｉｉ）効率的非全面（ｎｏｎ−ｅｘｈａｕｓｔｉｖｅ）探索アルゴリズムの一つであるＭＣＴＳ（Ｍｏｎｔｅ Ｃａｒｌｏ Ｔｒｅｅ Ｓｅａｒｃｈ）を用いて、前記確率的方策を生成する学習手法であり得る。一例として、前記状態は、トークン（ｔｏｋｅｎ）として設定され得、前記動作は、次のトークンを付与する行動として設定され得、エージェント（ａｇｅｎｔ）は、前記生成器１５１として設定され得る。前記判別器１５２によって決定されるラベルは、前記リワードとしてモデリングされることにより、前記生成器１５１を学習させ得る。この際、前記生成器１５１は、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）内、勾配消失（ｖａｎｉｓｈｉｎｇ ｇｒａｄｉｅｎｔ）問題のない少なくとも一つのＬＳＴＭを利用することができ、前記判別器１５２は、ＣＮＮを利用することができる。
【００６３】
つまり、図４及び図５を参照すれば、前記シナリオ増強ネットワーク１５０は、前記生成器１５１をもって生成された前記予測交通ログ及び前記順次交通ログを前記判別器１５２に入力することにより、前記判別器１５２をもって、これの入力データが実際のデータであるか偽のデータであるかを決定させることができ、前記判別器１５２の一つ以上の出力を利用して、前記判別器１５２を学習させて前記判別器１５２が前記順次交通ログと、前記予測交通ログとを区別するようにすることができる。
【００６４】
また、前記判別器１５２を学習させた後、前記ＬＳＴＭを含む生成器１５１が、前記順次交通ログのうちの初期交通ログを、前記ＬＳＴＭのうちの初期ＬＳＴＭの次の動作を取得するために利用される前記生成器１５１の状態として設定した状態で、前記シナリオ増強ネットワーク１５０は、前記生成器１５１によって、前記予測交通ログをそれに対応する次の動作として生成し、前記順次交通ログと、前記予測交通ログと、前記条件とを前記判別器１５２に入力することにより、前記判別器１５２をもって、前記予測交通ログが前記順次交通ログ及び前記条件に合わせて生成されたか否かを示す、少なくとも一つのリワードを出力するようにすることができる。そして、前記シナリオ増強ネットワーク１５０は、前記リワードを利用する前記方策勾配を参照して前記生成器１５１を学習させることができる。
【００６５】
次に、前記交通シナリオ生成装置１００が、予め設定された参照交通情報を参照して前記交通シナリオを検証するプロセスを遂行することができる。
【００６６】
この際、前記交通シナリオ生成装置１００は、最小限の予め設定された交通規則情報と、前記交通シナリオとを比較して、前記交通シナリオが有効であるかどうかを決定することができる。一例として、前記交通シナリオが高速道路進入イベントを含み、前記交通シナリオ内の全てのイベントが前記高速道路上の走行中に発生すると想定し、交通法規データベースを参照した場合、前記高速道路上で交通信号が許可されない前記交通規則情報が存在する場合、前記交通信号に係るイベントは有効でないものであり得る。
【００６７】
そして、前記生成された交通シナリオが有効であると決定されると、前記交通シナリオ生成装置１００が前記交通シナリオを前記仮想走行環境の前記交通シミュレータにマッチングさせることができる。
【００６８】
一方で、前記交通シナリオが有効ではないことが決定されると、前記交通シナリオ生成装置１００は、前記のような検証プロセスを参照して前記条件を変更することで少なくとも一つの変更された条件を生成するプロセスを遂行し、前記シナリオ増強ネットワーク１５０をもって、前記変更された条件を利用して前記順次交通ログを増強させることで新たな交通シナリオを生成することができる。
【００６９】
前記で説明したように、本発明は、特定交通状況に対する静的データと前記順次データとを生成し、前記仮想走行環境内の周辺情報であるターゲット車両及び歩行者等に対する前記交通シナリオを生成し、前記生成された交通シナリオを前記仮想走行環境の前記交通シミュレータにマッピング（ｍａｐｐｉｎｇ）し、仮想走行の前記生成された交通シナリオを活用することができるようになる。
【００７０】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【００７１】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020123351.tif 000003
【図２】
2020123351.tif 000004
【図３】
2020123351.tif 000005
【図４】
2020123351.tif 000006
【図５】
2020123351.tif 000007