(57)【要約】【課題】Ｑ学習又は方策勾配法に基づいた強化学習アルゴリズムを用いて全自動運転に取り組んでいる。しかしながら、規則に基づいた方法はスケール変更がうまくできず、その一方、Ｑ学習または方策勾配法に基づいた強化学習法は、大きな状態空間を調査する必要があるせいで、サンプル効率的でなく解決するために非常に時間がかかる。【解決手段】フレームワークは、全自動運転のガイド付き方策検索に基づいて、視界とサンプル効率的な強化学習とを組み合わせる。制御装置は、視界から環境情報を抽出し、強化学習を用いて運転するように訓練される。【選択図】図１
2019182400.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
視界モデルを利用して全自動運転用の強化学習の制御装置を訓練する工程と、
前記視界モデルを利用して前記全自動運転用の強化学習の制御装置を配備する工程とを備えることを特徴とする方法。
【請求項２】
前記全自動運転用の強化学習の制御装置を訓練する工程は、決定を行うとき調査する選択肢に関するガイドを提供するために第１の態様を利用し、および前記視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する、請求項１に記載の方法。
【請求項３】
前記第１の態様は、特定のタスク事例用の一連のローカルな方策を反復して最適化するガイド付き方策探索を実装し、タスク事例にわたって使用可能で一般的なグローバルな方策を訓練するために前記ローカルな方策を使用して探索空間を制限する、請求項２に記載の方法。
【請求項４】
前記全自動運転用の強化学習の制御装置を配備する工程は、前記視界モデルからの前記視界情報に基づいて反応する方法を学習するために第２の態様を利用する、請求項２に記載の方法。
【請求項５】
前記視界モデルは、１つまたは複数の乗り物カメラを用いて獲得した画像および／または映像を介して訓練される、請求項１に記載の方法。
【請求項６】
前記全自動運転用の強化学習の制御装置を訓練する工程は、完全に又は部分的に観察された状態を含むラベル付き画像を利用する、請求項１に記載の方法。
【請求項７】
前記強化学習の制御装置を用いて、駆動機構、制動機構及び加速機構の少なくとも１つに信号を送ることによって乗り物を自動運転する工程をさらに備える、請求項１に記載の方法。
【請求項８】
システムであって、
アプリケーションを保存するための非一時的なメモリを備え、前記アプリケーションは、
視界モデルを利用して全自動運転用の強化学習の制御装置を訓練し、および
前記視界モデルを利用して前記全自動運転用の強化学習の制御装置を利用し、
前記システムは、前記メモリに連結されたプロセッサを備え、前記プロセッサは、前記アプリケーションを処理するように構成されていることを特徴とするシステム。
【請求項９】
前記全自動運転用の強化学習の制御装置を訓練することは、決定を行うとき調査する選択肢に関するガイドを提供するために第１の態様を利用し、前記視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する、請求項８に記載のシステム。
【請求項１０】
前記第１の態様は、特定のタスク事例用の一連のローカルな方策を反復して最適化するガイド付き方策探索を実装し、タスク事例にわたって使用可能で一般的なグローバルな方策を訓練するために前記ローカルな方策を使用して探索空間を制限する、請求項９に記載のシステム。
【請求項１１】
前記全自動運転用の強化学習の制御装置を利用することは、前記視界モデルからの前記視界情報に基づいて反応する方法を学習するために第２の態様を利用する、請求項９に記載のシステム。
【請求項１２】
前記視界モデルは、１つまたは複数の乗り物カメラを用いて獲得した画像および／または映像を介して訓練される、請求項８に記載のシステム。
【請求項１３】
前記全自動運転用の強化学習の制御装置を訓練することは、完全に又は部分的に観察された状態を含むラベル付き画像を利用する、請求項８に記載のシステム。
【請求項１４】
前記強化学習の制御装置は、駆動機構、制動機構及び加速機構の少なくとも１つに信号を送ることによって乗り物を自動運転するようにさらに構成されている、請求項８に記載のシステム。
【請求項１５】
乗り物であって、
視界情報を獲得するように構成された１つまたは複数のカメラと、
１つまたは複数のコンピュータ装置とを備え、前記コンピュータ装置は、
前記視界情報を含む視界モデルを利用して全自動運転用の強化学習の制御装置を訓練し、および
前記視界情報を含む前記視界モデルを利用して前記全自動運転用の強化学習の制御装置を利用するように構成されていることを特徴とする乗り物。
【請求項１６】
前記全自動運転用の強化学習の制御装置を訓練することは、決定を行うとき調査する選択肢に関するガイドを提供するために第１の態様を利用し、前記視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する、請求項１５に記載の乗り物。
【請求項１７】
前記第１の態様は、特定のタスク事例用の一連のローカルな方策を反復して最適化するガイド付き方策探索を実装し、タスク事例にわたって使用可能で一般的なグローバルな方策を訓練するために前記ローカルな方策を使用して探索空間を制限する、請求項１６に記載の乗り物。
【請求項１８】
前記全自動運転用の強化学習の制御装置を利用することは、前記視界モデルからの前記視界情報に基づいて反応する方法を学習するために第２の態様を利用する、請求項１６に記載の乗り物。
【請求項１９】
前記全自動運転用の強化学習の制御装置を訓練することは、完全に又は部分的に観察された状態を含むラベル付き画像を利用する、請求項１５に記載の乗り物。
【請求項２０】
前記強化学習の制御装置は、駆動機構、制動機構及び加速機構の少なくとも１つに信号を送ることによって前記乗り物を自動運転するようにさらに構成されている、請求項１５に記載の乗り物。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は全自動運転に関する。より具体的には、本発明は視界による全自動運転に関する。
【背景技術】
【０００２】
全自動運転は、伝統的に規則に基づいている。いくつかの研究は、Ｑ学習又は方策勾配法に基づいた強化学習アルゴリズムを用いて全自動運転に取り組んでいる。しかしながら、規則に基づいた方法はスケール変更がうまくできず、その一方、Ｑ学習または方策勾配法に基づいた強化学習法は、大きな状態空間を調査する必要があるせいで、サンプル効率的でなく解決するために非常に時間がかかる。
【発明の概要】
【０００３】
フレームワークは、全自動運転用のガイド付き方策検索に基づいて、視界とサンプル効率的な強化学習とを組み合わせる。制御装置が、視界から環境情報を抽出し、強化学習を用いて運転するように訓練される。
【０００４】
１つの態様では、方法は、視界モデルを利用して全自動運転用の強化学習の制御装置を訓練する工程と、視界モデルを利用して全自動運転用の強化学習の制御装置を配備する工程とを備える。全自動運転用の強化学習の制御装置を訓練する工程は、決定を行うとき調査する選択肢に関するガイドを提供するために第１の態様を利用し、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する。第１の態様は、特定のタスク事例用の一連のローカルな方策を反復して最適化するガイド付き方策探索を実装し、およびタスク事例にわたって使用可能で一般的なグローバルな方策を訓練するためにローカルな方策を使用して探索空間を制限する。いくつかの実施形態では、全自動運転用の強化学習の制御装置を配備する工程は、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する。視界モデルは、１つまたは複数の乗り物カメラを用いて獲得した画像および／または映像を介して訓練される。全自動運転用の強化学習の制御装置を訓練する工程は、完全に又は部分的に観察された状態を含むラベル付き画像を利用する。方法は、強化学習の制御装置を用いて、駆動機構、制動機構及び加速機構の少なくとも１つに信号を送ることによって乗り物を自動運転する工程をさらに備える。
【０００５】
別の態様では、システムは、アプリケーションを保存するための非一時的なメモリを備え、アプリケーションは、視界モデルを利用して全自動運転用の強化学習の制御装置を訓練し、および視界モデルを利用して全自動運転用の強化学習の制御装置を利用し、システムはメモリに連結されたプロセッサを備え、プロセッサは、アプリケーションを処理するように構成されている。全自動運転用の強化学習の制御装置を訓練することは、決定を行うとき調査する選択肢に関するガイドを提供するために第１の態様を利用し、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する。第１の態様は、特定のタスク事例用の一連のローカルな方策を反復して最適化するガイド付き方策探索を実装し、タスク事例にわたって使用可能で一般的なグローバルな方策を訓練するためにローカルな方策を使用して探索空間を制限する。全自動運転用の強化学習の制御装置を利用する工程は、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する。視界モデルは、１つまたは複数の乗り物カメラを用いて獲得した画像および／または映像を介して訓練される。全自動運転用の強化学習の制御装置を訓練することは、完全に又は部分的に観察された状態を含むラベル付き画像を利用する。強化学習の制御装置は、駆動機構、制動機構及び加速機構の少なくとも１つに信号を送ることによって乗り物を自動運転するようにさらに構成されている。
【０００６】
さらに別の態様では、乗り物は、視界情報を獲得するように構成された１つまたは複数のカメラと、１つまたは複数のコンピュータ装置とを備え、コンピュータ装置は、視界情報を含む視界モデルを利用して全自動運転用の強化学習の制御装置を訓練し、および視界情報を含む視界モデルを利用して全自動運転用の強化学習の制御装置を利用するように構成されている。全自動運転用の強化学習の制御装置を訓練することは、決定を行うとき調査する選択肢に関するガイドを提供するために第１の態様を利用し、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する。第１の態様は、特定のタスク事例用の一連のローカルな方策を反復して最適化するガイド付き方策探索を実装し、タスク事例にわたって使用可能で一般的なグローバルな方策を訓練するためにローカルな方策を使用して探索空間を制限する。全自動運転用の強化学習の制御装置を利用することは、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する。全自動運転用の強化学習の制御装置を訓練することは、完全に又は部分的に観察された状態を含むラベル付き画像を利用する。強化学習の制御装置は、駆動機構、制動機構及び加速機構の少なくとも１つに信号を送ることによって乗り物を自動運転するようにさらに構成されている。
【図面の簡単な説明】
【０００７】
【図１】いくつかの実施形態に従って全自動運転用の視界による強化学習のフレームワークを訓練中に実装する概略図である。
【図２】いくつかの実施形態に従って全自動運転用の視界による強化学習のフレームワークを配備中に実装する概略図である。
【図３】いくつかの実施形態に従って全自動運転用の視界による強化学習のフレームワークを実装する方法のフローチャートである。
【図４】いくつかの実施形態に従って視界による強化学習のフレームワークを実装するように構成された例示的なコンピュータ装置のブロック図である。
【図５】いくつかの実施形態に従って視界による強化学習のフレームワークを実装するために構成された乗り物の概略図である。
【発明を実施するための形態】
【０００８】
本明細書には、視界（例えば画像）とサンプル効率的な強化学習とを全自動運転用のガイド付き方策検索に基づいて組み合わせるフレームワークが記載されている。制御装置は、視界から環境情報を抽出し、強化学習を用いて運転するように訓練される。動機付けは、時間を節約するためおよびロボットの疲労または損傷を避けるために、サンプル効率的にすることである。フレームワークは、全自動運転用のガイド付き方策検索に基づいて視界と強化学習とを組み合わせる。ガイド付き方策探索は、探索空間をサンプル効率的な見込みがある領域に制限している。
【０００９】
カメラを用いて獲得された情報のような視界入力は、１つまたは複数の画像／映像処理アルゴリズムを用いて処理され、次いで、処理アルゴリズムに基づいて、学習が起こることができる。強化学習は、人間が積極的な態度に報い、消極的な態度を罰して試行錯誤によって学習する方法に似ている。さらに、強化学習は、視界入力から人間が巧みに計画した特徴なしに、ニューラルネットの深い学習を利用することによって学習する。ガイド付き方策探索が、特定のタスク事例用の一連のローカルな方策を反復して最適化することによって学習を支援し、タスクの事例にわたって使用可能で一般的なグローバルな方策を訓練するために方策を使用する。
【００１０】
図１は、いくつかの実施形態に従って全自動運転用の視界による強化学習のフレームワークを訓練中に実装する線図を示す。乗り物カメラ１００が画像／映像を取り込み、画像／映像は、視界モデル１０２を訓練し成長させるために利用される。視界モデル１０２は、取り込まれた画像／映像内にある人々、木、他の乗り物および他のオブジェクト／運転状態のようなオブジェクトを検出し、認識しおよび分類するために使用される。いくつかの実施形態では、視界情報は、ＬＩＤＡＲおよび／または三次元のコンテンツ獲得を用いて取り込まれて保存される。いくつかの実施形態では、音声が、取り込まれて視界モデルを訓練するのを助けるために使用される。実装に応じて、視界モデルは、画像、映像および／または音声、計算／数値情報、深さマップ情報、分類情報、ラベル情報、他の任意の情報ならびに／あるいはこれらの任意の組み合わせを含むことができる。視界モデル１０２からの出力は、ラベル付き画像１０６も受け取る強化学習の制御装置１０４に行き、ラベル付き画像１０６は、画像の完全に観察された状態を含む。いくつかの実施形態では、ラベル付き画像１０６は、画像の部分的に観察された状態を含む。視界モデル出力は、任意のフォーマットであることができ、運転用に抽出された状態のような任意の出力形式にすることができる。ラベル付き画像１０６は、計算／数値情報、深さマップ情報、分類情報、ラベル情報、他の任意の情報および／またはこれらの任意の組み合わせを含むことができる。強化学習の制御装置１０４は、学習を強化するためにラベル付き画像１０６および視界モデル出力を利用する。強化学習の制御装置１０４は、訓練中に２つの態様を利用する。第１の態様、例えば教師態様は、決定を行うとき、調査する見込みがある探索空間のようなガイドを提供する。いくつかの実施形態では、強化学習はガイド付き方策探索を実装することを含み、ガイド付き方策探索は、特定のタスク事例用の一連のローカルな方策を反復して最適化することによって学習を助け、およびタスク事例にわたって使用可能で一般的なグローバルな方策を訓練するために方策を使用して探索空間をサンプル効率的な見込みがある領域内に制限する。例えば、オブジェクトに接近するときに行うべき全ての選択肢を利用する（オブジェクトをヒットすることを含む）代わりに、ガイドを利用して速度を上げることおよびオブジェクトをヒットすることを含む選択肢が除外され、制動すること、減速することおよびオブジェクトを回避することのようなより起こり得る選択肢に向けるようにする。第２の態様、例えば学習態様は、視界情報、とるべき選択肢（例えば、停車すること、加速すること、曲がること）、および選択肢の出力（例えば、良い結果のオブジェクトのヒットすること、悪い結果のオブジェクトを回避すること）に基づいて、運転する／反応する方法を学習する。強化学習の制御装置１０４は、制動すること、加速すること、舵取りすること、信号を送ることおよび／または他の任意の乗物制御特徴をトリガーするような各種信号を乗り物制御装置に供給することによって、乗り物を自律的に制御する（１０８）ために使用される。学習は、シミュレーション／シミュレーターを用いておよび／または実際の運転を介することによって生じることができる。
【００１１】
図２は、いくつかの実施形態に従って全自動運転用の視界による強化学習のフレームワークを配備中に実装する線図を示す。乗り物カメラ１００は、視界モデル１０２を訓練し成長させるために利用される画像／映像を取り込む。視界モデル１０２は、取り込まれた画像／映像内にある人々、木、他の乗り物および他のオブジェクト／運転状態のようなオブジェクトを検出し、認識しおよび分類するために使用される。いくつかの実施形態では、視界情報は、レーザー光による検知および測距（ライダー）および／または三次元のコンテンツ獲得を用いて取り込まれ保存される。いくつかの実施形態では、視界モデルを訓練するのを助けるために音声が取り込まれて使用される。実装に応じて、視界モデルは、画像、映像および／または音声、計算／数値情報、深さマップ情報、分類情報、ラベル情報、他の任意の情報ならびに／あるいはこれらの任意の組み合わせを含むことができる。視界モデル１０２からの出力は、強化学習の制御装置１０４に行く。視界モデル出力は、任意のフォーマットであることができ、運転用に抽出された状態のような任意の出力形式とすることができる。強化学習の制御装置１０４は、以前の訓練および視界モデル出力を利用する。いくつかの実施形態では、強化学習の制御装置１０４は配備中に学習を続ける。強化学習の制御装置１０４は、制動すること、加速すること、舵取りすること、信号を送ることおよび／または他の乗物制御特徴がトリガーするような、各種信号を乗り物制御装置に供給することによって、乗り物を自律的に制御する（１０８）ために使用される。
【００１２】
いくつかの実施形態では、視界モデル１０２および強化学習の制御装置１０４は単一ユニットで組み合わされる。
【００１３】
図３は、いくつかの実施形態に従って全自動運転用の視界による強化学習のフレームワークを実装する方法のフローチャートである。工程３００において、視界による強化学習の制御装置が訓練される。いくつかの実施形態では、視界モデルは、視界による強化学習の制御装置を訓練する前に又はその訓練の間に訓練される。上述したように、強化学習の制御装置は、視界モデルおよびラベル付き画像を用いて訓練され、強化学習の制御装置の両方の態様（教師および学習）が訓練のために利用される。工程３０２において、視界による強化学習の制御装置が配備される。上述したように、配備中に、強化学習の制御装置は、以前の訓練及び視界モデル出力を利用する。いくつかの実施形態では、強化学習の制御装置は、配備中に学習を続ける。いくつかの実施形態では、より少ないまたは追加の工程が実行される。いくつかの実施形態では、工程の順序が修正される。
【００１４】
図４は、いくつかの実施形態に従って視界による強化学習のフレームワークを実装するように構成された例示的なコンピュータ装置のブロック図を示す。コンピュータ装置４００は、画像および映像のような表示情報を獲得し、保存し、計算し、処理し、連絡するために使用できる。コンピュータ装置４００は、何れの態様の視界による強化学習のフレームワークでも実装することができる。一般的に、コンピュータ装置４００を実装するために適するハードウェア構造は、ネットワークインターフェイス４０２、メモリ４０４、プロセッサ４０６、入力／出力装置４０８、バス４１０及び記憶装置４１２を含む。プロセッサの選択は、十分な速度が適切なプロセッサを選ぶ限り重大ではない。メモリ４０４は、当該技術で知られた従来の任意のコンピューターメモリーにすることができる。記憶装置４１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高解像度ディスク／ドライブ、超ＨＤドライブ、フラッシュメモリカードまたは他の任意の記憶装置を含むことができる。コンピュータ装置４００は、１つまたは複数のネットワークインターフェイス４０２を含むことができる。ネットワークインターフェイスの例には、イーサネット（登録商標）または他の形式のＬＡＮに接続されたネットワークカードが含まれる。入力／出力装置(複数可)４０８は、キーボード、マウス、モニター、スクリーン、プリンター、モデム、タッチスクリーン、ボタンインタフェースおよび他の装置のうちの１つまたは複数を含むことができる。視界による強化学習のフレームワークを実装するために使用するフレームワークアプリケーション(複数可)４３０は、記憶装置４１２およびメモリ４０４に保存するのに適し、アプリケーションが一般的に処理されるように処理される。コンピュータ装置４００には、図４に示したよりも多いまたは少ない構成部品を含めることができる。いくつかの実施形態では、視界による強化学習のフレームワークハードウェア４２０が含まれている。図４中のコンピュータ装置４００は、視界による強化学習のフレームワーク用のアプリケーション４３０およびハードウェア４２０を含むが、視界による強化学習のフレームワークは、コンピュータ装置にハードウェア、ファームウェア、ソフトウェア又はこれらの任意の組み合わせで実装することができる。例えば、いくつかの実施形態では、視界による強化学習におけるフレームワークのアプリケーション４３０は、メモリにプログラムされ、プロセッサを用いて実行される。いくつかの実施形態における別の実施例では、視界による強化学習のフレームワークのハードウェア４２０は、視界による強化学習のフレームワークを実装するために具体的に設計されたゲートを含む、プログラムされたハードウェア論理である。
【００１５】
いくつかの実施形態では、視界による強化学習におけるフレームワークアプリケーション(複数可)４３０は、数個のアプリケーションおよび／または数個のモジュールを含む。いくつかの実施形態では、モジュールは、１つまたは複数のサブモジュールも同様に含む。いくつかの実施形態では、モジュールをより少なくしまたは増やすことができる。
【００１６】
適切なコンピュータ装置の例には、乗り物コンピュータ、内蔵されたコンピュータ、パソコン、ノート型パソコン、コンピューターワークステーション、サーバ、大型汎用コンピュータ、手持ち式コンピュータ、携帯情報端末、携帯電話（cellular telephone）／携帯電話（mobile telephone）、スマート電気器具、ゲーム機、デジタルカメラ、デジタル映像カメラ、カメラ電話、スマートフォン、携帯用の音楽プレーヤ、タブレット型コンピュータ、携帯機器、映像プレーヤ、映像ディスクライター／プレーヤ（例えばＤＶＤライター／プレーヤ、高解像度ディスクライター／プレーヤ、極高解像度ディスクライター／プレーヤ）、テレビ、家庭用娯楽器具システム、拡張現実装置、仮想現実装置、高性能の宝石類（例えば高性能の時計）又は他の任意のコンピュータ装置が含まれる。
【００１７】
図５は、いくつかの実施形態に従って視界による強化学習のフレームワークを実装するために構成された乗り物の概略図を示す。乗り物５００は、視界による強化学習のフレームワークを実装するように構成された１つまたは複数のコンピュータ装置４００を含み、フレームワークは、乗り物の上面、前面、側面、後面または下面のような乗り物のあらゆる場所に位置決めされた１つまたは複数のカメラ装置５０２を利用する。カメラ５０２は、３６０度のカメラ、映像カメラまたは回転カメラのような任意形式のカメラにすることができる。追加の機器を利用して、視界による強化学習のフレームワークを実装することができる。自動車が示されているが、乗り物は、自動車、トラック、飛行機、自転車、オートバイまたは船のような、自律性のまたは部分的に自律性の任意形式の乗り物にすることができる。
【００１８】
本明細書に記載されたフレームワークは、視界入力を含むハードウェアおよびソフトウェアとともに使用することができ、視界入力は、衝突および／または他の運転状況を回避するほど十分に速く決定することができる。フレームワークはまた、レースゲームのようなゲームで利用することができる。
【００１９】
本明細書に記載された視界による強化学習のフレームワークを利用するために、乗り物は、画像／映像を獲得するために使用するデジタルカメラ／ビデオカメラのような装置を含み、画像／映像は、次いで、学習して乗り物を自動運転するために処理される。視界による強化学習のフレームワークは、ユーザーの支援とともに、またはユーザーの関与なしに自動的に実装することができる。
【００２０】
動作時、視界による強化学習のフレームワークは、視界とサンプル効率的な強化学習とを、全自動運転用のガイド付き方策検索に基づいて組み合わせる。制御装置は、視界から環境情報を抽出し、強化学習を用いて運転するように訓練される。規則ベースの学習の代わりに強化学習を利用することによって、フレームワークは、よりうまくスケール変更することができ、その理由は、自動運転には何百万もの異なるシナリオ用の何百万もの決定が必要なためである。さらに、視界による強化学習のフレームワークはまた、探索をより見込みがある領域に向けるガイド付き方策探索を利用し、より見込みがある領域により探索時間が短縮し、探索がより適切に向けられ、自動運転中に実時間の決定を行う間に、効率的な学習が可能になる。
【００２１】
全自動運転用の視界によるサンプル効率的な強化学習のフレームワークのいくつかの実施形態
１．  方法であって、
視界モデルを利用して全自動運転用の強化学習の制御装置を訓練する工程と、
視界モデルを利用して全自動運転用の強化学習の制御装置を配備する工程値とを備えることを特徴とする方法。
２．  全自動運転用の強化学習の制御装置を訓練する工程は、決定を行うとき調査する選択肢に関するガイドを提供するために第１の態様を利用し、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する、節１に記載の方法。
３．  第１の態様は、特定のタスク事例用の一連のローカルな方策を反復して最適化するガイド付き方策探索を実装し、およびタスク事例にわたって使用可能で一般的なグローバルな方策を訓練するためにローカルな方策を使用して探索空間を制限する、節２に記載の方法。
４．  全自動運転用の強化学習の制御装置を配備する工程は、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する、節２に記載の方法。
５．  視界モデルは、１つまたは複数の乗り物カメラを用いて獲得した画像および／または映像を介して訓練される、節１に記載の方法。
６．  全自動運転用の強化学習の制御装置を訓練する工程は、完全に又は部分的に観察された状態を含むラベル付き画像を利用する、節１に記載の方法。
７．  強化学習の制御装置を用いて、駆動機構、制動機構及び加速機構の少なくとも１つに信号を送ることによって乗り物を自動運転する工程をさらに備える、節１に記載の方法。
８．  システムであって、
アプリケーションを保存するための非一時的なメモリを備え、アプリケーションは、
視界モデルを利用して全自動運転用の強化学習の制御装置を訓練し、および
視界モデルを利用して全自動運転用の強化学習の制御装置を利用し、
システムは、メモリに連結されたプロセッサを備え、プロセッサは、アプリケーションを処理するように構成されていることを特徴とするシステム。
９．  全自動運転用の強化学習の制御装置を訓練することは、決定を行うとき調査する選択肢に関するガイドを提供するために第１の態様を利用し、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する、節８に記載のシステム。
１０．  第１の態様は、特定のタスク事例用の一連のローカルな方策を反復して最適化するガイド付き方策探索を実装し、タスク事例にわたって使用可能で一般的なグローバルな方策を訓練するためにローカルな方策を使用して探索空間を制限する、節９に記載のシステム。
１１．  全自動運転用の強化学習の制御装置を利用することは、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する、節９に記載のシステム。
１２．  視界モデルは、１つまたは複数の乗り物カメラを用いて獲得した画像および／または映像を介して訓練される、節８に記載のシステム。
１３．  全自動運転用の強化学習の制御装置を訓練することは、完全に又は部分的に観察された状態を含むラベル付き画像を利用する、節８に記載の方法。
１４．  強化学習の制御装置は、駆動機構、制動機構及び加速機構の少なくとも１つに信号を送ることによって乗り物を自動運転するようにさらに構成されている、節８に記載の方法。
１５．  乗り物であって、
視界情報を獲得するように構成された１つまたは複数のカメラと、
１つまたは複数のコンピュータ装置とを備え、コンピュータ装置は、
視界情報を含む視界モデルを利用して全自動運転用の強化学習の制御装置を訓練し、および
視界情報を含む視界モデルを利用して全自動運転用の強化学習の制御装置を利用するように構成されていることを特徴とする乗り物。
１６．  全自動運転用の強化学習の制御装置を訓練することは、決定を行うとき調査する選択肢に関するガイドを提供するために第１の態様を利用し、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する、節１５に記載の乗り物。
１７．  第１の態様は、特定のタスク事例用の一連のローカルな方策を反復して最適化するガイド付き方策探索を実装し、タスク事例にわたって使用可能で一般的なグローバルな方策を訓練するためにローカルな方策を使用して探索空間を制限する、節１６に記載の乗り物。
１８．  全自動運転用の強化学習の制御装置を利用することは、視界モデルからの視界情報に基づいて反応する方法を学習するために第２の態様を利用する、節１６に記載の乗り物。
１９．  全自動運転用の強化学習の制御装置を訓練することは、完全に又は部分的に観察された状態を含むラベル付き画像を利用する、節１５に記載の乗り物。
２０．  強化学習の制御装置は、駆動機構、制動機構及び加速機構の少なくとも１つに信号を送ることによって乗り物を自動運転するようにさらに構成されている、節１５に記載の乗り物。
【００２２】
本発明は、本発明の構成および動作の原理の理解を容易にするために詳細を組み込む、特定の実施形態の点から記載されている。本明細書において、そのような特定の実施形態及びその詳細を参照することは、本明細書に添付された特許請求の範囲をそれらに限定することを意図しない。当業者には、例示のために選ばれた実施形態において、特許請求の範囲によって定まる本発明の趣旨及び範囲から逸脱することなく、他の様々な修正をなし得ることは容易に明白である。
【符号の説明】
【００２３】
１００：乗り物カメラ
１０２：視界モデル
１０４：強化学習制御装置
１０６：ラベル付き画像
【図１】
2019182400.tif 000003
【図２】
2019182400.tif 000004
【図３】
2019182400.tif 000005
【図４】
2019182400.tif 000006
【図５】
2019182400.tif 000007
【外国語明細書】
2019182400000001.pdf