(57)【要約】車両の自動運転における軌道を決定するためのポリシーを生成する装置は、報酬推定器と、車両の周囲の状況と車両の行動とを報酬推定器へ入力することによって得られる報酬の期待値が高くなるようにポリシーを生成する処理部と、を備える。報酬は、所定の運転者による実際の行動に基づいて更新される。報酬推定器に入力される車両の行動は、ポリシーに基づいて更新される。
2018220829.tif 000002
【特許請求の範囲】
【請求項１】
車両の自動運転における軌道を決定するためのポリシーを生成する装置であって、
報酬推定器と、
車両の周囲の状況と前記車両の行動とを前記報酬推定器へ入力することによって得られる報酬の期待値が高くなるようにポリシーを生成する処理部と、
を備え、
前記報酬は、所定の運転者による実際の行動に基づいて更新され、
前記報酬推定器に入力される前記車両の行動は、前記ポリシーに基づいて更新される
ことを特徴とする装置。
【請求項２】
前記処理部は、前記ポリシーに基づいて決定された行動と前記所定の運転者の実際の行動との比較結果に基づいて前記報酬を更新することを特徴とする請求項１に記載の装置。
【請求項３】
前記所定の運転者は、無事故運転者と、タクシー運転者と、認定を受けた運転熟練者との少なくとも何れかを含むことを特徴とする請求項１又は２に記載の装置。
【請求項４】
自動運転を行う車両であって、
請求項１乃至３の何れか１項に記載の装置によって生成されたポリシーを格納する記憶部と、
前記車両の周囲の状況に対して前記ポリシーを適用することによって軌道を決定し、前記軌道に従って前記車両の走行を制御する制御部と
を備えることを特徴とする車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポリシー生成装置及び車両に関する。
【背景技術】
【０００２】
運転支援や自動運転に対して人工知能関連技術が活用されてきている。特許文献１には、熟練ドライバーの注視行動モデルに基づくニューラルネットワークを利用して、対象物の配置パターンから高危険度対象物を抽出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３０２９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、抽出した高危険度対象物標を運転者に提示するにとどまり、車両の走行制御に利用していない。高危険度対象物標を用いて自動運転で抑制されるべき行動（例えば、このような物標への接近）を規定することは可能である。しかし、抑制されるべき行動を回避するだけでは人間の運転者、特に運転熟練者が行う自然な走行を模倣することは困難である。本発明の一部の側面では、人間の運転者が行う走行を模倣するポリシーを生成するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
一部の実施形態によれば、車両の自動運転における軌道を決定するためのポリシーを生成する装置であって、報酬推定器と、車両の周囲の状況と前記車両の行動とを前記報酬推定器へ入力することによって得られる報酬の期待値が高くなるようにポリシーを生成する処理部と、を備え、前記報酬は、所定の運転者による実際の行動に基づいて更新され、前記報酬推定器に入力される前記車両の行動は、前記ポリシーに基づいて更新されることを特徴とする装置が提供される。
【発明の効果】
【０００６】
本発明によれば、人間の運転者が行う走行を模倣するポリシーを生成するための技術が提供される。【０００７】
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。添付図面において、同じ又は同様の構成に同じ参照番号を付す。
【図面の簡単な説明】
【０００８】
添付の図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
【図１】一部の実施形態の車両の構成例を説明する図。
【図２】一部の実施形態のポリシーを生成する装置の構成例を説明する図。
【図３】一部の実施形態のポリシーを生成する方法の例を説明する図。
【発明を実施するための形態】
【０００９】
添付の図面を参照しつつ本発明の実施形態について以下に説明する。様々な実施形態を通じて同様の要素には同一の参照符号を付し、重複する説明を省略する。また、各実施形態は適宜変更、組み合わせが可能である。
【００１０】
図１は、本発明の一実施形態に係る車両用制御装置のブロック図であり、車両１を制御する。図１において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。
【００１１】
図１の制御装置は、制御ユニット２を含む。制御ユニット２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０〜２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、メモリおよびインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、プロセッサ２０ａとメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムが含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ等の専用の集積回路を備えてもよい。
【００１２】
以下、各ＥＣＵ２０〜２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、統合したりすることが可能である。
【００１３】
ＥＣＵ２０は、車両１の自動運転に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。後述する制御例では、操舵と加減速の双方を自動制御する。
【００１４】
ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。
【００１５】
ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニット４１〜４３の制御および検知結果の情報処理を行う。検知ユニット４１は、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部に２つ設けられている。カメラ４１が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。
【００１６】
検知ユニット４２は、ライダ（レーザレーダ）であり（以下、ライダ４２と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、ライダ４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。検知ユニット４３は、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。
【００１７】
ＥＣＵ２２は、一方のカメラ４１と、各ライダ４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４２と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。
【００１８】
ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪即等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、メモリに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。ＥＣＵ２４、地図データベース２４ａ、ＧＰＳセンサ２４ｂは、いわゆるナビゲーション装置を構成している。
【００１９】
ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。
【００２０】
ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。
【００２１】
ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は車両１の前部、ドアミラーおよび後部に設けられている。
【００２２】
ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、音声入力装置も含まれてもよい。
【００２３】
ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。
【００２４】
続いて、図２を参照して、自動運転における経路を算出するためのポリシーを生成するための装置２００の構成について説明する。ポリシーとは、車両１の所与の周囲状況に対して車両１がとるべき軌道を算出するためのモデル（関数）のことである。
【００２５】
車両１がとるべき軌道とは、例えば、目的地へ向けて車両１が走行するために短期間（例えば５秒間）で車両１が走行すべき軌道のことである。この軌道は、所定時間（例えば０．１秒）刻みで車両１の位置を決定することによって特定される。例えば、０．１秒刻みで５秒間分の軌道を特定する場合、０．１秒後から５．０秒後までの５０個の時点における車両１の位置がそれぞれ決定され、この５０個の点が結ばれる軌道が車両１の進むべき軌道として決定される。ここでの「短期間」は、車両１が走行する全行程と比較して大幅に短い期間であり、例えば、検知ユニットが周囲の環境を検知できる範囲や、車両１の制動に必要な時間等に基づいて定められる。また、「所定時間」は、周囲の環境の変化に車両１が適応することができるような短さに設定される。ＥＣＵ２０は、このようにして特定した軌道に従って、ＥＣＵ２１、ＥＣＵ２６および２９に指示して、車両１の操舵、加減速を制御する。
【００２６】
装置２００は、プロセッサ２０１と、メモリ２０２と、報酬推定器２０３と、記憶装置２０４とを備える。プロセッサ２０１は、例えばＣＰＵ等の汎用回路であり、装置２００全体の処理を司る。メモリ２０２は、ＲＯＭやＲＡＭの組み合わせによって構成され、装置２００の動作に必要なプログラムやデータが記憶装置２０４から読み出されて実行される。
【００２７】
報酬推定器２０３は、深層学習を行うために用いられるデバイスである。報酬推定器２０３は、ＣＰＵ等の汎用回路で構成されてもよいし、ＡＳＩＣやＦＰＧＡなどの専用回路で構成されてもよい。記憶装置２０４は、装置２００の処理に用いられるデータを格納し、例えばＨＤＤやＳＤＤで構成される。記憶装置２０４は装置２００に含まれてもよいし、装置２００とは別個の装置として構成されてもよい。例えば、記憶装置２０４は、ネットワークを通じて装置２００に接続されたデータベースサーバなどであってもよい。
【００２８】
例えば、記憶装置２０４は、所定の運転者の実際の走行データに基づく参照行動を記憶している。所定の運転者は、例えば無事故運転者と、タクシー運転者と、認定を受けた運転熟練者との少なくとも何れかを含んでもよい。無事故運転者とは、所定の期間（例えば５年間）事故を起こしていない運転者のことである。タクシー運転者とは、業としてタクシーを運転する運転者のことである。認定を受けた運転熟練者とは、政府や企業などから優良であることの認定を受けた運転者のことである。以下では、所定の運転者として運転熟練者を扱う。
【００２９】
参照行動とは、車両の周囲状況と、その周囲状況において運転熟練者が実際にとった行動との組み合わせのことである。周囲状況は、例えば自車両の速度、車線における自車両の位置、自車両に対する他の物標（他車両や歩行者）の位置などを含む。行動は、例えば車両の例えばアクセル操作量の変化、ブレーキ操作量の変化、ハンドル操作量の変化や、方向指示器の操作を含む。記憶装置２０４はこの参照駆動を例えば５０万セット程度記憶している。行動は各操作量について１つの値で表現されてもよいし、各操作量について、各値を有する確率分布として表現されてもよい。この確率分布は、車両１が置かれた状況で運転熟達者がとる確率が高い行動ほど高い値を有し、運転熟達者がとる確率が低い行動ほど低い値を有する分布である。また、多数の車両から走行データを収集し、その中から、急発進、急制動、急ハンドルが行われない、又は、走行速度が安定している等の所定の基準を満たした走行データを抽出して、運転熟達者の走行データとして取り扱ってもよい。
【００３０】
続いて、図３を参照して、自動運転における経路を算出するためのポリシーを生成するための方法について説明する。この方法は、装置２００のプロセッサ２０１によって実行される。以下の方法では、逆強化学習によってポリシーが生成される。
【００３１】
ステップＳ３０１で、プロセッサ２０１は、各事象に対する報酬の初期設定を行う。報酬が割り当てられる事象には、正の報酬が与えられるものと、負の報酬が与えられるものがある。正の報酬が与えられる事象として、車両が制限時間内に目的地へ到達した場合がある。負の報酬が与えられる事象として、車両が他車両に衝突した場合、進行可能にもかかわらず停止し続ける場合、歩行者の至近距離を高速で走行した場合、急加速・急減速を行った場合などがある。
【００３２】
ステップＳ３０２で、プロセッサ２０１は、暫定ポリシーの初期設定を行う。暫定ポリシーとは、後続の処理によって必要に応じて更新される暫定的なポリシーのことである。例えば、暫定ポリシーの初期設定は、モデルのパラメータをランダムに設定することによって行われてもよい。
【００３３】
ステップＳ３０３で、プロセッサ２０１は、報酬推定器２０３を用いて機械学習を行うことによって、所与の周囲状況に対して暫定ポリシーに従って行動した場合の報酬の期待値を算出する。まず、プロセッサ２０１は、車両がおかれる初期の周囲状況をランダムに１つ決定する。そして、プロセッサ２０１は、この周囲状況に対して暫定ポリシーに従って車両がとる行動を決定する。その後、プロセッサ２０１は、車両がこの行動をとった場合の周囲状況の変化をシミュレートする。プロセッサ２０１は、一定期間（例えば、１時間）が経過するか、報酬が設定された事象に到達するまでこの処理を繰り返し、その走行中に発生した事象の報酬の期待値を算出する。具体的に、プロセッサ２０１は、車両の周囲状況と車両の行動とを報酬推定器２０３へ入力することによって得られる報酬の期待値を算出する。
【００３４】
ステップＳ３０４で、プロセッサ２０１は、算出された報酬の期待値が学習終了条件を満たすかどうかを判定する。プロセッサ２０１は、条件を満たす場合（ステップＳ３０４で「ＹＥＳ」）に処理をステップＳ３０６へ進め、条件を満たさない場合（ステップＳ３０４で「ＮＯ」）に処理をステップＳ３０５に進める。例えば、プロセッサ２０１は、複数回の試行において算出された報酬の期待値が閾値を超えた場合に学習終了条件を満たすと判定する。
【００３５】
ステップＳ３０５で、プロセッサ２０１は、暫定ポリシーを更新して処理をステップＳ３０３に戻す。例えば、プロセッサ２０１は、報酬の期待値が高くなるように暫定ポリシーを更新する。
【００３６】
ステップＳ３０６で、プロセッサ２０１は、ステップＳ３０２〜Ｓ３０５を通じて得られた暫定ポリシーを中間ポリシーとする。中間ポリシーとは、ステップＳ３０２〜Ｓ３０５までの強化学習によって得られたポリシーのことである。
【００３７】
ステップＳ３０７で、プロセッサ２０１は、ある状況に対して中間ポリシーに従って車両がとる行動を決定する。この状況は、記憶装置２０４に記憶された運転熟練者の参照行動に含まれる状況から選択される。このステップで、複数の状況に対してそれぞれ行動が決定されてもよい。
【００３８】
ステップＳ３０８で、プロセッサ２０１は、ステップＳ３０７で決定された行動と、同じ状況での参照行動とを比較し、それらの誤差が閾値以下であるかを判定する。プロセッサ２０１は、閾値以下の場合（ステップＳ３０８で「ＹＥＳ」）に処理をステップＳ３１０へ進め、閾値よりも大きい場合（ステップＳ３０８で「ＮＯ」）に処理をステップＳ３０９に進める。例えば、アクセル操作量について、両者の差が参照行動量の１％以下であるときに誤差が閾値以下であると判定されてもよい。
【００３９】
ステップＳ３０９で、プロセッサ２０１は、個別の事象に対する報酬を更新する。例えば、プロセッサ２０１は、上述の参照行動との誤差が低減するように報酬を更新する。その後、プロセッサ２０１は処理をステップＳ３０２に戻して、中間ポリシーを再度決定する。
【００４０】
ステップＳ３１０で、プロセッサ２０１は、ステップＳ３０１〜Ｓ３０９を通じて得られた中間ポリシーを最終ポリシーとする。最終ポリシーとは、車両１のＥＣＵ２０へ格納され、自動運転に使用されるポリシーである。
【００４１】
ＥＣＵ２０のメモリ２０ｂにこの最終ポリシーが格納される。ＥＣＵ２０のプロセッサ２０ａは、車両１の周囲の状況に対して最終ポリシーを適用することによって軌道を決定し、この軌道に従って車両１の走行を制御する。
【００４２】
＜実施形態のまとめ＞
＜構成１＞
車両（１）の自動運転における軌道を決定するためのポリシーを生成する装置（２００）であって、
報酬推定器（２０３）と、
車両の周囲の状況と前記車両の行動とを前記報酬推定器へ入力することによって得られる報酬の期待値が高くなるようにポリシーを生成する処理部（２０１）と、
を備え、
前記報酬は、所定の運転者による実際の行動に基づいて更新され、
前記報酬推定器に入力される前記車両の行動は、前記ポリシーに基づいて更新される
ことを特徴とする装置。
【００４３】
この構成によれば、運転者の行動を模倣するポリシーが生成可能である。
【００４４】
＜構成２＞
前記処理部は、前記ポリシーに基づいて決定された行動と前記所定の運転者の実際の行動との比較結果に基づいて前記報酬を更新することを特徴とする構成１に記載の装置。
【００４５】
この構成によれば、人間の運転者が行う走行を模倣するポリシーを生成することが可能となる。
【００４６】
＜構成３＞
前記所定の運転者は、無事故運転者と、タクシー運転者と、認定を受けた運転熟練者との少なくとも何れかを含むことを特徴とする構成１又は２に記載の装置。
【００４７】
この構成によれば、技術が高い運転者の行動を模倣するポリシーが生成可能になる。
【００４８】
＜構成４＞
自動運転を行う車両（１）であって、
構成１乃至３の何れか１項に記載の装置（２００）によって生成されたポリシーを格納する記憶部（２０ｂ）と、
前記車両の周囲の状況に対して前記ポリシーを適用することによって軌道を決定し、前記軌道に従って前記車両の走行を制御する制御部（２０ａ）と
を備えることを特徴とする車両。
【００４９】
この構成によれば、運転者の行動を模倣するポリシーに従った自動運転が可能になる。
【００５０】
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
【図１】
2018220829.tif 000003
【図２】
2018220829.tif 000004
【図３】
2018220829.tif 000005
【手続補正書】
【提出日】平成30年10月3日(2018.10.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両の自動運転における軌道を決定するためのポリシーを生成する装置であって、
報酬推定器と、
車両の周囲の状況と前記車両の行動とを前記報酬推定器へ入力することによって得られる報酬の期待値が高くなるようにポリシーを生成する処理部と、
を備え、
前記処理部は、周囲の状況に対して暫定ポリシーを適用することによって車両がとる行動を決定することと、前記周囲の状況と前記行動とを前記報酬推定器に入力することによって報酬の期待値を得ることと、前記報酬の期待値が所定の閾値を越えるまで前記暫定ポリシーを更新することと、を含む強化学習によって中間ポリシーを生成し、
所定の運転者による実際の周囲の状況に対して前記中間ポリシーを適用することによって車両がとる行動を決定し、
前記中間ポリシーを適用することにより決定された行動と、前記所定の運転者による実際の行動との間の誤差が閾値以下であるかを判定し、
前記誤差が前記閾値よりも大きい場合に、前記報酬推定器の報酬を更新し、前記更新された報酬を有する前記報酬推定器で前記中間ポリシーを再度決定し、
前記誤差が前記閾値以下である場合に、前記中間ポリシーを前記ポリシーとする
ことを特徴とする装置。
【請求項２】
（削除）
【請求項３】
前記所定の運転者は、無事故運転者と、タクシー運転者と、認定を受けた運転熟練者との少なくとも何れかを含むことを特徴とする請求項１に記載の装置。
【請求項４】
自動運転を行う車両であって、
請求項１又は３に記載の装置によって生成されたポリシーを格納する記憶部と、
前記車両の周囲の状況に対して前記ポリシーを適用することによって軌道を決定し、前記軌道に従って前記車両の走行を制御する制御部と
を備えることを特徴とする車両。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
技術分野
［０００１］
本発明は、ポリシー生成装置及び車両に関する。
背景技術
［０００２］
運転支援や自動運転に対して人工知能関連技術が活用されてきている。特許文献１には、熟練ドライバーの注視行動モデルに基づくニューラルネットワークを利用して、対象物の配置パターンから高危険度対象物を抽出する技術が記載されている。
先行技術文献
特許文献
［０００３］
特許文献１：特開２００８−２３０２９６号公報
発明の概要
発明が解決しようとする課題
［０００４］
特許文献１では、抽出した高危険度対象物標を運転者に提示するにとどまり、車両の走行制御に利用していない。高危険度対象物標を用いて自動運転で抑制されるべき行動（例えば、このような物標への接近）を規定することは可能である。しかし、抑制されるべき行動を回避するだけでは人間の運転者、特に運転熟練者が行う自然な走行を模倣することは困難である。本発明の一部の側面では、人間の運転者が行う走行を模倣するポリシーを生成するための技術を提供することを目的とする。
課題を解決するための手段
［０００５］
一部の実施形態によれば、車両の自動運転における軌道を決定するためのポリシーを生成する装置であって、報酬推定器と、車両の周囲の状況と前記車両の行動とを前記報酬推定器へ入力することによって得られる報酬の期待値が高くなるようにポリシーを生成する処理部と、を備え、前記処理部は、周囲の状況に対して暫定ポリシーを適用することによって
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
車両がとる行動を決定することと、前記周囲の状況と前記行動とを前記報酬推定器に入力することによって報酬の期待値を得ることと、前記報酬の期待値が所定の閾値を越えるまで前記暫定ポリシーを更新することと、を含む強化学習によって中間ポリシーを生成し、所定の運転者による実際の周囲の状況に対して前記中間ポリシーを適用することによって車両がとる行動を決定し、前記中間ポリシーを適用することにより決定された行動と、前記所定の運転者による実際の行動との間の誤差が閾値以下であるかを判定し、前記誤差が前記閾値よりも大きい場合に、前記報酬推定器の報酬を更新し、前記更新された報酬を有する前記報酬推定器で前記中間ポリシーを再度決定し、前記誤差が前記閾値以下である場合に、前記中間ポリシーを前記ポリシーとすることを特徴とする装置が提供される。
発明の効果
［０００６］
本発明によれば、人間の運転者が行う走行を模倣するポリシーを生成するための技術が提供される。
［０００７］
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。添付図面において、同じ又は同様の構成に同じ参照番号を付す。
図面の簡単な説明
［０００８］
添付の図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
［図１］一部の実施形態の車両の構成例を説明する図。
［図２］一部の実施形態のポリシーを生成する装置の構成例を説明する図。
［図３］一部の実施形態のポリシーを生成する方法の例を説明する図。
発明を実施するための形態
［０００９］
添付の図面を参照しつつ本発明の実施形態について以下に説明する。様々な実施形態を通じて同様の要素には同一の参照符号を付し、重複する説明を省略する。また、各実施形態は適宜変更、組み合わせが可能である。
［００１０］
図１は、本発明の一実施形態に係る車両用制御装置のブロック図であり、車両１を制御する。図１において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。
［００１１］
図１の制御装置は、制御ユニット２を含む。制御ユニット２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０〜２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、メモリおよびインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、プロセッサ２０ａとメモリ２０ｂとを備える。メモリ２０ｂ
【国際調査報告】
2018220829.tif 000006
2018220829.tif 000007
2018220829.tif 000008