(57)【要約】      （修正有）【課題】経路プランニングを搭乗者ごとに最適化する学習方法及、装置、これを利用するテスト方法及びテスティング装置を提供する。【解決手段】学習装置において、、調整リワードネットワークをもって、走行軌跡に含まれた、実際状況ベクトル及び実際動作に対する情報を参照にして、第１調整リワードそれぞれを生成するようにするプロセスＳ０１−１、共通リワードモジュールをもって、実際状況ベクトル及び実際動作に対する情報を参照にして、第１共通リワードを生成するようにするプロセスＳ０１−２、予測ネットワークにして、実際状況ベクトルを参照とし、実際予想値それぞれを生成するようにするプロセスを遂行する段階Ｓ０１−２、学習装置が、第１ロスレイヤをもって、調整リワードロスを生成する段階Ｓ０２及びバックプロパゲーションを随行することで、調整リワードネットワークのパラメータを学習するようにする段階Ｓ０３を備える。【選択図】図３
2020126646.tif 000002
【特許請求の範囲】
【請求項１】
自律走行に対する共通基準によって策定された共通最適方策を調整して取得された対象運転者に対するカスタマイズ型最適方策に対応する、強化学習アルゴリズムの遂行に利用される少なくとも一つのカスタマイズ型リワード（ｒｅｗａｒｄ）関数を用いて対象車両の前記自律走行を支援する学習方法において、
（ａ）学習装置が、前記対象運転者の一つ以上の走行軌跡それぞれに含まれた、一つ以上の実際状況ベクトルに対応する時点に一つ以上の実際状況を参照にして遂行された一つ以上の実際動作に対する情報及びこれに対応する前記実際状況ベクトルが取得されると、（ｉ）前記共通最適方策に対応する共通リワード関数から前記カスタマイズ型リワード関数を生成するために利用される調整リワード関数として動作するように具現された調整リワードネットワークをもって、前記実際状況ベクトル及び前記実際動作に対する情報を参照にして、前記時点それぞれに遂行された前記実際動作それぞれに対応する一つ以上の第１調整リワードそれぞれを生成するようにするプロセス、（ｉｉ）前記共通リワード関数に対応する共通リワードモジュールをもって、前記実際状況ベクトル及び前記実際動作に対する情報を参照にして、前記時点それぞれに遂行された前記実際動作それぞれに対応する一つ以上の第１共通リワードそれぞれを生成するようにするプロセス、及び（ｉｉｉ）前記共通最適方策による共通最適動作がこれに対応する実際状況に基づいて遂行される間に生成されたカスタマイズ型リワードの和を予測する予測ネットワークをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれにおける前記実際状況それぞれに対応する一つ以上の実際予想値それぞれを生成するようにするプロセスを遂行する段階；及び
（ｂ）前記学習装置が、第１ロスレイヤをもって、（ｉ）それぞれの前記第１調整リワード及びそれぞれの前記第１共通リワードに対応する第１カスタマイズ型リワードそれぞれ、及び（ｉｉ）前記実際予想値を参照にして、少なくとも一つの調整リワードロスを生成するようにし、前記調整リワードロスを参照にしてバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記調整リワードネットワークのパラメータのうちの少なくとも一部を学習するようにする段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｂ）段階で、
前記学習装置は、前記第１ロスレイヤをもって、次の数式に従って前記調整リワードロスを生成するようにし、
【数２７】
2020126646.tif 000029
前記数式で、
【数２８】
2020126646.tif 000030
は、前記走行軌跡に該当する第１走行軌跡ないし第Ｎ走行軌跡を意味し、Ｖcommon（st）は、前記走行軌跡のうちの特定走行軌跡の第ｔ時点から最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記実際予想値のうちの特定実際予想値を意味し、
【数２９】
2020126646.tif 000031
は、前記特定走行軌跡の前記第ｔ時点と同じであるか、それ以降である第ｒ時点に対応する、前記第１カスタマイズ型リワードのなかの第１特定カスタマイズ型リワードを意味し、
【数３０】
2020126646.tif 000032
は、前記特定走行軌跡の最初の時点から前記最終時点までの時間範囲の間に生成された、前記第１調整リワードのうちの第１特定調整リワードの絶対値の和を意味し、γ及びａ、予め設定された定数（ｃｏｎｓｔａｎｔ）であることを特徴とする請求項１に記載の方法。
【請求項３】
（ｃ）前記学習装置が、（ｉ）前記調整リワードネットワークをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれに遂行される前記共通最適動作それぞれに対応する一つ以上の第２調整リワードを生成するようにするプロセス、（ｉｉ）前記共通リワードモジュールをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれに遂行される前記共通最適動作それぞれに対応する一つ以上の第２共通リワードを生成するようにするプロセス、及び（ｉｉｉ）前記予測ネットワークをもって、前記走行軌跡の前記時点それぞれに前記共通最適動作を遂行することによってもたらされる仮想状況それぞれに対応する一つ以上の仮想状況ベクトルそれぞれを参照にして、前記仮想状況に対応する一つ以上の仮想予想値を生成するようにするプロセスを遂行する段階；及び
（ｄ）前記学習装置が、第２ロスレイヤをもって、（ｉ）それぞれの前記第２調整リワード及びそれぞれの前記第２共通リワードに対応する、それぞれの第２カスタマイズ型リワード、（ｉｉ）前記仮想予想値、及び（ｉｉｉ）前記実際予想値を参照にして、少なくとも一つの予測ロスを生成するようにし、前記予測ロスを参照にしてバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記予測ネットワークのパラメータのうちの少なくとも一部を学習するようにする段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記（ｄ）段階で、
前記学習装置が、前記第２ロスレイヤをもって、次の数式に従って前記予測ロスを生成するようにし、
【数３１】
2020126646.tif 000033
前記数式で、
【数３２】
2020126646.tif 000034
は、前記走行軌跡に該当する第１走行軌跡ないし第Ｎ走行軌跡を意味し、Ｖcommon（st）は、前記走行軌跡のうちの特定走行軌跡の第ｔ時点から最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記実際予想値のうちの特定実際予想値を意味し、
【数３３】
2020126646.tif 000035
は、前記第ｔ時点から、前記共通最適動作のうちの一つを遂行してもたらされる特定仮想状況に基づく第ｔ＋１時点から前記最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記仮想予想値のうちの特定仮想予想値を意味し、
【数３４】
2020126646.tif 000036
は、前記第ｔ時点に対応する、前記第２カスタマイズ型リワードのうちの第２特定カスタマイズ型リワードを意味し、γは、予め設定された定数を意味することを特徴とする請求項３に記載の方法。
【請求項５】
前記仮想状況ベクトルは、前記共通最適方策に対応する前記共通最適動作及びそれに対応する前記実際状況ベクトルのうち少なくとも一部それぞれに状況予測演算を遂行することで取得され、
前記状況予測演算は、予め設定された状況予測ネットワークによって遂行されるか、（ｉ）仮想空間シミュレータをもって、特定実際状況ベクトルに対応する特定実際状況を仮想空間上にシミュレーションするようにし、（ｉｉ）前記特定実際状況における仮想車両をもって、前記共通最適方策による前記共通最適動作のうちの一つを遂行するようにし、（ｉｉｉ）前記共通最適動作のうちの前記一つによってもたらされる、前記仮想空間の変化を検出することにより遂行されることを特徴とする請求項３に記載の方法。
【請求項６】
前記学習装置は、前記（ａ）段階及び前記（ｂ）段階に対応する、前記調整リワードネットワークを学習するプロセス及び前記（ｃ）段階及び前記（ｄ）段階に対応する、前記予測ネットワークを学習するプロセスを繰り返すことにより、前記調整リワードネットワーク及び前記予測ネットワークを完全に学習することを特徴とする請求項３に記載の方法。
【請求項７】
前記走行軌跡は、前記対象運転者に対応する走行軌跡グループから、前記走行軌跡を無作為にサンプリング（ｓａｍｐｌｉｎｇ）して生成されたミニバッチ（ｍｉｎｉ ｂａｔｃｈ）として前記学習装置に提供されることを特徴とする請求項１に記載の方法。
【請求項８】
前記共通最適方策による前記共通最適動作は、前記共通最適方策に対応する前記共通リワードモジュールを利用して前記強化学習アルゴリズムを遂行することにより最適化された一般強化学習エージェントによって決定されることを特徴とする請求項１に記載の方法。
【請求項９】
自律走行に対する共通基準によって策定された共通最適方策を調整して取得された対象運転者に対するカスタマイズ型最適方策に対応する、カスタマイズ型強化学習エージェントを学習するための少なくとも一つのカスタマイズ型リワード関数を用いて対象車両の前記自律走行を支援するテスト方法において、
（ａ）（１）学習装置が、前記対象運転者の一つ以上の学習用走行軌跡それぞれに含まれた、一つ以上の学習用実際状況ベクトルに対応する学習用時点に一つ以上の学習用実際状況を参照にして遂行された一つ以上の学習用実際動作に対する情報及びこれに対応する前記学習用実際状況ベクトルが取得されると、（ｉ）前記共通最適方策に対応する共通リワード関数から前記カスタマイズ型リワード関数を生成するために利用される調整リワード関数として動作するように具現された調整リワードネットワークをもって、前記学習用実際状況ベクトル及び前記学習用実際動作に対する情報を参照にして、前記学習用時点それぞれに遂行された前記学習用実際動作それぞれに対応する一つ以上の学習用第１調整リワードそれぞれを生成するようにするプロセス、（ｉｉ）前記共通リワード関数に対応する共通リワードモジュールをもって、前記学習用実際状況ベクトル及び前記学習用実際動作に対する情報を参照にして、前記学習用時点それぞれに遂行された前記学習用実際動作それぞれに対応する一つ以上の学習用第１共通リワードそれぞれを生成するようにするプロセス、及び（ｉｉｉ）前記学習用共通最適方策による学習用共通最適動作がこれに対応する学習用実際状況に基づいて遂行される間に生成された学習用カスタマイズ型リワードの和を予測する予測ネットワークをもって、前記学習用実際状況ベクトルを参照にして、前記学習用走行軌跡の前記学習用時点それぞれにおける前記学習用実際状況それぞれに対応する一つ以上の学習用実際予想値それぞれを生成するようにするプロセスを遂行し、（２）前記学習装置が、第１ロスレイヤをもって、（ｉ）それぞれの前記学習用第１調整リワード及びそれぞれの前記学習用第１共通リワードに対応する学習用第１カスタマイズ型リワードそれぞれ、及び（ｉｉ）前記学習用実際予想値を参照にして、少なくとも一つの調整リワードロスを生成するようにし、前記調整リワードロスを参照にしてバックプロパゲーションを遂行することで前記調整リワードネットワークのパラメータのうちの少なくとも一部を学習するようにした状態で、テスティング装置が、前記調整リワードネットワーク及び前記共通リワードモジュールをもって、（ｉ）第ｔ時点に対応するテスト用実際状況ベクトル及び（ｉｉ）前記カスタマイズ型強化学習エージェントによって生成されたテスト用実際動作を参照にして、テスト用調整リワード及びテスト用共通リワードを含むテスト用カスタマイズ型リワードを生成するようにする段階；及び
（ｂ）前記テスティング装置が、前記カスタマイズ型強化学習エージェントをもって、前記テスト用カスタマイズ型リワードを参照にして自分自身のパラメータを学習するようにする段階；
を含むことを特徴とする方法。
【請求項１０】
前記（ｂ）段階で、
前記カスタマイズ型強化学習エージェントは、前記テスト用カスタマイズ型リワードを参照にして、前記自身のパラメータを学習することにより、前記学習用実際動作と類似して前記対象車両が走行するように支援することを特徴とする請求項９に記載の方法。
【請求項１１】
自律走行に対する共通基準によって策定された共通最適方策を調整して取得された対象運転者に対するカスタマイズ型最適方策に対応する、強化学習アルゴリズムの遂行に利用される少なくとも一つのカスタマイズ型リワード（ｒｅｗａｒｄ）関数を用いて対象車両の前記自律走行を支援する学習装置において、
少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）前記対象運転者の一つ以上の走行軌跡それぞれに含まれた、一つ以上の実際状況ベクトルに対応する時点に一つ以上の実際状況を参照にして遂行された一つ以上の実際動作に対する情報及びこれに対応する前記実際状況ベクトルが取得されると、（ｉ）前記共通最適方策に対応する共通リワード関数から前記カスタマイズ型リワード関数を生成するために利用される調整リワード関数として動作するように具現された調整リワードネットワークをもって、前記実際状況ベクトル及び前記実際動作に対する情報を参照にして、前記時点それぞれに遂行された前記実際動作それぞれに対応する一つ以上の第１調整リワードそれぞれを生成するようにするプロセス、（ｉｉ）前記共通リワード関数に対応する共通リワードモジュールをもって、前記実際状況ベクトル及び前記実際動作に対する情報を参照にして、前記時点それぞれに遂行された前記実際動作それぞれに対応する一つ以上の第１共通リワードそれぞれを生成するようにするプロセス、及び（ｉｉｉ）前記共通最適方策による共通最適動作がこれに対応する実際状況に基づいて遂行される間に生成されたカスタマイズ型リワードの和を予測する予測ネットワークをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれにおける前記実際状況それぞれに対応する一つ以上の実際予想値それぞれを生成するようにするプロセスを遂行するプロセス、及び（ＩＩ）第１ロスレイヤをもって、（ｉ）それぞれの前記第１調整リワード及びそれぞれの前記第１共通リワードに対応する第１カスタマイズ型リワードそれぞれ、及び（ｉｉ）前記実際予想値を参照にして、少なくとも一つの調整リワードロスを生成するようにし、前記調整リワードロスを参照にしてバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記調整リワードネットワークのパラメータのうちの少なくとも一部を学習するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする装置。
【請求項１２】
前記（ＩＩ）プロセスで、
前記プロセッサは、前記第１ロスレイヤをもって、次の数式に従って前記調整リワードロスを生成するようにし、
【数３５】
2020126646.tif 000037
前記数式で、
【数３６】
2020126646.tif 000038
は、前記走行軌跡に該当する第１走行軌跡ないし第Ｎ走行軌跡を意味し、Ｖcommon（st）は、前記走行軌跡のうちの特定走行軌跡の第ｔ時点から最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記実際予想値のうちの特定実際予想値を意味し、
【数３７】
2020126646.tif 000039
は、前記特定走行軌跡の前記第ｔ時点と同じであるか、それ以降である第ｒ時点に対応する、前記第１カスタマイズ型リワードのなかの第１特定カスタマイズ型リワードを意味し、
【数３８】
2020126646.tif 000040
は、前記特定走行軌跡の最初の時点から前記最終時点までの時間範囲の間に生成された、前記第１調整リワードのうちの第１特定調整リワードの絶対値の和を意味し、γ及びａは、予め設定された定数であることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記プロセッサが、（ＩＩＩ）（ｉ）前記調整リワードネットワークをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれに遂行される前記共通最適動作それぞれに対応する一つ以上の第２調整リワードを生成するようにするプロセス、（ｉｉ）前記共通リワードモジュールをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれに遂行される前記共通最適動作それぞれに対応する一つ以上の第２共通リワードを生成するようにするプロセス、及び（ｉｉｉ）前記予測ネットワークをもって、前記走行軌跡の前記時点それぞれに前記共通最適動作を遂行することによってもたらされる仮想状況それぞれに対応する一つ以上の仮想状況ベクトルそれぞれを参照にして、前記仮想状況に対応する一つ以上の仮想予想値を生成するようにするプロセスを遂行するプロセス；及び（ＩＶ）第２ロスレイヤをもって、（ｉ）それぞれの前記第２調整リワード及びそれぞれの前記第２共通リワードに対応する、それぞれの第２カスタマイズ型リワード、（ｉｉ）前記仮想予想値、及び（ｉｉｉ）前記実際予想値を参照にして、少なくとも一つの予測ロスを生成するようにし、前記予測ロスを参照にしてバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記予測ネットワークのパラメータのうちの少なくとも一部を学習するようにするプロセス；をさらに遂行することを特徴とする請求項１１に記載の装置。
【請求項１４】
前記（ＩＶ）プロセスで、
前記プロセッサが、前記第２ロスレイヤをもって、次の数式に従って前記予測ロスを生成するようにし、
【数３９】
2020126646.tif 000041
前記数式で、
【数４０】
2020126646.tif 000042
は、前記走行軌跡に該当する第１走行軌跡ないし第Ｎ走行軌跡を意味し、Ｖcommon（st）は、前記走行軌跡のうちの特定走行軌跡の第ｔ時点から最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記実際予想値のうちの特定実際予想値を意味し、
【数４１】
2020126646.tif 000043
は、前記第ｔ時点から、前記共通最適動作のうちの一つを遂行してもたらされる特定仮想状況に基づく第ｔ＋１時点から前記最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記仮想予想値のうちの特定仮想予想値を意味し、
【数４２】
2020126646.tif 000044
は、前記第ｔ時点に対応する、前記第２カスタマイズ型リワードのうちの第２特定カスタマイズ型リワードを意味し、γは、予め設定された定数を意味することを特徴とする請求項１３に記載の装置。
【請求項１５】
前記仮想状況ベクトルは、前記共通最適方策に対応する前記共通最適動作及びそれに対応する前記実際状況ベクトルのうち少なくとも一部それぞれに状況予測演算を遂行することで取得され、
前記状況予測演算は、予め設定された状況予測ネットワークによって遂行されるか、（ｉ）仮想空間シミュレータをもって、特定実際状況ベクトルに対応する特定実際状況を仮想空間上にシミュレーションするようにし、（ｉｉ）前記特定実際状況における仮想車両をもって、前記共通最適方策による前記共通最適動作のうちの一つを遂行するようにし、（ｉｉｉ）前記共通最適動作のうちの前記一つによってもたらされる、前記仮想空間の変化を検出することにより遂行されることを特徴とする請求項１３に記載の装置。
【請求項１６】
前記プロセッサは、前記（Ｉ）プロセス及び前記（ＩＩ）プロセスに対応する、前記調整リワードネットワークを学習するプロセス及び前記（ＩＩＩ）プロセス及び前記（ＩＶ）プロセスに対応する、前記予測ネットワークを学習するプロセスを繰り返すことにより、前記調整リワードネットワーク及び前記予測ネットワークを完全に学習することを特徴とする請求項１３に記載の装置。
【請求項１７】
前記走行軌跡は、前記対象運転者に対応する走行軌跡グループから、前記走行軌跡を無作為にサンプリング（ｓａｍｐｌｉｎｇ）して生成されたミニバッチ（ｍｉｎｉ ｂａｔｃｈ）として前記学習装置に提供されることを特徴とする請求項１１に記載の装置。
【請求項１８】
前記共通最適方策による前記共通最適動作は、前記共通最適方策に対応する前記共通リワードモジュールを利用して前記強化学習アルゴリズムを遂行することにより最適化された一般強化学習エージェントによって決定されることを特徴とする請求項１１に記載の装置。
【請求項１９】
自律走行に対する共通基準によって策定された共通最適方策を調整して取得された対象運転者に対するカスタマイズ型最適方策に対応する、カスタマイズ型強化学習エージェントを学習するための少なくとも一つのカスタマイズ型リワード関数を用いて対象車両の前記自律走行を支援するテスティング装置において、
少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）（１）学習装置が、前記対象運転者の一つ以上の学習用走行軌跡それぞれに含まれた、一つ以上の学習用実際状況ベクトルに対応する学習用時点に一つ以上の学習用実際状況を参照にして遂行された一つ以上の学習用実際動作に対する情報及びこれに対応する前記学習用実際状況ベクトルが取得されると、（ｉ）前記共通最適方策に対応する共通リワード関数から前記カスタマイズ型リワード関数を生成するために利用される調整リワード関数として動作するように具現された調整リワードネットワークをもって、前記学習用実際状況ベクトル及び前記学習用実際動作に対する情報を参照にして、前記学習用時点それぞれに遂行された前記学習用実際動作それぞれに対応する一つ以上の学習用第１調整リワードそれぞれを生成するようにするプロセス、（ｉｉ）前記共通リワード関数に対応する共通リワードモジュールをもって、前記学習用実際状況ベクトル及び前記学習用実際動作に対する情報を参照にして、前記学習用時点それぞれに遂行された前記学習用実際動作それぞれに対応する一つ以上の学習用第１共通リワードそれぞれを生成するようにするプロセス、及び（ｉｉｉ）前記学習用共通最適方策による学習用共通最適動作がこれに対応する学習用実際状況に基づいて遂行される間に生成された学習用カスタマイズ型リワードの和を予測する予測ネットワークをもって、前記学習用実際状況ベクトルを参照にして、前記学習用走行軌跡の前記学習用時点それぞれにおける前記学習用実際状況それぞれに対応する一つ以上の学習用実際予想値それぞれを生成するようにするプロセスを遂行し、（２）前記学習装置が、第１ロスレイヤをもって、（ｉ）それぞれの前記学習用第１調整リワード及びそれぞれの前記学習用第１共通リワードに対応する学習用第１カスタマイズ型リワードそれぞれ、及び（ｉｉ）前記学習用実際予想値を参照にして、少なくとも一つの調整リワードロスを生成するようにし、前記調整リワードロスを参照にしてバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記調整リワードネットワークのパラメータのうちの少なくとも一部を学習するようにした状態で、前記調整リワードネットワーク及び前記共通リワードモジュールをもって、（ｉ）第ｔ時点に対応するテスト用実際状況ベクトル及び（ｉｉ）前記カスタマイズ型強化学習エージェントによって生成されたテスト用実際動作を参照にして、テスト用調整リワード及びテスト用共通リワードを含むテスト用カスタマイズ型リワードを生成するようにするプロセス、及び（ＩＩ）前記適合型強化学習エージェントをもって、前記テスト用カスタマイズ型リワードを参照にして自分自身のパラメータを学習するようにするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とする装置。
【請求項２０】
前記（ＩＩ）プロセスで、
前記カスタマイズ型強化学習エージェントは、前記テスト用カスタマイズ型リワードを参照にして、前記自身のパラメータを学習することにより、前記学習用実際動作と類似して前記対象車両が走行するように支援することを特徴とする請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行車両に利用するための学習方法及び学習装置に関し；より詳細には、人の走行データをトレーニングデータとして利用して、強化学習を支援することによりカスタマイズ型経路プランニングを遂行する学習方法及び学習装置及びこれを利用するテスト方法及びテスティング装置に関する。
【背景技術】
【０００２】
自律走行は、安全かつ速やかに搭乗者を移動させることを目的とする。しかし、時々、経路プランニングを遂行する際、自律走行が達成しようとしていることと、搭乗者が望んでいることとが異なることがある。
【０００３】
たとえば、搭乗者の一部は、速いが不安定な走行経験よりは、急停車、急出発などのない安楽な走行経験を希望し得る。このような場合、搭乗者の一部を輸送する自律走行車両によって遂行された経路プランニングは、自律走行車両をもって、速いが安全ではない走行を行うようにすると、前記搭乗者の一部は、自律走行車両によって遂行される自律走行に満足しない場合がある。
【０００４】
したがって、このように経路プランニングを搭乗者ごとに最適化させることが重要であるが、このような方法は研究されていないのが現状である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、前述した問題点を解決することを目的とする。
【０００６】
また本発明は、人の走行データをトレーニングデータとして利用して強化学習アルゴリズムを支援することにより、カスタマイズ型経路プランニングを提供する学習方法を提供し、自律走行車両の搭乗者に満足できるような走行経験を提供することを目的とする。
【０００７】
また、本発明は、前記人の走行データを前記トレーニングデータとして利用して、前記強化学習アルゴリズムを支援するのに利用されるカスタマイズ型リワード関数を提供することにより、前記カスタマイズ型経路プランニングを提供することを他の目的とする。
【０００８】
また、本発明は、コンピューティングリソースの利用量を減らすべく、共通リワード関数を調整して、前記カスタマイズ型リワード関数を取得する方法を提供することを、また他の目的とする。
【課題を解決するための手段】
【０００９】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
【００１０】
本発明の一態様によれば、自律走行に対する共通基準によって策定された共通最適方策を調整して取得された対象運転者に対するカスタマイズ型最適方策に対応する、強化学習アルゴリズムの遂行に利用される少なくとも一つのカスタマイズ型リワード（ｒｅｗａｒｄ）関数を用いて対象車両の前記自律走行を支援する学習方法において、（ａ）学習装置が、前記対象運転者の一つ以上の走行軌跡それぞれに含まれた、一つ以上の実際状況ベクトルに対応する時点に一つ以上の実際状況を参照にして遂行された一つ以上の実際動作に対する情報及びこれに対応する前記実際状況ベクトルが取得されると、（ｉ）前記共通最適方策に対応する共通リワード関数から前記カスタマイズ型リワード関数を生成するために利用される調整リワード関数として動作するように具現された調整リワードネットワークをもって、前記実際状況ベクトル及び前記実際動作に対する情報を参照にして、前記時点それぞれに遂行された前記実際動作それぞれに対応する一つ以上の第１調整リワードそれぞれを生成するようにするプロセス、（ｉｉ）前記共通リワード関数に対応する共通リワードモジュールをもって、前記実際状況ベクトル及び前記実際動作に対する情報を参照にして、前記時点それぞれに遂行された前記実際動作それぞれに対応する一つ以上の第１共通リワードそれぞれを生成するようにするプロセス、及び（ｉｉｉ）前記共通最適方策による共通最適動作がこれに対応する実際状況に基づいて遂行される間に生成されたカスタマイズ型リワードの和を予測する予測ネットワークをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれにおける前記実際状況それぞれに対応する一つ以上の実際予想値それぞれを生成するようにするプロセスを遂行する段階；及び（ｂ）前記学習装置が、第１ロスレイヤをもって、（ｉ）それぞれの前記第１調整リワード及びそれぞれの前記第１共通リワードに対応する第１カスタマイズ型リワードそれぞれ、及び（ｉｉ）前記実際予想値を参照にして、少なくとも一つの調整リワードロスを生成するようにし、前記調整リワードロスを参照にしてバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記調整リワードネットワークのパラメータのうちの少なくとも一部を学習するようにする段階；を含むことを特徴とする方法が開示される。
【００１１】
一実施例として、 前記（ｂ）段階で、前記学習装置は、前記第１ロスレイヤをもって、次の数式に従って前記調整リワードロスを生成するようにし、
【００１２】
【数１】
2020126646.tif 000003
前記数式で、
【００１３】
【数２】
2020126646.tif 000004
は、前記走行軌跡に該当する第１走行軌跡ないし第Ｎ走行軌跡を意味し、Ｖcommon（st）は、前記走行軌跡のうちの特定走行軌跡の第ｔ時点から最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記実際予想値のうちの特定実際予想値を意味し、
【００１４】
【数３】
2020126646.tif 000005
は、前記特定走行軌跡の前記第ｔ時点と同じであるか、それ以降である第ｒ時点に対応する、前記第１カスタマイズ型リワードのなかの第１特定カスタマイズ型リワードを意味し、
【００１５】
【数４】
2020126646.tif 000006
は、前記特定走行軌跡の最初の時点から前記最終時点までの時間範囲の間に生成された、前記第１調整リワードのうちの第１特定調整リワードの絶対値の和を意味し、γびαは、予め設定された定数（ｃｏｎｓｔａｎｔ）であることを特徴とする。
【００１６】
一実施例として、（ｃ）前記学習装置が、（ｉ）前記調整リワードネットワークをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれに遂行される前記共通最適動作それぞれに対応する一つ以上の第２調整リワードを生成するようにするプロセス、（ｉｉ）前記共通リワードモジュールをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれに遂行される前記共通最適動作それぞれに対応する一つ以上の第２共通リワードを生成するようにするプロセス、及び（ｉｉｉ）前記予測ネットワークをもって、前記走行軌跡の前記時点それぞれに前記共通最適動作を遂行することによってもたらされる仮想状況それぞれに対応する一つ以上の仮想状況ベクトルそれぞれを参照にして、前記仮想状況に対応する一つ以上の仮想予想値を生成するようにするプロセスを遂行する段階；及び（ｄ）前記学習装置が、第２ロスレイヤをもって、（ｉ）それぞれの前記第２調整リワード及びそれぞれの前記第２共通リワードに対応する、それぞれの第２カスタマイズ型リワード、（ｉｉ）前記仮想予想値、及び（ｉｉｉ）前記実際予想値を参照にして、少なくとも一つの予測ロスを生成するようにし、前記予測ロスを参照にしてバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記予測ネットワークのパラメータのうちの少なくとも一部を学習するようにする段階；をさらに含むことを特徴とする。
【００１７】
一実施例として、前記（ｄ）段階で、前記学習装置が、前記第２ロスレイヤをもって、次の数式に従って前記予測ロスを生成するようにし、
【００１８】
【数５】
2020126646.tif 000007
前記数式で、
【００１９】
【数６】
2020126646.tif 000008
は、前記走行軌跡に該当する第１走行軌跡ないし第Ｎ走行軌跡を意味し、Ｖcommon（st）は、前記走行軌跡のうちの特定走行軌跡の第ｔ時点から最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記実際予想値のうちの特定実際予想値を意味し、
【００２０】
【数７】
2020126646.tif 000009
は、前記第ｔ時点から、前記共通最適動作のうちの一つを遂行してもたらされる特定仮想状況に基づく第ｔ＋１時点から前記最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記仮想予想値のうちの特定仮想予想値を意味し、
【００２１】
【数８】
2020126646.tif 000010
は、前記第ｔ時点に対応する、前記第２カスタマイズ型リワードのうちの第２特定カスタマイズ型リワードを意味し、γ、予め設定された定数を意味することを特徴とする。
【００２２】
一実施例として、前記仮想状況ベクトルは、前記共通最適方策に対応する前記共通最適動作及びそれに対応する前記実際状況ベクトルのうち少なくとも一部それぞれに状況予測演算を遂行することで取得され、前記状況予測演算は、予め設定された状況予測ネットワークによって遂行されるか、（ｉ）仮想空間シミュレータをもって、特定実際状況ベクトルに対応する特定実際状況を仮想空間上にシミュレーションするようにし、（ｉｉ）前記特定実際状況における仮想車両をもって、前記共通最適方策による前記共通最適動作のうちの一つを遂行するようにし、（ｉｉｉ）前記共通最適動作のうちの前記一つによってもたらされる、前記仮想空間の変化を検出することにより遂行されることを特徴とする。
【００２３】
一実施例として、前記学習装置は、前記（ａ）段階及び前記（ｂ）段階に対応する、前記調整リワードネットワークを学習するプロセス及び前記（ｃ）段階及び前記（ｄ）段階に対応する、前記予測ネットワークを学習するプロセスを繰り返すことにより、前記調整リワードネットワーク及び前記予測ネットワークを完全に学習することを特徴とする。
【００２４】
一実施例として、前記走行軌跡は、前記対象運転者に対応する走行軌跡グループから、前記走行軌跡を無作為にサンプリング（ｓａｍｐｌｉｎｇ）して生成されたミニバッチ（ｍｉｎｉ  ｂａｔｃｈ）として前記学習装置に提供されることを特徴とする。
【００２５】
一実施例として、前記共通最適方策による前記共通最適動作は、前記共通最適方策に対応する前記共通リワードモジュールを利用して前記強化学習アルゴリズムを遂行することにより最適化された一般強化学習エージェントによって決定されることを特徴とする。
【００２６】
本発明の他の態様によれば、自律走行に対する共通基準によって策定された共通最適方策を調整して取得された対象運転者に対するカスタマイズ型最適方策に対応する、カスタマイズ型強化学習エージェントを学習するための少なくとも一つのカスタマイズ型リワード関数を用いて対象車両の前記自律走行を支援するテスト方法において、（ａ）（１）学習装置が、前記対象運転者の一つ以上の学習用走行軌跡それぞれに含まれた、一つ以上の学習用実際状況ベクトルに対応する学習用時点に一つ以上の学習用実際状況を参照にして遂行された一つ以上の学習用実際動作に対する情報及びこれに対応する前記学習用実際状況ベクトルが取得されると、（ｉ）前記共通最適方策に対応する共通リワード関数から前記カスタマイズ型リワード関数を生成するために利用される調整リワード関数として動作するように具現された調整リワードネットワークをもって、前記学習用実際状況ベクトル及び前記学習用実際動作に対する情報を参照にして、前記学習用時点それぞれに遂行された前記学習用実際動作それぞれに対応する一つ以上の学習用第１調整リワードそれぞれを生成するようにするプロセス、（ｉｉ）前記共通リワード関数に対応する共通リワードモジュールをもって、前記学習用実際状況ベクトル及び前記学習用実際動作に対する情報を参照にして、前記学習用時点それぞれに遂行された前記学習用実際動作それぞれに対応する一つ以上の学習用第１共通リワードそれぞれを生成するようにするプロセス、及び（ｉｉｉ）前記学習用共通最適方策による学習用共通最適動作がこれに対応する学習用実際状況に基づいて遂行される間に生成された学習用カスタマイズ型リワードの和を予測する予測ネットワークをもって、前記学習用実際状況ベクトルを参照にして、前記学習用走行軌跡の前記学習用時点それぞれにおける前記学習用実際状況それぞれに対応する一つ以上の学習用実際予想値それぞれを生成するようにするプロセスを遂行し、（２）前記学習装置が、第１ロスレイヤをもって、（ｉ）それぞれの前記学習用第１調整リワード及びそれぞれの前記学習用第１共通リワードに対応する学習用第１カスタマイズ型リワードそれぞれ、及び（ｉｉ）前記学習用実際予想値を参照にして、少なくとも一つの調整リワードロスを生成するようにし、前記調整リワードロスを参照にしてバックプロパゲーションを遂行することで前記調整リワードネットワークのパラメータのうちの少なくとも一部を学習するようにした状態で、テスティング装置が、前記調整リワードネットワーク及び前記共通リワードモジュールをもって、（ｉ）第ｔ時点に対応するテスト用実際状況ベクトル及び（ｉｉ）前記カスタマイズ型強化学習エージェントによって生成されたテスト用実際動作を参照にして、テスト用調整リワード及びテスト用共通リワードを含むテスト用カスタマイズ型リワードを生成するようにする段階；及び（ｂ）前記テスティング装置が、前記カスタマイズ型強化学習エージェントをもって、前記テスト用カスタマイズ型リワードを参照にして自分自身のパラメータを学習するようにする段階；を含むことを特徴とする方法が開示される。
【００２７】
一実施例として、前記（ｂ）段階で、前記カスタマイズ型強化学習エージェントは、前記テスト用カスタマイズ型リワードを参照にして、前記自身のパラメータを学習することにより、前記学習用実際動作と類似して前記対象車両が走行するように支援することを特徴とする。
【００２８】
本発明のまた他の態様によれば、自律走行に対する共通基準によって策定された共通最適方策を調整して取得された対象運転者に対するカスタマイズ型最適方策に対応する、強化学習アルゴリズムの遂行に利用される少なくとも一つのカスタマイズ型リワード（ｒｅｗａｒｄ）関数を用いて対象車両の前記自律走行を支援する学習装置において、少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）前記対象運転者の一つ以上の走行軌跡それぞれに含まれた、一つ以上の実際状況ベクトルに対応する時点に一つ以上の実際状況を参照にして遂行された一つ以上の実際動作に対する情報及びこれに対応する前記実際状況ベクトルが取得されると、（ｉ）前記共通最適方策に対応する共通リワード関数から前記カスタマイズ型リワード関数を生成するために利用される調整リワード関数として動作するように具現された調整リワードネットワークをもって、前記実際状況ベクトル及び前記実際動作に対する情報を参照にして、前記時点それぞれに遂行された前記実際動作それぞれに対応する一つ以上の第１調整リワードそれぞれを生成するようにするプロセス、（ｉｉ）前記共通リワード関数に対応する共通リワードモジュールをもって、前記実際状況ベクトル及び前記実際動作に対する情報を参照にして、前記時点それぞれに遂行された前記実際動作それぞれに対応する一つ以上の第１共通リワードそれぞれを生成するようにするプロセス、及び（ｉｉｉ）前記共通最適方策による共通最適動作がこれに対応する実際状況に基づいて遂行される間に生成されたカスタマイズ型リワードの和を予測する予測ネットワークをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれにおける前記実際状況それぞれに対応する一つ以上の実際予想値それぞれを生成するようにするプロセスを遂行するプロセス、及び（ＩＩ）第１ロスレイヤをもって、（ｉ）それぞれの前記第１調整リワード及びそれぞれの前記第１共通リワードに対応する第１カスタマイズ型リワードそれぞれ、及び（ｉｉ）前記実際予想値を参照にして、少なくとも一つの調整リワードロスを生成するようにし、前記調整リワードロスを参照にしてバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記調整リワードネットワークのパラメータのうちの少なくとも一部を学習するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする装置が開示される。
【００２９】
一実施例として、前記（ＩＩ）プロセスで、前記プロセッサは、前記第１ロスレイヤをもって、次の数式に従って前記調整リワードロスを生成するようにし、
【００３０】
【数９】
2020126646.tif 000011
前記数式で、
【００３１】
【数１０】
2020126646.tif 000012
は、前記走行軌跡に該当する第１走行軌跡ないし第Ｎ走行軌跡を意味し、Ｖcommon（st）
は、前記走行軌跡のうちの特定走行軌跡の第ｔ時点から最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記実際予想値のうちの特定実際予想値を意味し、
【００３２】
【数１１】
2020126646.tif 000013
は、前記特定走行軌跡の前記第ｔ時点と同じであるか、それ以降である第ｒ時点に対応する、前記第１カスタマイズ型リワードのなかの第１特定カスタマイズ型リワードを意味し、
【００３３】
【数１２】
2020126646.tif 000014
は、前記特定走行軌跡の最初の時点から前記最終時点までの時間範囲の間に生成された、前記第１調整リワードのうちの第１特定調整リワードの絶対値の和を意味し、γびαは、予め設定された定数であることを特徴とする。
【００３４】
一実施例として、前記プロセッサが、（ＩＩＩ）（ｉ）前記調整リワードネットワークをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれに遂行される前記共通最適動作それぞれに対応する一つ以上の第２調整リワードを生成するようにするプロセス、（ｉｉ）前記共通リワードモジュールをもって、前記実際状況ベクトルを参照にして、前記走行軌跡の前記時点それぞれに遂行される前記共通最適動作それぞれに対応する一つ以上の第２共通リワードを生成するようにするプロセス、及び（ｉｉｉ）前記予測ネットワークをもって、前記走行軌跡の前記時点それぞれに前記共通最適動作を遂行することによってもたらされる仮想状況それぞれに対応する一つ以上の仮想状況ベクトルそれぞれを参照にして、前記仮想状況に対応する一つ以上の仮想予想値を生成するようにするプロセスを遂行するプロセス；及び（ＩＶ）第２ロスレイヤをもって、（ｉ）それぞれの前記第２調整リワード及びそれぞれの前記第２共通リワードに対応する、それぞれの第２カスタマイズ型リワード、（ｉｉ）前記仮想予想値、及び（ｉｉｉ）前記実際予想値を参照にして、少なくとも一つの予測ロスを生成するようにし、前記予測ロスを参照にしてバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記予測ネットワークのパラメータのうちの少なくとも一部を学習するようにするプロセス；をさらに遂行することを特徴とする。
【００３５】
一実施例として、前記（ＩＶ）プロセスで、前記プロセッサが、前記第２ロスレイヤをもって、次の数式に従って前記予測ロスを生成するようにし、
【００３６】
【数１３】
2020126646.tif 000015
前記数式で、
【００３７】
【数１４】
2020126646.tif 000016
は、前記走行軌跡に該当する第１走行軌跡ないし第Ｎ走行軌跡を意味し、Ｖcommon（st）は、前記走行軌跡のうちの特定走行軌跡の第ｔ時点から最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記実際予想値のうちの特定実際予想値を意味し、
【００３８】
【数１５】
2020126646.tif 000017
は、前記第ｔ時点から、前記共通最適動作のうちの一つを遂行してもたらされる特定仮想状況に基づく第ｔ＋１時点から前記最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記仮想予想値のうちの特定仮想予想値を意味し、
【００３９】
【数１６】
2020126646.tif 000018
は、前記第ｔ時点に対応する、前記第２カスタマイズ型リワードのうちの第２特定カスタマイズ型リワードを意味し、γは、予め設定された定数を意味することを特徴とする。
【００４０】
一実施例として、前記仮想状況ベクトルは、前記共通最適方策に対応する前記共通最適動作及びそれに対応する前記実際状況ベクトルのうち少なくとも一部それぞれに状況予測演算を遂行することで取得され、前記状況予測演算は、予め設定された状況予測ネットワークによって遂行されるか、（ｉ）仮想空間シミュレータをもって、特定実際状況ベクトルに対応する特定実際状況を仮想空間上にシミュレーションするようにし、（ｉｉ）前記特定実際状況における仮想車両をもって、前記共通最適方策による前記共通最適動作のうちの一つを遂行するようにし、（ｉｉｉ）前記共通最適動作のうちの前記一つによってもたらされる、前記仮想空間の変化を検出することにより遂行されることを特徴とする。
【００４１】
一実施例として、前記プロセッサは、前記（Ｉ）プロセス及び前記（ＩＩ）プロセスに対応する、前記調整リワードネットワークを学習するプロセス及び前記（ＩＩＩ）プロセス及び前記（ＩＶ）プロセスに対応する、前記予測ネットワークを学習するプロセスを繰り返すことにより、前記調整リワードネットワーク及び前記予測ネットワークを完全に学習することを特徴とする。
【００４２】
一実施例として、前記走行軌跡は、前記対象運転者に対応する走行軌跡グループから、前記走行軌跡を無作為にサンプリング（ｓａｍｐｌｉｎｇ）して生成されたミニバッチ（ｍｉｎｉ  ｂａｔｃｈ）として前記学習装置に提供されることを特徴とする。
【００４３】
一実施例として、前記共通最適方策による前記共通最適動作は、前記共通最適方策に対応する前記共通リワードモジュールを利用して前記強化学習アルゴリズムを遂行することにより最適化された一般強化学習エージェントによって決定されることを特徴とする。
【００４４】
本発明のまた他の態様によれば、自律走行に対する共通基準によって策定された共通最適方策を調整して取得された対象運転者に対するカスタマイズ型最適方策に対応する、カスタマイズ型強化学習エージェントを学習するための少なくとも一つのカスタマイズ型リワード関数を用いて対象車両の前記自律走行を支援するテスティング装置において、少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）（１）学習装置が、前記対象運転者の一つ以上の学習用走行軌跡それぞれに含まれた、一つ以上の学習用実際状況ベクトルに対応する学習用時点に一つ以上の学習用実際状況を参照にして遂行された一つ以上の学習用実際動作に対する情報及びこれに対応する前記学習用実際状況ベクトルが取得されると、（ｉ）前記共通最適方策に対応する共通リワード関数から前記カスタマイズ型リワード関数を生成するために利用される調整リワード関数として動作するように具現された調整リワードネットワークをもって、前記学習用実際状況ベクトル及び前記学習用実際動作に対する情報を参照にして、前記学習用時点それぞれに遂行された前記学習用実際動作それぞれに対応する一つ以上の学習用第１調整リワードそれぞれを生成するようにするプロセス、（ｉｉ）前記共通リワード関数に対応する共通リワードモジュールをもって、前記学習用実際状況ベクトル及び前記学習用実際動作に対する情報を参照にして、前記学習用時点それぞれに遂行された前記学習用実際動作それぞれに対応する一つ以上の学習用第１共通リワードそれぞれを生成するようにするプロセス、及び（ｉｉｉ）前記学習用共通最適方策による学習用共通最適動作がこれに対応する学習用実際状況に基づいて遂行される間に生成された学習用カスタマイズ型リワードの和を予測する予測ネットワークをもって、前記学習用実際状況ベクトルを参照にして、前記学習用走行軌跡の前記学習用時点それぞれにおける前記学習用実際状況それぞれに対応する一つ以上の学習用実際予想値それぞれを生成するようにするプロセスを遂行し、（２）前記学習装置が、第１ロスレイヤをもって、（ｉ）それぞれの前記学習用第１調整リワード及びそれぞれの前記学習用第１共通リワードに対応する学習用第１カスタマイズ型リワードそれぞれ、及び（ｉｉ）前記学習用実際予想値を参照にして、少なくとも一つの調整リワードロスを生成するようにし、前記調整リワードロスを参照にしてバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで前記調整リワードネットワークのパラメータのうちの少なくとも一部を学習するようにした状態で、前記調整リワードネットワーク及び前記共通リワードモジュールをもって、（ｉ）第ｔ時点に対応するテスト用実際状況ベクトル及び（ｉｉ）前記カスタマイズ型強化学習エージェントによって生成されたテスト用実際動作を参照にして、テスト用調整リワード及びテスト用共通リワードを含むテスト用カスタマイズ型リワードを生成するようにするプロセス、及び（ＩＩ）前記カスタマイズ型強化学習エージェントをもって、前記テスト用カスタマイズ型リワードを参照にして自分自身のパラメータを学習するようにするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする装置が開示される。
【００４５】
一実施例として、前記（ＩＩ）プロセスで、前記カスタマイズ型強化学習エージェントは、前記テスト用カスタマイズ型リワードを参照にして、前記自身のパラメータを学習することにより、前記学習用実際動作と類似して前記対象車両が走行するように支援することを特徴とする。
【００４６】
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
【発明の効果】
【００４７】
本発明は、人の走行データをトレーニングデータとして利用して強化学習アルゴリズムを支援することにより、カスタマイズ型経路プランニングを提供する学習方法を提供し、自律走行車両の搭乗者が満足できる走行経験を提供できる効果がある。
【００４８】
また、本発明は、前記人の走行データを前記トレーニングデータとして利用して、前記強化学習アルゴリズムを支援するのに利用されるカスタマイズ型リワード関数を提供することにより、前記カスタマイズ型経路プランニングを提供できる効果がある。
【００４９】
また、本発明は、コンピューティングリソースの利用量を減らすべく、共通リワード関数を調整して、前記カスタマイズ型リワード関数を取得する方法を提供できる効果がある。
【図面の簡単な説明】
【００５０】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図１】図１は、本発明の一実施例に係る人の走行データをトレーニングデータとして利用して強化学習を支援することによりカスタマイズ型経路プランニングを遂行する学習方法を遂行する学習装置の構成を概略的に示した図面である。
【図２】図２は、本発明の一実施例に係る人の走行データをトレーニングデータとして利用して強化学習を支援することによりカスタマイズ型経路プランニングを遂行する学習方法を遂行するのに利用された走行軌跡の一例を概略的に示した図面である。
【図３】図３は、本発明の一実施例に係る人の走行データをトレーニングデータとして利用して強化学習を支援することによりカスタマイズ型経路プランニングを遂行する学習方法のフローチャートを概略的に示した図面である。
【発明を実施するための形態】
【００５１】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
【００５２】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００５３】
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００５４】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００５５】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明する。
【００５６】
参考までに、以下の説明において混同を避けるために、前記過程に関連しては「学習用」または「トレーニング」という単語が、テスト過程に関連しては「テスティング」という単語が追加された。
【００５７】
図１は、本発明の一実施例に係る人の走行データをトレーニングデータとして利用して強化学習を支援することによりカスタマイズ型経路プランニングを遂行する学習方法を遂行する学習装置の構成を概略的に示した図面である。
【００５８】
図１を参照すれば、前記学習装置は、後に詳しく説明する構成要素である調整リワードネットワーク１３０、予測ネットワーク１４０、第１ロスレイヤ１５０、第２ロスレイヤ１６０、及び共通リワードモジュール１７０を含み得る。ここで、前記調整リワードネットワーク１３０、前記予測ネットワーク１４０、前記第１ロスレイヤ１５０、前記第２レイヤ１６０及び前記共通リワードモジュール１７０の入出力、及び演算過程は、それぞれ少なくとも一つの前記通信部１１０及び少なくとも一つのプロセッサ１２０によって行われ得る。ただし、図１では、前記通信部１１０と前記プロセッサ１２０との間の具体的な通信構造図は省略した。この際、メモリ１１５は、後述されるいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記インストラクションを遂行するようにすることができ、後から説明されるインストラクションを遂行することで本発明のプロセスを遂行することができる。前記学習装置１００がこのように描写されたからといって、プロセッサ、メモリ、ミディアム、または他のコンピューティング要素が統合された形態である統合装置を排除するわけではない。
【００５９】
前記調整リワードネットワーク１３０及び前記予測ネットワーク１４０は、以前仮想ニューロンからその入力を取得し、前記入力をプロセスとしてその出力を次の仮想ニューロンに伝達する仮想ニューロンを含むそれぞれの多重レイヤを含み得る。つまり、前記調整リワードネットワーク１３０及び前記予測ネットワーク１４０は、よく知られたフィードフォワードネットワーク（Ｆｅｅｄ−Ｆｏｒｗａｒｄ  ｎｅｔｗｏｒｋｓ）の構造と似たような構造を有することができる。
【００６０】
以上、本発明の前記学習方法を遂行する前記学習装置１００の構成について説明した。以下、本発明の前記学習方法についてさらに具体的に説明することだが、容易に理解するため、本発明の学習方法において利用されるそれぞれの要素についてまず説明することにする。
【００６１】
先に、よく知られているように、前記強化学習アルゴリズムは、強化学習エージェントが、（ｉ）特定状況を基盤にした特定動作を選択し、（ｉｉ）前記強化学習エージェントに割り当てられたリワード関数を利用して、前記特定動作に対する特定リワードを取得し、（ｉｉｉ）前記特定リワードを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）または他の学習技法を遂行して学習される技法である。前記リワード関数は、前記強化学習エージェントを学習する上で重要な役割を果たすので、プログラマは適切な出力値を取得するために前記リワード関数を適切に設定することができる。
【００６２】
これを踏まえて、共通最適方策は、共通基準に沿って策定された自律走行手法であり得る。そして、共通リワード関数は、前記共通最適方策に沿って前記自律走行を遂行する、前記強化学習エージェントを学習するリワード関数であり得る。
【００６３】
これと反対に、カスタマイズ型最適方策は、対象運転者のために策定された自律走行技法であり得る。そして、カスタマイズ型リワード関数は、前記カスタマイズ型最適方策に沿って前記自律走行を遂行する、前記強化学習エージェントを学習するリワード関数であり得る。
【００６４】
これと関連して、本発明は、調整リワード関数を利用して、前記共通リワード関数を少し調整することにより、前記自律走行に対する前記カスタマイズ型最適方策に対応する前記カスタマイズ型リワード関数を提供する方法を導き出す。このような関係は、次の数式で示すことができる。
【００６５】
Ｒp＝Ｒcommon＋Ｒdriver
前記数式で、Ｒcommonは、前記自律走行に対する前記共通最適政策に対応する前記共通リワード関数を遂行する前記共通リワードモジュール１７０の出力値を意味し、Ｒdriverは、前記調整リワード関数を遂行する前記調整リワードネットワーク１３０の出力値を意味し、前記共通リワードモジュール１７０及び前記調整リワードネットワーク１３０をともに利用して取得されたＲpは、前記カスタマイズ型リワード関数の出力値を意味する。
【００６６】
この際、前記共通リワード関数１７０は、最初から規則セット（ｒｕｌｅ−ｓｅｔ）として与えられ得、前記調整リワードネットワーク１３０は、最初に非学習された状態で与えられ得、本発明の前記学習方法を遂行しながら学習され得る。二つの要素、つまり前記調整リワードネットワーク１３０及び前記共通リワードモジュール１７０を利用する本発明とは異なり、前記カスタマイズ型最適方策に対する前記カスタマイズ型リワード関数を遂行する単一ニューラルネットワークを設定することが可能と考えられるが、 前記カスタマイズ型リワード関数は、前記単一ニューラルネットワークを利用して遂行され得ないが、これは前記カスタマイズ型リワード関数の解（ｓｏｌｕｔｉｏｎ）が唯一ではなく、後述する走行軌跡のようにあまりにも多くのレーニングデータが前記単一ニューラルネットワークを学習するために必要とされるからである。そのため、前記カスタマイズ型リワード関数は、前記共通リワードモジュール１７０及び前記調整リワードネットワーク１３０の両方を利用して遂行され得る。
【００６７】
前記共通リワードモジュール１７０及び前記共通最適政策に関する追加情報は下記に説明される。つまり、前記共通リワードモジュール１７０は、それぞれの前記状況でそれぞれの前記運転者の動作に関する情報及び各状況に関する情報を含む前記運転者の走行軌跡それぞれを分析して取得され得る。例えば、アノテータ（ａｎｎｏｔａｔｏｒ）は、前記それぞれの前記走行軌跡のそれぞれの前記動作が事故を誘発するのかを決定することができ、それぞれの前記動作についての各リワードを設定することができ、前記リワードと、前記動作の関係から得られた規則のセットを前記共通リワードモジュール１７０として設定することができ、前記規則セットを含むモジュールを前記共通リワードモジュール１７０として作成することができる。前記共通リワードモジュール１７０は、前記走行軌跡が前記トレーニングデータとして入力された前記強化学習エージェントの学習過程を支援するのに利用され得る。その結果、前記強化学習エージェントは、前記共通最適方策を参照にして、前記自律走行を遂行することができるようになる。
【００６８】
この際、前記共通リワードモジュール１７０によって遂行された前記共通リワード関数は、以下の数式で表すことができる。
【００６９】
Ｒcommon（Ｓ，Ａ，Ｓnext）
ここで、Ｓは、前記走行軌跡のいずれかに含まれるそれぞれの時点でそれぞれの状況のいずれかを示すことができ、Ａは、その時点で遂行された動作を示すことができ、Ｓnextは、前記動作によってもたらされたその次の状況を示すことができる。
【００７０】
以上説明した走行軌跡は、共通最適方策を取得するのに利用された、複数の人々に対するものである。本発明では一人、すなわち前記対象運転者に対応する前記走行軌跡の一部を利用することになるが、これは、本発明が前記「共通」最適方策ではなく、前記「カスタマイズ型」最適方策を取得する方法を導き出すからである。これにより、以下に述べる「走行軌跡」は、すべて一人、すなわち前記対象運転者に対応するものであることを明らかにしておく。
【００７１】
その際、前記対象運転者に対する前記走行軌跡は、前記実際状況ベクトルに対応する一つ以上の実際状況を参照にして、前記実際状況ベクトルに対応する時点に遂行された一つ以上の実際状況ベクトル及び一つ以上の実際動作に対する情報を含み得る。ただし、後でさらに詳しく説明するが、前記実際動作ではない共通最適動作を仮想に遂行してもたらされる個々の仮想状況に関する情報を含む追加情報、すなわち仮想状況ベクトルは、前記走行軌跡時点それぞれに前記走行軌跡とともに利用され得る。その際、前記実際状況ベクトルは、周辺物体の位置情報及びそのクラス情報のように対応する時点において、前記対象車両の周辺情報またはセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）イメージに関する情報を含み得る。このような走行軌跡及び前記追加情報を知るために図２を参照することにする。
【００７２】
図２は、本発明の一実施例に係る人の走行データをトレーニングデータとして利用して強化学習を支援することによりカスタマイズ型経路プランニングを遂行する学習方法を遂行するのに利用された走行軌跡の一例を概略的に示した図面である。
【００７３】
図２を参照すれば、ｓ，ａ，ｓ’及びａ’と表示された円と矢印を確認することができる。ここで、それぞれのｓ及びａは、それぞれの前記実際状況ベクトル及びそれぞれの前記実際動作を意味し、それぞれのｓ’及びａ’は、それぞれの前記仮想状況ベクトル及びそれに対応する共通最適動作を意味する。より詳細には、ｓ’は、それぞれの前記実際状況ベクトルｓに対応するそれぞれの状態で、前記実際動作ａではなく、それぞれの前記共通最適動作ａ’を遂行してもたらされたそれぞれの前記仮想状況ベクトルを意味する。
【００７４】
ここで、前記共通最適動作及び前記仮想状況ベクトルがどのように取得できるかについても説明することにする。まず、前記共通最適動作は、前記走行軌跡に含まれた前記実際状況ベクトルを前記強化学習エージェントに入力して、前記共通最適方策を含む前記強化学習エージェントから取得され得る。前記仮想状況ベクトルは、追加演算、すなわち状況予測演算を利用して取得され得る。そして、前記状況予測演算は、二つの方法で遂行され得る。
【００７５】
まず、前記仮想状況ベクトルは、学習済み状況予測ネットワークを利用して取得され得る。前記状況予測ネットワークは、多重ニューロンを含むそれぞれの多重レイヤを含むことができる。このような状況予測ネットワークは、学習用状況ベクトル及びそれに対応する学習用動作をトレーニングデータとして取得することができ、学習用予測ネクスト状況ベクトルを出力することができ、前記学習用状況ベクトルに対応する状況において、前記学習用動作によってもたらされた状況に関する情報を含む、前記学習用予測ネクスト状況ベクトル及びそれに対応するＧＴ（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ネクスト状況ベクトルを用いてロスを生成することができる。その後、前記状況予測ネットワークは、前記ロスを利用してバックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することにより、前記状況予測ネットワークのパラメータを学習することができる。このような学習過程は、一般フィードフォワードネットワークの学習過程と似ていることから、通常の技術者は前記説明を容易に理解することができるだろう。
【００７６】
他の例として、前記仮想状況ベクトルは、仮想世界シミュレータを利用して取得できる。すなわち、前記状況予測演算は、前記仮想世界シミュレータをもって、仮想世界に含まれた特定実際状況ベクトルに対応する特定実際状況をシミュレーションするようにし、前記特定実際状況の仮想車両をもって、前記共通最適方策による前記共通最適動作のうちの一つを遂行するようにし、前記共通最適動作のいずれかによりもたらされた前記仮想世界の変化を検出することにより、前記仮想状況ベクトルを取得することができる。
【００７７】
前記予測ネットワーク１４０についても簡単に説明する。前記予測ネットワーク１４０は、特定時点に対応する特定状況ベクトルを入力として取得でき、前記共通最適動作が継続して遂行される場合、前記特定時点からこれに対応する走行軌跡の最終時点まで発生するカスタマイズ型リワードの予測された和を出力することができる。
【００７８】
以上の概略的な説明に基づいて、本発明の学習方法の全般的な流れに対して、図３を参照にして説明することにする。
【００７９】
図３は、本発明の一実施例に係る人の走行データをトレーニングデータとして利用して強化学習を支援することによりカスタマイズ型経路プランニングを遂行する学習方法のフローチャートを概略的に示した図面である。
【００８０】
図３を参照にすれば、前記学習装置１００は、前記対象運転者の前記走行軌跡それぞれに含まれた前記実際状況を参照にして、前記実際状況ベクトルに対応する時点に実行された前記実際動作に関する情報及び前記実際状況ベクトルを取得できる（Ｓ００）。また、前記学習装置１００は、前記調整リワードネットワーク１３０をもって、前記実際動作及び前記実際状況ベクトルに関する情報を参照にして一つ以上の第１調整リワードそれぞれを生成するようにすることができる（Ｓ０１−１）。また、これと並列的に、前記学習装置１００は、前記共通リワードモジュール１７０をもって、前記実際動作及び前記実際状況ベクトルに関する情報を参照にして一つ以上の第１共通リワードそれぞれを生成するようにすることができる（Ｓ０１−１）。そして、並列的に、前記学習装置１００は、前記予測ネットワーク１４０をもって、前記実際状況ベクトルを参照にして、一つ以上の実際予想値それぞれを生成するようにすることができる（Ｓ０１−３）。
【００８１】
その後、前記学習装置１００は、前記第１ロスレイヤ１５０をもって、（ｉ）前記第１調整リワードそれぞれ及び前記第１共通リワードそれぞれに対応する第１カスタマイズ型リワードそれぞれ、及び（ｉｉ）前記実際予想値を参照にして、少なくとも一つの調整リワードロスを生成するようにすることができる（Ｓ０２）。以降、前記学習装置１００は、前記第１レイヤ１５０をもって、前記調整リワードロスを参照にしてバックプロパゲーションを遂行することによって前記調整リワードネットワーク１３０のパラメータのうちの少なくとも一部を学習するようにできる（Ｓ０３）。
【００８２】
より詳細に、前記Ｓ０１−１段階で生成された前記第１調整リワードそれぞれは、前記時期それぞれに遂行されたそれぞれの前記実際動作に対応するそれぞれの調整リワードであり得る。これを「第１」調整リワードとして区分した理由は、前記予測ネットワーク１４０を学習するのに利用する他の調整リワード、例えば、第２調整リワードと区別するためである。
【００８３】
また、それぞれの前記第１共通リワードは、それぞれの前記時点で遂行されたそれぞれの前記実際動作に対応するそれぞれの共通リワードであり得る。これも、前記予測ネットワーク１４０を学習するために利用する他の共通リワード、例えば、第２共通リワードと区別するために、「第１」と表示した。
【００８４】
このような第１調整リワードと、このような第１共通リワードとは互いに相応して統合され、前記第１カスタマイズ型リワードを生成することができる。これら二種類のリワードを合算することにより、本発明の技法に見られるように、前記共通リワード関数を調整して、前記カスタマイズ型リワード関数を生成する本発明の技法が完成され得る。
【００８５】
なお、前記実際予想値は、それぞれの前記時点に前記実際状況それぞれに遂行された前記共通最適動作それぞれに対応するカスタマイズ型リワードに関する値であり得る。一例として、前記実際予想値は、このようなカスタマイズ型リワードの総和であり得る。
【００８６】
以下、前記第１カスタマイズ型リワード及び前記実際予想値を参照にして、前記調整リワードロスを生成する方法について説明する。これは、次の数式によって生成され得る。
【００８７】
【数１７】
2020126646.tif 000019
前記数式で、
【００８８】
【数１８】
2020126646.tif 000020
は、前記走行軌跡に該当する第１走行軌跡ないし第Ｎ走行軌跡を意味し、Ｖcommon（st）は、前記走行軌跡のうちの特定走行軌跡の第ｔ時点から最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記実際予想値のうちの特定実際予想値を意味し得る。また、
【００８９】
【数１９】
2020126646.tif 000021
は、前記特定走行軌跡の前記第ｔ時点と同じであるか、それ以降である第ｒ時点に対応する、前記第１カスタマイズ型リワードのうちの第１特定カスタマイズ型リワードを意味し、
【００９０】
【数２０】
2020126646.tif 000022
は、前記特定走行軌跡の最初の時点から前記最終時点までの時間範囲の間に生成された、前記第１調整リワードのうちの第１特定調整リワードの絶対値の和を意味し得る。ここで、γ及びａは、予め設定された定数（ｃｏｎｓｔａｎｔ）であり得る。
【００９１】
さらに詳しくは、マックス演算は、（ｉ）前記共通最適リワードを遂行した際に生成されたカスタマイズ型リワードの和を示す前記特定実際予想値であるＶcommon（st）と、前記実際動作が同時に遂行する際に生成されたカスタマイズ型リワードの和である
【００９２】
【数２１】
2020126646.tif 000023
を比較した後、（ｉｉ）後者の方が大きい場合、０を出力し、前者の方か大きい場合、前者と後者との間の差を出力するために前記のように設計された。リワードネットワーク１３０が、前記対象運転者の選好度をそのパラメータに反映しようと学習されるので、前記共通最適動作に対するカスタマイズ型リワードが、前記実際動作に対するカスタマイズ型リワードより大きい場合、より大きなグラディエントは、前記調整リワードネットワークのパラメータに適用され得る。この場合、前記二種類のカスタマイズ型リワードが比較される。
【００９３】
また、前記マックス関数のない前記調整リワードロスに対する前記式の後の項は、前記第１調整リワードが過度に拡大することを防止するために追加された。前記調整リワードは、大きくなりすぎないように防止されるべきだが、その理由は、前記調整リワードが大きくなりすぎる場合、前記カスタマイズ型リワードが前記対象運転者に過多適合（ｏｖｅｒｆｉｔ）されるからである。前記調整リワードロスが前記後の項を排除する場合、前記調整リワードネットワーク１４０は、前記調整リワードを生成するように学習され、これに対応する強化学習エージェントが前記実際動作のみと類似して遂行する際に大きくなるカスタマイズ型リワードを追加で生成することができる。したがって、前記過大適合を防止するために、前記第１調整リワードのうちの、第１特定調整リワードの絶対値の和は、前記調整リワードロスに追加される。
【００９４】
前記調整リワードロスが生成されると、前記第１レイヤ１５０は、これを利用して前記バックプロパゲーションを遂行することにより前記調整リワードロスのパラメータを学習することができる。
【００９５】
その後、前記学習装置１００は、前記予測ネットワーク１４０の学習過程を遂行することができる。次に、これについて詳しく説明する。
【００９６】
つまり、前記学習装置１００は、前記調整リワードネットワーク１３０をもって、前記実際状況ベクトルを参照にして一つ以上の第２調整リワードを生成するようにすることができる。また、これと並列的に、前記学習装置１００は、前記共通リワードモジュール１７０をもって、前記実際状況ベクトルを参照にして、一つ以上の第２共通リワードを生成するようにすることができる。そして、これと並列的に、前記学習装置１００は、前記予測ネットワーク１４０をもって、前記仮想状況ベクトルを参照にして、前記仮想状況に対応する一つ以上の仮想予想値を生成するようにすることができる。その後、前記学習装置１００は、前記第２ロスレイヤ１６０をもって、（ｉ）それぞれの前記第２調整リワード及びそれぞれの前記第２共通リワードに対応する、それぞれの第２カスタマイズ型リワード、（ｉｉ）前記仮想予想値、及び（ｉｉｉ）前記実際予想値を参照にして、少なくとも一つの予測ロスを生成するようにし、前記予測ロスを参照にしてバックプロパゲーションを遂行することで前記予測ネットワーク１４０のパラメータのうちの少なくとも一部を学習するようにすることができる。
【００９７】
ここで、前記第２調整リワードは、前記走行軌跡のそれぞれの時点で遂行されるそれぞれの前記共通最適動作に対応する調整リワードを示し得る。前記第１調整リワードとは異なり、前記第２調整リワードは、前記実際動作ではなく、前記共通最適動作用である。また、前記第２共通リワードは、前記走行軌跡の前記時点それぞれに遂行される前記共通最適動作それぞれに対応する共通リワードを示し得る。前記第１共通リワードとは異なって、前記実際動作ではなく、前記共通最適動作用があり得る。したがって、前記第２調整リワード及び前記第２共通リワードを相応するように合算することにより生成された前記第２カスタマイズ型リワードは、前記実際動作ではなく、前記共通最適動作に対するカスタマイズ型リワードに対応し得る。前記「共通」最適動作に対するこのような第２カスタマイズ型リワードが利用される理由は、前記予測ネットワーク１４０が、前記共通最適動作のために生成されたカスタマイズ型リワードの総合を予測するネットワークであるからである。そのため、前記共通最適動作に対する前記第２カスタマイズ型リワードは、前記トレーニングデータとして利用される。
【００９８】
前記説明を参照にして、前記第２カスタマイズ型リワード、前記仮想予想値及び前記実際予想値を利用して、前記予測ロスを生成する方法について説明する。これは、次の数式によって生成され得る。
【００９９】
【数２２】
2020126646.tif 000024
前記数式で、
【０１００】
【数２３】
2020126646.tif 000025
は、前記走行軌跡に含まれる第１走行軌跡ないし第Ｎ走行軌跡を意味し、Ｖcommon（st）は、前記走行軌跡のうちの特定走行軌跡の第ｔ時点から最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記実際予想値のうちの特定実際予想値を意味し得る。また、
【０１０１】
【数２４】
2020126646.tif 000026
は、前記第ｔ時点から、前記共通最適動作のうちの一つを遂行してもたらされる特定仮想状況に基づく第ｔ＋１時点から前記最終時点まで、前記共通最適方策による前記共通最適動作が遂行される間に生成されたカスタマイズ型リワードの和に対応する、前記仮想予想値のうちの特定仮想予想値を意味し、
【０１０２】
【数２５】
2020126646.tif 000027
は、前記第ｔ時点に対応する、前記第２カスタマイズ型リワードのうちの第２特定カスタマイズ型リワードを意味し、γは、予め設定された定数を意味し得る。
【０１０３】
より詳細には、
【０１０４】
【数２６】
2020126646.tif 000028
とは、すべて第ｔ時点から最終時点まで生成されたカスタマイズ型リワードの総和を意味し得る。ただし、後者の項は、前記第ｔ時点から前記最終時点まで生成された前記カスタマイズ型リワードの総合を直接予測した前記予測ネットワーク１４０の結果であり、前者の項は、（ｉ）前記調整リワードネットワーク１３０及び前記共通リワードモジュール１７０によって生成された、前記第ｔ時点に遂行された前記共通最適動作の一つに対するカスタマイズ型リワード、及び（ｉｉ）前記共通最適動作が、前記第ｔ時点に遂行される場合、第ｔ＋１時点から前記最終時点まで生成された前記カスタマイズ型リワードの総合を予測する前記予測ネットワーク１４０の出力値の総合である。前者の項が、後者の項に比べて多少正確であると見ることができるのだが、これは、実際に、前記共通最適動作が実行される際、前記予測ネットワーク１４０は、前記調整リワードネットワーク１３０及び前記共通リワードモジュール１７０の出力値の総和を予測するからである。より詳細には、後者の項は、前記ｔ時点に対する前記調整リワードネットワーク１３０及び前記共通リワードモジュール１７０の出力値の予測された総合を含み、前者の項は後者の項とは違って、前記予測総和ではなく、前記調整リワードネットワーク１３０及び前記共通リワードモジュール１７０の実際の出力値の実際の総合を含むので、前者の項は、より正確である。したがって、前記予測ネットワーク１４０がちゃんと学習されない場合、前者の項と後者の項との差は大きいはずで、その逆も同じである。前記予測ロス式は、前記予測ネットワーク１４０の適切性と差異点との間のこのような関係を前記予測ロスに反映するために設計された。以上の学習過程は、マルコフ決定過程（Ｍａｒｋｏｖ  Ｄｅｃｉｓｉｏｎ  Ｐｒｏｃｅｓｓ）手法を利用した過程と類似しているので、通常の技術者は、前記説明を参照にすれば前記学習過程を容易に理解することができるであろう。
【０１０５】
以上、前記調整リワードネットワーク１３０及び前記予測ネットワーク１４０の学習過程が説明された。前記学習過程で見られるように、二つのネットワークはそれぞれの学習過程において互いが必要である。つまり、前記調整リワードネットワーク１３０を学習する際には、前記予測ネットワーク１４０の出力値である前記実際予想値が必要で、前記予測ネットワーク１４０を学習する際には、前記調整リワードネットワーク１３０の出力値である前記第２調整リワードが必要である。したがって、前記二つのネットワークは、交互に学習することができる。つまり、前記調整リワードネットワーク１３０を先に学習し、前記予測ネットワーク１４０をその次に学習した後、再び前記調整リワードネットワーク１３０を学習し、また前記予測ネットワーク１４０を学習する過程を繰り返すことができる。前述した説明では、前記調整リワードネットワーク１３０が、前記予測ネットワーク１４０より先に学習するように描写したが、必ずしもそうする必要はなく、前記予測ネットワーク１４０を先に学習することもできるであろう。
【０１０６】
その際、前記トレーニングデータ、すなわち前記二つのネットワークを学習するのに利用された、前記対象運転者に対する前記走行軌跡は、（ｉ）クエリ（ｑｕｅｒｙ）をデータベースに転送し、（ｉｉ）前記データベースに含まれた前記対象運転者に対応する走行軌跡グループから、前記走行軌跡を無作為にサンプリング（ｓａｍｐｌｉｎｇ）し、（ｉｉｉ）これを前記学習装置１００に伝送することにより、ミニバッチ（ｍｉｎｉ  ｂａｔｃｈ）として、前記学習装置に提供され得る。
【０１０７】
以上の説明において、前記同一のミニバッチは、前記調整リワードネットワーク１３０及び前記予測ネットワーク１４０に利用されると説明したが、本発明の範囲は、これに限定されない。すなわち、それぞれの異なるミニバッチは、それぞれの前記二つのネットワークの学習過程それぞれのために選択され得る。本発明に対するこれらの変形例は、通常の技術者にとって当然であり、これらの実施例は、本発明の範囲に含まれる。
【０１０８】
以上、本発明の学習過程について説明した。次に、本発明のテスト方法について説明する。
【０１０９】
つまり、（１）学習装置１００が、前記対象運転者の一つ以上の学習用走行軌跡それぞれに含まれた、一つ以上の学習用実際状況ベクトルに対応する学習用時点に一つ以上の学習用実際状況を参照にして遂行された一つ以上の学習用実際動作に対する情報及びこれに対応する前記学習用実際状況ベクトルが取得されると、（ｉ）前記共通最適方策に対応する共通リワード関数から前記カスタマイズ型リワード関数を生成するために利用される調整リワード関数として動作するように具現された前記調整リワードネットワーク１３０をもって、 前記学習用実際状況ベクトル及び前記学習用実際動作に対する情報を参照にして、前記学習用時点それぞれに遂行された前記学習用実際動作それぞれに対応する一つ以上の学習用第１調整リワードそれぞれを生成するようにするプロセス、（ｉｉ）前記共通リワード関数に対応する前記共通リワードモジュール１７０をもって、前記学習用実際状況ベクトル及び前記学習用実際動作に対する情報を参照にして、前記学習用時点それぞれに遂行された前記学習用実際動作それぞれに対応する一つ以上の学習用第１共通リワードそれぞれを生成するようにするプロセス、及び（ｉｉｉ）前記学習用共通最適方策による学習用共通最適動作がこれに対応する学習用実際状況に基づいて遂行される間に生成された学習用カスタマイズ型リワードの和を予測する前記予測ネットワーク１４０をもって、 前記学習用実際状況ベクトルを参照にして、前記学習用走行軌跡の前記学習用時点それぞれにおける前記学習用実際状況それぞれに対応する一つ以上の学習用実際予想値それぞれを生成するようにするプロセスを遂行し、（２）前記学習装置１００が、前記第１ロスレイヤ１５０をもって、（ｉ）それぞれの前記学習用第１調整リワード及びそれぞれの前記学習用第１共通リワードに対応する学習用第１カスタマイズ型リワードそれぞれ、及び（ｉｉ）前記学習用実際予想値を参照にして、少なくとも一つの調整リワードロスを生成するようにし、前記調整リワードロスを参照にしてバックプロパゲーションを遂行することで前記調整リワードネットワークのパラメータのうちの少なくとも一部を学習するようにした状態で、
テスティング装置は、前記調整リワードネットワーク１３０及び前記共通リワードモジュール１７０をもって、（ｉ） 第ｔ時点に対応するテスト用実際状況ベクトル及び（ｉｉ）前記カスタマイズ型強化学習エージェントによって生成されたテスト用実際動作を参照にして、テスト用調整リワード及びテスト用共通リワードを含むテスト用カスタマイズ型リワードを生成するようにすることができる。
【０１１０】
その後、前記テスティング装置が、前記カスタマイズ型強化学習エージェントをもって、前記テスト用カスタマイズ型リワードを参照にして自分自身のパラメータを学習するようにすることができる。前記強化学習エージェントが、前記共通リワードモジュール１７０及び前記調整リワードネットワーク１３０により策定された前記カスタマイズ型リワード関数を利用する方法は、前記強化学習上のコンボリューショナルアート（ｃｏｎｖｅｎｔｉｏｎａｌ  ａｒｔｓ）の方法と類似するため、これ以上の説明は省略する。
【０１１１】
前記テスト用カスタマイズ型リワードを利用して、前記カスタマイズ型強化学習エージェントを学習することにより、前記対象車両は前記学習用実際動作と類似して走行するようにして、前記対象運転者に運転者特定改善された走行経験を自律的に提供することができるようになる。
【０１１２】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【０１１３】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【０１１４】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020126646.tif 000045
【図２】
2020126646.tif 000046
【図３】
2020126646.tif 000047