(57)【要約】【課題】車両の速度の決定に要する時間を短縮でき、かつ車両の走行に要するエネルギーが少なくなる運転曲線の作成を可能とする。【解決手段】実施形態の運転曲線作成装置は、取得部と、選択部と、算出部と、記憶部と、決定部と、を備える。取得部は、車両の走行状態を取得する。選択部は、第１時刻と当該第１時刻より後の第２時刻間における車両の目標速度を選択する。算出部は、第１時刻の走行状態と目標速度とを含む情報に従って、走行状態から目標速度に遷移する場合の第１時刻と第２時刻間における車両の走行に要するエネルギーの削減の有効性を示すＱ値を強化学習によって算出する。記憶部は、情報毎に、当該情報が含む走行状態から目標速度に遷移する場合のＱ値を示すテーブルを記憶する。決定部は、テーブルにおいて、現在時刻における走行状態と一致する走行状態を含む情報のうち、Ｑ値が最も高い情報が含む目標速度を、現在時刻から当該現在時刻より後の次の時刻間の車両の速度に決定する。【選択図】図１
2018099979.tif 000002
【特許請求の範囲】
【請求項１】
車両の走行状態を取得する取得部と、
第１時刻と当該第１時刻より後の第２時刻間における車両の目標速度を選択する選択部と、
前記第１時刻の前記走行状態と前記目標速度とを含む情報に従って、前記走行状態から前記目標速度に遷移する場合の前記第１時刻と前記第２時刻間における車両の走行に要するエネルギーの削減の有効性を示すＱ値を強化学習によって算出する算出部と、
前記情報毎に、当該情報が含む前記走行状態から前記目標速度に遷移する場合の前記Ｑ値を示すテーブルを記憶する記憶部と、
前記テーブルにおいて、現在時刻における前記走行状態と一致する前記走行状態を含む前記情報のうち、前記Ｑ値が最も高い前記情報が含む前記目標速度を、現在時刻から当該現在時刻より後の次の時刻間の車両の速度に決定する決定部と、
を備える運転曲線作成装置。
【請求項２】
前記算出部は、前記第１時刻と前記第２時刻間における車両の消費エネルギーおよび回生エネルギーに基づいて、前記第１時刻と前記第２時刻間における車両の走行に要するエネルギーが小さくなるに従って大きくなる報酬を求め、かつ当該報酬に基づいて前記Ｑ値を算出する請求項１に記載の運転曲線作成装置。
【請求項３】
前記算出部は、所定時間内に車両が所定位置まで到達した場合、および車両が前記所定位置まで到達した場合、前記報酬を大きくする請求項２に記載の運転曲線作成装置。
【請求項４】
前記算出部は、前記情報に従って前記車両が走行した場合における当該車両の乗客の快適度を求め、かつ当該快適度が上がるに従って、前記報酬を大きくする請求項２または３に記載の運転曲線作成装置。
【請求項５】
前記選択部は、前記第１時刻と前記第２時刻間における車両の前記目標速度をランダムに選択する方法、または前記第１時刻における車両の前記走行状態において前記第２時刻までに取り得る車両の前記目標速度のうち前記Ｑ値が最も高い前記情報が含む前記目標速度を選択する方法を所定比率で切り替える請求項１から４のいずれか一に記載の運転曲線作成装置。
【請求項６】
前記選択部は、車両が取り得る全ての速度の候補のうち、過去に車両が取った速度を、前記目標速度として選択し、かつ前記走行状態を用いて、前記選択した目標速度間の前記目標速度を補間する請求項１から５のいずれか一に記載の運転曲線作成装置。
【請求項７】
前記選択部は、車両が取り得る全ての速度の候補から、前記目標速度を選択する請求項１から５のいずれか一に記載の運転曲線作成装置。
【請求項８】
前記記憶部は、前記Ｑ値を算出していない前記走行状態と、当該走行状態に対応する前記Ｑ値が算出されていないことを示す情報とを対応付けるテーブルを記憶する請求項１から７のいずれか一に記載の運転曲線作成装置。
【請求項９】
第１時刻における車両の走行状態を取得する取得部と、
前記第１時刻と当該第１時刻より後の第２時刻間における車両の目標速度を選択する選択部と、
前記走行状態と前記目標速度とを含む情報を入力として、前記走行状態から前記目標速度に遷移する場合の前記第１時刻と前記第２時刻間における車両の走行に要するエネルギーの削減の有効性を示すＱ値を出力として算出する深層学習を行う算出部と、
現在時刻における前記走行状態と一致する前記走行状態を含む前記情報のうち、前記深層学習によって出力として算出される前記Ｑ値が最も高い前記情報が含む前記目標速度を、現在時刻から当該現在時刻より後の次の時刻間の車両の速度に決定する決定部と、
を備える運転曲線作成装置。
【請求項１０】
前記算出部は、求める前記報酬の値が飽和状態となった場合、前記強化学習を停止する請求項２に記載の運転曲線作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、運転曲線作成装置に関する。
【背景技術】
【０００２】
省エネルギー化を図った運転曲線作成方法には、ビーム探索法や動的計画法が存在する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５９０５０９４号
【特許文献２】ＷＯ／２０１５／０５４２６４
【非特許文献】
【０００４】
【非特許文献１】Jiateng  Yin,  et.al,  “Intelligent  Train  Optimization  Algorithms  for  Subway  by  Expert  System  and  Reinforcement  Learning,”  IEEE  Transactions  of  Intelligent  Transportation  Systems,  Vol.15,  No.6,  Dec.2014.
【非特許文献２】三上貞芳他  共訳  強化学習  森北出版  ２０００年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の運転曲線作成方法では、現在の車両の位置等に基づいて、リアルタイム（例えば、１ｓ以内）に運転曲線を作成し直すことは困難である。ビーム探索法はは、時刻毎に取り得るノッチ番号を決定するためのツリーを構成し、そこから制約条件を満たさない解を枝刈りすることで省エネルギー化を図った運転曲線を作成する手法であり、運転曲線の作成に時間がかかる。また、動的計画法では、駅間が長くなると、解空間が広がり、記憶媒体のメモリサイズの増大および作成時間を要する課題がある。
【課題を解決するための手段】
【０００６】
実施形態の運転曲線作成装置は、取得部と、選択部と、算出部と、記憶部と、決定部と、を備える。取得部は、車両の走行状態を取得する。選択部は、第１時刻と当該第１時刻より後の第２時刻間における車両の目標速度を選択する。算出部は、第１時刻の走行状態と目標速度とを含む情報に従って、走行状態から目標速度に遷移する場合の第１時刻と第２時刻間における車両の走行に要するエネルギーの削減の有効性を示すＱ値を強化学習によって算出する。記憶部は、情報毎に、当該情報が含む走行状態から目標速度に遷移する場合のＱ値を示すテーブルを記憶する。決定部は、テーブルにおいて、現在時刻における走行状態と一致する走行状態を含む情報のうち、Ｑ値が最も高い情報が含む目標速度を、現在時刻から当該現在時刻より後の次の時刻間の車両の速度に決定する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態にかかる運転曲線作成システムの機能構成の一例を示す図である。
【図２】図２は、第１の実施形態にかかる運転曲線作成システムが有する車両の機能構成の一例を示す図である。
【図３】図３は、第１の実施形態にかかる運転曲線作成システムが有する地上設備によるＱ値の算出処理の流れの一例を示すフローチャートである。
【図４】図４は、第１の実施形態にかかる運転曲線作成システムにおける車両の速度の決定処理に用いるパラメータの一例を示す図である。
【図５】図５は、第１の実施形態にかかる運転曲線作成システムにおいて報酬の算出に用いる強化学習の一例を説明するための図である。
【図６】図６は、第１の実施形態にかかる運転曲線作成システムが有する地上設備が記憶するＱ値テーブルの一例を示す図である。
【図７】図７は、第１の実施形態にかかる運転曲線作成システムが有する車両による走行速度の決定処理の流れの一例を示すフローチャートである。
【図８】図８は、第１の実施形態にかかる運転曲線作成システムにおいて作成される運転曲線の一例を示す図である。
【図９】図９は、第４の実施形態にかかる運転曲線作成システムが記憶する全体テーブルの一例を示す図である。
【図１０】図１０は、第４の実施形態にかかる運転曲線作成システムが記憶する個別テーブルの一例を示す図である。
【図１１】図１１は、第４の実施形態にかかる運転曲線作成システムが記憶する個別縮小テーブルの一例を示す図である。
【図１２】図１２は、第４の実施形態にかかる運転曲線作成システムによるＱ値の算出処理の一例を説明するための図である。
【図１３】図１３は、第５の実施形態にかかる運転曲線作成システムにおける強化学習の一例を説明するための図である。
【発明を実施するための形態】
【０００８】
以下、添付の図面を用いて、本実施形態にかかる運転曲線作成装置を適用した運転曲線作成システムについて説明する。
【０００９】
（第１の実施形態）
図１は、第１の実施形態にかかる運転曲線作成システムの機能構成の一例を示す図である。図１に示すように、本実施形態にかかる運転曲線作成システムは、車両１と、地上設備２と、を有する。車両１は、列車等の車両である。本実施形態では、車両１は、走行データ取得部１０１を有する。走行データ取得部１０１は、車両１の走行状態を示す走行データを取得する。具体的には、走行データ取得部１０１は、車両１の位置、車両１の速度、時刻、車両１の消費エネルギー、および車両１の回生エネルギー等の走行状態を示す走行データを取得する。
【００１０】
地上設備２は、走行データ記憶部２０１、走行データ取得部２０２、パラメータ初期化部２０３、速度選択部２０４、算出部２０５、およびＱ値記憶部２０６を有する。走行データ記憶部２０１は、走行データ取得部１０１から、走行データを取得し、かつ当該取得した走行データを記憶する。走行データ取得部２０２は、走行データ記憶部２０１から、車両１の運転曲線を作成する区間（以下、運転曲線作成区間と言う）を走行する当該車両１の走行データを取得する。
【００１１】
パラメータ初期化部２０３は、車両１の速度の決定に用いる各種パラメータを初期化する。速度選択部２０４は、先の時刻ｔ（第１時刻の一例）と、当該先の時刻ｔより後の次の時刻ｔ＋１（第２時刻の一例）間における車両１の目標速度を選択する。算出部２０５は、走行データ取得部２０２により取得した走行データと、速度選択部２０４により選択した目標速度とを含む情報（以下、状態・行動情報と言う）に従って、走行データが示す走行状態から目標速度に遷移した場合の先の時刻ｔと次の時刻ｔ＋１間における車両１の走行に要するエネルギーの削減の有効度を示すＱ値を算出する強化学習を行う。本実施形態では、算出部２０５は、強化学習部２０５ａおよびＱ値算出部２０５ｂを有する。
【００１２】
強化学習部２０５ａは、先の時刻ｔと次の時刻ｔ＋１間の車両１の消費エネルギーおよび回生エネルギーに基づいて、先の時刻ｔと次の時刻ｔ＋１間における車両１の走行に要するエネルギーが小さくなるに従って大きくなる報酬を求める。Ｑ値算出部２０５ｂは、強化学習部２０５ａにより求めた報酬に基づいて、Ｑ値を算出する。また、本実施形態では、算出部２０５は、状態・行動情報毎に、Ｑ値の算出を繰り返す。Ｑ値記憶部２０６は、状態・行動情報毎のＱ値を示すテーブル（以下、Ｑ値テーブルと言う）を記憶する。言い換えると、Ｑ値記憶部２０６は、状態・行動情報と、当該状態・行動情報が含む走行状態から目標速度に遷移する場合のＱ値を示すＱ値テーブルを記憶する。
【００１３】
図２は、第１の実施形態にかかる運転曲線作成システムが有する車両の機能構成の一例を示す図である。図２に示すように、車両１は、走行データ取得部１０１、パラメータ初期化部１０２、Ｑ値取得部１０３、速度決定部１０４、速度出力部１０５、およびＱ値記憶部１０６を有する。パラメータ初期化部１０２は、車両１に設定された目標速度をリセットする。Ｑ値記憶部１０６は、地上設備２が有するＱ値記憶部２０６に記憶されるＱ値テーブルを記憶する。Ｑ値取得部１０３は、Ｑ値記憶部１０６が記憶するＱ値テーブルにおいて、現在時刻における車両１の走行状態と一致する走行状態を含む状態・行動情報のうち、Ｑ値が最も高い状態・行動情報を取得する。
【００１４】
速度決定部１０４は、Ｑ値取得部１０３により取得される状態・行動情報が含む目標速度を、現在時刻から当該現在時刻より後の時刻間の車両１の速度に決定する。これにより、現在時刻から後の時刻間の車両１の速度を決定する際に、全ての走行状態について、現在時刻から後の時刻間における車両１の走行に要するエネルギーを算出する必要が無くなるので、車両１の速度の決定に要する時間を短縮でき、かつ車両１の走行に要するエネルギーが少なくなる運転曲線を作成することができる。速度出力部１０５は、速度決定部１０４により決定した車両１の速度に従って、運転曲線作成区間の車両１の運転曲線を作成する。
【００１５】
次に、図３を用いて、地上設備２によるＱ値の算出処理の流れについて説明する。図３は、第１の実施形態にかかる運転曲線作成システムが有する地上設備によるＱ値の算出処理の流れの一例を示すフローチャートである。
【００１６】
走行データ取得部２０２は、走行データ記憶部２０１から、走行データを取得する（ステップＳ３０１）。次いで、パラメータ初期化部２０３は、車両１の速度の決定処理に先立って、当該決定処理に用いる各種パラメータを初期化する処理を実行する（ステップＳ３０２）。
【００１７】
図４は、第１の実施形態にかかる運転曲線作成システムにおける車両の速度の決定処理に用いるパラメータの一例を示す図である。図４に示すように、本実施形態では、運転曲線作成システムは、車両１の加速度の上限ａｍａｘおよび下限ａｍｉｎを示す加速度上下限値（例えば、±１０ｋｍ／ｈ／ｓ）、車両１が終点に到達した場合における報酬（例えば、１００）、車両１が終点に到達しなかった場合における報酬（例えば、−１）、車両１の速度の決定処理（言い換えると、Ｑ値の算出処理）の実行間隔であるステップサイズパラメータα（例えば、１ｓ）、報酬に対する割引率γ（例えば、０．９９）、運転曲線作成区間の車両１の走行に許容される時間である次駅到着時間Ｔ（例えば、１２０ｓ）、当該次駅到着時間Ｔのマージンである次駅到着時間マージン（例えば、±５ｓ）、運転曲線作成区間の距離である次駅到達距離（例えば、２０００ｍ）、当該次駅到達距離のマージンである次駅到達距離マージン（例えば、±１ｍ）、および運転曲線作成区間についてＱ値の算出処理を行う回数の上限であるエピソード回数（例えば、５０００回）を、各種パラメータとして用いて、車両１の速度の決定処理を実行する。
【００１８】
図３に戻り、パラメータ初期化部２０３は、さらに、車両１の位置ｘｔを、運転曲線作成区間の始点ｘ０とする初期化処理を実行する（ステップＳ３０３）。車両１の位置ｘｔを相対距離で表す場合には、パラメータ初期化部２０３は、車両１の位置ｘｔを「０」とする初期化処理を実行する。
【００１９】
次に、速度選択部２０４は、パラメータ初期化部２０３により初期化されたパラメータが含む加速度上下限値、および車両１の位置ｘｔと速度ｖｔに基づいて、先の時刻ｔと次の時刻ｔ＋１間の車両１の目標速度ｔｖをランダムに選択する（ステップＳ３０４）。本実施形態では、速度選択部２０４は、車両１が取り得る全ての速度の候補（全状態空間）のうち、過去に運転曲線作成区間を走行した車両１が取った速度の候補を、目標速度ｔｖとして選択する。したがって、速度選択部２０４は、過去に運転曲線作成区間を走行した車両１が取った速度の候補以外の速度の候補を、目標速度ｔｖとして選択しない。これにより、目標速度となる車両１の速度を限定することができるので、強化学習に要する時間を短縮することができる。
【００２０】
強化学習部２０５ａは、先の時刻ｔにおける車両１の位置ｘｔ、速度ｖｔ、先の時刻ｔ、および速度選択部２０４により選択された目標速度ｔｖを含む状態・行動情報に従って、当該状態・行動情報が含む走行状態（例えば、位置ｘｔ、速度ｖｔ、先の時刻ｔ）から目標速度ｔｖに遷移した場合の次の時刻ｔ＋１までの報酬ｒｔを求める（ステップＳ３０５）。本実施形態では、強化学習部２０５ａは、強化学習の仕組みを用いて、先の時刻ｔと時刻ｔ＋１間における報酬ｒｔを求める。
【００２１】
図５は、第１の実施形態にかかる運転曲線作成システムにおいて報酬の算出に用いる強化学習の一例を説明するための図である。図５に示すように、強化学習では、あるエージェントが、ある状態ｓｔにおいて、行動ａｔを実行した場合に環境により与えられる報酬ｒｔを求め、当該エージェントの状態を状態ｓｔ＋１に更新する。強化学習では、状態ｓｔが更新される度に、様々な行動ａｔを実行した場合の報酬ｒｔを求め、エージェントがゴールに到達するまでに得られる報酬ｒｔが最も大きくなる行動ａｔを選択する。
【００２２】
本実施形態では、強化学習部２０５ａは、エージェントとしての車両１の先の時刻ｔにおける走行データが示す走行状態を状態ｓｔとしかつ目標速度ｔｖを行動ａｔとした場合、下記の式（１）に示すように、車両１の消費エネルギーＥｊと、次駅到着時間までの残り時間に応じた報酬ｆ（ｔ）と、次駅到達距離までの残りの距離に応じた報酬ｇ（ｘ）と、ゴール到着時の報酬ｈと、に基づいて、報酬ｒｊを求める。
【数１】
2018099979.tif 000003
ここで、報酬ｆ（ｔ）は、次駅到着時間を基準として次駅到着時間マージン内に、車両１が運転曲線作成区間の終点に到達していない場合、負の値となる。また、報酬ｇ（ｘ）は、車両１の走行距離が次駅到達距離を基準として次駅到達距離マージン外の場合、負の値となる。報酬ｈは、車両１が運転曲線作成区間の終点に到達した場合に与えられる報酬である。
【００２３】
このように、強化学習部２０５ａは、車両１が運転曲線作成区間の終点に到達した場合には、正の値の報酬を与え、かつ目標速度ｔｖとは異なる速度で車両１が走行した場合には、負の値の報酬を与えることによって、次駅到着時間内に、車両１の走行距離が次駅到達距離に達し、かつ車両１の走行に要するエネルギーが削減される状態・行動情報に対する報酬ｒｊを大きくする。
【００２４】
図３に戻り、Ｑ値算出部２０５ｂは、状態・行動情報毎に算出された報酬ｒｊに基づいて、当該状態・行動情報のＱ値を算出する（ステップＳ３０６）。本実施形態では、Ｑ値算出部２０５ｂは、下記の式（２）に従って、各状態・行動情報のＱ値を算出する。
【数２】
2018099979.tif 000004
ここで、状態ｓｔは、先の時刻ｔにおける車両１の走行データが示す走行状態（位置ｘｔ、速度ｖｔ、および先の時刻ｔ）である。行動ａｔは、速度選択部２０４により選択される車両１の目標速度ｔｖである。ｒｔは、強化学習部２０５ａにより算出される報酬ｒｊである。αは、ステップサイズパラメータである。ｍａｘａＱ（ｓｔ＋１，ａｔ）は、状態ｓｔにおいて行動ａｔを変化させた場合に最大となるＱ値である。Ｑ値算出部２０５ｂは、先の時刻ｔにおける車両１の位置ｘｔおよび速度ｖｔを式（２）に代入することによって、状態ｓｔにおけるＱ値を算出できる。
【００２５】
そして、Ｑ値記憶部２０６は、状態・行動情報毎のＱ値を示すＱ値テーブルを記憶する。図６は、第１の実施形態にかかる運転曲線作成システムが有する地上設備が記憶するＱ値テーブルの一例を示す図である。図６に示すように、Ｑ値記憶部２０６は、先の時刻ｔにおける車両１の位置ｘｔを横軸とし、先の時刻ｔにおける車両１の速度ｖｔを縦軸とし、位置ｘｔと速度ｖｔとが重なったマトリックスに対して、車両１を目標速度ｔｖで走行させた場合のＱ値の算出結果を目標速度ｔｖ毎に記録したＱ値テーブルを記憶する。
【００２６】
Ｑ値算出部２０５ｂは、Ｑ値を算出する際、車両１から実際に取得した走行データを状態ｓｔとするため、行動ａｔとして選択可能な車両１の目標速度ｔｖは限定される。そして、Ｑ値算出部２０５ｂは、車両１の走行データ、および目標速度ｔｖを状態・行動情報として、先の時刻ｔから次の時刻ｔ＋１まで車両１を走行させた場合のＱ値を算出する。
【００２７】
図３に戻り、速度選択部２０４は、運転曲線作成区間の始点を出発してからの車両１の走行時間が、次駅到着時間より短いか否かを判断する（ステップＳ３０７）。車両１の走行時間が次駅到着時間より短い場合（ステップＳ３０７：Ｙｅｓ）、速度選択部２０４は、ステップＳ３０４に戻り、加速度上下限値、および車両１の位置ｘｔ＋１と速度ｖｔ＋１に基づいて、先の時刻ｔ＋１と、次の時刻ｔ＋２との間の車両１の目標速度ｔｖをランダムに選択する。
【００２８】
一方、車両１の走行時間が次駅到着時間以上である場合（ステップＳ３０７：Ｎｏ）、Ｑ値算出部２０５ｂは、運転曲線作成区間についてＱ値を算出した回数Ｎがエピソード回数に達したか否かを判断する（ステップＳ３０８）。運転曲線作成区間についてＱ値を算出した回数Ｎがエピソード回数に達していない場合（ステップＳ３０８：Ｙｅｓ）、パラメータ初期化部２０３は、ステップＳ３０３に戻り、車両１の位置ｘｔを、始点ｘ０とする初期化処理を実行する。一方、運転曲線作成区間についてＱ値を算出した回数Ｎがエピソード回数に達している場合（ステップＳ３０８：Ｎｏ）、Ｑ値算出部２０５ｂは、運転曲線作成区間についてのＱ値の算出処理を終了する。
【００２９】
次に、図７を用いて、本実施形態に係る車両１による運転曲線作成区間の走行速度の決定処理の流れについて説明する。図７は、第１の実施形態にかかる運転曲線作成システムが有する車両による走行速度の決定処理の流れの一例を示すフローチャートである。
【００３０】
車両１の走行データ取得部１０１は、車両１の現在の走行状態を示す走行データを取得する（ステップＳ７０１）。パラメータ初期化部１０２は、車両１に設定された速度等のパラメータを初期化する（ステップＳ７０２）。また、走行データ取得部１０１は、取得した走行データを、Ｑ値取得部１０３に対して入力する（ステップＳ７０３）。Ｑ値取得部１０３は、Ｑ値記憶部１０６が記憶するＱ値テーブルにおいて、入力された走行データと一致する走行データを含む状態・行動情報のうち、Ｑ値が最も高い状態・行動情報を取得する（ステップＳ７０４）。そして、速度決定部１０４は、取得された状態・行動情報が含む目標速度ｔｖを、現在時刻から後の時刻までの車両１の速度に決定する（ステップＳ７０５）。
【００３１】
例えば、Ｑ値取得部１０３は、入力された走行データが示す車両１の位置ｘｔが「０」で、かつ当該走行データが示す車両１の速度ｖｔが「０」である場合、図６に示すＱ値テーブルにおいて、位置ｘｔ＝０および速度ｖｔ＝０が重なったマトリックスに記録された状態・行動情報を特定する。本実施形態では、目標速度ｔｖを、０〜１００ｋｍ／ｈまで、２０ｋｍ／ｈ単位で離散化しているため、Ｑ値取得部１０３は、６つの状態・行動情報を特定する。そして、速度決定部１０３は、特定した状態・行動情報のうち、Ｑ値が最も高い状態・行動情報が含む目標速度ｔｖ＝２０を、現在時刻から後の時刻までの車両１の速度に決定する。速度出力部１０５は、決定した車両１の速度に従って、運転曲線を作成する。
【００３２】
図８は、第１の実施形態にかかる運転曲線作成システムにおいて作成される運転曲線の一例を示す図である。図８において、縦軸は車両１の速度を表し、横軸は車両１が運転曲線作成区間を走行する時刻を表す。図８に示すように、速度出力部１０５は、決定した速度に従って、所定時間（例えば、１０ｓ）毎の車両１の速度を表す運転曲線を作成する。本実施形態では、車両１の消費エネルギーの削減に対する状態・行動情報の有効度が高くなるに従いＱ値が高くなるため、Ｑ値が最も高い状態・行動情報が含む目標速度を、現在時刻から後の時刻までの車両１の速度に決定することで、最も消費エネルギーを削減できる運転曲線に従って車両１を走行させることができる。
【００３３】
このように、第１の実施形態にかかる運転曲線作成システムによれば、Ｑ値テーブルから、Ｑ値が最も高い状態・行動情報が含む目標速度を読み出すだけで、車両１の走行に要するエネルギーが最小となる車両１の速度を求めることができるので、車両１の速度の決定に要する時間を短縮でき、かつ車両１の走行に要するエネルギーが少なくなる運転曲線を作成することができる。
【００３４】
（第２の実施形態）
本実施形態は、先の時刻と次の時刻間における車両の目標速度をランダムに選択する方法、または先の時刻における車両の走行状態において次の時刻までに取り得る車両の目標速度のうちＱ値が最も高い状態・行動情報が含む目標速度を選択する方法を所定比率で切り替える例である。以下の説明では、第１の実施形態と同様の箇所については説明を省略する。
【００３５】
本実施形態では、速度選択部２０４は、ε-greedyによって、先の時刻ｔと次の時刻ｔ＋１間における車両１の目標速度ｔｖをランダムに選択する方法（以下、第１選択方法と言う）と、先の時刻ｔにおける車両１の走行状態（位置ｘｔおよび速度ｖｔ）において次の時刻ｔ＋１までに取り得る車両１の目標速度ｔｖのうちＱ値が最も高い状態・行動情報が含む目標速度ｔｖを選択する方法（以下、第２選択方法と言う）を所定比率で切り替える。その際、速度選択部２０４は、第１選択方法に切り替える比率をε（０＜ε＜１）とし、第２選択方法に切り替える比率を１−εとする。これにより、様々な目標速度ｔｖを含む状態・行動情報に従って、Ｑ値の算出処理が行われるので、現在時刻から後の時刻間の車両１の走行に要するエネルギーを最小とする車両１の速度が局所解に陥ることを避けることができる。
【００３６】
また、速度選択部２０４は、第１選択方法に切り替える比率であるεを動的に変更することも可能である。具体的には、速度選択部２０４は、運転曲線作成区間について強化学習を行ってＱ値を算出した回数（所謂、学習回数）が予め設定された回数より少ない場合には、εを大きくし、学習回数が予め設定された回数以上でありかつ当該学習回数が多くなるに従ってεを小さくする。これにより、現在時刻から後の時刻間の車両１の走行に要するエネルギーが少なくなる速度として選択される目標速度ｔが収束する速度を速めることができる。
【００３７】
また、本実施形態では、速度選択部２０４は、上述したように、全状態空間から、過去に車両１が取った速度を目標速度ｔｖとして選択している。そこで、速度選択部２０４は、走行データ取得部２０２により取得した走行データを用いて、当該選択した目標速度ｔｖ間の速度（不足している速度）を目標速度として補間することも可能である。これにより、現在時刻から後の時刻間の車両１の走行に要するエネルギーを最小とする車両１の速度が局所解に陥ることを避けることができる。具体的には、速度選択部２０４は、車両１が取り得る速度は車両１の位置ｘｔに依存するため、次の式のように、車両１の位置ｘｔおよび速度ｖｔに基づいて、速度ｘｔ＋１を目標速度ｔｖとして補間する。
（ｘｔ＋１，ｖｔ）＝（ｘｔ，ｖｔ）      ただし、ｘｔ＋１≦Ｘ／２
（ｘｔ＋１，ｖｔ）＝（ｘｔ＋２，ｖｔ）      ただし、ｘｔ＋１＞Ｘ／２
ここで、（ｘｔ，ｖｔ）および（ｘｔ＋２，ｖｔ）は、既知の走行データである。Ｘは、運転曲線作成区間の距離である。
【００３８】
または、速度選択部２０４は、車両１が取り得る全ての速度の候補から、目標速度ｔｖを選択しても良い。これにより、車両１が走行に要するエネルギーが最小となる速度をより正確に求めることができる。
【００３９】
このように、第２の実施形態にかかる運転曲線作成システムによれば、様々な目標速度ｔｖを含む状態・行動情報に従って、Ｑ値の算出処理が行われるので、現在時刻から後の時刻間の車両１の走行に要するエネルギーを最小とする車両１の速度が局所解に陥ることを避けることができる。
【００４０】
（第３の実施形態）
本実施形態は、状態・行動情報に従って車両が走行した場合における当該車両の乗客の快適度を求め、かつ当該快適度が上がるに従って、状態・行動情報に対する報酬を大きくする例である。以下の説明では、上述の実施形態と同様の構成については説明を省略する。
【００４１】
本実施形態では、強化学習部２０５ａは、下記の式（３）に従って、先の時刻ｔと次の時刻ｔ＋１間を状態・行動情報に従って車両１が走行した場合における当該車両１の乗客の快適度ｃｊを求める。
【数３】
2018099979.tif 000005
ここで、ｋは、比例係数である。本実施形態では、ｋは、負の値である。また、ａｊは、先の時刻と次の時刻間における車両１の加速度である。強化学習部２０５ａは、式（３）に従って、車両１の加速度の絶対値に大きくなるに従って下がる指標を快適度ｃｊとして求める。
【００４２】
次に、強化学習部２０５ａは、下記の式（４）に示すように、車両１の消費エネルギーＥｊ、報酬ｆ（ｔ）、報酬ｇ（ｘ）、および報酬ｈに加えて、快適度ｃｊに基づいて、報酬ｒｊを求める。
【数４】
2018099979.tif 000006
【００４３】
このように、第３の実施形態にかかる運転曲線作成システムによれば、車両１の走行に要するエネルギーを最小とする共に、車両１の乗客の快適性を向上させる運転曲線の作成を可能とする車両１の速度を求めることができる。
【００４４】
（第４の実施形態）
本実施形態は、Ｑ値記憶部は、走行データ毎に、当該走行データを含む状態・行動情報のＱ値を示すＱ値テーブルを記憶する例である。以下の説明では、上述の実施形態と同様の構成については説明を省略する。
【００４５】
Ｑ値記憶部２０６に要求される記憶容量は、車両１の走行データの増加に伴って急増する。例えば、車両１の速度ｖｔを１ｋｍ／ｈ単位で１５０ｋｍ／ｈまで変化させ、かつ車両１の位置ｘｔを１ｍ単位で駅間の距離である２０００ｍまで変化させる場合、車両１が取り得る走行データに数は、３０万個となる。また、車両１が取り得る走行データに時刻の要素を加えて、走行データを３次元空間で考え、０．１秒単位で１５０秒まで変化させる場合、車両１が取り得る走行データの数は、４億５０００万個まで増加する。さらに、１つの走行データについて、次の時刻までの目標速度を１ｋｍ／ｈ単位で１５０ｋｍ／ｈまで変化させた場合の状態・行動情報と、当該状態・行動情報毎に求められるＱ値をＱ値記憶部２０６に保存する必要があるため、１つの状態・行動情報当りの記憶容量を８バイトとすると、全ての状態・行動情報と当該状態・行動情報毎に求められるＱ値を記憶するためには、Ｑ値記憶部２０６は、少なくとも５４０Ｇバイトの記憶容量が必要となる。さらに、複数の運転曲線作成区間（例えば、２０個の区間）についてＱ値テーブルをＱ値記憶部２０６に記憶させる場合、Ｑ値記憶部２０６は、１０．８Ｔバイトの記憶容量が必要となる。
【００４６】
そこで、本実施形態では、ある１つの走行データ（以下、第１走行データと言う）を含む状態・行動情報について求められるＱ値と当該第１走行データ以外の走行データ（以下、第２走行データと言う）を含む状態・行動情報について求められるＱ値とが一致する場合、Ｑ値記憶部２０６は、走行データ毎に、当該走行データを含む状態・行動情報について算出されたＱ値を示すＱ値テーブルを記憶する。
【００４７】
図９は、第４の実施形態にかかる運転曲線作成システムが記憶する全体テーブルの一例を示す図である。図１０は、第４の実施形態にかかる運転曲線作成システムが記憶する個別テーブルの一例を示す図である。図９に示すように、Ｑ値記憶部２０６は、車両１の走行データ（例えば、車両１の位置ｘｔや速度ｖｔ）と、当該走行データを含む状態・行動情報毎に算出されたＱ値を記憶するＱ値テーブルの名称（例えば、テーブル１、テーブル２、テーブル３、テーブル４）とを対応付ける全体テーブルを記憶する。また、図９に示すように、Ｑ値記憶部２０６は、互いに一致する走行データと対応付けて記憶されるテーブルの名称を同一とする。
【００４８】
例えば、車両１の走行データである位置ｘｔ＝０および速度ｖｔ＝０と、車両１の走行データである位置ｘｔ＝０および速度ｖｔ＝１とは、それぞれを含む状態・行動情報について算出されるＱ値が同一である可能性が高い。そのため、Ｑ値記憶部２０６は、車両１の走行データである位置ｘｔ＝０および速度ｖｔ＝０と、車両１の走行データである位置ｘｔ＝０および速度ｖｔ＝１とを、同一のＱ値テーブルの名称と対応付けた全体テーブルを記憶する。
【００４９】
また、図１０に示すように、Ｑ値記憶部２０６は、Ｑ値テーブルの名称と、Ｑ値テーブルとを対応付ける個別テーブルを記憶する。これにより、一致する走行データを含む状態・行動情報については、１つのＱ値テーブルのみがＱ値記憶部２０６に記憶されるので、Ｑ値テーブルの記憶に要するＱ値記憶部２０６の記憶容量を削減できる。
【００５０】
そして、車両１の速度決定部１０４は、Ｑ値記憶部１０３に記憶されるＱ値テーブルのうち、走行データ取得部１０１により取得される走行データが示す走行データと一致する走行データを含む状態・行動情報とＱ値とを対応付けるＱ値テーブルにおいて、Ｑ値が最も高い状態・行動情報が含む目標速度ｔｖを、先の時刻ｔと次の時刻ｔ＋１間の車両１の速度に決定する。本実施形態では、速度決定部１０４は、図９に示す全体テーブルにおいて、現在時刻の走行データと一致する走行データと対応付けられるＱ値テーブルの名称を特定する。次いで、速度決定部１０４は、図１０に示す個別テーブルにおいて、特定したＱ値テーブルの名称と対応付けられたＱ値テーブルにおいて、Ｑ値が最も高い状態・行動情報が含む目標速度ｔｖを、先の時刻ｔと次の時刻ｔ＋１間の車両１の速度に決定する。
【００５１】
図１１は、第４の実施形態にかかる運転曲線作成システムが記憶する個別縮小テーブルの一例を示す図である。Ｑ値記憶部２０６は、Ｑ値を算出していない状態・行動情報と、当該状態・行動情報についてＱ値を算出されていないことを示す情報（ＮＡ）とを対応付ける個別縮小テーブルを記憶する。また、Ｑ値記憶部２０６は、Ｑ値を算出しない状態・行動情報を、Ｑ値テーブルに含めない。これにより、Ｑ値テーブルのサイズを縮小することできるので、Ｑ値テーブルの記憶に要するＱ値記憶部２０６の記憶容量を削減することができる。
【００５２】
このように、第４の実施形態にかかる運転曲線作成システムによれば、一致する走行データを含む状態・行動情報については、１つのＱ値テーブルのみがＱ値記憶部２０６に記憶されるので、Ｑ値テーブルの記憶に要するＱ値記憶部２０６の記憶容量を削減できる。
【００５３】
また、本実施形態では、車両１の速度決定部１０４は、Ｑ値記憶部１０６に記憶されるＱ値テーブルを用いて、先の時刻ｔと次の時刻ｔ＋１間の車両１の速度を決定しているが、これに限定するものではない。例えば、地上設備２の算出部２０５は、走行データ取得部２０２により取得した現在時刻（先の時刻ｔ）の走行データと、先の時刻ｔから次の時刻ｔ＋１までの時間を入力として、目標速度ｔｖ毎にＱ値を出力として算出する深層学習を行う。そして、車両１の速度決定部１０４は、深層学習によって算出されるＱ値が最も高い目標速度ｔｖを、先の時刻ｔと次の時刻ｔ＋１間の車両１の速度に決定する。
【００５４】
図１２は、第４の実施形態にかかる運転曲線作成システムによるＱ値の算出処理の一例を説明するための図である。図１２に示すように、算出部２０５は、走行データ取得部２０２により取得した現在時刻の走行データとしての車両１の位置ｘｔと速度ｖｔと現在時刻（先の時刻ｔ）とを入力として、中間層を４層とし、離散化した複数の目標速度ｔｖ（例えば、１ｋｍ／ｈから１５０ｋｍ／ｈまでの１ｋｍ／ｈ単位で離散化した目標速度ｔｖ）毎にＱ値を算出して出力する深層学習を行う。車両１の走行データを入力として目標速度ｔｖ毎のＱ値を深層学習によって算出した場合、運転曲線作成システム内においてＱ値テーブルを記憶する必要が無くなるが、Ｑ値の算出精度が低下するが、現在の車両１の走行データにおける目標速度ｔｖ毎のＱ値の大小が特定できれば良いため、深層学習によって目標速度ｔｖ毎のＱ値を求めても良い。
【００５５】
（第５の実施形態）
本実施形態は、求める報酬の値が飽和状態となった場合、強化学習を停止する例である。以下の説明では、上述の実施形態と同様の構成については説明を省略する。
【００５６】
本実施形態では、強化学習部２０５ａは、運転曲線作成区間について求める報酬ｒｊが飽和状態に近づいた場合、強化学習を停止する。図１３は、第５の実施形態にかかる運転曲線作成システムにおける強化学習の一例を説明するための図である。図１３において、縦軸は状態・行動情報毎に求められる報酬ｒｊを表し、横軸は強化学習の回数を表す。図１３に示すように、状態・行動情報毎に求められる報酬ｒｊは、強化学習の回数が増えるに従って、一定の値（飽和状態）に近づいてくる。そして、報酬ｒｊが飽和状態になった際の状態・行動情報が運転曲線作成区間において車両１の消費エネルギーを最小とする状態・行動情報となっている。そこで、強化学習部２０５ａは、状態・行動情報毎に求められる報酬ｒｊの移動平均を求め、運転曲線作成区間について行った強化学習の回数が所定回数以上となりかつ求めた移動平均が所定の閾値以下となった場合、運転曲線作成区間についての強化学習を終了する。
【００５７】
これにより、第５の実施形態にかかる運転曲線作成システムによれば、強化学習の回数を減らすことができるので、強化学習に要する時間を短縮することができる。
【００５８】
以上説明したとおり、第１から第５の実施形態によれば、車両１の速度の決定に要する時間を短縮でき、かつ車両１の走行に要するエネルギーが少なくなる運転曲線の作成を可能とする。
【００５９】
なお、本実施形態の車両１および地上設備２で実行されるプログラムは、ＲＯＭ（Read  Only  Memory）等に予め組み込まれて提供される。本実施形態の車両１および地上設備２で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００６０】
さらに、本実施形態の車両１および地上設備２で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の車両１および地上設備２で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００６１】
本実施形態の車両１で実行されるプログラムは、上述した各部（走行データ取得部１０１、パラメータ初期化部１０２、Ｑ値取得部１０３、速度決定部１０４、および速度出力部１０５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central  Processing  Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、走行データ取得部１０１、パラメータ初期化部１０２、Ｑ値取得部１０３、速度決定部１０４、および速度出力部１０５が主記憶装置上に生成されるようになっている。
【００６２】
また、本実施形態の地上設備２で実行されるプログラムは、上述した各部（走行データ取得部２０２、パラメータ初期化部２０３、速度選択部２０４、および算出部２０５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、走行データ取得部２０２、パラメータ初期化部２０３、速度選択部２０４、および算出部２０５が主記憶装置上に生成されるようになっている。
【００６３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６４】
１  車両
２  地上設備
１０１，２０２  走行データ取得部
１０２，２０３  パラメータ初期化部
１０３  Ｑ値取得部
１０４  速度決定部
１０５  速度出力部
１０６，２０６  Ｑ値記憶部
２０１  走行データ記憶部
２０４  速度選択部
２０５  算出部
２０５ａ  強化学習部
２０５ｂ  Ｑ値算出部
【図１】
2018099979.tif 000007
【図２】
2018099979.tif 000008
【図３】
2018099979.tif 000009
【図４】
2018099979.tif 000010
【図５】
2018099979.tif 000011
【図６】
2018099979.tif 000012
【図７】
2018099979.tif 000013
【図８】
2018099979.tif 000014
【図９】
2018099979.tif 000015
【図１０】
2018099979.tif 000016
【図１１】
2018099979.tif 000017
【図１２】
2018099979.tif 000018
【図１３】
2018099979.tif 000019