(57)【要約】【課題】列車の実走行での回生絞り込みを考慮して省エネルギー化を図った運転曲線を作成する。【解決手段】実施形態の運転曲線作成装置は、抽出部と、作成部と、を備える。抽出部は、列車の走行状態を示す走行データを取得し、当該走行データに基づいて、所定区間を走行する列車の回生ブレーキによる回生エネルギーの発生し易さを表す回生確率を抽出する。作成部は、確率動的計画法に従って、所定区間において列車がとり得る離散化された各走行状態について、当該走行状態から次にとり得る走行状態に状態遷移した場合の列車の消費エネルギーと回生確率を反映させた回生エネルギーとの和を遷移コストとして算出し、走行状態間を状態遷移して列車が所定区間を走行した場合の遷移コストの累積が最小となる列車の運転曲線を作成する。【選択図】図１
2018184135.tif 000002
【特許請求の範囲】
【請求項１】
列車の走行状態を示す走行データを取得し、当該走行データに基づいて、所定区間を走行する列車の回生ブレーキによる回生エネルギーの発生し易さを表す回生確率を抽出する抽出部と、
確率動的計画法に従って、前記所定区間において列車がとり得る離散化された各走行状態について、当該走行状態から次にとり得る前記走行状態に状態遷移した場合の列車の消費エネルギーと前記回生確率を反映させた前記回生エネルギーとの和を遷移コストとして算出し、前記走行状態間を状態遷移して列車が前記所定区間を走行した場合の前記遷移コストの累積が最小となる列車の運転曲線を作成する作成部と、
を備える運転曲線作成装置。
【請求項２】
前記抽出部は、前記所定区間を走行する列車が力行する確率に基づいて前記回生確率を抽出する請求項１に記載の運転曲線作成装置。
【請求項３】
前記抽出部は、前記所定区間を力行する列車の前記消費エネルギーの累積に基づいて、前記回生確率を抽出する請求項１に記載の運転曲線作成装置。
【請求項４】
前記抽出部は、前記所定区間において回生絞り込みが発生する確率に基づいて、前記回生確率を抽出する請求項１に記載の運転曲線作成装置。
【請求項５】
前記抽出部は、前記回生エネルギーを充電可能な蓄電池の数に基づいて、前記回生確率を抽出する請求項１に記載の運転曲線作成装置。
【請求項６】
前記抽出部は、前記所定区間を走行する列車が力行する確率、前記所定区間を力行する列車の前記消費エネルギーの累積、前記所定区間において回生絞り込みが発生する確率、および前記回生エネルギーを充電可能な蓄電池の数のうち２つ以上に基づいて、前記回生確率を抽出する請求項１に記載の運転曲線作成装置。
【請求項７】
前記作成部は、前記各走行状態から、当該走行状態の次にとり得る前記走行状態への状態遷移において取るべき行動を、前記回生エネルギーを報酬として強化学習を実行し、前記各走行状態について、報酬が最も大きい行動を選択して、次の前記走行状態に状態遷移する前記運転曲線を作成する請求項１から６のいずれか一に記載の運転曲線作成装置。
【請求項８】
前記作成部は、前記回生確率に基づいて、前記各走行状態の次にとり得る前記走行状態をビームサーチによって探索し、探索した前記走行状態間を状態遷移する前記運転曲線を作成する請求項１から６のいずれか一に記載の運転曲線作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、運転曲線作成装置に関する。
【背景技術】
【０００２】
列車の運転曲線は、所定区間における列車の速度を示すものであり、列車の走行計画として、列車の運転手の運転支援、列車のダイヤの作成、列車の省エネ運転の実現等に活用されている。列車の回生エネルギーを考慮した運転曲線の作成方法には、所定区間を運行する各列車の回生エネルギーを可視化することによって、回生エネルギーを有効に活用して運転曲線を作成する方法が開発されているが、ダイヤ通りに走行した列車の実走行情報（例えば、回生絞り込み）が運転曲線に反映されていない。
【０００３】
また、所定区間を予め設定された時間で省エネを図って列車を走行させる方法も開発されている。例えば、列車の走行に対する制約として、所定区間を分割した複数の部分区間のうち１つの部分区間においてのみ列車の走行速度の制限が存在する場合には、ヒューリスティックな方法によって、省エネを図った運転曲線を求めることができる。しかしながら、所定区間内における列車の走行に対する制約が複雑な場合、ヒューリスティックな方法によっては、省エネを図った運転曲線を求めることが困難な場合がある。
【０００４】
また、例えば、動的計画法によって、所定区間を走行した列車の消費エネルギーが最小となるように、所定区間内における列車の速度、位置、時間等の走行状態を、列車の消費エネルギーをコストとして求めることによって、列車の運転曲線を作成する方法も開発されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−０３６２８６号公報
【特許文献２】特開２０１６−１３１４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、動的計画法によって運転曲線を作成する方法では、回生エネルギーが一定の割合で得られることを前提としているため、列車の実走行において、回生エネルギーが架線電圧によって大きく変動すると、算出した運転曲線に従った列車の走行では回生絞り込みが発生して、回生エネルギーが得られない場合がある。
【課題を解決するための手段】
【０００７】
実施形態の運転曲線作成装置は、抽出部と、作成部と、を備える。抽出部は、列車の走行状態を示す走行データを取得し、当該走行データに基づいて、所定区間を走行する列車の回生ブレーキによる回生エネルギーの発生し易さを表す回生確率を抽出する。作成部は、確率動的計画法に従って、所定区間において列車がとり得る離散化された各走行状態について、当該走行状態から次にとり得る走行状態に状態遷移した場合の列車の消費エネルギーと回生確率を反映させた回生エネルギーとの和を遷移コストとして算出し、走行状態間を状態遷移して列車が所定区間を走行した場合の遷移コストの累積が最小となる列車の運転曲線を作成する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態にかかる運転曲線作成システムの構成の一例を示す図である。
【図２】図２は、第１の実施形態にかかる運転曲線作成装置による回生データの抽出処理の流れの一例を示すフローチャートである。
【図３】図３は、第１の実施形態にかかる運転曲線作成装置において回生データの抽出に用いる走行データの一例を示す図である。
【図４】図４は、第１の実施形態にかかる運転曲線作成装置における回生データの作成処理の一例を説明するための図である。
【図５】図５は、第１の実施形態にかかる運転曲線作成装置において作成されるき電区間識別テーブルの一例を示す図である。
【図６】図６は、第１の実施形態にかかる運転曲線作成装置における列車の力行確率の算出結果の一例を示す図である。
【図７】図７は、第１の実施形態にかかる運転曲線作成装置による運転曲線の作成処理の流れの一例を示すフローチャートである。
【図８】図８は、第１の実施形態にかかる運転曲線作成装置における遷移コストの算出処理の一例を説明するための図である。
【図９】図９は、第２の実施形態にかかる運転曲線作成装置における列車の消費エネルギーの累積の算出結果の一例を示す図である。
【図１０】図１０は、従来の運転曲線作成装置により作成される運転曲線の一例を示す図である。
【図１１】図１１は、第２の実施形態にかかる運転曲線作成装置により作成される運転曲線の一例を示す図である。
【図１２】図１２は、第２の実施形態にかかる運転曲線作成装置の蓄電池データ記憶部が記憶する蓄電池データの一例を示す図である。
【図１３】図１３は、第２の実施形態にかかる運転曲線作成装置による回生データの取得処理の一例を説明するための図である。
【図１４】図１４は、第３の実施形態にかかる運転曲線作成装置において実行される強化学習の一例を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、添付の図面を用いて、本実施形態にかかる運転曲線作成装置を適用した運転曲線作成システムについて説明する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態にかかる運転曲線作成システムの構成の一例を示す図である。図１に示すように、本実施形態にかかる運転曲線作成システムは、列車に搭載される車両システム１００と、列車の外部に存在する地上システム１０４と、を有する。車両システム１００は、走行データ送信部１０１、運転曲線受信部１０２、および運転曲線表示部１０３を有する。
【００１１】
走行データ送信部１０１は、列車において計測される走行データを、地上システム１０４に送信する。これにより、走行データ送信部１０１は、走行データを地上システム１０４に記録する。
【００１２】
ここで、走行データは、列車の走行状態を示すデータである。例えば、走行データは、列車の走行を識別可能とする走行番号、列車が走行した日付、列車が走行した時刻、列車の位置、列車の速度、列車の加速度、列車のノッチ、回生絞り込み量、列車の消費エネルギー、乗車率などを含むものとするが、これに限定するものではなく、列車が走行した際の天候、列車の乗車率、列車が電力の供給を受ける架線の架線電圧、列車が走行する位置の経度や緯度や標高などを含んでいても良い。
【００１３】
運転曲線受信部１０２は、地上システム１０４から、当該地上システム１０４により作成される運転曲線を受信する。運転曲線表示部１０３は、運転曲線受信部１０２により受信した運転曲線を表示する。
【００１４】
地上システム１０４は、所定区間（例えば、き電区間）を走行する列車の運転曲線を作成する運転曲線作成装置１０５と、当該運転曲線作成装置１０５により作成される運転曲線を、車両システム１００の運転曲線受信部１０２に送信する運転曲線送信部１１２と、を有する。本実施形態では、運転曲線作成装置１０５は、走行データ記憶部１０６、回生データ抽出部１０７、回生データ記憶部１０８、パラメータ初期化部１０９、回生データ取得部１１０、運転曲線作成部１１１、および蓄電池データ記憶部１１３を有する。
【００１５】
走行データ記憶部１０６は、車両システム１００の走行データ送信部１０１から送信される走行データを記憶する。蓄電池データ記憶部１１３は、列車の減速による回生エネルギーを充電可能な蓄電池の数を特定可能とする蓄電池データを記憶する。回生データ抽出部１０７は、走行データ記憶部１０６から、走行データを取得する。そして、回生データ抽出部１０７（抽出部の一例）は、取得した走行データに基づいて、所定区間を走行する列車の回生ブレーキによる回生エネルギーの発生し易さを表す回生確率を示す回生データを抽出する。
【００１６】
回生データ記憶部１０８は、回生データ抽出部１０７により抽出される回生データを記憶する。パラメータ初期化部１０９は、運転曲線の作成に用いる各種パラメータを初期化する。回生データ取得部１１０は、回生データ記憶部１０８から、回生データを取得する。運転曲線作成部１１１は、回生データ取得部１１０により取得される回生データを用いて、所定区間を走行する列車の運転曲線を作成する。
【００１７】
次に、図２を用いて、本実施形態にかかる運転曲線作成装置１０５による回生データの抽出処理の一例について説明する。図２は、第１の実施形態にかかる運転曲線作成装置による回生データの抽出処理の流れの一例を示すフローチャートである。
【００１８】
本実施形態では、回生データ抽出部１０７は、時刻ｔに所定区間を力行する列車の数に基づいて、回生データを抽出する。よって、回生データ抽出部１０７は、走行データ記憶部１０６から、時刻ｔに所定区間を走行する列車の車両システム１００から受信した走行データを取得する（ステップＳ２０１）。
【００１９】
図３は、第１の実施形態にかかる運転曲線作成装置において回生データの抽出に用いる走行データの一例を示す図である。本実施形態では、回生データ抽出部１０７は、走行データ記憶部１０６に記憶される走行データ（図３参照）のうち、時刻ｔを含む走行データを取得する。走行データの形式は、車両システム１００が有する走行データの計測装置や記録フォーマットによって異なる。例えば、図３に示す走行データが含むノッチは、１〜６を列車の力行時のノッチとし、−１〜−６を列車のブレーキ時のノッチとして表す。また、本実施形態では、回生データ抽出部１０７は、走行データ記憶部１０６に記憶される走行データのうち、時刻ｔの日付から予め設定された日にち（例えば、時刻ｔの日付から予め設定された月数前）までの日付を含む走行データを取得する。
【００２０】
図２に戻り、回生データ抽出部１０７は、回生データを抽出する際に、所定区間（例えば、き電区間）を走行した列車により計測された走行データを用いるために、取得した走行データを計測した列車が走行した所定区間を示すき電区間識別テーブルを作成する（ステップＳ２０２）。図４は、第１の実施形態にかかる運転曲線作成装置における回生データの作成処理の一例を説明するための図である。例えば、図４に示すように、変電所Ａと変電所Ｂとの間のき電区間ＡＢを走行する列車の運転曲線を作成する場合、回生データ抽出部１０７は、列車ａにより計測された走行データおよび列車ｂにより計測された走行データのうち、き電区間ＡＢを走行した列車ａにより計測された走行データを用いて、回生データを抽出することが好ましい。そのため、回生データ抽出部１０７は、き電区間識別テーブルを作成する。
【００２１】
図５は、第１の実施形態にかかる運転曲線作成装置において作成されるき電区間識別テーブルの一例を示す図である。本実施形態では、回生データ抽出部１０７は、図５に示すように、取得した走行データを識別可能とする走行データ識別番号と、当該取得した走行データを計測した列車が走行した所定区間（例えば、き電区間）を識別可能とするき電区間識別情報とを対応付けるき電区間識別テーブルを作成する。具体的には、回生データ抽出部１０７は、走行データや所定区間を示す情報を用いて、き電区間識別テーブルを作成する。例えば、回生データ抽出部１０７は、走行データが含む日付と当該走行データが含む走行番号を組み合わせて走行データ識別番号を作成し、当該走行データ識別番号と列車が走行したき電区間のき電区間識別情報とを対応付けてき電区間識別テーブルを作成する。
【００２２】
図２に戻り、回生データ抽出部１０７は、取得した走行データ間の走行データ（例えば、列車の位置、速度、ノッチ、消費エネルギー）を補間して、予め設定された時間（例えば、１秒）毎の走行データを取得する（ステップＳ２０３）。例えば、回生データ抽出部１０７は、線形補間によって、取得した走行データ間の走行データを補間する。１つの走行状態から次の走行状態へと状態遷移する時刻の間隔は、動的計画法によって運転曲線を作成する場合には走行状態の要素として用いられ、強化学習によって運転曲線を作成する場合には報酬関数のパラメータとして用いられる。そのため、１つの走行状態から次の走行状態へと状態遷移する時刻の間隔は、運転曲線の作成に用いる手法によって変更する必要がある。また、列車によって走行データを計測する間隔は、１００ミリ秒間隔であったり、５００ミリ秒間隔であったり、当該列車に搭載される計測装置によって異なる場合がある。そのため、回生データ抽出部１０７は、取得する走行データの間隔を、運転曲線の作成に用いる方法に適した間隔に調整する。
【００２３】
次に、回生データ抽出部１０７は、取得した走行データを用いて、時刻ｔに所定区間を力行する列車の数を計数する（ステップＳ２０４）。本実施形態では、回生データ抽出部１０７は、図３に示す走行データのうち、時刻ｔの走行データが含むノッチが１以上の走行データの数を、時刻ｔに力行する列車の数として求める。そして、回生データ抽出部１０７は、時刻ｔにおいて力行する列車の数に基づいて、所定区間を走行する列車が力行する確率（以下、力行確率と言う）を算出する（ステップＳ２０５）。
【００２４】
図６は、第１の実施形態にかかる運転曲線作成装置における列車の力行確率の算出結果の一例を示す図である。図６において、横軸は、列車による所定区間の走行時間（例えば、２００秒）の時刻（列車の発車時刻ｔ１から、列車の到着時刻ｔ２までの時刻）を表し、縦軸は、当該時刻における列車の力行確率を表す。図６に示すように、回生データ抽出部１０７は、列車が所定区間を走行する走行時間の各時刻について、力行確率を算出する。本実施形態では、回生データ抽出部１０７は、離散化された力行確率の分布を求めているが、離散化された力行確率間を補間して、連続的な力行確率の分布を求めることも可能である。そして、回生データ抽出部１０７は、算出した力行確率に基づいて、回生データを抽出し、当該回生データを回生データ記憶部１０８に保存する。
【００２５】
次に、図７を用いて、本実施形態にかかる運転曲線作成装置による運転曲線の作成処理の流れの一例について説明する。図７は、第１の実施形態にかかる運転曲線作成装置による運転曲線の作成処理の流れの一例を示すフローチャートである。
【００２６】
まず、パラメータ初期化部１０９は、走行データ記憶部１０６から、列車が所定区間を走行した際に計測された走行データを取得する（ステップＳ７０１）。次に、パラメータ初期化部１０９は、確率動的計画法による運転曲線の作成に用いる各種パラメータを初期化する（ステップＳ７０２）。具体的には、パラメータ初期化部１０９は、取得した走行データに基づいて、列車が走行開始する際の走行状態、列車が停車する条件（例えば、位置、速度、時刻）、ノッチ毎の消費エネルギーを算出するための列車の特性、列車が有するノッチ（例えば、力行する４段階のノッチ、ニュートラル、および制動する４段階のノッチを含む９段階のノッチ）、所定区間の勾配情報などの各種パラメータを初期化する。また、パラメータ初期化部１０９は、列車が停車する条件を設定する際、当該列車が停車する条件の一例である位置や時刻にマージンを持たせても良い。
【００２７】
回生データ取得部１１０は、回生データ記憶部１０８から、所定区間の回生データを取得する（ステップＳ７０３）。次に、運転曲線作成部１１１（作成部の一例）は、確率動的計画法（マルコフ決定過程）により状態遷移する列車の走行状態について、列車が有する各ノッチに対応する加速度および消費エネルギーを運動方程式によって算出する（ステップＳ７０４）。そして、運転曲線作成部１１１は、確率動的計画法に従って、各ノッチについて算出した加速度および消費エネルギーに応じて、列車が次にとり得る走行状態（例えば、列車の位置、速度、時刻）を決定する（ステップＳ７０５）。その際、運転曲線作成部１１１は、確率動的計画法において状態遷移する状態は、離散化された状態であるため、走行状態としての位置や速度や時刻に対して切り捨てや切り上げを行う。すなわち、運転曲線作成部１１１は、所定区間において列車がとり得る離散化された走行状態を定める。
【００２８】
次に、運転曲線作成部１１１は、離散化された各走行状態について、当該走行状態から次にとり得る走行状態に状態遷移した場合の列車の遷移コストを算出する。ここで、遷移コストは、走行状態の状態遷移による列車の消費エネルギーと、取得した回生データが示す回生確率を反映させた回生エネルギーと、の和とする。これにより、確率動的計画法による走行状態の状態遷移による列車の遷移コストを、回生絞り込みの発生を考慮した値とすることができるので、列車の実走行での回生絞り込みを考慮して省エネルギー化を図った運転曲線の作成を可能とする。そして、運転曲線作成部１１１は、離散化された各走行状態について、当該走行状態までの状態遷移による遷移コストの累積のうち最小の遷移コストの累積（以下、最小累積コストと言う）を算出する（ステップＳ７０６）。
【００２９】
図８は、第１の実施形態にかかる運転曲線作成装置における遷移コストの算出処理の一例を説明するための図である。本実施形態では、運転曲線作成部１１１は、図８に示すように、ある１つの走行状態Ｓ（ｘ，ｖ，ｔ）から、当該走行状態Ｓから１秒後の走行状態など次にとり得る走行状態Ｓ´（ｘ´，ｖ´，ｔ＋１）に状態遷移による列車の遷移コストＣ（ｘ，ｖ，ｔ，ｘ´，ｖ´，ｔ＋１）を算出する。ここで、ｘは、走行状態Ｓにおける列車の位置を表し、ｖは、走行状態Ｓにおける列車の速度を表し、ｔは、走行状態Ｓにおける時刻を表す。また、ｘ´は、走行状態Ｓ´における列車の位置を表し、ｖ´は、走行状態Ｓ´における列車の速度を表し、ｔ´は、走行状態Ｓにおける時刻を表す。さらに、運転曲線作成部１１１は、図８に示すように、走行状態Ｓまでの最小累積コストＶｘ，ｖ，ｔ、および走行状態Ｓ´までの最小累積コストＶ´ｘ´，ｖ´，ｔ＋１を算出する。
【００３０】
本実施形態では、運転曲線作成部１１１は、下記の式（１）を用いて、走行状態Ｓ（ｘ，ｖ，ｔ）から走行状態Ｓ´（ｘ´，ｖ´，ｔ＋１）への状態遷移による遷移コストＣ（ｘ，ｖ，ｔ，ｘ´，ｖ´，ｔ＋１）を算出する。具体的には、運転曲線作成部１１１は、走行状態Ｓ（ｘ，ｖ，ｔ）から走行状態Ｓ´（ｘ´，ｖ´，ｔ＋１）への状態遷移における列車の力行による力行エネルギー（ｘ，ｖ，ｔ，ｘ´，ｖ´，ｔ＋１）を算出する。さらに、運転曲線作成部１１１は、走行状態Ｓ（ｘ，ｖ，ｔ）から走行状態Ｓ´（ｘ´，ｖ´，ｔ＋１）への状態遷移における列車のブレーキにより回生される回生エネルギー（ｘ，ｖ，ｔ，ｘ´，ｖ´，ｔ＋１）に対して回生確率ＲｅｇｅｎＰｒｏｂ（ｔ）（例えば、時刻ｔにおける列車の力行確率）を乗算した値を、回生エネルギーとして算出する。そして、運転曲線作成部１１１は、力行エネルギー（ｘ，ｖ，ｔ，ｘ´，ｖ´，ｔ＋１）と、回生エネルギーとの和を、遷移コストＣ（ｘ，ｖ，ｔ，ｘ´，ｖ´，ｔ＋１）として算出する。
【数１】
2018184135.tif 000003
【００３１】
図７に戻り、運転曲線作成部１１１は、各走行状態までの最小累積コストおよび各走行状態までの状態遷移の経路を記憶する（ステップＳ７０７）。各走行状態の最小累積コストおよび各走行状態までの状態遷移の経路を記憶する度に、運転曲線作成部１１１は、各走行状態の次にとり得る走行状態が無くなる終了条件を満たすか否かを判断する（ステップＳ７０８）。終了条件を満たさない場合（ステップＳ７０８：Ｙｅｓ）、運転曲線作成部１１１は、ステップＳ７０４に戻り、次にとり得る走行状態について、列車が有する各ノッチに対応する加速度および消費エネルギーを運動方程式によって算出する。
【００３２】
一方、終了条件を満たした場合（ステップＳ７０８：Ｎｏ）、運転曲線作成部１１１は、終了条件を満たした走行状態までの状態遷移の経路のうち、最小累積コストが最も小さい状態遷移の経路を、所定区間における列車の運転曲線として作成する（ステップＳ７０９）。すなわち、運転曲線作成部１１１は、確率動的計画法（マルコフ決定過程）に従って、所定区間において列車がとり得る離散化された各走行状態について、当該走行状態から次にとり得る走行状態に状態遷移した場合の遷移コストを算出し、列車が走行状態間を状態遷移してき電区間を走行した場合の遷移コストの累積が最小となる運転曲線を作成する。
【００３３】
これにより、第１の実施形態にかかる運転曲線作成装置１０５によれば、確率動的計画法による走行状態の状態遷移による列車の遷移コストを、回生絞り込みの発生を考慮した値とすることができるので、列車の実走行での回生絞り込みを考慮して省エネルギー化を図った運転曲線を作成できる。
【００３４】
（第２の実施形態）
本実施形態は、所定区間を力行する列車の消費エネルギーの累積等に基づいて、回生データを取得する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。
【００３５】
本実施形態では、回生データ抽出部１０７は、時刻ｔ毎の所定区間における列車の消費エネルギーの累積に基づいて、回生データを抽出する。図９は、第２の実施形態にかかる運転曲線作成装置における列車の消費エネルギーの累積の算出結果の一例を示す図である。図９において、横軸は、列車による所定区間の走行時間（例えば、２００秒）の時刻（列車の発車時刻ｔ１から、列車の到着時刻ｔ２までの時刻）を表し、縦軸は、所定区間を走行する列車の消費エネルギーの累積を表す。例えば、回生データ抽出部１０７は、時刻ｔにおける所定区間を走行する列車の消費エネルギーの累積が多くなるに従って、回生確率を上げる。一方、回生データ抽出部１０７は、時刻ｔにおける所定区間を走行する列車の消費エネルギーの累積が少なくなるに従って、回生確率を下げる。
【００３６】
これにより、列車の回生ブレーキによって回生エネルギーを回生可能な状態（すなわち、列車の力行によって多くのエネルギーが使われて、回生絞り込みが発生する架線電圧までの差が大きい状態）においては、回生確率を上げることができるので、列車の回生ブレーキによってより多くの回生エネルギーを回生できる。
【００３７】
また、本実施形態では、回生データ抽出部１０７は、時刻ｔに所定区間において回生絞り込みが発生する確率（以下、回生絞り込み確率と言う）に基づいて、回生データを抽出することも可能である。図１０は、従来の運転曲線作成装置により作成される運転曲線の一例を示す図である。図１１は、第２の実施形態にかかる運転曲線作成装置により作成される運転曲線の一例を示す図である。図１０および図１１において、横軸は、列車が所定区間を走行する時刻を表し、縦軸は、所定区間を走行する列車の速度を表す。従来の運転曲線は、列車のブレーキによって１００％または所定の割合で回生エネルギーが回生されることを前提として、走行状態間の状態遷移による消費エネルギーを算出し、当該算出結果に基づいて、所定区間における走行状態間の状態遷移による消費エネルギーが最小となる運転曲線を作成している。
【００３８】
そのため、従来の運転曲線作成装置により作成される運転曲線は、例えば、図１０に示すように、時刻ｔ３と時刻ｔ４間において回生絞り込みが発生した場合、従来の運転曲線作成装置により作成された運転曲線に従って列車が走行したとしても、実際に回生される回生エネルギーが小さくなり、省エネルギー化を十分に図った運転曲線とならない場合がある。
【００３９】
そこで、本実施形態では、回生データ抽出部１０７は、所定区間における回生絞り込み確率に基づいて、回生確率を抽出する。具体的には、運転曲線作成部１１１は、図１１に示すように、回生絞り込み確率が低い時刻ｔ５における回生確率を高くする。一方、運転曲線作成部１１１は、図１１に示すように、回生絞り込み確率が高い、時刻ｔ３と時刻ｔ４間における回生確率を低くする。すなわち、回生データ抽出部１０７は、回生絞り込み確率が高くなるに従って、回生確率を下げる。一方、回生データ抽出部１０７は、回生絞り込み確率が低くなるに従って、回生確率を上げる。これにより、所定区間における回生絞り込みを避けて、回生エネルギーを回生させることができるので、より省エネルギー化を図った運転曲線を作成できる。
【００４０】
また、回生データ抽出部１０７は、所定区間において回生される回生エネルギーを充電可能な蓄電池の数に基づいて、回生データを抽出することも可能である。本実施形態では、蓄電池データ記憶部１１３は、列車の回生ブレーキにより回生される回生エネルギーを充電可能な蓄電池毎に、蓄電池データを記憶する。ここで、蓄電池データは、列車の回生ブレーキにより回生される回生エネルギーを充電可能な蓄電池の数を特定可能とするデータである。例えば、蓄電池データは、回生エネルギーの充電の可否を示すフラグ、蓄電池の蓄電量、蓄電池の充電回数、蓄電池の放電量等を含むデータである。
【００４１】
図１２は、第２の実施形態にかかる運転曲線作成装置の蓄電池データ記憶部が記憶する蓄電池データの一例を示す図である。本実施形態では、蓄電池データ記憶部１１３は、列車が所定区間を走行する日付、時刻、蓄電池による回生エネルギーの充電の可否を示す蓄電可否情報、蓄電池の放電量等を含む蓄電池データを記憶する。ここで、蓄電可否情報は、蓄電池による回生エネルギーの充電が可能な場合には１となり、蓄電池による回生エネルギーの充電ができない場合には０となる。
【００４２】
図１３は、第２の実施形態にかかる運転曲線作成装置による回生データの取得処理の一例を説明するための図である。例えば、図１３に示すように、き電区間ＡＢを走行する列車の運転曲線を作成する場合、回生データ抽出部１０７は、蓄電池データ記憶部１１３に記憶される蓄電池データのうち、き電区間ＡＢを走行する列車の回生ブレーキにより回生される回生エネルギーを充電可能な蓄電池ＢＴの蓄電池データであり、かつ時刻ｔにおける充電可否情報が１を示す蓄電池データの数を計数する。
【００４３】
そして、回生データ抽出部１０７は、計数した蓄電池データの数を、き電区間ＡＢにおいて回生エネルギーを充電可能な蓄電池ＢＴの数とし、当該蓄電池ＢＴの数に基づいて、回生データを抽出する。例えば、回生データ抽出部１０７は、き電区間ＡＢにおいて回生エネルギーを充電可能な蓄電池ＢＴの数が多くなるに従い、回生確率を高くする。一方、回生データ抽出部１０７は、き電区間ＡＢにおいて回生エネルギーを充電可能な蓄電池ＢＴの数が少なくなるに従って、回生確率を低くする。これにより、所定区間を走行する列車の回生ブレーキにより回生される回生エネルギーを充電可能な蓄電池の数が少なくなることによる回生絞り込みを避けて、回生エネルギーを回生させることができる。
【００４４】
また、回生データ抽出部１０７は、所定区間を列車が力行する確率、所定区間における列車の消費エネルギーの累積、所定区間における回生絞り込み確率、および所定区間を走行する列車の回生ブレーキにより回生される回生エネルギーを充電可能な蓄電池の数のうち２つ以上に基づいて、回生データを抽出する。例えば、所定区間における回生絞り込み確率、および所定区間を列車が力行する確率に基づいて回生データを抽出する場合、回生データ抽出部１０７は、下記の式（２）を用いて、回生確率ＲｅｇｅｎＰｒｏｂ（ｔ）を抽出する。下記の式（２）において、Ｃｏｎ（ｔ）は、時刻ｔにおける所定区間の回生絞り込み確率を表し、ＰｏｗｅｒＮｏｔｃｈ（ｔ）は、時刻ｔにおいて所定区間を列車が力行する確率を表す、Ｋは、予め設定された係数である。
【数２】
2018184135.tif 000004
【００４５】
回生データ抽出部１０７は、式（２）を用いて回生確率ＲｅｇｅｎＰｒｏｂ（ｔ）を抽出することによって、回生絞り込み量が少なくかつ列車が力行する確率が高い時刻における回生確率ＲｅｇｅｎＰｒｏｂ（ｔ）を高くすることができる。これにより、回生絞り込みを避けて、回生エネルギーが回生される確率が高くして、省エネルギー化を図った運転曲線を作成できる。ここでは、回生データ抽出部１０７は、所定区間を列車が力行する確率、所定区間を力行する列車の消費エネルギーの累積、所定区間における回生絞り込み確率、および所定区間を走行する列車の回生ブレーキにより回生される回生エネルギーを充電可能な蓄電池の数のうち少なくとも２つに基づいて、回生データを抽出しているが、これに限定するものではなく、所定区間を走行する列車の走行状態を表す他の情報に基づいて、回生データを抽出することも可能である。
【００４６】
このように、第２の実施形態にかかる運転曲線作成装置１０５によれば、列車の回生ブレーキによって回生エネルギーを回生可能な状態においては、回生確率を上げることができるので、列車の回生ブレーキによってより多くの回生エネルギーを回生できる。
【００４７】
（第３の実施形態）
本実施形態は、所定区間における離散化された各走行状態から、当該走行状態の次にとり得る走行状態への状態遷移において取るべき行動を、回生エネルギーを報酬として強化学習を実行し、各走行状態について、報酬が最も大きい行動を選択して、次にとり得る走行状態に状態遷移する運転曲線を作成する例である。以下の説明では、上述の実施形態と同様の箇所については説明を省略する。
【００４８】
本実施形態では、運転曲線作成部１１１は、所定区間における離散化された各走行状態から、当該走行状態の次にとり得る走行状態への状態遷移において取るべき行動を、回生絞り込みに影響する情報（例えば、回生エネルギー）を報酬として強化学習を実行する。図１４は、第３の実施形態にかかる運転曲線作成装置において実行される強化学習の一例を説明するための図である。図１４に示すように、運転曲線作成部１１１は、時刻ｔにおける走行状態Ｓｔから、当該走行状態Ｓｔの次にとり得る走行状態Ｓｔ＋１への状態遷移において取るべき行動ａｔを、回生エネルギーなどの回生絞り込みに影響する情報を報酬ｒｔとして強化学習を実行する。
【００４９】
例えば、運転曲線作成部１１１は、下記の式（３）を用いて、報酬ｒｔを求める強化学習を実行する。式（３）において、ｒｔは、報酬を表し、Ｅｔは、時刻ｔにおける列車の消費エネルギーを表し、ＲｅｇｅｎＰｒｏｂ（ｔ）は、時刻ｔにおける回生確率を表し、ｇ（ｘ）は、終着駅までの距離に応じて与えられる報酬を表し、Ｃは、終着駅への到着によって与えられる報酬を表す。そして、運転曲線作成部１１１は、各走行状態について、報酬ｒｔが最も大きい行動を選択して、次にとり得る走行状態に状態遷移する運転曲線を作成する。
【数３】
2018184135.tif 000005
【００５０】
このように、第３の実施形態にかかる運転曲線作成装置１０５によれば、列車の実走行での回生絞り込みの影響を考慮して、き電区間における離散化された走行状態間の状態遷移を決定できるので、より省エネルギー化を図った運転曲線を作成できる。
【００５１】
（第４の実施形態）
本実施形態は、回生データに基づいて、各走行状態の次にとり得る走行状態をビームサーチによって探索し、当該探索した走行状態間を状態遷移する運転曲線を作成する例である。以下の説明では、上述の実施形態と同様の箇所については説明を省略する。
【００５２】
本実施形態では、運転曲線作成部１１１は、各走行状態から、次にとり得る走行状態への状態遷移における回生エネルギーに対して回生確率を適用（例えば、乗算）して得られる回生エネルギーを評価値として、ビームサーチによって、各走行状態の次にとり得る走行状態として選択（探索）する。具体的には、運転曲線作成部１１１は、各走行状態の次にとり得る走行状態のうち、評価値が高い走行状態から順に予め設定された数の走行状態を選択し、それ以外の走行状態を選択しない。そして、運転曲線作成部１１１は、選択した走行状態間を状態遷移する運転曲線を作成する。
【００５３】
このように、第４の実施形態にかかる運転曲線作成装置１０５によれば、各走行状態から状態遷移可能な次の走行状態の中から、回生エネルギーが大きい走行状態への状態遷移を優先して選択できるので、列車の実走行の環境に適合させて、省エネルギー化を図った運転曲線を作成できる。
【００５４】
以上説明したとおり、第１から第４の実施形態によれば、列車の実走行での回生絞り込みを考慮して省エネルギー化を図った運転曲線を作成できる。
【００５５】
なお、本実施形態の運転曲線作成装置１０５で実行されるプログラムは、ＲＯＭ（Read  Only  Memory）等に予め組み込まれて提供される。本実施形態の運転曲線作成装置１０５で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５６】
さらに、本実施形態の運転曲線作成装置１０５で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の運転曲線作成装置１０５で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５７】
本実施形態の運転曲線作成装置１０５で実行されるプログラムは、上述した各部（回生データ抽出部１０７、パラメータ初期化部１０９、回生データ取得部１１０、運転曲線作成部１１１）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central  Processing  Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、回生データ抽出部１０７、パラメータ初期化部１０９、回生データ取得部１１０、運転曲線作成部１１１が主記憶装置上に生成されるようになっている。
【００５８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５９】
１００  車両システム
１０１  走行データ送信部
１０２  運転曲線受信部
１０３  運転曲線表示部
１０４  地上システム
１０５  運転曲線作成装置
１０６  走行データ記憶部
１０７  回生データ抽出部
１０８  回生データ記憶部
１０９  パラメータ初期化部
１１０  回生データ取得部
１１１  運転曲線作成部
１１２  運転曲線送信部
１１３  蓄電池データ記憶部
【図１】
2018184135.tif 000006
【図２】
2018184135.tif 000007
【図３】
2018184135.tif 000008
【図４】
2018184135.tif 000009
【図５】
2018184135.tif 000010
【図６】
2018184135.tif 000011
【図７】
2018184135.tif 000012
【図８】
2018184135.tif 000013
【図９】
2018184135.tif 000014
【図１０】
2018184135.tif 000015
【図１１】
2018184135.tif 000016
【図１２】
2018184135.tif 000017
【図１３】
2018184135.tif 000018
【図１４】
2018184135.tif 000019