(57)【要約】【課題】確率的に生じる天候や乗車率、空気ブレーキ特性などの影響を抑制し、鉄道車両の好適な制御データを取得（学習）し、実際の制御を確実に行う。【解決手段】実施形態の列車制御装置は、検出した鉄道車両の走行状態から予想される停止位置、到着時間等の停止制御結果を予測して報酬期待値を算出する報酬期待値算出部と、停止位置誤差および到着時間誤差に基づいて報酬値を算出する報酬値算出部と、所定の手順で報酬期待値と報酬値との間の誤差を算出する誤差算出部と、誤差を低減するように次回以降の報酬期待値の算出手順の更新を行う報酬期待値更新部と、報酬期待値の更新量に基づいて行動量の更新量を算出する行動量更新部と、更新量算出結果及び運転データに基づいて走行制御量及び停止制御量を含む新たな行動量を算出する行動量算出部と、算出された行動量に基づいて鉄道車両の走行制御及び停止制御を行う制御部と、を備える。【選択図】図１
2019097354.tif 000002
【特許請求の範囲】
【請求項１】
鉄道車両の走行状態を算出する状態算出部と、
前記走行状態から予想される停止位置、到着時間等の停止制御結果を予測して報酬期待値を算出する報酬期待値算出部と、
前記鉄道車両が駅に停車した際の停止位置誤差および到着時間誤差に基づいて報酬値を算出する報酬値算出部と、
前記報酬期待値及び前記報酬値に基づいて、所定の手順で前記報酬期待値と前記報酬値との間の誤差を算出する誤差算出部と
前記誤差を低減するように次回以降の前記報酬期待値算出部における前記報酬期待値の算出手順の更新を行う報酬期待値更新部と、
前記報酬期待値の更新量に基づいて、走行制御量及び停止制御量を含む行動量の更新量を算出する行動量更新部と、
前記行動量更新部の更新量算出結果及び前記鉄道車両の運転データに基づいて、走行制御量及び停止制御量を含む新たな行動量を算出する行動量算出部と、
前記算出された行動量に基づいて前記鉄道車両の走行制御及び停止制御を行う制御部と、
を備えた列車制御装置。
【請求項２】
前記行動量更新部は、前記行動量の値を用いて前記鉄道車両の走行制御あるいは停止制御を行った場合における前記報酬期待値と前記報酬値との大小関係に基づいて、前記行動量の値の選択確率を制御する、
請求項１記載の列車制御装置。
【請求項３】
前記行動量更新部は、前記報酬期待値よりも前記報酬値が大きい場合には、前記行動量の値の選択確率が高くなり、前記報酬期待値よりも前記報酬値が小さい場合には、前記行動量の値の選択確率が低くなるように前記更新量を算出する、
請求項２記載の列車制御装置。
【請求項４】
前記行動量更新部は、前記鉄道車両の走行状態を入力とする確率密度関数を用いて、前記更新量を算出する、
請求項３記載の列車制御装置。
【請求項５】
前記状態算出部は、一つの駅間走行ごとに前記走行状態を算出する、
請求項１乃至請求項４のいずれか一項記載の列車制御装置。
【請求項６】
前記誤差算出部は、前記誤差を、前記報酬期待値と前記報酬値との差、あるいは、前記報酬期待値と前記報酬値との差を所定の関数の入力値として求めた値を前記誤差とする、
請求項１乃至請求項５のいずれか一項記載の列車制御装置。
【請求項７】
前記制御部は、複数の前記行動量に基づいて前記鉄道車両の走行制御及び停止制御を行うものであり、
前記複数の行動量の値を用いて前記鉄道車両の走行制御あるいは停止制御を行った場合における前記複数の行動量の前記停止制御結果に対する寄与率を算出する寄与率算出部を備え、
前記行動量更新部は、算出された前記寄与率に基づいて前記複数の行動量に前記誤差算出部が算出した誤差を按分し、
前記報酬期待値更新部は、前記複数の行動量毎に前記按分された誤差を低減するように次回以降の前記報酬期待値算出部における前記報酬期待値の算出手順の更新を行う、
請求項１乃至請求項６のいずれか一項記載の列車制御装置。
【請求項８】
前記寄与率算出部は、各前記行動量が走行制御あるいは停止制御に使用された時間と、全ての前記行動量が走行制御あるいは停止制御に使用された総和時間と、に基づいて前記寄与率を算出する、
請求項７記載の列車制御装置。
【請求項９】
前記寄与率算出部は、前記行動量の値の大きさを前記総和時間に乗じた値に基づいて前記寄与率を算出する、
請求項８記載の列車制御装置。
【請求項１０】
鉄道車両の制御を行う列車制御装置で実行される列車制御方法であって、
鉄道車両の走行状態を算出する状態算出過程と、
前記走行状態から予想される停止位置、到着時間等の停止制御結果を予測して報酬期待値を算出する報酬期待値算出過程と、
前記鉄道車両が駅に停車した際の停止位置誤差および到着時間誤差に基づいて報酬値を算出する報酬算出過程と、
前記報酬期待値及び前記報酬値に基づいて、所定の手順で前記報酬期待値と前記報酬値との間の誤差を算出する誤差算出過程と
前記誤差を低減するように次回以降の前記報酬期待値の算出手順の更新を行う報酬期待値更新過程と、
前記報酬期待値の更新量に基づいて、走行制御量及び停止制御量を含む行動量の更新量を算出する行動量更新過程と、
前記行動量の更新量の算出結果及び前記鉄道車両の運転データに基づいて、走行制御量及び停止制御量を含む新たな行動量を算出する行動量算出過程と、
前記算出された行動量に基づいて前記鉄道車両の走行制御及び停止制御を行う制御過程と、
を備えた列車制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、列車制御装置および列車制御方法に関する。
【背景技術】
【０００２】
近年、運転士の負担軽減、ワンマン運転化による人件費削減、および、運転士の技量によらず安定してホームドア位置に合わせて列車を停止させることにより停止位置修正による遅延発生を防止するなど列車運行の安定化を目的として、自動列車運転(ＡＴＯ)装置の導入が進んでいる。
【０００３】
ＡＴＯ装置においては、駅停止制御において、停止位置精度を向上させるために、事前情報および運行しながら得た情報を基に、制御パラメータやモデルパラメータ等のパラメータの更新・学習等を行っており、これらのパラメータを適切に学習することにより、停止位置精度および定時性（到着時間誤差）の精度を向上させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５４３３７４７号公報
【特許文献２】特開２０１０−００４６６２号公報
【特許文献３】特許第４４１４３８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来においては、自ら測定した速度や算出した加速度と、予め設定したモデルから算出した速度や加速度とを比較し、モデルのパラメータ等を学習する構成を採っていた。
【０００６】
しかし自ら測定した速度、加速度等のデータは、微小な空転滑走等の影響を受け、正しい測定データ（測定値）でない場合があり、ひいては、正しく学習できない場合がある。
【０００７】
また、停止位置精度を向上し、到着時刻誤差を小さくするには、予め設定したモデルを使用した制御手法にも依存するため、停止位置精度の向上および到着時刻誤差が小さくなるとは限らなかった。
【０００８】
そこで、本発明は、確率的に生じる天候や乗車率、空気ブレーキ特性などさまざまな影響を抑制し、鉄道車両について好適な制御データを取得（学習）し、実際の制御を確実に行うことが可能な列車制御装置及び列車制御方法を提供することにある。
【課題を解決するための手段】
【０００９】
実施形態の列車制御装置は、鉄道車両の走行状態を算出する状態算出部と、走行状態から予想される停止位置、到着時間等の停止制御結果を予測して報酬期待値を算出する報酬期待値算出部と、鉄道車両が駅に停車した際の停止位置誤差および到着時間誤差に基づいて報酬値を算出する報酬値算出部と、報酬期待値及び報酬値に基づいて、所定の手順で報酬期待値と報酬値との間の誤差を算出する誤差算出部と、誤差を低減するように次回以降の報酬期待値算出部における報酬期待値の算出手順の更新を行う報酬期待値更新部と、報酬期待値の更新量に基づいて、走行制御量及び停止制御量を含む行動量の更新量を算出する行動量更新部と、行動量更新部の更新量算出結果及び鉄道車両の運転データに基づいて、走行制御量及び停止制御量を含む新たな行動量を算出する行動量算出部と、算出された行動量に基づいて鉄道車両の走行制御及び停止制御を行う制御部と、を備える。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態の列車制御システムの概要構成ブロック図である。
【図２】図２は、第１実施形態のパラメータ学習装置の概要構成ブロック図である。
【図３】図３は、行動量を算出するために使用する確率密度関数の一例である。
【図４】図４は、行動量の更新状態の説明図である。
【図５】図５は、パラメータ学習装置の学習時の処理フローチャートである。
【図６】図６は、列車運行時の行動量算出及び決定処理の処理フローチャートである。
【図７】図７は、第２実施形態のパラメータ学習装置の概要構成ブロック図である。
【図８】図８は、複数の行動量の説明図である。
【図９】図９は、ノッチのブレーキ制御に対する寄与率を説明する図である。
【図１０】図１０は、パラメータ学習装置の学習時の処理フローチャートである。
【発明を実施するための形態】
【００１１】
次に図面を参照して実施形態の列車制御装置を備えた列車制御システムについて説明する。
図１は、実施形態の列車制御システムの概要構成ブロック図である。
列車制御システム１０を構成する列車１１には、列車１１の制御を行う列車制御装置１２と、主回路装置１５Ａ及びブレーキ制御装置１５Ｂを有し、列車制御装置１２からの力行指令、制動（ブレーキ）指令等に基づいてモータ１３、ブレーキ装置１４等を制御する駆動／制動制御装置１５と、列車制御装置１２からの力行指令、制動（ブレーキ）指令を駆動／制動制御装置１５に伝送する制御伝送装置１６と、速度発電機（ＴＧ）１７と、地上子ＧＳを検知し、地上子検知情報を出力する車上子１８と、を備えている。
車両は駆動／制動制御装置１５に制御されたモータ１３とブレーキ装置１４により車輪が駆動／制動されてレールＲＬ上を走行する。 
【００１２】
上記構成において、列車制御装置１２は、列車１１の速度及び走行位置を検出する速度位置検出部２１と、列車１１の自動運転を行うＡＴＯ（Automatic  Train  Operation）装置２２と、路線条件、運行条件、車両性能等を記憶した記憶部２３と、記憶部２３の記憶内容にしたがってＡＴＯ装置２２の制御量（行動量）を補正するためのパラメータ（補正パラメータ）を生成し出力するパラメータ学習装置２４と、を備えている。
【００１３】
より詳細には、速度位置検出部２１は、速度発電機（ＴＧ）１７の出力したＴＧパルスや、地上子ＧＳから車上子１８を介して受信する地上子検知情報に基づいて、列車の速度と位置を検出し、速度位置情報としてＡＴＯ装置２２に出力する。 
【００１４】
ＡＴＯ装置２２は、列車１１を次駅まで走行させるための力行／ブレーキ指令を駆動／制動制御装置１５に出力する。ＡＴＯ装置２２は、速度位置検出部２１が出力した速度位置情報と、記憶部２３から読み出した路線情報、運行情報及び車両情報等に基づいて、列車１１が所定の時刻に次駅の所定の位置に到着するように走行計画を算出し、これに基づいて力行／ブレーキ指令を出力する。
【００１５】
記憶部２３は、路線情報として、各駅の停止目標位置、路線の勾配と曲線（曲率半径）、各閉塞区間の制限速度情報と閉塞長（閉塞区間の距離）、線形情報（閉塞区間の並び、各駅の各番線と分岐位置・分岐位置での旋回方向・閉塞区間との対応、番線ごとの停止位置までの走行距離と基準となる番線の停止位置までの走行距離との差）を記憶している。また記憶部２３は、運行情報として、運転種別ごとの停車駅と、各駅の発着予定時刻と到着予定番線を記憶している。さらに記憶部２３は、車両情報として、自列車の列車長と、力行／ブレーキ指令に対応した加速度／減速度の特性を記憶している。 
【００１６】
ここで、パラメータ学習装置の詳細について説明する。
図２は、第１実施形態のパラメータ学習装置の概要構成ブロック図である。
パラメータ学習装置２４は、大別すると、状態算出部３１（状態算出部３１−１、状態算出部３１−２）、報酬値算出部３２、報酬期待値算出部３３、誤差算出部３４、報酬期待値更新部３５、行動量更新部３６及び行動量算出部３７を備えている。
なお、図２においては、理解の容易のため、状態算出部３１を状態算出部３１−１と状態算出部３１−２に分けて図示しているが、演算処理としては同じものである。
【００１７】
本実施形態においては、パラメータとして駅間走行時に複数の行動量を使用する。例えば、ブレーキ力の指示値を状態（天候、時間帯、乗車率）によって補正する量を行動量とすることが考えられる。
【００１８】
状態算出部３１は、車上装置もしくは地上装置から、列車の走行ログ（ノッチ位置、走行速度、走行位置、車輪の回転数、車両の重量等）や気象情報、路線情報、乗車率等のデータを収拾し、対象とする駅間走行を特徴付ける特徴量の状態量ｓを算出する。
状態算出部３１で算出する特徴量の項目は、事前に手動で入力しても良いし、機械学習などで自動決定しても良い。例えば、走行の時間帯（朝、昼、夜）、曜日、平日／休日、天候（晴れ／雨／雪）、乗車率の特徴量が挙げられる。これらの特徴量は、本実施形態においては、停止位置誤差および定時性と相関のある特徴量である。
【００１９】
報酬値算出部３２は、例えば、駅に停車した際の目標停止位置との誤差および目標到着時間との誤差が入力される。報酬値算出部３２は、ユーザが最も望ましい誤差の状態を最良値として出力する報酬関数を予め記憶しており、対象とする駅間の走行が終了した際に報酬関数を用いて、対象とする走行の報酬値ｒを算出する。
【００２０】
報酬期待値算出部３３は、予め記憶している報酬期待値関数Ｖに対し、状態算出部３１で算出した状態量ｓを入力し、報酬期待値ｅを算出する。
ここで、報酬期待値関数Ｖは、報酬期待値更新部３５が算出した更新量ｖを利用し、状態量ｓと後述の誤差ｄのデータセットを入手する毎に、下記の式に従い更新するものとする。次式において、添え字のｔは、ｔ回目の更新後の値であることを示す。
【００２１】
【数１】
2019097354.tif 000003
【００２２】
誤差算出部３４は、報酬値算出部３２で算出した報酬値ｒと、報酬期待値算出部３３で算出した報酬期待値ｅと、の誤差ｄを算出する。
誤差ｄの算出において、単純に
ｄ＝ｅ−ｒ
としても良いし、シグモイド関数のような関数ｆを用いて、
ｄ＝ｆ（ｅ−ｒ）
として、誤差ｄのとりうる値に制限をかけても良い。
【００２３】
報酬期待値更新部３５は、誤差算出部３４が算出した誤差ｄに基づいて報酬期待値関数の更新量ｖを決定する。
更新量ｖとしては、最も単純にはｖ＝ｄとすれば良い。
【００２４】
あるいは、誤差ｄに係数γを乗じて、
ｖ＝γ×ｄとしても良いし、誤差算出部と同様に、シグモイド関数のような関数ｆを用いて、
ｖ＝ｆ（ｄ）
として、更新量ｖのとりうる値に制限をかけても良い。
【００２５】
行動量更新部３６は、行動量算出部３７で行動量を算出するための確率密度関数の更新量を算出する。
図３は、行動量を算出するために使用する確率密度関数の一例である。
図３の例は、行動量を算出するために使用する確率密度関数の一例として、正規分布関数による確率密度関数を用いた場合である。
【００２６】
【数２】
2019097354.tif 000004
【００２７】
行動量が１変量（１変数）で表される場合は、図６に示したような１変数正規分布の確率密度関数を使用することができる。
また、行動量が多変量で表される場合は、多変量確率密度関数を用いれば良い。
行動量更新部３６は、行動量が１変量あるいは多変量で表される場合であっても、対応する確率密度関数を誤差ｄに応じて更新するための更新量を算出する。
【００２８】
図４は、行動量の更新状態の説明図である。
例えば、得られた報酬が期待値よりも大きい（誤差ｄ＜０）場合には、この際に使用した行動量ａが期待より良かったという結果であり、図４（ａ）に示すように、行動量ａの確率密度が大きくなるように、確率密度関数を更新する。
【００２９】
一方、得られた報酬が期待値よりも小さい（誤差ｄ＞０）場合には、この際に使用した行動量ａが期待より悪かったという結果であり、図４（ｂ）に示すように、行動量ａの確率密度が小さくくなるように、確率密度関数を更新する。
【００３０】
より詳細には、確率密度関数として正規分布関数を使用する場合には、誤差ｄに応じて行動量ａの確率を最適化するように平均値μ及び標準偏差σを図７に示す様（μ→μ＋Δμあるいはμ→μ−Δμ）に更新する。
この更新には、方策勾配法など最適化手法を用いても良い。
【００３１】
行動量算出部３７は、行動量更新部３６が算出した更新量を基に、行動量ａを算出するための確率密度関数を更新する。
さらに行動量ａを算出するためには、状態算出部３１が算出した現在の状態ｓに対応する確率密度関数を利用して行動量ａを算出する。最も単純には、常に確率が最も高い行動量を選択すれば良い。もしくは貪欲法およびε−ｇｒｅｅｄｙ法などを使用して、確率的に選択しても良い。
【００３２】
次に第１実施形態の列車制御システム１０の動作について説明する。
まず、パラメータ学習装置２４における学習時の処理動作について説明する。
図５は、パラメータ学習装置の学習時の処理フローチャートである。
パラメータ学習装置２４は、速度位置検出部２１の出力に基づいて、列車１１が駅に到着したか否かを判別する（ステップＳ１１）。
【００３３】
ステップＳ１１の判別において、列車１１が未だ駅に到着していない場合には（ステップＳ１１；Ｎｏ）、待機状態となる。
ステップＳ１１の判別において、列車１１が駅に到着した場合には（ステップＳ１１；Ｙｅｓ）、パラメータ学習装置２４は、記憶部２３を参照して列車運転ログを取得する（ステップＳ１２）。
【００３４】
この場合において取得される列車運転ログの内容としては、走行ログ（所定時間毎の走行位置、走行速度、走行時刻等）、天候、車両状態（乗車率等）、実行した行動量ａ、停止位置誤差、到着時刻誤差等である。
【００３５】
そして、走行ログ（ノッチ位置、走行速度、走行位置、車輪の回転数、重量等）、天候、車両状態（乗車率等）については、状態算出部３１−１に出力され、停止位置誤差、到着時間誤差については、報酬期待値算出部３３に出力され、実行した行動量ａについては行動量更新部３６に出力される。
これにより、状態算出部３１−１は、列車の状態を算出し、報酬期待値算出部３３に出力する。
【００３６】
この結果、状態算出部３１−１は、車上装置もしくは地上装置から、列車の走行ログ（ノッチ位置、走行速度、走行位置、車輪の回転数、車両重量など）や気象情報、路線情報、乗車率等のデータを収拾し、対象とする駅間走行を特徴付ける特徴量の状態量ｓを算出し報酬期待値算出部３３に出力する（ステップＳ１３）。
【００３７】
これと並行して報酬値算出部３２は、駅に停車した際の目標停止位置誤差および目標到着時間誤差が入力され、予め記憶している報酬関数を用いて、対象とする走行の報酬値ｒを算出し、誤差算出部３４に出力する（ステップＳ１４）。
【００３８】
状態量ｓが入力された報酬期待値算出部３３は、入力された状態量ｓ及び前回の報酬期待値更新量に基づいて報酬期待値ｅを算出し、誤差算出部３４に出力する（ステップＳ１５）。
【００３９】
誤差算出部３４は、入力された報酬値ｒ及び報酬期待値ｅに基づいて、報酬値ｒと報酬の期待値ｅとの誤差である報酬誤差ｄ（例えば、ｄ＝ｒ−ｅ）を算出し、報酬誤差ｄを報酬期待値更新部３５に出力する（ステップＳ１６）。
【００４０】
これにより報酬期待値更新部３５は、報酬誤差ｄに応じて報酬期待値の更新量を算出し、報酬期待値算出部３３に出力する（ステップＳ１７）。
【００４１】
報酬期待値算出部３３は、入力された報酬期待値の更新量に基づいて報酬期待値を更新する（ステップＳ１８）。
行動量更新部３６は、入力された報酬誤差ｄに基づいて、行動量ａについて行動量を算出する確率密度関数の更新量を算出し、行動量算出部３７に出力する（ステップＳ１９）。
具体的には、確率密度関数として正規分布関数を用いている場合には、例えば、平均値μと分散σをμ→μ＋Δμあるいはμ→μ−Δμに更新する場合のΔμ及び分散σを行動量毎に算出し、行動量算出部３７に出力することとなる。
【００４２】
これにより行動量算出部３７は、確率密度関数を更新する（ステップＳ１０）。
これらの結果、パラメータ学習装置２４は、最適なパラメータ（確率密度関数）を学習することとなる。
【００４３】
次にパラメータ学習装置２４において、学習した最適なパラメータに基づいて列車１１を運行する際により好適な行動量を算出し、決定する手順について説明する。
図６は、列車運行時の行動量算出及び決定処理の処理フローチャートである。
まず、パラメータ学習装置２４の状態算出部３１−２は、列車１１のＡＴＯ装置２２から現在走行中の運転データを取得する（ステップＳ２１）。
これにより状態算出部３１−２は、取得した運転データから現在の駅間走行を特徴付ける特徴量の状態量sを算出し、行動量算出部３７に出力する（ステップＳ２２）。
【００４４】
この結果、行動量算出部３７は、状態算出部３１−２が算出した現在の状態量s（この状態量ｓは、実際には、複数の行動量ａ１〜ａｎに対応する複数の状態量ｓ１〜ｓｎである）に対応する確率密度関数を利用して行動量ａを算出する。最も単純には、常により高い報酬が得られる確率に対応する行動量ａを選択すれば良い。あるいは、貪欲法およびε-greedy法などを使用して、確率的に行動量ａを選択しても良い。
【００４５】
以上の構成により、本第１実施形態によれば、定時性および停止位置の結果を評価し、その評価結果を確率的に反映させることにより、定時性および停止位置精度を向上させる行動量を効率よく学習して、実際の列車１１の運行において最適な制御を行えるように寄与することが可能となる。
【００４６】
図７は、第２実施形態のパラメータ学習装置の概要構成ブロック図である。
図７において、図２と同様の部分には、同一の符号を付すものとし、その詳細な説明を援用するものとする。
【００４７】
図７のパラメータ学習装置が、図２のパラメータ学習装置と異なる点は、行動量更新部３６の後段、かつ、行動量算出部３７の前段に寄与率算出部３８を備え、複数の行動量ａ１〜ａｎに対応させている点である。
すなわち、本第２実施形態では、駅間走行時に第１実施形態の行動量ａに代えて、複数の行動量ａ１〜ａｎを使用している。
【００４８】
本第２実施形態においても、第１実施形態と同様に、パラメータとして駅間走行時に複数の行動量を使用する。例えば、ブレーキ力の指示値を状態（天候、時間帯、乗車率）によって補正する量を行動量とすることが考えられる。
【００４９】
図８は、複数の行動量の説明図である。
例えば、ブレーキ力の指示値を状態（天候、時間帯、乗車率）によって補正する場合、図８に示すように、ノッチ毎に補正量を設定するとして、このノッチ毎の補正を行動量ａ１〜ａｎ（図８の例の場合、ノッチが６段階（すなわち、ｎ＝６）であるので、行動量ａ１〜ａ６とすることが考えられる。
【００５０】
この場合、学習時には報酬期待値と報酬値の誤差ｄを、選択した各行動量ａ１〜ａｎに按分する必要がある。
【００５１】
図９は、ノッチのブレーキ制御に対する寄与率を説明する図である。
図９に示すように、停止するためのブレーキ制御において、使用したブレーキノッチ（ブレーキノッチ１〜ブレーキノッチ６）とその使用時間を乗じたもの、つまりブレーキ力［Ｎ］に相当する量を算出し、この量の割合に応じて、誤差ｄを各行動量ａ１〜ａｎ（図９の例の場合、行動量ａ１〜ａ６）に按分する。これは、ブレーキ制御（停止制御）における寄与率に相当すると言える。
【００５２】
より詳細には、図９の例の場合、列車１１においてブレーキをかけ始めた時刻ＴＳ０から停車する時刻ＴＳ１までの時間に、時間ｔ１及び時間ｔ４においてブレーキノッチ５を使用し、時間ｔ２においてブレーキノッチ３を使用し、時間ｔ３においてブレーキノッチ１を使用した場合を例とする。
【００５３】
この場合に図８に示したように、それぞれブレーキノッチ１におけるブレーキ力がＡ［Ｎ］、ブレーキノッチ２におけるブレーキ力がＢ［Ｎ］、ブレーキノッチ３におけるブレーキ力がＣ［Ｎ］、ブレーキノッチ４におけるブレーキ力がＤ［Ｎ］、ブレーキノッチ５におけるブレーキ力がＥ［Ｎ］、ブレーキノッチ６におけるブレーキ力がＦ［Ｎ］（Ａ＜Ｂ＜Ｃ＜Ｄ＜Ｅ＜Ｆ）であったとする。
【００５４】
したがって、時刻ＴＳ０から停車する時刻ＴＳ１までの時間に印加されたブレーキノッチ５の制動力ＦＮ５は、
ＦＮ５＝ｔ１・Ｅ＋ｔ４・Ｅ
であり、ブレーキノッチ３の制動力ＦＮ３は、
ＦＮ３＝ｔ２・Ｃ
であり、ブレーキノッチ１の制動力ＦＮ１は、
ＦＮ１＝ｔ３・Ａ
である。
【００５５】
したがって、時刻ＴＳ０から停車する時刻ＴＳ１までの時間に印加された制動力Ｆの和ΣＦは、次式で表される。
【００５６】
ΣＦ＝ＦＮ５＋ＦＮ３＋ＦＮ１
＝（ｔ１＋ｔ４）・Ｅ＋ｔ２・Ｃ＋ｔ３・Ａ
【００５７】
このときの各ブレーキノッチのブレーキ制御に対する寄与率ＣＲ５、ＣＲ３、ＣＲ１は、それぞれ以下の通りとなる。
ＣＲ５＝ＦＮ５／ΣＦ
ＣＲ３＝ＦＮ３／ΣＦ
ＣＲ１＝ＦＮ１／ΣＦ
【００５８】
したがって、寄与率算出部３８は、上述したのと同様の手順により、各行動における寄与率を算出して、行動量更新部３６に出力することとなる。
【００５９】
次に第２実施形態の列車制御システム１０の動作について説明する。
まず、パラメータ学習装置２４における学習時の処理動作について説明する。
図１０は、パラメータ学習装置の学習時の処理フローチャートである。
パラメータ学習装置２４は、速度位置検出部２１の出力に基づいて、列車１１が駅に到着したか否かを判別する（ステップＳ３１）。
【００６０】
ステップＳ３１の判別において、列車１１が未だ駅に到着していない場合には（ステップＳ３１；Ｎｏ）、待機状態となる。
ステップＳ３１の判別において、列車１１が駅に到着した場合には（ステップＳ３１；Ｙｅｓ）、パラメータ学習装置２４は、記憶部２３を参照して列車運転ログを取得する（ステップＳ３２）。
【００６１】
この場合において取得される列車運転ログの内容としては、走行ログ（所定時間毎の走行位置、走行速度、走行時刻等）、天候、車両状態（乗車率等）、実行した行動量ａ、停止位置誤差、到着時刻誤差等である。
【００６２】
そして、走行ログ（ノッチ位置、走行速度、走行位置、車輪の回転数、重量等）、天候、車両状態（乗車率等）については、状態算出部３１−１に出力され、停止位置誤差、到着時間誤差については、報酬期待値算出部３３に出力され、実行した行動量ａについては、寄与率算出部３８及び行動量更新部３６に出力される。
これにより、状態算出部３１−１は、列車の状態を算出し、報酬期待値算出部３３に出力する。
【００６３】
この結果、状態算出部３１−１は、車上装置もしくは地上装置から、列車の走行ログ（ノッチ位置、走行速度、走行位置、車輪の回転数、車両重量など）や気象情報、路線情報、乗車率等のデータを収拾し、対象とする駅間走行を特徴付ける特徴量の状態量ｓを算出し報酬期待値算出部３３に出力する（ステップＳ３３）。
【００６４】
これと並行して報酬値算出部３２は、駅に停車した際の目標停止位置誤差および目標到着時間誤差が入力され、予め記憶している報酬関数を用いて、対象とする走行の報酬値ｒを算出し、誤差算出部３４に出力する（ステップＳ３４）。
【００６５】
状態量ｓが入力された報酬期待値算出部３３は、入力された状態量ｓ及び前回の報酬期待値更新量に基づいて報酬期待値ｅを算出し、誤差算出部３４に出力する（ステップＳ３５）。
【００６６】
誤差算出部３４は、入力された報酬値ｒ及び報酬期待値ｅに基づいて、報酬値ｒと報酬の期待値ｅとの誤差である報酬誤差ｄ（例えば、ｄ＝ｒ−ｅ）を算出し、報酬誤差ｄを報酬期待値更新部３５及び寄与率算出部３８に出力する（ステップＳ３６）。
【００６７】
これにより報酬期待値更新部３５は、報酬誤差ｄに応じて報酬期待値の更新量を算出し、報酬期待値算出部３３に出力する（ステップＳ３７）。
【００６８】
報酬期待値算出部３３は、入力された報酬期待値の更新量に基づいて報酬期待値を更新する（ステップＳ３８）。
一方、寄与率算出部３８は、複数の行動量ａ（＝ａ１〜ａｎ）について報酬値ｒに対する寄与率を算出し、行動量ａ１〜ａｎのそれぞれについての報酬誤差ｄ１〜ｄｎを算出し、行動量更新部３６に出力する（ステップＳ３９）。
【００６９】
行動量更新部３６は、入力された報酬誤差ｄ１〜ｄｎに基づいて、行動量ａ１〜ａｎのそれぞれについて行動量を算出する確率密度関数の更新量を算出し、行動量算出部３７に出力する（ステップＳ４０）。
具体的には、確率密度関数として正規分布関数を用いている場合には、例えば、平均値μと分散σをμ→μ＋Δμあるいはμ→μ−Δμに更新する場合のΔμ及び分散σを行動量毎に算出し、行動量算出部３７に出力することとなる。
【００７０】
これにより行動量算出部３７は、確率密度関数を更新する（ステップＳ４１）。
これらの結果、パラメータ学習装置２４は、最適なパラメータ（確率密度関数）を学習することとなる。
【００７１】
次にパラメータ学習装置２４において、学習した最適なパラメータに基づいて列車１１を運行する際により好適な行動量を算出し、決定する手順について再び図６を参照して説明する。
【００７２】
まず、パラメータ学習装置２４の状態算出部３１−２は、列車１１のＡＴＯ装置２２から現在走行中の運転データを取得する（ステップＳ２１）。
これにより状態算出部３１−２は、取得した運転データから現在の駅間走行を特徴付ける特徴量の状態量sを算出し、行動量算出部３７に出力する（ステップＳ２２）。
【００７３】
この結果、行動量算出部３７は、状態算出部３１が算出した現在の複数の行動量ａ１〜ａｎに対応する複数の状態量ｓ１〜ｓｎ及び対応する複数の確立密度関数を利用して行動量ａ１〜ａｎを算出する。最も単純には、複数の行動量ａ１〜ａｎのそれぞれについて、常により高い報酬が得られる確率に対応する行動量ａ１〜ａｎを選択するようにすればよい。
【００７４】
あるいは、貪欲法およびε-greedy法などを使用して、確率的に行動量ａ１〜ａｎを選択しても良い。
【００７５】
以上の構成により、本第２実施形態によっても定時性および停止位置の結果を評価し、その評価結果を確率的に反映させることにより、定時性および停止位置精度を向上させる行動量を効率よく学習して、実際の列車１１の運行において最適な制御を行えるように寄与することが可能となる。
【００７６】
本実施形態の列車制御装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read  Only  Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００７７】
本実施形態の列車制御装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＵＳＢメモリなどの半導体メモリ装置、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供されるように構成することも可能である。
【００７８】
また、本実施形態の列車制御装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の列車制御装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００７９】
また、本実施形態の列車制御装置のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００８０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８１】
１０    列車制御システム
１１    列車
１２    列車制御装置
１３    モータ
１４    ブレーキ装置
１５    制動制御装置
１５Ａ  主回路装置
１５Ｂ  ブレーキ制御装置
１６    制御伝送装置
１８    車上子
２１    速度位置検出部
２２    ＡＴＯ装置
２３    記憶部
２４    パラメータ学習装置
３１    状態算出部
３２    報酬値算出部
３３    報酬期待値算出部
３４    誤差算出部
３５    報酬期待値更新部
３６    行動量更新部
３７    行動量算出部
３８    寄与率算出部
ｄ      誤差（報酬誤差）
ｅ      報酬期待値
ｒ      報酬値
ｓ      状態
【図１】
2019097354.tif 000005
【図２】
2019097354.tif 000006
【図３】
2019097354.tif 000007
【図４】
2019097354.tif 000008
【図５】
2019097354.tif 000009
【図６】
2019097354.tif 000010
【図７】
2019097354.tif 000011
【図８】
2019097354.tif 000012
【図９】
2019097354.tif 000013
【図１０】
2019097354.tif 000014