(57)【要約】【課題】道路網内の信号機を切替制御する場合に、主要な道路の交通量から車両の流れを特定する場合に比べて、車両の流れを円滑にする。【解決手段】信号機切替制御装置（１２）は、信号制御最適化部（１２６）で、交通情報蓄積部（１２３）に蓄積した道路網の交通情報を関連情報抽出部（１２４）を介して取得し、最適化データ保存部（１２５）からのデータにより構築された演算器で、交差点に連結した主要道路及び隣り合う他の交差点に連結した周辺道路を考慮して交差点に設置された信号機（ＳＧ１〜ＳＧＮ）各々の切替タイミングを最適化し、最適化した切替タイミングを示す情報を信号機へ出力する。これにより、道路網に含まれる道路を走行する車両は円滑に走行でき、道路網の車両の流れを円滑にすることができる。【選択図】図１
2019079199.tif 000002
【特許請求の範囲】
【請求項１】
各々信号機が設置された複数の交差点を備えた道路網の前記複数の交差点各々について、各々の交差点に連結する主要道路を走行する車両の交通情報に基づいて、前記複数の交差点各々に設置された前記信号機各々の切替タイミングを演算する演算部と、
前記複数の交差点各々に設置された信号機各々ついて、前記主要道路を走行する車両の交通情報に基づいて、前記演算部で演算された切替タイミングで信号機を切り替えた場合の第１交通流の各々を推定する第１推定部と、
前記複数の交差点の何れか１つの特定交差点について、前記特定交差点の主要道路を走行する車両の交通情報、及び前記特定交差点の主要道路の先の交差点に連結する周辺道路を走行する車両の交通情報に基づいて、前記特定交差点に設置された信号機、及び前記先の交差点に設置された信号機を、前記演算部で演算された前記切替タイミングで切り替えた場合の第２交通流を推定する第２推定部と、
前記第１推定部で推定された前記第１交通流と、前記第２推定部で推定された第２交通流とに基づいて、前記特定交差点に設置された信号機の切替タイミングを最適化する最適化部と、
を含む信号機切替制御装置。
【請求項２】
前記演算部は、
前記交通情報を入力とし、前記信号機の切替タイミングを出力として、予め定めた交通流状態になるように、学習された主要道路の交差点モデルを含む
請求項１に記載の信号機切替制御装置。
【請求項３】
前記第２推定部は、
前記交通情報、及び前記信号機の切替タイミングを入力とし、入力された切替タイミングで信号機を切り替えた場合の交通流状態を出力として、学習された周辺道路を含む交差点モデルを含む
請求項１又は請求項２に記載の信号機切替制御装置。
【請求項４】
前記演算部は、
演算された前記交通情報に対応する信号機各々の切替タイミングを記憶する記憶部を含む
請求項１から請求項３の何れか１項に記載の信号機切替制御装置。
【請求項５】
前記最適化部は、
前記第１推定部で推定した第１交通流と前記第２推定部で推定した第２交通流との差異が、予め定めた閾値未満になるまで、前記先の交差点に連結する周辺道路を追加して前記特定交差点に設置された信号機の切替タイミングを最適化する
請求項１から請求項４の何れか１項に記載の信号機切替制御装置。
【請求項６】
コンピュータに、
請求項１から請求項５の何れか１項に記載された信号機切替制御装置の各部の処理を実行させる
ことを含む信号機切替制御方法。
【請求項７】
コンピュータを、請求項１から請求項５の何れか１項に記載された信号機切替制御装置の各部として機能させるための信号機切替制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号機切替制御装置、信号機切替制御方法及び信号機切替制御プログラムに関する。
【背景技術】
【０００２】
従来より、交通調査や車両感知器によって測定した交通量の情報を用いて、交差点単位又は交差点列毎に主要交差点を通過する車両台数が最大になるように信号機のパラメータを調整する技術が知られている。また、例えば、脇道から出入りする交通量等の周囲の交通量を考慮する技術が提案されている（例えば、特許文献１参照）。この技術では、道路地図と道路の構造を記憶する道路地図記憶手段と、道路を通過する通過車両の台数を収集する通過車両台数収集手段と、前記通過車両の台数に基づき、主要地点間の交通発生・消滅量を求める交通発生・消滅量計算手段と、前記交通発生・消滅量から主要な道路の交通量を求める交通量計算手段と、前記交通量と前記道路の構造から前記交通発生・消滅量を渋滞させずに通過させうる非渋滞化交通流制御可能領域を求める領域決定手段とを有することを特徴としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−２８３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、道路を走行する車両の流れは、交差点に連結する他の道路及び走行している道路に連結する他の道路の少なくとも一方の道路に対する車両の出入りが関係する。ところが、主要な道路の交通量の変化から車両の流れを特定し信号機を切替制御する場合、どの道路が交通量に影響するかの判別は困難であり、車両の流れに関係する道路の交通状況を十分に反映させるのには不十分である。
本発明は、道路網内の信号機を切替制御する場合に、主要な道路の交通量から車両の流れを特定する場合に比べて、車両の流れを円滑にすることができる信号機切替制御装置、信号機切替制御方法及び信号機切替制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載の信号機切替制御装置は、
各々信号機が設置された複数の交差点を備えた道路網の前記複数の交差点各々について、各々の交差点に連結する主要道路を走行する車両の交通情報に基づいて、前記複数の交差点各々に設置された前記信号機各々の切替タイミングを演算する演算部と、
前記複数の交差点各々に設置された信号機各々ついて、前記主要道路を走行する車両の交通情報に基づいて、前記演算部で演算された切替タイミングで信号機を切り替えた場合の第１交通流の各々を推定する第１推定部と、
前記複数の交差点の何れか１つの特定交差点について、前記特定交差点の主要道路を走行する車両の交通情報、及び前記特定交差点の主要道路の先の交差点に連結する周辺道路を走行する車両の交通情報に基づいて、前記特定交差点に設置された信号機、及び前記先の交差点に設置された信号機を、前記演算部で演算された前記切替タイミングで切り替えた場合の第２交通流を推定する第２推定部と、
前記第１推定部で推定された前記第１交通流と、前記第２推定部で推定された第２交通流とに基づいて、前記特定交差点に設置された信号機の切替タイミングを最適化する最適化部と、
を備える。
【０００６】
請求項２記載の発明は、請求項１に記載の信号機切替制御装置において、
前記演算部は、
前記交通情報を入力とし、前記信号機の切替タイミングを出力として、前記予め定めた交通流状態になるように、学習された主要道路の交差点モデルを含む。
【０００７】
請求項３記載の発明は、請求項１又は請求項２に記載の信号機切替制御装置において、
前記第２推定部は、
前記交通情報、及び前記信号機の切替タイミングを入力とし、入力された切替タイミングで信号機を切り替えた場合の交通流状態を出力として、学習された周辺道路を含む交差点モデルを含む。
【０００８】
請求項４記載の発明は、請求項１から請求項３の何れか１項に記載の信号機切替制御装置において、
前記演算部は、
演算された前記交通情報に対応する信号機各々の切替タイミングを記憶する記憶部を含む。
【０００９】
請求項５記載の発明は、請求項１から請求項４の何れか１項に記載の信号機切替制御装置において、
前記最適化部は、
前記第１推定部で推定した第１交通流と前記第２推定部で推定した第２交通流との差異が、予め定めた閾値未満になるまで、前記先の交差点に連結する周辺道路を追加して前記特定交差点に設置された信号機の切替タイミングを最適化する。
【００１０】
請求項６に記載の発明の信号機切替制御方法は、
コンピュータに、
請求項１から請求項５の何れか１項に記載された信号機切替制御装置の各部の処理を実行させることを含む。
【００１１】
請求項７に記載の発明の信号機切替制御プログラムは、
コンピュータを、請求項１から請求項５の何れか１項に記載された信号機切替制御装置の各部として機能させる。
【発明の効果】
【００１２】
請求項１、６、７に記載の発明によれば、道路網内の信号機を切替制御する場合に、主要な道路の交通量から車両の流れを特定する場合に比べて、車両の流れを円滑にすることができる、という効果を有する。
請求項２、３に記載の発明によれば、個々の信号機の切替タイミングを個別に模擬する構造にした場合と比べて、信号機切替制御装置の構造を簡略化できる、という効果を有する。
請求項４に記載の発明によれば、切替タイミングを逐次演算する場合と比べて、信号機切替制御装置の演算負荷を抑制できる、という効果を有する。
請求項５に記載の発明によれば、道路網全体の道路を同時に考慮する場合と比べて、個々の信号機の切替タイミングに影響する道路のみ考慮でき、切替タイミングの最適化を促進できる、という効果を有する。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る信号機切替制御装置の構成の一例を示すにブロック図である。
【図２】本実施形態に係る道路網内の道路、交差点、及び信号機の配置の一例を示す模式図である。
【図３】本実施形態に係る交差点に連結する主要道路の配置の一例を示す模式図である。
【図４】実施形態に係る交差点と隣り合う他の交差点に連結する周辺道路の配置の一例を示す模式図である。
【図５】本実施形態に係る信号機切替制御装置を、コンピュータを含む構成で実現した一例を示すブロック図である。
【図６】本実施形態に係る信号機切替制御装置として動作するコンピュータで実行される交通量予測器学習プロセスによる処理の流れの一例を示すフローチャートである。
【図７】本実施形態に係る信号機切替制御装置として動作するコンピュータで実行される最適化プロセスによる処理の流れの一例を示すフローチャートである。
【図８】本実施形態に係り、複数の車両が密集することが予測される道路を含む道路網の一例を示す模式図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本実施形態に係る信号機切替制御システムの一例を詳細に説明する。なお、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符合を付与し、重複する説明を適宜省略する場合がある。
【００１５】
図１に、本実施形態に係る信号機切替制御システム１０の構成の一例を示す。
図１に示すように、信号機切替制御システム１０は、信号機切替制御装置１２、及び複数の信号機ＳＧ１〜ＳＧＮ（Ｎ＞１）の各々に搭載された信号制御部１４−ＳＧ１〜１４−ＳＧＮを含んでいる。信号機切替制御システム１０は、予め定めた道路網ＡＲに含まれる道路を走行する車両が円滑に走行するように道路網ＡＲに含まれる信号機の切替タイミングを制御する。例えば、信号機切替制御装置１２は、道路網ＡＲに設置された信号機を一括して管理する統合センタに設けられる。本実施形態では、信号機の切替タイミングの制御を、統合センタに信号機切替制御装置１２が設置された場合の一例を説明する。なお、信号機切替制御装置１２は、統合センタへの設置に限定されるものではない。例えば、信号制御部１４−ＳＧ１〜１４−ＳＧＮへ制御信号を出力可能な拠点、場所、又は装置であれば、何れでもよい。
【００１６】
複数の信号機ＳＧ１〜ＳＧＮの各々は、複数の信号灯１６−ＳＧ１〜１６−ＳＧＮの各々と、複数の信号灯１６−ＳＧ１〜１６−ＳＧＮの各々を制御、例えば点灯、点滅及び消灯を制御する信号制御部１４−ＳＧ１〜１４−ＳＧＮの各々を備えている。信号制御部１４−ＳＧ１〜１４−ＳＧＮの各々は、統合センタに設置された信号機切替制御装置１２からの制御信号によって、複数の信号灯１６−ＳＧ１〜１６−ＳＧＮの各々を制御する。複数の信号灯１６−ＳＧ１〜１６−ＳＧＮの各々の制御の一例には、車両に対する走行に関する指示を示す信号灯の点灯、点滅及び消灯の切替制御が挙げられる。また、個々の信号灯が車両に対して走行に関する異なる指示を示す異なる信号色の複数の信号灯を含む場合に、信号色の切替制御が挙げられる。
【００１７】
なお、複数の信号機ＳＧ１〜ＳＧＮの各々は略同様の構成であるので、各々の区別が不要な場合には、信号機ＳＧと総称して説明する。一方、複数の信号機ＳＧの各々を区別して説明する場合には、信号機ＳＧ１〜ＳＧＮの何れかの符号を付す。また、複数の信号機ＳＧの各々に搭載された信号制御部１４−ＳＧ１〜１４−ＳＧＮの各々は略同様の構成であるので、各々の区別が不要な場合には、信号制御部１４と総称して説明する。一方、複数の信号制御部１４の各々を区別して説明する場合には、信号制御部１４−ＳＧ１〜１４−ＳＧＮの何れかの符号を付す。さらに、複数の信号灯１６−ＳＧ１〜１６−ＳＧＮの各々は略同様の構成であるので、各々の区別が不要な場合には、信号灯１６と総称して説明する。一方、複数の信号灯１６の各々を区別して説明する場合には、信号灯１６−ＳＧ１〜１６−ＳＧＮの何れかの符号を付す。
【００１８】
信号機切替制御装置１２は、道路網ＡＲに含まれる道路を走行する車両が円滑に走行するように道路網ＡＲに含まれる複数の信号機ＳＧ各々における信号灯１６の切替タイミングの各々を制御する機能部である。詳細には、信号機切替制御装置１２は、車側情報収集部１２１と、路側情報収集部１２２と、交通情報蓄積部１２３と、関連情報抽出部１２４と、最適化データ保存部１２５と、信号制御最適化部１２６と、の各機能部を備えている。信号機切替制御装置１２は、道路網ＡＲ内の交通に関係する交通情報を用いて、複数の信号機ＳＧの各々の切替タイミングを決定し、複数の信号機ＳＧの各々に搭載された複数の信号制御部１４の各々に送信する。次に、信号機切替制御装置１２に含まれる各機能部を詳細に説明する。
【００１９】
交通情報蓄積部１２３は、時々刻々と変化する交通情報を蓄積する機能部である。交通情報の一例には、道路の交通量を示す情報が挙げられる。なお、道路網ＡＲ内の道路の各々を交通情報により示される交通量で車両が走行している状態が、道路網ＡＲの交通状況である。この交通情報蓄積部１２３は、交通情報を取得し、取得した交通情報を、データベースに格納する。例えば、時々刻々と変化する交通情報として、道路を所定距離（例えば数百メートル）単位の道路区間で識別するための道路ＩＤ、当該道路区間での検出時間を示す時間、当該道路区間を走行した車両の平均車速を示す車速、及び当該道路区間を走行した車両台数を対応付けたデータセットがデータベースのレコードとして格納される。これによって、交通情報蓄積部１２３には、交通データベースが構築される。
【００２０】
本実施形態では、交通情報蓄積部１２３に蓄積する交通情報を得るために、交通情報蓄積部１２３には、車側情報収集部１２１、及び路側情報収集部１２２が接続されている。すなわち、交通情報蓄積部１２３は、車側情報収集部１２１で収集された車側情報及び路側情報収集部１２２で収集された路側情報を含む情報を交通情報として蓄積する。
【００２１】
車側情報収集部１２１は、道路網ＡＲ内を走行する車両から送信された車側情報を収集する機能部である。車側情報の一例には、予め定めた単位時間に車両が走行した道路、及び平均車速を示す道路・速度情報が挙げられる。
【００２２】
路側情報収集部１２２は、道路インフラに設置されたセンサにより検出された路側情報を収集する機能部である。路側情報の一例には、センサが設置された道路の所定位置を通過した車両の台数、通過時の車速、及び検出時刻を含む交通量に関する情報が挙げられる。なお、本実施形態では、路側情報に、道路網ＡＲの地図情報が含まれる。
【００２３】
この路側情報収集部１２２は、路側から送信される情報を受信することにより、路側情報を取得してもよく、入力装置により入力された情報を受け取ることで、路側情報を取得してもよい。
【００２４】
関連情報抽出部１２４は、交通情報蓄積部１２３、最適化データ保存部１２５、及び信号制御最適化部１２６に接続されている。関連情報抽出部１２４は、詳細を後述する信号制御最適化部１２６で最適化する複数の信号灯１６の各々の切替タイミングの導出に用いる関連情報を、交通情報蓄積部１２３から抽出した交通情報を用いて導出する機能部である。本実施形態では、信号灯１６の切替タイミングの導出に用いる関連情報として、道路を走行する車両の台数及び車速等の交通量を示す情報を用いた場合を説明する。
【００２５】
関連情報抽出部１２４は、交通情報蓄積部１２３に蓄積した交通情報を用いて、関連情報として交通量を示す情報を導出するため、交通量予測器を含んでいる。本実施形態では、交通量を示す情報を導出するための交通量予測器を予め構築しておき、構築された交通量予測器のパラメータを最適化データ保存部１２５に格納する。信号灯１６の切替タイミングを導出する際には、構築済の交通量予測器を示すパラメータを最適化データ保存部１２５から取得して、交通量予測器を再構築し、構築された交通量予測器を用いて、交通量を示す情報を、信号制御最適化部１２６へ出力する。すなわち、関連情報抽出部１２４は、目的に応じた交通量予測器を予め構築しておき、設定された目的に応じた情報を抽出し、信号制御最適化部１２６へ出力する。
【００２６】
詳細には、関連情報抽出部１２４は、或る入力情報が入力された場合に入力情報に沿う出力情報が出力されるように学習するニューラルネットワークシステム等の機械学習モデル（以下、交通量モデルという。）を用いる。本実施形態では、或る時刻ｔの或る道路ＩＤの道路における平均車速と、道路ＩＤの道路の周囲道路の平均車速と、道路ＩＤの道路の周囲の信号機における信号灯の切替タイミングを規定するタイミングパラメータとを入力情報とする。一方、出力情報は、或る道路ＩＤの道路における所定時間後（例えば数分後）の車両台数及び車速等による交通量を示す情報である。
【００２７】
従って、関連情報抽出部１２４では、交通情報蓄積部１２３の交通情報を用いて、道路ＩＤの道路における平均車速と、周囲道路の平均車速と、周囲信号機の切替タイミングとが入力された場合に、その道路ＩＤの道路の数分後の交通量を予測する交通量予測器が構築される。そして、構築された交通量予測器を規定するパラメータ、すなわち交通量モデルにおけるパラメータは、最適化データ保存部１２５に格納される。
【００２８】
なお、関連情報抽出部１２４は、交通情報蓄積部１２３に蓄積された交通情報から、例えば指定時刻の交通情報を抽出し、出力する機能も有している。
【００２９】
最適化データ保存部１２５は、信号機ＳＧの信号灯１６の切替タイミングの制御に用いる情報を蓄積する機能部である。前記したように関連情報抽出部１２４で構築される交通量予測器を規定する交通量モデルのパラメータが保存される。また、信号制御最適化部１２６で、信号機ＳＧの信号灯１６の切替タイミングを最適化する場合に用いる最適化データも保存される（詳細は後述）。
【００３０】
信号制御最適化部１２６は、道路網ＡＲ内の個々の信号機ＳＧｉ(１≦ｉ≦Ｎ)の信号灯１６の切替タイミングを最適化する機能部である。この信号制御最適化部１２６によって、道路網ＡＲ内の各信号機ＳＧの信号灯１６の切替タイミングが制御されることで、道路網ＡＲ内の交通流が最適化される。
【００３１】
図２は、道路網ＡＲ内の道路ＩＤによる道路、交差点ＣＲ、及び信号機ＳＧの配置の一例を示す模式図である。また、図２では、道路網ＡＲ内を走行する複数の車両Ｃも示されている。なお、図２では、矢印ＦＲの方向に車両Ｃが走行する場合を示している。また、信号機ＳＧは、矢印ＦＲの方向に車両Ｃが走行する場合における走行指示に関係する信号機のみを記載した。図２は、道路網ＡＲ内に９個の交差点ＣＲ１〜ＣＲ９が存在した道路網ＡＲの一例である。また、例えば、交差点ＣＲ１には、道路ＩＤ０１〜道路ＩＤ０４の道路が連結されている。
【００３２】
信号制御最適化部１２６は、関連情報抽出部１２４からの情報を用いて、道路網ＡＲ内の信号機ＳＧの切替タイミングを最適化する演算器を含んでいる。本実施形態では、道路網ＡＲ内の信号機ＳＧの切替タイミングを最適化するための演算器を、学習により予め構築しておき、構築された演算器のパラメータを最適化データ保存部１２５に格納する。信号灯１６の切替タイミングを導出する際には、構築済の演算器を示すパラメータを最適化データ保存部１２５から取得して、演算器を再構築し、構築された演算器を用いて、信号機ＳＧの切替タイミングを示す情報を、信号機ＳＧの各々へ出力する。すなわち、信号制御最適化部１２６は、道路網ＡＲ内の信号機ＳＧの各々の切替タイミングを最適化する演算器を予め構築しておき、その演算器により最適化された信号機ＳＧの各々の切替タイミングを示す情報を、信号機ＳＧの各々へ出力する。
【００３３】
詳細には、信号制御最適化部１２６に含まれる演算器は、或る入力情報が入力された場合に入力情報に沿う出力情報が出力されるように学習するニューラルネットワークシステム等の機械学習モデルを用いることができる。本実施形態では、或る時刻ｔの交通状況を入力情報とし、信号機における信号灯の切替タイミングを規定するタイミングパラメータを出力情報とするモデルを用いる。すなわち、交差点ＣＲに関連する道路の交通状況により交差点ＣＲに設置された信号機ＳＧの切替タイミングを出力するモデル（以下、交差点モデルという。）を用いる。
【００３４】
本実施形態では、信号制御最適化部１２６に含まれる演算器は、２段階の学習処理により構築される。
第１段階の学習処理は、道路網ＡＲ内の各交差点ＣＲに設置された信号機ＳＧにおける信号灯の切替制御タイミングを、各交差点ＣＲに連結する道路（以下、主要道路という。）の交通情報を用いて学習する。第２段階の学習処理は、道路網ＡＲ内の各交差点ＣＲに設置された信号機ＳＧにおける信号灯の切替制御タイミングを、各交差点ＣＲに隣り合う他の交差点に連結する道路（以下、周辺道路という。）の交通情報を含めて学習する。すなわち、周辺道路は、特定の交差点ＣＲに連結する主要道路の先の道路である。なお、交差点ＣＲに隣り合う他の交差点とは、交差点ＣＲの周辺に存在する他の交差点を含む。
【００３５】
図３は、交差点に連結する主要道路の配置の一例を示す模式図であり、交差点ＣＲ１に連結する主要道路として道路ＩＤ０１〜ＩＤ０４の道路を斜線を示している。また、図４は、交差点と隣り合う他の交差点に連結する周辺道路の配置の一例を示す模式図であり、周辺道路の一例として交差点ＣＲ１と隣り合う他の交差点ＣＲ２に連結する道路ＩＤ０６の道路を斜線で示している。
【００３６】
交差点ＣＲ１に設置された信号機ＳＧ０５の切替タイミングを最適化する場合（例えば、図２）、第１段階の学習処理で、道路ＩＤ０１〜道路ＩＤ０４の道路の交通情報を用いて学習する（例えば、図３）。第２段階の学習処理は、交差点ＣＲ１と隣り合う他の交差点ＣＲ２〜ＣＲ９の少なくとも１個の交差点（例えば交差点ＣＲ２）に連結する道路（例えば、道路ＩＤ０６の道路）の交通情報を含めて学習する（例えば、図４）。
【００３７】
詳細には、第１段階の学習処理は、各交差点の信号機ＳＧ各々に対して、次の処理を行う。
第１段階の学習処理では、交差点モデルとして、或る時刻ｔの交差点ＣＲにおける交通状況を入力情報とし、信号機ＳＧの信号灯１６の切替タイミングを規定するタイミングパラメータを出力情報とするモデルを用いる。すなわち、交差点ＣＲの主要道路の交通状況により交差点ＣＲに設置された信号機ＳＧの切替タイミングを出力するモデル（以下、第１交差点モデルという。）を用いる。
【００３８】
まず、交差点ＣＲｉ（１≦ｉ≦９）に連結されている全ての主要道路を示す道路ＩＤを、状況ｓｉ  で利用する道路集合Ｒｉ  （ｓｉ  ）に保存する。状況ｓｉ  は、主要道路の各々を交通情報により示される交通量で車両が走行している状態である、主要道路の交通状況である。
【００３９】
次に、道路集合Ｒｉ  （ｓｉ  ）の交通情報を用いて強化学習の１種であるＱ学習を用いて信号機ＳＧの切替えタイミングを個別に学習し、政策πｉ  、状態価値関数Ｖｉ  を保存する。
【００４０】
具体的には、本実施形態では、信号制御最適化部１２６に含まれる演算器を、確率的に状態が遷移する環境に適したマルコフ決定過程（ＭＤＰｓ）を用いてモデル化する。すなわち、このモデルは、或る時刻における状態遷移が所定時刻前までの状態と行動の履歴に依存していると仮定し、各時刻の環境状態を観測し、観測した状態に基づき行動を決定し、新たな状態に遷移した際の状態遷移に対応した報酬を獲得する。このモデルを最適化する。すなわち、交通状況である状態ｓが与えられたときに信号機ＳＧの切替タイミングである行動ａを規定する政策πを最適化する。この場合における目的関数の一例を次に示す。
【００４１】
【数１】
2019079199.tif 000003
Ｅは期待値、ｔは単位時間である。γは報酬の割引率であり、１に近いほど長期的視点の政策を獲得でき、０に近いほど短期的視点の政策を獲得できる。
【００４２】
Ｑ学習は、次に示す誤差ＴＤを最小にする状態行動価値関数Ｑを学習することである。
【数２】
2019079199.tif 000004
【００４３】
なお、Ｑ学習は、既知の技術であるので、詳細な説明を省略する（Ｗａｔｋｉｎｓ，Ｃｈｒｉｓｔｏｐｈｅｒ  ＪＣＨ，ａｎｄ  Ｐｅｔｅｒ  Ｄａｙａｎ．”Ｑ−ｌｅａｒｎｉｎｇ．”Ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ８．３−４（１９９２）：２７９−２９２．参照）。
【００４４】
次に、第２段階の学習処理は、各交差点の信号機ＳＧ各々に対して第１段階の学習処理が終了した後に、各交差点の信号機ＳＧ各々に対して、次の処理を行う。
【００４５】
第２段階の学習処理では、或る時刻ｔの交差点ＣＲ及び隣り合う交差点における交通状況を入力情報とし、信号機ＳＧの信号灯１６の切替タイミングを規定するタイミングパラメータを出力情報とするモデルを用いる。すなわち、交差点ＣＲの主要道路及び隣り合う交差点の信号機ＳＧの周辺道路を含む道路の交通状況の交通状況により交差点ＣＲに設置された信号機ＳＧの切替タイミングを出力するモデル（以下、第２交差点モデルという。）を用いる。
【００４６】
まず、交差点ＣＲｉ（１≦ｉ≦９）の時刻ｔの状況ｓｉ  で利用する道路集合Ｒｉ  （ｓｉ  ）に、隣り合う交差点ＣＲｊ（１≦ｊ≦９、ｉ≠ｊ）に連結されている周辺道路の道路ＩＤを追加した道路集合Ｒ'ｉ  （ｓｉ  ）を構築する。
【００４７】
次に、道路集合Ｒ'ｉ  （ｓｉ  ）に含まれる全ての交差点ＣＲの信号機ＳＧを事前に学習した政策で切替えた場合の次の時刻の状態価値関数Ｖ'ｉ  （ｓｉ  ）を観測する。
【００４８】
ここで、道路集合Ｒｉ  （ｓｉ  ）の交通情報を用いて学習した場合に経験した次の時刻の状態価値関数Ｖｉ  （ｓ'ｉ  ）と、状態価値関数Ｖ'ｉ  （ｓ'ｉ  ）とが大きく異なる場合、すなわち、状態価値の差が予め定めた閾値を超えた場合には、交差点ＣＲｉと交差点ＣＲｊとは、交通流制御に関連するとして状況ｓｉ  で利用する道路集合Ｒｉ  （ｓｉ  ）を道路集合Ｒ'ｉ  （ｓｉ  ）に更新する。一方、閾値以下で変化しない場合は、道路集合Ｒｉ  （ｓｉ  ）を維持する。
【００４９】
次に、道路集合Ｒｉ  （ｓｉ  ）の交通情報を用いてＱ学習に基づき政策πｉ  、状態価値関数Ｖｉ  を更新する。
【００５０】
以上の処理を追加する道路がなくなり，政策及び状態価値関数の値が収束するまで繰り返す。このようにして学習が終了された信号制御最適化部１２６に構築された、道路網ＡＲ内の信号機ＳＧの切替タイミングを最適化するための演算器のパラメータは最適化データ保存部１２５に格納される。
【００５１】
以上のようにして、関連情報抽出部１２４、及び信号制御最適化部１２６の学習が終了すると、信号機切替制御装置１２は、交通情報に基づいて、道路網ＡＲに含まれる道路を走行する車両Ｃが円滑に走行するように道路網ＡＲに含まれる複数の信号機ＳＧ各々における信号灯１６の切替タイミングの各々を制御する。
【００５２】
すなわち、信号灯１６の切替タイミングを導出する際には、関連情報抽出部１２４は、構築済の交通量予測器を示すパラメータを最適化データ保存部１２５から取得して、交通量予測器を再構築し、構築された交通量予測器を用いて、交通量を示す情報を、信号制御最適化部１２６へ出力する。また、信号制御最適化部１２６は、構築済の演算器を示すパラメータを最適化データ保存部１２５から取得して、演算器を再構築し、構築された演算器を用いて、信号機ＳＧの切替タイミングを示す情報を、信号機ＳＧの各々へ出力する。信号機ＳＧの信号制御部１４の各々は、信号制御最適化部１２６からの制御信号により信号灯１６の各々の切替タイミングをする。これによって、道路網ＡＲ内の交通流が最適化される。
【００５３】
なお、信号機切替制御装置１２は、開示の技術の信号機切替制御装置の一例である。信号制御最適化部１２６に含まれ、第１段階の学習処理により構築される演算器は、開示の技術の演算部の一例である。また、第２段階の学習処理により構築される演算器は、開示の技術の第１推定部及び最適化部の一例である。関連情報抽出部１２４に含まれ、交通情報を用いて交通量を示す情報を導出する交通量予測器は、開示の技術の第１推定部の一例である。また、最適化データ保存部１２５は、開示の技術の記憶部の一例である。さらに、第１交差点モデルは、開示の技術の主要道路の交差点モデルの一例であり、第２交差点モデルは、開示の技術の周辺道路を含む交差点モデルの一例である。
【００５４】
図１に示す信号機切替制御装置１２は、道路網ＡＲに含まれる複数の信号機ＳＧ各々における信号灯１６の切替タイミングの各々を制御する処理を実行するコンピュータを含む構成で実現できる。
【００５５】
図５に、信号機切替制御装置１２を、コンピュータ１２Ｘを含む構成で実現した一例を示す。
図５に示すように、コンピュータ１２Ｘは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２Ａ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２Ｂ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２Ｃ、及び入出力インターフェース（Ｉ／Ｏ）１２Ｄがバス１２Ｅを介して各々接続された構成であり、Ｉ／Ｏ１２Ｄには車側通信部１２Ｆ、路側通信部１２Ｇ、信号機通信部１２Ｈ、及びハードディスク装置等の記憶部１２Ｍが接続されている。
【００５６】
ＲＯＭ１２Ｃには、コンピュータ１２Ｘに実行させる信号機ＳＧの切替制御処理に関する情報処理プログラム１２Ｐが格納されている。ＣＰＵ１２Ａが情報処理プログラム１２ＰをＲＯＭ１２Ｃから読み取りＲＡＭ１２Ｂに展開し、情報処理プログラム１２Ｐによる処理を実行する。ＣＰＵ１２Ａが情報処理プログラム１２Ｐによる処理を実行することで、コンピュータ１２Ｘは信号機切替制御装置１２において信号機ＳＧの切替制御処理を実行する実行装置として動作する。情報処理プログラム１２Ｐは、信号機ＳＧの切替を制御する各種機能を実現するためのプロセスを含む（詳細は後述）。なお、情報処理プログラム１２Ｐは、ＣＤ−ＲＯＭ等の記録媒体により提供するようにしても良い。
【００５７】
次に、信号機切替制御装置１２として動作するコンピュータ１２Ｘの動作について説明する。コンピュータ１２Ｘでは、情報処理プログラム１２Ｐに含まれる図６及び図７に示すプロセスの各々が実行される。
【００５８】
図６には、コンピュータ１２Ｘで実行される情報処理プログラム１２Ｐに含まれる交通量予測器学習プロセスによる処理の流れの一例が示されている。コンピュータ１２Ｘでは、情報処理プログラム１２Ｐに含まれる図６に示す交通量予測器学習プロセスがＲＯＭ１２Ｃから読み出されてＲＡＭ１２Ｂに展開され、ＲＡＭ１２Ｂに展開された交通量予測器学習プロセスをＣＰＵ１２Ａが実行する。
【００５９】
ステップＳ１００では、交通情報の取得処理を実行する。ステップＳ１００では、車側情報及び路側情報を含む情報を交通情報として取得する。このステップＳ１００の処理は、図１に示す車側情報収集部１２１で収集された車側情報及び路側情報収集部１２２で収集された路側情報を含む情報を取得する処理の一例である。次のステップＳ１０２では、ステップＳ１００で取得した交通情報をデータベースとして記憶部１２Ｍに格納する処理を実行する。
【００６０】
なお、図６に示すステップＳ１００及びステップＳ１０２の処理は、図１に示す交通情報蓄積部１２３の動作の一例である。すなわち、図６に示すステップＳ１００及びステップＳ１０２の処理をコンピュータ１２Ｘが実行することにより、コンピュータ１２Ｘは、図１に示す交通情報蓄積部１２３として動作する。
【００６１】
次のステップＳ１０４の処理では、交通量予測器の学習処理を実行する。ステップＳ１０４では、交通情報蓄積部１２３に蓄積した交通情報を用いて、関連情報として交通量を示す情報を導出する交通量予測器を学習により構築する。
【００６２】
すなわち、前記したように、或る入力情報が入力された場合に入力情報に沿う出力情報が出力されるように交通量モデルを学習する。これによって、交通情報蓄積部１２３の交通情報を用いて、道路ＩＤの道路における平均車速と、周囲道路の平均車速と、周囲信号機の切替タイミングとが入力された場合に、その道路ＩＤの道路の数分後の交通量を予測する交通量予測器が構築される。次のステップＳ１０６では、構築された交通量予測器を規定するパラメータ、すなわち交通量モデルにおけるパラメータを、記憶部１２Ｍに格納する。
【００６３】
図６に示すステップＳ１０４の処理は、図１に示す関連情報抽出部１２４の動作の一例である。すなわち、図６に示すステップＳ１０４の処理をコンピュータ１２Ｘが実行することにより、コンピュータ１２Ｘは、図１に示す関連情報抽出部１２４として動作する。また、図６に示すステップＳ１０６の処理は、図１に示す最適化データ保存部１２５の動作の一例である。すなわち、図６に示すステップＳ１０６の処理をコンピュータ１２Ｘが実行することにより、コンピュータ１２Ｘは、図１に示す最適化データ保存部１２５として動作する。
【００６４】
図７には、コンピュータ１２Ｘで実行される情報処理プログラム１２Ｐに含まれる最適化プロセスによる処理の流れの一例が示されている。コンピュータ１２Ｘでは、図７に示す最適化プロセスがＲＯＭ１２Ｃから読み出されてＲＡＭ１２Ｂに展開され、ＲＡＭ１２Ｂに展開された最適化プロセスをＣＰＵ１２Ａが実行する。
【００６５】
ステップＳ１１０では、道路網ＡＲ内の交差点ＣＲを抽出し、次のステップＳ１１２で、交差点ＣＲｉで利用する道路の集合Ｒｉによる第１交差点モデルを構築する。すなわち、交差点ＣＲｉ（１≦ｉ≦９）に連結されている全ての主要道路を示す道路ＩＤを、状況ｓｉ  で利用する道路集合Ｒｉ  （ｓｉ  ）に保存し、第１交差点モデルを構築する。
【００６６】
次のステップＳ１１４では、道路集合Ｒｉ  （ｓｉ  ）に該当する交通情報を取得し、次のステップＳ１１６で、交差点ＣＲｉの信号機切替タイミングを学習した後に、学習結果を記憶部１２Ｍに格納する。すなわち、道路集合Ｒｉ  （ｓｉ  ）の交通情報を用いて信号機ＳＧの切替えタイミングを個別に学習（Ｑ学習）し、政策πｉ  、状態価値関数Ｖｉ  を保存する。
【００６７】
次のステップＳ１２０では、道路網ＡＲ内で未処理の交差点ＣＲが残存するか否かを判断し、否定判断した場合はステップＳ１１２へ処理を戻し、交点判断した場合はステップＳ１２２へ処理を移行する。
【００６８】
図７に示すステップＳ１１０〜Ｓ１２０の処理は、図１に示す信号制御最適化部１２６における第１段階の学習処理の動作の一例である。すなわち、図７に示すステップＳ１１０〜Ｓ１２０の処理をコンピュータ１２Ｘが実行することにより、コンピュータ１２Ｘは、図１に示す信号制御最適化部１２６における第１段階の学習処理を実行する実行装置として動作する。また、図７に示すステップＳ１１８の処理は、図１に示す最適化データ保存部１２５の動作の一例である。
【００６９】
第２段階の学習処理では、或る時刻ｔの交差点ＣＲ及び隣り合う交差点における交通状況を入力情報とし、信号機ＳＧの信号灯１６の切替タイミングを規定するタイミングパラメータを出力情報とするモデルを用いる。すなわち、交差点ＣＲの主要道路及び隣り合う交差点の信号機ＳＧの周辺道路を含む道路の交通状況の交通状況により交差点ＣＲに設置された信号機ＳＧの切替タイミングを出力するモデル（以下、第２交差点モデルという。）を用いる。
【００７０】
ステップＳ１２２では、交差点ＣＲｉに隣り合う交差点ＣＲｊで利用する道路、すなｗち周辺道路を抽出する。次のステップＳ１２４では、交差点ＣＲｊで利用する道路ＩＤの道路を道路集合Ｒｉに追加した集合Ｒ’ ｉによる第２交差点モデルを構築する。すなわち、交差点ＣＲｉ（１≦ｉ≦９）の時刻ｔの状況ｓｉ  で利用する道路集合Ｒｉ  （ｓｉ  ）に、隣り合う交差点ＣＲｊ（１≦ｊ≦９、ｉ≠ｊ）に連結されている周辺道路の道路ＩＤを追加した道路集合Ｒ'ｉ  （ｓｉ  ）を構築する。
【００７１】
次のステップＳ１２６では、道路集合Ｒ'ｉ  （ｓｉ  ）に該当する交通情報を取得し、次のステップＳ１２８で、第２交差点モデルにおいて、学習済の第１交差点モデルの信号機切替タイミングを用いて、所定時間経過後の交通状況を推定する。すなわち、道路集合Ｒ'ｉ  （ｓｉ  ）に含まれる全ての交差点ＣＲの信号機ＳＧを事前に学習した政策で切替えた場合の次の時刻の状態価値関数Ｖ'ｉ  （ｓｉ  ）を観測する。
【００７２】
次のステップＳ１３０では、道路集合Ｒｉによる交通状況と、ステップＳ１２６で推定した交通状況との差分が閾値を超えたか否かを判別することで、交差点ＣＲｉと交差点ＣＲｊとが、交通流制御に関連するか否かを判断する。ステップ１３０で肯定判断した場合は、ステップＳ１３２へ処理を移行し、否定判断した場合はステップＳ１３４へ処理を移行する。
【００７３】
ステップＳ１３２では、道路集合Ｒｉを道路集合Ｒ’に変更し、学習した後、ステップＳ１３６へ処理を移行する。ステップＳ１３４では、道路集合Ｒｉを変更せずにステップＳ１３６へ処理を移行する。なわち、前記のように、状態価値の差が予め定めた閾値を超えた場合には、交差点ＣＲｉと交差点ＣＲｊとは、交通流制御に関連するとして状況ｓｉ  で利用する道路集合Ｒｉ  （ｓｉ  ）を道路集合Ｒ'ｉ  （ｓｉ  ）に更新し、閾値以下で変化しない場合は、道路集合Ｒｉ  （ｓｉ  ）を維持する。
【００７４】
ステップＳ１３６では、追加する周辺道路がなくなり，政策及び状態価値関数の値が収束するまで否定判断を繰り返し、ステップＳ１２２へ処理を戻す。一方、ステップＳ１３６で肯定判断した場合は、交差点ＣＲごとに学習され、最適化されたパラメータである政策πｉ  、状態価値関数Ｖｉ  の各々を保存する。
【００７５】
図７に示すステップＳ１２２〜Ｓ１３８の処理は、図１に示す信号制御最適化部１２６における第２段階の学習処理の動作の一例である。すなわち、図７に示すステップＳ１２２〜Ｓ１３８の処理をコンピュータ１２Ｘが実行することにより、コンピュータ１２Ｘは、図１に示す信号制御最適化部１２６における第２段階の学習処理を実行する実行装置として動作する。また、図７に示すステップＳ１３８の処理は、図１に示す最適化データ保存部１２５の動作の一例である。
【００７６】
そして、道路網ＡＲに含まれる複数の信号機ＳＧ各々の信号灯１６の切替タイミングの各々を制御する場合、図６に示す処理により学習された交通量予測器と、図７に示す処理により学習された演算器とを再構築し、複数の信号機ＳＧ各々を制御する。信号機ＳＧの信号制御部１４の各々は、信号制御最適化部１２６からの制御信号により信号灯１６の各々の切替タイミングをする。これによって、道路網ＡＲ内の交通流が最適化される。
【００７７】
以上説明したように本実施形態によれば、道路網内の信号機を切替制御する場合に、主要な道路の交通量から車両の流れを特定する場合に比べて、車両の流れを円滑にすることができる。
【００７８】
ここで、本実施形態に係る信号機切替制御システム１０では、道路網ＡＲの信号機ＳＧ各々の切替タイミングが最適化される。この最適化された切替タイミングにより信号機ＳＧ各々を切替制御した場合の交通流、すなわち、入力された交通情報により道路網の交通状況を推定することができる。この推定された道路網の交通状況は、道路網ＡＲを走行する車両に有効な情報である。例えば、推定された道路網の交通状況を、道路網ＡＲを走行中の車両、または道路網に進入する車両において確認することで、道路網ＡＲを走行中の車両、または道路網に進入する車両の走行計画を、例えば、短時間で目的地に到達するように変更することができる。また、信号機切替制御システム１０は、推定した道路網の交通状況に基づいて、道路網ＡＲを走行中の車両、または道路網に進入する車両に対して最適な走行経路を提示することもできる。
【００７９】
すなわち、本実施形態に係る信号機切替制御システム１０は、交通情報により推定された交通状況を用いて、道路網ＡＲを走行する車両、及び道路網に進入する車両の少なくとも一方の車両に対して、走行支援をすることができる。
【００８０】
図８は、複数の車両Ｃが密集することが予測される道路を含む道路網ＡＲの一例を示す模式図である。図８に示す例では、複数の車両Ｃが密集することが予測される道路として、道路ＩＤ０１、ＩＤ０２、ＩＤ０６、及びＩＤ１２の各道路を含む道路ＩＤＸ（斜線で示す領域）が示されている。
【００８１】
道路ＩＤＸを走行中の車両に対しては、近隣の道路、すなわち、道路ＩＤ０１、ＩＤ０２、ＩＤ０６、及びＩＤ１２の各道路以外の道路への変更を促す情報を送信することで、道路ＩＤＸを走行中の車両は、車両が密集した道路を回避して走行する走行計画へ変更することができる。また、道路ＩＤＸへ進入予定の車両に対しては、道路ＩＤＸに複数の車両Ｃが密集することを示す情報を送信することで、密集した道路への進入を回避して走行する走行計画へ変更することができる。さらに、道路網ＡＲへ進入予定の車両に対しては、道路ＩＤＸに複数の車両Ｃが密集することを示す情報を送信することで、道路網ＡＲ内において、密集した道路の走行を回避した走行計画へ変更することができる。
【００８２】
以上、各実施の形態を用いて説明したが、開示の技術の技術的範囲は上記実施形態に記載の範囲には限定されない。要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も開示の技術の技術的範囲に含まれる。
【符号の説明】
【００８３】
１０    信号機切替制御システム
１２    信号機切替制御装置
１２Ｘ  コンピュータ
１２Ｐ  情報処理プログラム
１４    信号制御部
１６    信号灯
１２１  車側情報収集部
１２２  路側情報収集部
１２３  交通情報蓄積部
１２４  関連情報抽出部
１２５  最適化データ保存部
１２６  信号制御最適化部
ＡＲ    道路網
Ｃ      車両
ＣＲ    交差点
ＳＧ    信号機
【図１】
2019079199.tif 000005
【図２】
2019079199.tif 000006
【図３】
2019079199.tif 000007
【図４】
2019079199.tif 000008
【図５】
2019079199.tif 000009
【図６】
2019079199.tif 000010
【図７】
2019079199.tif 000011
【図８】
2019079199.tif 000012