(57)【要約】【課題】手動制御車両と自動制御車両とを含む交通環境において、自動制御車両を制御するための制御則を得ることができるようにする。【解決手段】状態空間モデル学習部１２２は、手動制御車両と自動制御車両とを含む複数の車両の状態を表す状態空間毎に、予め収集された手動制御車両の状態変数及び自動制御車両の状態変数を表す複数の学習データに基づいて、複数の車両の状態変数の変化量を予測するためのモデルを学習する。そして、制御則設計部１２４は、状態空間毎に、状態空間モデル学習部１２２によって状態空間について学習されたモデルに基づいて、複数の車両のうちの自動制御車両の各々の状態変数を制御するための制御則を生成する。【選択図】図１
2018147103.tif 000002
【特許請求の範囲】
【請求項１】
手動制御による移動体である手動制御移動体と自動制御による移動体である自動制御移動体とを含む複数の移動体の状態を表す状態空間毎に、予め収集された前記手動制御移動体の状態変数及び前記自動制御移動体の状態変数を表す複数の学習データに基づいて、前記複数の移動体の状態変数の変化量を予測するためのモデルを学習する学習部と、
前記状態空間毎に、前記学習部によって前記状態空間について学習された前記モデルに基づいて、前記複数の移動体のうちの前記自動制御移動体の各々の状態変数を制御するための制御則を生成する制御則設計部と、
を含むモデル学習装置。
【請求項２】
前記学習部は、前記学習データとして、前記移動体の各々についての、前記移動体の状態変数と、前記移動体の周辺の前記移動体の状態変数と、前記移動体の状態変数の変化量とを用いて、前記モデルを学習する
請求項１に記載のモデル学習装置。
【請求項３】
前記制御則設計部は、前記学習部によって学習された前記モデル、及び前記制御則を用いて表される評価関数を最適化する前記制御則を、前記状態変数のべき乗多項式、前記状態変数のＣｈｅｂｙｓｈｅｖ多項式、又は前記状態変数を入力とするニューラルネットワークを基底関数とするＨＪＢ方程式に従って求めることにより、前記制御則を生成する
請求項１又は請求項２に記載のモデル学習装置。
【請求項４】
前記学習部は、複数の前記移動体の状態変数を入力とし、複数の前記移動体の状態変数の変化量の平均と、複数の前記移動体の状態変数の変化量の分散とを出力するガウス過程モデルを、前記モデルとして学習する
請求項１〜請求項３の何れか１項に記載のモデル学習装置。
【請求項５】
前記状態変数は、前記移動体の位置及び速度を含む、
請求項１〜請求項４の何れか１項に記載のモデル学習装置。
【請求項６】
複数の移動体の各々についての状態変数と、手動制御移動体及び自動制御移動体の何れであるかの情報とを取得すると共に、前記複数の移動体が属する状態空間を特定する状態取得部と、
前記状態取得部によって特定された前記状態空間に応じて、請求項１〜請求項５の何れか１項に記載されたモデル学習装置によって生成された前記制御則を取得する制御則取得部と、
前記複数の移動体の状態変数と、前記制御則取得部によって取得された前記制御則とに基づいて、前記複数の移動体のうちの自動制御移動体に対する状態変数の制御量を算出する制御量算出部と、
を含む制御量算出装置。
【請求項７】
コンピュータを、
手動制御による移動体である手動制御移動体と自動制御による移動体である自動制御移動体とを含む複数の移動体の状態を表す状態空間毎に、予め収集された前記手動制御移動体の状態変数及び前記自動制御移動体の状態変数を表す複数の学習データに基づいて、前記複数の移動体の状態変数の変化量を予測するためのモデルを学習する学習部、及び
前記状態空間毎に、前記学習部によって前記状態空間について学習された前記モデルに基づいて、前記複数の移動体のうちの前記自動制御移動体の各々の状態変数を制御するための制御則を生成する制御則設計部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モデル学習装置、制御量算出装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、周囲の車両の挙動を予測しながら、モデル予測制御を用いて自車両の制御を実行する車線変更最適化装置が知られている（特許文献１）。
【０００３】
また、複数台の移動体のフォーメーションに基づく状態空間方程式を定義し、それを用いて衝突回避を行う制御則をオフラインで設計する方法が知られている（非特許文献１）。
【０００４】
また、合流場面において、複数車両がスムーズに合流できるような制御入力を最適制御則として求めて実行する方法が知られている（非特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２０９４５５号公報
【非特許文献】
【０００６】
【非特許文献１】宮崎達也、鷹羽浄嗣、「障害物回避を考慮した移動ロボット群のフォーメーション制御」、システム制御情報学会論文誌、２０１５
【非特許文献２】J.Rios-Torres，A.A.Mailkopoulos and P.Pisu,"Online Optimal Control of Connected Vehicles for Efficient Traffic Flow at Merging Roads," in Proc. of the IEEE 18th International Conference on Intelligent Transportation Systems,2015.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１では、モデル予測制御を用いた手法であるため、車両数が増加した際にリアルタイム性が失われる問題が生じる。
【０００８】
非特許文献１では、オフラインの制御設計によりリアルタイム性は高いが、全ての移動体を制御できることが前提となっており、手動運転車のような制御できない予測困難な移動体が含まれると制御困難という問題が生じる。
【０００９】
非特許文献２では、最適制御の枠組みに基づいているため所望の目標に対する制御性能は期待されるが、全ての車両を制御できる事が前提となっており、手動運転車のような制御できない予測困難な移動体が含まれると制御困難という問題が生じる。
【００１０】
本発明では、上記問題点を解決するために成されたものであり、手動制御移動体と自動制御移動体とを含む交通環境において、自動制御移動体を制御するための制御則を得ることができるモデル学習装置及びプログラムを提供することを目的とする。
【００１１】
また、手動制御移動体と自動制御移動体とを含む交通環境において、自動制御移動体を制御するための制御量を得ることができる制御量算出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明のモデル学習装置は、手手動制御による移動体である手動制御移動体と自動制御による移動体である自動制御移動体とを含む複数の移動体の状態を表す状態空間毎に、予め収集された前記手動制御移動体の状態変数及び前記自動制御移動体の状態変数を表す複数の学習データに基づいて、前記複数の移動体の状態変数の変化量を予測するためのモデルを学習する学習部と、前記状態空間毎に、前記学習部によって前記状態空間について学習された前記モデルに基づいて、前記複数の移動体のうちの前記自動制御移動体の各々の状態変数を制御するための制御則を生成する制御則設計部と、を含んで構成されている。
【００１３】
また、本発明のプログラムは、コンピュータを、手動制御による移動体である手動制御移動体と自動制御による移動体である自動制御移動体とを含む複数の移動体の状態を表す状態空間毎に、予め収集された前記手動制御移動体の状態変数及び前記自動制御移動体の状態変数を表す複数の学習データに基づいて、前記複数の移動体の状態変数の変化量を予測するためのモデルを学習する学習部、及び前記状態空間毎に、前記学習部によって前記状態空間について学習された前記モデルに基づいて、前記複数の移動体のうちの前記自動制御移動体の各々の状態変数を制御するための制御則を生成する制御則設計部として機能させるためのプログラムである。
【００１４】
本発明によれば、学習部によって、手動制御による移動体である手動制御移動体と自動制御による移動体である自動制御移動体とを含む複数の移動体の状態を表す状態空間毎に、予め収集された手動制御移動体の状態変数及び自動制御移動体の状態変数を表す複数の学習データに基づいて、複数の移動体の状態変数の変化量を予測するためのモデルが学習される。また、制御則設計部によって、状態空間毎に、学習部によって状態空間について学習されたモデルに基づいて、複数の移動体のうちの自動制御移動体の各々の状態変数を制御するための制御則を生成される。
【００１５】
このように、複数の移動体の状態を表す状態空間毎に、予め収集された手動制御移動体の状態変数及び自動制御移動体の状態変数を表す複数の学習データに基づいて、複数の移動体の状態変数の変化量を予測するためのモデルを学習し、状態空間毎に、状態空間について学習されたモデルに基づいて、複数の移動体のうちの自動制御移動体の制御則を生成することにより、手動制御移動体と自動制御移動体とを含む交通環境において、自動制御移動体を制御するための制御則を得ることができる。
【００１６】
また、本発明の前記学習部は、前記学習データとして、前記移動体の各々についての、前記移動体の状態変数と、前記移動体の周辺の前記移動体の状態変数と、前記移動体の状態変数の変化量とを用いて、前記モデルを学習するようにすることができる。
【００１７】
また、前記制御則設計部は、前記学習部によって学習された前記モデル、及び前記制御則を用いて表される評価関数を最適化する前記制御則を、前記状態変数のべき乗多項式、前記状態変数のＣｈｅｂｙｓｈｅｖ多項式、又は前記状態変数を入力とするニューラルネットワークを基底関数とするＨＪＢ方程式に従って求めることにより、前記制御則を生成するようにすることができる。
【００１８】
また、前記学習部は、複数の前記移動体の状態変数を入力とし、複数の前記移動体の状態変数の変化量の平均と、複数の前記移動体の状態変数の変化量の分散とを出力するガウス過程モデルを、前記モデルとして学習するようにすることができる。
【００１９】
また、前記状態変数は、前記移動体の位置及び速度を含むようにすることができる。
【００２０】
本発明の制御量算出装置は、複数の移動体の各々についての状態変数と、手動制御移動体及び自動制御移動体の何れであるかの情報とを取得すると共に、前記複数の移動体が属する状態空間を特定する状態取得部と、前記状態取得部によって特定された前記状態空間に応じて、上記のモデル学習装置によって生成された前記制御則を取得する制御則取得部と、前記複数の移動体の状態変数と、前記制御則取得部によって取得された前記制御則とに基づいて、前記複数の移動体のうちの自動制御移動体に対する状態変数の制御量を算出する制御量算出部と、を含んで構成されている。これにより、手動制御移動体と自動制御移動体とを含む交通環境においても、自動制御移動体を制御するための制御量を得ることができる。
【発明の効果】
【００２１】
以上説明したように、本発明のモデル学習装置及びプログラムによれば、複数の移動体の状態を表す状態空間毎に、予め収集された手動制御移動体の状態変数及び自動制御移動体の状態変数を表す複数の学習データに基づいて、複数の移動体の状態変数の変化量を予測するためのモデルを学習し、状態空間毎に、状態空間について学習されたモデルに基づいて、複数の移動体のうちの自動制御移動体の制御則を生成することにより、手動制御移動体と自動制御移動体とを含む交通環境において、自動制御移動体を制御するための制御則を得ることができる、という効果が得られる。
【００２２】
本発明の制御量算出装置及びプログラムによれば、複数の移動体の各々についての状態変数と、手動制御移動体及び自動制御移動体の何れであるかの情報とを取得すると共に、複数の移動体が属する状態空間を特定し、特定された状態空間に応じて、制御則生成装置によって生成された制御則を取得し、複数の移動体の状態変数と、取得された制御則とに基づいて、複数の移動体のうちの自動制御移動体に対する制御量を算出することにより、手動制御移動体と自動制御移動体とを含む交通環境においても、自動制御移動体を制御するための制御量を得ることができる、という効果が得られる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態の車両制御システムの構成を示すブロック図である。
【図２】本発明の実施の形態の制御則生成装置における学習処理ルーチンの内容を示すフローチャートである。
【図３】本発明の実施の形態の制御則生成装置における制御則設計処理ルーチンの内容を示すフローチャートである。
【図４】本発明の実施の形態の制御量算出装置における制御量算出処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本発明の実施の形態では、移動体の一例である車両を対象とする場合を例に説明する。
【００２５】
＜車両制御システムの構成＞
本実施の形態に係る車両制御システムについて説明する。図１に示すように、本実施の形態に係る車両制御システム１０は、予め収集された学習データに基づいて、車両を制御するための制御則を生成する制御則生成装置１２と、制御則生成装置１２によって生成された制御則に基づいて、車両に対する制御量を算出する車両制御量算出装置１４とを備えている。制御則生成装置１２と車両制御量算出装置１４とは、例えばインターネット等の通信手段によって接続されている。制御則生成装置１２は、モデル学習装置の一例である。
【００２６】
［制御則生成装置］
【００２７】
制御則生成装置１２は、制御則生成装置１２全体の制御を司るＣＰＵ、各処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んだコンピュータにより構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【００２８】
このコンピュータをハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、制御則生成装置１２は、図１に示されるように、学習データ収集部１１８と、学習データベース１２０と、状態空間モデル学習部１２２と、制御則設計部１２４と、制御則データベース１２６と、制御部１２８と、通信部１３０とを備える。状態空間モデル学習部１２２は、学習部の一例である。
【００２９】
本実施形態では、手動制御による車両である手動制御車両と自動制御による車両である自動制御車両とを含む複数の車両の状態を表す状態空間毎に、複数の車両の状態変数の変化量を予測するためのモデルを学習する。本実施の形態の状態空間について、以下説明する。
【００３０】
なお、以下では、ベクトルｖ∈Ｒｎの第ｉ成分を［ｖ］ｉと表記する。また、行列Ｍ∈Ｒｎ×ｍのｉ行ｊ列成分を、［Ｍ］ｉ，ｊと表記する。また、行列Ｍ∈Ｒｎ×ｍのｉ行ベクトル及びｊ列ベクトルをそれぞれ［Ｍ］ｉ，・，［Ｍ］・，ｊと表記する。
【００３１】
本実施形態では、自動制御車両の前後方向に対する制御を行う場合を例に説明する。まず、Ｎ台の車両に対して状態空間を定義する。時刻ｔにおける車両ｉの前後方向の絶対位置をｐｇｌｏ，ｉ（ｔ）とし、絶対速度をｖｇｌｏ，ｉ（ｔ）とする。そして、Ｎ台の車両の目標とする位置に関する定常状態をｐｒｅｆ，ｉ（ｔ）とし、目標とする速度に関する定常状態をｖｒｅｆ，ｉ（ｔ）とする。ｉは車両を識別するためのインデックスを表す。
【００３２】
また、目標とする定常状態からの相対位置をｐｉ：＝ｐｇｌｏ，ｉ−ｐｒｅｆ，ｉ（ｔ）として設定する。また、目標とする定常状態からの相対速度をｖｉ：＝ｖｇｌｏ，ｉ−ｖｒｅｆ，ｉ（ｔ）として設定する。この場合、状態変数ｘ（ｔ）を以下の式（１）によって定義する。
【００３３】
【数１】
2018147103.tif 000003
（１）
【００３４】
上記式（１）に示されるように、本実施形態においては、車両の位置及び車両の速度が状態変数として含まれる。また、状態空間は２Ｎ次元のユークリッド空間とする。
【００３５】
次に、Ｎ台の車両に対して、Ｍ台の車両ｉ１，ｉ２,...,ｉＭが自動制御車両として制御可能とする場合、状態空間方程式は以下の式（２）によって与えられる。
【００３６】
【数２】
2018147103.tif 000004
（２）
【００３７】
ここで、上記式（２）におけるｕ（ｔ）∈ＲＭは、Ｍ台の自動制御車両に対する制御量（例えば、自動制御車両に対して与える加速度）である。本実施形態では、上記式（２）におけるパッシブダイナミクスｆ（ｘ（ｔ））Ｒ２Ｎをガウス過程によりモデル化する。また、上記式（２）における行列Ｂのうち、以下の式（Ａ）に示す各要素は０でない定数（加速度に対する係数）であり、その他の各要素の値は０である。
【００３８】
【数３】
2018147103.tif 000005
（Ａ）
【００３９】
上記式（Ａ）において、例えば、２番目の車両が手動制御車両であり、１番目の車両と３番目の車両が自動制御車両である場合には、ｉ１＝１，ｉ２＝３となる。上記式（２）に示す行列Ｂの各要素には、各車両に対する、速度及び加速度の制御量に対する係数が並べられて格納されている。そのため、１番目の車両１の速度に対する係数と１番目の車両の加速度に対する係数、２番目の車両の速度に対する係数と２番目の車両の加速度に対する係数というように、各車両に対する係数が順に並べられている。そのため、偶数番目の要素が加速度を表すため「ｉｊ」に対して２が乗算されている。
【００４０】
なお、自動制御車両の挙動はモデル化が比較的容易なため、例えば、以下の式（Ｂ）に示されるように、パッシブダイナミクスｆ（ｘ（ｔ））を予め定義しておいても良い。
【００４１】
【数４】
2018147103.tif 000006
（Ｂ）
【００４２】
なお、上記式（Ｂ）では、［ｆ（ｘ（ｔ））］には各車両の速度と加速度が上記式（Ａ）と同様に順に並べられており、奇数番目の要素が速度を表すため上記式（Ｂ）に示されるような関係となる。
【００４３】
以上の様に、様々なＮ、Ｍ，ｉ１，ｉ２,...,ｉＭ及び目標とする定常状態に応じて、状態空間と状態空間方程式とが定義される。
【００４４】
学習データ収集部１１８は、手動制御車両と自動制御車両とを含む複数の車両の状態を表す状態空間毎に、予め収集された手動制御車両の状態変数、自動制御車両の状態変数、手動制御車両の状態変数の変化量、及び自動制御車両の状態変数の変化量を表す複数の学習データを収集する。
【００４５】
具体的には、学習データ収集部１１８は、状態空間毎に、状態空間に応じた学習データ｛（ｘ（ｉ），ｆ（ｉ））｝Ｄｉ＝１を収集する。本実施形態では、パッシブダイナミクスｆ（ｘ（ｔ））Ｒ２Ｎをガウス過程によりモデル化するため、ｆ（ｘ（ｉ））＝ｆ（ｉ）を満たすＤ組の学習データ｛（ｘ（ｉ），ｆ(ｉ)）｝Ｄｉ＝１を予め用意する。
【００４６】
なお、学習データ｛（ｘ(ｉ)，ｆ(ｉ)）｝Ｄｉ＝１の収集方法としては、例えば、過去の交通データからある時刻のＮ台の車両群をピックアップして｛（ｘ（ｉ），ｆ（ｉ））｝Ｄｉ＝１とすればよい。この場合、例えば、定点カメラ（図示省略）によって取得された画像から、複数の車両の各々についての状態変数とパッシブダイナミクスとを含む学習データ｛（ｘ（ｉ），ｆ（ｉ））｝Ｄｉ＝１を取得する。
【００４７】
なお、学習データ収集部１１８は、学習データとして、車両の各々についての、車両の状態変数と、当該車両の周辺の車両の状態変数と、当該車両の状態変数の変化量とを用いて、ガウス過程モデルを学習するようにしてもよい。
【００４８】
この場合には、例えば、Ｎ台の車両間の相互作用は近傍の車両のみと仮定し、以下の式（３）に示す近似を用いることができる。
【００４９】
【数５】
2018147103.tif 000007
（３）
【００５０】
上記式（３）に示されるようにＮ台の車両群を近似的に分解するためには、以下の式（４）に示すような、２台の車両又は３台の車両を表す車両群をピックアップしたデータを複数用いる。これにより、学習データ収集部１１８は、Ｎ台の車両群に対する学習データ（ｘ（ｉ），ｆ（ｉ））を生成する。
【００５１】
【数６】
2018147103.tif 000008
（４）
【００５２】
学習データベース１２０には、学習データ収集部１１８によって収集された複数の学習データが格納される。
【００５３】
状態空間モデル学習部１２２は、学習データベース１２０に格納された複数の学習データに基づいて、手動制御車両と自動制御車両とを含む複数の車両の状態変数の変化量を予測するためのモデルとして、ガウス過程モデルを学習する。ガウス過程モデルにより、複数の車両の状態変数を入力として、複数の車両の状態変数の変化量の平均と、複数の車両の状態変数の変化量の分散とが得られる。
【００５４】
具体的には、状態空間モデル学習部１２２は、学習データベース１２０に格納されたＤ組のデータ｛（ｘ（ｉ），ｆ（ｉ））｝Ｄｉ＝１を用いて、パッシブダイナミクスｆ（ｘ）を学習する。
【００５５】
例えば、状態空間モデル学習部１２２は、参考文献１に記載の技術に基づいて、ガウス過程モデルにより、パッシブダイナミクスｆ（ｘ）をモデル化する。
【００５６】
参考文献１：C. E. Rasmussen and C. K. I. Williams, "Gaussian Processes for Machine Learning", MIT Press, 2014.
【００５７】
ガウス過程の特徴として、（１）モデル化対象の知識は必要とせず予測性能が高い、（２）過学習を生じにくい、（３）予測の期待値だけでなく分散も求まるため、予測の不確実さも情報として得られる、等が挙げられる。
【００５８】
なお、学習データ｛（ｘ（ｉ），ｆ（ｉ））｝Ｄｉ＝１に関しては、以下の表記を用いる。
【００５９】
【数７】
2018147103.tif 000009
（５）
2018147103.tif 000010
（６）
【００６０】
状態空間モデル学習部１２２は、上記式（５）及び式（６）に示される学習データ（Ｘ，Ｆ）を用いて、パッシブダイナミクスｆ（ｘ）をガウス過程としてモデル化する。パッシブダイナミクスｆ（ｘ）がガウス過程に従うと仮定した場合、以下の式（７）が成立する。
【００６１】
【数８】
2018147103.tif 000011
（７）
【００６２】
ここで、上記式（７）におけるＫＸＸ∈ＲＤ×Ｄ，ＫＸｘ（ｘ）∈ＲＤ，Ｋｘｘ（ｘ）∈Ｒはカーネル関数Ｋ（ｘ（ｉ），ｘ（ｊ））を要素に持つ行列、ベクトル、スカラーであり、以下の式（８）〜（１０）により定義される。
【００６３】
【数９】
2018147103.tif 000012
（８）
2018147103.tif 000013
（９）
2018147103.tif 000014
（１０）
【００６４】
上記式（８）におけるδｉｊはクロネッカーデルタ、σｎ∈Ｒはハイパーパラメータである。また、上記式（９）におけるＫＸｘ（ｘ）及び上記式（１０）におけるＫｘｘ（ｘ）はｘの関数である。カーネル関数Ｋ（ｘ（ｉ），ｘ（ｊ））は様々な種類があるが、ここでは以下の式（１１）に示すガウシアンカーネルを採用する。
【００６５】
【数１０】
2018147103.tif 000015
（１１）
【００６６】
ここで、上記式（１１）におけるσｆ∈Ｒ，Σｗ＞０∈Ｒｎ×ｎはハイパーパラメータであり、Σｗは対角行列とする。状態空間モデル学習部１２２は、以下の式（１２）に従って、状態Ｘが与えられたときの［Ｆ］・，ｋの対数尤度が最大化されるように、ハイパーパラメータθ:＝｛σｎ，σｆ，Σｗ｝を推定する。
【００６７】
【数１１】
2018147103.tif 000016
（１２）
【００６８】
ただし、ガウス過程でモデル化されるパッシブダイナミクスｆ（ｘ）はｎ次元であるため、スカラー関数に対する最尤推定の枠組みを拡張する必要がある。本実施形態では、パッシブダイナミクスｆ（ｘ）の各成分は独立であると仮定し、かつ全成分で同じハイパーパラメータθを共有するように、以下の式（１３）に示す最大化問題によってハイパーパラメータθを推定する。
【００６９】
【数１２】
2018147103.tif 000017
（１３）
【００７０】
上記式（１３）によってハイパーパラメータθが推定された後、ある状態ｘに対するパッシブダイナミクスｆ（ｘ）の予測値ｆ＾（ｘ）は、以下の式（１４）〜（１６）に示される平均Ｅ［ｆ＾（ｘ）］と分散Ｖａｒ［f＾（ｘ）］とをもつガウス分布で与えられる。
【００７１】
【数１３】
2018147103.tif 000018
（１４）
2018147103.tif 000019
（１５）
2018147103.tif 000020
（１６）
【００７２】
ここで、本実施形態では、以下の式（Ｃ）に示されるように、分散は無視できるほど十分小さいものと仮定する。
【００７３】
【数１４】
2018147103.tif 000021
（Ｃ）
【００７４】
以上により、パッシブダイナミクスｆ（ｘ）がガウス過程の予測平均値Ｅ［ｆ＾（ｘ）］としてモデル化される。
【００７５】
なお、本実施形態では、ｆ（ｘ）をまとめてモデル化したが、上記式（３）のｆｉ〜（ｘ）毎に別々にモデル化を行った後に、上記式（３）に従ってｆｉ〜（ｘ）を結合し、ｆ＾（ｘ）を求めても良い。
【００７６】
制御則設計部１２４は、状態空間毎に、状態空間モデル学習部１２２によって状態空間について学習されたパッシブダイナミクスに基づいて、複数の車両のうちの自動制御車両の状態量を制御するための制御則を生成する。
【００７７】
制御則設計部１２４は、状態空間モデル学習部１２２により得られたパッシブダイナミクスｆ＾（ｘ）が表す状態変数の変化量の平均と行列Ｂとに対して、状態フィードバック制御則ｕＦＢ（ｘ）を設計する。制御則設計部１２４は、例えば、参考文献２に記載の技術に基づいて、オフライン型のモデル予測制御を用いればよい。
【００７８】
参考文献２：A. Grancharova, J. Kocijan and T. A. Johansen, "Explicit Stochastic Nonlinear Predictive Control Based on Gaussian Process Models.", ECC, 2007.
【００７９】
また、制御則設計部１２４は、参考文献３に記載の技術に基づいて、制御則を生成してもよい。
【００８０】
参考文献３：R. W. Beard, G. Saridis and J. Wen, "Approximate Solutions to the Time-Invariant Hamilton-Jacobi-Bellman Equation", JOURNAL OF OPTIMIZATION THEORY AND APPLICATION, 1998.
【００８１】
制御則設計部１２４は、上記参考文献３に記載の技術に基づき制御則を生成する場合、Generalized Hamilton Jacobi Bellman（ＧＨＪＢ）方程式を用いて、ある基底関数を用いてＧＨＪＢ方程式の残差が小さくなるようにＧＨＪＢの解を近似的に求めることで制御則を併せて得る。
【００８２】
そこで、本実施形態では、制御則設計部１２４は、状態空間モデル学習部１２２によって学習されたパッシブダイナミクス、及び制御則を用いて表される評価関数を最適化する制御則を、所定の基底関数を用いてＨＪＢ方程式に従って求めることにより、制御則を生成する。基底関数としては、状態変数のべき乗多項式、状態変数のＣｈｅｂｙｓｈｅｖ多項式、又は状態変数を入力とするニューラルネットワークが挙げられる。以下、具体的に説明する。
【００８３】
以下に、ＨＪＢ方程式を用いたｕＦＢ（ｘ）の設計方法を示す。以下の式（１７）は、入力にアファインな連続時間非線形システムを表す。また、以下の式（１８）及び（１９）に示されるような、評価関数Ｊ（ｕ，ｘ（０））に対する非線形最適制御問題を考える。評価関数Ｊ（ｕ，ｘ（０））は、制御則を用いて表される評価関数の一例である。
【００８４】
【数１５】
2018147103.tif 000022
（１７）
2018147103.tif 000023
（１８）
2018147103.tif 000024
（１９）
【００８５】
ここで、上記式（１８）におけるｑ（ｘ）＞０∈Ｒは、状態ｘに対する各時刻のコストを設計するパラメータを表し、Ｒ（ｘ）＞０∈Ｒｍ×ｍは、入力ｕに対する各時刻のコストを設計するパラメータを表す。ｑ（ｘ）及びＲ（ｘ）は、設計者によって事前に設定される。
【００８６】
この場合、上記式（１９）に示されるように、評価関数Ｊ（ｕ，ｘ（０））を最小化する最適制御入力ｕ（ｘ）の導出を目的とする。上記（１７）に示される、入力にアファインな連続時間非線形システムに対して上記式（１８）を最小化する非線形最適制御則は、以下の式（２０）に示すＨＪＢ方程式に従うことが知られている。
【００８７】
【数１６】
2018147103.tif 000025
（２０）
【００８８】
上記式（２０）の解Ｖ（ｘ）は値関数と呼ばれ、以下の式（２１）〜（２４）を満たす必要がある。
【００８９】
【数１７】
2018147103.tif 000026
（２１）
2018147103.tif 000027
（２２）
2018147103.tif 000028
（２３）
2018147103.tif 000029
（２４）
【００９０】
上記式（２０）及び上記式（２１），（２２），（２３），（２４）を満たす値関数Ｖ（ｘ）が求まった場合、上記式（１９）の最適制御入力ｕ（ｘ）は以下の式（２５）によって与えられる。
【００９１】
【数１８】
2018147103.tif 000030
（２５）
【００９２】
しかし、上記式（２０）を解く事は一般に困難であり、値関数Ｖ（ｘ）が初等関数でない場合も多分に有り得る。そこで、本実施形態では、値関数の候補Ｖ（ｘ，ｖ〜）を、以下の式（２６）に示す基底関数φ（ｘ）を用いて近似する。
【００９３】
【数１９】
2018147103.tif 000031
（２６）
【００９４】
ここで、上記式（２６）のｖ〜∈ＲＮｂは、基底関数φ（ｘ）∈ＲＮｂに対する係数である。基底関数としては、状態変数のべき乗多項式、状態変数のChebyshev多項式、状態変数を入力とするニューラルネットワークが挙げられる。続いて、上記式（２０）のＨＪＢ方程式に対して、以下の式（２７）に示すように、各状態ｘ∈Ｓｘの二乗誤差を積算した残差ｒＬＳＱ（Ｖ（ｖ〜））を定義する。
【００９５】
【数２０】
2018147103.tif 000032
（２７）
【００９６】
ここで、上記式（２７）におけるＳｘはｘに関する制御領域であり、設計者が事前に設定しておくものとする。そして、以下の式（２８）に示すように、残差ｒＬＳＱ（Ｖ（ｖ〜））をｖ〜に関して最小化する。
【００９７】
【数２１】
2018147103.tif 000033
（２８）
【００９８】
適切な初期値ｖ〜｛０｝を起点に勾配法等でｖ〜を更新しながら上記式（２８）の最適化問題を解くことによって、高い近似精度でＶ（ｘ，ｖ〜）が得られる。最終的に得られたパラメータをｖ〜＊としたとき、上記式（２５）に従って、制御則ｕＦＢ（ｘ）は以下の式（２９）で与えられる。
【００９９】
【数２２】
2018147103.tif 000034
（２９）
【０１００】
制御則設計部１２４は、上記式（２９）によって得られた制御則ｕＦＢ（ｘ）を制御則データベース１２６に格納する。
【０１０１】
制御則データベース１２６には、制御則設計部１２４によって得られた、状態空間毎の制御則ｕＦＢ（ｘ）が格納される。状態空間は、Ｎ，Ｍ，ｉ１，ｉ２,...,ｉＭに応じて異なる。また、状態空間に応じて、目標とする定常状態が予め設定される。
【０１０２】
制御部１２８は、後述する車両制御量算出装置１４から送信された制御信号に応じて、制御則データベース１２６に格納された制御則ｕＦＢ（ｘ）を読み出し、通信部１３０を介して車両制御量算出装置１４へ送信する。
【０１０３】
通信部１３０は、制御部１２８によって読み出された制御則ｕＦＢ（ｘ）を車両制御量算出装置１４へ送信する。
【０１０４】
［車両制御量算出装置］
【０１０５】
車両制御量算出装置１４は、車両制御量算出装置１４全体の制御を司るＣＰＵ、各処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んだコンピュータにより構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【０１０６】
このコンピュータをハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、車両制御量算出装置１４は、図１に示されるように、状態取得部１４０と、制御則取得部１４２と、通信部１４４と、制御則記憶部１４６と、制御量算出部１４８とを備える。
【０１０７】
状態取得部１４０は、対象とする交通環境下において、複数の車両の各々についての状態変数と、手動制御車両及び自動制御車両の何れであるかの情報とを取得する。また、状態取得部１４０は、車両の台数と、自動制御車両の台数と、各車両が手動制御車両及び自動制御車両の何れであるかの情報とに基づいて、複数の車両が属する状態空間を特定する。
【０１０８】
具体的には、状態取得部１４０は、対象とする交通環境下において、複数車両の位置及び速度を逐次検出する。複数車両の位置及び速度の検出方法としては、例えば定点カメラ（図示省略）によって撮像された画像から、対象とする交通環境下における複数車両の位置及び速度を検出することができる。または、状態取得部１４０は、車車間通信を用いて取得された複数車両の位置及び速度を収集する。そして、状態取得部１４０は、得られた複数車両の位置や手動制御車両及び自動制御車両の何れであるかの情報から、適切なＮ，Ｍ，ｉ１，ｉ２,...,ｉＭを表す状態空間を特定し、現時刻の状態変数ｘ（ｔ）を求める。
【０１０９】
制御則取得部１４２は、状態取得部１４０によって特定された状態空間に応じて、制御則生成装置１２によって生成された制御則を取得する。具体的には、制御則取得部１４２は、状態取得部１４０によって特定された状態空間を含む制御信号を、制御則生成装置１２へ通信部１４４を介して送信する。
【０１１０】
制御則生成装置１２の通信部１３０は、車両制御量算出装置１４から送信された制御信号を受信する。制御則生成装置１２の制御部１２８は、通信部１３０により受信された制御信号に含まれる状態空間を表す情報に応じて、制御則データベース１２６に格納された制御則ｕＦＢ（ｘ）を読み出す。具体的には、制御部１２８は、制御信号に含まれる状態空間に対応する制御則ｕＦＢ（ｘ）を制御則データベース１２６から読み出す。そして、制御部１２８は、制御則ｕＦＢ（ｘ）を、通信部１３０を介して車両制御量算出装置１４へ送信する。
【０１１１】
制御則取得部１４２は、制御則生成装置１２から送信された制御則ｕＦＢ（ｘ）を取得し、制御則記憶部１４６へ格納する。また、制御則取得部１４２は、状態取得部１４０によって特定された状態空間に応じて、制御則生成装置１２から、目標とする定常状態を取得する。
【０１１２】
制御則記憶部１４６には、制御則取得部１４２によって取得された制御則ｕＦＢ（ｘ）が格納される。制御則記憶部１４６に格納される制御則ｕＦＢ（ｘ）は、現在の状態空間に対応する制御則である。
【０１１３】
制御量算出部１４８は、状態取得部１４０によって取得された複数の車両の状態変数と、制御則記憶部１４６に格納された制御則ｕＦＢ（ｘ）とに基づいて、複数の車両のうちの自動制御車両に対する状態変数の制御量を算出する。具体的には、制御量算出部１４８は、状態取得部１４０によって取得された複数の車両の状態変数ｘ（ｔ）を、制御則記憶部１４６に格納された現在の状態空間に対応する制御則ｕＦＢ（ｘ）へ入力し、現時刻における状態変数の制御量ｕ（ｔ）＝ｕＦＢ（ｘ（ｔ）））を算出する。そして、制御量算出部１４８は、現時刻における自動制御車両に対する状態変数の制御量ｕ（ｔ）と、目標とする定常状態とから、加速度を算出して出力する。
【０１１４】
制御量算出部１４８によって出力された加速度は、複数の自動制御車両へ与えられる。
【０１１５】
＜制御則生成装置１２の作用＞
次に、本実施の形態に係る制御則生成装置１２の作用について説明する。まず、学習データ収集部１１８によって複数の学習データを収集され、学習データベース１２０に格納される。そして、状態空間モデル学習部１２２は、図２に示す学習処理ルーチンを実行する。
【０１１６】
ステップＳ１００において、状態空間モデル学習部１２２は、状態空間毎に、学習データベース１２０に格納された当該状態空間の複数の学習データを取得する。
【０１１７】
ステップＳ１０２において、状態空間モデル学習部１２２は、状態空間毎に上記ステップＳ１００で取得された当該状態空間の複数の学習データに基づいて、複数の車両の状態変数の変化量を予測するためのモデルとしてガウス過程モデルを学習する。
【０１１８】
ステップＳ１０４において、状態空間モデル学習部１２２は、状態空間毎に学習されたガウス過程モデルを結果として出力して、学習処理ルーチンを終了する。
【０１１９】
次に、制御則設計部１２４は、学習処理ルーチンによって状態空間毎に学習されたガウス過程モデルに基づいて、複数の車両のうちの自動制御車両の制御則を生成する。上記学習処理ルーチンが終了すると制御則設計部１２４は、図３に示す制御則設計処理ルーチンを実行する。
【０１２０】
ステップＳ２００において、制御則設計部１２４は、学習処理ルーチンによって状態空間毎に学習されたガウス過程モデルの平均と、状態空間毎の係数行列Ｂとを取得する。
【０１２１】
ステップＳ２０２において、制御則設計部１２４は、上記ステップＳ２００で取得されたガウス過程モデルの平均と係数行列Ｂとに基づいて、上記式（２９）に従って、制御則ｕＦＢ（ｘ）を状態空間毎に取得する。
【０１２２】
ステップＳ２０４において、制御則設計部１２４は、上記ステップＳ２０２で得られた状態空間毎の制御則ｕＦＢ（ｘ）を制御則データベース１２６へ格納して、制御則設計処理ルーチンを終了する。
【０１２３】
＜車両制御量算出装置１４の作用＞
次に、本実施の形態に係る車両制御量算出装置１４の作用について説明する。車両制御量算出装置１４は、対象とする交通環境下において、図４に示す制御量算出処理ルーチンを実行する。
【０１２４】
ステップＳ３００において、状態取得部１４０は、対象とする交通環境下において、複数の車両の各々についての状態変数ｘ（ｔ）と、手動制御車両及び自動制御車両の何れであるかの情報とを取得する。また、状態取得部１４０は、車両の台数と、自動制御車両の台数と、各車両が手動制御車両及び自動制御車両の何れであるかの情報とに基づいて、複数の車両が属する状態空間を特定する。
【０１２５】
ステップＳ３０２において、制御則取得部１４２は、上記ステップＳ３００で特定された状態空間に応じて、制御則生成装置１２の制御則データベース１２６に格納された制御則を取得する。そして、制御則取得部１４２は、取得した制御則ｕＦＢ（ｘ）を制御則記憶部１４６へ格納する。また、制御則取得部１４２は、特定された状態空間に応じて、制御則生成装置１２から、目標とする定常状態を取得する。
【０１２６】
ステップＳ３０４において、制御量算出部１４８は、状態取得部１４０によって取得された複数の車両の状態変数ｘ（ｔ）と、上記ステップＳ３０２で制御則記憶部１４６に格納された制御則ｕＦＢ（ｘ）とに基づいて、複数の車両のうちの自動制御車両に対する状態変数の制御量ｕ（ｔ）を算出する。そして、制御量算出部１４８は、現時刻における自動制御車両に対する状態変数の制御量ｕ（ｔ）と、目標とする定常状態とから、自動制御車両の各々に対する加速度を算出して出力する。
【０１２７】
ステップＳ３０６において、制御量算出部１４８は、上記ステップＳ３０４で算出された自動制御車両の各々に対する加速度を結果として出力して、制御量算出処理ルーチンを終了する。
【０１２８】
このように、本実施の形態の制御則生成装置によれば、複数の車両の状態を表す状態空間毎に、予め収集された手動制御車両の状態変数及び自動制御車両の状態変数を表す複数の学習データに基づいて、複数の車両の状態変数の変化量を予測するためのモデルを学習し、状態空間毎に、状態空間について学習されたモデルに基づいて、複数の車両のうちの自動制御車両の制御則を生成することにより、手動制御車両と自動制御車両とを含む交通環境において、自動制御車両を制御するための制御則を得ることができる。
【０１２９】
また、本実施の形態の制御量算出装置によれば、複数の車両の各々についての状態変数と、手動制御車両及び自動制御車両の何れであるかの情報とを取得すると共に、複数の車両が属する状態空間を特定し、特定された状態空間に応じて、制御則生成装置によって生成された制御則を取得し、複数の車両の状態変数と、取得された制御則とに基づいて、複数の車両のうちの自動制御車両に対する制御量を算出することにより、手動制御車両と自動制御車両とを含む交通環境においても、自動制御車両を制御するための制御量を得ることができる。
【０１３０】
また、挙動の予測が困難な手動制御車両を含む交通環境下で、手動制御車両と協調した安全、最適な自動制御車両の制御がリアルタイムに実行可能となる。これにより、交通量の渋滞削減、燃費や旅行時間の向上が期待される。
【０１３１】
また、手動制御車両の挙動データを含む学習データから、手動制御車両が混在した複数車両を一つのシステムとみなしてガウス過程でモデル化することにより、手動制御車両を含むシステム全体の予測が高精度に実現できる。また、複数の車両を一つのモデルとみなした設計により、挙動の予測が困難な手動制御車両と協調した車両制御が可能となる。
【０１３２】
また、学習したモデルに基づき制御則をオフラインで設計しておくことで、オンラインでは制御則に従い制御入力を計算するだけで済むため、リアルタイム性が高い制御が可能となる。
【０１３３】
なお、上記実施形態では、自動制御車両の前後方向に対する制御を例に説明したがこれに限定されるものではなく、車両の幅方向（横方向）も含めた制御を行っても良い。
【０１３４】
なお、本発明のプログラムは、記録媒体に格納して提供することができる。
【符号の説明】
【０１３５】
１２   制御則生成装置
１０   車両制御システム
１４   車両制御量算出装置
１１８ 学習データ収集部
１２０ 学習データベース
１２２ 状態空間モデル学習部
１２４ 制御則設計部
１２６ 制御則データベース
１２８ 制御部
１３０ 通信部
１４０ 状態取得部
１４２ 制御則取得部
１４４ 通信部
１４６ 制御則記憶部
１４８ 制御量算出部
【図１】
2018147103.tif 000035
【図２】
2018147103.tif 000036
【図３】
2018147103.tif 000037
【図４】
2018147103.tif 000038