(57)【要約】【課題】走行予定経路から外れた場合の車両の動作を推定できる可能性を高める技術の提供。【解決手段】車両の運転者の挙動を取得する運転者挙動取得部と、取得した挙動が、過去に走行予定経路から外れた際に運転者が行っていた挙動と類似するか否かを判定する運転者挙動判定部と、類似すると判定した場合に、過去に走行予定経路から外れた際の車両の動作が再現されると推定する車両動作推定部と、を備える車両動作推定システムを構成する。【選択図】図１
2020080028.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者の挙動を取得する運転者挙動取得部と、
取得した挙動が、過去に走行予定経路から外れた際に運転者が行っていた挙動と類似するか否かを判定する運転者挙動判定部と、
類似すると判定した場合に、過去に走行予定経路から外れた際の車両の動作が再現されると推定する車両動作推定部と、
を備える車両動作推定システム。
【請求項２】
前記運転者挙動判定部においては、過去に、走行予定経路を構成する道路から離脱した際に運転者が行っていた挙動と類似するか否かが判定される、
請求項１に記載の車両動作推定システム。
【請求項３】
走行予定経路は、走行予定車線を含み、
前記運転者挙動判定部においては、過去に走行予定車線から別の車線に移動した際に運転者が行っていた挙動と類似するか否かが判定される、
請求項１または請求項２に記載の車両動作推定システム。
【請求項４】
前記車両動作推定部は、推定した車両の動作に関連する情報を運転者に報知する、
請求項１〜請求項３のいずれかに記載の車両動作推定システム。
【請求項５】
前記車両動作推定部は、推定した車両の動作の実施を自動運転制御部に指示する、
請求項１〜請求項４のいずれかに記載の車両動作推定システム。
【請求項６】
前記運転者挙動判定部においては、運転者の挙動と、走行予定経路から外れた際の車両の動作と、が対応付けられた教師データを用いた機械学習によって得られたモデルを用いて判定される、
請求項１〜請求項５のいずれかに記載の車両動作推定システム。
【請求項７】
運転者の挙動は、運転者の視線の向き、運転者の顔の向き、運転者が発する言語の少なくともいずれかを含む、
請求項１〜請求項６のいずれかに記載の車両動作推定システム。
【請求項８】
前記運転者挙動判定部においては、走行予定経路から外れる前の既定期間に運転者が行っていた挙動と類似するか否かが判定される、
請求項１〜請求項７のいずれかに記載の車両動作推定システム。
【請求項９】
車両の運転者の挙動を取得する運転者挙動取得部と、
取得した挙動が、過去に意図せず走行予定経路から外れた後に運転者が行っていた挙動と類似するか否かを判定する運転者挙動判定部と、
類似すると判定した場合に、走行予定経路から意図せず外れたと推定する車両動作推定部と、
を備える車両動作推定システム。
【請求項１０】
コンピュータを、
車両の運転者の挙動を取得する運転者挙動取得部、
取得した挙動が、過去に走行予定経路から外れた際に運転者が行っていた挙動と類似するか否かを判定する運転者挙動判定部、
類似すると判定した場合に、過去に走行予定経路から外れた際の車両の動作が再現されると推定する車両動作推定部、
として機能させる車両動作推定プログラム。
【請求項１１】
コンピュータを、
車両の運転者の挙動を取得する運転者挙動取得部、
取得した挙動が、過去に意図せず走行予定経路から外れた後に運転者が行っていた挙動と類似するか否かを判定する運転者挙動判定部、
類似すると判定した場合に、走行予定経路から意図せず外れたと推定する車両動作推定部、
として機能させる車両動作推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両動作推定システム、車両動作推定プログラムに関する。
【背景技術】
【０００２】
特許文献１には、誘導経路上の右左折を伴う交差点の手前の第一地点を通過してから当該交差点と第一地点の間の第二地点を通過するまでの運転者の視線の向きに基づいて、運転者が当該交差点にて誘導経路に沿って車両を走行させるか否かを予測し、誘導経路に沿って走行させないことが予測された場合に目的地までの経路を再探索することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２９８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、運転者が走行予定経路から外れるのは、走行予定経路上の右左折を伴う交差点に限らない。例えば、走行予定経路上の直進予定の交差点を直進しない場合や、交差点とは無関係に走行予定経路沿いの施設に立ち寄る場合等も想定しうる。また、車線変更による走行予定車線からの離脱も、交差点からの距離とは無関係になされうる。従って、走行予定経路上の予め決められた区間における運転者の挙動に基づいて走行予定経路からの離脱を推定する構成では、予め決められた区間以外でなされた運転者の挙動に基づく推定ができない。
本発明は、上記課題にかんがみてなされたもので、走行予定経路から外れた場合の車両の動作を推定できる可能性を高める技術の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するため、車両動作推定システムは、車両の運転者の挙動を取得する運転者挙動取得部と、取得した挙動が、過去に走行予定経路から外れた際に運転者が行っていた挙動と類似するか否かを判定する運転者挙動判定部と、類似すると判定した場合に、過去に走行予定経路から外れた際の車両の動作が再現されると推定する車両動作推定部と、を備える。
【０００６】
さらに、上記の目的を達成するため、車両動作推定プログラムは、コンピュータを、車両の運転者の挙動を取得する運転者挙動取得部、取得した挙動が、過去に走行予定経路から外れた際に運転者が行っていた挙動と類似するか否かを判定する運転者挙動判定部、類似すると判定した場合に、過去に走行予定経路から外れた際の車両の動作が再現されると推定する車両動作推定部、として機能させる。
【０００７】
すなわち、車両動作推定システム、車両動作推定プログラムは、車両の運転者の挙動を取得し、取得した挙動が、過去に車両が走行予定経路から外れた際に運転者が行っていた挙動と類似する場合に、過去に走行予定経路から外れた際の車両の動作が再現されると推定する。従って、運転者の挙動が予め決められた区間でのみ取得される構成と比較すると、走行予定経路から外れた場合の車両の動作を推定できる可能性を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】車両動作推定システムの構成を示すブロック図。
【図２】ニューラルネットワークモデルの入出力を説明する図。
【図３】図３Ａは教師データ送信処理のフローチャート、図３Ｂは車両動作推定処理のフローチャート。
【図４】運転者の挙動の判定対象期間を説明する図。
【発明を実施するための形態】
【０００９】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）車両動作推定システムの構成：
（２）車両動作推定処理：
（３）他の実施形態：
【００１０】
（１）車両動作推定システムの構成：
図１は、本発明にかかる車両動作推定システム１０の構成を示すブロック図である。車両動作推定システム１０は、車両に搭載されている。この車両には、通信部４０とドライバモニタ４１と測位部４２とユーザＩ／Ｆ部４３と自動運転制御部４４が備えられている。通信部４０は、他の装置と無線通信を行う回路を備えている。制御部２０は、車両動作推定システム１０は、通信部４０を介して学習サーバ５０と通信を行うことができる。
【００１１】
ドライバモニタ４１は、赤外線等による照明部と少なくとも２個のカメラとを備えている。当該カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。ドライバモニタ４１は、照明部から出力された光によって撮影された利用者（運転者）の顔の像に基づいて、利用者の目や鼻の位置を検出し、目や鼻の位置から利用者の顔の向きや視線方向（ベクトル）を検出する。ドライバモニタ４１は、一定周期ごとに顔の向き、目の位置、視線方向を検出し、出力する。制御部２０は、当該出力に基づいて、予め定義された３次元空間内で目の位置，視線方向および顔向き角を特定することができる。目の位置および視線方向は、２個の目について、個別に特定されても良いが、ここでは、２個の目を代表する位置および２個の目の視線を代表する視線方向として取得される。顔向き角は、例えば車両の直進方向を基準とした路面に水平な平面における顔の向きを示す角度として取得される。
【００１２】
測位部４２は、車両の現在位置を導出するために必要な信号を取得するセンサや回路であり、例えばＧＮＳＳ（Global Navigation Satellite System）の信号を受信する受信回路、車速センサ、ジャイロセンサ、車両の周囲（道路の区画線を含む）を撮影するカメラ等を含んでもよい。制御部２０は、測位部４２の出力により、車両の現在位置を取得し、車両が走行中の車線の位置を取得する。
【００１３】
ユーザＩ／Ｆ部４３は、利用者の指示を入力し、また利用者に各種の情報を提供するためのインタフェース部である。ユーザＩ／Ｆ部４３は、タッチパネルディスプレイからなる入力部を兼ねた表示部や、各種スイッチ等の入力部や、スピーカ等の音声出力部や、マイク等の音声入力部を備えている。
【００１４】
自動運転制御部４４は、車両動作推定システム１０からの指示等に基づいて、図示しない操舵部や車速制御部等の装置を制御して車両が走行予定経路を走行するように車両の挙動を制御するＥＣＵである。自動運転制御部４４は、自動運転機能がオンである場合に、自動運転制御を実施し、自動運転機能がオフである場合には自動運転制御を実施しない。自動運転機能がオフの場合は、利用者（運転者）は手動で車両を運転する。なお、例えば、利用者が自動運転開始指示を入力した場合に自動運転機能がオンとなり、利用者が自動運転終了指示を入力した場合や操舵操作をした場合等に自動運転機能がオフとなる。
【００１５】
車両動作推定システム１０は、ＣＰＵ，ＲＡＭ，ＲＯＭ等を備える制御部２０、記録媒体３０を備えており、記録媒体３０やＲＯＭに記憶されたプログラムを制御部２０で実行することができる。本実施形態においては、このプログラムとして車両動作推定プログラム２１を実行可能である。記録媒体３０には、予め地図情報３０ａと学習済みモデルデータ３０ｂが記録されている。
【００１６】
地図情報３０ａは、ノードデータとリンクデータと施設データ等を含む。ノードデータは、車両が走行可能な交差点等に設定されたノードごとに、当該ノードについての情報（座標、名称等）を示す。リンクデータは、車両が走行可能な道路をノードで区切った道路区間（リンク）ごとに、当該道路区間についての情報（形状、車線構成、探索コスト、旅行時間等）を示す。リンクの形状は、リンクの幅方向の中央に設定された複数の形状補間点の座標によって特定される。車線構成とは、リンクに設けられている車線の構成であり、リンク上に存在する車線の個数、各車線の始点・終点・幅・終点側の交差点における退出可能方向等を示す。施設データは、施設ごとに当該施設についての情報（名称，住所，施設種別，電話番号等）を示す。
【００１７】
本実施形態において、車両動作推定システム１０は、ドライバモニタ４１の出力に基づいて、過去に車両が走行予定経路から外れる前に運転者が行っていた挙動と類似する挙動を運転者が行ったか否かを判定し、行っていた場合に、走行予定経路を外れた後の過去の車両の動作が再現されると推定する車両動作推定機能を有する。
【００１８】
本実施形態においては、利用者によって目的地が入力されると、図示しない経路取得プログラムを制御部２０が実行することにより出発地から目的地に至る走行予定経路を取得する。なお、目的地は利用者によって明示的に入力されなくてもよい。その場合、制御部２０は、例えば車両の走行履歴と現在日時等に基づいて推定した目的地への出発地からの経路を走行予定経路として取得する。
【００１９】
また、本実施形態においては、走行予定経路を示す走行予定経路情報には、走行予定車線情報が含まれる。すなわち、走行予定経路を構成する道路の少なくとも一部の区間において車線が複数存在する場合、複数の車線のうちの少なくともいずれか１個の車線が走行予定車線として定められ、当該走行予定車線を示す走行予定車線情報が走行予定経路情報に含まれている。
【００２０】
過去に車両が走行予定経路から外れる前に運転者が行っていた挙動と類似する挙動を運転者が行ったか否かの判定は、種々の手法で行われて良いが、本実施形態においては、機械学習によって生成されたニューラルネットワークモデル（学習済みモデルデータ３０ｂ）を利用して判定する構成を採用する。機械学習は、教師データに基づいて学習サーバ５０において行われる。教師データは、ドライバモニタや測位部等を備えた複数の車両において取得され、学習サーバ５０に送信される。本実施形態において、教師データは、走行予定経路を外れる前の既定期間における運転者の挙動と、走行予定経路を外れた後に実施された車両の動作とが対応付けられたデータである。教師データを用いた機械学習が終わると、学習サーバ５０は、学習済みモデルデータを車両動作推定システム１０に配信する。
【００２１】
本実施形態においては、運転者の挙動を示す挙動データとして、ドライバモニタ４１から出力された、運転者の目の位置、視線方向（視線の向き）、顔向き角（顔の向き）を採用する。なお視線方向を微分した値が挙動データとして採用されてもよい。また、対象とする車両の動作として、車線変更（左右）、走行予定経路からの離脱（左右）を採用する。本実施形態においては、車線変更、すなわち走行予定車線から別の車線への移動も、走行予定経路外れの一態様と見なす。なお、走行予定経路からの離脱は、走行予定経路を構成する道路の右側または左側の道路へ進行すること、走行予定経路を構成する道路を退出して道路以外の右側または左側の領域（例えば走行予定経路沿いの施設の敷地）に進行すること、路肩に停止すること、等さらに細かく分類されてよい。
【００２２】
図２は、モデルの入力層Ｌｉに入力する入力データ（挙動データ）と出力層Ｌｏに出力される出力データの一例を説明する図である。本実施形態では、走行予定経路を外れる前の既定期間（t0〜tn）内の一定周期毎の運転者の目の位置（Ex, Ey, Ez），視線方向（Vx, Vy, Vz）および顔向き角（θ）を入力層Ｌｉに入力し、走行予定経路から外れた後の各種の車両の動作の有無が出力層Ｌｏに出力されるモデルを想定している。すなわち、入力層Ｌｉの各ノードＩｉ１〜ＩｉＭには、Ex[t0], Ey[t0], Ez[t0], Vx[t0], Vy[t0], Vz[t0], θ[t0],…, Ex[tn], Ey[tn], Ez[tn], Vx[tn], Vy[tn], Vz[tn], θ[tn]がそれぞれ入力される。また、出力層ＬｏのノードＴo１には、右側への車線変更の有無（１：０）、ノードＴo２には、左側への車線変更の有無（１：０）、ノードＴｏ３には、走行予定経路からの右側への離脱の有無（１：０）、ノードＴｏ４には、走行予定経路からの左側への離脱の有無（１：０）が出力される。
【００２３】
そして、学習サーバ５０において、教師データに基づいて機械学習が行われる。例えば、ニューラルネットワークに対して右側への車線変更前の挙動データ（既定期間における目の位置、視線方向、顔向き角）を入力して出力層Ｌｏの、右側への車線変更に対応するノードＴｏ１に出力される出力値と、右側への車線変更有りを示す値（１）との差異が極小化されるように機械学習が行われる（その結果その他のノードＴｏ２〜Ｔｏ４の出力値が０に近づく）。なお、ニューラルネットワークのモデルにはＲＮＮ（Recurrent Neural Network）が採用されてもよい。機械学習によって得られた学習済みモデルデータ３０ｂは、学習サーバ５０からダウンロードされ、記録媒体３０に記録される。なお、機械学習処理は、制御部２０で実行されてもよい。
【００２４】
図３Ａは、制御部２０が実行する教師データ送信処理を示すフローチャートである。なお教師データ送信処理は、自車両を含む複数の車両において実施されてもよいし、自車両を除く複数の他車両において実施されてもよいし、自車両においてのみ実施されてもよい。自車両においてのみ実施される場合、自車両の運転者の個性に応じたモデルが生成される。教師データ送信処理は、学習サーバ５０において学習済みモデルデータの生成が完了していない場合に実施される。また、教師データ送信処理は、車両が走行予定経路を走行中に実行される。
【００２５】
教師データ送信処理が開始されると、制御部２０は、運転者の挙動データを取得する（ステップＳ１００）。すなわち制御部２０は、ドライバモニタ４１から、運転者の目の位置、視線方向、顔向き角を取得して記録媒体３０のテンポラリデータ保存領域に時系列順に保存する。続いて制御部２０は、走行予定経路から車両が外れたか否かを判定する（ステップＳ１０５）。すなわち制御部２０は、測位部４２の出力に基づいて車両の現在位置（走行車線を含む）を取得する。走行予定経路情報に、車両が走行中の道路区間に対応する走行予定車線情報が含まれている場合、制御部２０は、車両の現在位置が走行予定経路上、且つ、走行予定車線上にあるか否かを判定する。走行予定経路情報に車両が走行中の道路区間に対応する走行予定車線の情報が含まれていない場合は、制御部２０は、車両の現在位置が走行予定経路上であるか否かを判定する。記録媒体３０のテンポラリデータ保存領域は上限サイズが予め決められており、上限サイズまで挙動データが保存されると、古い方から順に挙動データが破棄され、新たに取得した挙動データが保存される。
【００２６】
ステップＳ１０５において、外れたと判定されなかった場合、ステップＳ１００の処理が繰り返される。これにより、一定周期ごとに運転者の挙動データが取得され記録媒体３０のテンポラリデータ保存領域に一時的に保存されることとなる。ステップＳ１０５において、外れたと判定された場合、制御部２０は、外れる前の既定期間の運転者の挙動を特定する（ステップＳ１１０）。すなわち制御部２０は、ステップＳ１００においてテンポラリデータ保存領域に一定周期ごとに時系列順に保存されている挙動データのうち、直近の既定期間分の挙動データを特定する。
【００２７】
続いて制御部２０は、走行予定経路から外れた後の車両の動作を特定する（ステップＳ１１５）。すなわち制御部２０は、走行予定経路から外れてから予め決められた長さの期間における車両の現在位置の軌跡を取得する。制御部２０は、車両の軌跡と地図情報３０ａとに基づいて当該期間における車両の動作を特定する。本実施形態においては、上述したように対象とする車両の動作として、走行予定車線からの右側への車線変更、走行予定車線からの左側への車線変更、走行予定経路を構成する道路から右側への離脱、走行予定経路を構成する道路から左側への離脱等を想定している。
【００２８】
続いて、制御部２０は、既定期間の挙動データと外れた後の車両の動作とを対応付けて学習サーバ５０に送信する（ステップＳ１２０）。すなわち制御部２０は、ステップＳ１１０において特定された挙動データと、ステップＳ１１５において特定された車両の動作と当該動作有りを示す値「１」とを対応付けて、通信部４０を介して学習サーバ５０に送信する。なお、ステップＳ１１５において特定された車両の動作が、対象とする車両の動作のいずれにも当てはまらない場合、ステップＳ１２０においては当該挙動データと車両の動作とは学習サーバ５０に送信されない。
【００２９】
以上、教師データ送信処理について説明した。学習サーバ５０は、送信された複数の教師データを用いて学習し、学習済みモデルデータ３０ｂを生成し、車両に配信する。次に、学習済みモデルデータ３０ｂを用いた車両動作推定機能について説明する。車両動作推定機能を実現するため、制御部２０は、車両動作推定プログラム２１を実行する。
【００３０】
車両動作推定プログラム２１は、運転者挙動取得部２１ａと運転者挙動判定部２１ｂと車両動作推定部２１ｃとを含む。運転者挙動取得部２１ａは、車両の運転者の挙動を取得する機能を制御部２０に実現させるプログラムモジュールである。制御部２０は運転者挙動取得部２１ａの機能により、ドライバモニタ４１から一定周期で、運転者の挙動データ（目の位置、視線方向、顔向き角）を取得する。
【００３１】
運転者挙動判定部２１ｂは、取得した挙動が、過去に走行予定経路から外れた際に運転者が行っていた挙動と類似するか否かを判定する機能を制御部２０に実現させるプログラムモジュールである。制御部２０は運転者挙動判定部２１ｂの機能により、既定期間と同じ長さの期間における一定周期の挙動データを学習済みモデルデータ３０ｂの入力層Ｌｉの各ノードに入力し、出力層Ｌｏの各ノードにおける出力値を取得する。制御部２０は、出力値が閾値以上となるノードが存在するか否かを判定する。
【００３２】
閾値以上となるノードが存在する場合、制御部２０は、当該ノードに対応する車両の動作がなされる前の運転者の挙動に類似していると判定する。閾値以上となるノードが存在しない場合、制御部２０は、対象とするいずれの車両の動作の前の運転者の挙動にも類似しないと判定する。
【００３３】
なお、出力層Ｌｏの各ノードに出力される出力値は、０〜１の間の数値に正規化されている。出力層Ｌｏのノードの出力値が１に近いほど、入力された挙動が、当該ノードに対応する車両の動作の前に行われた挙動に類似していることを示している。また、出力層Ｌｏのノードの出力値が０に近いほど、入力された挙動が、当該ノードに対応する車両の動作の前に行われた挙動に類似していないことを示している。従って判定のための閾値Thは、本実施形態の場合少なくとも０．２５＜Th＜１である。
【００３４】
車両動作推定部２１ｃは、類似すると判定した場合に、過去に走行予定経路から外れた際の車両の動作が再現されると推定する機能を制御部２０に実現させるプログラムモジュールである。本実施形態においては、制御部２０は車両動作推定部２１ｃの機能により、出力層Ｌｏの各ノードのうち、閾値以上の値が出力されたノードに対応する車両の動作が再現されると推定する。
【００３５】
さらに、本実施形態においては、制御部２０は車両動作推定部２１ｃの機能により、推定した車両の動作に関連する情報を運転者に報知する。例えば、推定した車両の動作が左側への車線変更である場合、制御部２０は変更先の車線の進行方向前方の次の交差点における退出可能方向を地図情報３０ａから取得する。そして、変更先の車線が例えば左折専用レーンである場合、ユーザＩ／Ｆ部４３のスピーカやディスプレイを介して運転者に、車線変更しようとしている左側の車線は左折専用レーンである旨を報知する。また例えば、推定した車両の動作が車線変更である場合であって変更先の車線が前方の車線数減少地点以降は存続しない場合に、その旨を運転者に報知してもよい。
【００３６】
また例えば、推定した車両の動作が走行予定経路からの離脱である場合、離脱した後に走行する道路の周辺に存在する施設、あるいは、走行予定経路沿いの施設に関する情報（施設種別や名称や営業時間等）を地図情報３０ａから取得し、当該情報をユーザＩ／Ｆ部４３のスピーカやディスプレイを介して運転者に報知する。なお、走行予定経路を離脱した後の再探索した新たな走行予定経路に関する情報を報知してもよい。
【００３７】
以上のような、推定した車両の動作に関連する情報の報知は、自動運転機能のオフ／オンに関わらず実施されてよい。もちろん、自動運転機能のオフ／オンに応じて報知される内容の種類や情報量が異なっていても良い。例えば、自動運転機能がオフの場合は、上述のような情報を報知し、自動運転機能がオンの場合は上述の情報に加えて推定した車両の動作を実際に行うか否かを運転者にユーザＩ／Ｆ部４３を介して尋ねる構成であってもよい。推定した車両の動作の実施を運転者が許可したことをユーザＩ／Ｆ部４３を介して取得した場合、制御部２０は、推定した車両の動作の実施を自動運転制御部４４に指示してもよい。自動運転制御部４４が、車両動作推定システム１０から指示された車両の動作を実現するための操舵制御や車速制御を行うことで、車両動作推定システム１０が推定した車両の動作を実施することができる。
【００３８】
以上のように、本実施形態においては、車両の現在位置にかかわらず、車両の運転者の挙動を一定周期で取得し、取得した挙動が、過去に車両が走行予定経路から外れた際に運転者が行っていた挙動と類似するか否かを判定する。そして、取得した挙動が過去に走行予定経路から外れた際の運転者の挙動と類似する場合に、過去に走行予定経路から外れた際の車両の動作が再現されると推定する。従って、運転者の挙動が予め決められた区間でのみ取得される構成と比較すると、走行予定経路から外れた場合の車両の動作を推定できる可能性を高めることができる。
【００３９】
（２）車両動作推定処理：
次に、制御部２０が実行する車両動作推定処理を、図３Ｂを参照しながら説明する。車両動作推定処理は、制御部２０が、走行予定経路を走行する場合に実行される。車両動作推定処理が開始されると、制御部２０は、運転者挙動取得部２１ａの処理により、運転者の挙動を取得する（ステップＳ２００）。すなわち、制御部２０は、ドライバモニタ４１から一定周期で挙動データを取得し、記録媒体３０のテンポラリデータ保存領域に時系列順に保存する。
【００４０】
続いて制御部２０は、運転者挙動判定部２１ｂの機能により、ステップＳ２００で取得した挙動が、走行予定経路を外れた際の挙動と類似するか否かを判定する（ステップＳ２０５）。例えば現在時刻が図４に示す時刻Ｔｎであり時刻Ｔｎに取得した挙動データが最新である場合、制御部２０は記録媒体３０のテンポラリデータ保存領域に保存されている時刻Ｔ０〜Ｔｎの挙動データを、学習済みモデルデータ３０ｂの入力層Ｌｉの各ノードに入力し、出力層Ｌｏの各ノードの出力値を取得する。そして、制御部２０は、出力値が閾値以上となるノードがあるか否かを判定する。出力値が閾値以上となるノードが存在する場合、ステップＳ２０５では、取得した挙動が、走行予定経路を外れた際の挙動と類似していると判定される。それ以外の場合、ステップＳ２０５では、取得した挙動が、走行予定経路を外れた際の挙動と類似していると判定されない。
【００４１】
ステップＳ２０５において、類似していると判定されなかった場合、ステップＳ２００の処理が繰り返される。従って、ステップＳ２０５において類似していると判定されるまでの間、時刻Ｔ０〜Ｔｎ、時刻Ｔ１〜Ｔｎ＋１、時刻Ｔ２〜Ｔｎ＋２のように（図４を参照）、ドライバモニタ４１からの出力周期の１周期分ずらした期間であって、上述の既定期間の長さと同じ長さの期間の挙動データがステップＳ２０５における判定に用いられる。
【００４２】
ステップＳ２０５において、類似していると判定された場合、制御部２０は運転者挙動判定部２１ｂの機能により、類似する挙動と対応する車両の動作は、車線変更（右または左）、または走行予定経路からの離脱（右または左）のいずれであるかを判定する（ステップＳ２１０）。すなわち、出力値が閾値以上であるノードに対応する車両の動作が車線変更（右または左）であるか走行予定経路からの離脱（右または左）であるかいずれであるかが判定される。
【００４３】
ステップＳ２１０において車線変更であると判定された場合、制御部２０は、車両動作推定部２１ｃの機能により、車線変更が再現されると推定し、変更後の車線に関する情報をユーザＩ／Ｆ部４３を介して運転者に報知する（ステップＳ２１５）。ステップＳ２１０において走行予定からの離脱であると判定された場合、制御部２０は、車両動作推定部２１ｃの機能により、走行予定経路からの離脱が再現されると推定し、離脱後の周辺施設に関する情報をユーザＩ／Ｆ部４３を介して運転者に報知する（ステップＳ２２０）。
【００４４】
なお、自動運転機能がオンである場合、ステップＳ２１５またはステップＳ２２０に続いて、推定した車両の動作を実施するか否か運転者に意思確認し、運転者の許可があった場合に、当該動作の実施を自動運転制御部４４に指示してもよい。
【００４５】
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、運転者の挙動が、過去に走行予定経路から外れた際に運転者が行っていた挙動と類似する場合に、過去に走行予定経路から外れた際の車両の動作が再現されると推定する限りにおいて、他にも種々の実施形態を採用可能である。例えば、車両動作推定システム１０は、車両等に搭載された装置であっても良いし、可搬型の端末によって実現される装置であっても良いし、複数の装置（例えば、クライアントとサーバ）によって実現される装置であっても良い。
【００４６】
さらに、車両動作推定システムを構成する運転者挙動取得部２１ａ、運転者挙動判定部２１ｂ、車両動作推定部２１ｃの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、運転者挙動判定部２１ｂや車両動作推定部２１ｃの機能がサーバで実現されてもよい。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
【００４７】
機械学習は、手動運転／自動運転に関わらずなされてよい。具体的には上述の教師データ送信処理は自動運転機能がオフの場合（すなわち手動運転の場合）にも、オンの場合（すなわち自動運転の場合）にも実行されてよい。走行予定経路から外れたか否かの判定は、自動運転の場合も手動運転の場合も、運転者による操舵操作（走行予定経路を外れる向きの操舵操作）の有無によってなされてもよい。また、自動運転の場合、走行予定経路から外れたか否かの判定は、「コンビニエンスストアに寄って」、「右側に車線変更して」等の走行予定経路を外れることを指示する音声の取得の有無によってなされてもよい。
【００４８】
運転者挙動取得部は、車両の運転者の挙動を取得することができればよい。運転者の挙動として、運転者が発する言語を取得する構成であってもよい。この場合、走行予定経路を外れる前に運転者が発した言語と走行予定経路を外れた後の車両の動作との対応関係に基づいて学習がなされてよい。例えば、「お茶を買いたい」、「トイレに行きたい」等という言語を発した後に車両がコンビニエンスストアや道の駅やＳＡＰＡに立ち寄った場合、当該音声と、その後の車両の動作とを対応付けた教師データを用いて機械学習したニューラルネットワークモデルを生成してもよい。そして、運転者の発する音声の内容を入力した場合のニューラルネットワークモデルの出力に基づいて、車両の今後の動作を推定し、走行予定経路の変更の提案や運転者の意思確認を行うようにしてもよい。
【００４９】
運転者挙動判定部は、取得した挙動が、過去に走行予定経路から外れた際に運転者が行っていた挙動と類似するか否かを判定することができればよい。判定にニューラルネットワークモデルを利用する構成が採用されてもよいし、予め決められた挙動を運転者が行ったか否かに基づいて判定する構成が採用されてもよい。後者の例としては、運転者が予め決められた挙動（例えば右のミラーを見て右後方を振り返った）をしたことを取得した場合に、当該挙動をした後の車両の動作として当該挙動と対応付けられている車両の動作（例えば右車線への車線変更）が再現されると推定してもよい。
【００５０】
また例えば、運転者の視線方向から運転者が前方奧の道路外を注視していることを取得した場合、視線方向およびその周辺にある施設に向かうことを推定してもよい。そして、車両の現在位置と視線方向と地図情報とに基づいて、視線方向およびその周辺にある施設の情報を報知してもよい。
【００５１】
また、運転者挙動判定部においては、走行予定経路から外れる前の既定期間に運転者が行っていた挙動と類似するか否かが判定されればよい。既定期間は、走行予定経路から外れた時刻から第１時間遡った時刻までの期間であってよい。第１時間は０より大きくても良いし０であってもよい。第１時間が０の場合は、上記実施形態と同様に走行予定経路から外れたと判定された時刻までの直近の期間が既定期間となる。
【００５２】
車両動作推定部は、類似すると判定した場合に、過去に走行予定経路から外れた際の車両の動作が再現されると推定することができればよい。再現されると推定する車両の動作は、走行予定経路から外れた後の車両の動作に限定されない。例えば、走行予定から外れる第２時間前から車両で実施されている動作（例えば方向指示器を点滅させる、減速する等）が再現されると推定してもよい。
【００５３】
また車両動作推定部は、例えば、運転者の車両運転時の平均的な挙動（例えば視線方向が車両の進行方向を基準とした既定範囲内にある）と異なる挙動を走行予定経路走行中（離脱前）に検知した場合に、走行予定経路を外れると推定してもよい。そして、運転者が探している施設や迂回路等について運転者に問い合わせたり提案したりする等した後、運転者の意思を確認する構成であってもよい。
【００５４】
なお、運転者挙動判定部は、取得した挙動が、過去に意図せず走行予定経路から外れた後に運転者が行っていた挙動と類似するか否かを判定する構成であってもよい。その場合に、車両動作推定部は、類似すると判定した場合に、走行予定経路から意図せず外れたと推定する構成であってもよい。
【００５５】
例えば、走行予定経路から外れた場合、リルート（経路の再探索）が行われる構成において、意図せず走行予定経路を外れた場合は、運転者はリルート後の新しい走行予定経路ではなく、元の走行予定経路に戻ろうとする場合がある。走行予定経路を外れた後の走行軌跡を収集し、走行予定経路を外れた後、新しい走行予定経路ではなく元の走行予定経路に戻った場合に、意図せず走行予定経路を外れたと見なすようにしてもよい。また、走行予定経路を外れた後、元の走行予定経路に戻らずに走行した場合に、意図して走行予定経路を外れたと見なすようにしてもよい。そして、走行予定経路を外れた後に元の走行予定経路に戻った場合（すなわち意図せず外れた場合）の走行予定経路を外れた後の運転者の挙動データと、意図せず外れたことを示すラベルと、を対応付けた教師データを用いて機械学習したニューラルネットワークモデルを生成する。例えば、意図せず走行予定経路を外れた場合、走行予定経路を外れた後の運転者の挙動には、平常運転時と比較して視線方向の変化頻度や変化量が多い等の特徴が現れうる。対して意図して走行予定経路を外れた場合にはそのような特徴は現れにくい。このようにして生成されたモデルを用いて、走行予定経路を外れた後の運転者の挙動から運転者が意図せず走行予定経路を外れたか意図して外れたかを判定してもよい。そして、意図せず走行予定経路を外れたと判定される場合には、元の走行予定経路に戻るようにリルートし案内するようにしてもよい。
【００５６】
さらに、本発明のように、運転者の挙動が、過去に走行予定経路から外れた際に運転者が行っていた挙動と類似する場合に、過去に走行予定経路から外れた際の車両の動作が再現されると推定する手法は、車両動作推定方法や、コンピュータに実行させる車両動作推定プログラムとしても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのプログラムの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【符号の説明】
【００５７】
１０…車両動作推定システム、２０…制御部、２１…車両動作推定プログラム、２１ａ…運転者挙動取得部、２１ｂ…運転者挙動判定部、２１ｃ…車両動作推定部、３０…記録媒体、３０ａ…地図情報、３０ｂ…学習済みモデルデータ、４０…通信部、４１…ドライバモニタ、４２…測位部、４３…ユーザＩ／Ｆ部、４４…自動運転制御部、５０…学習サーバ
【図１】
2020080028.tif 000003
【図２】
2020080028.tif 000004
【図３】
2020080028.tif 000005
【図４】
2020080028.tif 000006