(57)【要約】  実施形態に係る運転支援装置は、ハードウェアプロセッサとメモリとを有する運転支援装置であって、前記ハードウェアプロセッサは、車両において撮像された映像データおよび運転操作に係るセンサデータを取得することと、映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換することと、画像特徴量と取得されたセンサデータとを結合することと、結合されたデータに基づいて、結合されたデータに含まれる画像特徴量から車両の運転手による運転操作に係る目標値を生成するときに用いられる運転支援情報学習モデルの学習処理を行なうことと、車両において撮像された新たな映像データが取得されたときに、当該取得された新たな映像データ変換された画像特徴量と運転支援情報学習モデルとに基づいて、運転操作に係る目標値を生成することとを実行するように構成される。
2020026940.tif 000002
【特許請求の範囲】
【請求項１】
ハードウェアプロセッサとメモリとを有する運転支援装置であって、
前記ハードウェアプロセッサは、
走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得することと、
前記取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換することと、
前記画像特徴量と、前記取得されたセンサデータとを結合することと、
前記結合されたデータに基づいて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値が生成されるときに用いられる運転支援情報学習モデルの学習処理を行なうことと、
を実行するように構成され、
前記メモリは、
前記学習処理が行われた後の前記運転支援情報学習モデルを記憶する運転支援情報学習モデル記憶部を備え、
前記ハードウェアプロセッサは、
前記走行中の車両において撮像された新たな映像データが前記取得されたときに、当該取得された新たな映像データから変換された画像特徴量と前記運転支援情報学習モデル記憶部に記憶される運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成すること、
を実行するように構成される、運転支援装置。
【請求項２】
前記ハードウェアプロセッサは、
前記取得された映像データに含まれる各フレームにおける画像に基づいて、走行中の車両において撮像された映像データに含まれる各フレームにおける画像から画像特徴量への変換に用いられる画像特徴量学習モデルの学習処理を行なうこと、
を更に実行するように構成され、
前記メモリは、
前記学習処理が行われた後の前記画像特徴量学習モデルを記憶する画像特徴量学習モデル記憶部、を更に備え、
前記画像特徴量に変換することは、
前記画像特徴量学習モデル記憶部に記憶される画像特徴量学習モデルに基づいて、前記取得された前記各フレームにおける画像を画像特徴量に変換することを含む、
請求項１に記載の運転支援装置。
【請求項３】
前記センサデータは、前記車両の走行速度を示すデータであり、
前記運転支援情報の学習処理を行なうことは、
前記結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における走行速度とをそれぞれ示す説明変数、および前記所定時刻における前記走行速度に対する前記所定時刻より後の時刻における前記走行速度が加速、定速、減速のいずれかに該当することを示す目的変数をそれぞれ設定することと、
前記結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なうこととを含む、
請求項１に記載の運転支援装置。
【請求項４】
前記センサデータは、前記車両の走行速度を示すデータであり、
前記運転支援情報の学習処理を行なうことは、
前記結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における走行速度とをそれぞれ示す説明変数、および前記所定時刻における前記走行速度に対する前記所定時刻より後の時刻における前記走行速度が加速、定速、減速のいずれかに該当することを示す目的変数をそれぞれ設定することと、
前記結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なうこととを含む、
請求項２に記載の運転支援装置。
【請求項５】
前記センサデータは、前記車両の走行速度を示すデータであり、
前記運転支援情報の学習処理を行なうことは、
前記結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における走行速度とをそれぞれ示す説明変数、および前記所定時刻より後の時刻における走行速度を示す目的変数をそれぞれ設定することと、
前記結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なうこととを含む、
請求項１に記載の運転支援装置。
【請求項６】
前記センサデータは、前記車両の走行速度を示すデータであり、
前記運転支援情報の学習処理を行なうことは、
前記結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における走行速度とをそれぞれ示す説明変数、および前記所定時刻より後の時刻における走行速度を示す目的変数をそれぞれ設定することと、
前記結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なうこととを含む、
請求項２に記載の運転支援装置。
【請求項７】
前記運転支援情報の学習処理を行なうことは、
前記結合されたデータのうち、前記所定時刻より遡った時刻から前記所定時刻までにおける各時刻の画像特徴量と前記各時刻における走行速度をそれぞれ示す説明変数を設定することと、
前記結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルを学習することとを含む、
請求項３に記載の運転支援装置。
【請求項８】
前記運転支援情報の学習処理を行なうことは、
前記結合されたデータのうち、前記所定時刻より遡った時刻から前記所定時刻までにおける各時刻の画像特徴量と前記各時刻における走行速度をそれぞれ示す説明変数を設定することと、
前記結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルを学習することとを含む、
請求項４に記載の運転支援装置。
【請求項９】
前記運転支援情報の学習処理を行なうことは、
前記結合されたデータのうち、前記所定時刻より遡った時刻から前記所定時刻までにおける各時刻の画像特徴量と前記各時刻における走行速度をそれぞれ示す説明変数を設定することと、
前記結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルを学習することとを含む、
請求項５に記載の運転支援装置。
【請求項１０】
前記運転支援情報の学習処理を行なうことは、
前記結合されたデータのうち、前記所定時刻より遡った時刻から前記所定時刻までにおける各時刻の画像特徴量と前記各時刻における走行速度をそれぞれ示す説明変数を設定することと、
前記結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルを学習することとを含む、
請求項６に記載の運転支援装置。
【請求項１１】
前記センサデータは、前記車両の加速度、又はエンジン回転数のいずれかを示すデータを含む、
請求項１に記載の運転支援装置。
【請求項１２】
前記センサデータは、前記車両の加速度、又はエンジン回転数のいずれかを示すデータを含む、
請求項２に記載の運転支援装置。
【請求項１３】
ハードウェアプロセッサを備える運転支援装置が実行する、運転支援方法であって、
走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得することと、
前記取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換することと、
前記変換された画像特徴量と、前記取得されたセンサデータとを結合することと、
前記結合されたデータを用いて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値を生成するときに用いられる運転支援情報学習モデルの学習処理を行なうことと、
前記走行中の車両において撮像された新たな映像データが取得されたときに、当該取得された新たな映像データから前記変換された画像特徴量と前記運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成することと、
を備える方法。
【請求項１４】
走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得することと、
前記取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換することと、
前記変換された画像特徴量と、前記取得されたセンサデータとを結合することと、
前記結合されたデータを用いて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値を生成するときに用いられる運転支援情報学習モデルの学習処理を行なうことと、
前記走行中の車両において撮像された新たな映像データが取得されたときに、当該取得された新たな映像データから前記変換された画像特徴量と前記運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成することと、
をハードウェアプロセッサに実行させるためのプログラムが記憶された非一時的な有形のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、運転支援装置、方法、およびプログラムを記憶した記憶媒体に関する。
【背景技術】
【０００２】
近年、自動車の走行データをリアルタイムにインターネット上のクラウド環境へ送信するコネクティッドカー（Connected car）が注目を集めている。複数のコネクティッドカーから大量の走行データが収集されれば、渋滞情報などの街中の道路状況がリアルタイムに把握されたり、交通事故などの異常状態が検知されたりすることができる。このようにして、コネクティッドカーを用いて交通状態の早期改善および事前対策などが実現されることが期待されている。【０００３】
また、地図を高度化する観点でも、走行データの活用先の検討が進められている。自動車に車載カメラが搭載されれば、走行データとして車両からみて前方の映像データが取得されることができ、街中の看板情報の自動抽出が可能となり、または交通事故の状況が映像として、いち早く把握されることも可能となる。また、走行中の運転操作を記録することで、人の運転に一層近い自動運転の実現を目指すことが提案されている（例えば、非特許文献１を参照）。【０００４】
走行中の運転操作を記録して、この記録されたデータを運転支援または自動運転に活用していくにあたり、例えば、ある位置における車速データを学習して目標速度として設定しておき、この速度をドライバに推奨速度として提示するような機能が考えられる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】日経 xTECH（クロステック）、「欧米シェア8割のHERE、自動運転用地図に向け着々」、http://tech.nikkeibp.co.jp/dm/article/NEWS/20150714/427640/?P=3
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ある位置における車速データが学習されて目標速度として設定されるためには、同一の位置に対して複数の走行データが学習データとして取得および蓄積される必要がある。このため、走行データがない道路、または走行データが少ない道路においては、目標速度が定められることが難しい問題があった。【０００７】
十分な走行データがある場合においても、その上で、目標速度として利用できるデータは、少なくとも速度のばらつきが小さいデータであることが条件である。このため、通常の走行では周辺環境によって走行速度がばらつくことを考慮すると、膨大な走行エリアに対して目標速度として定められるエリアは極めて一部のエリアに限られるという問題があった。【０００８】
この発明は、上記事情に着目してなされたもので、その一側面としては、周辺環境に応じて運転支援情報を動的に設定することができるようにした技術を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一態様に係る運転支援装置は、ハードウェアプロセッサとメモリとを有する運転支援装置であって、前記ハードウェアプロセッサは、走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得することと、前記取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換することと、前記画像特徴量と、前記取得されたセンサデータとを結合することと、前記結合されたデータに基づいて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値が生成されるときに用いられる運転支援情報学習モデルの学習処理を行なうことと、を実行するように構成され、前記メモリは、前記学習処理が行われた後の前記運転支援情報学習モデルを記憶する運転支援情報学習モデル記憶部を備え、前記ハードウェアプロセッサは、前記走行中の車両において撮像された新たな映像データが前記取得されたときに、当該取得された新たな映像データから変換された画像特徴量と前記運転支援情報学習モデル記憶部に記憶される運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成すること、を実行するように構成される。【００１０】
本発明の一態様に係る運転支援方法は、ハードウェアプロセッサを備える運転支援装置が実行する方法であって、走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得することと、前記取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換することと、前記変換された画像特徴量と、前記取得されたセンサデータとを結合することと、前記結合されたデータを用いて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値を生成するときに用いられる運転支援情報学習モデルの学習処理を行なうことと、前記走行中の車両において撮像された新たな映像データが取得されたときに、当該取得された新たな映像データから前記変換された画像特徴量と前記運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成することと、を備える。【００１１】
本発明の一態様に係るコンピュータ可読記憶媒体は、走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得することと、前記取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換することと、前記変換された画像特徴量と、前記取得されたセンサデータとを結合することと、前記結合されたデータを用いて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値を生成するときに用いられる運転支援情報学習モデルの学習処理を行なうことと、前記走行中の車両において撮像された新たな映像データが取得されたときに、当該取得された新たな映像データから前記変換された画像特徴量と前記運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成することと、をハードウェアプロセッサに実行させるためのプログラムが記憶された非一時的な有形のコンピュータ可読記憶媒体である。
【発明の効果】
【００１２】
本発明によれば、周辺環境に応じて運転支援情報を動的に設定することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の一実施形態に係る運転支援装置のハードウェア構成の一例を示すブロック図である。
【図２】図２は、本発明の一実施形態に係る運転支援装置のソフトウェア構成の一例を示すブロック図である。
【図３】図３は、本発明の第１の実施形態に係る運転支援装置のソフトウェア構成の一例を示すブロック図である。
【図４】図４は、本発明の第１の実施形態に係る運転支援装置の処理手順の一例を示すフローチャートである。
【図５】図５は、本発明の第１の実施形態に係る運転支援装置により取り扱われるカメラ映像の一例を示す図である。
【図６】図６は、本発明の第１の実施形態に係る運転支援装置により取り扱われるセンサデータの構成例を表形式で示す図である。
【図７】図７は、本発明の第１の実施形態に係る運転支援装置の画像特徴量変換部による処理手順の一例を示すフローチャートである。
【図８】図８は、本発明の第１の実施形態に係る運転支援装置の画像特徴量記憶部に保存されるデータの構成例を表形式で示す図である。
【図９】図９は、本発明の第１の実施形態に係る運転支援装置のデータフュージョン部により結合されたデータの構成例を表形式で示す図である。
【図１０】図１０は、本発明の第２の実施形態に係る運転支援装置のソフトウェア構成の一例を示すブロック図である。
【図１１】図１１は、本発明の第２の実施形態に係る運転支援装置の画像特徴量学習部による学習方法の一例を示す図である。
【図１２】図１２は、本発明の第２の実施形態に係る運転支援装置の画像特徴量変換部による処理手順の一例を示すフローチャートである。
【図１３】図１３は、本発明の第２の実施形態に係る運転支援装置の画像特徴量学習部で用いられる学習ネットワークの構造の具体例を示す図である。
【図１４】図１４は、本発明の第２の実施形態に係る運転支援装置の画像特徴量学習部による学習後のフィルタのイメージの一例を示す図である。
【図１５】図１５は、本発明の第２の実施形態に係る運転支援装置の画像特徴量学習部による学習後のフィルタのイメージの一例を示す図である。
【図１６】図１６は、本発明の第２の実施形態に係る運転支援装置の画像特徴量学習部によるエンコード結果およびデコード結果の一例を示す図である。
【図１７】図１７は、本発明の第３の実施形態に係る運転支援装置の運転支援情報学習部による目的変数と説明変数の設定の一例を示す図である。
【図１８】図１８は、本発明の第５の実施形態に係る運転支援装置のセンサ前処理部による前処理の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら、この発明に係わる一実施形態を説明する。  
（構成）
（１）ハードウェア構成
図１は、本発明の一実施形態に係る運転支援装置１のハードウェア構成の一例を示すブロック図である。この図１では下記の第１乃至第５の実施形態のいずれかに関わる構成が示される。
運転支援装置１は、例えばサーバコンピュータ（Server computer）またはパーソナルコンピュータ（Personal computer）により構成され、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ（Hardware processor）１１Ａを有する。そして、運転支援装置１では、このハードウェアプロセッサ１１Ａに対し、プログラムメモリ１１Ｂ、データメモリ（Data memory）１２、および入出力インタフェース１３が、バス（Bus）２０を介して接続される。
【００１５】
入出力インタフェース１３には、カメラ２、センサ３、表示デバイス４、制御デバイス５、診断デバイス６が接続可能である。
【００１６】
入出力インタフェース１３は、例えば１つ以上の有線または無線の通信インタフェースを含む。入出力インタフェース１３は、自動車に搭載されるカメラ（Camera）２により撮影されて、自動車に搭載される図示しないドライブレコーダ（Drive recorder）により記録されたカメラ映像、又は自動車に搭載されるセンサ３で検出されたセンサデータ（Sensor data）を運転支援装置１内に入力する。カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の固体撮像デバイスが用いられたものである。自動車は、その他の種別の車両であってもよい。
さらに、入出力インタフェース１３は、運転支援装置１内から出力されたデータを外部に出力する。カメラ映像を撮影および記録するデバイスは、カメラ２およびドライブレコーダに限られず、カメラ機能付きのスマートフォン（Smart phone）のようなモバイル（Mobile）端末又はタブレット（Tablet）端末であってもよい。
【００１７】
センサ３は、速度センサを含む。また、センサ３は、センサ機能付きのスマートフォンであってもよい。また、ＣＡＮ（Controller Area Network）等の、自動車の動作制御またはログデータ（Log data）収集のために通常設けられるセンサにより計測されるデータがセンサデータとして用いられてもよい。
【００１８】
運転支援装置１から出力されたデータの出力先は、自動車の運転手に向けて表示する、液晶または有機ＥＬ（Electro Luminescence）等が用いられた、図１に示される表示デバイス４でもよいし、自動車を制御する、図１に示される制御デバイス５でもよいし、自動車の運転を診断する、図１に示される診断デバイス６でもよい。
また、運転支援装置１は、上記のカメラ２、センサ３とともに自動車に搭載されることができる。しかし、これに限られず、例えば、運転支援装置１が例えばＷｅｂ上またはクラウド上に備えられて、通信機能を有する車載器が自動車に搭載され、上記のカメラ２、センサ３、表示デバイス４、制御デバイス５、診断デバイス６が車載器に接続され、この車載器と運転支援装置１との間で通信ネットワーク（Network）を介して通信可能としてもよい。
【００１９】
プログラムメモリ１１Ｂは、非一時的な有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリとが組み合わせて使用されたものである。このプログラムメモリ１１Ｂには、一実施形態に係る各種制御処理が実行されるために必要なプログラムが格納されている。
【００２０】
データメモリ１２は、有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の、随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとが組み合わせて使用されたものである。このデータメモリ１２は、各種処理が行なわれる過程で取得および作成された各種データが記憶されるために用いられる。
【００２１】
（２）ソフトウェア構成
図２は、本発明の一実施形態に係る運転支援装置１のソフトウェア構成の一例を示すブロック図である。この図２では、運転支援装置１のソフトウェア構成が図１に示されたハードウェア構成と関連付けられて示される。  
運転支援装置１は、処理部である制御ユニット１１と、データメモリ１２と、入出力インタフェース１３とを備えるデータ処理装置として構成できる。
【００２２】
データメモリ１２の記憶領域には、データ記憶部１２１と、画像モデル（Model）記憶部（画像特徴量学習モデル記憶部）１２２と、画像特徴量記憶部１２３と、加工センサデータ（Processed sensor data）記憶部１２４と、運転支援情報学習モデル記憶部１２５とが設けられる。
ただし、上記記憶部１２１〜１２５は運転支援装置１内に必須の構成ではなく、例えば、ＵＳＢ（Universal Serial Bus）メモリなどの外付け記憶媒体、又はクラウド（Cloud）に配置されたデータベースサーバ（Database server）等の記憶装置に設けられたものであってもよい。
【００２３】
制御ユニット１１は、上記ハードウェアプロセッサ１１Ａと、プログラムメモリ１１Ｂとから構成され、ソフトウェアによる処理機能部として、データ取得部１１１と、画像特徴量学習部１１２と、画像特徴量変換部１１３と、センサ前処理（Preprocessing）部１１４と、データフュージョン（Fusion）部１１５と、運転支援情報学習部１１６と、運転支援情報生成部１１７と、出力部１１８と、を備える。
【００２４】
これらの各部における処理機能部は、いずれも、プログラムメモリ１１Ｂに格納されたプログラムを、上記ハードウェアプロセッサ１１Ａに実行させることによって実現される。制御ユニット１１は、また、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの集積回路を含む、他の多様な形式で実現されてもよい。なお、これらの処理機能は、プログラムメモリ１１Ｂに格納されたプログラムが用いられて実現されるのではなく、通信ネットワークを通して提供されるプログラムが用いられて実現されてもよい。
【００２５】
データ取得部１１１は、入出力インタフェース１３を介して、カメラ映像およびセンサデータをそれぞれ取得し、取得された結果をカメラ映像データおよびセンサデータとしてデータ記憶部１２１に記憶する処理を実行する。
自動車に搭載されたカメラ２は、走行中の自動車の前方を含む映像を撮影することができる。自動車に搭載されたセンサ３は、少なくとも走行中の自動車の走行速度を計測することができる。また、カメラ映像とセンサデータは少なくとも１秒程度の粒度で時刻が同期されていると仮定する。
【００２６】
制御ユニット１１の画像特徴量学習部１１２は、データメモリ１２のデータ記憶部１２１に記憶されるカメラ映像データを読み出し、このカメラ映像データに含まれる各フレーム（Frame）における画像の画像特徴量を求めるための学習処理を実行する。
その後、画像特徴量学習部１１２は、画像から画像特徴量を求めるときに用いられる画像特徴量学習モデル（以下、画像モデルと称することがある）を上記の学習処理によって求める。画像特徴量学習部１１２は、この画像モデルをデータメモリ１２の画像モデル記憶部１２２に記憶する。
【００２７】
画像特徴量変換部１１３は、データ記憶部１２１に記憶されるカメラ映像データと、画像モデル記憶部１２２に記憶される画像モデルとをそれぞれ読み出す。画像特徴量変換部１１３は、カメラ映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換する。画像特徴量変換部１１３は、この変換された画像特徴量をデータメモリ１２の画像特徴量記憶部１２３に記憶する。
【００２８】
センサ前処理部１１４は、データ記憶部１２１に記憶されるセンサデータを読み出し、このセンサデータに対する、例えば欠損値を補完する処理、又は異常値を修正する処理等を行なう。センサ前処理部１１４は、上記の処理の結果をデータメモリ１２の加工センサデータ記憶部１２４に記憶する。なお、センサ前処理部１１４と加工センサデータ記憶部１２４とは、運転支援装置１による処理を実施するにあたり、必須でなくてよい。
【００２９】
データフュージョン部１１５は、データメモリ１２の画像特徴量記憶部１２３に記憶される画像特徴量と、加工センサデータ記憶部１２４に記憶されるセンサデータとを結合する処理を行なう。
【００３０】
運転支援情報学習部１１６は、データフュージョン部１１５で結合されたデータのうち、センサデータで示される自動車の走行速度を目的変数に設定し、走行速度を除くデータ、例えば画像特徴量を説明変数に設定する。運転支援情報学習部１１６は、データフュージョン部１１５により結合されたデータを用いて、説明変数から目的変数が予測（生成）されるときに用いられるモデルである運転支援情報学習モデルの学習処理を行なう。
【００３１】
その後、運転支援情報学習部１１６は、学習処理によって求められた運転支援情報学習モデルを、データメモリ１２の運転支援情報学習モデル記憶部１２５に記憶する。ここで、目的変数は、自動車の走行速度が連続量として定められた変数であってもよい。また、目的変数は、所定時刻における走行速度に対する当該所定時刻から後の時刻における走行速度の関係が自動車の加速・定速・減速のいずれかの運転操作に該当することがラベルとして定められた変数であってもよい。また、目的変数は、自動車の運転手による運転操作に係る目標値であれば、例えば自動車のハンドル角の目標値であってもよい。
【００３２】
運転支援情報生成部１１７は、データフュージョン部１１５で結合されたデータのうち、少なくとも新たなカメラ映像データから画像特徴量変換部１１３により変換された画像特徴量と、データメモリ１２の運転支援情報学習モデル記憶部１２５に記憶される運転支援情報学習モデルとをそれぞれ読み出し、これら読み出された画像特徴量および運転支援情報学習モデルとに基づいて、以後における自動車の走行速度の目標値を運転支援情報として予測する処理を行なう。運転支援情報は、走行速度だけでなく、加速・定速・減速などのカテゴリ、又はハンドル角などでもよい。  
出力部１１８は、運転支援情報生成部１１７で予測された、走行速度の目標値を、入出力インタフェース１３を介して外部に出力させる。
【００３３】
（第１の実施形態）
次に、第１の実施形態について説明する。  
図３は、本発明の第１の実施形態に係る運転支援装置１のソフトウェア構成の一例を示すブロック図である。この図３では、第１の実施形態に係る運転支援装置１のソフトウェア構成と、図１に示されたハードウェア構成とが関連付けられて示される。  
図３に示されるように、第１の実施形態では、図２に示されたソフトウェア構成のうち、画像特徴量学習部１１２、センサ前処理部１１４、画像モデル記憶部１２２、加工センサデータ記憶部１２４以外のソフトウェア構成が機能する。
【００３４】
図４は、本発明の第１の実施形態に係る運転支援装置１の処理手順の一例を示すフローチャートである。  
まず、データ取得部１１１は、入出力インタフェース１３を介して、自動車に搭載されたカメラ２により撮影された映像と、センサ３により検出されたセンサデータとをそれぞれ取得し、この取得されたデータをデータ記憶部１２１に記憶する（Ｓ１）。
【００３５】
図５は、本発明の第１の実施形態に係る運転支援装置１により取り扱われるカメラ映像の一例を示す図である。図６は、本発明の第１の実施形態に係る運転支援装置１により取り扱われるセンサデータの構成例を表形式で示す図である。図５は、自動車に搭載されたカメラ２により撮影された映像のイメージ（Image）を示し、図６は、センサデータの各項目の内容を示す。  
カメラ映像は、ハイビジョン（Hi-Vision）画質で１０［ｆｐｓ］にて撮影された映像であるとする。ここでは、カメラ映像は、１分につき１つのファイル（File）として保存される、拡張子が「mp4」である形式のデータとして扱われるとし、このデータには、撮影された時刻が少なくとも秒単位の時刻として記録されるとする。センサデータは、１［Ｈｚ］のサイクルで検出された走行速度のデータであるとする。
【００３６】
画像特徴量変換部１１３は、データ記憶部１２１に記憶されるカメラ映像データを読み出し、このカメラ映像データに含まれる各フレーム画像を画像特徴量に変換する。画像特徴量変換部１１３は、この画像特徴量をデータメモリ１２の画像特徴量記憶部１２３に記憶する（Ｓ２）。
【００３７】
次に、このＳ２の処理の詳細を以下のＳ２１〜Ｓ２４の処理として説明する。図７は、本発明の第１の実施形態に係る運転支援装置１の画像特徴量変換部１１３による処理手順の一例を示すフローチャートである。  
まず、画像特徴量変換部１１３は、データ記憶部１２１からカメラ映像データを読み出す（Ｓ２１）。このデータには撮影された時刻が秒単位の時刻として保持されるとする。次に、画像特徴量変換部１１３は、カメラ映像データを例えば１秒ごとの各フレームの画像に切り出す処理を行なう（Ｓ２２）。この処理は、公知のffmpeg等の方法を用いて行なわれてもよい。
【００３８】
次に、画像特徴量変換部１１３は、各フレームの画像内から人物を検知し、この検知された人数を画像特徴量とする（Ｓ２３）。１つのフレームの画像において複数の人物が含まれるときは、検知される人数は複数である。この場合、画像特徴量変換部１１３は、例えば、この検知された人数を特徴量として設定する。
第１の実施形態においては、自動車の走行速度に影響しうる特徴量として人数が例に挙げられているが、これに限られず、上記の特徴量は四輪車の数又は二輪車の数などでもよい。人物検知の処理は、公知のYolov2（https://arxiv.org/abs/1612.08242）等の方法により行なわれてもよい。
【００３９】
次に、画像特徴量変換部１１３は、１秒ごとの各フレームにおける時刻と当該のフレームに対応する特徴量とを紐付け、この紐付けられた結果を画像特徴量記憶部１２３に保存する処理を行なう（Ｓ２４）。図８は、本発明の第１の実施形態に係る運転支援装置１の画像特徴量記憶部１２３に保存されるデータの構成例を表形式で示す図である。これによりＳ２が終了する。
【００４０】
次に、データフュージョン部１１５は、データメモリ１２の画像特徴量記憶部１２３に記憶される画像特徴量データと、データ記憶部１２１に記憶されるセンサデータとを結合する処理を行なう（Ｓ３）。
ここで、画像特徴量データの形式が図８に示される形式であって、センサデータの形式が図６に示される形式であるとき、データフュージョン部１１５は、秒単位で記録されている各時刻をキー情報に設定する。データフュージョン部１１５は、このキー情報を用いることで、画像特徴量データにおける画像特徴量とセンサデータにおける走行速度とを列方向に結合する。図９は、本発明の第１の実施形態に係る運転支援装置１のデータフュージョン部１１５により結合されたデータの構成例を表形式で示す図である。
【００４１】
運転支援情報学習部１１６は、データフュージョン部１１５で結合されたデータのうち、例えばセンサデータで示される走行速度を目的変数に設定し、走行速度を除くデータの少なくとも一部を説明変数に設定する。運転支援情報学習部１１６は、データフュージョン部１１５で結合されたデータに基づいて、説明変数から目的変数への予測に用いられる運転支援情報学習モデルの学習処理を行なう（Ｓ４）。その後、運転支援情報学習部１１６は、学習処理によって求められた運転支援情報学習モデルを、データメモリ１２の運転支援情報学習モデル記憶部１２５に記憶する。
【００４２】
データフュージョン部１１５で結合されたデータの形式が図９に示される形式であるとき、運転支援情報学習部１１６は、自動車の速度カラム（Column）を目的変数に設定して、画像特徴量を説明変数に設定して、上記結合されたデータを用いて、運転支援情報学習モデルの学習処理を行なう。ここでは例として、運転支援情報学習部１１６は、説明変数から目的変数を求める分析である回帰分析を行なうとすると、公知の手法を用いることで回帰係数を求めることができる。
運転支援情報学習部１１６は、画像特徴量に対する回帰係数と、定数項である係数とを、運転支援情報学習モデルとして運転支援情報学習モデル記憶部１２５に記憶する処理を行なう。ここで、学習処理は、上記の回帰分析に限られず、例えばランダムフォレスト（Random Forest）などでもよい。
【００４３】
ここで、新たなカメラ映像データおよびセンサデータが運転支援装置１に入力され、データ取得部１１１、前記データ記憶部１２１、画像特徴量変換部１１３、画像特徴量記憶部１２３、データフュージョン部１１５による処理が行なわれたとする。
【００４４】
この場合、運転支援情報生成部１１７は、データフュージョン部１１５で結合されたデータのうち、新たなカメラ映像データから画像特徴量変換部１１３により変換された画像特徴量を読み出し、データメモリ１２の運転支援情報学習モデル記憶部１２５に記憶される運転支援情報学習モデルを読み出す。運転支援情報生成部１１７は、これら読み出された画像特徴量および運転支援情報学習モデルに基づいて、自動車の走行速度の目標値を運転支援情報として予測する処理を行なう（Ｓ５）。これにより運転支援情報が生成される。
【００４５】
運転支援情報学習モデルが回帰分析により求められた回帰係数であるとき、運転支援情報生成部１１７は、データフュージョン部１１５で結合されたデータから読み出された、データのカラムの値と、このカラムに該当する回帰係数の値とを乗じた値に、上記の定数項である係数の値を加算する。これにより、自動車の走行速度の目標値が予測されることができる。新たなデータが１秒単位で入力されてきた場合には、運転支援情報生成部１１７は、例えば１秒単位で自動車の走行速度を予測する。
【００４６】
また、運転支援情報生成部１１７は、下記の予測処理を行なってもよい。具体的には、運転支援情報生成部１１７は、データフュージョン部１１５で結合されたデータに含まれる画像特徴量、つまり新たなカメラ映像データから変換された画像特徴量を読み出し、データメモリ１２の運転支援情報学習モデル記憶部１２５に記憶される運転支援情報学習モデルを読み出す。
運転支援情報生成部１１７は、これら読み出されたカメラ映像データと運転支援情報学習モデルとに基づいて、自動車の走行速度を運転支援情報として予測する処理を行なう。  
出力部１１８は、運転支援情報生成部１１７で予測された走行速度の値を、入出力インタフェース１３を介して外部に出力させる（Ｓ６）。
【００４７】
（効果）
本実施形態においては、運転支援装置１は、過去のカメラ映像データを用いることで、自動車の前方の画像から抽出された画像特徴量に応じた走行速度を予測できる。これにより、新たなセンサデータが入力されたときに過去のデータに基づいて予測された走行速度と、新たなセンサデータにより示される実際の走行時の走行速度とを運転支援装置１又はその運用者などにより比較することで、自動車における危険運転箇所の振り返り、又は個人の運転の癖の振り返りなどを行なうことができる。したがって、運転支援装置１を運転操作に係る目標値と実際の運転操作との比較に基づく運転の改善などに役立てることができるので、周辺環境に応じて運転支援情報を動的に設定することが可能になる。
【００４８】
また、本実施形態においては、運転支援情報の生成にあたり、カメラ映像データが取得できれば、センサデータが用いられなくともよい。よって、地図データに対応する走行データが無い道路においても、運転支援装置１は、走行時のカメラ映像データに基づいて、走行データに影響を与えうる情報が盛り込まれた画像特徴量を求めて、この画像特徴量を用いて運転支援情報を生成できる。したがって、地図データに対応する走行データがない道路を走行する自動車について、精度が高い運転支援情報を得ることができる。
【００４９】
（第２の実施形態）
次に、第２の実施形態について説明する。  
図１０は、本発明の第２の実施形態に係る運転支援装置１のソフトウェア構成の一例を示すブロック図である。この図１０では、第２の実施形態に係る運転支援装置１のソフトウェア構成と、図１に示されたハードウェア構成とが関連付けられて示される。  
図１０に示されるように、第２の実施形態では、図２に示されたソフトウェア構成のうち、センサ前処理部１１４、加工センサデータ記憶部１２４以外のソフトウェア構成が機能する。また、第２の実施形態では、第１の実施形態と比較して、図２に示された画像特徴量学習部１１２、画像モデル記憶部１２２がさらに機能する。
【００５０】
第１の実施形態と異なり、第２の実施形態では、画像特徴量変換部１１３による処理は、画像特徴量学習部１１２により学習されて画像モデル記憶部１２２に記憶された画像モデルに基づいて実行される。
【００５１】
画像特徴量学習部１１２は、画像の特徴が出来るだけ損なわれないよう、自己符号化器（Autoencoder）が用いられた学習処理を行なう。図１１は、本発明の第２の実施形態に係る運転支援装置１の画像特徴量学習部１１２による学習方法の一例を示す図である。
【００５２】
図１１に示されるInput Imageには、データ記憶部１２１に記憶されるカメラ映像データ（ファイル）から１秒ごとのフレームに切り出されてなる各フレームの画像が用いられる。ここでは、Input Imageとしては、360×640のサイズ、かつグレースケールに前処理された画像が用いられると仮定する。
図１１に示される360×640×1などの値は、画像高さ、画像幅、画像チャネル数をそれぞれ示す。例えば、画像チャネル数が１である画像はグレースケール化された画像を示し、画像チャネル数が３である画像はＲＧＢ画像を示す。そして、画像特徴量学習部１１２は、当該Input Imageをコンボリューション層（Conv1, Conv2, Conv3, Conv4）を用いて畳み込んでいくことにより、領域ベースでの特徴抽出を行なう。
【００５３】
次に、画像特徴量学習部１１２は、デコンボリューション層（DeConv1, DeConv2, DeConv3, DeConv4）を用いて、画像を復元する。画像特徴量学習部１１２は、この復元により再構築された画像（Reconstructed Image）と元の画像（Input Image）との誤差が最小化されるように学習処理を行なう。この誤差は、図１１に示されるMean squared error（平均二乗誤差）に対応する。
図１１に示されるａは、画像特徴量変換部１１３による処理部分に対応し、図１１に示されるｂは、画像特徴量学習部１１２による処理部分に対応する。
【００５４】
なお、図１１に示される構成は一例であり、コンボリューション層などの数は特に限られない。学習された結果として得られる画像モデルは、各コンボリューション層で変換されるフィルタの値であり、画像モデル記憶部１２２に記憶される。
【００５５】
図１２は、本発明の第２の実施形態に係る運転支援装置１の画像特徴量変換部１１３による処理手順の一例を示すフローチャートである。  
第２の実施形態では、画像特徴量変換部１１３は、第１の実施形態で説明されたＳ２１、Ｓ２２の後、データ記憶部１２１に記憶されるカメラ映像データ（ファイル）から１秒ごとのフレームに切り出されてなる各フレームの画像に対し、画像モデル記憶部１２２に記憶される画像モデルに基づくフィルタ処理を実施する（Ｓ２３ａ）。
例えば、図１１に示される例においては、画像特徴量変換部１１３は、各フレームの画像に対しConv1、Conv2、Conv3、Conv4までの処理が完了して得られたデータを画像特徴量として設定する。
【００５６】
次に、画像特徴量変換部１１３は、１秒ごとの各フレームにおける時刻と当該のフレームに対応する特徴量とを紐付け、この紐付けられた結果を画像特徴量記憶部１２３に保存する処理を行なう（Ｓ２４）。
【００５７】
図１３は、本発明の第２の実施形態に係る運転支援装置１の画像特徴量学習部１１２で用いられる学習ネットワークの構造の具体例を示す図である。
図１３に示された例では、画像特徴量学習部１１２で用いられる学習ネットワーク、ここでは畳み込みニューラルネットワーク（CNN: Convolutional Neural Network)は、前段の層と後段の層でなる。
前段の層は、図１３に示される、Input Imageに対する畳み込みを行なう４つのコンボリューション層と、同じく４つのプーリング層（MaxPooling）とが交互に重ねられることで構成される。後段の層は、図１３に示される４つのデコンボリューション層である。
畳み込みニューラルネットワークは、上記の前段の層により画像をエンコードし、このエンコードの結果に対し、上記の後段の層である４つのデコンボリューション層により画像をデコードさせていく構造を有する。
各層で構成されるフィルタの値（図１３に示されるConv1の（3×3×4, stride=1）など）は、フィルタの画像高さ、画像幅、画像チャネル数、およびストライドを示す。ストライドは、畳み込みの適用間隔を示す。これらの値は、Input ImageとReconstructed Imageとの誤差が最小化されるように学習される。
【００５８】
図１４および図１５は、本発明の第２の実施形態に係る運転支援装置１の画像特徴量学習部１１２による学習後のフィルタのイメージの一例を示す図である。  
図１４は、図１３に示されるConv2において、3×3のフィルタが学習された結果の一部が可視化されたイメージを示す。図１３に示されるConv2については、４チャンネルの画像に対する８枚のフィルタが適用され、１つのフィルタが４チャンネル分の情報を有し、サイズが3×3である３２枚の二次元画像に対応する。図１５は、図１３に示されるConv4において、3×3のフィルタが学習された結果の一部が可視化されたイメージを示す。
【００５９】
図１６は、本発明の第２の実施形態に係る運転支援装置１の画像特徴量学習部１１２によるエンコード結果およびデコード結果の一例を示す図である。
図１６に示されるａでは、Input Imageの元画像が示される。
図１６に示されるｂでは、この元画像に対し、エンコード、つまり図１３に示されるコンボリューション層およびプーリング層による処理が行なわれることで画像特徴量が算出された結果である可視化イメージが示される。
図１６に示されるｃでは、画像特徴量が算出された結果に対するデコード、つまり図１３に示されるデコンボリューション層による処理が行なわれることで復元された画像イメージが示される。
【００６０】
（効果）
第２の実施形態においては、画像特徴量の捉え方が第１の実施形態と異なる。第１の実施形態では、画像特徴量として人物の数が例に挙げられたが、自動車の走行に影響を与えうる対象は、人物に限られない。
そこで、第２の実施形態においては、画像の情報量が出来るだけ損なわれない自己符号化器が用いられることで、画像特徴量への変換がなされる。このため、自動車の走行に影響を与えうる情報が画像特徴量として盛り込まれているので、運転支援情報生成部１１７において、より精度が高い走行速度の予測結果を得ることが可能となる。したがって、映像データに含まれる画像を、情報量をできるだけ落とさずに画像特徴量に変換することができる。
【００６１】
（第３の実施形態）
次に、第３の実施形態について説明する。  
第１の実施形態と同様に、第３の実施形態では、図２に示されたソフトウェア構成のうち、画像特徴量学習部１１２、センサ前処理部１１４、画像モデル記憶部１２２、加工センサデータ記憶部１２４以外のソフトウェア構成が機能する。
【００６２】
ただし、第１の実施形態と異なり、第３の実施形態では、運転支援情報学習部１１６は、目的変数を自動車の未来の走行速度または運転行動に設定して、運転支援情報学習モデルの学習処理を行なう。
【００６３】
第３の実施形態では、第１の例として、運転支援情報学習部１１６は、データフュージョン部１１５により生成されたデータのうち、時刻ｔにおける画像特徴量と、時刻ｔにおける走行速度とをそれぞれ示す説明変数を設定する。
次に、この第１の例では、運転支援情報学習部１１６は、時刻ｔにおける速度と時刻ｔ＋ｎ（例えばｔ＋１，ｔ＋２，ｔ＋３，…のいずれか）における速度とが比較されたときに表される、自動車の加速、定速、減速のうち、運転手がとるべき運転行動をラベルとした目的変数を設定する。
この目的変数は、所定時刻における走行速度に対する所定時刻より後の時刻における走行速度に係る運転行動が、加速のための運転行動、定速のための運転行動、および減速のための運転行動のいずれに該当するかを示す。
運転支援情報学習部１１６は、データフュージョン部１１５により生成されたデータを用いて、運転支援情報学習モデルの学習処理を行なう。
【００６４】
また、第３の実施形態では、第２の例として、運転支援情報学習部１１６は、データフュージョン部１１５により生成されたデータのうち、時刻ｔにおける画像特徴量と、時刻ｔにおける走行速度とを説明変数にそれぞれ設定し、時刻ｔ＋ｎにおける速度を目的変数に設定する。
運転支援情報学習部１１６は、データフュージョン部１１５により生成されたデータを用いて、運転支援情報学習モデルの学習処理を行なう。
【００６５】
図１７は、本発明の第３の実施形態に係る運転支援装置１の運転支援情報学習部１１６による目的変数と説明変数の設定の一例を示す図である。
図１７に示されるａでは、データフュージョン部１１５により生成されたデータが示される。図１７に示されるｂでは、上記の第１の例に対応し、上記のｎが１である場合における目的変数と説明変数の設定イメージが示される。図１７に示されるｃでは、上記の第２の例に対応し、上記のｎが１である場合における目的変数と説明変数の設定イメージが示される。
なお、ここではｎを１として、すなわち１秒先の速度または運転行動が予測される設定について説明するが、ｎは１に限られず、例えば２でも３でもよい。
【００６６】
（効果）
第３の実施形態においては、運転支援情報学習部１１６における目的変数の設定の仕方が第１の実施形態と異なる。第３の実施形態では、自動車の未来の、例えば１秒先の走行速度または運転行動が予測されるように運転支援情報学習モデルの学習が行われる。
【００６７】
第３の実施形態では、運転支援情報学習部１１６に自動車の新たな走行データが入力されてきたときに、過去のデータに基づいて自動車の未来の加減速または速度などの目標値が得られる。このため、運転支援装置１又はその運用者などが、推奨される加減速または速度などとして運転手に提示したり、自動運転の自動走行速度などとして活用したりすることができる。したがって、運転支援装置１を例えば加速、低速、および減速に区分される運転行動の目標値と実際の加減速などとの比較に基づく運転の改善などに役立てることができる。また、運転支援装置１を走行速度の目標値と実際の走行速度の比較に基づく運転の改善などに役立てることができる。
【００６８】
（第４の実施形態）
次に、第４の実施形態について説明する。  
第３の実施形態と同様に、第４の実施形態では、図２に示されたソフトウェア構成のうち、画像特徴量学習部１１２、センサ前処理部１１４、画像モデル記憶部１２２、加工センサデータ記憶部１２４以外のソフトウェア構成が機能する。ただし、第３の実施形態と異なり、第４の実施形態では、運転支援情報学習部１１６の処理において、目的変数に自動車の未来の走行速度が設定されて、説明変数に過去の情報が設定された上で運転支援情報学習モデル学習処理が行なわれる。
【００６９】
第４の実施形態では、第１の例として、運転支援情報学習部１１６は、データフュージョン部１１５により生成されたデータのうち、説明変数として、時刻ｔ−ｎから時刻ｔまでにおける各時刻の画像特徴量および走行速度がそれぞれ考慮された変数を設定する。
次に、この第１の例では、運転支援情報学習部１１６は、目的変数として、時刻ｔにおける速度と時刻ｔ＋ｎにおける速度とが比較されたときに表される、自動車の加速、定速、減速のうち運転手がとるべき運転行動をラベルとした変数を設定する。
運転支援情報学習部１１６は、データフュージョン部１１５により生成されたデータを用いて、運転支援情報学習モデルの学習処理を行なう。
【００７０】
また、第４の実施形態では、第２の例として、運転支援情報学習部１１６は、データフュージョン部１１５により生成されたデータのうち、説明変数として、時刻ｔ−ｎから時刻ｔまでにおける各時刻の画像特徴量および走行速度がそれぞれ考慮された変数を設定する。
次に、この第２の例では、運転支援情報学習部１１６は、目的変数として時刻ｔ＋ｎにおける速度を設定する。
運転支援情報学習部１１６は、データフュージョン部１１５により生成されたデータを用いて、運転支援情報学習モデルの学習処理を行なう。
【００７１】
第４の実施形態では、学習方法として、LSTM(Long short-term memory)モデルを用いることで、各時刻におけるトレンドを考慮することができる。LSTMの層の数は１層以上であるとする。
【００７２】
（効果）
第４の実施形態においては、運転支援情報学習部１１６における説明変数の設定の仕方が第３の実施形態と異なる。第３の実施形態では、現在の情報から、自動車の未来の、例えば１秒先の走行速度が予測されるように運転支援情報学習モデルの学習が行われる。
これに対し、第４の実施形態では、過去の時刻における画像特徴量および走行速度トレンドが考慮された上で、上記の未来の走行速度が予測されるように運転支援情報学習モデルの学習が行われる。
【００７３】
第４の実施形態では、運転支援情報学習部１１６に自動車の新たな走行データが入力されたときに、過去のデータに基づいて、自動車の過去から現在までの加速又は減速などの走行トレンドが考慮された上で、自動車の未来の走行速度が予測された結果が得られる。
このため、運転支援装置１又はその運用者などが、予測された走行速度を、自動車の推奨速度として運転手に提示したり、自動運転の自動走行速度として活用したりするとき、加速又は減速などの走行トレンドが考慮された、より人間の運転の仕方に近く、違和感のない運転支援を行なうことが可能となる。
【００７４】
（第５の実施形態）
第５の実施形態では、図２に示されたソフトウェア構成のうち、画像特徴量学習部１１２、画像モデル記憶部１２２以外のソフトウェア構成が機能する。また、第５の実施形態では、第１の実施形態と比較して、図２に示されたセンサ前処理部１１４、加工センサデータ記憶部１２４がさらに機能する。
【００７５】
第１の実施形態と異なり、第５の実施形態では、センサデータがデータフュージョン部１１５で結合される前の段階で、センサ前処理部１１４においてセンサデータの前処理が行われる。
【００７６】
ここでは、前処理の一例として、関数近似による平滑化とリサンプリングについて説明する。ここでは、センサ３が３軸加速度センサであり、データ取得部１１１が、センサデータとして例えば自動車の３軸加速度（以下、加速度）のデータを取得したと仮定する。この加速度は１００［Ｈｚ］のサイクルで計測され、また、１秒単位で生成されるセンサデータの１レコードに対し、加速度データは１００カラムとして結合されていると仮定する。
【００７７】
図１８は、本発明の第５の実施形態に係る運転支援装置１のセンサ前処理部１１４による前処理の一例を示す図である。
図１８に示されるａでは、センサデータにおける、加速度ｘ−１から加速度ｘ−１００までの１００カラムのデータが示される。このデータに対し、センサ前処理部１１４は、公知な技術として移動平均法を用いて平滑化後の値を求める。
【００７８】
もしくは、センサ前処理部１１４は、センサデータに対し、Savitzky-Golay(SG法)を用いて多項式で近似した値を平滑化後の値として求める。
センサ前処理部１１４は、上記の平滑化の値から、例えば３カラムを等間隔にサンプリングし、このサンプリングされた結果を前処理後のセンサデータとして求める。
図１８に示されるｂにおいては、サンプリングの結果は、加速度ｘ−ｒｅ１、加速度ｘ−ｒｅ２、加速度ｘ−ｒｅ３でなる３カラムが該当する。ただし、サンプリングに係るカラムの数は、上記の３に限られない。
【００７９】
（効果）
第５の実施形態においては、センサデータを運転支援情報学習部１１６により説明変数として設定するにあたり、センサ前処理部１１４による前処理が実施される。
センサデータの計測間隔が例えば１００［Ｈｚ］などの高い頻度であるときにデータが得られる場合においては、データにノイズが含まれたり、データの次元数が大きくなり過ぎてしまったりする。
そこで、第５の実施形態においては、ノイズを緩和させる目的でセンサデータに対する平滑化の処理を行ない、この平滑化後の値をリサンプリングすることで、データの次元数を少なくした。
このように前処理が行なわれることで、運転支援情報学習部１１６での学習データは質が高いデータとなり、第１の実施形態と比較して、目的変数の予測精度を改善させることが可能となる。
【００８０】
（その他）
なお、この発明は上記実施形態に限定されるものではない。例えば、運転支援装置１が備える各機能部を、複数の装置に分散配置し、これらの装置が互いに連携することにより処理が行なわれるようにしてもよい。また各機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
以上説明された各実施形態では、自動車に搭載されたセンサ３は、走行中の自動車の速度又は加速度を計測するとして説明したが、これに限られず、センサ３が自動車のエンジン回転数のセンサであるとして、このセンサにより自動車のエンジン回転数が計測されてもよい。また、上記に限られず、センサ３により、自動車の走行に係るその他の値、例えば燃料噴射量などが計測されてもよい。
【００８１】
また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク(Floppy disk)、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ(Flash memory)等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル(Table)、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
【００８２】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００８３】
（付記）
上記各実施形態の一部または全部は、請求の範囲のほか以下の付記に示されるように記載することも可能であるが、これに限られない。
【００８４】
［Ｃ１］
走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得するデータ取得部（１１１）と、
前記データ取得部（１１１）により取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換する画像特徴量変換部（１１３）と、
前記画像特徴量変換部（１１３）により変換された画像特徴量と、前記データ取得部（１１１）により取得されたセンサデータとを結合するデータフュージョン部（１１５）と、
前記データフュージョン部（１１５）により結合されたデータを用いて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値を生成するときに用いられる運転支援情報学習モデルの学習処理を行なう運転支援情報学習部（１１６）と、
前記運転支援情報学習部（１１６）により学習された運転支援情報学習モデルを記憶する運転支援情報学習モデル記憶部（１２５）と、
前記走行中の車両において撮像された新たな映像データが前記データ取得部（１１１）により取得されたときに、当該取得された新たな映像データから前記画像特徴量変換部（１１３）により変換された画像特徴量と前記運転支援情報学習モデル記憶部（１２５）に記憶される運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成する運転支援情報生成部（１１７）と、
を備えた運転支援装置。
【００８５】
［Ｃ２］
前記データ取得部（１１１）により取得された映像データに含まれる各フレームにおける画像に基づいて、走行中の車両において撮像された映像データに含まれる各フレームにおける画像から画像特徴量への変換に用いられる画像特徴量学習モデルの学習処理を行なう画像特徴量学習部（１１２）と、
前記画像特徴量学習部（１１２）により学習した画像特徴量学習モデルを記憶する画像特徴量学習モデル記憶部（１２２）と、を更に備え、
前記画像特徴量変換部（１１３）は、
前記画像特徴量学習モデル記憶部（１２２）に記憶される画像特徴量学習モデルに基づいて、前記データ取得部（１１１）により取得された前記各フレームにおける画像を画像特徴量に変換する、
上記Ｃ１に記載の運転支援装置。
【００８６】
［Ｃ３］
前記センサデータは、前記車両の走行速度を示すデータであり、
前記運転支援情報学習部（１１６）は、
前記データフュージョン部（１１５）により結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における走行速度とをそれぞれ示す説明変数、および前記所定時刻における前記走行速度に対する前記所定時刻より後の時刻における前記走行速度が加速、定速、減速のいずれかに該当することを示す目的変数をそれぞれ設定し、
前記データフュージョン部（１１５）により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なう、
上記Ｃ１又はＣ２に記載の運転支援装置。
【００８７】
［Ｃ４］
前記センサデータは、前記車両の走行速度を示すデータであり、
前記運転支援情報学習部（１１６）は、
前記データフュージョン部（１１５）により結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における走行速度とをそれぞれ示す説明変数、および前記所定時刻より後の時刻における走行速度を示す目的変数をそれぞれ設定し、
前記データフュージョン部（１１５）により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なう、
上記Ｃ１又はＣ２に記載の運転支援装置。
【００８８】
［Ｃ５］
前記運転支援情報学習部（１１６）は、
前記データフュージョン部（１１５）により結合されたデータのうち、前記所定時刻より遡った時刻から前記所定時刻までにおける各時刻の画像特徴量と前記各時刻における走行速度をそれぞれ示す説明変数を設定し、
前記データフュージョン部（１１５）により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルを学習する、
上記Ｃ３又はＣ４に記載の運転支援装置。
【００８９】
［Ｃ６］
前記センサデータは、前記車両の加速度、又はエンジン回転数のいずれかを示すデータを含む、
上記Ｃ１又はＣ２に記載の運転支援装置。
【００９０】
［Ｃ７］
運転支援装置が行なう運転支援方法であって、
走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得し、
前記取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換し、
前記変換された画像特徴量と、前記取得されたセンサデータとを結合し、
前記結合されたデータを用いて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値を生成するときに用いられる運転支援情報学習モデルの学習処理を行ない、
前記走行中の車両において撮像された新たな映像データが取得されたときに、当該取得された新たな映像データから前記変換された画像特徴量と前記運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成する、
運転支援方法。
【００９１】
［Ｃ８］
上記Ｃ１乃至Ｃ６のいずれか１項に記載の運転支援装置の前記各手段としてプロセッサを機能させる運転支援処理プログラム。
【００９２】
［Ｃ９］
前記運転支援情報学習部（１１６）は、
前記データフュージョン部（１１５）により結合されたデータのうち、前記所定時刻より遡った時刻から前記所定時刻までにおける各時刻の画像特徴量と前記各時刻における走行速度をそれぞれ示す説明変数を設定し、
前記データフュージョン部（１１５）により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルを学習する、
上記Ｃ３に記載の運転支援装置。
【００９３】
［Ｃ１０］
前記運転支援情報学習部（１１６）は、
前記データフュージョン部（１１５）により結合されたデータのうち、前記所定時刻より遡った時刻から前記所定時刻までにおける各時刻の画像特徴量と前記各時刻における走行速度をそれぞれ示す説明変数を設定し、
前記データフュージョン部（１１５）により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルを学習する、
上記Ｃ４に記載の運転支援装置。
【００９４】
［Ｃ１１］
前記センサデータは、前記車両の加速度、又はエンジン回転数のいずれかを示すデータを含む、
上記Ｃ１又はＣ２に記載の運転支援装置。
【００９５】
［Ｃ１２］
運転支援装置が行なう運転支援方法であって、
走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得し、
前記取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換し、
前記変換された画像特徴量と、前記取得されたセンサデータとを結合し、
前記結合されたデータを用いて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値を生成するときに用いられる運転支援情報学習モデルの学習処理を行ない、
前記走行中の車両において撮像された新たな映像データが取得されたときに、当該取得された新たな映像データから前記変換された画像特徴量と前記運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成する、
運転支援方法。
【００９６】
［Ｃ１３］
走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得することと、
前記取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換することと、
前記変換された画像特徴量と、前記取得されたセンサデータとを結合することと、
前記結合されたデータを用いて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値を生成するときに用いられる運転支援情報学習モデルの学習処理を行なうことと、
前記走行中の車両において撮像された新たな映像データが取得されたときに、当該取得された新たな映像データから前記変換された画像特徴量と前記運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成することと、
をハードウェアプロセッサに実行させるためのプログラムが記憶された非一時的な有形のコンピュータ可読記憶媒体。
【符号の説明】
【００９７】
１…運転支援装置
２…カメラ
３…センサ
４…表示デバイス
５…制御デバイス
６…診断デバイス
１１…制御ユニット
１２…データメモリ
１３…入出力インタフェース
１１１…データ取得部
１１２…画像特徴量学習部
１１３…画像特徴量変換部
１１４…センサ前処理部
１１５…データフュージョン部
１１６…運転支援情報学習部
１１７…運転支援情報生成部
１１８…出力部
１２１…データ記憶部
１２２…画像モデル記憶部
１２３…画像特徴量記憶部
１２４…加工センサデータ記憶部
１２５…運転支援情報学習モデル記憶部
【図１】
2020026940.tif 000003
【図２】
2020026940.tif 000004
【図３】
2020026940.tif 000005
【図４】
2020026940.tif 000006
【図５】
2020026940.tif 000007
【図６】
2020026940.tif 000008
【図７】
2020026940.tif 000009
【図８】
2020026940.tif 000010
【図９】
2020026940.tif 000011
【図１０】
2020026940.tif 000012
【図１１】
2020026940.tif 000013
【図１２】
2020026940.tif 000014
【図１３】
2020026940.tif 000015
【図１４】
2020026940.tif 000016
【図１５】
2020026940.tif 000017
【図１６】
2020026940.tif 000018
【図１７】
2020026940.tif 000019
【図１８】
2020026940.tif 000020
【手続補正書】
【提出日】令和1年12月18日(2019.12.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得する取得部と、
前記取得部により取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換する画像特徴量変換部と、
前記画像特徴量変換部により変換された画像特徴量と、前記取得部により取得されたセンサデータとを結合する結合部と、
前記結合部により結合されたデータに基づいて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値が生成されるときに用いられる運転支援情報学習モデルの学習処理を行なう運転支援情報学習部と、
前記運転支援情報学習部により学習処理が行われた後の前記運転支援情報学習モデルを記憶する運転支援情報学習モデル記憶装置と、
前記走行中の車両において撮像された新たな映像データが前記取得部により取得されたときに、当該取得された新たな映像データから前記画像特徴量変換部により変換された画像特徴量と前記運転支援情報学習モデル記憶装置に記憶される運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成する運転支援情報生成部と、
を備えた、運転支援装置。
【請求項２】
前記取得部により取得された映像データに含まれる各フレームにおける画像に基づいて、走行中の車両において撮像された映像データに含まれる各フレームにおける画像から画像特徴量への変換に用いられる画像特徴量学習モデルの学習処理を行なう画像特徴量学習部と、
前記画像特徴量学習部により学習処理が行われた後の前記画像特徴量学習モデルを記憶する画像特徴量学習モデル記憶装置と、を更に備え、
前記画像特徴量変換部は、
前記画像特徴量学習モデル記憶装置に記憶される画像特徴量学習モデルに基づいて、前記取得部により取得された前記各フレームにおける画像を画像特徴量に変換する、
請求項１に記載の運転支援装置。
【請求項３】
前記センサデータは、前記車両の走行速度を示すデータであり、
前記運転支援情報学習部は、
前記結合部により結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における走行速度とをそれぞれ示す説明変数、および前記所定時刻における前記走行速度に対する前記所定時刻より後の時刻における前記走行速度が加速、定速、減速のいずれかに該当することを示す目的変数をそれぞれ設定し、
前記結合部により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なう、
請求項１に記載の運転支援装置。
【請求項４】
前記センサデータは、前記車両の走行速度を示すデータであり、
前記運転支援情報学習部は、
前記結合部により結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における走行速度とをそれぞれ示す説明変数、および前記所定時刻における前記走行速度に対する前記所定時刻より後の時刻における前記走行速度が加速、定速、減速のいずれかに該当することを示す目的変数をそれぞれ設定し、
前記結合部により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なう、
請求項２に記載の運転支援装置。
【請求項５】
前記センサデータは、前記車両の走行速度を示すデータであり、
前記運転支援情報学習部は、
前記結合部により結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における走行速度とをそれぞれ示す説明変数、および前記所定時刻より後の時刻における走行速度を示す目的変数をそれぞれ設定し、
前記結合部により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なう、
請求項１に記載の運転支援装置。
【請求項６】
前記センサデータは、前記車両の走行速度を示すデータであり、
前記運転支援情報学習部は、
前記結合部により結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における走行速度とをそれぞれ示す説明変数、および前記所定時刻より後の時刻における走行速度を示す目的変数をそれぞれ設定し、
前記結合部により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なう、
請求項２に記載の運転支援装置。
【請求項７】
前記運転支援情報学習部は、
前記結合部により結合されたデータのうち、前記所定時刻より遡った時刻から前記所定時刻までにおける各時刻の画像特徴量と前記各時刻における走行速度をそれぞれ示す説明変数を設定し、
前記結合部により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルを学習する、
請求項３に記載の運転支援装置。
【請求項８】
前記運転支援情報学習部は、
前記結合部により結合されたデータのうち、前記所定時刻より遡った時刻から前記所定時刻までにおける各時刻の画像特徴量と前記各時刻における走行速度をそれぞれ示す説明変数を設定し、
前記結合部により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルを学習する、
請求項４に記載の運転支援装置。
【請求項９】
前記運転支援情報学習部は、
前記結合部により結合されたデータのうち、前記所定時刻より遡った時刻から前記所定時刻までにおける各時刻の画像特徴量と前記各時刻における走行速度をそれぞれ示す説明変数を設定し、
前記結合部により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルを学習する、
請求項５に記載の運転支援装置。
【請求項１０】
前記運転支援情報学習部は、
前記結合部により結合されたデータのうち、前記所定時刻より遡った時刻から前記所定時刻までにおける各時刻の画像特徴量と前記各時刻における走行速度をそれぞれ示す説明変数を設定し、
前記結合部により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルを学習する、
請求項６に記載の運転支援装置。
【請求項１１】
前記センサデータは、前記車両の加速度、又はエンジン回転数のいずれかを示すデータを含む、
請求項１に記載の運転支援装置。
【請求項１２】
前記センサデータは、前記車両の加速度、又はエンジン回転数のいずれかを示すデータを含む、
請求項２に記載の運転支援装置。
【請求項１３】
運転支援装置が実行する運転支援方法であって、
走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得することと、
前記取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換することと、
前記変換された画像特徴量と、前記取得されたセンサデータとを結合することと、
前記結合されたデータを用いて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値を生成するときに用いられる運転支援情報学習モデルの学習処理を行なうことと、
前記走行中の車両において撮像された新たな映像データが取得されたときに、当該取得された新たな映像データから前記変換された画像特徴量と前記運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成することと、
を備える方法。
【請求項１４】
走行中の車両において撮像された映像データ、および前記車両の運転手による運転操作に係るセンサデータをそれぞれ取得することと、
前記取得された映像データに含まれる各フレームにおける画像を当該画像が示す画像特徴量に変換することと、
前記変換された画像特徴量と、前記取得されたセンサデータとを結合することと、
前記結合されたデータを用いて、前記結合されたデータに含まれる画像特徴量から前記車両の運転手による運転操作に係る目標値を生成するときに用いられる運転支援情報学習モデルの学習処理を行なうことと、
前記走行中の車両において撮像された新たな映像データが取得されたときに、当該取得された新たな映像データから前記変換された画像特徴量と前記運転支援情報学習モデルとに基づいて、前記車両の運転手による運転操作に係る目標値を前記車両の運転支援情報として生成することと、
をハードウェアプロセッサに実行させるためのプログラム。
【請求項１５】
走行中の車両において撮像された画像を取得する取得部と、
前記取得部により取得された画像を当該画像が示す画像特徴量に変換する変換部と、
前記画像が取得された後の前記車両の走行速度の目標値が加速、定速、減速のいずれに該当するかを示す情報を、前記変換部により変換された画像特徴量に基づいて前記目標値を予測することで前記車両の運転支援情報を生成する生成部と、
を備える生成装置。
【請求項１６】
走行中の車両において撮像された画像、および前記車両の走行速度を示すデータであるセンサデータをそれぞれ取得する取得部と、
前記取得部により取得された画像を当該画像が示す画像特徴量に変換する変換部と、
前記変換部により変換された画像特徴量と、前記取得部により取得されたセンサデータとを結合する結合部と、
前記結合部により結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における前記走行速度とをそれぞれ示す説明変数、および前記所定時刻より後の時刻における前記走行速度が加速、定速、減速のいずれかに該当することを示す目的変数をそれぞれ設定し、前記結合部により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なう運転支援情報学習部と、
を備える学習装置。
【請求項１７】
走行中の車両において撮像された画像を取得する取得部と、
前記取得部により取得された画像を当該画像が示す画像特徴量に変換する変換部と、
前記画像が取得された後の前記車両の走行速度の目標値を示す情報を、前記変換部により変換された画像特徴量に基づいて前記目標値を予測することで前記車両の運転支援情報を生成する生成部と、
を備える生成装置。
【請求項１８】
走行中の車両において撮像された画像、および前記車両の走行速度を示すデータであるセンサデータをそれぞれ取得する取得部と、
前記取得部により取得された画像を当該画像が示す画像特徴量に変換する変換部と、
前記変換部により変換された画像特徴量と、前記取得部により取得されたセンサデータとを結合する結合部と、
前記結合部により結合されたデータのうち所定時刻における前記画像特徴量と前記所定時刻における前記走行速度とをそれぞれ示す説明変数、および前記所定時刻より後の時刻における走行速度の目標値を示す目的変数をそれぞれ設定し、前記結合部により結合されたデータを用いて、前記説明変数から前記目的変数を予測するときに用いられる運転支援情報学習モデルの学習処理を行なう運転支援情報学習部と、
を備える学習装置。
【国際調査報告】
2020026940.tif 000021
2020026940.tif 000022
2020026940.tif 000023
2020026940.tif 000024