(57)【要約】【課題】移動体の周辺環境にある危険因子をより正確に判定することを可能にした走行支援装置及びコンピュータプログラムを提供する。【解決手段】車両の周辺環境を撮像した撮像画像を取得し、３次元で地図を表現した地図画像において撮像画像の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から示す地図画像である地図情報画像を取得し、車両の周辺環境にある危険因子を判定する判定対象領域を設定し、撮像画像と地図情報画像とを入力画像として機械学習に入力することによって、判定対象領域における危険因子を、学習データに基づいて抽出するように構成する。【選択図】図７
2019164611.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、
３次元で地図を表現した地図画像において前記撮像画像の撮像範囲と同一範囲を前記撮像画像の撮像方向と同一方向から示す地図画像を、地図情報画像として取得する地図情報画像取得手段と、
前記移動体の周辺環境にある危険因子を判定する判定対象領域を設定する領域設定手段と、
前記撮像画像と前記地図情報画像とを入力画像として機械学習に入力することによって、前記判定対象領域における危険因子を、学習データに基づいて抽出する危険因子抽出手段と、を有する走行支援装置。
【請求項２】
前記危険因子抽出手段は、前記判定対象領域を特定する情報を機械学習に入力することによって、前記判定対象領域における危険因子を、学習データに基づいて抽出する請求項１に記載の走行支援装置。
【請求項３】
前記判定対象領域は、移動体が移動する道路と移動体の周囲にある分岐点で接続する道路である接続道路の一部を少なくとも含む領域とする請求項１又は請求項２に記載の走行支援装置。
【請求項４】
前記判定対象領域は、前記接続道路と前記分岐点とが接続する端部の周辺領域とする請求項３に記載の走行支援装置。
【請求項５】
前記判定対象領域は、前記接続道路の内、前記分岐点と接続する端部から前記接続道路に沿って所定距離以内の道路部分を含む領域とする請求項３に記載の走行支援装置。
【請求項６】
前記移動体から前記判定対象領域までの距離である道路距離を取得する道路距離取得手段を有し、
前記危険因子抽出手段は、
前記撮像画像及び前記地図情報画像における前記判定対象領域を前記道路距離に基づいて特定し、
前記判定対象領域内を対象として危険因子の抽出を行う請求項１乃至請求項５のいずれかに記載の走行支援装置。
【請求項７】
前記危険因子抽出手段は、多層構造のニューラルネットワークを用いた機械学習によって前記移動体の周辺環境にある危険因子を抽出する請求項１乃至請求項６のいずれかに記載の走行支援装置。
【請求項８】
前記危険因子抽出手段は、前記機械学習において生成される特徴マップに対して、前記判定対象領域に該当しない領域をマスク処理する請求項７に記載の走行支援装置。
【請求項９】
前記危険因子抽出手段は、ニューラルネットワークに対して、前記判定対象領域を特定する情報を新たなニューロンとして追加する請求項７に記載の走行支援装置。
【請求項１０】
コンピュータを、
移動体の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、
３次元で地図を表現した地図画像において前記撮像画像の撮像範囲と同一範囲を前記撮像画像の撮像方向と同一方向から示す地図画像を、地図情報画像として取得する地図情報画像取得手段と、
前記移動体の周辺環境にある危険因子を判定する判定対象領域を設定する領域設定手段と、
前記撮像画像と前記地図情報画像とを入力画像として機械学習に入力することによって、前記判定対象領域における危険因子を、学習データに基づいて抽出する危険因子抽出手段と、
して機能させる為のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の走行支援を行う走行支援装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、例えば車両等の移動体に対する走行支援の一つとして、移動体の周辺にある危険因子を抽出し、抽出した危険因子を案内することが行われている。危険因子とは移動体が走行する際に注意するべき因子であり、例えば移動体から視認することが難しい位置にある（以下同様）他車両や歩行者等の障害物、交差道路、横断歩道等の道路標識、車線の増減区間、道路に面する建物の出入口等がある。上記のような危険因子を判定する手段としては、例えば移動体の現在位置や方位と地図情報とを比較して判定することや、移動体に搭載されたカメラ、センサ或いは通信機器を用いて判定することが可能である。
【０００３】
例えば特開２０１２−１９２８７８号公報には、車両の走行中において車両に設置されたカメラ、センサ及び通信機器を用いて周辺にある他車両等の障害物の位置や移動速度をリアルタイムで検出し、車両に死角領域があって、且つ死角領域の危険度が高いと判定された場合には、死角領域にある障害物を回避する為の運転支援を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１９２８７８号公報（第８−１１頁）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１では、自車両と他車両との位置関係に基づいて俯瞰的に死角領域を判定しているが、実際に運転者から視認できる周辺環境については考慮していないので、死角領域と判定された領域が実際の運転者の死角領域と異なる場合があった。また、先行車両や対向車両の挙動によって死角領域の危険度を判定しているが、仮に先行車両や対向車両が危険度の高いと判定される挙動を行ったとしても、実際に死角領域が危険であるか否かを正確に判定することは困難であった。従って、危険因子とならない死角領域についても危険因子と判定され、支援対象となる可能性がある。
【０００６】
本発明は前記従来における問題点を解消するためになされたものであり、判定対象領域を設定することによって、移動体の周辺環境にある危険因子をより正確に判定することを可能にした走行支援装置及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するため本発明に係る走行支援装置は、移動体の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、３次元で地図を表現した地図画像において前記撮像画像の撮像範囲と同一範囲を前記撮像画像の撮像方向と同一方向から示す地図画像を、地図情報画像として取得する地図情報画像取得手段と、前記移動体の周辺環境にある危険因子を判定する判定対象領域を設定する領域設定手段と、前記撮像画像と前記地図情報画像とを入力画像として機械学習に入力することによって、前記判定対象領域における危険因子を、学習データに基づいて抽出する危険因子抽出手段と、を有する。
尚、「移動体」とは、車両に限定されず、歩行者、自転車等の道路を移動するものであれば良い。
また、「危険因子」とは、移動体が走行する際に注意するべき因子であり、例えば移動体から視認することが難しい位置にある（以下同様）他車両や歩行者等の障害物、交差道路、横断歩道等の道路標識、車線の増減区間、道路に面する建物の出入口等がある。
【０００８】
また、本発明に係るコンピュータプログラムは、移動体の走行支援を行うプログラムである。具体的には、コンピュータを、移動体の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、３次元で地図を表現した地図画像において前記撮像画像の撮像範囲と同一範囲を前記撮像画像の撮像方向と同一方向から示す地図画像を、地図情報画像として取得する地図情報画像取得手段と、前記移動体の周辺環境にある危険因子を判定する判定対象領域を設定する領域設定手段と、前記撮像画像と前記地図情報画像とを入力画像として機械学習に入力することによって、前記判定対象領域における危険因子を、学習データに基づいて抽出する危険因子抽出手段と、して機能させる。
【発明の効果】
【０００９】
前記構成を有する本発明に係る走行支援装置及びコンピュータプログラムによれば、３次元で地図を表現した地図画像と移動体の周辺の撮像画像とを入力画像として機械学習に入力するとともに、危険因子の判定対象となる判定対象領域を予め設定することによって、学習データに基づいて移動体の周辺環境にある危険因子をより正確に判定することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係るナビゲーション装置を示したブロック図である。
【図２】第２実施形態に係る機械学習処理プログラムのフローチャートである。
【図３】撮像画像の撮像範囲を示した図である。
【図４】撮像画像に基づいて生成される地図情報画像を示した図である。
【図５】判定対象領域の一例を説明した図である。
【図６】判定対象領域の一例を説明した図である。
【図７】第１実施形態に係る機械学習の一例を説明した図である。
【図８】撮像画像と地図情報画像とを比較した図である。
【図９】第１実施形態に係る危険因子判定処理プログラムのフローチャートである。
【図１０】第１実施形態に係る機械学習の一例を説明した図である。
【発明を実施するための形態】
【００１１】
以下、本発明に係る走行支援装置について、ナビゲーション装置に具体化した第１実施形態及び第２実施形態に基づき図面を参照しつつ詳細に説明する。
【００１２】
［第１実施形態］
先ず、第１実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は第１実施形態に係るナビゲーション装置１を示したブロック図である。
【００１３】
図１に示すように第１実施形態に係るナビゲーション装置１は、ナビゲーション装置１が搭載された車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、ユーザに対して車両周辺の地図やナビゲーション装置１に設定された案内経路に関する情報等を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスや危険因子に対する警告等を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、プローブセンタやＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１８と、を有している。また、ナビゲーション装置１は、ＣＡＮ等の車載ネットワークを介して、ナビゲーション装置１の搭載された車両に対して設置された車外カメラ１９が接続されている。
【００１４】
以下に、ナビゲーション装置１が有する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。
【００１５】
また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や撮像画像ＤＢ３２や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１２としてはハードディスクの代わりにメモリーカードやＣＤやＤＶＤ等の光ディスクを有しても良い。また、地図情報ＤＢ３１や撮像画像ＤＢ３２は外部のサーバに格納させ、ナビゲーション装置１が通信により取得しても良い。
【００１６】
ここで、地図情報ＤＢ３１は、２次元地図情報３３と３次元地図情報３４とがそれぞれ記憶される。２次元地図情報３３は、一般的なナビゲーション装置１において用いられる地図情報であり、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等を含む。
【００１７】
一方、３次元地図情報３４は、３次元で地図を表現した地図画像に関する情報である。特に第１実施形態では３次元で道路の輪郭を表現した地図画像に関する情報とする。尚、道路の輪郭以外の情報についても表現した地図画像としても良い。例えば、施設形状、道路の区画線、道路標識、看板等についても３次元で表現した地図画像としても良い。また、３次元地図情報３４としては３次元空間上に上記道路の輪郭を配置した地図そのものを記憶しても良いし、３次元で地図を表現する為に必要な情報（道路の輪郭の３次元の座標データなど）を記憶しても良い。３次元で地図を表現する為に必要な情報が格納されている場合には、ナビゲーション装置１は、必要なタイミングで３次元地図情報３４として記憶された情報を用いて、対象となるエリアを３次元で表現した地図を生成することが可能である。
【００１８】
そして、ナビゲーション装置１は、液晶ディスプレイ１５における地図画像の表示、案内経路の探索等の一般的な機能については２次元地図情報３３を用いて行う。また、後述のように危険因子の判定に係る処理については３次元地図情報３４を用いて行う。
【００１９】
また、撮像画像ＤＢ３２は、車外カメラ１９によって撮像された撮像画像３５が格納される記憶手段である。尚、車外カメラ１９によって撮像された撮像画像３５は累積的に撮像画像ＤＢ３２に格納され、古い画像から順に削除される。
【００２０】
一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、ナビゲーション装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の機械学習処理プログラム（図２参照）及び危険因子判定処理プログラム（図９参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１３は、処理アルゴリズムとしての各種手段を有する。例えば、周辺環境撮像手段は、移動体（車両）の周辺環境を撮像した撮像画像を取得する。地図情報画像取得手段は、３次元で地図を表現した地図画像において撮像画像の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から示す地図画像を、地図情報画像として取得する。領域設定手段は、移動体の周辺環境にある危険因子を判定する判定対象領域を設定する。危険因子抽出手段は、撮像画像と地図情報画像とを入力画像として機械学習に入力することによって、判定対象領域における危険因子を、学習データに基づいて抽出する。
【００２１】
操作部１４は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。
【００２２】
また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、ナビゲーション装置１で設定されている案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、液晶ディスプレイ１５の代わりに、ＨＵＤやＨＭＤを用いても良い。また、第１実施形態では特に、危険因子の判定結果の案内についても表示する。
【００２３】
また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。また、第１実施形態では特に、危険因子の判定結果の案内についても出力する。
【００２４】
また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１７に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。
【００２５】
また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。
【００２６】
また、車外カメラ１９は、例えばＣＣＤ等の固体撮像素子を用いたカメラにより構成され、車両のルームミラーの裏側やフロントバンパ等に取り付けられるとともに光軸方向を水平より所定角度下方に向けて設置される。そして、車外カメラ１９は、車両の進行方向前方の周辺環境を撮像する。また、ナビゲーションＥＣＵ１３は後述のように撮像された撮像画像を３次元地図情報３４の画像とともに複数チャネルの入力画像として機械学習に入力することによって、車両周辺にある危険因子を判定する。尚、車外カメラ１９は車両の側方や後方にも配置するように構成しても良い。また、車外カメラ１９の設置位置は運転者の目の位置（視線開始点）と略同一であって、光軸方向は通常時の運転者の視線方向と略同一となるように調整するのが望ましい。それによって、車外カメラ１９によって撮像された画像が運転者の視野と一致することとなり、危険因子の判定をより適切に行うことが可能となる。
【００２７】
第１実施形態に係るナビゲーション装置１において上記機械学習によって判定される危険因子とは、車両が走行する際に注意するべき（案内を行うべき）因子である。例えば車両から視認することが難しい位置にある（以下同様）他車両や歩行者等の障害物、交差道路、横断歩道等の道路標識、車線の増減区間、道路に面する建物の出入口等がある。例えば、「道路に面する建物の出入口」については、歩行者が新たに道路上に出現する可能性のある地点であり、車両が走行する際に注意するべき場所となる。また、「車線の増減区間」については他車両が車線変更を行う可能性のある地点であり、車両が走行する際に注意するべき場所となる。
【００２８】
尚、第１実施形態では前記したように３次元地図情報３４は、特に道路の輪郭線を３次元で表現した地図画像に関する情報である。従って、３次元地図情報３４の地図画像を機械学習に入力することによって判定対象となる危険因子は道路に関する因子、例えば“車両から視認することが難しい位置にある道路”となる。但し、３次元地図情報３４に含める情報の数を増やすことによって、その他の種類の危険因子についても判定対象とすることが可能である。例えば、３次元地図情報３４に区画線の情報を含めることによって、“車両から視認することが難しい位置にある車線の増減区間”を危険因子として判定対象とする。更に、３次元地図情報３４に施設の形状の情報を含めることによって、“車両から視認することが難しい位置にある道路に面する建物の出入口”を危険因子として判定対象とする。
【００２９】
続いて、上記構成を有する第１実施形態に係るナビゲーション装置１においてＣＰＵ４１が実行する機械学習処理プログラムについて図２に基づき説明する。図２は第１実施形態に係る機械学習処理プログラムのフローチャートである。ここで、機械学習処理プログラムは、車両のＡＣＣがＯＮされた後に実行され、車外カメラ１９で撮像した撮像画像と３次元地図情報３４とに基づいて危険因子を判定する為の機械学習を行う際における学習用教師信号（正解値）を設定するプログラムである。尚、機械学習処理プログラム（図２）は後述の危険因子を判定する為の危険因子判定処理プログラム（図９）と並行して実施される。即ち、危険因子判定処理プログラム（図９）によって危険因子の判定を行いつつ、機械学習処理プログラム（図２）によって危険因子の判定を行う為のより適切な学習用教師信号（正解値）を設定する。また、以下の図２及び図７にフローチャートで示されるプログラムは、ナビゲーションＥＣＵ１３が備えているＲＡＭ４２、ＲＯＭ４３等に記憶されており、ＣＰＵ４１により実行される。
【００３０】
先ず、機械学習処理プログラムでは、ステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は車両の現在位置及び方位を現在位置検出部１１の検出結果に基づいて取得する。具体的には、２次元地図情報３３を用いて車両の現在位置を示す地図上の位置座標を取得する。尚、車両の現在位置を検出する際には、車両の現在位置を２次元地図情報３３にマッチングさせるマップマッチング処理についても行う。更に、車両の現在位置は、高精度ロケーション技術を用いて特定しても良い。ここで、高精度ロケーション技術とは、車両後方のカメラから取り込んだ白線や路面ペイント情報を画像認識により検出し、更に、白線や路面ペイント情報を予め記憶した地図情報ＤＢと照合することにより、走行車線や高精度な車両位置を検出可能にする技術である。尚、高精度ロケーション技術の詳細については既に公知であるので省略する。尚、車両の現在位置及び方位は最終的に３次元地図情報３４の地図上で特定するのが望ましい。
【００３１】
次に、Ｓ２においてＣＰＵ４１は、地図情報ＤＢ３１に格納された３次元地図情報３４の内、特に前記Ｓ１で特定された車両の現在位置周辺（例えば車両の現在位置から３００ｍ周囲）の３次元地図情報３４を取得する。
【００３２】
続いて、Ｓ３においてＣＰＵ４１は、直近に車外カメラ１９で撮像された撮像画像を撮像画像ＤＢ３２から取得する。尚、車外カメラ１９で撮像された撮像画像は、運転者の視線開始点（視点）及び視線方向に対応して車両の進行方向前方、即ち運転者が視認する前方環境（運転者の視野）を撮像した画像である。
【００３３】
その後、Ｓ４においてＣＰＵ４１は、前記Ｓ３で取得した撮像画像の撮像範囲を取得する。ここで、図３に示すように撮像画像３５の撮像範囲は、撮像を行った時点の車外カメラ１９の焦点Ｐの位置、光軸方向α、画角φによって特定することが可能である。尚、画角φは車外カメラ１９によって予め決められた固定値である。一方、焦点Ｐの位置は前記Ｓ１で取得した車両の現在位置と車両における車外カメラ１９の設置位置に基づいて決まる。また、光軸方向αは前記Ｓ１で取得した車両の方位と車両における車外カメラ１９の設置方向に基づいて決まる。
【００３４】
次に、Ｓ５においてＣＰＵ４１は、前記Ｓ２で取得した３次元地図情報３４を用いて、前記Ｓ４で取得した撮像画像の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から視認した際の地図画像の俯瞰画像（以下、地図情報画像という）を生成する。尚、地図情報画像自体は、撮像画像と同じ２次元の画像である。
【００３５】
ここで、図４は撮像画像５１に対応して生成される地図情報画像５２の一例を示した図である。図４に示すように地図情報画像５２は撮像画像５１の撮像範囲（即ち運転者の視野内）に含まれる道路の輪郭５３を示す線が描かれた画像となる。そして、撮像画像５１では他車両等の障害物によって隠れている道路の輪郭についても地図情報画像５２では描かれることとなる。
【００３６】
その後、Ｓ６においてＣＰＵ４１は、車両の周辺環境にある危険因子を判定する判定対象領域を設定し、自車両から判定対象領域までの距離を取得する。以下の説明では危険因子として車両の進行方向前方にあって車両から視認することが難しい位置にある接続道路（分岐点で接続する道路）を判定する例について説明する。その場合において、危険因子を判定する判定対象領域としては、車両が走行する道路と車両の周囲にある分岐点で接続する接続道路の一部を少なくとも含む領域とするのが望ましい。
【００３７】
例えば、図４に示す例では、車両の進行方向前方にある分岐点５７に接続する道路５８、５９が接続道路に該当する。従って、道路５８、５９を対象として危険因子の判定が行われることとなり、危険因子を判定する判定対象領域は、道路５８、５９の一部を少なくとも含む領域に設定される。例えば一例として図５に示すように道路５８、５９が分岐点５７と接続する最も自車両側に位置する端部Ｘを中心とした周辺領域（例えば横３ｍ、高さ２ｍの矩形領域）を判定対象領域６１に設定する。或いは、図６に示すように道路５８、５９が分岐点５７と接続する最も自車両側に位置する端部Ｘを原点として、接続する分岐点５７から道路５８、５９に沿って離れる方向に３ｍ、高さ方向に２ｍの矩形領域を判定対象領域６１に設定することも可能である。尚、本実施形態では特に車両が走行する道路と交差する方向に接続する道路５８、５９を接続道路の対象とするが、進行方向に接続する道路６０についても接続道路に含めても良い。
【００３８】
そして、前記Ｓ６においてＣＰＵ４１は、自車両から判定対象領域までの距離として、車両が走行する道路と車両の周囲にある分岐点で接続する接続道路が分岐点と接続する最も自車両側に位置する端部（図５、図６に示す例では端部Ｘ）までの距離を取得する。具体的には、前記Ｓ１で取得した車両の現在位置と３次元地図情報３４に基づいて算出する。尚、車外カメラ１９がステレオカメラである場合には撮像画像から検出することも可能である。また、端部Ｘ以外に判定対象領域の基準となる地点があれば当該地点までの距離を取得しても良い。
【００３９】
尚、第１実施例では危険因子として、車両の進行方向前方にあって車両から視認することが難しい位置にある接続道路（分岐点で接続する道路）を判定する例について説明するが、その他の種類の危険因子（例えば建物の入り口、道路周辺を移動する歩行者、他車両等）についても判定対象とすることは可能である。そして、判定対象とする危険因子の種類に応じて、判定対象領域も適宜設定するのが望ましい。
【００４０】
その後、Ｓ７においてＣＰＵ４１は、前記Ｓ３で取得した撮像画像と前記Ｓ５で生成された地図情報画像とを複数チャネルの入力画像として機械学習に入力する。また、撮像画像に関してはＲＧＢの各３色で表現した３チャンネルの入力画像として機械学習に入力するので、地図情報画像と含めて４チャンネルの入力画像となる。尚、第１実施形態では特に多層構造の畳み込みニューラルネットワークを用いた機械学習（Deep Learning）を用いる。
【００４１】
図７に示すようにＲＧＢの各３色で表現した撮像画像５１と地図情報画像５２を４チャンネルの入力画像として学習モデルに入力すると、先ず畳み込みニューラルネットワーク（以下、畳み込みＣＮＮという）６５に基づく画像処理が行われる。畳み込みＣＮＮ６５では、『畳み込み層』と『プーリング層』を複数回繰り返し、その過程では危険因子を判定する為の特に重要な特徴マップ６６が出力される。
【００４２】
また、『畳み込み層』は入力した画像に対してフィルタをかける（畳み込む）層である。画像の畳み込みによって画像内のパターン（特徴）が検出できるようになる。また、畳み込むフィルタは複数とする。フィルタの数を複数とすることで入力した画像の様々な特徴を捉えることが可能となる。また、フィルタをかけることによって、出力される画像のサイズが小さくなる。出力された画像は特徴マップとも呼ばれる。また、この畳み込み層に用いるフィルタは設計者が設定する必要はなく、学習によって取得することが可能である。尚、学習が進むことによって、危険因子を判定する為の特に重要な特徴を抽出する為に適したフィルタが設定されることとなる。この機械学習処理プログラムによって設定する学習用教師信号（正解値）には上記フィルタも含まれる。
【００４３】
更に、Ｓ８においてＣＰＵ４１は、前記Ｓ６で設定した判定対象領域を特定する情報についても機械学習に入力する。特に第１実施形態に係るナビゲーション装置１では、入力された距離情報に基づいて上記畳み込みＣＮＮ６５において出力される特徴マップ６６に対してマスク処理を行うことにより上記入力を実行する。マスクを行うのは、判定対象領域以外の領域とする。
【００４４】
具体的にＣＰＵ４１は、先ず前記Ｓ６で取得した判定対象領域６１までの距離情報に基づいて、特徴マップ６６における判定対象領域６１（即ち、撮像画像５１及び地図情報画像５２における判定対象領域にも相当）の範囲の座標（マップ（画像）に対して設定した座標系での座標）を特定する。そして、特定された座標に基づいて、特徴マップ６６の内、判定対象領域に特定された領域以外に対してマスク処理を行う。尚、マスク処理が行われた領域で抽出された特徴については、危険因子の判定する為の特徴から除外される（即ちマスク処理が行われた領域外で危険因子が判定される）。
【００４５】
一方、『プーリング層』は畳み込み層の直後に置かれ、抽出された特徴の位置感度を低下させる。具体的には、畳み込みの出力を粗くリサンプリングすることによって、画像の多少のずれによる違いを吸収する。プーリング層でも入力画像に比べて出力画像のサイズは小さくなる。
【００４６】
そして、上記『畳み込み層』と『プーリング層』を複数回繰り返した後に、特徴マップ６６から最終的に全結合した多層パーセプトロンを出力する。多層パーセプトロンは１次元ベクトルのデータとなる。
【００４７】
その後、畳み込みＣＮＮ６５によって出力された全結合した多層パーセプトロンを、危険因子判定の為のニューラルネットワーク（以下、危険判定ＣＮＮという）６７の入力層に対して入力する。そして、危険判定ＣＮＮ６７では、入力層での処理を行った後の出力データである各ニューロンにウェイト（重み係数）を乗じたデータを次の中間層に対して入力する。そして、中間層においても同様に中間層での処理を行った後の出力データである各ニューロンにウェイト（重み係数）を乗じたデータを次の出力層に対して入力する。そして、出力層において中間層から入力されたデータを用いて最終的な危険因子の判定を行い、判定結果（即ち抽出された危険因子）が出力される。尚、危険判定ＣＮＮ６７は、学習が進むことによって、上記ウェイト（重み係数）がより適した値に適宜変更され、設定されることとなる。即ち機械学習処理プログラムによって設定する学習用教師信号（正解値）には上記ウェイト（重み係数）も含まれる。
【００４８】
また、特に第１実施形態では入力対象となる撮像画像５１と地図情報画像５２とを同一チャンネルで重ね合せて入力することによって、同一の画素間（即ち車両周辺の同一エリア）での相関、即ち撮像画像と地図情報画像との間に差分がある差分エリアを容易に識別することが可能となる。ＣＰＵ４１は、撮像画像と地図情報画像との間に差分がある差分エリアを、地図画像上には存在するが撮像画像では何らかの理由によって消失した（撮像されなかった）対象があるエリアであり、車両の乗員から死角となるエリアと推定する。従って、特に差分エリア内において機械学習によって抽出された特徴部分から危険因子を判定することによって、危険因子の判定に係る処理をより軽くすることが可能となる。尚、機械学習によって抽出される特徴部分としては、地図情報画像には含まれている一方で撮像画像には含まれていない対象物、即ち運転者の視野内にはあるが視認できない対象物が含まれることとなる。
【００４９】
例えば、図８に示す撮像画像５１（実際にはＲＧＢで表現された３つの画像）と地図情報画像５２とが機械学習に入力される場合には、地図情報画像５２には存在する道路の輪郭の一部が撮像画像５１では他車両によって消失する。即ち、図８に示す例では破線に囲まれたエリアが差分エリア６８となる。また、上記機械学習によって抽出される特徴部分は道路の輪郭線を被覆する他車両や消失した輪郭線となる。これらの特徴部分は差分エリア６８にあるので、差分エリア６８を容易に識別可能とすることによって、上記特徴部分の抽出に係る処理を容易化することが可能となる。
【００５０】
更に、第１実施形態では前述したように判定対象領域６１を特定する情報についても機械学習に入力する。その結果、特に判定対象領域６１内において機械学習によって抽出された特徴部分から危険因子を判定することとなる。それによって、運転者に視認できない接続道路等の運転者に存在を把握させるべき危険因子の候補が存在する場合において、機械学習によって該接続道路を危険因子として判定し易くなる。尚、図８に示す例では他車両によって道路の輪郭線が撮像画像５１から消失しているが、他車両以外にも建造物等によって消失する場合もある。
【００５１】
その後、Ｓ９においてＣＰＵ４１は、前記Ｓ７及びＳ８の学習結果に基づいて学習データである学習用教師信号（正解値）を設定する。尚、学習用教師信号には、上述したように畳み込み層に用いるフィルタや危険判定ＣＮＮ６７に用いるウェイト（重み係数）が含まれる。その結果、機械学習処理プログラムを繰り返し行うことによって、危険因子を特定する為の特に重要な特徴を抽出する為に適したフィルタが設定され、車両の周辺状況（シーン）からより正確な危険因子の判定を行うことが可能となる。特に第１実施形態では学習用教師信号には、地図情報画像には含まれている一方で撮像画像には含まれていない対象物（即ち運転者の視野内にはあるが視認できない対象物）を危険因子として判定する為の学習データを含むこととなる。
【００５２】
続いて、第１実施形態に係るナビゲーション装置１においてＣＰＵ４１が実行する危険因子判定処理プログラムについて図９に基づき説明する。図９は第１実施形態に係る危険因子判定処理プログラムのフローチャートである。ここで、危険因子判定処理プログラムは、車両のＡＣＣがＯＮされた後に実行され、車外カメラ１９で撮像した撮像画像と３次元地図情報３４とに基づいて車両の周囲にある危険因子を判定し、判定結果を出力するプログラムである。尚、危険因子判定処理プログラム（図９）は前述した機械学習処理プログラム（図２）と並行して実施される。即ち、危険因子判定処理プログラム（図９）によって危険因子の判定を行いつつ、機械学習処理プログラム（図２）によって危険因子の判定を行う為のより適切な学習用教師信号（正解値）を設定する。
【００５３】
先ず、危険因子判定処理プログラムでは、Ｓ１１において、ＣＰＵ４１は車両の現在位置及び方位を現在位置検出部１１の検出結果に基づいて取得する。尚、詳細はＳ１と同様であるので省略する。
【００５４】
次に、Ｓ１２においてＣＰＵ４１は、地図情報ＤＢ３１に格納された３次元地図情報３４の内、特に前記Ｓ１１で特定された車両の現在位置周辺（例えば車両の現在位置から３００ｍ周囲）の３次元地図情報３４を取得する。
【００５５】
続いて、Ｓ１３においてＣＰＵ４１は、直近に車外カメラ１９で撮像された撮像画像を撮像画像ＤＢ３２から取得する。尚、車外カメラ１９で撮像された撮像画像は、運転者の視線開始点（視点）及び視線方向に対応して車両の進行方向前方、即ち運転者が視認する前方環境（運転者の視野）を撮像した画像である。
【００５６】
その後、Ｓ１４においてＣＰＵ４１は、前記Ｓ３で取得した撮像画像の撮像範囲を取得する。尚、詳細はＳ４と同様であるので省略する。
【００５７】
次に、Ｓ１５においてＣＰＵ４１は、前記Ｓ１２で取得した３次元地図情報３４を用いて、前記Ｓ１４で取得した撮像画像の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から視認した際の地図画像の俯瞰画像（地図情報画像）を生成する。
【００５８】
その後、Ｓ１６においてＣＰＵ４１は、車両の周辺環境にある危険因子を判定する判定対象領域を設定し、車両から判定対象領域までの距離を取得する。尚、詳細はＳ６と同様であるので省略する。
【００５９】
続いて、Ｓ１７においてＣＰＵ４１は、前記Ｓ１３で取得した撮像画像と前記Ｓ１５で生成された地図情報画像とを複数チャネルの入力画像として機械学習に入力する。また、撮像画像に関してはＲＧＢの各３色で表現した３チャンネルの入力画像として機械学習に入力するので、地図情報画像と含めて４チャンネルの入力画像となる。尚、第１実施形態では特に多層構造の畳み込みニューラルネットワークを用いた機械学習（Deep Learning）を用いる。
【００６０】
尚、第１実施形態では特に多層構造の畳み込みニューラルネットワークを用いた機械学習（Deep Learning）を用いる。また、前述した機械学習処理プログラム（図２）によって設定された最新の学習用教師信号（正解値）を用いる。
【００６１】
更に、Ｓ１８においてＣＰＵ４１は、前記Ｓ１６で設定した判定対象領域を特定する情報についても機械学習に入力する。尚、機械学習の内容についてはＳ７及びＳ８で説明したので詳細は省略する
【００６２】
そして、Ｓ１９においてＣＰＵ４１は、前記Ｓ１７及びＳ１８の機械学習の結果に基づいて車両の周辺環境にある危険因子の判定を行う。上述したように第１実施形態では入力対象となる撮像画像と地図情報画像とを同一チャンネルで重ね合せて入力することによって、同一の画素間（即ち車両周辺の同一エリア）での相関、即ち撮像画像と地図情報画像との間に差分がある差分エリアを容易に識別することが可能となる。また、特に予め設定された判定対象領域内において機械学習によって抽出された特徴部分から危険因子を判定する。それによって、危険因子の判定並びに抽出に係る処理をより正確かつ軽くすることが可能となる。尚、学習用教師信号には、地図情報画像には含まれている一方で撮像画像には含まれていない対象物（即ち運転者の視野内にはあるが視認できない対象物）を危険因子として判定する為の学習データを含むので、車両の周辺環境において運転者に視認できない接続道路等の危険因子の候補が存在する場合において、学習用教師信号等の学習データに基づいて該接続道路を危険因子として正確に判定することが可能となる。
【００６３】
尚、学習を重ねることによってより精度が向上すれば、運転者が気付くことができない危険因子についても判定することが可能となる。
【００６４】
その後ナビゲーション装置１では、危険因子の判定結果（即ち抽出された危険因子）を出力する。具体的には、危険因子が存在すると判定された場合には、危険因子が存在することをユーザに案内しても良いし、危険因子を避ける車両制御を行っても良い。例えば、「車両の前方に注意してください」との案内を行う。また、危険因子がどのような種類のものであるかを機械学習によって判別できるのであれば、より具体的に危険因子を特定する案内（例えば「車両の前方死角にある交差道路に注意してください」）を行っても良い。また、危険因子の位置についても案内しても良い。一方、車両制御を行う場合には、例えば減速制御を行う。また、自動運転車両に対して適用することも可能である。その場合には、例えば危険因子を避ける走行経路を設定する等の制御が可能である。
【００６５】
以上詳細に説明した通り、第１実施形態に係るナビゲーション装置１及びナビゲーション装置１で実行されるコンピュータプログラムでは、車両の周辺環境を撮像した撮像画像を取得し（Ｓ１３）、３次元で地図を表現した地図画像において撮像画像の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から示す地図画像である地図情報画像を取得し（Ｓ１５）、車両の周辺環境にある危険因子を判定する判定対象領域を設定し（Ｓ１６、Ｓ１８）、撮像画像と地図情報画像とを入力画像として機械学習に入力することによって、判定対象領域における危険因子を、学習データに基づいて抽出する（Ｓ１７、Ｓ１８）ので、学習データに基づいて移動体の周辺環境にある危険因子をより正確に判定することが可能となる。
また、従来技術（例えば特開２０１２−１９２８７８号公報）では車両の走行中において車両に設置されたカメラ、センサ及び通信機器を用いて周辺にある先行車両、対向車両の位置や移動速度を常時検出する必要があり、該当する車両の数が多くなると、危険因子の判定に係る処理負担が非常に重くなる問題がある。それに対し、第１実施形態では危険因子の判定に関する処理負担について従来に比べて軽くすることが可能となる。
【００６６】
［第２実施形態］
次に、第２実施形態に係るナビゲーション装置について図１０に基づいて説明する。尚、以下の説明において上記図１乃至図９の第１実施形態に係るナビゲーション装置１の構成と同一符号は、前記第１実施形態に係るナビゲーション装置１等の構成と同一あるいは相当部分を示すものである。
【００６７】
この第２実施形態に係るナビゲーション装置の概略構成は、第１実施形態に係るナビゲーション装置１とほぼ同じ構成である。また、各種制御処理も第１実施形態に係るナビゲーション装置１とほぼ同じ制御処理である。
ただし、第１実施形態に係るナビゲーション装置１が、危険因子を判定する学習処理において判定対象領域を特定する情報を機械学習に入力する際（Ｓ８、Ｓ１８）に、畳み込みＣＮＮ６５において出力される特徴マップ６６に対してマスク処理を行うのに対して、第２実施形態に係るナビゲーション装置は、判定対象領域を特定する情報をニューロンとして追加する点で第１実施形態に係るナビゲーション装置１と異なっている。
【００６８】
以下に、第２実施形態に係るナビゲーション装置において実行される危険因子を判定する学習処理（Ｓ７、Ｓ８、Ｓ１７、Ｓ１８）について図１０に基づき説明する。
【００６９】
図１０に示すようにＲＧＢの各３色で表現した撮像画像５１と地図情報画像５２を４チャンネルの入力画像として学習モデルに入力すると、先ず畳み込みニューラルネットワーク（以下、畳み込みＣＮＮという）６５に基づく画像処理が行われる。畳み込みＣＮＮ６５では、『畳み込み層』と『プーリング層』を複数回繰り返し、その過程では危険因子を判定する為の特に重要な特徴マップ６６が出力される。但し、第２実施形態では特徴マップ６６に対するマスク処理は行われない。
【００７０】
そして、上記『畳み込み層』と『プーリング層』を複数回繰り返した後に、特徴マップ６６から最終的に全結合した多層パーセプトロンを出力する。多層パーセプトロンは１次元ベクトルのデータとなる。
【００７１】
その後、畳み込みＣＮＮ６５によって出力された全結合した多層パーセプトロンを、危険因子判定の為の危険判定ＣＮＮ６７の入力層に対して入力する。その際に、ＣＰＵ４１は、判定対象領域６１を特定する情報を新たなニューロン（特徴データ）として危険判定ＣＮＮ６７に対して入力する。
【００７２】
具体的にＣＰＵ４１は、先ず前記Ｓ６又はＳ１６で取得した判定対象領域までの距離情報に基づいて、特徴マップ６６における判定対象領域６１（即ち、撮像画像５１と地図情報画像５２における判定対象領域にも相当）の範囲の座標（マップ（画像）に対して設定した座標系での座標）を特定する。そして、特定された座標データを新たなニューロンとして危険判定ＣＮＮ６７に対して入力する。尚、判定対象領域６１が複数あればニューロンも複数追加することが可能である。
【００７３】
そして、危険判定ＣＮＮ６７では、入力層での処理を行った後の出力データである各ニューロンにウェイト（重み係数）を乗じたデータを次の中間層に対して入力する。そして、中間層においても同様に中間層での処理を行った後の出力データである各ニューロンにウェイト（重み係数）を乗じたデータを次の出力層に対して入力する。そして、出力層において中間層から入力されたデータを用いて最終的な危険因子の判定を行い、判定結果（即ち抽出された危険因子）が出力される。また、判定対象領域６１を特定するニューロンを追加することによって、特に判定対象領域６１内において抽出された特徴部分を対象として危険因子を判定することが可能となる。それによって、危険因子の判定並びに抽出に係る処理をより正確かつ軽くすることが可能となる。
【００７４】
以上詳細に説明した通り、第２実施形態に係るナビゲーション装置１及びナビゲーション装置１で実行されるコンピュータプログラムでは、車両の周辺環境を撮像した撮像画像を取得し（Ｓ１３）、３次元で地図を表現した地図画像において撮像画像の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から示す地図画像である地図情報画像を取得し（Ｓ１５）、車両の周辺環境にある危険因子を判定する判定対象領域を設定し（Ｓ１６、Ｓ１８）、撮像画像と地図情報画像とを入力画像として機械学習に入力することによって、判定対象領域における危険因子を、学習データに基づいて抽出する（Ｓ１７、Ｓ１８）ので、学習データに基づいて移動体の周辺環境にある危険因子をより正確に判定することが可能となる。
【００７５】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、上記実施形態では、３次元地図情報３４は３次元で道路の輪郭を表現した地図画像に関する情報であるが、道路の輪郭以外の情報を表現した地図情報としても良い。例えば、施設形状、道路の区画線、道路標識、看板等についても表現した地図画像としても良い。その場合には、危険因子として交差道路以外の因子についても判定対象とすることが可能となる。例えば、３次元地図情報３４に区画線の情報を含めることによって、“車両から視認することが難しい位置にある車線の増減区間”を危険因子として判定することが可能となる。また、３次元地図情報３４に施設形状の情報を含めることによって、“車両から視認することが難しい位置にある建物の出入口”を危険因子として判定することが可能となる。
【００７６】
また、上記実施形態では、車両の周辺環境にある危険因子を判定する判定対象領域として、『車両が走行する道路と車両の周囲にある分岐点で接続する接続道路の一部を少なくとも含む領域』としているが、判定対象とする危険因子の種類が変われば、それに応じて判定対象領域も適宜変更するのが望ましい。例えば、“車両から視認することが難しい位置にある建物の出入口”を危険因子として判定する場合には、『車両が走行する道路に面する建物の出入口の一部を少なくとも含む領域』を判定対象領域として設定することが可能である。
【００７７】
また、上記実施形態では機械学習として特に多層構造の畳み込みニューラルネットワークを用いた機械学習（Deep Learning）を用いているが、その他の機械学習を用いることも可能である。
【００７８】
また、上記実施形態では機械学習処理プログラム（図２）と危険因子判定処理プログラム（図９）と並行して実施しているが、各プログラムは必ずしも同時に実行する必要はなく、例えば危険因子判定処理プログラム（図９）を実行した後に機械学習処理プログラム（図２）を実行しても良い。
【００７９】
また、上記実施形態では機械学習処理プログラム（図２）及び危険因子判定処理プログラム（図９）はナビゲーション装置１が実施しているが、ナビゲーション装置以外の車載器が実施する構成としても良い。また、車載器が全ての処理を実施するのではなく、一部の処理を外部サーバが実施することとしても良い。
【００８０】
また、本発明に係る走行支援装置を具体化した実施例について上記に説明したが、走行支援装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。
【００８１】
例えば、第１の構成は以下のとおりである。
移動体の周辺環境を撮像した撮像画像（５１）を取得する周辺環境撮像手段（４１）と、３次元で地図を表現した地図画像において前記撮像画像の撮像範囲と同一範囲を前記撮像画像の撮像方向と同一方向から示す地図画像を、地図情報画像（５２）として取得する地図情報画像取得手段（４１）と、前記移動体の周辺環境にある危険因子を判定する判定対象領域（６１）を設定する領域設定手段（４１）と、前記撮像画像と前記地図情報画像とを入力画像として機械学習に入力することによって、前記判定対象領域における危険因子を、学習データに基づいて抽出する危険因子抽出手段（４１）と、を有する。
上記構成を有する走行支援装置によれば、３次元で地図を表現した地図画像と移動体の周辺の撮像画像とを入力画像として機械学習に入力するとともに、危険因子の判定対象となる判定対象領域を予め設定することによって、学習データに基づいて移動体の周辺環境にある危険因子をより正確に判定することが可能となる。
【００８２】
また、第２の構成は以下のとおりである。
前記危険因子抽出手段（４１）は、前記判定対象領域（６１）を特定する情報を機械学習に入力することによって、前記判定対象領域における危険因子を、学習データに基づいて抽出する。
上記構成を有する走行支援装置によれば、判定対象領域を特定する情報を機械学習に入力することによって、判定対象領域内に絞って危険因子の判定が可能となり、従来に比べて判定対象領域内にある危険因子を正確に判定でき、更に判定に関する処理負担も軽くすることが可能となる。
【００８３】
また、第３の構成は以下のとおりである。
前記判定対象領域（６１）は、移動体が移動する道路と移動体の周囲にある分岐点で接続する道路である接続道路の一部を少なくとも含む領域とする。
上記構成を有する走行支援装置によれば、特に移動体の周辺の分岐点に接続する接続道路周辺にある危険因子について正確に判定することが可能となる。
【００８４】
また、第４の構成は以下のとおりである。
前記判定対象領域（６１）は、前記接続道路と前記分岐点とが接続する端部の周辺領域とする。
上記構成を有する走行支援装置によれば、特に移動体の周辺の分岐点と、分岐点に接続する接続道路と、の接続点付近にある危険因子について正確に判定することが可能となる。
【００８５】
また、第５の構成は以下のとおりである。
前記判定対象領域（６１）は、前記接続道路の内、前記分岐点と接続する端部から前記接続道路に沿って所定距離以内の道路部分を含む領域とする。
上記構成を有する走行支援装置によれば、特に移動体の周辺の分岐点と、分岐点に接続する接続道路と、の接続点付近にある危険因子について正確に判定することが可能となる。
【００８６】
また、第６の構成は以下のとおりである。
前記移動体から前記判定対象領域までの距離である道路距離を取得する道路距離取得手段（４１）を有し、前記危険因子抽出手段（４１）は、前記撮像画像（５１）及び前記地図情報画像（５２）における前記判定対象領域を前記道路距離に基づいて特定し、前記判定対象領域内を対象として危険因子の抽出を行う。
上記構成を有する走行支援装置によれば、危険因子の判定対象となる判定対象領域までの距離を取得することによって、学習データに基づいて判定対象領域にある危険因子をより正確に判定することが可能となる。
【００８７】
また、第７の構成は以下のとおりである。
前記危険因子抽出手段（４１）は、多層構造のニューラルネットワークを用いた機械学習によって前記移動体の周辺環境にある危険因子を判定する。
上記構成を有する走行支援装置によれば、多層構造のニューラルネットワークを用いた機械学習によって、画像の特徴をより深いレベルで学習し、非常に高い精度で特徴を認識できるので、危険因子のより正確な判定が可能となる。特に、ユーザ側で特徴を抽出する為のフィルタを設定することなく、学習によって最適なフィルタを設定することが可能である。
【００８８】
また、第８の構成は以下のとおりである。
前記危険因子抽出手段（４１）は、前記機械学習において生成される特徴マップに対して、前記判定対象領域に該当しない領域をマスク処理する。
上記構成を有する走行支援装置によれば、特徴マップに対するマスク処理を行うことによって、判定対象領域内に絞って危険因子の判定が可能となり、従来に比べて判定対象領域内にある危険因子を正確に判定でき、更に判定に関する処理負担も軽くすることが可能となる。
【００８９】
また、第９の構成は以下のとおりである。
前記危険因子抽出手段（４１）は、ニューラルネットワークに対して、前記判定対象領域を特定する情報を新たなニューロンとして追加する。
上記構成を有する走行支援装置によれば、判定対象領域を特定する情報を新たなニューロンとして追加する処理を行うことによって、判定対象領域内に絞って危険因子の判定が可能となり、従来に比べて判定対象領域内にある危険因子を正確に判定でき、更に判定に関する処理負担も軽くすることが可能となる。
【符号の説明】
【００９０】
１              ナビゲーション装置
１３            ナビゲーションＥＣＵ
１９            車外カメラ
３１            地図情報ＤＢ
３２            撮像画像ＤＢ
３３            ２次元地図情報
３４            ３次元地図情報
４１            ＣＰＵ
４２            ＲＡＭ
４３            ＲＯＭ
５１            撮像画像
５２            地図情報画像
６１            判定対象領域
６５            畳み込みＣＮＮ
６７            危険判定ＣＮＮ
【図１】
2019164611.tif 000003
【図２】
2019164611.tif 000004
【図３】
2019164611.tif 000005
【図４】
2019164611.tif 000006
【図５】
2019164611.tif 000007
【図６】
2019164611.tif 000008
【図７】
2019164611.tif 000009
【図８】
2019164611.tif 000010
【図９】
2019164611.tif 000011
【図１０】
2019164611.tif 000012