(57)【特許請求の範囲】
【請求項１】
車両が現在走行している地点から、所定時間経過後に前記車両が走行する地点の環境を示した第１環境情報を取得する取得部と、
車両が走行した地点の環境を示した第２環境情報と、当該第２環境情報で示された環境で運転者が行うべき基準の安全確認動作を示した確認動作情報と、を対応付けて記憶する確認情報記憶部と、
前記車両を運転している運転者が実際に行った安全確認動作を示した実動作情報を取得する動作取得部と、
前記車両が過去に走行した経路の地点毎の交通環境を示した第３環境情報と、当該第３環境情報で示された環境で運転者が実際に行った安全確認動作を示した実動作情報と、を対応付けて記憶する動作情報記憶部と、
前記動作情報記憶部を参照し、前記所定時間経過後に前記第１環境情報で示される地点の環境で前記運転者が行う安全確認動作を予測する動作予測部と、
前記第１環境情報で示された環境の前記第２環境情報と前記確認情報記憶部で対応付けられ、基準の安全確認動作を示した前記確認動作情報と、前記第１環境情報で示された環境の前記第３環境情報と前記動作情報記憶部で対応付けられ、前記運転者が行うと予測される安全確認動作を示した前記実動作情報と、を比較する比較部と、
前記比較部の比較結果に基づいて、前記第１環境情報で示された環境を前記車両が走行する前に、通知を行う通知部と、
を備える運転支援装置。
【請求項２】
前記第３環境情報と、前記第３環境情報で示された環境を前記車両が走行している時の運転者の安全確認動作として前記動作取得部により取得された前記実動作情報と、を対応付けて前記動作情報記憶部を更新する更新部を、さらに備える請求項１に記載の運転支援装置。
【請求項３】
前記取得部は、地図情報に基づいて前記車両の目的地までの経路を導出する車両案内装置から、前記第１環境情報を取得する、
請求項１又は２に記載の運転支援装置。
【請求項４】
前記第３環境情報と、前記第３環境情報で示された地点の環境を走行する際の前記車両の運転状態が示された運転状態情報と、を対応付けて記憶する運転状態記憶部を備え、
前記取得部は、前記車両の現在の運転状態を示した前記運転状態情報と前記運転状態記憶部で対応付けられた前記第３環境情報に基づいて、前記車両の進行方向として推測される、前記第１環境情報を取得する、
請求項１又は２に記載の運転支援装置。
【請求項５】
前記比較部は、前記実動作情報で示された、前記運転者が実際に行った安全確認動作における視野の範囲が、前記確認動作情報で示された確認すべき視野の範囲と比べて、広いか否かを判定し、
前記通知部は、前記実動作情報で示された前記運転者の視野の範囲が、前記確認動作情報で示された、確認すべき視野の範囲と比べて広くないと判定した場合に、通知を行う、
請求項１乃至４のうちいずれか一つに記載の運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、運転支援装置に関する。
【背景技術】
【０００２】
従来から、車両を運転する運転者の顔の向きを検出して、運転者が脇見運転等を行っている場合には、運転者に対して警報を行う技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３４７４６４号公報
【特許文献２】特開２００２−０８３４００号公報
【特許文献３】特開平０４−３３２１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術においては、ある交通環境において、当該交通環境に応じた注意を運転者が行っていないことを検出してから注意を促す場合、運転者が当該注意を聞いた時には危ない状況の直前になっている可能性もある。このため、注意喚起は早いほうが望ましい。
【課題を解決するための手段】
【０００５】
実施形態の運転支援装置は、車両が現在走行している地点から、所定時間経過後に車両が走行する地点の環境を示した第１環境情報を取得する取得部と、車両が走行した地点の環境を示した第２環境情報と、当該第２環境情報で示された環境で運転者が行うべき基準の安全確認動作を示した確認動作情報と、を対応付けて記憶する確認情報記憶部と、前記車両を運転している運転者が実際に行った安全確認動作を示した実動作情報を取得する動作取得部と、前記車両が過去に走行した経路の地点毎の交通環境を示した第３環境情報と、当該第３環境情報で示された環境で運転者が実際に行った安全確認動作を示した実動作情報と、を対応付けて記憶する動作情報記憶部と、前記動作情報記憶部を参照し、前記所定時間経過後に前記第１環境情報で示される地点の環境で前記運転者が行う安全確認動作を予測する動作予測部と、前記第１環境情報で示された環境の前記第２環境情報と前記確認情報記憶部で対応付けられ、基準の安全確認動作を示した前記確認動作情報と、前記第１環境情報で示された環境の前記第３環境情報と前記動作情報記憶部で対応付けられ、前記運転者が行うと予測される安全確認動作を示した前記実動作情報と、を比較する比較部と、前記比較部の比較結果に基づいて、前記第１環境情報で示された環境を車両が走行する前に、通知を行う通知部と、を備える。上記構成により、運転者が事前に安全確認を行うことができるので、安全性を向上させることができる。
【０００６】
実施形態の運転支援装置においては、
前記第３環境情報と、前記第３環境情報で示された環境を前記車両が走行している時の運転者の動作として前記動作取得部により取得された前記動作情報と、を対応付けて前記動作情報記憶部を更新する更新部と、
をさらに備える。上記構成により、動作記憶部に運転者が実際に行った動作が格納されるため、より適切な通知を行うことができるので、安全性を向上させることができる。
【０００７】
また、実施形態の運転支援装置においては、取得部は、地図情報に基づいて車両の目的地までの経路を導出する車両案内装置から、第１環境情報を取得する。上記構成により、車両の走行先について事前に安全確認を行うことができるので、安全性を向上させることができる。
【０００８】
また、実施形態の運転支援装置においては、前記第３環境情報と、前記第３環境情報で示された地点の環境を走行する際の前記車両の運転状態が示された運転状態情報と、を対応付けて記憶する運転状態記憶部を備え、前記取得部は、前記車両の現在の運転状態を示した前記運転状態情報と前記運転状態記憶部で対応付けられた前記第３環境情報に基づいて、前記車両の進行方向として推測される、前記第１環境情報を取得する。上記構成により、車両の走行先について事前に安全確認を行うことができるので、安全性を向上させることができる。
【０００９】
また、実施形態の運転支援装置においては、比較部は、実動作情報で示された、前記運転者が実際に行った安全確認動作における運転者の視野の範囲が、確認動作情報で示された確認すべき視野の範囲と比べて、広いか否かを判定し、通知部は、前記実動作情報で示された運転者の視野の範囲が、前記確認動作情報で示された、確認すべき視野の範囲と比べて広くないと判定した場合に、通知を行う。上記構成により、運転者が実際に行った動作に基づいた通知を行うことができるので、安全性を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態にかかる車両の車室の一部が透視された状態が示された斜視図である。
【図２】図２は、第１の実施形態にかかる撮像装置の配置の一例を示す図である。
【図３】図３は、第１の実施形態にかかる運転支援システムの構成の一例を示すブロック図である。
【図４】図４は、第１の実施形態のＥＣＵの機能的構成を示すブロック図である。
【図５】図５は、第１の実施形態の動作履歴データベースのテーブル構造を例示した図である。
【図６】図６は、第１の実施形態の運転支援システムにおけるメッセージを通知するまでの処理手順を示すフローチャートである。
【図７】図７は、第１の実施形態の車両が交差点で右折する際に行われる通知の概念を例示した図である。
【図８】図８は、第１の実施形態の車両が道路を走行中に細い脇道がある場合に行われる通知の概念を例示した図である。
【図９】図９は、第１の実施形態の車両が交差点の右折時に対向車等が存在する場合に、歩行者等に対する注意喚起を行うための通知の概念を例示した図である。
【図１０】図１０は、第１の実施形態の車両に設けられた測距部が、停車車両を検出した場合に、注意喚起のための通知の概念を例示した図である。
【図１１】図１１は、第１の実施形態の車両が駐車スペースに駐車するために後退する場合を例示した図である。
【図１２】図１２は、第１の実施形態にかかる車両が見通しの良い交差点を走行している場合を例示した図である。
【図１３】図１３は、第１の実施形態の運転支援システムにおける動作履歴データベースを更新するまでの処理手順を示したフローチャートである。
【図１４】図１４は、第２の実施形態のＥＣＵの機能的構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、第１の実施形態の運転支援装置を車両１に搭載した例をあげて説明する。
【００１２】
本実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
【００１３】
図１に示されるように、車両１の車体２は、運転者（不図示）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。
【００１４】
また、図１に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。
【００１５】
また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、カーナビゲーション装置１１が設けられている。カーナビゲーション装置１１には、表示装置や音声出力装置が設けられている。表示装置は、例えば、ＬＣＤ（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）や、ＯＥＬＤ（ｏｒｇａｎｉｃ  ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ  ｄｉｓｐｌａｙ）等である。音声出力装置は、例えば、スピーカである。また、表示装置は、例えば、タッチパネル等、透明な操作入力部で覆われている。乗員は、操作入力部を介して表示装置の表示画面に表示される画像を視認することができる。また、乗員は、表示装置の表示画面に表示される画像に対応した位置において手指等で操作入力部を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。
【００１６】
また、図１に例示されるように、車体２には、複数の測距部１６と、複数の測距部１７とが設けられている。本実施形態の測距部１７は、車体２の後面及び前面に設けられている。また、本実施形態の測距部１６は、車体の右側面及び左側面に設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。本実施形態では、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定できる。
【００１７】
また、図２に示すように、ハンドルコラム２０２には、撮像装置２０１が設置されている。この撮像装置２０１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ等とする。撮像装置２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角及び姿勢が調整されている。この撮像装置２０１は、運転者３０２の顔を順次撮影し、撮影により得た画像についての画像データを順次出力する。
【００１８】
次に、本実施形態にかかる車両１における運転支援装置を有する運転支援システムについて説明する。図３は、本実施形態にかかる運転支援システム１００の構成の一例を示すブロック図である。図３に例示されるように、運転支援システム１００では、ＥＣＵ１４や、カーナビゲーション装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、アクチュエータ１３ａを含む操舵システム１３、アクチュエータ１８ａを含むブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部等の操作信号等を、受け取ることができる。ここで、ＥＣＵ１４は、運転支援装置の一例である。
【００１９】
カーナビゲーション装置１１は、表示装置８、音声出力装置９、操作入力部１０の他に、ＣＰＵ１１ａと、地図データ記憶部１１ｂと、を備えている。ＣＰＵ１１ａは（図示しない）カーナビゲーションプログラムを実行することで、操作入力部１０を介した目的地の入力操作が行われた場合に、地図データ記憶部１１ｂに記憶された地図データを参照して、目的地までの経路データを導出できる。
【００２０】
そして、カーナビゲーション装置１１は、表示装置８に、導出された経路データを表示できる。また、カーナビゲーション装置１１は、導出された経路データに従った車両１の経路案内を、音声出力装置９から音声を出力することで実現できる。また、カーナビゲーション装置１１が導出した経路データは、ＥＣＵ１４等の車両１内部の他の構成に対して出力できる。また、カーナビゲーション装置１１は、経路データに従って、車両１が現在走行している地点から、走行先の地点の交通環境を示した走行先環境データも出力できる。
【００２１】
走行先環境データとは、現在走行している地点から、走行先の地点における周囲の環境と、当該経路データに従って地点を走行した場合の車両１の状態と、を含むデータとする。走行先環境データを参照することで、例えば、現在から先の交差点で車両１が右折する等を認識できる。
【００２２】
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）や、ＲＯＭ１４ｂ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ１４ｃ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
【００２３】
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
【００２４】
図４は、本実施形態のＥＣＵ１４の機能的構成を示すブロック図である。図４に示されるように、ＥＣＵ１４は、ＲＯＭ１４ｂに、動作履歴データベース４０１と、確認基準データベース４０２と、を備えている。また、ＥＣＵ１４は、（図示しない）運転支援プログラムを実行することで、取得部４０３と、動作予測部４０４と、確認行動取得部４０５と、比較部４０６と、通知部４０７と、顔画像入力部４１１と、顔データ計測部４１２と、モデル生成部４１３と、動作取得部４１４と、履歴更新部４１５と、を実現する。本実施形態は、（図示しない）運転支援プログラムを実行することで実現される構成として説明するが、これらの構成をハードウェアで実現するように構成しても良い。
【００２５】
動作履歴データベース４０１は、車両１が走行した経路の地点毎の交通環境を示したデータ（換言すれば第３環境情報に相当する）と、当該交通環境で運転者が実際に行った動作に関する情報（換言すれば実動作情報に相当する）と、を対応付けて記憶する。本実施形態では、運転者が実際に行った動作に関する情報として、視線の移動頻度と、顔の移動範囲と、を含む。
【００２６】
交通環境を示すデータとは、地点における周囲の環境と、当該地点走行時の車両１の状態と、を含むデータとする。これにより、例えば、交通環境を示すデータには、交差点を示すデータと、当該交差点で車両１が右折したことを示すデータと、が含まれる。当該交通環境を示すデータは、周囲の環境を示すデータとして、当該道路上に存在した障害物や、道路標識の有無等を含めても良い。
【００２７】
図５は、本実施形態の動作履歴データベース４０１のテーブル構造を例示した図である。図５に示されるように、本実施形態の動作履歴データベース４０１は、交通環境を示すデータと、視線の移動頻度と、顔の移動範囲と、を対応付けて記憶している。
【００２８】
視線の移動頻度は、交通環境に格納されている環境で運転者が行った視線の移動回数が格納されている。例えば、視線の移動頻度には、５回等が格納されている。これにより、例えば、交差点を右折する際に、運転者が５回程度周囲を確認したことを把握できる。
【００２９】
顔の移動範囲は、顔の向きデータと、視線方向と、を含んでいる。顔の向きデータは、運転者の顔の向きを示すデータであって、本実施形態ではＸ軸、Ｙ軸、及びＺ軸の位置を示す情報と、Ｘ軸、Ｙ軸、Ｚ軸の回転を示す情報と、が格納される。視線方向は、運転者の視線の方向を示す情報が格納される。これにより、顔の移動範囲には、運転者が確認した視野の範囲が含まれている。
【００３０】
確認基準データベース４０２は、例えば自動車教習所などの、規範運転者が車両を運転操作した場合に、当該車両が走行した地点の交通環境を示すデータ（換言すれば第２環境情報に相当する）と、当該交通環境で上記規範運転者が行った安全確認動作に関する情報（換言すれば確認動作情報に相当する）と、を対応付けて記憶する。なお、本実施形態は、自動車教習所等の規範運転者の例について説明するが、安全確認動作の基準となる運転操作を行った運転者であれば良い。
【００３１】
本実施形態は、当該交通環境で運転者が行うべき安全確認動作に関する情報として、視線の移動頻度と、顔の移動範囲と、を含む例とする。しかしながら、本実施形態は、視線の移動頻度と、顔の移動範囲と、を含む例に制限するものではなく、運転者が交通環境で行った動作に関する情報であれば良い。また、本実施形態は、顔の移動範囲から、運転者が安全確認した視野の範囲を特定する例について説明するが、運転者が安全確認した視野の範囲は、他の手法を用いて導出しても良い。
【００３２】
これにより、確認基準データベース４０２は、交通環境毎に、周囲の確認回数や、確認すべき運転者の視野の範囲等の、運転者が安全確認すべき基準を格納している。確認基準データベース４０２のテーブル構造は、動作履歴データベース４０１と同様で良いものとする。
【００３３】
取得部４０３は、車両１が現在走行している地点から、所定時間経過後に車両１が走行する地点の交通環境を示した走行先環境データ（換言すれば第１環境情報に相当する）を取得する。本実施形態では所定時間として、例えば１５秒等が考えられるが、事前に運転者に安全確認を行わせるためのメッセージを出力するために十分な時間であればよく、車両１の速度や、実施態様に応じて、適切な時間が設定されればよい。
【００３４】
本実施形態では、取得部４０３は、カーナビゲーション装置１１から、走行先環境データを取得する。走行先環境データには、車両１の走行先の地点の交通環境として、例えば、交差点、脇道、駐車スペース等を含むほかに、当該地点における道路標識の有無や歩行者の有無などを含んでも良い。さらに、走行先環境データには、目的地までの経路に基づいた、車両１の進路が含まれている。例えば、走行先環境データには、次の交差点で車両１が右折する等のデータが含まれている。
【００３５】
ところで、従来から、ある交通環境で運転者が行うべき安全確認を怠った場合に、警告を行う技術が提案されている。しかしながら、このような従来の技術では、警告してから運転者が安全確認を行うことになるため、安全確認に遅延が生じる。そこで、本実施形態では、運転者が安全確認を怠りそうな交通環境になる前に、事前に当該交通環境に関するメッセージを出力する。
【００３６】
動作予測部４０４は、取得部４０３が取得した走行先環境データで示された、車両１が現在走行している地点から、走行先の地点の交通環境で、運転者が行う動作を予測する。本実施形態の動作予測部４０４は、動作履歴データベース４０１を参照し、走行先環境データで示された交通環境で、運転者が過去に実際に行った動作を表した、視線の移動頻度と、顔の移動範囲と、を運転者が行うと予測される動作として取得する。
【００３７】
確認行動取得部４０５は、取得部４０３が取得した走行先環境データで示された、車両１が現在走行している地点から、走行先の地点の交通環境で、運転者が行うべき安全確認の動作を示した情報を取得する。本実施形態の確認行動取得部４０５は、確認基準データベース４０２を参照し、走行先環境データで示された交通環境で、運転者が行うべき安全確認の動作を表した、視線の移動頻度と、顔の移動範囲と、を取得する。
【００３８】
比較部４０６は、走行先環境データで示された交通環境と確認基準データベース４０２で対応付けられた、運転者が行うべき安全確認の動作を表した情報（視線の移動頻度、及び顔の移動範囲）と、走行先環境データで示された交通環境と動作履歴データベース４０１で対応付けられた、運転者が行うと予想される動作（換言すれば、当該交通環境で運転者が実際に行った動作）を表した情報（視線の移動頻度、及び顔の移動範囲）と、を比較する。
【００３９】
具体的な比較手法の例として、本実施形態の比較部４０６は、運転者が行うべき安全確認の動作である視線の移動頻度と比べて、運転者が行うと予想される視線の移動頻度が多いか否かを判定する。他の例として、比較部４０６は、運転者が過去に実際に行った動作である運転者の視野の範囲が、安全確認動作に関する情報で示された確認すべき視野の範囲と比べて、広いか否かを判定する。
【００４０】
通知部４０７は、比較部４０６の比較結果に基づいて、走行先環境データで示された交通環境を車両が走行する前に通知を行う。例えば、比較部４０６が、運転者が行うと予想される視線の移動頻度が少ないと判定した場合や、過去の運転者の視野の範囲、換言すれば運転者が行うと予想される安全確認の視野の範囲が狭いと判定した場合に、通知部４０７が、注意喚起する旨のメッセージを音声で通知する。
【００４１】
例えば、比較部４０６が、車両１が右折する際に運転者が右方向の顔の移動範囲が狭いと判断した場合に、右折すると推測される交差点に車両１が流入する前に、通知部４０７が、右方向に注意喚起する旨のメッセージを出力する。このため、車両１が交差点に流入する前に、運転者が右折ウィンカーを出すか否かにかかわらず、メッセージを出力できる。
【００４２】
顔画像入力部４１１は、撮像装置２０１から、運転者の顔を含む領域を撮像した撮像画像を入力する。
【００４３】
顔データ計測部４１２は、入力された撮像画像から、複数人の被験者の顔形状、目や口等の顔部品の特徴点を抽出して、平均的な顔形状、顔部品の位置等の三次元顔構造データを計測する。
【００４４】
モデル生成部４１３は、計測された三次元顔構造データである平均的な顔形状、顔部品の位置、および運転者の目の形状の変化情報を、三次元顔モデルとして生成する。
【００４５】
三次元顔モデルは、ＲＯＭ１４ｂ等の記憶媒体に保存されている。三次元顔モデルは、統計的顔形状モデルであり、平均的な被験者の三次元顔形状と、被験者の目や口、鼻等の顔部品の位置と、目の形状の変化情報とが登録されている。三次元顔モデルは、一例として、ＣＬＭ（Ｃｏｎｓｔｒａｉｎｅｄ  Ｌｏｃａｌ  Ｍｏｄｅｌ）、ＡＡＭ（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ）、ＡＳＭ（Ａｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌ）を用いることができるが、これらに限定されるものではない。
【００４６】
動作取得部４１４は、車両１を運転している運転者の顔の位置を検出し続けることで、顔の動作に関する情報を取得する。本実施形態の動作取得部４１４は、モデル生成部４１３により生成された３次元顔モデルに基づいて、運転者の顔におけるＸ軸、Ｙ軸、及びＺ軸の位置を示す情報と、Ｘ軸、Ｙ軸、Ｚ軸の回転を示す情報と、を取得する。さらに、動作取得部４１４は、運転者の顔の位置と、目の形状の変化情報と、に基づいて、運転者の視線の方向に関する情報を取得し、視線の移動頻度、及び顔の移動範囲を導出する。
【００４７】
履歴更新部４１５は、車両１が走行している交通環境を示すデータと、当該交通環境を車両１が走行している時に運転者の動作として動作取得部４１４により取得された視線の移動頻度及び顔の移動範囲と、を対応付けて動作履歴データベース４０１を更新する。
【００４８】
本実施形態のＥＣＵ１４では、上述した構成を備えることで、交通環境で運転者が行った動作が、動作履歴データベース４０１に蓄積されていく。
【００４９】
次に、本実施形態の運転支援システム１００におけるメッセージを通知するまでの処理手順について説明する。図６は、本実施形態の運転支援システム１００における上述した処理の手順を示すフローチャートである。
【００５０】
取得部４０３は、カーナビゲーション装置１１から、車両１が現在走行している地点から、走行先の地点の交通環境が示された走行先環境データを取得する（ステップＳ６０１）。
【００５１】
次に、確認行動取得部４０５は、取得部４０３が取得した走行先環境データに基づいて、車両１が現在走行している地点から走行先の地点の交通環境で、運転者が行うべき安全確認の動作を示した情報（視線の移動頻度、及び顔の移動範囲）を取得する（ステップＳ６０２）。
【００５２】
さらに、動作予測部４０４は、取得部４０３が取得した走行先環境データに基づいて、車両１が現在走行している地点から走行先の地点の交通環境と同じ交通環境で、運転者が実際に行った動作を示した情報（視線の移動頻度、及び顔の移動範囲）を取得する（ステップＳ６０３）。
【００５３】
そして、比較部４０６は、走行先の地点の交通環境と同じ交通環境で、運転者が実際に行った動作が、運転者が行うべき安全確認の動作を示した要件を満たしているか否かを判定する（ステップＳ６０４）。要件を満たしていると判定した場合（ステップＳ６０４：Ｙｅｓ）、処理を終了する。
【００５４】
運転者が実際に行った動作が、運転者が行うべき安全確認の動作を示した情報で示された要件を満たしていないと判定された場合（ステップＳ６０４：Ｎｏ）、通知部４０７は、走行先環境データで示された交通環境を車両１が走行する前に、安全確認動作を行う旨の通知を行う（ステップＳ６０５）。
【００５５】
上述した処理により、車両１の走行先に応じた注意喚起が行われるため、安全性を向上させることができる。
【００５６】
次に通知が行われる具体的な状況について説明する。図７は、本実施形態の車両１が交差点で右折する際に行われる通知の概念を例示した図である。図７に示される例では、車両１は、カーナビゲーション装置１１によって経路７００が定められているものとする。そして、比較部４０６が、右折する際に運転者が過去に実際に行った安全確認の動作が要件を満たしていないと判定した場合に、右折を開始する地点７０１より前の地点７０２で、通知部４０７が、運転者に対して、右方向に注意する旨のメッセージ７１０を出力する。当該通知は、運転者が右折するための操舵を行う前に行われるため、運転者は、右折操舵を行う前に、交差点の周囲の確認を行うことができる。
【００５７】
また、当該交差点において、運転者が行った安全確認の動作を示すデータは、動作履歴データベース４０１に蓄積されていく。これにより、次以降に交差点を右折する際に、今回の運転者の行った動作が反映された通知が行われる。例えば、一定期間要件を満たした安全確認の動作が行われていれば通知が行われなくなり、安全確認の動作が行われていなければ再度通知が行われる。
【００５８】
図８は、本実施形態の車両１が道路を走行中に細い脇道がある場合に行われる通知の概念を例示した図である。図８に示される例では、車両１は、カーナビゲーション装置１１によって経路８００が定められているものとする。そして、比較部４０６は、細い脇道がある場合に運転者が過去に実際に行った安全確認の動作が要件を満たしていないと判定した場合に、地点８０１より前の地点で、通知部４０７が、運転者に対して、脇道に注意する旨のメッセージ８１０を出力する。当該通知は、脇道を通過する前に行われるため、運転者は、脇道から飛び出し等があるか否かの事前確認を行うことができる。また、脇道を通過する場合に限らず、広い道から脇の細い道に入る場合や、細い道から広い道に出る場合なども、必要に応じて注意喚起を促すことができる。
【００５９】
図９は、車両１が交差点の右折時に対向車等が存在する場合に、歩行者等に対する注意喚起を行うための通知の概念を例示した図である。図９に示される例では、車両１は、カーナビゲーション装置１１によって経路９００が定められているものとする。右折する際には周囲を確認できているが、右折して右方向の道路に流入する際に、歩行者の突然の飛び出し等を抑止するための注意を促す例とする。例えば、比較部４０６は、右折する際に対向車９０１の影９０２や横断歩道９０３に対する過去の安全確認の動作が要件を満たしていないと判定した場合に、対向車９０１を通り過ぎる前の地点で、通知部４０７が、運転者に対して、歩行者を注意する旨のメッセージ９１０を出力する。当該通知は、対向車を通り過ぎる前に行われるため、運転者は、対向車９０１の影９０２や、横断歩道９０３から飛び出し等があるか否かの事前確認を行うことができる。図９に示される例では、右折時の場合について説明したが、左折時の歩行者の巻き込み等に対して注意喚起を行うための通知を行っても良い。
【００６０】
上述した例では、カーナビゲーション装置１１により定められた経路に基づいた通知を行う例について説明した。しかしながら、本実施形態では交通環境について予め通知を行う技術であればよく、カーナビゲーション装置１１に定められた経路に基づいた通知に制限するものではない。そこで、測距部１７が、停車車両を検出した場合について説明する。図１０は、本実施形態の車両１に設けられた測距部１７が停車車両を検出した場合の、注意喚起のための通知の概念を例示した図である。
【００６１】
図１０（Ａ）は、車両１の進行方向に停車車両１００１が存在していた場合とする。そして、車両１は、経路１０００に従って走行した例とする。このような場合において、動作取得部４１４が取得する、運転者の停車車両１００１の陰に対する、安全確認の動作が、予め定められた要件を満たしていないものとする。このような場合に、履歴更新部４１５が、その旨を動作履歴データベース４０１に更新する。
【００６２】
その後、図１０（Ｂ）に示されるように、測距部１７が、車両１の進行方向に停車車両１０１１を検出したものとする。このような場合に、図１０（Ａ）の時の学習結果に基づいて、通知部４０７が、停車車両１０１１と十分に離れている状態であっても、車両周辺に注意する旨のメッセージ１０２０を出力する。これにより、例えば、車両１が停車車両１０１１に近接する前に、車両周辺に注意する旨の通知が行われる。これにより、運転者は、経路１０１０に従って、停車車両１０１１をよける操舵を行う前に、停車車両１０１１の周辺を確認できる。これにより、安全性を向上させることができる。また、図１０（Ｂ）で行われた安全確認の情報も、動作履歴データベース４０１に格納される。
【００６３】
これにより、図１０（Ｂ）で示される状況で運転者の安全確認が適切に行われた場合、通知部４０７は、次以降、車両周辺に注意する旨の通知を行わない。これにより、運転者にとって不要な通知を抑止できる。
【００６４】
図１０に示される例では、停車車両１０１１が存在する場合について説明したが、測距部１７を用いた通知は、このような状況に制限するものではなく、例えば合流地点における安全確認等にも適用しても良い。さらに、道路上に「止まれ」等の道路標識が記載されている場合に、撮像カメラ等が当該道路標識を認識し、当該道路標識が存在する場合の適切な安全確認が行われるように通知を行っても良い。
【００６５】
また、車両１の操舵に基づいた通知を行ってもよい。図１１は、本実施形態の車両１が駐車スペースに駐車するために後退する場合を例示した図である。図１１に示される例では、運転支援システム１００が、後退するための進行方向１１００への切り替え操舵を検知した場合に、比較部４０６が、動作履歴データベース４０１を参照して、過去に駐車スペースに駐車する際に、運転者の領域１１１１、１１１２、及び障害物１１０１、１１０２と同様の領域に対する安全確認の動作が、予め定められている要件を満たしているか否かを判定し、通知部４０７が、当該判定結果に基づいて、車両１が後退する前に通知を行う。これにより、運転者が後退前に、安全確認を行うことができる。
【００６６】
さらには、通知を行うのは、運転者が安全確認しにくい場所に限るものではなく、見通しの良い場所で通知を行っても良い。図１２は、見通しの良い交差点を車両１が走行している場合を例示した図である。図１２に示される例では、見通しの良い交差点を、車両１及び車両１２０１が走行している場合とする。図１２に示される交差点は、見通しの良い農道等であって、信号等は設けられていないものとする。このような状況では、車両１を運転している運転者の視野に、車両１２０１が含まれている。
【００６７】
図１２に示される例では、車両１が経路１２００に従って、位置１２２１、位置１２２２と進行している場合に、車両１２０１が、経路１２１０に従って、位置１２３１、位置１２３２と進行しているものとする。
【００６８】
ところで、人間の目は、視野中で同じ位置に物体が存在し続ける場合に、当該物体を認識できないという現象が生じる。図１２に示される例では、車両１から見ると、車両１２０１が相対的に同じ位置に存在する。このような場合に、運転者の視野に車両１２０１が含まれているにもかかわらず、車両１２０１を認識できないという現象が生じる。このような場合、運転者は、頭の位置を移動させて相対的な位置を少しずらすことで、車両１２０１を認識できる。
【００６９】
そこで、本実施形態では、カーナビゲーション装置１１からの走行先環境データに基づいて、車両１の移動経路上の、見通しの良い交差点であることを認識した場合に、比較部４０６が、このような交通環境で、運転者が頭の位置を移動させて周囲を確認する動作を過去に行っていないと判定した場合、通知部４０７が、頭を動かして周囲を確認する旨の通知を行う。このような通知は、例えば、位置１２２１等で行うものとする。当該通知に従って、運転者が安全確認を行うことで、車両１２０１の存在を認識できる。これにより、見通しの良い交差点における安全性の向上を図ることができる。
【００７０】
次に、動作履歴データベース４０１を更新するまでの処理について説明する。図１３は、本実施形態の運転支援システム１００における動作履歴データベースを更新するまでの処理手順を示したフローチャートである。
【００７１】
まず、顔画像入力部４１１は、運転者の顔を撮像した撮像画像データを取得する（ステップＳ１３０１）。次に、顔データ計測部４１２は、撮像画像データから、複数人の被験者の顔形状、目や口等の顔部品の特徴点を抽出して、平均的な顔形状、顔部品の位置等の三次元顔構造データを計測する（ステップＳ１３０２）。
【００７２】
なお、顔データ計測部４１２は、ステップＳ１３０１で撮像した被験者の種々の変化の動作の撮像画像から、例えば、非特許文献「Active  Appearance  Model  探索による目領域構造の自動抽出  森山  剛  金出  武雄  Jeffrey  F.  Cohn  小沢  慎治『画像の認識・理解シンポジウム（ＭＩＲＵ２００６）』」に示されるような三次元顔モデル作成の手順に従って、主成分分析等の統計的データ解析手法により、目の形状の段階的な変化の状態に対応する形状パラメータを抽出する。  
【００７３】
そして、顔データ計測部４１２は、目の形状の段階的な変化の状態と形状パラメータとを示した変化情報を生成する。当該変化情報と運転者の顔の位置と、により、運転者の視線の方向を特定できる。
【００７４】
モデル生成部４１３は、計測された三次元顔構造データである平均的な顔形状、顔部品の位置、および変化情報を、三次元顔モデルとして生成する（Ｓ１３０３）。
【００７５】
次に、動作取得部４１４が、３次元顔モデルから、運転者が行った動作に関する情報を取得する（ステップＳ１３０４）。運転者が行った動作に関する情報の取得は、運転者が運転を行っている間継続的に行われているものとする。
【００７６】
そして、履歴更新部４１５が、ステップＳ１３０４で取得された運転者が行った動作に関する情報と、運転者が当該動作を行った際の交通環境を示したデータと、を対応付けて動作履歴データベース４０１を更新する（ステップＳ１３０５）。
【００７７】
上述した処理手順により、運転者が交通環境で行った動作が蓄積されていくことになる。
【００７８】
（第２の実施形態）
第１の実施形態では、車両１の走行先の交通環境を示した走行先環境データを、カーナビゲーション装置１１から取得する例について説明した。しかしながら、上述した実施形態は、このような取得手法に制限するものではない。そこで、第２の実施形態では、運転者の運転状態に基づいて推測する例について説明する。
【００７９】
図１４は、本実施形態のＥＣＵ１４００の機能的構成を示すブロック図である。図１４に示されるＥＣＵ１４００は、第１の実施形態のＥＣＵ１４の代わりに設けられるものであって、第１の実施形態の取得部４０３と処理が異なる取得部１４０２を備えている他に、運転状態データベース１４０１が追加されたものとする。
【００８０】
運転状態データベース１４０１は、車両１における運転者の運転状態を示す情報を、当該運転状態時の交通環境に関する情報と対応付けて記憶している。つまり、運転状態データベース１４０１を参照することで、現在の運転状態から、現在の交通環境及び走行先の交通環境の推定を実現する。
【００８１】
例えば、運転状態データベース１４０１には、車両１が交差点より前の所定の地点で第１の速度で走行している場合には当該交差点を右折することが多いことを示す情報が格納されている。
【００８２】
そこで、取得部１４０２は、運転状態データベース１４０１を参照することで、現在の運転状況に基づいて、走行先の交通環境での車両１の走行を推定する。例えば、車両１が交差点より前の所定の地点で第１の速度で走行している場合には、当該交差点で右折すると推定する。このように、カーナビゲーション装置１１に目的地までの経路が設定されていない場合でも、車両１の運転状態に基づいて、車両１の走行先を推測し、当該走行先の車両１の交通環境を推測できる。
【００８３】
これにより、本実施形態のＥＣＵ１４００においては、例えば、取得部１４０２が、車両１が次の交差点で右折すると推測し、比較部４０６が交差点で車両１が右折する際に過去に運転者が行った安全動作が要件を満たしているか否かを比較し、通知部４０７が、当該比較結果に基づいた通知を実現できる。
【００８４】
また、本実施形態は、このような運転者の過去の運転状態に基づいた移動経路の推定に制限するものではない。例えば、取得部１４０２は、車両１がよく使用する経路上に存在する場合、目的地までの移動経路が設定されていなくとも、当該よく使用する経路に従って移動することを前提に、車両１の交通環境を推定しても良い。例えば、車両が平日の朝に起動した場合には、会社までの移動経路に従って進むことを前提に、交通環境を示す情報を取得しても良い。
【００８５】
上述した実施形態では、車両１がある交通環境に入る前に、当該交通環境に基づいた通知を事前に行うこととした。当該通知は、当該交通環境に関する安全確認を促すことができる。また、当該通知により、運転者は、事前に安全確認を行うことができる。これにより、安全性の向上を図ることができる。
【００８６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８７】
１…車両、８…表示装置、９…音声出力装置、１０…操作入力部、１１…カーナビゲーション装置、１１ａ…ＣＰＵ、１１ｂ…地図データ記憶部、１２…ダッシュボード、１３…操舵システム、１３ａ…アクチュエータ、１３ｂ…トルクセンサ、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…表示制御部、１４ｅ…音声制御部、１５…撮像部、１６，１７…測距部、１８…ブレーキシステム、１８ａ…アクチュエータ、１８ｂ…ブレーキセンサ、１９…舵角センサ、２０…アクセルセンサ、２１…シフトセンサ、２２…車輪速センサ、２３…車内ネットワーク、１００…運転支援システム、２０１…撮像装置、２０２…ハンドルコラム、４０１…動作履歴データベース、４０２…確認基準データベース、４０３…取得部、４０４…動作予測部、４０５…確認行動取得部、４０６…比較部、４０７…通知部、４１１…顔画像入力部、４１２…顔データ計測部、４１３…モデル生成部、４１４…動作取得部、４１５…履歴更新部、１４０１…運転状態データベース、１４０２…取得部。
【図１】
0006520531.tif 000002
【図２】
0006520531.tif 000003
【図３】
0006520531.tif 000004
【図４】
0006520531.tif 000005
【図５】
0006520531.tif 000006
【図６】
0006520531.tif 000007
【図７】
0006520531.tif 000008
【図８】
0006520531.tif 000009
【図９】
0006520531.tif 000010
【図１０】
0006520531.tif 000011
【図１１】
0006520531.tif 000012
【図１２】
0006520531.tif 000013
【図１３】
0006520531.tif 000014
【図１４】
0006520531.tif 000015