(57)【要約】【課題】注意喚起の頻発の回避と、危険発生の可能性がある場合の注意喚起との両立を図れるようにする。【解決手段】運転支援装置、移動体の運転者の視線の方向を検出する視線方向検出部と、前記移動体の周囲の障害物の位置を検出する障害物検出部と、前記運転者による前記障害物の目視の評価基準を、時間、場所、天候、自車の状態、および、前記運転者の状態のうち少なくとも何れか１つ以上に基づいて決定する評価基準決定部と、前記運転者の視線の方向および前記障害物の位置に基づいて算出したスコアを前記評価基準に適用して、前記運転者による前記障害物の目視を評価し、評価結果に基づいて、前記運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する注意喚起処理部と、を備える。【選択図】図１
2019086983.tif 000002
【特許請求の範囲】
【請求項１】
移動体の運転者の視線の方向を検出する視線方向検出部と、
前記移動体の周囲の障害物の位置を検出する障害物検出部と、
前記運転者による前記障害物の目視の評価基準を、時間、場所、天候、自車の状態、および、前記運転者の状態のうち少なくとも何れか１つ以上に基づいて決定する評価基準決定部と、
前記運転者の視線の方向および前記障害物の位置に基づいて算出したスコアを前記評価基準に適用して、前記運転者による前記障害物の目視を評価し、評価結果に基づいて、前記運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する注意喚起処理部と、
を備える運転支援装置。
【請求項２】
前記注意喚起処理部は、前記運転者が前記障害物を視認した時間又は回数に、前記運転者が前記障害物を視認した方法に応じた係数を乗算した値を積算して、前記スコアを算出する、
請求項１に記載の運転支援装置。
【請求項３】
前記注意喚起処理部は、前記運転者の視線の方向が映像提示装置に向いている場合、前記映像提示装置の映像で注意喚起されている障害物を前記運転者が視認したと評価する、
請求項１または請求項２に記載の運転支援装置。
【請求項４】
前記注意喚起処理部は、さらに、前記移動体の状態と前記障害物の位置との関係に基づいて、前記運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する、
請求項１から３の何れか一項に記載の運転支援装置。
【請求項５】
移動体に搭載される車載システムと、
前記車載システムと通信を行う運転状況情報取得装置とを備え、
前記車載システムは、
前記移動体の運転者の顔の画像を撮影する視線方向検出用カメラと、
前記移動体の周囲の障害物を検出するための障害物センサと、
を備え、
前記運転状況情報取得装置は、
前記運転者の顔の画像に基づいて前記運転者の視線の方向を検出する視線方向検出部と、
前記障害物センサからのセンシングデータに基づいて前記移動体の周囲の障害物の位置を検出する障害物検出部と、
前記運転者による前記障害物の目視の評価基準を、時間、場所、天候、自車の状態、および、前記運転者の状態のうち少なくとも何れか１つ以上に基づいて決定する評価基準決定部と、
前記運転者の視線の方向および前記障害物の位置に基づいて算出したスコアを前記評価基準に適用して、前記運転者による前記障害物の目視の評価値を算出する運転状況情報取得部と、
を備える運転状況情報取得システム。
【請求項６】
移動体の運転者の視線の方向を検出することと、
前記移動体の周囲の障害物の位置を検出することと、
前記運転者による前記障害物の目視の評価基準を、時間、場所、天候、自車の状態、および、前記運転者の状態のうち少なくとも何れか１つ以上に基づいて決定することと、
前記運転者の視線の方向および前記障害物の位置を前記評価基準に適用して、前記運転者による前記障害物の目視を評価し、評価結果に基づいて、前記運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定することと、
を含む運転支援方法。
【請求項７】
コンピュータに、
移動体の運転者の視線の方向を検出することと、
前記移動体の周囲の障害物の位置を検出することと、
前記運転者による前記障害物の目視の評価基準を、時間、場所、天候、自車の状態、および、前記運転者の状態のうち少なくとも何れか１つ以上に基づいて決定することと、
前記運転者の視線の方向および前記障害物の位置を前記評価基準に適用して、前記運転者による前記障害物の目視を評価し、評価結果に基づいて、前記運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定することと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援装置、運転状況情報取得システム、運転支援方法及びプログラムに関する。
【背景技術】
【０００２】
運転支援に関連して、運転者の視線に基づいて運転者が視認している障害物を判定する技術が提案されている。
例えば、特許文献１に記載の運転支援装置は、運転者の両目の視線ベクトルの交点に位置する障害物を、運転者が視認する障害物と判断し、この障害物に関する視認情報を生成する。
【０００３】
また、特許文献２に記載の走行支援システムは、運転者の視線位置、視線円および視野領域に基づいて、車両の進行方向前方にある特徴物を運転者が注視しているか否かを判定し、注視していないと判定された場合に特徴物に関する案内を行う。
また、特許文献３に記載の診断装置は、自車両の運転者の視線空間に、自車両周辺に存在する対象物の少なくとも一領域が含まれるか否かに基づいて、対象物に対する運転者の認知度を診断する。
また、特許文献４に記載の車両用警報装置は、運転者が障害物を注視したか否かの情報を記憶しておき、運転者が既に注視した障害物に対する再度の警報を回避する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１５３８７５号公報
【特許文献２】特開２０１４−１２０１１１号公報
【特許文献３】再公表ＷＯ２０１１／０６４８３１号公報
【特許文献４】特開２００６−１６３８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
運転支援装置が運転者に対して障害物への注意喚起を促しても、運転者が注意喚起を無視すると危険回避に結びつかない。運転支援装置が危険性の少ない障害物にまで頻繁に注意喚起を行うと、運転者の注意喚起に対する関心が弱まり注意喚起を無視するようになることが考えられる。
この点、上記のように運転者が視認している障害物を判定することで、運転者が視認している障害物について注意喚起を抑制し、注意喚起の頻度を低減させることができる。
【０００６】
一方、運転者の視界にある障害物であっても、運転者の認識が弱い場合には注意喚起をすることが適切な場合が考えられる。この点について、注意喚起の頻発の回避と、危険発生の可能性がある場合の注意喚起との両立を図れることが好ましい。上記のように、運転者の視界にある障害物であっても、運転者に注意喚起することが適切な場合が考えられる。一方、運転者の視界にある障害物について注意喚起の頻度が高くなりすぎると、運転者の注意喚起に対する関心が弱まり注意喚起を無視するようになることが考えられる。
【０００７】
本発明は、上述の課題を解決することのできる運転支援装置、運転状況情報取得システム、運転支援方法及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によれば、運転支援装置は、移動体の運転者の視線の方向を検出する視線方向検出部と、前記移動体の周囲の障害物の位置を検出する障害物検出部と、前記運転者による前記障害物の目視の評価基準を、時間、場所、天候、自車の状態、および、前記運転者の状態のうち少なくとも何れか１つ以上に基づいて決定する評価基準決定部と、前記運転者の視線の方向および前記障害物の位置に基づいて算出したスコアを前記評価基準に適用して、前記運転者による前記障害物の目視を評価し、評価結果に基づいて、前記運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する注意喚起処理部と、を備える。
本発明の第２の態様によれば、運転状況情報取得システムは、移動体に搭載される車載システムと、前記車載システムと通信を行う運転状況情報取得装置とを備え、前記車載システムは、前記移動体の運転者の顔の画像を撮影する視線方向検出用カメラと、前記移動体の周囲の障害物を検出するための障害物センサと、を備え、前記運転状況情報取得装置は、前記運転者の顔の画像に基づいて前記運転者の視線の方向を検出する視線方向検出部と、前記障害物センサからのセンシングデータに基づいて前記移動体の周囲の障害物の位置を検出する障害物検出部と、前記運転者による前記障害物の目視の評価基準を、時間、場所、天候、自車の状態、および、前記運転者の状態のうち少なくとも何れか１つ以上に基づいて決定する評価基準決定部と、前記運転者の視線の方向および前記障害物の位置に基づいて算出したスコアを前記評価基準に適用して、前記運転者による前記障害物の目視の評価値を算出する運転状況情報取得部と、を備える。
【０００９】
本発明の第３の態様によれば、運転支援方法は、移動体の運転者の視線の方向を検出することと、前記移動体の周囲の障害物の位置を検出することと、前記運転者による前記障害物の目視の評価基準を、時間、場所、天候、自車の状態、および、前記運転者の状態のうち少なくとも何れか１つ以上に基づいて決定することと、前記運転者の視線の方向および前記障害物の位置を前記評価基準に適用して、前記運転者による前記障害物の目視を評価し、評価結果に基づいて、前記運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定することと、を含む。
【００１０】
本発明の第４の態様によれば、プログラムは、コンピュータに、移動体の運転者の視線の方向を検出することと、前記移動体の周囲の障害物の位置を検出することと、前記運転者による前記障害物の目視の評価基準を、時間、場所、天候、自車の状態、および、前記運転者の状態のうち少なくとも何れか１つ以上に基づいて決定することと、前記運転者の視線の方向および前記障害物の位置を前記評価基準に適用して、前記運転者による前記障害物の目視を評価し、評価結果に基づいて、前記運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定することと、を実行させるためのプログラムである。
【発明の効果】
【００１１】
この発明によれば、注意喚起の頻発の回避と、危険発生の可能性がある場合の注意喚起との両立を図ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態に係る運転支援システムの機能構成を示す概略ブロック図である。
【図２】同実施形態にて、運転者の視線が向かう方向の例を示す図である。
【図３】同実施形態に係る障害物検出部が障害物の位置を検出する領域の例を示す図である。
【図４】同実施形態に係る運転支援装置が運転者への注意喚起の要否、および、注意喚起する場合の態様を決める処理手順の例を示すフローチャートである。
【図５】同実施形態に係る視線方向検出部が運転者の視線方向を検出する処理手順の例を示すフローチャートである。
【図６】本発明の第２実施形態に係る運転状況情報取得システムの機能構成を示す概略ブロック図である。
【図７】本発明に係る運転支援装置の最小構成の例を示す図である。
【図８】本発明に係る運転状況情報取得システムの最小構成の例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
以下では、動画像または時間的に連続する静止画像（コマ送りの静止画像）を映像と称する。また、動画像と静止画像とを総称して画像と表記する。
【００１４】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る運転支援システムの機能構成を示す概略ブロック図である。図１に示すように、運転支援システム１は、視線方向検出用カメラ１１０と、障害物センサ１２０と、運転支援装置２００と、表示装置３１０と、音声出力装置３２０とを備える。運転支援装置２００は、通信部２１０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、視線方向検出部２９１と、障害物検出部２９２と、評価基準決定部２９３と、注意喚起処理部２９４とを備える。
【００１５】
また、運転支援システム１は、自動車９００に搭載されている。図１では、運転支援システム１を搭載している自動車９００についてさらに、映像提示用カメラ９１０と、映像提示装置９２０と、バックミラー９３０と、左サイドミラー９４１と、右サイドミラー９４２とが示されている。
運転支援システム１を搭載している自動車９００を、運転支援システム１から見て自車と称する。また、運転支援システム１を搭載している自動車９００を、単に自動車９００と称する。
【００１６】
自動車９００は移動体の例に該当する。但し、ここでの移動体は自動車に限らず、周囲の障害物に注意して運転する必要があるいろいろな乗物とすることができる。
運転支援システム１は、自動車９００の周囲の障害物に対する注意喚起を運転者に促すことで、運転者の運転を支援する。注意喚起が頻発し過ぎて運転者が注意喚起を無視することを回避するため、運転支援システム１は、周囲の環境応じて注意喚起を行うか否かの判定閾値を変化させる。
【００１７】
視線方向検出用カメラ１１０は、運転者の視線を検出するためのカメラであり、運転者の顔画像を撮影する。
障害物センサ１２０は、自動車９００の周囲の障害物を検出するためのセンサである。障害物センサ１２０は特定のセンサに限定されない。例えば、障害物センサ１２０は、赤外線センサ、超音波センサ、レーザーセンサー、および、レーダーの何れか、あるいはこれらの組合せであってもよいし、ステレオカメラ等のカメラで自動車９００の周囲を撮影して画像解析を行うものであってもよい。
【００１８】
映像提示用カメラ９１０は、自動車９００の周囲を撮影し、撮影した自動車９００の周囲の映像を映像提示装置９２０に提供する。
映像提示装置９２０はモニタ画面を有し、映像提示用カメラ９１０からの映像をモニタ画面に表示することで、自動車９００の周囲の映像を表示する。
【００１９】
映像提示装置９２０は、単に固定の映像を表示するのではなく、映像を切り替え可能である。例えば、自動車９００に複数の映像提示用カメラ９１０が配置され、映像提示装置９２０が映像提示用カメラ９１０を切り替えて映像を表示するようにしてもよい。あるいは、１つ以上の映像提示用カメラ９１０が、撮影方向可変に設置されていてもよい。あるいは、１つ以上の映像提示用カメラ９１０が広範囲を撮影するようにしてもよい。この場合、映像提示装置９２０が、映像提示用カメラ９１０が撮影した映像のうちの部分映像を表示し、映像提示用カメラ９１０が撮影した映像のうち、部分映像を抜き取る箇所を変更するようにしてもよい。
【００２０】
映像提示装置９２０が、自動的に映像の切り替えを行うようにしてもよい。あるいは、運転者が映像の切り替え操作を行うなど、人が映像の切り替えを行うようにしてもよい。
また、映像提示装置９２０は、映像に映っている障害物の像を検出し、検出した障害物の像を強調表示する機能を有している。映像提示装置９２０が、映像に映っている障害物の像を検出し、検出した障害物の像を強調表示する方法として、公知の方法を用いることができる。
【００２１】
運転支援装置２００は、視線方向検出用カメラ１１０が撮影する運転者の顔画像、および、障害物センサ１２０からのセンシングデータに基づいて、運転者への注意喚起の要否および注意喚起の方法を制御する。
運転支援装置２００は、例えば車載用コンピュータなどのコンピュータを用いて構成される。
あるいは、運転支援装置２００がクラウド内に位置するなど自動車９００の外部に設けられ、自動車９００との通信にてデータのやり取りを行うようにしてもよい。この場合、運転支援装置２００が処理対象としている自動車９００（処理中の自動車９００）を自車と称する。
【００２２】
通信部２１０は、他の機器と通信を行う。特に、通信部２１０は、視線方向検出用カメラ１１０が撮影した画像を画像データにて受信する。また、通信部２１０は、障害物センサ１２０からセンシングデータを受信する。また、通信部２１０は、映像提示装置９２０から、映像提示装置９２０が協調表示した障害物を示す情報を受信する。また、運転支援装置２００が運転者への注意喚起を行う場合、通信部２１０は、表示装置３１０へ注意喚起用の画像データを送信して画像を表示させ、また、音声出力装置３２０へ注意喚起用の音声データを送信して音声を出力させる。
【００２３】
記憶部２８０は、各種データを記憶する。記憶部２８０は、運転支援装置２００が備える記憶デバイスを用いて構成される。
制御部２９０は、運転支援装置２００の各部を制御して各種処理を実行する。制御部２９０は、運転支援装置２００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、記憶部２８０からプログラムを読み出して実行することで構成される。
【００２４】
視線方向検出部２９１は、視線方向検出用カメラ１１０が撮影した画像に基づいて運転者の視線の方向を検出する。
運転者の視線の先に鏡がある場合、視線方向検出部２９１は、運転者の視線の方向を鏡による光の反射先の方向に設定する。また、運転者の視線の先に映像提示装置９２０がある場合、視線方向検出部２９１は、運転者が映像提示装置９２０に映っているもの（障害物等）を見ていると判定し、特に、映像提示装置９２０が強調表示している障害物を運転者が視認していると判定する。
【００２５】
図２は、運転者の視線が向かう方向の例を示す図である。図２では、運転席から見えるものの例が示されている。運転者の視線が、バックミラー９３０、左サイドミラー９４１、右サイドミラー９４２の何れかに向いている場合、視線方向検出部２９１は、運転者の視線の方向を、これらのミラーで反射した方向に設定する。また、運転者の視線が、映像提示装置９２０のモニタに向いている場合、視線方向検出部２９１は、運転者がモニタに映っている障害物等を見ていると判定し、特に、映像提示装置９２０のモニタが強調表示している障害物を運転者が視認していると判定する。
【００２６】
視線方向検出部２９１は、例えば、運転者の視線が領域Ａ１１１の範囲内に向いていると判定した場合、運転者がバックミラー９３０を見ていると判定する。また、視線方向検出部２９１は、例えば、運転者の視線が領域Ａ１２１の範囲内に向いていると判定した場合、運転者が左サイドミラー９４１を見ていると判定する。また、視線方向検出部２９１は、例えば、運転者の視線が領域Ａ１２２の範囲内に向いていると判定した場合、運転者が右サイドミラー９４２を見ていると判定する。また、視線方向検出部２９１は、例えば、運転者の視線が領域Ａ１３１の範囲内に向いていると判定した場合、運転者が映像提示装置９２０のモニタを見ていると判定する。
【００２７】
障害物検出部２９２は、障害物センサ１２０からのセンシングデータに基づいて、自動車９００の周囲の障害物の位置を検出する。
図３は、障害物検出部２９２が障害物の位置を検出する領域の例を示す図である。図３の例では、自動車９００の前後左右それぞれに障害物センサ１２０が設けられており、障害物検出部２９２は、自動車９００の前方の領域Ａ２１１、左側の領域Ａ２２１、右側の領域Ａ２２２、後ろ側の領域Ａ２３１のいずれについても障害物を検出する。このように、障害物検出部２９２が自動車９００の全周にわたって障害物を検出することで、障害物がどの方向から自動車９００に近付いてくる場合でも、その障害物を検出することができる。
【００２８】
評価基準決定部２９３は、運転者による障害物の目視の評価基準を、時間、場所、天候、自動車９００の状態、および、運転者の状態のうち少なくとも何れか１つ以上に基づいて決定する。
例えば、夕暮れ時や雨の日など視界が悪いときは、運転者の視界に障害物があっても、運転者が障害物に気付きにくい。そこで、評価基準決定部２９３は、夕暮れ時および雨の日は、晴れた昼間のときよりも注意喚起を行い易くなる評価基準を用いる。
【００２９】
このように、評価基準決定部２９３が運転時の条件に応じて評価基準を変えることで、運転支援システム１による運転者への注意喚起の頻度を低減し、かつ、比較的危険性の高い状況では、運転支援システム１が注意喚起を行い易くすることができる。この点で、運転支援装置２００によれば、注意喚起の頻発の回避と、危険発生の可能性がある場合の注意喚起との両立を図ることができる。
【００３０】
注意喚起処理部２９４は、視線方向検出部２９１が検出した運転者の視線の方向、および、障害物検出部２９２が検出した障害物の位置を、評価基準決定部２９３が決定した評価基準に適用して、運転者による障害物の目視を評価する。そして、注意喚起処理部２９４は、評価結果に基づいて、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する。
また、運転者の視線の方向が映像提示装置９２０に向いている場合、注意喚起処理部２９４は、映像提示装置９２０が表示している映像で注意喚起されている障害物を運転者が視認したと評価する。
【００３１】
注意喚起処理部２９４は、さらに、自動車９００の状態と障害物の位置との関係に基づいて、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する。
例えば、自動車９００が交差点を左折している場合、交差点の向こう側（直進した先）で歩行者が道路を横断していても、自動車９００はそこを通過せず、別段危険は生じない。注意喚起処理部２９４は、このように、自動車９００の進行方向に基づいて、自動車９００にとって危険の要因とならないと考えられる障害物を、運転者への注意喚起の対象から除外する。
【００３２】
表示装置３１０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode）パネル等の表示画面を有し、各種画像を表示する。
音声出力装置３２０は、スピーカを有し、音を出力する。
表示装置３１０および音声出力装置３２０は、運転支援システム１が運転者への注意喚起を行うために用いられる。例えば、表示装置３１０が注意喚起を促すメッセージおよび注意喚起対象の障害物の画像を表示し、音声出力装置３２０が報知音を出力するようにしてもよい。
表示装置３１０および音声出力装置３２０は、運転支援システム１専用に構成されていてもよいし、自動車９００に備え付けられているなど他の用途と共用の物であってもよい。例えば、表示装置３１０および音声出力装置３２０として、映像提示装置９２０が備える表示画面およびスピーカを用いるようにしてもよい。
【００３３】
次に、図４および図５を参照して運転支援装置２００の動作について説明する。
図４は、運転支援装置２００が運転者への注意喚起の要否、および、注意喚起する場合の態様を決める処理手順の例を示すフローチャートである。運転支援装置２００は、例えば周期的に図４の処理を行う。
図４の処理で、障害物検出部２９２が、障害物の検知結果を取得する（ステップＳ１１１）。具体的には、障害物検出部２９２は、通信部２１０を介して障害物センサ１２０からセンシングデータを取得する。
【００３４】
次に、障害物検出部２９２は、自動車９００の周囲に障害物が存在するか否かを判定する（ステップＳ１２１）。具体的には、障害物検出部２９２は、障害物センサ１２０のセンシングデータが、自動車９００から所定距離範囲内に障害物の存在を示しているか否かを判定する。
障害物が存在していなと判定した場合（ステップＳ１１２：ＮＯ）、図４の処理を終了する。この場合、運転支援システム１は、運転者に対して、別段、注意喚起を行わない。
一方、ステップＳ１１２で障害物が存在していると判定した場合（ステップＳ１１３：ＹＥＳ）、視線方向検出部２９１が、運転者の視線方向を検出（決定）する（ステップＳ１２１）。
【００３５】
図５は、視線方向検出部２９１が運転者の視線方向を検出する処理手順の例を示すフローチャートである。視線方向検出部２９１は、図４のステップＳ１２１で図５の処理を行う。
図５の処理で、視線方向検出部２９１は、視線方向検出用カメラ１１０が運転者を撮影した画像に基づいて運転者の視線方向を検出する（ステップＳ２１１）。
次に、視線方向検出部２９１は、運転者の視線方向に基づいて、運転者がミラーを目視しているか否かを判定する（ステップＳ２１２）。
【００３６】
ミラーを目視していると判定した場合（ステップＳ２１２：ＹＥＳ）、視線方向検出部２９１は、運転者の視線の方向を、ミラーが写す方向に変更する（ステップＳ２２１）。具体的には、視線方向検出部２９１は、運転者の視線の方向を、ミラーで反射した方向に伸ばしていく。
次に、視線方向検出部２９１は、運転者の視線方向に基づいて、運転者がモニタ（映像提示装置９２０のモニタ画面）を目視しているか否かを判定する（ステップＳ２３１）。
【００３７】
モニタを目視していると判定した場合（ステップＳ２３１：ＹＥＳ）、視線方向検出部２９１は、通信部２１０を介して映像提示装置９２０から注意喚起情報を取得する（ステップＳ２４１）。映像提示装置９２０の注意喚起情報には、映像提示装置９２０が強調表示することで運転者に注意喚起している障害物を特定する情報が含まれている。
次に、視線方向検出部２９１は、映像提示装置９２０のモニタ映像で注意喚起されている障害物（すなわち、強調表示されている障害物）を、運転者が目視していると評価する（ステップＳ２４２）。
ステップＳ２４２の後、図５の処理を終了して図４の処理へ戻る。
【００３８】
一方、ステップＳ２３１で、運転者がモニタを目視していないと判定した場合（ステップＳ２３１：ＮＯ）、視線方向検出部２９１は、視線方向に存在する障害物を運転者が目視していると評価する（ステップＳ２５１）。ステップＳ２１２で運転者がミラーを目視していると評価した場合、ステップＳ２５１では、視線がミラーで反射した先の方向に存在する障害物を、運転者が目視していると評価する。
ステップＳ２５１の後、図５の処理を終了して図４の処理へ戻る。
一方、ステップＳ２１２で、運転者がミラーを目視していないと判定した場合（ステップＳ２１２：ＮＯ）、ステップＳ２３１へ進む。
【００３９】
図４のステップＳ１２１の後、障害物検出部２９２は、各障害物を追跡して位置情報を更新する（ステップＳ１２２）。具体的には、障害物検出部２９２は、前回ステップＳ１２２の処理を行った際に位置情報を所得済みの障害物の位置を、今回得られた障害物センサ１２０のセンシングデータが示す位置に更新する。一方、障害物検出部２９２は、今回新たに検出した障害物については、その位置情報を新規に登録する（例えば、記憶部２８０に記憶させる）。
【００４０】
次に、評価基準決定部２９３は、運転者による障害物の目視の評価基準を、時間、場所、天候、自動車９００の状態、および、運転者の状態のうち少なくとも何れか１つ以上に基づいて決定する（ステップＳ１２３）。評価基準決定部２９３は、ステップＳ１３２のＴＴＣによる判定の閾値、および、ステップＳ１４１の評価スコアによる判定の閾値のうち何れか一方または両方を決定する。
【００４１】
ここでいうＴＴＣは、自動車９００と障害物との距離を、自動車９００と障害物との相対速度で除算した値である。ＴＴＣは、相対速度を保った場合の衝突までの猶予時間を示している。ＴＴＣの判定閾値を大きくすることで、障害物が比較的遠くに位置する早い段階でステップＳ１４１での判定を行うことになる。後述するように、評価スコアとして時間方向の積算値を用いることから、評価スコアの値が比較的小さい段階でステップＳ１４１での判定を行うことになり、運転者に対して注意喚起を行い易くなる。
【００４２】
ここで、夕暮れ時や雨の日など視界が悪いときは、運転者の視界に障害物があっても、運転者が障害物に気付きにくい。そこで、評価基準決定部２９３は、夕暮れ時および雨の日は、晴れた昼間のときよりも注意喚起を行い易くなる評価基準を用いる。
【００４３】
注意喚起を行い易くする場合、評価基準決定部２９３は、例えばステップＳ１３２でのＴＴＣ（Time To Collision）による判定閾値を比較的大きく設定し、かつ、ステップＳ１４１での障害物に対する運転者の目視の評価スコアの判定閾値を比較的大きく設定する。あるいは、評価基準決定部２９３が、これら２つのうち何れか一方の閾値のみを設定するようにしてもよい。
【００４４】
場所に関して、評価基準決定部２９３は、例えば路地など回避動作が困難な場所で判定閾値（ＴＴＣの判定閾値、および、評価スコアの判定閾値のうち何れか一方または両方）を大きくする。
自動車９００の状態に関して、評価基準決定部２９３は、例えば方向指示器、ハンドル操舵角、シフト位置および車速のうち少なくとも１つ以上に基づいて、運転者による障害物の目視の評価基準を決定する。
【００４５】
例えば評価基準決定部２９３が、方向指示器の動作およびハンドル操舵角のうち何れか一方又は両方を参照して、走行方向変更の頻度または変更角度の大きさなど、自動車９００の走行方向変更の度合いを評価するようにしてもよい。評価基準決定部２９３が、自動車９００の走行方向変更の度合いが所定の閾値より大きいと判定した場合に、判定閾値を大きくするようにしてもよい。
【００４６】
また、評価基準決定部２９３が、シフト位置および車速のうち何れか一方又は両方を参照して、走行方向変更の頻度または変更角度の大きさなど、自動車９００の走行方向変更の度合いを評価するようにしてもよい。評価基準決定部２９３が、自動車９００の走行方向変更の度合いが所定の閾値より大きいと判定した場合に、判定閾値を大きくするようにしてもよい。
【００４７】
運転者の状態に関して、評価基準決定部２９３は、例えば、運転者のまばたきの回数、あるいは、運転者が目を閉じている時間等に基づいて、運転者の眠気の強さを推定する。運転者の眠気が所定の基準よりも強いと判定した場合、評価基準決定部２９３は、判定閾値を大きくする。
【００４８】
次に、制御部２９０は、障害物毎に処理を行うループＬ１を開始する（ステップＳ１３１）。以下では、ループＬ１で処理対象となっている障害物を、処理対象の障害物と称する。
ループＬ１の処理で、注意喚起処理部２９４は、処理対象の障害物のＴＴＣが閾値未満か否かを判定する（ステップＳ１３２）。上記のように、評価基準決定部２９３がこの閾値を設定するようにしてもよい。
【００４９】
ＴＴＣが閾値以上であると判定した場合（ステップＳ１３２：ＮＯ）、注意喚起処理部２９４は、処理対象の障害物に対する運転者の目視の評価スコアを算出する（ステップＳ１６１）。図４の処理では、注意喚起処理部２９４は、障害物のＴＴＣが閾値以上である間、スコアの積算を行う。
例えば、注意喚起処理部２９４は、ステップＳ１２１での視線方向検出部２９１の判定に基づいて、運転者が処理対象の障害物を目視した回数または時間を、障害物のＴＴＣが閾値以上である間、積算する。
【００５０】
スコアを算出する際、注意喚起処理部２９４が、ＴＴＣの値および目視の種別のうちいずれか一方又は両方に応じた係数を乗算した値を積算するようにしてもよい。例えば、注意喚起処理部２９４は、直接の目視の場合に、ミラーを介した目視よりも大きい係数を乗算する。また、映像提示装置９２０での目視の場合、映像提示装置９２０の画面に処理対象の障害物が強調表示されていれば、直接の目視の場合よりも更に大きい係数を乗算する。また、注意喚起処理部２９４は、ＴＴＣの値が小さいほど（従って、障害物が自動車９００に近いほど）大きい係数を乗算する。
また、注意喚起処理部２９４が、係数の値を変更するようにしてもよい。例えば雨の場合、サイドミラー（左サイドミラー９４１および右サイドミラー９４２）に水滴が付着する等により運転者がサイドミラーを見づらくなることが考えられる。そこで、注意喚起処理部２９４が、雨の場合にサイドミラーを介した目視の係数を小さくする（目視の評価を比較的低くする）ようにしてもよい。また、左折時に巻き込み事故が多発する地点の場合、注意喚起処理部２９４が、左サイドミラー９４１を介した目視の係数を大きくするようにしてもよい。
注意喚起処理部２９４が、評価基準決定部２９３による評価基準の決定に連動して係数の値を変更するようにしてもよい。例えば、評価基準決定部２９３が雨のときの評価基準を用いる場合に、注意喚起処理部２９４が、サイドミラーを介した目視の係数を小さくするようにしてもよい。
【００５１】
次に、注意喚起処理部２９４は、通常の注意喚起として定められている処理を行う（ステップＳ１６２）。例えば、注意喚起処理部２９４は、表示装置３１０に障害物がある旨のメッセージを表示させ、音声出力装置３２０には別段、音を出力させない。あるいは、通常の注意喚起の処理が、何も注意喚起を行わないと定められていてもよい。この場合、注意喚起処理部２９４は、運転者に対する注意喚起の有無を決定している。
【００５２】
次に、制御部２９０は、ループＬ１の終端処理を行う（ステップＳ１７１）。具体的には、制御部２９０は、障害物検出部２９２が検出した全ての障害物に対してループＬ１での処理を行ったか否かを判定する。未処理の障害物があると判定した場合、ステップＳ１３１へ戻り、未処理の障害物に対して引き続きループＬ１の処理を行う。
一方、全ての障害物に対してループＬ１での処理を完了したと判定した場合、ループＬ１を終了する。この場合、図４の処理を終了する。
【００５３】
一方、ステップＳ１３２でＴＴＣが閾値未満であると判定した場合（ステップＳ１３２：ＹＥＳ）、注意喚起処理部２９４は、ステップＳ１６１で積算した評価スコアが閾値よりも大きいか否かを判定する（ステップＳ１４１）。上記のように、評価基準決定部２９３が、ここでの閾値を設定するようにしてもよい。
【００５４】
評価スコアが閾値より大きいと判定した場合（ステップＳ１４１：ＹＥＳ）、ステップＳ１６２へ進む。
一方、評価スコアが閾値以下であると判定した場合（ステップＳ１４１：ＮＯ）、注意喚起処理部２９４は、特別な注意喚起として定められている処理を行う（ステップＳ１５１）。ここでの特別な注意喚起は、ステップＳ１６２における通常の注意喚起よりも、運転者に対して注意喚起を強く促すものであればよい。
【００５５】
例えば、注意喚起処理部２９４が、音声出力装置３２０に通常の注意喚起の場合とは音量や音色の異なる電子音、または「左後方に注意」といったような具体的な内容を含む音声などを出力させて聴覚的に注意を促すようにしてもよい。また、注意喚起処理部２９４が、表示装置３１０に障害物の画像を表示させ、点滅等によって強調表示させるようにしてもよい。
また、注意喚起処理部２９４が、注視すべき画面やミラーを光らせて視覚的に注意を促すようにしてもよい。
ステップＳ１５１の後、ステップＳ１７１へ進む。
【００５６】
以上のように、視線方向検出部２９１は、自動車９００の運転者の視線の方向を検出する。障害物検出部２９２は、自動車９００の周囲の障害物の位置を検出する。評価基準決定部２９３は、運転者による障害物の目視の評価基準を、時間、場所、天候、自動車９００の状態、および、運転者の状態のうち少なくとも何れか１つ以上に基づいて決定する。注意喚起処理部２９４は、運転者の視線の方向および障害物の位置に基づいて算出したスコアを評価基準に適用して、運転者による障害物の目視を評価し、評価結果に基づいて、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する。
【００５７】
このように、評価基準決定部２９３が運転時の条件に応じて評価基準を変えることで、運転支援システム１による運転者への注意喚起の頻度を低減し、かつ、比較的危険性の高い状況では、運転支援システム１が注意喚起を行い易くすることができる。この点で、運転支援装置２００によれば、注意喚起の頻発の回避と、危険発生の可能性がある場合の注意喚起との両立を図ることができる。
【００５８】
また、注意喚起処理部２９４は、運転者が障害物を視認した時間又は回数に、運転者が障害物を視認した方法に応じた係数を乗算した値を積算して、スコアを算出する。
これにより、注意喚起処理部２９４は、運転者が障害物を視認した方法を反映している点で、精度の高いスコアを算出することができる。
【００５９】
また、注意喚起処理部２９４は、運転者の視線の方向が映像提示装置に向いている場合、映像提示装置の映像で注意喚起されている障害物を運転者が視認したと評価する。
ここで、映像で障害物が注意喚起されている場合、運転者の意識が注意喚起されている障害物に向かい、注意喚起されていない障害物への注目が弱くなる可能性がある。
注意喚起処理部２９４は、映像での注意喚起の有無に応じたスコアを算出する点で、精度の高いスコアを算出することができる。
【００６０】
また、注意喚起処理部２９４は、さらに、自動車９００の状態と障害物の位置との関係に基づいて、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する。
これにより、注意喚起処理部２９４は、自動車９００との関係で危険性が低いと思われる障害物について、運転者に注意喚起することを抑制できる。
【００６１】
なお、運転者が障害物を視認していると判別できた場合、注意喚起処理部２９４が注意喚起の方法を変更する、あるいは、注意喚起を終了するようにしてもよい。
また、映像提示装置９２０を介した目視の形態として、いろいろな形態を用いることができる。例えば、ナビ画面、計器クラスタ、電子ミラー等の表示画面にカメラ映像を表示するようにしてもよい。あるいは、ヘッドアップディスプレイまたはミラーのインジケータで、特定の障害物に対して注意喚起する形態であってもよい。
【００６２】
また、運転者が障害物を視認した回数、しなかった回数を記録し、その情報を安全運転指導に用いるようにしてもよい。
また、運転者による目視の有無の判定情報を、カメラの映像およびセンサデータと併せて一定期間保存しておき、事故発生時の状況把握のために用いるようにしてもよい。
【００６３】
また、注意喚起処理部２９４が、運転者が障害物を視認しているか否かの判定に加えて、自動車９００における方向指示器、ハンドル操舵角、シフト位置、車速など、自動車９００の状態に基づいて特別な注意喚起の実施の有無を切り替えるようにしてもよい。例えば、自動車９００の方向指示器が左に出ている場合に、車両の左側で検知された障害物に対し、運転者が視認しているか否かの判定に基づいて注意喚起を行う一方、車両の右側で検知された障害物に対しては、注意喚起を行わないようしてもよい。
【００６４】
＜第２実施形態＞
上述したように、運転支援装置がクラウド内など車外に設けられていてもよい。第２実施形態では、この点について説明する。
図６は、本発明の第２実施形態に係る運転状況情報取得システムの機能構成を示す概略ブロック図である。
【００６５】
図６に示す運転状況情報取得システム２は、運転状況情報取得装置２０１と、車載システム４００とを備える。車載システム４００は、視線方向検出用カメラ１１０と、障害物センサ１２０と、表示装置３１０と、音声出力装置３２０と、通信装置４１０とを備える。運転状況情報取得装置２０１は、通信部２１０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、視線方向検出部２９１と、障害物検出部２９２と、評価基準決定部２９３と、運転状況情報取得部４９４とを備える。車載システム４００と、運転状況情報取得装置２０１とは、ネットワーク９５０を介して通信を行う。
【００６６】
ネットワーク９５０は、運転支援装置２００の通信部２１０と車載システムの通信装置４１０との通信を中継できる通信ネットワークであればよい。自動車９００の可動性からは、ネットワーク９５０が、通信装置４１０と無線通信を行うことが好ましい。例えば、ネットワーク９５０は、インターネットと携帯電話網（通信事業者がスマートフォンまたは携帯電話機等の携帯端末向けに提供する通信ネットワーク）との組み合わせにて構成されていてもよい。
運転状況情報取得システム２でデータ収集対象となる自動車９００の数は、１台以上であればよい。
【００６７】
図６の各部のうち図１の各部に対応して同様の機能を有する部分には同一の符号（１１０、１２０、２１０、２８０、２９０、２９１、２９２、２９３、３１０、３２０，９００、９１０、９２０、９３０、９４１、９４２）を付して説明を省略する。図６では、運転状況情報取得装置２０１が車外に設置されており、車内（自動車９００内）の各装置と運転支援装置との間で通信を行うために、車内に通信装置４１０が設置されている。
【００６８】
運転状況情報取得部４９４は、視線方向検出部２９１が検出した運転者の視線の方向、および、障害物検出部２９２が検出した障害物の位置を、評価基準決定部２９３が決定した評価基準に適用して、運転者による障害物の目視の評価値を算出する。運転状況情報取得部４９４が運転者による障害物の目視の評価値を算出方法は、図１の注意喚起処理部２９４の場合と同様である。運転者による障害物の目視の評価値は、運転者の目視が適切か否かを判断する指標値となる。この点で、運転者による障害物の目視の評価値は、一種の運転状況情報であると言える。ここでいう運転状況情報は、運転の状況を示す情報である。
【００６９】
運転状況情報取得部４９４が、さらに、図１の注意喚起処理部２９４と同様に、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定するようにしてもよい。但し、運転状況情報取得部４９４は、車外の運転状況情報取得装置２０１に位置することから、運転状況情報取得部４９４自らは運転者への注意喚起を行わない。このため、注意喚起処理部との名称に代えて運転状況情報取得部との名称を付している。
【００７０】
運転状況情報取得部４９４が運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する場合、決定内容を示す情報、すなわち、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を示す情報を生成する。そして、運転状況情報取得部４９４は、通信部２１０およびネットワーク９５０を介して、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を示す情報を車載システム４００へ送信する。車載システム４００では、表示装置３１０および音声出力装置３２０のうち何れか一方または両方が、運転状況情報取得装置２０１からの情報に従って運転者に注意喚起を行う。
【００７１】
運転状況情報取得装置２０１を車外に設置して車載システム４００に対するサーバとして機能させることで、第１実施形態および第２実施形態の場合と同様の運転者への運転支援に加えて、あるいは代えて、運転状況情報取得装置２０１が車載システム４００から情報を収集することができる。例えば、運転状況情報取得部４９４が、上記のように注意喚起のための情報を車載システム４００へ送信することに加えて、あるいは代えて、記憶部２８０に運転状況を示す情報を記憶させるようにしてもよい。
【００７２】
ここでいう運転状況を示す情報は、運転者による障害物の目視の評価値、および、運転者への注意喚起の要否および程度を示す情報のうち何れか一方または両方であってもよい。あるいは更に、自動車９００の周囲の障害物の位置情報など自動車９００の周囲の情報、自動車９００の速度など自動車９００の状態を示す情報、運転者の瞬きの頻度など運転者の状態を示す情報の何れか、あるいはそれらの組合せを含んでいてもよい。
【００７３】
このように、第２実施形態では運転者への注意喚起を行うとは限らないことから、運転状況情報取得システムおよび運転状況情報取得装置との名称を用いている。
運転者への注意喚起を行わない場合、車載システム４００の表示装置３１０および音声出力装置３２０は必須ではない。
一方、運転状況情報取得システム２が運転者への注意喚起を行う場合、運転状況情報取得システムを運転支援システムと称することができる。また、運転状況情報取得装置を、運転支援装置と称することができる。
【００７４】
図６では、車載システム４００が自動車９００に搭載されている場合の例を示しているが、図１の場合と同様、車載システム４００を搭載する移動体は自動車に限定されず、周囲の障害物に注意して運転する必要があるいろいろな乗物とすることができる。
運転状況情報取得システム２のサーバクライアント構成により、運転状況情報取得装置２０１のユーザ（例えば、運転支援サービスを提供する事業者）は、リモートで運転の状況を確認することができ、危険な運転だったか否かを判断することができる。
さらには、運転状況情報取得装置２０１のユーザは、危険な運転と判断されたシーンを用いて運転者に運転安全指導をすることができる。その際、危険と判断された運転を行った運転者本人だけでなく、他の運転者にも情報提供するなど安全運転指導を行うことができる。
【００７５】
次に、図７および図８を参照して本発明の最小構成について説明する。
図７は、本発明に係る運転支援装置の最小構成の例を示す図である。図７に示す運転支援装置１０は、視線方向検出部１１と、障害物検出部１２と、評価基準決定部１３と、注意喚起処理部１４とを備える。
【００７６】
かかる構成にて、視線方向検出部１１は、移動体の運転者の視線の方向を検出する。障害物検出部１２は、移動体の周囲の障害物の位置を検出する。評価基準決定部１３は、運転者による障害物の目視の評価基準を、時間、場所、天候、自動車９００の状態、および、運転者の状態のうち少なくとも何れか１つ以上に基づいて決定する。注意喚起処理部１４は、運転者の視線の方向および障害物の位置に基づいて算出したスコアを評価基準に適用して、運転者による障害物の目視を評価し、評価結果に基づいて、運転者への注意喚起の要否および程度のうち少なくとも何れか一方を決定する。
【００７７】
このように、評価基準決定部２９３が運転時の条件に応じて評価基準を変えることで、運転者への注意喚起の頻度を低減し、かつ、比較的危険性の高い状況では、注意喚起を行い易くすることができる。この点で、運転支援装置１０によれば、注意喚起の頻発の回避と、危険発生の可能性がある場合の注意喚起との両立を図ることができる。
【００７８】
図８は、本発明に係る運転状況情報取得システムの最小構成の例を示す図である。図８に示す運転状況情報取得システム２０は、車載システム２１と、運転状況情報取得装置２４とを備える。車載システム２１は、視線方向検出用カメラ２２と、障害物センサ２３とを備える。運転状況情報取得装置２４は、視線方向検出部２５と、障害物検出部２６と、評価基準決定部２７と、運転状況情報取得部２８とを備える。
【００７９】
かかる構成にて、車載システム２１は、移動体に搭載される。運転状況情報取得装置２４は、車載システム２１と通信を行う。視線方向検出用カメラ２２は、移動体の運転者の顔の画像を撮影する。障害物センサ２３は、移動体の周囲の障害物を検出するためのセンサである。視線方向検出部２５は、運転者の顔の画像に基づいて運転者の視線の方向を検出する。障害物検出部２６は、障害物センサ２３からのセンシングデータに基づいて移動体の周囲の障害物の位置を検出する。評価基準決定部２７は、運転者による障害物の目視の評価基準を、時間、場所、天候、自車の状態、および、運転者の状態のうち少なくとも何れか１つ以上に基づいて決定する。運転状況情報取得部は、運転者の視線の方向および障害物の位置に基づいて算出したスコアを評価基準に適用して、運転者による障害物の目視の評価値を算出する。
【００８０】
このように、評価基準決定部２９３が運転時の条件に応じて評価基準を変えることで、例えば雨の場合にミラーを用いての目視のスコアを低めに評価するなど、運転者による目視をより高精度に評価することができる。
【００８１】
なお、制御部２９０が行う処理の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８３】
１  運転支援システム
２、２０  運転状況情報取得システム
１０、２００  運転支援装置
１１、２５、２９１  視線方向検出部
１２、２６、２９２  障害物検出部
１３、２７、２９３  評価基準決定部
１４、２９４  注意喚起処理部
２１、４００  車載システム
２２、１１０  視線方向検出用カメラ
２３、１２０  障害物センサ
２４、２０１  運転状況情報取得装置
２８、４９４  運転状況情報取得部
２１０  通信部
２８０  記憶部
２９０  制御部
３１０  表示装置
３２０  音声出力装置
９１０  映像提示用カメラ
９２０  映像提示装置
９３０  バックミラー
９４１  左サイドミラー
９４２  右サイドミラー
９５０  ネットワーク
【図１】
2019086983.tif 000003
【図２】
2019086983.tif 000004
【図３】
2019086983.tif 000005
【図４】
2019086983.tif 000006
【図５】
2019086983.tif 000007
【図６】
2019086983.tif 000008
【図７】
2019086983.tif 000009
【図８】
2019086983.tif 000010