(57)【要約】【課題】運転者の注視領域の位置の推定精度を向上可能にした注視領域推定装置を提供する。【解決手段】運転負荷推定ＥＣＵ１００は、運転者の視線が車両前方に向いているときには、車両前方に位置する特定の領域での運転者の視線の滞留時間が所定時間以上であることを条件に特定の領域を注視領域として推定する。また、運転負荷推定ＥＣＵ１００は、運転者の視線が車両側方又は車両後方である車両後側方に向いているときには、車両後側方に位置する特定の領域に運転者の視線が向く頻度が所定回数以上であることを条件に特定の領域を注視領域として推定する。【選択図】図１
2018185763.tif 000002
【特許請求の範囲】
【請求項１】
車両における運転者の視線の方向に基づき、運転者の注視領域の位置を推定する注視領域推定装置であって、
運転者の視線が車両前方に向くときには、車両前方に位置する特定の領域での運転者の視線の滞留時間を用い、当該滞留時間が、前記注視領域が車両前方に存在することを示す所定時間以上であることを条件に、前記特定の領域を前記注視領域として推定する一方で、運転者の視線が車両側方又は車両後方である車両後側方に向くときには、前記車両後側方に位置する特定の領域に運転者の視線が向く頻度を用い、当該頻度が、前記注視領域が車両後側方に存在することを示す所定回数以上であることを条件に、前記特定の領域を前記注視領域として推定する
ことを特徴とする注視領域推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の視線の方向に基づき、運転者の注視している領域である注視領域の位置を推定する注視領域推定装置に関する。
【背景技術】
【０００２】
従来、こうした注視領域推定装置として、例えば特許文献１に示されるように、車両の乗員の視野領域のうち特定の領域に対して視線が向けられる頻度または滞留時間を算出し、視線が向けられる頻度または滞留時間が所定の値よりも大きい場合に、当該領域を注視領域として推定するようにした技術が知られている。そして、こうして推定された注視領域を撮影の対象として設定することにより、車両の乗員が興味を示した対象物の写真を自動で撮影することも可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２５５１６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両側方や車両後方である車両後側方に運転者の注視領域が存在するときには、運転者の注視領域が車両前方に存在するときよりも、注視領域での運転者の視線の滞留時間が短くなる傾向にある。そのため、車両前方と車両後側方とにおいて、運転者の注視領域の位置を運転者の視線の滞留時間に基づいて一律に推定すると、注視領域の位置を精度よく推定することが困難となる。また通常は、運転者の注視領域の有無に関わらず、運転者が車両前方に視線を向ける機会は、運転者が車両後側方に視線を向ける機会よりも多い。そのため、車両前方と車両後側方とにおいて、運転者の注視領域の位置を運転者の視線が向けられる頻度に基づいて一律に推定すると、これもまた、注視領域の位置を精度良く推定することが困難となる。
【０００５】
本発明は、このような実情に鑑みてなされたものであり、その目的は、運転者の注視領域の位置の推定精度を向上可能にした注視領域推定装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決する注視領域推定装置は、車両における運転者の視線の方向に基づき、運転者の注視領域の位置を推定する注視領域推定装置であって、運転者の視線が車両前方に向くときには、車両前方に位置する特定の領域での運転者の視線の滞留時間を用い、当該滞留時間が、前記注視領域が車両前方に存在することを示す所定時間以上であることを条件に、前記特定の領域を前記注視領域として推定する一方で、運転者の視線が車両側方又は車両後方である車両後側方に向くときには、前記車両後側方に位置する特定の領域に運転者の視線が向く頻度を用い、当該頻度が、前記注視領域が車両後側方に存在することを示す所定回数以上であることを条件に、前記特定の領域を前記注視領域として推定する。
【０００７】
上記構成によれば、運転者の視線が車両前方に向いているのか、もしくは、運転者の視線が車両側方又は車両後方に向いているのかに応じて、視線の滞留時間に基づく注視領域の位置の推定と、視線の頻度に基づく注視領域の位置の推定とが使い分けられる。これにより、運転者の注視領域の位置を精度よく推定することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】注視領域推定装置の一実施の形態の概略構成を示すブロック図。
【図２】運転者の視線が車両前方に向いているときの視線の滞留時間と運転負荷との相関関係の一例を示すグラフ。
【図３】運転者の視線が車両側方又は車両後方に向いているときの視線の頻度と運転負荷との相関関係の一例を示すグラフ。
【図４】同実施の形態の注視領域推定装置が実行する運転負荷の推定処理の処理手順を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、注視領域推定装置の一実施の形態について説明する。
本実施の形態の注視領域推定装置は、運転者の運転状況、車両の走行状態、車両の周辺状態に基づき、車両の走行時における運転者の運転負荷を推定するものである。この装置では、運転者の運転状況を検知するに際し、運転者の視線の先に注視領域が存在するか否かを判定する。このとき、運転者の視線が車両前方に向いているときには、車両前方に位置する特定の領域での運転者の視線の滞留時間に基づき、運転者の視線の先にある特定の領域が注視領域であるか否かを判定する。その一方で、運転者の視線が車両側方又は車両後方である車両後側方に向いているときには、車両後側方に位置する特定の領域に運転者の視線が向く頻度に基づき、運転者の視線の先にある特定の領域が注視領域であるか否かを判定する。そして、運転者の視線の先に注視領域が存在すると判定したときには、運転者の視線の先に注視領域が存在しないと判定したときと比較して、運転者の運転負荷が大きくなる傾向をもって運転者の運転負荷を推定する。
【００１０】
具体的には、図１に示すように、車両は、車両の走行時における運転者の運転負荷を推定する運転負荷推定ＥＣＵ１００を有している。運転負荷推定ＥＣＵ１００は、例えばＣＡＮ（コントローラ・エリア・ネットワーク）等の車両ネットワークＮＷを介して各種のセンサ群、並びにスイッチ群に接続されている。なお、同図に示す例では、センサ群の一例として、車両の周囲への運転者の視線の方向を検知する視線検知カメラ１１０、運転者の生体信号を検知する生体センサ１２０、車両の速度を検知する車速センサ１４０、前方車両との車間距離を検知するミリ波レーダ１５０、車両の周囲の状況を検知する周辺監視カメラ１６０が例示されている。この場合、視線検知カメラ１１０は、運転者の眼の画像を撮影することにより運転者の視線を直接的に検知するようにしてもよいし、運転者の顔の向きに基づき運転者の視線を間接的に検知するようにしてもよい。また、同図に示す例では、スイッチ群の一例として、ウィンカーの操作信号を出力するウィンカースイッチ１３０が例示されている。そして、本実施の形態では、視線検知カメラ１１０及び生体センサ１２０が運転者の運転状況を検知する運転状況検知部を構成し、ウィンカースイッチ１３０及び車速センサ１４０が車両の走行状態を検知する車両状態検知部を構成し、ミリ波レーダ１５０及び周辺監視カメラ１６０が車両の周辺状態を検知する周辺状態検知部を構成している。
【００１１】
また、運転負荷推定ＥＣＵ１００は、車両ネットワークＮＷに接続された各種のセンサ群、並びにスイッチ群から送信される各種のデータを取得する車両ネットワーク通信部１０１を有している。車両ネットワーク通信部１０１は、車両ネットワークＮＷを通じて取得した各種のデータのうち、視線検知カメラ１１０から取得した運転者の視線に関するデータ、及び、生体センサ１２０から取得した運転者の生体信号を運転状況推定部１０２に出力する。そして、運転状況推定部１０２は、これら入力されたデータを関連付けして運転者の運転状況を推定する。
【００１２】
また、車両ネットワーク通信部１０１は、車両ネットワークＮＷを通じて取得した各種のデータのうち、ウィンカースイッチ１３０から取得したウィンカーの操作信号、及び、車速センサ１４０から取得した車両の速度に関するデータを車両状態推定部１０３に出力する。そして、車両状態推定部１０３は、これら入力されたデータを関連付けして車両の走行状態を推定する。
【００１３】
また、車両ネットワーク通信部１０１は、ミリ波レーダ１５０から取得した前方車両との車間距離に関するデータ、及び、周辺監視カメラ１６０から取得した車両の周辺の障害物の有無に関するデータを周辺状態推定部１０４に出力する。そして、周辺状態推定部１０４は、これら入力されたデータを関連付けして車両の周辺状態を推定する。
【００１４】
運転負荷推定ＥＣＵ１００は、運転状況推定部１０２により推定された運転者の運転状況、車両状態推定部１０３により推定された車両の走行状態、及び、周辺状態推定部１０４により推定された車両の周辺状態に基づき、車両の走行時における運転者の運転負荷を推定する運転負荷推定部１０５を有している。
【００１５】
運転負荷推定部１０５は、運転状況推定部１０２により推定された運転者の運転状況に基づき運転者の運転負荷を推定するに際し、視線検知カメラ１１０により検知された運転者の視線が車両前方に向いているのか、若しくは、車両後側方に向いているのかを判定する。
【００１６】
そして、図２に示すように、運転負荷推定部１０５は、運転者の視線が車両前方に向いていると判定したときには、車両前方に位置する特定の領域での運転者の視線の滞留時間が、注視領域が車両前方に存在することを示す所定時間Ｔに達するまでの間は、特定の領域が注視領域ではないものと判定して、運転者の運転負荷として第１の負荷値Ｎ１を推定する。その一方で、運転負荷推定部１０５は、車両前方に位置する特定の領域での運転者の視線の滞留時間が所定時間Ｔに達したときには、特定の領域が注視領域であるものと判定して、運転者の運転負荷として第１の負荷値Ｎ１よりも大きい第２の負荷値Ｎ２を推定する。また、運転負荷推定部１０５は、車両前方に位置する特定の領域での運転者の視線の滞留時間が所定時間Ｔを超えたときには、注視領域への注視の度合いが特に高いものと判定して、その超過した時間の分だけ運転者の運転負荷として第２の負荷値Ｎ２よりも大きい値を推定する。ただし、運転負荷推定部１０５は、車両前方に位置する特定の領域での運転者の視線の滞留時間が所定時間Ｔを超えたとしても、特定の領域が注視領域であるときの運転者の運転負荷として第２の負荷値Ｎ２に維持するようにしてもよい。
【００１７】
その一方で、図３に示すように、運転状況推定部１０２は、運転者の視線が車両後側方に向いていると判定したときには、車両後側方に位置する特定の領域に運転者の視線が向く頻度が、注視領域が車両後側方に存在することを示す所定回数Ｘに達するまでの間は、特定の領域が注視領域ではないものと判定して、運転者の運転負荷として第１の負荷値Ｎ１αを推定する。その一方で、運転負荷推定部１０５は、車両後側方に位置する特定の領域に運転者の視線が向く頻度が所定回数Ｘに達したときには、特定の領域が注視領域であるものと判定して、運転者の運転負荷として第１の負荷値Ｎ１αよりも大きい第２の負荷値Ｎ２αを推定する。また、運転負荷推定部１０５は、車両後側方に位置する特定の領域に運転者の視線が向く頻度が所定回数Ｘを超えたとしても、特定の領域が注視領域であるときの運転者の運転負荷として第２の負荷値Ｎ２αに維持する。ただし、運転負荷推定部１０５は、車両後側方に位置する特定の領域への運転者の視線の頻度が所定回数Ｘを超えたときには、注視領域への注視の度合いが特に高いものと判定して、その超過した回数の分だけ運転者の運転負荷として第２の負荷値Ｎ２αよりも大きい値を推定するようにしてもよい。
【００１８】
次に、本実施の形態の運転負荷推定ＥＣＵ１００が実行する運転者の運転負荷の推定処理についてその具体的な処理手順を説明する。
まず図４に示すように、運転負荷推定ＥＣＵ１００は、運転者の視線に関するデータを視線検知カメラ１１０から車両ネットワーク通信部１０１を通じて取得する（ステップＳ１０）。
【００１９】
続いて、運転負荷推定ＥＣＵ１００は、先のステップＳ１０において取得した運転者の視線が車両前方に向いているのか否かを、運転負荷推定部１０５を通じて判定する（ステップＳ１１）。
【００２０】
そして、運転負荷推定ＥＣＵ１００は、運転者の視線が車両前方に向いていると判定したときには（ステップＳ１１＝ＹＥＳ）、視線の滞留時間に基づいた運転負荷の推定を、運転負荷推定部１０５を通じて実行する（ステップＳ１２）。
【００２１】
その一方で、運転負荷推定ＥＣＵ１００は、運転者の視線が車両前方ではなく車両後側方に向いていると判定したときには（ステップＳ１１＝ＮＯ）、視線の頻度に基づいた運転負荷の推定を、運転負荷推定部１０５を通じて実行する（ステップＳ１３）。
【００２２】
次に、本実施の形態の運転負荷推定ＥＣＵ１００の作用について説明する。
運転者の視線の先に注視領域が存在するときには、運転者は車両の運転操作に負担を感じやすい。そのため、車両の走行時における運転者の運転負荷を推定する際には、運転者の視線の先に注視領域が存在するか否かを判定することが必要となる。この場合、注視領域の判定方法としては、特定の領域での視線の滞留時間に基づく方法や、特定の領域に視線が向く頻度に基づく方法が一例として挙げられる。
【００２３】
ただし、運転者の視線が車両前方に向いているときには、車両前方を確認するために運転者の視線は頻繁に移動する傾向にある。そのため、特定の領域に視線が向く頻度に基づく方法を採用したときには、実際には運転者の視線の先に注視領域が存在しないにも関わらず、注視領域が存在するものとして誤った推定を行うことにもなりかねない。したがって、本実施の形態では、運転者の視線が車両前方に向いているときには、特定の領域での視線の滞留時間に基づく方法を採用している。これにより、運転者の視線の先に注視領域が存在するか否かを精度よく推定することが可能となり、結果として、車両の走行時における運転者の運転負荷を精度よく推定することが可能となる。
【００２４】
また、運転者の視線が車両後側方に向いているときには、そもそも視線の滞留時間が短くなりやすい傾向にある。そのため、特定の領域での視線の滞留時間に基づく方法を採用したときには、実際には運転者の視線の先に注視領域が存在するにも関わらず、注視領域が存在しないものとして誤った推定を行うことにもなりかねない。したがって、本実施の形態では、運転者の視線が車両後側方に向いているときには、特定の領域に視線が向く頻度に基づく方法を採用している。これにより、運転者の視線の先に注視領域が存在するか否かを精度よく推定することが可能となり、結果として、車両の走行時における運転者の運転負荷を精度よく推定することが可能となる。
【００２５】
以上説明したように、上記実施の形態によれば、以下に示す効果を得ることができる。
運転負荷推定ＥＣＵ１００は、運転者の視線が車両前方に向いているのか、もしくは、運転者の視線が車両後側方に向いているのかに応じて、視線の滞留時間に基づく注視領域の位置の推定と、視線の頻度に基づく注視領域の位置の推定とを使い分ける。これにより、運転者の注視領域を精度よく推定することが可能となる。
【００２６】
なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態において、運転負荷推定ＥＣＵ１００は、運転者の視線が車両前方に向いているとき、視線の滞留時間に基づいて推定される注視領域の数が多くなるにつれて運転者の運転負荷を大きく推定するようにしてもよい。
【００２７】
・上記実施の形態においては、運転負荷推定ＥＣＵ１００は、運転者の視線が車両前方に向いているのか、もしくは、運転者の視線が車両後側方に向いているのかに応じて、視線の滞留時間に基づく注視領域の位置の推定と、視線の頻度に基づく注視領域の位置の推定とを使い分けるようにした。これに加えて、運転負荷推定ＥＣＵ１００は、車両前方、若しくは、車両後側方における運転者の視線の位置を上下に区分けするようにしてもよい。この場合、運転負荷推定ＥＣＵ１００は、運転者の視線の位置が上下方向の中央寄りの位置にあることを条件に、運転者の視線の先に注視領域が存在するものとして推定するようにしてもよい。
【００２８】
・上記実施の形態においては、運転負荷推定ＥＣＵ１００は、運転者の視線が車両前方に向いているときには、視線の滞留時間に基づき注視領域の位置の推定を行う一方で、運転者の視線が車両後側方に向いているときには、視線の頻度に基づき注視領域の位置の推定を行うようにした。これに代えて、運転負荷推定ＥＣＵ１００は、運転者の視線が車両前方に向いているのか、もしくは、運転者の視線が車両後側方に向いているのかに関わらず、視線の滞留時間及び視線の頻度の双方に基づいて注視領域の位置の推定を行うようにしてもよい。この場合、運転負荷推定ＥＣＵ１００は、運転者の視線が車両前方に向いているときには、視線の滞留時間に対して相対的に高い重み付けを設定して注視領域の位置の推定を行うことが好ましい。また、運転負荷推定ＥＣＵ１００は、運転者の視線が車両後側方に向いているときには、視線の頻度に対して相対的に高い重み付けを設定して注視領域の位置の推定を行うことが好ましい。
【符号の説明】
【００２９】
１００…運転負荷推定ＥＣＵ、１０１…車両ネットワーク通信部、１０２…運転状況推定部、１０３…車両状態推定部、１０４…周辺状態推定部、１０５…運転負荷推定部、１１０…視線検知カメラ、１２０…生体センサ、１３０…ウィンカースイッチ、１４０…車速センサ、１５０…ミリ波レーダ、１６０…周辺監視カメラ、ＮＷ…車両ネットワーク。
【図１】
2018185763.tif 000003
【図２】
2018185763.tif 000004
【図３】
2018185763.tif 000005
【図４】
2018185763.tif 000006