(57)【要約】【課題】外光等の影響によって運転者の目が通常よりも目が細くなっているような場合に、居眠り状態と判定してしまうことがある。【解決手段】運転者の顔を撮像する撮像装置の撮像した画像から、運転者の開眼度を検出し、運転者の開眼度が開眼度閾値以下の状態が覚醒度低下判定時間以上継続した場合に、運転者の覚醒度が低下しているか否かを判定する覚醒度判定部１と、覚醒度判定部が運転者の覚醒度が低下していると判定した場合に、運転者に対して警告を行う警告部２と、警告部が運転者に対して警告を行ってから、運転者が前記警告をキャンセルするまでの時間である警告キャンセル時間を計測する警告キャンセル時間計測部３と、警告キャンセル時間が正常時間以内の場合に、開眼度閾値を、覚醒度が低下していると判定しづらくなるように補正するパラメータ補正部４と、を備える。【選択図】図１
2020154383.tif 000002
【特許請求の範囲】
【請求項１】
運転者の顔を撮像する撮像装置の撮像した画像から、前記運転者の開眼度を検出し、前記運転者の開眼度が開眼度閾値以下の状態が覚醒度低下判定時間以上継続した場合に、前記運転者の覚醒度が低下しているか否かを判定する覚醒度判定部と、
前記覚醒度判定部が前記運転者の覚醒度が低下していると判定した場合に、前記運転者に対して警告を行う警告部と、
前記警告部が前記運転者に対して警告を行ってから、前記運転者が前記警告をキャンセルするまでの時間である警告キャンセル時間を計測する警告キャンセル時間計測部と、
前記警告キャンセル時間が正常時間以内の場合に、前記開眼度閾値を、覚醒度が低下していると判定しづらくなるように補正するパラメータ補正部と、
を備える運転者状態判定装置。
【請求項２】
前記パラメータ補正部は、前記開眼度閾値を、前記覚醒度判定部によって前記運転者の覚醒度が低下していると判定されたときの前記運転者の開眼度よりも低くなるように補正する請求項１記載の運転者状態判定装置。
【請求項３】
前記覚醒度判定部によって前記運転者の開眼度が基準開眼度以上の状態が予め定められた時間以上継続していると検出された場合、前記パラメータ補正部は、補正したパラメータを補正前のパラメータに戻す請求項２記載の運転者状態判定装置。
【請求項４】
前記正常時間は、前記運転者の年齢に応じて設定される請求項１記載の運転者状態判定装置。
【請求項５】
運転者の顔を撮像する撮像装置の撮像した画像から、前記運転者の開眼度を検出し、前記運転者の開眼度が開眼度閾値以下の状態が覚醒度低下判定時間以上継続した場合に、前記運転者の覚醒度が低下しているか否かを判定するステップと、
前記覚醒度判定部が前記運転者の覚醒度が低下していると判定した場合に、前記運転者に対して警告を行うステップと、
前記警告部が前記運転者に対して警告を行ってから、前記運転者が前記警告をキャンセルするまでの時間である警告キャンセル時間を計測するステップと、
前記警告キャンセル時間が正常時間以内の場合に、前記開眼度閾値を、覚醒度が低下していると判定しづらくなるように補正するステップと、
を含む運転者状態判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置で撮像した画像から運転者の状態を判定し、運転者の覚醒度が低下していると判定した場合に、運転者に警告を発して事故を未然に防ぐ運転者状態判定装置に関するものである。
【背景技術】
【０００２】
下記特許文献1では、運転者の顔画像から運転者の目の位置および開度を判断し、運転者が居眠り状態であるかを検出する技術を提案している。
【先行技術文献】
【特許文献】
【０００３】
特開２０００−３５３１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来例においては、外光等の影響によって運転者の目が通常よりも目が細くなっているような場合に、居眠り状態と判定してしまうことがある。このような場合、運転者は自身が覚醒状態であるにも関わらず警告が発生するため、非常に煩わしいと感じる可能性がある。
【０００５】
この発明は上記した問題点を解決するためになされたものであり、運転者が運転に適さない覚醒度の低い状態と判定され、警告が行われた場合に、運転者が正常時間以内に警告のキャンセル操作を行った場合、運転者の覚醒度が低下しているか否かの判定に用いるパラメータを覚醒度が低下していると判定しづらくなるように補正する。このようにすることで、外光等の影響によって運転者の目が通常よりも目が細くなっているような場合に、何度も警告を行ってしまうことを抑制することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係わる運転者状態判定装置は、運転者の顔を撮像する撮像装置の撮像した画像から、運転者の開眼度を検出し、運転者の開眼度が開眼度閾値以下の状態が覚醒度低下判定時間以上継続した場合に、運転者の覚醒度が低下しているか否かを判定する覚醒度判定部と、覚醒度判定部が運転者の覚醒度が低下していると判定した場合に、運転者に対して警告を行う警告部と、警告部が運転者に対して警告を行ってから、運転者が前記警告をキャンセルするまでの時間である警告キャンセル時間を計測する警告キャンセル時間計測部と、警告キャンセル時間が正常時間以内の場合に、開眼度閾値を、覚醒度が低下していると判定しづらくなるように補正するパラメータ補正部と、を備える。
【発明の効果】
【０００７】
運転者が運転に適さない覚醒度の低い状態と判定され、警告が行われた場合に、運転者が正常時間以内に警告のキャンセル操作を行った場合、運転者の覚醒度が低下しているか否かの判定に用いるパラメータを覚醒度が低下していると判定しづらくなるように補正する。このようにすることで、外光等の影響によって運転者の目が通常よりも目が細くなっているような場合に、何度も警告を行ってしまうことを抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係わる運転者状態判定装置１００の構成を示すブロック図である。
【図２】図２Ａおよび図２Ｂは、この発明の実施の形態１に係わる、運転者状態判定装置１００のハードウェア構成例を示す図である。
【図３】この発明の実施の形態１に係わる運転者状態判定装置１００のパラメータ補正処理のフローチャートである。
【図４】この発明の実施の形態１に係わる運転者状態判定装置１００の補正したパラメータを補正前のパラメータに戻す処理のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、この発明を実施するための形態について、図を参照して説明する。なお、各図中の同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化ないし省略する。
【００１０】
実施の形態1
図１は本実施の形態1に係わる運転者状態判定装置１００の構成を示すブロック図である。
運転者状態判定装置１００は、覚醒度判定部１、警告部２、警告キャンセル時間計測部３、パラメータ補正部４を備える。
図１に示すように、覚醒度判定部１は、撮像装置１０に接続されており、警告部２は、警告キャンセルスイッチ２０に接続されている。
撮像装置１０は、自車両の内部の前方（例えば、ダッシュボード、インストルメントパネル）に設けられており、運転者の顔の画像（顔画像）を所定の間隔おきに撮像する。撮像装置１０の一例としては、ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ−ｄｅｖｉｃｅ）や赤外線カメラが挙げられる。
【００１１】
覚醒度判定部１は、撮像装置１０の撮像した運転者の顔の画像を撮像装置１０から取得し、取得した運転者の顔の画像から運転者の瞼の開き具合である開眼度を検出する。そして、覚醒度判定部１は、検出した開眼度が予め定めた開眼度閾値（Ｔｈ１）よりも低い状態が、予め定めた覚醒度低下判定時間（Ｔ１）以上経過した場合に、運転者の覚醒度が低下していると判定する。
また、運転者の通常の開眼度（基準開眼度）に基づいて開眼度閾値（Ｔｈ１）を設定することで、通常の開眼度が低い、つまり目の細い運転者に対しても、精度よく覚醒度を判定することができる。
【００１２】
なお、基準開眼度は、例えば、運転者の開眼度の平均値である。基準開眼度は、運転者が車両に搭乗してから予め定められた時間における運転者の開眼度の平均値としてもよいし、現在までに検出した全ての開眼度の平均値としてもよい。
覚醒度判定部１は、運転者の覚醒度が低下していると判定した場合に、警告部２に対して運転者の覚醒度が低下している旨を通知する。
【００１３】
警告部２は、覚醒度判定部１から運転者の覚醒度が低下している状態である旨の通知を受信した場合、車両に備えられたスピーカ（不図示）から警告音や注意喚起の音声案内を出力させ、警告キャンセル時間計測部３に対し、警告を出力させた旨を通知する。
さらに、警告部２は、警告キャンセルスイッチ２０が押下された場合には、警告をキャンセルさせ、警告キャンセル時間計測部４に対し、警告をキャンセルした旨を通知する。
上述した警告の出力は一例であり、音以外でも、車内のディスプレイに注意アイコンを表示させてもよいし、音による警告とディスプレイへの表示による警告を併せて出力してもよい。
また、キャンセルスイッチ２０の代わりに、音声認識部やジェスチャ認識部を設け、運転者の警告をキャンセルする旨の音声や警告をキャンセルする旨のジェスチャを検出した場合に、警告部２が警告をキャンセルするようにしてもよい。
また、例えば、車両が右左折中または右折待ち中に警告が鳴ってしまった場合、運転者が警告のキャンセルに気を取られ、周囲への注意が散漫になってしまう場合がある。したがって、キャンセルスイッチ２０の代わりに、適正運転検出部を設け、経路案内どおりのステアリングハンドルの回転操作や適切な制動距離でのブレーキ操作等、運転者が適切な車両操作を検出した場合に、警告部２が警告をキャンセルするようにしてもよい。このようにした場合、運転者のキャンセルスイッチ２０を押下する操作が不要となるため、運転者が警告をキャンセルすることに気を取られ、周囲への周囲が散漫になってしまうことを抑制することが可能となる。
【００１４】
警告キャンセル時間計測部３は、警告部２から、運転者に対して警告を出力させた旨の通知を受信した場合、運転者が警告をキャンセルするまでの時間（警告キャンセル時間）を計測する。そして、警告部２が警告をキャンセルした場合、警告キャンセル時間計測部３は、警告キャンセル時間をパラメータ補正部４に出力する。
【００１５】
パラメータ補正部４は、警告キャンセル時間計測部３から警告キャンセル時間を受信した場合、警告キャンセル時間が正常時間以内であるか否かを判定し、警告キャンセル時間が正常時間以内の場合、覚醒状態判定部１の覚醒度の判定に用いる開眼度閾値を、覚醒度が低下していると判定しづらくなるように補正する。
上述した正常時間とは、運転者の覚醒度が低下している状況では反応できない時間に設定されている。覚醒度の高い状態における運転者の反応時間は通常１秒程度であるが、覚醒度が低い状態における運転者の反応時間は覚醒度の高い状態よりも反応時間が遅くなる傾向となる。したがって、例えば、正常時間は１．５秒に設定しておく。つまり、運転者が１．５秒以内に警告をキャンセルした場合は、運転者の覚醒度は低下しておらず、外光などの影響によって、通常よりも目が細くなっているだけであり、正常な状態であると判定する。
【００１６】
なお、反応時間は運転者の年齢に応じても変化するため、例えば、２０代は１．５秒、３０代は１．７秒、４０代は１．９秒のように、運転者の年齢に応じて正常時間を変化させることで、運転者が正常な状態であるかをより正確に判定することが可能となる。なお、運転者の年齢は撮像装置１０の撮像した画像から年齢を推定してもよいし、入力部を設け、運転者が入力するようにしてもよい。
【００１７】
また、パラメータ補正部４が上述した開眼度閾値Ｔｈ１を補正する場合は、覚醒度判定部１が運転者の覚醒度が低下していると判定したときの開眼度よりも開眼度閾値Ｔｈ１が低くなるように補正することで、外光等の影響によって通常よりも目が細くなっているだけにも関わらず、何度も警告を行ってしまうことを抑制することができる。
なお、上述した覚醒度判定部１が運転者の覚醒度が低下していると判定したときの開眼度よりも開眼度閾値Ｔｈ１が低くなるように補正する方法は一例であり、パラメータ補正部４は覚醒度が低下していると判定しづらくなるように補正すればよく、つまり、開眼度閾値を下げる方向に補正すればよい。
【００１８】
また、パラメータ補正部４は、覚醒度判定部１が、運転者の開眼度が基準開眼度以上の状態が、予め定められた時間以上継続したと判定した場合、変更したパラメータを補正前の状態に戻す。このように、運転者の目の開眼度が基準開眼度にもどる、つまり、運転者の目に外光が照射されているような状況が解消された場合には、補正したパラメータを元に戻すことによって、実際に運転者の覚醒度が低下した場合に、パラメータが補正されてしまっていて警告が鳴らなくなるような状況を抑制することができる。
【００１９】
次に、運転者状態装置１００のハードウェア構成例を説明する。
図２Ａ及び図２Ｂは、運転者状態判定装置１００のハードウェア構成例を示す図である。
運転者状態判定装置１００における覚醒度判定部１、警告部２、警告キャンセル時間計測部３及びパラメータ補正部４の各機能は、処理回路によって実現される。即ち、運転者状態判定装置１００は上記各機能を実現するための処理回路を備える。当該処理回路は、図２Ａに示すように専用のハードウェアである処理回路２００ａであってもよいし、図２Ｂに示すようにメモリ２００ｃに格納されているプログラムを実行するプロセッサ２００ｂであってもよい。
【００２０】
図２Ａに示すように、覚醒度判定部１、警告部２、警告キャンセル時間計測部３及びパラメータ補正部４が専用のハードウェアである場合、処理回路２００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。覚醒度判定部１、警告部２、警告キャンセル時間計測部３及びパラメータ補正部４の各部の機能をそれぞれ処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００２１】
図２Ｂに示すように、覚醒度判定部１、警告部２、警告キャンセル時間計測部３及びパラメータ補正部４がプロセッサ２００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２００ｃに格納される。プロセッサ２００ｂは、メモリ２００ｃに記憶されたプログラムを読み出して実行することにより、覚醒度判定部１、警告部２、警告キャンセル時間計測部３及びパラメータ補正部４の各機能を実現する。即ち、覚醒度判定部１、警告部２、警告キャンセル時間計測部３及びパラメータ補正部４は、プロセッサ２００ｂにより実行されるときに、後述する図３および図４に示す各ステップが結果的に実行されることになる。また、これらのプログラムは、覚醒度判定部１、警告部２、警告キャンセル時間計測部３及びパラメータ補正部４の手順または方法をコンピュータに実行させるものであるともいえる。
【００２２】
ここで、プロセッサ２００ｂとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのことである。メモリ２００ｃは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。
【００２３】
なお、覚醒度判定部１、警告部２、警告キャンセル時間計測部３及びパラメータ補正部４の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、運転者状態判定装置１００における処理回路２００ａは、ハードウェア、ソフトウェア、ファームウェア、または、これらの組み合わせによって、上述の各機能を実現することができる。
【００２４】
次に、運転者状態判定装置１００のパラメータ補正処理の動作について図３を用いて説明する。
図３は実施の形態１に係る運転者状態判定装置１００のパラメータ補正処理の動作を表すフローチャートである。
運転者状態判定装置１００の電源がＯＮになった場合、覚醒度判定部１は、撮像装置１０の撮像した運転者の顔の画像を取得し（ステップＳＴ１）、ステップＳＴ１で取得した運転者の顔の画像から運転者の開眼度を検出する（ステップＳＴ２）。次に、覚醒度判定部１は、ステップＳＴ２で検出した開眼度が開眼度閾値Ｔｈ１以下であるか否かを判定する（ステップＳＴ３）。運転者の開眼度が開眼度閾値Ｔｈ１以下の状態でない場合（ステップＳＴ３：ＮＯ）、ステップＳＴ１の処理に戻る。一方、運転者の開眼度が開眼度閾値Ｔｈ１以下の状態である場合（ステップＳＴ３：ＹＥＳ）、運転者の開眼度が開眼度閾値Ｔｈ１以下の状態が覚醒度低下判定時間Ｔ１以上継続したか否かを判定し（ステップＳＴ４）、運転者の開眼度が開眼度閾値Ｔｈ１以下の状態が覚醒度低下判定時間Ｔ１以上継続しない場合（ステップＳＴ４：ＮＯ）、ステップＳＴ１の処理に戻る。一方、開眼度閾値Ｔｈ１以下の状態が覚醒度低下判定時間Ｔ１以上継続した場合（ステップＳＴ４：ＹＥＳ）、警告部２は、運転者に対して警告を行う（ステップＳＴ５）。
【００２５】
警告キャンセル時間計測部３は、ステップＳＴ５で警告部２が運転者に警告を行ってから、運転者が警告をキャンセルするまでの時間である警告キャンセル時間を計測する（ステップＳＴ６）。パラメータ補正部４は、ステップＳＴ６で計測した警告キャンセル時間が正常時間以内であるか否かを判定し（ステップＳＴ７）、警告キャンセル時間が正常時間以内でない場合（ステップＳＴ７：ＮＯ）、ステップＳＴ１の処理に戻る。一方、警告キャンセル時間が正常時間以内の場合（ステップＳＴ７：ＹＥＳ）、開眼度閾値を覚醒度が低下していると判定しづらくなるように補正し（ステップＳＴ８）、ステップＳＴ１の処理に戻る。
【００２６】
次に、運転者状態判定装置１００の補正したパラメータを補正前のパラメータに戻す処理について図４を用いて説明する。
図４は実施の形態１に係る運転者状態判定装置１００の補正したパラメータを元のパラメータに戻す処理の動作を表すフローチャートである。
図3のステップＳＴ８でパラメータ補正部４によって、覚醒度判定部１が覚醒度の判定に用いるパラメータが補正された場合、覚醒度判定部１は、運転者の開眼度が基準開眼度以上になったか否かを判定し（ステップＳＴ９）、運転者の開眼度が基準開眼度以上でない場合（ステップＳＴ９：ＮＯ）、ステップＳＴ９の処理に戻る。一方、運転者の開眼度が基準開眼度以上になった場合（ステップＳＴ９：ＹＥＳ）、運転者の開眼度が基準開眼度以上の状態が、予め定められた時間以上継続したか否かを判定し（ステップＳＴ１０）、運転者の開眼度が基準開眼度以上の状態が、予め定められた時間以上継続しなかった場合（ステップＳＴ１０：ＮＯ）、ステップＳＴ１の処理に戻る。一方、運転者の開眼度が基準開眼度以上の状態が、予め定められた時間以上継続した場合（ステップＳＴ１０：ＹＥＳ）、パラメータ補正部４は、補正したパラメータを補正前のパラメータに戻し（ステップＳＴ１１）、処理を終了する。
【００２７】
以上のように、実施の形態１によれば、運転者の顔を撮像する撮像装置の撮像した画像から、運転者の覚醒度が低下しているか否かを判定する覚醒度判定部１と、覚醒度判定部１が運転者の覚醒度が低下していると判定した場合に、運転者に対して警告を行う警告部２と、警告部が運転者に対して警告を行ってから、運転者が警告をキャンセルするまでの時間である警告キャンセル時間を計測する警告キャンセル時間計測部３と、警告キャンセル時間が正常時間以内の場合に、覚醒度判定部の前記運転者の覚醒度が低下しているか否かの判定に用いるパラメータを、覚醒度が低下していると判定しづらくなるように補正するパラメータ補正部４とを備える構成としたので、運転者の顔に外光が当たっているために通常の開眼度よりも目が細くなっているような状況において、何度も警報が鳴ってしまうことを抑制することができる。
【符号の説明】
【００２８】
１００  運転者状態判定装置、１  覚醒度判定部、２  警告部  、３  警告キャンセル時間計測部、４  パラメータ補正部、１０  撮像装置、２０  警告キャンセルスイッチ、２００ａ  処理回路、２００ｂ  プロセッサ、２００ｃ  メモリ  
【図１】
2020154383.tif 000003
【図２】
2020154383.tif 000004
【図３】
2020154383.tif 000005
【図４】
2020154383.tif 000006