(57)【要約】  運転者状態監視装置は、車両の運転者の顔に向けて近赤外線を照射する近赤外発光素子（１２）および運転者の顔を撮像する近赤外線カメラ（１１）を制御し、近赤外線発光素子（１２）をパルス発光させるとともに、近赤外線発光素子（１２）の発光期間および消光期間と近赤外線カメラ（１１）の撮像タイミングとを同期させる撮像制御部（２１）と、発光期間に近赤外線カメラ（１１）が撮像した発光画像および消光期間に近赤外線カメラ（１１）が撮像した消光画像を取得する画像取得部（２２）と、発光画像から運転者の顔情報を検出し、顔情報に基づいて運転者の状態を判定する運転者状態判定部（２３）と、消光画像から運転者の眼周辺の輝度を検出し、輝度が輝度閾値以上の場合、運転者の眼に外光が照射されている状態と判定する外光状態判定部（２４）と、を備える。
2020188689.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者の顔に向けて近赤外線を照射する近赤外発光素子および前記運転者の顔を撮像する近赤外線カメラを制御し、前記近赤外線発光素子をパルス発光させるとともに、前記近赤外線発光素子の発光期間および消光期間と前記近赤外線カメラの撮像タイミングとを同期させる撮像制御部と、
前記発光期間に前記近赤外線カメラが撮像した発光画像および前記消光期間に前記近赤外線カメラが撮像した消光画像を取得する画像取得部と、
前記発光画像から前記運転者の顔情報を検出し、前記顔情報に基づいて前記運転者の状態を判定する運転者状態判定部と、
前記消光画像から前記運転者の眼周辺の輝度を検出し、前記輝度が輝度閾値以上の場合、前記運転者の眼に外光が照射されている状態と判定する外光状態判定部と、
を備える運転者状態監視装置。
【請求項２】
前記運転者状態判定部は、前記発光画像から検出された前記運転者の眼の開眼度が開眼度閾値以下の状態が、予め定められた時間以上継続した場合、前記外光状態判定部が検出した前記運転者の眼周辺の輝度が輝度閾値以下であれば前記運転者が居眠り状態と判定する請求項１記載の運転者状態監視装置。
【請求項３】
前記運転者状態判定部は、前記発光画像から前記運転者の眼の位置を検出し、
前記外光状態判定部は、前記運転者状態判定部が検出した前記運転者の眼の位置に基づいて前記運転者の眼周辺の輝度を検出する請求項１記載の運転者状態監視装置。
【請求項４】
前記外光状態判定部は、前記消光画像から前記運転者の眼の位置を検出できる場合は、前記消光画像から検出された眼の位置に基づいて記運転者の眼周辺の輝度を検出し、前記消光画像から前記運転者の眼の位置を検出できない場合、前記運転者状態判定部が検出した前記運転者の眼の位置に基づいて前記運転者の眼周辺の輝度を検出する請求項３記載の運転者状態監視装置。
【請求項５】
前記外光状態判定部は、前記消光画像から前記運転者の顔の輝度を検出し、前記運転者の顔の輝度に基づいて外光の照射方向を判定する請求項１記載の運転者状態監視装置。
【請求項６】
前記運転者の眼に外光が照射されている状態と判定した場合、外光を遮光するように前記車両に備えられた遮光装置を制御する遮光制御部を更に備え、前記遮光制御部は、前記外光状態判定部が判定した外光の照射方向に応じて遮光装置を制御する請求項５記載の運転者状態監視装置。
【請求項７】
車両の運転者の顔に向けて近赤外線を照射する近赤外発光素子および前記運転者の顔を撮像する近赤外線カメラを制御し、前記近赤外線発光素子をパルス発光させるとともに、前記近赤外線発光素子の発光期間および消光期間に同期して前記近赤外線カメラを撮像させるステップと、
前記発光期間に前記近赤外線カメラが撮像した発光画像および前記消光期間に前記近赤外線カメラが撮像した消光画像を取得するステップと、
前記発光画像から前記運転者の顔情報を検出し、前記顔情報に基づいて前記運転者の状態を判定するステップと、
前記消光画像から前記運転者の眼周辺の輝度を検出し、前記輝度が輝度閾値以上の場合、前記運転者の眼に外光が照射されている状態と判定するステップと、
を備える運転者状態監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は撮像装置の撮像した画像に基づいて運転者の状態を監視する運転者状態監視装置及び運転者状態監視方法に関するものである。
【背景技術】
【０００２】
従来、投光器から近赤外光を運転者の顔に向けて照射し、運転者の顔で反射した近赤外光を近赤外線カメラで撮像することで、外光に大きく影響されることなく、運転者の顔を鮮明に撮像するドライバモニタリング装置が提案されている(下記特許文献1)。
【先行技術文献】
【特許文献】
【０００３】
特開２０１０−０９７３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１のように、外光に大きく影響されることなく、運転者の顔を鮮明に撮像するには、外光よりも強い近赤外線を投光器から運転者の顔に投光する必要がある。しかし、そのような場合、運転者の顔に外光が当たっている等の外光情報が失われてしまう。外光情報が失われてしまう場合、例えば、運転者が眼を細めているときに、外光が眩しくて眼を細めているのか、眠くて眼を細めているかが区別できなくなってしまう。
一方、外光情報を取得するために、投光器から投光する近赤外光の強度を外光よりも弱くした場合、運転者の顔を鮮明に撮像することは困難になる。
また、近赤外線カメラに加え照度計を設けることで、外光の情報を取得することは可能となるが、照度計を追加する分コストが増加してしまう。【０００５】
この発明は上記した問題点を解決するためになされたものであり、近赤外線カメラで運転者の顔を鮮明に撮像しつつ、外光の情報を取得することができる運転者状態監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る運転者状態監視装置は、車両の運転者の顔に向けて近赤外線を照射する近赤外発光素子および運転者の顔を撮像する近赤外線カメラを制御し、近赤外線発光素子をパルス発光させるとともに、近赤外線発光素子の発光期間および消光期間と近赤外線カメラの撮像タイミングとを同期させる撮像制御部と、発光期間に近赤外線カメラが撮像した発光画像および消光期間に近赤外線カメラが撮像した消光画像を取得する画像取得部と、発光画像から運転者の顔情報を検出し、顔情報に基づいて運転者の状態を判定する運転者状態判定部と、消光画像から運転者の眼周辺の輝度を検出し、輝度が輝度閾値以上の場合、運転者の眼に外光が照射されている状態と判定する外光状態判定部と、を備える。
【発明の効果】
【０００７】
この発明の運転者状態監視装置は、近赤外線カメラで運転者の顔を鮮明に撮像しつつ、外光の情報を取得することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施の形態1に係る運転者状態監視装置２の構成を示すブロック図である。
【図２】本実施の形態１に係る近赤外線発光素子１１の撮像タイミング及び近赤外線発光素子１２の発光タイミングを説明するタイミングチャートである。
【図３】本実施の形態１に係る運転状態監視装置２の眼周辺の輝度を検出する動作を示すフローチャートである。
【図４】本実施の形態１に係る運転者の顔にできる影のパターンから外光の方向を判定する方法を説明するための図である。
【図５】図５Ａ及び図５Ｂは、本実施の形態１に係る運転者状態監視装置２のハードウェア構成例を示す図である。
【図６】本実施の形態１に係る運転者状態監視装置２の動作を示すフローチャートである。
【図７】本実施の形態２に係る運転者状態監視装置２Ｂの構成を示すブロック図である。
【図８】本実施の形態２に係る運転者状態監視装置２Ｂにおける運転者状態判定部２３Ｂの動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、この発明を実施するための形態について、図を参照して説明する。なお、各図中の同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化ないし省略する。
【００１０】
実施の形態1
図１は本実施の形態1に係る運転者状態監視装置２の構成を示すブロック図である。
車両には、撮像装置１、運転者状態監視装置２、制御装置３、警報装置４、遮光制御装置５、自動ブレーキ装置６、ヘッドアップディスプレイ装置７及びカーナビゲーション装置８が搭載されており、運転者状態監視装置２は撮像装置１及び制御装置３に電気的に接続される。また、制御装置３は警報装置４、遮光装置５、自動ブレーキ装置６、ヘッドアップディスプレイ装置７及びカーナビゲーション装置８に電気的に接続される。
なお、本実施の形態１においては、運転者状態監視装置２と制御装置３を別の装置としているが、運転者状態監視装置２の中に制御装置３が含まれるような構成としてもよい。
【００１１】
撮像装置１は、近赤外線の光を撮像する近赤外線カメラ１１及び近赤外線の光を発光する近赤外線発光素子１２を備えており、近赤外線カメラ１１の撮像範囲および近赤外線発光素子１２の照射範囲に車両の運転者の顔が存在するような位置および角度で車両内部に設置されている。なお、近赤外線カメラ１１及び近赤外線発光素子１２は一つのモジュールとなっていてもよいし、分離されていてもよい。
上記のように撮像装置１は、近赤外線発光素子１２によって照らされた被写体を撮像することで、太陽光等の外光の影響を受けることなく、コントラスト鮮やかな被写体の画像を取得することができる。
【００１２】
運転者状態監視装置２は、撮像制御部２１、画像取得部２２、運転者状態判定部２３及び外光状態判定部２４を備えている。
撮像制御部２１は、近赤外線発光素子１２のパルス発光タイミングを設定し、近赤外線発光素子１２をパルス発光させる。発光タイミングは固定値としてもよいし、任意に変更可能としてもよい。
更に、撮像制御部２１は、近赤外線カメラ１１の撮像タイミングを当該発光タイミングに同期させ、近赤外線素子１２が発光期間と消光期間に画像を撮像するように制御する。具体的には、図２を用いて説明する。
【００１３】
図２は、本実施の形態１に近赤外線カメラ１１の撮像タイミング及び近赤外線発光素子１２の発光タイミングを説明するタイミングチャートである。
図２においてＴ１は近赤外線カメラ１１が光信号を取り込む期間（撮像期間）であり、Ｔ２は近赤外線カメラ１１が光信号を取り込まない期間（ブランキング期間）である。
図２に示すように近赤外線発光素子１２は発光と消光を繰り返しており、ブランキング期間に近赤外線発光素子１２の発光が立ち上がり、ブランキング期間に近赤外線発光素子１２の発光が立ち下がる。このように撮像制御部２１が近赤外線カメラ１１および近赤外線発光素子１２を制御することで、近赤外線発光素子１２が発光している時の発光画像と、近赤外線素子１２が消光している時の消光画像とを交互に撮像することができる。
【００１４】
近赤外線発光素子１２が発光期間に撮像する場合、近赤外線発光素子１２によって照らされた運転者の顔を撮像するため、外光の影響を受けずに、運転者の顔が鮮明に映った画像を撮像することができる。一方、消光画像は、外光によって照らされた運転者の顔を撮像するため、運転者の顔は発光画像よりも不鮮明になるものの、画素の輝度から外光の情報を取得することができる。つまり、上述したように、近赤外線発光素子１２が発光している時の発光画像と、近赤外線発光素子１２が消光している時の消光画像とを交互に撮像することによって、外光を検出するための照度計などを追加せずに、１台の近赤外線カメラによって、鮮明な運転者の顔の画像と外光の情報を含んだ画像を両方撮像することが可能となる。
【００１５】
また、撮像制御部２１は近赤外線カメラ１１の撮像タイミング及び近赤外線発光素子１２の発光タイミングを画像取得部２２に逐次送信する。
なお、上記では近赤外線発光素子１２の発光タイミングに対して、近赤外線カメラ１１の撮像タイミングを同期させるようにしたが、近赤外線カメラ１１の撮像タイミングに対して近赤外線発光素子１２の発光タイミングを同期させるようにしてもよい。
【００１６】
画像取得部２２は、近赤外線カメラ１１が撮像した画像を取得し、撮像制御部２１から受信した撮像タイミング及び発光タイミングに基づいて、取得した画像が発光画像か消光画像かを判別する。そして、取得した画像が発光画像の場合は運転者状態判定部２３に画像を送信し、取得した画像が消光画像の場合は外光状態判定部２４に画像を送信する。
【００１７】
運転者状態判定部２３は、画像取得部２２から発光画像を取得した場合、発光画像から運転者の顔を検出し、運転者の眼の開眼度や顔向きといった顔情報を検出する。そして、検出した顔情報に基づいて、運転者が車両の運転に適さない状態か否かを判定する。ここで、運転に適さない状態とは、例えば、居眠り状態や脇見状態、運転不能状態（デッドマン状態）等である。
運転者状態判定部２３は、運転者が運転に適さない状態と判定した場合、制御装置３に対し、運転者が運転に適さない状態である旨の通知を行う。
【００１８】
外光状態判定部２４は、画像取得部２２から消光画像を取得した場合、消光画像から運転者の眼周辺の輝度を検出する。例えば、外光状態判定部２４は、眼の位置を基準にした予め定められた範囲に含まれる画素の平均輝度を検出する。なお、消光画像から運転者の眼を検出可能な場合は、消光画像から検出した眼の位置に基づいて眼周辺の輝度を検出し、消光画像から運転者の眼を検出不可能な場合、外光状態判定部２４は、運転者状態判定部２３が発光画像から検出した眼の位置を取得し、発光画像から検出した眼の位置に基づいて眼周辺の輝度を検出する。具体的には、図３を用いて説明する。
【００１９】
図３は、本実施の形態１に係る運転状態監視装置２の眼周辺の輝度を検出する動作を示すフローチャートである。
外光情報取得部２４は、消光画像を取得すると、消光画像から運転者の眼を検出可能か判定し（ステップＳ００１）、消光画像から運転者の眼を検出可能な場合（ステップＳ００１：ＹＥＳ）、消光画像から検出した運転者の眼の位置に基づいて眼周辺の輝度を検出し（ステップＳ００２）、処理を終了する。一方、消光画像から運転者の眼を検出できない場合（ステップＳ００１：ＮＯ）、外光状態判定部２４は、運転者状態判定部２３が、発光画像から検出した眼の位置を、運転者状態判定部２３から取得し（Ｓ００３）、取得した発光画像から検出した眼の位置に基づいて眼周辺の輝度を検出する（Ｓ００４）。そして、処理を終了する。
【００２０】
このように、消光画像から運転者の眼を検出できない場合に、外光状態判定部２４は、発光画像から検出した眼の位置に基づいて眼周辺の輝度を検出することで、例えば、強い太陽光が運転者の顔にあたっており、消光画像に映る運転者の顔が白とびしてしまっている状況においても、外光の影響を受けない発光画像から検出される運転者の眼の位置に基づいて運転者の眼周辺の輝度を検出することができる。
なお、上記では消光画像から運転者の眼を検出できない場合に、発光画像から検出した眼の位置に基づいて眼周辺の輝度を検出することとしたが、外光状態判定部２４は、常に運転者状態判定部２３が、発光画像から検出した眼の位置に基づいて運転者の眼周辺の輝度を検出するようにしてもよい。
【００２１】
そして、運転者の眼周辺の輝度が輝度閾値以上であるかを判定し、運転者の眼周辺の輝度が輝度閾値以上の場合、運転者の眼に外光が照射されている状態であると判定する。
外光状態判定部２４は、運転者の眼に外光が照射されている状態であると判定した場合、制御装置３に対し、運転者の眼に外光が照射されている状態である旨の通知を行う。
また、外光状態判定部２４は、運転者の眼に外光が照射されている状態と判定した場合に、どちらの方向から運転者の顔に外光が照射されているかを検知するようにしてもよい。
【００２２】
運転者の顔にできる影のパターンから外光の照射方向を判定する方法について図４を用いて説明する。
図４は、本実施の形態１に係る運転者の顔にできる影のパターンから外光の方向を判定する方法を説明するための図である。
図４Ａは、車両前方左上に太陽が存在するときの運転者の顔にできるパターンを表しており、一方図４Ｂは、車両前方右上に太陽が存在するときの運転者の顔にできる影のパターンである。図４Ａ、４Ｂからわかるように、運転者の顔の出っ張っている部位、特に鼻付近には外光の照射方向とは反対の方向に影ができる。したがって、外光の照射方向に対する運転者の顔にできる影のパターンを予め記憶させておくことで、消光画像から得られる運転者の顔にできる影のパターンから外光の照射方向を判定することが可能となる。
【００２３】
なお、外光状態取得部２４が外光の照射方向を判定した場合、外光の照射方向を制御装置３に対して出力する。
【００２４】
制御装置３は、警報制御部３１と遮光制御部３２と車両制御部３３と表示制御部３４とを備えている。
警報制御部３１は、運転者状態判定部２３から運転者が運転に適さない状態の旨が通知された場合、警報装置４を制御し、運転者に対して警報を鳴らす。
遮光制御部３２は、外光状態判定部２４から運転者の眼に外光が照射されている状態である旨が通知された場合、車両に設けられた遮光装置５を制御し、運転者の眼に照射されている外光を遮光する。なお、遮光装置５は例えば、サンバイザーや透過率可変のフロントガラスである。
また、遮光制御部３２は、外光状態取得部から外光の照射方向を取得した場合は、当該外光の照射方向に基づいて遮光装置５を制御することで、より効率的に外光を遮光することが可能となる。
【００２５】
車両制御部３３は、運転者状態判定部２３から運転者が運転者に適さない状態の旨が通知された場合または外光状態判定部２４から運転者の眼に外光が照射されている状態の旨が通知された場合、自動ブレーキ装置６を制御し、自動ブレーキが通常よりも早めに作動するようにする。
【００２６】
表示制御部３４は、外光状態判定部２４から運転者の眼に外光が照射されている状態の旨が通知された場合、ヘッドアップディスプレイ装置７やカーナビゲーション装置８の表示の輝度を明るくし、運転者が眩しいと感じている状態においてもヘッドアップディスプレイ装置７やカーナビゲーション装置８が視認しやすいようにする。なお、輝度を明るくする以外にも、表示の色を視認しやすい色に変更してもよい。
【００２７】
次に、運転者状態監視装置２のハードウェア構成例を説明する。
図５Ａ及び図５Ｂは、運転者状態監視装置２のハードウェア構成例を示す図である。
運転者状態監視装置２における撮像制御部２１、画像取得部２２、運転者状態判定部２３及び外光状態判定部２４の各機能は、処理回路によって実現される。即ち、運転者状態監視装置２は上記各機能を実現するための処理回路を備える。当該処理回路は、図５Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図５Ｂに示すようにメモリ２００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
【００２８】
図５Ａに示すように、撮像制御部２１、画像取得部２２、運転者状態判定部２３及び外光状態判定部２４が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。撮像制御部２１、画像取得部２２、運転者状態判定部２３及び外光状態判定部２４の各部の機能をそれぞれ処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００２９】
図５Ｂに示すように、撮像制御部２１、画像取得部２２、運転者状態判定部２３及び外光状態判定部２４がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、撮像制御部２１、画像取得部２２、運転者状態判定部２３及び外光状態判定部２４の各機能を実現する。即ち、撮像制御部２１、画像取得部２２、運転者状態判定部２３及び外光状態判定部２４は、プロセッサ１００ｂにより実行されるときに、図３及び後述する図６、図８に示す各ステップが結果的に実行されることになる。また、これらのプログラムは、撮像制御部２１、画像取得部２２、運転者状態判定部２３及び外光状態判定部２４の手順または方法をコンピュータに実行させるものであるともいえる。
【００３０】
ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのことである。メモリ１００ｃは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。
【００３１】
次に、運転者状態監視装置２の動作について、図６を用いて説明する。
図６は、実施の形態１に係る運転者状態監視装置２の動作を示すフローチャートである。
運転者状態監視装置２の電源がＯＮになった場合、撮像制御部２１は、近赤外線発光素子１２のパルス発光タイミングを決定し、近赤外線発光素子１２をパルス発光させる（ステップＳ１０１）。そして、撮像制御部２１は、近赤外線発光素子１２の発光期間および消光期間に近赤外線カメラ１１が画像を撮像するように、近赤外線発光素子１２の発光タイミングに近赤外線カメラ１１の撮像タイミングを同期させ（ステップＳ１０２）、撮像タイミング及び発光タイミングを画像取得部２２に出力する（ステップＳ１０３）。画像取得部２２は近赤外線カメラが撮像した画像を取得し（ステップＳ１０４）、撮像制御部２１から受信した撮像タイミング及び発光タイミングに基づいて取得した画像が発光画像か消光画像かを判定する（ステップＳ１０５）。画像取得部２２が取得した画像が発光画像であった場合（ステップＳ１０５：ＹＥＳ）、発光画像を運転者状態判定部２３に送信し、運転者状態判定部２３は送信された発光画像に基づいて運転者が運転に適さない状態か否かを判定する（ステップＳ１０６）。そして、ステップＳ１０６での判定結果を制御装置３に出力し（Ｓ１０７）、ステップＳ１０４の処理に戻る。一方、画像取得部２２が取得した画像が消光画像であった場合（ステップＳ１０５：ＮＯ）、消光画像を外光状態判定部２４に送信し、外光状態判定部２４は送信された消光画像に基づいて運転者の眼に外光が照射されている状態か否かを判定する（ステップＳ１０８）。そして、ステップＳ１０６での判定結果を制御装置３に出力し（Ｓ１０７）、ステップＳ１０４の処理に戻る。
【００３２】
以上のように、実施の形態１によれば、車両の運転者の顔に向けて近赤外線を照射する近赤外発光素子および運転者の顔を撮像する近赤外線カメラを制御し、近赤外線発光素子をパルス発光させるとともに、近赤外線発光素子の発光期間および消光期間と近赤外線カメラの撮像タイミングとを同期させる撮像制御部と、発光期間に近赤外線カメラが撮像した発光画像および消光期間に近赤外線カメラが撮像した消光画像を取得する画像取得部と、発光画像から運転者の顔情報を検出し、顔情報に基づいて運転者の状態を判定する運転者状態判定部と、消光画像から運転者の眼周辺の輝度を検出し、輝度が輝度閾値以上の場合、運転者の眼に外光が照射されている状態と判定する外光状態判定部と、を備える構成としたので、近赤外線カメラで運転者の顔を鮮明に撮像しつつ、外光の情報を取得することができる。
【００３３】
実施の形態２
図７は、本実施の形態２に係る運転者状態監視装置２Ｂの構成を示すブロック図である。
本実施の形態２に係る運転者状態監視装置２Ｂは、運転者が通常よりも眼を細めているときに、運転者が眠たくて眼を細めているのか、外光が眩しくて眼を細めているのかを判別するようにした。
【００３４】
図８は、本実施の形態２に係る運転者状態監視装置２Ｂにおける運転者状態判定部２３Ｂの動作を示すフローチャートである。
運転者状態判定部２３Ｂは、画像取得部２２から発光画像を取得した場合、取得した発光画像から逐次運転者の眼の開眼度を検出する（ステップＳ２０１）。そして、開眼度が閾値以下の状態が予め定められた時間継続したか否かを判定し（ステップＳ２０２）、開眼度が開眼度閾値以下の状態が予め定められた時間継続したと判定した場合（ステップＳ２０２：ＹＥＳ）、外光状態判定部２４Ｂは、消光画像から運転者の眼周辺の輝度を検出する（ステップＳ２０３）。一方、開眼度が開眼度閾値以下の状態が予め定められた時間継続しなかった場合（ステップ２０２：ＮＯ）、ステップ２０１の処理に戻る。外光状態判定部２４Ｂは、ステップＳ２０３で検出した運転者の眼周辺の輝度が輝度閾値以下か否かを判定し（ステップＳ２０４）、運転者の眼周辺の輝度が輝度閾値以下の場合（ステップＳ２０４：ＹＥＳ）、運転者が居眠り状態であると判定する（ステップＳ２０５）。一方、運転者の眼周辺の輝度が輝度閾値より高い場合（ステップＳ２０４：ＮＯ）、運転者が外光を眩しいと感じている状態であると判定する（ステップＳ２０６）。そして、処理を終了する。
【００３５】
以上のように、実施の形態２の運転者状態判定部２３Ｂは、開眼度が閾値以下の状態が予め定められた時間継続した場合に、外光状態判定部２４Ｂが検出する運転者の眼周辺の輝度が輝度閾値以下か否かを判定し、運転者の眼周辺の輝度が輝度閾値以下の場合は運転者が居眠り状態と判定し、運転者の眼周辺の輝度が輝度閾値より高い場合は運転者が外光を眩しいと感じている状態であると判定する。これによって、運転者が通常よりも眼を細めているときに、運転者が眠たくて眼を細めているのか、外光が眩しくて眼を細めているのかを判別するようにした。
【符号の説明】
【００３６】
１  撮像装置、２、２Ａ  運転者状態監視装置  、３  制御装置、４  警報装置、５ 遮光装置、６  自動ブレーキ装置、７  ヘッドアップディスプレイ装置、８  カーナビゲーション装置、１１  近赤外線カメラ、１２  近赤外線発光素子、２１  撮像制御部、２２  画像取得部、２３、２３Ｂ  運転者状態判定部、２４、２４Ｂ  外光状態判定部、３１  警報制御部、３２  遮光制御部、３３  車両制御部、３４  表示制御部、１００ａ  処理回路、１００ｂ  プロセッサ、１００ｃ  メモリ  
【図１】
2020188689.tif 000003
【図２】
2020188689.tif 000004
【図３】
2020188689.tif 000005
【図４】
2020188689.tif 000006
【図５】
2020188689.tif 000007
【図６】
2020188689.tif 000008
【図７】
2020188689.tif 000009
【図８】
2020188689.tif 000010
【国際調査報告】
2020188689.tif 000011
2020188689.tif 000012
2020188689.tif 000013
2020188689.tif 000014