(57)【要約】【課題】ドライバの運転不能状態を迅速に検出することができるドライバ状態検出装置を提供する。【解決手段】ドライバ状態検出装置１は、車両８０のドライバの顔を撮影するドライバモニタカメラ１０と、ドライバモニタカメラによって撮影されたドライバの顔の画像に基づいてドライバの眼情報を検出する眼情報検出部２１と、眼情報検出部によって検出された眼情報に基づいてドライバの状態を判定するドライバ状態判定部２２とを備える。ドライバ状態判定部は、眼情報検出部によって検出されたドライバの両眼の開眼度の差が第一閾値以上である場合、又は眼情報検出部によって検出されたドライバの両眼の高さの差が第二閾値以上である場合に、ドライバが運転不能状態にあると判定する。【選択図】図１
2018116428.tif 000002
【特許請求の範囲】
【請求項１】
車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、
前記顔画像に基づいて前記ドライバの眼情報を検出する眼情報検出部と、
前記眼情報に基づいて前記ドライバの状態を判定するドライバ状態判定部と
を備え、
前記ドライバ状態判定部は、前記眼情報検出部によって検出された前記ドライバの両眼の開眼度の差が第一閾値以上である場合、又は前記眼情報検出部によって検出された前記ドライバの両眼の高さの差が第二閾値以上である場合に、前記ドライバが運転不能状態にあると判定する、ドライバ状態検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はドライバ状態検出装置に関する。
【背景技術】
【０００２】
急病等によって車両のドライバが激痛に見舞われた場合、ドライバは車両を適切に運転することができない。このため、ドライバ状態を監視し、ドライバが運転不能状態にあることを検出できることが望ましい。
【０００３】
従来、ドライバが運転不能状態にあることを検出するための方法がいくつか提案されている。例えば、特許文献１には、走行中の車両に外力が加えられた後に検出されるドライバの頭部の揺れの振幅の大きさに基づいてドライバの運転不能状態を検出することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１５／１９８５４２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、この方法では、走行中の車両に外力が加えられた場合にしかドライバの運転不能状態を検出することができず、ドライバの運転不能状態を迅速に検出することができない。
【０００６】
そこで、本発明の目的は、ドライバの運転不能状態を迅速に検出することができるドライバ状態検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、前記顔画像に基づいて前記ドライバの眼情報を検出する眼情報検出部と、前記眼情報に基づいて前記ドライバの状態を判定するドライバ状態判定部とを備え、前記ドライバ状態判定部は、前記眼情報検出部によって検出された前記ドライバの両眼の開眼度の差が第一閾値以上である場合、又は前記眼情報検出部によって検出された前記ドライバの両眼の高さの差が第二閾値以上である場合に、前記ドライバが運転不能状態にあると判定する、ドライバ状態検出装置が提供される。
【発明の効果】
【０００８】
本発明によれば、ドライバの運転不能状態を迅速に検出することができるドライバ状態検出装置が提供される。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明の実施形態に係るドライバ状態検出装置の構成を示すブロック図である。
【図２】図２は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。
【図３】図３は、ドライバの顔画像の一例を示す図である。
【図４】図４は、本実施形態における眼情報検出処理の制御ルーチンを示すフローチャートである。
【図５】図５は、本実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態について詳細に説明する。図１は、本発明の実施形態に係るドライバ状態検出装置の構成を示すブロック図である。ドライバ状態検出装置１は、車両に搭載され、車両のドライバの状態を検出する。ドライバ状態検出装置１はドライバモニタカメラ１０と電子制御ユニット（ＥＣＵ）２０とを備える。
【００１１】
図２は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。ドライバモニタカメラ１０は車両８０のドライバの顔を撮影してドライバ画像を生成する。ドライバモニタカメラ１０は車内に設けられる。具体的には、図２に示すように、ドライバモニタカメラ１０は車両８０のステアリングコラム８１の上部に設けられる。なお、ドライバモニタカメラ１０は、車両８０のドライバの顔を撮影することができれば、他の位置に設けられてもよい。例えば、ドライバモニタカメラ１０は、車両８０のステアリング８２、ルームミラー８３、メータパネル、メータフード等に設けられてもよい。また、ドライバ状態検出装置１は複数のドライバモニタカメラ１０を備えていてもよい。
【００１２】
ドライバモニタカメラ１０はカメラ及び投光器から構成される。例えば、カメラはＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラであり、投光器はＬＥＤ（発光ダイオード）である。また、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影できるように、好ましくは、投光器は近赤外ＬＥＤである。例えば、投光器は、カメラの両側に配置された二個の近赤外ＬＥＤである。また、カメラには可視光カットフィルタのようなフィルタが設けられてもよい。
【００１３】
ＥＣＵ２０は、双方向性バスによって相互に接続された中央演算装置（ＣＰＵ）、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、入力ポート及び出力ポートを備えたマイクロコンピュータである。本実施形態では、一つのＥＣＵ２０が設けられているが、機能毎に複数のＥＣＵが設けられていてもよい。ＥＣＵ２０は、眼情報を検出する眼情報検出部２１と、ドライバの状態を判定するドライバ状態判定部２２と、車両８０の各種アクチュエータ４０を制御する車両制御部２３と、ドライバモニタカメラ１０を制御するカメラ制御部２４とを含む。
【００１４】
ＥＣＵ２０のカメラ制御部２４はドライバモニタカメラ１０を制御してドライバの顔を撮影する。ドライバモニタカメラ１０によって生成されたドライバの顔画像はドライバモニタカメラ１０からＥＣＵ２０に送信される。ＥＣＵ２０の眼情報検出部２１は、ドライバモニタカメラ１０によって生成されたドライバの顔画像に基づいてドライバの眼情報を検出する。具体的には、眼情報検出部２１は、ドライバの顔画像からドライバの視線、開眼度、両眼の開眼度の差及び両眼の高さの差を検出する。斯かる検出は例えば以下のような画像処理によって行われる。
【００１５】
眼情報検出部２１は、ドライバの顔画像から顔領域を特定し、眼、鼻、口等の顔部品の特徴点を抽出することによって顔部品を検出する。その後、眼情報検出部２１は、プルキニエ像（角膜反射像）の位置と瞳孔中心の位置とを検出し、プルキニエ像と瞳孔中心との位置関係からドライバの視線を検出する。また、眼情報検出部２１は、眼の上瞼及び下瞼の特徴点を抽出することによって両眼の開眼度を検出し、両眼の開眼度から両眼の開眼度の差を検出する。また、眼情報検出部２１は、顔領域及び顔部品の位置から顔の中心軸線を検出し、顔の中心軸線方向における両眼の距離を両眼の高さの差として検出する。例えば、眼の位置として瞳孔中心を検出する。参考のために、図３にドライバの顔画像における顔の中心軸線Ｘと両眼の高さの差Ｈｄを示す。
【００１６】
ＥＣＵ２０のドライバ状態判定部２２は、眼情報検出部２１によって検出された眼情報に基づいてドライバ状態を判定する。具体的には、ドライバ状態判定部２２は、ドライバの視線が所定時間以上所定範囲外にある場合にはドライバが脇見をしていると判定する。また、ドライバ状態判定部２２は、ドライバの両眼が所定時間以上閉じている場合にはドライバが居眠りをしていると判定する。
【００１７】
ところで、くも膜下出血のような急病等によって車両８０のドライバが激痛に見舞われた場合、ドライバは車両８０を適切に運転することができない。また、人は、激痛に見舞われると、痛みで顔を歪ませる。顔が歪んだ場合、典型的には、両眼の開眼度の差及び両眼の高さの差の少なくとも一方が通常時よりも大きくなる。このため、ドライバ状態判定部２２は、ドライバの両眼の開眼度の差が第一閾値以上である場合、又はドライバの両眼の高さの差が第二閾値以上である場合に、ドライバが運転不能状態にあると判定する。このことによって、ドライバ状態検出装置１はドライバの運転不能状態を迅速に検出することができる。
【００１８】
ドライバ状態判定部２２は、ドライバが脇見又は居眠りをしていると判定した場合には、ドライバに警報を与える。例えば、ドライバ状態判定部２２はヒューマン・マシン・インターフェース（Human Machine Interface（ＨＭＩ））５０を介して視覚的又は聴覚的にドライバに警報を与える。ＨＭＩ５０は、ドライバと車両８０との間で情報の入出力を行うためのインターフェイスである。ＨＭＩ５０は、例えば、文字又は画像情報を表示するディスプレイ、音を発生させるスピーカ、ドライバが入力操作を行うための操作ボタン、タッチパネル、マイク等から構成される。
【００１９】
また、ＥＣＵ２０の車両制御部２３は、ドライバが運転不能状態にあると判定された場合には、車両８０の各種アクチュエータ４０を制御して車両８０を退避させる。例えば、車両制御部２３は、車両８０のハザードランプを点灯させつつ、車速を徐々に低下させて車両８０を路肩に停止させる。
【００２０】
以下、図４及び図５のフローチャートを参照して、ドライバ状態検出装置１を用いてドライバ状態を検出するための制御について詳細に説明する。図４は、本実施形態における眼情報検出処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、車両８０のイグニッションスイッチがオンにされている間、ＥＣＵ２０によって所定の時間間隔で繰り返し実行される。本制御ルーチンでは、ドライバの眼情報が検出される。
【００２１】
最初に、ステップＳ１０１において、カメラ制御部２４がドライバモニタカメラ１０を制御してドライバの顔を撮影する。次いで、ステップＳ１０２において、眼情報検出部２１が、ドライバモニタカメラ１０によって生成されたドライバの顔画像に基づいてドライバの眼情報を検出する。具体的には、眼情報検出部２１は、上述した方法によってドライバの視線、両眼の開眼度、両眼の開眼度の差及び両眼の高さの差を検出する。ステップＳ１０２の後、本制御ルーチンは終了する。
【００２２】
図５は、本実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、車両８０のイグニッションスイッチがオンにされている間、ＥＣＵ２０によって繰り返し実行される。本制御ルーチンでは、眼情報検出処理によって検出された眼情報に基づいてドライバ状態が判定される。
【００２３】
最初に、ステップＳ２０１において、ドライバ状態判定部２２が、ドライバが脇見をしているか否かを判定する。ドライバ状態判定部２２は、ドライバの視線が所定時間以上所定範囲外にある場合にはドライバが脇見をしていると判定し、ドライバの視線が所定時間以上所定範囲外にない場合にはドライバが脇見をしていないと判定する。ドライバの視線は図４のステップＳ１０２において検出される。
【００２４】
ステップＳ２０１においてドライバが脇見をしていないと判定された場合、本制御ルーチンはステップＳ２０２に進む。ステップＳ２０２では、ドライバ状態判定部２２が、ドライバが居眠りをしているか否かを判定する。ドライバ状態判定部２２は、ドライバの両眼が所定時間以上閉じている場合にはドライバが居眠りをしていると判定し、ドライバの両眼が所定時間以上閉じていない場合にはドライバが居眠りをしていないと判定する。ドライバの両眼の開眼度は図４のステップＳ１０２において検出される。
【００２５】
ステップＳ２０２においてドライバが居眠りをしていないと判定された場合、本制御ルーチンはステップＳ２０３に進む。ステップＳ２０３では、ドライバ状態判定部２２が、ドライバの両眼の開眼度の差ＥＳｄが第一閾値ＴＨ１以上であるか否かを判定する。第一閾値ＴＨ１は、顔が歪んだときの開眼度の差の最小値になるように予め設定される。開眼度の差ＥＳｄは図４のステップＳ１０２において検出される。
【００２６】
ステップＳ２０３において開眼度の差ＥＳｄが第一閾値ＴＨ１未満であると判定された場合、本制御ルーチンはステップＳ２０４に進む。ステップＳ２０４では、ドライバ状態判定部２２が、ドライバの両眼の高さの差Ｈｄが第二閾値ＴＨ２以上であるか否かを判定する。第二閾値ＴＨ２は、顔が歪んだときの両眼の高さの差の最小値になるように予め設定される。両眼の高さの差Ｈｄは図４のステップＳ１０２において検出される。
【００２７】
ステップＳ２０４において両眼の高さの差Ｈｄが第二閾値ＴＨ２未満であると判定された場合、本制御ルーチンはステップＳ２０５に進む。ステップＳ２０５では、ドライバ状態判定部２２が、ドライバ状態が正常であると判定する。ステップＳ２０５の後、本制御ルーチンは終了する。
【００２８】
一方、ステップＳ２０１においてドライバが脇見をしていると判定された場合、又はステップＳ２０２においてドライバが居眠りしていると判定された場合、本制御ルーチンはステップＳ２０６に進む。ステップＳ２０６では、ドライバ状態判定部２２がドライバに警報を与える。例えば、ドライバ状態判定部２２はＨＭＩ５０を介して視覚的又は聴覚的にドライバに警報を与える。ステップＳ２０６の後、本制御ルーチンは終了する。
【００２９】
また、ステップＳ２０３において開眼度の差ＥＳｄが第一閾値ＴＨ１以上であると判定された場合、又はステップＳ２０４において両眼の高さの差Ｈｄが第二閾値ＴＨ２以上であると判定された場合、本制御ルーチンはステップＳ２０７に進む。ステップＳ２０７では、ドライバ状態判定部２２が、ドライバが運転不能状態にあると判定する。
【００３０】
次いで、ステップＳ２０８において、車両制御部２３が車両８０の各種アクチュエータ４０を制御して車両８０を退避させる。例えば、車両制御部２３は、車両８０のハザードランプを点灯させつつ、車速を徐々に低下させて車両８０を路肩に停止させる。なお、車両８０の走行を自動で制御する自動運転システムが車両８０に備えられていない場合には、ステップＳ２０８において、ハザードランプの点灯のような操作のみが行われる。ステップＳ２０８の後、本制御ルーチンは終了する。なお、ドライバが運転不能状態にあることが明確に通知されなくても、車両８０の退避のような危険回避制御が実行された場合には、実質的に、ドライバが運転不能状態にあると判定されていると言える。
【００３１】
なお、ステップＳ２０７の前にドライバ状態判定部２２がドライバに警報を与えてもよい。この場合、ドライバが警報に反応しなかった場合にステップＳ２０７及びステップＳ２０８が実行され、ドライバが警報に反応した場合には、本制御ルーチンは終了する。
【００３２】
また、第一閾値ＴＨ１は、ドライバの正常時の両眼の開眼度の差を考慮して設定されてもよい。この場合、第一閾値Ｔｔｈ１はドライバ毎に設定される。例えば、ドライバの正常時の両眼の開眼度の差は、車両８０のイグニッションスイッチがオンにされた直後に取得されて更新される。
【００３３】
同様に、第二閾値ＴＨ２は、ドライバの正常時の両眼の高さの差を考慮して設定されてもよい。この場合、第二閾値ＴＨ２はドライバ毎に設定される。例えば、ドライバの正常時の両眼の高さの差は、車両８０のイグニッションスイッチがオンにされた直後に取得されて更新される。
【００３４】
また、眼帯等によってドライバの片眼が隠れていることが検出された場合には、ステップＳ２０１及びステップＳ２０２における判定は片眼の眼情報に基づいて行われ、ステップＳ２０３〜ステップＳ２０５、ステップＳ２０７及びステップＳ２０８は省略される。
【００３５】
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。
【符号の説明】
【００３６】
１    ドライバ状態検出装置
１０    ドライバモニタカメラ
２０    電子制御ユニット（ＥＣＵ）
２１    眼情報検出部
２２    ドライバ状態判定部
８０    車両
【図１】
2018116428.tif 000003
【図２】
2018116428.tif 000004
【図３】
2018116428.tif 000005
【図４】
2018116428.tif 000006
【図５】
2018116428.tif 000007