(57)【要約】【課題】簡単な構成で、且つ容易にドライバの状態を検出することのできるドライバモニタ装置を提供する。【解決手段】車両に搭載され、ドライバの顔部位の画像に基づいて、該ドライバの状態をモニタするドライバモニタ装置において、ドライバの顔を撮像する画像撮像手段１と、画像撮像手段１にて所定サンプリング時間毎に撮像された顔画像を時系列的に記憶する画像記憶手段２と、時系列的に記憶された顔画像の、各画素毎の濃度差を演算する差分演算手段３と、差分演算手段３より、濃度差が生じた画素数を求め、当該画素数が所定の基準値以上となった際に、前記ドライバが顔を動かしたものと判断する動き検出手段５と、を具備したことを特徴とする。【選択図】　　　図１
2004070411.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、ドライバの顔部位の画像に基づいて、該ドライバの状態をモニタするドライバモニタ装置において、
前記ドライバの顔を撮像する画像撮像手段と、
該画像撮像手段にて所定サンプリング時間毎に撮像された顔画像を時系列的に記憶する画像記憶手段と、
前記時系列的に記憶された顔画像同士の、各画素毎の濃度差を演算する差分演算手段と、
前記差分演算手段より、濃度差が生じた画素数を求め、当該画素数が所定の基準値以上となった際に、前記ドライバが顔を動かしたものと判断する動き検出手段と、
を具備したことを特徴とするドライバモニタ装置。
【請求項２】
前記動き検出手段は、前記差分演算手段により、時系列的に得られる同一画素の複数の濃度差データに基づいてドライバが顔を動かしたかどうかを判断することを特徴とする請求項１に記載のドライバモニタ装置。
【請求項３】
前記基準値は、ドライバの顔が車両前方を向いているときの、前記差分演算手段により得られる濃度差の演算結果に基づいて設定されることを特徴とする請求項１または請求項２のいずれかに記載のドライバモニタ装置。
【請求項４】
前記ドライバの顔が動いたかどうかを判断する際の基準値を、可変値とすることを特徴とする請求項１または請求項２のいずれかに記載のドライバモニタ装置。
【請求項５】
前記撮像手段により撮像された顔画像の明るさに基づいて、前記基準値を変化させることを特徴とする請求項４に記載のドライバモニタ装置。
【請求項６】
当該車両の走行環境に応じて、前記基準値を変化させることを特徴とする請求項４に記載のドライバモニタ装置。
【請求項７】
前記差分演算手段は、顔画像同士で各画素毎の濃度差の演算を開始した時間から、次に顔画像同士で各画素毎の濃度差の演算を開始する時間までの時間間隔である検出タクトを適宜変更することを特徴とする請求項１〜請求項６のいずれか１項に記載のドライバモニタ装置。
【請求項８】
前記再作成した処理画像の表示画素数を検出する手段は、画像の横方向に設定された複数ラインに対して、複数の縦方向ライン上に、濃度値が所定値を越えた際の、ライン数に基づいて、検出することを特徴とする請求項１〜請求項７のいずれか１項に記載のドライバモニタ装置。
【請求項９】
車両の走行状態を検出する走行状態検出手段を具備し、当該車両状態検出手段による検出結果に基づいて、前記基準値を設定することを特徴とする請求項１〜請求項８のいずれか１項に記載のドライバモニタ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両のドライバの運転状態を検出するドライバモニタ装置に関する。
【０００２】
【従来の技術】
従来におけるドライバの状態検出装置として、例えば、特開平１１−１６１７９８号公報（以下、従来例という）に記載されたものが知られている。該従来例では、カメラで順次撮影したドライバの顔画像間の時間差分演算を行い、差分値が一定値以上の部分を顔位置として切り出し、切り出された顔画像に基づいてドライバの顔の方向を検出する。そして、この検出結果に基づいて、ドライバの脇見や意識低下を判定している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来例では、切り出した顔部分の画像に対して、ニューラルネットワークを用いて顔の方向を検出する構成としているため、複雑、且つ多岐にわたる演算が必要となり、更に、学習を行う上での大容量のメモリも必須となり装置構成が複雑化するという問題があった。
【０００４】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、簡単な構成で、且つ容易にドライバの状態を検出することのできるドライバモニタ装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明は、車両に搭載され、ドライバの顔部位の画像に基づいて、該ドライバの状態をモニタするドライバモニタ装置において、前記ドライバの顔を撮像する画像撮像手段と、該画像撮像手段にて所定サンプリング時間毎に撮像された顔画像を時系列的に記憶する画像記憶手段と、前記時系列的に記憶された顔画像同士の、各画素毎の濃度差を演算する差分演算手段と、前記差分演算手段より、濃度差が生じた画素数を求め、当該画素数が所定の基準値以上となった際に、前記ドライバが顔を動かしたものと判断する動き検出手段と、を具備したことを特徴とする。
【０００６】
【発明の効果】
本発明によれば、所定のサンプリング周期毎に撮影された顔画像を時系列的に記憶し、記憶された時系列の画像データの濃度値の差分値を求め、この差分値が所定の値よりも大きくなる画素数を求める。そして、この画素数が所定値を越えたときに、ドライバの顔が動いているものと判断する。従って、運転中のドライバの顔の動きの特徴量を精度良く捉えることができ、ドライバの前方注視状態や、一旦停止時、車線変更時、左折時の目視による安全確認行動や、脇見行動などのドライバの状態検出を容易に検出することができる。また、従来装置と比較して、装置構成を簡素化することができる。
【０００７】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の第１の実施形態に係るドライバモニタ装置の構成を示すブロック図である。同図に示すように、該ドライバモニタ装置１００は、ドライバの顔を連続的に撮像する画像撮像手段１と、該画像撮像手段にて所定のサンプリング時間毎に撮像されたドライバの顔画像を、時系列に記憶する画像記憶手段２と、所定サンプリング時間毎に記憶された顔画像同士の間で各画素毎に、時系列的に変化する濃度の差を演算する差分演算手段３と、該差分演算手段３にて演算された差分データに基づいて、ドライバの顔画像を再作成する顔画像再作成手段４と、再作成された顔画像に基づいてドライバの顔の動きを検出する顔の動き検出手段５と、を有している。
【０００８】
そして、本実施形態では、画像記憶手段２にて時系列的に記憶される画像データの、各画素毎の濃度変化を検出し、更に、濃度変化の生じた画素数が多い場合（後述する基準値よりも大きい場合）には、ドライバが顔を動かしたものと判定するものである。
【０００９】
以下、本実施形態の動作を、図２，図３に示すフローチャートを参照しながら説明する。
【００１０】
まず、図２に示すステップ２０１で、画像撮像手段１０１による、ドライバの顔部位画像の撮像が行われると、ステップ２０２で、画像記憶手段３が有する画像メモリＩＭＡＧＥ＿ＮＥＷに画像データを記憶する処理が行われる。
【００１１】
次いで、ステップ２０３に移行し、画像メモリＩＭＡＧＥ＿ＯＬＤに、画像データが記憶されているかどうかを確認する。
【００１２】
本処理の起動直後であれば、画像メモリＩＭＡＧＥ＿ＯＬＤには画像データは記憶されていないので、ステップ２１４に移行する。ステップ２１４では、画像メモリＩＭＡＧＥ＿ＮＥＷの画像データを、画像メモリＩＭＡＧＥ＿ＯＬＤに代入してステップ２０１に戻り、次の画像入力を行う。
【００１３】
ステップ２０２では、新たに取り込んだ画像データを画像メモリＩＭＡＧＥ＿ＮＥＷに記憶する。前述した処理ループが一度行われた後は、画像メモリＩＭＡＧＥ＿ＯＬＤに画像データが記憶されているので、ステップ２０４に移行して画像メモリＩＭＡＧＥ＿ＮＥＷとＩＭＡＧＥ＿ＯＬＤとの間の濃度差分値の演算を行う。
【００１４】
ここまでの具体的な処理内容を、図４〜図８を用いて説明する。図４〜図８は、ドライバの顔の状態、及び、画像撮像手段１により撮像された画像の、一部の領域「ａ」に含まれる各画素の、時系列的な濃度変化を示す説明図であり、（ａ）〜（ｊ）に示す領域「ａ」に含まれる各画素の濃度値が、▲１▼〜（１０）の順で変化していることを示している。また、前回の濃度値と今回の濃度値との差分をそれぞれ示している（例えば、「▲２▼−▲１▼」に示すデータは、▲２▼の画像データと▲１▼の画像データの濃度値の差分を示している）。
【００１５】
最初に取り込まれる画像データを▲１▼（図４）とすると、▲１▼の画像データが画像メモリＩＭＡＧＥ＿ＮＥＷに一旦記憶され、その後、画像メモリＩＭＡＧＥ＿ＯＬＤに代入される。そして、２番目に取り込まれた▲２▼の画像データ（図４）が新たに画像メモリＩＭＡＧＥ＿ＮＥＷに記憶される。
【００１６】
この時、ステップ２０４での濃度差分値の演算を行う領域を、図４の領域「ａ」に限定して説明する。領域「ａ」は横方向に２０画素１ラインの領域で顔の右側端を含む領域で、画像の絶対位置は固定しているという条件で示している。
【００１７】
なお、この位置に固定している理由は、濃度変化が顕著で説明に適しているからであって、通常処理では全画面を対象としており、顔位置が特定できている場合は、該位置を対象として領域を切り出すこともある。
【００１８】
また、撮像画像の検出タクトとなる、▲１▼と▲２▼の画像データの濃度差分値の演算時間、すなわち顔画像同士で各画素毎の濃度差の演算を開始した時間から次に顔画像同士で各画素毎の濃度差の演算を開始する時間までの時間間隔は、一般的なＴＶカメラの画像の取り込みタイミング（サンプリングタイム）が３３ｍｓｅｃ／フレームであり、差分演算を画像データの取り込み中の裏処理として行うことを想定すると、この３３ｍｓｅｃとなる。
【００１９】
また、差分演算の裏処理を行わない場合は、３３ｍｓｅｃ＋αの演算時間となり、この場合には、処理する領域の大きさによって、演算時間は異なってくる。よって、差分演算を裏処理で行う場合の検出タクトの固定値は、３３ｍｓｅｃとなり、差分演算を裏処理で行わない場合の検出タクトの固定値は、処理面積の大きさに比例した処理時間をプラスしたものになる。
【００２０】
差分演算の裏処理を行うことのできないハード構成で、且つ全画面を対象とした処理を行う場合、固定される検出タクトがドライバの速い動きを検出するには長すぎるという時の対応策としては、顔幅や眼の領域に限定して処理を行うことによって検出タクトを短めに変更する方法を用いることができる。
【００２１】
次に、図２のステップ２０４の濃度差分値の演算方法を、図４の▲１▼と▲２▼の画像データを用いて説明する。図４に示す各四角形は。領域「ａ」の各画素を示しており、この四角形の中に記載した数字は、その画素の濃度値を示している。この際、濃度値は２５６階調の濃淡値で、０を黒、２５５を白としている。ステップ２０４の、濃度差分値の演算結果は、▲２▼の画像データの濃度値から▲１▼の画像データの濃度値を減算したものを「▲２▼−▲１▼」に示す四角形の中に記載している。
【００２２】
こうして、新たな画像データが取り込まれる毎に、画像メモリＩＭＡＧＥ＿ＮＥＷとＩＭＡＧＥ＿ＯＬＤが更新され、これらの差分値「▲３▼−▲２▼、▲４▼−▲３▼、・・・」の演算が順次繰り返される。
【００２３】
ステップ２０５では、差分画像メモリＤＩＦＦ＿ＩＭＡＧＥ１〜５に画像データが代入されているかどうかを確認する。そして、画像記憶手段１０２が有する差分画像メモリＤＩＦＦ＿ＩＭＡＧＥに、図４〜図８の「▲２▼−▲１▼、▲３▼−▲２▼、▲４▼−▲３▼、・・」に示す濃度差のデータの絶対値をとったデータを記憶させる。その結果、図９のＩ〜ＩＸに示す如くの差分データを得ることができる。ここで、図９に示す差分データは、図４〜図８に示した各差分データの、絶対値をとったものとなっている。
【００２４】
本実施形態では、差分画像メモリＤＩＦＦ＿ＩＭＡＧＥの数を「５」とし、これらの総和（後述する図１０参照）に基づいて、濃度変化を検出する。なお、ここでは、濃度値の蓄積数を「５」で固定した状態で説明するが、検出タクトの長さや、画像の濃度状態や、車両が走行している環境に応じてこの数を変化させることもできる。
【００２５】
ステップ２０５で、差分画像メモリＤＩＦＦ＿ＩＭＡＧＥ１〜５に画像データが代入されるまでは、ステップ２０６、ステップ２１４を経て、ステップ２０１からの処理を繰り返し、差分画像メモリＤＩＦＦ＿ＩＭＡＧＥ１〜５に画像データが代入された場合には、ステップ２０７で差分画像メモリの更新を行う。
【００２６】
この処理は、濃度差を蓄積する５個のＤＩＦＦ＿ＩＭＡＧＥに、１個ずつ新しいデータを取り込みながら、古いデータを吐き出していくもので、最初の処理ではＤＩＦＦ＿ＩＭＡＧＥ１には、図９に示す「▲２▼−▲１▼」の濃度差の絶対値データＩが代入され、それ以降の処理では、ＤＩＦＦ＿ＩＭＡＧＥ２に「▲３▼−▲２▼」の濃度差の絶対値データＩＩ、ＤＩＦＦ＿ＩＭＡＧＥ３に「▲４▼−▲３▼」の濃度差の絶対値データＩＩＩ、ＤＩＦＦ＿ＩＭＡＧＥ４に「▲５▼−▲４▼」の濃度差の絶対値データＩＶ、ＤＩＦＦ＿ＩＭＡＧＥ５に「▲６▼−▲５▼」の濃度差の絶対値データＶが各々代入される。
【００２７】
ステップ２０７では、ＤＩＦＦ＿ＩＭＡＧＥ２に代入されているＩＩのデータをＤＩＦＦ＿ＩＭＡＧＥ１へ、ＤＩＦＦ＿ＩＭＡＧＥ３に代入されているＩＩＩのデータをＤＩＦＦ＿ＩＭＡＧＥ２へと順次更新して行き、最新の濃度差の絶対値データＶＩをＤＩＦＦ＿ＩＭＡＧＥ５に代入する。
【００２８】
図３に示すステップ２０８では、ＤＩＦＦ＿ＩＭＡＧＥ１〜５に記憶された各画素単位の濃度差の絶対値の総和を演算する。この演算内容を具体的に濃度値を用いて説明する。図９のＩ〜ＩＸに示す各画素単位の濃度差の絶対値の蓄積数を「５」に固定した状態で、図１０に示すように、１回目の処理ではＩＩ＋ＩＩＩ＋ＩＶ＋Ｖ＋ＶＩ、２回目の処理ではＩＩＩ＋ＩＶ＋Ｖ＋ＶＩ＋ＶＩＩ、・・・と新たに画像が取り込まれる毎に総和の演算が行われる。
【００２９】
ステップ２０９では、ステップ２０８で演算された総和が、所定階調以上となる画素を検出し、検出された画素に基づいて画像を再作成し、これを表示する処理を行う。
【００３０】
図４に示した領域「ａ」を対象とし、所定階調を５０階調とした場合は、図１０の、斜線を加えた画素が検出され、これらの画素に基づいて、画像が再作成されることになる。
【００３１】
ステップ２１０では、ステップ２０９で検出された画素数が所定の範囲内にあるかどうかを判定し、所定階調（この場合は、５０階調）以上となる画素数が、この範囲内にある場合には、ステップ２１１に移行して、前方注視状態であると判定する。つまり、濃度差が５０階調以上となる画素数が多い場合には、ドライバの顔が大きく動いたものと判断し、反対にこの画素数が少ない場合には、ドライバの顔は大きく動いていないものと判断するので、この場合（ステップ２１０でＮＯの場合）には、ドライバは前方を注視しているものと判断する。
【００３２】
ステップ２１０、及びステップ２１１における判定原理を、図１１を用いて説明する。車両が走行していると、車両の微振動による上下動で、顔の位置も常にその影響を受けて動いている。この顔の動きを効果的に捉えるのに、所定数の処理画像に渡って表示画素数を蓄積することが好ましく、ドライバが前方を注視して運転している状態では、図１１に示すように、顔の輪郭や眼、鼻、口に当たる部分が強調されて表示される。よって、この面積を構成する表示画素数を判定対象とすることによってドライバの前方注視状態を判定することができる。
【００３３】
図１１は、車両のエンジンがかかっており、その車両のドライバが顔を前方に向けている状態において、上記の画像再作成処理によって得られた顔画像を模式的に示している。実際に再作成した顔画像においては、顔や頭部、目、鼻、口、耳などの輪郭線の幅が、車両の微振動の振幅に応じた幅となっており、その輪郭線によって顔が構成されている。
【００３４】
なお、図１１では、記載の都合上ドライバの顔を黒の線で記載しているが、実際には、黒地に白い線で表示される。
【００３５】
このフローチャートに記載した処理によらない２フレーム間だけでの差分処理の表示画素数による判定では（即ち、図１０に示す５回分の総和を演算する方式を用いない判定では）、図９の斜線を記載した画素のように、多くの画素が濃度変化が大きい対象画像として検出される場合もあれば（例えば、「▲６▼−▲５▼」）、対象画素が存在しない場合（例えば、「▲７▼−▲６▼」）も発生し、判定を安定させて続けることが容易でない。なお、図９に斜線を記載した画素は、図１０の濃度差の蓄積数が５で判定値を５０階調としていることに合わせて、その５分の１の、１０階調を判定基準としている。
【００３６】
図３に示すステップ２１０で、表示画素数（即ち、５０階調を越えた画素数）が所定の範囲内でない場合には、ステップ２１２に移行し、ステップ２０９で検出された画素数が所定値を超えたかどうかを判定する。そして、所定値を超えた場合はステップ２１３に移行して脇見状態であると判定する。
【００３７】
このときの、ドライバの顔の動き、及び各タクト毎に得られる領域「ｂ」の画素値、各タクト毎に得られた画素値の差分データを、図１２〜図１６に示す。図１２〜図１６に示す（ａ）〜（ｊ）は、前述した図４〜図８の（ａ）〜（ｊ）に対応しており、図４〜図８は、ドライバが前方を注視しているときのデータを示し、図１２〜図１６は、ドライバが顔を横に向けたときのデータを示している。
【００３８】
また、図１７は、図９に対応しており、図１８は、図１０に対応している。図１７より、ドライバが顔を横に向けた場合には、各画素の濃度値の差分データは、ドライバが前方を注視しているときに比べて大きな値となっていることが理解され、更に、図１８から、差分データの総和の値も同様に、ドライバが前方を注視しているときに比べて大きな値となっている。
【００３９】
このときの、判定原理を図１９を用いて説明する。ドライバが前方以外を見ようとして顔を動かした場合には、同図に示すように、顔の動きに伴い強調される面積が大きくなる。よって、この面積を構成する表示画素数を判定対象とすることによってドライバの脇見状態を判定することができる。
【００４０】
この図１９も図１１と同様に、実際に再作成した画像を模式的に示すものであり、実際に再作成した画像においては、図１１に示したような輪郭線の移動した軌跡が全て表示画像となる。
【００４１】
図１９における表示画素数は、図１１における表示画素数よりも大きくなっており、これらの表示画素数の差は、桁が１桁か２桁異なるほどの大きなものとなっている。従って、図３のステップ２１２の判定で用いる基準値（所定値）を、図１１に示される表示画素数と図１９に示される表示画素数とのほぼ中間の値に設定することにより、ステップ２１２の判定でドライバが顔を動かしたかどうかを判定することができる。
【００４２】
具体的には、ドライバの顔が車両前方を向き続けている状態での表示画素数の相場値と、ドライバが顔を車両前方から車両横方向に向けた際の表示画素数の相場値を予め求めておき、それらの相場値のほぼ中間の値を、基準値として設定すれば良い。あるいは、ドライバが車両に乗車した際に、該ドライバの顔が車両前方を向き続けている状態での表示画素数を検出し、その検出結果に基づいて基準値を設定しても良い。
【００４３】
このような構成によれば、適切な基準値を設定することができ、より高精度にドライバの顔の動きを検出することができる。
【００４４】
また、画像撮像手段１により撮像された画像を、画像記憶手段２に記憶する際の、検出タクトを調整するように構成すれば、運転状況に応じた高精度なドライバ状態の検出が可能となる。
【００４５】
更に、画像撮像手段１により撮像される画像の明るさに応じて、設定する基準値を変化させるように構成すれば、車室内の光環境変化に対するロバスト性の高いドライバの状態検出が可能となる。
【００４６】
また、昼間時、夜間時や、晴天時、雨天時等の、車両の走行環境に応じて、設定する基準値を変化させるように構成すれば、走行環境に適合したより高精度なドライバ状態検出が可能となる。
【００４７】
また、図２、図３に示したフローチャートでは、図１１、図１９に示すように、全画素を対象として検出面積の増減でドライバの顔の向きを検出する構成としているが、顔幅を対象とした顔の向き検出を行う場合は、図２０に示すように、横方向への任意の数ラインを対象とした画素の検出し、該画素の縦方向への連続性を検出することによって、縦方向への検出ライン数としても行うことができる。
【００４８】
つまり、所定階調数（５０階調）を越える画素が、縦方向に連続して発生する個数（ライン数）を求め、この個数が所定範囲内に存在するかどうかを判定することにより、ドライバが前方を注視しているか、或いは脇見状態にあるかを検出することができる。
【００４９】
次に、本発明の第２の実施形態に係るドライバモニタ装置について説明する。装置構成は、図１に示したものと同様であるので、構成説明を省略する。以下、第２の実施形態の動作を、図２１，図２２に示すフローチャートを参照しながら説明する。
【００５０】
本実施形態では、各画素単位で時間差分をとった際に、所定階調以上とされた画素を対象として、所定の処理画像に渡って表示画素数の蓄積を行う。そして、第１の実施形態と同様のドライバの前方注視状態や、脇見状態を判定する。
【００５１】
図２１，図２２に示す各ステップでの処理内容は、前述した図２，図３に示したものと略同一であり、以下、相違する部分のみを説明する。
【００５２】
図２１に示すステップ１２０５では、ステップ１２０４で演算した画像メモリＩＭＡＧＥ＿ＮＥＷとＩＭＡＧＥ＿ＯＬＤの各画素単位で濃度差分値が所定階調以上あるかどうかを判定し、所定階調以上である画素を特定する。この後、ステップ１２０６で、差分画像メモリＤＩＦＦ＿ＩＭＡＧＥ１〜５に画像データが代入されているかどうかを判定する。
【００５３】
初期状態ではＤＩＦＦ＿ＩＭＡＧＥに画像データは代入されていないので、ステップ１２０７で、ステップ１２０５で特定した画素を対象として差分画像メモリＤＩＦＦ＿ＩＭＡＧＥ１〜５に順次代入する。
【００５４】
このときの様子を図２３を用いて説明する。図２３には、図４に示した領域「ａ」内の濃度差分値▲２▼−▲１▼、▲３▼−▲２▼、・・・、（１０）−▲９▼のデータを示している。そして、本実施形態では、ステップ１２０５での判定基準値を、＋１０階調以上、−１０階調以下としており、その条件を満たす濃度差分値を、ハッチングにて示している。
【００５５】
最初の処理では、ＤＩＦＦ＿ＩＭＡＧＥ１に、図２３に示す▲２▼−▲１▼の濃度差分値で特定された画素からなる画像データＩが代入される。それ以降の処理では、ＤＩＦＦ＿ＩＭＡＧＥ２に▲３▼−▲２▼の濃度差分値で特定された画素からなる画像データＩＩが代入され、ＤＩＦＦ＿ＩＭＡＧＥ３に▲４▼−▲３▼の濃度差分値で特定された画素からなる画像データＩＩＩ、ＤＩＦＦ＿ＩＭＡＧＥ４に▲５▼−▲４▼の濃度差分値で特定された画素からなる画像データＩＶ、ＤＩＦＦ＿ＩＭＡＧＥ５に▲６▼−▲５▼の濃度差分値で特定された画素からなる画像データＶが各々代入される。
【００５６】
ステップ１２０８では、ＤＩＦＦ＿ＩＭＡＧＥ２に代入されているＩＩのデータをＤＩＦＦ＿ＩＭＡＧＥ１へ移動し、ＤＩＦＦ＿ＩＭＡＧＥ３に代入されているＩＩＩのデータをＤＩＦＦ＿ＩＭＡＧＥ２へと順次移動していき、最新の濃度差分値で特定された画素からなる画像データＶＩを、ＤＩＦＦ＿ＩＭＡＧＥ５に代入する。
【００５７】
図２２に示すステップ１２０９では、ＤＩＦＦ＿ＩＭＡＧＥ１〜５に記憶されている濃度差分値で特定された画素の総和を、再作成した処理画像の表示画素数として検出する。この濃度差分値で特定された画素の総和を求める方法を、図２３に示す濃度値のデータを用いて具体的に説明する。
【００５８】
１回目の処理では、ＤＩＦＦ＿ＩＭＡＧＥ１（図２３のＩＩ）の画素データ中の、階調が１０以上または−１０以下となる画素が検出され、同様に、ＤＩＦＦ＿ＩＭＡＧＥ２（図２３のＩＩＩ）で、階調が１０以上または−１０以下となる画素が検出される（この場合は、該当する画素無し）。同様に、ＤＩＦＦ＿ＩＭＡＧＥ３（ＩＶ）、ＤＩＦＦ＿ＩＭＡＧＥ４（Ｖ）、ＤＩＦＦ＿ＩＭＡＧＥ５（ＶＩ）で、階調が１０以上または−１０以下となる画素が検出され、これらの総和となる画素数が求められる。但し、同一画素が対象となる場合は、重複してのカウントはしない。
【００５９】
図２２のステップ１２１０では、ステップ１２０９で検出された画素数が所定範囲内にあるかどうかを判定し、所定範囲内にある場合はステップ１２１１に移行して前方注視状態であると判定する。
【００６０】
ステップ１２１０で、表示画素数が所定範囲内にないと判定された場合は、ステップ１２１２に移行し、ステップ１２０９で検出された画素数が所定値を超えているかどうかを判定し、所定値を超えた場合はステップ１２１３に移行して脇見状態であると判定する。
【００６１】
図２４は、第１の実施形態の図１２〜図１６で説明した、ドライバの顔が動いたときの、各画素の濃度値を示している。同図より、ドライバの顔が動いた場合には、大きい濃度値となる画素数が増加していることが理解される。
【００６２】
こうして、第２の実施形態による方法を用いた場合においても、前述した第１の実施形態と同様に、簡単な構成で精度の高いドライバの状態検出を行うことができる。
【００６３】
次に、本発明の第３の実施形態について説明する。図２５は、第３の実施形態に係るドライバモニタ装置の構成を示すブロック図である。同図に示すように、該ドライバモニタ装置２００は、図１に示したものと比較し、車両走行状態検出手段６と、顔の動き判定基準設定手段７を搭載している点で相違している。
【００６４】
車両走行状態検出手段６は、車両の走行速度等の、車両の走行に関する情報を取得する。
【００６５】
顔の動き判定基準設定手段７は、車両走行状態検出手段６にて検出されるデータに基づいて、ドライバの顔が動いているかどうかを判定する際の基準値を変更する処理を行う。
【００６６】
以下、本実施形態の動作を、図２６〜図２８に示すフローチャートを参照しながら説明する。本実施形態では、車両走行状態信号を用いることによって、より一層ドライバの前方注視状態や、脇見状態の判定精度を向上させることができる。
【００６７】
図２６〜図２８に示す各ステップでの処理内容の説明は、図２，図３に示した第１の実施形態と相違する部分についてのみ行う。
【００６８】
ステップ１６１０では、ドライバの前方注視時の基準表示画素数が学習できているかどうかを判定する。この基準画素数とは、図１１に示したように、車両が走行状態にあり、ドライバが車両前方を注視している場合は、車両の上下微振動により顔の輪郭、眼、鼻、口などの部分が強調されて検出できる面積値を意味している。この基準画素数の学習は、図２８のフローチャートに示す各ステップで行われる。
【００６９】
つまり、ステップ１７０１で車両のハンドル操作量が小さいかどうか、ステップ１７０２で車両は所定車速以上で走行しているかどうか、等を判定し、それらの条件が満たされているときに、ドライバは前方注視状態にある可能性が高いとして、ステップ１７０３でドライバの前方注視時の基準表示画素数を学習する。
【００７０】
ステップ１７０４では、学習量が規定値に達したかどうかを判定し、規定量に達していない場合は、同様のループを繰り返して、ドライバの前方注視時の基準表示画素数の学習を続ける。
【００７１】
ステップ１７０４で、学習量が規定量に達していると判定された場合は、ステップ１７０５に移行し、顔の動きの検出基準値の学習完了フラグを立てる。
【００７２】
これ以降のフローでは、図２６のステップ１６０１からステップ１６１１の処理に移行する。本実施形態では、車両走行状態信号の確認によりドライバが、車線変更、左折、一旦停止時など安全確認を必要としている状態を検出し、ステップ１６１６では、ステップ１６０９で検出された表示画素数が所定値を越えたかどうかを判定することにより、ドライバが安全確認を必要とする場面で、それを施行したか（ステップ１６１７）、否か（ステップ１６１８）を検出することができる。
【００７３】
ステップ１６１１で、安全確認が必要な車両走行状態にないと判定された場合は、第１の実施形態と同様に、ステップ１６１２に移行してドライバの前方注視状態や、脇見状態の判定を行う。
【００７４】
図２６〜図２８のフローチャートで説明してきたように、前方注視状態時の基準表示画素数を学習することによって、眼鏡やサングラスを掛けている場合も含めた個人差に対応させた顔の動きの検出基準値とすることができるので、より一層ドライバの状態検出精度を向上させることができる。また、前方注視状態や脇見状態の検出に加え、安全確認の施行も検出することができる。
【００７５】
また、走行開始の初期段階で、ドライバの個人差による特徴量を学習するので、個人差に対するロバスト性の高いドライバの状態検出が可能となる。
【００７６】
第１〜第３の実施形態では、濃度差が生じた画素数が基準値を超えたか否かによって、ドライバが顔を動かしたか否かを判定している。これに対して、図１１や図１９のように画像を作成した後に、その画像での表示面積、すなわち濃度差が生じた面積を画像処理によって算出し、算出した面積が面積基準値を超えたか否かによって、ドライバが顔を動かしたか否かを判定しても良い。
【００７７】
即ち、濃度差が生じた画素数の算出によってではなく、顔画像において濃度差が生じた面積の算出によってドライバ状態の判定を行う構成としてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態、及び第２の実施形態に係るドライバモニタ装置の構成を示すブロック図である。
【図２】第１の実施形態に係るドライバモニター装置の、処理動作を示すフローチャートの第１の分図である。
【図３】第１の実施形態に係るドライバモニター装置の、処理動作を示すフローチャートの第２の分図である。
【図４】前方注視時のドライバの顔画像と、領域「ａ」における各画素の濃度値、及び濃度差を示す第１の説明図である。
【図５】前方注視時のドライバの顔画像と、領域「ａ」における各画素の濃度値、及び濃度差を示す第２の説明図である。
【図６】前方注視時のドライバの顔画像と、領域「ａ」における各画素の濃度値、及び濃度差を示す第３の説明図である。
【図７】前方注視時のドライバの顔画像と、領域「ａ」における各画素の濃度値、及び濃度差を示す第４の説明図である。
【図８】前方注視時のドライバの顔画像と、領域「ａ」における各画素の濃度値、及び濃度差を示す第５の説明図である。
【図９】前方注視時に各タクト毎に検出された濃度値の、濃度差を示す説明図である。
【図１０】前方注視時における、５回分の濃度差データの総和を示す説明図である。
【図１１】前方注視時における、再作成画像を示す説明図である。
【図１２】脇見状態のドライバの顔画像と、領域「ｂ」における各画素の濃度値、及び濃度差を示す第１の説明図である。
【図１３】脇見状態のドライバの顔画像と、領域「ｂ」における各画素の濃度値、及び濃度差を示す第２の説明図である。
【図１４】脇見状態のドライバの顔画像と、領域「ｂ」における各画素の濃度値、及び濃度差を示す第３の説明図である。
【図１５】脇見状態のドライバの顔画像と、領域「ｂ」における各画素の濃度値、及び濃度差を示す第４の説明図である。
【図１６】脇見状態のドライバの顔画像と、領域「ｂ」における各画素の濃度値、及び濃度差を示す第５の説明図である。
【図１７】脇見状態における各タクト毎に検出された濃度値の、濃度差を示す説明図である。
【図１８】脇見状態における、５回分の濃度差データの総和を示す説明図である。
【図１９】脇見状態における、再作成画像を示す説明図である。
【図２０】複数のライン上に、検出ラインを設定する様子を示す説明図である。
【図２１】第２の実施形態に係るドライバモニター装置の、処理動作を示すフローチャートの第１の分図である。
【図２２】第２の実施形態に係るドライバモニター装置の、処理動作を示すフローチャートの第２の分図である。
【図２３】第２の実施形態に係り、前方注視時における各画素の濃度差データを示す説明図である。
【図２４】第２の実施形態に係り、脇見状態における各画素の濃度差データを示す説明図である。
【図２５】本発明の第３の実施形態に係るドライバモニタ装置の構成を示すブロック図である。
【図２６】第３の実施形態に係るドライバモニタ装置の処理動作を示すフローチャートの、第１の分図である。
【図２７】第３の実施形態に係るドライバモニタ装置の処理動作を示すフローチャートの、第２の分図である。
【図２８】第３の実施形態に係るドライバモニタ装置の処理動作を示すフローチャートの、第３の分図である。
【符号の説明】
１　画像撮像手段
２　画像記憶手段
３　差分演算手段
４　顔画像再作成手段
５　顔の動き検出手段
６　車両走行状態検出手段
７　顔の動き判断基準設定手段
１００，２００　ドライバモニタ装置
【図１】
2004070411.tif 000003
【図２】
2004070411.tif 000004
【図３】
2004070411.tif 000005
【図４】
2004070411.tif 000006
【図５】
2004070411.tif 000007
【図６】
2004070411.tif 000008
【図７】
2004070411.tif 000009
【図８】
2004070411.tif 000010
【図９】
2004070411.tif 000011
【図１０】
2004070411.tif 000012
【図１１】
2004070411.tif 000013
【図１２】
2004070411.tif 000014
【図１３】
2004070411.tif 000015
【図１４】
2004070411.tif 000016
【図１５】
2004070411.tif 000017
【図１６】
2004070411.tif 000018
【図１７】
2004070411.tif 000019
【図１８】
2004070411.tif 000020
【図１９】
2004070411.tif 000021
【図２０】
2004070411.tif 000022
【図２１】
2004070411.tif 000023
【図２２】
2004070411.tif 000024
【図２３】
2004070411.tif 000025
【図２４】
2004070411.tif 000026
【図２５】
2004070411.tif 000027
【図２６】
2004070411.tif 000028
【図２７】
2004070411.tif 000029
【図２８】
2004070411.tif 000030