(57)【要約】【課題】  瞬きを確実に判定することができるドライバの瞬き検知方法を提供すること。【解決手段】  車室内でドライバの顔を、近赤外線ライト４で照らしつつ、連続して近赤外線カメラ３で撮像し、最新の画像を現時点画像２０２として取得し、現時点画像２０２の直前の画像を直前画像２０１として取得し、現時点画像２０２と直前画像２０１との差画像２０３を生成し、差画像２０３に目蓋の残像があるかどうかによりドライバの瞬きを検知する。【選択図】        図１
2009125518.tif 000002
【特許請求の範囲】
【請求項１】
車室内でドライバの顔を、連続して撮像し、
最新の画像を現時点画像として取得し、
前記現時点画像の直前の画像を直前画像として取得し、
前記現時点画像と前記直前画像との差画像を生成し、
前記差画像に目蓋の残像があるかどうかによりドライバの瞬きを検知する、
ことを特徴とするドライバの瞬き検知方法。
【請求項２】
請求項１に記載のドライバの瞬き検知方法において、
前記差画像は、各画点の輝度の差の絶対値を取ることにより生成されたものである、
ことを特徴とするドライバの瞬き検知方法。
【請求項３】
請求項２に記載のドライバの瞬き検知方法において、
車室内でのドライバの顔の連続した撮像は、
近赤外線をドライバの顔に照射し、
照射位置近傍において、近赤外線の帯域波長を主に撮像するカメラで行う、
ことを特徴とするドライバの瞬き検知方法。
【請求項４】
請求項１〜請求項３のいずれか１項に記載のドライバの瞬き検知方法において、
前記現時点画像は、ＮＴＳＣ方式における１フレーム画像であり、
前記直前画像は、その直前の１フレーム画像である、
ことを特徴とするドライバの瞬き検知方法。
【請求項５】
請求項４に記載のドライバの瞬き検知方法において、
前記現時点画像は、ＮＴＳＣ方式における１フレーム画像内の１フィールド画像であり、
前記直前画像は、その直前の１フレーム画像内の１フィールド画像である、
ことを特徴とするドライバの瞬き検知方法。
【請求項６】
請求項４又は請求項５に記載のドライバの瞬き検知方法において、
１フレーム画像は１／６０secの画像である、
ことを特徴とするドライバの覚醒度判断方法。
【請求項７】
車室内でドライバの顔を撮像した画像からドライバの眼を検出し、
車室内でドライバの顔を撮像した画像を一定期間前まで一時的に記憶し、
ドライバの眼が検出できない場合に、請求項１〜請求項６に記載のドライバの瞬き検知方法を実行し、
瞬きの時間間隔に基づいて、ドライバの覚醒度を判断する、
ことを特徴とするドライバの覚醒度判断方法。
【請求項８】
ドライバの顔を連続して撮像する撮像手段と、
ドライバの眼位置を検出し、且つドライバの眼位置が検出できない場合に、現時点の画像と直前の画像との差画像に目蓋の残像があるかどうかによりドライバの瞬きを判定する瞬き判定手段と、
を備えたことを特徴とする覚醒度判断装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置の技術分野に属する。
【背景技術】
【０００２】
従来では、一定時間当たりの瞬き時間データの頻度分布を求め、この頻度分布中に一定の瞬き時間内でピークが発生している場合は、その瞬き時間データを覚醒度低下の判定から除外している（例えば、特許文献１参照。）。
【特許文献１】特開２００２−２９２７９号公報（第２−４頁、全図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来にあっては、毎回同じ程度の時間がかかる作業についてはピークが明確になり判定できるが、操作時間が一定しない場合には、判定が難しくなっていた。
【０００４】
本発明は、上記問題点に着目してなされたもので、その目的とするところは、瞬きを確実に判定することができるドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明では、車室内でドライバの顔を、連続して撮像し、最新の画像を現時点画像として取得し、前記現時点画像の直前の画像を直前画像として取得し、前記現時点画像と前記直前画像との差画像を生成し、前記差画像に目蓋の残像があるかどうかによりドライバの瞬きを検知する、ことを特徴とする。
【発明の効果】
【０００６】
よって、本発明にあっては、瞬きを確実に判定することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明のドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置を実現する実施の形態を、請求項１〜８に係る発明に対応する実施例１に基づいて説明する。
【実施例１】
【０００８】
まず、構成を説明する。
図１は実施例１のドライバの瞬き検知方法を実施する覚醒度判断装置のブロック図である。
実施例１の覚醒度判断装置１は、制御判断部２、近赤外線カメラ３、近赤外線ライト４を備えている。
制御判断部２は、瞬き判定部２１、データログ部２２、覚醒度判断部２３、警告処理部２４からなる。そして、ドライバの覚醒度を判断して、必要に応じてドライバへの警告を行う出力を警告装置５に行う。
【０００９】
瞬き判定部２１は、通常時には、ドライバの眼を検出し、ドライバの眼が検出できない場合には、瞬きかどうかの判定を行い、眼の検出の可否結果、瞬きかどうかの判定結果をデータログ部２２へ出力する。
データログ部２２は、時系列的に眼の検出可否の結果、瞬きかどうかの判定結果を記録する。
覚醒度判断部２３は、データログ部２２に記憶されたデータからドライバの覚醒度を判断する。そして、警告の必要が生じた場合には、警告処理部へ出力を行う。
【００１０】
警告処理部２４では、覚醒度判断部２３からの情報により、警告装置５を制御する指令を出力する。なお、覚醒度判断部２３は複数段階の判断出力を行うようにし、警告処理部２４は、その段階に応じた警告を行うよう指令を出力する。
近赤外線カメラ３は、近赤外線ライト４により近赤外線光が照射されたドライバの顔画像を撮像する。
近赤外線ライト４は、近赤外線光をカメラの撮像タイミングに合わせてドライバの顔に照射する。
警告装置５は、音声や光、画像等によりドライバに警告を行うものであり、車両に装備される車両装置が兼ねることが望ましい。例えば、オーディオ装置、ナビ装置などである。また、別に専用の装置を設けるようにしてもよい。
【００１１】
図２に示すのは、瞬き判定部のブロック図である。
瞬き判定部２１は、画像記憶部２１１、画像処理部２１２、眼検出判断部２１３、瞬き検出部２１４を備えている。
画像記憶部２１１は、近赤外線カメラ３からの現在の画像と、１フレーム前又は１フィールド前の画像を少なくとも記憶するようにし、瞬き検出部２１４からの指令に応じて、現在の画像と、１フレーム前又は１フィールド前の画像とを記憶する。
画像処理部２１２は、近赤外線カメラ３からのドライバの顔が撮像された画像を処理して、ドライバの眼を検出する処理を行う。ドライバの眼を検出する処理としては、パターンマッチング、エッジ抽出、明瞳孔法などのいずれの方法によるものであってもよい。
【００１２】
眼検出判断部２１３は、ドライバの眼が検出できたのか、検出できなかったのかを画像処理部２１２の眼検出結果から判断する。検出できた場合は、そのことが示されるログ出力を行い、検出できない場合には、そのことを示す情報を、瞬き検出部２１４へ出力する。
瞬き検出部２１４は、現在の画像と１フレーム前or１フィールド前の画像を画像記憶部２１１から取得し、差画像を生成し、眼の位置に目蓋の残像が存在するかどうかを判断する。そして結果に応じたログ出力を行う。
【００１３】
図３に示すのは、車両への近赤外線カメラの設置構成を示す説明図である。
車室内において、インストパネル６の手前側で、メーター表示の下側から手前側に突出するように設けられたステアリングコラム８の上部に、近赤外線カメラ３を設置する。
近赤外線ライト４は、近赤外線カメラ３内に一体的に設けられ、LEDにより投光を行うものとする。そして、近赤外線カメラ３内のレンズ前に帯域通過フィルタを設置し、近赤外線以外の光をカットする。
このように、近赤外線カメラ３は、ステアリングホイール７の内周側の貫通する空間を介して、ドライバの顔を撮像する設置構成である。
【００１４】
作用を説明する。
[眼位置追跡処理]
図４に示すのは、瞬き判定部２１で実行される眼位置追跡処理の流れを示すフローチャートで、以下各ステップについて説明する。
【００１５】
ステップＳ１では、前フレームで眼位置が見つかったかどうかを判断し、見つかったならばステップＳ２へ進み、見つからなかったならばステップＳ５へ進む。
【００１６】
ステップＳ２では、データログ部２２の眼位置履歴より、探索範囲を算出する。
【００１７】
ステップＳ３では、狭い探索範囲として算出された狭域眼位置の範囲を探索する。
【００１８】
ステップＳ４では、探索できたかどうかを判断し、探索できたならば眼位置追跡完了として処理を終了し、探索できないならばステップＳ６へ進む。
【００１９】
ステップＳ５では、広い探索範囲として算出された広域眼位置の範囲を探索し、ステップＳ１へ戻る。
【００２０】
ステップＳ６では、現在の画像と１フレーム前or１フィールド前の画像を画像記憶部２１１から取得し、差画像を生成する。
【００２１】
ステップＳ７では、差画像から目蓋があるかどうかを判断し、目蓋があるならばステップＳ８へ進み、目蓋がないならば眼位置未検出と判断して処理を終了する。
【００２２】
ステップＳ８では、瞬き中と判定して、データログ部２２にログデータとして記録するようにして、眼位置追跡完了として処理を終了する。
【００２３】
[瞬きを確実に検出する作用]
図５は実施例１の覚醒度判断装置において瞬き状態が検出される画像の説明図である。図６は実施例１の覚醒度判断装置において下方目視のため瞬きが検出されない状態の画像の説明図である。図７は実施例１の覚醒度判断装置において瞬きでない平常時状態の画像の説明図である。
実施例１の覚醒度判断装置１では、車室内のステアリングコラム８に設置した近赤外線カメラ３によりドライバの顔を常時撮影する。
【００２４】
通常時は、眼検出判断部２１３により、眼の位置が、パターンマッチングやエッジ抽出、明瞳孔法などにより検出される。
ここで、例としてパターンマッチングによる方法を説明しておく。パターンマッチングでは、取得した画像を２値化、あるいは多数値化する処理を行い、予め眼の形状が複数パターンとして登録されたものを記憶しておき、これとのマッチング処理を行う。マッチングできた場合には、眼検出ができたとする（ステップＳ３、Ｓ４）。
【００２５】
なお、この眼検出においては、検出処理の負荷、時間の短縮のために、前フレームで眼が検出されている場合には（ステップＳ１）、その眼の検出位置周辺に設定される狭い眼位置の探索範囲を設定し（ステップＳ２）、その範囲で探索を行う（ステップＳ３）。そして、前フレームで眼が検出されていない場合には、眼位置の探索範囲を広く設定して、その範囲で探索を行う（ステップＳ５）。この処理で眼の位置が探索されたならば、前フレームで眼が検出されていることになり（ステップＳ１）、その周辺の狭い範囲を探索する（ステップＳ２，Ｓ３）。
【００２６】
このようにして、姿勢やドライバが変わる等が生じても、確実に眼検出が行われ、ドライバの覚醒度が確実に判定されるようにする。
そして、ドライバが瞬きをしている場合には、眼検出判断部２１３により眼が検出できないことになる。
その場合には、瞬き検出部２１４で瞬きを検出する処理を行う。
瞬き検出部２１４では、現時点のフレーム又はフィールドの画像をまず取得する。図５(b)には現在の画像を現時点画像２０２として示す。そして、画像記憶部２１１から、１フレーム前、または１フィールド前の画像を取得する。例えばＮＴＳＣ方式の画像であるならば、１フレームは１／３０secの画像であり、インタレースによる奇数画像、偶数画像は１／６０secの画像となる。図５(a)には、１フィールド前（１／６０sec前）の画像を直前画像２０１として示す。処理の軽減化から、１フィールド前での処理が望ましい。
【００２７】
そして、この２つの画像の差画像２０３を生成する。差画像２０３は、各ピクセルの輝度の差の絶対値を取ることにより生成する。すると、短い時間差を持った２つの画像から差分を生成（作成）するために、動きの遅い部分はキャンセルされ真っ暗なものとなる。これに対して、瞬きのように目蓋が高速で上下する運動は、差画像中において残像のような形で映し出されることになる（図５(c)参照）。この処理はステップＳ６，Ｓ７で行われる。
【００２８】
なお、瞬きのない平常な状態における現時点画像２０８(図７(b)参照）と、その１フィールド前（１／６０sec前）の直前画像２０７（図７(a)参照）の差画像２０９は、図７(c)のようになる。真っ暗なものであり、瞬きは検出されない。
また、メーター等をドライバが見る下方目視の状態では、現時点画像２０５は図６(b)のようになり、その１フィールド前（１／６０sec前）の直前画像２０４は図６(a)のようになる。差画像２０６は、真っ暗なものであり、瞬きは検出されない。
このように、瞬き検出部２１４では、確実に瞬きの動きを検出する。
【００２９】
次に、この瞬きの判定結果は、時間とともに、あるいは時間がわかる時系列的にデータログ部２２のログデータとして記録される。
この記録では、瞬き判定部２１により、眼が検出されず、且つ差画像中に眼が存在する領域に目蓋の残像が存在する場合を瞬きとし、単に眼が検出されなかっただけの場合は、何らかの別の要因で検出できていないものとして、覚醒度判定のデータログ部２２のログデータには記録しないようにする。
【００３０】
覚醒度判断部２３では、このデータログ部２２のログデータから、例えば、平常時の瞬きの時間間隔の頻度と、覚醒度が低下、つまり眠気が発生している際の瞬きの時間間隔の頻度のグラフの違いを閾値等で定めておき、これを判別することにより覚醒度の低下を判断し、その度合いにより警告処理部２４から警告装置５へ指令を出力するようにして、ドライバに警告を、精度を向上した有効な時期に適切に与えるようにできる。これにより良好な運転が維持されるようにできる。
また、精度向上による適切化により警告の煩わしさを抑制することができる。
【００３１】
このように、実施例１の覚醒度判断装置１は、従来に比べて非常に有利である。
例えば、従来では何らかの要因で両目が同時に検出できない場合を瞬きと判定するが、それが瞬きに起因しない場合であっても、それを瞬きと検知してしまっていた。例えば、図６を参照して説明した下方を見るような場合、ドライバはうつむき気味のため、目蓋が下がり両目が検出できなくなる。
このような瞬きの誤検知が増えると、瞬きを基に覚醒度を判断する場合には影響が大きくなる。
【００３２】
従来技術として挙げたもの（特開２００２−２９２７９）では、瞬き時間のヒストグラムを生成する。そして、ヒストグラム中にピークができる所を、毎回同じ程度の時間うつむいて眼を検知できなくなる作業を行っているとして、ピーク部分のデータを覚醒度判断のデータが除外している。しかし、車両のドライバにおいて、メーターの視認作業のような毎回同じ程度の時間がかかる作業については、ピークが明確になり判定できるが、カーナビ画面の確認やオーディオ操作といった操作時間が一定しない場合には、ピークが明確に現れないようになり、判定が困難になる。
実施例１の覚醒度判断装置１では、このような問題が解決され、確実な瞬き検出が行われる。そのため、覚醒度判断も精度が向上する。
【００３３】
次に、効果を説明する。
【００３４】
実施例１のドライバの瞬き検知方法にあっては、下記に列挙する効果を得ることができる。
【００３５】
(1)車室内でドライバの顔を、連続して撮像し、最新の画像を現時点画像２０２として取得し、現時点画像２０２の直前の画像を直前画像として取得し、現時点画像２０２と直前画像２０１との差画像２０３を生成し、差画像２０３に目蓋の残像があるかどうかによりドライバの瞬きを検知するため、瞬きを確実に判定することができる。
【００３６】
(2)差画像２０３は、各画点（各ピクセル）の輝度の差の絶対値を取ることにより生成されたものであるため、動きのない顔部分は真っ暗な画像部分となり、瞬きの際の目蓋の動きが残像として輝度のある画像部分となるようにし、瞬きを確実に差画像２０３で捉えることができる。
【００３７】
(3)車室内でのドライバの顔の連続した撮像は、近赤外線をドライバの顔に照射し、照射位置近傍において、近赤外線の帯域波長を主に撮像する近赤外線カメラ３で行うため、ドライバの顔が外光で照らされる場合においても影響少なくドライバの顔を撮像し、瞬きを確実に判定することができる。
【００３８】
(4)現時点画像２０２は、ＮＴＳＣ方式における１フレーム画像であり、直前画像２０１は、その直前の１フレーム画像であるため、特段の方式でなく既存の方式の連続したフレーム画像から差画像２０３を生成し、瞬きを確実に差画像２０３で捉えることができる。
【００３９】
(5)現時点画像２０２は、ＮＴＳＣ方式における１フレーム画像内の１フィールド画像であり、直前画像２０１は、その直前の１フレーム画像内の１フィールド画像であるため、１フレーム画像をインタレースにより間引いた画像で処理を行うことができるため、処理を高速で、負荷少なく行うことができる。
【００４０】
(6)１フレーム画像は１／６０secの画像であるため、瞬きの際の目蓋の動きを確実に捉えることができる。
【００４１】
(7)車室内でドライバの顔を撮像した画像からドライバの眼を検出し、車室内でドライバの顔を撮像した画像を一定期間前まで一時的に記憶し、ドライバの眼が検出できない場合に、請求項１〜請求項５に記載のドライバの瞬き検知方法を実行し、瞬きの時間間隔に基づいて、ドライバの覚醒度を判断するため、瞬きを確実に判定することができ、これにより覚醒度の判断の精度を向上させることができる。
【００４２】
(8)ドライバの顔を連続して撮像する近赤外線カメラ３及び近赤外線ライト４と、ドライバの眼位置を検出し、且つドライバの眼位置が検出できない場合に、現時点画像２０２と直前画像２０１との差画像２０３に目蓋の残像があるかどうかによりドライバの瞬きを判定する瞬き判定部２１を備えたため、瞬きを確実に判定することができ、これにより覚醒度の判断の精度を向上させることができる。
【００４３】
以上、本発明のドライバの瞬き検知方法を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００４４】
例えば、現時点の画像を奇数フィールド画像とする場合は、その直前の偶数フィールドを1つ前の画像としてもよいし、偶数フィールドの前の奇数フィールドを１つ前の画像としてもよい。現在の画像を間引いたものと、直前の画像を間引いたもとなるからである。
また、例えば実施例１では、ＮＴＳＣ方式を用いたが他の方式であってもよい。
【図面の簡単な説明】
【００４５】
【図１】実施例１のドライバの瞬き検知方法を実施する覚醒度判断装置のブロック図である。
【図２】瞬き判定部のブロック図である。
【図３】車両への近赤外線カメラの設置構成を示す説明図である。
【図４】瞬き判定部で実行される眼位置追跡処理の流れを示すフローチャートである。
【図５】実施例１の覚醒度判断装置において瞬き状態が検出される画像の説明図である。
【図６】実施例１の覚醒度判断装置において下方目視のため瞬きが検出されない状態の画像の説明図である。
【図７】実施例１の覚醒度判断装置において瞬きでない平常時状態の画像の説明図である。
【符号の説明】
【００４６】
１  覚醒度判断装置
２  制御判断部
２１  瞬き判定部
２１１  画像記憶部
２１２  画像処理部
２１３  眼検出判断部
２１４  瞬き検出部
２２  データログ部
２３  覚醒度判断部
２４  警告処理部
３  近赤外線カメラ
４  近赤外線ライト
５  警告装置
６  インストパネル
７  ステアリングホイール
８  ステアリングコラム
９  シート
１００  （近赤外線カメラの）撮像範囲
２０１  （瞬き状態の）直前画像
２０２  （瞬き状態の）現時点画像
２０３  （瞬き状態の）差画像
２０４  （下方目視状態の）直前画像
２０５  （下方目視状態の）現時点画像
２０６  （下方目視状態の）差画像
２０７  （非瞬き、平常状態の）直前画像
２０８  （非瞬き、平常状態の）現時点画像
２０９  （非瞬き、平常状態の）差画像
【図１】
2009125518.tif 000003
【図２】
2009125518.tif 000004
【図３】
2009125518.tif 000005
【図４】
2009125518.tif 000006
【図５】
2009125518.tif 000007
【図６】
2009125518.tif 000008
【図７】
2009125518.tif 000009