(57)【要約】【課題】被験者がアイシャドーを付けている場合でも被験者の眼の開閉状態を精度良く検出すること。【解決手段】本発明による眼の開閉状態検出装置は、被験者の顔を撮像する撮像手段と、前記撮像された画像のエッジを抽出するエッジ抽出手段とを備え、前記抽出されたエッジに基づいて被験者の眼球位置における白領域の縦幅を算出し、該算出した白領域の縦幅に基づいて、眼の開閉状態を検出することを特徴とする。【選択図】図２
2008262417.tif 000002
【特許請求の範囲】
【請求項１】
被験者の顔を撮像する撮像手段と、
前記撮像された画像のエッジを抽出するエッジ抽出手段とを備え、
前記抽出されたエッジに基づいて被験者の眼球位置における白領域の縦幅を算出し、該算出した白領域の縦幅に基づいて、眼の開閉状態を検出することを特徴とする、眼の開閉状態検出装置。
【請求項２】
被験者の顔を撮像する撮像手段と、
前記撮像された画像のエッジを抽出するエッジ抽出手段と、
前記抽出されたエッジに基づいて被験者の眼の上瞼と眉毛との間にアイシャドーが付けられているか否かを判定する判定手段と、
アイシャドーが付けられている場合には、前記抽出されたエッジに基づいて被験者の眼球位置における白領域の縦幅を算出し、該算出した白領域の縦幅に基づいて、眼の開閉状態を検出し、アイシャドーが付けられていない場合には、前記抽出されたエッジに基づいて眼の上瞼と眉毛との間の縦幅を算出し、該算出した縦幅に基づいて、眼の開閉状態を検出することを特徴とする、眼の開閉状態検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の眼の開閉状態を検出する眼の開閉状態検出装置に関する。
【背景技術】
【０００２】
従来から、被験者の眼の上瞼と眉毛との間の縦幅に基づいて眼の開閉状態を検出する技術が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００１−３０７０７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の特許文献１に記載されるような構成では、被験者が、眼の上瞼と眉毛との間にアイシャドーをつけていると、アイシャドーの上端位置が眼の上瞼位置と誤検出される虞がある。アイシャドーの上端位置は、上瞼位置とは異なり、被験者の眼の開閉に関わらず変化しないことから、かかる誤検出が生ずると、眼の開閉状態を精度良く検出することができないという問題が生ずる。
【０００４】
そこで、本発明は、被験者がアイシャドーを付けている場合でも被験者の眼の開閉状態を精度良く検出することができる眼の開閉状態検出装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、第１の発明は、被験者の顔を撮像する撮像手段と、
前記撮像された画像のエッジを抽出するエッジ抽出手段とを備え、
前記抽出されたエッジに基づいて被験者の眼球位置における白領域の縦幅を算出し、該算出した白領域の縦幅に基づいて、眼の開閉状態を検出することを特徴とする。
【０００６】
第２の発明は、被験者の顔を撮像する撮像手段と、
前記撮像された画像のエッジを抽出するエッジ抽出手段と、
前記抽出されたエッジに基づいて被験者の眼の上瞼と眉毛との間にアイシャドーが付けられているか否かを判定する判定手段と、
アイシャドーが付けられている場合には、前記抽出されたエッジに基づいて被験者の眼球位置における白領域の縦幅を算出し、該算出した白領域の縦幅に基づいて、眼の開閉状態を検出し、アイシャドーが付けられていない場合には、前記抽出されたエッジに基づいて眼の上瞼と眉毛との間の縦幅を算出し、該算出した縦幅に基づいて、眼の開閉状態を検出することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被験者がアイシャドーを付けている場合でも被験者の眼の開閉状態を精度良く検出することができる眼の開閉状態検出装置が得られる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【０００９】
図１は、本発明の眼の開閉状態検出装置の一実施例の主要構成を示す構成図である。本実施例の眼の開閉状態検出装置１は、被験者の顔を撮像する顔検出カメラ１０と、画像処理ＥＣＵ２０とを備える。画像処理ＥＣＵ２０には、CAN（controller  area  network）などの適切な通信ラインを介して、ミリ波レーダ３０と、衝突判断ＥＣＵ４０と、ブレーキＥＣＵ５０と、メータ６０とが接続されている。衝突判断ＥＣＵ４０は、ミリ波レーダ３０から得られる車両周辺の障害物と車両との相対関係に基づいて、衝突の可能性があると判定した場合には、メータ６０を介して警告を出力し、更に衝突が不可避であると判定した場合には、ブレーキＥＣＵ５０により介入制動を行う。
【００１０】
顔検出カメラ１０は、例えばＣＣＤ（charge-coupled  device）やＣＭＯＳ(complementary  metal  oxide  semiconductor)等を撮像素子としたセンサアレイを備えるカメラであってよい。顔検出カメラ１０は、濃淡画像（例えば２５６階調の濃淡画像）を取得するものであってよい。顔検出カメラ１０は、運転者の前面（例えば運転者の顔部を前方から）を捕捉可能なように、車両の適切な箇所に設けられる。例えば、顔検出カメラ１０は、ステアリングコラム又はメータ内に配置される。顔検出カメラ１０は、車両走行中にリアルタイムに運転者の顔部の画像（以下、「顔画像」という）を取得し、典型的には３０fps (frame  per  second)のストリーム形式で、画像処理装置２０に供給するものであってよい。
【００１１】
画像処理装置２０は、ハードウェア構成としては、適切なプロセッサ（例えばDSP：digital  signal  processor）ないしマイクロコンピューターを中心に構成され、以下で説明する各種画像処理を行うＣＰＵや、以下で説明する各種画像処理を行うために用いられるプログラム及びデータが格納されたＲＯＭ、演算結果等を格納する読書き可能なＲＡＭ、タイマ、カウンタ、入力インターフェイス、及び出力インターフェイス等を有する。
【００１２】
図２は、画像処理装置２０により実行される主要処理の一例を示すフローチャートである。図３は、顔画像のおける眼付近の領域を模式的に示す図である。
【００１３】
ステップ１００では、顔画像のおける鼻の位置が検出される。鼻の位置は、例えば鼻の穴（２つ）を特徴として検出されてよい。
【００１４】
ステップ１０２では、検出された鼻の位置に基づいて、眼ウインドウの位置が決定される。眼ウインドウの位置は、鼻と眼の幾何学的な位置関係に基づいて適切に決定される。例えば、眼ウインドウは、鼻の位置を中心として画像の上方向両側に２箇所設定される。眼ウインドウは、眼の全体範囲をカバーできるようなサイズを有するが、顔における鼻に対する眼の相対位置に個人差があることや、同一の運転者においても顔向きの相違に応じて同相対位置が変化しうることを考慮して、ある程度の余裕分を有したサイズに設定される。
【００１５】
ステップ１０４では、眼ウインドウ内の領域に対してエッジ抽出処理が実行される。エッジ抽出処理は、例えばSobelのエッジ検出アルゴリズムを適用して実行されてよい。例えば、一般的な3×3のエッジ抽出用フィルタ（例えばSobelフィルタ）を用いて眼ウインドウ内の横エッジ及び縦エッジが抽出される。
【００１６】
ステップ１０６では、上記のステップ１０４で抽出されたエッジに基づいて、眼球の箇所が特定される。眼球の箇所は、横方向に探索を行った際に白、黒、白と変化することに起因して抽出されるエッジに基づいて特定される。即ち、水平ライン上で横方向に探索を行った際に、眼球のある領域では、濃淡値が白から黒への遷移し、次いで、濃淡値の黒から白へと遷移するので、この特徴を検出することにより、眼球の箇所が特定される。或いは、眼球の箇所は、眼球が丸い形状を有しているという特徴を利用して、曲率に基づいて特定されてもよい。
【００１７】
ステップ１０８では、眼球周囲の白領域で最もＹ軸方向の高いポイント（図３のＡ点参照）が特定される。即ち、眼球周囲の白領域における垂直ライン方向の最も上方位置にあるポイントが特定される。
【００１８】
ステップ１１０では、上記ステップ１０８で特定されたポイントと、眼球底辺との間のＹ軸方向の距離Ｌ（図３参照）が算出される。即ち、眼球周囲の白領域の縦幅の最大値が算出される。
【００１９】
ステップ１１２では、上記ステップ１１０で算出された距離Ｌを、眼の開度とみなして、被験者の眼の状態が評価される。例えば、上記ステップ１１０で算出された距離Ｌ（眼の開度）が所定値以下であるか否かを判定することにより、運転者の眼が閉じられているか否かが判定される。尚、この判定結果は、警報制御に利用されてよい。例えば運転者の眼の閉じた時間の長さを検出し、当該時間の長さが所定時間以上となった場合に運転者の覚醒度が低下したと判断して、例えばメータ６０に警報を出力してよい。或いは、この判定結果は、衝突判断ＥＣＵ４０によるプリクラッシュ制御に利用されてよい。例えば運転者の眼の閉じた時間の長さを検出し、当該時間の長さが所定時間以上となった場合に運転者の覚醒度が低下したと判断して、衝突の危険性があると判定した場合に実行する警報の出力タイミングを早めてもよい（即ち警報前出しを実行してもよい）。
【００２０】
ここで、図４乃至図６を参照して、上述の本実施例による眼の開閉状態検出装置１の効果について説明する。
【００２１】
図４及び図５は、被験者の眼の開閉状態が被験者の眼の上瞼と眉毛との間の縦幅に基づいて検出される比較例による検出方法の説明図である。具体的には、図４（Ａ）は、アイシャドー（化粧品）を付けていない被験者の眼が開いている状態を示し、図４（Ｂ）は、アイシャドーを付けていない被験者の眼が閉じかけている状態（覚醒度が低い状態）を示している。図５（Ａ）は、アイシャドーを付けた被験者の眼が開いている状態を示し、図５（Ｂ）は、アイシャドーを付けた被験者の眼が閉じかけている状態を示している。
【００２２】
図６は、本実施例による検出方法の説明図であり、図６（Ａ）は、アイシャドーを付けた被験者の眼が開いている状態を示し、図６（Ｂ）は、アイシャドーを付けた被験者の眼が閉じかけている状態を示している。
【００２３】
比較例によれば、被験者がアイシャドーを付けていない場合には、図４（Ａ）及び図４（Ｂ）に示すように、眼の開閉に伴って、被験者の眼の上瞼と眉毛との間の縦幅Ｄが変化するので、被験者の眼の開閉状態を精度良く検出することは可能である。しかしながら、被験者がアイシャドーを付けている場合には、アイシャドーの部分の画素の濃淡値が黒に近いので、アイシャドーの上端位置が、被験者の眼の上瞼位置として誤検出され易くなる。かかる誤検出が生ずると、アイシャドーの上端位置と眉毛との間の縦幅Ｄが、図５（Ａ）及び図５（Ｂ）に示すように、被験者の眼の上瞼と眉毛との間の縦幅として誤って算出される。この場合、アイシャドーの上端位置は、図５（Ａ）及び図５（Ｂ）に示すように、眼の開閉に伴って変化しないので、被験者の眼の開閉状態を精度良く検出することができなくなる。
【００２４】
これに対して、本実施例によれば、上述の如く、被験者の白目領域の縦幅Ｌに基づいて、被験者の眼の開閉状態が評価される。被験者の白目領域の縦幅Ｌは、図６（Ａ）及び図６（Ｂ）に示すように、被験者がアイシャドーを付けている場合であっても、眼の開閉に伴って変化するので、被験者の眼の開閉状態を精度良く検出することができる。即ち、本実施例によれば、アイシャドーの有無に影響を受けることなく、被験者の眼の開閉状態を精度良く検出することができる。
【００２５】
図７は、画像処理装置２０により実行される主要処理のその他の一例を示すフローチャートである。図７の処理に関して、上述の図２を参照して説明した処理と同一であってよい処理については、同一のステップ番号を付して説明を省略する。
【００２６】
ステップ１１４では、上記のステップ１０４で抽出されたエッジに基づいて、被験者がアイシャドーを付けているか否かが判定される。例えば、眼球周囲の白領域の上端位置と、垂直ラインに沿った上方向に延びる黒領域Ｒ（図６（Ａ）参照）の上端位置との間のＹ軸方向の距離ｄ（図６（Ａ）参照）を算出し、該算出した距離ｄが所定値以上の場合に、被験者がアイシャドーを付けていると判定し、距離ｄが所定値未満の場合には、被験者がアイシャドーを付けていないと判定する。黒領域Ｒは、縦方向に探索を行った際に白、黒、白と変化することに起因して抽出されるエッジに基づいて特定されてよい。被験者がアイシャドーを付けていると判定した場合には、ステップ１２０に進み、それ以外の場合には、ステップ１１６に進む。
【００２７】
ステップ１１６では、上述の図２のステップ１０６乃至１１０の処理と同様の態様で、眼球周囲の白領域の縦幅Ｌが算出される。
【００２８】
ステップ１１８では、上述の図２のステップ１１２の処理と同様の態様で、上記ステップ１１６で算出された距離Ｌを、眼の開度とみなして、被験者の眼の状態が評価される。この評価結果は、上述の図２のステップ１１２の評価結果と同様、警報制御やプリクラッシュ制御に利用されてよい。
【００２９】
ステップ１２０では、上記のステップ１０４で抽出されたエッジに基づいて、被験者の眼の上瞼と眉毛との間の縦幅Ｄ（図４（Ａ）参照）が算出される。
【００３０】
ステップ１２２では、上記ステップ１２０で算出された縦幅Ｄに基づいて、被験者の眼の状態が評価される。例えば、上記ステップ１２０で算出された縦幅Ｄが所定値以下であるか否かを判定することにより、運転者の眼が閉じられているか否かが判定される。尚、この判定結果は、上述の図２のステップ１１２（又は図７のステップ１１８）の判定結果と同様、警報制御やプリクラッシュ制御に利用されてよい。
【００３１】
この図７に示す処理によれば、被験者がアイシャドーを付けているか否かに応じて、被験者の眼の状態の評価方法が可変されるので、アイシャドーの有無に応じて精度良く被験者の眼の状態を検出することができる。特に、被験者がアイシャドーを付けていない場合には、検出が容易な被験者の眼の上瞼と眉毛との間の縦幅Ｄに基づいて、精度良く被験者の眼の状態を検出することができる。
【００３２】
尚、上述の実施例においては、添付の特許請求の範囲における「エッジ抽出手段」は、画像処理装置２０が図２又は図７のステップ１０４の処理を実行することにより実現され、同特許請求の範囲における「判定手段」は、画像処理装置２０が図７のステップ１１４の処理を実行することにより実現されている。
【００３３】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の開閉状態検出装置１の一実施例の主要構成を示す構成図である。
【図２】画像処理装置２０により実行される主要処理の一例を示すフローチャートである。
【図３】顔画像のおける眼付近の領域を模式的に示す図である。
【図４】比較例の説明図であり、図４（Ａ）は、アイシャドーを付けていない被験者の眼が開いている状態を示し、図４（Ｂ）は、アイシャドーを付けていない被験者の眼が閉じかけている状態を示す図である。
【図５】比較例の説明図であり、図５（Ａ）は、アイシャドーを付けた被験者の眼が開いている状態を示し、図５（Ｂ）は、アイシャドーを付けた被験者の眼が閉じかけている状態を示す図である。
【図６】本実施例の説明図であり、図６（Ａ）は、アイシャドーを付けた被験者の眼が開いている状態を示し、図６（Ｂ）は、アイシャドーを付けた被験者の眼が閉じかけている状態を示す図である。
【図７】画像処理装置２０により実行される主要処理のその他の一例を示すフローチャートである。
【符号の説明】
【００３５】
１０    顔検出カメラ
２０    画像処理ＥＣＵ
３０    ミリ波レーダ
４０    衝突判断ＥＣＵ
５０    ブレーキＥＣＵ
６０    メータ
【図１】
2008262417.tif 000003
【図２】
2008262417.tif 000004
【図３】
2008262417.tif 000005
【図４】
2008262417.tif 000006
【図５】
2008262417.tif 000007
【図６】
2008262417.tif 000008
【図７】
2008262417.tif 000009