(57)【特許請求の範囲】
【請求項１】
撮像された顔画像に基づいて開眼度を判定する開眼度判定装置において、
少なくとも上瞼の一部分を撮像した上瞼画像に基づいて仮想上瞼曲線を推定する仮想上瞼曲線推定手段と、
瞼開度の異なる複数の前記仮想上瞼曲線同士の交点に基づいて仮想目尻点及び仮想目頭点を推定する目尻目頭推定手段と、
推定された前記仮想目尻点及び前記仮想目頭点を基準位置として開眼度を判定する開眼度判定手段とを備えることを特徴とする開眼度判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された顔画像に基づいて開眼度を判定する開眼度判定装置に関する。
【背景技術】
【０００２】
従来、顔画像の濃淡情報から眼の位置を検出して人物の開眼度を判定するものが知られている。図７は、メガネを掛けた人物の眼周辺の顔画像を示す図である。図７に示すように、メガネ１を掛けている人物の開眼度判定を行う場合、メガネ１のレンズ部２で日差しが反射して、眼の下半分が検出不能となることがある。このように、眼の下半分が検出不能である場合には、目が開いている場合であっても、開眼度が低下していると誤判定してしまうことがある。例えば、特許文献１に記載の技術では、眼の下半分が検出不能である場合に、眉毛、メガネのフレーム等の特徴部位と上瞼との相対関係に基づいて、開眼度の低下の原因が覚醒度の低下によるものではないものと推定している。
【特許文献１】特開２００１−３０７０７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術では、上瞼の一部分が検出不能である場合に、精度良く開眼度を判定することが困難であった。
【０００４】
本発明は、このような課題を解決するために成されたものであり、上瞼の一部分が検出不能である場合にあっても、開眼度の判定を精度良く行うことが可能な開眼度判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明による開眼度判定装置は、撮像された顔画像に基づいて開眼度を判定する開眼度判定装置において、少なくとも上瞼の一部分を撮像した上瞼画像に基づいて仮想上瞼曲線を推定する仮想上瞼曲線推定手段と、瞼開度の異なる複数の仮想上瞼曲線同士の交点に基づいて仮想目尻点及び仮想目頭点を推定する目尻目頭推定手段と、推定された仮想目尻点及び仮想目頭点を基準位置として開眼度を判定する開眼度判定手段とを備えることを特徴としている。
【０００６】
このような開眼度判定装置によれば、上瞼の一部分を用いて仮想上瞼曲線を推定し、瞼開度の異なる複数の仮想上瞼曲線同士の交点に基づいて仮想目尻点及び仮想目頭点と推定し、推定された仮想目尻点及び仮想目頭点を基準位置として開眼度を判定する。これにより、目尻及び目頭の位置を推定することができるので、精度良く開眼度を判定することができる。
【発明の効果】
【０００７】
本発明の開眼度判定装置によれば、上瞼の一部分が検出不能である場合であっても、精度良く開眼度判定を行うことができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明による開眼度判定装置の好適な実施形態について図面を参照しながら説明する。なお、図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。図１は、本発明の実施形態に係る開眼度判定装置を示す概略構成図、図２は、撮像された眼画像に基づいて推定された仮想上瞼曲線を示す図、図３は、仮想上瞼曲線の推定方法を説明するための概略図、図４は、瞼開度の異なる複数の仮想上瞼曲線を示すものであり、検出可能範囲の仮想上瞼曲線を示す図、図５は、仮想目尻点及び仮想目頭点の推定方法を説明するための概略図である。
【０００９】
図１に示す開眼度判定装置１０は、車両等に搭載され運転者Ｄの覚醒度判定等に利用されるものである。この開眼度判定装置１０では、例えば、図７に示すように、メガネ１を掛けた運転者の開眼度を判定する際に、メガネ１のレンズ部２で日差しが反射して、眼の下半分（目尻、目頭）が検出不能である場合であっても、開眼度判定を可能とするものである。開眼度判定装置１０は、運転者Ｄの顔画像を撮像する顔画像撮像カメラ１２、顔画像撮像カメラ１２からの映像信号に基づいて画像処理を行う顔画像処理電子制御ユニット（以下、「顔画像処理ＥＣＵ」という）１４を備えている。顔画像撮像カメラ１２は、例えばコラムカバー１６の上面に設定され、運転者Ｄの顔画像を取得するものであり、例えば、毎秒３０フレームの画像を取得することができる。
【００１０】
顔画像処理ＥＣＵ１４は、演算処理を行うＣＰＵ、記憶部となるＲＯＭ及びＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成され、入力された映像信号に基づいて、画像処理を行い運転者Ｄの眼を認識し、運転者Ｄの開眼度を判定する。
【００１１】
ここで、顔画像処理ＥＣＵ１４のＣＰＵでは、記憶部１８に記憶されているプログラムを実行することで、前処理部２０、上瞼検出部２２、目尻目頭推定部２４、開眼度判定部２６が構成される。また、記憶部１８には、ＣＰＵを作動させるためのプログラムのほかに、複数の３次元顔モデルが記憶されている。また記憶部１８は、撮像された画像データを一時記憶する記憶手段として機能する。
【００１２】
前処理部１８は、顔画像撮像カメラ１２から入力された顔画像をエッジ画像に変換するものである。上瞼検出部２２は、変換されたエッジ画像に基づいて運転者Ｄの眼を認識して上瞼画像を生成し、上瞼を検出する。生成された上瞼画像は、記憶部１８に一時保存される。
【００１３】
目尻目頭推定部２４は、本発明の仮想上瞼曲線推定手段及び目尻目頭推定手段として機能する（詳しくは後述する）。目尻目頭推定部２４は、少なくとも上瞼３１，３２の一部分を撮像した上瞼画像に基づいて仮想上瞼曲線Ｌ１，Ｌ２（図２参照）を推定するものであり、目尻目頭推定部２４は、瞼開度の異なる複数の仮想上瞼曲線Ｌ１，Ｌ２同士の交点に基づいて仮想目尻点Ｅｔ０及び仮想目頭点Ｅｈ０とを推定するものである。開眼度判定部２６は、推定された仮想目尻点Ｅｔ０及び仮想目頭点Ｅｈ０を基準位置として開眼度を判定する。
【００１４】
次に、図２〜図５を参照して、仮想上瞼曲線Ｌ１，Ｌ２、仮想目尻点Ｅｔ０、及び仮想目頭点Ｅｈ０の推定方法について説明する。図２〜５では、一点鎖線で示す境界線Ｌ０より下側が検出不能範囲であり、境界線Ｌ０より上側が検出可能範囲である。また、上瞼３１は、運転者Ｄ通常時における瞼開度の位置を示し、上瞼３２は、通常時より少し閉じた瞼開度の位置を示している。顔画像処理ＥＣＵ１４は、上瞼画像を参照して、検出された上瞼３１，３２に沿うように仮想上瞼曲線Ｌ１，Ｌ２を生成する。例えば、ベジェ曲線を利用して、仮想上瞼曲線Ｌ１，Ｌ２を生成することが好ましく、上瞼３１，３２に沿うように、ベジェ曲線の制御位置Ｐ（図３参照）を移動させる。検出不能範囲については、例えば、検出可能範囲内の端部Ｅｈ１，Ｅｈ２，Ｅｔ１，Ｅｔ２（境界線Ｌ０上の端部）の傾き（例えば、境界線Ｌ０に対する傾き）を算出し、この傾きの直線Ｌｈ１，Ｌｈ２，Ｌｔ１，Ｌｔ２を端部Ｅｈ１，Ｅｈ２，Ｅｔ１，Ｅｔ２から延長して、仮想上瞼曲線Ｌ１，Ｌ２を生成する。顔画像処理ＥＣＵ１４は、瞼開度の異なる複数の仮想上瞼曲線Ｌ１，Ｌ２を各々生成し、仮想上瞼曲線Ｌ１（Ｌｈ１）と仮想上瞼曲線Ｌ２（Ｌｈ２）との交点を仮想目頭点Ｅｈ０と設定し、仮想上瞼曲線Ｌ１（Ｌｔ１）と仮想上瞼曲線Ｌ２（Ｌｔ２）との交点を仮想目尻点Ｅｔ０と設定する。顔画像処理ＥＣＵ１４では、仮想目尻点Ｅｔ０を目尻の位置と推定し、仮想目頭点Ｅｈ０を目頭の位置と推定し、これらの仮想目尻点Ｅｔ０及び仮想目頭点Ｅｈ０を基準位置として、開眼度を判定する。具体的には、基準位置から仮想上瞼曲線Ｌ１，Ｌ２の頂点Ｃ１，Ｃ２までの距離を算出して、開眼度の判定を行う。
【００１５】
次に、顔画像処理ＥＣＵ１４で実行される制御処理の一例について図６のフローチャートに沿って説明する。図６は、本発明の実施形態に係る顔画像処理ＥＣＵで実行される制御処理を示すフローチャートである。まず、顔画像処理ＥＣＵ１４は、運転者Ｄの顔画像を撮像した顔画像撮像カメラ１２からの映像信号を入力する（Ｓ１）。次に、顔画像処理ＥＣＵ１４は、入力された映像信号に基づいてエッジ画像変換処理（Ｓ２）を行い、上瞼画像を生成し、上瞼を検出する（Ｓ３）。検出された上瞼画像は、顔画像処理ＥＣＵ１４の記憶部に一時保存される。また、顔画像処理ＥＣＵ１４は、常時、瞼開度を監視して、通常時の瞼開度を記憶している。
【００１６】
次に、顔画像処理ＥＣＵ１４は、記憶部に保存された上瞼画像から複数の上瞼画像を選択する（Ｓ４）。例えば、通常時の瞼開度の上瞼画像と、通常時より瞼開度が低下した上瞼画像を選択する。続いて、顔画像処理ＥＣＵ１４は、選択された複数の上瞼画像の瞼開度が類似しているか否かを判定する類似度判定を行う（Ｓ５）。顔画像処理ＥＣＵ１４は、瞼開度の差が判定閾値以下である場合に、瞼開度が類似していると判定し、ステップ１に戻り、ステップ１〜５の処理を繰り返す。瞼開度が類似していると判定されなかった場合には、ステップ６に進む。
【００１７】
ステップ６では、顔画像処理ＥＣＵ１４は、選択された複数の上瞼画像について、仮想上瞼曲線Ｌ１，Ｌ２を各々推定する。次に、顔画像処理ＥＣＵ１４は、複数の仮想上瞼曲線Ｌ１，Ｌ２同士の交点を仮想目頭点Ｅｈ０及び仮想目尻点Ｅｔ０と推定する（Ｓ７）。続いて、顔画像処理ＥＣＵ１４は、仮想目頭点Ｅｈ０及び仮想目尻点Ｅｔ０を基準位置と設定し、開眼度判定を実行する。
【００１８】
このように開眼度判定装置は、上瞼３１，３２の一部分を用いて仮想上瞼曲線Ｌ１，Ｌ２を推定し、瞼開度の異なる複数の仮想上瞼曲線Ｌ１，Ｌ２同士の交点に基づいて仮想目尻点Ｅｔ０及び仮想目頭点Ｅｈ０を推定することができる。そのため、これらの仮想目尻点Ｅｔ０及び仮想目頭点Ｅｈ０を基準位置として開眼度を判定することが可能となる。その結果、目尻及び目頭が検出されない場合であっても、目尻及び目頭の位置を推定し、精度良く開眼度を判定することができ、覚醒度判定の信頼性を向上させることができる。
【００１９】
以上、本発明をその実施形態に基づき具体的に説明したが、本発明は、上記実施形態に限定されるものではない。上記実施形態において、目尻及び目頭が検出不能である場合について、仮想上瞼曲線を推定しているが、目尻及び目頭の一方が検出不能である場合に、仮想上瞼曲線を推定してもよい。
【００２０】
また、上記実施形態において、ベジェ曲線を用いて、仮想上瞼曲線を推定しているが、その他の手法により、仮想上瞼曲線を推定してもよい。要は、検出された上瞼に基づいて、上瞼の下端に近似する仮想上瞼曲線を算出すればよい。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る開眼度判定装置を示す概略構成図である。
【図２】撮像された眼画像に基づいて推定された仮想上瞼曲線を示す図である。
【図３】仮想上瞼曲線の推定方法を説明するための概略図である。
【図４】瞼開度の異なる複数の仮想上瞼曲線を示すものであり、検出可能範囲の仮想上瞼曲線を示す図である。
【図５】仮想目尻点及び仮想目頭点の推定方法を説明するための概略図である。
【図６】本発明の実施形態に係る顔画像処理ＥＣＵで実行される制御処理を示すフローチャートである。
【図７】メガネを掛けた人物の眼周辺の顔画像を示す図である。
【符号の説明】
【００２２】
１０…開眼度判定装置、１２…顔画像撮像カメラ、１４…顔画像処理ＥＣＵ、１６…コラムカバー、１８…記憶部、２０…前処理部、２２…上瞼検出部、２４…目尻目頭推定部、２６…開眼度判定部、Ｅｈ０…仮想目頭点、Ｅｔ０…仮想目尻点、Ｌ１，Ｌ２…仮想上瞼曲線。
【図１】
0004825737.tif 000002
【図２】
0004825737.tif 000003
【図３】
0004825737.tif 000004
【図４】
0004825737.tif 000005
【図５】
0004825737.tif 000006
【図６】
0004825737.tif 000007
【図７】
0004825737.tif 000008