(57)【要約】  本発明は、顔画像からの瞼の誤検出を低減することを目的とする。この発明によれば、瞬き時における瞼輪郭候補線の位置の変化量が、通常の瞼の動きに合致するか否かが判断される。瞼輪郭候補線の位置の変化量が瞬きにおける通常の瞼の動きに合致しないと判断された場合には、当該瞼輪郭候補線は瞼輪郭線として設定されない。従って、顔画像からの瞼の誤検出を低減できる。
2011101990.tif 000002
【特許請求の範囲】
【請求項１】
顔画像から瞼の輪郭線を検出する画像処理装置であって、
前記顔画像から瞼の輪郭線の候補である瞼輪郭候補線を検出する瞼輪郭線検出手段と、
前記瞼輪郭候補線に関して予め設定された所定条件が成立するか否かを判断する瞼輪郭線判断手段と、
前記瞼輪郭線判断手段の判断結果に基づき、前記瞼輪郭候補線を瞼輪郭線として設定する瞼輪郭線設定手段とを備え、
前記瞼輪郭線判断手段は、前記所定条件として、瞬きを検出した時である瞬き時における前記瞼輪郭候補線の位置の変化量が、瞬きにおける通常の瞼の動きに合致するか否かを判断し、
前記瞼輪郭線設定手段は、前記瞼輪郭候補線の位置の変化量が、前記瞬き時における通常の瞼の動きに合致しないと前記輪郭線判断手段により判断された場合に、前記瞼輪郭候補線を前記瞼輪郭線として設定しない、
ことを特徴とする画像処理装置。
【請求項２】
前記瞼輪郭線検出手段は、下瞼の輪郭線の候補である下瞼輪郭候補線を検出し、
前記瞼輪郭線判断手段は、前記所定条件として、前記瞬き時における、前記下瞼輪郭候補線の位置の変化量が、予め設定された第１所定値以上であるか否かを判断し、
前記瞼輪郭線設定手段は、前記下瞼輪郭候補線の位置の変化量が前記第１所定値以上であると前記瞼輪郭線判断手段により判断された場合に、前記下瞼輪郭候補線を前記下瞼輪郭線として設定しない、
請求項１に記載の画像処理装置。
【請求項３】
前記瞼輪郭線検出手段は、上瞼の輪郭線の候補である上瞼輪郭候補線を検出し、
前記瞼輪郭線判断手段は、前記所定条件として、前記瞬き時における、前記上瞼輪郭候補線の位置の変化量が、予め設定された第２所定値以上であるか否かを判断し、
前記瞼輪郭線設定手段は、前記上瞼輪郭候補線の位置の変化量が前記第２所定値以上であると前記瞼輪郭線判断手段により判断されなかった場合に、前記上瞼輪郭候補線を前記上瞼輪郭線として設定しない、
請求項１または２に記載の画像処理装置。
【請求項４】
前記瞼輪郭線判断手段は、前記上瞼輪郭候補線と前記下瞼輪郭候補線との間の距離である開眼度の変化に基づき瞬きを検出する、
請求項１〜３のいずれか1項に記載の画像処理装置。
【請求項５】
車両に搭載され、運転者の眠気を判定する眠気判定装置であって、
前記顔画像から瞼の輪郭線の候補である瞼輪郭候補線を検出する瞼輪郭線検出手段と、
前記瞼輪郭候補線に関して予め設定された所定条件が成立するか否かを判断する瞼輪郭線判断手段と、
前記瞼輪郭線判断手段の判断結果に基づき、前記瞼輪郭候補線を瞼輪郭線として設定する瞼輪郭線設定手段と、
前記瞼輪郭線設定手段により設定された前記上瞼輪郭線及び前記下瞼輪郭線の位置の変化に基づき、前記運転者の眠気を推定する眠気推定手段とを備え、
前記瞼輪郭線判断手段は、前記所定条件として、瞬きを検出した時である瞬き時における前記瞼輪郭候補線の位置の変化量が、瞬きにおける通常の瞼の動きに合致するか否かを判断し、
前記眠気推定手段は、前記瞼輪郭候補線の位置の変化量が瞬き時における通常の瞼の動きに合致しないと前記輪郭線判断手段により判断された場合に、前記運転者の眠気の推定を実施しない、
ことを特徴とする眠気判定装置。
【請求項６】
前記瞼輪郭線検出手段は、下瞼の輪郭線の候補である下瞼輪郭候補線を検出し、
前記瞼輪郭線判断手段は、前記瞬き時における、前記下瞼輪郭候補線の位置の変化量が、予め設定された第１所定値以上であるか否かを判断し、
前記眠気推定手段は、前記下瞼輪郭候補線の位置の変化量が前記第１所定値以上であると前記瞼輪郭線判断手段により判断された場合に、前記運転者の眠気の推定を実施しない、
請求項５に記載の眠気判定装置。
【請求項７】
前記瞼輪郭線検出手段は、上瞼の輪郭線の候補である上瞼輪郭候補線を検出し、
前記瞼輪郭線判断手段は、前記瞬き時における、前記上瞼輪郭候補線の位置の変化量が、予め設定された第２所定値以上であるか否かを判断し、
前記眠気推定手段は、前記上瞼輪郭候補線の位置の変化量が前記第２所定値以上であると前記瞼輪郭線判断手段により判断されなかった場合に、前記運転者の眠気の推定を実施しない、
請求項５または６に記載の眠気判定装置。
【請求項８】
前記瞼輪郭線判断手段は、前記上瞼輪郭候補線と前記下瞼輪郭候補線との間の距離である開眼度の変化に基づき瞬きを検出する、
請求項５〜７のいずれか1項に記載の眠気判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像から瞼の輪郭線を検出する画像処理装置、及び車両に搭載され、運転者の眠気を判定する眠気判定装置に関するものである。
【背景技術】
【０００２】
従来、車両の運転者の眠気を検出し、眠気を検出した場合に当該運転者に警告する装置が知られている。例えば、特開２００９−２８２３７号公報には、車両の運転者の顔画像から検出した瞼の位置に基づき、運転者の眠気を推定する装置が記載されている。また、特開２００７−２１３３７７号公報には、画像処理により顔画像から上下瞼の特徴点を検出する装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２８２３７号公報
【特許文献２】特開２００７−２１３３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、例えば瞳孔のエッジを瞼の輪郭として誤検出する場合があった。誤検出された瞼の位置に基づき眠気推定が行われると、瞼を閉じていないときであっても、瞼を閉じていると判断される場合がある。これにより、眠気の誤推定が発生する。【０００５】
そこで、本発明は、上記問題点を解消するためになされたものであり、顔画像からの瞼の誤検出を低減できる画像処理装置を提供すると共に、眠気の誤推定を防止できる眠気推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、顔画像から瞼の輪郭線を検出する画像処理装置であって、顔画像から瞼の輪郭線の候補である瞼輪郭候補線を検出する瞼輪郭線検出手段と、瞼輪郭候補線に関して予め設定された所定条件が成立するか否かを判断する瞼輪郭線判断手段と、瞼輪郭線判断手段の判断結果に基づき、瞼輪郭候補線を瞼輪郭線として設定する瞼輪郭線設定手段とを備え、瞼輪郭線判断手段は、所定条件として、瞬きを検出した時である瞬き時における瞼輪郭候補線の位置の変化量が、瞬きにおける通常の瞼の動きに合致するか否かを判断し、瞼輪郭線設定手段は、瞼輪郭候補線の位置の変化量が、瞬き時における通常の瞼の動きに合致しないと輪郭線判断手段により判断された場合に、瞼輪郭候補線を瞼輪郭線として設定しない、ことを特徴とする。【０００７】
この発明によれば、瞬き時における瞼輪郭候補線の位置の変化量が、通常の瞼の動きに合致するか否かが判断される。瞼輪郭候補線の位置の変化量が瞬き時における通常の下瞼の動きに合致しないと判断された場合には、瞼輪郭候補線は、瞼輪郭線以外のものが誤検出されたものである可能性が高い。この場合には、当該瞼輪郭候補線が瞼輪郭線として設定されないので、顔画像からの瞼の誤検出を低減できる。【０００８】
また、本発明における画像処理装置において、瞼輪郭線検出手段は、下瞼の輪郭線の候補である下瞼輪郭候補線を検出し、瞼輪郭線判断手段は、所定条件として、瞬き時における、下瞼輪郭候補線の位置の変化量が、予め設定された第１所定値以上であるか否かを判断し、瞼輪郭線設定手段は、下瞼輪郭候補線の位置の変化量が第１所定値以上であると瞼輪郭線判断手段により判断された場合に、下瞼輪郭候補線を下瞼輪郭線として設定しない、こととすることができる。【０００９】
瞬き時において、下瞼は、ほとんど動かないか、又はわずかに動くのみである。この発明によれば、下瞼輪郭候補線の位置の変化量が、予め設定された第１所定値以上であるか否かにより、瞬きにおける通常の下瞼の動きに合致するか否かが判断される。そして、下瞼輪郭候補線の位置の変化量が第１所定値以上であると判断された場合には、当該下瞼輪郭候補線が下瞼輪郭線として設定されないので、顔画像からの下瞼の誤検出を確実に低減できる。【００１０】
また、本発明における画像処理装置において、瞼輪郭線検出手段は、上瞼の輪郭線の候補である上瞼輪郭候補線を検出し、瞼輪郭線判断手段は、所定条件として、瞬き時における、上瞼輪郭候補線の位置の変化量が、予め設定された第２所定値以上であるか否かを判断し、瞼輪郭線設定手段は、上瞼輪郭候補線の位置の変化量が第２所定値以上であると瞼輪郭線判断手段により判断されなかった場合に、上瞼輪郭候補線を上瞼輪郭線として設定しない、こととすることができる。【００１１】
通常の瞬き時において、上瞼は、下瞼の方に向かって大きく動く。この発明によれば、上瞼輪郭候補線の位置の変化量が、予め設定された第２所定値以上であるか否かにより、瞬きにおける通常の上瞼の動きに合致するか否かが判断される。そして、上瞼輪郭候補線の位置の変化量が第２所定値以上であると判断されなかった場合には、当該上瞼輪郭候補線が上瞼輪郭線として設定されないので、顔画像からの上瞼の誤検出を確実に低減できる。【００１２】
また、本発明における画像処理装置において、瞼輪郭線判断手段は、上瞼輪郭候補線と下瞼輪郭候補線との間の距離である開眼度の変化に基づき瞬きを検出する、こととすることができる。この場合には、瞬き時の確実な検出が可能となる。【００１３】
本発明の眠気判定装置は、車両に搭載され、運転者の眠気を判定する眠気判定装置であって、顔画像から瞼の輪郭線の候補である瞼輪郭候補線を検出する瞼輪郭線検出手段と、瞼輪郭候補線に関して予め設定された所定条件が成立するか否かを判断する瞼輪郭線判断手段と、瞼輪郭線判断手段の判断結果に基づき、瞼輪郭候補線を瞼輪郭線として設定する瞼輪郭線設定手段と、瞼輪郭線設定手段により設定された上瞼輪郭線及び下瞼輪郭線の位置の変化に基づき、運転者の眠気を推定する眠気推定手段とを備え、瞼輪郭線判断手段は、所定条件として、瞬きを検出した時である瞬き時における瞼輪郭候補線の位置の変化量が、瞬きにおける通常の瞼の動きに合致するか否かを判断し、眠気推定手段は、瞼輪郭候補線の位置の変化量が瞬き時における通常の瞼の動きに合致しないと輪郭線判断手段により判断された場合に、運転者の眠気の推定を実施しない、ことを特徴とする。【００１４】
この発明によれば、瞬き時における瞼輪郭候補線の位置の変化量が、通常の瞼の動きに合致するか否かが判断される。瞼輪郭候補線の位置の変化量が瞬き時における通常の瞼の動きに合致しないと判断された場合には、瞼輪郭候補線は、瞼輪郭線以外のものが誤検出されたものである可能性が高い。この場合には、運転者の眠気の推定が実施されないので、眠気の誤推定を防止できる。【００１５】
また、本発明における眠気判定装置において、瞼輪郭線検出手段は、下瞼の輪郭線の候補である下瞼輪郭候補線を検出し、瞼輪郭線判断手段は、瞬き時における、下瞼輪郭候補線の位置の変化量が、予め設定された第１所定値以上であるか否かを判断し、眠気推定手段は、下瞼輪郭候補線の位置の変化量が第１所定値以上であると瞼輪郭線判断手段により判断された場合に、運転者の眠気の推定を実施しない、こととすることができる。【００１６】
瞬き時において、下瞼は、ほとんど動かないか、又はわずかに動くのみである。この発明によれば、下瞼輪郭候補線の位置の変化量が、予め設定された第１所定値以上であるか否かにより、瞬きにおける通常の下瞼の動きに合致するか否かが判断される。そして、下瞼輪郭候補線の位置の変化量が第１所定値以上であると判断された場合には、運転者の眠気の推定が実施されないので、眠気の誤推定を確実に防止できる。【００１７】
また、本発明における眠気判定装置において、瞼輪郭線検出手段は、上瞼の輪郭線の候補である上瞼輪郭候補線を検出し、瞼輪郭線判断手段は、瞬き時における、上瞼輪郭候補線の位置の変化量が、予め設定された第２所定値以上であるか否かを判断し、眠気推定手段は、上瞼輪郭候補線の位置の変化量が第２所定値以上であると瞼輪郭線判断手段により判断されなかった場合に、運転者の眠気の推定を実施しない、こととすることができる。【００１８】
通常の瞬き時において、上瞼は、下瞼の方に向かって大きく動く。この発明によれば、上瞼輪郭候補線の位置の変化量が、予め設定された第２所定値以上であるか否かにより、瞬きにおける通常の上瞼の動きに合致するか否かが判断される。そして、上瞼輪郭候補線の位置の変化量が第２所定値以上であると判断されなかった場合には、運転者の眠気の推定が実施されないので、眠気の誤推定を確実に防止できる。【００１９】
また、本発明における眠気判定装置において、瞼輪郭線判断手段は、上瞼輪郭候補線と下瞼輪郭候補線との間の距離である開眼度の変化に基づき瞬きを検出する、こととすることができる。この場合には、瞬き時の確実な検出が可能となる。
【発明の効果】
【００２０】
本発明によれば、顔画像からの瞼の誤検出を低減できると共に、眠気の誤推定を防止できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る画像処理装置及び当該画像処理装置を備える眠気判定装置の概略構成図である。
【図２】顔画像センサにより取得された運転者の顔画像の眼の部分を示す模式図である。
【図３】瞬きが行われたときにおける時間に対する開眼度の変化を示す図である。
【図４】瞬き時における通常の上瞼の動きを示す模式図である。
【図５】瞬き時における下瞼輪郭線の動きを示す模式図である。
【図６】下瞼輪郭線の設定処理において、瞼輪郭線判断部及び瞼輪郭線設定部により実施される処理手順を示すフローチャートである。
【図７】上瞼輪郭線の設定処理において、瞼輪郭線判断部及び瞼輪郭線設定部により実施される処理手順を示すフローチャートである。
【図８】下瞼輪郭候補線の位置の変化に基づく、眠気推定実施要否の判定処理において、瞼輪郭線判断部及び眠気推定部により実施される処理手順を示すフローチャートである。
【図９】上瞼輪郭候補線の位置の変化に基づく、眠気推定実施要否の判定処理において、瞼輪郭線判断部及び眠気推定部により実施される処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００２３】
図１は本実施形態に係る画像処理装置及び当該画像処理装置を備える眠気判定装置の概略構成図である。本実施形態に係る画像処理装置１は、顔画像から瞼の輪郭線を検出する装置である。また、本実施形態に係る眠気判定装置２は、車両に搭載され、運転者の眠気を判定する装置である。
【００２４】
図１に示すように、眠気判定装置２は、画像処理装置１、眠気推定部２０及び警告部２１を備えると共に、顔画像センサ３０と接続されている。また、画像処理装置１は、瞼輪郭線検出部１０、瞼輪郭線判断部１１及び瞼輪郭線設定部１２を備える。
【００２５】
顔画像センサ３０は、車両の運転者の顔画像を検出する装置である。顔画像センサ３０は、検出した顔画像を画像処理装置１に送出する。
【００２６】
瞼輪郭線検出部１０は、顔画像から瞼の輪郭線の候補である瞼輪郭候補線を検出する部分である。瞼輪郭候補線は、上瞼の輪郭線の候補である上瞼輪郭候補線及び下瞼の輪郭線の候補である下瞼輪郭候補線を含む。瞼輪郭線検出部１０は、上瞼輪郭候補線及び下瞼輪郭候補線のいずれか一方を検出することとしてもよい。図２を参照して、上瞼輪郭候補線及び下瞼輪郭候補線の検出処理について説明する。図２は、顔画像センサ３０により取得された運転者の顔画像の眼の部分を示す模式図である。瞼輪郭線検出部１０は、例えば、顔画像から運転者の上瞼と眼球との境界（以下、上瞼境界という）及び下瞼と眼球との境界（以下、下瞼境界という）をそれぞれ画像処理によって抽出し、抽出した上瞼境界及び下瞼境界をそれぞれ上瞼輪郭候補線ｐＵ及び下瞼輪郭候補線ｐＬとして検出する。
【００２７】
瞼輪郭線判断部１１は、上瞼輪郭候補線ｐＵ及び下瞼輪郭候補線ｐＬに関して予め設定された所定条件が成立するか否かを判断する部分である。具体的には、瞼輪郭線判断部１１は、所定条件として、瞬きを検出した時である瞬き時における上瞼輪郭候補線ｐＵまたは下瞼輪郭候補線ｐＬの位置の変化量がそれぞれ、瞬きにおける通常の上瞼又は下瞼の動きに合致するか否かを判断する。
【００２８】
また、瞼輪郭線判断部１１は、上瞼輪郭候補線ｐＵと下瞼輪郭候補線ｐＬとの間の距離である開眼度Ｄの変化に基づき瞬きを検出することができる。なお、図２に示すように、開眼度Ｄは、上瞼輪郭候補線ｐＵの中央部近傍の点である上瞼輪郭点ＰＵと下瞼輪郭候補線ｐＬの中央部近傍の点である下瞼輪郭点ＰＬとの間の距離として求められる。
【００２９】
図３を参照して、瞬き及び瞬き時について説明する。図３は、瞬きが行われたときにおける時間に対する開眼度Ｄの変化を示す図である。瞼輪郭線判断部１１は、開眼閾値ＴＵ以上から閉眼閾値ＴＤ以下までの開眼度Ｄの値の変化を瞬きとして検出する。そして、瞼輪郭線判断部１１は、開眼度Ｄが開眼閾値ＴＵ以上から閉眼閾値ＴＤ以下まで変化した時間を、瞬き時Ｂとして定義する。なお、開眼閾値ＴＵから閉眼閾値ＴＤは、予め設定された値である。なお、瞼輪郭線判断部１１による上瞼輪郭候補線及び下瞼輪郭候補線に関する判断処理は、後に詳述する。
【００３０】
瞼輪郭線設定部１２は、瞼輪郭線判断部１１の判断結果に基づき、瞼輪郭候補線を瞼輪郭線として設定する部分である。即ち、瞼輪郭線設定部１２は、上瞼輪郭候補線及び下瞼輪郭候補線をそれぞれ上瞼輪郭線及び下瞼輪郭線として設定することができる。具体的には、瞼輪郭線設定部１２は、下瞼輪郭候補線の位置の変化量が、瞬きにおける通常の下瞼の動きに合致しないと瞼輪郭線判断部１１により判断された場合に、当該下瞼輪郭候補線を下瞼輪郭線として設定しない。また、瞼輪郭線設定部１２は、上瞼輪郭候補線の位置の変化量が、瞬きにおける通常の上瞼の動きに合致すると瞼輪郭線判断部１１により判断されなかった場合に、当該上瞼輪郭候補線を上瞼輪郭線として設定しない。なお、瞼輪郭線設定部１２による上瞼輪郭線及び下瞼輪郭線に関する設定処理は、後に詳述する。
【００３１】
眠気推定部２０は、瞼輪郭線設定手段により設定された瞼輪郭線の位置の変化に基づき、運転者の眠気を推定する部分である。さらに、本実施形態における眠気推定部２０は、下瞼輪郭候補線の位置の変化量が瞬き時における通常の下瞼の動きに合致しないと瞼輪郭線判断部１１により判断された場合、又は上瞼輪郭候補線の位置の変化量が瞬きにおける通常の上瞼の動きに合致すると瞼輪郭線判断部１１により判断されなかった場合に、運転者の眠気の推定を実施しない。なお、眠気推定部２０による眠気の推定処理は、後に詳述する。
【００３２】
警告部２１は、眠気推定部２０により運転者に眠気が有ると推定された場合に、聴覚及び視覚のうちの少なくともいずれか１つを通じて運転者に警告する部分である。より具体的には、警告部２１は、運転者に眠気が有ると推定された場合に、ディスプレイ、ランプといった表示装置（図示せず）やスピーカ及びブザーといった報知装置（図示せず）に、運転者に対する警告を実施させる。
【００３３】
次に図４を参照して、瞬きにおける上瞼の動きを説明する。図４は、瞬き時における通常の上瞼の動きを示す模式図である。瞬きが行われた場合には、上瞼輪郭線は下方（下瞼の方向）に向かって大きく動く。図４に示すように、上瞼輪郭点ＰＵの位置の変化の軌跡を示すベクトルＲＵのｙ成分は、マイナスとなる。また、通常の瞬き時において、開眼度Ｄの変化量に対して上瞼輪郭候補線ｐＵ及び上瞼輪郭点ＰＵの位置の変化量が占める割合は非常に大きく、例えば、９５％以上となる。
【００３４】
なお、瞬き開始時における開眼度をＤＵ１とし、瞬きが行われている間で最も開眼度Ｄが小さくなったときにおける開眼度をＤＵ２とすると、開眼度Ｄの変化量は、（ＤＵ１−ＤＵ２）となる。また、瞬き開始時における上瞼輪郭点ＰＵ１の座標を（ｘＵ１，ｙＵ１）とし、瞬きが行われている間で最も開眼度Ｄが小さくなったときにおける上瞼輪郭点ＰＵ２の座標を（ｘＵ２，ｙＵ２）とすると、上瞼輪郭候補線ｐＵ及び上瞼輪郭点ＰＵの位置の変化量は、下式（１）により表される。
（（ｘＵ２−ｘＵ１）２＋（ｙＵ２−ｙＵ１）２）１／２  ・・・（１）
【００３５】
瞼輪郭線判断部１１により算出された上瞼輪郭候補線ｐＵ及び上瞼輪郭点ＰＵの位置の変化量が、瞬きにおける通常の上瞼の動きに合致しない場合には、瞼輪郭線検出部１０が上瞼輪郭線以外のものを上瞼輪郭候補線ｐＵとして検出した可能性が高い。
【００３６】
次に図５を参照して、瞬きにおける下瞼の動きを説明する。図５は、瞬き時における下瞼輪郭線の動きを示す模式図である。瞬きが行われた場合には、下瞼輪郭線はほとんど動かないか、又は上方（上瞼の方向）に向かって僅かに動く。なお、図５では、図示の都合上、下瞼輪郭線の位置の変化量が、通常の瞬き時よりも大きく表されている。図５に示すように、下瞼輪郭候補線ｐＬ及び下瞼輪郭点ＰＬの位置の変化の軌跡を示すベクトルＲＬのｙ成分は、プラスとなる。また、通常の瞬き時において、開眼度Ｄの変化量に対して下瞼輪郭候補線ｐＬ及び下瞼輪郭点ＰＬの位置の変化量が占める割合は非常に小さく、例えば、５％未満となる。
【００３７】
なお、瞬き開始時における開眼度をＤＬ１とし、瞬きが行われている間で最も開眼度Ｄが小さくなったときにおける開眼度をＤＬ２とすると、開眼度Ｄの変化量は、（ＤＬ１−ＤＬ２）となる。また、瞬き開始時における下瞼輪郭点ＰＬ１の座標を（ｘＬ１，ｙＬ１）とし、瞬きが行われている間で最も開眼度Ｄが小さくなったときにおける下瞼輪郭点ＰＬ２の座標を（ｘＬ２，ｙＬ２）とすると、下瞼輪郭候補線ｐＬ及び下瞼輪郭点ＰＬの位置の変化量は、下式（２）により表される。
（（ｘＬ２−ｘＬ１）２＋（ｙＬ２−ｙＬ１）２）１／２  ・・・（２）
【００３８】
瞼輪郭線判断部１１により算出された下瞼輪郭候補線ｐＬ及び下瞼輪郭点ＰＬの位置の変化量が、瞬きにおける通常の下瞼の動きに合致しない場合には、瞼輪郭線検出部１０が下瞼輪郭線以外のものを下瞼輪郭候補線ｐＬとして検出した可能性が高い。
【００３９】
続いて、図６〜９を参照して、瞼輪郭線判断部１１による判断処理、瞼輪郭線設定部１２による設定処理、及び眠気推定部２０による眠気の推定処理を詳細に説明する。まず図６を参照して、画像処理装置１における下瞼輪郭線の設定処理を説明する。図６は、瞼輪郭線判断部１１及び瞼輪郭線設定部１２における処理手順を示すフローチャートである。瞼輪郭線判断部１１は、瞼輪郭線検出部１０により検出された上瞼輪郭候補線ｐＵ及び下瞼輪郭候補線ｐＬに基づき瞬きの検出を試みる（Ｓ１）。瞬きを検出した場合には、処理手順はステップＳ２に進められる。一方、瞬きを検出しなかった場合には、ステップＳ１の検出処理が繰り返し行われる。
【００４０】
次に、瞼輪郭線判断部１１は、瞬き時Ｂにおける下瞼輪郭候補線ｐＬ（下瞼輪郭点ＰＬ１，ＰＬ２）の位置の変化量及び移動ベクトルを算出する（Ｓ２）（図５参照）。続いて、瞼輪郭線判断部１１は、ステップＳ２において算出された移動ベクトルのｙ成分がプラスであり、且つステップＳ２において算出された下瞼輪郭候補線ｐＬの位置の変化量が開眼度Ｄの変化量に対して占める割合がＹ％以上であるか否かを判定する（Ｓ３）。ここで判定に用いられる値であるＹ％は、例えば５％と設定されることができる。また、この判定処理は、本発明における、「下瞼輪郭候補線の位置の変化量が予め設定された第１所定値以上であるか否かを判断する処理」を構成する。
【００４１】
そして、瞼輪郭線設定部１２は、下瞼輪郭候補線ｐＬの位置の移動ベクトルのｙ成分がプラスであり、且つ下瞼輪郭候補線ｐＬの位置の変化量が開眼度Ｄの変化量に対して占める割合がＹ％以上であると判断された場合には、下瞼輪郭候補線ｐＬを下瞼輪郭線として設定しない（Ｓ４）。一方、瞼輪郭線設定部１２は、下瞼輪郭候補線ｐＬの位置の移動ベクトルのｙ成分がプラスであり、且つ下瞼輪郭候補線ｐＬの位置の変化量が開眼度Ｄの変化量に対して占める割合がＹ％以上であると判断されなかった場合には、下瞼輪郭候補線ｐＬを下瞼輪郭線として設定する（Ｓ５）。
【００４２】
なお、図６のフローチャートにより示される処理手順は繰り返し実施されるものであるので、ある時に実施された処理手順のステップＳ４において、下瞼輪郭候補線ｐＬが下瞼輪郭線として設定されなかった場合には、以前の処理手順の繰り返しにおいて下瞼輪郭線として設定された下瞼輪郭候補線を、再び下瞼輪郭線として採用することとしてもよい。
【００４３】
図６のフローチャートを参照して説明した処理によれば、下瞼輪郭候補線ｐＬの位置の移動ベクトルのｙ成分がプラスであり、且つ下瞼輪郭候補線ｐＬの位置の変化量が開眼度Ｄの変化量に対して占める割合がＹ％以上であるか否かにより、瞬きにおける通常の下瞼の動きに合致するか否かが判断される。そして、下瞼輪郭候補線ｐＬの位置の変化が瞬きにおける通常の下瞼の動きに合致しないと判断された場合には、瞼輪郭線検出部１０が下瞼輪郭線以外のものを下瞼輪郭候補線ｐＬとして検出した可能性が高いので、瞼輪郭線設定部１２は、当該下瞼輪郭候補線ｐＬを下瞼輪郭線として設定しない。従って、顔画像からの下瞼の誤検出を確実に低減できる。なお、瞼輪郭線検出部１０が下瞼輪郭候補線ｐＬとして誤検出する下瞼輪郭線以外のものの例としては、瞳孔の上側エッジが挙げられる。
【００４４】
なお、図６のフローチャートを参照して説明した処理では、下瞼輪郭候補線ｐＬの位置の変化量及び移動ベクトルを判定に用いているが、移動ベクトルを判定に用いずに変化量のみを判定に用いることとしても良い。
【００４５】
次に、図７を参照して、画像処理装置１における上瞼輪郭線の設定処理を説明する。図７は、瞼輪郭線判断部１１及び瞼輪郭線設定部１２における処理手順を示すフローチャートである。まず、瞼輪郭線判断部１１は、瞼輪郭線検出部１０により検出された上瞼輪郭候補線ｐＵ及び下瞼輪郭候補線ｐＬに基づき瞬きの検出を試みる（Ｓ１１）。瞬きを検出した場合には、処理手順はステップＳ１２に進められる。一方、瞬きを検出しなかった場合には、ステップＳ１１の検出処理が繰り返し行われる。
【００４６】
次に、瞼輪郭線判断部１１は、瞬き時Ｂにおける上瞼輪郭候補線ｐＵ（上瞼輪郭点ＰＵ１，ＰＵ２）の位置の変化量及び移動ベクトルを算出する（Ｓ１２）（図４参照）。続いて、瞼輪郭線判断部１１は、ステップＳ２において算出された移動ベクトルのｙ成分がマイナスであり、且つステップＳ２において算出された上瞼輪郭候補線ｐＵの位置の変化量が開眼度Ｄの変化量に対して占める割合がＸ％以上であるか否かを判定する（Ｓ１３）。ここで判定に用いられる値であるＸ％は、例えば９５％と設定されることができる。また、この判定処理は、本発明における、「上瞼輪郭候補線の位置の変化量が予め設定された第２所定値以上であるか否かを判断する処理」を構成する。
【００４７】
そして、瞼輪郭線設定部１２は、上瞼輪郭候補線ｐＵの位置の移動ベクトルのｙ成分がマイナスであり、且つ上瞼輪郭候補線ｐＵの位置の変化量が開眼度Ｄの変化量に対して占める割合がＸ％以上であると判断された場合には、上瞼輪郭候補線ｐＵを上瞼輪郭線として設定する（Ｓ１４）。一方、瞼輪郭線設定部１２は、上瞼輪郭候補線ｐＵの位置の移動ベクトルのｙ成分がマイナスであり、且つ上瞼輪郭候補線ｐＵの位置の変化量が開眼度Ｄの変化量に対して占める割合がＸ％以上であると判断されなかった場合には、上瞼輪郭候補線ｐＵを上瞼輪郭線として設定しない（Ｓ１５）。
【００４８】
なお、図７のフローチャートにより示される処理手順は繰り返し実施されるものであるので、ある時に実施された処理手順のステップＳ１５において、上瞼輪郭候補線ｐＵが上瞼輪郭線として設定されなかった場合には、以前の処理手順の繰り返しにおいて上瞼輪郭線として設定された上瞼輪郭候補線を、再び上瞼輪郭線として採用することとしてもよい。
【００４９】
図７のフローチャートを参照して説明した処理によれば、上瞼輪郭候補線ｐＵの位置の移動ベクトルのｙ成分がマイナスであり、且つ上瞼輪郭候補線ｐＵの位置の変化量が開眼度Ｄの変化量に対して占める割合がＸ％以上であるか否かにより、瞬きにおける通常の上瞼の動きに合致するか否かが判断される。そして、上瞼輪郭候補線ｐＵの位置の変化が瞬きにおける通常の上瞼の動きに合致しないと判断された場合には、瞼輪郭線検出部１０が上瞼輪郭線以外のものを上瞼輪郭候補線ｐＵとして検出した可能性が高いので、瞼輪郭線設定部１２は、当該上瞼輪郭候補線ｐＵを上瞼輪郭線として設定しない。従って、顔画像からの上瞼の誤検出を確実に低減できる。
【００５０】
なお、図７のフローチャートを参照して説明した処理では、上瞼輪郭候補線ｐＵの位置の変化量及び移動ベクトルを判定に用いているが、移動ベクトルを判定に用いずに変化量のみを判定に用いることとしても良い。
【００５１】
次に、図８を参照して、眠気判定装置２における眠気推定処理の実施要否を判定する処理を説明する。この判定処理は、下瞼輪郭候補線ｐＬの位置の変化に基づいて行われる。図８は、瞼輪郭線判断部１１及び眠気推定部２０における処理手順を示すフローチャートである。ステップＳ２１〜Ｓ２３に示す処理内容は、図６におけるステップＳ１〜Ｓ３の処理内容と同様であるので、説明を省略する。
【００５２】
ステップＳ２３において、下瞼輪郭候補線ｐＬの位置の移動ベクトルのｙ成分がプラスであり、且つ下瞼輪郭候補線ｐＬの位置の変化量が開眼度Ｄの変化量に対して占める割合がＹ％以上であると判断された場合には、眠気推定部２０は、運転者の眠気の推定を実施しない（Ｓ２４）。一方、下瞼輪郭候補線ｐＬの位置の移動ベクトルのｙ成分がプラスであり、且つ下瞼輪郭候補線ｐＬの位置の変化量が開眼度Ｄの変化量に対して占める割合がＹ％以上であると判断されなかった場合には、眠気推定部２０は、運転者の眠気の推定を実施する（Ｓ２５）。
【００５３】
図８のフローチャートを参照して説明した処理によれば、下瞼輪郭候補線ｐＬの位置の移動ベクトルのｙ成分がプラスであり、且つ下瞼輪郭候補線ｐＬの位置の変化量が開眼度Ｄの変化量に対して占める割合がＹ％以上であるか否かにより、瞬きにおける通常の下瞼の動きに合致するか否かが判断される。そして、下瞼輪郭候補線ｐＬの位置の変化が瞬きにおける通常の下瞼の動きに合致しないと判断された場合には、瞼輪郭線検出部１０が下瞼輪郭線以外のものを下瞼輪郭候補線ｐＬとして検出した可能性が高いので、眠気推定部２０は、運転者の眠気の推定を実施しない。従って、眠気の誤推定を確実に防止できる。
【００５４】
なお、図８のフローチャートを参照して説明した処理では、下瞼輪郭候補線ｐＬの位置の変化量及び移動ベクトルを判定に用いているが、移動ベクトルを判定に用いずに変化量のみを判定に用いることとしても良い。
【００５５】
次に、図９を参照して、眠気判定装置２における眠気推定処理の実施要否を判定する処理を説明する。この判定処理は、上瞼輪郭候補線ｐＵの位置の変化に基づいて行われる。図９は、瞼輪郭線判断部１１及び眠気推定部２０における処理手順を示すフローチャートである。ステップＳ３１〜Ｓ３３に示す処理内容は、図７におけるステップＳ１１〜Ｓ１３の処理内容と同様であるので、説明を省略する。
【００５６】
ステップＳ３３において、上瞼輪郭候補線ｐＵの位置の移動ベクトルのｙ成分がマイナスであり、且つ上瞼輪郭候補線ｐＵの位置の変化量が開眼度Ｄの変化量に対して占める割合がＸ％以上であると判断された場合には、眠気推定部２０は、運転者の眠気の推定を実施する（Ｓ３４）。一方、上瞼輪郭候補線ｐＵの位置の移動ベクトルのｙ成分がマイナスであり、且つ上瞼輪郭候補線ｐＵの位置の変化量が開眼度Ｄの変化量に対して占める割合がＸ％以上であると判断されなかった場合には、眠気推定部２０は、運転者の眠気の推定を実施しない（Ｓ３５）。
【００５７】
図９のフローチャートを参照して説明した処理によれば、上瞼輪郭候補線ｐＵの位置の移動ベクトルのｙ成分がプラスであり、且つ上瞼輪郭候補線ｐＵの位置の変化量が開眼度Ｄの変化量に対して占める割合がＸ％以上であるか否かにより、瞬きにおける通常の上瞼の動きに合致するか否かが判断される。そして、上瞼輪郭候補線ｐＵの位置の変化が瞬きにおける通常の上瞼の動きに合致しないと判断された場合には、瞼輪郭線検出部１０が上瞼輪郭線以外のものを上瞼輪郭候補線ｐＵとして検出した可能性が高いので、眠気推定部２０は、運転者の眠気の推定を実施しない。従って、眠気の誤推定を確実に防止できる。
【００５８】
なお、図９のフローチャートを参照して説明した処理では、上瞼輪郭候補線ｐＵの位置の変化量及び移動ベクトルを判定に用いているが、移動ベクトルを判定に用いずに変化量のみを判定に用いることとしても良い。
【００５９】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００６０】
本実施形態の眠気判定装置２では、眠気推定部２０は、瞼輪郭線設定部１２から上瞼輪郭線及び下瞼輪郭線の情報を取得し、上瞼輪郭線及び下瞼輪郭線の位置の変化に基づき眠気の推定を実施すると共に、瞼輪郭線判断部１１から判断処理の結果を取得することとしているが、これには限られない。例えば、眠気判定装置２は、瞼輪郭線設定部１２を備えないこととしても良い。この場合には、眠気判定装置２は、瞼輪郭線検出部１０から上瞼輪郭候補線及び下瞼輪郭候補線の情報を取得し、上瞼輪郭候補線及び下瞼輪郭候補線の位置の変化に基づき眠気の推定を実施すると共に、瞼輪郭線判断部１１からの判断処理の結果に基づき、眠気の推定処理の実施要否を判定することができる。
【００６１】
以上のように、本実施形態に係る画像処理装置１によれば、瞬き時における上瞼輪郭候補線または下瞼輪郭候補線の位置の変化量が、瞬きにおける通常の上瞼又は下瞼の動きに合致するか否かが判断される。下瞼輪郭候補線の位置の変化量が瞬きにおける通常の下瞼の動きに合致しないと判断された場合には、下瞼輪郭候補線は、下瞼輪郭線以外のものが誤検出されたものである可能性が高い。この場合には、当該下瞼輪郭候補線が下瞼輪郭線として設定されないので、顔画像からの下瞼の誤検出を低減できる。また、上瞼輪郭候補線の位置の変化量が瞬きにおける通常の上瞼の動きに合致すると判断されなかった場合には、上瞼輪郭候補線は、上瞼輪郭線以外のものが誤検出されたものである可能性が高い。この場合には、当該上瞼輪郭候補線が上瞼輪郭線として設定されないので、顔画像からの上瞼の誤検出を低減できる。
【００６２】
また、本実施形態に係る眠気判定装置２によれば、瞬き時における上瞼輪郭候補線または下瞼輪郭候補線の位置の変化量が、瞬きにおける通常の上瞼又は下瞼の動きに合致するか否かが判断される。下瞼輪郭候補線の位置の変化量が瞬きにおける通常の下瞼の動きに合致しないと判断された場合には、下瞼輪郭候補線は、下瞼輪郭線以外のものが誤検出されたものである可能性が高い。また、上瞼輪郭候補線の位置の変化量が瞬きにおける通常の上瞼の動きに合致すると判断されなかった場合には、上瞼輪郭候補線は、上瞼輪郭線以外のものが誤検出されたものである可能性が高い。これらの場合には、運転者の眠気の推定が実施されないので、眠気の誤推定を防止できる。
【産業上の利用可能性】
【００６３】
本発明によれば、顔画像からの瞼の誤検出を低減できると共に、眠気の誤推定を防止できる。
【符号の説明】
【００６４】
１…画像処理装置、２…眠気判定装置、１０…瞼輪郭線検出部、１０…顔画像センサ、１０…瞼輪郭線検出部、１１…瞼輪郭線判断部、１２…瞼輪郭線設定部、２０…眠気推定部、２１…警告部、３０…顔画像センサ。
【図１】
2011101990.tif 000003
【図２】
2011101990.tif 000004
【図３】
2011101990.tif 000005
【図４】
2011101990.tif 000006
【図５】
2011101990.tif 000007
【図６】
2011101990.tif 000008
【図７】
2011101990.tif 000009
【図８】
2011101990.tif 000010
【図９】
2011101990.tif 000011
【手続補正書】
【提出日】平成22年9月6日(2010.9.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（削除）
【請求項２】
（削除）
【請求項３】
（削除）
【請求項４】
（削除）
【請求項５】
車両に搭載され、運転者の眠気を判定する眠気判定装置であって、
前記顔画像から瞼の輪郭線の候補である瞼輪郭候補線を検出する瞼輪郭線検出手段と、
前記瞼輪郭候補線に関して予め設定された所定条件が成立するか否かを判断する瞼輪郭線判断手段と、
前記瞼輪郭線判断手段の判断結果に基づき、前記瞼輪郭候補線を瞼輪郭線として設定する瞼輪郭線設定手段と、
前記瞼輪郭線設定手段により設定された前記上瞼輪郭線及び前記下瞼輪郭線の位置の変化に基づき、前記運転者の眠気を推定する眠気推定手段とを備え、
前記瞼輪郭線判断手段は、前記所定条件として、瞬きを検出した時である瞬き時における前記瞼輪郭候補線の位置の変化量が、瞬きにおける通常の瞼の動きに合致するか否かを判断し、
前記眠気推定手段は、前記瞼輪郭候補線の位置の変化量が瞬き時における通常の瞼の動きに合致しないと前記輪郭線判断手段により判断された場合に、前記運転者の眠気の推定を実施しない、
ことを特徴とする眠気判定装置。
【請求項６】
前記瞼輪郭線検出手段は、下瞼の輪郭線の候補である下瞼輪郭候補線を検出し、
前記瞼輪郭線判断手段は、前記瞬き時における、前記下瞼輪郭候補線の位置の変化量が、予め設定された第１所定値以上であるか否かを判断し、
前記眠気推定手段は、前記下瞼輪郭候補線の位置の変化量が前記第１所定値以上であると前記瞼輪郭線判断手段により判断された場合に、前記運転者の眠気の推定を実施しない、
請求項５に記載の眠気判定装置。
【請求項７】
前記瞼輪郭線検出手段は、上瞼の輪郭線の候補である上瞼輪郭候補線を検出し、
前記瞼輪郭線判断手段は、前記瞬き時における、前記上瞼輪郭候補線の位置の変化量が、予め設定された第２所定値以上であるか否かを判断し、
前記眠気推定手段は、前記上瞼輪郭候補線の位置の変化量が前記第２所定値以上であると前記瞼輪郭線判断手段により判断されなかった場合に、前記運転者の眠気の推定を実施しない、
請求項５または６に記載の眠気判定装置。
【請求項８】
前記瞼輪郭線判断手段は、前記上瞼輪郭候補線と前記下瞼輪郭候補線との間の距離である開眼度の変化に基づき瞬きを検出する、
請求項５〜７のいずれか１項に記載の眠気判定装置。
【国際調査報告】
2011101990.tif 000012
2011101990.tif 000013
2011101990.tif 000014
2011101990.tif 000015