(57)【要約】  領域抽出部（２）は、運転者の映像の眼領域を抽出する。瞼検出部（３）は、眼領域内の瞼を検出する。信頼度算出部（４）は、眼領域の輝度情報と、瞼検出部（３）が検出した瞼の位置情報とを用いて、瞼信頼度を算出する。判定部（５）は、瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する。
2019159229.tif 000002
【特許請求の範囲】
【請求項１】
運転者の映像を示す映像データを取得する映像取得部と、
前記映像取得部が取得した映像データを用いて、前記映像の眼領域を抽出する領域抽出部と、
前記領域抽出部が抽出した眼領域内の瞼を検出する瞼検出部と、
前記領域抽出部が抽出した眼領域の輝度情報と、前記瞼検出部が検出した瞼の位置情報とを用いて、瞼信頼度を算出する信頼度算出部と、
前記信頼度算出部が算出した瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する判定部とを備えることを特徴とする誤検出判定装置。
【請求項２】
前記瞼検出部が検出した瞼の位置情報を用いて眼の開閉状態を算出する状態判定部を備え、
前記判定部が、瞼が正常に検出されていないと判定した場合、
前記状態判定部は、算出した開閉状態を無効と判定することを特徴とする請求項１記載の誤検出判定装置。
【請求項３】
前記映像取得部が取得した映像データが示す映像のうち、瞼信頼度が第２閾値未満である映像の占める割合が第３閾値以上である場合、
前記信頼度算出部は、前記輝度情報と瞼の前記位置情報とを用いて算出した瞼信頼度を低下させ、
前記判定部は、前記信頼度算出部が低下させた瞼信頼度を用いて判定を行うことを特徴とする請求項１記載の誤検出判定装置。
【請求項４】
前記信頼度算出部は、前記輝度情報から得られる輝度ベクトルと、前記位置情報から得られる瞼ラインの法線ベクトルとの内積を用いて、瞼信頼度を算出することを特徴とする請求項１記載の誤検出判定装置。
【請求項５】
映像取得部が、運転者の映像を示す映像データを取得する映像取得ステップと、
領域抽出部が、前記映像取得ステップにより取得された映像データを用いて、前記映像の眼領域を抽出する領域抽出ステップと、
瞼検出部が、前記領域抽出ステップにより抽出された眼領域内の瞼を検出する瞼検出ステップと、
信頼度算出部が、前記領域抽出ステップにより抽出された眼領域の輝度情報と、前記瞼検出ステップにより検出された瞼の位置情報とを用いて、瞼信頼度を算出する信頼度算出ステップと、
判定部が、前記信頼度算出ステップにより算出された瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する判定ステップとを備えることを特徴とする誤検出判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、瞼が誤検出されたかを判定する装置に関するものである。
【背景技術】
【０００２】
車室内を撮影し、運転者の居眠り又は眠気等を検出するドライバモニタリング装置が知られている。運転者がメガネ又はサングラス（以下、サングラスについてもメガネと呼ぶ）を着用した場合、メガネのレンズ表面に風景が映り込むこと、又は、メガネフレームで瞼が隠されることなどにより、瞼が正常に検出されないことがある。瞼が正常に検出されない場合、運転者の居眠り又は眠気等の検出性能が低下する。
特許文献１には、眼を誤って検出した場合に、その誤検出の情報を加味して覚醒度を推定する覚醒度推定装置が記載されている。特許文献１の覚醒度推定装置は、画像の縦方向の画素列に沿って画素の濃度を検出し、眼の部分で濃度が局所的に低下することを利用して、眼の画素群を抽出する。また、特許文献１の覚醒度推定装置は、検出した眼が誤検出によるものかを判断する。例えば、特許文献１の覚醒度推定装置は、検出した左右の眼の距離等、左右の眼の位置関係を用いて誤検出を判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７―３４４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の覚醒度推定装置は、眼を誤検出しているか否かの判定精度が低いものであった。例えば、メガネのレンズ表面において眼付近に風景が映り込んでその映り込んだ風景が眼として誤検出されている場合でも、上記特許文献１のように左右の眼の位置関係を用いて誤検出が判定されると、眼を誤検出しているとは判定されない。眼を正常に検出できたと判定がされ、映り込んだ風景が眼として扱われながら処理が行われてしまう。眼の誤検出は、結局のところ瞼の誤検出でもある。【０００５】
この発明は、上記のような課題を解決するためになされたもので、瞼を誤検出しているか否かの判定精度を高めることができる誤検出判定装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る誤検出判定装置は、運転者の映像を示す映像データを取得する映像取得部と、映像取得部が取得した映像データを用いて、映像の眼領域を抽出する領域抽出部と、領域抽出部が抽出した眼領域内の瞼を検出する瞼検出部と、領域抽出部が抽出した眼領域の輝度情報と、瞼検出部が検出した瞼の位置情報とを用いて、瞼信頼度を算出する信頼度算出部と、信頼度算出部が算出した瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する判定部とを備えることを特徴とするものである。
【発明の効果】
【０００７】
この発明によれば、眼領域の輝度情報と検出された瞼の位置情報とを用いて算出された瞼信頼度に基づき、判定が行われることで、瞼を誤検出しているか否かの判定精度を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る誤検出判定装置の構成を示す図である。
【図２】図２Ａは瞼ラインの一例を示す図であり、図２Ｂは図２Ａの瞼ラインをプロットしたときの図である。
【図３】輝度ベクトルの説明図である。
【図４】瞼評価値と瞼信頼度との関係を示すグラフである。
【図５】図５Ａはメガネのレンズ表面に風景の映り込みが無い場合の運転者の眼付近の状況を示す図であり、図５Ｂはメガネのレンズ表面に風景が映り込んだ場合の運転者の眼付近の状況を示す図である。
【図６】図６Ａは瞼ラインの一例を示す図であり、図６Ｂは図６Ａの瞼ラインをプロットしたときの図である。
【図７】図７Ａ及び図７Ｂは、実施の形態１に係る誤検出判定装置のハードウェア構成例を示す図である。
【図８】実施の形態１に係る誤検出判定装置による処理の一例を示すフローチャートである。
【図９】図８のステップＳＴ４での処理の一例を詳細に示すフローチャートである。
【図１０】瞼信頼度を算出する処理の変形例を示すフローチャートである。
【図１１】図１１Ａはメガネのレンズ表面において眼の下部に風景が帯状に映り込んだ場合を示す図であり、図１１Ｂはメガネのレンズ表面において眼と似た形状の風景が映り込んだ場合を示す図である。
【図１２】風景の映り込みと瞼信頼度の時間推移の一例を示す図である。
【図１３】図１２で示した風景の映り込みが発生した場合に、過去の映像のうち瞼信頼度が第２閾値未満である映像の占める割合の時間推移の一例を示す図である。
【図１４】図１２で示した風景の映り込みが発生した場合に、図１０で示した処理に従い算出される瞼信頼度を示す図である。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１． 
図１は、実施の形態１に係る誤検出判定装置１０の構成を示す図である。誤検出判定装置１０は、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５、及び、状態判定部６を備える。
【００１０】
映像取得部１は、運転者の映像を示す映像データを取得する。以下では、誤検出判定装置１０が自動車に搭載されている場合を例に説明する。この場合、自動車に搭載されて運転者を撮影する不図示のカメラから、運転者の映像を示す映像データが出力される。
映像取得部１は、取得した映像データを領域抽出部２へ出力する。
【００１１】
領域抽出部２は、映像取得部１が取得した映像データを用いて、当該映像データが示す映像の眼領域を抽出する。眼領域は、少なくとも眼を含む領域であり、顔領域よりは狭い領域である。人物の映像から当該人物の眼領域を抽出する画像処理技術は、周知の技術であるので、詳細については省略する。例えば、人物の顔領域を特定し、顔領域の上部に設定した横長の範囲を、当該人物の眼領域とする画像処理技術が用いられる。
領域抽出部２は、映像取得部１が取得した映像データのうち、運転者の眼領域に相当する部分の映像データを瞼検出部３と信頼度算出部４へ出力する。
【００１２】
瞼検出部３は、領域抽出部２から出力された映像データを用いて、領域抽出部２が抽出した眼領域内の瞼を検出する。瞼を検出する画像処理技術は、周知の技術であるので、詳細については省略する。例えば、特許文献１で挙げられているような、映像の縦方向の画素列に沿って画素の濃度を検出し、濃度が局所的に変化した位置を瞼として検出する画像処理技術が用いられる。
瞼検出部３は、検出した瞼の位置情報を信頼度算出部４と状態判定部６へ出力する。瞼の位置情報は、例えば後述の図２Ａ、図２Ｂ、図６Ａ及び図６Ｂで示すような瞼ラインが特定できる情報である。例えば、瞼の位置情報は、眼領域における目頭の座標位置、眼領域における目尻の座標位置、及び、瞼ラインの形状を表す関数を含んでいる。
【００１３】
信頼度算出部４は、領域抽出部２が抽出した眼領域の輝度情報と、瞼検出部３が検出した瞼の位置情報とを用いて、瞼信頼度を算出する。眼領域の輝度情報は、領域抽出部２から出力された映像データを用いて信頼度算出部４にて特定可能である。瞼信頼度は、瞼検出部３が検出した瞼が本当に瞼であるかの信頼度を示す指標である。瞼信頼度が高いほど、瞼検出部３が瞼を正しく検出できていることを示している。信頼度算出部４は、算出した瞼信頼度を判定部５へ出力する。
【００１４】
図２Ａ、図２Ｂ、図３及び図４は、瞼信頼度の算出方法の一例を説明するための図である。
信頼度算出部４は、瞼検出部３から出力された瞼の位置情報を用いて、例えば図２Ａに示すような瞼ラインＬ１を特定する。瞼ラインＬ１は、瞼検出部３が検出した瞼を示している。瞼ラインＬ１の一端は目頭、他端は目尻に相当する。
信頼度算出部４は、瞼ラインＬ１を眼領域にプロットする。このとき、例えば瞼の位置情報に含まれる、眼領域における目頭及び目尻の座標位置を参照して、信頼度算出部４は瞼ラインＬ１を眼領域にプロットする。眼領域は、信頼度算出部４が領域抽出部２から取得した映像データが示す映像に相当する。
【００１５】
図２Ｂは、瞼ラインＬ１を眼領域にプロットしたときの図である。図２Ａ及び図２Ｂは、後述するように運転者の眼付近の状況が図５Ａに示す場合における、瞼ライン及び瞼ラインのプロット状況であり、メガネのフレームＦについても示している。図２Ｂに示されるように、瞼ラインＬ１は、実際の瞼とよく一致している。信頼度算出部４は、瞼ラインＬ１上の画素それぞれについて、瞼ラインＬ１での法線ベクトルＶａを算出する。瞼ラインＬ１での法線ベクトルＶａは、図２Ａに示すとおりである。
また、信頼度算出部４は、瞼ラインＬ１上の画素それぞれについて、輝度ベクトルＶｂを算出する。信頼度算出部４は、領域抽出部２から出力された映像データを用いて眼領域の輝度情報を特定し、輝度ベクトルＶｂの算出に用いる。図３は、輝度ベクトルＶｂの説明図である。輝度ベクトルＶｂは、輝度が明るくなる方向を示すベクトルである。例えば画素Ｐ１の輝度ベクトルＶｂは、画素Ｐ１を囲む画素の中で唯一白い画素Ｐ２へ向かうベクトルとなる。なお、複数の白い画素に囲まれている画素の輝度ベクトルＶｂは、例えば、当該複数の白い画素の重心を通過するベクトルとなる。例えば、２つの白い画素Ｐ２，Ｐ４に囲まれている画素Ｐ３の輝度ベクトルＶｂは、図３中に破線で示すように画素Ｐ２と画素Ｐ４との間を通過している。なお、法線ベクトルＶａ及び輝度ベクトルＶｂは、例えば単位ベクトルの長さを有する。
【００１６】
瞼検出部３が検出した瞼が、実際の瞼と一致しているほど、法線ベクトルＶａと輝度ベクトルＶｂとの類似度は高くなる。したがって、信頼度算出部４は、法線ベクトルＶａと輝度ベクトルＶｂとの類似度を示す瞼評価値を算出する。瞼評価値が大きいほど、法線ベクトルＶａと輝度ベクトルＶｂとが類似していることを示す。瞼評価値は、例えば、法線ベクトルＶａと輝度ベクトルＶｂとの内積である。信頼度算出部４は、瞼ラインＬ１上の画素それぞれについて、法線ベクトルＶａと輝度ベクトルＶｂとの内積を算出し、合計値を瞼評価値とする。なお、瞼評価値は、法線ベクトルＶａと輝度ベクトルＶｂとの類似度を示すものであれば、内積以外を用いた評価値であってもよい。例えば、瞼評価値は、法線ベクトルＶａと輝度ベクトルＶｂとが成す角度の合計値の逆数であってもよい。
【００１７】
信頼度算出部４は、瞼評価値を算出すると、算出した瞼評価値を瞼信頼度に変換する。図４は、瞼評価値と瞼信頼度との関係を示すグラフである。瞼評価値が第４閾値以上であれば、瞼評価値に応じて瞼信頼度が算出される。一方、瞼評価値が第４閾値未満であれば、瞼信頼度は最小値例えば０と算出される。なお、信頼度算出部４は、瞼評価値が第４閾値未満の場合、一律に瞼信頼度を最小値にするのではなく、瞼評価値に応じて段階的に瞼信頼度を低下させてもよい。また、瞼評価値と瞼信頼度との関係は、図４に代えて、正比例を示すものであってもよい。また、信頼度算出部４は、瞼評価値をそのまま瞼信頼度として用いてもよい。要は、瞼評価値から瞼信頼度への変換方法は、様々なものが考えられる。
【００１８】
図２Ａ及び図２Ｂで示した例は、運転者の眼付近の状況が例えば図５Ａに示す場合のものである。図５Ａでは、メガネのレンズ表面に風景の映り込みが無く、瞼がはっきりと映像に映り込む。
一方、図５Ｂは、図５Ａとは異なる運転者の眼付近の状況を示している。図５Ｂでは、運転者の眼の開き具合は図５Ａと同様であるが、メガネのレンズ表面に風景が全体的に映り込んでおり、瞼が薄れて映像に映り込む。また、例えばダッシュボードの縁Ａがメガネのレンズ表面に映り込むなどしている。図５Ｂに示す状況に対して瞼検出部３が検出した瞼は、例えば図６Ａに示す瞼ラインＬ２となる。図６Ｂは、瞼ラインＬ２を眼領域にプロットしたときの図である。瞼ラインＬ２は、実際の瞼から離れた位置にプロットされる。つまり、瞼検出部３は、ダッシュボードの縁Ａを瞼として誤検出している。この場合、瞼ラインＬ２上の画素での法線ベクトルＶａと輝度ベクトルＶｂとの類似度は低く、瞼評価値そして瞼信頼度は、図５Ａの場合と比較して低くなる。
【００１９】
判定部５は、信頼度算出部４から出力された瞼信頼度を用いて、瞼検出部３が瞼を正常に検出したかを判定する。具体的には、判定部５は、信頼度算出部４が算出した瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する。第１閾値は、例えば、図５Ｂのような状況で算出される瞼信頼度より高い値に予め設定される。
判定部５は、判定結果を状態判定部６へ出力する。
【００２０】
状態判定部６は、瞼検出部３が検出した瞼の位置情報を用いて、眼の開閉状態を算出する。状態判定部６は、例えば開眼度を眼の開閉状態として算出する。開眼度は、周知の算出方法によって算出されるものであり、例えば、瞼検出部３が検出した瞼の位置情報から特定される瞼ラインの扁平率を用いて算出される。また、状態判定部６は、判定部５から出力された判定結果を用いて、算出した開閉状態を有効とするか無効とするかを判定する。有効とされた開閉状態は、運転者の実際の眼の開閉状態を適切に表せているものとして扱われる。一方、無効とされた開閉状態は、運転者の実際の眼の開閉状態を適切に表せていないものとして扱われる。したがって、無効とされた開閉状態は、即座に破棄されるなどする。
【００２１】
なお、状態判定部６は、視線方向又は覚醒度を算出可能に構成されてもよい。状態判定部６は、開閉状態を有効と判定した場合に、視線方向を算出する。また、状態判定部６は、開閉状態を有効と判定した場合に、覚醒度を算出する。覚醒度は、運転者の覚醒度合いを示す指標であり、眼を閉じているときの開眼度が継続して算出されると居眠りを示す覚醒度が算出されるなど、開眼度の経時的な変化に基づき算出される。
【００２２】
次に、誤検出判定装置１０のハードウェア構成例について、図７Ａ及び図７Ｂを用いて説明する。
誤検出判定装置１０の映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能は、処理回路により実現される。当該処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であってもよい。ＣＰＵは、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）とも呼ばれる。
【００２３】
図７Ａは、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能を、専用のハードウェアである処理回路１００で実現した場合のハードウェア構成例を示す図である。処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）若しくはＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能を別個の処理回路１００を組み合わせて実現してもよいし、当該各部の機能を１つの処理回路１００で実現してもよい。
【００２４】
図７Ｂは、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能を、メモリ１０１に格納されるプログラムを実行するＣＰＵ１０２で実現した場合のハードウェア構成例を示す図である。この場合、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組合せにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ１０１に格納される。ＣＰＵ１０２は、メモリ１０１に格納されたプログラムを読み出して実行することにより、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能を実現する。すなわち、誤検出判定装置１０は、後述する図８、図９及び図１０のフローチャートで示すステップＳＴ１〜ＳＴ２３の処理が結果的に実行されることになるプログラム等を格納するためのメモリ１０１を有する。また、これらのプログラムは、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の手順又は方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１０１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）等の、不揮発性若しくは揮発性の半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク若しくはＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等のディスク状の記録媒体等が該当する。
【００２５】
なお、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、映像取得部１、領域抽出部２及び瞼検出部３については専用のハードウェアとしての処理回路でその機能を実現し、信頼度算出部４、判定部５及び状態判定部６については処理回路がメモリに格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【００２６】
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組合せによって、上記の映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能を実現することができる。
【００２７】
次に、上記のように構成された誤検出判定装置１０による処理の一例について、図８に示すフローチャートを用いて説明する。図８に示す一連の処理は、例えば運転者が自動車の運転を開始すると、周期的に行われる。
映像取得部１は、運転者の映像を示す映像データを取得する（ステップＳＴ１）。映像取得部１は、取得した映像データを領域抽出部２へ出力する。
【００２８】
続いて、領域抽出部２は、映像取得部１が取得した映像データを用いて、当該映像データが示す映像の眼領域を抽出する（ステップＳＴ２）。
領域抽出部２は、運転者の眼領域に相当する部分の映像データを瞼検出部３と信頼度算出部４へ出力する。
【００２９】
続いて、瞼検出部３は、領域抽出部２から出力された映像データを用いて、領域抽出部２が抽出した眼領域内の瞼を検出する（ステップＳＴ３）。
瞼検出部３は、検出した瞼の位置情報を信頼度算出部４と状態判定部６へ出力する。
【００３０】
続いて、信頼度算出部４は、領域抽出部２が抽出した眼領域の輝度情報と、瞼検出部３が検出した瞼の位置情報とを用いて、瞼信頼度を算出する（ステップＳＴ４）。信頼度算出部４は、算出した瞼信頼度を判定部５へ出力する。
【００３１】
ここで、図９に、ステップＳＴ４での処理の一例を詳細に示す。
まず、信頼度算出部４は、初期値として、瞼信頼度を最大値に設定する（ステップＳＴ１１）。瞼信頼度が例えばパーセントで表現される場合、瞼信頼度の最大値は１００である。
続いて、信頼度算出部４は、既に述べたようにして瞼評価値を算出する。そして、信頼度算出部４は、算出した瞼評価値が第４閾値以上であるかを判定する（ステップＳＴ１２）。
瞼評価値が第４閾値以上である場合（ステップＳＴ１２；ＹＥＳ）、信頼度算出部４は、例えば図４のようにして瞼評価値に応じて瞼信頼度を設定する（ステップＳＴ１３）。瞼信頼度が例えばパーセントで表現される場合、ステップＳＴ１３で設定される瞼信頼度は、０よりも大きい値である。これにより、ステップＳＴ１１で設定された瞼信頼度が更新される。
一方、瞼評価値が第４閾値未満である場合（ステップＳＴ１２；ＮＯ）、信頼度算出部４は、瞼信頼度を最小値に設定する（ステップＳＴ１４）。瞼信頼度が例えばパーセントで表現される場合、瞼信頼度の最小値は０である。これにより、ステップＳＴ１１で設定された瞼信頼度が更新される。なお、既に述べたように、瞼評価値が第４閾値未満の場合、信頼度算出部４は、一律に瞼信頼度を最小値にするのではなく、瞼評価値に応じて段階的に瞼信頼度を低下させてもよい。
【００３２】
図８に戻り、判定部５は、以上のようにしてステップＳＴ４で算出された瞼信頼度が、第１閾値以上であるかを判定する（ステップＳＴ５）。
瞼信頼度が第１閾値以上である場合（ステップＳＴ５；ＹＥＳ）、判定部５は、瞼が正常に検出されていると判定する（ステップＳＴ６）。判定部５は、判定結果を状態判定部６へ出力する。
状態判定部６は、瞼検出部３が検出した瞼の位置情報を用いて、眼の開閉状態を算出している。状態判定部６は、算出した開閉状態を有効と判定する（ステップＳＴ７）。
【００３３】
一方、瞼信頼度が第１閾値未満である場合（ステップＳＴ５；ＮＯ）、判定部５は、瞼が正常に検出されていないと判定する（ステップＳＴ８）。判定部５は、判定結果を状態判定部６へ出力する。
状態判定部６は、瞼検出部３が検出した瞼の位置情報を用いて、眼の開閉状態を算出している。状態判定部６は、算出した開閉状態を無効と判定する（ステップＳＴ９）。
なお、状態判定部６は、瞼が正常に検出されていると判定された場合に眼の開閉状態を算出し、瞼が正常に検出されていないと判定された場合はそもそも眼の開閉状態を算出しないように構成されてもよい。
【００３４】
このようにして、誤検出判定装置１０は、瞼を誤検出しているか否かを判定する。図５Ｂのようにメガネのレンズ表面において眼付近に映り込んだ風景を瞼として検出している場合でも、誤検出判定装置１０は、瞼を誤検出していると正しく判定することができ、誤検出の判定精度が高い。
また、判定部５によって瞼が正常に検出されていないと判定された場合、状態判定部６が算出した眼の開閉状態は無効とされる。したがって、眼の開閉状態を利用して居眠り、眠気又は瞬き等の運転者の状態がセンシングされる場合に、センシング性能が向上する。
また、メガネのレンズ表面への風景の映り込みによる瞼の誤検出が発生しないように、そもそもメガネのレンズ表面へ風景が映り込まないようにカメラが撮影を行うことも対策の１つとして考えられる。しかしながら、この場合、撮影時のカメラ照明を強くする必要があり、コストが上昇する。誤検出判定装置１０によると、このような対策が無い場合でも瞼の誤検出を精度良く判定でき、コストの上昇を抑えることができる。
【００３５】
なお、信頼度算出部４は、過去に算出した瞼信頼度に応じて、瞼信頼度を算出してもよい。この場合の処理の一例を、図１０に示すフローチャートを用いて説明する。なお、図９で既に説明したステップと同一又は相当する処理を行うステップについては、同一の符号を付し、適宜その説明を省略又は簡略化する。
【００３６】
信頼度算出部４は、ステップＳＴ４で瞼信頼度を算出するたびに、算出した瞼信頼度を不図示の記憶部に格納する。これにより、誤検出判定装置１０内には、過去に信頼度算出部４が算出した瞼信頼度の履歴が蓄積される。
ステップＳＴ１３又はステップＳＴ１４に続いて、信頼度算出部４は、不図示の記憶部から瞼信頼度の履歴を読み出す。このとき、信頼度算出部４は、ステップＳＴ１３又はステップＳＴ１４で瞼信頼度を算出する対象とした映像よりも１フレーム前から設定フレーム前までの一連の映像について、瞼信頼度の履歴を読み出す。これにより、１又は複数個の瞼信頼度が読み出される。設定フレームが例えば５フレームであると、信頼度算出部４は、ステップＳＴ１３又はステップＳＴ１４で瞼信頼度を算出する対象とした映像よりも１フレーム前から５フレーム前までの５つの瞼信頼度を読み出す。
【００３７】
そして、信頼度算出部４は、読み出した瞼信頼度のなかで、瞼信頼度が第２閾値未満であるものの割合を算出する（ステップＳＴ２１）。このようにして、信頼度算出部４は、過去に映像取得部１が取得した映像データが示す映像のうち、瞼信頼度が第２閾値未満である映像の占める割合を算出する。なお、第２閾値は、第１閾値と同じ値に設定されてもよいし、第１閾値未満の値に設定されてもよい。
続いて、信頼度算出部４は、算出した割合が第３閾値以上であるかを判定する（ステップＳＴ２２）。
【００３８】
算出した割合が第３閾値以上である場合（ステップＳＴ２２；ＹＥＳ）、信頼度算出部４は、瞼信頼度を最小値に設定する（ステップＳＴ２３）。なお、このとき、信頼度算出部４は、瞼信頼度を低下させればよく、瞼信頼度を最小値ではない値に低下させても構わない。これにより、ステップＳＴ１３又はステップＳＴ１４で設定された瞼信頼度が更新され、判定部５へ出力される。
一方、算出した割合が第３閾値未満である場合（ステップＳＴ２２；ＮＯ）、信頼度算出部４は、ステップＳＴ１３又はステップＳＴ１４で設定した瞼信頼度に何ら変更を行わない。つまり、ステップＳＴ１３又はステップＳＴ１４で設定された瞼信頼度が判定部５へ出力される。
【００３９】
図１１Ａ、図１１Ｂ、図１２、図１３及び図１４を用いて、図１０で示した処理について追加で説明する。
図１１Ａは、メガネのレンズ表面において眼の下部に風景が帯状に映り込んだ場合を示す。この場合、瞼全体のうち図中破線で囲んだ一部分のみが、瞼検出部３により瞼として検出される。このように瞼が検出された場合、実際の眼の状態とは異なり、開眼度は低く算出されて眼が閉じかかっているかのように扱われる。つまり、瞼検出部３は瞼を誤検出をしていることになる。しかしながら、法線ベクトルＶａと輝度ベクトルＶｂとはよく一致することから、信頼度算出部４により算出される瞼信頼度は高くなり、判定部５は誤検出であるとの判定を行うことができない。
【００４０】
また、図１１Ｂは、眼が閉じられた状態でメガネのレンズ表面において眼と似た形状の風景が映り込んだ場合を示している。この場合、図中破線で囲んだ風景の縁部分が、瞼検出部３により瞼として検出される。この場合も、法線ベクトルＶａと輝度ベクトルＶｂとはよく一致することから、信頼度算出部４により算出される瞼信頼度は高くなり、判定部５は誤検出であるとの判定を行うことができない。
【００４１】
図１２は、風景の映り込みと瞼信頼度の時間推移の一例を示す図である。風景の映り込みは、横軸に並んでいるように、状態Ｔ１から始まり状態Ｔ６のように変化したとする。図１２では、状態Ｔ１〜Ｔ６それぞれを映した映像に対して、図９に示した処理により信頼度算出部４が算出した瞼信頼度を示している。状態Ｔ１及びＴ５では、風景の映り込みがなく、瞼信頼度は高く算出される。状態Ｔ２、Ｔ３及びＴ６では、メガネのレンズ表面に風景が全体的に映り込んでおり、瞼信頼度は低く算出される。状態Ｔ４は、図１１Ａを用いて説明したように、瞼検出部３は瞼を誤検出しているものの、瞼信頼度は高く算出される。
【００４２】
図１３は、図１２で示した風景の映り込みが発生した場合に、過去の映像のうち瞼信頼度が第２閾値未満である映像の占める割合の時間推移の一例を示す図である。例えば、状態Ｔ３での当該割合は、状態Ｔ２以前の設定フレーム分の映像の中で、瞼信頼度が第２閾値未満と算出された映像の割合となる。図１３に示すように割合が推移している場合に、図１０に示した処理に従うと、状態Ｔ３及びＴ４での瞼信頼度が最小値に設定されることになる。つまり、図１４に示すように状態Ｔ３でも瞼信頼度が低くなる。これにより、状態Ｔ３について、判定部５は、瞼を誤検出していると判定できる。
【００４３】
このように、信頼度算出部４が瞼信頼度を算出する際に、現在処理の対象としている映像単体ではなく、過去に処理の対象とした映像も考慮することで、誤検出の判定精度がより高まる。
【００４４】
なお、上記では、誤検出判定装置１０が自動車に搭載されている場合を示した。しかしながら、誤検出判定装置１０を構成する映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５、及び、状態判定部６が自動車外部の不図示のサーバ内に構築されてもよい。この場合、不図示のサーバは、自動車から無線通信により運転者の映像を示す映像データを取得し、瞼の誤検出の判定を行う。また、不図示のサーバは、算出した眼の開閉状態に基づき、必要に応じて運転者に警告を伝えるための信号を自動車へ送信する。このように、サーバが誤検出判定装置１０として機能してもよい。
【００４５】
また、上記では、誤検出判定装置１０が自動車に搭載されているとしたが、誤検出判定装置１０は、車両に持ち込まれた運転者等のスマートフォン等であってもよい。この場合、当該スマートフォンは、自動車に搭載されて運転者を撮影する不図示のカメラ、又は、スマートフォンに内蔵されたカメラにより、運転者の映像を示す映像データを取得する。
【００４６】
また、例えば瞼検出部３及び信頼度算出部４が自動車外部の不図示のサーバ内に構築され、瞼の検出及び瞼信頼度の算出を不図示のサーバが行うようにしてもよい。この場合、不図示のサーバは、自動車から無線通信により眼領域を示す映像データを取得し、瞼の誤検出の判定を行う。そして、不図示のサーバは、検出した瞼の位置情報と、算出した瞼信頼度とを自動車へ送信する。このように、誤検出判定装置１０を構成する各部が、自動車と自動車外部のサーバという異なる場所に分散していてもよい。
【００４７】
また、上記では、自動車の運転者を例に説明をしたが、自動車以外の移動体の運転者を対象に、誤検出判定装置１０が使われてもよい。
【００４８】
また、誤検出判定装置１０は、状態判定部６を有さずに、処理結果を外部の装置へ出力するものであってもよい。つまり、誤検出判定装置１０は、瞼検出部３が検出した瞼の位置情報、及び、判定部５による判定結果を、誤検出判定装置１０の外部に設けられた状態判定部６へ出力する。誤検出判定装置１０の外部に設けられた状態判定部６は、誤検出判定装置１０からの出力を受けて、眼の開閉状態を算出し、居眠り、眠気又は瞬き等の運転者の状態をセンシングする。
【００４９】
以上のように、この実施の形態１によれば、信頼度算出部４が、眼領域の輝度情報と、瞼の位置情報とを用いて瞼信頼度を算出し、判定部５が、瞼信頼度を用いて、瞼を誤検出しているか否かを判定することで、誤検出の判定精度を高めることができる。
【００５０】
また、誤検出判定装置１０は、瞼検出部３が検出した瞼の位置情報を用いて眼の開閉状態を算出する状態判定部６を備え、判定部５が、瞼が正常に検出されていないと判定した場合、状態判定部６は、算出した開閉状態を無効と判定する。したがって、眼の開閉状態を利用して居眠り、眠気又は瞬き等の運転者の状態がセンシングされる場合に、センシング性能が向上する。
【００５１】
また、映像取得部１が取得した映像データが示す映像のうち、瞼信頼度が第２閾値未満である映像の占める割合が第３閾値以上である場合、信頼度算出部４は、輝度情報と瞼の位置情報とを用いて算出した瞼信頼度を低下させ、判定部５は、信頼度算出部４が低下させた瞼信頼度を用いて判定を行う。したがって、誤検出の判定精度がより高まる。
【００５２】
また、信頼度算出部４は、輝度情報から得られる輝度ベクトルと、位置情報から得られる瞼ラインの法線ベクトルとの内積を用いて、瞼信頼度を算出する。したがって、適切に瞼信頼度を算出することができる。
【００５３】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００５４】
以上のように、この発明に係る誤検出判定装置は、瞼を誤検出しているか否かの判定精度を高めることができるので、瞼を検出して処理を行うシステム、例えばドライバモニタリングシステムに組み込んで用いるのに適している。
【符号の説明】
【００５５】
１  映像取得部、２  領域抽出部、３  瞼検出部、４  信頼度算出部、５  判定部、６  状態判定部、１０  誤検出判定装置、１００  処理回路、１０１  メモリ、１０２  ＣＰＵ。
【図１】
2019159229.tif 000003
【図２】
2019159229.tif 000004
【図３】
2019159229.tif 000005
【図４】
2019159229.tif 000006
【図５】
2019159229.tif 000007
【図６】
2019159229.tif 000008
【図７】
2019159229.tif 000009
【図８】
2019159229.tif 000010
【図９】
2019159229.tif 000011
【図１０】
2019159229.tif 000012
【図１１】
2019159229.tif 000013
【図１２】
2019159229.tif 000014
【図１３】
2019159229.tif 000015
【図１４】
2019159229.tif 000016
【手続補正書】
【提出日】令和2年1月14日(2020.1.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
この発明に係る誤検出判定装置は、運転者の映像を示す映像データを取得する映像取得部と、映像取得部が取得した映像データを用いて、映像の眼領域を抽出する領域抽出部と、領域抽出部が抽出した眼領域内の瞼を検出する瞼検出部と、領域抽出部が抽出した眼領域の輝度情報と、瞼検出部が検出した瞼の位置情報とを用いて、瞼信頼度を算出する信頼度算出部と、信頼度算出部が算出した瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する判定部とを備え、信頼度算出部は、輝度情報から得られる輝度ベクトルと、位置情報から得られる瞼ラインの法線ベクトルとの内積を用いて、瞼信頼度を算出することを特徴とするものである。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
運転者の映像を示す映像データを取得する映像取得部と、
前記映像取得部が取得した映像データを用いて、前記映像の眼領域を抽出する領域抽出部と、
前記領域抽出部が抽出した眼領域内の瞼を検出する瞼検出部と、
前記領域抽出部が抽出した眼領域の輝度情報と、前記瞼検出部が検出した瞼の位置情報とを用いて、瞼信頼度を算出する信頼度算出部と、
前記信頼度算出部が算出した瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する判定部とを備え、
前記信頼度算出部は、前記輝度情報から得られる輝度ベクトルと、前記位置情報から得られる瞼ラインの法線ベクトルとの内積を用いて、瞼信頼度を算出することを特徴とする誤検出判定装置。
【請求項２】
前記瞼検出部が検出した瞼の位置情報を用いて眼の開閉状態を算出する状態判定部を備え、
前記判定部が、瞼が正常に検出されていないと判定した場合、
前記状態判定部は、算出した開閉状態を無効と判定することを特徴とする請求項１記載の誤検出判定装置。
【請求項３】
前記映像取得部が取得した映像データが示す映像のうち、瞼信頼度が第２閾値未満である映像の占める割合が第３閾値以上である場合、
前記信頼度算出部は、前記輝度情報と瞼の前記位置情報とを用いて算出した瞼信頼度を低下させ、
前記判定部は、前記信頼度算出部が低下させた瞼信頼度を用いて判定を行うことを特徴とする請求項１又は請求項２記載の誤検出判定装置。
【請求項４】
運転者の映像を示す映像データを取得する映像取得部と、
前記映像取得部が取得した映像データを用いて、前記映像の眼領域を抽出する領域抽出部と、
前記領域抽出部が抽出した眼領域内の瞼を検出する瞼検出部と、
前記領域抽出部が抽出した眼領域の輝度情報と、前記瞼検出部が検出した瞼の位置情報とを用いて、瞼信頼度を算出する信頼度算出部と、
前記信頼度算出部が算出した瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する判定部と、
前記瞼検出部が検出した瞼の位置情報を用いて眼の開閉状態を算出する状態判定部を備え、
前記判定部が、瞼が正常に検出されていないと判定した場合、
前記状態判定部は、算出した開閉状態を無効と判定し、
前記映像取得部が取得した映像データが示す映像のうち、瞼信頼度が第２閾値未満である映像の占める割合が第３閾値以上である場合、
前記信頼度算出部は、前記輝度情報と瞼の前記位置情報とを用いて算出した瞼信頼度を低下させ、
前記判定部は、前記信頼度算出部が低下させた瞼信頼度を用いて判定を行うことを特徴とする誤検出判定装置。
【請求項５】
前記信頼度算出部は、前記輝度情報から得られる輝度ベクトルと、前記位置情報から得られる瞼ラインの法線ベクトルとの内積を用いて、瞼信頼度を算出することを特徴とする請求項４記載の誤検出判定装置。
【請求項６】
映像取得部が、運転者の映像を示す映像データを取得する映像取得ステップと、
領域抽出部が、前記映像取得ステップにより取得された映像データを用いて、前記映像の眼領域を抽出する領域抽出ステップと、
瞼検出部が、前記領域抽出ステップにより抽出された眼領域内の瞼を検出する瞼検出ステップと、
信頼度算出部が、前記領域抽出ステップにより抽出された眼領域の輝度情報と、前記瞼検出ステップにより検出された瞼の位置情報とを用いて、瞼信頼度を算出する信頼度算出ステップと、
判定部が、前記信頼度算出ステップにより算出された瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する判定ステップとを備え、
前記信頼度算出部は、前記輝度情報から得られる輝度ベクトルと、前記位置情報から得られる瞼ラインの法線ベクトルとの内積を用いて、瞼信頼度を算出することを特徴とする誤検出判定方法。
【国際調査報告】
2019159229.tif 000017
2019159229.tif 000018
2019159229.tif 000019