(57)【要約】  本発明は、人（４）用の眠気検知装置であって、デジタルカメラ装置（２）及び制御ユニット（５）を備える眠気検知装置に関する。デジタルカメラ装置（２）がまた、映像処理装置（６）を備え、デジタルカメラ装置（２）が、一連の画像における、人（４）の目（３）を検知するために配置されている。映像処理装置（６）が、前記画像におけるまぶたの動きを検知し、まぶたの動きの画像を、電気信号（ｓ（ｔ））に変換し、電気信号（ｓ（ｔ））を制御ユニット（５）に転送するために配置されている。制御ユニット（５）が、モデル化された信号（ｙ（ｔ））を、電気信号（ｓ（ｔ））に対して当てはめるため、及びモデル化された信号（ｙ（ｔ））が、まばたきを成しているか否かを判定するために配置されている。制御ユニット（５）が、警戒レベルが特定の閾値を下回っているか否かを判定するために、いくつかのモデル化された信号（ｙ（ｔ））を使用し、いくつかのモデル化された信号（ｙ（ｔ））が、まばたきを成しているとあらかじめ判定されている。本発明はまた、対応する方法に関する。【選択図】図１
2015529512.tif 000002
【特許請求の範囲】
【請求項１】
人（４）の警戒レベルを検知する方法であって、
（７）前記人（４）のまぶたの動きを検知するステップと、
（８）前記検知されたまぶたの動きを表す電気信号（ｓ（ｔ））を生成するステップと、
（９）前記電気信号（ｓ（ｔ））を分析するステップと、
（１０）前記分析結果に基づき、前記人（４）の前記警戒レベルが特定の閾値を下回っているか否かを判定するステップとを含む方法において、
前記電気信号（ｓ（ｔ））を分析する前記ステップが、モデル化された信号（ｙ（ｔ））を前記電気信号（ｓ（ｔ））に対して当てはめることと、前記モデル化された信号（ｙ（ｔ））が、まばたきを成しているか否かを判定することとを含み、前記人（４）の前記警戒レベルが前記特定の閾値を下回っているかどうかを決定する前記ステップでは、いくつかのモデル化された信号（ｙ（ｔ））を使用し、前記いくつかのモデル化された信号（ｙ（ｔ））のそれぞれが、まばたきを成しているとあらかじめ決定されていることを特徴とする、方法。
【請求項２】
前記モデル化された信号（ｙ（ｔ））のそれぞれが、以下のように定義され、
【数５】
2015529512.tif 000009
2015529512.tif 000010
この数式において、ｋｉ、ｋ３、ｍｉ、ｍ２、及びｍ３が、それぞれのまばたきに対して定義される定数であり、前記時間ｔｉ、ｔ２、ｔ３、及びｔ４が、前記モデル化された信号（ｙ（ｔ））の時間間隔を定義することを特徴とする、請求項１に記載の方法。
【請求項３】
前記モデル化された信号（ｙ（ｔ））を前記電気信号（ｓ（ｔ））に対して当てはめることが、
前記定数ｍ２だけでなく、前記時間間隔を定義する、前記時間ｔｉ、ｔ２、ｔ３、及びｔ４が、誤差εを最小化するために変化させられるように、以下の数式に従い、誤差εを計算するステップと、
【数６】
2015529512.tif 000011
前記定数のうち他のものｋｉ、ｋ３、ｍｉ、及びｍ３を、回帰を使用することにより推定するステップとを含むことを特徴とする、請求項２に記載の方法。
【請求項４】
前記電気信号（ｓ（ｔ））が、ノイズを低減するために、フィルタリングされることを特徴とする、請求項１〜３のいずれか１項に記載の方法。
【請求項５】
人（４）用の眠気検知装置であって、デジタルカメラ装置（２）及び制御ユニット（５）を備え、前記デジタルカメラ装置（２）がまた、映像処理装置（６）を備え、前記デジタルカメラ装置（２）が、一連の画像における、前記人（４）の少なくとも片目（３）を検知するために配置され、前記映像処理装置（６）が、前記画像におけるまぶたの動きを検知し、前記まぶたの動きの前記画像を、電気信号（ｓ（ｔ））に変換し、前記電気信号（ｓ（ｔ））を前記制御ユニット（５）に転送するために配置されている眠気検知装置において、前記制御ユニット（５）が、モデル化された信号（ｙ（ｔ））を、前記電気信号（ｓ（ｔ））に対して当てはめるため、及び前記モデル化された信号（ｙ（ｔ））が、まばたきを成しているか否かを判定するために配置され、前記制御ユニット（５）が、前記人（４）の前記警戒レベルが特定の閾値を下回ったかどうかを決定するために、いくつかのモデル化された信号（ｙ（ｔ））を使用するためにさらに配置され、前記いくつかのモデル化された信号（ｙ（ｔ））のそれぞれが、まばたきを成しているとあらかじめ決定されていることを特徴とする、眠気検知装置。
【請求項６】
前記制御ユニット（５）が、モデル化された信号（ｙ（ｔ））を、前記フィルタリングされた電気信号（ｓ（ｔ））に対して当てはめるように、前記制御ユニット（５）が、前記受信した電気信号をフィルタリングするために配置されていることを特徴とする、請求項５に記載の眠気検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両運転者の警戒レベルを検知する方法に関する。本方法は、車両運転者のまぶたの動きを検知するステップと、検知されたまぶたの動きを表す電気信号を生成するステップと、電気信号を分析するステップと、分析結果に基づき、車両運転者の警戒レベルが特定の閾値を下回っているか否かを判定するステップとを含む。
【０００２】
本発明はまた、車両運転者用の眠気検知装置であって、デジタルカメラ装置及び制御ユニットを備える眠気検知装置に関する。デジタルカメラ装置がまた、映像処理装置を備え、一連の画像における、車両を運転している人の目を検知するために配置されている。映像処理装置が、前記画像におけるまぶたの動きを検知し、まぶたの動きの画像を、電気信号に変換し、電気信号を制御ユニットに転送するために配置されている。
【背景技術】
【０００３】
眠気は、自動車、列車、航空機及びボート等の車両の運転者の能力を損なうため、車両運転者の眠気を検知することが望ましい。産業用機器の操作員等に対して、眠気を検知することが望ましい場合もある。眠気は、例えば、不十分な睡眠又は薬物の使用によることがある。
【０００４】
眠気に関する問題点は、一般的に、人は、眠気がさしたとき、自身の眠気に気付かないことである。これは、眠気の本質に起因する。したがって、人が、いつ、眠気のレベルが危険なレベルになるかを予測することは困難である。
【０００５】
今日、車両運転者の眠気を検知するために、まぶたの動きを測定する、多くの装置及び方法が知られており、ほとんどの場合、デジタルカメラが、車両運転者の両目のうち少なくとも片目の画像を取り込む。その後、これらの画像は、眠気を検知するために、様々な方法で加工される。米国特許第７７９１４９１号明細書は、眠気を測定するために、まぶたの開閉の大きさ／速度比を使用することを開示している。米国特許第６２４３０１５号明細書は、どのようにして、目の上下方向の幅が判定され、閾値と比較されるかを説明している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７７９１４９１号明細書
【特許文献２】米国特許第６２４３０１５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、まぶたの動きを測定するための、従来から知られている装置及び方法には、例えばノイズに対する感度のような、低質なまぶたの検知及び画像処理による誤警報という課題がある。
【０００８】
したがって、従来から知られているこの種の機器よりロバストであり、誤警報のリスクが緩和されている、人の眠気を検知するために、まぶたの動きを測定する装置及び方法が必要とされている。
【課題を解決するための手段】
【０００９】
上記の課題は、人の警戒レベルを検知する方法であって、人のまぶたの動きを検知するステップと、検知されたまぶたの動きを表す電気信号を生成するステップと、電気信号を分析するステップと、分析結果に基づき、人の警戒レベルが、特定の閾値を下回っているか否かを判定するステップとを含む方法により、達成される。また、電気信号を分析する前記ステップが、モデル化された信号を電気信号に対して当てはめることと、モデル化された信号が、まばたきを成しているか否かを判定することとを含む。人の警戒レベルが特定の閾値を下回っているか否かを判定するステップでは、いくつかのモデル化された信号を使用し、いくつかのモデル化された信号のそれぞれが、まばたきを成しているとあらかじめ判定されている。
【００１０】
上記の課題はまた、人用眠気検知装置であって、デジタルカメラ装置及び制御ユニットを備える人用眠気検知装置により、達成される。デジタルカメラ装置がまた、映像処理装置を備え、一連の画像における、人の目を検知するために配置されている。映像処理装置が、前記画像におけるまぶたの動きを検知し、まぶたの動きの画像を、電気信号に変換し、電気信号を制御ユニットに転送するために配置されている。制御ユニットが、モデル化された信号を、電気信号に対して当てはめるため、及びモデル化された信号が、まばたきを成しているか否かを判定するために配置されている。また、制御ユニットが、人の警戒レベルが、特定の閾値を下回ったかどうかを判定するために、いくつかのモデル化された信号を使用するために配置され、いくつかのモデル化された信号のそれぞれが、まばたきを成しているとあらかじめ判定される。
【００１１】
一例によれば、モデル化された信号のそれぞれは、以下のように定義される。
【数１】
2015529512.tif 000003
2015529512.tif 000004
この数式において、ｋｉ、ｋ３、ｍｉ、ｍ２、及びｍ３は、それぞれのまばたきに対して定義される定数であり、時間ｔｉ、ｔ２、ｔ３、及びｔ４は、モデル化された信号の時間間隔を定義する。
【００１２】
別の例によれば、モデル化された信号を、電気信号に対して当てはめるために、定数ｍ２だけでなく、時間間隔を定義する時間ｔｉ、ｔ２、ｔ３、及びｔ４が、誤差εを最小化するために変化させられるように、誤差εが以下の数式により計算される。
【数２】
2015529512.tif 000005
他の定数ｋｉ、ｋ３、ｍｉ、及びｍ３は、回帰を使用することにより推定される。
【００１３】
他の例は、従属請求項に開示されている。
【００１４】
本発明により、いくつかの利点が得られる。主に、まぶたの動きの測定を、誤警報のリスクが緩和された、よりロバストな方法で行うことができる。
【００１５】
これより、添付の図面を参照して、本発明をより詳細に説明する。
【図面の簡単な説明】
【００１６】
【図１】デジタルカメラ装置を備える車両を示す、概略的な、破断側面図である。
【図２】まぶたの動きに相当する、フィルタリングされた信号を示す、第１のグラフである。
【図３】まぶたの動きに相当する、フィルタリングされた信号を示す、第２のグラフである。
【図４】まぶたの動きに相当する、フィルタリングされた信号を示す、第３のグラフである。
【図５】本発明による方法を示す、フローチャートである。
【発明を実施するための形態】
【００１７】
図１は、車両１の破断部分を概略的に示し、図１において、車両１は、デジタルカメラ装置２を備える。デジタルカメラ装置２は、光源（不図示）を備えてもよく、車両１を運転している人４の目３の画像を取り込み、これらの画像を制御ユニット５に転送するために配置されている。車両１を運転している人４が、眠気を催しているか否かを判定するために、まぶたの動きが使用されるため、特に、まぶたの動きが注目される。
【００１８】
より詳細には、例えば、デジタルカメラ装置２は、６０Ｈｚのフレームレートで動作する。４０Ｈｚ等の、他のフレームレートも考えられる。デジタルカメラ装置２は、一連の画像で、車両１を運転している人４の目３を検知するために配置されている。デジタルカメラ装置２に含まれる映像処理装置６が、これらの画像内のまぶたの動きを検知し、まぶたの動きの画像を信号に変換するために配置されている。その後、この信号は制御ユニット５に転送され、制御ユニット５で、ノイズを低減するために、フィルタリングされる。
【００１９】
図２は、まぶたの動きに相当する、フィルタリングされた信号ｓ（ｔ）の第１のグラフ１５を示す。フィルタリングされた信号ｓ（ｔ）は、図３に破線で示され、「生データ」として示されている。ｘ軸は秒単位の時間を示し、ｙ軸はメートル単位のまぶたの開きを示す。また、フィルタリングされた信号ｓ（ｔ）と比較するためにあらかじめ生成され、このフィルタリングされた信号ｓ（ｔ）に当てはめられた、モデル化された信号ｙ（ｔ）を示すグラフが、図３において、太字の実線により示され、「モデル化されたまばたき」として示されている。
【００２０】
モデル化された信号ｙ（ｔ）は、この例において、以下のように定義される。
【数３】
2015529512.tif 000006
(1)
2015529512.tif 000007
この数式において、ｋｉ、ｋ３、ｍｉ、ｍ２、及びｍ３は、それぞれのまばたきに対して定義される定数である。図２に示すように、第１の時間間隔ｔ１≦ｔ＜ｔ２は、第１の時間ｔｉにおける第１のフランクの値と、第２の時間ｔ２における第１のフランクの最小値との間にあり、第２の時間間隔ｔ２≦ｔ＜ｔ３は、第１のフランクの最小値と、第３の時間ｔ３における第２のフランクの最小値との間にあり、第３の時間間隔ｔ３＜ｔ≦ｔ４は、第２のフランクの最小値と、第４の時間ｔ４における第２のフランクの値との間にある。したがって、２つのフランクの最小値間において、モデル化された信号ｙ（ｔ）は、定数ｍ２であると考えられる。また、モデル化された信号ｙ（ｔ）は、第１の時間ｔｉと、第２のフランクの値である第２の時間ｔ４との間にのみ定義される。時間ｔｉ、ｔ２、ｔ３、及びｔ４のそれぞれは、モデル化された信号ｙ（ｔ）の不連続点に配置されている。これは、それぞれの不連続点において、時間ｔｉ、ｔ２、ｔ３、及びｔ４のそれぞれの特性が変化するためである。
【００２１】
誤差εを見つけるための誤差関数は、以下のように定義される。
【数４】
2015529512.tif 000008
(2)
この数式において、Ｎは、サンプル数である。したがって、誤差εは、フィルタリングされた信号ｓ（ｔ）と、モデル化された信号ｙ（ｔ）との間の絶対平均誤差と定義される。この数式において、定数ｍ２だけでなく、間隔を定義する時間ｔｉ、ｔ２、ｔ３、及びｔ４も、誤差εを最小化するために変化させられる。他の定数ｋｉ、ｋ３、ｍｉ、及びｍ３は、回帰により推定される。
【００２２】
いくつかのモデル化された信号ｙ（ｔ）が得られるように、モデル化された信号ｙ（ｔ）が、電気信号ｓ（ｔ）に対して、繰り返し当てはめられる。それぞれがまばたきを表す、いくつかのモデル化された信号ｙ（ｔ）が得られるように、得られた、モデル化された信号ｙ（ｔ）のそれぞれが、まばたきを表すかどうかが判定される。モデル化された信号ｙ（ｔ）が、まばたきを表すか否かの判定は、誤差の閾値と、開閉に関するパラメータの尤度とを考慮して行われ得る。まばたきに対して設定された条件が、いずれか１つでも満たされない場合、テストされた、モデル化された信号ｙ（ｔ）は、まばたきを表していないとみなされる。そうでない場合は、まばたきを表しているとみなされる。
【００２３】
その後、まばたきを表す、モデル化された信号ｙ（ｔ）が、車両運転者の警戒レベルが、特定の閾値を下回っているか否かを判定するために使用される。この閾値は、多くの方法で、及び様々なレベルに設定できる。このことは、当業者であれば容易に想定できるものであり、本明細書においては、これ以上論じない。
【００２４】
図３は、第１のグラフ１５と同種の第２のグラフ１６を示し、フィルタリングされた信号ｓ（ｔ）は、その一部に雑音１７を有することを示す。第１のモデル化された信号ｙｉ（ｔ）、第２のモデル化された信号ｙ２（ｔ）及び第３のモデル化された信号ｙ３（ｔ）は、まばたきを成していると考えられている。誤差εが所定の閾値を下回っている部分では、モデル化された信号を、フィルタリングされた信号ｓ（ｔ）に当てはめることができなかったという理由により、フィルタリングされた信号ｓ（ｔ）の雑音部１７を有する部分を切り捨てることが、本発明により可能となっている。
【００２５】
図４は、はじめの２つのグラフ１５、１６と同種の第３のグラフ１８を示す。図４は、どのように、第４のモデル化された信号ｙ４（ｔ）、第５のモデル化された信号ｙｓ（ｔ）、第６のモデル化された信号ｙ６（ｔ）及び第７のモデル化された信号ｙ７（ｔ）が、まばたきを成していると考えられたかを示す。ここで、第５のモデル化された信号ｙｓ（ｔ）は、まばたきに相当するが、このまばたきは、他のモデル化された信号ｙ４（ｔ）、ｙ６（ｔ）、及びｙ７（ｔ）より明らかに長い時間にわたっている。
【００２６】
これらのグラフ１６、１８は、本発明の汎用性及びロバスト性の例を示す。
【００２７】
図５を参照すると、本発明は、車両運転者の警戒レベルを検知する方法であって、
７：車両運転者のまぶたの動きを検知するステップと、
８：検知されたまぶたの動きを表す電気信号を生成するステップと、
９：電気信号を分析するステップと、
１０：分析結果に基づき、車両運転者の警戒レベルが、特定の閾値を下回っているか否かを判定するステップとを含む方法に関する。
【００２８】
上記のステップにおいて、電気信号ｓ（ｔ）を分析することは、モデル化された信号ｙ（ｔ）を、電気信号ｓ（ｔ）に対して当てはめることと、モデル化された信号ｙ（ｔ）がまばたきを成しているか否かを判定することとを含む。また、車両運転者の警戒レベルが特定の閾値を下回っているか否かを判定するステップでは、まばたきを成しているとあらかじめ判定されているいくつかのモデル化された信号ｙ（ｔ）を使用する。
【００２９】
本発明は、上記の例に限定されず、添付の請求項の範囲内で、自在に変形され得る。例えば、信号をフィルタリングすることは、必須ではなく、フィルタリングしない場合、フィルタリングされていない信号が、信号ｓ（ｔ）を構成し、この信号ｓ（ｔ）に対して、モデル化された信号ｙ（ｔ）が当てはめられる。
【００３０】
信号ｙ（ｔ）、及びｓ（ｔ）は、電気信号の形態をとる。
【００３１】
図１を参照すると、デジタルカメラ装置６は、いかなる適切な種類のものであってもよく、ハンドル１１のリムもしくはスポーク、ステアリングコラム１２、ダッシュボード１３又は天井１４等の、車両１内のいかなる適切な位置に配置されてもよい。他の例には、エアバッグカバーが挙げられる。
【００３２】
一般的に、本発明は、車両運転者４にだけでなく、眠気を検知することが適当な状況にある、いかなる人にも適用できる。例として、原子力発電所又は工業の工程で働く操作員等の、産業用機器及び／又は制御装置の操作員が挙げられる。
【００３３】
デジタルカメラ装置２は、一連の画像における、人４の少なくとも片目３を検知するために配置され、まぶたの動きは、デジタルカメラ装置２により、いくつの目が検知されるかによって、片目又は両目のいずれかに関して、分析される。デジタルカメラ装置２により、両目が検知されるが、まぶたの動きは、片目に関してのみ分析されるということも考えられる。
【図１】
2015529512.tif 000012
【図２】
2015529512.tif 000013
【図３】
2015529512.tif 000014
【図４】
2015529512.tif 000015
【図５】
2015529512.tif 000016
【国際調査報告】
2015529512.tif 000017
2015529512.tif 000018
2015529512.tif 000019
2015529512.tif 000020