(57)【要約】【課題】誤判定の少ない眠気推定ができる。【解決手段】覚醒度推定装置は、対象者の眼の開度を取得する眼開度取得部を有する。覚醒度推定装置は、所定時間内の眼の開度のばらつきを算出するばらつき算出部を有する。覚醒度推定装置は、算出されたばらつきと所定の閾値とを用いて眠気判定を行う眠気判定部を有する。【選択図】図１
2018130342.tif 000002
【特許請求の範囲】
【請求項１】
対象者の眼の開度を取得する眼開度取得部と、
所定時間内の前記眼の開度のばらつきを算出するばらつき算出部と、
算出された前記ばらつきと所定の閾値とを用いて眠気判定を行う眠気判定部と
を有する覚醒度推定装置。
【請求項２】
前記ばらつき算出部は、算出された前記ばらつきの分散値をさらに算出し、
前記眠気判定部は、前記ばらつきの分散値をさらに用いて前記眠気判定を行うことを特徴とする請求項１に記載の覚醒度推定装置。
【請求項３】
過去に取得された前記眼の開度のばらつきを記憶する記憶部と、
前記記憶部に記憶された前記眼の開度のばらつきを用いて、前記所定の閾値を設定する閾値設定部とをさらに有し、
前記眠気判定部は、前記ばらつきの大きさが、設定された前記所定の閾値以上である場合に、前記対象者の眠気を判定することを特徴とする請求項１又は２に記載の覚醒度推定装置。
【請求項４】
前記対象者に対する逆光外乱状態を検出する逆光検出部をさらに有し、
前記眠気判定部は、検出された前記逆光外乱状態をさらに用いて前記眠気判定を行うことを特徴とする請求項１乃至３のいずれか１つに記載の覚醒度推定装置。
【請求項５】
前記眠気判定部は、所定期間内における前記眼の開度の平均値又は最大値が所定の閾値以上であるかをさらに判定し、前記ばらつきの大きさが、設定された前記所定の閾値以上であり、かつ前記眼の開度の平均値又は最大値が前記所定の閾値以上であると判定した場合に、前記対象者が眠気状態にあると判定することを特徴とする請求項１乃至４のいずれか１つに記載の覚醒度推定装置。
【請求項６】
対象者の眼の開度を取得し、
所定時間内の前記眼の開度のばらつきを算出し、
算出された前記ばらつきと所定の閾値とを用いて眠気判定を行う処理をコンピュータが実行する覚醒度推定方法。
【請求項７】
車載装置とサーバとを有する覚醒度推定システムにおいて、
前記車載装置は、
対象者の眼の画像を前記サーバに送信する送信部を有し、
前記サーバは、
前記車載装置から受信した前記対象者の眼の画像を用いて眼の開度を算出する眼開度取得部と、
所定時間内の前記眼の開度のばらつきを算出するばらつき算出部と、
算出された前記ばらつきと所定の閾値とを用いて眠気判定を行う眠気判定部と
を有することを特徴とする覚醒度推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、覚醒度推定装置、覚醒度推定方法及び覚醒度推定システムに関する。
【背景技術】
【０００２】
判定対象者の眼を含む領域を撮像して、判定対象者の眠気状態を判定する技術が知られている。例えば、複数種類の瞬目特徴量に基づいて、前記判定対象者の眠気状態を判定する技術が知られている。上記技術においては、瞬目特徴量として、群発性瞬目、群発性瞬目に関する瞬目特徴量とは異なる瞬目回数、開眼状態の長さ、閉眼状態の長さなどに関する瞬目特徴量を用いる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６８８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、眠気が進行するにつれて、瞬目発生率が高くなり、眠気に反して起きようとする葛藤状態（以下において「覚醒努力」と表記する場合がある）が生じる場合がある。覚醒努力が始まると、人間は眼を開けようとする意識が働くなど、高覚醒時と低覚醒時の瞬き特徴が混在する状況となる。上記技術においては、高覚醒時と低覚醒時の瞬き特徴が混在する状況において、覚醒状態を誤判定する場合がある。
【０００５】
一つの側面では、誤判定の少ない眠気推定ができる覚醒度推定装置、覚醒度推定方法及び覚醒度推定システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
一つの態様において、覚醒度推定装置は、対象者の眼の開度を取得し、所定時間内の眼の開度のばらつきを算出し、算出されたばらつきと所定の閾値とを用いて眠気判定を行う。
【発明の効果】
【０００７】
一つの態様によれば、誤判定の少ない眠気推定ができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施例１における覚醒度推定システムの一例を示す図である。
【図２】図２は、実施例１における覚醒度推定処理の一例を示すフローチャートである。
【図３】図３は、背景技術における眠気推定結果の一例を示す図である。
【図４】図４は、実施例１における眠気推定結果の一例を示す図である。
【図５】図５は、実施例２における覚醒度推定処理の一例を示すフローチャートである。
【図６】図６は、実施例２における眠気推定結果の一例を示す図である。
【図７】図７は、実施例３における逆光率と顔撮影画像との関係の一例を示す図である。
【図８】図８は、実施例３における覚醒度推定システムの一例を示す図である。
【図９】図９は、実施例３における覚醒度推定処理の一例を示すフローチャートである。
【図１０】図１０は、覚醒度推定プログラムを実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本願の開示する覚醒度推定装置、覚醒度推定方法及び覚醒度推定システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、以下に示す各実施例は、矛盾を起こさない範囲で適宜組み合わせても良い。
【実施例１】
【００１０】
［機能ブロック］
本実施例においては、自動車の運転中における運転者の覚醒度を、眼開度を用いて算出される数値に基づいて推定する構成について説明する。まず、本実施例における覚醒度推定システムの一例について、図１を用いて説明する。図１は、実施例１における覚醒度推定システムの一例を示す図である。図１に示すように、本実施例における覚醒度推定システム１は、覚醒度推定装置１００と、センサ群２００とを含む。覚醒度推定装置１００と、センサ群２００とは、例えば図示しないＣＡＮ（Controller  Area  Network）などのネットワークＮによって相互に通信可能に接続されている。覚醒度推定装置１００及びセンサ群２００は、例えば自動車などの移動体に実装される。
【００１１】
センサ群２００は、運転者の眼の開度等を把握するためのセンサである。センサ群２００の一例としては、運転者の眼を撮影する車載カメラがある。また、センサ群２００は、運転者が装着するヘッドマウントディスプレイ（ＨＭＤ（Head  Mounted  Display））に搭載され、運転者の眼を撮影するカメラであってもよい。また、センサ群２００は、運転者の眼球の動きや頭の向きに関する情報を取得するカメラ、ジャイロセンサ、筋電位測定機器等のセンサ類であってもよい。
【００１２】
次に、覚醒度推定装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。通信部１１０は、センサ群２００からデータを取得して、制御部１３０に出力する。
【００１３】
記憶部１２０は、例えば制御部１３０が実行するプログラムなどの各種データなどを記憶する。また、記憶部１２０は、眼開度記憶部１２１、ばらつき記憶部１２２及び閾値記憶部１２３を有する。記憶部１２０は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子や、ＨＤＤ（Hard  Disk  Drive）などの記憶装置に対応する。
【００１４】
眼開度記憶部１２１は、センサ群２００から取得された各種のセンサデータから算出される眼開度に関するデータを、時刻と対応付けて記憶する。なお、眼開度記憶部１２１に記憶される情報は、後に説明する眼開度取得部１３１により入力される。
【００１５】
次に、ばらつき記憶部１２２は、記憶された眼の開度値のばらつきを記憶する。ばらつき記憶部１２２は、例えば、５分間などの所定の期間を対象として算出された眼の開度値の分散値を、時刻と対応付けて記憶する。なお、ばらつき記憶部１２２に記憶される情報は、後に説明するばらつき算出部１３２により入力される。なお、以下において、眼の開度値を「眼開度」と表記する場合がある。
【００１６】
次に、閾値記憶部１２３は、記憶された眼開度のばらつきから覚醒度のレベルを特定するために用いられる閾値を記憶する。本実施例において、閾値は、例えば、ばらつき記憶部１２２に記憶された所定期間内における眼開度の分散値の最小値に、所定の係数を乗じた値であるが、これに限られず、予めユーザにより設定されるような構成であってもよい。なお、閾値記憶部１２３に記憶される情報は、後に説明する閾値設定部１３３により入力される。
【００１７】
次に、制御部１３０は、覚醒度推定装置１００の全体的な処理を司る処理部である。制御部１３０は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されるようにしてもよい。この制御部１３０は、眼開度取得部１３１、ばらつき算出部１３２、閾値設定部１３３、眠気判定部１３４及び警告出力部１３５を有する。なお、眼開度取得部１３１、ばらつき算出部１３２、閾値設定部１３３、眠気判定部１３４及び警告出力部１３５は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
【００１８】
眼開度取得部１３１は、通信部１１０を通じて、センサ群２００から、例えば運転者の眼を撮影した画像データなどの眼の開度に関するセンサデータを取得する。眼開度取得部１３１は、公知の画像解析技術等を用いて取得した画像データを解析することにより、運転者の眼の開度を算出する。そして、眼開度取得部１３１は、算出した眼開度を、画像データを取得した時刻と対応付けて、眼開度記憶部１２１に記憶する。
【００１９】
ばらつき算出部１３２は、眼開度記憶部１２１を参照して、所定期間内における運転者の眼開度のばらつきを算出する。ばらつき算出部１３２は、例えば、５分間などの所定の期間内における運転者の眼開度を取得して、眼開度のばらつきとして眼開度の分散値を算出する。そして、ばらつき算出部１３２は、算出した眼開度のばらつきを、時刻と対応付けてばらつき記憶部１２２に記憶する。
【００２０】
次に、閾値設定部１３３は、ばらつき記憶部１２２に記憶されたばらつきに関する情報を取得して、覚醒度推定に用いられる閾値を設定する。閾値設定部１３３は、例えば取得された所定の期間内における眼開度の分散値のうち最小の値に、所定の係数を乗じた値を、閾値として閾値記憶部１２３に記憶する。なお、閾値設定部１３３が設定する閾値の数は、例えば判定対象とする覚醒度のレベルの数に応じて変化する。閾値設定部１３３は、例えば、３つのレベルに覚醒度を分類する場合、第１の閾値と、第１の閾値より大きい第２の閾値との２つの閾値を設定する。なお、以下において、覚醒度のレベルを「眠気レベル」又は単に「レベル」と表記する場合がある。また、以下において、眠気レベル１は運転者が高覚醒状態、すなわち全く眠気がない状態であることを示し、眠気レベルが高くなるほど低覚醒状態、すなわち眠気が強い状態になることを示す。
【００２１】
次に、眠気判定部１３４は、ばらつき記憶部１２２から取得した眼開度のばらつきに関する情報と、閾値記憶部１２３から取得した閾値とを用いて、運転者の覚醒度を判定する。眠気判定部１３４は、例えばリアルタイムでばらつき記憶部１２２から眼開度のばらつきに関する情報を取得して判定処理を行う。眠気判定部１３４は、例えば、取得した眼開度のばらつきが第２の閾値を超える場合は、覚醒度が「眠気レベル３」であると判定する。同様に、眠気判定部１３４は、取得した眼開度のばらつきが第１の閾値を超え、かつ第２の閾値以下である場合は、覚醒度が「眠気レベル２」であると判定し、取得した眼開度のばらつきが第１の閾値以下である場合は、覚醒度が「眠気レベル１」であると判定する。そして、眠気判定部１３４は、判定結果を警告出力部１３５に出力する。
【００２２】
次に、警告出力部１３５は、眠気判定部１３４から出力された覚醒度の判定結果を用いて、運転者に対して警告を出力する。例えば、警告出力部１３５は、眠気判定部１３４から出力された覚醒度の出力結果が「眠気レベル３」であるか否かを判定する。警告出力部１３５は、覚醒度の出力結果が「眠気レベル３」であると判定した場合に、運転者に対して警告を出力する。警告出力部１３５が出力する警告は、例えばアラーム音や文字メッセージであるが、これに限られず、覚醒効果のある芳香や振動などの他の警告であってもよい。また、警告出力部１３５が警告を出力する覚醒度はこれに限られず、例えば覚醒度が「眠気レベル２」であると判定した場合に、警告出力部１３５が警告を出力するような構成であってもよく、覚醒度に応じて異なる警告を出力してもよい。
【００２３】
［処理の流れ］
次に、本実施例における覚醒度推定システム１による覚醒度推定処理について、図２を用いて説明する。図２は、実施例１における覚醒度推定処理の一例を示すフローチャートである。図２に示すように、覚醒度推定装置１００の眼開度取得部１３１は、例えば図示しない操作部を通じて、図示しないユーザから、覚醒度推定処理の開始指示を受け付けるまで待機する（Ｓ１００：Ｎｏ）。眼開度取得部１３１は、覚醒度推定処理の開始処理を取得したと判定した場合（Ｓ１００：Ｙｅｓ）、通信部１１０を通じて、センサ群２００から、例えば運転者の眼の開度に関する情報を含む画像データを取得する。そして、眼開度取得部１３１は、取得した画像データを用いて運転者の眼の開度を算出し、眼開度記憶部１２１に記憶する（Ｓ１０１）。
【００２４】
次に、ばらつき算出部１３２は、眼開度記憶部１２１を参照し、所定期間における眼の開度の分散値である分散値Ａを算出し、ばらつき記憶部１２２に記憶する（Ｓ１０２）。次に、閾値設定部１３３は、ばらつき記憶部１２２に記憶された分散値Ａを参照して、第１の閾値及び第２の閾値を算出し、閾値記憶部１２３に記憶する（Ｓ１０３）。
【００２５】
次に、眠気判定部１３４は、ばらつき記憶部１２２に記憶された分散値Ａが、閾値記憶部１２３に記憶された第２の閾値を超えるか否かを判定する（Ｓ１１０）。眠気判定部１３４は、分散値Ａが第２の閾値を超えると判定した場合（Ｓ１１０：Ｙｅｓ）、運転者の覚醒度が「眠気レベル３」であると判定する（Ｓ１１１）。そして、警告出力部１３５は、運転者に対して警告を出力し（Ｓ１１２）、Ｓ１３０に移行する。
【００２６】
一方、眠気判定部１３４は、分散値Ａが第２の閾値以下であると判定した場合（Ｓ１１０：Ｎｏ）、分散値Ａが第１の閾値を超えるか否かを判定する（Ｓ１２０）。眠気判定部１３４は、分散値Ａが第１の閾値を超えると判定した場合（Ｓ１２０：Ｙｅｓ）、運転者の覚醒度が「眠気レベル２」であると判定し（Ｓ１２１）、Ｓ１３０に移行する。一方、眠気判定部１３４は、分散値Ａが第１の閾値以下であると判定した場合（Ｓ１２０：Ｎｏ）、運転者の覚醒度が「眠気レベル１」であると判定し（Ｓ１２３）、Ｓ１３０に移行する。
【００２７】
次に、眼開度取得部１３１は、例えば操作部を通じて、ユーザから覚醒度推定処理の終了指示を受け付けたか否かを判定する（Ｓ１３０）。眼開度取得部１３１は、覚醒度推定処理の終了指示を受け付けていないと判定した場合（Ｓ１３０：Ｎｏ）、Ｓ１０１に戻って処理を繰り返す。一方、眼開度取得部１３１は、覚醒度推定処理の終了指示を受け付けたと判定した場合（Ｓ１３０：Ｙｅｓ）、覚醒度推定処理を終了する。
【００２８】
［効果］
以上説明したように、本実施例における覚醒度推定装置は、対象者の眼の開度を取得し、所定時間内の眼の開度のばらつきを算出し、算出されたばらつきと所定の閾値とを用いて眠気判定を行う。これにより、低覚醒状態における覚醒努力が生じた場合など、低覚醒時における瞬きパターンと高覚醒時における瞬きパターンとが混在するようなときでも、誤判定の少ない眠気推定ができる。すなわち、運転者が覚醒努力中の状態においても、運転者に対する警告漏れを防ぐことができる。また、特徴量として、眼開度の分散値を用いて覚醒度を推定できるので、覚醒度を推定するための計算量を削減できる。
【００２９】
本実施例における効果について、図３及び図４を用いて説明する。図３は、背景技術における眠気推定結果の一例を示す図である。図３において、グラフ３０００は、運転者の眼開度の時系列的な変化を示す。グラフ３０００において、横軸は時間の経過を、撮影された画像のフレーム数で示し、縦軸は運転者の眼開度を示す。グラフ３０００の縦軸において、「０」は閉眼状態を示し、「１００」は標準的な開眼状態を示し、数字が大きくなるほど眼の開度が大きくなることを示す。また、期間３０１１及び３０１２は、運転者の眼開度が低くなっていると判定される期間の一例を示す。
【００３０】
図３において、グラフ３１００は、グラフ３０００に示す運転者の眼開度に基づいて算出される、運転者の瞬きの特徴量の時系列的な変化を示す。図３においては、運転者の瞬きの特徴量として、ＰＥＲＣＬＯＳ（１分間の閉眼時間割合）を用いた例を示す。
【００３１】
次に、図３において、グラフ３２００は、運転者の眠気を測定した結果である眠気正解値の時系列的な変化を示す。眠気正解値は、例えばＮＥＤＯ評価値のように、運転者の顔面表情や眼球の動きを目視して主観的に判定した値を用いるが、これに限られず、運転者の脳波や眼電図、心拍数等を測定した値を用いて算出してもよい。
【００３２】
グラフ３２００においては、眠気正解値を、眠気レベル１乃至眠気レベル３の３段階で示す。例えば、図３において、枠３００１、３００２及び３００３は、運転者の眠気正解値が「眠気レベル３」である、すなわち運転者の眠気が非常に強い状態である時間帯を示す。
【００３３】
次に、図３において、グラフ３３００は、グラフ３１００に示すＰＥＲＣＬＯＳを用いて運転者の眠気を判定した結果の時系列的な変化を示す。グラフ３３００においても、グラフ３１００と同様に、眠気を「眠気レベル１」乃至「眠気レベル３」の３段階で示す。グラフ３３００は、グラフ３１００におけるＰＥＲＣＬＯＳが、グラフ３１００中の直線３１０１に示す第１の閾値以下である場合に、運転者の眠気が眠気レベル１であると判定される例を示す。同様に、グラフ３３００は、グラフ３１００におけるＰＥＲＣＬＯＳが、グラフ３１００中の直線３１０２に示す第２の閾値を超える場合に、運転者の眠気が眠気レベル３と判定される例を示す。また、グラフ３３００は、グラフ３１００におけるＰＥＲＣＬＯＳが、第１の閾値を超え第２の閾値以下である場合は、運転者の眠気が眠気レベル２であると判定される例を示す。
【００３４】
ここで、期間３０１１及び３０１２に対応する期間３１１１及び３１１２におけるＰＥＲＣＬＯＳは、グラフ３１００に示すように、直線３１０１に示す第１の閾値以下となっている。すなわち、眠気正解値が「眠気レベル３」である期間においても、ＰＥＲＣＬＯＳは必ずしも大きくなるとは限らない。この場合、期間３０１１及び３０１２に対応する期間３３１１及び３３１２に示すように、運転者の眠気は「眠気レベル１」であると判定される。しかし、グラフ３２００においては、期間３０１１及び３０１２に対応する期間３２１１及び３２１２における眠気正解値は「眠気レベル３」となっており、判定結果と眠気正解値とが乖離している。
【００３５】
グラフ３１００の期間３１１１及び３１１２においては、運転者の覚醒努力が始まっており、実際には運転者の眠気が非常に強いにもかかわらず、運転者が眼を見開こうと努力している状態であると推測できる。このような場合、背景技術のようにＰＥＲＣＬＯＳ等を用いると、覚醒度を誤って推定する場合がある。
【００３６】
次に、本実施例において運転者の覚醒度を推定した結果について、図４を用いて説明する。図４は、実施例１における眠気推定結果の一例を示す図である。図４において、グラフ３０００は、図３と同様に、運転者の眼開度の時系列的な変化を示す。次に、図４におけるグラフ３５００は、グラフ３０００に示す運転者の眼開度の分散値の時系列的な変化を示す。すなわち、グラフ３５００は、例えば５分間などの所定の期間において、運転者の眼開度がどの程度変化したかという値の時系列的な変化を示す。
【００３７】
また、グラフ３５００において、直線３５０１及び３５０２は、図３のグラフ３１００における直線３１０１及び３１０２と同様に、それぞれ第１の閾値及び第２の閾値を示す。次に、グラフ３６００は、運転者の眼開度の分散値と、閾値３５０１及び３５０２とを用いて、運転者の眠気を判定した結果を示す。グラフ３６００においても、グラフ３１００及び３３００と同様に、眠気を「眠気レベル１」乃至「眠気レベル３」の３段階で示す。
【００３８】
例えば、背景技術では、図３のグラフ３１００に示すように、グラフ３０００の期間３０１１及び３０１２に対応する期間３１１１及び３１１２においては、ＰＥＲＣＬＯＳが第１の閾値よりも小さいため、運転者の眠気は「眠気レベル１」であると誤判定される。一方、眠気正解値が「眠気レベル３」である期間においては、眼開度の分散値も高い場合が多く、眠気レベルの上昇に応じて眼開度の分散値も大きくなる傾向にある。例えば、期間３０１１及び３０１２に対応する期間３５１１及び３５１２において、眼開度の分散値は少なくとも第１の閾値３５０１よりも大きい状態を維持している。このため、グラフ３０００の期間３０１１及び３０１２に対応する期間３６１１及び３６１２において、本実施例における眠気の判定結果は「眠気レベル２」又は「眠気レベル３」となる。すなわち、本実施例においては、背景技術における期間３３１１及び３３１２での判定結果のように「眠気レベル１」であると誤判定されることなく、より適切に覚醒度を推定できる。
【００３９】
以上述べたように、本実施例における覚醒度推定装置は、５分間などの長期間での眼開度の分散値が所定の閾値を超えた状態を眠気状態と推定するので、高覚醒時と低覚醒時との瞬きパターンが混在する覚醒努力時も少ない計算量で誤判定を抑制できる。
【実施例２】
【００４０】
実施例１においては、運転者の眼の開度の分散値を用いて、運転者の覚醒度を推定する構成について説明したが、実施の形態はこれに限られない。本実施例においては、運転者の眼の開度の分散値Ａに加えて推定された運転者の覚醒度を、分散値Ａの分散値である分散値Ｂを用いて補正する覚醒度推定装置について説明する。
【００４１】
［機能ブロック］
まず、本実施例における覚醒度推定システム２の一例について説明する。なお、以下の実施例において、先に説明した図面に示す部位と同一の部位には同一の符号を付し、重複する説明は省略する。また、覚醒度推定システム２については図示を省略する。
【００４２】
本実施例における覚醒度推定システム２は、覚醒度推定装置５００と、センサ群２００とを含む。覚醒度推定装置５００は、通信部１１０と、記憶部５２０と、制御部５３０とを有する。
【００４３】
記憶部５２０は、例えば制御部５３０が実行するプログラムなどの各種データなどを記憶する。また、記憶部５２０は、眼開度記憶部１２１、ばらつき記憶部５２２及び閾値記憶部５２３を有する。
【００４４】
ばらつき記憶部５２２は、眼開度のばらつきに加えて、所定期間内において算出された眼開度のばらつきのばらつきをさらに記憶する。なお、ばらつき記憶部５２２に記憶される情報は、後に説明するばらつき算出部５３２により入力される。
【００４５】
次に、閾値記憶部５２３は、記憶された眼開度のばらつきから覚醒度のレベルを特定するために用いられる閾値に加えて、眼開度のばらつきのばらつきから覚醒度のレベルを特定するために用いられる閾値をさらに記憶する。本実施例において、眼開度のばらつきのばらつきに関する閾値は、例えば、ばらつき記憶部５２２に記憶された所定期間内における分散値Ｂの最小値に、所定の係数を乗じた値であるが、これに限られず、予めユーザにより設定されるような構成であってもよい。なお、閾値記憶部５２３に記憶される情報は、後に説明する閾値設定部５３３により入力される。
【００４６】
次に、制御部５３０は、覚醒度推定装置５００の全体的な処理を司る処理部である。この制御部５３０は、眼開度取得部１３１、ばらつき算出部５３２、閾値設定部５３３、眠気判定部５３４及び警告出力部１３５を有する。
【００４７】
ばらつき算出部５３２は、眼開度記憶部１２１及びばらつき記憶部５２２を参照して、所定期間内における運転者の眼開度のばらつきに加えて、眼開度のばらつきのばらつきをさらに算出する。ばらつき算出部５３２は、例えば、眼開度の分散値のばらつきとして、１０分間などの所定の期間内における運転者の眼開度の分散値をばらつき記憶部５２２から取得し、取得した眼開度の分散値の分散値を算出する。そして、ばらつき算出部５３２は、算出した眼開度のばらつきのばらつきを、時刻と対応付けてばらつき記憶部５２２に記憶する。なお、ばらつきの分散値を算出するための眼の開度を取得する期間は、ばらつきを算出するための眼の開度を取得する期間よりも広く設定してもよい。
【００４８】
次に、閾値設定部５３３は、眼開度のばらつきに関する閾値に加えて、覚醒度推定に用いられる眼開度のばらつきのばらつきに関する閾値を設定する。閾値設定部５３３は、例えば取得された所定の期間内における眼開度の分散値の分散値のうち最小の値に、所定の係数を乗じた値を、眼開度のばらつきのばらつきに関する閾値として閾値記憶部５２３に記憶する。なお、本実施例において、眼開度のばらつきのばらつきに関する閾値は、覚醒度推定処理そのものに用いられるものではなく、推定された覚醒度を補正するために用いられるものであり、必ずしも判定対象とする覚醒度のレベルの数に応じて変化するとは限らない。本実施例においては、閾値設定部５３３が、眼開度のばらつきのばらつきに関する閾値を１つだけ設定する例について説明する。
【００４９】
次に、眠気判定部５３４は、運転者の覚醒度を判定するとともに、眼開度のばらつきのばらつきに関する閾値と、眼開度のばらつきのばらつきとを用いて、判定された運転者の覚醒度を補正する。例えば、眠気判定部５３４は、覚醒度が「眠気レベル２」であると判定された場合、ばらつき記憶部５２２から眼開度のばらつきのばらつきに関する情報を取得する。そして、眠気判定部５３４は、例えば、取得した眼開度のばらつきのばらつきが第３の閾値を超える場合、覚醒度を「眠気レベル３」に補正する。眠気判定部５３４は、補正された判定結果を警告出力部１３５に出力する。なお、眠気判定部５３４は、覚醒度が「眠気レベル１」又は「眠気レベル３」であると判定した場合、又は取得した眼開度のばらつきのばらつきが第３の閾値以下であると判定した場合、判定結果を補正することなく、警告出力部１３５に出力する。
【００５０】
［処理の流れ］
次に、本実施例における処理の流れについて説明する。図５は、実施例２における覚醒度推定処理の一例を示すフローチャートである。なお、以下の説明において、図２に示すステップと同じ符号については同様のステップであるため、詳細な説明を省略する。
【００５１】
覚醒度推定装置５００の閾値設定部５３３は、第１の閾値及び第２の閾値を算出し、閾値記憶部５２３に記憶する（Ｓ１０３）。次に、ばらつき算出部５３２は、ばらつき記憶部５２２から所定期間内における眼開度のばらつきである分散値Ａを取得する。そして、ばらつき算出部５３２は、眼開度のばらつきのばらつきとして、分散値Ａの分散値である分散値Ｂを算出し、ばらつき記憶部５２２に記憶する（Ｓ１０４）。次に、閾値設定部５３３は、ばらつき記憶部５２２に記憶された分散値Ｂを参照して、第３の閾値を算出し、閾値記憶部５２３に記憶する（Ｓ１０５）。
【００５２】
ステップＳ１２１に移って、眠気判定部５３４は、覚醒度が「眠気レベル２」であると判定した場合、分散値Ｂが第３の閾値を超えるか否かを判定する（Ｓ１２５）。眠気判定部１３４は、分散値Ｂが第３の閾値以下であると判定した場合（Ｓ１２５：Ｎｏ）、Ｓ１３０に移行する。一方、眠気判定部５３４は、分散値Ｂが第３の閾値を超えると判定した場合（Ｓ１２５：Ｙｅｓ）、運転者の覚醒度を「眠気レベル３」に補正し（Ｓ１２６）、補正された判定結果を警告出力部１３５に出力する。そして、警告出力部１３５は、運転者に対して警告を出力し（Ｓ１１２）、Ｓ１３０に移行する。
【００５３】
［効果］
以上説明したように、本実施例における覚醒度推定装置は、算出されたばらつきの分散値をさらに算出し、ばらつきの分散値をさらに用いて眠気判定を行う。これにより、眼開度のばらつきが大きい場合において、より誤判定の少ない眠気推定ができる。
【００５４】
本実施例における効果について、図６を用いて説明する。図６は、実施例２における眠気推定結果の一例を示す図である。図６において、グラフ３５００及びグラフ３６００は、それぞれ図４に示す運転者の眼開度の分散値と、実施例１における運転者の眼開度の分散値を用いた眠気推定結果である。
【００５５】
一方、図６において、グラフ３７００は、グラフ３５００に示す眼開度の分散値の分散値の時系列的な変化を示す。すなわち、グラフ３７００は、例えば１０分間などの所定の期間において、運転者の眼開度の分散値がどの程度変化したかという値の時系列的な変化を示す。また、グラフ３７００において、直線３７０１は、第３の閾値を示す。
【００５６】
次に、グラフ３８００は、運転者の眼開度の分散値の分散値と、閾値３７０１とを用いて、グラフ３６００に示す運転者の眠気の判定結果を補正した結果を示す。また、図６の期間３５１１、３６１１、３７１１及び３８１１は、それぞれ同一の期間を示す。同様に、図６の期間３５１２、３６１２、３７１２及び３８１２も、それぞれ同一の期間を示す。
【００５７】
例えば、グラフ３６００に示す実施例１における眠気判定結果においては、期間３６１１及び３６１２において、グラフ３５００に示す眼開度の分散値が第２の閾値以下でありかつ第１の閾値を超える時点が存在する。かかる時点において、運転者の眠気は「眠気レベル２」であると判定される。
【００５８】
一方、期間３６１１及び３６１２に対応するグラフ３７００の期間３７１１及び３７１２においては、眼開度の分散値の分散値が、第３の閾値を超える時点が存在する。かかる時点においては、本実施例における眠気の判定結果は「眠気レベル２」から「眠気レベル３」に補正される。すなわち、グラフ３８００の期間３８１１及び３８１２に示すように、本実施例においては、眠気正解値が「眠気レベル３」である場合において、「眠気レベル３」であると的確に判定される時間帯を拡張できる。これにより、眼開度のばらつきが大きい場合において、より誤判定の少ない眠気推定ができる。
【００５９】
なお、本実施例においては、眼開度のばらつきのばらつきに関する閾値を、判定された覚醒度を補正するか否かの判定に用いる構成について説明したが、実施の形態はこれに限られない。例えば、眠気判定部５３４が、図５に示す分散値Ａが第２の閾値以下でありかつ第１の閾値を超える場合に、覚醒度が「眠気レベル２」であると判定する前に、分散値Ｂが第３の閾値を超えるか否かを判定するような構成であってもよい。すなわち、眼開度のばらつきのばらつきに関する閾値が、覚醒度の判定のために用いられるような構成であってもよい。
【実施例３】
【００６０】
運転者の眼開度を用いて覚醒度を推定する際に、様々な外乱要因が考えられる。例えば、逆光時では、運転者は順光時よりも目を細める場合がある。この場合、眼開度のばらつきを用いた覚醒度の推定において誤判定が生じる場合がある。そこで、本実施例においては、逆光時の外乱要因を考慮して、運転者の覚醒度を推定する構成について説明する。
【００６１】
まず、逆光による運転者の眼開度への影響について、図７を用いて説明する。図７は、実施例３における逆光率と顔撮影画像との関係の一例を示す図である。図７は、同一の車両を運転する同一の運転者を、異なる逆光状態において撮影した画像を比較した例を示す。図７の画像８１０１は、逆光率が「６７％」である場合の画像の一例である。同様に、図７の画像８２０１は逆光率が「１００％」である場合の画像の一例であり、画像８３０１は逆光率が「８．７％」である場合の画像の一例である。
【００６２】
逆光率が低い場合の画像８３０１においては、眼の検出領域８３１１に示すように、運転者は通常と同様の眼開度を保っている。一方、逆光率がより高い場合の画像８１０１においては、眼の検出領域８１１１に示すように、運転者の眼開度は画像８３０１に比べて小さくなる。この場合、運転者は逆光の影響で眼を大きく見開くことが難しくなるので、眼開度のばらつきも適切に算出されない場合がある。また、逆光率が短期間で変化するような場合、眼開度のばらつきが、通常の場合よりも大きくなることもある。
【００６３】
画像８１０１に示すような逆光率が高い場合において、画像８３０１に示すような逆光率が低い場合と同様の覚醒度推定処理を行おうとすると、眼開度のばらつきが適切に算出されない場合があるので、覚醒度の誤判定が生じる場合がある。そこで、本実施例においては、逆光による外乱要因を反映した覚醒度推定処理を行う覚醒度推定装置について説明する。
【００６４】
なお、逆光率が極めて高い場合においては、画像８２０１の眼の検出領域８２１１に示されるように、そもそも眼開度を明確に特定できないことがある。この場合は、眼開度のばらつきを正しく算出できないことがあるため、覚醒度推定処理そのものを停止するような構成であってもよい。
【００６５】
［機能ブロック］
まず、本実施例における覚醒度推定システム３の一例について説明する。なお、以下の実施例において、先に説明した図面に示す部位と同一の部位には同一の符号を付し、重複する説明は省略する。図８は、実施例３における覚醒度推定システムの一例を示す図である。
【００６６】
本実施例における覚醒度推定システム３は、覚醒度推定装置６００と、センサ群９００とを含む。覚醒度推定装置６００と、センサ群９００とは、例えば図示しないＣＡＮなどのネットワークＮによって相互に通信可能に接続されている。覚醒度推定装置６００及びセンサ群９００は、例えば自動車などの移動体に実装される。
【００６７】
センサ群９００は、運転者の眼の開度等を把握するためのセンサに加えて、運転者を撮影する画像における逆光状態を特定するためのセンサを含む。逆光状態を特定するためのセンサの一例としては、自動車のフロントウィンドウやサンバイザ、ヘッドレスト等に設置される照度センサがある。また、センサ群９００は、逆光状態を推定するために用いられる進行方向や太陽の向き、天候等を推定するためのＧＰＳ（Global  Positioning  System）測位センサやＲＴＣ（Real-Time  Clock）、気象センサ等を含んでもよい。なお、輝度又は照度を測定するための独立したセンサを用いる代わりに、後に説明する逆光検出部６３６が、撮影された運転者の画像を解析して、運転者の眼に相当する部分の局所的輝度高を用いて逆光率を判定するような構成であってもよい。
【００６８】
覚醒度推定装置６００は、通信部１１０と、記憶部６２０と、制御部６３０とを有する。記憶部６２０は、例えば制御部６３０が実行するプログラムなどの各種データなどを記憶する。また、記憶部６２０は、眼開度記憶部６２１、ばらつき記憶部６２２、閾値記憶部６２３及び逆光状態記憶部６２４を有する。
【００６９】
眼開度記憶部６２１は、センサ群９００から取得された各種のセンサデータから算出される眼開度に関するデータを、時刻と対応付けて記憶する。なお、本実施例において眼開度記憶部６２１は、例えば逆光状態に応じて設定される重み付けを、眼開度と対応付けて記憶する。また、眼開度記憶部６２１は、例えば逆光状態に応じて補正された眼開度を記憶してもよい。なお、眼開度記憶部６２１に記憶される情報は、後に説明する眼開度取得部６３１により入力される。
【００７０】
次に、ばらつき記憶部６２２は、記憶された眼の開度値のばらつきを記憶する。なお、本実施例においてばらつき記憶部６２２は、例えば逆光状態に応じて重み付けされ、又は補正された眼開度を用いて算出されるばらつきを記憶する場合がある。また、ばらつき記憶部６２２に記憶される情報は、後に説明するばらつき算出部６３２により入力される。
【００７１】
次に、閾値記憶部６２３は、記憶された眼開度のばらつきから覚醒度のレベルを特定するために用いられる閾値を記憶する。なお、閾値記憶部６２３に記憶される情報は、後に説明する閾値設定部６３３により入力され、又は逆光状態に応じて補正される。
【００７２】
次に、逆光状態記憶部６２４は、逆光状態の時系列的な変化を記憶する。逆光状態記憶部６２４は、例えば、逆光率、及び逆光率に基づいて算出される逆光外乱度などを、時刻と対応付けて記憶する。なお、逆光状態記憶部６２４に記憶される情報は、後に説明する逆光検出部６３６により入力される。
【００７３】
次に、制御部６３０は、覚醒度推定装置６００の全体的な処理を司る処理部である。この制御部６３０は、眼開度取得部６３１、ばらつき算出部６３２、閾値設定部６３３、眠気判定部６３４、警告出力部１３５及び逆光検出部６３６を有する。
【００７４】
眼開度取得部６３１は、実施例１における眼開度取得部１３１と同様に、運転者の眼の開度を算出して眼開度記憶部６２１に記憶する。なお、眼開度取得部６３１は、例えば逆光状態記憶部６２４を参照して、眼開度に対応する時刻における逆光率を取得し、逆光率に応じて眼開度を補正して、補正した結果を眼開度記憶部６２１に記憶する。
【００７５】
例えば、図７に示すように、逆光率が高くなると、運転者の眼開度は低くなる場合がある。そこで、眼開度取得部６３１は、例えば算出した眼開度を逆光率で除することで、逆光率を用いて眼開度そのものを補正してもよい。
【００７６】
また、逆光率が高い場合における眼開度を用いて分散値を算出しようとすると、眼開度の分散値が適切に算出されず、眼開度の分散値と、眠気正解値とが乖離する場合がある。そこで、眼開度取得部６３１は、算出された眼開度に、逆光外乱度を用いた重み付けを対応付けて、眼開度記憶部６２１に記憶してもよい。例えば、逆光外乱度を「１」から「３」までの３段階とした場合において、眼開度取得部６３１は、逆光外乱度が「１」である場合は重み付けを「１」とする。同様に、眼開度取得部６３１は、逆光外乱度が「２」である場合は重み付けを「０．５」とし、逆光外乱度が「３」である場合は重み付けを「０．２」とする。
【００７７】
この場合、例えばばらつき算出部６３２が眼開度のばらつきを算出する際に、逆光外乱度が高い時点における眼開度の寄与度が低くなる。例えば、逆光外乱度が高いために「０．５」の重み付けがされた時点における眼開度の寄与度は、逆光外乱度が低く重み付けがされていない時点における眼開度の寄与度の１／２となる。この場合、逆光外乱度を用いた重み付けをしない場合と比べて、不適切な眼開度の分散値が算出されることを抑制できる。
【００７８】
なお、例えば逆光率が非常に高く、眼開度そのものが検出できない場合や検出される眼開度が適切ではない場合、重み付けを「０」としてもよい。これにより、不適切な眼開度を用いて眼開度の分散値が算出されることを抑制できる。また、ばらつき算出部６３２は、開度に重み付けをすると、所定期間内において十分な数の眼開度のサンプル数が得られなくなる場合があるので、所定期間より長い期間にわたり、眼開度記憶部６２１から眼開度を取得してもよい。
【００７９】
ばらつき算出部６３２は、眼開度記憶部６２１を参照して、所定期間内における運転者の眼開度のばらつきを算出する。なお、ばらつき算出部６３２は、例えば、眼開度記憶部６２１に眼開度と対応付けて記憶される重み付けを用いて眼開度を重み付けることにより、逆光外乱度の影響を反映した眼開度の分散値を算出する。ばらつき算出部６３２は、算出した眼開度のばらつきを、時刻と対応付けてばらつき記憶部６２２に記憶する。
【００８０】
次に、閾値設定部６３３は、ばらつき記憶部６２２に記憶されたばらつきに関する情報を取得して、覚醒度推定に用いられる閾値を設定し、閾値記憶部６２３に記憶する。また、閾値設定部６３３は、設定された閾値を、例えば逆光外乱度を用いて補正してもよい。
【００８１】
次に、眠気判定部６３４は、眼開度のばらつきに関する情報と閾値とを用いて、運転者の覚醒度を判定し、判定結果を警告出力部１３５に出力する。また、眠気判定部６３４は、逆光外乱度に応じて、判定結果を補正してもよい。例えば、眠気判定部６３４は、逆光外乱度が所定の閾値を超える場合は、判定結果である眠気レベルを１段階さげる。
【００８２】
次に、逆光検出部６３６は、通信部１１０を通じてセンサ群９００から取得したセンサデータを用いて、逆光外乱度を検出する。逆光検出部６３６は、センサデータとして、例えば図７の画像８１０１のような画像を取得し、眼の検出領域８１１１における各画素の輝度を検出する。そして、逆光検出部６３６は、眼の検出領域８１１１において、輝度が所定の閾値を超える画素の割合を逆光率として算出し、逆光率に基づいて逆光外乱度を算出する。
【００８３】
なお、逆光率は、例えば以下のような式（１）により算出される。
【００８４】
逆光率＝１００×（ｏｖｅｒＴｈｒｅＣｎｔ／ａｌｌＣｎｔ）／０．５・・・式（１）
【００８５】
式（１）において、「Ｔｈｒｅ」は所定の閾値を表す。また、「ｏｖｅｒＴｈｒｅＣｎｔ」は、輝度が「Ｔｈｒｅ」以上である画素の数を示し、「ａｌｌＣｎｔ」は、対象とする検出領域に含まれるすべての画素の数を表す。なお、所定の閾値「Ｔｈｒｅ」は、例えば以下の式（２）により算出される。
【００８６】
Ｔｈｒｅ＝最大輝度値−０．１５×（最大輝度値−最小輝度値）・・・式（２）
【００８７】
式（２）において、「最大輝度値」は、対象とする検出領域において、それぞれ最も輝度が高い画素の輝度値を示し、「最小輝度値」は、対象とする検出領域において、それぞれ最も輝度が低い画素の輝度値を表す。すなわち、本実施例において、逆光率は、最大輝度から１５％の高輝度値を持つ画素数の割合を元に、式（１）により算出される。なお、本実施例における逆光率は、輝度が「Ｔｈｒｅ」以上である画素の割合が「５０％」以上であるときに、逆光率が「１００％」となるように正規化されるが、これに限られず、逆光率を正規化するための値及び閾値「Ｔｈｒｅ」は任意に変更してもよい。
【００８８】
次に、逆光検出部６３６は、算出された各時刻における逆光率と、その変化を用いて、逆光外乱度を算出する。例えば、逆光検出部６３６は、所定の時間内における逆光率の平均値、所定の時間内において、逆光率が所定の値以上となる時間の割合などを、逆光外乱度として算出する。例えば、逆光検出部６３６は、「５秒間」における逆光率の平均値が「５０％」未満である場合に逆光外乱度「１」であると特定する。同様に、逆光検出部６３６は、「５秒間」における逆光率の平均値が「５０％」以上「７５％」未満である場合に逆光外乱度「２」、「７５％」以上である場合は逆光外乱度「３」と設定する。そして、逆光検出部６３６は、算出した逆光外乱度を、時刻と対応付けて逆光状態記憶部６２４に記憶する。
【００８９】
［処理の流れ］
次に、本実施例における処理の流れについて説明する。図９は、実施例３における覚醒度推定処理の一例を示すフローチャートである。なお、以下の説明において、図２に示すステップと同じ符号については同様のステップであるため、詳細な説明を省略する。
【００９０】
覚醒度推定装置６００の逆光検出部６３６は、通信部１１０を通じて、センサ群９００から、例えば運転者の眼の周辺領域の輝度に関する情報を含む画像のデータを取得する（Ｓ３０１）。次に、逆光検出部６３６は、取得した画像のデータに含まれる輝度情報を用いて逆光率を算出し、逆光率に基づく逆光外乱度Ｙを算出して、逆光状態記憶部６２４に記憶する（Ｓ３０２）。
【００９１】
次に、眼開度取得部６３１は、通信部１１０を通じて、センサ群９００から、例えば運転者の眼の開度に関する情報を含む画像データを取得して運転者の眼の開度を算出し、眼開度記憶部６２１に記憶する（Ｓ３０３）。次に、眼開度取得部６３１は、逆光状態記憶部６２４から、記憶される眼開度に対応する時刻における逆光外乱度Ｙを取得して重み付けを算出し、眼開度に対応付けて記憶する（Ｓ３０４）。
【００９２】
次に、ばらつき算出部６３２は、眼開度記憶部６２１に記憶された眼開度と重み付けとを乗じた値を用いて、所定期間における眼の開度の分散値である分散値Ａを算出し、ばらつき記憶部６２２に記憶する（Ｓ３０５）。次に、閾値設定部６３３は、ばらつき記憶部６２２に記憶された分散値Ａを参照して、第１の閾値及び第２の閾値を算出し、閾値記憶部６２３に記憶する（Ｓ３０６）。
【００９３】
次に、ステップＳ１１１において「眠気レベル３」であると判定された場合、又はステップＳ１２２において「眠気レベル２」であると判定された場合、眠気判定部６３４は、逆光状態記憶部６２４を参照して、逆光外乱度Ｙの平均値Ｙａを算出する（Ｓ３２０）。眠気判定部６３４は、例えば判定時点以前の５秒間における逆光外乱度Ｙの平均値Ｙａを算出する。そして、眠気判定部６３４は、平均値Ｙａが第４の閾値を超えるか否かを判定する（Ｓ３２１）。眠気判定部６３４は、平均値Ｙａが第４の閾値を超えると判定した場合（Ｓ３２１：Ｙｅｓ）、判定された眠気レベルをダウンさせる（Ｓ３２２）、Ｓ３３０に移行する。一方、眠気判定部６３４は、平均値Ｙａが第４の閾値以下であると判定した場合（Ｓ３２１：Ｎｏ）、運転者に対して警告を出力し（Ｓ３２３）、Ｓ３３０に移行する。
【００９４】
そして、閾値設定部６３３は、逆光状態記憶部６２４を参照し、逆光外乱度Ｙの変更を検出したか否かを判定する（Ｓ３３０）。閾値設定部６３３は、逆光外乱度Ｙの変更を検出したと判定した場合（Ｓ３３０：Ｙｅｓ）、閾値記憶部６２３に記憶された閾値を補正し（Ｓ３３１）、Ｓ１３０に移行する。一方、閾値設定部６３３は、逆光外乱度Ｙの変更を検出しないと判定した場合（Ｓ３３０：Ｎｏ）、Ｓ１３０に移行する。
【００９５】
［効果］
以上説明したように、本実施例における覚醒度推定装置は、対象者に対する逆光外乱状態を検出し、検出された逆光外乱状態をさらに用いて眠気判定を行う。これにより、眠気推定処理において、逆光による外乱要因を考慮することができる。
【００９６】
なお、本実施例においては、眠気判定に用いるばらつきとして眼開度の分散値を用いる例を示したが、これに限らず、実施例２に示す眼開度の分散値の分散値等をさらに用いるような構成であってもよい。
【実施例４】
【００９７】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。例えば、上記各実施例においては覚醒度推定システム１が自動車の運転者の覚醒度を推定する構成について説明したが、これに限られず、船舶や鉄道、航空機などのその他の移動体の運転者の覚醒度を推定するような構成であってもよい。また、運転者に限らず、事業所での作業者等の覚醒度を推定するような構成であってもよい。
【００９８】
なお、覚醒努力が始まると、人間は通常時よりも大きく目を見開こうとする場合が多い。そこで、上記の各実施例において、覚醒度推定装置は、所定期間内における眼の開度の平均値又は最大値が所定の閾値以上であるかをさらに判定してもよい。この場合において、本実施例における覚醒度推定装置は、ばらつきの大きさが設定された所定の閾値以上であり、かつ眼の開度の平均値又は最大値が所定の閾値以上であると判定した場合に、前記対象者が眠気状態にあると判定する。これにより、運転者の覚醒努力が始まったことを、より的確に判定することができる。
【００９９】
この場合において、覚醒度推定装置は、覚醒度が「眠気レベル１」又は「眠気レベル２」であると推定された場合においても、運転者の所定期間内における眼の開度の平均値又は最大値が所定の閾値以上であると判定した場合には、警告を出力してもよい。これにより、運転者の覚醒努力が始まった時点で、的確に警告を出力することができる。
【０１００】
また、覚醒度推定装置が眠気判定に用いるばらつきとして、実施例１においては眼開度の分散値を示し、実施例２においては眼開度の分散値の分散値を示したが、実施の形態はこれに限られない。例えば、覚醒度推定装置が、眼の開度の偏差、眼の開度の最大値と最小値との差、及び眼の開度の差異が所定の閾値以上に拡大する頻度であってもよい。
【０１０１】
また、眠気判定部１３４が、判定結果を図示しない判定結果記憶部に蓄積しておくような構成であってもよい。これにより、例えば蓄積された判定結果と眠気正解値とを比較して、閾値を較正することができる。
【０１０２】
［システム］
また、図示した各部の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、覚醒度推定装置１００の眼開度取得部１３１又は警告出力部１３５が、他の装置によって実現されるような構成であってもよい。また、覚醒度推定装置１００が閾値設定部１３３を有さず、予め設定された閾値を用いるような構成であってもよい。さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro  Controller  Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
【０１０３】
例えば、覚醒度推定装置１００の機能を、自動車と通信可能な車外のサーバが実装してもよい。この場合、覚醒度推定装置１００は、自動車に搭載されたセンサ群２００が送信するセンサデータを、通信部１１０を通じて取得して、覚醒度推定処理を行う。
【０１０４】
また、自動車に搭載された覚醒度推定装置１００が、センサ群２００も搭載するような構成であってもよい。例えば、ドライブレコーダーが、運転中の運転者を撮影して、覚醒度推定処理を行うような構成とすることもできる。
【０１０５】
［覚醒度推定プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図１０は、覚醒度推定プログラムを実行するコンピュータの一例を示す図である。なお、以下においては、実施例１における覚醒度推定装置１００について説明するが、覚醒度推定装置５００及び６００についても同様のコンピュータにより実現できる。
【０１０６】
図１０に示すように、コンピュータ３００は、ＣＰＵ３１０、ＨＤＤ３２０、ＲＡＭ３４０を有する。これら３００〜３４０の各部は、バス４００を介して接続される。  
【０１０７】
ＨＤＤ３２０には上記の覚醒度推定装置１００の眼開度取得部１３１、ばらつき算出部１３２、閾値設定部１３３、眠気判定部１３４及び警告出力部１３５と同様の機能を発揮する覚醒度推定プログラム３２０ａが予め記憶される。なお、覚醒度推定プログラム３２０ａについては、適宜分離してもよい。  
【０１０８】
また、ＨＤＤ３２０は、各種情報を記憶する。例えば、ＨＤＤ３２０は、図１に示した各記憶部に記憶される眼開度データ３２０ｂ、ばらつきデータ３２０ｃ、閾値データ３２０ｄを記憶する。  
【０１０９】
そして、ＣＰＵ３１０が、覚醒度推定プログラム３２０ａをＨＤＤ３２０から読み出してＲＡＭ３４０に展開し、ＨＤＤ３２０に記憶された眼開度データ３２０ｂ、ばらつきデータ３２０ｃ、閾値データ３２０ｄを用いて各処理を実行する。すなわち、覚醒度推定プログラム３２０ａは、眼開度取得部１３１、ばらつき算出部１３２、閾値設定部１３３、眠気判定部１３４及び警告出力部１３５と同様の動作を実行する。
【０１１０】
なお、上記した覚醒度推定プログラム３２０ａについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。  
【０１１１】
例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。  
【０１１２】
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。
【０１１３】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１１４】
（付記１）対象者の眼の開度を取得する眼開度取得部と、
所定時間内の前記眼の開度のばらつきを算出するばらつき算出部と、
算出された前記ばらつきと所定の閾値とを用いて眠気判定を行う眠気判定部と
を有する覚醒度推定装置。
【０１１５】
（付記２）前記ばらつき算出部は、前記ばらつきとして、前記眼の開度の分散値、前記眼の開度の偏差、前記眼の開度の最大値と最小値との差、及び前記眼の開度の差異が所定の閾値以上に拡大する頻度の少なくともいずれかを算出することを特徴とする付記１に記載の覚醒度推定装置。
【０１１６】
（付記３）前記ばらつき算出部は、算出された前記ばらつきの分散値をさらに算出し、
前記眠気判定部は、前記ばらつきの分散値をさらに用いて前記眠気判定を行うことを特徴とする付記１又は２に記載の覚醒度推定装置。
【０１１７】
（付記４）前記ばらつき算出部は、前記ばらつきの分散値を、前記所定時間よりも長い時間において取得された前記対象者の眼の開度を用いて算出することを特徴とする付記３に記載の覚醒度推定装置。
【０１１８】
（付記５）過去に取得された前記眼の開度のばらつきを記憶する記憶部と、
前記記憶部に記憶された前記眼の開度のばらつきを用いて、前記所定の閾値を設定する閾値設定部をさらに有し、
前記眠気判定部は、前記ばらつきの大きさが、設定された前記所定の閾値以上である場合に、前記対象者の眠気を判定することを特徴とする付記１乃至３のいずれか１つに記載の覚醒度推定装置。
【０１１９】
（付記６）前記閾値設定部は、所定の期間における前記眼の開度の平均値に所定の係数を乗ずることにより、前記所定の閾値を設定することを特徴とする付記５に記載の覚醒度推定装置。
【０１２０】
（付記７）眠気状態であると判定された場合に警告を出力する警告出力部をさらに有することを特徴とする付記１乃至６のいずれか１つに記載の覚醒度推定装置。
【０１２１】
（付記８）前記対象者に対する逆光外乱状態を検出する逆光検出部をさらに有し、
前記眠気判定部は、検出された前記逆光外乱状態をさらに用いて前記眠気判定を行うことを特徴とする付記１乃至７のいずれか１つに記載の覚醒度推定装置。
【０１２２】
（付記９）前記開度取得部は、検出された前記外乱判定状態を用いて、取得した前記眼の開度を重み付けし、
前記ばらつき検出部は、重み付けされた前記眼の開度を用いて前記所定時間内の眼の開度のばらつきを算出することを特徴とする付記７に記載の覚醒度推定装置。
【０１２３】
（付記１０）前記閾値設定部は、検出された前記外乱判定結果を用いて、前記閾値を補正することを特徴とする付記８又は９に記載の覚醒度推定装置。
【０１２４】
（付記１１）前記逆光検出部は、取得した対象者の眼の画像の輝度値、照度センサにより取得された照度値、並びに対象者の進行方向、時刻及び天候情報を用いて推定される照度に関する情報のうち少なくともいずれかを用いて前記逆光外乱状態を検出することを特徴とする付記８乃至１０のいずれか１つに記載の覚醒度推定装置。
【０１２５】
（付記１２）眠気状態であると判定され、かつ前記逆光外乱状態が所定の閾値以下であると判定された場合に警告を出力する警告出力部をさらに有することを特徴とする付記８乃至１１のいずれか１つに記載の覚醒度推定装置。
【０１２６】
（付記１３）前記眠気判定部は、所定期間内における前記眼の開度の平均値又は最大値が所定の閾値以上であるかをさらに判定し、前記ばらつきの大きさが、設定された前記所定の閾値以上であり、かつ前記眼の開度の平均値又は最大値が前記所定の閾値以上であると判定した場合に、前記対象者が眠気状態にあると判定することを特徴とする付記１乃至１２のいずれか１つに記載の覚醒度推定装置。
【０１２７】
（付記１４）対象者の眼の開度を取得し、
所定時間内の前記眼の開度のばらつきを算出し、
算出された前記ばらつきと所定の閾値とを用いて眠気判定を行う処理をコンピュータが実行する覚醒度推定方法。
【０１２８】
（付記１５）車載装置とサーバとを有する覚醒度推定システムにおいて、
前記車載装置は、
対象者の眼の画像を前記サーバに送信する送信部を有し、
前記サーバは、
前記車載装置から受信した前記対象者の眼の画像を用いて眼の開度を算出する眼開度取得部と、
所定時間内の前記眼の開度のばらつきを算出するばらつき算出部と、
算出された前記ばらつきと所定の閾値とを用いて眠気判定を行う眠気判定部と
を有することを特徴とする覚醒度推定システム。
【符号の説明】
【０１２９】
１、２、３  覚醒度推定システム
１００、５００、６００  覚醒度推定装置
１１０  通信部
１２０、５２０、６２０  記憶部
１２１、６２１  眼開度記憶部
１２２、５２２、６２２  ばらつき記憶部
１２３、５２３、６２３  閾値記憶部
６２４  逆光状態記憶部
１３０、５３０、６３０  制御部
１３１、６３１  眼開度取得部
１３２、５３２、６３２  ばらつき算出部
１３３、５３３、６３３  閾値設定部
１３４、５３４、６３４  眠気判定部
１３５  警告出力部
６３６  逆光検出部
２００、９００  センサ群
【図１】
2018130342.tif 000003
【図２】
2018130342.tif 000004
【図３】
2018130342.tif 000005
【図４】
2018130342.tif 000006
【図５】
2018130342.tif 000007
【図６】
2018130342.tif 000008
【図７】
2018130342.tif 000009
【図８】
2018130342.tif 000010
【図９】
2018130342.tif 000011
【図１０】
2018130342.tif 000012