(57)【要約】【課題】被験者の動きと覚醒度との関係を適切に評価できる指標値を用いて、迅速且つ高精度に被験者の覚醒度の推定を行うことが可能な覚醒状態推定装置の提供を目的とする。【解決手段】被験者の覚醒度を２以上の段階の覚醒度で推定する覚醒状態推定装置において、被験者の所定の動きを検出する動き検出手段と、各覚醒度における前記所定の動きの発生確率を表す指標値を記憶する記憶手段と、前記動き検出手段により前記所定の動きが検出されたときに、前記記憶手段に記憶された前記指標値に基づいて、そのときの被験者の覚醒度を推定する覚醒度推定手段とを備えることを特徴とする。【選択図】図１
2008278949.tif 000002
【特許請求の範囲】
【請求項１】
被験者の覚醒状態を２以上の段階の覚醒度で推定する覚醒状態推定装置において、
被験者の所定の動きを検出する動き検出手段と、
各覚醒度における前記所定の動きの発生確率を表す指標値を記憶する記憶手段と、
前記動き検出手段により前記所定の動きが検出されたときに、前記記憶手段に記憶された前記指標値に基づいて、そのときの被験者の覚醒度を推定する覚醒度推定手段とを備えることを特徴とする、覚醒状態推定装置。
【請求項２】
各覚醒度における前記所定の動きの発生頻度を表す第２指標値を記憶する第２記憶手段を更に備え、
前記覚醒度推定手段は、前記動き検出手段により前記所定の動きが検出されたときに、前記記憶手段に記憶された前記指標値と、前記第２記憶手段に記憶された前記第２指標値とに基づいて、そのときの被験者の覚醒度を推定する、請求項１に記載の覚醒状態推定装置。
【請求項３】
前記覚醒度推定手段は、前記記憶手段に所定基準値以上の前記指標値が記憶されている場合には、該所定基準値以上の前記指標値に係る覚醒度を推定結果として出力する、請求項１に記載の覚醒状態推定装置。
【請求項４】
前記覚醒度推定手段は、前記記憶手段に所定基準値以上の前記指標値が記憶されている場合には、該所定基準値以上の前記指標値に係る覚醒度を推定結果として出力し、前記記憶手段に所定基準値以上の前記指標値が記憶されていない場合には、前記記憶手段に記憶された前記指標値と前記第２記憶手段に記憶された前記第２指標値とに基づいて推定した覚醒度を推定結果として出力する、請求項２に記載の覚醒状態推定装置。
【請求項５】
前記所定の動きは、２以上の動きの組み合わせを含む、請求項１〜４のうちのいずれか１項に記載の覚醒状態推定装置。
【請求項６】
各覚醒度に係る前記指標値は、被験者の覚醒度が把握された状態で検出された前記所定の動きの検出結果を用いて、各覚醒度における前記所定の動きの発生回数を、前記所定の動きの全発生回数で除することで、それぞれ導出されている、請求項１〜５のうちのいずれか１項に記載の覚醒状態推定装置。
【請求項７】
各覚醒度に係る前記指標値は、同一の被験者に対して異なる日時で検出された複数の前記検出結果に基づいて、各検出結果をそれぞれ独立して用いて導出された各指標値を平均することで、それぞれ導出されている、請求項６に記載の覚醒状態推定装置。
【請求項８】
前記被験者の覚醒状態が３段階以上の覚醒度で推定される、請求項１〜７のうちのいずれか１項に記載の覚醒状態推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の覚醒度を高精度に推定する覚醒状態推定装置に関する。
【背景技術】
【０００２】
従来から、人間の眼球部を照明する近赤外光源と、人間の眼球部を撮像する撮像手段と、該撮像手段により撮像された画像から眼球部の瞳孔領域を抽出する抽出手段と、該抽出手段により抽出された瞳孔領域の形状変化から瞬きの時間および頻度が所定値以上の時に人間の覚醒状態が低下していると判断する判断手段とを有することを特徴とする覚醒状態検知装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開平６−２７０７１１公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、眠気と相関性のある人の動きは様々であるが、動きの種類によっては、その動きが現れやすい覚醒度に一定の傾向が現れる場合がある。従って、かかる点に着目すれば、ある動きが検出された場合に、そのときの被験者の覚醒度を精度良く推定することが可能となる。しかしながら、実際には、同じ動きでも異なる複数の覚醒度で現れることもある。更には、被験者が同一でも、その日の体調や気分等の不確定な要素に依存して、覚醒度と出現する動きの関係が変動する場合がある。従って、被験者の動きと覚醒度との関係を適切に評価できないと、被験者の覚醒度の推定精度を高めることができない。
【０００４】
この点、上述の特許文献１に記載の発明では、瞬きという動きを検出対象とし、その動きが検出された時間や頻度を評価して覚醒状態を推定しているが、かかる時間や頻度といった指標値だけを用いる場合には、被験者の覚醒度の変化とは無関係な外乱的な指標値の変動により推定精度が悪化しないように、比較的長い時間、被験者の動きを監視する必要があり（即ち、比較的長い時間の検出結果に基づいて指標値を算出する必要があり）、被験者の覚醒度を迅速に評価することができないという問題がある。
【０００５】
そこで、本発明は、被験者の動きと覚醒度との関係を適切に評価できる指標値を用いて、迅速且つ高精度に被験者の覚醒度の推定を行うことが可能な覚醒状態推定装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、第１の発明は、被験者の覚醒状態を２以上の段階の覚醒度で推定する覚醒状態推定装置において、
被験者の所定の動きを検出する動き検出手段と、
各覚醒度における前記所定の動きの発生確率を表す指標値を記憶する記憶手段と、
前記動き検出手段により前記所定の動きが検出されたときに、前記記憶手段に記憶された前記指標値に基づいて、そのときの被験者の覚醒度を推定する覚醒度推定手段とを備えることを特徴とする。
【０００７】
第２の発明は、第１の発明に係る覚醒状態推定装置において、
各覚醒度における前記所定の動きの発生頻度を表す第２指標値を記憶する第２記憶手段を更に備え、
前記覚醒度推定手段は、前記動き検出手段により前記所定の動きが検出されたときに、前記記憶手段に記憶された前記指標値と、前記第２記憶手段に記憶された前記第２指標値とに基づいて、そのときの被験者の覚醒度を推定することを特徴とする。
【０００８】
第３の発明は、第１の発明に係る覚醒状態推定装置において、
前記覚醒度推定手段は、前記記憶手段に所定基準値以上の前記指標値が記憶されている場合には、該所定基準値以上の前記指標値に係る覚醒度を推定結果として出力することを特徴とする。
【０００９】
第４の発明は、第２の発明に係る覚醒状態推定装置において、
前記覚醒度推定手段は、前記記憶手段に所定基準値以上の前記指標値が記憶されている場合には、該所定基準値以上の前記指標値に係る覚醒度を推定結果として出力し、前記記憶手段に所定基準値以上の前記指標値が記憶されていない場合には、前記記憶手段に記憶された前記指標値と前記第２記憶手段に記憶された前記第２指標値とに基づいて推定した覚醒度を推定結果として出力することを特徴とする。
【００１０】
第５の発明は、第１〜４のうちのいずれかの発明に係る覚醒状態推定装置において、
前記所定の動きは、２以上の動きの組み合わせを含むことを特徴とする。
【００１１】
第６の発明は、第１〜５のうちのいずれかの発明に係る覚醒状態推定装置において、
各覚醒度に係る前記指標値は、被験者の覚醒度が把握された状態で検出された前記所定の動きの検出結果を用いて、各覚醒度における前記所定の動きの発生回数を、前記所定の動きの全発生回数で除することで、それぞれ導出されていることを特徴とする。
【００１２】
第７の発明は、第６の発明に係る覚醒状態推定装置において、
各覚醒度に係る前記指標値は、同一の被験者に対して異なる日時で検出された複数の前記検出結果に基づいて、各検出結果をそれぞれ独立して用いて導出された各指標値を平均することで、それぞれ導出されていることを特徴とする。
【００１３】
第８の発明は、第１〜７のうちのいずれかの発明に係る覚醒状態推定装置において、
前記被験者の覚醒状態が３段階以上の覚醒度で推定されることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、被験者の動きと覚醒度との関係を適切に評価できる指標値を用いて、迅速且つ高精度に被験者の覚醒度の推定を行うことが可能な覚醒状態推定装置が得られる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。以下では、覚醒度推定システムが車両に搭載され、被験者が車両の運転者である場合について説明する。但し、本発明は、車両以外のアプリケーションにおいても適用可能である。
【実施例１】
【００１６】
図１は、本発明による覚醒状態推定装置１００の一実施例のシステム構成図である。本実施例の覚醒状態推定装置１００は、画像取得手段１１０と、アクション追跡モジュール１２０と、アクショントリガ生成モジュール１３０と、アクションデータベース１３２と、アクション頻度算出モジュール１４０と、アクション確率指標値データベース１５０と、覚醒度推定モジュール１６０と、を備える。覚醒状態推定装置１００には、警告手段１７０が接続される。
【００１７】
図２は、本実施例による覚醒状態推定装置１００により実現される主要処理の流れを示す図である。本実施例による覚醒状態推定装置１００により実現される主要処理は、
ステップ１０：画像取得手段１１０による画像取得処理と、
ステップ２０：アクション追跡モジュール１２０によるアクション追跡処理と、
ステップ３０：アクショントリガ生成モジュール１３０によるアクショントリガ生成処理と、
ステップ４０：アクション頻度算出モジュール１４０によるアクション頻度算出処理と、
ステップ５０：覚醒度推定モジュール１６０によるアクション確率指標値データベース１５０からのアクション確率指標値データ読み出し処理と、
ステップ６０：覚醒度推定モジュール１６０による覚醒度推定処理と、
ステップ７０：警告手段１７０による警告処理とを含む。
【００１８】
以下、各処理について順に詳説する。
【００１９】
［画像取得処理］
画像取得処理を行う図２のステップ１０では、画像取得手段１１０による画像取得が実現される。画像取得手段１１０は、例えばカラー又は赤外線感応ＣＣＤ（charge-coupled  device）センサアレイを備えるカメラである。画像取得手段１１０は、例えば運転者の前面（例えば顔部を前方から）を捕捉可能なように、車両の適切な箇所に設けられる。例えば、画像取得手段１１０は、車両のインストルメントパネルのダッシュボードやステアリングコラムに設置される。画像取得手段１１０は、リアルタイムに運転者の画像を取得し、典型的には３０fps (frame  per  second)のストリーム形式で、アクション追跡モジュール１２０に供給するものであってよい。
【００２０】
［アクション追跡処理］
アクション追跡モジュール１２０は、画像取得手段１１０により取得された各画像に基づいて、所定のアクションの発生の有無を判断する。
【００２１】
図３は、アクション追跡モジュール１２０により実現されるアクション追跡処理（図２のステップ２０）の詳細を示すフローチャートである。
【００２２】
ステップ２００では、画像取得手段１１０により取得された各画像から、顔の代表的なポイント（特徴点）が抽出される。この特徴抽出方法は、適切な任意の方法であってよく、例えばActive  Appearance  Model（AAM）をベースにした技術が用いられてよい。次いで、適切なエッジ検出アルゴリズム（例えばSobelのエッジ検出アルゴリズム）を適用して、顔と顔の特徴の境界が決定される。
【００２３】
ステップ２０２では、上述の如く抽出されるエッジ及び特徴点を用いて、図４に示すように、顔のパーツが分離され、顔のパーツの形状が抽出される。尚、図４は、顔の一部のみを代表して示しており、顔の眉と目の部分がパーツとして抽出された画像を示している。
【００２４】
ステップ２０４では、頭部の向きの変化及びパーツの形状変形が推定される。この推定処理により、３種類の変化パラメータＰ，Ｅ，Ｍが導出される。
【００２５】
変化パラメータＰは、頭部の向きの変化態様を表すことができる姿勢変化パラメータｐｉからなり、Ｐ＝｛ｐｉ｝、ｉ＝1,…αで表される。尚、αは、姿勢変化パラメータの数である。即ち、変化パラメータＰは、α個の姿勢変化パラメータの集合からなる。姿勢変化パラメータは、例えば正規の姿勢であるときの顔の正面方向を１軸とする３軸まわりの回転角度で表されてよい。
【００２６】
変化パラメータＥは、目の領域の形状変形態様を表すことができる目変化パラメータｅｊからなり、Ｅ＝｛ｅｊ｝、ｊ＝1,…βで表される。尚、βは、目変化パラメータの数である。即ち、変化パラメータＥは、β個の目変化パラメータの集合からなる。目変化パラメータは、例えば目全体の大きさないし面積、幅、高さ等を表すパラメータであってよい。
【００２７】
変化パラメータＭは、口の領域の形状変形態様を表すことができる口変化パラメータｍｋからなり、Ｍ＝｛ｍｋ｝、ｋ＝1,…γで表される。尚、γは、口変化パラメータの数である。即ち、変化パラメータＭは、γ個の口変化パラメータの集合からなる。口変化パラメータは、例えば口全体の大きさないし面積、幅、高さ等を表すパラメータであってよい。
【００２８】
図５は、各ｔ秒間隔（典型的には、ｔ＝１秒）におけるパラメータｐｉ、ｅｊ、ｍｋの変化態様の一例を示す。このように、変化パラメータを複数のパーツないし向きで分けることにより、多様なアクションを多面的に検出することが可能となる。
【００２９】
［アクショントリガ生成処理］
アクショントリガ生成モジュール１３０は、不特定多数の被験者に対する試験結果に基づいて予め構築されたアクションデータベース１３２を用いる。アクションデータベース１３２には、各アクションに対する顔部の向き及び変形に関する変化パラメータが格納されている。本例では、眠気の早期段階で観測される所定の異なるアクションＡｌ（ｌ＝1,…）を、検出対象として用いる。検出対象のアクションは、例えば、ため息、あくび、目のみひらき、しかめ顔をするときの口の動き等である。
【００３０】
アクショントリガ生成モジュール１３０は、現在の姿勢、目、口の部類の変化パラメータと、アクションデータベース１３２内の値とをマッチングすることによって、検出対象のアクションの発生の有無を判断する。マッチングが所定の許容閾値内で見出された場合には、該当するアクションが発生したと判断して、アクショントリガデータパケットがアクション情報と共に生成される。簡易的な例として、例えば、あるｔ秒間に図６（Ａ）に示すようなパラメータｍｋの変化態様が得られた場合、当該変化態様が、図６（Ｂ）に示すようなアクションデータベース１３２内のアクションＡｉに係る同変化態様や、図６（Ｃ）に示すようなアクションデータベース１３２内のアクションＡｊに係る同変化態様に対してマッチングされる。この場合、例えば、アクションＡｉに係る変化態様との所定の許容閾値内でのマッチングが実現され、アクションＡｉが発生したと判断されることになる。
【００３１】
アクショントリガ生成モジュール１３０は、上述の如くアクションの発生を検出すると、アクショントリガデータパケットを生成する。アクショントリガデータパケットは、適切な時間間隔（本例では、毎秒）で生成される。
【００３２】
図７は、アクショントリガデータパケットのデータ構造の一例を示す図である。パケットＩＤフィールドにおいては、発生したと判断されたアクションを特定するアクションＩＤコードが書き込まれる。また、アクションの開始時刻、継続時間、アクションの大きさが書き込まれる。アクションの大きさは、各パラメータｐｉ、ｅｊ、ｍｋの大きさの平均値で表されてよい。アクション発生が終了すると、継続／終了ビットがＯＦＦ（ゼロ）に設定される。尚、例えば、あるアクションが１秒だけ継続した場合には、１つのアクショントリガデータパケットが生成されることになる。
【００３３】
［アクション頻度算出処理］
アクション頻度算出モジュール１４０は、アクショントリガデータパケットを用いて、各アクションの発生の頻度を算出する。アクション頻度算出モジュール１４０は、先ず、Ｔ秒（好ましくは１８０秒）の区間のアクショントリガデータパケットをバッファーに入れ、アクションが発生したか否かをチェックする。例えば、アクションＡｉの発生を示すＮ個のデータパケットが、バッファーに蓄積された場合、当該アクションＡｉの発生頻度は、Ｎ／Ｔで表される。算出された各アクションの発生頻度は、記録され、バッファーはＴ毎にリフレッシュされる。頻度が全く算出されない場合は、当該Ｔ秒間にアクションが全くなかったことを意味する。
【００３４】
［アクション確率指標値データ読み出し処理］
図８は、覚醒度と被験者の状態との対応関係の一例を表す表図である。本例では、図８に示すように、覚醒度は、６段階Ｌ１〜Ｌ６で表される。即ち、覚醒度Ｌ１は、もっとも眠気が強い状態であり、覚醒度Ｌ６は、もっとも眠気が弱い状態である。詳細については、図８に示されている。
【００３５】
覚醒度推定モジュール１６０は、アクショントリガデータパケットを用いて、アクションが発生したか否かをリアルタイムで判断し、アクションが発生したと判断した場合には、当該アクションに係るアクション確率指標値Ｃを、アクション確率指標値データベース１５０から読み出す。アクション確率指標値Ｃは、各覚醒度Ｌ１〜Ｌ６におけるアクションＡｌの発生確率をアクションＡｌ（ｌ＝1,…）毎に表す。
【００３６】
図９は、アクション確率指標値データベース１５０の構築方法の好ましい一例を示す図である。
【００３７】
アクション確率指標値データベース１５０内のアクション確率指標値Ｃは、被験者の覚醒度を把握した状態で行った試験（官能評価試験）により得られる各アクションの発生回数とそのときの覚醒度Ｌ１〜Ｌ６との対応関係に基づいて導出される。例えば、図９には、ある特定のアクションＡｋに関する試験結果が示されている。ここでは、異なる３つのセッションＳ１〜Ｓ３で取得された試験結果が示されている。各セッションＳ１，Ｓ２，Ｓ３は、好ましくは互いに時間を置いて（例えば異なる日に）設定される。セッションＳ１では、アクションＡｋは、覚醒度Ｌ６のときに１回、覚醒度Ｌ５のときに５回、覚醒度Ｌ４のときに４回、それぞれ発生している。また、セッションＳ２では、アクションＡｋは、覚醒度Ｌ６のときに１回、覚醒度Ｌ５のときに０回、覚醒度Ｌ４のときに４回、それぞれ発生している。また、セッションＳ３では、アクションＡｋは、覚醒度Ｌ６のときに１回、覚醒度Ｌ５のときに６回、覚醒度Ｌ４のときに２回、それぞれ発生している。尚、覚醒度Ｌ２〜Ｌ１の各段階では、いずれのセッションでもアクションＡｋが発生していない。
【００３８】
図９に示す例では、セッションＳ１でのアクションＡｋの全発生回数が１０回であるので、セッションＳ１でのアクションＡｋに係るアクション確率指標値Ｃ（Ａｋ）は、覚醒度Ｌ６に対して１／１０、覚醒度Ｌ５に対して５／１０、覚醒度Ｌ４に対して４／１０となる。同様に、セッションＳ２でのアクションＡｋの全発生回数が５回であるので、セッションＳ２でのアクションＡｋに係るアクション確率指標値Ｃ（Ａｋ）は、覚醒度Ｌ６に対して１／５、覚醒度Ｌ５に対して０／５、覚醒度Ｌ４に対して４／５となる。また、セッションＳ３でのアクションＡｋの全発生回数が９回であるので、セッションＳ３でのアクションＡｋに係るアクション確率指標値Ｃ（Ａｋ）は、覚醒度Ｌ６に対して１／９、覚醒度Ｌ５に対して６／９、覚醒度Ｌ４に対して２／９となる。
【００３９】
このように、例えば、覚醒度Ｌ５に対するアクション確率指標値Ｃ（Ａｋ）が、セッションＳ１では５／１０、セッションＳ２では０／５、セッションＳ３では６／９といったように、セッション毎に同一の覚醒度に対するアクション確率指標値Ｃ（Ａｋ）が異なる値となるのは、被験者の状態（例えば体調や気分）がセッション毎に異なることに起因していると考えられる。そこで、本実施例では、このような被験者の状態の相違に起因したばらつきの影響を無くすために、各セッションＳ１，Ｓ２，Ｓ３に係るアクション確率指標値Ｃ（Ａｋ）を平均化することで、最終的なアクション確率指標値Ｃ（Ａｋ）を導出する。即ち、覚醒度Ｌ６に対するアクション確率指標値Ｃ（Ａｋ）は、（１／１０＋１／５＋１／９）÷３＝０．１３７と導出される。同様に、覚醒度Ｌ５に対するアクション確率指標値Ｃ（Ａｋ）は、（５／１０＋０／５＋６／９）÷３＝０．３８９と導出される。また、覚醒度Ｌ４に対するアクション確率指標値Ｃ（Ａｋ）は、（４／１０＋４／５＋２／９）÷３＝０．４７４と導出される。
【００４０】
表１は、アクション確率指標値データベース１５０におけるアクションＡｋに関するデータ内容の一例を示す表図である。尚、他のアクションＡｌ（ｌ＝1,…但しｋを除く）についてもそれぞれ同様のデータがアクション確率指標値データベース１５０に保持される。
【００４１】
【表１】
2008278949.tif 000003
表１に示す例では、覚醒度Ｌ１〜Ｌ６の段階毎に、アクションＡｋに関するアクション頻度の平均値（各セッションでのアクション頻度の平均値）μ、同アクション頻度の標準偏差（各セッションでのアクション頻度の標準偏差）σ、アクションＡｋに関するアクション頻度の最小値（アクション頻度の取りうる下限値）、同アクション頻度の最大値（アクション頻度の取りうる上限値）、及び、アクション確率指標値Ｃが示されている。尚、アクション確率指標値Ｃ（Ａｋ）としては、上述の如くセッション毎の値を平均化したものが格納される。
【００４２】
図１０は、ある特定のアクションＡｊに関するアクション頻度の平均値μとアクション確率指標値Ｃをグラフ化した図である。アクション頻度の平均値μは棒グラフで表され、アクション確率指標値Ｃは折れ線グラフで表されている。図１０に示すように、アクション頻度の平均値μとアクション確率指標値Ｃは、必ずしも覚醒度Ｌ１〜Ｌ６の各段階に対して同様の傾向を示さず、例えば、アクション頻度の平均値μは、覚醒度Ｌ５で最大となるのに対して、アクション確率指標値Ｃは、覚醒度Ｌ３で最大となる。
【００４３】
尚、本実施例では、覚醒度推定モジュール１６０は、上述の如くアクションが発生したと判断した場合には、表１に示したような当該アクションに係るアクション確率指標値Ｃとアクション頻度の平均値μ等に関するデータ（以下、「アクション関連データ」という）を、アクション確率指標値データベース１５０から読み出すものとする。また、アクション確率指標値データベース１５０内のアクション関連データは、被験者毎に別々に作成・管理されてもよい。この場合、覚醒度推定モジュール１６０は、上述の如くアクションが発生したと判断した場合には、当該アクションに係るアクション関連データであって、現在の被験者に係るアクション関連データを、アクション確率指標値データベース１５０から読み出す。
【００４４】
［覚醒度推定処理］
図１１は、覚醒度推定モジュール１６０により実現される覚醒度推定処理（図２のステップ６０）の詳細を示すフローチャートである。尚、覚醒度推定モジュール１６０には、上述の如く、何らかのアクションが検出される毎に、アクション頻度算出モジュール１４０により算出されるそのアクションの発生頻度（即ち、現時点から過去Ｔ秒内における当該アクションの発生頻度）が、随時供給される。以下のステップ６００からステップ６０８までの処理は、新たなアクションが検出される毎に実行される。
【００４５】
ステップ６０２では、覚醒度推定モジュール１６０は、上述の如くアクション確率指標値データベース１５０から読み出したアクション関連データに基づいて、今回検出されたアクションに係る各覚醒度Ｌ１〜Ｌ６のアクション確率指標値Ｃのうち、所定閾値Ｔｈ１以上のアクション確率指標値Ｃが存在するか否かを判定する。所定閾値Ｔｈ１は、例えば０．９（９０％）であってよい。例えば、今回検出されたアクションが表１に示したアクションＡｋである場合、各覚醒度Ｌ１〜Ｌ６のアクション確率指標値Ｃは、表１に示すように全て０．９より小さいので、本ステップ６０２では否定判定されることになる。本ステップ６０２で肯定判定された場合には、ステップ６０４に進み、本ステップ６０２で否定判定された場合には、ステップ６０６に進む。
【００４６】
ステップ６０４では、覚醒度推定モジュール１６０は、所定閾値Ｔｈ１以上のアクション確率指標値Ｃに基づいて、現在の被験者の覚醒度を推定する。具体的には、覚醒度推定モジュール１６０は、所定閾値Ｔｈ１以上のアクション確率指標値Ｃに対応する覚醒度を、現在（今回周期）の被験者の覚醒度とする。例えば、今回検出されたアクションが表１に示したアクションＡｋであり、仮に表１の例で覚醒度Ｌ４に対するアクション確率指標値Ｃが“０．９１”（実際には０．４７４）であった場合には、覚醒度推定モジュール１６０は、現在の被験者の覚醒度を“Ｌ４”と推定する。
【００４７】
ステップ６０６では、覚醒度推定モジュール１６０は、アクション確率指標値Ｃとアクション頻度を併用して、現在の被験者の覚醒度を推定する。具体的には、覚醒度推定モジュール１６０は、アクション確率指標値Ｃとアクション頻度とを結合させた新たな指標値ＣＣＯＭ（以下、「結合指標値ＣＣＯＭ」という）を算出し、当該算出した結合指標値ＣＣＯＭに基づいて、現在（今回周期）の被験者の覚醒度を推定する。結合指標値ＣＣＯＭは、アクション確率指標値Ｃとアクション頻度とを適切な重み付けにより結合して導出されてよい。
【００４８】
（結合指標値ＣＣＯＭの算出方法の一例）
例えば、結合指標値ＣＣＯＭは、以下のようにして導出されてもよい。
【００４９】
まず、覚醒度推定モジュール１６０は、今回検出されたアクションに対応する５つのファクタ、即ち、アクション頻度算出モジュール１４０により算出されるアクションの発生頻度ｆと、アクション確率指標値データベース１５０内のアクション頻度の平均値μと、同アクション頻度の標準偏差σと、アクション頻度の下限値と、アクション頻度の上限値とに基づいて、各覚醒度Ｌ１〜Ｌ６の結合ファクタνを算出する。具体的には、アクション頻度算出モジュール１４０により算出されるアクションの発生頻度ｆが、アクション頻度の下限値とアクション頻度の上限値との間に無い場合には、結合ファクタνをゼロとする。例えば、表１に示した例で、今回検出されたアクションが表１に示したアクションＡｋであり、アクション頻度算出モジュール１４０により算出される現在のアクションＡｋの発生頻度ｆがｆ＝３．６７である場合、３．６７は覚醒度Ｌ６のアクション頻度の上限値（＝１．０００）を超えるので、覚醒度Ｌ６の結合ファクタνはゼロとなる。他方、現在のアクションＡｋの発生頻度ｆ＝３．６７は、覚醒度Ｌ５のアクション頻度の下限値とアクション頻度の上限値との間にあるので（即ち０．４５２＜３．６７＜６．８８１であるので）、覚醒度Ｌ５の結合ファクタνは、現在のアクションの発生頻度ｆと、アクション確率指標値データベース１５０内のアクション頻度の平均値μと、アクション確率指標値データベース１５０内のアクション頻度の標準偏差σとを用いて、ν＝１−（｜ｆ−μ｜）／（｜μ＋σ｜）として算出される。
【００５０】
【表２】
2008278949.tif 000004
覚醒度推定モジュール１６０は、次いで、上述の如く算出した各覚醒度Ｌ１〜Ｌ６の結合ファクタνを、各覚醒度Ｌ１〜Ｌ６のアクション確率指標値Ｃにそれぞれ掛け算することにより、各覚醒度Ｌ１〜Ｌ６の補正値ζを算出する。例えば、覚醒度Ｌ４の補正値ζは、覚醒度Ｌ４の結合ファクタν（＝０．９２５）を、覚醒度Ｌ４のアクション確率指標値Ｃ（＝０．４７４）に乗ずることにより、ζ＝０．４３９（＝０．９２５×０．４７４）として求められる。
【００５１】
以下の表３は、上述の如く算出される各覚醒度Ｌ１〜Ｌ６の補正値ζを示す表図である。
【００５２】
【表３】
2008278949.tif 000005
覚醒度推定モジュール１６０は、次いで、上述の如く算出した各覚醒度Ｌ１〜Ｌ６の補正値ζを、各覚醒度Ｌ１〜Ｌ６のアクション確率指標値Ｃにそれぞれ足し算することにより、各覚醒度Ｌ１〜Ｌ６の結合値ηを算出する。例えば、覚醒度Ｌ４の結合値ηは、覚醒度Ｌ４の補正値ζ（＝０．４３９）を、覚醒度Ｌ４のアクション確率指標値Ｃ（＝０．４７４）に足すことにより、η＝０．９１３（＝０．４３９＋０．４７４）として求められる。
【００５３】
覚醒度推定モジュール１６０は、次いで、上述の如く算出した各覚醒度Ｌ１〜Ｌ６の結合値ηを標準化して、各覚醒度Ｌ１〜Ｌ６の結合指標値ＣＣＯＭを算出する。例えば、覚醒度Ｌ４の結合指標値ＣＣＯＭは、覚醒度Ｌ４の結合値η（＝０．９１３）を、各覚醒度Ｌ１〜Ｌ６の結合値ηの和（Ση）で割って１００を乗ずることで、算出される。
【００５４】
以下の表４は、上述の如く算出される各覚醒度Ｌ１〜Ｌ６の補正値ζ及び結合指標値ＣＣＯＭを示す表図である。
【００５５】
【表４】
2008278949.tif 000006
覚醒度推定モジュール１６０は、上述の如く算出した結合指標値ＣＣＯＭに基づいて、結合指標値ＣＣＯＭが最も大きい覚醒度を、現在の被験者の覚醒度とする。例えば、表４に示す例では、覚醒度推定モジュール１６０は、覚醒度Ｌ４の結合指標値ＣＣＯＭが４９．９４４と最も大きいことから、現在の被験者の覚醒度を“Ｌ４”と推定する。
【００５６】
以下の表５は、表１に示した例で、現在のアクションＡｋの発生頻度がｆ＝５．６０である場合の各値の算出結果を示す。
【００５７】
【表５】
2008278949.tif 000007
現在のアクションＡｋの発生頻度がｆ＝５．６０である場合、覚醒度推定モジュール１６０は、表５に示すように、覚醒度Ｌ１の結合指標値ＣＣＯＭが５２．２４３と最も大きいことから、現在の被験者の覚醒度を“Ｌ１”と推定する。
【００５８】
ステップ６０８では、覚醒度推定モジュール１６０は、上述の如くステップ６０４又はステップ６０６で推定した覚醒度を、警告手段１７０に対して、被験者の覚醒度の推定結果として出力する。
【００５９】
［警告処理］
警告手段１７０は、覚醒度推定モジュール１６０から出力される覚醒度の推定結果に基づいて、例えば覚醒度の低下が推定された場合には、被験者に対して音声や映像により出力する。或いは、警告手段１７０は、覚醒度推定モジュール１６０により推定された覚醒度がＬ３以下となった場合に、被験者に対して音声や映像により出力する。尚、警報の出力態様は多種多様でありえ、被験者がドライバである場合、シートに埋設した振動体により振動を発生したり、シート（座席）に設けた空気穴から空気を吹き出したり、覚醒を促進させるための匂いを発生したり、ステアリングハンドルの温度を変化させたり、メーター内に警告サインを出力したりしてもよい。また、警告手段１７０は、覚醒度推定モジュール１６０により推定された覚醒度に応じて木目細やかに警報の出力態様を変化させてもよい。
【００６０】
以上説明した本実施例によれば、アクション毎にそのアクションが現れやすい覚醒度に一定の傾向が現れ、同じアクションでも異なる複数の覚醒度で現れることに着目して、上述の如く、複数の覚醒度Ｌ１〜Ｌ６のそれぞれにおけるアクションの発生確率を表すアクション確率指標値Ｃを用いることで、精度良く被験者の覚醒度を推定することができる。また、被験者の体調や気分等の不確定な要素に依存して、覚醒度と出現するアクションとの関係の傾向が変動する場合があるが、アクション確率指標値Ｃを、同一の被験者に対する異なる日時の試験結果に基づいて生成することで、かかる不確定な要素の影響を抑えて、精度良く被験者の覚醒度を推定することができる。
【００６１】
また、上述の如く、あるアクションが検出され、当該アクションに係るある覚醒度のアクション確率指標値Ｃが所定閾値Ｔｈ１以上の場合には、当該所定閾値Ｔｈ１以上のアクション確率指標値Ｃである覚醒度を、現在の被験者の覚醒度として推定することで、迅速且つ高精度に、当該あるアクションが発生したときの被験者の覚醒度を推定することができる。即ち、所定閾値Ｔｈ１以上のアクション確率指標値Ｃを持つアクションが検出された場合には、そのアクションの発生頻度を実質的に評価することを要せずに、迅速且つ高精度に、そのとき被験者の覚醒度を推定することができる。
【００６２】
また、上述の如く、あるアクションが検出され、当該アクションに関して所定閾値Ｔｈ１以上のアクション確率指標値Ｃがアクション確率指標値データベース１５０に記憶されていない場合でも、アクション確率指標値Ｃとアクションの発生頻度に関する指標値とを併用することで、当該あるアクションが発生したときの被験者の覚醒度を高精度に推定することができる。
【実施例２】
【００６３】
ところで、実際には、各アクションが単独で発生する場合もあれば、複数の異なるアクションが時間的に近接して連続的に発生する場合もある。この複数の異なるアクションの組み合わせについても、単独のアクションと同様、アクションの組み合わせが現れやすい覚醒度に一定の傾向が現れ、同じアクションの組み合わせでも異なる複数の覚醒度で現れる場合がある。
【００６４】
実施例２では、この点を考慮して、２以上のアクションの組み合わせに対して、上述のアクション確率指標値Ｃを設定する。即ち、上述の実施例１では、単独のアクションに関してアクション確率指標値Ｃを設定しているが、実施例２では、２以上のアクションの組み合わせに対して、上述の同様の指標値であるアクション確率指標値Ｃを設定する。以下では、実施例２に特有に構成、即ち、アクション確率指標値データベース１５０内のデータ内容と、アクション頻度算出処理、覚醒度推定処理について説明し、他の処理（図２のステップ４０、６０以外の処理）については上述の実施例１と同様であってよい。また、実施例２におけるハードウェア構成は、上述の実施例１と同一であり、従って上述の実施例１と同一の参照符号を付して説明していく。
【００６５】
アクション確率指標値Ｃは、官能評価試験による学習により、時間的に近接して発生する２種類以上のアクションの組み合わせの発生回数とそのときの覚醒度Ｌ１〜Ｌ６との対応関係に基づいて生成される。例えば、アクションＡ０１とＡ０６の組み合わせが、あるセッションで、覚醒度Ｌ６で２回、覚醒度Ｌ５で３回、覚醒度Ｌ４で４回、覚醒度Ｌ３で１回、合計１０回発生した場合、当該セッションにおける覚醒度Ｌ６，Ｌ５，Ｌ４，Ｌ３の各アクション確率指標値Ｃは、それぞれ、２／１０，３／１０，４／１０，１／１０となる。上述の実施例１と同様、各アクション確率指標値Ｃは、好ましくは、異なる日時で実行された複数のセッションの結果を平均化して算出される。この際、好ましくは、連続して発生する２つのアクションの発生順序を考慮して学習を行う。これは、２つのアクションの発生順序とそのときの覚醒度との間に何らかの因果関係があることが多いからである。例えば、アクションＡ０１とＡ０６の組み合わせに対しては、アクションＡ０１が最初に生じアクションＡ０６が続いて生じた場合と、アクションＡ０６が最初に生じアクションＡ０１が続いて生じた場合とに区別して（発生順序に相違に応じて）、２種類のアクション確率指標値Ｃが用意される。
【００６６】
このようにして得られるアクション確率指標値Ｃは、上述の実施例１と同様、アクション確率指標値データベース１５０内のアクション関連データの一部として記憶される。アクション関連データは、アクション確率指標値Ｃの他、２以上のアクションの組み合わせの発生頻度の平均値、２以上のアクションの組み合わせの発生頻度の標準偏差等（表１参考）を含んでよい。
【００６７】
［アクション頻度算出処理］
アクション頻度算出モジュール１４０は、上述の実施例１と同様に、単一のアクションの発生頻度を算出すると共に、２以上のアクションが時間的に近接して検出される場合には、２以上のアクションの組み合わせの発生頻度についても算出する。
【００６８】
［覚醒度推定処理］
図１２は、覚醒度推定モジュール１６０により実現される覚醒度推定処理の詳細を示すフローチャートである。尚、覚醒度推定モジュール１６０には、上述の如く、何らかのアクションが検出される毎に、アクション頻度算出モジュール１４０により算出されるそのアクションの発生頻度が、随時供給される。また、覚醒度推定モジュール１６０には、上述の如く、２以上のアクションが時間的に近接して検出される場合には、アクション頻度算出モジュール１４０により算出される２以上のアクションの組み合わせの発生頻度（即ち、現時点から過去Ｔ秒内における当該２以上のアクションの組み合わせの発生頻度）が、随時供給される。以下のステップ７００からステップ７１２までの処理は、新たなアクションが検出される毎に実行される。
【００６９】
ステップ７０２では、覚醒度推定モジュール１６０は、今回検出されたアクションの発生時点よりも所定時間前に他のアクションが発生していたか否かを判定する。即ち、時間的に近接して２以上のアクションの組み合わせが発生したか否かを判定する。所定時間は、例えば５〜１０秒の範囲内の適切な値であってよい。時間的に近接して２以上のアクションの組み合わせが発生した場合には、ステップ７０４に進み、それ以外の場合、即ち今回検出されたアクションが単独で発生した場合には、上述の実施例１における図１１の処理が実行されてよい。
【００７０】
ステップ７０４では、覚醒度推定モジュール１６０は、今回検出された２以上のアクションの組み合わせに関するアクション関連データを、アクション確率指標値データベース１５０から読み出す。尚、アクション確率指標値データベース１５０内のアクション関連データは、被験者毎に別々に作成・管理されてもよい。この場合、覚醒度推定モジュール１６０は、上述の如く２以上のアクションの組み合わせが発生したと判断した場合には、当該２以上のアクションの組み合わせに係るアクション関連データであって、現在の被験者に係るアクション関連データを、アクション確率指標値データベース１５０から読み出す。
【００７１】
ステップ７０６では、上述の実施例１におけるステップ６０２と同様、覚醒度推定モジュール１６０は、上述の如くアクション確率指標値データベース１５０から読み出したアクション関連データに基づいて、今回検出された２以上のアクションの組み合わせに係る各覚醒度Ｌ１〜Ｌ６のアクション確率指標値Ｃのうち、所定閾値Ｔｈ１以上のアクション確率指標値Ｃが存在するか否かを判定する。所定閾値Ｔｈ１は、例えば０．９（９０％）であってよい。本ステップ７０６で肯定判定された場合には、ステップ７０８に進み、本ステップ７０６で否定判定された場合には、ステップ７１０に進む。
【００７２】
ステップ７０８では、上述の実施例１におけるステップ６０４と同様、覚醒度推定モジュール１６０は、所定閾値Ｔｈ１以上のアクション確率指標値Ｃに基づいて、現在の被験者の覚醒度を推定する。具体的には、覚醒度推定モジュール１６０は、所定閾値Ｔｈ１以上のアクション確率指標値Ｃに対応する覚醒度を、現在の被験者の覚醒度とする。
【００７３】
ステップ７１０では、覚醒度推定モジュール１６０は、アクション確率指標値Ｃとアクション頻度を併用して、現在の被験者の覚醒度を推定する。この推定方法は、上述の実施例１におけるステップ６０６と実質的に同様であってよい。即ち、推定の用いる値が、単独のアクションに係る値から、２以上のアクションの組み合わせに係る値に代わるだけである。
【００７４】
ステップ７１２では、覚醒度推定モジュール１６０は、上述の如くステップ７０８又はステップ７１０で推定した覚醒度を、警告手段１７０に対して、被験者の覚醒度の推定結果として出力する。
【００７５】
以上説明した本実施例２によれば、２以上のアクションの組み合わせ毎にその組み合わせが現れやすい覚醒度に一定の傾向が現れ、同じ組み合わせでも異なる複数の覚醒度で現れることに着目して、上述の如く、複数の覚醒度Ｌ１〜Ｌ６のそれぞれにおける２以上のアクションの組み合わせの発生確率を表すアクション確率指標値Ｃを用いることで、精度良く被験者の覚醒度を推定することができる。また、被験者の体調や気分等の不確定な要素に依存して、覚醒度と出現する２以上のアクションの組み合わせとの関係の傾向が変動する場合があるが、アクション確率指標値Ｃを、同一の被験者に対する異なる日時の試験結果に基づいて生成することで、かかる不確定な要素の影響を抑えて、精度良く被験者の覚醒度を推定することができる。
【００７６】
また、上述の如く、ある２以上のアクションの組み合わせが検出され、当該２以上のアクションの組み合わせに係るある覚醒度のアクション確率指標値Ｃが所定閾値Ｔｈ１以上の場合には、当該所定閾値Ｔｈ１以上のアクション確率指標値Ｃである覚醒度を、現在の被験者の覚醒度として推定することで、迅速且つ高精度に、当該ある２以上のアクションの組み合わせが発生したときの被験者の覚醒度を推定することができる。即ち、所定閾値Ｔｈ１以上のアクション確率指標値Ｃを持つ２以上のアクションの組み合わせが検出された場合には、その２以上のアクションの組み合わせの発生頻度を評価することなく、迅速且つ高精度に、そのとき被験者の覚醒度を推定することができる。
【００７７】
また、上述の如く、ある２以上のアクションの組み合わせが検出され、当該２以上のアクションの組み合わせに関して所定閾値Ｔｈ１以上のアクション確率指標値Ｃがアクション確率指標値データベース１５０に記憶されていない場合でも、アクション確率指標値Ｃと、２以上のアクションの組み合わせの発生頻度に関する指標値とを併用することで、当該ある２以上のアクションの組み合わせが発生したときの被験者の覚醒度を高精度に推定することができる。
【００７８】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００７９】
例えば、上述の実施例では、被験者の覚醒度は、６段階で評価されているが、本発明は、特に６段階に分けることに限定されること無く、他の態様で覚醒度を類型化してもよい。但し、本発明は、３段階以上で覚醒度を推定する場合に好適である。これは、覚醒度をきめ細かく推定できるだけでなく、上述の如くアクション確率指標値Ｃは、眠いか眠くないかの２段階の場合よりも、３段階以上の方が覚醒度毎の差異が大きくなりやすい場合があるからである。
【００８０】
また、上述の実施例では、アクション確率指標値データベース１５０内のアクション関連データは、被験者の覚醒度が把握された状態で実行された試験結果に基づいて作成されているが、実稼動時の被験者の覚醒度の推定結果を正しいと仮定して、学習により構築されてもよい。
【００８１】
また、上述の実施例では、眠気に関する被験者の覚醒度を推定しているが、眠気以外に関する被験者の覚醒度、例えば疲れに関する被験者の覚醒度（即ち疲れ度合い）を推定してもよい。
【００８２】
また、上述の実施例では、アクション確率指標値Ｃに関するデータと、アクションの発生頻度等に関するデータは、アクション関連データとして一括して同一のデータベース（アクション確率指標値データベース１５０）内に記憶されているが、それぞれ別々のデータベースに記憶されてもよい。
【００８３】
また、上述の実施例では、各セッションＳ１，Ｓ２，Ｓ３の試験結果から導出される各覚醒度Ｌ１〜Ｌ６のアクション確率指標値Ｃを平均することで、各覚醒度Ｌ１〜Ｌ６のアクション確率指標値Ｃを導出しているが、各覚醒度Ｌ１〜Ｌ６のアクション確率指標値Ｃは、全セッションの試験結果を一括的に平均して導出されてもよい。例えば、上述の図９に示す例では、例えば覚醒度Ｌ６のアクション確率指標値Ｃは、（１＋１＋１）÷（１０＋５＋９）により導出されてもよい。
【図面の簡単な説明】
【００８４】
【図１】本発明による覚醒度推定システムの一実施例のシステム構成図である。
【図２】本実施例による覚醒度推定システムにより実現される主要処理の流れを示す図である。
【図３】アクション追跡モジュール１２０により実現されるアクション追跡処理（図２のステップ２０）の詳細を示すフローチャートである。
【図４】顔の眉と目の部分がパーツとして抽出された画像を示す図である。
【図５】各ｔ秒間隔（典型的には、ｔ＝１秒）におけるパラメータｐｉ、ｅｊ、ｍｋの変化態様の一例を示す。
【図６】アクション発生判断手法の一例を示す図である。
【図７】アクショントリガデータパケットのデータ構造の一例を示す図である。
【図８】覚醒度と被験者の状態との対応関係の一例を表す表図である。
【図９】アクション確率指標値データベース１５０の構築方法の好ましい一例を示す図である。
【図１０】アクション確率指標値データベース１５０のデータ内容の一例を示す図である。
【図１１】実施例１による覚醒度推定モジュール１６０により実現される覚醒度推定処理（図２のステップ６０）の詳細を示すフローチャートである。
【図１２】実施例２による覚醒度推定モジュール１６０により実現される覚醒度推定処理の詳細を示すフローチャートである。
【符号の説明】
【００８５】
１００    覚醒状態推定装置
１１０    画像取得手段
１２０    アクション追跡モジュール
１３０    アクショントリガ生成モジュール
１３２    アクションデータベース
１４０    アクション頻度算出モジュール
１５０    アクション確率指標値データベース
１６０    覚醒度推定モジュール
１７０    警告手段
【図１】
2008278949.tif 000008
【図２】
2008278949.tif 000009
【図３】
2008278949.tif 000010
【図４】
2008278949.tif 000011
【図５】
2008278949.tif 000012
【図６】
2008278949.tif 000013
【図７】
2008278949.tif 000014
【図８】
2008278949.tif 000015
【図９】
2008278949.tif 000016
【図１０】
2008278949.tif 000017
【図１１】
2008278949.tif 000018
【図１２】
2008278949.tif 000019