(57)【要約】【解決課題】精度よく意識低下状態を判定することができるようにする。【解決手段】対数スペクトル算出部３３によって、瞬目パターン生成部３２で生成された瞬目パターン情報の瞬目動作波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する。そして、ケプストラム係数抽出部３４によって、算出された対数スペクトルを逆フーリエ変換し、複数の次元の各々のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出する。そして、眠気判定部３７によって、ケプストラム係数抽出部３４によって抽出された高次ｄ次元分のケプストラム係数と、確率分布格納部３６に格納されている眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布を正規確率分布で近似した場合のパラメータとに基づいて、眠気状態を判定する。【選択図】図２
2008228759.tif 000002
【特許請求の範囲】
【請求項１】
被観察者の顔画像を撮像する撮像手段と、
前記撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段と、
前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段と、
前記抽出手段によって抽出された特徴量に基づいて、前記被観察者の意識低下状態を判定する判定手段と、
を含む意識低下判定装置。
【請求項２】
車両の運転者の運転操作量を検出する操作量検出手段と、
前記操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段と、
前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段と、
前記抽出手段によって抽出された特徴量に基づいて、前記運転者の意識低下状態を判定する判定手段と、
を含む意識低下判定装置。
【請求項３】
前記所定の次数のケプストラム係数は、予め定められた次数以上の予め定められた範囲の高次のケプストラム係数である請求項１又は２記載の意識低下判定装置。
【請求項４】
前記所定のケプストラム係数は、予め定められた次数以下の予め定められた範囲の低次のケプストラム係数である請求項１又は２記載の意識低下判定装置。
【請求項５】
前記所定のケプストラム係数は、予め定められた第１次数以下の予め定められた第１範囲の低次のケプストラム係数及び前記第１次数より高い予め定められた第２次数以上の予め定められた第２範囲の高次のケプストラム係数である請求項１又は２記載の意識低下判定装置。
【請求項６】
前記判定手段は、意識低下状態における前記所定の次数のケプストラム係数の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記意識低下状態を判定する請求項１〜請求項５の何れか１項記載の意識低下判定装置。
【請求項７】
前記判定手段は、意識低下状態を示す予め定められた複数の意識低下レベルの各々における前記所定の次数のケプストラム係数の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する請求項６記載の意識低下判定装置。
【請求項８】
被観察者の顔画像を撮像する撮像手段と、
前記撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段と、
意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段と、
少なくとも前回判定された前記被観察者の意識低下レベルを記憶するレベル記憶手段と、
前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段と、
前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段と、
前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記被観察者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段と、
を含む意識低下判定装置。
【請求項９】
車両の運転者の運転操作量を検出する操作量検出手段と、
前記操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段と、
意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段と、
少なくとも前回判定された前記運転者の意識低下レベルを記憶するレベル記憶手段と、
前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段と、
前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段と、
前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記運転者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段と、
を含む意識低下判定装置。
【請求項１０】
前記抽出手段は、前記撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段を備え、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を前記特徴量として抽出する請求項８記載の意識低下判定装置。
【請求項１１】
前記抽出手段は、前記操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段を備え、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を前記特徴量として抽出する請求項９記載の意識低下判定装置。
【請求項１２】
前記レベル記憶手段は、前回判定された前記意識低下レベル及び前回以前に判定された前記意識低下レベルを記憶し、
前記検索手段は、前記レベル記憶手段に記憶された意識低下レベルの状態遷移から前記複数の意識低下レベルの各々へのパターンの状態遷移に対する状態遷移確率値を前記確率記憶手段から検索する請求項８〜請求項１１の何れか1項記載の意識低下判定装置。
【請求項１３】
前記確率記憶手段に記憶された状態遷移確率値は、マルコフモデルに基づいて定められる状態遷移確率値である請求項８〜請求項１２の何れか１項記載の意識低下判定装置。
【請求項１４】
被観察者の顔画像を撮像する撮像手段と、
前記撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段と、
複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段と、
前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は前記確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記被観察者の意識低下状態として判定する判定手段と、
を含む意識低下判定装置。
【請求項１５】
車両の運転者の運転操作量を検出する操作量検出手段と、
前記操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段と、
複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段と、
前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記運転者の意識低下状態として判定する判定手段と、
を含む意識低下判定装置。
【請求項１６】
前記抽出手段は、前記撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段を備え、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を前記特徴量として抽出する請求項１４記載の意識低下判定装置。
【請求項１７】
前記抽出手段は、前記操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段を備え、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を前記特徴量として抽出する請求項１５記載の意識低下判定装置。
【請求項１８】
コンピュータを、
被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段、
前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段、及び
前記抽出手段によって抽出された特徴量に基づいて、前記被観察者の意識低下状態を判定する判定手段
として機能させるためのプログラム。
【請求項１９】
コンピュータを、
車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段、
前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段、及び
前記抽出手段によって抽出された特徴量に基づいて、前記運転者の意識低下状態を判定する判定手段
として機能させるためのプログラム。
【請求項２０】
コンピュータを、
被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段、
意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段、
少なくとも前回判定された前記被観察者の意識低下レベルを記憶するレベル記憶手段と、
前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段、
前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段、及び
前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記被観察者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段
として機能させるためのプログラム。
【請求項２１】
コンピュータを、
車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段、
意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段、
少なくとも前回判定された前記運転者の意識低下レベルを記憶するレベル記憶手段と、
前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段、
前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段、及び
前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記運転者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段
として機能させるためのプログラム。
【請求項２２】
コンピュータを、
被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段、
複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段、及び
前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は前記確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記被観察者の意識低下状態として判定する判定手段
として機能させるためのプログラム。
【請求項２３】
コンピュータを、
車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段、
複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段、及び
前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記運転者の意識低下状態として判定する判定手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、意識低下判定装置及びプログラムに係り、特に、被観察者の意識低下状態を判定する意識低下判定装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、瞬目特徴量（瞬き回数、瞬き持続時間、瞬き間間隔）の重み付き加算値を求めて、眠気状態を判定する装置が知られている（例えば、特許文献１）。
【０００３】
また、所定時間内のある閾値以上の閉眼時間を積算した値を用いて居眠り検出を行う居眠り検出器が知られている（例えば、特許文献３）。
【特許文献１】実開昭６２−２０３７３１号公報
【特許文献２】特開平６−２１９１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の特許文献１、２に記載の技術では、瞬目パターンから得られる統計量を用い、覚醒時と眠気時との統計量の差に基づいて、眠気状態を判定しており、瞬目パターンから得られる統計量は、意識低下状態を表わさない特徴も含んでいるため、精度良く判定することができない、という問題がある。
【０００５】
また、上記の特許文献１、２に記載の技術では、意識低下状態の時系列変化を表わす情報を用いて判定していないため、例えば、ある時刻でたまたま被観察者が眼をこすったような場合など、瞬目パターンに何らかの外乱が加わると、判定結果に影響し、判定精度が劣化してしまう、という問題がある。
【０００６】
また、上記の特許文献１、２に記載の技術では、判定の基準となる評定値のゆれをモデル化しておらず、例えば、同じ特徴量に対して異なる評定値が得られたとしても、決定基準を設定することなく閾値を決めなければならないため、精度良く判定することができない、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、精度よく意識低下状態を判定することができる意識低下判定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために第１の発明に係る意識低下判定装置は、被観察者の顔画像を撮像する撮像手段と、前記撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段と、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段と、前記抽出手段によって抽出された特徴量に基づいて、前記被観察者の意識低下状態を判定する判定手段とを含んで構成されている。
【０００９】
第２の発明に係るプログラムは、コンピュータを、被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段、及び前記抽出手段によって抽出された特徴量に基づいて、前記被観察者の意識低下状態を判定する判定手段として機能させるプログラムである。
【００１０】
第１の発明及び第２の発明によれば、撮像手段によって、被観察者の顔画像を撮像し、生成手段によって、撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する。
【００１１】
そして、抽出手段によって、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出し、判定手段によって、抽出手段によって抽出された特徴量に基づいて、前記被観察者の意識低下状態を判定する。
【００１２】
このように、瞬目動作又は視線方向の変化を示す波形情報から、所定の次数のケプストラム係数を抽出して、意識低下状態を判定することにより、意識低下状態を表わさない特徴を分離した特徴量を抽出して判定することができるため、精度よく意識低下状態を判定することができる。
【００１３】
第３の発明に係る意識低下判定装置は、車両の運転者の運転操作量を検出する操作量検出手段と、前記操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段と、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段と、前記抽出手段によって抽出された特徴量に基づいて、前記運転者の意識低下状態を判定する判定手段とを含んで構成されている。
【００１４】
第４の発明に係るプログラムは、コンピュータを、車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段、及び前記抽出手段によって抽出された特徴量に基づいて、前記運転者の意識低下状態を判定する判定手段として機能させるためのプログラムである。
【００１５】
第３の発明及び第４の発明によれば、操作量検出手段によって、車両の運転者の運転操作量を検出し、生成手段によって、操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する。
【００１６】
そして、抽出手段によって、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出し、判定手段によって、抽出手段によって抽出された特徴量に基づいて、前記運転者の意識低下状態を判定する。
【００１７】
このように、操作量の変化を示す波形情報から、所定の次数のケプストラム係数を抽出して、意識低下状態を判定することにより、意識低下状態を表わさない特徴を分離した特徴量を抽出して判定することができるため、精度よく意識低下状態を判定することができる。
【００１８】
上記の所定の次数のケプストラム係数を、予め定められた次数以上の予め定められた範囲の高次のケプストラム係数とすることができる。これによって、意識低下状態を表わす高次のケプストラム係数を特徴量として抽出することができる。
【００１９】
上記の所定のケプストラム係数を、予め定められた次数以下の予め定められた範囲の低次のケプストラム係数とすることができる。これによって、意識低下状態を表わす低次のケプストラム係数を特徴量として抽出することができる。
【００２０】
上記の所定のケプストラム係数を、予め定められた第１次数以下の予め定められた第１範囲の低次のケプストラム係数及び第１次数より高い予め定められた第２次数以上の予め定められた第２範囲の高次のケプストラム係数とすることができる。これによって、意識低下状態を表わす高次のケプストラム係数及び低次のケプストラム係数を特徴量として抽出することができる。
【００２１】
上記の判定手段は、意識低下状態における所定の次数のケプストラム係数の予め定められた確率分布と、抽出手段によって抽出された特徴量とに基づいて、意識低下状態を判定することができる。これにより、確率分布を用いて判定するため、更に精度よく意識低下状態を判定することができる。
【００２２】
上記の判定手段は、意識低下状態を示す予め定められた複数の意識低下レベルの各々における所定の次数のケプストラム係数の予め定められた確率分布と、抽出手段によって抽出された特徴量とに基づいて、意識低下状態が複数の意識低下レベルの何れかであるかを判定することができる。これにより、各意識低下レベルの確率分布を用いて判定するため、更に精度よく意識低下レベルを判定することができる。
【００２３】
第５の発明に係る意識低下判定装置は、被観察者の顔画像を撮像する撮像手段と、前記撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段と、意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段と、少なくとも前回判定された前記被観察者の意識低下レベルを記憶するレベル記憶手段と、前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段と、前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段と、前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記被観察者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段とを含んで構成されている。
【００２４】
第６の発明に係るプログラムは、コンピュータを、被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段、意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段、少なくとも前回判定された前記被観察者の意識低下レベルを記憶するレベル記憶手段と、前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段、前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段、及び前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記被観察者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段として機能させるためのプログラムである。
【００２５】
第５の発明及び第６の発明によれば、撮像手段によって、被観察者の顔画像を撮像し、抽出手段によって、撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する。
【００２６】
そして、算出手段によって、複数の意識低下レベルの各々における特徴量の予め定められた確率分布と、抽出手段によって抽出された特徴量とに基づいて、複数の意識低下レベルの各々に対して、特徴量の確率値又は確率密度値を算出する。また、検索手段によって、レベル記憶手段に記憶された少なくとも前回判定された意識低下レベルから複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を確率記憶手段から検索する。
【００２７】
そして、判定手段によって、算出手段によって算出された確率値又は確率密度値、及び検索手段によって検索された状態遷移確率値に基づいて、被観察者の意識低下状態が複数の意識低下レベルの何れかであるかを判定する。
【００２８】
このように、各意識低下レベルにおける瞬目又は視線方向の特徴量の確率分布に基づく瞬目又は視線方向の特徴量の確率値又は確率密度値と、少なくとも前回判定された意識低下レベルから複数の意識低下レベルの各々への状態遷移の状態遷移確率値とに基づいて、意識低下レベルを判定することにより、意識低下レベルの状態遷移及び確率分布を考慮した確率を用いて判定することができるため、意識低下レベルを精度よく判定することができる。
【００２９】
第７の発明に係る意識低下判定装置は、車両の運転者の運転操作量を検出する操作量検出手段と、前記操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段と、意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段と、少なくとも前回判定された前記運転者の意識低下レベルを記憶するレベル記憶手段と、前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段と、前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段と、前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記運転者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段とを含んで構成されている。
【００３０】
第８の発明に係るプログラムは、コンピュータを、車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段、意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段、少なくとも前回判定された前記運転者の意識低下レベルを記憶するレベル記憶手段と、前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段、前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段、及び前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記運転者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段として機能させるためのプログラムである。
【００３１】
第７の発明及び第８の発明によれば、操作量検出手段によって、車両の運転者の運転操作量を検出し、抽出手段によって、操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する。
【００３２】
そして、算出手段によって、複数の意識低下レベルの各々における特徴量の予め定められた確率分布と、抽出手段によって抽出された特徴量とに基づいて、複数の意識低下レベルの各々に対して、特徴量の確率値又は確率密度値を算出する。また、検索手段によって、レベル記憶手段に記憶された少なくとも前回判定された意識低下レベルから複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を確率記憶手段から検索する。
【００３３】
そして、判定手段によって、算出手段によって算出された確率値又は確率密度値、及び検索手段によって検索された状態遷移確率値に基づいて、被観察者の意識低下状態が複数の意識低下レベルの何れかであるかを判定する。
【００３４】
このように、各意識低下レベルにおける運転操作の特徴量の確率分布に基づく運転操作の特徴量の確率値又は確率密度値と、少なくとも前回判定された意識低下レベルから複数の意識低下レベルの各々への状態遷移の状態遷移確率値とに基づいて、意識低下レベルを判定することにより、意識低下レベルの状態遷移及び確率分布を考慮した確率を用いて判定することができるため、意識低下レベルを精度よく判定することができる。
【００３５】
第７の発明に係る抽出手段は、撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段を備え、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出することができる。これによって、所定の次数のケプストラム係数を特徴量として抽出することにより、意識低下状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく意識低下状態を判定することができる。
【００３６】
第７の発明に係る抽出手段は、操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段を備え、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出することができる。これによって、所定の次数のケプストラム係数を特徴量として抽出することにより、意識低下状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく意識低下状態を判定することができる。
【００３７】
上記のレベル記憶手段は、前回判定された意識低下レベル及び前回以前に判定された意識低下レベルを記憶し、検索手段は、レベル記憶手段に記憶された意識低下レベルの状態遷移から複数の意識低下レベルの各々へのパターンの状態遷移に対する状態遷移確率値を確率記憶手段から検索することができる。これによって、前回以前からの意識低下レベルの状態遷移に基づいた状態遷移確率値を用いて判定することができるため、更に精度よく意識低下状態を判定することができる。
【００３８】
また、上記の確率記憶手段に記憶された状態遷移確率値を、マルコフモデルに基づいて定められる状態遷移確率値とすることができる。
【００３９】
第９の発明に係る意識低下判定装置は、被観察者の顔画像を撮像する撮像手段と、前記撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段と、複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段と、前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は前記確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記被観察者の意識低下状態として判定する判定手段とを含んで構成されている。
【００４０】
第１０の発明に係るプログラムは、コンピュータを、被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段、複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段、及び前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は前記確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記被観察者の意識低下状態として判定する判定手段として機能させるためのプログラムである。
【００４１】
第９の発明及び第１０の発明によれば、撮像手段によって、被観察者の顔画像を撮像し、抽出手段によって、撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する。
【００４２】
そして、確率算出手段によって、複数の前記特徴量の各々と複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む意識低下レベルと特徴量との混合分布に基づいて、複数の確率分布の各々における抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する。
【００４３】
そして、判定手段によって、確率算出手段によって算出された確率値又は確率密度値に基づいて、確率値又は確率密度値が最大となる確率分布を複数の確率分布から選択し、選択された確率分布に対して最も尤度が高い意識低下レベルを、被観察者の意識低下状態として判定する。
【００４４】
このように、意識低下レベルと瞬目又は視線方向の特徴量との混合分布に基づいて、複数の確率分布の各々における特徴量の確率値又は確率密度値を算出して、意識低下レベルを判定することにより、特徴量に対する意識低下レベルの評定値のゆれを考慮して最適な意識低下レベルを判定することができるため、意識低下レベルを精度よく判定することができる。
【００４５】
第９の発明に係る抽出手段は、撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段を備え、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出することができる。これによって、所定の次数のケプストラム係数を特徴量として抽出することにより、意識低下状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく意識低下状態を判定することができる。
【００４６】
第１１の発明に係る意識低下判定装置は、車両の運転者の運転操作量を検出する操作量検出手段と、前記操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段と、複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段と、前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記運転者の意識低下状態として判定する判定手段とを含んで構成されている。
【００４７】
第１２の発明に係るプログラムは、コンピュータを、車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段、複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段、及び前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記運転者の意識低下状態として判定する判定手段として機能させるためのプログラムである。
【００４８】
第１１の発明及び第１２の発明によれば、操作量検出手段によって、車両の運転者の運転操作量を検出し、抽出手段によって、操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する。
【００４９】
そして、確率算出手段によって、複数の前記特徴量の各々と複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む意識低下レベルと特徴量との混合分布に基づいて、複数の確率分布の各々における抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する。
【００５０】
そして、判定手段によって、確率算出手段によって算出された確率値又は確率密度値に基づいて、確率値又は確率密度値が最大となる確率分布を複数の確率分布から選択し、選択された確率分布に対して最も尤度が高い意識低下レベルを、運転者の意識低下状態として判定する。
【００５１】
このように、意識低下レベルと運転操作の特徴量との混合分布に基づいて、複数の確率分布の各々における特徴量の確率値又は確率密度値を算出して、意識低下レベルを判定することにより、特徴量に対する意識低下レベルの評定値のゆれを考慮して最適な意識低下レベルを判定することができるため、意識低下レベルを精度よく判定することができる。
【００５２】
第１１の発明に係る抽出手段は、操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段を備え、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出することができる。これによって、所定の次数のケプストラム係数を特徴量として抽出することにより、意識低下状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく意識低下状態を判定することができる。
【発明の効果】
【００５３】
以上説明したように、本発明の意識低下判定装置及びプログラムによれば、精度よく被観察者の意識低下状態を判定することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００５４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された眠気判定装置に本発明を適用した場合を例に説明する。
【００５５】
図１に示すように、第１の実施の形態に係る眠気判定装置１０は、例えば運転者の斜め前方に設置され、その運転者の顔を斜め上から撮像するカメラ１２と、カメラ１２で撮像された顔画像に基づいて、眠気状態の判定を行い、表示装置４０に判定結果を表示させるコンピュータ２０とを備えている。
【００５６】
コンピュータ２０は、画像処理や表示装置４０の制御を行うＣＰＵ２１と、データのワークエリアであるＲＡＭ２２と、後述する眠気判定処理ルーチンを実行するためのプログラムを含む各種制御プログラムが記憶されているＲＯＭ２３とを備えている。このように構成されたコンピュータ２０は、機能的には次に示すように構成されている。
【００５７】
図２は、コンピュータ２０の機能的な構成を示すブロック図である。コンピュータ２０は、顔画像から運転者の目を表す目領域を抽出する目領域抽出部３１と、抽出された目領域の画像から、瞬目動作を時々刻々と計測し、分析区間としての所定時間内の瞬目動作波形を表わす瞬目パターン情報を生成する瞬目パターン生成部３２と、瞬目パターン情報の瞬目動作波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する対数スペクトル算出部３３と、算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、複数の次元の各々のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出するケプストラム係数抽出部３４と、複数の眠気レベルに対して、高次ｄ次元分のケプストラム係数の確率分布を生成する確率分布生成部３５と、生成された眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布を正規確率分布で近似した場合のパラメータが予め格納されている確率分布格納部３６と、ケプストラム係数抽出部３４によって抽出されたケプストラム係数及び確率分布格納部３６に格納された確率分布の正規確率分布のパラメータに基づいて、眠気状態を判定する眠気判定部３７とを備えている。
【００５８】
ここで、瞬目パターン生成部３２で生成される瞬目パターン情報について説明する。図３（Ａ）に示すように、瞬目は、脳幹からの神経信号が眼輪筋に伝わり、まぶたが開閉するときに観測される現象である。眠気が高くなると脳幹からの信号に何らかの変化が生じ、その変化が眠気特有の瞬目動作波形を生じさせるものだと考えられる。
【００５９】
ここで、瞬目を、図３（Ｂ）に示すようなモデルとして考える。具体的には、瞬目動作波形を示す信号を、脳幹からのパルス信号を入力として、眼輪筋の周波数特性が畳み込まれて出力された信号としてモデル化し、瞬目をこのようなフィルタモデルとして考える。
【００６０】
このようなフィルタモデルとして瞬目動作波形をモデル化すると、瞬目動作波形の対数スペクトルを逆フーリエ変換して得られたフーリエ係数の絶対値を取ることで得られるケプストラム係数のうち、高次成分に脳幹からのパルス信号が現れ、低次成分に眼輪筋の周波数応答成分が現れる。したがって、瞬目動作波形のケプストラム分析により、瞬目動作波形を示す信号を、畳み込まれた脳幹からの信号と眼輪筋の周波数応答を示す信号とに分離することが可能となる。
【００６１】
このモデルに従って、高次のケプストラム係数を眠気で発生する瞬目の特徴量として抽出することにより、脳幹からの信号を表わす特徴を直接抽出することができるため、脳幹からの信号の特徴に基づいて、眠気レベルを高精度に判定することが可能となる。
【００６２】
なお、対数スペクトル算出部３３において、瞬目動作波形から周波数スペクトルを算出する際には、ＦＦＴなど広く知られたアルゴリズムを用いればよい。
【００６３】
眠気判定部３７では、運転者の眠気状態が、眠気レベル０（眠気が低い状態、すなわち覚醒状態）、眠気レベル１（覚醒状態でも居眠り状態でもないが、浅い眠気が生じている状態）、眠気レベル２（眠気が高い状態、すなわち居眠り状態）の何れであるかを判定する。
【００６４】
また、確率分布生成部３５では、高次ｄ次元分のケプストラム係数とこのケプストラム係数に対応する眠気レベルとを学習用のデータセットとして複数用意し、学習により、各眠気レベルｉに対してケプストラム係数の各次数ｃにおける複数の正規確率分布で近似された確率分布を生成する。なお、眠気レベルｉ及びケプストラム係数の次数ｃに対する正規確率分布は、２つのパラメータ（μｉ，ｃ、σｉ，ｃ）で表わされる。ここで、眠気レベルｉ及びケプストラム係数の次数ｃに対して、μｉ，ｃは平均、σｉ，ｃは分散である。
【００６５】
上記の学習により、上記の２つのパラメータ（μｉ，ｃ、σｉ，ｃ）が各眠気レベルｉ及び各ケプストラム係数の次数ｃについて得られ、これらのパラメータが、確率分布格納部３６に格納される。例えば、高次ｄ次元分のケプストラム係数を用いてｍ段階の眠気レベルを推定する場合は、確率分布格納部３６にｄ×ｍ×２個のパラメータからなるパラメータ群が格納される。
【００６６】
また、眠気判定部３７は、眠気レベルに対するケプストラム係数の正規確率分布のパラメータ群を用いて、抽出された高次ｄ次元分のケプストラム係数に対する確率密度値を、複数の眠気レベルの各々について求め、求められた確率密度値のうち、最大の確率密度値に対応する眠気レベルを、運転者の眠気状態として判定する。
【００６７】
次に、第１の実施の形態に係る眠気判定装置１０の作用について説明する。まず、カメラ１２によって運転者の顔を撮像し、コンピュータ２０において、図４に示す眠気判定処理ルーチンを実行する。
【００６８】
ステップ１００において、カメラ１２から所定時間の連続した顔画像を取得し、ステップ１０２で、取得した連続の顔画像から、目領域を抽出する。
【００６９】
そして、ステップ１０４で、抽出された目領域の連続した画像に基づいて、瞬目を時々刻々と計測し、分析区間としての所定時間内の瞬目動作波形を表わす瞬目パターン情報を生成する。例えば、目領域の画像から、上まぶたと下まぶたとを検出し、上まぶたと下まぶたとの距離の変化に基づいて、瞬目動作波形を表わす瞬目パターン情報を生成する。
【００７０】
次のステップ１０６では、瞬目パターン情報が表わす瞬目動作波形の周波数スペクトルを算出し、算出された周波数スペクトルを対数変換して、対数スペクトルを算出し、ステップ１０８において、上記ステップ１０６で算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、全次元のケプストラム係数を算出する。
【００７１】
ステップ１１０では、上記ステップ１０８で算出された全次元のケプストラム係数のうち、上位から高次ｄ次元分のケプストラム係数を瞬目の特徴量として抽出し、ステップ１１２において、上記ステップ１１０で抽出された高次ｄ次元分のケプストラム係数について、眠気レベル毎に、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群から確率密度値を算出する。
【００７２】
そして、ステップ１１４において、上記ステップ１１２で算出された各眠気レベルについての確率密度値に基づいて、最大の確率密度値に対応する眠気レベルを、運転者の眠気状態として判定し、ステップ１１６で、表示装置４０に判定結果を表示させて、眠気判定処理ルーチンを終了する。
【００７３】
以上説明したように、第１の実施の形態に係る眠気判定装置によれば、瞬目動作波形のケプストラム分析を行い、高次ｄ次元分のケプストラム係数を抽出して、眠気レベルを判定することにより、眠気状態を表わさない特徴を分離した特徴量を抽出して判定することができるため、精度よく意識低下状態を判定することができる。
【００７４】
また、高次ｄ次元分のケプストラム係数を判定に用いることにより、脳幹から出力される本来の眠気を表す特徴を直接的に観測して判定するため、判定精度が向上する。
【００７５】
また、眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布を複数の正規確率分布で近似した場合のパラメータ群を用いて、眠気レベルを判定するため、精度よく意識低下レベルを判定することができる。
【００７６】
なお、上記の実施の形態では、眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布を用いて、眠気状態を判定する場合を例に説明したが、高次ｄ次元分のケプストラム係数の各々について、しきい値を設定し、しきい値判断によって、眠気状態を判定するようにしてもよい。
【００７７】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
【００７８】
第２の実施の形態では、視線方向変化波形のケプストラム分析を行い、ケプストラム係数を算出している点が第１の実施の形態と異なっている。
【００７９】
図５に示すように、コンピュータ３２０は、目領域抽出部３１と、抽出された目領域の画像から、視線方向を水平方向と垂直方向とについて時々刻々と計測し、所定時間内の水平方向の視線方向変化波形で表される水平方向の視線方向パターン情報、及び所定時間内の垂直方向の視線方向変化波形で表される垂直方向の視線方向パターン情報を生成する視線方向パターン生成部３３２と、水平方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出すると共に、垂直方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する対数スペクトル算出部３３３と、算出された水平方向及び垂直方向の各々の対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、複数の次元の各々のケプストラム係数を水平方向及び垂直方向の各々について算出し、上位から高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について抽出するケプストラム係数抽出部３３４と、水平方向及び垂直方向の各々の複数の眠気レベルに対して、高次ｄ次元分のケプストラム係数の確率分布を生成する確率分布生成部３３５と、生成された眠気レベルに対するケプストラム係数の確率分布を正規確率分布で近似した場合のパラメータが予め格納されている確率分布格納部３３６と、ケプストラム係数抽出部３３４によって抽出された水平方向及び垂直方向の各々のケプストラム係数、及び確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータに基づいて、眠気状態を判定する眠気判定部３３７とを備えている。
【００８０】
第２の実施の形態に係る眠気判定装置では、水平方向及び垂直方向の各々の視線方向パターン情報に基づいて、高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について算出し、そして、確率分布を正規確率分布で近似した場合のパラメータを用いて、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせに対して、各眠気レベルについて、確率密度値を算出して、運転者の眠気状態として、眠気レベルを判定する。
【００８１】
このように、視線方向変化波形から、高次ｄ次元分のケプストラム係数を抽出して、眠気レベルを判定することにより、眠気状態を表わさない特徴を分離した特徴量を抽出して判定することができるため、精度よく意識低下状態を判定することができる。
【００８２】
なお、上記の実施の形態では、高次ｄ次元分のケプストラム係数を瞬目の特徴量として抽出した場合を例に説明したが、視線方向の変化波形では、低次のケプストラム係数に眠気の影響が現れる場合には、低次のケプストラム係数を特徴量として抽出するようにしてもよい。
【００８３】
次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
【００８４】
第３の実施の形態では、ハンドルの操作量の変化に基づく操作量変化波形のケプストラム分析を行い、ケプストラム係数を算出している点が第１の実施の形態と異なっている。
【００８５】
第３の実施の形態に係る眠気判定装置は、図６に示すように、ハンドルの操作量を検出するハンドル操作センサ４１２を備えている。また、コンピュータ４２０は、ハンドル操作センサ４１２からハンドル操作量を時々刻々と取得し、所定時間内の操作量変化波形を表す操作量パターン情報を生成する操作量パターン生成部４３２と、操作量パターン情報の操作量変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する対数スペクトル算出部４３３と、ケプストラム係数抽出部３４と、確率分布生成部３５と、確率分布格納部３６と、眠気判定部３７とを備えている。
【００８６】
ここで、操作量パターン生成部４３２で生成される操作量パターン情報について説明する。図７（Ａ）に示すように、ハンドル操作は、脳幹からの神経信号が腕の筋肉に伝わり、腕が動作することによって行われる。眠気が高くなると脳幹からの信号に何らかの変化が生じ、その変化が眠気特有の操作量変化波形を生じさせるものだと考えられる。
【００８７】
ここで、ハンドル操作を、図７（Ｂ）に示すようなモデルとして考える。具体的には、操作量変化波形を示す信号を、脳幹からのパルス信号を入力として、腕の筋肉の周波数特性が畳み込まれて出力された信号としてモデル化し、ハンドル操作をこのようなフィルタモデルとして考える。
【００８８】
このようなフィルタモデルとして操作量変化波形をモデル化すると、操作量変化波形の対数スペクトルを逆フーリエ変換して得られたフーリエ係数の絶対値を取ることで得られるケプストラム係数のうち、高次成分に脳幹からのパルス信号が現れ、低次成分に腕の筋肉の周波数応答成分が現れる。したがって、操作量変化波形のケプストラム分析により、操作量変化波形を示す信号を、畳み込まれた脳幹からの信号と腕の筋肉の周波数応答を示す信号とに分離することが可能となる。
【００８９】
このモデルに従って、高次のケプストラム係数を眠気で発生するハンドル操作の特徴量として抽出することにより、脳幹からの信号を表わす特徴を直接抽出することができるため、脳幹からの信号の特徴に基づいて、眠気レベルを高精度に判定することが可能となる。
【００９０】
第３の実施の形態に係る眠気判定装置では、運転者によるハンドルの操作量の変化波形を表わす操作量パターン情報に基づいて、高次ｄ次元分のケプストラム係数を抽出し、眠気レベル及びケプストラム係数の確率分布を正規確率分布で近似した場合のパラメータに基づいて、各眠気レベルについて、抽出された高次ｄ次元分のケプストラム係数に対する確率密度値を算出し、運転者の眠気状態として、眠気レベルを判定する。
【００９１】
このように、操作量変化波形のケプストラム分析を行い、高次ｄ次元分のケプストラム係数を抽出して、眠気状態を判定することにより、眠気状態を表わさない特徴を分離した特徴量を抽出して判定することができるため、精度よく眠気状態を判定することができる。
【００９２】
なお、上記の実施の形態では、高次ｄ次元分のケプストラム係数を運転操作の特徴量として抽出した場合を例に説明したが、操作量の変化波形では、低次のケプストラム係数に眠気の影響が現れる場合には、低次のケプストラム係数を特徴量として抽出するようにしてもよい。
【００９３】
次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る眠気判定装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。
【００９４】
第４の実施の形態では、高次のケプストラム係数と共に、低次のケプストラム係数を特徴量として抽出し、高次のケプストラム係数及び低次のケプストラム係数を用いて、眠気状態を判定している点が第１の実施の形態と異なっている。
【００９５】
第４の実施の形態に係る眠気判定装置では、ケプストラム係数抽出部３４において、全次元のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出するとともに、及び下位から低次ｅ次元分のケプストラム係数を抽出する。
【００９６】
低次ｅ次元分のケプストラム係数を抽出することにより、個人性が高いと考えられる眼輪筋の特性を抽出することができ、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数によって、眠気による影響を受ける脳幹からの信号を表わす特徴と個人性が高い眼輪筋の特性を表わす特徴とを、多次元特徴として表すことができる。
【００９７】
確率分布生成部３５では、眠気レベルに対して、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の確率分布を生成し、確率分布を正規確率分布で近似した場合のパラメータを確率分布格納部３６に格納しておく。
【００９８】
また、眠気判定部３７は、眠気レベル及びケプストラム係数の確率分布を正規確率分布で近似した場合のパラメータを用いて、抽出された高次ｄ次元分の各次元のケプストラム係数及び低次ｅ次元分の各次元のケプストラム係数に対する確率密度値を、複数の眠気レベルの各々について求め、求められた各眠気レベルの確率密度値のうち、最大の確率密度値に対応する眠気レベルを、運転者の眠気状態として判定する。
【００９９】
このように、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数を瞬目の特徴量として抽出することにより、眠気による影響を直接表わす特徴と個人性が高い特徴とを多次元特徴として表すことができ、この特徴量を用いて眠気状態を判定することにより、より高精度に運転者の眠気状態を判定することができる。
【０１００】
なお、上記の実施の形態では、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数を瞬目の特徴量として抽出する場合を例に説明したが、対象となる運転者の個人性により、眼輪筋の特性に眠気の影響が現れる場合には、低次のケプストラム係数のみを特徴量として抽出するようにしてもよい。
【０１０１】
次に、第５の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
【０１０２】
第５の実施の形態では、眠気レベルの状態遷移確率を用いて、眠気状態を判定している点が第１の実施の形態と異なっている。
【０１０３】
図８に示すように、第５の実施の形態に係る眠気判定装置６１０は、カメラ１２と、カメラ１２で撮像された顔画像に基づいて、眠気状態の判定を行い、表示装置４０に判定結果を表示させるコンピュータ６２０とを備えている。
【０１０４】
コンピュータ６２０は、ＣＰＵ２１と、ＲＡＭ２２と、後述する眠気判定処理ルーチンを実行するためのプログラムを含む各種制御プログラムが記憶されているＲＯＭ２３とを備えている。このように構成されたコンピュータ６２０は、機能的には次に示すように構成されている。
【０１０５】
図９は、コンピュータ６２０の機能的な構成を示すブロック図である。コンピュータ６２０は、目領域抽出部３１と、瞬目パターン生成部３２と、対数スペクトル算出部３３と、ケプストラム係数抽出部３４と、確率分布生成部３５と、確率分布格納部３６と、ｎ回前（ｎは１以上の自然数）からの眠気レベルの遷移パターンを示す遷移履歴を格納する遷移履歴格納部６３４と、当該判定対象時からｎ回前までの眠気レベルの各遷移パターンの状態遷移確率を示す眠気レベル遷移データを生成する遷移データ生成部６３５と、生成された眠気レベル遷移データを格納する眠気レベル遷移格納部６３６と、ケプストラム係数抽出部３４によって抽出されたケプストラム係数、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ、遷移履歴格納部６３４に格納された遷移履歴、及び眠気レベル遷移格納部６３６に格納された眠気レベル遷移データに基づいて、眠気状態を判定する眠気判定部６３７とを備えている。
【０１０６】
ここで、図１０に、横軸を時間とし、縦軸を５段階に評定した眠気レベルとして、眠気レベルの状態遷移を示す。図１０から分かるように、眠気レベルの状態遷移では、１→５や逆に５→１などのように急激な変化となることは少なく、多くの場合が１前後の変化となる。また、現在の眠気レベルは、それより数時刻前からの眠気レベルの状態遷移に基づいて概ね決定されると考えると、眠気レベルの状態遷移をマルコフモデルとして表現することができる。
【０１０７】
そこで、遷移データ生成部６３５では、眠気レベルの状態遷移をｎ重マルコフモデル（ｎは１以上の自然数）のパラメータとして推定し、今回の眠気レベルｉを決定する事前確率として、ｎ回前から判定対象時までのｎ＋１個の眠気レベルの状態遷移のパターンの状態遷移確率Ｐ（ｉ）を、以下の（１）式によって算出する。
【０１０８】
【数１】
2008228759.tif 000003
【０１０９】
なお、Ｐ（ｉｊ｜ｉｊ−ｎ＋１・・・ｉｊ−１）は、眠気レベルが既知の別の瞬目データから予め求めておく。例えばｎ＝３であれば、図１１に示すような、３回前から判定対象時までの眠気レベルの状態遷移のパターンに対応する状態遷移確率値を格納したテーブルを、眠気レベル遷移データとして作成し、眠気レベル遷移格納部６３６に格納しておく。
【０１１０】
また、眠気判定部６３７は、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群θを用いて、抽出された高次ｄ次元分のケプストラム係数の数列Ｃに対する確率密度値を、以下の式（２）によって、各眠気レベルｉについて求める。
ｐ（Ｃ｜ｉ；θ）  ・・・（２）
【０１１１】
上記（２）式では、確率分布を正規確率分布で近似した場合のパラメータ群θのうち、眠気レベルｉ及び各次元のケプストラム係数に対する正規確率分布を表わすパラメータ群を用いて、眠気レベルｉについて、抽出された高次ｄ次元分のケプストラム係数の数列Ｃに対する確率密度値を求める。
【０１１２】
そして、上記（１）式で求めた各眠気レベルの状態遷移確率と、上記（２）式で求めた各眠気レベルの確率密度値とに基づいて、以下の（３）式によって、眠気状態が眠気レベルｄであると判定する。
【０１１３】
【数２】
2008228759.tif 000004
なお、Ｐ（ｉ）とｐ（Ｃ｜ｉ；θ）との積は、眠気レベルｉの尤度を示している。
【０１１４】
次に、第５の実施の形態に係る眠気判定装置６１０の作用について説明する。まず、カメラ１２によって運転者の顔を撮像し、コンピュータ６２０において、図１２に示す眠気判定処理ルーチンを実行する。なお、第１の実施の形態と同様の処理には同一符号を付して詳細な説明を省略する。
【０１１５】
ステップ１００において、カメラ１２から所定時間の連続した顔画像を取得し、ステップ１０２で、取得した連続の顔画像から、目領域を抽出する。
【０１１６】
そして、ステップ１０４で、抽出された目領域の連続した画像に基づいて、瞬目動作を時々刻々と計測し、所定時間内の瞬目動作波形を表わす瞬目パターン情報を生成する。
【０１１７】
次のステップ１０６では、瞬目パターン情報が表わす瞬目動作波形の周波数スペクトルを算出し、算出された周波数スペクトルを対数変換して、対数スペクトルを算出し、ステップ１０８において、上記ステップ１０６で算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、全次元のケプストラム係数を算出する。
【０１１８】
そして、ステップ１１０では、上記ステップ１０８で算出された全次元のケプストラム係数のうち、上位ｄ次元分のケプストラム係数を特徴量として抽出し、ステップ６５０で、眠気レベルを識別するための変数ｉを初期値の０に設定し、ステップ６５２において、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群θに基づいて、眠気レベルｉについて、上記ステップ１１０で抽出された高次ｄ次元分のケプストラム係数の数列Ｃに対する確率密度値ｐ（Ｃ｜ｉ；θ）を算出する。
【０１１９】
そして、ステップ６５４において、遷移履歴格納部６３４に格納されている遷移履歴が表わすｎ回前から前回までのｎ個の眠気レベルの状態遷移から眠気レベルｉへの状態遷移のパターンに対する状態遷移確率値を、眠気レベル遷移格納部６３６に格納されている眠気レベル遷移データから検索して、眠気レベルｉへの状態遷移確率値Ｐ（ｉ）を取得する。
【０１２０】
次のステップ６５６では、上記ステップ６５４で取得された状態遷移確率値Ｐ（ｉ）と上記ステップ６５２で算出された確率密度値ｐ（Ｃ｜ｉ；θ）との積により、眠気レベルｉの尤度を算出する。
【０１２１】
そして、ステップ６５８において、ｉが眠気レベル数を示す定数Ｎ未満であるか否かを判定し、上記ステップ６５２〜６５６の処理を行っていない眠気レベルがある場合には、ステップ６６０で、ｉをインクリメントして、ステップ６５２へ戻る。一方、全ての眠気レベルについて、上記ステップ６５２〜６５６の処理を行った場合には、ステップ６６０へ移行する。
【０１２２】
ステップ６６２では、上記（３）式に基づいて、上記ステップ６５６で算出された尤度が最も高い眠気レベルｄを、運転者の眠気状態として判定し、ステップ１１６で、表示装置４０に判定結果を表示させて、ステップ６６４で、遷移履歴格納部６３４に格納されている遷移履歴から、最も古く判定された眠気レベルを削除すると共に、上記ステップ６６２で判定された眠気レベルを追加して、眠気レベルの遷移履歴を更新し、そして、上記ステップ１００へ戻って、連続して運転者の眠気レベルを判定する。
【０１２３】
以上説明したように、第５の実施の形態に係る眠気判定装置によれば、眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布に基づいて抽出された高次ｄ次元分のケプストラム係数に対する確率密度値と、少なくとも前回判定された眠気レベルから各眠気レベルへの状態遷移の状態遷移確率値とに基づいて、眠気レベルを判定することにより、眠気レベルの状態遷移及び確率分布を考慮して判定することができるため、眠気レベルを精度よく判定することができる。
【０１２４】
また、瞬目動作波形に何らかの外乱が加わっても、眠気レベルの状態遷移の情報を利用することによって、外乱を補償することができるため、外乱の影響を受けずに、精度よく眠気状態を判定することができる。
【０１２５】
次に、第６の実施の形態について説明する。なお、第５の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
【０１２６】
第６の実施の形態では、複数種類の瞬目特徴量を用いて、眠気状態を判定している点が第５の実施の形態と異なっている。
【０１２７】
図１３に示すように、第６の実施の形態に係る眠気判定装置のコンピュータ７２０は、目領域抽出部３１と、目が開いている度合いを示す開眼度を判定する開眼度判定部７３２と、開眼度の重み付き積算値を算出する開眼度の重み付き積算部７３３と、瞬目の開眼時の速度である開眼速度を算出すると共に、開眼速度の平均速度を算出する平均開眼速度算出部７３４と、眠気レベルに対して、開眼速度の平均速度及び開眼度の重み付き積算値の確率分布を生成する確率分布生成部７３５と、生成された確率分布を正規確率分布で近似した場合のパラメータを記憶する確率分布格納部７３６と、遷移履歴格納部６３４と、遷移データ生成部６３５と、眠気レベル遷移格納部６３６と、開眼度の重み付き積算部７３３によって算出された開眼度の重み付き積算値、平均開眼速度算出部７３４によって算出された開眼速度の平均速度、確率分布格納部７３６に格納された確率分布を正規確率分布で近似した場合のパラメータ、遷移履歴格納部６３４に格納された遷移履歴、及び眠気レベル遷移格納部６３６に格納された眠気レベル遷移データに基づいて、眠気状態を判定する眠気判定部７３７とを備えている。
【０１２８】
開眼度の重み付き積算部７３３では、目の開眼度に対して、シグモイド関数などで重み付けを行い、半目の状態を考慮できる値として、重み付け開眼度を算出し、この重み付け開眼度を、所定の積算回数に相当する個数だけ算出し、算出された重み付き開眼度を積算して、開眼度の重み付き積算値を算出する。
【０１２９】
また、確率分布生成部７３５では、複数種類の瞬目特徴量としての開眼速度の平均速度及び開眼度の重み付き積算値の組み合わせとこの組み合わせに対応する眠気レベルとを学習用のデータセットとして複数用意し、学習により、各眠気レベルｉに対する開眼速度の平均速度及び開眼度の重み付き積算値の分布を複数の正規確率分布で近似した確率分布を生成する。
【０１３０】
次に、第６の実施の形態に係る眠気判定装置の作用について説明する。まず、カメラ１２によって運転者の顔を撮像し、コンピュータ７２０において、図１４に示す眠気判定処理ルーチンを実行する。
【０１３１】
ステップ１００において、カメラ１２から所定時間の連続した顔画像を取得し、ステップ１０２で、取得した連続の顔画像から、目領域を抽出する。
【０１３２】
そして、ステップ７５０で、上記ステップ１０２で抽出された目領域の画像に基づいて、所定間隔で、開眼度を複数算出する。たとえば、予め定められた全開時の上まぶたと下まぶたとの距離に対する目領域の画像から検出される上まぶたと下まぶたとの距離の割合に基づいて、開眼度を算出する。
【０１３３】
次のステップ７５２では、上記ステップ７５０で算出された所定間隔の開眼度に基づいて、開眼度の重み付き積算値を算出する。このステップ７５２では、まず、シグモイド関数に基づいて、算出された開眼度に対する重み係数を求め、この重み係数を開眼度に乗算して、重み付け開眼度を算出する。なお、重み係数は、例えば、０から１までの値であり、開眼度が０％に近づくほど重み係数は０に近づく値となり、開眼度が１００％に近づくほど重み係数は１に近づく値となる。そして、所定の積算回数に相当する数の重み付き開眼度を積算して、開眼度の重み付き積算値を算出する。
【０１３４】
そして、ステップ７５４では、上記ステップ１０２で抽出された目領域の連続の画像に基づいて、時々刻々と開眼速度を算出し、ステップ７５６において、上記ステップ７５４で算出された開眼速度を平均して、開眼速度の平均速度を算出する。
【０１３５】
そして、ステップ６５０で、眠気レベルを識別するための変数ｉを初期値の０に設定し、ステップ７５８において、確率分布格納部７３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群θを用いて、眠気レベルｉについて、上記ステップ７５２で算出された開眼度の重み付き積算値及び上記ステップ７５６で算出された開眼速度の平均速度の組み合わせＳに対する確率密度値ｐ（Ｓ｜ｉ；θ）を算出する。
【０１３６】
そして、ステップ６５４において、遷移履歴格納部６３４に格納されている遷移履歴が表わすｎ回前から前回までのｎ個の眠気レベルから眠気レベルｉへの状態遷移のパターンに対する状態遷移確率値を、眠気レベル遷移格納部６３６に格納されている眠気レベル遷移データから検索して、眠気レベルｉへの状態遷移確率値Ｐ（ｉ）を取得する。
【０１３７】
次のステップ６５６では、上記ステップ６５４で取得された状態遷移確率値Ｐ（ｉ）と上記ステップ７５８で算出された確率密度値ｐ（Ｓ｜ｉ；θ）との積に基づいて、眠気レベルｉの尤度を算出する。
【０１３８】
そして、ステップ６５８において、ｉが、眠気レベル数を表わす定数Ｎ未満であるか否かを判定し、ｉがＮ未満であると、ステップ６６０で、ｉをインクリメントして、ステップ７５８へ戻るが、一方、ｉがＮ以上になると、ステップ６６０へ移行する。
【０１３９】
ステップ６６２では、上記（３）式に基づいて、上記ステップ６５６で算出された尤度が最も高い眠気レベルを、運転者の眠気状態として判定し、ステップ１１６で、表示装置４０に判定結果を表示させて、ステップ６６４で、遷移履歴格納部６３４に格納されている遷移履歴から、最も古く判定された眠気レベルを削除し、上記ステップ６６２で判定された眠気レベルを追加して、眠気レベルの遷移履歴を更新して、上記ステップ１００へ戻る。
【０１４０】
以上説明したように、第６の実施の形態に係る眠気判定装置によれば、眠気レベルに対する複数種類の瞬目特徴量の確率分布に基づく瞬目特徴量の確率密度値と、眠気レベルの状態遷移履歴から各眠気レベルへの状態遷移の状態遷移確率値とに基づいて、眠気レベルを判定することにより、眠気レベルの状態遷移及び確率分布を考慮して判定することができるため、眠気レベルを精度よく判定することができる。
【０１４１】
また、高次ｄ次元分のケプストラム係数を特徴量として抽出することにより、眠気状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく意識低下状態を判定することができる。
【０１４２】
また、前回以前からの眠気レベルの状態遷移に基づいた状態遷移確率値を用いて判定することにより、更に精度よく意識低下状態を判定することができる。
【０１４３】
なお、上記では、瞬目特徴量として、開眼度の重み付き積算値と開眼速度の平均速度とを用いる場合を例に説明したが、これに限定されるものではなく、開眼度の重み付け積算値、瞬目の開眼速度の平均速度、単位時間に対する半目状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを考慮した瞬目特徴量の積算値、瞬目頻度、及び単位時間に対する閉眼時間の割合（ＰＥＲＣＬＯＳ）の少なくとも一つを瞬目特徴量として用いればよい。
【０１４４】
次に、第７の実施の形態について説明する。なお、第５の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
【０１４５】
第７の実施の形態では、視線方向の時系列変化を表わす視線方向変化波形のケプストラム分析を行い、ケプストラム係数を算出している点が第５の実施の形態と異なっている。
【０１４６】
第７の実施の形態に係るコンピュータでは、目領域抽出部３１によって抽出された目領域の画像から、視線方向を水平方向と垂直方向とについて時々刻々と計測し、所定時間内の水平方向の視線方向変化波形を表わす水平方向の視線方向パターン情報、及び所定時間内の垂直方向の視線方向変化波形を表わす垂直方向の視線方向パターン情報を生成する。そして、水平方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出すると共に、垂直方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する。
【０１４７】
そして、算出された水平方向及び垂直方向の各々の対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、前次元のケプストラム係数を水平方向及び垂直方向の各々について算出し、上位から高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について抽出する。
【０１４８】
また、眠気レベルに対して、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせの確率分布を生成し、確率分布を各眠気レベル及び各ケプストラム係数に対する複数の正規確率分布で近似した場合のパラメータを確率分布格納部３６に予め格納しておく。
【０１４９】
眠気判定部６３７では、抽出された水平方向及び垂直方向の各々のケプストラム係数、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ、遷移履歴格納部６３４に格納された遷移履歴、及び眠気レベル遷移格納部６３６に格納された眠気レベル遷移データに基づいて、眠気状態を判定する。
【０１５０】
第７の実施の形態に係る眠気判定装置では、水平方向及び垂直方向の各々の視線方向パターン情報に基づいて、高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について算出し、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群θを用いて、各眠気レベルｉについて、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせＣに対する確率密度値ｐ（Ｃ｜ｉ；θ）を各々算出する。
【０１５１】
そして、ｎ回前から前回までのｎ個の眠気レベルの状態遷移から眠気レベルｉへの状態遷移に対する状態遷移確率値を、眠気レベル遷移格納部６３６に格納されている眠気レベル遷移データから検索して、各眠気レベルｉへの状態遷移確率値Ｐ（ｉ）を各々取得する。
【０１５２】
そして、取得された状態遷移確率値Ｐ（ｉ）の各々と算出された確率密度値ｐ（Ｃ｜ｉ；θ）の各々との積により、各眠気レベルｉの尤度を算出し、算出された尤度が最も高い眠気レベルを、運転者の眠気状態として判定する。
【０１５３】
このように、眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布に基づく高次ｄ次元分のケプストラム係数の確率密度値と、眠気レベルの状態遷移履歴から各眠気レベルの各々への状態遷移の状態遷移確率値とに基づいて、眠気レベルを判定することにより、眠気レベルの状態遷移及び確率分布を考慮して判定することができるため、眠気レベルを精度よく判定することができる。
【０１５４】
次に、第８の実施の形態について説明する。なお、第３の実施の形態及び第５の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
【０１５５】
第８の実施の形態では、ハンドルの操作量の変化に基づく操作量変化波形から、ケプストラム係数を算出している点が第５の実施の形態と異なっている。
【０１５６】
第８の実施の形態に係るコンピュータでは、ハンドル操作センサ４１２からハンドル操作量を時々刻々と取得し、所定時間内の操作量変化波形を表わす操作量パターン情報を生成し、操作量パターン情報の操作量変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する。
【０１５７】
そして、ケプストラム係数抽出部３４において、算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値をとることで、全次元のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出する。
【０１５８】
眠気判定部では、抽出されたケプストラム係数、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群、遷移履歴格納部６３４に格納された遷移履歴、及び眠気レベル遷移格納部６３６に格納された眠気レベル遷移データに基づいて、眠気状態を判定する。
【０１５９】
なお、眠気判定装置の作用については、第５の実施の形態と同様であるため、説明を省略する。
【０１６０】
次に、第９の実施の形態について説明する。なお、第９の実施の形態に係る眠気判定装置は、第５の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。
【０１６１】
第９の実施の形態では、高次のケプストラム係数及び低次のケプストラム係数を特徴量として抽出して、眠気状態を判定している点が第５の実施の形態と異なっている。
【０１６２】
第９の実施の形態に係る眠気判定装置では、ケプストラム係数抽出部３４において、全次数のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出すると共に、下位から低次ｅ次元分のケプストラム係数を抽出する。
【０１６３】
確率分布生成部３５では、眠気レベルに対して、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の組み合わせの確率分布を生成し、確率分布を各眠気レベル及び各ケプストラム係数に対する複数の正規確率分布で近似した場合のパラメータ群を確率分布格納部３６に予め格納しておく。
【０１６４】
また、眠気判定部６３７は、確率分布を正規確率分布で近似した場合のパラメータ群θを用いて、各眠気レベルｉについて、抽出された高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の組み合わせＣに対する確率密度値ｐ（Ｃ｜ｉ；θ）を各々求める。
【０１６５】
そして、ｎ回前から前回までのｎ個の眠気レベルの状態遷移から各眠気レベルｉへの状態遷移のパターンに対する状態遷移確率値を、眠気レベル遷移格納部６３６に格納されている眠気レベル遷移データから検索して、各眠気レベルｉへの状態遷移確率値Ｐ（ｉ）を各々取得する。
【０１６６】
そして、取得された状態遷移確率値Ｐ（ｉ）の各々と算出された確率密度値ｐ（Ｃ｜ｉ；θ）の各々との積により、各眠気レベルｉの尤度を算出し、算出された尤度が最も高い眠気レベルを、運転者の眠気状態として判定する。
【０１６７】
このように、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数を特徴量として抽出することにより、眠気による影響を直接表わす特徴と個人性が高い特徴とを多次元特徴として表すことができ、より高精度に運転者の眠気状態を判定することができる。
【０１６８】
次に、第１０の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
【０１６９】
第１０の実施の形態では、眠気レベル及び高次ｄ次元分のケプストラム係数の同時確率分布を、混合正規分布を用いて判定している点が第１の実施の形態と異なっている。
【０１７０】
図１５に示すように、第１０の実施の形態に係る眠気判定装置１０１０は、カメラ１２と、カメラ１２で撮像された顔画像に基づいて、眠気状態の判定を行い、表示装置４０に判定結果を表示させるコンピュータ１０２０とを備えている。
【０１７１】
コンピュータ１０２０は、ＣＰＵ２１と、ＲＡＭ２２と、後述する眠気判定処理ルーチンを実行するためのプログラムを含む各種制御プログラムが記憶されているＲＯＭ２３とを備えている。このように構成されたコンピュータ１０２０は、機能的には次に示すように構成されている。
【０１７２】
図１６は、コンピュータ１０２０の機能的な構成を示すブロック図である。コンピュータ１０２０は、目領域抽出部３１と、瞬目パターン生成部３２と、対数スペクトル算出部３３と、ケプストラム係数抽出部３４と、眠気レベル及び高次ｄ次元分のケプストラム係数の混合正規分布で表される同時確率分布を生成する確率分布生成部１０３５と、生成された眠気レベル及びケプストラム係数の混合正規分布を表わすパラメータ群が予め格納されている確率分布格納部１０３６と、ケプストラム係数抽出部３４によって抽出されたケプストラム係数及び確率分布格納部１０３６に格納された混合正規分布を表わすパラメータ群に基づいて、眠気状態を判定する眠気判定部１０３７とを備えている。
【０１７３】
眠気判定部１０３７では、運転者の眠気状態が、眠気レベル０（眠気が低い状態、すなわち覚醒状態）、眠気レベル１（覚醒状態でも居眠り状態でもないが、浅い眠気が生じている状態）、眠気レベル２（眠気が高い状態、すなわち居眠り状態）の何れであるかを判定する。
【０１７４】
また、確率分布生成部１０３５では、高次ｄ次元分のケプストラム係数とこのケプストラム係数に対応する眠気レベルとを学習用のデータセットとして複数用意し、以下に説明するＥＭアルゴリズムを用いた学習により、混合正規分布で表される同時確率分布を生成する。
【０１７５】
ここで、混合正規分布を表わすパラメータ群θは、例えば、各混合重みｍ及び各次元ｃのケプストラム係数に対する平均及び共分散行列の各々を表わす２つのパラメータ（μｃ、ｍ、σｃ、ｍ）と、各混合重みｍに対する重みを表わすパラメータｗｍとからなる。すなわち、μｃ、ｍ、σｃ、ｍの各々は、（次元数ｄ×予め設定された混合重みＭ）個あり、ｗｍは予め設定された混合重みＭ個だけある。
【０１７６】
ＥＭアルゴリズムでは、上記のパラメータ群θに適切な初期値を与えたθ０を初期のパラメータ群として、以下に示すＥＭアルゴリズムを用いて、θを漸次的に更新することで推定する。
ｄｏ
Ｅ  ｓｔｅｐ：Ｑ（θ；θｉ）を求める
Ｍ  ｓｔｅｐ：θｉ＋１  ←  ａｒｇｍａｘθ  Ｑ（θ；θｉ）
ｕｎｔｉｌ  Ｑ（θｉ＋１；θｉ）−Ｑ（θｉ；θｉ−１）≦ｔｈｒ
【０１７７】
ここで、Ｑ（θ；θｉ）＝Ｅ［ｌｏｇ  ｐ（ｘ，ｍ；θ）；ｘ，θｉ］であり、Ｑは条件付き期待値、ｘは教師信号列としての学習用の各データセットを示す。上記のＥＭアルゴリズムでは、時点ｉで設定されたパラメータ群θｉの元での条件付き期待値Ｑを複数のパラメータ群θの各々について算出し、条件付き期待値Ｑを最大にするパラメータ群θを、次の時点ｉ＋１のパラメータ群θｉ＋１として設定する。この計算処理を、時点ｉで算出された最大となる条件付き期待値Ｑと時点ｉ−１で算出された最大となる条件付き期待値Ｑとの差が閾値ｔｈｒ以下になるまで繰り返し、上記の計算処理が終了した時点で設定されているパラメータ群θを、図１７に示すような、予め設定された混合重みＭの数だけの正規確率分布を含む混合正規分布を表わすパラメータ群とする。
【０１７８】
上記のように計算された混合正規分布を表わすパラメータ群が、確率分布格納部１０３６に格納される。例えば、高次ｄ次元分のケプストラム係数を用いて、混合重みＭ（近似する正規確率分布の数に相当）と設定された混合正規分布を推定する場合は、確率分布格納部１０３６に、（ｄ×Ｍ×（ｄ２＋１）＋Ｍ）個のパラメータからなるパラメータ群が格納される。
【０１７９】
次に、眠気レベルの評定のゆれについて説明する。眠気レベルを直接的に観測することができないため、被観測者の申告、もしくは被観測者以外の評者による評点によって評価せざるを得ない。このような主観による評定では「ゆれ」が生じる。
【０１８０】
ここで、このような評定の「ゆれ」のモデルとして、図１８のようなモデルを考える。人は眠気現象を観測した湯合、何らかの内的評定基準によって眠気レベルの評定値を決定する。しかしながら、同じ評定基準に基づいて判断したとしても、異なる眠気レベルの評定値を決定する場合があるため、眠気レベルの評定値は揺らぐ。このモデルに従うと、例えば、内的には「３」、「４」、「４」と判断したが、判断「４」に対応する評定が、「３」と「４」とで確率的に揺らいでいるため、評定として、「３」、「４」、「３」と決定される場合があることを表現できる。ここで、内的評定基準を同定すると共に、この確率的な揺らぎを同時に同定することができれば、評者と同様な評定をする装置を実現することができる。
【０１８１】
また、内的評定基準を隠れ変数とおいた確率モデルを考える。例えば、観測可能な特徴量としての高次ｄ次元のケプストラム係数と、観測された眠気レベルとに関する多次元の混合正規分布を考えると、混合正規分布のうちのひとつの正規確率分布のインデックスが隠れ変数となる。すなわち、各正規確率分布は、上記の内的評定基準を表現すると共に、評定値のゆれを表現する。
【０１８２】
運転者の顔画像から、高次ｄ次元のケプストラム係数が抽出されたとすると、抽出されたケプストラム係数に対して、周辺確率が最大となる正規確率分布が、その評者の内的評定基準に相当し、また、その正規確率分布において、抽出されたケプストラム係数に対して最も高い確率密度値を与える点に対応する眠気レベルが、判定すべき眠気レベルとなる。このように、上記のモデルによれば、評定のゆれを考慮することができるため、高精度な眠気レベルの判定が可能となる。
【０１８３】
また、眠気判定部１０３７は、抽出された高次ｄ次元分のケプストラム係数Ｃ及び確率分布格納部１０３６に格納された混合正規分布のパラメータ群θに基づいて、各正規確率分布ｍに対する周辺確率Ｐ（Ｃ；θｍ）を算出する。ここで、θｍは、パラメータ群θのうちの混合重みｍに関するパラメータ群である。そして、算出された各正規確率分布ｍに対する周辺確率Ｐ（Ｃ；θｍ）のうち、最大の周辺確率Ｐ（Ｃ；θｍ）を与える正規確率分布をＭ個の正規確率分布の中から選択し、選択された正規確率分布に対して、最も尤度の高い眠気レベルを、運転者の眠気状態として判定する。
【０１８４】
なお、上記の正規確率分布に対して最も尤度の高い眠気レベルとして、上記図１７に示すように、選択された正規確率分布上におけるケプストラム係数Ｃの確率密度値を与える直線上において、最も高い確率密度値を与える点に対応する眠気レベルが決定される。
【０１８５】
次に、第１０の実施の形態に係る眠気判定装置１０１０の作用について説明する。まず、カメラ１２によって運転者の顔を撮像し、コンピュータ１０２０において、図１９に示す眠気判定処理ルーチンを実行する。なお、第１の実施の形態と同様の処理には同一符号を付す。
【０１８６】
ステップ１００において、カメラ１２から所定時間の連続した顔画像を取得し、ステップ１０２で、取得した連続の顔画像から、目領域を抽出する。
【０１８７】
そして、ステップ１０４で、抽出された目領域の連続した画像に基づいて、瞬目を時々刻々と計測し、所定時間内の瞬目動作波形を表わす瞬目パターン情報を生成する。次のステップ１０６では、瞬目パターン情報が表わす瞬目動作波形の周波数スペクトルを算出し、算出された周波数スペクトルを対数変換して、対数スペクトルを算出し、ステップ１０８において、上記ステップ１０６で算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、全次元のケプストラム係数を算出する。
【０１８８】
ステップ１１０では、上記ステップ１０８で算出された全次元のケプストラム係数のうち、上位から高次ｄ次元分のケプストラム係数を特徴量として抽出し、ステップ１０５０において、正規確率分布を識別するための変数ｍを初期値の１に設定すると共に、周辺確率の最大値ｐｍａｘに−∞を初期設定する。
【０１８９】
そして、ステップ１０５２において、確率分布格納部１０３６に格納された混合正規分布のパラメータ群θのうちの正規確率分布ｍに関するパラメータ群θｍに基づいて、正規確率分布ｍについて、上記ステップ１１０で抽出された高次ｄ次元分のケプストラム係数の数列Ｃに対する周辺確率ｐ（Ｃ；θｍ）を算出する。
【０１９０】
次のステップ１０５４では、上記ステップ１０５２で算出された周辺確率が、ｐｍａｘより大きいか否かを判定し、ｐｍａｘより大きい場合には、ステップ１０５６において、ｐｍａｘを上記ステップ１０５２で算出された周辺確率に更新すると共に、最大の周辺確率を与える正規確率分布のインデックスｍｍａｘをｍに更新して、ステップ１０５８へ移行する。一方、上記ステップ１０５４において、算出された周辺確率が、ｐｍａｘ以下である場合には、ステップ１０５８へ移行する。
【０１９１】
ステップ１０５８では、ｍが正規確率分布の数を示す定数Ｍ未満であるか否かを判定し、上記ステップ１０５２〜１０５６の処理を行っていない正規確率分布がある場合には、ステップ１０６０で、ｍをインクリメントして、ステップ１０５２へ戻る。一方、全ての正規確率分布について、上記ステップ１０５２〜１０５６の処理を行った場合には、ステップ１０６２へ移行する。
【０１９２】
ステップ１０６２では、最大の周辺確率を与える正規確率分布ｍｍａｘにおいて、上記ステップ１１０で算出された高次ｄ次元分のケプストラム係数Ｃに対して、最大の確率密度値を得る点を抽出し、抽出された点に対応する眠気レベルｉ（＝ｍａｘ＿ｉ  ｐ（Ｃ，ｉ；θｍｍａｘ））を、運転者の眠気状態として判定し、ステップ１１６で、表示装置４０に判定結果を表示させて、眠気判定処理ルーチンを終了する。
【０１９３】
以上説明したように、第１０の実施の形態に係る眠気判定装置によれば、眠気レベルと高次ｄ次元のケプストラム係数との混合正規分布に基づいて、複数の正規確率分布の各々における抽出された高次ｄ次元のケプストラム係数に対する周辺確率を算出して、正規確率分布を選択し、正規確率分布に基づいて眠気レベルを判定することにより、高次ｄ次元のケプストラム係数に対する眠気レベルの評定値のゆれを考慮して最適な眠気レベルを判定することができるため、眠気レベルを精度よく判定することができる。
【０１９４】
また、高次ｄ次元分のケプストラム係数を特徴量として抽出することにより、眠気状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく眠気状態を判定することができる。
【０１９５】
また、混合正規分布を用いて判定することにより、陰に評者の内的な基準を導入し、その内的基準を用いて眠気レベルの評定値を決定することによって、最適に眠気レベルを判定することが可能となる。
【０１９６】
次に、第１１の実施の形態について説明する。なお、第６の実施の形態及び第１０の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
【０１９７】
第１１の実施の形態では、複数種類の瞬目特徴量を用いて、眠気状態を判定している点が第１０の実施の形態と異なっている。
【０１９８】
図２０に示すように、第１１の実施の形態に係る眠気判定装置のコンピュータ１１２０は、目領域抽出部３１と、開眼度判定部７３２と、開眼度の重み付き積算部７３３と、平均開眼速度算出部７３４と、開眼速度の平均速度及び開眼度の重み付き積算値と眠気レベルとの混合正規分布で表される同時確率分布を生成する確率分布生成部１１３５と、生成された開眼速度の平均速度及び開眼度の重み付き積算値と眠気レベルとの混合正規分布で表される同時確率分布のパラメータ群が予め格納されている確率分布格納部１１３６と、開眼度の重み付き積算部７３３によって算出された開眼度の重み付き積算値、平均開眼速度算出部７３４によって算出された開眼速度の平均速度、及び確率分布格納部１１３６に格納された混合正規分布を表わすパラメータ群に基づいて、眠気状態を判定する眠気判定部１１３７とを備えている。
【０１９９】
確率分布生成部１１３５では、開眼度の重み付き積算値及び開眼速度の平均速度とこれらの特徴量に対応する眠気レベルとを学習用のデータセットとして複数用意し、ＥＭアルゴリズムを用いた学習により、混合正規分布で表される同時確率分布を生成する。
【０２００】
ここで、混合正規分布を表わすパラメータ群θは、例えば、各混合重みｍ及び開眼度の重み付き積算値に対する平均及び共分散行列の各々を表わす２つのパラメータ（μ１、ｍ、σ１、ｍ）と、各混合重みｍ及び開眼速度の平均速度に対する平均及び共分散行列の各々を表わす２つのパラメータ（μ２、ｍ、σ２、ｍ）と、各混合重みｍに対する重みを表わすパラメータｗｍとからなる。
【０２０１】
上記の混合正規分布を表わすパラメータ群が、確率分布格納部１１３６に格納される。例えば、混合重みＭ（近似する正規確率分布の数に相当）と設定された混合正規分布を推定する場合は、確率分布格納部１１３６に（（Ｍ×４＋１）＋Ｍ）個のパラメータからなるパラメータ群が格納される。
【０２０２】
次に、第１１の実施の形態に係る眠気判定装置の作用について説明する。まず、カメラ１２によって運転者の顔を撮像し、コンピュータ１１２０において、図２１に示す眠気判定処理ルーチンを実行する。なお、第６の実施の形態及び第１０の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【０２０３】
ステップ１００において、カメラ１２から所定時間の連続した顔画像を取得し、ステップ１０２で、取得した連続の顔画像から、目領域を抽出する。
【０２０４】
そして、ステップ７５０で、上記ステップ１０２で抽出された目領域の連続した画像に基づいて、所定間隔で、開眼度を複数算出する。次のステップ７５２では、上記ステップ７５０で算出された所定間隔の開眼度に基づいて、開眼度の重み付き積算値を算出する。
【０２０５】
そして、ステップ７５４では、上記ステップ１０２で抽出された目領域の連続した画像に基づいて、時々刻々と開眼速度を算出し、ステップ７５６において、上記ステップ７５４で算出された開眼速度を平均して、開眼速度の平均速度を算出する。ここで、上記ステップ７５２で算出された開眼度の重み付き積算値と上記ステップ７５６で算出された開眼速度の平均速度とを表わす特徴量ベクトルをＳとして、以下を説明する。
【０２０６】
次のステップ１０５０において、正規確率分布を識別するための変数ｍを初期値の１に設定すると共に、周辺確率の最大値ｐｍａｘに−∞を初期設定する。
【０２０７】
そして、ステップ１１５０において、確率分布格納部１１３６に格納された混合正規分布を表わすパラメータ群θのうちの正規確率分布ｍに関するパラメータ群θｍに基づいて、正規確率分布ｍについて、上記ステップ７５２及び上記ステップ７５６で算出された特徴量ベクトルＳに対する周辺確率ｐ（Ｓ；θｍ）を算出する。
【０２０８】
次のステップ１０５４では、上記ステップ１１５０で算出された周辺確率が、ｐｍａｘより大きいか否かを判定し、ｐｍａｘより大きい場合には、ステップ１０５６において、ｐｍａｘを上記ステップ１１５０で算出された周辺確率に更新すると共に、最大の周辺確率を与える正規確率分布のインデックスｍｍａｘをｍに更新して、ステップ１０５８へ移行する。一方、上記ステップ１０５４において、算出された周辺確率が、ｐｍａｘ以下である場合には、ステップ１０５８へ移行する。
【０２０９】
ステップ１０５８では、ｍが正規確率分布の数を示す定数Ｍ未満であるか否かを判定し、上記ステップ１１５０、１０５４、１０５６の処理を行っていない正規確率分布がある場合には、ステップ１０６０で、ｍをインクリメントして、ステップ１０５２へ戻る。一方、全ての正規確率分布について、上記ステップ１１５０、１０５４、１０５６の処理を行った場合には、ステップ１１５２へ移行する。
【０２１０】
ステップ１１５２では、最大の周辺確率を与える正規確率分布ｍｍａｘにおいて、上記ステップ７５２、７５６で算出された特徴量ベクトルＳに対して、最大の確率密度値となる点に対応する眠気レベルｉ（＝ｍａｘ＿ｉ  ｐ（Ｓ，ｉ；θｍｍａｘ））を、運転者の眠気状態として判定し、ステップ１１６で、表示装置４０に判定結果を表示させて、眠気判定処理ルーチンを終了する。
【０２１１】
以上説明したように、第１１の実施の形態に係る眠気判定装置によれば、眠気レベルと複数種類の瞬目特徴量との混合正規分布に基づいて、複数の正規確率分布の各々における抽出された瞬目特徴量に対する周辺確率を算出して、正規確率分布を選択し、正規確率分布に基づいて、眠気レベルを判定することにより、複数種類の瞬目特徴量に対する眠気レベルの評定値のゆれを考慮して最適な眠気レベルを判定することができるため、眠気レベルを精度よく判定することができる。
【０２１２】
なお、上記では、瞬目特徴量として、開眼度の重み付き積算値と開眼速度の平均速度とを用いる場合を例に説明したが、これに限定されるものではなく、開眼度の重み付け積算値、瞬目の開眼速度の平均速度、単位時間に対する半目状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを考慮した瞬目特徴量の積算値、瞬目頻度、及び単位時間に対する閉眼時間の割合（ＰＥＲＣＬＯＳ）の少なくとも一つを瞬目特徴量として用いればよい。
【０２１３】
次に、第１２の実施の形態について説明する。なお、第１０の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
【０２１４】
第１２の実施の形態では、視線方向の時系列変化を表わす視線方向変化波形のケプストラム分析を行い、ケプストラム係数を算出している点が第１０の実施の形態と異なっている。
【０２１５】
第１２の実施の形態に係るコンピュータでは、目領域抽出部３１によって抽出された目領域の画像から、視線方向を水平方向と垂直方向とについて時々刻々と計測し、所定時間内の水平方向の視線方向変化波形を表わす水平方向の視線方向パターン情報、及び所定時間内の垂直方向の視線方向変化波形を表わす垂直方向の視線方向パターン情報を生成する。そして、水平方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出すると共に、垂直方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する。
【０２１６】
そして、算出された水平方向及び垂直方向の各々の対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、前次元のケプストラム係数を水平方向及び垂直方向の各々について算出し、上位から高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について抽出する。
【０２１７】
また、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせと眠気レベルとの混合正規分布で表される同時確率分布を生成し、混合正規分布を表わすパラメータ群を確率分布格納部１０３６に予め格納しておく。
【０２１８】
眠気判定部１０３７では、抽出された水平方向及び垂直方向の各々のケプストラム係数、及び確率分布格納部１０３６に格納された混合正規分布を表わすパラメータ群に基づいて、眠気状態を判定する。
【０２１９】
第１２の実施の形態に係る眠気判定装置では、水平方向及び垂直方向の各々の視線方向パターン情報に基づいて、高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について算出し、確率分布格納部１０３６に格納された混合正規分布のパラメータ群θを用いて、各正規確率分布ｍについて、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせＣに対する周辺確率ｐ（Ｃ；θｍ）を各々算出する。
【０２２０】
そして、最大の周辺確率となる正規確率分布において、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせＣに対して最大の確率密度値を与える点を抽出し、抽出された点に対応する眠気レベルを、運転者の眠気状態として判定する。
【０２２１】
このように、視線方向変化波形の水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数と眠気レベルとの混合正規分布に基づいて、複数の正規確率分布の各々における抽出されたケプストラム係数の周辺確率を算出して、正規確率分布を選択し、正規確率分布に基づいて眠気レベルを判定することにより、視線方向変化波形の高次ｄ次元分のケプストラム係数に対する眠気レベルの評定値のゆれを考慮して最適な眠気レベルを判定することができるため、眠気レベルを精度よく判定することができる。
【０２２２】
次に、第１３の実施の形態について説明する。なお、第８の実施の形態及び第１０の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
【０２２３】
第１３の実施の形態では、ハンドルの操作量の変化に基づく操作量変化波形から、ケプストラム係数を算出している点が第１０の実施の形態と異なっている。
【０２２４】
第１３の実施の形態に係るコンピュータでは、ハンドル操作センサ４１２からハンドル操作量を時々刻々と取得し、所定時間内の操作量変化波形を表わす操作量パターン情報を生成し、操作量パターン情報の操作量変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する。
【０２２５】
そして、ケプストラム係数抽出部３４において、算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値をとることで、全次元のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出する。
【０２２６】
眠気判定部では、抽出されたケプストラム係数、及び確率分布格納部１０３６に格納された混合正規分布を表わすパラメータ群に基づいて、眠気状態を判定する。
【０２２７】
なお、眠気判定装置の作用については、第１０の実施の形態と同様であるため、説明を省略する。
【０２２８】
このように、眠気レベルと運転操作量の変化波形のケプストラム係数との混合正規分布に基づいて、複数の正規確率分布の各々における抽出されたケプストラム係数の周辺確率を算出して、眠気レベルを判定することにより、運転操作量の変化波形のケプストラム係数に対する眠気レベルの評定値のゆれを考慮して最適な眠気レベルを判定することができるため、眠気レベルを精度よく判定することができる。
【０２２９】
次に、第１４の実施の形態について説明する。なお、第１４の実施の形態に係る眠気判定装置は、第１０の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。
【０２３０】
第１４の実施の形態では、高次のケプストラム係数及び低次のケプストラム係数を特徴量として抽出して、眠気状態を判定している点が第１０の実施の形態と異なっている。
【０２３１】
第１４の実施の形態に係る眠気判定装置では、ケプストラム係数抽出部３４において、全次元のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出すると共に、下位から低次ｅ次元分のケプストラム係数を抽出する。
【０２３２】
確率分布生成部１０３５では、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の組み合わせと眠気レベルとの混合正規分布で表される同時確率分布を生成し、混合正規分布を表わすパラメータ群を確率分布格納部１０３６に予め格納しておく。
【０２３３】
また、眠気判定部１０３７は、混合正規分布のパラメータ群θのうちの正規確率分布ｍに関するパラメータ群θｍを用いて、各正規確率分布ｍについて、抽出された高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の組み合わせＣに対する周辺確率ｐ（Ｃ；θｍ）を各々求める。
【０２３４】
そして、最大の周辺確率となる正規確率分布において、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の組み合わせＣに対して最大の確率密度値を与える点を抽出し、抽出された点に対応する眠気レベルを、運転者の眠気状態として判定する。
【０２３５】
このように、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数を特徴量として抽出することにより、眠気による影響を直接表わす特徴と個人性が高い特徴とを多次元特徴として表すことができ、この特徴量を用いて眠気レベルを判定することにより、より高精度に運転者の眠気状態を判定することができる。
【０２３６】
なお、上記の実施の形態では、３つの眠気レベルの何れかであるかを判定する場合を例に説明したが、これに限定されるものではなく、浅い眠気レベルから深い眠気レベルまで更に詳細に眠気レベルを分類し、眠気状態を詳細に判定するようにしてもよい。
【０２３７】
また、眠気状態を判定する場合を例に説明したが、これに限定されるものではなく、考え事をしている状態や疲労状態などの意識低下状態を判定する場合にも、本発明を適用してもよい。
【図面の簡単な説明】
【０２３８】
【図１】本発明の第１の実施の形態に係る眠気判定装置の構成を示す概略図である。
【図２】本発明の第１の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。
【図３】（Ａ）脳幹からの神経信号が眼輪筋に伝わり、瞬目動作波形が生じる様子を示すイメージ図、及び（Ｂ）脳幹からのパルス信号を入力として、眼輪筋の周波数特性が畳み込まれて、瞬目動作波形を示す信号が出力されるモデルを示したイメージ図である。
【図４】本発明の第１の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。
【図５】本発明の第２の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。
【図６】本発明の第３の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。
【図７】（Ａ）脳幹からの神経信号が腕の筋肉に伝わり、操作量変化波形が生じる様子を示すイメージ図、及び（Ｂ）脳幹からのパルス信号を入力として、腕の筋肉の周波数特性が畳み込まれて、操作量変化波形を示す信号が出力されるモデルを示したイメージ図である。
【図８】本発明の第５の実施の形態に係る眠気判定装置の構成を示す概略図である。
【図９】本発明の第５の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。
【図１０】眠気レベルの状態遷移を示すグラフである。
【図１１】眠気レベル遷移データの内容を示すイメージ図ある。
【図１２】本発明の第５の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。
【図１３】本発明の第６の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。
【図１４】本発明の第６の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。
【図１５】本発明の第１０の実施の形態に係る眠気判定装置の構成を示す概略図である。
【図１６】本発明の第１０の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。
【図１７】混合正規分布で表される同時確率分布を示すグラフである。
【図１８】眠気レベルの評定のゆれを説明するための図である。
【図１９】本発明の第１０の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。
【図２０】本発明の第１１の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。
【図２１】本発明の第１１の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。
【符号の説明】
【０２３９】
１０、６１０、１０１０      眠気判定装置
１２   カメラ
２０、３２０、４２０、６２０、７２０、１０２０、１１２０コンピュータ
２１  ＣＰＵ
２２  ＲＡＭ
２３  ＲＯＭ
３２   瞬目パターン生成部
３３、３３３、４３３ 対数スペクトル算出部
３４、３３４  ケプストラム係数抽出部
３５、３３５、７３５、１０３５、１１３５  確率分布生成部
３６、３３６、７３６、１０３６、１１３６  確率分布格納部
３７、３３７、６３７、７３７、１０３７、１１３７ 眠気判定部
３３２ 視線方向パターン生成部
４１２ ハンドル操作センサ
４３２ 操作量パターン生成部
６３４ 遷移履歴格納部
６３５ 遷移データ生成部
６３６ 眠気レベル遷移格納部
７３３ 開眼度の重み付き積算部
７３４ 平均開眼速度算出部
【図１】
2008228759.tif 000005
【図２】
2008228759.tif 000006
【図３】
2008228759.tif 000007
【図４】
2008228759.tif 000008
【図５】
2008228759.tif 000009
【図６】
2008228759.tif 000010
【図７】
2008228759.tif 000011
【図８】
2008228759.tif 000012
【図９】
2008228759.tif 000013
【図１０】
2008228759.tif 000014
【図１１】
2008228759.tif 000015
【図１２】
2008228759.tif 000016
【図１３】
2008228759.tif 000017
【図１４】
2008228759.tif 000018
【図１５】
2008228759.tif 000019
【図１６】
2008228759.tif 000020
【図１７】
2008228759.tif 000021
【図１８】
2008228759.tif 000022
【図１９】
2008228759.tif 000023
【図２０】
2008228759.tif 000024
【図２１】
2008228759.tif 000025