(57)【要約】不特定の対象者に対して、正確な覚醒水準の推定を行うのに好適な、まばたき波形に係るデータに基づく、まばたき波形パターンモデル及び覚醒状態パターンモデルとを生成する覚醒状態判定モデル生成装置、対象者の覚醒状態を判定する覚醒状態判定装置、及び警告装置を提供する。覚醒状態判定モデル生成装置において、各対象者のまばたき時の少なくとも片眼のまばたきデータから抽出した第１の特徴量データとまばたき波形識別情報とを学習データとして統計モデルを学習させ、第１のパターンモデルを生成する。そして、分析区間の系列における特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データと、分析区間の系列ごとに各対象者の覚醒状態を示す覚醒状態情報を付与した覚醒状態情報データとを学習データとして統計モデルを学習させ、第２のパターンモデルを生成する。
2008088070.tif 000002
【特許請求の範囲】
【請求項１】
対象者の生理状態を判定するパターンモデルを生成する生理状態判定モデル生成装置であって、
生理データより求められた生理状態情報データと、生理現象の分類項目ごとの生起比率に係るデータを含む生理現象特徴量データと、に基づき統計モデルによりモデル化された生理状態情報に対する尤度を出力する生理状態パターンモデルを生成することを特徴とする生理状態判定モデル生成装置。
【請求項２】
対象者の覚醒状態を判定するパターンモデルを生成する覚醒状態判定モデル生成装置であって、
生理データより求められた覚醒状態情報データと、特定種類のまばたき波形ごとの生起比率に係るデータを含むまばたき種類特徴量データと、に基づき統計モデルによりモデル化された覚醒状態情報に対する尤度を出力する覚醒状態パターンモデルを生成することを特徴とする覚醒状態判定モデル生成装置。
【請求項３】
対象者の覚醒状態を判定する統計モデルを生成する覚醒状態判定モデル生成装置であって、
各対象者のまばたき時の少なくとも片眼のまばたきデータから抽出された第１の特徴量データと、前記まばたきデータの各まばたきに対し特定種類のまばたき波形を示すまばたき波形識別情報を付与したまばたき波形識別情報データとを記憶する学習データ記憶手段と、
前記学習データ記憶手段に記憶された前記第１の特徴量データと、前記まばたき波形識別情報データとを学習データとして統計モデルを学習させ、前記第１の特徴量データを入力とし、当該第１の特徴量データに対するまばたき波形識別情報に対する尤度を出力とする第１のパターンモデルを生成するまばたき波形パターンモデル生成手段と、
前記学習データ記憶手段に記憶された前記まばたき波形識別情報データに基づいて、分析区間における前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する特徴量データ生成手段と、
前記特徴量データ生成手段で生成された前記第２の特徴量データと、前記分析区間の系列ごとに前記各対象者の覚醒状態を示す覚醒状態情報を付与した覚醒状態情報データとを学習データとして統計モデルを学習させ、前記第２の特徴量データを入力とし、当該第２の特徴量データに対する覚醒状態情報に対する尤度を出力とする第２のパターンモデルを生成する覚醒状態パターンモデル生成手段と、を備えることを特徴とする覚醒状態判定モデル生成装置。
【請求項４】
前記まばたきデータは、眼電図（ＥＯＧ）波形のデータまたは眼の動画像であることを特徴とする請求項３に記載の覚醒状態判定モデル生成装置。
【請求項５】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項３または請求項４のいずれか１項に記載の覚醒状態判定モデル生成装置。
【請求項６】
前記統計モデルは、ＨＭＭ（Hidden Markov Model）であることを特徴とする請求項３乃至請求項５のいずれか１項に記載の覚醒状態判定モデル生成装置。
【請求項７】
前記覚醒状態判定モデル生成装置は、
前記各対象者のまばたき時の少なくとも片眼の前記まばたきデータを記憶するまばたきデータ記憶手段と、
前記まばたきデータ記憶手段から取得したまばたきデータから、前記第１の特徴量データを抽出する特徴量データ抽出手段と、
前記まばたき波形パターンモデル生成手段で生成された第１のパターンモデルを記憶する第１のパターンモデル記憶手段と、
前記特徴量データ生成手段で生成した前記第２の特徴量データを記憶する第２の特徴量データ記憶手段と、
前記覚醒状態パターンモデル生成手段で生成した第２のパターンモデルを記憶する第２のパターンモデル記憶手段と、を更に備えることを特徴とする請求項３乃至請求項６のいずれか１項に記載の覚醒状態判定モデル生成装置。
【請求項８】
対象者の覚醒状態を判定する覚醒状態判定装置であって、
前記対象者のまばたき時の少なくとも片眼のまばたきデータを取得するまばたきデータ取得手段と、
請求項３乃至請求項７のいずれか１項に記載の覚醒状態判定モデル生成装置で生成された第１のパターンモデルと、
前記まばたきデータ取得手段で取得したまばたきデータから、前記第１のパターンモデルに対応する第１の特徴量データを抽出する第１の特徴量データ抽出手段と、
前記第１の特徴量データ抽出手段で抽出した第１の特徴量データと、前記第１のパターンモデルとに基づき、前記第１の特徴量データに対応した特定種類のまばたき波形を識別するまばたき波形識別手段と、
分析区間の系列において取得された前記対象者のまばたきデータに対する前記まばたき波形識別手段の識別結果に基づき、前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する第２の特徴量データ生成手段と、
請求項１乃至請求項５のいずれか１項に記載の覚醒状態判定モデル生成装置で生成された第２のパターンモデルと、
前記第２の特徴量データ生成手段で生成した第２の特徴量データと、前記第２のパターンモデルとに基づき、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴とする覚醒状態判定装置。
【請求項９】
前記まばたきデータは、眼電図（ＥＯＧ）波形のデータまたは眼の動画像であることを特徴とする請求項８に記載の覚醒状態判定装置。
【請求項１０】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項６または請求項７のいずれか１項に記載の覚醒状態判定装置。
【請求項１１】
前記第１のパターンモデルと前記第２のパターンモデルは、ＨＭＭ（Hidden Markov Model）であることを特徴とする請求項６乃至請求項８のいずれか１項に記載の覚醒状態判定装置。
【請求項１２】
請求項８乃至１１のいずれか１項に記載の覚醒状態判定装置と、
前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与える警告手段と、を備えることを特徴とする警告装置。
【請求項１３】
請求項１２に記載の警告装置を備えることを特徴とする車両。
【請求項１４】
対象者の覚醒状態を判定する統計モデルを生成する覚醒状態判定モデル生成方法であって、
各対象者のまばたき時の少なくとも片眼のまばたきデータから抽出された第１の特徴量データと、前記まばたきデータの各まばたきに対し特定種類のまばたき波形を示すまばたき波形識別情報を付与したまばたき波形識別情報データとを記憶する学習データ記憶ステップと、
前記学習データ記憶ステップに記憶された前記第１の特徴量データと、前記まばたき波形識別情報データとを学習データとして統計モデルを学習させ、前記第１の特徴量データを入力とし、当該第１の特徴量データに対するまばたき波形識別情報に対する尤度を出力とする第１のパターンモデルを生成するまばたき波形パターンモデル生成ステップと、
前記学習データ記憶ステップに記憶された前記まばたき波形識別情報データに基づいて、分析区間における前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する特徴量データ生成ステップと、
前記特徴量データ生成ステップで生成された前記第２の特徴量データと、前記分析区間の系列ごとに前記各対象者の覚醒状態を示す覚醒状態情報を付与した覚醒状態情報データとを学習データとして統計モデルを学習させ、前記第２の特徴量データを入力とし、当該第２の特徴量データに対する覚醒状態情報に対する尤度を出力とする第２のパターンモデルを生成する覚醒状態パターンモデル生成ステップと、を含むことを特徴とする覚醒状態判定モデル生成方法。
【請求項１５】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項１４に記載の覚醒状態判定モデル生成方法。
【請求項１６】
前記覚醒状態判定モデル生成方法は、
前記各対象者のまばたき時の少なくとも片眼の前記まばたきデータをまばたきデータ記憶手段に記憶するまばたきデータ記憶ステップと、
前記まばたきデータ記憶手段に記憶されたまばたきデータから、前記第１の特徴量データを抽出する特徴量データ抽出ステップと、
前記まばたき波形パターンモデル生成ステップで生成された第１のパターンモデルを記憶する第１のパターンモデル記憶ステップと、
前記特徴量データ生成ステップで生成した前記第２の特徴量データを記憶する第２の特徴量データ記憶ステップと、
前記覚醒状態パターンモデル生成ステップで生成した第２のパターンモデルを記憶する第２のパターンモデル記憶ステップと、を更に備えることを特徴とする請求項１４または請求項１５のいずれか１項に記載の覚醒状態判定モデル生成方法。
【請求項１７】
対象者の覚醒状態を判定する覚醒状態判定方法であって、
前記対象者のまばたき時の少なくとも片眼のまばたきデータを取得するまばたきデータ取得ステップと、
前記まばたきデータ取得ステップで取得したまばたきデータから、請求項１４乃至請求項１６のいずれか１項に記載の覚醒状態判定モデル生成方法で生成された第１のパターンモデルに対応する第１の特徴量データを抽出する第１の特徴量データ抽出ステップと、
前記第１の特徴量データ抽出ステップで抽出した第１の特徴量データと、前記第１のパターンモデルとに基づき、前記第１の特徴量データに対応した特定種類のまばたき波形を識別するまばたき波形識別ステップと、
分析区間の系列において取得された前記対象者のまばたきデータに対する前記まばたき波形識別ステップの識別結果に基づき、前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する第２の特徴量データ生成ステップと、
前記第２の特徴量データ生成ステップで生成した第２の特徴量データと、請求項１４乃至請求項１６のいずれか１項に記載の覚醒状態判定モデル生成方法で生成された第２のパターンモデルとに基づき、前記対象者の覚醒状態を判定する覚醒状態判定ステップと、を備えることを特徴とする覚醒状態判定方法。
【請求項１８】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項１７に記載の覚醒状態判定方法。
【請求項１９】
対象者の覚醒状態を判定する統計モデルを生成する覚醒状態判定モデル生成プログラムであって、
各対象者のまばたき時の少なくとも片眼のまばたきデータから抽出された第１の特徴量データと、前記まばたきデータの各まばたきに対し特定種類のまばたき波形を示すまばたき波形識別情報を付与したまばたき波形識別情報データとを記憶する学習データ記憶ステップと、
前記学習データ記憶ステップに記憶された前記第１の特徴量データと、前記まばたき波形識別情報データとを学習データとして統計モデルを学習させ、前記第１の特徴量データを入力とし、当該第１の特徴量データに対するまばたき波形識別情報に対する尤度を出力とする第１のパターンモデルを生成するまばたき波形パターンモデル生成ステップと、
前記学習データ記憶ステップに記憶された前記まばたき波形識別情報データに基づいて、分析区間の系列における前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する特徴量データ生成ステップと、
前記特徴量データ生成ステップで生成された前記第２の特徴量データと、前記分析区間の系列ごとに前記各対象者の覚醒状態を示す覚醒状態情報を付与した覚醒状態情報データとを学習データとして統計モデルを学習させ、前記第２の特徴量データを入力とし、当該第２の特徴量データに対する覚醒状態情報に対する尤度を出力とする第２のパターンモデルを生成する覚醒状態パターンモデル生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする覚醒状態判定モデル生成プログラム。
【請求項２０】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項１９に記載の覚醒状態判定モデル生成プログラム。
【請求項２１】
前記覚醒状態判定モデル生成プログラムは、
前記各対象者のまばたき時の少なくとも片眼の前記まばたきデータをまばたきデータ記憶手段に記憶するまばたきデータ記憶ステップと、
前記まばたきデータ記憶手段に記憶されたまばたきデータから、前記第１の特徴量データを抽出する特徴量データ抽出ステップと、
前記まばたき波形パターンモデル生成ステップで生成された第１のパターンモデルを記憶する第１のパターンモデル記憶ステップと、
前記特徴量データ生成ステップで生成した前記第２の特徴量データを記憶する第２の特徴量データ記憶ステップと、
前記覚醒状態パターンモデル生成ステップで生成した第２のパターンモデルを記憶する第２のパターンモデル記憶ステップと、を更に含むことを特徴とする請求項１９または請求項２０のいずれか１項に記載の覚醒状態判定モデル生成プログラム。
【請求項２２】
対象者の覚醒状態を判定する覚醒状態判定プログラムであって、
前記対象者のまばたき時の少なくとも片眼のまばたきデータを取得するまばたきデータ取得ステップと、
前記まばたきデータ取得ステップで取得したまばたきデータから、請求項１９乃至請求項２１のいずれか１項に記載の覚醒状態判定モデル生成プログラムで生成された第１のパターンモデルに対応する第１の特徴量データを抽出する第１の特徴量データ抽出ステップと、
前記第１の特徴量データ抽出ステップで抽出した第１の特徴量データと、前記第１のパターンモデルとに基づき、前記第１の特徴量データに対応した特定種類のまばたき波形を識別するまばたき波形識別ステップと、
分析区間の系列において取得された前記対象者のまばたきデータに対する前記まばたき波形識別ステップの識別結果に基づき、前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する第２の特徴量データ生成ステップと、
前記第２の特徴量データ生成ステップで生成した第２の特徴量データと、請求項１９乃至請求項２１のいずれか１項に記載の覚醒状態判定モデル生成プログラムで生成された第２のパターンモデルとに基づき、前記対象者の覚醒状態を判定する覚醒状態判定ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする覚醒状態判定プログラム。
【請求項２３】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項２２に記載の覚醒状態判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生理現象、特にまぶたの開度の時間的変化であるまばたき波形に係るデータに基づき、まばたき波形パターンモデル及び覚醒状態パターンモデルとを生成する覚醒状態判定モデル生成装置、これらの生成したパターンモデルを用いて求めた対象者の分析区間の系列における特定種類のまばたき波形ごとの生起比率に係るデータに基づき対象者の覚醒状態を判定する覚醒状態判定装置、及び前記覚醒状態の判定結果に基づき対象者に警告を与える警告装置に関する。
【背景技術】
【０００２】
近年、ＩＴＳ（高度道路交通システム）の実用化に向けた研究開発は、情報処理技術の発展及び高度化に伴って急速に展開されてきており、新規市場として産業界からの注目度も高まっている。
ＩＴＳの中心的な役割を果たすものとして、運転支援・ナビゲーションシステムなどがあるが、道路・交通状況や車の挙動のみならず、ドライバの特性やその時々の状態に応じた支援や情報提示が望まれている。中でも、ドライバの覚醒水準の評価は、古くからの課題とされており、脳波、皮膚電気活動、心拍、まばたきなどの生体・生理反応を利用した研究が数多く行われてきている。【０００３】
特に、まばたきの生起パターンや眼球運動を示す波形のパラメータは、被験者の覚醒水準によって変化することが知られており、まばたきの生起パターンやまばたき時の眼球運動を示す波形のパラメータを利用したドライバの居眠り検出などの研究が進められている。
また、まばたき時の眼球運動を示す波形のパラメータを利用して覚醒状態を判定する技術として、特許文献１に記載の動作内容判定装置がある。【０００４】
この動作内容判定装置は、眼部分の複数フレームの映像データに対する特徴量の入力に対して対象者のまばたき波形の種類に対する尤度を出力する眼状態判定用ＨＭＭ（Hidden Markov Model）を有しており、前記特徴量の入力に対して眼状態判定用ＨＭＭから出力された尤度に基づいて対象者の覚醒状態を判定するものである。覚醒状態に関連付けられたまばたき波形として、覚醒時の標準的な眼電図（ＥＯＧ）波形や眠気状態の代表的な眼電図（ＥＯＧ）波形などが開示されている。【０００５】
この特許文献１の従来技術においては、眼状態判定用ＨＭＭの生成時において、１回１回のまばたき波形における、まばたきの振幅、持続時間及び速度などのパラメータに基づいてまばたき波形の種類を判断する。
そして、この判断結果に基づき、前記まばたき波形に対応する眼部分の複数フレームの映像データから抽出した特徴量に対して、前記まばたき波形の種類を識別するための識別情報を付与する。【０００６】
更に、上述のようにして識別情報が付与された特徴量を学習データとしてＨＭＭを学習させる。
そして、多種類のまばたき波形のうち覚醒状態を十分に判定できるとされる特定種類のまばたきに対するＨＭＭを生成し、所定時間内における前記特定種類のまばたきの生起頻度の変化に基づいて覚醒状態の判定を行う。
具体的には、毎回のまばたき波形の識別結果を所定の時間区間でヒストグラム処理することによりまばたきパターンの生起頻度を捉え、覚醒時における標準的なまばたき波形ではないと識別されたまばたき波形の生起頻度が高くなった場合に、覚醒状態が低くなったと判断する。
【特許文献１】ＷＯ２００５／１１４５７６号公報
【発明の開示】
【０００７】
［発明が解決しようとする課題］
本発明者は、上記特許文献１において、毎回のまばたき波形の識別結果を所定の時間単位でヒストグラム処理し、各まばたき波形パターンの生起頻度変化を求めることで覚醒状態を判定していた。
具体的には、例えば、複数の特定種類のまばたき波形パターンの発生頻度が高くなった場合に対象者の覚醒状態が低くなったと判定することが開示されている。
【０００８】
しかし、生理学的知見に基づいて、覚醒度の低下時に生起するまばたき波形パターンの発生頻度が高くなるという単一の指標を用いているために、覚醒度の高い状態から居眠り状態に移行するまでに生起する多種多様な覚醒水準（状態）を推定することが困難である。
更に、覚醒水準（状態）を推定するための上記指標は、対象者ごとにその推定基準が異なり、また、同じ対象者であっても置かれた状況によってその推定基準が異なる。
したがって、不特定の対象者に対して、その置かれた状況の影響を受けない正確な覚醒水準の推定が求められていた。
【０００９】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、まばたき波形に係るデータに基づき、まばたき波形パターンモデルと覚醒状態パターンモデルとを生成する覚醒状態判定モデル生成装置、当該生成したパターンモデルを用いて求めた対象者の分析区間の系列における特定種類のまばたき波形ごとの生起比率に係るデータに基づき対象者の覚醒状態を判定する覚醒状態判定装置、及び、前記覚醒状態の判定結果に基づき対象者に警告を与える警告装置を提供することを目的とする。
尚、生理現象としてまばたき、生理状態として覚醒状態を例として挙げたが、これに限定されるものではない。
【００１０】
［課題を解決するための手段］
本発明者は、上記特許文献１の出願後に、被験者の覚醒水準を変化させて収集したまばたき波形のデータに対して解析を行ったところ、所定の時間区間における特定種類のまばたき波形の生起比率や生起回数の時間的変化を含むデータが、覚醒水準の変化に応じて特徴的なパターンを有することを見出し、この知見から上記課題を解決する本発明を創出するに至ったものである。
【００１１】
上記目的を達成するために、本発明に係る請求項１に記載の生理状態判定モデル生成装置は、対象者の生理状態を判定するパターンモデルを生成する生理状態判定モデル生成装置であって、生理データより求められた生理状態情報データと、生理現象の分類項目ごとの生起比率に係るデータを含む生理現象特徴量データと、に基づき統計モデルによりモデル化された生理状態情報に対する尤度を出力する生理状態パターンモデルを生成することを特徴としている。
【００１２】
更に、上記目的を達成するために、請求項２に係る発明は、対象者の覚醒状態を判定するパターンモデルを生成する覚醒状態判定モデル生成装置であって、生理データより求められた覚醒状態情報データと、特定種類のまばたき波形ごとの生起比率に係るデータを含むまばたき種類特徴量データと、に基づき統計モデルによりモデル化された覚醒状態情報に対する尤度を出力する覚醒状態パターンモデルを生成することを特徴としている。
【００１３】
上記目的を達成するために、本発明に係る請求項３に記載の覚醒状態判定モデル生成装置は、対象者の覚醒状態を判定する統計モデルを生成する覚醒状態判定モデル生成装置であって、各対象者のまばたき時の少なくとも片眼のまばたきデータから抽出された第１の特徴量データと、前記まばたきデータの各まばたきに対し特定種類のまばたき波形を示すまばたき波形識別情報を付与したまばたき波形識別情報データとを記憶する学習データ記憶手段と、前記学習データ記憶手段に記憶された前記第１の特徴量データと、前記まばたき波形識別情報データとを学習データとして統計モデルを学習させ、前記第１の特徴量データを入力とし、当該第１の特徴量データに対するまばたき波形識別情報に対する尤度を出力とする第１のパターンモデルを生成するまばたき波形パターンモデル生成手段と、
前記学習データ記憶手段に記憶された前記まばたき波形識別情報データに基づいて、分析区間における前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する特徴量データ生成手段と、
前記特徴量データ生成手段で生成された前記第２の特徴量データと、前記分析区間の系列ごとに前記各対象者の覚醒状態を示す覚醒状態情報を付与した覚醒状態情報データとを学習データとして統計モデルを学習させ、前記第２の特徴量データを入力とし、当該第２の特徴量データに対する覚醒状態情報に対する尤度を出力とする第２のパターンモデルを生成する覚醒状態パターンモデル生成手段と、を備えることを特徴としている。
【００１４】
更に、上記目的を達成するために、請求項４に係る発明は、請求項３に記載の覚醒状態判定モデル生成装置において、
前記まばたきデータは、眼電図（ＥＯＧ）波形のデータまたは眼の動画像であることを特徴としている。
更に、上記目的を達成するために、請求項５に記載の覚醒状態判定モデル生成装置は、請求項３または請求項４のいずれか１項に記載の覚醒状態判定モデル生成装置において、
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴としている。
更に、上記目的を達成するために、請求項６に記載の覚醒状態判定モデル生成装置は、請求項３乃至請求項５のいずれか１項に記載の覚醒状態判定モデル生成装置において、
前記統計モデルは、ＨＭＭ（Hidden Markov Model）であることを特徴としている。
【００１５】
更に、上記目的を達成するために、請求項７記載の覚醒状態判定モデル生成装置は、請求項３乃至請求項６のいずれか１項に記載の覚醒状態判定モデル生成装置において、
前記覚醒状態判定モデル生成装置は、
前記各対象者のまばたき時の少なくとも片眼の前記まばたきデータを記憶するまばたきデータ記憶手段と、
前記まばたきデータ記憶手段から取得したまばたきデータから、前記第１の特徴量データを抽出する特徴量データ抽出手段と、
前記まばたき波形パターンモデル生成手段で生成された第１のパターンモデルを記憶する第１のパターンモデル記憶手段と、
前記特徴量データ生成手段で生成した前記第２の特徴量データを記憶する第２の特徴量データ記憶手段と、
前記覚醒状態パターンモデル生成手段で生成した第２のパターンモデルを記憶する第２のパターンモデル記憶手段と、を更に備えることを特徴としている。
【００１６】
一方、上記目的を達成するために、請求項８に記載の覚醒状態判定装置は、
対象者の覚醒状態を判定する覚醒状態判定装置であって、
前記対象者のまばたき時の少なくとも片眼のまばたきデータを取得するまばたきデータ取得手段と、
請求項３乃至請求項７のいずれか１項に記載の覚醒状態判定モデル生成装置で生成された第１のパターンモデルと、
前記まばたきデータ取得手段で取得したまばたきデータから、前記第１のパターンモデルに対応する第１の特徴量データを抽出する第１の特徴量データ抽出手段と、
前記第１の特徴量データ抽出手段で抽出した第１の特徴量データと、前記第１のパターンモデルとに基づき、前記第１の特徴量データに対応した特定種類のまばたき波形を識別するまばたき波形識別手段と、
分析区間の系列において取得された前記対象者のまばたきデータに対する前記まばたき波形識別手段の識別結果に基づき、前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する第２の特徴量データ生成手段と、
請求項３乃至請求項７のいずれか１項に記載の覚醒状態判定モデル生成装置で生成された第２のパターンモデルと、
前記第２の特徴量データ生成手段で生成した第２の特徴量データと、前記第２のパターンモデルとに基づき、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴としている。
【００１７】
更に、上記目的を達成するために、請求項９に係る発明は、請求項８に記載の覚醒状態生成装置において、
前記まばたきデータは、眼電図（ＥＯＧ）波形または眼の動画像のデータであることを特徴としている。
更に、上記目的を達成するために、請求項１０に記載の覚醒状態判定装置は、請求項８または請求項９のいずれか１項に記載の覚醒状態判定装置において、
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴としている。
【００１８】
更に、上記目的を達成するために、請求項１１に記載の覚醒状態判定装置は、請求項８乃至請求項１０のいずれか１項に記載の覚醒状態判定装置において、
前記統計モデルは、ＨＭＭ（Hidden Markov Model）であることを特徴としている。
更に、上記目的を達成するために、請求項１２に記載の警告装置は、
請求項８乃至請求項１１のいずれか１項に記載の覚醒状態判定装置と、
前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与える警告手段と、を備えることを特徴としている。
更に、上記目的を達成するために、請求項１３に記載の車両は、請求項１２に記載の警告装置を備えることを特徴としている。
【００１９】
更に、上記目的を達成するために、請求項１４に記載の覚醒状態判定モデル生成方法は、
対象者の覚醒状態を判定する統計モデルを生成する覚醒状態判定モデル生成方法であって、
各対象者のまばたき時の少なくとも片眼のまばたきデータから抽出された第１の特徴量データと、前記まばたきデータの各まばたきに対し特定種類のまばたき波形を示すまばたき波形識別情報を付与したまばたき波形識別情報データとを記憶する学習データ記憶ステップと、
前記学習データ記憶ステップに記憶された前記第１の特徴量データと、前記まばたき波形識別情報データとを学習データとして統計モデルを学習させ、前記第１の特徴量データを入力とし、当該第１の特徴量データに対するまばたき波形識別情報に対する尤度を出力とする第１のパターンモデルを生成するまばたき波形パターンモデル生成ステップと、
前記学習データ記憶ステップに記憶された前記まばたき波形識別情報データに基づいて、分析区間の系列における前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する特徴量データ生成ステップと、
前記特徴量データ生成ステップで生成された前記第２の特徴量データと、前記分析区間の系列ごとに前記各対象者の覚醒状態を示す覚醒状態情報を付与した覚醒状態情報データとを学習データとして統計モデルを学習させ、前記第２の特徴量データを入力とし、当該第２の特徴量データに対する覚醒状態情報に対する尤度を出力とする第２のパターンモデルを生成する覚醒状態パターンモデル生成ステップと、を備えることを特徴としている。
【００２０】
更に、上記目的を達成するために、請求項１５に記載の覚醒状態判定モデル生成方法は、
請求項１４に記載の覚醒状態判定モデル生成方法において、
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴としている。
【００２１】
更に、上記目的を達成するために、請求項１６記載の覚醒状態判定モデル生成方法は、
請求項１４または請求項１５のいずれか１項に記載の覚醒状態判定モデル生成方法において、
前記覚醒状態判定モデル生成方法は、
前記各対象者のまばたき時の少なくとも片眼の前記まばたきデータをまばたきデータ記憶手段に記憶するまばたきデータ記憶ステップと、
前記まばたきデータ記憶手段に記憶されたまばたきデータから、前記第１の特徴量データを抽出する特徴量データ抽出ステップと、
前記まばたき波形パターンモデル生成ステップで生成された第１のパターンモデルを記憶する第１のパターンモデル記憶ステップと、
前記特徴量データ生成ステップで生成した前記第２の特徴量データを記憶する第２の特徴量データ記憶ステップと、
前記覚醒状態パターンモデル生成ステップで生成した第２のパターンモデルを記憶する第２のパターンモデル記憶ステップと、を更に備えることを特徴としている。
【００２２】
更に、上記目的を達成するために、請求項１７に記載の覚醒状態判定方法は、
対象者の覚醒状態を判定する覚醒状態判定方法であって、
前記対象者のまばたき時の少なくとも片眼のまばたきデータを取得するまばたきデータ取得ステップと、
前記まばたきデータ取得ステップで取得したまばたきデータから、請求項１４乃至請求項１６のいずれか１項に記載の覚醒状態判定モデル生成方法で生成された第１のパターンモデルに対応する第１の特徴量データを抽出する第１の特徴量データ抽出ステップと、
前記第１の特徴量データ抽出ステップで抽出した第１の特徴量データと、前記第１のパターンモデルとに基づき、前記第１の特徴量データに対応した特定種類のまばたき波形を識別するまばたき波形識別ステップと、
分析区間の系列において取得された前記対象者のまばたきデータに対する前記まばたき波形識別ステップの識別結果に基づき、前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する第２の特徴量データ生成ステップと、
前記第２の特徴量データ生成ステップで生成した第２の特徴量データと、請求項１４乃至請求項１６のいずれか１項に記載の覚醒状態判定モデル生成方法で生成された第２のパターンモデルとに基づき、前記対象者の覚醒状態を判定する覚醒状態判定ステップと、を備えることを特徴としている。
【００２３】
更に、上記目的を達成するために、請求項１８に記載の覚醒状態判定方法は、請求項１７に記載の覚醒状態判定方法において、
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴としている。
【００２４】
更に、上記目的を達成するために、請求項１９に記載の覚醒状態判定モデル生成プログラムは、
対象者の覚醒状態を判定する統計モデルを生成する覚醒状態判定モデル生成プログラムであって、
各対象者のまばたき時の少なくとも片眼のまばたきデータから抽出された第１の特徴量データと、前記まばたきデータの各まばたきに対し特定種類のまばたき波形を示すまばたき波形識別情報を付与したまばたき波形識別情報データとを記憶する学習データ記憶ステップと、
前記学習データ記憶ステップに記憶された前記第１の特徴量データと、前記まばたき波形識別情報データとを学習データとして統計モデルを学習させ、前記第１の特徴量データを入力とし、当該第１の特徴量データに対するまばたき波形識別情報に対する尤度を出力とする第１のパターンモデルを生成するまばたき波形パターンモデル生成ステップと、
前記学習データ記憶ステップに記憶された前記まばたき波形識別情報データに基づいて、分析区間の系列における前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する特徴量データ生成ステップと、
前記特徴量データ生成ステップで生成された前記第２の特徴量データと、前記分析区間の系列ごとに前記各対象者の覚醒状態を示す覚醒状態情報を付与した覚醒状態情報データとを学習データとして統計モデルを学習させ、前記第２の特徴量データを入力とし、当該第２の特徴量データに対する覚醒状態情報に対する尤度を出力とする第２のパターンモデルを生成する覚醒状態パターンモデル生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【００２５】
更に、上記目的を達成するために、請求項２０に記載の覚醒状態判定モデル生成プログラムは、
請求項１９に記載の覚醒状態判定モデル生成プログラムにおいて、
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴としている。
【００２６】
更に、上記目的を達成するために、請求項２１に記載の覚醒状態判定モデル生成プログラムは、
請求項１９または請求項２０のいずれか１項に記載の覚醒状態判定モデル生成プログラムにおいて、
前記覚醒状態判定モデル生成プログラムは、
前記各対象者のまばたき時の少なくとも片眼の前記まばたきデータをまばたきデータ記憶手段に記憶するまばたきデータ記憶ステップと、
前記まばたきデータ記憶手段に記憶されたまばたきデータから、前記第１の特徴量データを抽出する特徴量データ抽出ステップと、
前記まばたき波形パターンモデル生成ステップで生成された第１のパターンモデルを記憶する第１のパターンモデル記憶ステップと、
前記特徴量データ生成ステップで生成した前記第２の特徴量データを記憶する第２の特徴量データ記憶ステップと、
前記覚醒状態パターンモデル生成ステップで生成した第２のパターンモデルを記憶する第２のパターンモデル記憶ステップと、を更に備えることを特徴としている。
【００２７】
更に、上記目的を達成するために、請求項２２に記載の覚醒状態判定プログラムは、
対象者の覚醒状態を判定する覚醒状態判定プログラムであって、
前記対象者のまばたき時の少なくとも片眼のまばたきデータを取得するまばたきデータ取得ステップと、
前記まばたきデータ取得ステップで取得したまばたきデータから、請求項１９乃至請求項２１のいずれか１項に記載の覚醒状態判定モデル生成プログラムで生成された第１のパターンモデルに対応する第１の特徴量データを抽出する第１の特徴量データ抽出ステップと、
前記第１の特徴量データ抽出ステップで抽出した第１の特徴量データと、前記第１のパターンモデルとに基づき、前記第１の特徴量データに対応した特定種類のまばたき波形を識別するまばたき波形識別ステップと、
分析区間の系列において取得された前記対象者のまばたきデータに対する前記まばたき波形識別ステップの識別結果に基づき、前記特定種類のまばたき波形ごとの生起比率の時間的変化を含む第２の特徴量データを生成する第２の特徴量データ生成ステップと、
前記第２の特徴量データ生成ステップで生成した第２の特徴量データと、請求項１９乃至請求項２１のいずれか１項に記載の覚醒状態判定モデル生成プログラムで生成された第２のパターンモデルとに基づき、前記対象者の覚醒状態を判定する覚醒状態判定ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【００２８】
更に、上記目的を達成するために、請求項２３に記載の覚醒状態判定プログラムは、請求項２２に記載の覚醒状態判定プログラムにおいて、
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴としている。
【００２９】
［発明の効果］
以上説明したように、本発明に係る請求項１に記載の生理状態判定モデル生成装置によれば、生理データより求められた生理状態情報データ（覚醒状態、疲労度、緊張状態など）と、生理現象（脳波、皮膚電気活動、心拍、まばたきなど）の各分類項目の生起比率データに係るデータを含む生理現象特徴量データとに基づき統計モデルによりモデル化された生理状態パターンモデルを生成することが可能となる。そして、当該生理状態パターンモデルを用いて対象者の生理状態を判定することが可能となる。
【００３０】
また、本発明に係る請求項２に記載の覚醒状態判定モデル生成装置によれば、生理データより求められた覚醒状態情報データと、まばたき波形の各分類項目の生起比率データに係るデータを含むまばたき種類特徴量データとに基づき統計モデルによりモデル化された覚醒状態パターンモデルを生成することが可能となる。そして、当該覚醒状態パターンモデルを用いて対象者の覚醒状態を判定することが可能となる。
【００３１】
また、本発明に係る請求項３、７に記載の覚醒状態判定モデル生成装置、請求項６に記載の覚醒状態判定装置、請求項１４、１６に記載の覚醒状態判定モデル生成方法、請求項１５１７に記載の覚醒状態判定方法、請求項１９、２１に記載の覚醒状態判定モデル生成プログラム、並びに請求項２２に記載の覚醒状態判定プログラムによれば、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの生起頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの生起頻度の変化に加えて、分析区間の系列における各特定種類のまばたきの生起比率に係るデータに基づいて、高精度の覚醒状態の判定を行うことが可能である。
【００３２】
第２の特徴量データ（請求項７）から、分析区間の系列における対象者の特定種類のまばたきの生起比率に係るデータが解るので、予め実験等を行って、例えば、特定種類のまばたきの生起比率に係るデータと、高覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）とを対応付けた覚醒状態情報データを得ておくことにより、第２の特徴量データから、対象者の様々な覚醒水準（状態）を判断するため第２のパターンモデルを生成することができるという効果が得られる。
つまり、生体・生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの生起頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの生起頻度の変化に加えて、分析区間の系列における各特定種類のまばたきの生起比率に係るデータに基づいて、高精度の覚醒状態の判定を行うことが可能である。
【００３３】
また、本発明に係る請求項２に記載の覚醒状態判定モデル生成装置、並びに請求項７に記載の覚醒状態判定装置によれば、によれば、まばたきデータとして高精度にまぶたの開度の時間変化を取得することができる眼電図（ＥＯＧ）を用いるので、高精度なまばたき波形の種類の識別を行うことができるパターンモデルを生成することができる。また、対象者に電極を装着させずにまばたきデータを非接触で取得するこができる眼の動画像を用いるので、対象者の利便性を高めることが可能である。
【００３４】
また、本発明に係る請求項５に記載の覚醒状態判定モデル生成装置、請求項１０に記載の覚醒状態判定装置、請求項１５に記載の覚醒状態判定モデル生成方法、請求項１６に記載の覚醒状態判定方法、請求項２０に記載の覚醒状態判定モデル生成プログラム、並びに請求項２２に記載の覚醒状態判定プログラムによれば、生起比率に係るデータとして生起比率の時間変化または生起回数の時間変化を用いるので、分析区間の系列における各特定種類のまばたきの生起比率または生起回数の局所的な時間的変化に基づいて、より高精度の覚醒状態の判定を行うことが可能である。
【００３５】
また、本発明に係る請求項６に記載の覚醒状態判定モデル生成装置、並びに請求項１１に記載の覚醒状態判定装置によれば、統計モデルとして公知のＨＭＭを用いるので、まばたきのように時間的概念を伴う動作内容に対して、まばたき波形の種類の識別を行うことができるパターンモデルを生成することができるという効果が得られる。
ここで、上記「ＨＭＭ」は、時系列信号の統計モデルであり、複数の定常信号源の間を遷移することで、非定常な時系列信号をモデル化することができる。例えば、音声は、話すスピードによりその時間的長さが変わり、発話内容により、周波数上で特徴的な形状（スペクトル包絡という）を示すが、その形状は発声する人、環境、内容等に依存し、揺らぎが生じる。ＨＭＭはそのような揺らぎを吸収することができる統計モデルである。
【００３６】
また、本発明に係る請求項１２に記載の警告装置、並びに請求項１３に記載の車両によれば、警告手段によって、前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与えることが可能である。
従って、例えば、自動車内のドライバの所定の時間単位ごとの前記特定種類のまばたき波形ごとの生起比率や生起回数の時間的変化を含む第２の特徴量データをリアルタイムに生成することによって、この第２の特徴量データから、例えば、完全に居眠りの状態になる前の居眠り状態に移行中のドライバの覚醒水準（状態）や眠気に対抗している覚醒水準（状態）等を判定することができる。
従って、眠りに落ちそうな状態の対象者に対して、警告音や光の点滅などによる警告を与えることによって、未然に事故を防ぐことができるという効果が得られる。
【図面の簡単な説明】
【００３７】
【図１】本発明に係る覚醒状態判定モデル生成装置８００の概要を示すブロック図である。
【図２】本発明に係る覚醒状態判定モデル生成装置１００の構成を示すブロック図である。
【図３】覚醒状態判定モデル生成装置１００のハードウェア構成を示すブロック図である。
【図４】覚醒状態判定モデル生成装置１００における、第１のパターンモデル生成処理および第２のパターンモデル生成処理を示すフローチャートである。
【図５】眼電図（ＥＯＧ）波形のデータから抽出するパラメータの説明図である。
【図６】ｋ−平均法を用いたクラスリング手法による、眼電図（ＥＯＧ）波形の分類結果を示す図である。
【図７】一定時間区間内の各まばたきの種類の生起頻度が、時間の経過とともに推移する様子を示す説明図である。
【図８】第２の特徴量の説明図である。
【図９】覚醒状態情報データの説明図である。
【図１０】眼の動画像から抽出する特徴量データの説明図である。
【図１１】本発明に係る覚醒状態判定装置９００の構成を示すブロック図である。
【図１２】本発明に係る警告装置２００の構成を示すブロック図である。
【図１３】警告装置２００のハードウェア構成を示すブロック図である。
【図１４】警告装置２００における、第１の特徴量データの抽出処理を示すフローチャートである。
【図１５】警告装置２００における、第２の特徴量データ生成処理を示すフローチャートである。
【図１６】警告装置２００における、覚醒状態判定処理及び警告処理を示すフローチャートである。
【図１７】ＨＭＭの一例を示す図である。
【図１８】警告装置２００における、第２の特徴量データ用の記憶領域を示す図である。
【図１９】まばたき波形データが眼電図（ＥＯＧ）波形データであり、特定対象者Ａのまばたき波形パターンモデルを用いた場合における、一定時間区間内の各まばたきの種類の生起頻度の一例および当該特定対象者Ａの覚醒状態を判定した結果を示す図である。
【図２０】まばたき波形データが眼の動画像であり、特定対象者Ａのまばたき波形パターンモデルを用いた場合における、一定時間区間内の各まばたきの種類の生起頻度の一例および当該特定対象者Ａの覚醒状態を判定した結果を示す図である。
【図２１】まばたき波形データが眼の動画像であり、不特定対象者のまばたき波形パターンモデルを用いた場合における、一定時間区間内の各まばたきの種類の生起頻度の一例および対象者Ａの覚醒状態を従来技術と本発明とで判定した結果を示す図である。
【図２２】まばたき波形データが眼の動画像であり、不特定対象者のまばたき波形パターンモデルを用いた場合における、一定時間区間内の各まばたきの種類の生起頻度の一例および対象者Ｂの覚醒状態を従来技術と本発明とで判定した結果を示す図である。
【符号の説明】
【００３８】
１００          覚醒状態判定モデル生成装置
２００          警告装置
１０            まばたきデータ記憶部
１１            第１特徴量データ抽出部
１２            第１学習データ記憶部
１３            まばたき波形パターンモデル生成部
１４            第１パターンモデル記憶部
１５            特徴量データ生成部
１６            第２学習データ記憶部
１７            覚醒状態パターンモデル生成部
１８            覚醒状態パターンモデル記憶部
２０            まばたきデータ取得部
２１            まばたき波形パターンモデル記憶部
２２            特徴量データ抽出部
２３            まばたき種類識別部
２４            特徴量データ生成部
２５            覚醒状態パターンモデル記憶部
２６            覚醒状態判定部
２７            警告部
８００          覚醒状態判定モデル生成装置
８０            覚醒状態データ記憶部
８１            覚醒状態パターンモデル生成部
９００          覚醒状態判定装置
９０            まばたき種類取得部
９１            特徴量データ生成部
９２            覚醒状態パターンモデル記憶部
９３            覚醒状態判定部
【発明を実施するための最良の形態】
【００３９】
〔第１の実施の形態〕
以下、本発明の第１の実施の形態を図面に基づき説明する。図１〜図１０は、本発明に係る覚醒状態判定モデル生成装置、覚醒状態判定モデル生成プログラム及び覚醒状態判定モデル生成方法の実施の形態を示す図である。
まず、本発明に係る覚醒状態判定モデル生成装置の概要を図１に基づき説明する。【００４０】
図１は、本発明に係る覚醒状態判定モデル生成装置８００の構成の概要を示すブロック図である。
覚醒状態データ記憶部８０は、覚醒状態情報データとまばたき種類特徴量データとを学習データとして記憶するようになっている。この学習データを作成するためには、例えば、まず複数対象者に対して測定を行い、複数種類のまばたきの眼電図（ＥＯＧ）波形データを収集する。【００４１】
更に、収集した各まばたきに対して、まばたきの分類項目を識別するまばたき波形識別情報を付与し、生理現象分類項目情報データを作成する。
この生理現象分類項目情報データに基づいて、各分析区間に対してまばたきの分類項目ごとの生起比率や生起回数を求め、生起比率や生起回数が要素となるデータを分析区間ごとに作成する。【００４２】
連続した分析区間の系列に対応するこのデータの系列がまばたき種類特徴量データである。
また、分析区間の系列ごとに各対象者の覚醒状態を示す生理状態情報が付与されたデータが覚醒状態情報データである。各対象者の覚醒状態は、例えば、眼電図（ＥＯＧ）波形データ収集時の、脳波、皮膚表面電位、心拍数、呼吸数などの生理・生体データからの判断や、顔表情からの判断、観察記録や考察などを用いて判定する。【００４３】
覚醒状態パターンモデル生成部８１では、覚醒状態データ記憶部８０に記憶されたまばたき種類特徴量データを、後述する記憶装置８０の所定領域に学習データとして記憶するようになっている。
更に、分析区間の系列ごとに各対象者の覚醒状態を示す生理状態情報が付与された覚醒状態情報データを、記憶装置４０の所定領域に学習データとして記憶するようになっている。
そして、覚醒状態パターンモデル生成部８１は、記憶装置４０に記憶されたまばたき種類特徴量データと覚醒状態情報データとを学習データとして統計モデルを学習し、覚醒状態用のパターンモデル（覚醒状態パターンモデル）を生成するようになっている。【００４４】
本発明に係る覚醒状態判定モデル生成装置の構成を図２に基づき説明する。
図２は、本発明に係る覚醒状態判定モデル生成装置１００の構成を示すブロック図である。
まばたきデータ記憶部１０は、複数対象者に対して測定した、複数種類のまばたきの眼電図（ＥＯＧ）波形データを、後述する記憶装置４０の所定領域に、学習データとして記憶するようになっている。【００４５】
具体的には、例えば、対象者の左眼又は右眼の少なくとも一方のまばたきの眼電図（ＥＯＧ）波形データを記憶する。また、まぶたの開度の時間変化を示すまばたきデータは、まばたきの動画像とすることも可能あり、対象者のまばたき時の左眼又は右眼の少なくとも一方を含む動画像データで構成される。また、各まばたき波形の生起時刻も記憶される。【００４６】
第１特徴量データ抽出部１１は、まばたきデータ記憶部１０によって記憶されたまばたきデータから、特徴量データを第１の特徴量データとして抽出するようになっている。
本実施の形態においては、眼電図（ＥＯＧ）波形のピーク高の距離データ、まばたきの開始からピーク高に至るまでの時間データ、ピーク高からまばたきの終了に至るまでの時間データの３つのパラメータから得られる後述のデータを特徴量データとする。【００４７】
なお、特徴量データとしては、他にも開始からピーク高までの最大立ち上がり角度、ピーク高から終了までの最大立ち下がり角度、ピーク高の５０％高以上の持続時間、ピーク高の７５％以上の持続時間などや、これらの組み合わせなどがある。
また、まばたきデータがまばたきの動画像である場合には、まばたきの動画像データの各フレーム毎に、所定領域の各ラインごとの輝度合計を算出し、各まばたき映像データの輝度合計のデータを特徴量データとする。【００４８】
なお、特徴量データとしては、他にも眼領域画像を周波数変換した周波数スペクトル成分、その周波数スペクトル成分の前後フレームとのフレーム間差分成分、眼領域画像のメル・ケプストラム（ＭＦＣＣ）成分、眼領域画像のフレーム内モーメント成分、フレーム間モーメント成分などや、これらの組み合わせなどがある。
第１学習データ記憶部１２は、第１特徴量データ抽出部１１で抽出した第１の特徴量データを、後述する記憶装置４０の所定領域に、学習データとして記憶するようになっている。【００４９】
更に、学習データ記憶部１２は、まばたきデータ記憶部１０に記憶された眼電図（ＥＯＧ）波形データまたはまばたきの動画像における各まばたきに対してまばたきの種類を識別するまばたき波形識別情報が付与されたまばたき波形識別情報データを、後述する記憶装置４０の所定領域に、学習データとして記憶するようになっている。
まばたき波形パターンモデル生成部１３は、まばたき波形パターンモデルの生成指示に応じて、第１学習データ記憶部１２に記憶された第１の特徴量データとまばたき波形識別情報データとを学習データとして統計モデルを学習し、まばたき波形用のパターンモデル（まばたき波形パターンモデル）である第１のパターンモデルを生成するようになっている。【００５０】
なお、本実施の形態においては、統計モデルとしてＨＭＭ（Hidden Markov Model）を用いることとする。
まばたき波形パターンモデル記憶部１４は、まばたき波形パターンモデル生成部１３において生成された第１のパターンモデルを、後述する記憶装置４０の所定領域に記憶するようになっている。
特徴量データ生成部１５は、第１学習データ記憶部１２に記憶されたまばたき波形識別情報データに基づいて、分析区間の系列における前記特定種類のまばたき波形ごとの生起比率や生起回数の時間的変化を含む第２の特徴量データを生成する。【００５１】
第２学習データ記憶部１６は、特徴量データ生成部１５において生成された第２の特徴量データを、後述する記憶装置４０の所定領域に学習データとして記憶するようになっている。
更に、第２学習データ記憶部１６は、分析区間の系列ごとに各対象者の覚醒状態を示す覚醒状態情報を付与した覚醒状態情報データを、後述する記憶装置４０の所定領域に学習データとして記憶するようになっている。【００５２】
覚醒状態パターンモデル生成部１７は、覚醒状態パターンモデルの生成指示に応じて、第２学習データ記憶部１６に記憶された第２の特徴量データと覚醒状態情報データとを学習データとして統計モデルを学習し、覚醒状態用のパターンモデル（覚醒状態パターンモデル）である第２のパターンモデルを生成するようになっている。
なお、本実施の形態においては、統計モデルとしてＨＭＭ（Hidden Markov Model）を用いることとする。
覚醒状態パターンモデル記憶部１８は、覚醒状態パターンモデル生成部１７において生成された第２のパターンモデルを、後述する記憶装置４０の所定領域に記憶するようになっている。【００５３】
更に、覚醒状態判定モデル生成装置１００は、上記各部の制御をソフトウェア上で実現するためのコンピュータシステムを備えており、そのハードウェア構成は、図３に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０と、主記憶装置（Ｍａｉｎ  Ｓｔｏｒａｇｅ）を構成するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３２と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３４との間をＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等からなる各種内外バス３８で接続すると共に、このバス３８に入出力インターフェース（Ｉ／Ｆ）３６を介して、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの内部又は外部記憶装置（Ｓｅｃｏｎｄａｒｙ  Ｓｔｏｒａｇｅ）４０や、印刷手段やＣＲＴ、ＬＣＤモニター等の出力装置４２、操作パネルやマウス、キーボード、スキャナなどの入力装置４４、及び図示しない外部装置などと通信するためのネットワークなどを接続したものである。【００５４】
そして、電源を投入すると、ＲＯＭ３４等に記憶されたＢＩＯＳ等のシステムプログラムが、ＲＯＭ３４に予め記憶された各種専用のコンピュータプログラム、あるいは、ＣＤ?ＲＯＭやＤＶＤ?ＲＯＭ、フレキシブルディスク（ＦＤ）などの記憶媒体を介して、又はインターネットなどの通信ネットワークＬを介して記憶装置４０にインストールされた各種専用のコンピュータプログラムをＲＡＭ３２にロードし、そのＲＡＭ３２にロードされたプログラムに記述された命令に従ってＣＰＵ３０が各種リソースを駆使して所定の制御及び演算処理を行うことで前述したような各手段の各機能をソフトウェア上で実現できるようになっている。【００５５】
（第１の実施の形態の動作）
次に、図４に基づき、上述の構成を有する覚醒状態判定モデル生成装置１００における、まばたき波形データからの特徴量データの抽出処理の流れを説明する。
図４は、覚醒状態判定モデル生成装置１００における、第１のパターンモデル（まばたき波形パターンモデル）生成処理および第２のパターンモデル（覚醒状態パターンモデル）生成処理を示すフローチャートである。【００５６】
第１のパターンモデル生成処理および第２のパターンモデル生成処理は、図４のフローチャートに示すように、まずステップＳ１００で、まばたき波形パターンモデル生成部１３において、入力装置４４等を介したユーザからのまばたき波形パターンモデルの生成指示があったか否かを判定し、生成指示があったと判定された場合(Yes)は、ステップＳ１０２に移行し、そうでない場合(No)は、ステップＳ１０８に移行する。【００５７】
ステップＳ１０２に移行した場合は、まばたき波形パターンモデル生成部１３において、第１学習データ記憶部１２から第１の特徴量データと、まばたき波形識別情報データとを取得してステップＳ１０４に移行する。
ステップＳ１０４では、まばたき波形パターンモデル生成部１３において、ステップＳ１０２で取得したデータを学習データとして統計モデルを学習させて、まばたき波形パターンモデルである第１のパターンモデルを生成しステップＳ１０６に移行する。【００５８】
ステップＳ１０６では、まばたき波形パターンモデル生成部１３において、まばたき波形パターンモデル記憶部１４を介して記憶装置４０の所定領域に、ステップＳ１０４で生成した第１のパターンモデルを記憶してステップＳ１０８に移行する。
ステップＳ１０８では、覚醒状態パターンモデル生成部１７において、入力装置４４等を介したユーザからの覚醒状態パターンモデルの生成指示があったか否かを判定し、生成指示があったと判定された場合(Yes)は、ステップＳ１１０に移行し、そうでない場合(No)は処理を終了する。【００５９】
ステップＳ１１０に移行した場合は、第１学習データ記憶部１２からまばたき波形識別情報データを取得してステップＳ１１２に移行する。
ステップＳ１１２では、ステップＳ１１０で取得したまばたき波形識別情報データに基づいて、分析区間の系列における前記特定種類のまばたき波形ごとの生起比率や生起回数の時間的変化を含む第２の特徴量データを生成しステップＳ１１４に移行する。【００６０】
ステップＳ１１４では、覚醒状態パターンモデル生成部１７において、第２学習データ記憶部１６を介して記憶装置４０の所定領域に、ステップＳ１１２で生成した第２の特徴量データを記憶してステップＳ１１６に移行する。
ステップＳ１１６では、覚醒状態パターンモデル生成部１７において、第２学習データ記憶部１６から第２の特徴量データと、覚醒状態情報データとを取得してステップＳ１１８に移行する。【００６１】
ステップＳ１１８では、覚醒状態パターンモデル生成部１７おいて、ステップＳ１１６で取得したデータを学習データとして統計モデルを学習させて、覚醒状態用のパターンモデルである第２のパターンモデルを生成しステップＳ１２０に移行する。
ステップＳ１２０では、覚醒状態パターンモデル生成部１７において、第２パターンモデル記憶部１８を介して記憶装置４０の所定領域に、ステップＳ１１８で生成した第２のパターンモデルを記憶して処理を終了する。【００６２】
次に、図５〜図１０に基づき、本実施の形態の動作を更に具体的に説明する。
覚醒状態判定モデル生成装置１００において、上述した第１の特徴量データの抽出処理、まばたき波形パターンモデルの生成処理を行うにあたって、まず、複数対象者の複数種類のまばたきの眼電図（ＥＯＧ）波形データ（まばたき波形データ）を事前に用意する必要がある。
また、上述した第２の特徴量データの生成処理、覚醒状態パターンモデルの生成処理を行う際にも、まばたき波形データを使用する。【００６３】
本実施の形態においては、事前に、インフォームドコンセントを得た様々な年齢の健常な男女複数名からなる対象者の高覚醒状態から眠気への対抗状態や低覚醒状態を経て入眠に至るまでの様々なまばたきの眼電図（ＥＯＧ）波形の測定を行い、まばたき波形データを収集することとする。
また、眼電図（ＥＯＧ）波形（ＥＯＧ波形）としては、対象者の右眼瞼の上下に電極を装着して、生体計測用交流アンプ（ＢＩＯＰＡＣ，時定数３．２[ｓｅｃ]，ＧＡＩＮ５０００倍，３５[Ｈｚ]カットオフローパスフィルタ）を用いて、垂直ＥＯＧ波形をサンプリング周波数２５０Ｈｚで計測した。そして、この垂直ＥＯＧ波形から、まばたき部分を検出する。【００６４】
まばたき部分の検出方法は、公知の手法（湯瀬裕昭、田多英興：まばたきの自動検出とまばたき波形解析，人間工学，vol30，No5，p.331-337（1994））と同様に、ＥＯＧ波形の微分値（１次差分）を利用し、この微分値が予め設定した開始閾値を超えた時点をまばたきの開始点とし、再び前記微分値が予め設定した終了閾値を超えた時点をまばたきの終了点として、開始点から終了点までの波形をまばたき波形として検出する。
上記のようにして収集されたまばたき波形データは、まばたきデータ記憶部１０に記憶される。また、検出された各まばたき波形の生起時刻もまばたきデータ記憶部１０に記憶される。【００６５】
次に、第１特徴量データ抽出部１１において、第１の特徴量データとして抽出される特徴量データについて説明する。上記取得した眼電図（ＥＯＧ）波形のデータから抽出したパラメータを後述のように特徴量データに変換する。
図５は、まばたきデータとして眼電図（ＥＯＧ）波形のデータを用いる場合のまばたき波形データから抽出するパラメータの説明図である。
まばたき波形データから波形のピーク点の高さ（距離）データ、まばたきの開始点からピーク点までの時間データ、ピーク点からまばたきの終了点までの時間データの３つのパラメータを抽出する。【００６６】
例えば、まばたき波形データが、閉眼方向を上向きとする図５に示すような波形を示すものであった場合に、ピーク点の高さｘ１を、まばたきの開始点のレベル（電圧又は電流）と、波形のピーク点のレベルとの差分値とする。図５の例では、波形のピークが「ｘ１[ｍｍ]」となり、まばたきの開始点からピーク点までの時間ｘ２（以下、立ち上がり時間ｘ２）が２８[m sec]となり、ピーク点からまばたきの終了点までの時間ｘ３（立ち下り時間ｘ３）が５２[m sec]となる。【００６７】
本実施の形態においては、ピーク点の高さ（距離）データｘ１は、測定した値をそのまま用い、立ち上がり及び立ち下がり時間データｘ２及びｘ３は、対数変換したものを用いる。これらｘ１、ｘ２及びｘ３の３つのパラメータを、上記取得したまばたき波形データから順次抽出する。
そして、まばたき波形データを収集した対象者の測定データごとに、Ｚスコア法を用いて、上記ｘ１〜ｘ３の３種類のパラメータから構成される特徴パラメータを正規化する。【００６８】
Ｚスコア法による正規化は、上記ｘ１〜ｘ３の３種類の特徴パラメータを、それぞれの平均値が０、標準偏差が１になるように分布の加工をすることで行われる。
具体的には、ｘ１〜ｘ３のそれぞれの特徴パラメータの中での平均値μを求める。また、同時にｘ１〜ｘ３のそれぞれの特徴パラメータの中での標準分散σを求める。
ここで、ｘ１〜ｘ３のそれぞれにおいて各パラメータをＸとし、下式（１）に従って、パラメータＸをｚに変換する。【００６９】
【数１】
2008088070.tif 000003
【００７０】
具体的な数値例を示すと、ある対象者のすべてのまばたき波形のｘ１〜ｘ３のそれぞれの平均値が（2.2239，1.3542，1.5693）であり、ｘ１〜ｘ３のそれぞれの標準偏差が（0.7396，0.1000，0.0709）である場合、ｚは下式（２）のように算出される。【００７１】
【数２】
2008088070.tif 000004
【００７２】
収集されたまばたき波形データごとに算出されたｚが第１の特徴量データとなり、まばたきデータ記憶部１０に記憶された眼電図（ＥＯＧ）波形データにおける各まばたきに対して、このｚが第１学習データ記憶部１２に学習データとして記憶される。
更に、第１学習データ記憶部１２に学習データとして記憶されるまばたき波形識別情報データについて説明する。【００７３】
まばたき波形識別情報データは、まばたきデータ記憶部１０に記憶された眼電図（ＥＯＧ）波形データにおける各まばたきに対してまばたきの種類を識別するまばたき波形識別情報が付与されたデータである。
ここに、まばたき波形識別情報とは、具体的には例えば、後述する分類されたまばたきの種類を識別する番号である。データ記憶部１０に記憶された各まばたきは、まばたき波形識別情報のみならず、その生起時刻も特定できるようになっている。【００７４】
本実施の形態においては、生理学的知見に基づき、対象者の覚醒水準に応じたまばたきの種類を以下のように分類した。
図６は、ある一人の対象者の第１の特徴量データｚについて、公知のクラスタリング方法であるｋ−平均法により、クラスタ数を１２とした場合の眼電図（ＥＯＧ）波形を分類した結果を示すものである。
この本例に示すように一般的に知られているまばたき分類数よりもクラスタ数を多くすることにより、まばたきＥＯＧ波形データに混入した眼球運動などの誤検出や過検出をまばたきとは別クラスタに分類し排除することが可能となる。【００７５】
Class１：高覚醒時の標準的なまばたき
Class２：眠気によりまぶたが落ちてきて波高が少し小さくなったまばたき
Class３：眠気に対抗するために意図的なはっきりとした大きなまばたき
Class４：低覚醒状態で生起する波高が非常に小さくなったまばたき
Class５〜７：低覚醒状態時の持続時間の長いまばたき
Class８：低覚醒状態から一時的に瞬時覚醒する際のまばたき
Class９：群発まばたき
Class１０〜Class１２：まばたき波形の検出時に誤検出や過検出されたまばたき（まばたき以外の眼球運動の影響を受けたもの、眼球運動かまばたきかの判断が難しいものなど）
上述の例では、１２個のクラスタが８個のまばたきの種類に分類され、まばたき波形識別情報は、眼電図（ＥＯＧ）波形データにおける各まばたきがどのまばたきの種類に分類されたかを示す。【００７６】
まばたき波形パターンモデル生成部１３は、まばたき波形パターンモデルの生成指示が与えられた場合（ステップＳ１００の「Ｙｅｓ」の分岐）に、第１学習データ記憶部１２を介して、記憶装置４０から第１の特徴データとまばたき波形識別情報データとを取得する（ステップＳ１０２）。
そして、当該取得した第１の特徴量データとまばたき波形識別情報データとを学習データとして統計モデルを学習させて、第１の特徴データを入力とし、入力された第１の特徴データに対するまばたきの種類（８個）に対する尤度を出力とするまばたき波形パターンモデル（第１のパターンモデル）を生成する（ステップＳ１０４）。【００７７】
本実施の形態においては、統計モデルとしてＨＭＭを用いる。
ＨＭＭは、時系列信号の確率モデルであり、複数の定常信号源の間を遷移することで、非定常な時系列信号をモデル化する。
例えば、１回のまばたきの時間は、まばたきの検出状況などによりまばたき開始点と終了点が多少まちまちになることなどが起こりうるため、それに応じた時間方向の特徴パラメータも変化する。【００７８】
従って、ＨＭＭの学習は、具体的に、図１７に示すように、例えば、状態数８のＨＭＭを決定し、上記取得した特徴パラメータから状態の遷移回数を計算し、この計算結果に基づいてある状態から次の状態への遷移確率と、ある状態での特徴パラメータの出力確率とを最尤推定することで行われる。
そして、この学習によって得られた遷移確率及び出力確率を有するＨＭＭが、まばたき波形パターンモデル（第１のパターンモデル）となる。【００７９】
上記のようにして生成された、まばたき波形パターンモデル（第１のパターンモデル）は、まばたき波形パターンモデル記憶部１４を介して、記憶装置４０の所定領域に記憶される（ステップＳ１０６）。
特徴量データ生成部１５は、覚醒状態パターンモデルの生成指示が与えられた場合（ステップＳ１０８の「Ｙｅｓ」の分岐）に、第１学習データ記憶部１２を介して記憶装置４０からまばたき波形識別情報データを取得する（ステップＳ１１０）。
また、データ記憶部１０に記憶された各まばたきの生起時刻も特定できるようになっている。【００８０】
次に、特徴量データ生成部１５において、第２の特徴量データとして生成される特徴量データについて説明する。
ここで、図７は、１名の対象者から収集したまばたき波形データにおいて、一定時間区間内の各まばたきの種類の生起頻度が、時間の経過とともに推移する様子を示す説明図である。
まばたきの種類ごとの生起頻度の経時変化を分析すると，実験開始から中盤（２０分前後）にかけては、標準的なまばたきの種類であるClass１の減少とともに、ピーク高の小さなClass２のまばたきの種類とはっきりと大きなClass３のまばたきの種類の割合が増加した。【００８１】
２０分を境に、Class１とClass３のまばたきの種類はほとんどみられなくなり、以降Class４〜７の緩慢なまばたきの種類が大半を占めた。
Class８やClass９にみられる、速くて小さなまばたきの種類は、断続的に増減するが、相対的には実験の後半に増加した。
実験時の考察や観察記録によると本対象者は、実験の初期から軽い眠気を感じており、中盤から後半にかけて更に強い眠気を感じていた。
また、外的要因などにより一時的に覚醒することもあったが、覚醒状態の低下は続き、実験終了直後には入眠に至っている。【００８２】
まばたきの種類の特徴の経時変化との対応および動画記録との対応から、Class２のまばたきにおける開眼状態は、覚醒時の標準的なClass１のまばたきでの半眼の状態に類似しており、眠気によって眼瞼が落ちてきた状態と考えられる。
これに対し、実験中盤にかけてClass２のまばたきの増加とともに増えるClass３のはっきりとした大きなまばたきは、眠気に対抗するための意図的なまばたきと考えられる。【００８３】
実験の中盤以降から終盤にかけては、対象者の覚醒状態が著しく低下していると推定されることから、Class４〜７に分類されるまばたきが、低覚醒時の波形であると考えられる。
したがって、一定時間区間内の各まばたきの種類の生起比率や生起回数が、時間の経過にともなって推移する様子をパターン認識の対象とすることで、対象者の覚醒水準を判定することが可能となる。
本実施の形態では、パターン認識に用いる特徴量データとして、分析区間の系列で各まばたきの種類の生起比率を求め、この生起比率のある時間区間内における時間的変化を用いる。【００８４】
図８（ａ）は、上記特徴量である第２の特徴量データを示す説明図である。
分析区間として、単位時間（図中のＴ）や所定のまばたき回数などを定義する。そして、各まばたきの種類の生起比率を、一定の時間間隔（図中のｔｓ）ごとに、隣接する分析区間とオーバーラップさせながら求める。
更に、このようにして求めた各まばたきの種類の生起比率を、所定の回数分（図中のＮ）まとめることで第２の特徴量データを生成する。【００８５】
上述のようにして所定の回数分まとめられた分析区間が、分析区間の系列である。例えば、８個のまばたきの種類に対する第２の特徴量データは図８（ｂ）で示される。
ここで、図８（ｂ）のＲｉ，ｊは第ｊ分析区間におけるまばたき種類ｉの生起比率を示す。本実施の形態においては、各まばたきの種類の生起比率を用いたが、まばたきの生起頻度も特徴量に加えるために各まばたきの種類の生起回数を用いることができる（ステップＳ１１２）。【００８６】
更に、第２学習データ記憶部１６に学習データとして記憶される覚醒状態情報データについて説明する。覚醒状態情報データは、第２学習データ記憶部１６に記憶された第２の特徴量データに対して対象者の覚醒状態を示す覚醒状態情報が付与されたデータである。
本実施の形態においては、実験時の生体・生理データからの判断、考察や観察記録から推察した結果に基づき、実験中の対象者の覚醒状態を高覚醒状態、眠気対抗状態、低覚醒状態の３状態で表わし、図９で示す覚醒状態情報データを使用した。ここで、まばたきの種類の分類数は９である。【００８７】
また、この実施例では対象者の覚醒状態を高覚醒状態、眠気対抗状態、低覚醒状態の３状態、まばたきの種類の分類数を９としたが、アプリケーションに応じて状態数や分類数を変えることは可能である。
覚醒状態パターンモデル生成部１７は、第２学習データ記憶部１６を介して記憶装置４０の所定領域に、生成した第２の特徴量データを記憶する（ステップＳ１１４）。【００８８】
次に、覚醒状態パターンモデル生成部１７は、第２学習データ記憶部１６を介して、記憶装置４０から第２の特徴量データと、覚醒状態情報データとを取得する（ステップＳ１１６）。
そして、当該取得した第２の特徴量データと、覚醒状態情報データとを学習データとして統計モデルを学習させて、第２の特徴量データを入力とし、覚醒状態情報に対する尤度を出力とするまばたき覚醒状態パターンモデル（第２のパターンモデル）を生成する（ステップＳ１１８）。
本実施の形態においては、まばたき波形パターンモデル（第１のパターンモデル）の場合と同様に統計モデルとしてＨＭＭを用いる。【００８９】
上記まばたき波形データとして、眼電図（ＥＯＧ）波形データを用いたが、これに代えて、眼の動画像を用いる場合について説明する。
具体的な例として、図１０（ａ）に示すように、眼の動画像における眼球部分を中央に横１１画素×縦３０画素の抽出領域画像を切り出し、この切り出した抽出領域画像を構成する各ライン（横１１画素）の輝度合計値を算出し、例えば、図１０（ｂ）に示すような特性を示す、抽出領域画像の３０ライン分の各ラインごとの輝度合計値のデータを生成する。【００９０】
本実施の形態においては、この輝度合計値のデータを、１回のまばたきに対応するまばたき波形データに対して生成したものが、各まばたき波形データから抽出される第１の特徴量データとなる。
なお、第１の特徴量としては、他にも眼領域画像を周波数変換した周波数スペクトル成分、その周波数スペクトル成分の前後フレームとのフレーム間差分成分、眼領域画像のメル・ケプストラム(ＭＦＣＣ)成分、眼領域画像のフレーム内モーメント成分、フレーム間モーメント成分などや、これらの組み合わせなどがある。
また、各まばたき波形データを構成するまばたき画像データのフレーム数は、撮影手段の性能やまばたきの種類などによって変わってくる（通常のＣＣＤカメラ（３０フレーム／秒）を用いた場合は、例えば、１回のまばたきに対して８〜１１フレームくらいとなる）。【００９１】
上記第１の実施の形態において、まばたきデータ記憶部１０は、請求項７記載のまばたきデータ記憶手段に対応し、第１特徴量データ抽出部１１は、請求項７記載の特徴量データ手段に対応し、第１学習データ記憶部１２は、請求項３記載の学習データ記憶手段に対応し、まばたき波形パターンモデル生成部１３は、請求項３記載のまばたき波形パターンモデル生成手段に対応し、まばたき波形パターンモデル記憶部１６は、請求項７記載の第１のパターンモデル記憶手段に対応し、特徴量データ生成部１５は、請求項３記載の特徴量データ生成手段に対応し、第２学習データ記憶部１６は、請求項７記載の第２の特徴量データ記憶手段に対応し、覚醒状態パターンモデル生成部１７は、請求項１記載の覚醒状態パターンモデル生成手段に対応し、覚醒状態パターンモデル記憶部１８は、請求項７記載の第２のパターンモデル記憶手段に対応し、覚醒状態パターンモデル生成部８１は、請求項２記載の覚醒状態判定モデル生成装置に対応する。【００９２】
また、上記第１の実施の形態において、ステップＳ１００〜Ｓ１０４は、請求項１４または請求項１９記載のまばたき波形パターンモデル生成ステップに対応し、ステップＳ１０６は、請求項１６または請求項２１記載の第１のパターンモデル記憶ステップに対応し、ステップＳ１０８〜Ｓ１１２は、請求項１４または請求項１９記載の特徴量データ生成ステップに対応し、ステップＳ１１４は、請求項１６または請求項２１記載の第２の特徴量データ記憶ステップに対応し、ステップＳ１１６〜Ｓ１１８は、請求項１２または請求項１７記載の覚醒状態パターンモデル生成ステップに対応し、ステップＳ１２０は、請求項１４または請求項１９記載の第２のパターンモデル記憶ステップに対応する。【００９３】
〔第２の実施の形態〕
次に、本発明の第２の実施の形態を図面に基づき説明する。図１１〜図２１は、本発明に係る覚醒状態判定装置、覚醒状態判定プログラム、並びに覚醒状態判定方法の実施の形態を示す図である。
まず、本発明に係る覚醒状態判定装置の構成を図に基づき説明する。図１１は、本発明に係る覚醒状態判定装置９００の構成を示すブロック図である。【００９４】
まばたき種類取得部９０は、対象者の覚醒状態の変化を伴った各分析区間における、特定種類のまばたき波形ごとに分類された各まばたき波形が生起した時刻などを示す生起時刻情報を取得する。
特徴量データ生成部９１は、まばたき種類取得部９０で取得された各まばたき波形の生起時刻情報に基づいて、各分析区間に対してまばたきの分類項目ごとの生起比率や生起回数を求め、生起比率や生起回数が要素となるデータを分析区間ごとに作成する。このデータが、まばたき種類特徴量データである。【００９５】
覚醒状態パターンモデル記憶部９２は、上記第１の実施の形態の覚醒状態判定モデル生成装置８００で生成された、覚醒状態パターンモデルを記憶するようになっている。
覚醒状態判定部９３は、特徴量データ生成部９１で生成したまばたき種類特徴量データと、覚醒状態パターンモデル記憶部９２に記憶された覚醒状態パターンモデルとに基づき対象者の覚醒状態を判定する。【００９６】
上記判定する覚醒状態としては、意識のはっきりとした高覚醒状態から、眠気に対抗している状態、低覚醒状態などを経て居眠りに至るまでの間に段階的に変化する状態が含まれる。
例えば、正常な高覚醒状態、眠気を感じている状態、眠気に対抗している状態、強い眠気を感じている低覚醒状態、居眠り状態などが含まれる。【００９７】
次に、本実施の形態の警告装置は、上記第１の実施の形態の覚醒状態判定モデル生成装置１００において生成された、まばたき波形パターンモデル及び覚醒状態パターンモデルを備え、これらパターンモデルを用いて、運転者の分析区間の系列ごとの覚醒状態の識別を行うようになっている。【００９８】
まず、本発明に係る警告装置の構成を図に基づき説明する。
図１２は、本発明に係る警告装置２００の構成を示すブロック図である。
図１２に示すように、警告装置２００は、運転者の少なくとも片眼のまぶたの開度の時間変化を含むまばたきデータを取得するまばたきデータ取得部２０と、上記第１の実施の形態の覚醒状態判定モデル生成装置１００において生成されたまばたき波形パターンモデルを記憶するまばたき波形パターンモデル記憶部２１と、まばたきデータ取得部２０で取得されたまばたきデータから第１の特徴量データを抽出する特徴量データ抽出部２２と、まばたき波形パターンモデル記憶部２１に記憶されたまばたき波形パターンモデルと、特徴量データ抽出部２２で抽出された第１の特徴量データとに基づきまばたき波形の種類を識別するまばたき種類識別部２３と、まばたき種類識別部２３で識別されたまばたき波形の種類の識別結果に基づいて第２の特徴量データを生成する特徴量データ生成部２４と、上記第１の実施の形態の覚醒状態判定モデル生成装置１００において生成された覚醒状態パターンモデルを記憶する覚醒状態パターンモデル記憶部２５と、特徴量データ生成部２４で生成した第２の特徴量データと、覚醒状態パターンモデル記憶部２５に記憶された覚醒状態パターンモデルとに基づき対象者の覚醒状態を判定する覚醒状態判定部２６とを含んだ構成となっている。【００９９】
まばたきデータ取得部２０は、生体計測用交流アンプを有しており、運転者の眼瞼の上下に装着された電極を介して、リアルタイムに垂直ＥＯＧ（眼電図（ＥＯＧ）波形）を測定するようになっている。
まばたき波形パターンモデル記憶部２１は、上記第１の実施の形態の覚醒状態判定モデル生成装置１００で生成された、まばたき波形パターンモデルを、後述する記憶装置６０の所定領域に記憶するようになっている。【０１００】
特徴量データ抽出部２２は、まばたきデータ取得部２０で取得されたまばたきの眼電図（ＥＯＧ）波形データ（まばたき波形データ）から、上記第１の実施の形態と同様に、まばたき波形のピーク高（距離）ｘ１、まばたきの開始からピーク高までの立ち上がり時間ｘ２、ピーク高からまばたきの終了までの立ち下がり時間ｘ３の３つの特徴パラメータから求めた第１の特徴量データを特徴量データとして抽出するようになっている。【０１０１】
まばたき種類識別部２３は、まばたき波形パターンモデル記憶部２１に記憶されたまばたき波形パターンモデルと、特徴量データ抽出部２２で抽出された第１の特徴量データとに基づきまばたき波形の種類を識別する。
特徴量データ生成部２４は、まばたき種類識別部２３で識別されたまばたき波形の種類の識別結果に基づいて第２の特徴量データを生成し、覚醒状態判定部２６に出力する。【０１０２】
即ち、まず、分析区間の系列で各まばたきの種類の識別結果の生起比率や生起回数を求め、第２の特徴量データとして、この生起比率や生起回数のある時間区間内における時間的変化を用いる。
覚醒状態パターンモデル記憶部２５は、上記第１の実施の形態の覚醒状態判定モデル生成装置１００で生成された、覚醒状態パターンモデルを、後述する記憶装置６０の所定領域に記憶するようになっている。【０１０３】
覚醒状態判定部２６は、特徴量データ生成部２４で生成した第２の特徴量データと、覚醒状態パターンモデル記憶部２５に記憶された覚醒状態パターンモデルとに基づき対象者の覚醒状態を判定する。
上記判定する覚醒状態としては、意識のはっきりとした高覚醒状態から、眠気に対抗している状態、低覚醒状態などを経て居眠りに至るまでの間に段階的に変化する状態が含まれる。【０１０４】
例えば、正常な高覚醒状態、眠気を感じている状態、眠気に対抗している状態、強い眠気を感じている低覚醒状態、居眠り状態などが含まれる。
警告装置２００は、更に、覚醒状態判定部２６の判定結果に基づき運転者に警告を与える警告部２７を含んだ構成となっている。
警告部２７は、覚醒状態判定部２６の判定結果に基づき、覚醒状態の内容に応じた警告を運転者に与えるようになっている。【０１０５】
具体的には、例えば、弱い眠気を感じていると判定された場合は休憩をとることを勧める音声メッセージを出力し、眠気に対抗している状態と判定された場合は、やや大きい音量で警告音を出力し、強い眠気を感じている低覚醒状態又は居眠り状態であると判定された場合は、極めて大きい音量や強いメッセージ内容で警告音を出力する。【０１０６】
更に、警告装置２００は、上記各部の制御をソフトウェア上で実現するためのコンピュータシステムを備えており、そのハードウェア構成は、図１３に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５０と、主記憶装置（Ｍａｉｎ  Ｓｔｏｒａｇｅ）を構成するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５２と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５４との間をＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等からなる各種内外バス５８で接続すると共に、このバス５８に入出力インターフェース（Ｉ／Ｆ）５６を介して、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの内部又は外部記憶装置（Ｓｅｃｏｎｄａｒｙ  Ｓｔｏｒａｇｅ）６０や、ＬＣＤモニター等の出力装置６２、操作パネルやリモコンなどの入力装置６４、及び図示しない外部装置などと通信するためのネットワークＬなどを接続したものである。【０１０７】
そして、電源を投入すると、ＲＯＭ５４等に記憶されたＢＩＯＳ等のシステムプログラムが、ＲＯＭ５４に予め記憶された各種専用のコンピュータプログラム、あるいは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などの記憶媒体を介して、又はインターネットなどの通信ネットワークＬを介して記憶装置６０にインストールされた各種専用のコンピュータプログラムをＲＡＭ５２にロードし、そのＲＡＭ５２にロードされたプログラムに記述された命令に従ってＣＰＵ５０が各種リソースを駆使して所定の制御及び演算処理を行うことで前述したような各手段の各機能をソフトウェア上で実現できるようになっている。【０１０８】
（第２の実施の形態の動作）
次に、図１４に基づき、このような構成をした警告装置２００における、第１の特徴量データの抽出処理の流れを説明する。
ここで、図１４は、警告装置２００における第１の特徴量データの抽出処理を示すフローチャートである。
第１の特徴量データのデータ抽出処理は、図１４に示すように、まずステップＳ２００に移行し、特徴量データ抽出部２３において、まばたきデータ取得部２１で取得されたまばたきの眼電図（ＥＯＧ）波形データ（まばたき波形データ）を取得してステップＳ２０２に移行する。
ステップＳ２０２では、特徴量データ抽出部２２において、ステップＳ２００で取得したまばたき波形データから、上記第１の実施の形態と同様に、単位の異なる複数の特徴パラメータから求めた第１の特徴量データを、特徴量データとして抽出してステップＳ２０４に移行する。【０１０９】
ステップＳ２０４では、まばたき種類識別部２３において、まばたき波形パターンモデル記憶部２１からまばたき波形パターンモデルを取得し、当該取得したまばたき波形パターンモデルと、ステップＳ２０２で抽出した第１の特徴量データとに基づき、当該第１の特徴量データに対応するまばたき種類を識別して処理を終了する。
本実施の形態においては、第１の特徴量データを入力とし、運転者のまばたき種類に対する尤度を出力とするまばたき波形パターンモデルとして、ＨＭＭを用いる。【０１１０】
図１８（ａ）は、第２の特徴量データを示す説明図である。分析区間として、単位時間（図中のＴ）や所定のまばたき回数などを定義する。
そして、各まばたきの種類の生起比率を、一定の時間間隔（図中のｔｓ）ごとに、隣接する分析区間とオーバーラップさせながら求める。
更に、このようにして求めた各まばたきの種類の生起比率を、所定の回数分（図中のＮ）まとめることで第２の特徴量データを生成する。
上記所定の回数分まとめられた分析区間が、分析区間の系列である。例えば、８個のまばたきの種類に対する第２の特徴量データは図１８（ｂ）で示される。
本実施の形態においては、各まばたきの種類の生起比率を用いたが、各まばたきの種類の生起回数を用いることができる。【０１１１】
次に、図１５に基づき、警告装置２００における、第２の特徴量データ生成処理の流れを説明する。
ここで、図１５は、警告装置２００における第２の特徴量データ生成処理を示すフローチャートである。
第２の特徴量データ生成処理は、図１５のフローチャートに示すように、まずステップＳ３００で、特徴量データ生成部２５において、第２の特徴量データ生成処理を終了したか否かを判定し、終了したと判定された場合(Yes)は、処理を終了し、そうでない場合(No)は、ステップＳ３０２に移行する。【０１１２】
ステップＳ３０２に移行した場合は、特徴量データ生成部２４において、まばたき種類識別部２３から識別結果を取得したか否かを判定し、取得したと判定された場合(Yes)は、ステップＳ３０４に移行し、そうでない場合(No)は、取得するまで待機する。
本実施の形態において、識別結果は、識別結果のまばたき種類の情報と、第１の特徴量データに対応するまばたき波形データの生起時刻の情報とを含んでいる。【０１１３】
ステップＳ３０４に移行した場合は、特徴量データ生成部２５において、識別結果をＲＡＭ６２又は記憶装置６０の所定領域に記憶してステップＳ３０６に移行する。
本実施の形態においては、ＲＡＭ５２を優先使用し、ＲＡＭ５２のメモリ容量に応じて、適宜記憶先を変更する。
ステップＳ３０６では、特徴量データ生成部２４において、識別結果の時刻時間が第２の特徴量データ更新時刻（ｔupdate＝ｎｔｓ）を越えたか否かを判定し、超えたと判定された場合(Yes)は、ステップＳ３１０に移行し、そうでない場合(No)は、ステップＳ３０８に移行する。ただし、ｎは０以上の整数であり、ｔｓは更新時間間隔である。【０１１４】
本実施の形態においては、警告装置２００の動作開始時に、時間ｔおよびｔupdateをリセットする（ｔ＝０、ｔupdate＝０）。
ステップＳ３０８に移行した場合は、特徴量データ生成部２４において、ステップＳ３０４で記憶した識別結果を用いて第２の特徴量データ用の記憶領域を更新してステップＳ３０２に移行する。【０１１５】
図１８（ｂ）に当該第２の特徴量データ用の記憶領域を示す。第２の特徴量データ全体は記憶領域７０に記憶され、記憶領域７０の一部を構成する記憶領域７１において、当該識別結果が示すまばたき種類と一致するまばたきの種類の識別結果の生起回数に１を加算する。
ステップＳ３１０に移行した場合は、特徴量データ生成部２４において、記憶領域に記憶された各まばたきの種類の識別結果の生起回数に基づいて、それぞれの生起比率や生起回数を求め、当該生起比率や当該生起回数で記憶領域を上書きしてステップＳ３１２に移行する。【０１１６】
ステップＳ３１２では、特徴量データ生成部２４において、記憶領域に記憶された各まばたきの種類の識別結果の生起比率の時間変化や生起回数の時間変化から、第２の特徴量データを生成してステップＳ３１４に移行する。
ステップＳ３１４では、特徴量データ生成部２４において、ステップＳ３１２で生成した第２の特徴量データを、ＲＡＭ５２又は記憶装置６０の所定領域に記憶してステップＳ３００に移行する。【０１１７】
次に、図１６に基づき、警告装置２００における、覚醒状態判定処理及び警告処理の流れを説明する。
ここで、図１６は、警告装置２００における覚醒状態判定処理及び警告処理を示すフローチャートである。
覚醒状態判定処理及び警告処理は、図１６のフローチャートに示すように、まずステップＳ４００に移行し、覚醒状態判定部２６において、覚醒状態判定処理を終了したか否かを判定し、終了したと判定された場合(Yes)は、処理を終了し、そうでない場合(No)は、ステップＳ４０２に移行する。【０１１８】
ステップＳ４０２にした場合は、覚醒状態判定部２６において、特徴量データ生成部２４から第２の特徴量データを取得したか否かを判定し、取得したと判定された場合(Yes)は、ステップＳ４０４に移行し、そうでない場合(No)は、取得するまで待機する。
ステップＳ４０４に移行した場合は、覚醒状態判定部２６において、ステップＳ４０２で取得した第２の特徴量データと、覚醒状態パターンモデル記憶部２５記憶された覚醒状態パターンモデルに基づき、運転者の覚醒状態を判定してステップＳ４０６に移行する。【０１１９】
本実施の形態においては、第２の特徴量データを入力とし、運転者の覚醒状態を示す覚醒状態情報に対する尤度を出力とする覚醒状態パターンモデルとして、ＨＭＭを用いる。
ステップＳ４０６では、警告部２７において、ステップＳ４０４の判定結果に基づき、運転者は眠気を感じた状態であるか否かを判定し、そうである場合(Yes)は、ステップＳ４０８に移行し、そうでない場合(No)は、ステップＳ４１０に移行する。【０１２０】
ステップＳ４０８に移行した場合は、警告部２８において、警告処理（１）を実行してステップＳ４００に移行する。ここで、警告処理（１）を実行すると、休憩をとることを進める音声メッセージを出力される。
一方、ステップＳ４１０に移行した場合は、警告部２７において、運転者は眠気に対抗している状態であるか否かを判定し、そうである場合(Yes)は、ステップＳ４１２に移行し、そうでない場合(No)は、ステップＳ４１４に移行する。
ステップＳ４１２に移行した場合は、警告部２７において、警告処理（２）を実行してステップＳ４００に移行する。ここで、警告処理（２）を実行すると、車内に配設されたスピーカからやや大きい音量（例えば、５０％のボリューム）で警告音及び警告メッセージが出力される。【０１２１】
一方、ステップＳ４１４に移行した場合は、警告部２７において、強い眠気を感じた低覚醒状態であるか否か又は居眠り状態であるか否かを判定し、強い眠気を感じた低覚醒状態又は居眠り状態である場合(Yes)は、ステップＳ４１６に移行し、そうでない場合(No)は、ステップＳ４００に移行する。
ステップＳ４１６に移行した場合は、警告部２７において、警告処理（３）を実行してステップＳ４０２に移行する。ここで、警告処理（３）を実行すると、車内に配設されたスピーカから極めて大きい音量（例えば、７０％以上のボリューム）で警告音及び警告メッセージが出力される。【０１２２】
上記まばたき波形データとして、眼電図（ＥＯＧ）波形データを用いたが、これに代えて、眼の動画像を用いる場合について説明する。
まばたきデータ取得部２０は、自動車内のインナーミラーに設置されたＣＣＤカメラによって、運転席に座っている運転者の顔画像をフレーム単位でリアルタイムに撮影するようになっている。
なお、撮影した顔映像はデジタルの顔映像データとして出力する。なお、ＣＣＤカメラの設置位置は、インナーミラーに限らず、撮影対象者の顔全体を含む画像が撮影可能な位置であれば、ステアリング・コラム位置、センター・パネル位置、フロント・ピラー位置等の別の場所でも良い。【０１２３】
特徴量データ抽出部２２は、まばたきデータ取得部２０で撮影された運転者の顔映像データから、ＳＶＭを用いて、眼部分の映像データを抽出すると共に、当該抽出した眼部分の映像データから特徴量データを抽出するようになっている。
上掲の例では運転者の顔画像からの眼部分の映像データの抽出にＳＶＭを用いたが、その他の顔器官検出アルゴリズムを用いた眼部分の抽出をおこなってもよい。【０１２４】
そして特徴量データの抽出は、具体的には、既述の第１の実施の形態と同様に、右眼部分の映像データを構成する各まばたき画像データから、眼球を中央に横１１画素×縦３０画素の抽出領域画像を切り出し、当該抽出領域画像の各画素ライン（横１１画素）ごとの輝度の合計値を算出し、この算出した輝度合計値データ（１回のまばたき映像分）を特徴量データとする。【０１２５】
なお、特徴量データとしては、他にも眼領域画像を周波数変換した周波数スペクトル成分、その周波数スペクトル成分の前後フレームとのフレーム間差分成分、眼領域画像のメル・ケプストラム(ＭＦＣＣ)成分、眼領域画像のフレーム内モーメント成分、フレーム間モーメント成分などや、これらの組み合わせなどがある。
警告装置２００において、特徴量データ抽出部２２は、まばたきデータ取得部２１からまばたき波形データを取得する（ステップＳ２００）。【０１２６】
そして、当該取得したまばたき波形データから、上記第１の実施の形態のパターンモデル生成装置１００における第１特徴量データ抽出部１１と同様に、まばたき波形のピーク高（距離）ｘ１、まばたきの開始からピーク高までの立ち上がり時間ｘ２、ピーク高からまばたきの終了までの立ち下がり時間ｘ３の３つの特徴パラメータから求めた第１の特徴量データを特徴量データとして抽出する（ステップＳ２０２）。【０１２７】
特徴量データが抽出されると、まばたき種類識別部２３は、まばたき波形パターンモデル記憶部２１を介して、記憶装置６０に記憶された、まばたき波形パターンモデルを取得し、当該取得したまばたき波形パターンモデルに第１の特徴量データを入力して、まばたき波形パターンモデルから出力される各まばたき種類（Ｃｌａｓｓ１〜Ｃｌａｓｓ１２）に対する尤度に基づき、まばたき種類を識別する（ステップＳ２０４）。そして、識別結果を、特徴量データ生成部２４に出力する。【０１２８】
特徴量データ生成部２４は、上記識別結果を取得するごとに（ステップＳ３０２の「Ｙｅｓ」の分岐）、当該識別結果をＲＡＭ５２又は記憶装置６０の所定領域に記憶する（ステップＳ３０４）。
ここで、前述したように、識別結果は、識別時の第１の特徴量データに対応するまばたき波形データの取得時刻情報と、識別されたまばたきの種類情報とを含む情報である。【０１２９】
そして、識別結果の時刻時間が第２の特徴量データ更新時刻（ｔupdate＝ｎｔｓ）を越えたか否かを判定する（ステップＳ３０６）。
識別結果の時刻時間が第２の特徴量データ更新時刻を超えたと判定された場合（ステップＳ３０６の「Ｙｅｓ」の分岐）は、記憶領域に記憶された各まばたきの種類の識別結果の生起回数に基づいて、それぞれの生起比率や生起回数を求め、当該生起比率や当該生起回数で記憶領域を上書きする（ステップＳ３１０）。【０１３０】
上述のようにして記憶領域に記憶された各まばたきの種類の識別結果の生起比率の時間変化や生起回数の時間変化から、第２の特徴量データを生成する（ステップＳ３１２）。
また、第２の特徴量データを、ＲＡＭ５２又は記憶装置６０の所定領域に記憶する（ステップＳ３１４）。
一方、識別結果の時刻時間が第２の特徴量データ更新時刻を超えないと判定された場合（ステップＳ３０６の「Ｎｏ」の分岐）は、特徴量データ生成部２４において、ステップＳ３０４で記憶した識別結果を用いて第２の特徴量データ用の記憶領域を更新する（ステップＳ３０８）。【０１３１】
覚醒状態判定部２６は、特徴量データ生成部２４から第２の特徴量データを取得すると（ステップＳ４０２の「Ｙｅｓ」の分岐）、第２の特徴量データと、覚醒状態パターンモデル記憶部２５記憶された覚醒状態パターンモデルに基づき、運転者の覚醒状態を判定する（ステップＳ４０４）。
図の例の場合は、序盤からしばらくは、運転者が弱い眠気を感じていると判定し（ステップＳ４０６の「Ｙｅｓ」の分岐）、警告部２８において、警告処理（１）を実行し、休憩を促す音声メッセージを出力する（ステップＳ４０８）。【０１３２】
また、途中から中盤までは運転者が眠気を感じていると判定し（ステップＳ４１０の「Ｙｅｓ」の分岐）、警告部２８において、警告処理（２）を実行し、最大音量の５０％の音量で警告音を出力する（ステップＳ４１２）。
また、中盤から後半にかけては、運転者が強い眠気を感じている又は居眠り状態であると判定し（ステップＳ４１４の「Ｙｅｓ」の分岐）、警告部２８において、警告処理（３）を実行し、最大音量の７０％以上の音量で警告音を出力する（ステップＳ４１４）。【０１３３】
上述においては、まばたき波形データとして、眼電図（ＥＯＧ）波形データを用いたが、これに代えて、眼の動画像を用いる場合について次に説明する。
特徴量データ抽出部２２において、まばたきデータ取得部２１から眼の動画像を取得する（ステップＳ２００）。更に、特徴量データ抽出部２２は、ＳＶＭを用いて取得した眼の動画像から右眼のまばたき映像データを検出し、当該検出したまばたき映像データから特徴量データを抽出する（ステップＳ２０２）。
この特徴量データの抽出は、既述の第１の実施の形態の覚醒状態判定モデル生成装置１００における第１特徴量データ抽出部１１と同様の方法を用いる。【０１３４】
即ち、１回のまばたきに対応するまばたき映像データを構成する各まばたき画像データにおける、抽出領域画像の３０ライン分の各ラインごとの輝度合計値のデータが特徴量データとして抽出される。
なお、特徴量データとしては、この他にも、眼領域画像を周波数変換した周波数スペクトル成分、その周波数スペクトル成分の前後フレームとのフレーム間差分成分、眼領域画像のメル・ケプストラム(ＭＦＣＣ)成分、眼領域画像のフレーム内モーメント成分、フレーム間モーメント成分などや、これらの組み合わせなどがある。【０１３５】
次に、本発明による効果を確認するために、対象者の覚醒状態を判定した結果の例を図１９〜図２１に示す。
図１９（ａ）は、まばたき波形データが眼電図（ＥＯＧ）波形データであり、１名の特定対象者（以下、対象者Ａという）のまばたき波形パターンモデルと覚醒状態パターンモデルを用いた場合における、まばたき種類識別部２３で識別された対象者Ａのまばたき波形の種類の識別結果に基づいて得られた一定時間区間内の各まばたきの種類の生起頻度の一例を示す図である。【０１３６】
また、図１９（ｂ）は、上述したまばたき波形の種類の識別結果から特徴量データ生成部２４が生成した第２の特徴量データと、覚醒状態パターンモデル記憶部２５に記憶された覚醒状態パターンモデルとに基づいて、覚醒状態判定部２６が対象者Ａの覚醒状態を判定した結果を示す。
また、図２０（ａ）は、まばたき波形データが眼の動画像であり、図１９と同一の特定対象者Ａのまばたき波形パターンモデルと覚醒状態パターンモデルを用いた場合における、まばたき種類識別部２３で識別された対象者Ａまばたき波形の種類の識別結果に基づいて得られた一定時間区間内の各まばたきの種類の生起頻度の一例を示す図である。【０１３７】
また、図２０（ｂ）は、上述したまばたき波形の種類の識別結果から特徴量データ生成部２４が生成した第２の特徴量データと、覚醒状態パターンモデル記憶部２５に記憶された覚醒状態パターンモデルとに基づいて、覚醒状態判定部２６が対象者Ａの覚醒状態を判定した結果を示す。
これらの結果から、まばたき波形データとして眼電図（ＥＯＧ）波形データを用いた場合も、眼の動画像を用いた場合も共に、図１９（ｂ）と図２０（ｂ）に示される覚醒状態判定結果が、図９における実験時の生体・生理データからの判断や、考察や観察記録から推察した対象者Ａの覚醒状態を再現していることがわかる。【０１３８】
更に、覚醒状態判定結果が、図９に示された実験時の生体・生理データからの判断や、考察や観察記録から推察した覚醒状態よりも更に細かな対象者Ａの覚醒状態の遷移を判定しており、覚醒状態変化の兆候を早く捕らえることができることを示している。
一方、図２１（ａ）は、まばたき波形データが眼の動画像に係るものであり、不特定の対象者のまばたき波形パターンモデルと覚醒状態パターンモデルを用いた場合における、まばたき種類識別部２３で識別された対象者Ａのまばたき波形の種類の識別結果に基づいて得られた一定時間区間内の各まばたきの種類の生起頻度の一例を示す図である。【０１３９】
この不特定の対象者のまばたき波形パターンモデルを覚醒状態判定モデル生成装置１００が生成するために用いた学習データは、４名の対象者（対象者Ａ、Ｂ、Ｃ、およびＤ）のまばたき波形データ（眼の動画像）から抽出した第１の特徴量データと、これら４名の対象者のまばたき波形識別情報データである。
また、図２１（ｄ）は、上述したまばたき波形の種類の識別結果から特徴量データ生成部２４が生成した第２の特徴量データと、覚醒状態パターンモデル記憶部２５に記憶された不特定の対象者の覚醒状態パターンモデルとに基づいて、覚醒状態判定部２６が対象者Ａの覚醒状態を判定した結果を示す。【０１４０】
この不特定の対象者の覚醒状態パターンモデルは、４名の対象者（対象者Ａ、Ｂ、Ｃ、およびＤ）についての学習データを用いて、覚醒状態判定モデル生成装置１００が生成したものである。
不特定対象者用のまばたき波形パターンモデルと覚醒状態パターンモデルを用いた場合も、図２１（ｄ）に示される覚醒状態判定結果が、実験時の生体・生理データからの判断や、考察や観察記録から推察した対象者Ａの覚醒状態を示す図２１（ｂ）を再現していることがわかる。【０１４１】
したがって、まばたき波形パターンモデルと覚醒状態パターンモデルに不特定対象者用モデルを用いることにより、あらかじめ対象者ごとに対応した専用モデルを用意する必要なしに覚醒状態の遷移を判定することが可能である。
上述の例においては、まばたき波形パターンモデルと覚醒状態パターンモデルの両方のモデルに共に特定対象者モデル、あるいは不特定対象者モデルを用いたが、一方のモデルに特定対象者モデルを用い、もう一方のモデルに不特定対象者モデルを用いる組み合わせも可能である。【０１４２】
更に、本発明による対象者の覚醒状態の判定結果を特許文献１の従来技術と比較した場合の例を図２１（ｃ）、図２１（ｄ）、図２２に示す。比較の対象とした従来技術では、複数の特定種類のまばたき波形パターンの発生頻度に対して所定の閾値指標を設けて対象者の覚醒状態を判定する。
図２１（ｃ）は、従来技術を用いて対象者Ａの覚醒状態を判定した例を示す。対象者Ａのまばたき波形データは眼の動画像である。また、まばたき波形パターンモデルとして、上述の不特定の対象者のまばたき波形パターンモデルを用いた。【０１４３】
覚醒状態の判定は、一定時間区間内の各まばたきの種類の生起頻度に対して所定の閾値指標を設けることにより行なわれた。
具体的には、実験時の生体・生理データからの判断や、考察や観察記録から推察した対象者Ａの覚醒状態である図２１（ｂ）に最もよく一致するように閾値指標を定めた。
その結果、図２１（ｄ）は、本発明による対象者Ａの覚醒状態の判定結果である図２１（ｃ）と比較すると若干の差異はあるものの、類似した結果を示す。【０１４４】
図２２（ａ）は、まばたき波形データが眼の動画像であり、不特定の対象者のまばたき波形パターンモデルと覚醒状態パターンモデルを用いた場合における、まばたき種類識別部２３で識別された対象者Ｂのまばたき波形の種類の識別結果に基づいて得られた一定時間区間内の各まばたきの種類の生起頻度の一例を示す図である。
図２２（ｂ）は、実験時の生体・生理データからの判断や、考察や観察記録から推察した対象者Ｂの覚醒状態を示す。【０１４５】
図２２（ｃ）は、従来技術を用いて、対象者Ａに用いた閾値指標を用いて対象者Ｂの覚醒状態を判定した例を示す。
図２２（ｄ）は、本発明により対象者Ｂの覚醒状態を判定した例を示す。
従来技術では、覚醒状態情報データでの高覚醒状態区間と低覚醒状態区間の両方でそれぞれ低覚醒状態と高覚醒状態であると誤判定している場合がある上に、眠気対抗状態区間では眠気対抗状態の判定に失敗している。
すなわち、特定の対象者に用いた閾値指標を他の対象者に用いることができないことを示している。
一方、本発明では覚醒状態情報データでの高覚醒状態区間でごく短時間のみ眠気対抗状態であると誤判定し、低覚醒状態区間でごく短時間のみ高覚醒状態であると誤判定している。【０１４６】
また、眠気対抗状態区間の後半では眠気対抗状態であると判定している。このように、本発明による覚醒状態の判定結果は、従来技術と比較して、より覚醒状態情報データに近い。すなわち、不特定対象者用モデルを用いた判定が可能であることを示している。
また、ＨＭＭに代表される統計的なパターンモデルを用いた識別の応用としては音声認識が知られているが、本発明の覚醒状態判定と音声認識では対象とする特徴量が本質的に異なる。【０１４７】
具体的には、一般的に音声認識の認識対象は人間の発話する音素であり、音素間の特徴量としての差は、発話者や発話状況の違いにより同じ音素であっても分布に拡がりをもつものの、音素ごとの特徴量は離散的なものである。
これに対して、まばたきデータは生理・生体データであるため、認識の対象となるまばたき波形の変化は、対象者の覚醒状態の変化に応じてある種類から別の種類に連続的に変化するものであり、まばたき種類間の差は本質的に連続的なものである。【０１４８】
両者の認識対象である特徴量には、このような本質的な差があり、本発明による覚醒状態判定は、対象者の覚醒状態に応じて連続的にある種類から別の種類へと変化をするまばたき波形を対象として、一定時間区間内の各まばたき波形の種類の生起頻度をパターンモデルを用いて識別する点で、音声認識のパターン認識とは本質的に異なる。【０１４９】
上記第２の実施の形態において、まばたきデータ取得部２０は、請求項６記載のまばたきデータ取得手段に対応し、まばたき波形パターンモデル記憶部２１に記憶されたまばたき波形パターンモデルは、請求項６記載の第１のパターンモデルに対応し、特徴量データ抽出部２２は、請求項６記載の第１の特徴量データ抽出手段に対応し、まばたき種類識別部２３は、請求項６記載のまばたき波形識別手段に対応し、特徴量データ生成部２４は、請求項６記載の第２の特徴量データ生成手段に対応し、覚醒状態パターンモデル記憶部２５に記憶された覚醒状態パターンモデルは、請求項６記載の第２のパターンモデルに対応し、覚醒状態判定部２６は、請求項６記載の覚醒状態判定手段に対応し、警告部２７は、請求項１０記載の警告手段に対応する。【０１５０】
また、上記第２の実施の形態において、ステップＳ２００は、請求項１５または請求項２０記載のまばたきデータ取得ステップに対応し、ステップＳ２０２は、請求項１５または請求項２０記載の第１の特徴量データ抽出ステップに対応し、ステップＳ２０４は、請求項１５または請求項２０記載のまばたき波形識別ステップに対応し、ステップＳ３００〜Ｓ３１４は請求項１５または請求項２０記載の第２の特徴量データ生成ステップに対応し、ステップＳ４００〜Ｓ４０４は請求項１５または請求項２０記載の覚醒状態判定ステップに対応する。【０１５１】
なお、上記第１の実施の形態においては、パターンモデルをＨＭＭから構成する例を説明したが、これに限らず、ＳＶＭやニューラルネットワークなどの他の統計モデルから構成するようにしても良い。
また、上記第１及び第２の実施の形態においては、眼の動画像から切り出した抽出部分画像のラインごと輝度合計を第１の特徴量データとして抽出するようにしたが、これに限らず、まばたき画像データをフーリエ変換してその周波数スペクトル成分を特徴量として抽出するなど、他の特徴量を抽出するようにしても良い。【０１５２】
また、上記第２の実施の形態においては、第２の特徴量データに基づき対象者（運転者）の覚醒状態を判定するようにしたが、これに限らず、第２の特徴量データに基づき対象者の緊張状態や疲労状態など、対象者の他の状態を判定するようにしても良い。
また、上記第１及び第２の実施の形態において、第２の特徴量データは分析区間の系列における特定種類のまばたき波形ごとの生起比率や生起回数の時間的変化のみから構成されていたが、分析区間の系列におけるまばたき回数の時間的変化あるいは閉眼時間の累積値の時間的変化などの覚醒状態と関連性のある特徴量を、更に加えてもよい。
【産業上の利用可能性】
【０１５３】
本発明は、覚醒状態の判定に有効であるとされている、特定種類のまばたきの生起頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの生起頻度の変化に加えて、分析区間の系列における各特定種類のまばたきの生起比率に係るデータに基づいて、高精度の覚醒状態の判定を行うことが可能である。
このため、完全に居眠りの状態になる前の居眠り状態に移行中のドライバの覚醒水準（状態）や眠気に対抗している覚醒水準（状態）等を判定することができる。
従って、眠りに落ちそうな状態の対象者に対して、警告音や光の点滅などによる警告を与えることによって、未然に事故を防ぐという技術分野に好適である。
更に、同様に特定種類のまばたきの生起頻度情報に係るデータに基づいて、ドライバの緊張状態や疲労状態などを判定し、ドライバの運転支援を行うことも可能である。
【図１】
2008088070.tif 000005
【図２】
2008088070.tif 000006
【図３】
2008088070.tif 000007
【図４】
2008088070.tif 000008
【図５】
2008088070.tif 000009
【図６】
2008088070.tif 000010
【図７】
2008088070.tif 000011
【図８】
2008088070.tif 000012
【図９】
2008088070.tif 000013
【図１０】
2008088070.tif 000014
【図１１】
2008088070.tif 000015
【図１２】
2008088070.tif 000016
【図１３】
2008088070.tif 000017
【図１４】
2008088070.tif 000018
【図１５】
2008088070.tif 000019
【図１６】
2008088070.tif 000020
【図１７】
2008088070.tif 000021
【図１８】
2008088070.tif 000022
【図１９】
2008088070.tif 000023
【図２０】
2008088070.tif 000024
【図２１】
2008088070.tif 000025
【図２２】
2008088070.tif 000026
【手続補正書】
【提出日】平成20年4月24日(2008.4.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（削除）
【請求項２】
（削除）
【請求項３】
対象者の覚醒状態を判定する統計モデルを生成する覚醒状態判定モデル生成装置であって、
各対象者のまばたき時の少なくとも片眼のまばたきデータから抽出された第１の特徴量データと、前記まばたきデータの各まばたきに対し特定種類のまばたき波形を示すまばたき波形識別情報を付与したまばたき波形識別情報データとを記憶する学習データ記憶手段と、
前記学習データ記憶手段に記憶された前記第１の特徴量データと、前記まばたき波形識別情報データとを学習データとして統計モデルを学習させ、前記第１の特徴量データを入力とし、当該第１の特徴量データに対するまばたき波形識別情報に対する尤度を出力とする第１のパターンモデルを生成するまばたき波形パターンモデル生成手段と、
前記学習データ記憶手段に記憶された前記まばたき波形識別情報データに基づいて、分析区間における前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する特徴量データ生成手段と、
前記特徴量データ生成手段で生成された前記第２の特徴量データと、前記分析区間の系列ごとに前記各対象者の覚醒状態を示す覚醒状態情報を付与した覚醒状態情報データとを学習データとして統計モデルを学習させ、前記第２の特徴量データを入力とし、当該第２の特徴量データに対する覚醒状態情報に対する尤度を出力とする第２のパターンモデルを生成する覚醒状態パターンモデル生成手段と、を備えることを特徴とする覚醒状態判定モデル生成装置。
【請求項４】
前記まばたきデータは、眼電図（ＥＯＧ）波形のデータまたは眼の動画像であることを特徴とする請求項３に記載の覚醒状態判定モデル生成装置。
【請求項５】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項３または請求項４のいずれか１項に記載の覚醒状態判定モデル生成装置。
【請求項６】
前記統計モデルは、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）であることを特徴とする請求項３乃至請求項５のいずれか１項に記載の覚醒状態判定モデル生成装置。
【請求項７】
前記覚醒状態判定モデル生成装置は、
前記各対象者のまばたき時の少なくとも片眼の前記まばたきデータを記憶するまばたきデータ記憶手段と、
前記まばたきデータ記憶手段から取得したまばたきデータから、前記第１の特徴量データを抽出する特徴量データ抽出手段と、
前記まばたき波形パターンモデル生成手段で生成された第１のパターンモデルを記憶する第１のパターンモデル記憶手段と、
前記特徴量データ生成手段で生成した前記第２の特徴量データを記憶する第２の特徴量データ記憶手段と、
前記覚醒状態パターンモデル生成手段で生成した第２のパターンモデルを記憶する第２のパターンモデル記憶手段と、を更に備えることを特徴とする請求項３乃至請求項６のいずれか１項に記載の覚醒状態判定モデル生成装置。
【請求項８】
対象者の覚醒状態を判定する覚醒状態判定装置であって、
前記対象者のまばたき時の少なくとも片眼のまばたきデータを取得するまばたきデータ取得手段と、
請求項３乃至請求項７のいずれか１項に記載の覚醒状態判定モデル生成装置で生成された第１のパターンモデルと、
前記まばたきデータ取得手段で取得したまばたきデータから、前記第１のパターンモデルに対応する第１の特徴量データを抽出する第１の特徴量データ抽出手段と、
前記第１の特徴量データ抽出手段で抽出した第１の特徴量データと、前記第１のパターンモデルとに基づき、前記第１の特徴量データに対応した特定種類のまばたき波形を識別するまばたき波形識別手段と、
分析区間の系列において取得された前記対象者のまばたきデータに対する前記まばたき波形識別手段の識別結果に基づき、前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する第２の特徴量データ生成手段と、
請求項１乃至請求項５のいずれか１項に記載の覚醒状態判定モデル生成装置で生成された第２のパターンモデルと、
前記第２の特徴量データ生成手段で生成した第２の特徴量データと、前記第２のパターンモデルとに基づき、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴とする覚醒状態判定装置。
【請求項９】
前記まばたきデータは、眼電図（ＥＯＧ）波形のデータまたは眼の動画像であることを特徴とする請求項８に記載の覚醒状態判定装置。
【請求項１０】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項６または請求項７のいずれか１項に記載の覚醒状態判定装置。
【請求項１１】
前記第１のパターンモデルと前記第２のパターンモデルは、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）であることを特徴とする請求項６乃至請求項８のいずれか１項に記載の覚醒状態判定装置。
【請求項１２】
請求項８乃至１１のいずれか１項に記載の覚醒状態判定装置と、
前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与える警告手段と、を備えることを特徴とする警告装置。
【請求項１３】
請求項１２に記載の警告装置を備えることを特徴とする車両。
【請求項１４】
対象者の覚醒状態を判定する統計モデルを生成する覚醒状態判定モデル生成方法であって、
各対象者のまばたき時の少なくとも片眼のまばたきデータから抽出された第１の特徴量データと、前記まばたきデータの各まばたきに対し特定種類のまばたき波形を示すまばたき波形識別情報を付与したまばたき波形識別情報データとを記憶する学習データ記憶ステップと、
前記学習データ記憶ステップに記憶された前記第１の特徴量データと、前記まばたき波形識別情報データとを学習データとして統計モデルを学習させ、前記第１の特徴量データを入力とし、当該第１の特徴量データに対するまばたき波形識別情報に対する尤度を出力とする第１のパターンモデルを生成するまばたき波形パターンモデル生成ステップと、
前記学習データ記憶ステップに記憶された前記まばたき波形識別情報データに基づいて、分析区間における前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する特徴量データ生成ステップと、
前記特徴量データ生成ステップで生成された前記第２の特徴量データと、前記分析区間の系列ごとに前記各対象者の覚醒状態を示す覚醒状態情報を付与した覚醒状態情報データとを学習データとして統計モデルを学習させ、前記第２の特徴量データを入力とし、当該第２の特徴量データに対する覚醒状態情報に対する尤度を出力とする第２のパターンモデルを生成する覚醒状態パターンモデル生成ステップと、を含むことを特徴とする覚醒状態判定モデル生成方法。
【請求項１５】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項１４に記載の覚醒状態判定モデル生成方法。
【請求項１６】
前記覚醒状態判定モデル生成方法は、
前記各対象者のまばたき時の少なくとも片眼の前記まばたきデータをまばたきデータ記憶手段に記憶するまばたきデータ記憶ステップと、
前記まばたきデータ記憶手段に記憶されたまばたきデータから、前記第１の特徴量データを抽出する特徴量データ抽出ステップと、
前記まばたき波形パターンモデル生成ステップで生成された第１のパターンモデルを記憶する第１のパターンモデル記憶ステップと、
前記特徴量データ生成ステップで生成した前記第２の特徴量データを記憶する第２の特徴量データ記憶ステップと、
前記覚醒状態パターンモデル生成ステップで生成した第２のパターンモデルを記憶する第２のパターンモデル記憶ステップと、を更に備えることを特徴とする請求項１４または請求項１５のいずれか１項に記載の覚醒状態判定モデル生成方法。
【請求項１７】
対象者の覚醒状態を判定する覚醒状態判定方法であって、
前記対象者のまばたき時の少なくとも片眼のまばたきデータを取得するまばたきデータ取得ステップと、
前記まばたきデータ取得ステップで取得したまばたきデータから、請求項１４乃至請求項１６のいずれか１項に記載の覚醒状態判定モデル生成方法で生成された第１のパターンモデルに対応する第１の特徴量データを抽出する第１の特徴量データ抽出ステップと、
前記第１の特徴量データ抽出ステップで抽出した第１の特徴量データと、前記第１のパターンモデルとに基づき、前記第１の特徴量データに対応した特定種類のまばたき波形を識別するまばたき波形識別ステップと、
分析区間の系列において取得された前記対象者のまばたきデータに対する前記まばたき波形識別ステップの識別結果に基づき、前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する第２の特徴量データ生成ステップと、
前記第２の特徴量データ生成ステップで生成した第２の特徴量データと、請求項１４乃至請求項１６のいずれか１項に記載の覚醒状態判定モデル生成方法で生成された第２のパターンモデルとに基づき、前記対象者の覚醒状態を判定する覚醒状態判定ステップと、を備えることを特徴とする覚醒状態判定方法。
【請求項１８】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項１７に記載の覚醒状態判定方法。
【請求項１９】
対象者の覚醒状態を判定する統計モデルを生成する覚醒状態判定モデル生成プログラムであって、
コンピュータを、
各対象者のまばたき時の少なくとも片眼のまばたきデータから抽出された第１の特徴量データと、前記まばたきデータの各まばたきに対し特定種類のまばたき波形を示すまばたき波形識別情報を付与したまばたき波形識別情報データとを記憶する学習データ記憶手段、
前記学習データ記憶手段に記憶された前記第１の特徴量データと、前記まばたき波形識別情報データとを学習データとして統計モデルを学習させ、前記第１の特徴量データを入力とし、当該第１の特徴量データに対するまばたき波形識別情報に対する尤度を出力とする第１のパターンモデルを生成するまばたき波形パターンモデル生成手段、
前記学習データ記憶手段に記憶された前記まばたき波形識別情報データに基づいて、分析区間における前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する特徴量データ生成手段、
前記特徴量データ生成手段で生成された前記第２の特徴量データと、前記分析区間の系列ごとに前記各対象者の覚醒状態を示す覚醒状態情報を付与した覚醒状態情報データとを学習データとして統計モデルを学習させ、前記第２の特徴量データを入力とし、当該第２の特徴量データに対する覚醒状態情報に対する尤度を出力とする第２のパターンモデルを生成する覚醒状態パターンモデル生成手段、として機能させることを特徴とする覚醒状態判定モデル生成プログラム。
【請求項２０】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項１９に記載の覚醒状態判定モデル生成プログラム。
【請求項２１】
前記覚醒状態判定モデル生成プログラムは、
コンピュータを、
前記各対象者のまばたき時の少なくとも片眼の前記まばたきデータを記憶するまばたきデータ記憶手段、
前記まばたきデータ記憶手段に記憶されたまばたきデータから、前記第１の特徴量データを抽出する特徴量データ抽出手段、
前記まばたき波形パターンモデル生成手段で生成された第１のパターンモデルを記憶する第１のパターンモデル記憶手段、
前記特徴量データ生成手段で生成した前記第２の特徴量データを記憶する第２の特徴量データ記憶手段、
前記覚醒状態パターンモデル生成手段で生成した第２のパターンモデルを記憶する第２のパターンモデル記憶手段、
として更に機能させることを特徴とする請求項１９または請求項２０のいずれか１項に記載の覚醒状態判定モデル生成プログラム。
【請求項２２】
対象者の覚醒状態を判定する覚醒状態判定プログラムであって、
コンピュータを、
前記対象者のまばたき時の少なくとも片眼のまばたきデータを取得するまばたきデータ取得手段、
前記まばたきデータ取得手段で取得したまばたきデータから、請求項１９乃至請求項２１のいずれか１項に記載の覚醒状態判定モデル生成プログラムで生成された第１のパターンモデルに対応する第１の特徴量データを抽出する第１の特徴量データ抽出手段、
前記第１の特徴量データ抽出手段で抽出した第１の特徴量データと、前記第１のパターンモデルとに基づき、前記第１の特徴量データに対応した特定種類のまばたき波形を識別するまばたき波形識別手段、
分析区間の系列において取得された前記対象者のまばたきデータに対する前記まばたき波形識別手段の識別結果に基づき、前記特定種類のまばたき波形ごとの生起比率に係るデータを含む第２の特徴量データを生成する第２の特徴量データ生成手段、
前記第２の特徴量データ生成手段で生成した第２の特徴量データと、請求項１９乃至請求項２１のいずれか１項に記載の覚醒状態判定モデル生成プログラムで生成された第２のパターンモデルとに基づき、前記対象者の覚醒状態を判定する覚醒状態判定手段、
として機能させることを特徴とする覚醒状態判定プログラム。
【請求項２３】
前記生起比率に係るデータは、生起比率の時間変化または生起回数の時間変化であることを特徴とする請求項２２に記載の覚醒状態判定プログラム。
【手続補正書】
【提出日】平成21年3月25日(2009.3.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
また、本発明に係る請求項３、７に記載の覚醒状態判定モデル生成装置、請求項６に記載の覚醒状態判定装置、請求項１４、１６に記載の覚醒状態判定モデル生成方法、請求項１５、１７に記載の覚醒状態判定方法、請求項１９、２１に記載の覚醒状態判定モデル生成プログラム、並びに請求項２２に記載の覚醒状態判定プログラムによれば、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの生起頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの生起頻度の変化に加えて、分析区間の系列における各特定種類のまばたきの生起比率に係るデータに基づいて、高精度の覚醒状態の判定を行うことが可能である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
具体的には、例えば、対象者の左眼又は右眼の少なくとも一方のまばたきの眼電図（ＥＯＧ）波形データを記憶する。また、まぶたの開度の時間変化を示すまばたきデータは、まばたきの動画像とすることも可能であり、対象者のまばたき時の左眼又は右眼の少なくとも一方を含む動画像データで構成される。また、各まばたき波形の生起時刻も記憶される。
【国際調査報告】
2008088070.tif 000027
2008088070.tif 000028
2008088070.tif 000029
2008088070.tif 000030
2008088070.tif 000031
2008088070.tif 000032
2008088070.tif 000033
2008088070.tif 000034
2008088070.tif 000035
2008088070.tif 000036