(57)【要約】【課題】被験者の眼のまばたき動作に係る情報を利用して、眠気、疲労度及び緊張度を含む被験者の状態を判定する。【解決手段】被験者状態判定装置（ドライバ状態判定装置１０）は、被験者（例えば、車両運転中のドライバ）が無意識に行う眼のまばたき動作を検出するまばたき動作検出部１１と、連続して行われた複数回のまばたき動作について、あるまばたき動作が行われてから次のまばたき動作が行われるまでの時間情報を含むまばたき間隔を検出するまばたき間隔検出部１２と、まばたき間隔検出部で検出されたまばたき間隔に基づいて、被験者の状態を判定する被験者状態判定部１３とを有する。【選択図】図２
2019122446.tif 000002
【特許請求の範囲】
【請求項１】
被験者の眠気、疲労度及び緊張度を含む前記被験者の状態を判定する被験者状態判定装置であって、
前記被験者が無意識に行う眼のまばたき動作を検出するまばたき動作検出部と、
前記まばたき動作検出部で検出された連続して行われた複数回の前記まばたき動作について、あるまばたき動作が行われてから次のまばたき動作が行われるまでの時間情報を含むまばたき間隔を検出するまばたき間隔検出部と、
前記まばたき間隔検出部で検出された前記まばたき間隔に基づいて、前記被験者の状態を判定する被験者状態判定部とを、
有する被験者状態判定装置。
【請求項２】
前記被験者状態判定部は、前記まばたき間隔の時系列データに対して非線形解析処理を行うことによって前記まばたき間隔に関するリアプノフ指数を算出し、前記リアプノフ指数に基づいて前記被験者の状態を判定するよう構成されている請求項１に記載の被験者状態判定装置。
【請求項３】
前記被験者状態判定部は、前記リアプノフ指数の時系列データのパワースペクトル密度を算出し、算出された前記パワースペクトル密度における所定の低周波数帯域の積分値と、所定の高周波数帯域の積分値とを算出し、前記所定の低周波数帯域の積分値、及び、前記所定の高周波数帯域の積分値に基づいて前記被験者の状態を判定するよう構成されている請求項２に記載の被験者状態判定装置。
【請求項４】
前記被験者状態判定部は、前記まばたき間隔の時系列データに対してＤＦＡ解析処理を行うことによって前記まばたき間隔に関するスケーリング指数を算出し、前記スケーリング指数に基づいて前記被験者の状態を判定するよう構成されている請求項１から３のいずれか１つに記載の被験者状態判定装置。
【請求項５】
前記まばたき間隔検出部は、前記被験者の眼が時間的に連続して撮像されたことによって得られる撮像画像から、前記被験者が無意識に行う前記まばたき動作を検出するよう構成されている請求項１から４のいずれか１つに記載の被験者状態判定装置。
【請求項６】
前記被験者が車両を運転している運転者である請求項１から５のいずれか１つに記載の被験者状態判定装置。
【請求項７】
被験者の眠気、疲労度及び緊張度を含む前記被験者の状態を判定する被験者状態判定方法であって、
前記被験者が無意識に行う眼のまばたき動作を検出するまばたき動作検出ステップと、
前記まばたき動作検出ステップで検出された連続して行われた複数回の前記まばたき動作について、あるまばたき動作が行われてから次のまばたき動作が行われるまでの時間情報を含むまばたき間隔を検出するまばたき間隔検出ステップと、
前記まばたき間隔検出ステップで検出された前記まばたき間隔に基づいて、前記被験者の状態を判定する被験者状態判定ステップとを、
有する被験者状態判定方法。
【請求項８】
前記被験者状態判定ステップは、前記まばたき間隔の時系列データに対して非線形解析処理を行うことによって前記まばたき間隔に関するリアプノフ指数を算出し、前記リアプノフ指数に基づいて前記被験者の状態を判定するステップを有する請求項７に記載の被験者状態判定方法。
【請求項９】
前記被験者状態判定ステップは、前記リアプノフ指数の時系列データのパワースペクトル密度を算出し、算出された前記パワースペクトル密度における所定の低周波数帯域の積分値と、所定の高周波数帯域の積分値とを算出し、前記所定の低周波数帯域の積分値、及び、前記所定の高周波数帯域の積分値に基づいて前記被験者の状態を判定するステップを有する請求項８に記載の被験者状態判定方法。
【請求項１０】
前記被験者状態判定ステップは、前記まばたき間隔の時系列データに対してＤＦＡ解析処理を行うことによって前記まばたき間隔に関するスケーリング指数を算出し、前記スケーリング指数に基づいて前記被験者の状態を判定するステップを有する請求項７から９のいずれか１つに記載の被験者状態判定方法。
【請求項１１】
前記まばたき間隔検出ステップは、前記被験者の眼が時間的に連続して撮像されたことによって得られる撮像画像から、前記被験者が無意識に行う前記まばたき動作を検出するステップを有する請求項７から１０のいずれか１つに記載の被験者状態判定方法。
【請求項１２】
前記被験者が車両を運転している運転者である請求項７から１１のいずれか１つに記載の被験者状態判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眠気、疲労度及び緊張度を含む人間（被験者）の状態を判定する被験者状態判定装置及び被験者状態判定方法に関する。なお、人間の状態とは、人間の精神的又は感覚的な状態であり、人間が脳で感じる状態を指す。また、本発明に係る被験者状態判定装置及び被験者状態判定方法は、特に、車両運転中のドライバ（運転者）を被験者として、ドライバの状態を判定することが可能である。
【背景技術】
【０００２】
車両を運転するドライバの状態を判定する従来技術として、ドライバの顔を撮像した画像から得られるドライバのまばたき（瞬き、瞬目）を利用する技術が知られている。例えば、下記の特許文献１、２には、ドライバの顔を撮像した画像からドライバのまばたきを検出し、通常よりも時間の長いまばたきの発生頻度に基づいてドライバの覚醒度を判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−６２４６５号公報
【特許文献２】特開平９−２７７８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１、２の開示技術はいずれも、まばたきの時間（例えば、まぶたの閉じ始めの状態からまぶたが再び開いた状態までの時間）を計測し、覚醒時には時間の短いまばたきの頻度が高く、覚醒度低下時には時間の長いまばたきの頻度が高いという人間のまばたきの傾向を利用して、ドライバの覚醒度を判定するものである。
【０００５】
しかしながら、特許文献１、２の開示技術はドライバの覚醒度判定に一定の効果は得られるものの、個々のまばたきの時間の計測は外乱や車両内の環境の影響を受けやすいという問題を有する。また、まばたきの時間が長いか否かについては、事前に設定された閾値を用いた単純な２値判断が行われることから、ドライバの覚醒度判定が事前に設定された閾値の正当性に大きく依存するという問題を有する。さらには、ドライバの覚醒度以外のドライバの状態を判定することができず、適用範囲が狭いという問題も有する。
【０００６】
本発明は、上記の様々な問題に鑑み、被験者の眼のまばたき（瞬き、瞬目：まぶたの開閉運動を意味する）動作に係る情報を利用して被験者の状態を判定する、新たな技術を用いた被験者状態判定装置及び被験者状態判定方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明の被験者状態判定装置は、被験者の眠気、疲労度及び緊張度を含む前記被験者の状態を判定する被験者状態判定装置であって、
前記被験者が無意識に行う眼のまばたき動作を検出するまばたき動作検出部と、
前記まばたき動作検出部で検出された連続して行われた複数回の前記まばたき動作について、あるまばたき動作が行われてから次のまばたき動作が行われるまでの時間情報を含むまばたき間隔を検出するまばたき間隔検出部と、
前記まばたき間隔検出部で検出された前記まばたき間隔に基づいて、前記被験者の状態を判定する被験者状態判定部とを、
有する。
【０００８】
また、上記の目的を達成するため、本発明の被験者状態判定方法は、被験者の眠気、疲労度及び緊張度を含む前記被験者の状態を判定する被験者状態判定方法であって、
前記被験者が無意識に行う眼のまばたき動作を検出するまばたき動作検出ステップと、
前記まばたき動作検出ステップで検出された連続して行われた複数回の前記まばたき動作について、あるまばたき動作が行われてから次のまばたき動作が行われるまでの時間情報を含むまばたき間隔を検出するまばたき間隔検出ステップと、
前記まばたき間隔検出ステップで検出された前記まばたき間隔に基づいて、前記被験者の状態を判定する被験者状態判定ステップとを、
有する。
【発明の効果】
【０００９】
本発明によれば、被験者の眼のまばたき動作に係る情報を利用して、眠気、疲労度及び緊張度を含む被験者の状態を判定する、新たな技術を用いた被験者状態判定装置及び被験者状態判定方法を提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態において、車両運転中のドライバを被験者とした場合における車両内の状態の一例を模式的に示す図である。
【図２】本発明の実施の形態における被験者状態判定装置（ドライバ状態判定装置）の機能の一例を示すブロック図である。
【図３】本発明の実施の形態におけるドライバの眼の開眼度を説明するための図であり、（ａ）は最も開眼した状態の一例を示す図、（ｂ）は最も閉眼した状態の一例を示す図、（ｃ）は一往復のまばたき動作における開眼度の一例を示す図である。
【図４】本発明の実施の形態における被験者状態判定装置（ドライバ状態判定装置）のまばたき動作検出部によって検出された開眼度データの一例を模式的に示すグラフである。
【図５】本発明の実施の形態におけるドライバ状態判定部の機能の一例を示すブロック図である。
【図６】本発明の実施の形態におけるドライバ状態判定部の非線形解析部で実行される処理の概要を説明するための図である。
【図７】本発明の実施の形態におけるドライバ状態判定部の周波数スペクトル分析部で実行される処理の一例を示すフローチャートである。
【図８】本発明の別の実施の形態における被験者状態判定装置（運転者状態判定装置）の機能の一例を示すブロック図である。
【図９】本発明の別の実施の形態における被験者状態判定装置（運転者状態判定装置）のまばたき動作検出部によって検出された開眼度データの一例を模式的に示すグラフである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施の形態について説明する。なお、以下では、車両運転中のドライバ（運転者）を被験者とした場合を一例として説明するが、本発明が対象とする被験者は車両運転中のドライバに限定されるものではなく、任意の状態及び動作を行っている人間を被験者とすることが可能である。
【００１２】
図１は、本発明の実施の形態において、車両運転中のドライバを被験者とした場合における車両内の状態の一例を模式的に示す図である。図１には、ドライバが車両内の運転席に着座した様子が模式的に図示されている。車両内には、ドライバの顔を撮像できる位置にカメラ１が設置されている。
【００１３】
カメラ１は、ドライバの顔、特にドライバの眼を撮像する撮像装置であり、例えばアイマークレコーダやドライバステータスモニタなどの既存の技術で利用されているカメラを用いることが可能である。カメラ１は、ドライバの両方の眼を撮像してもよく、どちらか一方の眼を撮像してもよい。
【００１４】
カメラ１は、ドライバのまばたき（瞬き、瞬目：まぶたの開閉運動を意味する）、特に、無意識に行われる周期的まばたきを検出可能とする画像を取得するために、一定の周期で撮像を行う機能を有する。人間のまばたきの速さ（１回のまばたきにおいて、まぶたの開閉の一往復運動に要する時間）は、一般的に１００〜１５０ミリ秒と言われており、高速で静止画像を撮影するハイスピードカメラ（高速度カメラ）や高フレームレート（例えば１２０ｆｐｓ以上）で動画像を撮影するビデオカメラなどを用いた場合には、まばたき動作を容易に観測することができる。一方、低フレームレートのカメラ１で人間の眼を撮像した場合には、まばたきした瞬間がフレーム落ちする可能性がある。しかしながら、フレームレートが１５〜３０ｆｐｓ程度以上であれば、画像処理技術を用いることにより、高い認識率でまばたき動作を検出することが可能である。
【００１５】
なお、本発明は、本発明者によって得られた、被験者（ドライバ）のまばたきに係るゆらぎがその被験者（ドライバ）の状態（例えば、眠気、疲労度及び緊張度などを含む状態）を表すという知見に基づいている。本明細書では、カメラ１によって撮像された画像からまばたき動作を検出する場合について説明するが、本発明ではドライバのまばたき動作（及びこのまばたき動作に係るゆらぎ）を検出できればよく、したがって、まばたき動作の検出に係る技術は特に限定されるものではない。例えば、ドライバの眼の画像を連続的に取得し、画像処理技術を用いてまばたき動作を検出する場合、眼のエッジ強度（エッジコントラスト）に基づいて眼の開き具合（開眼／閉眼の状態）を判定することでまばたき動作を検出してもよく、あるいは、黒目の領域の大きさに基づいてまばたき動作を検出してもよい。また、黒目からの反射光に基づき、光検出技術を用いてまばたき動作を検出してもよい。さらには、上記の画像処理技術や光検出技術は、ドライバに対して非接触でまばたき動作を検出するものであるが、ドライバの眼の周辺に電極や磁気誘導素子を配置して（例えば、ドライバが専用の眼鏡などをかけることによって）、電位変動や磁気変動を捉えることでまばたき動作を検出する技術を採用してもよい。
【００１６】
カメラ１による撮像で得られる電気信号（撮像画像データを含む撮像信号）は、ドライバ状態判定装置（被験者状態判定装置）１０に供給される。ドライバ状態判定装置１０は、ＣＰＵ（Central Processing Unit：中央演算処理装置）やＧＰＵ（Graphics Processing Unit：グラフィック処理装置）を備えた汎用又は専用のコンピュータによって実現可能である。ドライバ状態判定装置１０は、カメラ１による撮像信号を受信するために、カメラ１と有線又は無線を介して接続されていてもよく、あるいは、カメラ１から不図示の記憶装置にいったん撮像信号が撮像画像データとして記憶され、当該記憶装置に接続及び撮像画像データの読み出しを行うように構成されていてもよい。ドライバ状態判定装置１０は、図１に図示されているように車両内の任意の場所に設置されてもよく、あるいは、遠隔の場所に設置され、通信ネットワークなどを介してカメラ１０から撮像信号を受信してもよい。
【００１７】
図２は、本発明の実施の形態におけるドライバ状態判定装置の機能の一例を示すブロック図である。図２に示すドライバ状態判定装置１０は、まばたき動作検出部１１、まばたき間隔検出部１２、ドライバ状態判定部１３を有している。
【００１８】
まばたき動作検出部１１は、ドライバの眼のまばたき動作を検出する機能を有している。まばたき動作検出部１１は、例えばカメラ１によって撮像されたドライバの眼の撮像画像データを画像処理することによって、まばたき動作を示すデータ（開眼度データ）を生成する。なお、ここでは一例として、まばたき動作検出部１１がドライバの眼の撮像画像データを画像処理することによって、ドライバのまばたき動作を検出する場合について説明するが、上述したように、ドライバのまばたき動作に関しては、画像処理技術、光検出技術、電位変動検出技術、磁気変動検出技術などを始めとする任意の検出技術を用いることが可能である。
【００１９】
ここで、カメラ１から受信した撮像画像データに基づいてまばたき動作検出部１１により検出される開眼度データについて説明する。図３は、本発明の実施の形態におけるドライバの眼の開眼度を説明するための図であり、図３（ａ）には最も開眼した状態の一例が示されており、図３（ｂ）には最も閉眼した状態の一例が示されており、図３（ｃ）には一往復のまばたき動作における開眼度の一例が示されている。
【００２０】
まばたき動作検出部１１は、カメラ１から受信した撮像画像データに含まれるドライバの眼の画像に係る処理を行い、一例として、ドライバの眼の画像認識処理と、開眼度を示す開眼度データを出力する機能とを有する。まばたき動作検出部１１は、例えば図３（ａ）に示されている最も開眼した状態を認識し、この最も開眼した状態の開眼度を１００％と設定するとともに、例えば図３（ｂ）に示されている最も閉眼した状態を認識し、この最も閉眼した状態の開眼度を０％と設定する。
【００２１】
最も開眼した状態及び最も閉眼した状態については、例えば、開眼度データを出力する前段階として所定の時間だけドライバの眼の画像に係る画像認識を行い、この所定の時間中に検出された最も開眼した状態及び最も閉眼した状態をそれぞれ開眼度１００％及び０％と設定してもよい。なお、ここでは、眼の上まぶたの縁と眼の下まぶたの縁との距離を測定して開眼度を決定しているが、眼の黒目部分（角膜輪部で囲まれた瞳孔及び虹彩を含む部分）の縦方向の距離を測定して開眼度を決定するなど、任意の基準に基づいて眼の開眼／閉眼の状態を数値化してもよい。また、本発明は、被験者（ドライバ）のまばたき動作の間隔（眼をパチパチと閉じる時間間隔）を捉えることができればよく、閉眼状態のみを認識してもよい。例えば、まぶたの肌の色の占有率が所定値以上となった状態（上まぶたが閉じて、眼の領域に肌の色が所定の面積以上広がった状態）、黒目の部分の占有率が所定値以下となった状態（上まぶたが閉じて、黒目の部分が見えなくなった状態）、上まぶたの縁と下まぶたの縁とが重なり合った状態（眼をつぶった状態）を閉眼状態として認識して、その閉眼状態の時間間隔（閉眼間隔）をまばたき間隔と定義してもよい。
【００２２】
上記のように、例えば最も開眼した状態の開眼度を１００％と設定し、最も閉眼した状態の開眼度を０％と設定した場合には、まばたき動作検出部１１は、図３（ｃ）に示すようにまばたき動作に伴って変化する開眼度を、０％〜１００％の間の数値で表すことが可能となる。なお、眼の通常の状態は最も開眼した状態よりも若干閉じた状態（例えば、開眼度が約８０％）で物を見ており、無意識に行われる周期的まばたきにおける眼を閉じた状態は、最も閉眼した状態よりも若干開いた状態（例えば、開眼度が約１０％）となる。
【００２３】
また、図４は、本発明の実施の形態におけるドライバ状態判定装置のまばたき動作検出部によって検出された開眼度データの一例を模式的に示すグラフである。まばたき動作検出部１１は、開眼度を数値として出力し、開眼度を示す数値を時間軸上にプロットすると、図４に示すようなグラフとなる。図４に示すグラフは、縦軸が開眼度を表し、横軸が時間を表している。なお、図４は、まばたき動作における開眼度を説明する目的で描かれたグラフであって、横軸の時間の縮尺は必ずしも正確に記載されたものではない。一往復のまばたき動作の時間は、上述したように一般的に１００〜１５０ミリ秒であり、まばたき動作の間隔（まばたき間隔）は、一般的に数秒程度である。
【００２４】
まばたき間隔検出部１２は、まばたき動作検出部１１から出力される開眼度データに基づいて、まばたき動作の間隔（まばたき間隔）を検出する機能を有している。まばたき間隔とは、まぶたの開閉運動である１回のまばたき動作が行われてから、次に別のまばたき動作が行われるまでの時間を指す。例えば、図４に示すグラフに点線で示されているように、まばたき動作において閉眼が開始されたタイミング（閉眼開始タイミング）を基準とし、あるまばたき動作の閉眼開始タイミングから次のまばたき動作の閉眼開始タイミングまでのまばたきの閉眼間隔をまばたき間隔とすることが可能である。なお、まばたき間隔の定義は上記に限定されるものではなく、例えば、閉眼から開眼が開始されたタイミングや閉眼中の中央のタイミングを基準とするなど、任意に定めた規則に基づいてまばたき間隔が定義されてもよい。
【００２５】
図５は、本発明の実施の形態におけるドライバ状態判定部の機能の一例を示すブロック図である。例えば、図５に図示されているように、ドライバ状態判定部１３は、非線形解析部１３１、パワースペクトル解析部１３２、ＤＦＡ（Detrended Fluctuation Analysis：トレンド除去変動解析法）解析部１３３、判定結果出力部１３４により構成される。なお、ドライバ状態判定部１３は、非線形解析部１３１、パワースペクトル解析部１３２、ＤＦＡ解析部１３３をすべて備える必要はなく、非線形解析部１３１、パワースペクトル解析部１３２、ＤＦＡ解析部１３３のうちのいずれか１つ又は複数を備えていてもよい。
【００２６】
非線形解析部１３１は、まばたき間隔検出部１２からまばたき間隔を含む情報を受信し、非線形解析処理を行う機能を有している。具体的には、非線形解析部１３１は、まばたき間隔検出部１２で検出されたまばたき間隔に係る情報を逐次受信、受信したまばたき間隔に係る情報に基づいてアトラクタを生成し、生成されたアトラクタに基づいてリアプノフ指数を算出する処理を行う機能を有している。
【００２７】
非線形解析部１３１における処理の概要を図６に示す。まばたき間隔検出部１２からまばたき間隔を含む情報は、例えば、Ｐ［１］、Ｐ［２］、Ｐ［３］、Ｐ［Ｎ］、…などと表されるように、時系列に並ぶ情報として取り扱われる。非線形解析部１３１は、時系列に隣接するＮ個のデータのセット（Ｐ［１］、Ｐ［２］、…、Ｐ［Ｎ］）をＮ次元空間上にプロットするとともに、データのセットを順次ずらしながら、（Ｐ［２］、Ｐ［３］、…、Ｐ［Ｎ＋１］）、（Ｐ［３］、Ｐ［４］、…、Ｐ［Ｎ＋２］）、…のように、Ｎ次元空間の座標上に順次プロットする。なお、図６では、Ｎ＝３の場合の一例が模式的に表されている。まばたき間隔のデータのセットがプロットされたＮ次元空間上の座標を結ぶ線は軌跡を描き、アトラクタを形成する。まばたき間隔に係る情報によって生成されたアトラクタからは、過去のアトラクタ群に対する安定傾向を解析してリアプノフ指数を算出することが可能である。リアプノフ指数の算出は任意の周期で実行可能であり、その結果、リアプノフ指数の時系列データが生成される。本発明者は、まばたき間隔に係る情報から得られたリアプノフ指数が、身体機能や脳機能の状態と相関していることを見出している。例えば、リアプノフ指数が低いほどドライバの身体機能や脳機能は低くなる傾向にあることから、リアプノフ指数は、ドライバの眠気や疲労度を表す指標として利用可能である。
【００２８】
周波数スペクトル分析部１３２は、非線形解析部１３１で算出されたリアプノフ指数を取得し、周波数スペクトル分析技術に基づいてリアプノフ指数の時系列データのパワースペクトル密度を求め、当該パワースペクトル密度から、低周波数帯域及び高周波数帯域のそれぞれのパワースペクトル密度の値を算出する機能を有している。例えば、周波数スペクトル分析部１３２は、非線形解析部１３１で算出されたリアプノフ指数の時系列データのパワースペクトル密度を求め、低周波数帯域の積分値ＬＦと高周波数帯域の積分値ＨＦとを算出することが可能である。
【００２９】
図７を参照しながら、周波数スペクトル分析部１３２における処理の一例について説明する。周波数スペクトル分析部１３２は、まず非線形解析部１３１で算出されたリアプノフ指数の時系列データｘ（ｔ）を取得する（ステップＳ２０１）。続いて、周波数スペクトル分析部１３２は、取得したリアプノフ指数の時系列データｘ（ｔ）のパワースペクトル密度ＰＳＤ（ｆ）を算出する（ステップＳ２０２）。なお、パワースペクトル密度は、例えば図７に数式の一例（例えば、周波数ｆの範囲を０Ｈｚ〜１Ｈｚとする）として記載されているものであり、その算出方法に関しては従来の周波数スペクトル分析技術で行われる方法と同様の方法を用いればよい。
【００３０】
そして、周波数スペクトル分析部１３２は、得られたパワースペクトル密度ＰＳＤ（ｆ）の低周波数帯域の積分値ＬＦを算出し（ステップＳ２０３）、さらに、パワースペクトル密度ＰＳＤ（ｆ）の高周波数帯域の積分値ＨＦを算出する（ステップＳ２０４）。なお、低周波数帯域は、高周波数帯域より低周波数側に存在するが、両方の帯域に重なりがあってもよく、一例として、低周波数帯域を０．０４Ｈｚ〜０．１５Ｈｚと定め、高周波数帯域を０．１５Ｈｚ〜０．４Ｈｚと定めることができる。
【００３１】
また、周波数スペクトル分析部１３２は、サンプリングするパワースペクトル密度の時系列データｘ（ｔ）を時系列に沿ってずらしながら、パワースペクトル密度ＰＳＤ（ｆ）の低周波数帯域の積分値ＬＦ、パワースペクトル密度ＰＳＤ（ｆ）の高周波数帯域の積分値ＨＦを算出していくことで、所定のサンプリングレート間隔の出力を行う。なお、本発明者は、ドライバの交感神経の活躍状態が積分値ＬＦと積分値ＨＦとの比（ＬＦ／ＨＦ）と相関を有し、ドライバの副交感神経の活躍状態が積分値ＨＦと相関を有することを見出している。例えば、本発明者は、ＬＦ／ＨＦ及びＨＦのそれぞれの時系列データを正規化し、正規化されたＬＦ／ＨＦ、正規化されたＨＦのそれぞれの微分時系列データを求めることによって得られる、正規化されたＨＦの微分時系列データと正規化されたＬＦ／ＨＦの微分時系列データとの差（正規化ＨＦの微分時系列データ−正規化ＬＦ／ＨＦの微分時系列データ）がドライバの疲労度又は緊張度の指標として利用可能であることを見出している。すなわち、積分値ＬＦ、積分値ＨＦは、ドライバの疲労度や緊張度（緩和度）を表す指標として利用可能である。
【００３２】
ＤＦＡ解析部１３３は、まばたき間隔に係る情報に基づいてＤＦＡ解析を行い、そのＤＦＡ解析結果（スケーリング指数α）を出力する機能を有している。なお、ＤＦＡ解析は、非定常的な時系列データの長期相関特性を解析する手法であり、広く知られている技術なので、ここでは詳細な説明は省略する。ＤＦＡ解析は、入力データを積分することで作成した新たな時系列データを長さｎのボックスに分割し、各ボックスにおいて最小自乗法による近似直線を計算してローカルトレンドを求め、信号からトレンドを除去してから分散を平均した値（Ｆ（ｎ））を算出するものである。このＤＦＡ解析によって求められるＦ（ｎ）は、Ｆ（ｎ）∝ｎαによって表すことが可能であり、スケーリング指数αによって特徴付けられる。スケーリング指数αは、ドライバの状態や特性などを示す数値である。一例として、スケーリング指数αが所定の値（例えば、α＝１．０）から離れているかどうかを判定し、所定の値から大きく離れている場合（例えば、α＜０．８など）には、ドライバの状態に異常が生じていると判定することができる指標として利用可能である。また、リアプノフ指数を用いた判定において、閾値を定めるためにスケーリング指数を参照することも可能である。
【００３３】
判定結果出力部１３４は、非線形解析部１３１から出力されたリアプノフ指数、パワースペクトル解析部１３２から出力された、ＤＦＡ解析部１３３から出力されたパワースペクトル密度ＰＳＤ（ｆ）の低周波数帯域の積分値ＬＦ及び高周波数帯域の積分値ＨＦ、ＤＦＡ解析部１３３から出力されたスケーリング指数αをドライバの状態を表す指標として利用し、ドライバの状態を判定してその判定結果を出力する機能を有する。ドライバの状態を表す指標としてリアプノフ指数を用いる場合、例えば、リアプノフ指数が所定の閾値（閾値は、スケーリング指数αに依存して設定されてもよい）よりも低い場合に、ドライバの眠気や疲労度が高くなっていると判定してもよい。また、ドライバの状態を表す指標としてスケーリング指数αを用いる場合、スケーリングαが所定の閾値（例えばα＝０．６）よりも低い場合に、ドライバの身体機能又は脳機能に異常が生じていると判定してもよい。また、ドライバの状態を表す指標として、パワースペクトル密度ＰＳＤ（ｆ）の低周波数帯域の積分値ＬＦや高周波数帯域の積分値ＨＦを用いる場合、「正規化ＨＦの微分時系列データ−正規化ＬＦ／ＨＦの微分時系列データ」の数値が所定の閾値よりも高い場合に、ドライバの疲労度又は緊張度が高くなっていると判定してもよい。
【００３４】
また、上述の実施の形態では、まばたき間隔検出部１２が、まばたき動作検出部１１から出力される開眼度データに基づいてまばたき間隔を検出するよう構成されているが、本発明の別の実施形態として、図８に図示されているように、まばたき間隔検出部１２に代えて、まばたき動作で閉眼している時間（まばたき閉眼時間）を検出するまばたき閉眼時間検出部２１を設けてもよい。まばたき閉眼時間とは、まぶたの開閉運動である１回のまばたき動作において閉眼状態となっている時間を指す。例えば、図９に示すグラフに点線で示されているように、まばたき動作において開眼度が所定の開眼度（図＊＋１では４０％）以下となっている間の時間をまばたき閉眼時間とすることが可能である。なお、まばたき閉眼時間の定義は上記に限定されるものではなく、閉眼が開始されたタイミングから開眼が完了したタイミングまでの時間を基準とするなど、任意に定めた規則に基づいてまばたき閉眼時間が定義されてもよい。
【００３５】
まばたき閉眼時間検出部２１は、所定の時間ウィンドウ（例えば、３０秒又は１分）の範囲で検出されたまばたき閉眼時間の和を出力する機能を有する。さらに、まばたき閉眼時間検出部２１は、所定の時間ウィンドウを所定の時間（例えば、１０秒）ずつずらしながら出力する機能を有する。具体的には、まばたき閉眼時間検出部２１は、例えば、時刻ｔ１秒から時刻ｔ１秒＋３０秒を範囲とする時間ウィンドウ内のまばたき閉眼時間の和を計算して出力し、次いで、時間ウィンドウを１０秒ずらして、時刻ｔ１秒＋１０秒から時刻ｔ１秒＋４０秒を範囲とする時間ウィンドウ内のまばたき閉眼時間の和を計算して出力するという処理を順次繰り返し実行する。その結果、まばたき閉眼時間検出部２１からは、異なる時間ウィンドウ内のまばたき閉眼時間の和が、１０秒ごとに出力される。
【００３６】
ドライバ状態判定部１３は、まばたき間隔検出部１２から出力されたまばたき間隔に代えて、まばたき閉眼時間検出部２１から出力されたまばたき閉眼時間の和に基づいて、ドライバの状態を判定する機能を有している。なお、ドライバ状態判定部１３における処理は、まばたき閉眼時間に係る上述した処理と同様であり、まばたき間隔の文言をまばたき閉眼時間の和と読み替えることで理解できることから、説明を省略する。
【００３７】
また、本明細書では、被験者が車両運転中のドライバが被験者である場合を一例として説明しているが、本発明が対象とする被験者は、車両運転中のドライバに限定されるものではなく、任意の状態及び動作を行っている人間を被験者とすることが可能である。例えば、デスクワークを行うユーザのまばたき動作から、ユーザの眠気や疲労度、緊張度などのユーザ状態を判定してもよい。
【００３８】
なお、図面中に図示されているハードウェア構成の各機能はブロックによって図示されているが、これらの各機能は、ＩＣ（Integrated Circuit：集積回路）チップなどのハードウェアによる処理、及び／又は、コンピュータがプログラムを実行することによって実現可能である。
【産業上の利用可能性】
【００３９】
本発明は、眠気、疲労度及び緊張度を含む被験者の状態を判定するための技術に適用可能であり、特に、車両運転中のドライバを被験者として、運転中のドライバの状態を判定するための技術に適用可能である。
【符号の説明】
【００４０】
１  カメラ
１０  ドライバ状態判定装置（被験者状態判定装置）
１１  まばたき動作検出部
１２  まばたき間隔検出部
１３  ドライバ状態判定部
１３１  非線形解析部
１３２  周波数スペクトル分析部
１３３  ＤＦＡ解析部
１３４  判定結果出力部
【図１】
2019122446.tif 000003
【図２】
2019122446.tif 000004
【図３】
2019122446.tif 000005
【図４】
2019122446.tif 000006
【図５】
2019122446.tif 000007
【図６】
2019122446.tif 000008
【図７】
2019122446.tif 000009
【図８】
2019122446.tif 000010
【図９】
2019122446.tif 000011