(57)【要約】【課題】  車両等の運転者の眠気発生を予測する装置に於いて、運転者の運転操作の変化によって運転者の生理状態が影響されることも考慮して、より精度よく、眠気の程度が実際に高くなる前に、眠気発生の予測を可能にすること。【解決手段】  本発明の装置は、特徴量収集時間域に於ける運転者の生理状態の時系列データから逐次的に算出される生理状態特徴量と運転者の運転操作により変化する車両等の運動状態から逐次的に算出される車両運動特徴量とにより決定される特徴量状態が、特徴量収集時間域から所定時間経過後の予測時間域内にて運転者の眠気レベルが所定レベルに到達することとなる特徴量状態となったときに、所定時間経過後に眠気が発生する、との予測をする。眠気発生を予測する手段は、教師付き学習データとして眠気レベルがラベル付けされた生理状態特徴量及び車両運動特徴量の予め調製された時系列のデータを用いて機械学習により調製される。【選択図】        図７
2020057198.tif 000002
【特許請求の範囲】
【請求項１】
車両又は移動体の運転中の運転者の眠気の発生を予測する装置であって、
前記運転者の生理状態を検出する手段と、
前記生理状態の時系列データから生理状態特徴量を逐次的に算出する手段と、
前記運転者の運転操作によって変化する車両又は移動体の運動状態を検出する手段と、
前記車両又は移動体の運動状態の時系列データから車両運動特徴量を逐次的に算出する手段と、
前記生理状態特徴量と前記車両運動特徴量とを用いて、前記運転者の眠気の発生を事前に予測する眠気発生予測手段にして、第一の時間幅の特徴量収集時間域に於ける前記生理状態特徴量と前記車両運動特徴量とにより決定される特徴量状態が、前記特徴量収集時間域の最終時点から第二の時間幅の余裕時間域の経過の後の第三の時間幅の予測時間域内にて前記運転者の眠気レベルが所定レベルに到達することとなる特徴量状態となったときに、前記特徴量収集時間域の最終時点から前記余裕時間域の経過後の前記予測時間域の内に前記運転者の眠気レベルが所定レベルに到達するとの眠気発生の予測をする手段と、
前記眠気発生予測手段による眠気発生の予測結果を出力する眠気発生予測結果出力手段と
を含み、
前記眠気発生予測手段が、教師付き学習データとして眠気レベルがラベル付けされた前記生理状態特徴量及び前記車両運動特徴量の予め調製された複数の時系列データを用いた機械学習により、前記第一の時間幅に於ける前記生理状態特徴量及び前記車両運動特徴量によって張られる特徴量空間内に於いて画定された、前記学習データのうちの第一の群に於ける前記眠気レベルが前記所定レベルに到達した時点よりも前記第二の時間幅だけ前の時点から前記第三の時間幅だけ遡った時間域内に於ける特徴量状態の分布域に、前記学習データのうちの第二の群に於ける特徴量状態が入った時点から、前記第二の時間幅の経過後の前記第三の時間幅の時間域内に、前記学習データのうちの第二の群に於ける前記眠気レベルが前記所定レベルに到達した時点が入るように調製されている装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の眠気の発生を予測する装置に係り、より詳細には、車両又は移動体の運転者の瞼の開閉動作から得られる指標値などを用いて運転中の運転者の眠気の発生を予測する装置に係る。
【背景技術】
【０００２】
人間の眠気を検知する装置として、人間の顔又は瞼を撮像し、その撮影画像に於いて瞼の動きやその他の顔の表情の変化を捉えて、その人が眠気を感じているか否かを判定する装置が種々提案されている。例えば、特許文献１に於いては、被検者の目とその周辺の撮影画像に於いて、瞼を連続して開いている時間（以下、開眼時間）を観測し、その開眼時間のばらつき(標準偏差)が算出され、その開眼時間の標準偏差が眠気増加に伴って低下し、所定の閾値を下回ったときに「居眠りが発生した」と判定する構成が提案されている。また、特許文献２に於いては、被検者の顔の画像から、ため息、あくび、目の見開き、しかめ顔をするときの口の動きの４種の顔表情の発生が計測され、異なる種類の顔表情の二つの組み合わせの発生頻度に対応して定義された覚醒度を、推定結果として出力する構成が提案されている。特許文献３〜５では、眠気が増加した際に、瞼の開閉運動が鈍くなるのではなく、意図的に瞬きを激しくしたり、目を見開いたり、或いは、瞬きをしないようして、返って、開閉運動が激しくなる被検者の場合にも、被検者の眠気の発生を従前よりも精度よく検知できるように、被検者の眠気の有無又は程度と相関を有する量である「瞼開閉特徴量」が、上下の閾値にて画定される被検者が眠気を感じていない状態に於ける値の範囲から、上側と下側とのいずれかに逸脱した場合に被検者が眠気を感じていると判定する眠気検知装置の構成が提案されている。非特許文献１に於いては、車両運転シミュレータにて運転操作をしている被検者の頭部から胸部の像をビデオ撮影し、そのビデオ映像に於ける被検者の表情を評定者に観察させて被検者の眠気の程度を数値として評定させることによって得られた被検者の眠気の程度を表す「眠気表情値」が、被検者の脳波、瞬目、心拍数等の客観的に計測される生理情報と相関を有しており、それらの生理情報を用いて眠気の程度を検知し或いは眠気発生の予測が可能であることが示唆されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１６７３９８
【特許文献２】特開２００７−２３６４８８
【特許文献３】特開２０１６−１４６９７８
【特許文献４】特開２０１６−２０２４１９
【特許文献５】特開２０１７−２０９２６２
【非特許文献】
【０００４】
【非特許文献１】日本機械学会論文集（Ｃ編）  ６３巻６１３号（１９９７−９）  論文  Ｎｏ．９６−１７８０  ３０５９−３０６６頁
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記の特許文献に記載されている如き被検者の瞼の開閉運動或いは瞬目運動から得られる特徴量を用いて被検者の眠気の有無又は程度を検知する眠気検知装置が自動車等の車両又は移動体（車両等）の運転中の運転者の眠気の検知のために利用される場合、車両等の走行状態によっては、眠気の検知精度が低下する場合があることが見出された。本発明の発明者等による研究によれば、車両等の運転中に於いて、例えば、カーブ路走行時又はレーン変更時に於ける操舵や車両の加減速操作などの運転操作が行われる際には、運転者が特定の地点を注視したり、緊張したりすることなどによって、運転者の瞼の開閉運動或いは瞬目運動が、通常の状態、即ち、定常的な走行中の状態から変化する場合があることが判明した。即ち、運転者の瞼の開閉運動若しくは瞬目運動の状態は、眠気の程度に関わらず、運転者の運転操作の変化に起因して変化することがあり、瞼の開閉運動若しくは瞬目運動又はそれらから得られる特徴量が眠気の発生のみにより起因して変化すると仮定して眠気の検知を行う構成に於いては、運転者が運転操作を実行することが、眠気の検知精度の低下の一つの要因となり得る。同様のことは、人の眠気の発生に相関のあるその他の生理状態、例えば、呼吸状態、心拍状態、脈拍状態、脳波など、を用いて、車両等の運転者の運転中の眠気の発生を検知する場合にも起き得る。従って、運転者の瞼の開閉運動或いは瞬目運動或いはその他の生理状態から得られる特徴量を用いた眠気発生を検知するための構成に於いて、運転者の運転操作も運転者の瞼の開閉運動或いは瞬目運動に影響することを考慮しておけば、眠気発生の検知精度を向上できることが期待される。
【０００６】
また、車両等の運転の安全性を担保するために、上記の如き運転者の眠気発生の検知する装置を用いようとする場合、運転者の眠気が実際に発生する前に、或いは、眠気の程度が実際に高くなる前に、事前に、そのことを予測でき、運転者又はその他の乗員に報知又は伝達できるようになっていることが好ましい。強い眠気の発生を、その発生前に予測できれば、そのような眠気の発生を予防したり、或いは、強い眠気が発生する前に、車両等を停止したり、パーキングエリアに進入するなどして車両等を走行路から安全に退避させることが可能となり、非常に有利である。従って、車両等の運転の安全性のためには、眠気検知のための装置は、車両等の運転者の実際の眠気の発生を検知する装置というよりは、車両等の運転者の、近い将来の、眠気の発生の可能性を検知できる装置、即ち、眠気発生を予測する装置であることが好ましい。
【０００７】
かくして、本発明の一つの課題は、車両等の運転中の運転者の瞼の開閉運動又はその他の生理状態から得られる指標値等を用いて運転者の眠気の発生を予測する装置であって、運転者の運転操作の実行によって運転者の瞼の開閉運動又はその他の生理状態が影響されることも考慮して、より精度よく、且つ、眠気の程度が実際に高くなる前に、眠気発生或いは眠気の程度が高くなることの予測が可能となる装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明によれば、上記の課題は、車両又は移動体の運転中の運転者（即ち、被検者）の眠気の発生を予測する装置（以下、「眠気発生予測装置」と称する。）であって、
前記運転者の生理状態を検出する手段と、
前記生理状態の時系列データから生理状態特徴量を逐次的に算出する手段と、
前記運転者の運転操作によって変化する車両又は移動体の運動状態を検出する手段と、
前記車両又は移動体の運動状態の時系列データから車両運動特徴量を逐次的に算出する手段と、
前記生理状態特徴量と前記車両運動特徴量とを用いて、前記運転者の眠気の発生を事前に予測する眠気発生予測手段にして、第一の時間幅の特徴量収集時間域に於ける前記生理状態特徴量と前記車両運動特徴量とにより決定される特徴量状態が、前記特徴量収集時間域の最終時点から第二の時間幅の余裕時間域の経過の後の第三の時間幅の予測時間域内にて前記運転者の眠気レベルが所定レベルに到達することとなる特徴量状態となったときに、前記特徴量収集時間域の最終時点から前記余裕時間域の経過後の前記予測時間域の内に前記運転者の眠気レベルが所定レベルに到達するとの眠気発生の予測をする手段と、
前記眠気発生予測手段による眠気発生の予測結果を出力する眠気発生予測結果出力手段と
を含み、
前記眠気発生予測手段が、教師付き学習データとして眠気レベルがラベル付けされた前記生理状態特徴量及び前記車両運動特徴量の予め調製された複数の時系列データを用いた機械学習により、前記第一の時間幅に於ける前記生理状態特徴量及び前記車両運動特徴量によって張られる特徴量空間内に於いて画定された、前記学習データのうちの第一の群に於ける前記眠気レベルが前記所定レベルに到達した時点よりも前記第二の時間幅だけ前の時点から前記第三の時間幅だけ遡った時間域内に於ける特徴量状態の分布域に、前記学習データのうちの第二の群に於ける特徴量状態が入った時点から、前記第二の時間幅の経過後の前記第三の時間幅の時間域内に、前記学習データのうちの第二の群に於ける前記眠気レベルが前記所定レベルに到達した時点が入るように調製されている装置によって達成される。
【０００９】
上記の構成に於いて、「運転者の生理状態」は、人の眠気の発生又は程度と相関を有する任意の生理状態、例えば、呼吸状態、心拍状態、脈拍状態、脳波など、であってよいところ、典型的には、運転者の「瞼の開閉状態」であってよい。従って、「運転者の生理状態を検出する手段」は、呼吸状態、心拍状態、脈拍状態、脳波等を逐次的に検出する手段であってよいところ、典型的には、瞼の開閉状態を逐次的に検出する手段、即ち、被検者（運転者）の瞼が開いているか閉じているかを逐次的に判定できる任意の装置であってよい。瞼の開閉状態を逐次的に検出する手段としては、より具体的には、カメラにより撮影された被検者の瞼の画像に基づいて瞼の開閉状態を判定する装置や被検者の眼電信号に基づいて瞼の開閉状態を判定する装置が採用される。生理状態の時系列データから算出される「生理状態特徴量」は、上記の逐次的に検出された生理状態に於いて、人の眠気の程度に応じて変化する任意の生理状態を表す状態量であってよい。検出される生理状態が「瞼の開閉状態」である場合には、「瞼の開状態と閉状態との間の遷移の時間間隔」（瞼の開閉状態を検出する手段によって時々刻々に（時系列に）得られた瞼が開いているか閉じているかの判定結果のデータに於いて、瞼が開状態から閉状態へ又は閉状態から開状態への遷移が生じた時点の間隔）等を用いて算出される任意の瞼開閉特徴量であってよい。どのような特徴量が、本発明の装置に於ける「生理状態特徴量」又は「瞼開閉特徴量」として利用可能であるかは、実験的に選択することが可能である。実施の形態に於いては、生理状態特徴量（瞼開閉特徴量）として、具体的には、次の三つの量の時系列データが有利に用いられる。
（１）演算単位時間に於ける閉眼時間（瞼が閉状態にある時間の長さ）の占める割合［閉眼の時間割合］、
（２）演算単位時間に於ける瞬き(瞼の開状態から閉状態への遷移)の発生した回数［瞬きの回数］、
（３）演算単位時間に於ける瞬き間隔、即ち、開眼時間（瞼が開状態にある時間の長さ）の分散［瞬き間隔の分散］
更に、「生理状態特徴量」としては、瞼開閉状態遷移時間間隔、呼吸状態、心拍状態、脈拍状態、脳波などの統計量（標準偏差値、分散、平均値、中央値など）なども利用可能である。
【００１０】
また、上記の構成に於いて、「車両又は移動体の運動状態」は、車両又は移動体の運転中の運転者の身体運動による運転操作に対応して変化する車両又は移動体の運動状態を表す値であってよく、具体的には、運転者の上半身（腕）の動きに対応するハンドル操作、運転者の下半身（足、脚）の動きに対応するアクセルペダル操作、ブレーキペダル操作などによって変化する車両又は移動体の運動状態を表す値であってよい。従って、運転者の運転操作によって変化する車両又は移動体の運動状態を検出する手段としては、操舵角センサ、アクセル開度（スロットル開度）センサ、車速センサ（車輪速センサ）などであってよく、検出される車両又は移動体の運動状態は、操舵角、アクセル開度、車速、加減速度などであってよい。車両又は移動体の運動状態の時系列データから逐次的に算出される車両運動特徴量としては、運転者の生理状態又は瞼の開閉状態に影響を及ぼす運転操作が反映される車両又は移動体の走行状態の変化を表す任意の状態量であってよい。どのような特徴量が、本発明の装置に於ける「車両運動特徴量」として利用可能であるかは、実験的に選択することが可能である。実施の形態に於いては、車両運動特徴量として、次の三つの量の時系列データが有利に用いられる。
（１）演算単位時間に於ける操舵角度の微分値の分散［ハンドル切り角(ゼロ位置からの変化量)変化の分散］
（２）演算単位時間に於けるアクセル開度の微分値の分散［アクセル踏み量変化の分散］（３）演算単位時間に於ける車速の微分値の分散［加速度の分散］
また、「車両運動特徴量」としては、各車両運動指標値から算出されるその他の量（標準偏差値、分散、平均値、中央値、微分値、積分値など）も利用可能である。
【００１１】
そして、上記の構成に於いて、「眠気発生予測手段」は、端的に述べれば、生理状態特徴量と車両運動特徴量とを用いて、現在の時点から任意に設定される時間の経過後に、車両又は移動体の運転者の眠気レベルが所定のレベルに達する可能性がある場合には、そのことを、事前に、即ち、眠気の程度が所定レベルに達する前に検知するよう構成される。換言すれば、眠気発生予測手段は、生理状態特徴量と車両運動特徴量を参照して、現在の時点から所定の時間の経過後に運転者の眠気レベルが所定のレベルに達する可能性があるかどうかを監視する。なお、「眠気レベル」とは、人の眠気の程度を表す指標値であり、人が全く眠気を感じていない状態から強い眠気を感じている状態までの度合を複数の段階（例えば、２段階乃至４段階）にて表現したものであり、被検者の表情の（評定者による）観察、被検者自身による主観的な評価、脳波計測などにより決定可能である（例えば、非特許文献１の「眠気表情値」参照）。「眠気レベル」に対する「所定のレベル」は、車両又は移動体の運転の安全性を考慮して、装置の設計者又は使用者により適宜設定可能である。
【００１２】
上記の眠気発生予測手段では、より具体的には、まず、第一の時間幅の特徴量収集時間域に於ける生理状態特徴量と車両運動特徴量とにより決定される特徴量状態（現在の状態）が参照される。ここで、「特徴量状態」は、車両又は移動体の運転中の運転者の「第一の時間幅」を有する「特徴量収集時間域」に於ける特徴量を算出した各時点の生理状態特徴量と車両運動特徴量とを変数とした特徴量ベクトルであり（即ち、特徴量ベクトルの次元数は、（特徴量収集時間域内の特徴量の算出時点の数）×（生理状態特徴量と車両運動特徴量の数）である。）、「第一の時間幅」は、少なくとも一つの特徴量算出時点を含む幅であり、後述の機械学習を通じて適切な値に決定される（第一の時間幅内の算出時点の数が１である場合もあり得る。その場合は、算出時点毎に各時点の生理状態特徴量と車両運動特徴量により特徴量ベクトルが定められることとなる。）。そして、現在の特徴量状態が、現在の時点から（つまり、その特徴量収集時間域の最終時点から）「第二の時間幅」を有する「余裕時間域」の経過の後の「第三の時間幅」を有する「予測時間域」内にて運転者の眠気レベルが所定レベルに到達すると予測される特徴量状態となったときに、「余裕時間域」の経過後から「予測時間域」の内に運転者の眠気レベルが所定レベルに到達する可能性があるという予測、即ち、眠気発生の予測、が為されることとなる。
【００１３】
上記の眠気発生予測手段の構成に於いて、「余裕時間域」の「第二の時間幅」は、眠気発生の予測が得られる時点（眠気発生の予測の報知が可能となる時点）と眠気発生が予測される将来の時間域の最初の時点との間の時間幅であり、眠気発生の予測を事前に運転者等に報知する場合に適当な時間的な余裕を考慮して適宜設定される。即ち、第二の時間幅が短過ぎると、運転者等に眠気発生の予測を報知してもそれに対処するための時間的な余裕（安全に車両等を停車できる場所（パーキングエリアなど）へ退避させるまでの時間的余裕、眠気を解消するための対策（飲料を飲む、ガムを噛む、音楽をかけるなど）を取るまでの時間的余裕など）が少なくなってしまい、事前に知らせる効果が低下することとなる。一方、第二の時間幅が長過ぎると、つまり、予測の報知が早過ぎると、予測に対する信頼性が低下したり、運転者が眠気発生に対する対策を取るには早過ぎてしまう場合がある。そこで、第二の時間幅は、設計者又は使用者により、眠気発生の予測される時点よりも前に眠気発生の予測を報知するのに適当な時間幅に設定される。また、「予測時間域」の「第三の時間幅」は、眠気発生が予測される（将来の）時間域の幅であり、本装置に於ける眠気発生の予測性能を考慮して適宜設定される。実施の形態に於いては、眠気発生の予測が得られる時点が、眠気発生が予測される時点の６０〜９００秒前となるように、即ち、第二の時間幅が６０秒程度に、第三の時間幅が８４０秒程度に設定されてよい。
【００１４】
上記のような眠気発生の予測を実行するための眠気発生予測手段は、既に述べた如く、予め調製された、眠気レベルがラベル付けされた生理状態特徴量及び車両運動特徴量の時系列データを教師付き学習データとして用いた機械学習を通じて構成される。
【００１５】
かかる機械学習では、まず、学習データのうちの第一の群のデータ（教師用データ）を用いて、第一の時間幅の生理状態特徴量と車両運動特徴量とによって張られる特徴量空間（特徴量ベクトルが分布する空間）内に於いて、眠気レベルが所定レベルに到達した時点（眠気発生時点）よりも第二の時間幅だけ前の時点から第三の時間幅だけ遡った時間域内に於ける特徴量状態が分布する領域（識別領域）を、その識別領域の境界面を決定するための関数（識別関数）を用いて画定する処理が実行される。なお、識別領域を決定する手法は、例えば、サポートベクトルマシン法、ｋ−ＮＮ法など、特徴量空間に於いて、特定の特徴量の群の分布域を識別領域として画定できる任意の手法が用いられてよい。次いで、学習データのうちの第二の群のデータ（検証用データ）に於ける特徴量状態が上記の識別領域内に入ったときの時点（眠気予測時点）が、眠気発生時点よりも第二の時間幅だけ前の時点から第三の時間幅だけ遡った時間域内となっているか否か、換言すれば、そのデータに於ける眠気発生時点が、眠気予測時点から第二の時間幅の経過後から第三の時間幅が経過する前までに入るか否かを検査する処理が実行される。そして、第一の時間幅と識別関数の特性を決定する内部パラメータとを変更しながら、教師用データを用いて画定された識別領域内へ検証用データから得られる特徴量状態が入る眠気予測時点を決定する演算が繰り返し実行され、眠気予測時点から第二の時間幅の経過後の第三の時間幅の時間域内に眠気発生時点が入るデータ数（換言すると、眠気予測時点が眠気発生時点よりも第二の時間幅だけ前の時点から第三の時間幅だけ遡った時点までの範囲に入るデータ数）をできるだけ多くする第一の時間幅と識別関数の内部パラメータが探索され、確定され、識別関数が生成される。
【００１６】
上記の如く確定された第一の時間幅と識別関数の内部パラメータは、要すれば、或る時点の第二の時間幅の経過後から第三の時間幅の時間域内に於いて眠気レベルが所定レベルに到達する可能性が高いときには、その時点の（確定された第一の時間幅を用いて決定された）特徴量状態が、特徴量空間内の（確定された内部パラメータを用いて決定された）識別関数により画定される識別領域に入るように、特徴量状態と識別関数とを決定するパラメータとなっている。即ち、上記の如く確定された第一の時間幅を用いて決定された現在の時点の特徴量状態が、上記の如く確定された内部パラメータを用いて決定された識別関数により画定される識別領域に入ったときには、現在の時点から第二の時間幅（余裕時間域）の経過後、第三の時間幅の時間域（予測時間域）内に於いて眠気レベルが所定レベルに到達する可能性が高いと判別できることとなる。かくして、上記の如く確定された第一の時間幅と識別関数の内部パラメータが、それぞれ、現在の特徴量状態の決定と、識別領域（特徴量収集時間域の最終時点から第二の時間幅の余裕時間域の経過の後の第三の時間幅の予測時間域内にて運転者の眠気レベルが所定レベルに到達することとなる特徴量状態の分布域）を画定する識別関数の生成とに使用されることとなる。
【００１７】
上記の第一の時間幅と識別関数の内部パラメータの探索に於いて、利用可能な第一の時間幅と識別関数の内部パラメータが複数組見つかる場合、眠気発生の予測の報知は、（上記の条件を満たす範囲で）できるだけ早期に行える方が有利であるので、眠気予測時点と眠気発生時点との時間幅ができるだけ長くなる第一の時間幅と識別関数の内部パラメータの組が眠気発生予測手段に於いて使用される組として採用されてよい。
【００１８】
上記の本発明の装置に於いて、眠気発生予測手段が上記の如く眠気の発生を予測したときには、その結果が眠気発生予測結果出力手段により出力され、車両又は移動体の運転者及び／又はその他の乗員に報知されるようになっていてよい。予測結果の出力は、音声、機械的振動、光刺激などによって為されてよい。また、予測結果は、検出された運転者の生理状態及び／又は車両又は移動体の運動状態、或いは、算出された生理状態特徴量及び／又は車両運動特徴量の時系列データと共に記録され、種々の用途に利用できるようになっていてよい。
【００１９】
上記の如く、本発明の装置に於いては、運転者の生理状態から得られる生理状態特徴量だけでなく、運転者の運転操作によって変化する車両等の運動状態から得られる車両運動特徴量をも変数として用いて、眠気発生の予測を行うように構成される。従って、車両又は移動体の走行環境の変化に応じて運転者の運転操作に変化があった場合には、そのことが車両運動特徴量を通じて、眠気発生の予測処理に於いて反映されることとなるので、運転者の生理状態に於いて車両又は移動体の運転操作に起因する変化があり、その影響が生理状態特徴量に含まれていても、精度良く、眠気発生の可能性の有無が判定できるようになることが期待される。また、本発明の装置に於いては、眠気発生予測手段の眠気発生を予測する構成が機械学習により調製されるようになっているので、適時、学習を繰り返すことによって、眠気発生の予測精度を向上することも可能であり、例えば、運転者の年齢、運転経験期間等に応じて学習データを準備して、眠気発生予測の機械学習を実行し、運転者の条件により適合した眠気発生の予測ができるようになっていてもよい。
【００２０】
また更に、特記されるべきことは、本発明の装置に於いては、有意な或いは強い眠気が発生する前に、即ち、眠気レベルが所定レベルへ到達する前に、眠気レベルが所定レベルに向かって増大する兆候を、生理状態特徴量と車両運動特徴量とを参照して、捉え、十分な時間的な余裕をもって、眠気発生の可能性があることを運転者や乗員に報知又は伝達できるよう構成される。従って、車両又は移動体の運転中に運転者の眠気が強くなる前に、車両等を走行路から退避させるなどの対処が可能となるので、車両等の運転の安全性の向上が期待される。
【００２１】
上記の本発明の装置の眠気発生予測手段に於いて、実際に眠気発生が予測される場合でなくても、一時的に又は過渡的に特徴量状態が運転者の眠気レベルが所定レベルに到達することとなる状態に入ることも起き得る。そこで、特徴量状態が所定の時間に亙って眠気レベルが所定レベルに到達することとなる状態となってから、或いは、特徴量状態が所定の時間に亙って眠気レベルが所定レベルに到達することとなる状態に入った回数が所定の回数を超えてから、眠気が発生するとの予測が為されるようになっていてもよい。
【発明の効果】
【００２２】
かくして、上記の本発明の構成によれば、車両等の運転中の運転者の瞼の開閉運動又はその他の生理状態から得られる指標値等を用いて運転者の眠気の発生を予測する装置に於いて、運転者の生理状態から得られる生理状態特徴量と共に車両又は移動体の運動状態から得られる車両運動特徴量を用いて、眠気の発生の監視が行われることとなる。これにより、本発明の装置では、車両等の運転者の瞼の開閉運動又はその他の生理状態に於ける運転操作の変化の影響による眠気発生の誤検出或いは見落としが排除され、より精度の良い眠気発生の検出或いは監視が可能となることが期待される。また、本発明の装置は、眠気発生予測手段にて機械学習を通じて生理状態特徴量と車両運動特徴量とから運転者の運転操作を考慮した上での生理状態に於ける眠気が発生する兆候を事前に捉え、報知できるよう構成されていることになるので、車両等の運転者は、実際に強い眠気を感じる前にしかるべき対処又は運転行動を取ることが可能となり、車両等の運転安全性を更に高められることが期待される。
【００２３】
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。
【図面の簡単な説明】
【００２４】
【図１】図１（Ａ）は、本実施形態の眠気発生予測装置の構成を模式的に表した図である。図１（Ｂ）は、本発明の眠気発生予測装置の作動をフローチャートの形式で表した図である。
【図２】図２（Ａ）は、本実施形態の眠気発生予測装置に於いて、カメラ画像を用いて目と瞼の画像を撮影する場合の被検者の顔面の模式図である。図２（Ｂ）は、瞼の画像から得られる瞼の開度の時間変化の例と、瞼の開度を二値化して得られる瞼開閉状態指標値の時間変化の例を示している。図２（Ｃ）は、本実施形態の眠気発生予測装置に於いて眼電信号により瞼の開度を検出する場合に被検者の顔面に取り付けられる電極の配置を模式的に示している。図２（Ｄ）は、計測値（開眼時間又は閉眼時間）から特徴量（瞼開閉特徴量）を算出する手法を説明する図である。
【図３】図３（Ａ）、（Ｂ）は、それぞれ、瞼開閉状態指標値の時系列データに於いて計測される開眼時間と閉眼時間の時系列データの例である。
【図４】図４（Ａ）〜（Ｃ）は、本実施形態の眠気発生予測装置に於いて生理状態特徴量として好適に用いられる閉眼時間の割合、瞬き回数、瞬き間隔の分散の時系列データの例である。
【図５】図５（Ａ）〜（Ｃ）は、本実施形態の眠気発生予測装置に於いて車両又は移動体の運動状態として参照される操舵角、スロットル開度（アクセル開度）、車速の時系列データの例である。
【図６】図６（Ａ）〜（Ｃ）は、本実施形態の眠気発生予測装置に於いて車両運動特徴量として好適に用いられるハンドル切り角の分散、アクセル踏込量変化の分散、加速度の分散の時系列データの例である。
【図７】図７は、眠気レベルの時間変化を模式的に表した図であり、本実施形態の眠気発生予測装置に於いて眠気発生予測が出される時点Ｔと眠気が発生すると予測される時点（眠気レベルが所定レベルＡに達すると予想される時点）Ｓとの関係を説明している。
【図８】図８は、本実施形態の眠気発生予測装置の眠気発生予測処理部に於ける眠気発生予測処理に使用するための識別器のパラメータ群及び識別関数の学習を行う過程をフローチャートの形式で表した図である。
【図９】図９（Ａ）は、本実施形態の眠気発生予測装置に於ける眠気発生予測手段の機械学習に使用される教師付き学習データの群を模式的に表した図である。図９（Ｂ）は、生理状態特徴量と車両運動特徴量から特徴量ベクトルを調製する処理を説明する図である。図９（Ｃ）は、時間軸上に於ける特徴量ベクトルの算出時点と眠気発生時点との関係を説明する図である。図９（Ｄ）は、特徴量空間に於ける教師用データの特徴量ベクトルの分布状況を模式的に表した図であり、図９（Ｃ）の時間域Ｌに於ける特徴量ベクトルの分布域である識別領域Γを画定する識別関数を説明している。
【図１０】図１０（Ａ）は、図９（Ｄ）の特徴量空間に於ける検証用データの特徴量ベクトルが時系列の経路を模式的に表した図であり、識別領域Γに特徴量ベクトルが入った時点である眠気予測時点Ｔｉを説明している。図１０（Ｂ）〜（Ｅ）は、時間軸上に於ける検証用データに於ける眠気発生時点Ｓと眠気予測時点Ｔｉとの関係の例を示している。（Ｂ）は、眠気予測時点Ｔｉから時間域Ｋの経過後の時間域Ｌに眠気発生時点Ｓが入った場合であり、（Ｃ）及び（Ｄ）は、眠気予測時点Ｔｉからから時間域Ｋの経過後の時間域Ｌに眠気発生時点Ｓが入らなかった場合であり、（Ｅ）は、眠気予測時点Ｔｉが眠気発生時点Ｓより前に出現しなかった場合である。
【符号の説明】
【００２５】
１…被検者
２…被検者の目
３…カメラ
４…信号処理装置
【発明を実施するための最良の形態】
【００２６】
以下に添付の図を参照しつつ、本発明を幾つかの好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。
【００２７】
装置の構成
本実施形態の眠気発生予測装置に於いては、人の眠気の程度に相関のある任意の生理状態が計測され、眠気の発生の予測のために用いられるところ、以下の実施形態に於いては、かかる「生理状態」として「瞼の開閉状態」を用い、生理状態特徴量として「瞼開閉特徴量」を用いて、眠気の発生の予測を行う例について説明される。当業者に於いて、「瞼の開閉状態」以外の生理状態、例えば、呼吸状態、心拍状態、脈拍状態、脳波などを用いて眠気の発生の予測を行う場合も、生理状態の計測方法、生理状態特徴量の算出方法を適宜選択して、同様に本発明の特徴的な構成が適用でき、本発明の範囲に属することは理解されるべきである。
【００２８】
端的に述べれば、本実施形態による眠気発生予測装置は、車両又は移動体（車両等）の運転者（被検者）の眠気の発生を予測するべく、車両等に搭載される装置であり、生理状態特徴量として瞼開閉特徴量を用いる場合には、特許文献１、３〜５に記載の装置と同様に、運転者の瞼の開閉運動を計測し、その計測された瞼の開閉運動の時系列データから被検者の眠気に相関のある瞼開閉特徴量を抽出すると共に、運転者の運転操作が反映されている車両等の運動状態を計測し、その計測された車両等の運動状態の時系列データから被検者の瞼開閉特徴量に相関のある車両運動特徴量を抽出し、瞼開閉特徴量と車両運動特徴量とから決定される特徴量状態が、現在の時点から任意に設定される余裕時間域の経過後の予測時間域内に運転者の眠気レベルが所定のレベルに達すると予測される特徴量状態となったときには、余裕時間域の経過後の予測時間域内に眠気が発生すると事前に予測する装置である。
【００２９】
図１（Ａ）を参照して、本実施形態の眠気発生予測装置の基本的な構成に於いては、まず、被検者である運転者１の目及び瞼２が、カメラ３などの撮像装置の視野に含まれるように、撮像装置が配置され、撮像装置で得られた画像信号が、信号処理装置４の画像処理部に取り込まれる。なお、後述の如く、運転者１の目及び瞼２の開閉運動は、眼電信号によって検出されてもよく、その場合には、運転者の顔面に貼られた電極からの信号が信号処理装置４へ与えられる。そして、画像処理部が撮像装置から送られてきた画像信号から運転者の目及び瞼２の像を含む画像を構成し、瞼データ処理部が、後に説明されるように、運転者の目及び瞼２の画像を用いて、瞼の開閉状態の検出と瞼開閉特徴量の算出を実行する。また、本実施形態の装置に於いては、上記の如く、運転者の運転操作により変化する車両運動特徴量が眠気発生予測に用いられるので、運転者の運転操作が反映される車両等の運動状態を表す量として、操舵角センサにより検出される操舵角δ、アクセル開度センサ（アクセルペダルセンサ）により検出されるアクセル開度、アクセルペダル踏込量若しくはスロットル開度θａ、車速センサ又は車輪速センサにより検出される車速Ｖ又は加速度センサにより検出される加速度ａなどのデータが信号処理装置４に設けられた車両データ処理部に入力され、車両データ処理部は、時系列に入力されたデータから後に詳細に説明される車両運動特徴量を算出する。かくして算出された瞼開閉特徴量と車両運動特徴量とは、眠気発生予測処理部へ与えられ、眠気発生予測処理部は、瞼開閉特徴量と車両運動特徴量とを参照し、後に説明される機械学習によって決定されてデータメモリに記憶された識別用パラメータを用いて、所定の時間（余裕時間域）の経過後の所定の時間域（予測時間域）内に運転者に眠気が発生するか否かを監視する。そして、眠気発生予測処理部に於いて、運転者に眠気が発生することが予測されると、その結果が、結果出力部へ送信され、例えば、スピーカ５による音声（ブザー、警告音など）や、運転者に機械的な刺激を与える振動器、光刺激を与える光源（警告灯、ディスプレイなど）などを通じて、眠気発生の予測が為されたことが運転者又は乗員に報知又は伝達される。画像処理部、瞼データ処理部、車両データ処理部、眠気発生処理部、結果出力部、データメモリ等を含む信号処理装置４は、典型的には、コンピュータ装置であってよく、通常の態様にて、図示していない双方向コモン・バスにより相互に連結されたＣＰＵ、記憶装置、入出力装置（Ｉ／Ｏ）が装備され、装置の各部の作動は、ＣＰＵに於いてプログラムを実行することにより達成されることとなる。
【００３０】
装置の作動の概要
図１（Ｂ）を参照して、本実施形態の装置による眠気発生予測処理に於いては、車両の運転中、プログラムに従って、まず、被検者（運転者）の瞼の開閉状態を表す指標値の取得が逐次的に実行され（ステップ１）、その指標値の時系列データから眠気の程度に相関のある「瞼開閉特徴量」の算出が逐次的に実行される（ステップ２）。また、これと同時に、運転者の運転操作に関わる車両等の運動状態を表す指標値の取得が逐次的に実行され（ステップ３）、その指標値の時系列データから運転者の瞼の運動に相関のある「車両運動特徴量」の算出が逐次的に実行される（ステップ４）。しかる後、瞼開閉特徴量と車両運動特徴量とで構成される特徴量ベクトルが、特徴量空間内に於いて後述の機械学習を通じて画定された識別領域内に在るか否かが判定され（ステップ５）、特徴量ベクトルが識別領域内に入ったときには、所定の余裕時間域の経過後の予測時間域内に、眠気レベルが所定のレベルに到達する、即ち、眠気が発生する、との予測判定が為され（ステップ６）、結果出力部による眠気発生の予測の報知又は伝達が実行される（ステップ７）。以下、上記の一連の処理の各々について、詳細に説明する。下記に於いて、「被検者」とは、特に断らない限り、車両等の運転者である。
【００３１】
瞼開閉状態指標値の取得（ステップ１）
本実施形態の装置に於ける被検者の瞼の開閉状態を表す指標値（瞼開閉状態指標値）の取得に於いては、一つの態様として、既に触れた如く、カメラ等の撮像装置によって逐次的に撮影された被検者の目と瞼の画像に於いて瞼の開閉運動が検出され、その瞼の開閉運動の検出データから瞼が開いている状態と閉じている状態とを表す時系列データが調製される。その場合、まず、カメラの等の撮像装置は、図２（Ａ）に模式的に描かれている如く、その視野が被検者の目及び瞼を含むように任意の場所に設置されてよい。具体的なカメラの等の撮像装置の設置位置は、例えば、被検者として車両の運転者の眠気を判定する場合には、車両のダッシュボードの上、ハンドル、天井等の被検者の目及び瞼を撮影できる部位であれば、任意の場所であってよい。また、カメラの等の撮像装置は、被検者のメガネ、帽子等の装着物に取り付けられてもよい。そして、カメラの等の撮像装置は、逐次的に被検者の目と瞼を撮像し、その画像信号から目と瞼の画像が逐次的に構成される。
【００３２】
被検者の目及び瞼の逐次的な画像又は連続画像が得られると、その画像に於いて上瞼と下瞼の位置が逐次検出され、それらの距離が計測されて、図２（Ｂ）上段に描かれている如き、瞼開度（上瞼と下瞼の距離）の時系列データが調製される。画像に於ける上瞼と下瞼の位置の検出は、上下瞼像や眼球の像の輝度や色相の特徴に基づき任意の画像処理方法によって達成されてよい。そして、得られた瞼開度の時系列データは、瞼開度の最大値と最小値との間に於いて瞼の開状態と閉状態との境界に設定される閾値を上回っているか否かを判定することにより、開状態と閉状態とに二値化され、図２（Ｂ）下段に描かれている如き瞼が開いているか閉じているかを表す指標値である瞼開閉状態指標値の時系列データが調製される。
【００３３】
上記の瞼開度は、任意の態様で計測されてよく、そのような場合も本発明の範囲に属することは理解されるべきである。別の態様として、例えば、既に触れた如く、瞼開度は、被検者の眼電信号（瞬きにともなう眼球の回転による電圧変化）の高低によっても計測可能である。その場合、図２（Ｃ）に模式的に描かれている如く、例えば、被検者の目の上下などの複数の領域のそれぞれに電極が貼付され、その電極間の電圧が信号（眼電信号）として計測され、信号処理装置へ送信される。また、電極は、メガネ、ゴーグル、ヘルメット等の頭部装着物に取り付けたり、タトゥーなどの肌に張り付ける装飾品に内蔵されてもよい。眼電信号の場合も、瞼の運動に対して、図２（Ｂ）と同様の時系列データが得られるので、そのデータを二値化することにより、瞼開閉状態指標値の時系列データが調製される。
【００３４】
そして、本実施形態の装置の処理では、瞼開閉状態指標値の時系列データから更に瞼開閉状態に関わる統計的な量の演算処理を実行して瞼開閉特徴量を算出するので、瞼開閉状態指標値の時系列データは、信号処理装置４内のデータメモリに記憶される。
【００３５】
瞼開閉特徴量の算出（ステップ２）
瞼開閉状態指標値の時系列データが得られると、その瞼開閉状態指標値の時系列データから、被験者の眠気の程度に相関のある量である「瞼開閉特徴量」が抽出される。如何なる量が「瞼開閉特徴量」として利用できるかは、実験等により見出すことが可能である。本実施形態の一つの態様に於いては、「瞼開閉特徴量」は、瞼開閉状態指標値の時系列データに於いて瞼開閉状態の遷移時間間隔を、所定の期間に亘って逐次的に計測し、その計測された遷移時間間隔の統計的演算処理によって算出されてよい。以下、「瞼開閉特徴量」の算出処理過程の例を説明する。
【００３６】
（ｉ）瞼開閉状態の遷移時間間隔の計測
瞼開閉特徴量の算出処理過程に於いては、まず、データメモリに記憶された瞼開閉状態指標値の時系列データ上に於いて、瞼の開状態と閉状態との間の遷移の時間間隔が計測される。瞼の開状態と閉状態との間の遷移の時間間隔（以下、「瞼開閉状態遷移時間間隔」と称する。）とは、「発明の概要」の欄にて述べた如く、瞼が開状態から閉状態へ又は閉状態から開状態への遷移が生じた時点の間隔であり、具体的には、例えば、（１）開眼時間（瞼が継続して開いている時間の長さ）、即ち、瞼の閉状態から開状態への遷移から瞼の開状態から閉状態への遷移までの時間間隔（図２（Ｂ）下段、ｔｏ）、（２）閉眼時間（瞼が継続して閉じている時間の長さ）、即ち、瞼の開状態から閉状態への遷移から瞼の閉状態から開状態への遷移までの時間間隔（図２（Ｂ）下段、ｔｃ）などであってよい。これらの瞼開閉状態遷移時間間隔は、各時間間隔の後の遷移時点にて時間値が付与され、時系列データとして構成される。図３（Ａ）、（Ｂ）は、それぞれ、目と瞼の画像から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間と閉眼時間の時系列データの例を示している。
【００３７】
（ii）瞼開閉特徴量の算出
上記の如く、瞼開閉状態遷移時間間隔が計測されると、現在時点又は判定時点から時間軸に於いて遡った任意に設定される単位時間（演算単位時間）内の瞼開閉状態遷移時間間隔のデータを用いて、生理状態特徴量として瞼開閉特徴量が算出される。瞼開閉特徴量は、図２（Ｄ）に描かれている如く、典型的には、瞼開閉状態指標値の計測時点毎に、即ち、計測単位時間置きに演算単位時間内に含まれる瞼開閉状態遷移時間間隔の値を用いて算出され、瞼開閉特徴量の時系列のデータが調製されるようになっていてよい（即ち、この場合、図示の如く、一つの瞼開閉特徴量の演算に使用される演算単位時間が計測単位時間ずつ時々刻々に偏移していくこととなる。）。なお、瞼開閉特徴量は、演算単位時間毎に算出するようになっていてもよい（その場合には、演算単位時間は重複されない。）。
【００３８】
瞼開閉特徴量としては、具体的には、下記の量が有利に用いられることが分っている。
（１）演算単位時間に於ける閉眼時間ｔｃの占める割合［閉眼の時間割合］（図４（Ａ））、
（２）演算単位時間に於ける瞬きの発生した回数（ｔｃの発生回数）［瞬きの回数］（図４（Ｂ））、
（３）演算単位時間に於ける瞬き間隔、即ち、開眼時間ｔｏの分散［瞬き間隔の分散］（図４（Ｃ））
ここで、演算単位時間は、例えば、１分など、適合により任意に設定されてよい（計測単位時間は、例えば、ビデオ画像の１コマの長さ（例：３３ｍ秒）〜数秒など、適合により任意に設定されてよい。）。また、瞼開閉特徴量としては、閉眼時間、その標準偏差値、その分散、開眼時間、その標準偏差値、その分散など、その他の瞼開閉状態遷移時間間隔の統計量（標準偏差値、分散、平均値、中央値など）であってもよい。
【００３９】
車両運動指標値の取得（ステップ３）
既に述べた如く、本実施形態の装置では、瞼開閉状態の計測と同時に、車両等の運転中に、運転者の運転操作に起因する車両等の運動状態を表す指標値（車両運動指標値）も計測される。この点に関し、運転者による運転行動は主に上半身(腕)と下半身(脚)で行うので、好適には、腕で行う操作と脚で行う操作とが、各々、少なくとも１種類、計測される。例えば、腕で行う操作についてはハンドル操作に伴う操舵角度を、脚で行う操作についてはアクセル操作に伴うアクセル開度又はスロットル開度がそれぞれ計測されてよい。また、車両運動は「走る、曲がる、止まる」の３種類に分類できるところ、各々の物理量間には相関があるので、好適には、上記３種に関するいずれか１種類のデータ、例えば、車速が計測されてよい。かくして、車両運動指標値としては、例えば、操舵角データ（図５（Ａ））、スロットル開度（又はアクセル開度）データ（図５（Ｂ））、車速データ（図５（Ｃ））などであってよい。また、車両運動指標値としては、加速度、操舵角速度、ヨーレート、横加速度など、運転者による運転行動に応じて変化する車両等の運動状態を表す値が選択されてもよい。
【００４０】
かくして、取得された車両運動指標値の時系列データは、次に述べる如く、統計的な演算処理により車両運動特徴量を算出するために使用するので、瞼開閉状態指標値の時系列データと同様に、信号処理装置４内のデータメモリに記憶される。
【００４１】
車両運動特徴量の算出（ステップ４）
上記の如く車両運動指標値の時系列データが得られると、それらのデータから、被験者の瞼開閉状態に相関のある量である「車両運動特徴量」が算出される。如何なる量が「車両運動特徴量」として利用できるかは、実験等により見出すことが可能である。具体的に、車両運動特徴量として利用される量は、例えば、下記の如き量であってよい。
（１）演算単位時間に於ける操舵角速度の分散［ハンドル切り角(ゼロ位置からの変化量)の変化の分散］（図６（Ａ））
（２）演算単位時間に於けるアクセル開度の時間微分値の分散［アクセル踏み量変化の分散］（図６（Ｂ））
（３）演算単位時間に於ける車速の時間微分値の分散［加速度の分散］（図６（Ｃ））
なお、瞼開閉特徴量の場合と同様に、図２（Ｄ）に描かれている如く、典型的には、車両運動特徴量は、車両運動指標値の計測時点毎に、即ち、計測単位時間置きに演算単位時間内に含まれる車両運動指標値を用いて算出され、時系列のデータとして調製されるようになっていてよい（即ち、この場合、図示の如く、一つの特徴量の演算に使用される演算単位時間が計測単位時間ずつ時々刻々に偏移していくこととなる。）。なお、車両運動特徴量も、演算単位時間毎に算出するようになっていてもよい（その場合には、演算単位時間は重複されない。）。演算単位時間は、例えば、１分など、適合により任意に設定されてよい（計測単位時間は、例えば、瞼開閉特徴量に合わせて、ビデオ画像の１コマの長さ（例：３３ｍ秒）〜数秒など、適合により任意に設定されてよい。）。また、車両運動特徴量としては、各車両運動指標値から算出されるその他の量、例えば、アクセル開度、その微分値、その２階微分値、その３階微分値、ハンドル角度、その角速度、その角加速度、車速、加速度、ヨーレート、ヨー加速度、走行レーン内での自車位置、その微分値など、であってもよい。
【００４２】
眠気発生予測処理（ステップ５、６）
上記の如く瞼開閉特徴量と車両運動特徴量とが算出されると、それらの特徴量を用いて、運転者の眠気発生を予測する処理が実行される。かかる眠気発生の予測に関して、図７を参照して、一般に、人間に強い眠気が発生するときには、眠気の程度は、眠気の強さを表す眠気レベルで表すと、図示の如く、全く眠気を感じていない状態であるレベル０から時間の経過と共に徐々に増大し（図示されているレベルの増大の態様は、説明のための例示であって、必ずしも図示の例と同様となるとは限らない。）、或る時点Ｓに於いて、或る強いレベル（Ａ）に達する。そこで、本実施形態に於いては、運転者の眠気が所定のレベル（Ａ）に到達する時点Ｓよりも或る程度前の時点（Ｔ）以前の時間域（Ｆ）に於ける瞼開閉特徴量と車両運動特徴量と参照して眠気レベルが所定のレベル（Ａ）まで増大する兆候を捉え、眠気が所定のレベル（Ａ）に到達すると予測される眠気発生時点Ｓよりも前の時点（予測時点）Ｔにて、将来時点で眠気が発生する（眠気が所定のレベル（Ａ）に到達する）という予測をすることが試みられる。この点に関し、或る時点（現在の時点）に於いて、そこから残余時間Ｇが経過した将来の時点Ｓに眠気が発生すると予測すること、即ち、眠気発生時点Ｓから残余時間Ｇだけ前の時点Ｔに於いて、その眠気発生時点Ｓを、ピンポイントに特定することは、やや困難である。そこで、本実施形態の装置に於いて、眠気発生予測処理では、所定の時間幅Ｆ（第一の時間幅）の時間域（特徴量収集時間域）に於ける瞼開閉特徴量と車両運動特徴量とを時々刻々に参照し、その特徴量収集時間域内の瞼開閉特徴量と車両運動特徴量とで決定される状態（特徴量状態。状態は複数の数値にて表されるベクトルである。）が、その時点（特徴量収集時間域の終点）から余裕時間域Ｋ（第二の時間幅）の経過後の予測時間域Ｌ（第三の時間幅）の間に、眠気が所定のレベルＡに到達することとなる状態となっているときに、余裕時間域Ｋの経過後の予測時間域Ｌ内に眠気が発生するとの予測をする処理が実行される。
【００４３】
上記の余裕時間域の時間幅Ｋと予測時間域の時間幅Ｌは、装置の設計者又は使用者により、適宜設定されてよい。余裕時間域の時間幅Ｋは、眠気発生の予測を運転者等に報知する場合に、眠気が実際に発生すると予測される時点までの時間的な余裕を考慮して決定されるべきである。時間幅Ｋが短過ぎると、運転者に眠気発生の予測を報知してもそれに対処するための時間的な余裕（安全に車両又は移動体を停車できる場所（パーキングエリアなど）へ退避させるまで、眠気を解消するための対策（飲料を飲む、ガムを噛む、音楽をかけるなど）を取るまでなどの時間的余裕）が少なくなってしまい、事前に知らせる効果が低下することとなる。一方、時間幅Ｋが長過ぎると、予測に対する信頼性が低下したり、運転者が眠気発生に対する対策を促すには早過ぎてしまうこととなる。一方、予測時間域の時間幅Ｌは、装置の眠気発生の予測性能を考慮して適宜設定される。時間幅Ｌが短過ぎると、相対的に予測精度が低下することとなり、運転者による予測の信頼度が低下することとなり、時間幅Ｌが長過ぎても、眠気発生予測範囲が広過ぎるために、運転者による予測に対する期待又は信頼が低下することとなり得る。実施の形態に於いては、眠気発生の予測時点Ｔ、即ち、予測が得られる時点、が、眠気発生時点Ｓ、即ち、眠気が発生すると予測される将来の時点、の６０〜９００秒前となるように、時間幅Ｋが６０秒程度に、時間幅Ｌが８４０秒程度に設定されてよい。
【００４４】
上記の態様にて眠気発生予測処理を実行するために、本実施形態に於いては、後により詳細に説明される如く、機械学習を通じて、特徴量状態を決定する際に瞼開閉特徴量と車両運動特徴量とを参照する特徴量収集時間域の時間幅Ｆと、眠気レベルが或る時点（予測時点）Ｔから余裕時間域Ｋの経過後の予測時間域Ｌの間に所定のレベルＡに到達することとなると予測されるときに、その予測時点Ｔの特徴量状態の取るべき範囲（識別領域）を画定する識別関数とが、予め決定される。そして、眠気発生予測処理に於いては、瞼開閉特徴量と車両運動特徴量が、ステップ２、４にて、それぞれ算出されると、それらの特徴量から決定される特徴量状態（特徴量ベクトル）が識別領域内に入っているか否かが判定され（ステップ５）、特徴量状態が識別領域内に入っていたときには、余裕時間域Ｋの経過後から予測時間域Ｌの間に眠気が発生するとの予測判定が為される（ステップ６）。なお、上記の判定に於いて、特徴量状態の識別領域内への進入が過渡的若しくは一時的である場合或いは演算誤差による場合もあるので、特徴量状態の識別領域内への進入が所定のサイクルに亙ったとき（進入回数ｎが所定の回数Ｎｔを超えたとき）、或いは、特徴量状態の識別領域内への進入した期間Ｔが所定の期間ΔＴｔを超えたときに、（その時点又は最初に特徴量状態の識別領域内への進入があった時点から）余裕時間域Ｋの経過後の予測時間域Ｌの間に眠気が発生するとの予測判定が為されるようになっていてもよい（ステップ６）。
【００４５】
眠気発生予測報知処理（ステップ７）
眠気発生予測処理部に於ける処理により、眠気発生の予測判定が為されると、その予測結果が結果出力部から車両等の運転者及び／又はその他の乗員に伝達又は報知される。既に述べた如く、具体的には、予測結果は、スピーカ５による音声（ブザー、警告音など）、運転者に機械的な刺激を与える振動器（バイブレータなど）、光刺激を与える光源（警告灯、ディスプレイなど）などを通じて乗員に伝達又は報知されてよい。なお、予測結果は、検出された運転者の生理状態及び／又は車両又は移動体の運動状態、或いは、算出された生理状態特徴量及び／又は車両運動特徴量の時系列データと共に任意のデータ記憶媒体に記録され、種々の用途に利用できるようになっていてよい。
【００４６】
眠気発生予測処理部の機械学習による調製
既に述べた如く、本実施形態の装置に於いて、眠気発生予測処理部の眠気発生予測処理にて使用する特徴量の収集時間域の時間幅Ｆ及び特徴量空間内に於ける識別領域を画定する識別関数Ψは、機械学習によって決定され、その決定された特徴量収集時間域の時間幅Ｆと識別関数Ψとを用いて、時々刻々に算出される特徴量が成す特徴量状態が識別領域内に在るかないかの識別を行う「識別器」として眠気発生予測処理部が調製される。図８を参照して、識別器の調製のための機械学習は、下記の如く実行されてよい。
【００４７】
教師付き学習データの調製（ステップ１０）
識別器に於いて設定されるパラメータ（特徴量収集時間域の時間幅Ｆ、識別関数Ψを決定するパラメータ）を決定する機械学習に於いては、まず、少なくとも二つの、好ましくは、多数の教師付き学習データが調製される（図９（Ａ））。学習データの調製に於いては、初めに、図１（Ｂ）に関連して既に説明されているのと同様に、車両等の運転中に於ける運転者の瞼開閉状態及び車両運動状態の計測（瞼開閉状態指標値及び車両運動指標値の取得）、瞼開閉特徴量及び車両運動特徴量の時系列データの作成が行われる。そして、瞼開閉特徴量及び車両運動特徴量（又は瞼開閉状態指標値及び車両運動指標値）の時系列データに対して、かかる時系列データの取得時の運転者の眠気レベルのラベル付けが行われる。ここで、「眠気レベル」とは、既に説明されている如く、人が全く眠気を感じていない状態から強い眠気を感じている状態までの度合を複数の段階にて表現した人の眠気の程度を表す指標値であり、被検者の表情の（評定者による）観察、被検者自身による主観的な評価、脳波計測などにより決定可能である。学習データに於ける眠気レベルのラベル付けは、具体的には、上記の方法のいずれかの手法、例えば、運転中の運転者の表情を撮影したビデオ映像を評定者が観察して、瞼開閉特徴量及び車両運動特徴量の時系列データに於ける各時点に於けるビデオ映像内の運転者の眠気レベルを判定するといった手法（非特許文献１参照）で為されてよい。そして、瞼開閉特徴量及び車両運動特徴量の時系列データに於いて眠気レベルが所定のレベルＡに到達した時点Ｓがラベル付けされる（眠気発生ラベル）。ここで、所定のレベルＡは、既に触れたように、車両又は移動体の運転の安全性を考慮して、装置の設計者又は使用者により適宜設定されてよい。かくして、複数組の眠気発生時点がラベル付けされた瞼開閉特徴量及び車両運動特徴量の時系列データのセット（Ｄ１、Ｄ２、Ｄ３…）が、教師付き学習データとして準備される。
【００４８】
なお、以下の識別器の試作と検証の処理に於いて、一部の学習データが教師用データとして使用され、別の一部の学習データが検証用データとして使用されるところ、一つの学習データが順々に交代で教師用データと検証用データに使用されてもよい。
【００４９】
識別器の調製（ステップ１１〜１７）
上記の如く学習データが調製されると、特徴量収集時間域の時間幅Ｆと識別関数Ψの特性を決定する内部パラメータ（以下、時間幅Ｆを含めて識別器の内部パラメータ群と称する。）を適宜設定して、学習データを用い、特徴量空間にて識別されるべき特徴量状態の分布域（現在時点から余裕時間域Ｋの経過後の予測時間域Ｌの間に眠気が所定のレベルＡに到達することとなる特徴量状態の分布域）を画定する識別関数Ψを決定することにより、識別器が作成される。識別器の作成手法は、例えば、サポートベクトルマシン法、ｋ−ＮＮ法など、特徴量空間に於いて、特定の特徴量の群の分布域を識別領域として画定できる任意の手法を用いることができる。ただし、識別性能の良い、即ち、精度よく眠気発生の予測が可能な識別器を実現する適切な識別器の内部パラメータ群は、演繹的に決定することは困難であるので、本実施形態に於いては、学習データを用いて、識別器の内部パラメータ群を変更しながら、識別器の試作と検証を反復し、実験的に適切な識別器の内部パラメータ群を見出し、それらを用いて識別器に使用する識別関数Ψを生成する。具体的には、以下の手順にて識別器が調製されてよい。
【００５０】
（ｉ）識別器の内部パラメータ群の設定（ステップ１１）
識別器の調製の具体的な処理に於いては、まず、適当な識別器の内部パラメータ群（パラメータは、通常、時間幅Ｆを含めて複数存在する。）が設定される。この点に関し、特徴量収集時間域の時間幅Ｆ内の特徴量により決定される特徴量状態は、既に述べた如く、特徴量収集時間域内の特徴量の各算出時点に於ける瞼開閉特徴量と車両運動特徴量を変数とするベクトルとなる。即ち、図９（Ｂ）に模式的に描かれている如く、或る時点の特徴量状態（ベクトル）の次元数Ｎは、ｎｘ（瞼開閉特徴量と車両運動特徴量の数）×ｎｆ（時間幅Ｆ内の算出時点数）となる。即ち、特徴量収集時間域の時間幅Ｆが変更されると、特徴量ベクトルの次元数Ｎも変更されることとなる。ここで、かかる特徴量収集時間域の時間幅Ｆが短すぎると、参照するデータ数が減り、予測性能が低下してしまう一方、時間幅Ｆが長過ぎると、演算負荷が増大する共に、予測の開始が遅くなるので、設計者又は使用者により適切な範囲の値に設定されることが好ましい。例えば、時間幅Ｆは、６０〜１２００秒の間で適宜設定されてよい。時間幅Ｆは、後述のステップ１６に於いて変更され、実際に識別器に於いて使用される値が識別器の試作と検証の反復処理の過程で探索されることとなる。
【００５１】
識別関数の特性を決定する内部パラメータは、より具体的には、特徴量空間内に於ける識別関数の形状などの特性を決定する超パラメータである。当業者にとって知られている如く、例えば、識別器をサポートベクトルマシン法にて作成する場合には、識別関数を決定するカーネル関数の種類、カーネル関数の形状を決定するパラメータ、カーネル関数の次数などが内部パラメータとなる。識別関数を生成する演算は、任意のプログラム言語にて用意された関数やモジュールを使用して実行されるところ、具体的に設定される識別関数の内部パラメータの種類は、使用するプログラム言語の関数又はモジュールの仕様によって決まるので、かかる仕様に応じて、識別関数の内部パラメータの具体的な値が適宜設定されることは当業者に於いて理解されるであろう。例えば、識別関数を生成するためのプログラム言語の関数としてｐｙｔｈｏｎ３のscikit-learnライブラリに於けるAPI関数sklearn.svm.SVCを使用する場合、内部パラメータは、次のように設定されてよい。：C←｛1,10,100,1000｝[kernelとしてlinear以外を選択した場合に使用する。]；kernel←｛linear,rbf,sigmoid,poly｝［カーネル関数の種類］；gamma←｛0.01,0.001,0.0001｝［カーネル関数の係数］；degree←｛2,3,4｝［kernelとしてpolｙを選んだ際に使用する次数］
【００５２】
（ii）識別器の試作（ステップ１２）
上記の如く識別器の内部パラメータ群が設定されると、学習データのうちの一部を教師用データとして用いて、識別器の試作が行われる。かかる処理に於いては、まず、図９（Ｂ）に描かれている如き態様にて、教師用データの特徴量を用いて、特徴量ベクトルが時系列に構成される。そうすると、図９（Ｃ）に模式的に描かれている如き時系列データの各時点に於ける特徴量ベクトル（×）は、図９（Ｄ）に模式的に描かれている如く、特徴量ベクトルを構成する変数（ｘ１，…ｘｉ，…）によって張られる特徴量空間内に於いて分布することになる。ところで、図９（Ｃ）を参照して、時間幅Ｌで示された時間域、即ち、眠気発生時点Ｓから余裕時間域に相当する時間幅Ｋだけ前に遡り、その時点から予測時間域の時間幅Ｌだけ遡る時間域［時点（Ｓ−Ｋ−Ｌ）から時点（Ｓ−Ｋ）までの時間域］内の各時点は、その時点から時間幅Ｋの余裕時間域の経過後の時間幅Ｌの予測時間域内の時点Ｓにて眠気レベルがＡに到達することとなる時点である。そして、図９（Ｃ）の時間幅Ｌの付された時間域内の各特徴量ベクトルは、眠気レベルがＡまで増大する兆候を反映していると考えられる。従って、図９（Ｄ）の特徴量空間内に於いて、教師用データに於ける図９（Ｃ）の時間域Ｌ内の特徴量ベクトルの分布の画定する領域Γは、時間幅Ｋの余裕時間域の経過後の時間幅Ｌの予測時間域内に眠気レベルがＡに到達する（眠気が発生する）こととなる特徴量ベクトルの分布する領域と考えることができ、或る特徴量ベクトルが、領域Γに入ったときには、その時点から時間幅Ｋの余裕時間域の経過後、時間幅Ｌの予測時間域の内に眠気レベルがＡに到達する（眠気が発生する）可能性が高いと予測することが可能となる。そこで、本実施形態の識別器の試作処理（ステップ１２）では、上記の如き任意の識別器の作成手法に従って、ステップ１１にて設定された内部パラメータ群を使用して、教師用データに於ける眠気発生時点Ｓから時間幅Ｋだけ前に遡り、その時点から時間幅Ｌだけ遡る時間域内の特徴量ベクトルの分布する領域Γを画定する識別関数Ψが生成される。
【００５３】
（iii）試作された識別器の検証（ステップ１３）
ステップ１２で生成された識別関数Ψは、その識別関数Ψを生成する際に用いた教師用データ以外のデータに於いて期待通りの眠気発生の予測を可能にするとは限らないので、識別関数Ψの決定に用いた教師用データとは異なる学習データを検証用データとして用い、ステップ１２で生成された識別関数Ψにより期待通りの眠気発生の予測が可能か否かが検証される。ここで、期待通りの眠気発生の予測とは、図１０（Ａ）に模式的に描かれている如く、検証用データから得られた特徴量ベクトルが、特徴量空間内にて時系列に移動する過程で、識別関数Ψにより画定される識別領域Γの外側から識別領域Γの内側へ入った場合に、その時点Ｔｉから時間幅Ｋの余裕時間域の経過後の時間幅Ｌの予測時間域内に検証用データに於ける眠気発生時点Ｓが存在している場合、換言すると、時点Ｔｉが検証用データに於ける眠気発生時点Ｓから時間幅Ｋだけ前の時点から時間幅Ｌだけ更に遡る時間域内入っている場合を言う（図１０（Ｂ））。なお、この場合は、予測成功とされる。一方、時点Ｔｉから時間幅Ｋの余裕時間域の経過後の時間幅Ｌの予測時間域の経過後（図１０（Ｃ））及び時点Ｔｉから時間幅Ｋの余裕時間域の経過前（図１０（Ｄ））に眠気発生時点Ｓが存在している場合、更に、眠気発生時点Ｓ前に特徴量ベクトルが識別領域Γに入らなかった場合（図１０Ｅ）は、それぞれ、予測失敗とされる。かくして、ステップ１３に於いては、複数の検証用データを用いて、上記の検証が実行され、予測が成功したか否かが記録され、識別器の成功率が下記の式にて算出され、使用した識別器の内部パラメータ群と共に記録されてよい（ステップ１４）。
成功率＝（予測が成功したデータセット数）／検証したデータセット数）
かかる識別器の成功率が高いほど、その識別器は、精度良く、余裕時間域の経過後の予測時間域内の眠気発生の予測が可能であると判断できることとなる。
【００５４】
（iv）識別器の試作と検証の反復（ステップ１５、１６）
ステップ１１〜１４に於ける識別器の試作と検証の処理は、異なる内部パラメータ群を用いて反復され、識別器の内部パラメータ群と共に検証結果が記録される。既に述べた如く、ステップ１６では、特徴量収集時間域の時間幅Ｆを含めて、識別関数Ψの特性を決定する内部パラメータが変更される。なお、内部パラメータ群の変更に於いては、装置の設計者又は使用者に於いて、予め、或る程度の数の内部パラメータ群の候補を準備しておき、識別器の試作と検証に於いて、準備された内部パラメータ群を全て使用したら、処理が完了するようになっていてよい。
【００５５】
（ｖ）識別器の調製
上記の如き識別器の試作と検証の処理が完了すると、検証結果に基づいて、本実施形態の装置に於ける眠気発生予測処理部（図１（Ｂ）ステップ５）に於いて使用する識別器が選定される。具体的には、成功率が最も高くなった識別器又は成功率が所定の目標値を超える識別器が、余裕時間域の経過後の予測時間域内の眠気発生を精度良く予測が可能であるので、それらの識別器を構成する内部パラメータ群が、眠気発生予測装置に使用する内部パラメータ群として確定され、それらを用いて生成された識別関数Ψが眠気発生予測処理部に於いて使用される。眠気発生予測処理部にて使用される識別器の識別関数Ψは、識別器の試作の段階で教師用データを使用して生成されたものであってもよいし、確定された内部パラメータ群を用いて教師用データと検証用データとを用いて生成されたものであってもよい。なお、利用可能な識別器が複数存在するときには、その中から、残余時間Ｇ（眠気発生予測時点Ｔｉから眠気発生時点Ｓまでの時間）が最も長くなるか、又は、残余時間Ｇ＋特徴量収集時間域Ｆが最も長くなる識別器が選択され、眠気発生予測処理部に於いて用いられてもよい。これは、残余時間Ｇが長いほど、眠気発生予測がされた後に運転者にとって時間的余裕が長く与えられるためであり、特徴量収集時間域Ｆが長いほど、特徴量の参照区間が長くなるので、予測性能が高いと考えられるためである。
【００５６】
かくして、上記の本実施形態による眠気発生予測装置に於いては、車両等の運転者の瞼の開閉運動から得られる指標値だけでなく、運転者の運転操作によって変化する車両等の運動状態から得られる指標値も参照して、眠気発生予測を行うようになっており、かかる構成によれば、運転者の運転操作に起因する瞼の開閉運動に変化があっても、そのことを考慮した状態で眠気発生の予測判定を行っていることになるので、運転者の運転操作に起因する瞼の開閉運動の変化による眠気発生の誤検出或いは見落としが低減することが期待される。又、本実施形態の装置の構成に於いては、瞼開閉特徴量と車両運動特徴量とから強い眠気が発生する兆候を事前に捉えて、眠気発生予測ができるよう構成されているので、車両等の運転者は、実際に強い眠気を感じる前にしかるべき対処又は運転行動を取ることが可能となり、車両等の運転上の安全性を更に高められることが期待される。
【００５７】
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。
【図１】
2020057198.tif 000003
【図２】
2020057198.tif 000004
【図３】
2020057198.tif 000005
【図４】
2020057198.tif 000006
【図５】
2020057198.tif 000007
【図６】
2020057198.tif 000008
【図７】
2020057198.tif 000009
【図８】
2020057198.tif 000010
【図９】
2020057198.tif 000011
【図１０】
2020057198.tif 000012