(57)【要約】【課題】外乱への耐性を確保しつつ、高精度な状態推定を実現する状態推定装置等の提供。【解決手段】ウェアラブルデバイス１０は、ユーザの状態を推定する状態推定装置として機能する。ウェアラブルデバイス１０は、ユーザの瞬目を検出した瞬目検出情報を取得し、瞬目検出情報からユーザの瞬目に関連した複数の特徴量を算出する。さらにウェアラブルデバイス１０は、ユーザの周囲のユーザ環境を推定し、複数の特徴量の中からユーザ環境に対応する特徴量を選定する。こうして選定された特徴量を用いて、ユーザの状態が推定される。【選択図】図３
2018075255.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの瞬目を検出した瞬目検出情報を取得する瞬目情報取得部（３１）と、
前記瞬目検出情報から前記ユーザの瞬目に関連した複数の特徴量を算出する特徴量算出部（３２）と、
前記ユーザの周囲のユーザ環境を推定する環境推定部（３３）と、
前記特徴量算出部によって算出される複数の前記特徴量の中から、前記環境推定部にて推定された前記ユーザ環境に対応する前記特徴量を選定する特徴量選定部（３４）と、
前記特徴量選定部にて選定された前記特徴量を用いて、前記ユーザの状態を推定する状態推定部（３５）と、
を備える状態推定装置。
【請求項２】
前記状態推定部には、前記特徴量選定部によって選定される前記特徴量の組み合わせにそれぞれ対応した複数の識別器（３６）が予め記憶されており、
前記状態推定部は、前記特徴量選定部の選定結果に対応した前記識別器と、前記特徴量選定部にて選定された前記特徴量とを用いて、前記ユーザの状態を推定する請求項１に記載の状態推定装置。
【請求項３】
前記環境推定部は、前記ユーザの周囲の明るさに関連した環境情報に基づいて、前記ユーザが眩しさを感じる環境にあるか否かを判定し、
前記特徴量選定部は、前記環境推定部によって前記ユーザが眩しさを感じる環境にあると判定した場合に、前記眩しさの影響を受け易いとして予め設定された前記特徴量を、状態推定の使用対象から除外する請求項１又は２に記載の状態推定装置。
【請求項４】
前記環境推定部は、前記ユーザの周囲の風に関連した環境情報に基づいて、前記ユーザが風を受ける環境にあるか否かを判定し、
前記特徴量選定部は、前記風の影響を受け易いとして予め設定された前記特徴量を、状態推定の使用対象から除外する請求項１〜３のいずれか一項に記載の状態推定装置。
【請求項５】
前記環境推定部は、前記特徴量算出部にて算出された少なくともに一つの前記特徴量の変化に基づいて前記ユーザ環境を推定する請求項１〜４のいずれか一項に記載の状態推定装置。
【請求項６】
前記瞬目情報取得部は、前記ユーザの眼電位を計測した計測結果を少なくとも含む前記瞬目検出情報を取得し、
前記特徴量算出部は、眼電位の前記計測結果から前記ユーザの瞬目強度に関連した値を前記特徴量として算出する請求項１〜５のいずれか一項に記載の状態推定装置。
【請求項７】
少なくとも一つのプロセッサ（２１，２５１，３５１）の処理によりユーザの状態を推定する状態推定方法であって、
前記ユーザの瞬目を検出した瞬目検出情報を取得し（Ｓ１１１）、
前記瞬目検出情報から前記ユーザの瞬目に関連した複数の特徴量を算出し（Ｓ１１２）、
前記ユーザの周囲のユーザ環境を推定し（Ｓ１０２）、
算出した複数の前記特徴量の中から、推定した前記ユーザ環境に対応する前記特徴量を選定し（Ｓ１１３）、
選定した前記特徴量を用いて前記ユーザの状態を推定する（Ｓ１１５）状態推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この明細書による開示は、ユーザの状態を推定する状態推定装置、及び状態推定方法に関する。
【背景技術】
【０００２】
従来、例えば眠気等のユーザの状態を推定するために、ユーザの瞼の開度及び瞬目等を検出する技術が知られている。例えば特許文献１には、撮像手段を用いて撮像したユーザの顔画像から、瞬目を行った上下の瞼の位置を特定し、ユーザの瞼の開度を検出する顔検出装置が開示されている。
【０００３】
加えて特許文献１の顔検出装置は、ユーザの左右方向の顔向きの角度を検出し、ユーザの顔向きの角度が閾値以下の場合では両眼の瞼の開度を検出する一方で、ユーザの顔向きの角度が閾値を超えた場合には、片目の瞼の開度を検出する処理に切り替える。こうした処理により、ユーザの顔向きに起因した検出精度の低下が回避されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４９９２８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、本開示の発明者は、ユーザの顔向きだけでなく、ユーザ周囲の風及び光といった外乱によっても、検出精度の低下が引き起こされることに着目した。ここで、特許文献１では、ユーザ周囲の環境に起因する外乱による検出精度の低下は、何ら考慮されていない。そのため、特許文献１に開示の技術を用いてユーザの状態を推定した場合、外乱の影響による検出精度の悪化が懸念され得た。
【０００６】
本開示は、上記問題点に鑑みてなされたものであり、外乱への耐性を確保しつつ、高精度な状態推定を実現することが可能な状態推定装置、及び状態推定方法の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、開示された第一の態様は、ユーザの瞬目を検出した瞬目検出情報を取得する瞬目情報取得部（３１）と、瞬目検出情報からユーザの瞬目に関連した複数の特徴量を算出する特徴量算出部（３２）と、ユーザの周囲のユーザ環境を推定する環境推定部（３３）と、特徴量算出部によって算出される複数の特徴量の中から、環境推定部にて推定されたユーザ環境に対応する特徴量を選定する特徴量選定部（３４）と、特徴量選定部にて選定された特徴量を用いて、ユーザの状態を推定する状態推定部（３５）と、を備える状態推定装置とされる。
【０００８】
また、開示された第二の態様は、少なくとも一つのプロセッサ（２１，２５１，３５１）の処理によりユーザの状態を推定する状態推定方法であって、ユーザの瞬目を検出した瞬目検出情報を取得し（Ｓ１１１）、瞬目検出情報からユーザの瞬目に関連した複数の特徴量を算出し（Ｓ１１２）、ユーザの周囲のユーザ環境を推定し（Ｓ１０２）、算出した複数の特徴量の中から、推定したユーザ環境に対応する特徴量を選定し（Ｓ１１３）、選定した特徴量を用いてユーザの状態を推定する（Ｓ１１５）状態推定方法とされる。
【０００９】
これらの態様では、ユーザ周囲のユーザ環境が推定されたうえで、瞬目検出情報から算出された複数の特徴量の中から、推定されたユーザ環境に対応した特徴量が選定される。故に外乱の少ない環境にユーザがある場合には、多くの特徴量を用いて、ユーザの状態が推定される。その結果、高精度な状態推定が可能となる。一方で、強い外乱の存在する環境にユーザがある場合には、外乱の影響を受け易い特徴量がユーザの状態の推定に用いる対象から除外され得る。その結果、外乱の影響による状態推定の精度悪化が低減される。以上によれば、外乱への耐性を確保しつつ、高精度なユーザの状態推定を実現することが可能となる。
【００１０】
尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。
【図面の簡単な説明】
【００１１】
【図１】第一実施形態によるウェアラブルデバイスの斜視図である。
【図２】ウェアラブルデバイスの電気的な構成を示すブロック図である。
【図３】状態推定回路に構築される各機能ブロックを示す図である。
【図４】眼電位信号から算出される各特徴量の詳細を模式的に示す図である。
【図５】環境推定処理の詳細を示すフローチャートである。
【図６】状態推定処理の詳細を示すフローチャートである。
【図７】第二実施形態による状態推定システムの電気的な構成を示すブロック図である。
【図８】第三実施形態による状態推定システムの電気的な構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
【００１３】
（第一実施形態）
本開示の第一実施形態による状態推定装置の機能は、図１及び図２に示すアイウェア型のウェアラブルデバイス１０によって実現されている。ウェアラブルデバイス１０は、メガネ状に形成されたフレーム１０ａを備えており、ユーザに着用されることによって、ユーザの眼電位を計測可能である。ウェアラブルデバイス１０は、計測した眼電位に基づき、ユーザの状態として、眠気、緊張、及び集中等の度合いを推定することができる。ウェアラブルデバイス１０にて推定されたユーザ状態の推定結果は、例えばスマートフォン等の電子機器に無線通信によって送信され、ユーザへの情報提供又は注意喚起等に使用される。
【００１４】
ウェアラブルデバイス１０は、電気的な構成として、バッテリ１１、瞬目計測部１２、環境センサ群１７、通信モジュール１８、及び状態推定回路２０を備えている。
【００１５】
バッテリ１１は、瞬目計測部１２、通信モジュール１８、及び状態推定回路２０等に電力を供給する電源である。バッテリ１１は、リチウム電池等の一次電池であってもよく、リチウムイオン電池等の二次電池であってもよい。
【００１６】
瞬目計測部１２は、ユーザの瞬目を検出するために、ユーザの眼電位を計測する。瞬目計測部１２は、中央電極１３、左側電極１４、及び右側電極１５等を有している。各電極１３〜１５は、高い防錆性及び導電性を備えた例えばステンレス等の金属材料によって形成されている。各電極１３〜１５は、互いに離間した配置にて、フレーム１０ａに設けられている。各電極１３〜１５は、フレーム１０ａ内に埋め込まれた配線を通じて状態推定回路２０と接続されている。
【００１７】
各電極１３〜１５は、ウェアラブルデバイス１０をユーザが装着することにより、ユーザの眼球付近に配置され、ユーザの皮膚と接触する。中央電極１３は、フレーム１０ａのブリッジ部分に設けられており、ウェアラブルデバイス１０を装着したユーザの眉間部分と接触する。左側電極１４及び右側電極１５は、メガネ状のフレーム１０ａの左右のノーズパッドを形成しており、ユーザの鼻に左右の両側から接触する。
【００１８】
瞬目計測部１２は、各電極１３〜１５を用いて計測した眼電位信号を、瞬目検出情報として状態推定回路２０に供給する。尚、瞬目計測部１２に設けられる電極の数及び配置は、適宜変更可能である。例えば瞬目計測部１２は、状態推定回路２０に接地電位を供給する接地電極さらに有していてもよい。
【００１９】
環境センサ群１７は、複数のセンサを有している。複数のセンサは、ウェアラブルデバイス１０を装着したユーザの周囲の環境（以下、「ユーザ環境」）を推定するために必要な物理量を計測する。具体的に、環境センサ群１７には、時計１７ａ、ＧＮＳＳ（Global Navigation Satellite System）受信部１７ｂ、及び照度センサ１７ｃが含まれている。時計１７ａ、ＧＮＳＳ受信部１７ｂ、及び環境センサ群１７は、それぞれ状態推定回路２０と接続されている。
【００２０】
時計１７ａは、現在の日付及び時刻を示す時間情報を、状態推定回路２０に逐次提供する。ＧＮＳＳ受信部１７ｂは、複数の人工衛星から受信した測位信号に基づいて、ウェアラブルデバイス１０の現在の位置情報を生成する。ＧＮＳＳ受信部１７ｂは、生成した位置情報と、測位信号の受信強度を示す強度情報とを、状態推定回路２０に逐次提供する。照度センサ１７ｃは、受光素子に入射した光を電流に変換することにより、ウェアラブルデバイス１０の周囲の明るさを計測する。照度センサ１７ｃは、ユーザ周囲の明るさを示す明るさ情報を、状態推定回路２０に逐次提供する。
【００２１】
通信モジュール１８は、例えばブルートゥース（登録商標）及び無線ＬＡＮ等による無線通信によって、スマートフォン等の電子機器との間で情報の送受信を行うことができる。通信モジュール１８は、ユーザ環境の推定に利用可能な環境情報を無線通信によって受信すると共に、ユーザ状態の推定結果を他の電子機器等に送信する。
【００２２】
状態推定回路２０は、プロセッサ２１、ＲＡＭ２２、及び記憶媒体２３と、電源インターフェース及び信号インターフェース等とによって構成されている。記憶媒体２３には、後述する記憶領域３７（図３参照）が確保されている。信号インターフェースには、例えば各電極１３〜１５から入力される信号を増幅させるアンプ部、及び信号のノイズを取り除くフィルタ部等が設けられている。
【００２３】
状態推定回路２０は、記憶媒体２３に記憶された状態推定プログラムをプロセッサ２１によって実行する。状態推定プログラムの実行により、状態推定回路２０には、図３に示す瞬目情報取得部３１、特徴量算出部３２、環境推定部３３、特徴量選定部３４、及び状態推定部３５が機能ブロックとして構築される。
【００２４】
瞬目情報取得部３１は、ユーザの瞬目を検出した瞬目検出情報を、瞬目計測部１２から取得する。瞬目検出情報には、ユーザの眼電位を計測した計測結果（眼電位信号）が少なくとも含まれている。眼電位信号は、所謂ＥＯＧ法にて眼球運動の推定に用いられる計測データである。
【００２５】
特徴量算出部３２は、瞬目情報取得部３１にて取得される瞬目検出情報としての眼電位信号から、ユーザの瞬目に関連した複数の特徴量を算出する。図４に示すように、ユーザが瞬目を行うことにより、眼電位信号には、大きな振幅が表れる。特徴量算出部３２（図３参照）は、眼電位信号の波形における振幅が正負のそれぞれに設定された閾値ｔｈ１，ｔｈ２を共に超えた場合、一回の瞬目が発生したと判定する。特徴量算出部３２は、検出された各瞬目について、瞬目強度と瞬目に要した時間（瞬目時間）とを算出する。加えて特徴量算出部３２は、所定時間（例えば１分間）あたりに発生した瞬目の回数（以下、「瞬目数」）、瞬目の発生間隔、発生間隔の偏差、瞬目強度の偏差、瞬目時間の偏差、及び群発瞬目の発生回数等を算出する。尚、群発瞬目の発生回数は、ごく短い特定時間（例えば１秒間）に複数回の瞬目が発生した場合に、一回の群発瞬目が発生したと計数される。図４に示すように、特徴量算出部３２は、算出した各特徴量の情報、即ち算出値を、環境推定部３３及び特徴量選定部３４に逐次提供する。
【００２６】
環境推定部３３は、ユーザ環境を推定する環境推定処理（図５参照）を行う。環境推定処理は、ユーザによるウェアラブルデバイス１０の装着によって開始され、ユーザがウェアラブルデバイス１０を外すまで繰り返し継続される。環境推定処理において、環境推定部３３は、環境推定に必要となる環境情報を、環境センサ群１７、通信モジュール１８、及び特徴量算出部３２から取得する（図５  Ｓ１０１参照）。そして環境推定部３３は、取得した環境情報に基づいて、ユーザ環境を推定する（図５  Ｓ１０２参照）。
【００２７】
環境推定部３３は、環境推定処理において、例えばユーザの周囲の明るさに関連した環境情報に基づいて、ユーザが眩しさを感じる環境にあるか否かを判定可能である。加えて環境推定部３３は、ユーザの周囲の風に関連した環境情報に基づいて、ユーザが風を受ける環境にあるか否かを判定可能である。
【００２８】
具体的に、明るさに関連した環境情報には、照度センサ１７ｃから取得する明るさ情報、及び時計１７ａから取得する時間情報等が該当する。環境推定部３３は、照度センサ１７ｃの明るさ情報に基づき、ユーザが眩しさを感じる環境にあるか否かを判定できる。照度センサ１７ｃにて検出されるユーザ環境の照度が予め設定された照度閾値よりも高い場合、環境推定部３３は、ユーザが眩しさを感じる環境にあると判定する。
【００２９】
加えて環境推定部３３は、例えば時間情報に基づいて、現在時刻が昼の時間帯なのか夜の時間帯なのかを推定する。現在時刻が昼の時間帯であれば、環境推定部３３は、自然光によってユーザが眩しさを感じる環境にあると判定する。一方で、現在時刻が夜の時間帯であれば、環境推定部３３は、ユーザが眩しさを感じない又は感じ難い環境にあると判定する。
【００３０】
また、風に関連した環境情報には、ＧＮＳＳ受信部１７ｂから取得する測位信号の強度情報が該当する。環境推定部３３は、測位信号の強度情報に基づいて、ユーザが屋内にいるのか、屋外にいるのかを推定する。測位信号の受信強度が予め設定された感度閾値よりも低い場合、環境推定部３３は、ユーザが屋内に居るため、風を受ける環境にないと判定する。一方で、測位信号の受信強度が予め設定された感度閾値よりも高い場合、環境推定部３３は、ユーザが屋外に出ており、風を受ける環境にあると判定する。
【００３１】
さらに環境推定部３３は、特徴量算出部３２の算出した各特徴量を環境情報として、これら特徴量の変化に基づいてユーザ環境を推定可能である。例えば、各特徴量のうちで、瞬目数、瞬目の発生間隔、及び発生間隔の偏差は、眩しさの影響を受け易い。故に、これらの値に顕著な変化が生じた場合に、環境推定部３３は、眩しさを感じる環境にユーザ環境が変化したと判定する。また同様に、各特徴量のうちで、瞬目数、瞬目の発生間隔、及び瞬目時間の偏差は、風の影響を受けやすい。故に、これらの値に顕著な変化が生じた場合に、環境推定部３３は、風を受ける環境にユーザ環境が変化したと判定する。
【００３２】
特徴量選定部３４は、特徴量算出部３２によって算出された複数の特徴量の算出値を取得する。特徴量選定部３４は、特徴量算出部３２によって算出される複数の特徴量の中から、環境推定部３３にて推定されたユーザ環境に対応する特徴量を選定する。ユーザが眩しさを感じておらず、且つ、風を受ける環境でも無い場合、特徴量選定部３４は、特徴量算出部３２にて算出された全ての特徴量を、状態推定に用いる特徴量として選定する（選定結果「ＳＲ１」参照）。
【００３３】
一方で、眩しさを感じるようなユーザ環境が推定された場合には、特徴量選定部３４は、眩しさの影響を受け易いとして予め設定された複数の特徴量を、状態推定の使用対象から除外する。具体的に、眩しさを感じるようなユーザ環境が推定された場合、特徴量選定部３４は、各特徴量のうちで、上述した瞬目数、瞬目の発生間隔、及び発生間隔の偏差を、状態推定の使用対象から除外する。その結果、瞬目強度、瞬目時間、瞬目強度の偏差、瞬目時間の偏差、及び群発瞬目の発生回数が、状態推定の使用対象に選定される（選定結果「ＳＲ２」参照）。
【００３４】
さらに、風を受けるようなユーザ環境が推定された場合には、特徴量選定部３４は、風の影響を受け易いとして予め設定された複数の特徴量を、状態推定の使用対象から除外する。具体的に、風を受けるようなユーザ環境が推定された場合、特徴量選定部３４は、各特徴量のうちで、上述した瞬目数、瞬目の発生間隔、及び瞬目時間の偏差を、状態推定の使用対象から除外する。その結果、瞬目強度、瞬目時間、瞬目強度の偏差、発生間隔の偏差、及び群発瞬目の発生回数が、状態推定の使用対象に選定される（選定結果「ＳＲ３」参照）。
【００３５】
状態推定部３５は、特徴量選定部３４にて選定された特徴量を用いて、ユーザ状態としての眠気、緊張、集中等の度合いを推定できる。状態推定部３５には、記憶領域３７が設けられている。記憶領域３７には、多数の識別器３６が予め格納されている。各識別器３６は、特徴量選定部３４によって選定される特徴量の組み合わせにそれぞれ対応した内容に生成されている。加えて識別器３６は、眠気や緊張といった推定対象とする具体的なユーザ状態毎に、個別に設定されている。各識別器３６は、例えばランダムフォレスト等の機械学習等を用いて予め生成されており、各ユーザ環境に最適化されている。各識別器３６は、選定された特徴量の各数値を用いて、眠気度合い、緊張度合い、集中度合い等を数値化して出力可能である。
【００３６】
状態推定部３５は、瞬目情報取得部３１及び特徴量算出部３２と共に状態推定処理（図６参照）を行う。状態推定処理は、環境推定処理と同様にユーザによるウェアラブルデバイス１０の装着によって開始され、環境推定処理と併行して、ユーザがウェアラブルデバイス１０を外すまで繰り返し継続される。
【００３７】
状態推定処理のＳ１１１では、瞬目検出情報として眼電信号を取得し、Ｓ１１２に進む。Ｓ１１２では、Ｓ１１１にて取得された眼電位信号から複数の特徴量を算出し、Ｓ１１３に進む。Ｓ１１３では、環境推定処理によって推定されたユーザ環境に対応する特徴量を選定し、Ｓ１１４に進む。
【００３８】
Ｓ１１４では、Ｓ１１３にて選定された特徴量の組み合わせ、即ち特徴量の設定結果ＳＲ１〜ＳＲ３等に対応した識別器３６を一つ選択し、Ｓ１１５に進む。Ｓ１１４では、推定するユーザ状態が複数ある場合、各推定項目に対応した識別器３６を一つずつ選択する。即ち、例えば眠気度合いと緊張度合いとを推定する場合、眠気度合いを推定するための識別器３６と、緊張度合いを推定するための識別器３６とが選択される。
【００３９】
Ｓ１１５では、Ｓ１１３にて選定された特徴量の各数値を、Ｓ１１４にて選択した識別器３６に入力することで、眠気度合い及び緊張度合いとったユーザ状態を推定した数値を取得し、再びＳ１１１に戻る。
【００４０】
ここまで説明した第一実施形態では、ユーザ周囲のユーザ環境が推定されたうえで、瞬目検出情報から算出された複数の特徴量の中から、推定されたユーザ環境に対応した特徴量が選定される。故に、自然光や風等の外乱の少ない環境にユーザがある場合には、多くの特徴量を用いて、ユーザの状態が推定される。その結果、高精度な状態推定が可能となる。一方で、強い外乱の存在する環境にユーザがある場合には、外乱の影響を受け易い特徴量が状態の推定に用いる対象から除外され得る。その結果、外乱の影響による状態推定の精度悪化が低減される。以上によれば、外乱への耐性を確保しつつ、高精度な状態推定を実現することが可能となる。
【００４１】
加えて第一実施形態では、複数の識別器３６が記憶領域３７に予め格納されている。こうした構成であれば、個々の識別器３６を、特定のユーザ環境に対して最適化した内容に予め生成しておくことが可能になる。故に、複数の識別器３６から一つを選択してユーザ状態を推定する処理によれば、各ユーザ環境における状態推定の精度は、いっそう向上する。
【００４２】
また第一実施形態によれば、ユーザが眩しさを感じる環境にある場合、眩しさの影響を受け易い特徴量が状態推定の使用対象から除外される。同様に、ユーザが風を受ける環境にある場合、風の影響を受け易い特徴量が状態推定の使用対象から除外される。これらのように、光及び風といった瞬目に顕著に影響するユーザ環境を推定し、各ユーザ環境に対応した特徴量の選定を行うことで、状態推定の外乱への耐性は、確実に確保される。
【００４３】
さらに第一実施形態では、特徴量算出部３２にて算出された特徴量の変化に基づいて、ユーザ環境の変化が推定される。上述したように、ユーザ環境が変位すると、特定の特徴量に顕著な変化が生じる。故に、特徴量の変化を環境情報として用いることで、環境推定処理によるユーザ環境の推定精度は、いっそう向上可能となる。
【００４４】
加えて第一実施形態の特徴量算出部３２では、特徴量の一つとして、瞬目強度が算出される。瞬目強度は、外乱の影響を受け難いため、外乱のある環境においても状態推定の使用対象から除外されない。そのため、瞬目強度を算出可能な構成であれば、状態推定の精度は、外乱の生じる環境においても確実に維持可能となる。尚、第一実施形態において、ウェアラブルデバイス１０が「状態推定装置」に相当する。
【００４５】
（第二実施形態）
図７に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態では、ウェアラブルデバイス２１０及びスマートフォン２４０等によって状態推定システム２００が構成されている。ウェアラブルデバイス２１０及びスマートフォン２４０は、互いにペアリングされており、無線通信によって情報を送受信可能である。状態推定システム２００における環境推定処理及び状態推定処理は、ウェアラブルデバイス２１０及びスマートフォン２４０のうちで、スマートフォン２４０にて実施される。
【００４６】
ウェアラブルデバイス２１０は、第一実施形態と同様のメガネ型のモーションセンサデバイスである（図１参照）。ウェアラブルデバイス２１０は、第一実施形態と実質同一のバッテリ１１、瞬目計測部１２、及び通信モジュール１８と、瞬目計測回路２２０とを備えている。瞬目計測回路２２０は、第一実施形態の状態推定回路２０（図２参照）と同様に、プロセッサを主体とした構成である。瞬目計測回路２２０は、瞬目計測部１２によって計測された眼電位信号を取得し、瞬目検出情報として、通信モジュール１８からスマートフォン２４０へ向けて無線送信させる。
【００４７】
スマートフォン２４０は、ユーザの所持する携帯端末である。スマートフォン２４０は、電気的な構成として、通信モジュール２４８、環境センサ群２４７、及び状態推定回路２５０と、これらの構成に電力を供給するバッテリ４１とを備えている。
【００４８】
通信モジュール２４８は、ウェアラブルデバイス２１０の通信モジュール１８と無線通信可能である。通信モジュール２４８は、通信モジュール１８から送信される瞬目検出情報を受信し、状態推定回路２５０に逐次供給する。加えて通信モジュール２４８は、スマートフォン２４０のインターネットへの接続を可能にしている。
【００４９】
環境センサ群２４７は、第一実施形態の環境センサ群１７（図２参照）に相当する構成であって、時計１７ａ、ＧＮＳＳ受信部１７ｂ、及び照度センサ１７ｃを含んでいる。環境センサ群２４７は、スマートフォン２４０がユーザと実質同一の環境にあるとみなして、スマートフォン２４０周囲の環境情報を取得する。環境センサ群２４７は、取得した環境情報を、状態推定回路２５０に逐次供給する。
【００５０】
状態推定回路２５０は、第一実施形態の状態推定回路２０（図２参照）と実質同一の機能を果たす構成である。状態推定回路２５０は、プロセッサ２５１、ＲＡＭ２５２、及び記憶媒体２５３を有するマイクロコンピュータを主体に構成されている。状態推定回路２５０は、ユーザによるアプリケーションの起動に基づき、状態推定プログラムをプロセッサ２５１によって実行する。その結果、状態推定回路２５０には、第一実施形態と実質同一の瞬目情報取得部３１、特徴量算出部３２、環境推定部３３、特徴量選定部３４、及び状態推定部３５が構築される（図３参照）。
【００５１】
状態推定回路２５０に構築された環境推定部３３（図３参照）は、インターネットから取得する環境情報を用いて、ユーザ環境を推定可能である。例えば環境推定部３３は、時間情報に天気情報を組み合わせて、ユーザが眩しさを感じる環境にあるか否かを判定することができる。また環境推定部３３は、測位信号の強度情報に、位置情報と地図情報とを組み合わせることにより、ユーザが屋内にいるのか屋外にいるのかをさらに精度良く推定できる。その結果、環境推定部３３は、ユーザが風を受ける環境にあるか否かを、より正確に判定できるようになる。
【００５２】
ここまで説明した第二実施形態のように、環境推定処理及び状態推定処理がスマートフォン２４０によって実施される形態でも、ユーザ環境に対応した特徴量の選定が可能である。その結果、第一実施形態と同様に、外乱による状態推定への影響を軽減すると共に、外乱のない状況での高精度な状態推定が実現可能となる。尚、第二実施形態ではスマートフォン２４０が「状態推定装置」に相当する。
【００５３】
（第三実施形態）
図８に示す本開示の第三実施形態は、第二実施形態の変形例である。第三実施形態による状態推定システム３００は、ドライバスモニタシステム（Driver Monitor System，ＤＭＳ）３１０及び車載制御装置３４０等によって構成されている。状態推定システム３００は、車両に搭載されており、ユーザとして車両の搭乗者（特に運転者）の状態を推定可能である。ＤＭＳ３１０及び車載制御装置３４０は、例えば通信ケーブルによって直接的に有線接続されており、互いに情報を送受信可能である。状態推定システム３００における環境推定処理及び状態推定処理は、ＤＭＳ３１０及び車載制御装置３４０うちで、車載制御装置３４０にて実施される。
【００５４】
ＤＭＳ３１０は、瞬目計測部３１２、撮像制御回路３２０、及び通信モジュール３１８等によって構成されている。瞬目計測部３１２は、近赤外光源３１３及び近赤外カメラ３１４を有するカメラユニットである。瞬目計測部３１２は、車両の車室内において、運転者の正面に設置されている。近赤外光源３１３は、近赤外光源３１３によって近赤外光を照射された運転者の顔を、近赤外カメラ３１４によって撮影する。
【００５５】
撮像制御回路３２０は、プロセッサを主体とした構成であり、瞬目計測部３１２による運転者の顔の撮影を制御する。加えて撮像制御回路３２０は、瞬目計測部３１２によって撮影された顔画像を解析することにより、運転者の目の開度を検出する。撮像制御回路３２０は、運転者における目の開度の検出結果を瞬目検出情報として、通信モジュール３１８から車載制御装置３４０に送信させる。
【００５６】
車載制御装置３４０は、車両に搭載された複数の電子制御ユニットの一つであって、例えば運転者へ向けたユーザインターフェースを統合的に制御する構成である。車載制御装置３４０は、電気的な構成として、通信モジュール３４８及び状態推定回路３５０とを備えている。
【００５７】
通信モジュール３４８は、ＤＭＳ３１０の通信モジュール３１８と通信可能である。通信モジュール３４８は、通信モジュール３１８から送信される瞬目検出情報を受信する。加えて通信モジュール３４８は、車両に搭載された車載ネットワークの通信バス３６０と接続されている。通信モジュール３４８は、通信バス３６０に出力された種々の車両情報を取得可能である。例えば通信モジュール３４８は、車載された空調機器の作動情報、及び車両の窓の開閉状態を示す開閉情報等を、ユーザ環境を示す環境情報として取得する。通信モジュール３４８は、取得した瞬時検出情報と環境情報とを、状態推定回路３５０に逐次供給する。
【００５８】
状態推定回路３５０は、第二実施形態の状態推定回路２５０（図７参照）と実質同一の機能を果たす構成である。状態推定回路３５０は、車両に搭載された環境センサ群３４７と接続されている。環境センサ群３４７のＧＮＳＳ受信部３４７ｂは、例えばロケータに組み込まれた構成である。環境センサ群３４７の照度センサ３４７ｃは、例えば車両の前照灯のオン及びオフを切り替えるために、車外の明るさを検出する構成である。
【００５９】
状態推定回路３５０は、プロセッサ３５１、ＲＡＭ３５２、及び記憶媒体３５３を有するマイクロコンピュータを主体に構成されている。状態推定回路３５０は、例えば車両に搭載された電源からの電力供給が開始されると、状態推定プログラムをプロセッサ３５１によって実行する。その結果、状態推定回路３５０には、第二実施形態と実質同一の瞬目情報取得部３１、特徴量算出部３２、環境推定部３３、特徴量選定部３４、及び状態推定部３５が構築される（図３参照）。
【００６０】
状態推定回路３５０に構築された特徴量算出部３２（図３参照）は、目の開度の検出結果を用いて各特徴量を算出する。カメラユニットを用いて瞬目検出情報を取得する第三実施形態では、瞬目強度及び強度偏差は算出されない。
【００６１】
状態推定回路３５０に構築された環境推定部３３（図３参照）は、通信モジュール３４８の受信した環境情報を取得することで、ユーザ環境を推定可能である。環境推定部３３は、空調機器の作動情報及び窓の開閉情報等を用いて、ユーザが風を受ける環境にあるか否かを判定できる。例えば、空調機器によりユーザへの送風が行われている場合に、環境推定部３３は、ユーザが風を受ける環境にあると判定する。加えて、運転席の側方の窓が開けられている場合に、環境推定部３３は、ユーザが風を受ける環境にあると判定する。
【００６２】
ここまで説明した第三実施形態のように、環境推定処理及び状態推定処理が車載制御装置３４０によって実施される形態でも、ユーザ環境に対応した特徴量の選定が可能である。その結果、第二実施形態と同様に、外乱への耐性の確保と高精度なユーザ状態の推定との両立が実現可能となる。尚、第三実施形態では車載制御装置３４０が「状態推定装置」に相当する。
【００６３】
（他の実施形態）
以上、本開示による複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【００６４】
上記実施形態では、ユーザ状態として、便宜的に主に眠気に着目して説明したが、本開示による状態推定方法は、上記実施形態に例示した眠気、緊張、集中といったユーザ状態の推定だけでなく、他のユーザ状態の推定にも適用可能である。また本開示による状態推定方法は、上記第三実施形態のような運転者だけでなく、オフィスで作業を行うデクスワーカー、及び工場で作業を行う工場作業員等に適用されて、これらユーザの状態を推定可能である。また上記実施形態において、ウェアラブルデバイス等のプロセッサによって提供されていた各機能は、上述の構成とは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによっても提供可能である。即ち、状態推定方法を実施する具体的な構成は、ウェアラブルデバイス、スマートフォン、及び車載制御装置に限定されず、適宜変更可能である。
【００６５】
例えば、第三実施形態のＤＭＳ３１０（図８参照）に設けられた処理回路のプロセッサにより、環境推定処理及び状態推定処理が実施されてよい。また、環境推定処理及び状態推定処理は、複数の構成によって分散実施されてもよい。具体的には、ウェアラブルデバイス及びＤＭＳ等にて、瞬目情報の取得と特徴量の算出が実施され、スマートフォン及び車載制御装置等にて、ユーザ環境の推定、特徴量の選定、及び状態推定が実施されてもよい。さらに、状態推定プログラムを記憶する記憶媒体は、フラッシュメモリ及びハードディスクドライブ等の非遷移的実体的記憶媒体が適宜採用されてよい。
【００６６】
上記実施形態の状態推定部３５（図３参照）は、一つの識別器を選択したうえで、選択した識別器を使用して状態を推定していた。しかし、状態推定部は、ユーザ環境に基づく特徴量の選定結果に係わらず、一つの識別器を用いて状態推定を行う形態であってもよい。また、識別器を構築する機械学習の技法は、上述したランダムフォレストに限定されず、サポートベクターマシンやニューラルネットワーク等であってもよい。
【００６７】
上記実施形態では、ユーザ周囲の光及び風の影響を鑑みて、使用する特徴量を変更する例が説明されていた。しかし、環境推定部にて推定されるユーザ環境は、ユーザの瞬目態様を変化させる種々の要因に応じて、適宜変更されてよい。例えば、食事の前後で瞬目の態様が変化するという知見に基づき、ユーザが食事をした直後であるか否かを判定して、状態推定に使用する特徴量が変更されてもよい。
【００６８】
上記実施形態では、特徴量算出部にて算出された特定の特徴量の変化を監視することで、環境推定部は、ユーザ環境の変化を検出可能であった。しかし、特徴量の変化に基づく環境推定は、実施されなくてもよい。又は、特徴量の変化だけに基づいて、ユーザ環境の推定が実施されてもよい。
【００６９】
上記実施形態では、眼電位信号又は目の開度の検出結果を用いて、瞬目の検出と各特徴量の算出とが実施されていた。しかし、瞬目を計測する計測部の構成は、上記実施形態の各電極及び近赤外カメラに限定されず、適宜変更可能である。加えて、眼電位信号と目の開度の検出結果を共に用いて、瞬目の検出と特徴量の算出とが実施されてもよい。また、特徴量算出部にて算出される特徴量（パラメータ）の数及び内容は、適宜変更可能である。さらに、瞬目検出情報から特徴量を算出する方法は、図４に示す方法に限定されず、適宜変更可能である。
【符号の説明】
【００７０】
１０  ウェアラブルデバイス（状態推定装置）、  ２１，２５１，３５１  プロセッサ、  ３１  瞬目情報取得部、  ３２  特徴量算出部、  ３３  環境推定部、  ３４  特徴量選定部、  ３５  状態推定部、  ３６  識別器、  ２４０  スマートフォン（状態推定装置）、  ３４０  車載制御装置（状態推定装置）
【図１】
2018075255.tif 000003
【図２】
2018075255.tif 000004
【図３】
2018075255.tif 000005
【図４】
2018075255.tif 000006
【図５】
2018075255.tif 000007
【図６】
2018075255.tif 000008
【図７】
2018075255.tif 000009
【図８】
2018075255.tif 000010