(57)【要約】  ユーザ状態可視化システム（１０）は、ウェアラブルデバイス（２０）が有する加速度センサ（２１）によって出力される加速度データに基づいて、ウェアラブルデバイス（２０）を装着したユーザ（５０）が静止しているか否かを判定する判定部（３２ａ）と、脳波計測部（２２）によって計測されるユーザ（５０）の脳波に基づいて、ユーザ（５０）の中枢神経の状態を推定する第一推定部（３２ｂ）と、脈波計測部（２３）によって計測されるユーザ（５０）の脈波に基づいてユーザ（５０）の自律神経の状態を推定する第二推定部（３２ｃ）と、推定されたユーザ（５０）の中枢神経の状態、及び、推定されたユーザ（５０）の自律神経の状態を表示する表示制御部（３２ｄ）とを備える。
2020153165.tif 000002
【特許請求の範囲】
【請求項１】
ウェアラブルデバイスが有する加速度センサによって出力される加速度データに基づいて、前記ウェアラブルデバイスを装着したユーザが静止しているか否かを判定する判定部と、
前記ユーザが静止していると判定されている期間に前記ウェアラブルデバイスが有する脳波計測部によって計測される前記ユーザの脳波に基づいて、前記ユーザの中枢神経の状態を推定する第一推定部と、
前記ウェアラブルデバイスが有する脈波計測部によって計測される前記ユーザの脈波に基づいて、前記ユーザの自律神経の状態を推定する第二推定部と、
推定された前記ユーザの中枢神経の状態、及び、推定された前記ユーザの自律神経の状態を表示する表示制御部とを備える
ユーザ状態可視化システム。
【請求項２】
前記表示制御部は、推定された前記ユーザの中枢神経の状態、及び、推定された前記ユーザの自律神経の状態をリアルタイム表示する
請求項１に記載のユーザ状態可視化システム。
【請求項３】
前記表示制御部は、中枢神経の状態を示す軸及び自律神経の状態を示す軸を直交する２つの軸とする２次元座標上にプロットされる点により、推定された前記ユーザの中枢神経の状態、及び、推定された前記ユーザの自律神経の状態を表示する
請求項１または２に記載のユーザ状態可視化システム。
【請求項４】
さらに、推定された前記ユーザの中枢神経の状態、及び、推定された前記ユーザの自律神経の状態に基づいて、前記ウェアラブルデバイスが有するスピーカに音を出力させる出音制御部を備える
請求項１〜３のいずれか１項に記載のユーザ状態可視化システム。
【請求項５】
さらに、前記出音制御部によって前記スピーカから出力された音に対する前記ユーザの主観評価結果を取得する取得部と、
推定された前記ユーザの中枢神経の状態、推定された前記ユーザの自律神経の状態、及び、前記出音制御部によって前記スピーカから出力された音を示す識別情報を、取得された主観評価結果と対応付けて記憶する記憶部とを備える
請求項４に記載のユーザ状態可視化システム。
【請求項６】
前記第一推定部は、前記ユーザの中枢神経の状態として、前記ユーザが覚醒状態及び眠気を感じている眠気状態のいずれであるかを推定し、
前記第二推定部は、前記ユーザの自律神経の状態として、前記ユーザがリラックス状態及び緊張状態のいずれであるかを推定し、
前記出音制御部は、覚醒状態かつ緊張状態であると推定される前記ユーザが、眠気状態に移行した後リラックス状態に移行し、かつ、リラックス状態を維持したまま覚醒状態に移行するように前記スピーカに音を出力させる
請求項４または５に記載のユーザ状態可視化システム。
【請求項７】
さらに、前記脈波計測部によって計測される前記ユーザの脈波に基づいて認証処理を行う認証部を備える
請求項１〜６のいずれか１項に記載のユーザ状態可視化システム。
【請求項８】
前記ユーザ状態可視化システムは、携帯端末と、サーバ装置とを備え、
前記携帯端末は、前記判定部、前記第一推定部、前記第二推定部、及び、前記表示制御部の少なくとも一部を備え、
前記サーバ装置は、前記判定部、前記第一推定部、前記第二推定部、及び、前記表示制御部のうち前記携帯端末に備えられていない構成要素を備える
請求項１〜７のいずれか１項に記載のユーザ状態可視化システム。
【請求項９】
前記ウェアラブルデバイスは、イヤーフック型のウェアラブルデバイスである
請求項１〜８のいずれか１項に記載のユーザ状態可視化システム。
【請求項１０】
前記ウェアラブルデバイスは、メガネ型のウェアラブルデバイスである
請求項１〜８のいずれか１項に記載のユーザ状態可視化システム。
【請求項１１】
前記ウェアラブルデバイスは、ヘッドセット型のウェアラブルデバイスである
請求項１〜８のいずれか１項に記載のユーザ状態可視化システム。
【請求項１２】
前記ウェアラブルデバイスは、帽子型のウェアラブルデバイスである
請求項１〜８のいずれか１項に記載のユーザ状態可視化システム。
【請求項１３】
前記ウェアラブルデバイスは、ネックバンド型のウェアラブルデバイスである
請求項１〜８のいずれか１項に記載のユーザ状態可視化システム。
【請求項１４】
コンピュータによって実行されるユーザ状態可視化方法であって、
ウェアラブルデバイスが有する加速度センサによって出力される加速度データに基づいて、前記ウェアラブルデバイスを装着したユーザが静止しているか否かを判定し、
前記ユーザが静止していると判定されている期間に、前記ウェアラブルデバイスが有する脳波計測部によって計測される前記ユーザの脳波に基づいて、前記ユーザの中枢神経の状態を推定し、
前記ウェアラブルデバイスが有する脈波計測部によって計測される前記ユーザの脈波に基づいて、前記ユーザの自律神経の状態を推定し、
推定された前記ユーザの中枢神経の状態、及び、推定された前記ユーザの自律神経の状態を表示する
ユーザ状態可視化方法。
【請求項１５】
請求項１４に記載のユーザ状態可視化方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ状態可視化システム、及び、ユーザ状態可視化方法に関する。
【背景技術】
【０００２】
脳波などの生体信号を計測する技術が知られている。特許文献１には、このような生体信号を計測する装置として、一定の計測感度を維持しながら安全性を向上し得る耳介装着具が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−００５１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、生体信号に基づいてユーザの中枢神経の状態及び自律神経の状態を可視化することができるユーザ状態可視化システム及びユーザ状態可視化方法を提供する。
【課題を解決するための手段】
【０００５】
本発明の一態様に係るユーザ状態可視化システムは、ウェアラブルデバイスが有する加速度センサによって出力される加速度データに基づいて、前記ウェアラブルデバイスを装着したユーザが静止しているか否かを判定する判定部と、前記ユーザが静止していると判定されている期間に前記ウェアラブルデバイスが有する脳波計測部によって計測される前記ユーザの脳波に基づいて、前記ユーザの中枢神経の状態を推定する第一推定部と、前記ウェアラブルデバイスが有する脈波計測部によって計測される前記ユーザの脈波に基づいて、前記ユーザの自律神経の状態を推定する第二推定部と、推定された前記ユーザの中枢神経の状態、及び、推定された前記ユーザの自律神経の状態を表示する表示制御部とを備える。【０００６】
本発明の一態様に係るユーザ状態可視化方法は、コンピュータによって実行されるユーザ状態可視化方法であって、ウェアラブルデバイスが有する加速度センサによって出力される加速度データに基づいて、前記ウェアラブルデバイスを装着したユーザが静止しているか否かを判定し、前記ユーザが静止していると判定されている期間に、前記ウェアラブルデバイスが有する脳波計測部によって計測される前記ユーザの脳波に基づいて、前記ユーザの中枢神経の状態を推定し、前記ウェアラブルデバイスが有する脈波計測部によって計測される前記ユーザの脈波に基づいて、前記ユーザの自律神経の状態を推定し、推定された前記ユーザの中枢神経の状態、及び、推定された前記ユーザの自律神経の状態を表示する。【０００７】
本発明の一態様に係るプログラムは、前記ユーザ状態可視化方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【０００８】
本発明によれば、生体信号に基づいてユーザの中枢神経の状態及び自律神経の状態を可視化することができるユーザ状態可視化システム及びユーザ状態可視化方法が実現される。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態に係るユーザ状態可視化システムの概要を示す図である。
【図２】図２は、実施の形態に係るユーザ状態可視化システムの機能構成を示すブロック図である。
【図３】図３は、携帯端末の表示部に表示される画像の一例を示す図である。
【図４】図４は、実施の形態に係るユーザ状態可視化システムの動作例１のフローチャートである。
【図５】図５は、加速度データの一例を示す図である。
【図６】図６は、中枢神経の状態の推定方法を説明するための図である。
【図７】図７は、自律神経の状態の推定方法を説明するための図である。
【図８】図８は、実施の形態に係るユーザ状態可視化システムの動作例２のフローチャートである。
【図９】図９は、ユーザの状態の好ましい変化例を示す図である。
【図１０】図１０は、ウェアラブルデバイスの第一の変形例を示す図である。
【図１１】図１１は、ウェアラブルデバイスの第二の変形例を示す図である。
【図１２】図１２は、ウェアラブルデバイスの第三の変形例を示す図である。
【図１３】図１３は、ウェアラブルデバイスの第四の変形例を示す図である。
【発明を実施するための形態】
【００１０】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１１】
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
【００１２】
（実施の形態）
［ユーザ状態可視化システムの概要］
まず、実施の形態に係るユーザ状態可視化システムの概要について説明する。図１は、実施の形態に係るユーザ状態可視化システムの概要を示す図である。図２は、実施の形態に係るユーザ状態可視化システムの機能構成を示すブロック図である。
【００１３】
実施の形態に係るユーザ状態可視化システム１０は、ウェアラブルデバイス２０と、携帯端末３０とを備える。図２に示されるように、ユーザ状態可視化システム１０は、サーバ装置４０を備えてもよい。ユーザ状態可視化システム１０は、ウェアラブルデバイス２０によって計測されるユーザ５０の生体信号に基づいて、ユーザ５０の中枢神経の状態、及び、ユーザ５０の自律神経の状態を推定し、可視化することができる。ユーザ５０の中枢神経の状態、及び、推定されたユーザ５０の自律神経の状態は、具体的には、携帯端末３０が備える表示部に表示される。図３は、携帯端末３０の表示部に表示される画像の一例を示す図である。
【００１４】
図３に示されるように、携帯端末３０の表示部３４には、ユーザ５０の中枢神経の状態を示す第一軸（縦軸）、及び、ユーザ５０の自律神経の状態を示す第二軸（横軸）によって構成される２次元座標と、ユーザの現在の状態を示す点（Ｐ１〜Ｐ３のいずれか１つ）とが表示される。ユーザ状態可視化システム１０は、例えば、リアルタイムにユーザの状態を推定する。したがって、表示部３４に表示されるユーザの状態を示す点は、例えば、Ｐ１→Ｐ２→Ｐ３のように時間の経過とともに動く。なお、表示部３４には、ユーザの状態を示す点の移動軌跡（例えば、図３のＰ１、Ｐ２、Ｐ３を結ぶ破線など）が表示されてもよい。
【００１５】
図３のゾーン１〜４は、以下のように定義される。ユーザ５０の中枢神経の状態をリラックス状態及び緊張状態のいずれかに区別し、ユーザ５０の自律神経の状態をユーザ５０が覚醒状態及び眠気を感じている眠気状態（言い換えれば、覚醒度が相対的に低い非覚醒状態）のいずれかに区別した場合、ゾーン１は、ユーザ５０が覚醒状態かつ緊張状態であることを示すゾーンである。ゾーン２は、ユーザ５０が眠気状態かつ緊張状態であることを示すゾーンであり、ゾーン３は、ユーザ５０が眠気状態かつリラックス状態であることを示すゾーンであり、ゾーン４は、ユーザ５０が覚醒状態かつリラックス状態であることを示すゾーンである。
【００１６】
［ウェアラブルデバイス］
以下、このようなユーザ状態可視化システム１０の構成について詳細に説明する。まず、ウェアラブルデバイス２０について説明する。
【００１７】
ウェアラブルデバイス２０は、イヤーフック型（耳掛け型）のデバイスであり、ユーザ５０の生体信号として脳波（ＥＥＧ：ＥｌｅｃｔｒｏＥｎｃｅｐｈａｌｏＧｒａｍ）及び脈波（ＰＰＧ：ＰｈｏｔｏＰｌｅｔｈｙｓｍｏＧｒａｍ）を計測する。ウェアラブルデバイス２０は、加速度センサ２１と、脳波計測部２２と、脈波計測部２３と、制御部２４と、記憶部２５と、通信部２６と、スピーカ２７とを備える。
【００１８】
加速度センサ２１は、例えば、３軸加速度センサであり、Ｘ、Ｙ、Ｚの各方向の加速度を計測し、計測結果を加速度データとして出力する。加速度データは、ユーザ５０が静止状態であるか否かの判定に用いられる。加速度センサ２１は、ピエゾ抵抗型の加速度センサであってもよいし、静電容量型の加速度センサであってもよいし、熱検知型の加速度センサであってもよい。
【００１９】
脳波計測部２２は、ユーザ５０の脳波を計測する。脳波計測部２２は、具体的には、ユーザ５０の耳上部（言い換えれば、側頭部）に接する第１の電極と、ユーザ５０の耳たぶに接する第２電極との間の電圧値を計測して脳波データとして出力する回路である。なお、第１の電極及び第２の電極の位置は一例であり、特に限定されない。
【００２０】
脈波計測部２３は、ユーザ５０の脈波を計測する。脈波計測部２３は、具体的には、光電脈波法を用いて脈波を計測する脈波センサである。光電脈波法は、赤外光または赤色光（反射型の場合は緑色光も使用可能）を体表面に照射し、体内を透過する光の変化量または体内で反射する光の変化量を、血流量の変化としてとらえる脈波の計測方法である。脈波計測部２３は、例えば、ユーザ５０の耳たぶ付近を対象として脈波を計測し、脈波データを出力する。
【００２１】
制御部２４は、加速度センサ２１によって出力される加速度データ、脳波計測部２２によって出力される脳波データ、及び、脈波計測部２３によって出力される脈波データを通信部２６に携帯端末３０へ送信させる。制御部２４は、具体的には、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。
【００２２】
記憶部２５は、加速度データ、脳波データ、及び、脈波データを通信部２６に送信させるために制御部２４が実行するプログラムが記憶される記憶装置である。記憶部２５には、加速度データ、脳波データ、及び、脈波データが一時的に記憶されてもよい。記憶部２５は、例えば、半導体メモリなどによって実現される。
【００２３】
通信部２６は、制御部２４の制御に基づいて、加速度データ、脳波データ、及び、脈波データを携帯端末３０に送信する。通信部２６は、具体的には、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。通信部２６によって行われる通信の通信規格は、特に限定されない。
【００２４】
スピーカ２７は、制御部２４の制御に基づいて音を出力する。つまり、ウェアラブルデバイス２０は、イヤホン機能を有する。スピーカ２７は、一般的なイヤホンに用いられるスピーカであってもよいし、骨伝導スピーカであってもよい。
【００２５】
［携帯端末］
携帯端末３０は、ウェアラブルデバイス２０から加速度データ、脳波データ、及び、脈波データを取得し、これらのデータに基づいてユーザ５０の状態を可視化する。つまり、携帯端末３０は、ウェアラブルデバイス２０から取得したデータに基づいて、図３のような画像を表示する。携帯端末３０は、具体的には、スマートフォンまたはタブレット端末などである。携帯端末３０は、通信部３１と、情報処理部３２と、記憶部３３と、表示部３４と、操作受付部３５とを備える。
【００２６】
通信部３１は、加速度データ、脳波データ、及び、脈波データをウェアラブルデバイス２０の通信部２６から受信する。通信部３１は、具体的には、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。通信部３１によって行われる通信の通信規格は、特に限定されない。なお、通信部３１は、携帯端末３０とサーバ装置４０との通信にも用いられる。
【００２７】
情報処理部３２は、通信部３１によって受信されたデータを入力として、ユーザ５０の状態を可視化するための情報処理を行う。情報処理部３２は、具体的には、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。情報処理部３２は、具体的には、判定部３２ａと、第一推定部３２ｂと、第二推定部３２ｃと、表示制御部３２ｄと、出音制御部３２ｅと、取得部３２ｆと、認証部３２ｇとを備える。
【００２８】
記憶部３３は、情報処理部３２がユーザ５０の状態を可視化するための情報処理を行うために実行するプログラム、当該情報処理に必要な各種情報などが記憶される記憶装置である。記憶部３３は、例えば、半導体メモリなどによって実現される。
【００２９】
表示部３４は、情報処理部３２（より詳細には、表示制御部３２ｄ）の制御に基づいて画像を表示する。表示部３４は、例えば、図３のような画像を表示する。表示部３４は、例えば、液晶パネルまたは有機ＥＬパネルなどの表示パネルによって実現される。
【００３０】
操作受付部３５は、ユーザ５０の操作を受け付ける。操作受付部３５は、例えば、タッチパネルによって実現されるが、ハードウェアボタンによって実現されてもよい。
【００３１】
［動作例１］
次に、ユーザ状態可視化システム１０の動作例１について説明する。図４は、ユーザ状態可視化システム１０の動作例１のフローチャートである。
【００３２】
まず、判定部３２ａは、加速度センサ２１によって出力される加速度データであって、通信部３１によって受信された加速度データに基づいて、ユーザ５０が静止しているか否かを判定する（Ｓ１１）。図５は、加速度データの一例を示す図である。なお、図５は、立っている状態のユーザ５０が座って静止したときの加速度データを示している。Ｚ軸方向は上下方向であり、Ｘ軸方向は前後方向であり、Ｙ軸方向は左右方向である。
【００３３】
判定部３２ａは、加速度データに含まれるＸ軸方向の加速度の大きさ、Ｙ軸方向の加速度の大きさ、及び、Ｚ軸方向の加速度の大きさの全てが所定値未満であるときに、ユーザ５０が静止していると判定する。一方、判定部３２ａは、Ｘ軸方向の加速度の大きさ、Ｙ軸方向の加速度の大きさ、及び、Ｚ軸方向の加速度の大きさの少なくとも１つが所定値以上であるときには、ユーザ５０が静止していないと判定する。なお、図５に示されるような加速度データの波形によれば、立っている状態のユーザ５０が座って静止したか、座っている状態のユーザ５０が立って静止したかを区別することも可能である。
【００３４】
次に、第一推定部３２ｂは、通信部３１によって受信された脳波データ（つまり、脳波計測部２２によって計測されるユーザ５０の脳波）に基づいて、ユーザ５０の中枢神経の状態を推定する（Ｓ１２）。
【００３５】
脳波の振幅は、数μＶ〜数十μＶオーダと非常に小さく、脳波には、ユーザ５０の頭部または頸部の筋活動によって生じるノイズが容易に混入してしまう。そこで、第一推定部３２ｂは、判定部３２ａによってユーザ５０が静止していると判定されている期間に脳波計測部２２によって計測されるユーザ５０の脳波を選択的に用いて中枢神経の状態を推定する。つまり、第一推定部３２ｂは、判定部３２ａによってユーザ５０が静止していないと判定されている期間に脳波計測部２２によって計測されるユーザ５０の脳波を、中枢神経の状態の推定に使用しない。これにより、ユーザ５０の筋活動によるノイズが少ない脳波を使用して中枢神経の状態が推定されるため、推定精度が高められる。
【００３６】
以下、中枢神経の状態の推定方法について具体的に説明する。図６は、中枢神経の状態の推定方法を説明するための図である。第一推定部３２ｂは、図６の（ａ）に示される脳波データを周波数分析することにより、δ波、θ波、α波、β波、γ波などの各周波数成分のパワーを算出する。これにより、第一推定部３２ｂは、図６の（ｂ）に示されるように各周波数成分のパワー比率の時間変化を求めることができる。
【００３７】
そして、第一推定部３２ｂは、例えば、全ての成分に占めるα波成分（つまり、８Ｈｚ〜１３Ｈｚの成分）の割合に基づいて、ユーザ５０の中枢神経の状態を示す第一評価値を決定する。図３に示されるように座標においては、第一評価値が大きいほど覚醒度が高いことを示す。この場合、第一推定部３２ｂは、全ての成分に占めるα波成分の割合が小さいほど、第一評価値を大きくする。つまり、第一推定部３２ｂは、ユーザ５０の覚醒度が高いと推定する。なお、このような第一評価値の決定方法は一例であり、既存の他の方法が用いられてもよい。
【００３８】
次に、第二推定部３２ｃは、通信部３１によって受信された脈波データ（つまり、脈波計測部２３によって計測されるユーザ５０の脈波）に基づいて、ユーザ５０の自律神経の状態を推定する（Ｓ１３）。
【００３９】
なお、第二推定部３２ｃは、判定部３２ａによってユーザ５０が静止していると判定されている期間に脈波計測部２３によって計測されるユーザ５０の脈波を選択的に用いて自律神経の状態を推定してもよい。つまり、第二推定部３２ｃは、判定部３２ａによってユーザ５０が静止していないと判定されている期間に脈波計測部２３によって計測されるユーザ５０の脈波を、自律神経の状態の推定に使用しなくてもよい。これにより、推定精度が高められる。
【００４０】
以下、自律神経の状態の推定方法について具体的に説明する。図７は、自律神経の状態の推定方法を説明するための図である。第二推定部３２ｃは、図７の（ａ）に示される脈波データの時間に関する二階微分波形（加速度脈波の波形）を周波数分析することにより、ＬＦ（０．０５Ｈｚ〜０．１５Ｈｚの周波数成分）及びＨＦ（０．１５Ｈｚ〜０．４０Ｈｚの周波数成分）の各周波数成分のパワーを算出する。これにより、第二推定部３２ｃは、図７の（ｂ）に示されるようにＬＦ／ＨＦのパワー比率（以下、単にＬＦ／ＨＦ比とも記載される）の時間変化を求めることができる。
【００４１】
そして、第二推定部３２ｃは、例えば、ＬＦ／ＨＦ比に基づいて、ユーザ５０の自律神経の状態を示す第二評価値を決定する。図３に示されるように座標においては、第二評価値が大きいほどリラックス度が高い（副交感神経の働きが交感神経の働きよりも優位である）ことを示す。この場合、第二推定部３２ｃは、全ての成分に占めるＬＦ／ＨＦ比が小さいほど、第二評価値を大きくする。つまり、第二推定部３２ｃは、ユーザ５０のリラックス度が高いと推定する。なお、このような第二評価値の決定方法は一例であり、既存の他の方法が用いられてもよい。
【００４２】
その後、表示制御部３２ｄは、推定されたユーザ５０の中枢神経の状態（つまり、第一評価値）、及び、推定されたユーザ５０の自律神経の状態（つまり、第二評価値）を表示する（Ｓ１４）。表示制御部３２ｄは、具体的には、第一評価値及び第二評価値を示す点がマッピングされた２次元座標（図３に示されるような座標）を、表示部３４を用いて表示する。つまり、表示制御部３２ｄは、２次元座標上にプロットされる点により、推定されたユーザ５０の中枢神経の状態、及び、推定されたユーザ５０の自律神経の状態を表示する。
【００４３】
２次元座標上にプロットされる点は、例えば、ユーザ５０の操作受付部３５への操作に基づいて適宜表示（更新）される。２次元座標上にプロットされる点は、ユーザ５０の操作によらずリアルタイムに更新されてもよい。つまり、表示制御部３２ｄは、推定されたユーザ５０の中枢神経の状態、及び、推定されたユーザ５０の自律神経の状態をリアルタイム表示してもよい。ここでのリアルタイム表示は、厳密な意味のリアルタイム表示ではなく広義のリアルタイム表示を意味する。ここでのリアルタイム表示は、時間の経過とともに適宜表示内容が更新されることを意味し、数秒〜数十分程度のタイムラグがあってもよい。
【００４４】
以上説明したように、ユーザ状態可視化システム１０は、ウェアラブルデバイス２０によって計測されるユーザ５０の生体信号に基づいて、ユーザ５０の中枢神経の状態、及び、ユーザ５０の自律神経の状態を推定し、可視化することができる。また、ユーザ状態可視化システム１０は、ユーザ５０が静止していると判定されたときに計測される脳波（つまり、ノイズが少ないと考えられる脳波）に基づいてユーザ５０の中枢神経の状態を推定することで、中枢神経の状態の推定精度を向上することができる。
【００４５】
［動作例２］
ユーザ状態可視化システム１０は、ユーザ５０の状態に応じてウェアラブルデバイス２０のスピーカ２７から音を出力することにより、ユーザ５０を任意の状態に近づけることもできる。以下、このようなユーザ状態可視化システム１０の動作例２について説明する。図８は、ユーザ状態可視化システム１０の動作例２のフローチャートである。
【００４６】
まず、判定部３２ａは、通信部３１によって受信された加速度データに基づいて、ユーザ５０が静止しているか否かを判定する（Ｓ１１）。次に、第一推定部３２ｂは、判定部３２ａによってユーザ５０が静止していると判定されている期間に脳波計測部２２によって計測されるユーザ５０の脳波に基づいて、ユーザ５０の中枢神経の状態を推定する（Ｓ１２）。第二推定部３２ｃは、脈波計測部２３によって計測されるユーザ５０の脈波に基づいて、ユーザ５０の自律神経の状態を推定する（Ｓ１３）。表示制御部３２ｄは、推定されたユーザ５０の中枢神経の状態、及び、推定されたユーザ５０の自律神経の状態を表示する（Ｓ１４）。なお、動作例２では、ステップＳ１４は省略されてもよい。
【００４７】
その後、出音制御部３２ｅは、ステップＳ１２において推定されたユーザ５０の中枢神経の状態、及び、ステップＳ１３において推定されたユーザ５０の自律神経の状態に基づいて、スピーカ２７に音を出力させる（Ｓ１５）。ここでの音は、例えば、楽曲（音楽）である。
【００４８】
記憶部３３においては、図３のゾーン１〜４と、状態が当該ゾーンに属するユーザ５０が心地よく感じると考えられる楽曲の楽曲データがデータベース化されている。このような楽曲データのデータベースは経験的または実験的にあらかじめ作成される。
【００４９】
例えば、ステップＳ１２及びステップＳ１３において推定されたユーザの状態がゾーン１に属する場合、出音制御部３２ｅは、記憶部３３に記憶された楽曲の中からゾーン１に属するユーザ５０が心地よく感じると考えられる楽曲の楽曲データを選択する。続いて、出音制御部３２ｅは、選択した楽曲データを含む出音指示信号を通信部３１にウェアラブルデバイス２０へ送信させる。ウェアラブルデバイス２０の通信部２６によって出音指示信号が受信されると、制御部２４は、出音指示信号に含まれる楽曲データに対応する楽曲をスピーカ２７に出力させる。
【００５０】
その後、取得部３２ｆは、操作受付部３５が受け付けたユーザ５０の操作に基づいて、出音制御部３２ｅによってスピーカ２７から出力された音に対するユーザ５０の主観評価結果を取得する（Ｓ１６）。主観評価結果は、例えば、２段階以上のスコアで表現されるが、主観評価結果の具体的態様は特に限定されない。
【００５１】
そうすると、記憶部３３は、出音制御部３２ｅの制御に基づいて、ステップＳ１２において推定されたユーザ５０の中枢神経の状態、ステップＳ１３において推定されたユーザ５０の自律神経の状態、及び、ステップＳ１５において出音制御部３２ｅによってスピーカから出力された音を示す識別情報（つまり、楽曲データの識別情報）を、取得された主観評価結果と対応付けて評価情報として記憶する（Ｓ１７）。このような評価情報は、ユーザ５０がどのような状態のときにどのような楽曲を好むかを把握するための情報として有用である。
【００５２】
以上説明したように、ユーザ状態可視化システム１０は、推定したユーザ５０の状態に基づいて、ウェアラブルデバイス２０のスピーカ２７から音を出力させる。ユーザ５０の状態に応じて適切な音が出力されれば、ユーザ５０の快適性を高めることができる。
【００５３】
なお、出音制御部３２ｅがどのような楽曲データを選択するかは、機械学習によって決定されてもよい。この場合、例えば、出音制御部３２ｅは、推定されたユーザ５０の中枢神経の状態（例えば、第一評価値）、及び、推定されたユーザ５０の自律神経の状態（例えば、第二評価値）を入力とし、楽曲データの価値を定める価値関数に基づいて楽曲データの識別情報を出力する学習モデルによって実現される。この学習モデルは、主観評価結果を報酬として用いる機械学習（より具体的には、強化学習）によって価値関数を更新する。
【００５４】
また、出音制御部３２ｅは、ユーザ５０の状態を変化させるためにスピーカ２７に音を出力させてもよい。例えば、ユーザ５０の状態がゾーン１に属する場合であって、ユーザ５０が仮眠をとるような場合、ユーザ５０の状態は、図９の矢印に示されるように、ゾーン１、ゾーン２、ゾーン３、ゾーン４の順に変化することが望ましい。図９は、ユーザ５０の状態の好ましい変化例を示す図である。
【００５５】
例えば、記憶部３３に、ユーザ５０の状態をゾーン１からゾーン２に向けて変化させるための楽曲データ、ゾーン２からゾーン３に向けて変化させるための楽曲データ、ゾーン３からゾーン４に向けて変化させるための楽曲データがそれぞれ記憶されていれば、出音制御部３２ｅは、適宜楽曲を選択することにより、ユーザ５０の状態の変化を図９の矢印に示されるような変化に近づけることができる。具体的には、出音制御部３２ｅは、覚醒状態かつ緊張状態である（つまり、状態がゾーン１に属する）と推定されるユーザ５０が、眠気状態に移行した後リラックス状態に移行し、かつ、リラックス状態を維持したまま覚醒状態に移行するようにスピーカ２７に音を出力させることができる。
【００５６】
［変形例１］
ユーザ状態可視化システム１０は、クライアントサーバシステムとして実現されてもよい。つまり、ユーザ状態可視化システム１０は、携帯端末３０に加えてサーバ装置４０を備えてもよい。例えば、上記実施の形態において、携帯端末３０に行われた処理の一部または全部がサーバ装置４０によって行われてもよい。
【００５７】
より具体的には、サーバ装置４０は、上記実施の形態における判定部３２ａ、第一推定部３２ｂ、及び、第二推定部３２ｃに相当する構成要素を備え、携帯端末３０は、判定部３２ａ、第一推定部３２ｂ、及び、第二推定部３２ｃを備えなくてもよい。なお、このような構成要素の振り分けは一例であり、上記実施の形態で説明された各構成要素（後述の認証部３２ｇを含む）は、携帯端末３０及びサーバ装置４０に同様に振り分けられてもよい。
【００５８】
［変形例２］
ところで、脈波計測部２３によって計測される脈波の波形は、人によって異なる。そこで、脈波の波形は、個人認証に用いられてもよい。携帯端末３０の認証部３２ｇは、例えば、脈波計測部２３が計測した脈波の波形と、記憶部３３にあらかじめ記憶（登録）された基準波形（つまり、携帯端末３０の所有者の脈波の波形）とを照合することにより、ウェアラブルデバイス２０のユーザ５０が携帯端末３０の所有者と一致するか否かの認証処理を行うことができる。このような認証処理は、例えば、携帯端末３０のロック画面の解除に用いられる。また、変形例１のようにユーザ状態可視化システム１０による可視化サービスがサーバ装置４０を介して提供される場合、上記認証処理は、ログイン認証に用いられてもよい。
【００５９】
［変形例３］
ウェアラブルデバイス２０はイヤーフック型に限定されない。図１０〜図１３は、ウェアラブルデバイス２０の変形例を示す図である。図１０に示されるウェアラブルデバイス２０ａは、メガネ型（言い換えれば、アイウェア型）であり、図１１に示されるウェアラブルデバイス２０ｂは、ヘッドセット型（言い換えれば、ヘッドフォン型）である。図１２に示されるウェアラブルデバイス２０ｃは、帽子型（図１２ではキャップ型であるが、ニット帽型なども含む）であり、図１３に示されるウェアラブルデバイス２０ｄは、ネックバンド型である。
【００６０】
このように、ユーザ状態可視化システム１０に用いられるウェアラブルデバイスは、例えば、ユーザ５０の頭部または首に装着される。
【００６１】
［効果等］
以上説明したように、ユーザ状態可視化システム１０は、ウェアラブルデバイス２０が有する加速度センサ２１によって出力される加速度データに基づいて、ウェアラブルデバイス２０を装着したユーザ５０が静止しているか否かを判定する判定部３２ａと、ユーザ５０が静止していると判定されている期間にウェアラブルデバイス２０が有する脳波計測部２２によって計測されるユーザ５０の脳波に基づいて、ユーザ５０の中枢神経の状態を推定する第一推定部３２ｂと、ウェアラブルデバイス２０が有する脈波計測部２３によって計測されるユーザ５０の脈波に基づいてユーザ５０の自律神経の状態を推定する第二推定部３２ｃと、推定されたユーザ５０の中枢神経の状態、及び、推定されたユーザ５０の自律神経の状態を表示する表示制御部３２ｄとを備える。
【００６２】
このようなユーザ状態可視化システム１０は、脳波及び脈波に基づいてユーザの中枢神経の状態及び自律神経の状態を可視化することができる。また、ユーザ５０が静止していると判定される期間に計測されたノイズが少ないと考えられる脳波を使用して中枢神経の状態が推定されるため、推定精度が高められる。
【００６３】
また、例えば、表示制御部３２ｄは、推定されたユーザ５０の中枢神経の状態、及び、推定されたユーザ５０の自律神経の状態をリアルタイム表示する。
【００６４】
このようなユーザ状態可視化システム１０は、脳波及び脈波に基づいてユーザの中枢神経の状態及び自律神経の状態をリアルタイムに可視化することができる。
【００６５】
また、例えば、表示制御部３２ｄは、中枢神経の状態を示す軸及び自律神経の状態を示す軸を直交する２つの軸とする２次元座標上にプロットされる点により、推定されたユーザ５０の中枢神経の状態、及び、推定されたユーザ５０の自律神経の状態を表示する。
【００６６】
このようなユーザ状態可視化システム１０は、ユーザの中枢神経の状態及び自律神経の状態を２次元座標で表現することができる。
【００６７】
また、例えば、ユーザ状態可視化システム１０は、さらに、推定されたユーザ５０の中枢神経の状態、及び、推定されたユーザ５０の自律神経の状態に基づいて、ウェアラブルデバイス２０が有するスピーカ２７に音を出力させる出音制御部３２ｅを備える。
【００６８】
このようなユーザ状態可視化システム１０は、ユーザの状態に適した音をスピーカ２７から出力することができる。
【００６９】
また、例えば、ユーザ状態可視化システム１０は、さらに、出音制御部３２ｅによってスピーカ２７から出力された音に対するユーザ５０の主観評価結果を取得する取得部３２ｆと、推定されたユーザ５０の中枢神経の状態、推定されたユーザ５０の自律神経の状態、及び、出音制御部３２ｅによってスピーカ２７から出力された音を示す識別情報を、取得された主観評価結果と対応付けて記憶する記憶部３３とを備える。
【００７０】
このようなユーザ状態可視化システム１０は、ユーザ５０がどのような状態のときにどのような楽曲を好むかを把握するための情報を提供することが可能である。
【００７１】
また、例えば、第一推定部３２ｂは、ユーザ５０の中枢神経の状態として、ユーザ５０が覚醒状態及び眠気を感じている眠気状態のいずれであるかを推定し、第二推定部３２ｃは、ユーザ５０の自律神経の状態として、ユーザ５０がリラックス状態及び緊張状態のいずれであるかを推定する。出音制御部３２ｅは、覚醒状態かつ緊張状態であると推定されるユーザ５０が、眠気状態に移行した後リラックス状態に移行し、かつ、リラックス状態を維持したまま覚醒状態に移行するようにスピーカ２７に音を出力させる。
【００７２】
このようなユーザ状態可視化システム１０は、ユーザ５０の状態を仮眠に適した状態に導くことができる。
【００７３】
また、例えば、ユーザ状態可視化システム１０は、さらに、脈波計測部２３によって計測されるユーザ５０の脈波に基づいて認証処理を行う認証部３２ｇを備える。
【００７４】
このようなユーザ状態可視化システム１０は、ユーザ５０の自律神経の状態を推定するための脈波を認証処理にも使用することができる。
【００７５】
また、例えば、ユーザ状態可視化システム１０は、携帯端末３０と、サーバ装置４０とを備える。携帯端末３０は、判定部３２ａ、第一推定部３２ｂ、第二推定部３２ｃ、及び、表示制御部３２ｄの少なくとも一部を備える。サーバ装置４０は、判定部３２ａ、第一推定部３２ｂ、第二推定部３２ｃ、及び、表示制御部３２ｄのうち携帯端末３０に備えられていない構成要素を備える。
【００７６】
このようなユーザ状態可視化システム１０は、携帯端末３０及びサーバ装置４０によって実現可能である。
【００７７】
また、例えば、ウェアラブルデバイス２０は、イヤーフック型のウェアラブルデバイスである。
【００７８】
このようなユーザ状態可視化システム１０は、イヤーフック型のウェアラブルデバイス２０によって計測される脳波及び脈波に基づいてユーザの中枢神経の状態及び自律神経の状態を可視化することができる。
【００７９】
また、例えば、ウェアラブルデバイス２０ａは、メガネ型のウェアラブルデバイスである。
【００８０】
このようなユーザ状態可視化システム１０は、メガネ型のウェアラブルデバイス２０ａによって計測される脳波及び脈波に基づいてユーザの中枢神経の状態及び自律神経の状態を可視化することができる。
【００８１】
また、例えば、ウェアラブルデバイス２０ｂは、ヘッドセット型のウェアラブルデバイスである。
【００８２】
このようなユーザ状態可視化システム１０は、ヘッドセット型のウェアラブルデバイス２０ｂによって計測される脳波及び脈波に基づいてユーザの中枢神経の状態及び自律神経の状態を可視化することができる。
【００８３】
また、例えば、ウェアラブルデバイス２０ｃは、帽子型のウェアラブルデバイスである。
【００８４】
このようなユーザ状態可視化システム１０は、帽子型のウェアラブルデバイス２０ｃによって計測される脳波及び脈波に基づいてユーザの中枢神経の状態及び自律神経の状態を可視化することができる。
【００８５】
また、例えば、ウェアラブルデバイス２０ｄは、ネックバンド型のウェアラブルデバイスである。
【００８６】
このようなユーザ状態可視化システム１０は、ネックバンド型のウェアラブルデバイス２０ｄによって計測される脳波及び脈波に基づいてユーザの中枢神経の状態及び自律神経の状態を可視化することができる。
【００８７】
また、ユーザ状態可視化システム１０などのコンピュータによって実行されるユーザ状態可視化方法は、ウェアラブルデバイス２０が有する加速度センサ２１によって出力される加速度データに基づいて、ウェアラブルデバイス２０を装着したユーザ５０が静止しているか否かを判定し、ユーザ５０が静止していると判定されている期間にウェアラブルデバイス２０が有する脳波計測部２２によって計測されるユーザ５０の脳波に基づいて、ユーザ５０の中枢神経の状態を推定し、ウェアラブルデバイス２０が有する脈波計測部２３によって計測されるユーザ５０の脈波に基づいてユーザ５０の自律神経の状態を推定し、推定されたユーザ５０の中枢神経の状態、及び、推定されたユーザ５０の自律神経の状態を表示する。
【００８８】
このようなユーザ状態可視化方法は、脳波及び脈波に基づいてユーザの中枢神経の状態及び自律神経の状態を可視化することができる。また、ユーザ５０が静止していると判定される期間に計測されたノイズが少ないと考えられる脳波を使用して中枢神経の状態が推定されるため、推定精度が高められる。
【００８９】
（その他の実施の形態）
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。
【００９０】
例えば、上記実施の形態では、ユーザの状態が二次元座標によって表示されたが、ユーザの状態の表示態様は特に限定されない。ユーザの状態は、例えば、上記実施の形態の第一評価値（または第二評価値）に相当する数値（つまり、文字）で表示されてもよい。
【００９１】
また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
【００９２】
また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【００９３】
また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
【００９４】
また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００９５】
例えば、本発明は、上記実施の形態の携帯端末として実現されてもよいし、携帯端末に相当するシステムとして実現されてもよい。また、本発明は、ユーザ状態可視化方法として実現されてもよいし、ユーザ状態可視化方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。なお、プログラムには、汎用の携帯端末を上記実施の形態の携帯端末として動作させるためのアプリケーションプログラムが含まれる。
【００９６】
また、上記実施の形態では、ユーザ状態可視化システムは、複数の装置によって実現されたが、単一の装置として実現されてもよい。ユーザ状態可視化システムが複数の装置によって実現される場合、上記実施の形態で説明されたユーザ状態可視化システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。
【００９７】
その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
【符号の説明】
【００９８】
１０  ユーザ状態可視化システム
２０、２０ａ、２０ｂ、２０ｃ、２０ｄ  ウェアラブルデバイス
２１  加速度センサ
２２  脳波計測部
２３  脈波計測部
２７  スピーカ
３０  携帯端末
３２ａ  判定部
３２ｂ  第一推定部
３２ｃ  第二推定部
３２ｄ  表示制御部
３２ｅ  出音制御部
３２ｆ  取得部
３２ｇ  認証部
３３  記憶部
４０  サーバ装置
５０  ユーザ
【図１】
2020153165.tif 000003
【図２】
2020153165.tif 000004
【図３】
2020153165.tif 000005
【図４】
2020153165.tif 000006
【図５】
2020153165.tif 000007
【図６】
2020153165.tif 000008
【図７】
2020153165.tif 000009
【図８】
2020153165.tif 000010
【図９】
2020153165.tif 000011
【図１０】
2020153165.tif 000012
【図１１】
2020153165.tif 000013
【図１２】
2020153165.tif 000014
【図１３】
2020153165.tif 000015
【国際調査報告】
2020153165.tif 000016
2020153165.tif 000017
2020153165.tif 000018
2020153165.tif 000019
2020153165.tif 000020
2020153165.tif 000021