(57)【要約】【課題】ユーザーの頭部に着用されている装置から行動情報と生体情報を取得して、ユーザーの状態を解析することができる情報処理装置を提供する。【解決手段】情報処理装置の第１取得手段は、ユーザーの頭部に着用されている装置から、該ユーザーの頭部の動きを示す情報である行動情報を取得し、第２取得手段は、前記装置から、前記ユーザーの生体情報を取得し、解析手段は、前記行動情報と前記生体情報に基づいて、前記ユーザーの状態を解析する。【選択図】図１
2020201536.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの頭部に着用されている装置から、該ユーザーの頭部の動きを示す情報である行動情報を取得する第１取得手段と、
前記装置から、前記ユーザーの生体情報を取得する第２取得手段と、
前記行動情報と前記生体情報に基づいて、前記ユーザーの状態を解析する解析手段
を有する情報処理装置。
【請求項２】
前記解析手段によって解析された前記ユーザーの状態に応じて、前記装置に備え付けられている出力装置に情報を出力するように制御する出力制御手段
をさらに有する請求項１に記載の情報処理装置。
【請求項３】
前記出力制御手段は、前記ユーザーの状態に応じた音声情報を、前記装置に備え付けられている出力装置で出力するように制御する、
請求項２に記載の情報処理装置。
【請求項４】
前記装置から、前記ユーザーの音声又は該ユーザーの周囲からの音声を示す情報である音声情報を取得する第３取得手段
をさらに有し、
前記解析手段は、前記行動情報と前記生体情報と前記音声情報に基づいて、前記ユーザーの状態を解析する、
請求項１に記載の情報処理装置。
【請求項５】
前記解析手段は、前記ユーザーのスケジュールを取得し、該スケジュールでは音声が発生されている時間であるにもかかわらず、前記第３取得手段が音声情報を取得していない場合は、前記装置に備え付けられているマイクが故障である可能性があると解析する、
請求項４に記載の情報処理装置。
【請求項６】
前記解析手段は、前記第１取得手段が取得した行動情報が頭部のゆらぎ示す情報を含んでいない場合は、前記装置に備え付けられている動きを検知するセンサーが故障である可能性があると解析する、
請求項４に記載の情報処理装置。
【請求項７】
前記解析手段は、前記装置に備え付けられている動きを検知するセンサーが故障である可能性があると解析した場合は、前記音声情報と前記生体情報に基づいて、前記ユーザーの状態を解析する、
請求項６に記載の情報処理装置。
【請求項８】
ユーザーの頭部に着用されており、
前記ユーザーの頭部の動きを検知する第１検知手段と、
前記ユーザーの生体情報を検知する第２検知手段と、
前記ユーザーの頭部の動きを示す情報である行動情報と該ユーザーの生体情報を情報処理装置に送信する送信手段
を有する装置と、
前記装置から、前記ユーザーの頭部の動きを示す情報である行動情報を取得する第１取得手段と、
前記装置から、前記ユーザーの生体情報を取得する第２取得手段と、
前記行動情報と前記生体情報に基づいて、前記ユーザーの状態を解析する解析手段
を有する情報処理装置
を有する情報処理システム。
【請求項９】
前記情報処理装置は、
前記ユーザーの状態又は該ユーザーの環境の状態を検知する第３検知手段
をさらに有し、
前記解析手段は、前記行動情報と前記生体情報と前記ユーザーの状態又は該ユーザーの環境の状態に基づいて、前記ユーザーの状態を解析する、
請求項８に記載の情報処理システム。
【請求項１０】
コンピュータを、
ユーザーの頭部に着用されている装置から、該ユーザーの頭部の動きを示す情報である行動情報を取得する第１取得手段と、
前記装置から、前記ユーザーの生体情報を取得する第２取得手段と、
前記行動情報と前記生体情報に基づいて、前記ユーザーの状態を解析する解析手段
として機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム及び情報処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、インタフェース装置を用いて活動しているユーザーの脳内知的活動状態を推定可能な装置を提供することを課題とし、脳内知的活動推定装置は、ユーザーとの間で知的活動情報を入出力して知的活動情報を処理可能なインタフェース装置に接続される装置であり、ユーザーより取得した脳波データから脳波情報を時系列に記録した脳波解析ログを生成する脳波解析手段と、脳波情報の経時データと脳内知的活動の解釈ラベルとを予め対応付けた複数の解釈ルールに基いて、生成された脳波解析ログから解釈ラベル候補を決定する脳波解釈手段と、インタフェース装置における知的活動情報の処理状況に基づいて、予め設定された複数の脳内知的活動の状態ラベルから状態ラベル候補を決定する活動状況把握手段と、決定された解釈ラベル候補と、決定された状態ラベル候補との間で共通するラベルの内容を、ユーザーの脳内知的活動状態に決定する知的活動決定手段とを有することが開示されている。
【０００３】
特許文献２には、介護者の作業に対するストレスを客観的に把握することを課題とし、情報処理装置は、ウェアラブルセンサを用いて検知した評価対象者の脳波データを取得し、あらかじめ正常値か異常値であるかを特定した脳波データを記憶する記憶部を参照して、取得した脳波データが正常値か異常値であるかを判定し、脳波データが異常値であると判定した場合には、評価対象者に対応する情報処理端末へストレス有無の問い合わせを送信し、送信した問い合わせに対する応答を受信した場合には、応答に応じて脳波データの判定結果を補正することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１１８５７５号公報
【特許文献２】特開２０１９−０２２５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザーの生体情報と行動の情報を組み合わせて、ユーザーの状態を解析する場合、そのユーザーの生体の状態を検知する装置と、生体情報以外の行動の情報を取得する装置が異なる場合、ユーザーの状態を解析することは困難である。
本発明は、ユーザーの頭部に着用されている装置から行動情報と生体情報を取得して、ユーザーの状態を解析することができる情報処理装置、情報処理システム及び情報処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、ユーザーの頭部に着用されている装置から、該ユーザーの頭部の動きを示す情報である行動情報を取得する第１取得手段と、前記装置から、前記ユーザーの生体情報を取得する第２取得手段と、前記行動情報と前記生体情報に基づいて、前記ユーザーの状態を解析する解析手段を有する情報処理装置である。
【０００７】
請求項２の発明は、前記解析手段によって解析された前記ユーザーの状態に応じて、前記装置に備え付けられている出力装置に情報を出力するように制御する出力制御手段をさらに有する請求項１に記載の情報処理装置である。
【０００８】
請求項３の発明は、前記出力制御手段は、前記ユーザーの状態に応じた音声情報を、前記装置に備え付けられている出力装置で出力するように制御する、請求項２に記載の情報処理装置である。
【０００９】
請求項４の発明は、前記装置から、前記ユーザーの音声又は該ユーザーの周囲からの音声を示す情報である音声情報を取得する第３取得手段をさらに有し、前記解析手段は、前記行動情報と前記生体情報と前記音声情報に基づいて、前記ユーザーの状態を解析する、請求項１に記載の情報処理装置である。
【００１０】
請求項５の発明は、前記解析手段は、前記ユーザーのスケジュールを取得し、該スケジュールでは音声が発生されている時間であるにもかかわらず、前記第３取得手段が音声情報を取得していない場合は、前記装置に備え付けられているマイクが故障である可能性があると解析する、請求項４に記載の情報処理装置である。
【００１１】
請求項６の発明は、前記解析手段は、前記第１取得手段が取得した行動情報が頭部のゆらぎ示す情報を含んでいない場合は、前記装置に備え付けられている動きを検知するセンサーが故障である可能性があると解析する、請求項４に記載の情報処理装置である。
【００１２】
請求項７の発明は、前記解析手段は、前記装置に備え付けられている動きを検知するセンサーが故障である可能性があると解析した場合は、前記音声情報と前記生体情報に基づいて、前記ユーザーの状態を解析する、請求項６に記載の情報処理装置である。
【００１３】
請求項８の発明は、ユーザーの頭部に着用されており、前記ユーザーの頭部の動きを検知する第１検知手段と、前記ユーザーの生体情報を検知する第２検知手段と、前記ユーザーの頭部の動きを示す情報である行動情報と該ユーザーの生体情報を情報処理装置に送信する送信手段を有する装置と、前記装置から、前記ユーザーの頭部の動きを示す情報である行動情報を取得する第１取得手段と、前記装置から、前記ユーザーの生体情報を取得する第２取得手段と、前記行動情報と前記生体情報に基づいて、前記ユーザーの状態を解析する解析手段を有する情報処理装置を有する情報処理システムである。
【００１４】
請求項９の発明は、前記情報処理装置は、前記ユーザーの状態又は該ユーザーの環境の状態を検知する第３検知手段をさらに有し、前記解析手段は、前記行動情報と前記生体情報と前記ユーザーの状態又は該ユーザーの環境の状態に基づいて、前記ユーザーの状態を解析する、請求項８に記載の情報処理システムである。
【００１５】
請求項１０の発明は、コンピュータを、ユーザーの頭部に着用されている装置から、該ユーザーの頭部の動きを示す情報である行動情報を取得する第１取得手段と、前記装置から、前記ユーザーの生体情報を取得する第２取得手段と、前記行動情報と前記生体情報に基づいて、前記ユーザーの状態を解析する解析手段として機能させるための情報処理プログラムである。
【発明の効果】
【００１６】
請求項１の情報処理装置によれば、ユーザーの頭部に着用されている装置から行動情報と生体情報を取得して、ユーザーの状態を解析することができる。
【００１７】
請求項２の情報処理装置によれば、ユーザーの状態に応じて、装置に備え付けられている出力装置を介してそのユーザーにフィードバックすることができる。
【００１８】
請求項３の情報処理装置によれば、ユーザーの状態に応じた音声情報を、そのユーザーに音声でフィードバックすることができる。
【００１９】
請求項４の情報処理装置によれば、行動情報と生体情報と音声情報に基づいて、ユーザーの状態を解析することができる。
【００２０】
請求項５の情報処理装置によれば、ユーザーのスケジュールでは音声が発生されている時間であるにもかかわらず、音声情報を取得していない場合は、装置に備え付けられているマイクが故障である可能性があると解析することができる。
【００２１】
請求項６の情報処理装置によれば、行動情報が頭部のゆらぎ示す情報を含んでいない場合は、装置に備え付けられている動きを検知するセンサーが故障である可能性があると解析することができる。
【００２２】
請求項７の情報処理装置によれば、装置に備え付けられている動きを検知するセンサーが故障である可能性があると解析した場合は、音声情報と生体情報に基づいて、ユーザーの状態を解析することができる。
【００２３】
請求項８の情報処理システムによれば、ユーザーの頭部に着用されている装置から行動情報と生体情報を取得して、ユーザーの状態を解析することができる。
【００２４】
請求項９の情報処理システムによれば、情報処理装置がユーザーの状態又はユーザーの環境の状態を検知して、行動情報と生体情報とユーザーの状態又はユーザーの環境の状態を用いて、ユーザーの状態を解析することができる。
【００２５】
請求項１０の情報処理プログラムによれば、ユーザーの頭部に着用されている装置から行動情報と生体情報を取得して、ユーザーの状態を解析することができる。
【図面の簡単な説明】
【００２６】
【図１】本実施の形態の構成例についての概念的なモジュール構成図である。
【図２】本実施の形態を利用したシステム構成例を示す説明図である。
【図３】本実施の形態の実際の利用形態の例を示す説明図である。
【図４】本実施の形態による処理例を示すフローチャートである。
【図５】状態推定テーブルのデータ構造例を示す説明図である。
【図６】フィードバックテーブルのデータ構造例を示す説明図である。
【図７】本実施の形態による処理例を示すフローチャートである。
【図８】ロケーション推定テーブルのデータ構造例を示す説明図である。
【図９】フィードバックテーブルのデータ構造例を示す説明図である。
【図１０】本実施の形態による処理例を示すフローチャートである。
【図１１】本実施の形態による処理例を示すフローチャートである。
【図１２】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（「ソフトウェア」の解釈として、コンピュータ・プログラムを含む）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（例えば、データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（「２以上の値」には、もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（「ネットワーク」には、一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（つまり、社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略）内のレジスタ等を含んでいてもよい。
【００２８】
本実施の形態である情報処理装置１００は、ユーザーの生体情報等を用いて、そのユーザーの状態を推定する機能を有しており、図１の例に示すように、通信モジュール１０５、行動情報取得モジュール１１０、脳波情報取得モジュール１１５、音声情報取得モジュール１２０、解析モジュール１２５、出力制御モジュール１３０、出力装置１３５を有している。
ここで「生体情報」とは、人体の生命活動を測定することによって得られる情報であって、生体情報として、例えば、心電図、心拍数、血圧、体温、脳波、筋電、網膜（眼底）電位等の情報がある。本実施の形態では、主に脳波情報を例として示す。
ユーザーの生体情報である脳波情報と動作情報を用いて、そのユーザーの状態を推定するものである。
端末１５０は、ユーザーの頭部に着用（装着の概念を含む）されている装置である。ここでのユーザーは、情報処理装置１００を利用している者である。つまり、情報処理装置１００を利用している者と端末１５０を着用している者とは同一人物である。端末１５０は、ユーザーの頭部に着用され、少なくとも、ユーザーの頭部の動き、ユーザーの脳波を検知できるセンサーが組み込まれたものである。いわゆるウェアラブルデバイスといわれるものである。
【００２９】
通信モジュール１０５は、行動情報取得モジュール１１０、脳波情報取得モジュール１１５、音声情報取得モジュール１２０、出力制御モジュール１３０と接続されており、また、通信回線を介して端末１５０の通信モジュール１５５と接続されている。通信モジュール１０５は、端末１５０との通信を行う。ここでの通信は、無線であってもよいし、有線であってもよい。例えば、Ｗｉ-Ｆｉ、ブルートゥース（登録商標）、ＵＳＢ等であってもよい。端末１５０から受信したデータを、行動情報取得モジュール１１０、脳波情報取得モジュール１１５、音声情報取得モジュール１２０に渡し、出力制御モジュール１３０からのデータを端末１５０に送信する。
【００３０】
行動情報取得モジュール１１０は、通信モジュール１０５、解析モジュール１２５と接続されている。行動情報取得モジュール１１０は、通信モジュール１０５を介して、端末１５０から、ユーザーの頭部の動きを示す情報である行動情報を取得する。
ここで「行動情報」として、例えば、加速度センサーによって検知される情報が該当する。その加速度センサーとして、例えば、加速度３軸と角速度３軸での検知が可能な６軸の加速度センサーを用いてもよい。
脳波情報取得モジュール１１５は、通信モジュール１０５、解析モジュール１２５と接続されている。脳波情報取得モジュール１１５は、通信モジュール１０５を介して、端末１５０から、ユーザーの脳波を示す情報である脳波情報を取得する。
ここで「脳波情報」として、例えば、筋電センサーによって検知される情報が該当する。
音声情報取得モジュール１２０は、通信モジュール１０５、解析モジュール１２５と接続されている。音声情報取得モジュール１２０は、通信モジュール１０５を介して、端末１５０から、ユーザーの音声又はそのユーザーの周囲からの音声を示す情報である音声情報を取得する。
ここでの端末１５０は、さらに音声検知モジュール１７０を有している。音声検知モジュール１７０として、例えば、マイクが該当する。
【００３１】
解析モジュール１２５は、行動情報取得モジュール１１０、脳波情報取得モジュール１１５、音声情報取得モジュール１２０、出力制御モジュール１３０と接続されている。解析モジュール１２５は、行動情報取得モジュール１１０が取得した行動情報と脳波情報取得モジュール１１５が取得した脳波情報に基づいて、ユーザーの状態を解析する。
また、解析モジュール１２５は、行動情報取得モジュール１１０が取得した行動情報と脳波情報取得モジュール１１５が取得した脳波情報と音声情報取得モジュール１２０が取得した音声情報に基づいて、ユーザーの状態を解析するようにしてもよい。
また、解析モジュール１２５は、ユーザーのスケジュールを取得し、そのスケジュールでは音声が発生されている時間であるにもかかわらず、音声情報取得モジュール１２０が音声情報を取得していない場合は、端末１５０に備え付けられている音声検知モジュール１７０が故障である可能性があると解析するようにしてもよい。
ここで「スケジュールでは音声が発生されている時間である」として、少なくとも他の人との共同で行う作業が該当する。例えば、会議、相談等が該当する。
また、解析モジュール１２５は、行動情報取得モジュール１１０が取得した行動情報が頭部のゆらぎ示す情報を含んでいない場合は、端末１５０に備え付けられている動きを検知するセンサーである行動検知モジュール１６０が故障である可能性があると解析するようにしてもよい。
さらに、解析モジュール１２５は、端末１５０に備え付けられている動きを検知するセンサーである行動検知モジュール１６０が故障である可能性があると解析した場合は、音声情報取得モジュール１２０が取得した音声情報と脳波情報取得モジュール１１５が取得した脳波情報に基づいて、ユーザーの状態を解析するようにしてもよい。
【００３２】
出力制御モジュール１３０は、通信モジュール１０５、解析モジュール１２５、出力装置１３５と接続されている。出力制御モジュール１３０は、解析モジュール１２５によって解析されたユーザーの状態に応じて、端末１５０に備え付けられている出力装置１７５に情報を出力するように制御する。
また、出力制御モジュール１３０は、ユーザーの状態に応じた音声情報を、端末１５０に備え付けられている出力装置１７５で出力するように制御するようにしてもよい。具体的には、出力装置１７５として、ヘッドホン、イヤホン、スピーカー等を採用した場合の処理である。
ここで端末１５０の出力装置１７５であるスピーカー等から出力させる音声情報として、ユーザーの状態をそのユーザーにフィードバックさせるものである。例えば、ユーザーの状態を報告する内容を示す音声であってもよいし、ユーザーのその状態を向上、維持、又は、低下させるような音楽であってもよい。
また、出力制御モジュール１３０は、解析モジュール１２５によって解析されたユーザーの状態に応じて、出力装置１７５だけでなく、出力装置１３５に情報を出力するように制御するようにしてもよい。この場合、出力する情報は、音声情報であってもよいし、文字、図形、グラフ、画像等の表示情報であってもよい。
【００３３】
出力装置１３５は、出力制御モジュール１３０と接続されている。出力装置１３５は、出力制御モジュール１３０による制御にしたがって、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅの略）等の表示装置又はスピーカー等に、解析モジュール１２５による解析結果、フィードバック情報等を出力する。情報処理装置１００のユーザー（端末１５０を着用しているユーザーでもある）は、自分の状態を知ることができ、フィードバックを受けることができる。
【００３４】
端末１５０は、通信モジュール１５５、行動検知モジュール１６０、脳波検知モジュール１６５、音声検知モジュール１７０、出力装置１７５を有している。
通信モジュール１５５は、行動検知モジュール１６０、脳波検知モジュール１６５、音声検知モジュール１７０、出力装置１７５と接続されており、また、通信回線を介して情報処理装置１００の通信モジュール１０５と接続されている。通信モジュール１５５は、情報処理装置１００との通信を行う。ここでの通信は、無線であってもよいし、有線であってもよい。例えば、Ｗｉ-Ｆｉ、ブルートゥース、ＵＳＢ等であってもよい。行動検知モジュール１６０、脳波検知モジュール１６５、音声検知モジュール１７０から受けとったデータを情報処理装置１００に送信し、情報処理装置１００から受信したデータを出力装置１７５に送信する。
【００３５】
行動検知モジュール１６０は、通信モジュール１５５と接続されている。行動検知モジュール１６０は、端末１５０を着用しているユーザーの頭部の動きを検知する。
脳波検知モジュール１６５は、通信モジュール１５５と接続されている。脳波検知モジュール１６５は、端末１５０を着用しているユーザーの脳波を検知する。
音声検知モジュール１７０は、通信モジュール１５５と接続されている。音声検知モジュール１７０は、端末１５０を着用しているユーザーの音声又はそのユーザーの周囲からの音声を検知するマイクである。
出力装置１７５は、通信モジュール１５５と接続されている。出力装置１７５は、通信モジュール１５５が受け取った情報を出力する。例えば、情報処理装置１００の出力制御モジュール１３０によって音声情報が送信されてきた場合、その音声情報をヘッドホン、イヤホン、スピーカー等を用いて音声として出力する。
【００３６】
図２は、本実施の形態を利用したシステム構成例を示す説明図である。
スマートフォン２００とウェラブルデバイス２５０は、通信回線を介して接続されている。
【００３７】
スマートフォン２００は、デバイス接続モジュール２０２、データ送受信モジュール２０５、６軸データ特徴抽出モジュール２１０、脳波データ特徴抽出モジュール２１５、マイクデータ特徴抽出モジュール２２０、６軸センサー２２１、マイク２２２、ＧＰＳ２２３、照度センサー２２４、状態推定モジュール２２５、フィードバックモジュール２３０を有している。
情報処理装置１００の具体的一例として、スマートフォン２００を示しており、通信モジュール１０５としてデバイス接続モジュール２０２、データ送受信モジュール２０５が該当し、行動情報取得モジュール１１０として６軸データ特徴抽出モジュール２１０が該当し、脳波情報取得モジュール１１５として脳波データ特徴抽出モジュール２１５が該当し、音声情報取得モジュール１２０としてマイクデータ特徴抽出モジュール２２０が該当し、解析モジュール１２５として状態推定モジュール２２５が該当し、出力制御モジュール１３０としてフィードバックモジュール２３０が該当する。
【００３８】
デバイス接続モジュール２０２は、スマートフォン２００とウェラブルデバイス２５０とを通信可能にするための接続処理（通信のための前処理）を行う。
データ送受信モジュール２０５は、デバイス接続モジュール２０２によってウェラブルデバイス２５０との接続が完了した後に、ウェラブルデバイス２５０との間でデータを送受信する。
６軸データ特徴抽出モジュール２１０は、ウェラブルデバイス２５０の６軸センサー２６０によって検知されたデータを受け取り、そのデータの特徴を抽出する。
脳波データ特徴抽出モジュール２１５は、ウェラブルデバイス２５０の生体センサー２６５によって検知されたデータを受け取り、そのデータの特徴を抽出する。
マイクデータ特徴抽出モジュール２２０は、ウェラブルデバイス２５０のマイク２７０によって検知されたデータを受け取り、そのデータの特徴を抽出する。
【００３９】
スマートフォン２００自身も、６軸センサー２２１、マイク２２２、ＧＰＳ２２３、照度センサー２２４等を有しており、スマートフォン２００を所持しているユーザー又は周囲の状態を検知することができる。
６軸センサー２２１は、スマートフォン２００（すなわち、スマートフォン２００を所持しているユーザー）の移動方向、向き、回転を検出することができ、さらに移動距離や移動速度などを算出できるセンサーであり、前後、左右、上下の３方向を検出できる加速度センサーと東西南北を検出できる地磁気センサー、または加速度センサーと回転の速さを検出できるジャイロセンサーを組み合わせることで、６軸センサーが実現される。
マイク２２２は、スマートフォン２００を所持しているユーザー又は周囲の音声を検知する。
ＧＰＳ２２３は、スマートフォン２００の位置（すなわち、スマートフォン２００を所持しているユーザーの位置）を検知する。
照度センサー２２４は、スマートフォン２００の周囲の明るさを検知する。
状態推定モジュール２２５は、６軸データ特徴抽出モジュール２１０、脳波データ特徴抽出モジュール２１５、マイクデータ特徴抽出モジュール２２０による処理結果、６軸センサー２２１、マイク２２２、ＧＰＳ２２３、照度センサー２２４等の検知結果を用いて、ユーザーの状態を推定する。
フィードバックモジュール２３０は、状態推定モジュール２２５が推定したユーザーの状態にしたがって、そのユーザーに対して音声情報等をフィードバックする。
【００４０】
ウェラブルデバイス２５０は、データ送受信モジュール２５５、通信制御モジュール２５７、６軸センサー２６０、生体センサー２６５、マイク２７０、スピーカー２７５を有している。
端末１５０の具体的一例として、ウェラブルデバイス２５０を示しており、通信モジュール１５５としてデータ送受信モジュール２５５、通信制御モジュール２５７が該当し、行動検知モジュール１６０として６軸センサー２６０が該当し、脳波検知モジュール１６５として生体センサー２６５が該当し、音声検知モジュール１７０としてマイク２７０が該当し、出力装置１７５としてスピーカー２７５が該当する。ウェラブルデバイス２５０の具体例として、特開２０１９−０２４７５８号公報に記載の脳波測定装置を用いてもよい。
【００４１】
データ送受信モジュール２５５は、通信制御モジュール２５７の制御にしたがって、スマートフォン２００との間でデータを送受信する。
通信制御モジュール２５７は、データ送受信モジュール２５５を制御して、スマートフォン２００との間で通信を行う。
６軸センサー２６０は、スマートフォン２００の６軸センサー２２１と同等のものであって、ウェラブルデバイス２５０（すなわち、ウェラブルデバイス２５０を着用しているユーザー）の移動方向、向き、回転を検出することができ、さらに移動距離や移動速度などを算出できる。
生体センサー２６５は、ウェラブルデバイス２５０を着用しているユーザーの脳波を測定する。例えば、特開２０１９−０２４７５８号公報に記載の電極（発泡材料によって構成され、少なくとも生体に接触する部分が導電性を有し、生体に接触して脳波を検出する電極）を用いるようにしてもよい。
マイク２７０は、ウェラブルデバイス２５０を着用しているユーザー又は周囲の音声を検知する。
スピーカー２７５は、音声情報をヘッドホン、イヤホン、スピーカー等を用いて音声として出力する。
【００４２】
図３は、本実施の形態の実際の利用形態の例を示す説明図である。
ユーザー３００は、スマートフォン２００を所持しており、またウェラブルデバイス２５０を頭部に着用している。ウェラブルデバイス２５０によって検知されたユーザー３００の脳波等の情報が、スマートフォン２００に送信され、スマートフォン２００では、ユーザー３００の状態を解析する。そして、スマートフォン２００のディスプレイ、スピーカー等、又は、ウェラブルデバイス２５０のスピーカー等を用いて、ユーザー３００の現在の状態に合わせたフィードバックをリアルタイムで行う。例えば、ユーザー３００の集中力を向上させるための音楽、又は、リラックス状態を維持等させるための音楽等を出力する。
【００４３】
図４は、本実施の形態による処理例を示すフローチャートである。ステップＳ４０２からステップＳ４０４までの処理は、ウェラブルデバイス２５０とスマートフォン２００の接続処理である。ステップＳ４０８からステップＳ４１８までの処理は、スマートフォン２００による処理であり、ステップＳ４２０からステップＳ４２２までの処理は、ウェラブルデバイス２５０によるフィードバック処理である。
【００４４】
ステップＳ４０２では、スマートフォン２００は、ウェラブルデバイス２５０との間でデイバス接続を開始する。
ステップＳ４０４では、ウェラブルデバイス２５０とスマートフォン２００の接続を完了する。
【００４５】
ステップＳ４０６では、ウェラブルデバイス２５０からスマートフォン２００へのデータ送信を行う。少なくとも、生体センサー２６５によって検知された脳波情報、６軸センサー２６０によって検知された行動情報を送信する。さらに、マイク２７０によって検知された音声情報を送信するようにしてもよい。
ステップＳ４０８では、スマートフォン２００は、データを受信する。
ステップＳ４１０では、少なくとも生体センサー２６５によって検知された脳波情報、６軸センサー２６０によって検知された行動情報の特徴量を抽出する。さらに、マイク２７０によって検知された音声情報の特徴量を抽出するようにしてもよい。特徴量として、例えば、脳波情報の場合は優位な波（アルファ波、ベータ波等）等、行動情報の場合は「頭が前後に揺れている」、「頭の動きが少ない」等、音声情報の場合は「ユーザー３００の発言あり」、「ユーザー３００の発言なし」等がある。なお、ユーザー３００の発言、又は、ユーザー３００以外の発言であるかの判断は、マイク２７０が検知した音声の音量を用いて判断してもよいし、指向性のマイクでユーザー３００の発言か、ユーザー３００以外の発言かを判断してもよい。
【００４６】
ステップＳ４１２では、ステップＳ４１０での抽出結果を用いて、ユーザー３００の状態の推定を行う。例えば、後述する状態推定テーブル５００を用いて推定する。
ステップＳ４１４では、ステップＳ４１２での状態推定の結果を用いて、フィードバックの方法を選定する。例えば、後述するフィードバックテーブル６００を用いてフィードバックの方法を選定する。
ステップＳ４１６では、フィードバック情報を、スマートフォン２００の表示装置に表示する。
ステップＳ４１８では、スマートフォン２００からウェラブルデバイス２５０へフィードバック情報を送信する。
【００４７】
ステップＳ４２０では、ウェラブルデバイス２５０は、フィードバック情報を受信する。
ステップＳ４２２では、スピーカー２６０からフィードバック情報を出力する。
【００４８】
図５は、状態推定テーブル５００のデータ構造例を示す説明図である。
状態推定テーブル５００は、脳波データ欄５１０、行動データ（６軸）欄５２０、マイク欄５３０、状態推定欄５４０を有している。脳波データ欄５１０は、脳波データを記憶している。行動データ（６軸）欄５２０は、行動データ（６軸）を記憶している。マイク欄５３０は、マイクを記憶している。状態推定欄５４０は、状態推定を記憶している。
例えば、状態推定テーブル５００の１行目の例に示すように、脳波データ欄５１０が「アルファ波が優位」であり、行動データ（６軸）欄５２０が「頭が前後に揺れる」であり、マイク欄５３０が「発言なし」である場合、状態推定欄５４０として「リラックスしている（聞いている／見ている）」と推定する。
２行目の例に示すように、脳波データ欄５１０が「シータ波が優位」であり、行動データ（６軸）欄５２０が「頭が前後に揺れる」であり、マイク欄５３０が「発言なし」である場合、状態推定欄５４０として「眠気が強まっている（危険な状態なのでアラートがすぐに必要）」と推定する。
３行目の例に示すように、脳波データ欄５１０が「ベータ波が優位」であり、行動データ（６軸）欄５２０が「頭が前後に揺れる」であり、マイク欄５３０が「発言なし」である場合、状態推定欄５４０として「思考している（没頭している）」と推定する。
４行目の例に示すように、脳波データ欄５１０が「アルファ波が優位」であり、行動データ（６軸）欄５２０が「頭の動き少ない（頭が一定の角度で停止）」であり、マイク欄５３０が「発言なし」である場合、状態推定欄５４０として「リラックスしている（瞑想など）」と推定する。
５行目の例に示すように、脳波データ欄５１０が「ベータ波が優位」であり、行動データ（６軸）欄５２０が「頭の動き少ない（頭が一定の角度で停止）」であり、マイク欄５３０が「発言なし」である場合、状態推定欄５４０として「思考している（計算、読書、勉強など）」と推定する。
【００４９】
図６は、フィードバックテーブル６００のデータ構造例を示す説明図である。
フィードバックテーブル６００は、状態欄６１０、フィードバック欄６２０を有している。状態欄６１０は、状態を記憶している。フィードバック欄６２０は、フィードバックを記憶している。
例えば、状態が「眠気が強まっている」場合、フィードバックとして「警告音をスピーカーにフィードバック送信し、注意を促す」ことを行う。
【００５０】
図７は、本実施の形態による処理例を示すフローチャートである。ステップＳ７０２からステップＳ７０４までの処理は、ウェラブルデバイス２５０とスマートフォン２００の接続処理である。ステップＳ７０８からステップＳ７２２までの処理は、スマートフォン２００による処理であり、ステップＳ７２４からステップＳ７２６までの処理は、ウェラブルデバイス２５０によるフィードバック処理である。
【００５１】
ステップＳ７０２では、スマートフォン２００は、ウェラブルデバイス２５０との間でデイバス接続を開始する。
ステップＳ７０４では、ウェラブルデバイス２５０とスマートフォン２００の接続を完了する。
【００５２】
ステップＳ７０６では、ウェラブルデバイス２５０からスマートフォン２００へのデータ送信を行う。少なくとも、生体センサー２６５によって検知された脳波情報、６軸センサー２６０によって検知された行動情報を送信する。さらに、マイク２７０によって検知された音声情報を送信するようにしてもよい。
ステップＳ７０８では、スマートフォン２００は、データを受信する。
ステップＳ７１０では、少なくとも生体センサー２６５によって検知された脳波情報、６軸センサー２６０によって検知された行動情報の特徴量を抽出する。さらに、マイク２７０によって検知された音声情報の特徴量を抽出するようにしてもよい。特徴量として、例えば、脳波情報の場合は優位な波（アルファ波、ベータ波等）等、行動情報の場合は「頭が前後に揺れている」、「頭の動きが少ない」等、音声情報の場合は「ユーザー３００の発言あり」、「ユーザー３００の発言なし」等がある。なお、ユーザー３００の発言、又は、ユーザー３００以外の発言であるかの判断は、マイク２７０が検知した音声の音量を用いて判断してもよいし、指向性のマイクでユーザー３００の発言か、ユーザー３００以外の発言かを判断してもよい。
【００５３】
ステップＳ７１２では、ステップＳ７１０での抽出結果を用いて、ユーザー３００の状態の推定を行う。例えば、前述した状態推定テーブル５００を用いて推定する。
ステップＳ７１４では、スマートフォン２００に内蔵された、６軸、マイクなどの各種センサーから特徴量を抽出する。特徴量として、例えば、ＧＰＳ２２３による位置情報の場合は自宅、オフィス、外出等がある。具体的な抽出方法として、予め定められた地図情報（緯度、経度、高度の情報と自宅、オフィス等との対応テーブル）を用いればよい。６軸センサー２２１による行動情報の場合は「停止中」、「歩行中」等、照度センサー２２４による照度情報の場合は照度レベルを示す「明るい」、「暗い」等、マイク２２２による音声情報の場合は騒音レベルを示す「静か」、「うるさい」等がある。つまり、スマートフォン２００内の６軸センサー２２１、マイク２２２、ＧＰＳ２２３、照度センサー２２４等を用いて、ユーザー３００の状態又はユーザー３００の環境の状態を検知する。具体的には、ユーザー３００の状態として、６軸センサー２２１による検知情報からユーザー３００は歩行等の行動をしているか、静止しているか等を示す情報を得ることができ、ユーザー３００の環境の状態として、マイク２２２による検知情報からユーザー３００の環境の騒音状態を得ることができ、ＧＰＳ２２３による検知情報からユーザー３００がいる場所を得ることができ、照度センサー２２４による検知情報からユーザー３００がいる場所の照明状態を得ることができる。
【００５４】
ステップＳ７１６では、ステップＳ７１４によって抽出された特徴量を用いて、ユーザー３００がいるロケーションの推定を行う。例えば、後述するロケーション推定テーブル８００を用いてロケーションを推定する。
ステップＳ７１８では、ステップＳ７１２での状態推定の結果とステップＳ７１６でのロケーション推定結果を組み合わせてフィードバックの方法を選定する。例えば、後述するフィードバックテーブル９００を用いてフィードバックの方法を選定する。つまり、この処理では、ウェラブルデバイス２５０から得た行動情報と生体情報、そして、スマートフォン２００内の各種センサーから得た情報を用いて推定したユーザー３００の状態又はユーザー３００の環境の状態に基づいて、ユーザー３００の状態を解析し、さらに、フィードバックの方法を選定している。
【００５５】
ステップＳ７２０では、フィードバック情報を、スマートフォン２００の表示装置に表示する。ここでのフィードバック情報として、ユーザー３００の状態を示すテキスト等が該当する。
ステップＳ７２２では、スマートフォン２００からウェラブルデバイス２５０へフィードバック情報を送信する。ここでのフィードバック情報として、音楽等の音声情報等が該当する。
【００５６】
ステップＳ７２４では、ウェラブルデバイス２５０は、フィードバック情報を受信する。
ステップＳ７２６では、スピーカー２６０からフィードバック情報を出力する。
【００５７】
図８は、ロケーション推定テーブル８００のデータ構造例を示す説明図である。
ロケーション推定テーブル８００は、ＧＰＳ欄８１０、６軸センサー欄８２０、照度センサー欄８３０、マイク欄８４０、ロケーション推定欄８５０を有している。ＧＰＳ欄８１０は、ＧＰＳを記憶している。６軸センサー欄８２０は、６軸センサーを記憶している。照度センサー欄８３０は、照度センサーを記憶している。マイク欄８４０は、マイクを記憶している。ロケーション推定欄８５０は、ロケーション推定を記憶している。
例えば、ロケーション推定テーブル８００の１行目の例に示すように、ＧＰＳ欄８１０が「自宅」であり、６軸センサー欄８２０が「停止中」であり、照度センサー欄８３０が「暗い」であり、マイク欄８４０が「静か」である場合、ロケーション推定欄８５０として「寝室」と推定する。
２行目の例に示すように、ＧＰＳ欄８１０が「オフィス」であり、６軸センサー欄８２０が「停止中」であり、照度センサー欄８３０が「明るい」であり、マイク欄８４０が「静か」である場合、ロケーション推定欄８５０として「自席」と推定する。
３行目の例に示すように、ＧＰＳ欄８１０が「オフィス」であり、６軸センサー欄８２０が「停止中」であり、照度センサー欄８３０が「明るい」であり、マイク欄８４０が「うるさい」である場合、ロケーション推定欄８５０として「会議室」と推定する。
４行目の例に示すように、ＧＰＳ欄８１０が「オフィス」であり、６軸センサー欄８２０が「歩行中」であり、照度センサー欄８３０が「暗い」であり、マイク欄８４０が「静か」である場合、ロケーション推定欄８５０として「移動中」と推定する。
５行目の例に示すように、ＧＰＳ欄８１０が「外出（その他）」であり、６軸センサー欄８２０が「停止中」であり、照度センサー欄８３０が「明るい」であり、マイク欄８４０が「うるさい」である場合、ロケーション推定欄８５０として「カフェ」と推定する。
この他に、スマートフォン２００内の近接センサーによる検出値を用いて、ロケーション推定テーブル８００を構成してもよい。
【００５８】
図９は、フィードバックテーブル９００のデータ構造例を示す説明図である。
フィードバックテーブル９００は、ロケーション欄９１０、状態欄９２０、フィードバック欄９３０を有している。ロケーション欄９１０は、ロケーションを記憶している。状態欄９２０は、状態を記憶している。フィードバック欄９３０は、フィードバックを記憶している。
例えば、フィードバックテーブル９００の１行目の例に示すように、ロケーションが「オフィス（会議室）」であり、状態が「眠気が強まっている」場合、フィードバックとして「警告音をスピーカーにフィードバック送信し、注意を促す」ことを行う。
２行目の例に示すように、ロケーションが「自宅（寝室）」であり、状態が「思考している（計算、読書、勉強など）」場合、フィードバックとして「ホワイトノイズ音をスピーカーにフィードバック送信し、集中を持続させる」ことを行う。
【００５９】
図１０は、本実施の形態による処理例を示すフローチャートである。
図４の例に示したフローチャート内のステップＳ４１０とステップＳ４１２の間、又は、図７の例に示したフローチャート内のステップＳ７１０とステップＳ７１２の間に、図１０の例に示したフローチャートを挿入してもよい。
【００６０】
ステップＳ１００２では、ユーザーの現在の日時におけるスケジュールを抽出する。
ステップＳ１００４では、会議中であるか否かを判断し、会議中の場合はステップＳ１００６へ進み、それ以外の場合は処理を終了する（ステップＳ１０９９）。
ステップＳ１００６では、予め定められた期間、マイク２７０によって検知された音声がないか否かを判断し、ない場合はステップＳ１００８へ進み、それ以外の場合は処理を終了する（ステップＳ１０９９）。
ステップＳ１００８では、マイク２７０は故障の可能性ありと判断する。
ステップＳ１０１０では、スマートフォン２００の表示装置に「マイクは故障の可能性あり」と表示する。
【００６１】
そして、この後、図４の例に示したフローチャート内のステップＳ４１２、又は、図７の例に示したフローチャート内のステップＳ７１２では、脳波情報と行動情報を用いてユーザー３００の状態推定を行う。具体的には、状態推定テーブル５００からマイク欄５３０を削除したテーブルを用いて、ユーザー３００の状態を推定すればよい。
【００６２】
図１１は、本実施の形態による処理例を示すフローチャートである。
図４の例に示したフローチャート内のステップＳ４１０とステップＳ４１２の間、又は、図７の例に示したフローチャート内のステップＳ７１０とステップＳ７１２の間に、図１１の例に示したフローチャートを挿入してもよい。
【００６３】
ステップＳ１１０２では、６軸センサー２６０が検知した行動情報は「停止」と判断されたか否かを判断し、「停止」と判断された場合はステップＳ１１０４へ進み、それ以外の場合は処理を終了する（ステップＳ１１９９）。
ステップＳ１１０４では、６軸センサー２６０が検知した行動情報にゆらぎを示す情報が含まれていないか否かを判断し、含まれていない場合はステップＳ１１０６へ進み、それ以外の場合は処理を終了する（ステップＳ１１９９）。
ステップＳ１１０６では、６軸センサー２６０は故障の可能性ありと判断する。
ステップＳ１１０８では、スマートフォン２００の表示装置に「６軸センサーは故障の可能性あり」と表示する。
【００６４】
そして、この後、図４の例に示したフローチャート内のステップＳ４１２、又は、図７の例に示したフローチャート内のステップＳ７１２では、脳波情報と音声情報を用いてユーザー３００の状態推定を行う。具体的には、状態推定テーブル５００から行動データ（６軸）欄５２０を削除したテーブルを用いて、ユーザー３００の状態を推定すればよい。
【００６５】
なお、本実施の形態（情報処理装置１００、端末１５０、スマートフォン２００、ウェラブルデバイス２５０）としてのプログラムが実行されるコンピュータのハードウェア構成は、図１２に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ１２０１を用い、記憶装置としてＲＡＭ１２０２、ＲＯＭ１２０３、ＨＤＤ１２０４を用いている。ＨＤＤ１２０４として、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略）、フラッシュ・メモリであるＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅの略）等を用いてもよい。通信モジュール１０５、行動情報取得モジュール１１０、脳波情報取得モジュール１１５、音声情報取得モジュール１２０、解析モジュール１２５、出力制御モジュール１３０、通信モジュール１５５、行動検知モジュール１６０、脳波検知モジュール１６５、音声検知モジュール１７０等のプログラムを実行するＣＰＵ１２０１と、そのプログラムやデータを記憶するＲＡＭ１２０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１２０３と、データ、プログラム等を記憶する機能を有する補助記憶装置であるＨＤＤ１２０４と、キーボード、マウス、タッチスクリーン、マイク、カメラ（視線検知カメラ等を含む）等に対する利用者の操作等（動作、脳波、音声、視線等を含む）に基づいてデータを受け付ける受付装置１２０６（行動検知モジュール１６０、脳波検知モジュール１６５、音声検知モジュール１７０）と、ＣＲＴ、液晶ディスプレイ、スピーカー等の出力装置１２０５（出力装置１７５、出力装置１３５）と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース１２０７（通信モジュール１０５、通信モジュール１５５）、そして、それらをつないでデータのやりとりをするためのバス１２０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
【００６６】
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１２に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）や再構成可能な集積回路（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ：ＦＰＧＡ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図１２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
【００６７】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌの略）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【００６８】
１００…情報処理装置
１０５…通信モジュール
１１０…行動情報取得モジュール
１１５…脳波情報取得モジュール
１２０…音声情報取得モジュール
１２５…解析モジュール
１３０…出力制御モジュール
１３５…出力装置
１５０…端末
１５５…通信モジュール
１６０…行動検知モジュール
１６５…脳波検知モジュール
１７０…音声検知モジュール
１７５…出力装置
２００…スマートフォン
２０２…デバイス接続モジュール
２０５…データ送受信モジュール
２１０…６軸データ特徴抽出モジュール
２１５…脳波データ特徴抽出モジュール
２２０…マイクデータ特徴抽出モジュール
２２１…６軸センサー
２２２…マイク
２２３…ＧＰＳ
２２４…照度センサー
２２５…状態推定モジュール
２３０…フィードバックモジュール
２５０…ウェラブルデバイス
２５５…データ送受信モジュール
２５７…通信制御モジュール
２６０…６軸センサー
２６５…生体センサー
２７０…マイク
２７５…スピーカー
３００…ユーザー
【図１】
2020201536.tif 000003
【図２】
2020201536.tif 000004
【図３】
2020201536.tif 000005
【図４】
2020201536.tif 000006
【図５】
2020201536.tif 000007
【図６】
2020201536.tif 000008
【図７】
2020201536.tif 000009
【図８】
2020201536.tif 000010
【図９】
2020201536.tif 000011
【図１０】
2020201536.tif 000012
【図１１】
2020201536.tif 000013
【図１２】
2020201536.tif 000014