(57)【要約】【課題】インタフェース装置を用いて活動しているユーザの脳内知的活動状態を推定可能な装置を提供する。【解決手段】本脳内知的活動推定装置は、ユーザとの間で知的活動情報を入出力して知的活動情報を処理可能なインタフェース装置に接続される装置であり、ユーザより取得した脳波データから脳波情報を時系列に記録した脳波解析ログを生成する脳波解析手段と、脳波情報の経時データと脳内知的活動の解釈ラベルとを予め対応付けた複数の解釈ルールに基いて、生成された脳波解析ログから解釈ラベル候補を決定する脳波解釈手段と、インタフェース装置における知的活動情報の処理状況に基づいて、予め設定された複数の脳内知的活動の状態ラベルから状態ラベル候補を決定する活動状況把握手段と、決定された解釈ラベル候補と、決定された状態ラベル候補との間で共通するラベルの内容を、ユーザの脳内知的活動状態に決定する知的活動決定手段とを有する。【選択図】図３
2016118575.tif 000002
【特許請求の範囲】
【請求項１】
ユーザとの間で知的活動に係る情報を入力及び／又は出力し当該知的活動に係る情報を処理可能なインタフェース装置に接続される脳内知的活動推定装置であって、
当該ユーザの脳波データを取得し、当該脳波データから脳波に係る情報を時系列に記録した脳波解析ログを生成する脳波解析手段と、
当該脳波に係る情報の経時データと、脳内知的活動の解釈ラベルとを予め対応付けた複数の解釈ルールに基いて、生成された当該脳波解析ログから解釈ラベル候補を決定する脳波解釈手段と、
前記インタフェース装置における当該知的活動に係る情報の処理状況に基づいて、予め設定された複数の脳内知的活動の状態ラベルから状態ラベル候補を決定する活動状況把握手段と、
決定された解釈ラベル候補と、決定された状態ラベル候補との間で共通するラベルの内容を、当該ユーザの脳内知的活動状態に決定する知的活動決定手段と
を有することを特徴とする脳内知的活動推定装置。
【請求項２】
前記脳波解析手段は、脳波発生に係る時刻毎に、脳波種別と、当該種別の脳波のレベルとを対応付けた脳波レコードを時系列に並べた脳波解析ログを生成し、
前記脳波解釈手段は、ある種別及びレベルの脳波を出力する状態をノードとし、当該状態間の遷移をブランチとした経時データで表現された出力パターンを、当該脳波解析ログから抽出した際、当該経時データに予め対応付けられた解釈ラベルを解釈ラベル候補に決定する
ことを特徴とする請求項１に記載の脳内知的活動推定装置。
【請求項３】
前記インタフェース装置は、当該ユーザが処理すべき課題又は提案情報を出力し、当該課題又は提案情報に対する当該ユーザによる反応又は応答情報を入力することが可能であり、
前記活動状況把握手段は、当該課題又は提案情報の出力状況と、当該反応又は応答情報の入力状況との想定される組合せ毎に予め状態ラベルを対応付けた活動状況把握テーブルを用いて、状態ラベル候補を決定する
ことを特徴とする請求項１又は２に記載の脳内知的活動推定装置。
【請求項４】
当該解釈ラベル及び当該状態ラベルの各々として、考察中である旨を示すラベル、考察が終了した旨を示すラベル、理解した旨を示すラベル、及び理解していない旨を示すラベルのうちの少なくとも１つ又は全てが採用されることを特徴とする請求項３に記載の脳内知的活動推定装置。
【請求項５】
前記知的活動決定手段が、当該ユーザの脳内知的活動状態を、理解した旨を示すラベルの内容に決定した場合、前記インタフェース装置に対し、出力された課題又は提案情報の次のステップに相当する課題又は提案情報を出力する指示を行い、一方、前記知的活動決定手段が、当該ユーザの脳内知的活動状態を、理解していない旨を示すラベルの内容に決定した場合、前記インタフェース装置に対し、出力された課題又は提案情報の内容を理解させるための情報を出力する指示を行うコンテンツ指示手段を更に有することを特徴とする請求項３又は４に記載の脳内知的活動推定装置。
【請求項６】
前記複数の解釈ルールの少なくとも１つは、所定閾値以上のレベルを有するハイガンマ波又はローガンマ波を出力する状態から、所定閾値以上のレベルを有するローベータ波を出力する状態への遷移を含む経時データと、理解した旨を示す解釈ラベルとを対応付けており、
前記脳波解釈手段は、前記ローベータ波を出力する状態への遷移を含む経時データで表現された出力パターンを、当該脳波解析ログから抽出した際、少なくとも当該理解した旨を示す解釈ラベルを解釈ラベル候補に決定する
ことを特徴とする請求項１から５のいずれか１項に記載の脳内知的活動推定装置。
【請求項７】
請求項１から６のいずれか１項に記載の脳内知的活動推定装置と、教育に係る問題情報を出力し、当該問題情報に対する当該ユーザによる回答情報を入力することが可能な少なくとも１つのインタフェース装置と、当該インタフェース装置を使用するユーザ毎に装着される脳波測定器とを含む教育システムであって、
前記脳内知的活動推定装置は、出力された問題情報及び／又は入力された回答情報に対応して前記知的活動決定手段が決定した当該ユーザの脳内知的活動状態を、当該問題情報及び／又は回答情報に対応付けて記録し管理する学習進捗管理手段を更に有する
ことを特徴する教育システム。
【請求項８】
ユーザとの間で知的活動に係る情報を入力及び／又は出力し当該知的活動に係る情報を処理可能なインタフェース装置に接続される装置に搭載されたコンピュータを機能させる脳内知的活動推定プログラムであって、
当該ユーザの脳波データを取得し、当該脳波データから脳波に係る情報を時系列に記録した脳波解析ログを生成する脳波解析手段と、
当該脳波に係る情報の経時データと、脳内知的活動の解釈ラベルとを予め対応付けた複数の解釈ルールに基いて、生成された当該脳波解析ログから解釈ラベル候補を決定する脳波解釈手段と、
前記インタフェース装置における当該知的活動に係る情報の処理状況に基づいて、予め設定された複数の脳内知的活動の状態ラベルから状態ラベル候補を決定する活動状況把握手段と、
決定された解釈ラベル候補と、決定された状態ラベル候補との間で共通するラベルの内容を、当該ユーザの脳内知的活動状態に決定する知的活動決定手段と
してコンピュータを機能させることを特徴とする脳内知的活動推定プログラム。
【請求項９】
ユーザとの間で知的活動に係る情報を入力及び／又は出力し当該知的活動に係る情報を処理可能なインタフェース装置を用いて、当該ユーザの脳内知的活動を推定する方法であって、
当該ユーザの脳波データを取得し、当該脳波データから脳波に係る情報を時系列に記録した脳波解析ログを生成する第１のステップと、
当該脳波に係る情報の経時データと、脳内知的活動の解釈ラベルとを予め対応付けた複数の解釈ルールに基いて、生成された当該脳波解析ログから解釈ラベル候補を決定する第２のステップと、
前記インタフェース装置における当該知的活動に係る情報の処理状況に基づいて、予め設定された複数の脳内知的活動の状態ラベルから状態ラベル候補を決定する第３のステップと、
決定された解釈ラベル候補と、決定された状態ラベル候補との間で共通するラベルの内容を、当該ユーザの脳内知的活動状態に決定する第４のステップと
を有することを特徴とする脳内知的活動推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの脳波を解析し、当該ユーザの精神活動の状態を推定する技術に関する。
【背景技術】
【０００２】
ユーザの精神活動状態、例えば特定の感情が生じた状態や、考察中といった脳内での知的な活動の状態は、それが的確に把握されてサービス内容に適切に反映されれば、より良好なサービスを当該ユーザへ提供することを可能にする重要な情報となる。
【０００３】
このような精神活動のうちユーザの感情を推定する技術として、例えば特許文献１には、撮影した顔表情の画像から感情を推定し、さらに、バイオセンサで得られた生体情報からも感情を推定し、重み付け係数を用いてこれらの推定結果を組み合わせて調整感情推定結果を算出する技術が開示されている。ここで、生体情報としては、脳波や心拍数の情報が使用される。また、この技術では、音声認識を拡張した音響技術を用いて取得したユーザの音声から感情を推定し、この推定結果を更に加味して調整感情推定結果を算出する方法も採用可能となっている。
【０００４】
さらに、非特許文献１には、隠れマルコフモデル等の機械学習で使用されるモデルを採用し、脳波の測定結果から比較的単純で基本的な感情を推定する技術が開示されている。具体的には、肯定的な感情や否定的な感情、又は対応するアルファ波やベータ波等の脳波種別を推定する技術が提案されている。
【０００５】
さらにまた、感情推定技術として、特許文献２には、心拍や血圧といった生体情報に基づいて感情の度合いを示す感情パラメータを算出し、この感情パラメータを、加減算可能な１次元の感情貨幣に変換して時間や体験内容等の項目で分類し、把握し易い形で表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−０５９１０７号公報
【特許文献２】特開２００５−１２４９０９号公報
【非特許文献】
【０００７】
【非特許文献１】Wei-Long Zheng、Jia-Yi Zhu、Yong Peng、及びBao-Liang Lu、「EEG-BASED EMOTION CLASSIFICATION USING DEEP BELIEF NETWORKS」、Proc. of IEEE International Conference on Multimedia and Expo (ICME) 2014
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、以上に述べたような従来技術では、より複雑な感情や精神過程に関連する脳内での知的な活動の状態、例えば、「理解した」や「考察中」といった状態を推定することは困難である。
【０００９】
実際、特許文献１、特許文献２及び非特許文献１に記載されたような従来技術では、顔表情や音声、さらには脳波を含む生体情報といった比較的短時間での取得情報を用いて感情推定が行われる。また、感情推定結果の利用目的に応じて推定すべき感情の種別を予め設定しておき、ユーザの状態がいずれの感情種別に属するかを判定している。例えば、自動車運転向けの感情推定では、注意力が散漫した状態、眠い状態や、緊張した状態等が判別対象となり、これらよりもさらに複雑な感情を推定するには限界がある。その結果、推定される感情の種別は、喜怒哀楽、注意力の有無、困惑の有無、ストレスの多少、眠い状態か否かといった、体調に関連するものを含む基本的な感情に係るものとなってしまう。
【００１０】
この点、特許文献１に記載された技術では、複数の情報源から取得された情報を用いて感情推定を行うことによって、推定精度を高めようとしてはいるものの、やはり、より複雑な感情の内容や、脳内での知的な活動の状態まで推定することは困難である。
【００１１】
また、特許文献２及び非特許文献１に記載された技術では、感情の時間経過を記録することができるが、単にこのような感情推移の記録をもってしても、例えば「一生懸命に考察中」であるか否かの推定までは行えるものではない。
【００１２】
ここで、例えば、教育用として生徒に利用される教育サービス提供装置を想定してみる。この装置によって、各生徒の学習状態に適した教材や問題を提供しようとした際、生徒の持つ基本的な感情に加えて、「理解した」、「考察中」、「分からない」といった学習に関連した脳内での知的活動状態を把握することは、非常に重要となる。即ち、このような脳内知的活動状態は、基本的な感情よりもさらに複雑な精神過程に関わっている場合が多く、これを推定することによって初めて生徒の状態をより詳細に把握することができるのである。例えば、生徒の現在の脳内知的活動状態に合わせて、質問を変えたり、別の教材や問題を提示したり、ヒントを選んで与えたりすることも可能となる。
【００１３】
この教育サービス提供装置の例のように、ユーザが何らかのインタフェース装置を用いて活動している状況において、このユーザの脳内における知的な活動の状態を把握することは、提供するサービスの質を向上させる観点から非常に有用である。しかしながら、特許文献１、特許文献２及び非特許文献１に記載されたような従来技術では、そのような状態の把握は非常に困難である。
【００１４】
そこで、本発明は、インタフェース装置を用いて活動しているユーザの脳内知的活動状態を推定可能な装置、システム、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明によれば、ユーザとの間で知的活動に係る情報を入力及び／又は出力し当該知的活動に係る情報を処理可能なインタフェース装置に接続される脳内知的活動推定装置であって、
当該ユーザの脳波データを取得し、当該脳波データから脳波に係る情報を時系列に記録した脳波解析ログを生成する脳波解析手段と、
当該脳波に係る情報の経時データと、脳内知的活動の解釈ラベルとを予め対応付けた複数の解釈ルールに基いて、生成された当該脳波解析ログから解釈ラベル候補を決定する脳波解釈手段と、
インタフェース装置における当該知的活動に係る情報の処理状況に基づいて、予め設定された複数の脳内知的活動の状態ラベルから状態ラベル候補を決定する活動状況把握手段と、
決定された解釈ラベル候補と、決定された状態ラベル候補との間で共通するラベルの内容を、当該ユーザの脳内知的活動状態に決定する知的活動決定手段と
を有する脳内知的活動推定装置が提供される。
【００１６】
この本発明の脳内知的活動推定装置における一実施形態として、脳波解析手段は、脳波発生に係る時刻毎に、脳波種別と、当該種別の脳波のレベルとを対応付けた脳波レコードを時系列に並べた脳波解析ログを生成し、
脳波解釈手段は、ある種別及びレベルの脳波を出力する状態をノードとし、当該状態間の遷移をブランチとした経時データで表現された出力パターンを、当該脳波解析ログから抽出した際、当該経時データに予め対応付けられた解釈ラベルを解釈ラベル候補に決定することも好ましい。
【００１７】
また、インタフェース装置は、当該ユーザが処理すべき課題又は提案情報を出力し、当該課題又は提案情報に対する当該ユーザによる反応又は応答情報を入力することが可能であり、
活動状況把握手段は、当該課題又は提案情報の出力状況と、当該反応又は応答情報の入力状況との想定される組合せ毎に予め状態ラベルを対応付けた活動状況把握テーブルを用いて、状態ラベル候補を決定することも好ましい。
【００１８】
さらに、以上に述べた解釈ラベル及び状態ラベルの各々として、考察中である旨を示すラベル、考察が終了した旨を示すラベル、理解した旨を示すラベル、及び理解していない旨を示すラベルのうちの少なくとも１つ又は全てが採用されることも好ましい。
【００１９】
また、本発明の脳内知的活動推定装置における他の実施形態として、知的活動決定手段が当該ユーザの脳内知的活動状態を、理解した旨を示すラベルの内容に決定した場合、インタフェース装置に対し、出力された課題又は提案情報の次のステップに相当する課題又は提案情報を出力する指示を行い、一方、知的活動決定手段が当該ユーザの脳内知的活動状態を、理解していない旨を示すラベルの内容に決定した場合、インタフェース装置に対し、出力された課題又は提案情報の内容を理解させるための情報を出力する指示を行うコンテンツ指示手段が更に設けられていることも好ましい。
【００２０】
さらに、本発明の脳内知的活動推定装置での脳波解釈について、複数の解釈ルールの少なくとも１つは、所定閾値以上のレベルを有するハイガンマ波又はローガンマ波を出力する状態から、所定閾値以上のレベルを有するローベータ波を出力する状態への遷移を含む経時データと、理解した旨を示す解釈ラベルとを対応付けており、
脳波解釈手段は、上記のローベータ波を出力する状態への遷移を含む経時データで表現された出力パターンを、当該脳波解析ログから抽出した際、少なくとも当該理解した旨を示す解釈ラベルを解釈ラベル候補に決定することも好ましい。
【００２１】
本発明によれば、また、以上に述べた脳内知的活動推定装置と、教育に係る問題情報を出力し、当該問題情報に対する当該ユーザによる回答情報を入力することが可能な少なくとも１つのインタフェース装置と、当該インタフェース装置を使用するユーザ毎に装着される脳波測定器とを含む教育システムであって、
上記の脳内知的活動推定装置は、出力された問題情報及び／又は入力された回答情報に対応して知的活動決定手段が決定した当該ユーザの脳内知的活動状態を、当該問題情報及び／又は回答情報に対応付けて記録し管理する学習進捗管理手段を更に有する
ことを特徴する教育システムが提供される。
【００２２】
本発明によれば、さらに、ユーザとの間で知的活動に係る情報を入力及び／又は出力し当該知的活動に係る情報を処理可能なインタフェース装置に接続される装置に搭載されたコンピュータを機能させる脳内知的活動推定プログラムであって、
当該ユーザの脳波データを取得し、当該脳波データから脳波に係る情報を時系列に記録した脳波解析ログを生成する脳波解析手段と、
当該脳波に係る情報の経時データと、脳内知的活動の解釈ラベルとを予め対応付けた複数の解釈ルールに基いて、生成された当該脳波解析ログから解釈ラベル候補を決定する脳波解釈手段と、
インタフェース装置における当該知的活動に係る情報の処理状況に基づいて、予め設定された複数の脳内知的活動の状態ラベルから状態ラベル候補を決定する活動状況把握手段と、
決定された解釈ラベル候補と、決定された状態ラベル候補との間で共通するラベルの内容を、当該ユーザの脳内知的活動状態に決定する知的活動決定手段と
してコンピュータを機能させる脳内知的活動推定プログラムが提供される。
【００２３】
本発明によれば、さらにまた、ユーザとの間で知的活動に係る情報を入力及び／又は出力し当該知的活動に係る情報を処理可能なインタフェース装置を用いて、当該ユーザの脳内知的活動を推定する方法であって、
当該ユーザの脳波データを取得し、当該脳波データから脳波に係る情報を時系列に記録した脳波解析ログを生成する第１のステップと、
当該脳波に係る情報の経時データと、脳内知的活動の解釈ラベルとを予め対応付けた複数の解釈ルールに基いて、生成された当該脳波解析ログから解釈ラベル候補を決定する第２のステップと、
インタフェース装置における当該知的活動に係る情報の処理状況に基づいて、予め設定された複数の脳内知的活動の状態ラベルから状態ラベル候補を決定する第３のステップと、
決定された解釈ラベル候補と、決定された状態ラベル候補との間で共通するラベルの内容を、当該ユーザの脳内知的活動状態に決定する第４のステップと
を有する脳内知的活動推定方法が提供される。
【発明の効果】
【００２４】
本発明の脳内知的活動推定装置、システム、プログラム及び方法によれば、インタフェース装置を用いて活動しているユーザの脳内知的活動状態を推定することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明による脳内知的活動推定装置を含む教育サービス提供装置の一実施形態を示す模式図である。
【図２】本発明による脳内知的活動推定装置を含む教育システムの一実施形態を示す模式図である。
【図３】本発明による脳内知的活動推定装置及びインタフェース装置の一実施形態における機能構成を示す機能ブロック図である。
【図４】測定される脳波の種別を示すテーブルである。
【図５】生成された脳波解析ログの一実施形態を示すテーブルである。
【図６】解釈に使用される経時グラフの一例を示す模式図である。
【図７】脳波解釈ルールの一例を示すテーブルである。
【図８】状態把握に使用される活動状況把握テーブルの一例を示すテーブルである。
【図９】知的活動決定部における脳内知的活動状態の推定処理の一実施例を示す模式図である。
【発明を実施するための形態】
【００２６】
以下では、本発明の実施形態について、図面を用いて詳細に説明する。
【００２７】
［教育サービス提供装置］
図１は、本発明による脳内知的活動推定装置１１を含む教育サービス提供装置１の一実施形態を示す模式図である。
【００２８】
本実施形態において、教育サービス提供装置１は、ユーザに対し、例えばＥ−ラーニング形式で授業コンテンツや演習問題を提示し、その回答を受け付けて採点をし、その結果に基づいて学習を進めていくといった教育サービスを提供する装置である。教育サービス提供装置１は、
（ａ）ユーザとの間で知的活動（本実施形態では学習）に係る情報を入出力可能な入出力インタフェースを有し、当該知的活動に係る情報を処理可能なインタフェース装置１２と、
（ｂ）インタフェース装置１２に接続されており、インタフェース装置１２（教育サービス提供装置１）を使用するユーザの脳内における知的活動の状態を推定可能な脳内知的活動推定装置１１と
を有している。尚、この教育サービス提供装置１は、教育サービス提供用のアプリケーション・プログラムを搭載したパーソナル・コンピュータ（ＰＣ）、スマートフォン、又はタブレット型コンピュータ等とすることができる。
【００２９】
インタフェース装置１２の入出力インタフェースは、授業・教材内容や演習問題等を表示するディスプレイや、それらについての情報を音声で伝えるスピーカ、さらにはユーザによる回答の入力を受け付けるキーボードやマウス、また、音声としての回答を受け付けるマイクのうちの少なくとも１つ又はその全てとすることができる。または、学習に係る情報を入出力可能なタッチパネル・ディスプレイであってもよい。
【００３０】
一方、脳内知的活動推定装置１１は、教育サービス提供装置１を使用するユーザに装着され当該ユーザの脳波を測定可能な脳波測定器１３から、測定された脳波データを含む脳波測定情報を受信可能な無線又は有線用の通信インタフェースを有している。
【００３１】
本発明によれば、この脳内知的活動推定装置１１は、
（Ａ−１）ユーザの脳波データを取得して、この脳波データから脳波に係る情報を時系列に記録した脳波解析ログを生成し、
（Ａ−２）脳波に係る情報の「経時データ」と、脳内知的活動の「解釈ラベル」とを予め対応付けた複数の解釈ルールに基いて、生成された脳波解析ログから「解釈ラベル」候補を決定し、さらに、
（Ｂ）インタフェース装置１２における知的活動に係る情報の「処理状況」に基づいて、予め設定された複数の脳内知的活動の「状態ラベル」から「状態ラベル」候補を決定し、
その上で、
（Ｃ）決定された「解釈ラベル」候補と、決定された「状態ラベル」候補との間で共通するラベルの内容を、ユーザの「脳内知的活動状態」に決定する
という特徴を有している。
【００３２】
このように、脳内知的活動推定装置１１では、従来感情推定に使用されてきた脳波データだけでなく、インタフェース装置１２での知的活動情報の「処理状況」をも勘案してユーザの脳内状態を推定する。これにより、従来測定されてきた基本的な感情よりもさらに複雑な精神過程に関連する「脳内知的活動状態」を推定することが可能となっているのである。
【００３３】
ここで、「脳内知的活動状態」とは、例えば、ユーザが知的活動を行っている際に示す「理解した」、「考察中」、「熟考中」、「分からない」、「絶好調」、又は「本調子ではない」等の脳内状態を指す。このような状態は、基本的な感情よりもさらに複雑な精神過程によるものであり、単純に脳波種別を判別しただけで推定されるものではない。例えば、カンマ波が継続して測定されている場合であっても、このことから被験ユーザは単にイライラしている、と断定することはできない。被験ユーザが学習中であれば、このガンマ波は勉強に集中している証拠と捉えることもできる。さらに、このガンマ波の後にアルファ波が測定された場合、被験ユーザはおそらくリラックスしたものと考えられるが、この測定結果だけから、例えば何らかの課題を理解したのか、それとも理解することを諦めたのかを判別することはできない。
【００３４】
このような事情に対し、脳内知的活動推定装置１１によれば、そのような複雑な精神過程に係る脳内の知的な活動の状態を、インタフェース装置１２での「処理状況」をも勘案することによって推定することができるのである。
【００３５】
また、１人のユーザの脳内において、複数の互いに異なる「脳内知的活動状態」が同時に生起することは少なくない。例えば、「絶好調」且つ「考察中」であるといった状態は十分に起こり得る。このような状況に対し、脳内知的活動推定装置１１では、「経時データ」と「解釈ラベル」とを対応付けた複数の解釈ルールに基いて、生成された脳波解析ログから複数の「解釈ラベル」候補を決定することも可能である。また、「処理状況」に基づいて複数の「状態ラベル」候補を決定することも可能である。その結果、上記のように同時に生起する複数の「脳内知的活動状態」を推定することも可能となるのである。
【００３６】
さらに、脳内知的活動推定装置１１が「脳内知的活動状態」の推定結果をインタフェース装置１２に出力し、インタフェース装置１２がこの推定結果に基づいて、次に提示する授業・教材内容や演習問題を決定することも好ましい。または、脳内知的活動推定装置１１自体が、「脳内知的活動状態」の推定結果に基づいて、次に提示する授業・教材内容や演習問題を決定し、コンテンツ指示をインタフェース装置１２に出力してもよい。これにより、教育サービス提供装置１は、ユーザに対し、当該ユーザの状態に適した質の高い教育サービスを適宜、提供することが可能となる。
【００３７】
［教育システム］
図２は、本発明による脳内知的活動推定装置２１を含む教育システム２の一実施形態を示す模式図である。
【００３８】
図２によれば、教育システム２は、
（ａ）教育に係る問題情報を出力し、この問題情報に対するユーザによる回答情報を入力することが可能な少なくとも１つの（図２では複数の）インタフェース装置２２と、
（ｂ）インタフェース装置２２を使用するユーザ毎に装着され、脳波測定データをインタフェース装置２２に送信可能な脳波測定器２３と、
（ｃ）脳内知的活動推定装置２１と
を有している。
【００３９】
このうち、インタフェース装置２２は、図１に示したインタフェース装置１２と同様の情報処理機能と入出力インタフェースとを備えており、さらに、ネットワークを介して脳内知的活動推定装置２１と通信するための通信インタフェースを有している。ここで、このネットワークを介してインタフェース装置２２から脳内知的活動推定装置２１宛てに、装置２２での処理状況に係る情報のみならず、脳波測定データも送信される。尚、インタフェース装置２２は、教育サービス提供用のアプリケーション・プログラムを搭載したＰＣ、スマートフォン、又はタブレット型コンピュータ等であってもよい。
【００４０】
また、このネットワークは、インターネット及び種々のアクセスネットワーク、例えば光ファイバ網若しくはＡＤＳＬ（Asymmetric Digital Subscriber Line）等の固定系ネットワーク、または、Ｗｉ-Ｆｉ（登録商標）等の無線ＬＡＮ（Local Area Network）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＬＴＥ(Long Term Evolution)若しくは３Ｇ（3rd Generation）等の無線系ネットワークとすることができる。この場合、脳内知的活動推定装置２１は、通信事業者が管理するアクセスネットワーク内に又はインターネット上に設置されたサーバとしてもよい。または、このネットワークは、学校や企業等の内部に設けられたプライベート・ネットワークであってもよい。
【００４１】
また、脳内知的活動推定装置２１は、図１に示した脳内知的活動推定装置１１と同様の脳内知的活動状態の推定機能を備えており、さらに、上記のネットワークを介してインタフェース装置２２と通信するための通信インタフェースを有している。また、脳内知的活動推定装置２１は、脳内知的活動状態の推定処理を実行する知的活動決定部２１７から、推定結果である脳内知的活動状態を入力し、ユーザによる学習状況を管理する学習進捗管理部２１９を更に有することも好ましい。
【００４２】
この学習進捗管理部２１９は、インタフェース装置２２から受信した処理状況に基づき、同装置２２で出力された問題情報及び／又は入力された回答情報に対応して決定され入力された脳内知的活動状態を、この問題情報及び／又は回答情報に対応付けて記録し管理する。これにより、脳内知的活動推定装置２１は、提示された問題毎や返された解答毎に、インタフェース装置２２の各ユーザの理解度や考察の度合い等についての情報を取得することができる。その結果、この取得された情報に基づいて、次に提示する授業・教材内容や演習問題を決定し、コンテンツ指示をインタフェース装置２２に出力することも可能となる。
【００４３】
例えば、具体的には、多数の生徒（ユーザ）が「理解していない」場合に、Ｅ−ラーニングでの授業内容を変更したり、多数の生徒が「考察中」の状態をとらずに諦めている場合、提示する演習問題を変更したり、十分な時間「考察中」の状態をとった後に「理解した」状態に至った場合、提示した問題を、生徒に適した問題であると判断したりすることも可能となる。
【００４４】
以上に説明したような脳内知的活動推定装置２１での推定処理及び管理処理は、ユーザの単純な感情の状態を把握するだけでは適切に実行することができない。本実施形態では、より複雑な精神過程に係る脳内知的活動状態、例えば理解度や考察の度合い、を的確に推定することができるので、各ユーザの学習の進捗状況をも把握し、これにより、例えばユーザに対し適切なフィードバックを行うことも可能となるのである。
【００４５】
［装置構成・脳内知的活動推定処理］
図３は、本発明による脳内知的活動推定装置１１及びインタフェース装置１２の一実施形態における機能構成を示す機能ブロック図である。
【００４６】
図３によれば、脳内知的活動推定装置１１は、脳波測定器１３と通信可能な通信インタフェース１１１と、脳波データ蓄積部１１２と、脳波解析ログ管理部１１４と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、教育サービス提供装置１（脳内知的活動推定装置１１）に搭載されたコンピュータを機能させるプログラムを実行することによって、脳内知的活動推定機能を実現させる。
【００４７】
さらに、このプロセッサ・メモリは、機能構成部として、脳波解析部１１３と、脳波解釈部１１５と、活動状況把握部１１６と、知的活動決定部１１７と、コンテンツ指示部１１８とを有する。
【００４８】
同じく図３によれば、インタフェース装置１２は、キーボード１２１と、マイク１２２と、ディスプレイ１２３と、スピーカ１２４と、コンテンツ管理部１２５と、情報処理部１２６とを有する。ここで、情報処理部１２６は、教育サービス提供装置１（インタフェース装置１２）に搭載されたコンピュータ（プロセッサ・メモリ）であり、プログラムを実行することによって情報処理機能を実現させる。
【００４９】
また、本実施形態では、教育サービス提供装置１の構成要素として、外部ネットワークとの通信インタフェースであるＩ／Ｆ１４１が設けられている。脳内知的活動推定装置１１及び／又はインタフェース装置１２は、Ｉ／Ｆ１４１を介して外部ネットワークと通信することができる。尚、図３によれは、各機能構成部を矢印で接続した処理の流れは、本発明による脳内知的活動状態を推定する方法の一実施形態としても理解される。
【００５０】
脳波測定器１３は、例えば数μＶ（マイクロボルト）の微弱な脳波の測定を可能にする電極系と脳波測定専用の回路とを備えていてユーザの脳波を測定することができる、ヘッドバンド状、ヘッドフォン状又はグラス状等のウェアラブルデバイスである。脳波測定器１３は、さらに、脳波測定データを有線、Bluetooth（登録商標）等の近距離無線通信網、又はＷｉ-Ｆｉ（登録商標）等の無線ＬＡＮを介して脳内知的活動推定装置１１の通信インタフェース１１１に送信可能な通信インタフェースを有することも好ましい。尚、図２に示した脳波測定器２３は、脳波測定器１３と同様の測定機能を備えているが、脳波測定データを同様の通信手段によってインタフェース装置２２に送信する。
【００５１】
Ｉ／Ｆ１４１は、教育サービス提供装置１の通信インタフェースであるが、脳内知的活動推定装置１１及びインタフェース装置１２が、無線系又は有線系アクセスネットワーク及びインターネットを介して外部のサーバや端末と通信するのに使用される通信インタフェースである。例えば、知的活動決定部１１７（脳内知的活動推定装置１１）から脳内知的活動状態の推定結果を外部に送信したり、外部から学習コンテンツや教育用プログラムを情報処理部１２６（インタフェース装置１２）にダウンロードしたりするために、Ｉ／Ｆ１４１が使用されることも好ましい。
【００５２】
脳波データ蓄積部１１２は、脳波測定器１３から受信した脳波データを蓄積し、脳波解析部１１３に適宜、蓄積した脳波データを出力する。
【００５３】
脳波解析部１１３は、入力したユーザの脳波データから、脳波に係る情報を時系列に記録した脳波解析ログを生成する。具体的に、脳波解析ログは、脳波発生に係る時刻毎に、脳波種別と、当該種別の脳波のレベルとを対応付けた脳波レコードを時系列に並べたものとすることができる。生成された脳波解析ログは、脳波ログ管理部１１４に蓄積される。
【００５４】
図４は、測定される脳波の種別を示すテーブルである。
【００５５】
図４によれば、測定される脳波の種別として、デルタ（δ）波、シータ（θ）波、ローアルファ（low-α）波、ハイアルファ（high-α）波、ローベータ（low-β）波、ハイベータ（high-β）波、ローガンマ（low-γ）波、及びハイガンマ（high-γ）波が挙げられており、本実施形態での定義として、それぞれ周波数0.5〜４Hz、４〜８Hz、８〜10Hz、10〜12Hz、12〜20Hz、20〜30Hz、30〜40Hz、及び40〜50Hz（若しくは40Hz以上）に対応した脳波となっている。このように、測定した脳波の周波数を解析することによって脳波種別を特定できる。ここで、サンプリング周波数は例えば10ミリ秒（msec）とすることができる。また、図４のテーブルでは、各脳波種別に対し、当該脳波の発生している状態に対応する基本的感情・情動の種類が対応付けて記載されている。
【００５６】
図５は、生成された脳波解析ログの一実施形態を示すテーブルである。
【００５７】
図５によれば、脳波解析ログでは、時刻ｔ、ｔ＋１、ｔ＋２、・・・といった単位時間間隔で離隔した所定時刻毎に、測定された脳波種別と、当該脳波のレベル（正規化電圧）とが対応付けて記録されている。同図に示されているように、一般に、複数の種別の脳波が同時に観測される。ここで、レベルに関しては、各種別の脳波について、測定電圧が所定閾値以上であればハイレベル（Ｈ）とし、所定閾値未満であればローレベル（Ｌ）と規定している。また、測定されなかった脳波種別については「無し」との情報を記録することも好ましい。さらに、測定された各脳波種別について、当該脳波の発生継続時間を記録しておくことも好ましい。
【００５８】
図３に戻って、脳波解釈部１１５は、脳波に係る情報の経時データと、脳内知的活動の解釈ラベルとを予め対応付けた複数の脳波解釈ルールに基いて、生成された脳波解析ログから解釈ラベル候補を決定する。ここで、脳波に係る情報の経時データとして、例えば、ある種別及びレベルの脳波を出力する状態をノードとし、当該状態間の遷移をブランチとした経時グラフを採用することができる。
【００５９】
図６は、解釈に使用される経時グラフの一例を示す模式図である。
【００６０】
図６には、Ｈレベルのハイガンマ波を出力する状態を示す３つのノードと、Ｈレベルのローベータ波を出力する状態を示す１つのノードと、終了状態を示す１つのノードとを順次並べ、状態（ノード）から状態（ノード）への遷移を矢印（ブランチ）で示した経時グラフが示されている。これらの状態（ノード）は一定時間間隔の時刻毎の状態を示す。ここで、開始状態と終了状態との間の状態（を表す確率変数）については観測できず（hiddenな状態であり）、状態遷移のたびに遷移先の状態での出力確率分布に従って脳波という信号を出力したと捉えると、この経時グラフは、まさに隠れマルコフモデル（ＨＭＭ）でのグラフとなる。
【００６１】
図６に示した経時グラフでは、図４に示したテーブルの内容に基づくと、強い推論状態が連なってその後平穏状態が現れたと解釈することが可能であり、順調に学習が進んでいると推定することもできる。その結果、後述するように、この経時グラフには少なくとも「絶好調」との解釈ラベルが対応付けられる。
【００６２】
図７は、脳波解釈ルールの一例を示すテーブルである。
【００６３】
図７には、各時刻において発生していた一連の脳波の種別及び当該脳波のレベルと、解釈ラベルとを対応付けて記録した脳波解釈ルールが示されている。ここで、解釈ラベルとして「Any」及び「絶好調」が対応付けられた１行目のルールは、図６に示された経時グラフに対して規定されたものとなっている。尚、この「Any」は、脳内知的活動状態のいずれにも適合することを示している。
【００６４】
解釈ラベルは、後に推定され得る脳内知的活動状態に対応する内容を有するラベルである。具体的に、解釈ラベルとして、「考察中」である旨を示すラベル、「考察が終了した」旨を示すラベル、「理解した」旨を示すラベル、及び「理解していない」旨を示すラベルのうちの少なくとも１つ又は全てが採用されることが好ましい。
【００６５】
また、１行目〜３行目のルールのように、脳波解釈ルールにおいては、Ｈレベルを有するハイガンマ波又はローガンマ波を出力する状態から、Ｈレベルを有するローベータ波を出力する状態への遷移を含む経時グラフに対し、少なくとも「理解した」との解釈ラベルを対応付けたルールを設定することも好ましい。いずれにしても、経時グラフと対応付けることのできる解釈ラベルは、実験によって、又は統計データの解析によって決定することができる。
【００６６】
図３に戻って、脳波解釈部１１５は、図７に示したような脳波解釈ルールに従い、図７の脳波解釈ルールにリストされた経時グラフで表現された出力パターンを、ＨＭＭ解析を用いて脳波解析ログから抽出した際、当該経時グラフに予め対応付けられた解釈ラベルを解釈ラベル候補に決定する。例えば、図６に示した経時グラフの出力パターンを脳波解析ログから抽出した際、「Any」及び「理解した」との解釈ラベルを解釈ラベル候補に決定することができる。
【００６７】
ここで、脳波解釈部１１５は、脳波ログ管理部１１４から一定時間間隔の時刻毎の脳波解析データを取得し、取得した脳波解析データ毎に解釈ラベル候補を決定することも好ましい。この場合、ユーザの現在の脳内状態に対応したラベル候補を、それ程大きなタイムラグを生じさせずに決定することができる。また、さらに、決定した解釈ラベルを、当該時刻に対応付けたＨＭＭ解釈ログとして記録しておくことも好ましい。
【００６８】
尚、上述したように、脳波解析ログでは一般に、複数種別の脳波が同時に生起しているので、複数の又は多数の経時グラフの出力パターンが脳波解析ログから抽出されて、複数の又は多数の解釈ラベル候補が決定される場合も少なくない。
【００６９】
同じく図３によれば、インタフェース装置１２におけるキーボード１２１及びマイク１２２はそれぞれ、ユーザによる回答や質問等に係る情報の手動入力及び音声入力を受け付ける入力インタフェースである。また、ディスプレイ１２３及びスピーカ１２４はそれぞれ、教育用コンテンツ、教材や、演習問題をユーザに対して表示及び音声出力する出力インタフェースである。当然に装置１２の入出力インタフェースはこれらに限定されるものではなく、例えばタッチパネル・ディスプレイが設けられていてもよい。
【００７０】
コンテンツ管理部１２５は、ユーザの学習・教育に利用される種々のコンテンツを管理し、情報処理部１２６の指示に応じて、蓄積したコンテンツを情報処理部１２６に出力したり、例えば外部からＩ／Ｆ１４１を介して取得されたコンテンツを格納したりする。
【００７１】
情報処理部１２６は、ユーザの学習・教育に係る情報を処理し、教育用コンテンツ、教材や、演習問題を、出力インタフェースを介してユーザへ出力させたり、ユーザによる回答や質問等に係る情報を、入力インタフェースを介して受け取ったりする。また、後述する活動状況把握部１１６に、ユーザの学習・教育に係る情報、言い換えるとユーザの知的活動に係る情報の処理状況を通知する。
【００７２】
同じく図３に示すように、活動状況把握部１１６は、インタフェース装置１２の情報処理部１２６から入力した知的活動に係る情報の処理状況に基づいて、予め設定された複数の脳内知的活動の状態ラベルから状態ラベル候補を決定する。具体的に、インタフェース装置１２は、ユーザが処理すべき課題又は提案情報を出力し、この課題又は提案情報に対するこのユーザによる反応又は応答情報を入力することが可能である。これに対し、活動状況把握部１１６は、この課題又は提案情報の出力状況と、この反応又は応答情報の入力状況との想定される組合せ毎に予め状態ラベルを対応付けた活動状況把握テーブルを用いて、状態ラベル候補を決定することも好ましい。
【００７３】
尚、インタフェース装置１２は、処理状況に係る情報を、一定時間間隔の時刻毎に、例えば１秒毎に、活動状況把握部１１６へ出力し、活動状況把握部１１６は、当該時刻毎に状態ラベル候補を決定することも好ましい。例えば、決定した状態ラベル候補を、当該時刻に対応付けて行動把握ログとして記録しておくことも好ましい。
【００７４】
図８は、状態把握に使用される活動状況把握テーブルの一例を示すテーブルである。
【００７５】
図８に示した活動状況把握テーブルは、インタフェース装置１２の状態と、ユーザの反応・動作との組合せ毎に、状態ラベルを対応付けて記録している。ここで、インタフェース装置１２の状態は、「質問出題」や「質問出題後の回答説明」といったユーザに対する課題又は提案情報の出力状況となっている。また、ユーザの反応・動作は、出題された質問に対する「反応の有無」や、「回答作成中」、「回答作成完了」、「質問作成」といったユーザによる反応又は応答情報の入力状況となっている。尚、図８の活動状況把握テーブルにおける「Any」は、状態や反応・動作がいずれの場合でも当てはまることを示す。
【００７６】
さらに、状態ラベルには、「考察中」である旨を示すラベル、「考察が終わった（考察完了）」の旨を示すラベル、「理解した」旨を示すラベル、及び「理解していない（未理解の）」旨を示すラベルのうちの少なくとも１つ又は全てが採用されることが好ましい。図８の活動状況把握テーブルでは、これらの状態ラベルの他に、「絶好調」の旨を示す状態ラベルも使用されている。尚、活動状況把握テーブルにおける状態ラベルとの対応付けは、予めの実験や、統計データの解析によって実施することができる。
【００７７】
このように、活動状況把握部１１６（図３）では、図８に示したような活動状況把握テーブルを準備し、インタフェース装置１２側の動作状態と、装置１２を利用するユーザ側の反応・動作とに対し、その際に生起する可能性のある、基本的な感情よりも複雑な精神過程の候補を状態ラベルとして設定しておく。これにより、後述するように、脳波のＨＭＭ解析だけでは把握し難い脳内知的活動状態を決定することができるのである。
【００７８】
図３に戻って、知的活動決定部１１７は、決定された解釈ラベル候補と、決定された状態ラベル候補との間で共通するラベルの内容を、ユーザの脳内知的活動状態に決定する。ここで、決定された解釈ラベル候補と、決定された状態ラベル候補とを照らし合わせる際、それぞれに対応付けられた時刻が一致又は所定時間範囲内にあるもの同士の中から共通するものを選択することも好ましい。また、決定した脳内知的活動状態を、解釈ラベル候補又は状態ラベル候補に対応付けられていた時刻に対応付けた脳内状態ログとして記録しておくことも好ましい。
【００７９】
図９は、知的活動決定部１１７における脳内知的活動状態の推定処理の一実施例を示す模式図である。
【００８０】
図９によれば、
（ａ）脳波解釈部１１５が、脳波解釈ルールに基いて、脳波解釈ログから解釈ラベル候補として「Any」及び「絶好調」、並びに「問題が解けた」及び「理解した」を決定し、
（ｂ）活動状況把握部１１６が、活動状況テーブルに基づいて、状態ラベル候補として「絶好調」、並びに「考察完了」及び「理解した」を決定している。
尚、上記（ａ）及び（ｂ）での決定は共に、例えば時刻ｔにおいて取得された情報に基づいて行われる。即ち、同時期の脳波及び処理状況についてのラベル候補決定となるように処理される。
【００８１】
次いで、知的活動決定部１１７は、決定された解釈ラベル候補と、決定された状態ラベル候補との間で共通するラベル内容、即ち、「絶好調」及び「理解した」を抽出し、これらをユーザの脳内知的活動状態に決定する。
【００８２】
ここで、解釈ラベル及び状態ラベルには予め同一の分類ターム群を使用し、決定された解釈ラベル候補及び状態ラベル候補の間で一致するタームのラベルを、共通するラベルとすることができる。または、解釈ラベル及び状態ラベルに使用するタームについて意味の類似範囲を予め設定しておき、決定された解釈ラベル候補及び状態ラベル候補の間で意味の一致する又は類似するタームのラベルを、共通するラベルとすることも可能である。さらに、解釈ラベル及び状態ラベルとして、理解度等の指標となる数値パラメータを割り当てておき、決定された解釈ラベル候補及び状態ラベル候補の間で当該数値パラメータ値が互いに所定範囲内となっているラベルを、共通するラベルとしてもよい。
【００８３】
このように、知的活動決定部１１７では、脳波データから導出される推定結果のみならず、ユーザの操作状況を含むインタフェース装置１２での処理状況から導出される推定結果をも勘案することによって、従来推定が困難であったユーザの脳内知的活動状態を、比較的少ない処理工数で確実に決定することができるのである。
【００８４】
図３に戻って、コンテンツ指示部１１８は、
（ａ）知的活動決定部１１７が、ユーザの脳内知的活動状態を、「理解した」旨を示すラベルの内容に決定した場合、インタフェース装置１２に対し、出力された課題又は提案情報の次のステップに相当する課題又は提案情報を出力する指示を行い、
（ｂ）一方、知的活動決定部１１７が、ユーザの脳内知的活動状態を、「理解していない」旨を示すラベルの内容に決定した場合、インタフェース装置１２に対し、出力された課題又は提案情報の内容を理解させるための情報を出力する指示を行う。
【００８５】
具体的に、コンテンツ指示部１１８は、例えばコンテンツ指示として、「理解した」との推定結果に応じて「次の項目へスキップする」コマンドを、又は「理解していない」との推定結果に応じて「別の説明方法を要求する」コマンドをインタフェース装置１２へ出力してもよい。また、数学や物理等の演習問題に対する１つの解法がユーザに提示された処理状況で、当該ユーザの脳内知的活動状態が継続して「解けない（理解していない）」に決定された場合、コンテンツ指示として、「別の解法を説明する」コマンドをインタフェース装置１２へ出力してもよい。さらに、「理解した」又は「理解していない」との推定結果に応じて、提示する問題の難易度を変更する旨のコンテンツ指示を行ってもよい。
【００８６】
さらに、図２に移るが、教育システム２の脳内知的活動推定装置２１における学習進捗管理部２１９は、同装置２１内の知的活動決定部２１７が決定したユーザの脳内知的活動状態を入力し、この脳内知的活動状態を、同時期にインタフェース装置２２で処理された問題情報及び／又は回答情報に対応付けて記録し管理する。この管理情報は、例えば、教育サービス提供者側において教育項目を改訂したり教育内容を再編集したりするために利用することもできる。
【００８７】
このように、知的活動決定部で推定されたユーザの脳内知的活動状態は、ユーザに対して提供される教育サービス内容の向上のために、種々の形態で利用することが可能となる。
【００８８】
以上詳細に説明したように、本発明では、従来感情推定に使用されてきた脳波データだけでなく、インタフェース装置での知的活動情報の「処理状況」をも勘案してユーザの脳内状態を推定する。これにより、インタフェース装置を用いて活動しているユーザにおける、より複雑な精神過程に関連する「脳内知的活動状態」を推定することが可能となる。
【００８９】
尚、本発明による脳内知的活動状態の推定は、当然に、教育分野への応用に限定されるものではない。例えば、ゲーム・アプリケーションに採用して、ユーザの脳内状態に応じてゲーム展開を演出したりゲームの進行を調整したりすることもできる。また、音楽や映画等のコンテンツのユーザによる評価にも適用可能である。さらに、お見合い等のマッチングシステムにも応用することができる。さらにまた、マーケティングの際のグループインタビューシステムや自動アンケートマシンとして使用することも可能である。
【００９０】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００９１】
１  教育サービス提供装置
１１、２１  脳内知的活動推定装置
１１１  通信インタフェース
１１２  脳波データ蓄積部
１１３  脳波解析部
１１４  脳波ログ管理部
１１５  脳波解釈部
１１６  活動状況把握部
１１７、２１７  知的活動決定部
１１８  コンテンツ指示部
１２  インタフェース装置
１２１  キーボード
１２２  マイク
１２３  ディスプレイ
１２４  スピーカ
１２５  コンテンツ管理部
１２６  情報処理部
１３、２３  脳波測定器
１４１  Ｉ／Ｆ
２  教育システム
２１９  学習進捗管理部
２２  ＰＣ（インタフェース装置）
【図１】
2016118575.tif 000003
【図２】
2016118575.tif 000004
【図３】
2016118575.tif 000005
【図４】
2016118575.tif 000006
【図５】
2016118575.tif 000007
【図６】
2016118575.tif 000008
【図７】
2016118575.tif 000009
【図８】
2016118575.tif 000010
【図９】
2016118575.tif 000011