(57)【要約】  心理状態を判別し、判別された心理状態に基づき、課題の呈示内容を変化させる刺激呈示装置を提供する。(解決手段) ユーザの視線と脳機能とを計測することより、心理状態を判別し、判別された心理状態に基づき、課題の呈示内容を変化させる。
2013186911.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの基準状態を計測するユーザ設定部と、ユーザの視線情報および脳機能情報を取得するユーザ計測部と、視線情報と脳機能情報の信号解析を行う信号解析部と、解析された信号に基づき心理状態を判別するユーザ判別部と、判別された心理状態に基づき、課題の呈示内容を変化させる呈示内容変換部と、解析された信号および判別された心理状態を表示させる表示制御部と、呈示内容変換手段によって変換された呈示内容と心理状態を判別するための所定の計測項目とユーザ情報とを記憶する記憶部を、備えることを特徴とする刺激呈示システム。
【請求項２】
前記信号解析部は、被験体に刺激を与えた時点からの視線情報と脳機能情報の時間ずれを補正することを特徴とする請求項１に記載の刺激呈示システム。
【請求項３】
前記ユーザ設定部は、データ有効条件に基づき刺激に対する脳機能計測データを取捨することを特徴とする請求項１に記載の刺激呈示システム。
【請求項４】
前記ユーザ判別部は、被験体の視線情報と脳機能情報の結果からリバーサル理論に基づく心理状態を判別することを特徴とする請求項１に記載の刺激呈示システム。
【請求項５】
前記呈示内容変換部は、判別された心理状態に基づき、課題の呈示内容を変換する項目を決定することを特徴とする請求項１に記載の刺激呈示システム。
【請求項６】
前記呈示内容変換部は、前記信号解析部またはユーザ判別部から得られた情報に基づき、被験体の計測項目タイムテーブルを作成することを特徴とする請求項１に記載の刺激呈示システム。
【請求項７】
前記呈示内容変換部は、前記信号解析部またはユーザ判別部から得られた情報に基づき、被験体への呈示内容変換タイムテーブルを作成することを特徴とする請求項１に記載の刺激呈示システム。
【請求項８】
前記表示制御部は、前記信号解析部またはユーザ判別部または呈示内容変換部から得られた情報のうち少なくとも１つを表示させるように制御することを特徴とする請求項１に記載の刺激呈示システム。
【請求項９】
前記表示制御部は、前記ユーザ判別部により判別されたリバーサル理論に基づく心理状態の時系列推移を表示することを特徴とする請求項１に記載の刺激呈示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
ユーザの視線情報および脳機能情報を利用して、ユーザに対し情報を表示するするシステムに関する。
【背景技術】
【０００２】
ユーザの視線や脳機能の情報を用いてユーザの心理状態、例えば注意度や集中度等を推定し、自動車や車椅子といった外部機器を操作する技術が提案されている。【０００３】
例えば特許文献１には、運転者状態を覚醒度、注意集中度、及び運転能力の３つの要素に分けて、各々の要素を反映する少なくとも２つの運転者情報を検出し、検出した運転者情報の組み合わせに基づいて運転者状態を判定することにより、運転者状態をより詳細に判別できるようにした運転者状態判定装置について開示されている。【０００４】
また、特許文献２には、ユーザのα波強度（脳活動変動量）の頭部における分布および視線を測定し、α波強度分布および視線に基づき、ユーザの視野内の注意領域を測定する技術について開示されている。また、ユーザのα波強度の変化パターンを測定し、当該α波強度の変化パターンに基づき、ユーザの注意度を測定し、測定したユーザの視野内の注意領域および注意度に応じて、電動車椅子の動作を制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2007-265377号公報
【特許文献２】特開2007-202882号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来技術によって推定される注意度や集中度には、これらを生じさせた事由となる心理状態が複数含まれている。例えば、ユーザが注意を向けている、あるいは集中していると推定された場合、関心があるためなのか、危険を感知したためなのかを推定することはできない。このように、複数の心理状態が可能性として存在する中で、この心理状態の弁別を行わずに外部機器を自動的に操作させた場合、必ずしも適切な操作とはならない可能性があった。【０００７】
そこで、本発明では、ユーザの視線と脳機能とを計測することより、心理状態を判別し、判別された心理状態に基づき、課題の呈示内容を変化させる刺激呈示システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の刺激呈示システムの一例としては、ユーザの基準状態を計測するユーザ設定部と、ユーザの視線情報および脳機能情報を取得するユーザ計測部と、視線情報と脳機能情報の時間ずれを補正し信号解析を行う信号解析部と、解析された信号に基づき心理状態を判別するユーザ判別部と、判別された心理状態に基づき、課題の呈示内容を変化させる呈示内容変換部と、解析された信号および判別された心理状態を表示する表示制御部と、呈示内容変換手段によって変換された呈示内容と心理状態を判別するための所定の計測項目とユーザ情報とを記憶する記憶部を備える。
【発明の効果】
【０００９】
本発明によれば、ユーザの視線と脳機能とを計測することより、心理状態を判別し、判別された心理状態に基づき、課題の呈示内容を変化させることが可能となる。すなわち、よりユーザの状態に沿った課題を提示することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の刺激呈示システム全体の一例を示す図
【図２】本実施例のユーザ設定部フローチャートを示す図
【図３】本実施例のユーザ設定部におけるユーザインタフェース設定例を示す図
【図４】本実施例のユーザ設定部における計測設定例を示す図
【図５】本実施例のユーザ設定部におけるユーザインタフェース設定例及び解析結果例を示す図
【図６】本実施例のユーザ設定部におけるユーザインタフェース設定例を示す図
【図７】本実施例のユーザ設定部におけるユーザインタフェース設定例を示す図
【図８】本実施例の信号解析部におけるフローチャートを示す図
【図９】本実施例の信号解析部におけるユーザインタフェース設定例を示す図
【図１０】本実施例のユーザ判別部におけるフローチャートを示す図
【図１１】本実施例のユーザ判別部におけるユーザインタフェース設定例を示す図
【図１２】リバーサル理論に基づく心理状態を示す図
【図１３】本実施例の心理状態判別例を示す図
【図１４】本実施例のユーザ判別部におけるユーザインタフェース設定例を示す図
【図１５】本実施例の呈示内容変換部におけるフローチャートを示す図
【図１６】本実施例の呈示内容変換部におけるユーザインタフェース設定例を示す図
【図１７】本実施例の呈示内容変換項目決定例を示す図
【図１８】本実施例の計測項目及び呈示内容変換に関するフローチャートを示す図
【図１９】本実施例の計測項目タイムテーブル作成例および呈示内容変換タイムテーブル作成例を示す図
【図２０】本実施例の表示制御部におけるフローチャートを示す図
【図２１】本実施例における解析信号表示例を示す図
【図２２】本実施例における心理状態判別表示例を示す図
【図２３】本実施例におけるユーザ活動関連項目表示例を示す図
【図２４】脳機能情報計測機器の一例を示す図
【図２５】視線情報計測機器の一例を示す図
【発明を実施するための形態】
【実施例１】
【００１１】
本発明による刺激呈示システムの構成の一例について、実施形態を例に挙げ説明する。ここでは、視線情報は赤外線により計測する装置と、脳機能情報は近赤外分光法により脳血液量変化を計測する装置の利用を例に挙げるが、視線情報は、生体光計測、電位計測、画像計測などにより、脳機能情報は、生体光計測、電位計測、磁場計測、代謝計測などにより取得してもよい。【００１２】
図１は本実施例の刺激呈示システムの全体を示すブロック図である。この刺激呈示システムは、演算装置１１と、ユーザ１２の頭部に装着可能な計測部を有する脳活動情報計測機器１３と、ユーザの視線を計測する視線情報計測機器１４と、ユーザに対して課題を含む刺激を呈示するモニタ１５（刺激呈示部１５）を有している。【００１３】
演算装置１１には、ユーザの情報などを入力手段を介して設定できるユーザ設定部１と、脳活動情報計測機器１３や視線情報計測機器１４などで計測された計測情報を収集するユーザ計測部２と、ユーザ計測部にて得られた計測結果をもとに解析を行う信号解析部３と、ユーザ判別部４と、呈示内容変換部５と、表示制御部６と、記憶部７とを備えている。ここで記憶部７は必ずしも演算装置に組み込まれている必要は無く、有線、無線などの通信手段による外部接続手段により接続されていても良い。【００１４】
また、呈示された課題への回答、ユーザ設定、課題の初期設定等に必要な情報を指示入力するための入力手段を備えており、具体的にはキーボード、マウスなどを備えている。ここで、入力手段はキーボードやマウスに限らない。例えば、モニタ１５に直接タッチ入力できるタッチパネルにて構成することも可能である。【００１５】
ここで、脳活動情報計測機器１３について、図２４を用いて具体例を説明する。図２４は脳活動情報計測機器１３の概略構成図である。【００１６】
本実施例における脳活動情報計測機器１３は、被検体に光を照射する１つまたは複数の光照射手段２４０１および２４０２と、被検体を透過あるいは反射した光を検出する１つまたは複数の光検出手段２４０３および２４０４を有する。【００１７】
また、光照射手段と光検出手段は複数の組み合わせによる複数の計測点（以下chとも称する。第１の計測点２４１０および第２の計測点２４１１）を有するとともに、各計測点は、被検体上に空間的に異なる位置に装着されるものとする。ここで光照射手段は生体を透過できる６００〜９００ｎｍ程度の波長のうち２波長の光を照射するものであり、具体的には光源２４２０や２４２１にレーザーダイオードやＬＥＤを用い、直接被検体１２に接触させたり、光ファイバ２４３０を用いて光源２４２０および２４２１から導いた光を被検体１２に接触させたりして被検体１２に照射する。検出手段はシリコンフォトダイオード、アバランシェフォトダイオード、フォトマルチプライヤー等を用い、光照射手段と同様に被検体１２上で直接検出するかまたは光ファイバ２４３０を被検体１２に接触させ光ファイバ２４３０で光を導いて検出する。【００１８】
また、この脳活動情報計測機器１３は、被検体１２に一つまたは複数種類の課題を呈示するモニタ１５と接続される。被検体１２の各計測点２４１０および２４１１における脳活動信号は検出手段において夫々検出され当該検出結果は演算装置１１におけるユーザ計測部２において、呈示された課題に対するユーザ１２の計測点における脳活動信号を求める。【００１９】
次に図２５を用いて視線情報計測機器１４について、具体例を以下に説明する。図２５は視線情報計測機器１４の概略構成図である。本実施例における視線情報計測機器１４は、図２５(ａ)に示すように、被験体１２の頭部領域に光を照射する照射手段と被験体１２の眼球から反射した光を検出する光検出手段とを有する視線計測部２５０１と、被験体１２の頭部位置を画像計測により検出する頭部位置検出手段２５０２とを有し、被験体１２に映像や音声の刺激を呈示するモニタ１５に接続されている。具体的には赤外光を用い、被験体に対し非接触計測を行う。検出手段において取得された信号から演算部１１において視線情報が算出される。次に、図２５(ｂ)に示す視線情報計測機器１４では、モニタ１５を用いずに被験体１２の視線情報を計測することができる。被験体１２の頭部や背部に映像記録機器２５１０を備えることで、被験体１２の眼前の映像が収録され、視線計測部２５０１により取得された信号は演算部１１において視線情報として算出される。次に、図２５(ｃ)に示す視線情報計測機器１４は、眼鏡として装着することが可能な、光照射手段と光検出手段を有する視線計測部２５０１の例である。被験体１２の眼前の映像は映像記録機器２５１０により収録され、演算部１１において視線情報が算出される。図２５(ａ)から図２５(ｃ)に示した演算部１１と視線情報計測機器１４は、有線、無線などを用いて通信することができる。【００２０】
本実施例における演算装置１１内のユーザ設定部１は、図２に示す１―１から１―５の下位手段から構成されている。ここでは課題を行う前のユーザ基本状態の計測及び解析とユーザ活動の種類や目標値を設定する。活動前のユーザ基本状態と活動中のユーザ状態を比較することにより、活動中のユーザ状態をより適切に判別することが可能となる。【００２１】
ユーザ基準反応計測設定手段１―１では、図３に示すように、計測設定項目として刺激、呈示時間、安静時間、計測部位、繰り返し回数、視線情報、生体情報、信号情報、計測時間、被験者応答取得、マーカ利用のうち、いずれか１つについて選択あるいは入力することができる。計測設定項目は新規に追加してもよい。さらに、前述した項目は有効計測条件として利用することができる。有効計測条件とは、計測された信号を取捨するための条件である。以上の手順にてユーザ基準反応計測設定が完了する。【００２２】
図３では、刺激として「意味判断」、呈示時間が「２０秒」、安静時間が「２０秒」、計測部位が「全脳」、繰り返し回数が「５回」、視線情報の計測「有り」、生体情報の計測「有り」、被験者応答取得が「反応時間」、マーカ利用「有り」、有効計測条件として、「刺激注視１５秒」と計測時間「５分」が設定されている。  
この場合、図４に示す内容でユーザ基準反応計測が設定され、図４下部に示されるような時系列に沿って安静時間と刺激時間が繰り返される。マーカ利用は、刺激開始と刺激終了の時点にタイムマーカを入れることを指す。また、有効計測条件により、課題時間に対し注視が１５秒以上行われた脳活動信号が取得され、注視が１５秒以下の脳活動信号は取得されない。この有効データが５回取得できた時点で計測完了となるが、最大計測時間は５分と設定されているため、最大でも５分間の計測となる。刺激はモニタやスピーカーを通じ呈示されるが、紙やペンなどの筆記手段を用いてもよい。マーカ利用を有効計測条件として用いる場合には、有効計測条件を満たす時点にタイムマーカが入れられる。【００２３】
脳活動信号は課題に対する反応として計測されるため、ユーザが課題を知覚し処理することが前提となる。しかし、ユーザに課題を呈示しても、実際にユーザが課題を知覚し処理しているかは不明である。注視時間はユーザが課題を知覚していることと関連するため、注視時間を有効計測条件とすることにより、与えた課題を知覚したと推定される脳活動信号として、注視時間を用いない場合の脳活動信号よりも有用なデータとなる。【００２４】
続いて、ユーザ基準反応解析手段１―２では、図５に示すように、脳活動信号情報と視線情報と生体信号情報の解析を実行するための項目を選択あるいは入力することができる。【００２５】
脳活動信号情報では、脳活動遅延時間、Oxy-Hb信号、Deoxy-Hb信号、Total-Hb信号、区間指定、チャンネル指定、最大値、潜時、半値幅、平均値、分散値、中央値、加算回数、位相差、心拍数、FFT成分、マーカ利用のうち、いずれか１つの項目について選択あるいは入力することができる。脳活動信号情報を新規に追加することもできる。【００２６】
視線情報では、視角度、中心視（２０度以内）、周辺視（２０度外）、注視座標・範囲、注視時間、注視時間分散、注視方向、眼球停留時間、眼球停留・範囲、瞬目回数、瞬目スピード、閉眼時間、サッケード距離、サッケード頻度、瞳孔径、注視パタン、注視パタン回数、マーカ利用のうちのいずれか１つの項目について選択あるいは入力することができる。視線情報は新規に追加することもできる。【００２７】
生体信号情報では、表情、顔面筋肉動き、声の大きさ、声の抑揚、発話スピード、嚥下、唾液分泌、唾液成分、脳波帯域、事象関連電位、血圧、心拍、皮膚電位、反応時間、回答の正誤、反応時間変化率、マーカ利用のうち、いずれか１つの項目について選択あるいは入力することができる。生体信号情報は新規に追加することもできる。【００２８】
視線情報と生体信号情報は、脳活動信号情報の解析を補助するための解析制約条件としても利用可能である。例えば、注視時間はユーザが課題を知覚していることと関連するため、課題を知覚したと推定される脳活動信号として、注視時間を用いない場合の脳活動信号より精度よく解析することが可能である。脳活動信号情報には様々な生体影響が含まれているため、視線情報や生体信号情報による解析制約条件を加えることにより、信号解析の精度を向上させることが可能となる。【００２９】
刺激に対し脳活動情報の反応はおよそ５−８秒程度遅れるが、視線情報の反応は刺激に対し１秒以内で反応が生じるため、刺激に対する脳活動情報と視線情報を比較するためには、この時間ずれを補正しなければならない。【００３０】
そこで、脳活動信号情報の解析では、「脳活動信号遅延時間」を選択しておく。これにより、刺激に対する視線情報の変化と脳活動情報の変化の時間ずれが補正され、視線情報と脳活動情報を比較し解析することが可能となる。この項目を選択した場合、遅延時間６秒が適用されるが、任意の数値を入力し遅延時間の補正を行うことも可能である。遅延時間は既存の複数データから算出した値（平均値や中央値など）を参照し適用することも可能である。【００３１】
図５のユーザ基準反応解析手段１―２では、脳活動信号情報として、「Oxy-Hb信号（酸素化ヘモグロビン信号）」と、区間指定として「刺激中」、チャンネル指定として「１２」、最大値が選択されている。視線情報では、注視時間分散、瞬目回数が選択されている。生体信号情報として、心拍と回答の正誤、反応時間変化率が選択されている。以上の手順によりユーザ基準反応解析手段が決定される。【００３２】
ユーザ基準反応表示・記憶手段１―３では、ユーザ基準反応解析手段１―２により設定された項目に従って解析された結果を表示・記憶する。ここでは、図５下部に示すように選択された項目に該当する数値や脳活動波形が表示・記憶される。【００３３】
ユーザ活動選択及び入力手段１―４では、図６―１に示すようにユーザの活動項目として、図形記憶、文字記憶、タイピング学習等のうち、いずれか１つを選択または入力する。ユーザ活動項目は新規に追加することもできる。以上の手順によりユーザ活動が決定される。ここでは「文字記憶」という活動が選択されている。【００３４】
目標値選択及び入力手段１―５では、図６―２に示すように、目標値の設定項目として、数値、時間、ユーザ基準値等のうち、いずれか１つを選択または入力することができる。目標値設定項目は新規に追加することもできる。以上の手順により目標値が決定される。ここでは時間が２０分と設定されている。【００３５】
刺激呈示システムにおけるユーザ計測部２は、図７に示す２―１、２―２の下位手段からなる。ユーザ計測項目選択及び入力手段２―１では、ユーザ活動におけるユーザ計測項目を脳活動信号、視線情報、生体信号情報、行動情報のうち、いずれか１つを選択または入力することができる。ユーザ計測項目を新規に追加することもできる。以上の手順によりユーザ計測項目が決定され、計測項目及び計測信号記憶手段２―２において記憶される。ここでは、脳活動信号、視線情報、生体信号情報、行動情報が選択されている。【００３６】
刺激呈示システムにおける信号解析部３は、図８に示す３―１、３―２の下位手段からなる。計測信号解析手段３―１では、図９に示すように、脳活動信号情報、視線情報、生体信号情報の解析項目と解析制約条件について、いずれか１つを選択または入力することができる。各項目は新規に追加することもできる。図５に示したユーザ設定部におけるユーザ基準反応解析手段１―２と同様であるため説明を省略する。ここでは、脳活動信号情報として、脳活動遅延時間、oxy-Hb信号、区間指定として「1〜10、11〜20」、チャンネル指定「12」、規格化、が選択されている。視線情報として、注視時間分散、瞬目回数、規格化、が選択されている。また、注視時間２０秒が解析制約条件として設定されている。生体信号情報として、心拍、反応時間、規格化、が選択されている。【００３７】
計測信号解析及び解析結果記憶手段３―２により、計測信号が解析され解析結果が記憶される。【００３８】
刺激呈示システムにおけるユーザ判別部４は、図１０に示す４―１から４―３の下位手段からなる。心理状態判別手段４―１では、信号解析部３より解析された信号を用いて心理状態を判別する。【００３９】
図１１に示すように、判別したいユーザの心理状態について、心理状態項目として、リバーサル理論：不安、リバーサル理論：弛緩、リバーサル理論：興奮、リバーサル理論：退屈、注意度、緊張度、リラックス度、快度、不快度、慣れ度、怒り度、喜び度、悲しみ度、楽しみ度、驚き度、恐怖度、嫌気度、心理疲労、肉体疲労、記憶：記銘、記憶：保持、記憶：再生、記憶：リハーサル、内的思考度、外的思考度、認知負荷度、認知葛藤度、意欲度、見落とし度、報酬要求度、自己効力度、集中度、正確度、習熟度のうち、いずれか１つを選択または入力することができる。心理状態項目は新規に追加することもできる。以上の手順により、心理状態判別項目が決定され、心理状態が判別される。ここでは、リバーサル理論：不安、弛緩、興奮、退屈が選択されている。【００４０】
図１２には、リバーサル理論に基づく心理状態の推移と解析信号による心理状態判別例を示す。ここでリバーサル理論について説明する。この理論は、Apter（Reversal theory: Motivation、 emotion and personality. Apter、 Michael J. Florence、 KY、 US: Taylor & Frances/Routledge. (1989). viii 208 pp.）によって提唱された動機付け理論であり、４つの動機付け状態が、何らかのきっかけによりダイナミックに反転（リバーサル）することが特徴である。動機付け状態は対になっており、テリック（目的志向）−パラテリック（活動志向）、順法−反抗、支配−共感、自己志向−他者志向の４つからなる。【００４１】
ここでは、ユーザ活動と関連するテリック（目的志向）−パラテリック（活動志向）の動機付け状態（以下、心理状態）とその反転について説明する。この対については覚醒水準軸（高い−低い）と快−不快軸によって４つの心理状態に分類される。覚醒水準が高くかつ快な状態を興奮、覚醒水準が高く不快な状態を不安、覚醒水準が低くかつ快な状態を弛緩、覚醒水準が低くかつ不快な状態を退屈と定義している。【００４２】
例えば、目標達成を優先し（テリックな状態）活動を行う場合において、ユーザの覚醒水準が高く不快水準が高いときには、ユーザは目標達成に対し不安な心理状態にあると考えられ、覚醒水準が低く快水準が高いときには、ユーザは弛緩（リラックス、落ち着き、冷静）している心理状態にあると考えられる。【００４３】
さらに、図１２に示すテリックモード（太線）やパラテリックモード（点線）を推移する一方で、何らかのきっかけにより、上下左右（図１２に示す双方向矢印）の心理状態に反転することもある。例えば、目的志向のテリックモードで心理状態が弛緩し（リラックス、落ち着き、冷静）活動している場合でも、認知変容を促すきっかけを与えることにより、パラテリックモード（活動志向）に反転する。その場合、快水準から不快水準に推移すると退屈な心理状態となり、低い覚醒水準から高い覚醒水準に推移すると興奮の心理状態となる。【００４４】
しかしながら、従来技術では、例えば、脳波や視線情報により覚醒度のみを判別ターゲットとしているため、ユーザの心理状態が覚醒していると判別できても、興奮状態なのか、不安状態なのかを判別できなかった。そのため、ユーザの支援や活動補助が不適切となる可能性もあった。【００４５】
本実施例では、図１３に示した、刺激関連部位の脳活動、刺激関連部位以外の脳活動、心拍、瞬目、注視時間分散に対し、ユーザ基準反応や安静時の数値変化（上昇、下降、変化なし）を組み合わせ、リバーサル理論に基づく、４つの心理状態の判別を行うことが可能である。【００４６】
刺激関連部位の脳活動とは、ユーザの活動と最も関連する脳機能部位での活動を指し、例えば、文字記憶活動の場合は前頭前野となる。刺激関連部位の脳活動値の変化は、心理状態判別にも使用されるが、本刺激呈示システムを用い設定したユーザ活動が行われているかを読み取るためにも必要な情報となる。【００４７】
それぞれの心理状態を判別するために使用する項目と変化の様相は、図１３の心理状態判別例に示すとおりである。なお、心理状態判別手段に記載の心理状態についても脳活動情報と視線情報、その他の生体情報、行動情報と組み合わせることにより判別することが可能である。これらの判別結果は、心理状態及びユーザ活動関連情報記憶手段４―３にて記憶される。これにより、ユーザは活動中の自身の心理状態を知ることができる。【００４８】
ユーザ活動関連判別手段４―２では、信号解析部３にて解析された信号を用いてユーザ活動関連情報を判別する。図１４に示すように、判別したいユーザ活動関連項目として、学習関連活動、記憶関連活動、学習維持度、学習以外の活動、記憶以外の活動、学習活動の割合、記憶活動の割合、基準活動値との比較、経過時間、活動残時間、呈示内容変換による所要時間、呈示内容変換による所要時間短縮率のうち、いずれか１つを選択または入力することができる。ユーザ活動関連項目は新規に追加することもできる。以上の手順により、判別するユーザ活動関連項目が決定される。ここでは学習関連活動、記憶関連活動、学習以外の活動、記憶以外の活動が選択されている。これらの判別結果は、心理状態及びユーザ活動関連情報記憶手段４―３にて記憶される。これにより、ユーザは活動中にどの程度の学習・記憶活動を行っていたか等を知ることができる。刺激呈示システムにおける呈示内容変換部５は、図１５に示す５―１から５―３の下位手段からなる。呈示内容変換項目決定手段５―１では、解析信号、ユーザ心理状態、ユーザ活動状態に基づき、呈示内容変換の項目を決定、記憶する。【００４９】
図１６に示すように、変換したい呈示内容の項目として、視覚：配色、視覚：コントラスト、視覚：表示サイズ、視覚：３D表示、視覚：表示スピード、視覚：表示間隔、聴覚：音量、聴覚：抑揚、聴覚：左右差、触覚：振動、触覚：送風、味覚・嗅覚：香り、情報フィードバック、休憩サイン、サポートコメントのうち、いずれか１つを選択または入力することができる。呈示内容変換項目は新規に追加することもできる。以上の手順により、呈示内容変換項目が決定・記憶される。【００５０】
図１７には、呈示内容変換項目決定例を示している。現在のユーザ心理状態はリバーサル理論に基づく不安と判別されており、ユーザはこの不安状態により活動を継続できない可能性がある。つまり、ユーザ活動を継続する心理状態としては不安な心理状態は適切ではなく、ユーザ活動に最適な弛緩の状態へ誘導・反転するための働きかけが必要となる。【００５１】
そのための呈示内容変換例を図１７下部に示す。ここでは、呈示する課題の配色を変更すること、呈示する課題の表示スピードを１０％遅くすること、ユーザ活動関連の情報をフィードバックすること、サポートコメントを与えることが決定されている。これらの項目の組み合わせは事前に呈示内容変換のデフォルトパタンとして記憶しておき、各心理状態に対して、デフォルトパタンにより決められた呈示内容変換を行うことができる。あるいは、心理状態のレベルの変化に刻々と対応させた呈示内容変換を行うこともできる。【００５２】
呈示内容変換項目通信手段及びモニタリング手段５―２により、決定された呈示内容変換項目がモニタやスピーカー等により通信され、ユーザ活動の変化が継続的にモニタリングされる。呈示内容変換部により変換された呈示内容のもと、引き続きユーザ活動を行う場合には、この計測データは、ユーザ計測部、信号解析部、ユーザ判定部に送られ処理される。これにより、ユーザが継続して活動を行う場合には、心理状態が適切に誘導される呈示内容となっているため、ユーザは最適な心理状態で活動を遂行することができる。【００５３】
計測タイムテーブル及び呈示内容変換情作成及び記憶手段５―３では、図１８に示すように、解析信号とユーザ心理状態とユーザ活動履歴と呈示内容変換履歴を用いて、ユーザの活動終了後に計測項目のタイムテーブルと呈示内容変換タイムテーブルのデータを作成し記憶することができる。【００５４】
図１９には、計測項目タイムテーブル作成例と呈示内容変換タイムテーブル作成例を示した。例えば、計測項目タイムテーブルに関しては、２０分間の文字記憶の活動を行う場合、視線情報と脳活動情報の全ての項目を計測する必要はなく、瞬目と注視時間分散、１２chのoxy-Hbの最大値、刺激中の１２chのoxy-Hb平均値を、決められた時刻毎に計測すればよいことが示されている。これらの情報に基づき計測を行うことで、ユーザの計測機器装着負担を軽減することができる。【００５５】
呈示内容変換タイムテーブル作成に関しては、例えば、２０分間の文字記憶の活動を行う場合、表示スピード１０％低下、サポートコメント呈示、表示配色変更、情報フィードバックを決められた時刻毎に行えばよいことが示されている。時刻毎の呈示内容変換タイムテーブルはユーザの心理状態を最適に誘導する情報であるため、同一の活動や類似の活動を行う場合に、この呈示内容変換タイムテーブルを適用することにより、ユーザの計測機器装着負担を軽減することができる。【００５６】
刺激呈示システムにおける表示制御部６は、図２０に示す６―１から６―３の下位手段からなる。解析信号表示手段６―１では、信号解析部３において記憶された解析結果を表示する。心理状態表示手段６―２では、ユーザ判別部４において記憶された心理状態を表示する。ユーザ活動関連表示手段６―３では、ユーザ判別部４において記憶されたユーザ活動関連情報を表示する。【００５７】
図２１には、解析信号表示例を２つ示している。図２１(ａ)は、１２ch、oxy-Hb信号と注視時間分散とユーザに呈示された画面内容の時系列表示を示している。下部のスライドバーを進めることにより、時刻毎の画面呈示内容と、呈示内容に対応する脳活動波形と注視時間分散の変化を同時に確認することができる。図２１(ｂ)は、選択された信号（視線、脳活動、心拍、反応時間）の区間指定表示（活動直前、１〜１０分、１１分〜２０分の平均値）を示している。データは活動直前での数値を１として規格化してもよい。これにより、活動区間の推移における変化を確認することができる。【００５８】
図２２には、心理状態判別表示例を２つ示している。
(ａ)は、リバーサル理論の軸におけるユーザ状態の位置を示している。下部のスライドバーを進めることにより、時刻毎の心理状態の推移を確認することができる。
(ｂ)は、選択された心理状態（ここでは緊張度、認知負荷度、正確度、心理疲労を例とする）の区間指定表示（活動直前、１〜１０分、１１分〜２０分の平均値）を示している。データは活動直前での数値を１として規格化してもよい。これにより、活動区間の推移における変化を確認することができる。【００５９】
図２３には、ユーザ活動関連項目表示例を２つ示している。
(ａ)は、選択されたユーザ活動関連項目の学習活動、記憶活動、学習以外の活動、記憶以外の活動について、時刻毎の相対的な割合変化を示している。下部のスライドバーを進めることにより、時刻毎のユーザ活動項目の推移を確認することができる。
(ｂ)は、選択されたユーザ活動項目の区間指定表示（活動直前、１〜１０分、１１分〜２０分での各値の割合）を示している。データは活動直前での数値合計を１００％として規格化してもよい。これにより、活動区間の推移における割合変化を確認することができる。【００６０】
刺激呈示システムにおける記憶部７では、刺激呈示システム各部で取得された情報を記憶する。これらの情報を用いて、新規に解析を行うことが可能であり、データ蓄積に伴いデータベース化していくことも可能である。これにより、ユーザ心理状態判別、ユーザ活動関連情報判別、呈示内容変換情報の精度を向上させることが可能であり、ユーザの活動を効率的に支援することができる。【００６１】
（その他の応用例）
本刺激呈示システムは、視線と脳機能の計測により判別された心理状態に基づき、課題の呈示内容を変化させる刺激呈示システムであるため、教育場面における、ユーザの学習支援に適用すると、ユーザは最適な心理状態に誘導されるため効率的、継続的な学習を行うことができる。【００６２】
また、学習教材に最適な呈示内容変換タイムテーブルを付与することで学習に効果的な教材を提供することができる。【００６３】
（その他の応用例）
本刺激呈示システムでは、ユーザの心理状態を判別することが可能であるため、ユーザインタフェース、広告、デザイン、マーケティングなどの分野へ適用することもできる。【００６４】
（その他の応用例）
本刺激呈示システムでは、ユーザの心理状態を判別することが可能であるため、意思伝達手段が困難な疾患を持つ患者の心理状態を知ることができる。また、判別された心理状態に基づき、呈示内容を変化させることで患者の心理状態を変化させることもできる。
【符号の説明】
【００６５】
１１…演算装置、１２…ユーザ、１３…脳活動情報計測機器、１４…視線情報計測機器、１５…呈示モニタ
【図１】
2013186911.tif 000003
【図２】
2013186911.tif 000004
【図３】
2013186911.tif 000005
【図４】
2013186911.tif 000006
【図５】
2013186911.tif 000007
【図６】
2013186911.tif 000008
【図７】
2013186911.tif 000009
【図８】
2013186911.tif 000010
【図９】
2013186911.tif 000011
【図１０】
2013186911.tif 000012
【図１１】
2013186911.tif 000013
【図１２】
2013186911.tif 000014
【図１３】
2013186911.tif 000015
【図１４】
2013186911.tif 000016
【図１５】
2013186911.tif 000017
【図１６】
2013186911.tif 000018
【図１７】
2013186911.tif 000019
【図１８】
2013186911.tif 000020
【図１９】
2013186911.tif 000021
【図２０】
2013186911.tif 000022
【図２１】
2013186911.tif 000023
【図２２】
2013186911.tif 000024
【図２３】
2013186911.tif 000025
【図２４】
2013186911.tif 000026
【図２５】
2013186911.tif 000027
【手続補正書】
【提出日】平成27年10月16日(2015.10.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検体の基準状態を計測するユーザ設定部と、
前記被検体の視線信号および脳機能信号を取得するユーザ計測部と、
前記視線信号および前記脳機能信号を解析する信号解析部と、
解析された信号に基づき心理状態を判別するユーザ判別部と、
判別された心理状態に基づき、課題の呈示内容を変換する呈示内容変換部と、
解析された信号および判別された心理状態を表示させるように制御する表示制御部と、
前記呈示内容変換部によって変換された呈示内容と心理状態を判別するための所定の計測項目とユーザ情報とを記憶する記憶部と、
を備える、刺激呈示システム。
【請求項２】
前記信号解析部は、前記被験体に刺激を与えた時点からの前記被験体の視線信号および脳機能信号の時間ずれを補正する、
請求項１に記載の刺激呈示システム。
【請求項３】
前記ユーザ設定部は、データ有効条件に基づき刺激に対する脳機能計測信号を取捨する、
請求項１に記載の刺激呈示システム。
【請求項４】
前記ユーザ判別部は、前記被験体の視線信号および脳機能信号の解析結果からリバーサル理論に基づく心理状態を判別する、
請求項１に記載の刺激呈示システム。
【請求項５】
前記呈示内容変換部は、判別された心理状態に基づき、課題の呈示内容を変換する項目を決定する、
請求項１に記載の刺激呈示システム。
【請求項６】
前記呈示内容変換部は、前記信号解析部または前記ユーザ判別部から得られた情報に基づき、前記被験体の計測項目タイムテーブルを作成する、
請求項１に記載の刺激呈示システム。
【請求項７】
前記呈示内容変換部は、前記信号解析部または前記ユーザ判別部から得られた情報に基づき、前記被験体への呈示内容変換タイムテーブルを作成する、
請求項１に記載の刺激呈示システム。
【請求項８】
前記表示制御部は、前記信号解析部および前記ユーザ判別部または前記呈示内容変換部から得られた情報のうち少なくとも一方を表示させるように制御する、
請求項１に記載の刺激呈示システム。
【請求項９】
前記表示制御部は、前記ユーザ判別部により判別されたリバーサル理論に基づく心理状態の時系列推移を表示させるように制御する、
請求項１に記載の刺激呈示システム。
【国際調査報告】
2013186911.tif 000028
2013186911.tif 000029
2013186911.tif 000030
2013186911.tif 000031