(57)【要約】認知能力検出装置（１０）は、視覚情報取得部（１２）、脳信号取得部（１３）、および、検出部（１４）を備える。視覚情報取得部（１２）は、映像に含まれる視覚的刺激に対する検出対象者の視覚情報を取得する。脳信号取得部（１３）は、検出対象者の脳信号を取得する。検出部（１４）は、視覚的刺激の発生タイミングに基づく映像トリガを起点にして、脳信号から事象関連電位を検出し、視覚情報から視覚的刺激に対する視点の有無を検出して、視覚的刺激に対する認知能力を検出する。
2020138012.tif 000002
【特許請求の範囲】
【請求項１】
映像に含まれる視覚的刺激に対する検出対象者の視覚情報を取得する視覚情報取得部と、
前記検出対象者の脳信号を取得する脳信号取得部と、
前記視覚的刺激の発生タイミングに基づく映像トリガを起点として、前記脳信号から事象関連電位を検出し、前記視覚情報から前記視覚的刺激に対する視点の有無を検出して、前記視覚的刺激に対する認知能力レベルを検出する検出部と、
を備える認知能力検出装置。
【請求項２】
前記事象関連電位はＰ３００を含み、
前記検出部は、
前記映像トリガに基づく第１サンプリング期間内における前記Ｐ３００の出力レベル、および、前記視覚的刺激の位置に前記視点があるか否かに基づいて、前記認知能力レベルを検出する、
請求項１に記載の認知能力検出装置。
【請求項３】
前記事象関連電位は、ＥＲＮを含み、
前記検出対象者の前記映像に対する応答が入力される応答入力部を備え、
前記検出部は、
前記応答の入力タイミングで決定される応答トリガに基づく第２サンプリング期間内における前記ＥＲＮの出力レベルに基づいて、前記認知能力レベルを検出する、
請求項１または請求項２に記載の認知能力検出装置。
【請求項４】
前記事象関連電位は、ＦＲＮを含み、
前記検出対象者に対して認知能力の解析結果を通知する解析結果通知部を備え、
前記検出部は、
前記通知のタイミングで決定される通知トリガに基づく第３サンプリング期間内における前記ＦＲＮの出力レベルに基づいて、前記認知能力レベルを検出する、
請求項１乃至請求項３のいずれかに記載の認知能力検出装置。
【請求項５】
前記事象関連電位は、運動準備電位を含み、
前記検出部は、前記運動準備電位を用いて、前記認知能力レベルとして認知速度を検出する、
請求項１乃至請求項４のいずれかに記載の認知能力検出装置。
【請求項６】
前記検出部は、前記視覚情報から、高速眼球運動を検出し、前記高速眼球運動を用いて、認知能力レベルを検出する、
請求項１乃至請求項５のいずれかに記載の認知能力検出装置。
【請求項７】
前記脳信号取得部は、脳信号を取得する脳信号センサを備え、
前記脳信号センサは、前記検出対象者の頭に装着されるヘッドバンドに備えられている、
請求項１乃至請求項６のいずれかに記載の認知能力検出装置。
【請求項８】
前記ヘッドバンドには、透光性を有する板部材が装着されており、
前記視覚情報取得部は、前記板部材に備えられたアイトラッキングセンサである、
請求項７に記載の認知能力検出装置。
【請求項９】
請求項１乃至請求項８のいずれかに記載の認知能力検出装置と、
前記視覚的刺激を含む映像を提示する視覚的刺激提示装置と、
を備える、認知能力検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、視覚的な刺激に対する認知能力を検出する認知能力検出装置および認知能力検出システムに関する。
【背景技術】
【０００２】
特許文献１には、ニューロフィードバックを用いた無意識学習法が開示されている。特許文献１に記載の無意識学習法では、学習課題となる音声を聞かせながら脳波を測定する。この無意識学習法は、脳波に基づいて学習を繰り返す。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６３６２３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、視覚的な刺激に対する対象者の認知能力を検出することは、特許文献１の技術を含み従来には存在しなかった。【０００５】
したがって、本発明の目的は、視覚的な刺激に対する対象者の認知能力を検出できる認知能力の検出技術を提供することにある。
【課題を解決するための手段】
【０００６】
この発明の認知能力検出装置は、視覚情報取得部、脳信号取得部、および、検出部を備える。視覚情報取得部は、映像に含まれる視覚的刺激に対する検出対象者の視覚情報を取得する。脳信号取得部は、検出対象者の脳信号を取得する。検出部は、視覚的刺激の発生タイミングに基づく映像トリガを起点にして、脳信号から事象関連電位を検出し、視覚情報から視覚的刺激に対する視点の有無を検出して、視覚的刺激に対する認知能力を検出する。【０００７】
この構成では、検出対象者の視覚的刺激に対する認知の反応を、視覚情報と脳信号とによって得られる。したがって、視覚情報のみを用いた場合、脳信号のみを用いた場合よりも、視覚的刺激に対する認知能力が向上する。
【発明の効果】
【０００８】
この発明によれば、視覚的な刺激に対する対象者の認知能力を検出できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明の第１の実施形態に係る認知能力検出装置を含む認知能力検出システムの機能ブロック図である。
【図２】図２は、検出部の構成を示す機能ブロック図である。
【図３】図３は、脳信号取得部の構成を示す機能ブロック図である。
【図４】図４は、認知能力の検出対象者への検出用ギアの装着状態の概要を示す図である。
【図５】図５は、視覚的刺激提示装置の構成を示す機能ブロック図である。
【図６】図６は、認知能力の検出の概念を示す図である。
【図７】図７は、本発明の第１の実施形態に係るＰ３００を用いた認知能力検出方法のフローチャートである。
【図８】図８は、本発明の第１の実施形態に係るＰ３００とＥＲＮを用いた認知能力検出方法のフローチャートである。
【図９】図９は、ＥＲＮによる認知能力の検出方法の一例を示すフローチャートである。
【図１０】図１０は、本発明の第２の実施形態に係る認知能力検出装置を含む認知能力検出システムの機能ブロック図である。
【図１１】図１１は、検出部の構成を示す機能ブロック図である。
【図１２】図１２は、認知能力の検出の概念を示す図である。
【図１３】図１３は、本発明の第２の実施形態に係るＰ３００、ＥＲＮ、ＦＲＮを用いた認知能力検出方法のフローチャートである。
【図１４】図１４は、ＦＲＮによる認知能力の検出方法の一例を示すフローチャートである。
【図１５】図１５は、認知能力の検出の概念を示す図である。
【発明を実施するための形態】
【００１０】
（第１実施形態）
本発明の第１の実施形態に係る認知能力検出装置について、図を参照して説明する。図１は、本発明の第１の実施形態に係る認知能力検出装置を含む認知能力検出システムの機能ブロック図である。図２は、検出部の構成を示す機能ブロック図である。図３は、脳信号取得部の構成を示す機能ブロック図である。図４は、認知能力の検出対象者への検出用ギアの装着状態の概要を示す図である。図５は、視覚的刺激提示装置の構成を示す機能ブロック図である。
【００１１】
（概略的な機能ブロックの構成）
図１に示すように、認知能力検出システムは、認知能力検出装置１０、および、視覚的刺激提示装置２０を備える。認知能力検出装置１０は、視覚情報取得部１２、脳信号取得部１３、検出部１４、および、応答入力部９０を備える。なお、応答入力部９０は、後述のＰ３００による認知能力の検出を行う場合であれば、認知能力検出装置１０から省略することも可能である。
【００１２】
視覚情報取得部１２は、既知のアイトラッキングセンサによって実現される。視覚情報取得部１２は、検出対象者８０の眼球の動きを検出して、視覚情報として出力する。
【００１３】
図２に示すように、脳信号取得部１３は、脳信号センサ１３１、および、脳信号処理部１３２を備える。脳信号センサ１３１は、例えば、既知の脳信号を取得できるセンサによって実現される。脳信号処理部１３２は、例えば、電子回路やＩＣ等によって実現される。脳信号センサ１３１は、検出対象者８０の脳信号を取得して、脳信号処理部１３２に出力する。脳信号処理部１３２は、脳信号センサ１３１が取得した脳信号に対して、フィルタ処理、増幅処理等を行って、出力する。
【００１４】
応答入力部９０は、例えば、認知能力として、自動車運転の危険認知能力を検出する場合であれば、模擬的なハンドル、ブレーキペダル、ブレーキレバー等によって実現される。すなわち、応答入力部９０は、認知対象の事象が発生した時に、検出対象者８０が起こす行動を検出できる部材によって実現される。応答入力部９０は、検出対象者８０による認知対象の事象に対する応答の入力タイミングに同期して、応答トリガを生成する。
【００１５】
図３に示すように、検出部１４は、サンプリング期間決定部１４１、事象関連電位検出部１４２、視点検出部１４３、および、解析部１４４を備える。検出部１４の各部は、例えば、電子回路、ＩＣ、ＭＰＵ等によって実現される。
【００１６】
サンプリング期間決定部１４１には、視覚的刺激提示装置２０からの映像トリガ、または、応答入力部９０からの応答トリガが入力される。詳細は後述するが、サンプリング期間決定部１４１は、映像トリガに基づいた第１サンプリング期間を決定する。また、サンプリング期間決定部１４１は、応答トリガに基づいた第２サンプリング期間を決定する。サンプリング期間決定部１４１は、第１サンプリング期間または第２サンプリング期間を、事象関連電位検出部１４２および視点検出部１４３に出力する。
【００１７】
事象関連電位検出部１４２には、脳信号が入力される。事象関連電位検出部１４２は、第１サンプリング期間または第２サンプリング期間にて、脳信号から特定の事象関連電位を検出する。事象関連電位検出部１４２は、検出した事象関連電位を解析部１４４に出力する。
【００１８】
視点検出部１４３には、視覚情報が入力される。視点検出部１４３は、第１サンプリング期間にて、視覚情報から視点位置を検出する。視点検出部１４３は、検出した視点位置を、解析部１４４に出力する。
【００１９】
解析部１４４には、事象関連電位、視点位置、および、認知対象情報が入力される。認知対象情報は、映像トリガの生成時における映像上の認知対象物の位置を含んでいる。解析部１４４は、事象関連電位、視点位置、および、認知対象情報を用いて、検出対象者８０の認知能力を解析する。そして、解析部１４４は、解析結果に基づいて、検出対象者８０の認知対象への認知能力の有無、認知能力レベルの高さ等を検出する。
【００２０】
（検出用ギア１００の構成）
認知能力検出装置１０の構成における一部は、図４に示すような検出用ギア１００に装備されている。検出用ギア１００は、ヘッドバンド１０１と板部材１０２とを備える。ヘッドバンド１０１は、帯状の基材からなる。ヘッドバンド１０１は、例えば伸縮性を有する。ヘッドバンド１０１は、認知能力の検出対象者８０の頭部８００に装着される。より具体的には、ヘッドバンド１０１は、検出対象者８０の後頭部８０１、側頭部、および、前頭部８０２を含む頭部８００の全周に亘るように、検出対象者８０に装着されている。
【００２１】
ヘッドバンド１０１における後頭部８０１側の内側には、脳信号センサ１３１１が装備されている。また、ヘッドバンド１０１における前頭部８０２側の内側には、脳信号センサ１３１２が装備されている。脳信号センサ１３１１および脳信号センサ１３１２は、検出対象者８０の脳信号を取得して出力する。脳信号センサ１３１は、これら脳信号センサ１３１１および脳信号センサ１３１２によって構成される。
【００２２】
ヘッドバンド１０１は、伸縮性を有することで、検出対象者８０の後頭部８０１および前頭部８０２に密着する。これにより、脳信号センサ１３１１は、検出対象者８０の後頭部８０１に密着し、脳信号センサ１３１２は、検出対象者８０の前頭部８０２に密着する。したがって、脳信号センサ１３１１および脳信号センサ１３１２は、検出対象者８０が発生する脳信号を、取得し易い。なお、ヘッドバンド１０１は、検出対象者８０の頭頂部に接触（密着）するように、さらに別の脳信号センサを有していてもよい。また、ヘッドバンド１０１は、脳信号センサを少なくとも１つ有していればよい。
【００２３】
板部材１０２は、透光性を有する。板部材１０２は、ヘッドバンド１０１における脳信号センサ１３１２側の部分に配置されている。板部材１０２は、ヘッドバンド１０１の下端から突出する形状である。板部材１０２は、例えば、メガネのレンズと同様の形状からなり、検出対象者８０がヘッドバンド１０１を装着した状態で、正面視して、検出対象者８０の眼８１に重なる形状である。板部材１０２には、上述のアイトラッキングセンサ（図示を省略している。）が装備されている。
【００２４】
（視覚的刺激提示装置２０の構成）
図５に示すように、視覚的刺激提示装置２０は、制御部２１、映像再生部２２、映像トリガ出力部２３、および、認知対象情報出力部２４を備える。視覚的刺激提示装置２０は、例えば、電子回路、ＩＣ、ＭＰＵ等と、映像を表示する表示器とによって実現される。
【００２５】
映像再生部２２は、認知能力の検出対象である視覚的刺激を含む映像を再生し、表示器に表示する。映像トリガ出力部２３は、映像における視覚的刺激の発生タイミングに、映像トリガを生成して出力する。認知対象情報出力部２４は、映像における視覚的刺激の位置（認知対象物の位置）を含む認知対象情報を生成して、出力する。制御部２１は、これら映像再生部２２、映像トリガ出力部２３、および、認知対象情報出力部２４の同期制御を行うとともに、視覚的刺激提示装置２０の全体制御を行う。
【００２６】
以上の構成からなる認知能力検出装置１０および認知能力検出システム１は、次に示すように、検出対象者８０の認知能力を検出する。なお、以下では、検出対象者８０の危険に対する認知能力、より具体的には、自動車運転時の危険に対する認知能力を検出する場合を示す。ただし、認知能力の検出を映像を用いて行う場合であれば、他の事象であっても、本実施形態の構成および処理は適用できる。
【００２７】
図６は、認知能力の検出の概念を示す図である。図６では、映像、同期信号（トリガ）、視点位置検出状態、脳信号を、時間の変化に準じて概略的に記載している。
【００２８】
まず、視覚的刺激提示装置２０は、危険の認知対象である視覚的刺激を含む動的な映像２００を検出対象者８０に提供する。この映像２００は、危険の認知対象２１０が含まれないフレームと、危険の認知対象２１０が含まれるフレームとを有する。危険の認知対象２１０とは、具体的には、例えば、側道から自動車の進行経路に入ってくる恐れのある人物モデル等である。
【００２９】
視覚的刺激提示装置２０は、危険の認知対象２１０が含まれないフレームを再生した後、危険の認知対象２１０が含まれるフレームを再生する。また、視覚的刺激提示装置２０は、危険の認知対象２１０が含まれるフレームの再生の開始時に同期して、映像トリガを出力する。さらに、視覚的刺激提示装置２０は、危険の認知対象２１０が含まれるフレームの再生時に、認知対象情報を出力する。
【００３０】
認知能力検出装置１０の視覚情報取得部１２は、映像に対する検出対象者８０の眼球の動きを継続的に検出し、視覚情報として出力する。視点検出部１４３は、視覚情報を用いて、映像に対する視点位置を検出し、出力する。例えば、側道から自動車の進行経路に入ってくる恐れのある人物モデルと視点位置とが重なるか否か等を検出し、出力する。この際、視点検出部１４３は、視点位置を継続的に検出して出力する。
【００３１】
認知能力検出装置１０の脳信号取得部１３は、映像を視聴している状態の検出対象者８０の脳信号を取得し、出力する。この際、脳信号取得部１３は、脳信号を継続的に取得し、出力する。
【００３２】
（Ｐ３００を用いた危険の認知能力の検出）
Ｐ３００は、事象関連電位の一種であり、刺激（危険状態）の把握から約３００ｍｓｅｃ．後に発生する。Ｐ３００は、検出対象者８０の潜在的な危険（刺激）に対する認知能力を検出するのに利用される。なお、ここでは、事象関連電位としてＰ３００を用いる態様を示すが、Ｐ１００を用いることも可能であり、Ｐ１００とＰ３００との両方を用いることも可能である。
【００３３】
検出部１４のサンプリング期間決定部１４１は、映像トリガを基準に、第１サンプリング期間を決定する。サンプリング期間決定部１４１は、第１サンプリング期間として、視点位置の検出用のサンプリング期間ＴＰＥ１と、Ｐ３００の検出用のサンプリング期間ＴＰ３００とを個別に設定する。サンプリング期間ＴＰＥ１は、映像トリガを開始タイミング（起点）として、所定の時間長で設定されている。サンプリング期間ＴＰ３００は、視点検出部１４３にて視点位置１２０が危険の認知対象２１０の位置に重なったことを検出したタイミングを開始タイミング（起点）として、所定の時間長で設定されている。なお、サンプリング期間ＴＰ３００は、映像トリガを開始タイミング（起点）としてもよい。サンプリング期間ＴＰ３００の時間長は、例えば、５００ｍｓｅｃ．である。
【００３４】
事象関連電位検出部１４２は、サンプリング期間ＴＰ３００におけるＰ３００を検出して、解析部１４４に出力する。Ｐ３００は、特有の波形を有する信号であり、事象関連電位検出部１４２は、この波形および振幅を用いることで、Ｐ３００を検出できる。
【００３５】
視点検出部１４３は、サンプリング期間ＴＰＥ１における映像２００上での視点位置１２０を検出して、解析部１４４に出力する。
【００３６】
解析部１４４は、視点位置１２０の検出結果、Ｐ３００の検出結果に基づいて、認知能力を解析する。例えば、図６の例であれば、Ｐ３００の振幅（出力レベル）は、Ｐ３００として認識可能なレベル以上で大きい。そして、視点位置１２０は、危険の認知対象２１０の位置と重なる。すなわち、危険の認知対象２１０に対する有効な視点は存在する。この場合、解析部１４４は、検出対象者８０の潜在的な危険の認知能力レベルが高い、または、検出対象者８０の潜在的な危険の認知能力が有ることを検出する。
【００３７】
一方、例えば、Ｐ３００の振幅が認識可能なレベルよりも小さく、視点位置１２０が危険の認知対象２１０の位置から離間している場合（危険の認知対象２１０に対する無効なな視点は存在する場合）、解析部１４４は、検出対象者８０の潜在的な危険の認知能力レベルが低い、または、検出対象者８０の潜在的な危険の認知能力が無いことを検出する。
【００３８】
さらに、例えば、Ｐ３００の振幅が認識可能なレベル以上で大きいが、視点位置１２０が危険の認知対象２１０の位置から離間している場合、解析部１４４は、検出対象者８０の潜在的な危険の認知能力レベルが低い、もしくは、潜在的な危険の認知能力に問題があると検出することもできる。
【００３９】
また、例えば、Ｐ３００の振幅が認識可能なレベルよりも小さいが、視点位置１２０が危険の認知対象２１０の位置に重なっている場合、解析部１４４は、検出対象者８０の潜在的な危険の認知能力はあるが、潜在的な危険意識が低いと検出することもできる。
【００４０】
（ＥＲＮを用いた危険の認知能力の検出）
ＥＲＮは、事象関連電位の一種であり、刺激（危険状態）に対する検出対象者８０の応答が間違っていることを、検出対象者８０が自己で認知した際に発生する。ＥＲＮは、検出対象者８０の自己的な危険（刺激）に対する認知能力を検出するのに利用される。
【００４１】
検出部１４のサンプリング期間決定部１４１は、応答トリガを基準に、第２サンプリング期間を決定する。サンプリング期間決定部１４１は、第２サンプリング期間として、ＥＲＮの検出用のサンプリング期間ＴＥＲＮを設定する。サンプリング期間ＴＥＲＮは、応答トリガを参照して、所定の時間長で設定されている。
【００４２】
事象関連電位検出部１４２は、サンプリング期間ＴＥＲＮにおけるＥＲＮを検出して、解析部１４４に出力する。ＥＲＮは、特有の波形を有する信号であり、事象関連電位検出部１４２は、この波形および振幅を用いることで、ＥＲＮを検出できる。
【００４３】
解析部１４４は、ＥＲＮの検出結果に基づいて、認知能力を解析する。例えば、図６の例であれば、ＥＲＮの振幅（出力レベル）は、ＥＲＮとして認識可能なレベル以上で大きい。ここで、応答が間違っている場合であれば、解析部１４４は、検出対象者８０が自分の応答の間違いに気付き、検出対象者８０の自己的な危険の認知能力レベルが高い、または、検出対象者８０の自己的な危険の認知能力が有ることを検出する。なお、応答が正解である場合には、ＥＲＮを検出しないことによって、解析部１４４は、検出対象者８０の危険の認知能力レベルが高い、または、検出対象者８０の危険の認知能力が有ることを検出する。
【００４４】
一方、例えば、応答が間違っている場合であり、ＥＲＮの振幅が認識可能なレベルよりも小さい場合、解析部１４４は、検出対象者８０が自分の応答の間違いに気付かず、検出対象者８０の自己的な危険の認知能力レベルが低い、または、検出対象者８０の自己的な危険の認知能力が無いことを検出する。
【００４５】
さらに、例えば、危険が無いにもかかわらず、応答してしまい、ＥＲＮの振幅が認識可能なレベル以上で大きい場合、解析部１４４は、検出対象者８０の自己的な危険の認知能力レベルが高い、もしくは、自己的な危険の認知能力があると検出する。
【００４６】
また、例えば、危険が無いにもかかわらず、応答してしまい、ＥＲＮの振幅が認識可能なレベルよりも小さい場合、解析部１４４は、検出対象者８０の自己的な危険の認知能力レベルが低い、もしくは、自己的な危険の認知能力がないと検出する。
【００４７】
また、例えば、危険が無く、応答も無く、ＥＲＮの振幅が認識可能なレベルよりも小さい場合、解析部１４４は、検出対象者８０の自己的な危険の認知能力レベルが高い、もしくは、自己的な危険の認知能力があると検出する。
【００４８】
このように、本実施形態の構成および処理を用いれば、視覚的な危険に対する検出対象者８０の認知能力を、従来よりも正確且つ確実に検出できる。
【００４９】
なお、上述の説明では、Ｐ３００による潜在的な危険の認知能力と、ＥＲＮによる自己的な危険の認知能力とを個別に検出する態様を示したが、Ｐ３００とＥＲＮとを用いて複合的に危険の認知能力を検出することも可能である。あるいは、Ｐ３００とＥＲＮとのいずれかのみを用いて危険の認知能力を検出することも可能である。
【００５０】
（認知能力検出方法）
上述の説明では、認知能力の検出を、複数の機能部で実行する態様を示した。しかしながら、図７に示す処理をプログラム化して記憶しておき、ＣＰＵ等の演算処理装置で実行してもよい。図７は、本発明の第１の実施形態に係るＰ３００を用いた認知能力検出方法のフローチャートである。なお、各処理の具体的な内容は上述しており、以下では具体的な説明は省略する。
【００５１】
演算処理装置は、検出対象者８０に向けて映像を再生する（Ｓ１１）。演算処理装置は、視覚的刺激を含む映像（危険フレーム）を再生する（Ｓ１１１）。演算処理装置は、視覚情報を取得し（Ｓ１２１）、第１サンプリング期間での視点位置を検出する（Ｓ１２２）。演算処理装置は、脳信号を取得し（Ｓ１３１）、第１サンプリング期間でのＰ３００を検出する（Ｓ１３２）。演算処理装置は、認知対象情報、視点位置、および、Ｐ３００を用いて、認知能力を検出する（Ｓ１４）。
【００５２】
図８は、本発明の第１の実施形態に係るＰ３００とＥＲＮを用いた認知能力検出方法のフローチャートである。なお、図８におけるＰ３００に関連する処理、すなわち、第１サンプリング期間に関連する処理は、図７と同じであり、同じ処理の説明は省略する。
【００５３】
演算処理装置は、危険フレームを再生している時（Ｓ１１１：ＹＥＳ）、図７と同様に、Ｐ３００による検出を実行する。一方、演算処理装置は、危険フレームを再生していない時（Ｓ１１１：ＮＯ）、ＥＲＮによる検出処理を実行する（Ｓ１５）。
【００５４】
図９は、ＥＲＮによる認知能力の検出方法の一例を示すフローチャートである。
【００５５】
演算処理装置は、危険フレームが有り（Ｓ５１：ＹＥＳ）、且つ、応答が正解であれば（Ｓ５２：ＹＥＳ）、認知能力レベルが高い、もしくは、認知能力があると検出する。なお、ここでの応答とは、例えば、本実施形態の認知能力検出装置を自動車教習所における訓練用シミュレータとして用いる場合、減速のためのブレーキングや適切なハンドリング等の危険回避行動を行うこと等である。
【００５６】
演算処理装置は、危険フレームが有り（Ｓ５１：ＹＥＳ）、且つ、応答が間違いであれば（Ｓ５２：ＮＯ）、ＥＲＮの検出を行う。演算処理装置は、ＥＲＮを検出できれば（Ｓ５３：ＹＥＳ）、認知能力レベルが高い、もしくは、認知能力があると検出する。一方、ＥＲＮが検出できなければ（Ｓ５３：ＮＯ）、認知能力レベルが低い、もしくは、認知能力がないと検出する。
【００５７】
演算処理装置は、危険フレームでなく（Ｓ５１：ＮＯ）、且つ、応答が無ければ（Ｓ５４：ＮＯ）、認知能力レベルが高い、もしくは、認知能力があると検出する。なお、この時点では、演算処理装置は、認知能力の判定を保留していてもよい。
【００５８】
演算処理装置は、危険フレームでなく（Ｓ５１：ＮＯ）、応答があれば（Ｓ５４：ＹＥＳ）、ＥＲＮの検出を行う。演算処理装置は、ＥＲＮを検出できれば（Ｓ５５：ＹＥＳ）、認知能力レベルが高い、もしくは、認知能力があると検出する。一方、ＥＲＮが検出できなければ（Ｓ５５：ＮＯ）、認知能力レベルが低い、もしくは、認知能力がないと検出する。
【００５９】
演算処理装置は、Ｐ３００による認知能力の検出結果、および、ＥＲＮによる認知能力の検出結果を用いて、認知能力を検出する。
【００６０】
なお、図８において、ステップＳ１１１からステップＳ１５に処理を飛ばすことによって、演算処理装置は、ＥＲＮのみによる認知能力の検出を行える。
【００６１】
第１の実施形態の認知能力検出装置を用いることで、この認知能力検出装置の検出対象者の認知能力を測定できる。例えば、本実施形態の認知能力検出装置を自動車教習所における訓練用シミュレータとして用いる場合、教習者の危険認知能力を、教官が科学的に把握でき、訓練終了後に教官が教習者に対して的確なフィードバックを行うことが可能となる。
【００６２】
（第２実施形態）
本発明の第２の実施形態に係る認知能力検出装置について、図を参照して説明する。図１０は、本発明の第２の実施形態に係る認知能力検出装置を含む認知能力検出システムの機能ブロック図である。
【００６３】
図１０に示すように、第２の実施形態に係る認知能力検出システム１Ａは、第１の実施形態に係る認知能力検出システム１に対して、認知能力検出装置１０Ａの構成において異なる。認知能力検出装置１０Ａは、認知能力検出装置１０に対して、解析結果通知部１５をさらに備え、検出部１４Ａの処理において異なる。認知能力検出システム１Ａの他の構成および処理は、認知能力検出システム１と同様であり、同様の箇所の説明は省略する。
【００６４】
図１０に示すように、認知能力検出システム１Ａは、認知能力検出装置１０Ａを備える。認知能力検出装置１０Ａは、検出部１４Ａおよび解析結果通知部１５を備える。
【００６５】
解析結果通知部１５は、検出部１４Ａにおいて検出した認知能力に応じた通知を行う。例えば、解析結果通知部１５は、音出力部（図示を省略している。）を備え、音２３０Ｓによって認知能力の検出結果を通知する。音出力部は、例えば、ヘッドバンド１０１に装着されたスピーカ等によって実現できる。なお、解析結果通知部１５は、マーク２３０Ｖによって認知能力の検出結果を通知することも可能である。この場合、解析結果通知部１５は、マーク２３０Ｖを、視覚的刺激提示装置２０に出力する。視覚的刺激提示装置２０は、映像にマーク２３０Ｖを重畳して再生する。
【００６６】
また、解析結果通知部１５は、通知のタイミングに通知トリガを生成し、検出部１４Ａに出力する。
【００６７】
図１１は、検出部１４Ａの構成を示す機能ブロック図である。図１１に示すように、検出部１４Ａは、サンプリング期間決定部１４１Ａ、事象関連電位検出部１４２Ａ、視点検出部１４３Ａ、および、解析部１４４Ａを備える。
【００６８】
検出部１４Ａは、第１の実施形態における検出部１４と同様に、Ｐ３００およびＥＲＮを用いた認知能力の検出を行う。さらに、検出部１４Ａは、次に示すように、ＦＲＮを用いた認知能力の検出を行う。図１２は、認知能力の検出の概念を示す図である。図１２では、図６と同様に、映像、同期信号、視点位置検出状態、脳信号を、時間の変化に準じて概略的に記載している。
【００６９】
（ＦＲＮを用いた危険の認知能力の検出）
ＦＲＮは、事象関連電位の一種であり、刺激（危険状態）に対する検出対象者８０の応答が間違っていることを、検出対象者８０が他者から指摘された認知した際に発生する。ＦＲＮは、検出対象者８０の他者的な危険（刺激）に対する認知能力を検出するのに利用される。
【００７０】
検出部１４Ａのサンプリング期間決定部１４１Ａは、通知トリガを基準に、第３サンプリング期間を決定する。サンプリング期間決定部１４１Ａは、第３サンプリング期間として、ＦＲＮの検出用のサンプリング期間ＴＦＲＮを設定する。例えば、サンプリング期間ＴＥＲＮは、通知トリガを開始タイミングとして所定の時間長で設定されている。
【００７１】
事象関連電位検出部１４２Ａは、サンプリング期間ＴＦＲＮにおけるＦＲＮを検出して、解析部１４４Ａに出力する。ＦＲＮは、特有の波形を有する信号であり、事象関連電位検出部１４２Ａは、この波形および振幅を用いることで、ＦＲＮを検出できる。
【００７２】
解析部１４４Ａは、ＦＲＮの検出結果に基づいて、認知能力を解析する。例えば、図１２の例であれば、ＦＲＮの振幅（出力レベル）は、ＦＲＮとして認識可能なレベル以上で大きい。この場合、解析部１４４Ａは、検出対象者８０の他者的な危険の認知能力レベルが高い、または、検出対象者８０の他者的な危険の認知能力が有ることを検出する。
【００７３】
一方、例えば、ＦＲＮの振幅（出力レベル）が認識可能なレベルよりも小さい場合、解析部１４４Ａは、検出対象者８０の他者的な危険の認知能力レベルが低い、または、検出対象者８０の他者的な危険の認知能力が無いことを検出する。
【００７４】
なお、解析部１４４Ａは、通知としてマーク２３０Ｖを用いる場合には、ＦＲＮとともに第３サンプリング期間における視点位置も考慮して、認知能力を検出してもよい。例えば、解析部１４４Ａは、マーク２３０Ｖと視点位置と重なっていれば、認知能力レベルが高い、もしくは、認知能力があるとの検出結果への参考にできる。
【００７５】
このように、本実施形態の構成および処理を用いれば、視覚的な危険に対する検出対象者８０の他者的な認知能力を検出できる。そして、本実施形態の構成および処理を用いれば、視覚的な危険に対する検出対象者８０の認知能力を、従来よりも正確且つ確実に検出できる。
【００７６】
なお、上述の説明では、Ｐ３００、ＥＲＮ、ＦＲＮによる危険の認知能力を検出する態様を示したが、ＦＲＮのみを用いて危険の認知能力を検出することも可能である。あるいは、Ｐ３００、ＦＲＮを用いてＥＲＮを用いなかったり、ＥＲＮ、ＦＲＮを用いてＰ３００を用いなかったりすることにより危険の認知能力を検出することも可能である。
【００７７】
また、第２の実施形態に示すような解析結果を通知する構成および処理を用いることによって、繰り返し映像の再生、認知能力の検出を行って、認知能力を訓練できる。すなわち、認知能力の検出結果を、検出対象者８０にフィードバックしながら、繰り返し認知能力の検出を行うことによって、検出対象者８０の認知能力を向上させる訓練を実現できる。これにより、視覚的刺激に対するニューロフィードバックシステムを実現できる。
【００７８】
この際、危険の種類によって、認知能力を検出すると、より効果的な訓練を実現できる。具体的には、危険の種類とは、例えば、上述のドライブシミュレータであれば、人の飛び出し、バックミラーへの刺激等、視覚的に異なる位置や異なる現象によって分類される。そして、特定の危険に対する認知能力が無かったり、低かったりした場合には、この特定の危険に対して、より重点的に繰り返しの訓練を行う。具体的に、ニューロフィードバックを行う際には、刺激提示後リアルタイムに、訓練者である検出対象者８０の脳信号に基づく危険認知度を、視覚もしくは聴覚を利用しフィードバックするとよい。検出対象者８０は、そのフィードバックに基づき、トレーニング方法を工夫し、危険認知度が向上するように努めることができる。これにより、単にフィードバックなくトレーニングを受けるよりも、さらに効果的なトレーニングシステムを実現できる。
【００７９】
この第２の実施形態に基づく訓練によれば、第１の実施形態で示したようなフィードバック（例えば、訓練終了後に教官が教習者に対して行うフィードバック）よりもさらに効果的な訓練効果を得ることができる。
【００８０】
図１３は、本発明の第２の実施形態に係るＰ３００、ＥＲＮ、ＦＲＮを用いた認知能力検出方法のフローチャートである。なお、図１３におけるＰ３００およびＥＲＮに関連する処理、すなわち、第１サンプリング期間および第２サンプリング期間に関連する処理は、図８と同じであり、同じ処理の説明は省略する。
【００８１】
演算処理装置は、第２サンプリング期間でのＥＲＮの検出後、解析結果を通知する（Ｓ１６０）。
【００８２】
演算処理装置は、通知トリガを起点に第３サンプリング期間を設定する。演算処理装置は、第３サンプリング期間でのＦＲＮを検出する（Ｓ１６）。
【００８３】
図１４は、ＦＲＮによる認知能力の検出方法の一例を示すフローチャートである。
【００８４】
演算処理装置は、応答に対する正解を通知すると（Ｓ６１）、ＦＲＮの検出を行う。検出対象者８０が正確を理解して、演算処理装置は、ＦＲＮを検出できれば（Ｓ６２：ＹＥＳ）、認知能力レベルが高い、もしくは、認知能力があると検出する。一方、検出対象者８０が正確を理解できず、演算処理装置は、ＦＲＮが検出できなければ（Ｓ６２：ＮＯ）、認知能力レベルが低い、もしくは、認知能力がないと検出する。
【００８５】
また、演算処理装置は、応答に対する不正解を通知すると（Ｓ６３）、ＦＲＮの検出を行う。検出対象者８０が不正確を理解して、演算処理装置は、ＦＲＮを検出できれば（Ｓ６４：ＹＥＳ）、認知能力レベルが高い、もしくは、認知能力があると検出する。一方、検出対象者８０が不正解を理解できず、演算処理装置は、ＦＲＮが検出できなければ（Ｓ６４：ＮＯ）、認知能力レベルが低い、もしくは、認知能力がないと検出する。
【００８６】
演算処理装置は、Ｐ３００による検出結果、ＥＲＮによる検出結果、および、ＦＲＮによる検出結果を用いて、認知能力を検出する。
【００８７】
なお、認知能力検出装置は、上述のＰ３００、ＥＲＮ、ＦＲＮを用いた認知能力の検出に対して、さらに、次の項目を用いて認知能力の検出を行うことも可能である。図１５は、認知能力の検出の概念を示す図である。図１５では、図１２と同様に、映像、同期信号、視点位置検出状態、脳信号を、時間の変化に準じて概略的に記載している。また、図１５では、各事象関連電位をポジティブ領域とネガティブ領域とからなる座標軸上で表現している。なお、これらは、一例であり、各事象関連電位の波形は、これに限るものではない。また、以下では、上述の図１１に示した検出部１４Ａの構成で解析を行う場合を示すが、ＦＲＮを用いない場合には、検出部１４の構成で解析を行うことができる。
【００８８】
（運動準備電位を用いた認知能力の検出例）
運動準備電位は、事象関連電位の一種であり、Ｐ３００の発生後に、例えば、上述のドライブシミュレータであれば、ハンドル、ブレーキペダル、ブレーキレバー等を用いて危険回避行動を開始するまでの準備期間中に生じる信号である。運動準備電位は、Ｐ３００、ＥＲＮ、ＦＲＮ等と同様に、脳信号から検出できる。
【００８９】
解析部１４４Ａは、Ｐ３００の検出タイミングと運動準備電位の検出タイミングとの時間差Δｔ２から、危険回避行動の準備の認知速度を解析して、評価する。例えば、解析部１４４Ａは、時間差Δｔ２が短ければ、危険回避行動の準備の認知速度が速いと評価し、時間差Δｔ２が長ければ、危険回避行動の準備の認知速度が遅いと評価する。
【００９０】
また、このような各事象関連電位の検出タイミング、各トリガの検出タイミング（取得タイミング）を用いることで、解析部１４４Ａは、他の解析、評価を行うこともできる。なお、事象関連電位の検出タイミングは、例えば、それぞれの事象関連電位のサンプリング期間内における最大値または最小値の時間によって、定義可能である。例えば、図１５の場合のように、ＥＲＮの検出タイミングは、ＥＲＮが最小値になるタイミングであり、ＦＲＮの検出タイミングは、ＦＲＮが最小値になるタイミングである。
【００９１】
例えば、解析部１４４Ａは、映像トリガの検出タイミングと、Ｐ３００の検出タイミングとの時間差Δｔ１から、初期認知速度を、解析、評価できる。また、解析部１４４Ａは、運動準備電位の検出タイミングと応答トリガの検出タイミングとの時間差Δｔ３から、危険回避行動への行動開始速度を、解析、評価できる。
【００９２】
また、視点検出部１４３Ａによって、高速眼球運動トリガを得られる場合、解析部１４４Ａは、高速眼球運動トリガを基準にして、認知能力を検出できる。高速眼球運動は、上述のアイトラッキングセンサや眼電検出センサによって得られ、例えば、アイトラッキングセンサであれば視点位置の移動速度を算出することによって検出可能である。また、解析部１４４Ａは、高速眼球運動トリガの検出タイミングと各事象関連電位の検出タイミングとの時間差Δｔ４から、認知速度等を、解析評価できる。
【００９３】
また、解析部１４４Ａは、高速眼球運動トリガを用いることによって、検出対象者８０の危険の認知能力を、より詳細に解析、評価できる。例えば、解析部１４４Ａは、高速眼球運動トリガの検出タイミングにおける視点位置を取得する。解析部１４４Ａは、この視点位置と上述の視覚的刺激の位置とを比較することで、危険認知のための眼球運動が正確であるか、すなわち、危険を正確に認知できているかを検出できる。具体的には、例えば、解析部１４４Ａは、高速眼球運動トリガの検出タイミングにおける視点位置と、視覚的刺激の位置とが重なっていれば、認知能力が高いと検出する。また、解析部１４４Ａは、高速眼球運動トリガの検出タイミングにおける視点位置と、視覚的刺激の位置とが大きく離れていれば、認知能力が無いと検出する。
【００９４】
また、上述のタイミングを用いる方法では、事象関連電位としてＰ３００を用いる態様を示したが、この場合も、事象関連電位としてＰ１００を用いることも可能である。さらには、事象関連電位として、Ｐ３００とＰ１００の両方を用いることも可能である。
【００９５】
また、図１５では、上述の応答に対する通知を用いず、危険の発生事象を示す映像を用い、この映像に対する映像トリガｃを用いている。このような危険の発生事象を示す映像を用いても、ＦＲＮに対する解析、評価を行うことができる。
【００９６】
また、図１５では、高速眼球運動トリガの検出タイミングと、運動準備電位の検出タイミングの両方を用いる態様を、図示しているが、いずれか一方を用いる態様であってもよい。
【符号の説明】
【００９７】
１、１Ａ：認知能力検出システム
１０、１０Ａ：認知能力検出装置
１２：視覚情報取得部
１３：脳信号取得部
１４、１４Ａ：検出部
１５：解析結果通知部
２０：視覚的刺激提示装置
２１：制御部
２２：映像再生部
２３：映像トリガ出力部
２４：認知対象情報出力部
８０：検出対象者
８１：眼
９０：応答入力部
１００：検出用ギア
１０１：ヘッドバンド
１０２：板部材
１２０：視点位置
１３１：脳信号センサ
１３２：脳信号処理部
１４１、１４１Ａ：サンプリング期間決定部
１４２、１４２Ａ：事象関連電位検出部
１４３、１４３Ａ：視点検出部
１４４、１４４Ａ：解析部
２００：映像
２１０：認知対象
２３０Ｓ：音
２３０Ｖ：マーク
８００：頭部
８０１：後頭部
８０２：前頭部
１３１１、１３１２：脳信号センサ
【図１】
2020138012.tif 000003
【図２】
2020138012.tif 000004
【図３】
2020138012.tif 000005
【図４】
2020138012.tif 000006
【図５】
2020138012.tif 000007
【図６】
2020138012.tif 000008
【図７】
2020138012.tif 000009
【図８】
2020138012.tif 000010
【図９】
2020138012.tif 000011
【図１０】
2020138012.tif 000012
【図１１】
2020138012.tif 000013
【図１２】
2020138012.tif 000014
【図１３】
2020138012.tif 000015
【図１４】
2020138012.tif 000016
【図１５】
2020138012.tif 000017
【手続補正書】
【提出日】令和3年3月25日(2021.3.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像に含まれる視覚的刺激に対する検出対象者の視覚情報を取得する視覚情報取得部と、
前記検出対象者の脳信号を取得する脳信号取得部と、
前記視覚的刺激の発生タイミングに基づく映像トリガを起点として、前記脳信号から事象関連電位を検出し、前記視覚情報から前記視覚的刺激に対する視点の有無を検出して、前記視覚的刺激に対する認知能力レベルを検出する検出部と、
を備える認知能力検出装置。
【請求項２】
前記事象関連電位はＰ３００を含み、
前記検出部は、
前記映像トリガに基づく第１サンプリング期間内における前記Ｐ３００の出力レベル、および、前記視覚的刺激の位置に前記視点があるか否かに基づいて、前記認知能力レベルを検出する、
請求項１に記載の認知能力検出装置。
【請求項３】
前記事象関連電位は、ＥＲＮを含み、
前記検出対象者の前記映像に対する応答が入力される応答入力部を備え、
前記検出部は、
前記応答の入力タイミングで決定される応答トリガに基づく第２サンプリング期間内における前記ＥＲＮの出力レベルに基づいて、前記認知能力レベルを検出する、
請求項１または請求項２に記載の認知能力検出装置。
【請求項４】
前記事象関連電位は、ＦＲＮを含み、
前記検出対象者に対して認知能力の解析結果を通知する解析結果通知部を備え、
前記検出部は、
前記通知のタイミングで決定される通知トリガに基づく第３サンプリング期間内における前記ＦＲＮの出力レベルに基づいて、前記認知能力レベルを検出する、
請求項１乃至請求項３のいずれかに記載の認知能力検出装置。
【請求項５】
前記検出部は、
危険の認知対象を含む前記視覚的刺激の発生タイミングに基づく、映像トリガを起点として、前記脳信号から事象関連電位を検出し、
前記視覚情報から前記視覚的刺激に対する視点の有無を検出して、前記視覚的刺激に対する危険認知能力レベルを検出する、
請求項１乃至請求項４のいずれかに記載の認知能力検出装置。
【請求項６】
前記事象関連電位は、運動準備電位を含み、
前記検出部は、前記運動準備電位を用いて、前記認知能力レベルとして認知速度を検出する、
請求項１乃至請求項５のいずれかに記載の認知能力検出装置。
【請求項７】
前記事象関連電位は、運動準備電位を含み、
前記検出部は、前記運動準備電位を用いて、前記認知能力レベルとして危険回避行動の準備の速度である認知速度を検出する、
請求項５に記載の認知能力検出装置。
【請求項８】
前記検出部は、前記視覚情報から、高速眼球運動を検出し、前記高速眼球運動を用いて、認知能力レベルを検出する、
請求項１乃至請求項７のいずれかに記載の認知能力検出装置。
【請求項９】
前記脳信号取得部は、脳信号を取得する脳信号センサを備え、
前記脳信号センサは、前記検出対象者の頭に装着されるヘッドバンドに備えられている、
請求項１乃至請求項８のいずれかに記載の認知能力検出装置。
【請求項１０】
前記ヘッドバンドには、透光性を有する板部材が装着されており、
前記視覚情報取得部は、前記板部材に備えられたアイトラッキングセンサである、
請求項９に記載の認知能力検出装置。
【請求項１１】
前記視覚的刺激は、自動車の運転時における危険を示す視覚的刺激を含み、
前記検出部は、前記認知能力レベルとして、前記検出対象者の自動車の運転時における危険認知能力レベルを検出する、
請求項１乃至請求項１０のいずれかに記載の認知能力検出装置。
【請求項１２】
請求項１乃至請求項１１のいずれかに記載の認知能力検出装置と、
前記視覚的刺激を含む映像を提示する視覚的刺激提示装置と、
を備える、認知能力検出システム。
【国際調査報告】
2020138012.tif 000018
2020138012.tif 000019
2020138012.tif 000020
2020138012.tif 000021