(57)【要約】【課題】脳血流量に基づいて会話中の被験者についての認知負荷の大きさを推定することができる。【解決手段】推定装置１２はＣＰＵ３０を含み、ＣＰＵはＮバック課題を遂行するときの被験者の脳血流量信号を脳活動計測装置１８から取得し、取得した脳血流量信号を所定時間毎のセグメントに分離して、セグメント毎の差分エントロピーベクトルを算出する。そして、ＣＰＵは、算出した差分エントロピーベクトルをＫ平均法により、認知負荷度が高いクラスと低いクラスの２つのクラスにクラス分けしたクラスタ空間を構築する。また、ＣＰＵは、ロボットが話題を提供するときの被験者の脳血流信号を所定時間毎に取得し、所定時間毎の差分エントロピーのベクトルを算出して、いずれのクラスに属するかを判断する。その判断結果から会話中の被験者の認知負荷度を推定する。【選択図】  図１
2020151217.tif 000002
【特許請求の範囲】
【請求項１】
コミュニケーション対象と会話する被験者の脳血流量に基づいて、当該被験者が話題に対して知覚する認知負荷の高低を推定する推定装置であって、
認知課題を遂行する被験者の脳血流量についての信号である脳血流量信号を取得する取得手段と、
前記取得手段によって取得された脳血流量信号の所定時間毎の差分エントロピーのベクトルをそれぞれ算出する算出手段と、
前記算出手段によって算出された差分エントロピーのベクトルをクラスタリングしてクラスタ空間を構築する構築手段と、
前記取得手段によって、前記クラスタ空間の構築における前記被験者がコミュニケーション対象と会話するときの前記脳血流信号を取得し、取得された当該脳血流量信号の差分エントロピーのベクトルを前記算出手段によって算出し、当該差分エントロピーのベクトルが当該クラスタ空間において属するクラスを判定することにより、当該被験者の会話中の内容についての認知負荷度を推定する推定手段を備える、推定装置。
【請求項２】
前記取得手段は、前記被験者の前頭前野の左側方の部分における脳血流量信号を取得する、請求項１記載の推定装置。
【請求項３】
前記推定手段によって推定された認知負荷度の情報を前記会話中の内容に関連して記憶する情報記憶手段をさらに備える、請求項１または２記載の推定装置。
【請求項４】
前記コミュニケーション対象は会話エージェントであり、
前記情報記憶手段によって記憶された情報に基づいて前記会話エージェントが提供する話題を選択する話題選択手段をさらに備える、請求項３記載の推定装置。
【請求項５】
コミュニケーション対象と会話する被験者の脳血流量に基づいて、当該被験者が話題に対して知覚する認知負荷の高低を推定するコンピュータによって実行される推定プログラムであって、
前記コンピュータのプログラムに、
認知課題を遂行する被験者の脳血流量についての信号である脳血流量信号を取得する取得ステップと、
前記取得ステップにおいて取得した脳血流量信号の所定時間毎の差分エントロピーのベクトルをそれぞれ算出する算出ステップと、
前記算出ステップにおいて算出した差分エントロピーのベクトルをクラスタリングしてクラスタ空間を構築する構築ステップと、
前記取得ステップにおいて、前記クラスタ空間の構築における前記被験者がコミュニケーション対象と会話するときの前記脳血流信号を取得し、取得した当該脳血流量信号の差分エントロピーのベクトルを前記算出ステップにおいて算出し、当該差分エントロピーのベクトルが当該クラスタ空間において属するクラスを判定することにより、当該被験者の会話中の内容についての認知負荷度を推定する推定ステップを実行させる、推定プログラム。
【請求項６】
コミュニケーション対象と会話する被験者の脳血流量に基づいて、当該被験者が話題に対して知覚する認知負荷の高低を推定する推定方法であって、
（ａ）認知課題を遂行する被験者の脳血流量についての信号である脳血流量信号を取得するステップと、
（ｂ）前記ステップ（ａ）において取得した脳血流量信号の所定時間毎の差分エントロピーのベクトルをそれぞれ算出するステップと、
（ｃ）前記ステップ（ｂ）において算出した差分エントロピーのベクトルをクラスタリングしてクラスタ空間を構築するステップと、
（ｄ）前記ステップ（ａ）において、前記クラスタ空間の構築における前記被験者がコミュニケーション対象と会話するときの前記脳血流信号を取得し、取得した当該脳血流量信号の差分エントロピーのベクトルを前記ステップ（ｂ）において算出し、当該差分エントロピーのベクトルが当該クラスタ空間において属するクラスを判定することにより、当該被験者の会話中の内容についての認知負荷度を推定するステップを含む、推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は推定装置、推定プログラムおよび推定方法に関し、特にたとえば、会話の話題について被験者が認識している困難性の高低を推定する、推定装置、推定プログラムおよび推定方法に関する。
【背景技術】
【０００２】
この種の推定装置の一例が特許文献１に開示される。特許文献１には、ユーザの視線と脳機能とを計測することにより、心理状態を判別し、判別された心理状態に基づき、課題の呈示内容を変化させる刺激呈示システムが開示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】WO2013/186911
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の引用文献１の刺激呈示システムでは、ユーザの心理状態を判別するために、ユーザの視線を計測している。この刺激呈示システムを、被験者がコミュニケーション対象と会話する場合の当該被験者の認知負荷の大きさを推定するシステムに適用する場合には、計測した視線の情報は認知負荷の大きさを推定する要素として使用することができない。コミュニケーション対象に視線を向けているかどうかと、コミュニケーション対象の会話を聞いたり理解したりしているかどうかとは関係が無いからである。
【０００５】
それゆえに、この発明の主たる目的は、新規な、推定装置、推定プログラムおよび推定方法を提供することである。
【０００６】
この発明の他の目的は、脳活動に基づいて会話中における被験者の認知負荷の大きさを推定することができる、推定装置、推定プログラムおよび推定方法を提供することである。
【課題を解決するための手段】
【０００７】
第１の発明は、コミュニケーション対象と会話する被験者の脳血流量に基づいて、当該被験者が話題に対して知覚する認知負荷の高低を推定する推定装置であって、認知課題を遂行する被験者の脳血流量についての信号である脳血流量信号を取得する取得手段と、取得手段によって取得された脳血流量信号の所定時間毎の差分エントロピーのベクトルをそれぞれ算出する算出手段と、算出手段によって算出された差分エントロピーのベクトルをクラスタリングしてクラスタ空間を構築する構築手段と、取得手段によって、クラスタ空間の構築における被験者がコミュニケーション対象と会話するときの脳血流信号を取得し、取得された当該脳血流量信号の差分エントロピーのベクトルを算出手段によって算出し、当該差分エントロピーのベクトルが当該クラスタ空間において属するクラスを判定することにより、当該被験者の会話中の内容についての認知負荷度を推定する推定手段を備える、推定装置である。
【０００８】
第２の発明は、第１の発明に従属し、取得手段は、被験者の前頭前野の左側方の部分における脳血流量信号を取得する。
【０００９】
第３の発明は、第１または第２の発明に従属し、推定手段によって推定された認知負荷度の情報を会話中の内容に関連して記憶する情報記憶手段をさらに備える。
【００１０】
第４の発明は、第３の発明に儒属し、コミュニケーション対象は会話エージェントであり、情報記憶手段によって記憶された情報に基づいて会話エージェントが提供する話題を選択する話題選択手段をさらに備える。
【００１１】
第５の発明は、コミュニケーション対象と会話する被験者の脳血流量に基づいて、当該被験者が話題に対して知覚する認知負荷の高低を推定するコンピュータによって実行される推定プログラムであって、コンピュータのプログラムに、認知課題を遂行する被験者の脳血流量についての信号である脳血流量信号を取得する取得ステップと、取得ステップにおいて取得した脳血流量信号の所定時間毎の差分エントロピーのベクトルをそれぞれ算出する算出ステップと、算出ステップにおいて算出した差分エントロピーのベクトルをクラスタリングしてクラスタ空間を構築する構築ステップと、取得ステップにおいて、クラスタ空間の構築における被験者がコミュニケーション対象と会話するときの脳血流信号を取得し、取得した当該脳血流量信号の差分エントロピーのベクトルを算出ステップにおいて算出し、当該差分エントロピーのベクトルが当該クラスタ空間において属するクラスを判定することにより、当該被験者の会話中の内容についての認知負荷度を推定する推定ステップを実行させる、推定プログラムである。
【００１２】
第６の発明は、コミュニケーション対象と会話する被験者の脳血流量に基づいて、当該被験者が話題に対して知覚する認知負荷の高低を推定する推定方法であって、（ａ）認知課題を遂行する被験者の脳血流量についての信号である脳血流量信号を取得するステップと、（ｂ）ステップ（ａ）において取得した脳血流量信号の所定時間毎の差分エントロピーのベクトルをそれぞれ算出するステップと、（ｃ）ステップ（ｂ）において算出した差分エントロピーのベクトルをクラスタリングしてクラスタ空間を構築するステップと、（ｄ）ステップ（ａ）において、クラスタ空間の構築における被験者がコミュニケーション対象と会話するときの脳血流信号を取得し、取得した当該脳血流量信号の差分エントロピーのベクトルをステップ（ｂ）において算出し、当該差分エントロピーのベクトルが当該クラスタ空間において属するクラスを判定することにより、当該被験者の会話中の内容についての認知負荷度を推定するステップを含む、推定方法である。
【発明の効果】
【００１３】
この発明によれば、脳活動に基づいて会話中における被験者の認知負荷の大きさを推定することができる。
【００１４】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１５】
【図１】図１は第１実施例の推定システムの電気的な構成の一例を示すブロック図である。
【図２】図２（Ａ）は脳活動計測装置の外観図であり、図２（Ｂ）は脳活動計測装置の発光部および受光部の位置関係を示す図である。
【図３】図３は被験者とロボットが会話する場合の位置関係を示す図である。
【図４】脳波検出装置として機能するブレインキャップに設けられる複数の電極の配置位置とこの電極の配置位置に脳計活動測装置の照射部と受光部の配置位置を重ねて記載した図である。
【図５】図５はクラスタ空間を構築するために検出する脳血流量信号の全期間と、差分エントロピーのベクトルを算出する単位の長さと、差分エントロピーのベクトルを算出する場合の分散を算出する単位の長さを説明するための図である。
【図６】図６は図１に示したＲＡＭのメモリマップの一例を示す図である。
【図７】図７は図１に示す推定装置に内蔵されるＣＰＵの構築処理の一例を示すフロー図である。
【図８】図８は図１に示す推定装置に内蔵されるＣＰＵの推定処理の一例を示すフロー図である。
【図９】図９は図１に示す推定装置に内蔵されるＣＰＵの発話制御処理の一例を示すフロー図である。
【図１０】図１０は第２実施例の推定システムの電気的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１６】
＜第１実施例＞
図１は第１実施例の推定システム１０の電気的な構成を示すブロック図である。推定システム１０は、推定装置１２を含み、推定装置１２は、表示装置１４、Ａ／Ｄ変換器１６およびロボット２０に接続される。また、Ａ／Ｄ変換器１６は、脳活動計測装置１８に接続される。後述するように、推定システム１０に含まれるロボット２０は、被験者と会話するために設けられ、推定装置１２で決定された話題および発話内容に従って音声を出力する。つまり、推定システム１０は会話システムとしても機能し、推定装置１２は会話制御装置としても機能する。
【００１７】
なお、図１に示す推定システム１０の電気的な構成は単なる一例であり、限定されるべきでない。たとえば、推定装置１２は表示装置１４を含んでいてもよい。また、後述するように、脳血流量信号に基づいて算出された差分エントロピーのベクトルが推定装置１２に入力されればよいため、Ａ／Ｄ変換器１６および脳活動計測装置１８は推定装置１２に接続されていなくてもよい。
【００１８】
推定装置１２は、汎用のパーソナルコンピュータやワークステーションなどのコンピュータであり、ＣＰＵ３０を含み、ＣＰＵ３０は、内部バスを介して、ＨＤＤ３２、ＲＡＭ３４、表示制御部３６、入力装置３８、入出力インターフェース（以下、「入出力Ｉ／Ｆ」という）４０および通信回路４２に接続される。表示装置１４は、表示制御部３６に接続され、Ａ／Ｄ変換器１６は、入出力Ｉ／Ｆ４０に接続される。
【００１９】
ＨＤＤ３２は、推定装置１２の主記憶装置であり、オペレーティングシステムおよび各種のアプリケーションプログラムを記憶する。ＲＡＭ３４は、揮発性のメモリであり、ＣＰＵ３０のワーキング領域およびバッファ領域として使用される。
【００２０】
表示制御部３６は、表示装置１４のドライバであり、ＣＰＵ３０の制御の下で、認知負荷の大きさ（高低）、具体的には、コミュニケーション（雑談または会話）の内容について知覚された困難性を推定した推定結果などを表示するための表示信号を出力する。
【００２１】
入力装置３８は、キーボード、コンピュータマウスおよびタッチパッド（またはタッチパネル）の少なくとも１つを意味する。
【００２２】
入出力Ｉ／Ｆ４０は、Ａ／Ｄ変換器１６からの信号を受信する。Ａ／Ｄ変換器１６は、脳活動計測装置１８から入力されるアナログの信号を増幅するとともに、デジタルの信号に変換して、入出力Ｉ／Ｆ４０を介してＣＰＵ３０に入力する。ただし、この第１実施例では、脳活動は、前頭前野の活動である。（また、脳活動計測装置１８から入力されるアナログの信号は、脳血流量についての信号（以下、「脳血流量信号」という）である。
【００２３】
なお、図１では、Ａ／Ｄ変換器１６と入出力Ｉ／Ｆ４０を有線接続するように記載してあるが、Ａ／Ｄ変換器１６を脳活動計測装置１８に内蔵し、脳活動計測装置１８と入出力Ｉ／Ｆ４０を無線接続するようにしてもよい。
【００２４】
脳活動計測装置１８は、近赤外分光法（ＮＩＲＳ）を用いた脳の活動状態の計測装置であり、生体組織透過性が高い近赤外光を頭皮上から照射し、ヘモグロビンの濃度変化を計測する。簡単に説明すると、脳活動計測装置１８から照射された近赤外光は生体組織により散乱され、散乱された近赤外光の一部は、被験者の頭蓋骨の内側に存在する大脳皮質を経由し、反射光として再び頭皮へ到達する。この到達位置は、成人の場合、光照射位置から約３０ｍｍ離れていることが知られている（参考文献１：Li, T., Luo, Q. & Gong, H. Gender-specific hemodynamics in prefrontal cortex during a verbal working memory task by near-infrared spectroscopy. Behavioural Brain Research, 209, 148-153 (2010)）。ここで、近赤外光は血液中のヘモグロビンにより吸収されるため、上記の到達位置で検出された反射光強度の変化は、脳活動によるヘモグロビンの濃度変化に反映する。これにより、脳血流量が検出される。
【００２５】
この第１実施例の脳活動計測装置１８は、図２（Ａ）に示すように、上方または下方から見た場合にＣ字状に形成されたヘアバンドのような外観を有し、内側の面に近赤外光の発光部および反射光の受光部が設けられる（図２（Ｂ）参照）。
【００２６】
脳活動計測装置１８は、被験者の前頭部に照射部および受光部が接触または対向するように装着される（図２（Ａ）、（Ｂ）および図３参照）。図２（Ｂ）に示すように、脳活動計測装置１８は、２つの照射部ＴＬ、ＴＲと、４つの受光部Ｌ１、Ｌ３、Ｒ１、Ｒ３が設けられる。照射部ＴＬに対する受光部Ｌ１の距離は１０ｍｍであり、照射部ＴＬに対する受光部Ｌ３の距離は３０ｍｍである。また、照射部ＴＲに対する受光部Ｒ１の距離は１０ｍｍであり、照射部ＴＲに対する受光部Ｒ３の距離は３０ｍｍである。照射部ＴＬから照射された近赤外光の反射光は受光部Ｌ１およびＬ３で受光され、照射部ＴＲから照射された近赤外光の反射光は受光部Ｒ１およびＲ３で受光される。
【００２７】
なお、脳活動計測装置１８としては、株式会社NeU製の携帯型脳活動計測装置（ウェアラブル光トポグラフィシステム）「HOT-1000」を用いることができる。この場合、受光部は、左右に１つずつ設けられ、スライド式で計測位置（照射部との距離）が調整される。
【００２８】
図４は脳波検出装置として機能するブレインキャップに設けられる複数の電極の配置位置とこの電極の配置位置に照射部ＴＬ、ＴＲと受光部Ｌ１、Ｌ３、Ｒ１、Ｒ３の配置位置を重ねて記載した図である。ただし、図４では、ブレインキャップに設けられる電極は丸で示され、照射部ＴＬ、ＴＲおよび受光部Ｌ１、Ｌ３、Ｒ１、Ｒ３は四角で示される。
【００２９】
複数の電極は、図４に示すように、国際１０−２０法に基づいて配置されている。この図４では、被験者がブレインキャップを装着した場合の複数の電極の配置状態を被験者の頭部の上方から見た状態が模式的に示される。図４においては、照射部ＴＬは電極Ｆ７の右斜め上方に配置され、照射部ＴＲは電極Ｆ８の左斜め上方に配置される。受光部Ｌ１は電極ＦＰ１の左側に配置され、受光部Ｌ３は電極ＦＰ１の右側に配置される。受光部Ｌ１は電極ＦＰ１の左側に配置され、受光部Ｌ３は電極ＦＰ１の右側に配置される。
【００３０】
脳活動計測装置１８で検出される脳血流量信号は、上述したように、Ａ／Ｄ変換器１６で増幅およびデジタル変換されて、推定装置１２に与えられる。
【００３１】
この第１実施例では、１０．０Ｈｚのサンプリングレートで８１０ｎｍの波長のレーザ光を放射（発光）することによって全血流量を検出することにより、前頭葉の活動が記録される。
【００３２】
記憶および言語処理中の脳領域の活性化に関する研究では、両方の性別、特に女性において、より高い特異性を有する左側方活性化が示唆されている（参考文献２：Cooper, R., Selb, J., Gagnon, L., Phillip, D., Schytz, H.W., Iversen, H.K., Ashina, M. & Boas, D.A. A systematic comparison of motion artifact correction techniques for functional near-infrared spectroscopy, Frontiers in Neuroscience, 6, p. 147 (2012)）。
【００３３】
この第１実施例では、脳血流量信号として、上記の参考文献１および２に基づいて、受光部Ｌ３の出力に基づく信号が検出される。つまり、前頭前野のうちの左側方部分についての脳血流量が検出される。
【００３４】
また、検出された脳血流量信号は、Ａ／Ｄ変換器１６で増幅およびデジタル変換され、増幅およびデジタル変換されたデータ（脳血流量データ）には、前処理が施される。この第１実施例では、前処理として、正規化処理、一次多項式バターワースフィルタによるフィルタリング、線形デトレンディングおよび主成分分析などが施される（実行される）。具体的には、脳血流量データから、ベースラインとして、１分の休止期間の平均値が差し引かれる。これにより、脳血流量データが正規化される。また、ローパスに０．０１Ｈｚを使用し、ハイパスに０．６Ｈｚを使用して、一次多項式バターワースフィルタにより、正規化された脳血流量データがフィルタリングを施される。さらに、フィルタリングされた脳血流量データには、線形デトレンディングが施された後に、主成分分析が施される。つまり、脳血流データは、正規化されるとともに、アーティファクトを除去される。ただし、アーティファクトは、心臓の拍動、呼吸などの生理的アーティファクトと、頭部運動などの運動アーティファクトである。  ロボット２０は、少なくとも音声によるコミュニケーションを実行可能なロボットである。詳細な説明は省略するが、この第１実施例では、ロボット２０は、少なくとも、制御部、通信部および音声出力部を備え、推定装置１２で決定された話題についての発話内容の音声を受信および出力し、被験者と会話を行う。つまり、ロボット２０は、被験者のコミュニケーション対象である。
【００３５】
なお、ロボット２０としては、本件の出願人が所属する機関が開発したロボビー（登録商標）を使用することができる。
【００３６】
図３に示したように、コミュニケーション対象としてのロボット２０と被験者は、所定の距離（この第１実施例では、１．４ｍ）隔てた位置に、対面するように位置される。ロボット２０は、床面、机または台の上に置かれて、ロボット２０の顔に相当する部分が、椅子に座った被験者の顔と向かい合うように調整される。
【００３７】
話題は、被験者に認知負荷を与える内容であり、一例として、京都の観光名所（寺院）、京都の観光名所（寺院までの案内）などである。たとえば、京都の観光名所（寺院）の話題では、ロボット２０に、「京都の有名な寺院を３つ教えてください」、「京都の紅葉がきれいな寺院を教えてください」などを発話させる。また、京都の観光名所（寺院までの案内）の話題では、ロボット２０に、「ＪＲ京都駅から清水寺へはどのような交通手段で行けば良いですか？」、「三条京阪駅から八坂神社へ歩いて行く道順を教えてください」などを発話させる。
【００３８】
京都の観光名所（寺院）と、京都の観光名所（寺院までの案内）とでは、前者の話題の方が後者の話題よりも認知負荷度は低いと思われる。このように会話の内容についての難易度すなわち認知負荷度が異なる話題が複数用意されており、推定装置１２は後述する所定のルールに従って話題を選択し、ロボット２０に発話させる。
【００３９】
この第１実施例では、ロボット２０と会話を行う被験者の脳血流量を検出し、脳血流量から特徴量を抽出し、抽出した特徴量に基づいて認知負荷の大きさ（以下、「認知負荷度」ということがある）を推定（または判定）し、認知負荷度に応じて話題を変更または維持する。ただし、認知負荷とは、作動記憶すなわちワーキングメモリに負荷を与える認知資源を意味する。また、ワーキングメモリとは、認知課題の遂行に関わる情報の一時的な貯蔵を意味する。
【００４０】
また、この第１実施例では、被験者の認知負荷度を推定するための識別器として脳血流から抽出された特徴量が近いデータが集まり、いくつかのグループ（クラス）になっている空間であるクラスタ空間が構築される。クラスタ空間を構築するために、認知課題として音声によるＮバック課題が用いられる。Ｎバック課題は、持続処理課題とも呼ばれ、Ｎ個前の提示刺激について回答する課題である。Ｎバック課題では、課題を暗記しづらく、慣れによる脳血流変化の低下が起き難いと考えられている。また、Ｎの値が大きくなるほど難易度が高くなるため、課題の難易度を容易に設定することができる。この第１実施例では、Ｎ＝１または２に設定される。つまり、Ｎバック課題の難易度が２段階（低い、高い）に設定される。
【００４１】
推定装置１２は、被験者がＮバック課題を遂行するときの当該被験者の脳血流量信号を取得し、取得した脳血流量信号の特徴量（第１実施例では、差分エントロピー）に基づいてクラスタ空間を構築する。
【００４２】
特徴量として差分エントロピー（すなわち、連続確率変数の平均情報量）を採用するのは、発明者等の研究（参考文献３および参考文献４）により、差分エントロピーが、ヒト被験者の前頭前野（ＰＦＣ）活動の機能的近赤外分光法による時系列データの分類に主に使用される特徴空間よりも著しく優れていることを示すからである。
【００４３】
ただし、参考文献３は、「Keshmiri S., Sumioka, H., Yamazaki, R. & Ishiguro, H. Nonparametric Approach to the Overall Estimate of Cognitive Load Using NIRS Time Series, Frontiers in Human Neuroscience, 11, p.15 (2017).」であり、参考文献４は「Keshmiri S., Sumioka, H., Yamazaki, R. & Ishiguro, H. Differential Entropy Preserves Variational Information of Near-Infrared Spectroscopy Time Series Associated with Working Memory, Frontiers in Neuroinformatics, 12 (2018).」である。
【００４４】
ここで、この第１実施例において、クラスタ空間を構築する方法について詳細に説明する。この第１実施例では、１分の休止期間後に、被験者に対して第１所定時間（５分間）のＮバック課題を遂行させる。１バックまたは２バックについてのタスクがそれぞれ実行され、被験者は、一連の数字（０〜９の数字）の音声を聞きながら、１つ前または２つ前の数字を、画面に表示された数字から選択してクリックする。この所定時間における被験者の脳血流量信号が記録される。
【００４５】
記録された脳血流量信号をＡ／Ｄ変換した脳血流量データには、上述したように、前処理が施される。前処理が施されることにより、正規化およびアーティファクトを除去された脳血流量データは、図５に示すように、第２所定時間（たとえば、２０秒）毎の重複しないセグメントに分離され、セグメント毎に、差分エントロピーのベクトルが数１および数２に従って算出される。
【００４６】
図５に示すように、各セグメントは、第３所定時間（たとえば、５秒）毎の重複しないサブセグメントに分離され、差分エントロピーのベクトルは、所定数（この実施例では、４）の要素で構成される。つまり、この第１実施例では、セグメント毎の差分エントロピーのベクトルは、４次元のベクトルである。また、数１では、Ｈは着目するセグメントＸの差分エントロピーのベクトルであり、Ｘｉは着目するセグメントＸにおけるｉ番目のサブセグメントを意味する。
【００４７】
［数１］
2020151217.tif 000003
【００４８】
［数２］
2020151217.tif 000004
【００４９】
この第１実施例では、セグメント毎に算出されたすべての差分エントロピーのベクトルは、Ｋ−ｍｅａｎｓ法（Ｋ平均法）によってクラスタリングされる。具体的には、すべての差分エントロピーのベクトルは、Ｎバック課題に対する認知負荷度が低いクラス（「クラスＣ１」と呼ぶことがある）と高いクラス（「クラスＣ２」と呼ぶことがある）の２つのクラス（または、クラスタ）にクラス分けされる。つまり、音声によるＮバック（Ｎ=１，２）課題による誘発認知負荷に応じて、近赤外分光法（ＮＩＲＳ）で検出される被験者の前頭前野活動についての特徴量の時系列データをＫ平均アルゴリズムを用いて、Ｋ個（この第２実施例では、２個）のクラスタに分類する。つまり、２個のクラスタを有するクラスタ空間が生成される。ただし、２個のクラスタのそれぞれの中心（または重心）のベクトルのノルムがそれぞれ算出され、値の小さい方のクラスがクラスＣ１に決定され、値の大きい方のクラスがクラスＣ２に決定される。
【００５０】
なお、Ｋ平均法では、ベクトルの空間距離が近いものをＫ個のクラスタにクラス分けするため、難易度が低いＮバック課題を遂行した場合に得られた差分エントロピーのベクトルがクラスＣ２に属する場合があり、また、難易度が高いＮバック課題を遂行した場合に得られた差分エントロピーのベクトルがクラスＣ１に属する場合もある。
【００５１】
クラスタ空間が生成（構築）されると、上述したように、このクラスタ空間を用いて、推定装置１２は、上記の被験者とロボット２０が会話する場合の当該会話の内容（または話題）について当該被験者によって知覚される困難性すなわち認知負荷度を推定または判定する。
【００５２】
ここで、この第１実施例において、ロボット２０と会話する被験者の認知負荷度を推定する方法について詳細に説明する。ただし、上述したクラスタ空間の構築と同じ処理については簡単に説明することにする。
【００５３】
ロボット２０と会話する前に、被験者は１分間安静にした状態を維持する。つまり、構築の工程と同様に、１分の休止期間が設けられる。１分が経過すると、ロボット２０は、所定のルールに従って被験者と会話する内容（話題）を選択し、音声により話題を提供する。この第１実施例では、所定のルールは、会話した履歴が有る被験者については、認知負荷度が高いと推定された話題（難しいと推定された話題）が選択され、会話した履歴が無い被験者については、ランダムに話題が選択される。
【００５４】
コミュニケーション対象であるロボット２０との会話中では、脳活動計測装置１８によって被験者の脳血流量が計測され、脳血流量信号がＡ／Ｄ変換器１６を介して、推定装置１２に入力される。推定装置１２は、脳血流量信号を第２所定時間分（この第１実施例では、２０秒）取得し、取得した２０秒分の脳血流量信号をさらに第３所定時間（この第１実施例では、５秒）毎に分断し、分断したサブセグメント毎の分散を数２に従って算出し、数１に従ってサブセグメント毎の差分エントロピーが算出される。したがって、第２所定時間分の差分エントロピーのベクトルが算出される。そして、差分エントロピーのベクトルがクラスタ空間におけるクラスＣ１およびＣ２のいずれに属するかが判定される。具体的には、差分エントロピーのベクトルについてのクラスタ空間における位置が、クラスＣ１の重心およびクラスＣ２の重心のいずれに近いか判断され、近い方のクラスＣ１またはＣ２に属することが判定される。会話中、セグメント毎にクラスＣ１またはＣ２に属することが判定され、所定回数（この第１実施例では、９回）分の推定結果が得られた時点で、会話中の話題（すなわち、現在の話題）について被験者が知覚している困難性すなわち認知負荷度を推定する。所定回数分の推定結果について多数決を取り、多い方の推定結果が現在の話題についての認知負荷度として決定される。つまり、この第１実施例では、現在の話題について３分会話したときに、当該現在の話題についての認知負荷度が推定される。
【００５５】
また、推定装置１２は、現在の話題について、今回の推定結果と過去の推定結果を比較し、推定結果が異なる場合には、推定結果を書き換える（つまり、更新する）。ただし、過去の推定結果が記載されていない新しい話題については、当該話題のデータに関連して今回の推定結果がメタ情報として記録される（つまり、ラべリングされる）。ここで、新しい話題とは、脳の負荷度を高める話題を意味し、推定システム１０または推定装置１２の管理者等によって追加される。
【００５６】
さらに、推定装置１２は、今回の推定結果として、被験者によって知覚された困難性が低いことを示す場合には、推定結果の履歴に基づいて話題を変更する。この第１実施例では、推定装置１２は、現在の話題とは異なる他の話題であって、推定結果として難易度が高いことがメタ情報として記録（または、ラべリング）されている話題を選択する。難易度が高いことがメタ情報として記録されている他の話題が無い場合には、新しい話題が選択される。ただし、ロボット２０が、現在の話題についての発話する内容をすべて発話した場合にも、話題を変更する。この場合、たとえば、ロボット２０から話題の送信が要求される。
【００５７】
図６は図１に示した推定装置１２に内蔵されるＲＡＭ３４のメモリマップ３００の一例を示す図である。図６に示すように、ＲＡＭ３４はプログラム記憶領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２は、情報処理プログラムを記憶し、情報処理プログラムは、脳血流量取得プログラム３０２ａ、分散算出プログラム３０２ｂ、差分エントロピー算出プログラム３０２ｃ、構築プログラム３０２ｄ、推定プログラム３０２ｅおよび発話制御プログラム３０２ｆなどを含む。
【００５８】
脳血流量取得プログラム３０２ａは、脳活動計測装置１８から出力され、Ａ／Ｄ変換器１６で増幅およびデジタル変換された脳血流量信号に対応する脳血流量データを取得するためのプログラムであり、ＣＰＵ３０は、取得した脳血流量信号をデータ記憶領域３０４に記憶する。
【００５９】
分散算出プログラム３０２ｂは、脳波血流量データのサブセグメント毎の分散を数２に従って算出するためのプログラムである。差分エントロピー算出プログラム３０２ｃは、分散算出プログラム３０２ｂに従って算出したサブセグメント毎の分散を用いて、脳血流量データのセグメント毎の差分エントロピーを数１に従って算出するためのプログラムである。
【００６０】
構築プログラム３０２ｄは、構築の工程において、全期間に含まれる全セグメントについて、差分エントロピー算出プログラム３０２ｃに従って算出したセグメント毎の差分エントロピーのベクトルをＫ平均法によりクラスタリングし、クラスタ空間を構築するためのプログラムである。この第１実施例では、上述したように、差分エントロピーのベクトルは、クラスＣ１またはクラスＣ２にクラス分けされる。
【００６１】
推定プログラム３０２ｅは、差分エントロピー算出プログラム３０２ｃに従って算出した推定の工程における被験者の脳血流量信号に基づく差分エントロピーのベクトルが、クラスＣ１に属するかクラスＣ２に属するかを判定し、所定回数分の推定結果に基づいて、現在の話題についての認知負荷度を推定するためのプログラムである。
【００６２】
発話制御プログラム３０２ｆは、所定のルールに従って、または、推定プログラム３０２ｅに従う推定結果に基づいて、話題を決定または変更し、決定または変更した話題についての音声データをロボット２０に送信するためのプログラムである。
【００６３】
なお、図示は省略するが、プログラム記憶領域３０２には、コンピュータとしての推定装置１２の動作を制御するために必要な他のプログラムも記憶される。
【００６４】
データ記憶領域３０４には、話題データ３０４ａ、脳血流量データ３０４ｂ、差分エントロピーデータ３０４ｃ、クラスタデータ３０４ｄおよび推定結果データ３０４ｅが記憶される。
【００６５】
話題データ３０４ａは、ロボット２０を通して被験者に提示する複数の話題の各々についての音声データであり、話題毎に発話内容に応じた複数の音声データが含まれる。ただし、過去に認知負荷度が推定されている話題については、推定された認知負荷度がメタ情報として記録されている（ラベリングされている）。
【００６６】
脳血流量データ３０４ｂは、脳活動計測装置１８からＡ／Ｄ変換器１６を介して入力され、前処理を施された脳血流量信号に対応するデータである。差分エントロピーデータ３０４ｃは、数１に従って算出されたセグメントについての差分エントロピーのベクトルについてのデータであり、構築の工程では、全期間に含まれる全セグメントについての差分エントロピーのベクトルについてのデータが含まれ、推定の工程では、所定回数分のセグメントについての差分エントロピーのベクトルについてのデータが含まれる。
【００６７】
クラスタデータ３０４ｄは、構築プログラム３０２ｄに従って構築されたクラスタ空間についてのデータであり、具体的には、クラスＣ１の重心位置とクラスＣ２の重心位置のデータである。推定結果データ３０４ｅは、推定プログラム３０２ｅに従って推定された現在の話題についての認知負荷度についてのデータである。
【００６８】
図示は省略するが、データ記憶領域３０４には、情報処理プログラムの実行に必要な他のデータが記憶されたり、情報処理プログラムの実行に必要なカウンタ（タイマ）およびフラグが設けられたりする。
【００６９】
図７は図１に示した推定装置１２に内蔵されるＣＰＵ３０の構築処理（構築の工程の処理）の一例を示すフロー図である。図７に示すように、ＣＰＵ３０は、構築処理を開始すると、ステップＳ１で、認知課題を遂行しているときの被験者の脳血流信号を取得する。ここでは、第１所定時間分（５分）の脳血流量信号が増幅およびデジタル変換され、さらに、前処理を施された脳血流量データが取得される。
【００７０】
次のステップＳ３では、セグメント単位で、サブセグメント毎の分散を数２に従って算出する。続いて、ステップＳ５では、セグメント毎の差分エントロピーのベクトルを算出する。ここでは、ＣＰＵ３０は、セグメント単位で、サブセグメント毎の差分エントロピーを数１に従って算出し、セグメント毎の差分エントロピーのベクトルを算出する。
【００７１】
続くステップＳ７では、算出したすべての差分エントロピーのベクトルを、Ｋ平均法により、２つのクラスＣ１およびＣ２にクラスタリングする。そして、ステップＳ９で、クラスＣ１およびＣ２の重心位置すなわちクラスタデータ３０４ｄをデータ記憶領域３０４に記憶して、構築処理を終了する。
【００７２】
図８は図１に示した推定装置１２に内蔵されるＣＰＵ３０の推定処理（推定の工程の処理）の一例を示すフロー図である。以下、推定処理について説明するが、図６に示した構築処理と同じ処理については簡単に説明する。
【００７３】
ロボット２０が被験者と会話する場合に、１分の休止期間を経過すると、図８に示すように、ＣＰＵ３０は、推定処理を開始し、ステップＳ２１で、暗示音声を聞いているときの被験者の脳血流量信号を取得する。ここでは、ＣＰＵ３０は、第２所定時間分の脳血流量データを取得する。
【００７４】
次のステップＳ２３では、第３所定時間毎の分散を算出し、ステップＳ２５で、第２所定時間分の脳血流量信号についての差分エントロピーのベクトルを算出する。続いて、ステップＳ２７で、現在の話題の認知負荷度を算出する。ここでは、所定回数分（この第１実施例では、９回分）の差分エントロピーのベクトルのそれぞれについてクラスＣ１およびＣ２つのいずれに属するかが判定され、所定回数分の推定結果から現在の話題の認知負荷度が多数決で決定される。
【００７５】
そして、ステップＳ２９で、推定結果を出力して、推定処理を終了する。第１実施例では、推定結果はＣＰＵ３０の発話制御処理部に出力される。
【００７６】
なお、ＣＰＵ３０は、ロボット２０が被験者との会話を終了するまで、話題が変更される度に、所定回数（この第１実施例では、９回）ずつ推定処理を実行する。
【００７７】
図９は図１に示した推定装置１２に内蔵されるＣＰＵ３０の発話制御処理の一例のフロー図である。図９に示すように、ＣＰＵ３０は、発話制御処理を開始すると、ステップＳ５１で、上述した所定のルールに従って話題を選択する。次のステップＳ５１では、ステップＳ５１で選択した話題をロボット２０に送信する。つまり、ＣＰＵ３０は、選択された話題についての発話内容の音声データをロボット２０に送信する。
【００７８】
続くステップＳ５５では、所定回数分（この第１実施例では、９回分）の推定結果を取得したかどうかを判断する。ステップＳ５５で“ＮＯ”であれば、つまり、所定回数分の推定結果を取得していなければ、ステップＳ５５に戻る。一方、ステップＳ５５で“ＹＥＳ”であれば、つまり、所定回数分の推定結果を取得すれば、ステップＳ５７で、話題を変えるかどうかを判断する。このステップＳ５７では、ＣＰＵ３０は、所定回数分の推定結果に基づいて決定した結果が認知負荷度が低いことを示すかどうかを判断する。
【００７９】
ＣＰＵ３０は、所定回数分の推定結果から決定した結果が認知負荷度が高いことを示す場合には、話題を変えないと判断する。一方、ＣＰＵ３０は、所定回数分の推定結果がから決定した結果が認知度が低いことを示す場合には、話題を変えると判断する。ただし、現在の話題についての発話内容をすべて発話した場合にも、ロボット２０から話題の送信が要求され、話題を変えることが判断される。
【００８０】
ステップＳ５７で“ＮＯ”であれば、つまり、話題を変えない場合には、ステップＳ５７に戻る。一方、ステップＳ５７で“ＹＥＳ”であれば、つまり、話題を変える場合には、ステップＳ５９で、現在の話題が新規の話題であるかどうかを判断する。ここでは、ＣＰＵ３０は、現在の話題に対して認知負荷度の情報がラベリングされているかどうかを判断する。
【００８１】
ステップＳ５９で“ＹＥＳ”であれば、つまり、現在の話題が新規の話題であれば、ステップＳ６１で、今回推定した認知負荷度の情報を今回の話題（すなわち、新規の話題）にラベリングして、ステップＳ６７に進む。
【００８２】
一方、ステップＳ５９で“ＮＯ”であれば、つまり、現在の話題が新規の話題でなければ、ステップＳ６３で、今回推定した認知負荷度が履歴の認知負荷度と一致するかどうかを判断する。
【００８３】
ステップＳ６３で“ＹＥＳ”であれば、つまり、今回推定した認知負荷度が履歴の認知負荷度と一致する場合には、ステップＳ６７に進む。一方、ステップＳ６３で“ＮＯ”であれば、つまり、今回推定した認知負荷度が履歴の認知負荷度と一致しない場合には、ステップＳ６５で、認知負荷度を更新して、ステップＳ６７に進む。つまり、ステップＳ６５では、ＣＰＵ３０は、履歴の認知負荷度を今回推定した認知負荷度に書き換える。
【００８４】
なお、この第１実施例では、話題を変える場合に、今回推定した認知負荷度が履歴の認知負荷度と一致するかどうかを判断して、一致しない場合に、認知負荷度を更新するようにしたが、話題を変えない場合にも、同様の判断を行い、判断結果に応じて、認知負荷度を更新するようにしてもよい。
【００８５】
ステップＳ６７では、話題を変更する。この第１実施例では、ＣＰＵ３０は、現在の話題以外の話題であって、認知負荷度の情報として、高いことがラベリングされている話題を選択する。
【００８６】
次のステップＳ６９では、変更後の話題をロボット２０に送信する。そして、ステップＳ７１では、終了かどうかを判断する。ここでは、終了の指示が入力されたかどうかを判断する。ステップＳ７１で“ＮＯ”であれば、つまり、終了でなければ、ステップＳ５５に戻る。このとき、取得した推定結果の個数をカウントするカウンタはリセットされる。一方、ステップＳ７１で“ＹＥＳ”であれば、つまり、終了であれば、発話制御処理を終了する。
【００８７】
この第１実施例によれば、認知課題を遂行する被験者の脳血流量信号に基づいて所定時間毎の差分エントロピーのベクトルを算出し、算出した差分エントロピーのベクトルを認知負荷度の大きさが異なる２つのクラスにクラス分けしたクラスタ空間を構築し、このクラスタ空間を用いて、当該被験者がコミュニケーション対象のロボットと会話するときの脳血流量信号を取得し、取得した脳血流量信号に基づいて算出した差分エントロピーのベクトルがいずれのクラスに属するかに応じて会話の内容について被験者が知覚する難易度すなわち認知負荷度を推定するので、脳活動に基づいて会話中における被験者の認知負荷の大きさを推定することができる。
【００８８】
また、第１実施例によれば、推定した被験者の認知負荷度に応じて話題を変更するので、ロボットの発話を適切に制御することができる。
【００８９】
さらに、第１実施例によれば、脳血流量に基づいて認知負荷度を推定するので、顔の表情または／および視線の向きも考慮して推定する場合よりも優れた認知負荷度の推定結果を得ることができる。たとえば、被験者が神妙な顔でコミュニケーション対象を見ている場合には、そのような表情から判断すると、当該コミュニケーション対象の発話をきちんと聞いているように推定されかも知れないが、実際にはその発話を聞いていない場合もあるからである。また、コミュニケーション対象の方を見ていなくても、当該コミュニケーション対象の発話を聞いていたり発話の内容を理解していたりする場合もあるからである。
【００９０】
なお、この第１実施例では、コミュニケーション対象としてのロボットが被験者に話題を提供し、ロボットと被験者が会話するようにしてあるが、コミュニケーション対象はロボットに限定される必要はなく、仮想空間に配置された仮想のキャラクタであってもよい。この場合、ロボットに代えて、被験者に対面するように、表示装置（１４）が配置され、仮想のキャラクタは、表示装置（１４）に表示され、推定装置に接続されたスピーカ（図示せず）から話題についての音声が出力される。つまり、コミュニケーション対象としては、ロボットおよび仮想のキャラクタのようなエージェント（すなわち、会話エージェント）を使用することができる。
【００９１】
また、この第１実施例では、被験者が５分間の認知課題を遂行したときの脳血流量信号に基づいてクラスタ空間を構築したが、これに限定される必要はない。推定システム（推定装置）の用途によっては、複数の被験者が５分間の認知課題を遂行したとの脳血流量信号のそれぞれに基づいてクラスタ空間が構築されてもよい。
【００９２】
さらに、この第１実施例では、１人の被験者について推定システムおよび推定装置を使用する場合について説明したが、これに限定される必要はない。複数の被験者に使用することも可能である。かかる場合には、話題についての認知負荷度の情報のラベリングは被験者を識別可能に行なわれる。被験者毎に話題についての認知負荷度は異なるからである。
【００９３】
さらにまた、この第１実施例では、推定装置に話題データを記憶しておき、選択された話題についての音声データをロボットに送信するようにしたが、これに限定される必要はない。ロボットに話題データを記憶しておき、推定装置から、選択された話題の識別情報をロボットに送信し、ロボットが受信した識別情報が示す話題についての音声データを出力するようにしてもよい。
【００９４】
＜第２実施例＞
第２実施例の推定システム１０は、推定装置１２と通信可能に接続される外部コンピュータ２２から指令に応じてロボット２０は被験者と会話し、現在の話題について推定した認知負荷度を外部コンピュータ２２に出力し、認知負荷度を確認した外部コンピュータ２２の操作者が話題を変更するようにした以外は第１実施例と同じである。以下、第２実施例の推定システム１０について説明するが、第１実施例で説明した内容と重複する内容については省略することにする。
【００９５】
図１０に示すように、第２実施例の推定システム１０では、外部コンピュータ２２が推定装置１２の通信回路４２に接続され、この外部コンピュータ２２にロボット２０が接続される。第２実施例では、ロボット２０は、外部コンピュータ２２からの指令に応じて被験者と会話する。つまり、ロボット２０が被験者に提示する話題は外部コンピュータ２２の操作者によって決定される。
【００９６】
つまり、第２実施例の推定システム１０では、推定処理においては、ステップＳ２９で、推定結果を外部コンピュータ２２に出力する。また、発話制御処理においては、ステップＳ５１における話題の選択およびステップＳ６７における話題の変更は、外部コンピュータ２２の操作者によって行われる。
【００９７】
ただし、図９に示した発話制御処理を外部コンピュータ２２のプロセッサが実行することにより、外部コンピュータ２２の操作者が介在せずに、ロボット２０の発話が制御されてもよい。
【００９８】
第２実施例においても、第１実施例と同様に、脳活動に基づいて会話中における被験者の認知負荷の大きさを推定することができる。
【００９９】
また、第２実施例においても、第１実施例と同様に、被験者の認知負荷度に応じてロボットに適切に会話させることができる。
【０１００】
さらに、第２実施例においても、第１実施例と同様に、顔の表情または／および視線の向きも考慮して推定する場合よりも優れた認知負荷度の推定結果を得ることができる。
【０１０１】
なお、第２実施例においては、外部コンピュータの操作者の発話した内容をロボットを通して被験者に提示することもできる。かかる場合には、ロボットとして、上記のロボビー（登録商標）のみならず、出願人が所属する機関が開発したテレノイド（登録商標）を使用することもできる。ただし、テレノイド（登録商標）を使用する場合には、これに装着されるスマートフォンまたは携帯電話機などの携帯機器が推定装置と通信可能に接続され、携帯機器からテレノイドに設けられたスピーカを通して音声データが出力される。
【０１０２】
また、上述の各実施例では、クラスタ空間を構築するために、認知解題としてＮバック課題を用いるようにしたが、これに限定される必要はなく、他の課題を使用することもできる。他の課題としては、リスニングスパンテスト、ストループ課題および暗算課題などが該当する。
【０１０３】
さらに、上述の各実施例では、Ｎバック課題に対する認知負荷度が低いクラスＣ１と高いクラスＣ２の２つのクラスを含むクラスタ空間を構築し、これを用いて話題に対する認知負荷度を推定するようにしたが、３つ以上のクラスを含むクラスタ空間を構築するようにしてもよい。かかる場合には、クラスの個数に応じて、Ｎバック課題に対する認知負荷度の段階が設定される。したがって、ロボットなどから提供する話題も認知負荷度の段階に応じた段階に分類される。そして、話題を提供する場合には、推定された認知負荷度に応じて、段階的に認知負荷を大きくするように、話題を変更するようにしてもよい。
【０１０４】
また、上述の各実施例で示した具体的な数値は単なる一例であり、限定されるべきではなく、実施される製品等に応じて適宜変更可能である。
【符号の説明】
【０１０５】
１０  …推定システム
１２  …推定装置
１４  …表示装置
１６  …Ａ／Ｄ変換器
１８  …脳活動計測装置
２０  …ロボット
３０  …ＣＰＵ
３２  …ＨＤＤ
３４  …ＲＡＭ
４０  …入力Ｉ／Ｆ
４２  …通信回路
【図１】
2020151217.tif 000005
【図２】
2020151217.tif 000006
【図３】
2020151217.tif 000007
【図４】
2020151217.tif 000008
【図５】
2020151217.tif 000009
【図６】
2020151217.tif 000010
【図７】
2020151217.tif 000011
【図８】
2020151217.tif 000012
【図９】
2020151217.tif 000013
【図１０】
2020151217.tif 000014