(57)【要約】【課題】利用者の視覚に基づく情報と利用者の脳活動状態との比較を容易に行えるようにする。【解決手段】情報処理装置と、情報処理装置に接続される脳活動計測装置と、情報処理装置に接続される撮像装置とを含む脳活動記録システムであって、脳活動計測装置は、利用者に装着され、利用者の所定の脳活動状態を計測する計測部を有し、撮像装置は、利用者に装着され、利用者の視線方向を撮影する撮像部を有し、情報処理装置は、利用者の脳活動状態の計測値を脳活動計測装置から取得し、利用者の視線方向を撮影した利用者画像を撮像装置から取得し、画像から当該画像に含まれる視認対象の属性を推定する推定モデルを用いて、撮像装置で撮像された利用者画像に含まれる視認対象の属性を推定し、利用者の脳活動状態の計測値と推定された利用者画像に含まれる視認対象の属性とを対応付けて出力する制御部を有する、脳活動記録システムとする。【選択図】図５
2020046987.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置と、前記情報処理装置に接続される脳活動計測装置と、前記情報処理装置に接続される撮像装置とを含む脳活動記録システムであって、
前記脳活動計測装置は、
利用者に装着され、前記利用者の所定の脳活動状態を計測する計測部を有し、
前記撮像装置は、
前記利用者に装着され、前記利用者の視線方向を撮影する撮像部を有し、
前記情報処理装置は、
前記利用者の前記脳活動状態の計測値を前記脳活動計測装置から取得し、前記利用者の視線方向を撮影した利用者画像を前記撮像装置から取得し、画像から当該画像に含まれる視認対象の属性を推定する推定モデルを用いて、前記撮像装置で撮像された前記利用者画像に含まれる視認対象の属性を推定し、前記利用者の前記脳活動状態の計測値と推定された前記利用者画像に含まれる前記視認対象の属性とを対応付けて出力する制御部を有する、
脳活動記録システム。
【請求項２】
前記情報処理装置は、
前記情報処理装置の存在位置を測位する測位部を含み、
前記制御部は、前記利用者の前記脳活動状態の計測値と、前記利用者画像に含まれる前記視認対象の属性と、前記測位部が測位した前記情報処理装置の存在位置を示す位置情報とを対応付けて出力する、
請求項１に記載の脳活動記録システム。
【請求項３】
前記情報処理装置の前記制御部は、前記脳活動計測装置から取得した脳活動状態の計測値が所定の範囲内である場合に前記撮像装置に対して撮影を開始することを指示し、前記脳活動計測装置から取得した脳活動状態の計測値が所定の範囲内でない場合に前記撮像装置に対して撮影を停止することを指示する、
請求項１または２に記載の脳活動記録システム。
【請求項４】
前記情報処理装置の前記制御部は、推定した前記利用者画像に含まれる前記視認対象の属性が所定の視認対象の属性を含む場合に前記脳活動計測装置に対して脳活動状態の測定を開始することを指示し、推定した前記利用者画像に含まれる前記視認対象の属性が所定の視認対象の属性を含まない場合に前記脳活動計測装置に対して脳活動状態の測定を停止することを指示する、
請求項１または２に記載の脳活動記録システム。
【請求項５】
前記推定モデルは、画像と当該画像に含まれる視認対象の属性との組み合わせを教師データとして機械学習されたものである、
請求項１から４のいずれか１項に記載の脳活動記録システム。
【請求項６】
前記視認対象の属性は、物体の名称である、
請求項１から５のいずれか１項に記載の脳活動記録システム。
【請求項７】
情報処理装置と、前記情報処理装置に接続される脳活動計測装置と、前記情報処理装置に接続される撮像装置とを含む脳活動記録システムにおいて、
利用者に装着される前記脳活動計測装置が、前記利用者の所定の脳活動状態を計測し、
前記利用者に装着される前記撮像装置が、前記利用者の視線方向を撮影し、
前記情報処理装置が、
前記利用者の前記脳活動状態の計測値を前記脳活動計測装置から取得し、
前記利用者の視線方向を撮影した利用者画像を前記撮像装置から取得し、
画像から当該画像に含まれる視認対象の属性を推定する推定モデルを用いて、前記撮像装置で撮像された前記利用者画像に含まれる視認対象の属性を推定し、
前記利用者の前記脳活動状態の計測値と推定された前記利用者画像に含まれる前記視認対象の属性とを対応付けて出力する、
ことを実行する脳活動記録方法。
【請求項８】
情報処理装置と、前記情報処理装置に接続される脳活動計測装置と、前記情報処理装置に接続される撮像装置とを含む脳活動記録システムにおいて、
利用者に装着される前記脳活動計測装置が、前記利用者の所定の脳活動状態を計測し、
前記利用者に装着される前記撮像装置が、前記利用者の視線方向を撮影し、
前記情報処理装置が、
前記利用者の前記脳活動状態の計測値を前記脳活動計測装置から取得し、
前記利用者の視線方向を撮影した利用者画像を前記撮像装置から取得し、
画像から当該画像に含まれる視認対象の属性を推定する推定モデルを用いて、前記撮像装置で撮像された前記利用者画像に含まれる視認対象の属性を推定し、
前記利用者の前記脳活動状態の計測値と推定された前記利用者画像に含まれる前記視認対象の属性とを対応付けて出力する、
ことを実行するための脳活動記録プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脳活動記録システム、脳活動記録方法、脳活動記録プログラムに関する。
【背景技術】
【０００２】
従来から、ヘッドセットと呼ばれる脳活動測定装置に、近赤外線照射部と近赤外線検出部を設け、脳表面の血流量の変化を検出し、検出されたデータをデータ処理装置で処理することで、脳の活動状態を示す情報を取得する計測システムが提供されている。当該計測システムを利用して、利用者（被験者）が様々な行動を行う際の脳活動状態を計測することが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１６７５０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
利用者の脳活動状態の解析が、利用者が見ているもの（利用者の視覚情報）と利用者の脳活動状態とを比較することにより行われることがある。利用者の視覚情報は、利用者に装着されたカメラにより利用者が見ている方向を撮影することにより取得される。映像として取得される利用者の視覚情報は、解析を容易にするため、解析の際に、文字情報（利用者が見ている物体の名称など）に変換されることが多い。視覚情報から文字情報への変換をする際、解析者が映像を見ながら行うため、視覚情報から文字情報への変換には、多くの手間と時間とがかかっている。
【０００５】
本発明は、利用者の視覚に基づく情報と利用者の脳活動状態との比較を容易に行えるようにすること課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、以下の手段を採用する。
即ち、第１の態様は、
情報処理装置と、前記情報処理装置に接続される脳活動計測装置と、前記情報処理装置に接続される撮像装置とを含む脳活動記録システムであって、
前記脳活動計測装置は、
利用者に装着され、前記利用者の所定の脳活動状態を計測する計測部を有し、
前記撮像装置は、
前記利用者に装着され、前記利用者の視線方向を撮影する撮像部を有し、
前記情報処理装置は、
前記利用者の前記脳活動状態の計測値を前記脳活動計測装置から取得し、前記利用者の視線方向を撮影した利用者画像を前記撮像装置から取得し、画像から当該画像に含まれる視認対象の属性を推定する推定モデルを用いて、前記撮像装置で撮像された前記利用者画像に含まれる視認対象の属性を推定し、前記利用者の前記脳活動状態の計測値と推定された前記利用者画像に含まれる前記視認対象の属性とを対応付けて出力する制御部を有する、
脳活動記録システムである。
【０００７】
開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理
装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。
【０００８】
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。プログラムを記述するステップの一部が省略されてもよい。
【発明の効果】
【０００９】
本発明によれば、利用者の視覚に基づく情報と利用者の脳活動状態との比較を容易に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態に係る脳活動記録システムの情報処理に関する構成例を示す図である。
【図２】図２は、脳活動測定装置の構成例を示す図である。
【図３】図３は、利用者端末の構成例を示す図である。
【図４】図４は、身体装着カメラの構成例を示す図である。
【図５】図５は、実施形態の脳活動記録システムの利用者端末の動作フローの例１を示す図である。
【図６】図６は、利用者の脳活動状態の計測値及び利用者が見ている物体の名称の出力の例を示す図である。
【図７】図７は、実施形態の脳活動記録システムの利用者端末の動作フローの例２を示す図である。
【図８】図８は、実施形態の脳活動記録システムの利用者端末の動作フローの例３を示す図である。
【図９】図９は、脳活動記録システムの変形例を示す図である。
【図１０】図１０は、サーバの構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【００１２】
〔実施形態〕
（構成例）
図１は、本実施形態に係る脳活動記録システムの情報処理に関する構成例を示す図である。本実施形態のシステムは、利用者に脳活動測定装置１０と身体装着カメラ３０とを装着させ、利用者の脳活動状態（例えば、心拍数、脳血流変化量など）を示す計測データ（検出値、計測値ともいう）を検出するとともに、利用者の見ているものの映像を記録する。
【００１３】
図１のように、脳活動記録システム１は、脳活動測定装置１０、利用者端末２０、身体装着カメラ３０を有する。脳活動測定装置１０と利用者端末２０、及び、身体装着カメラ３０と利用者端末２０は、ネットワークＮ１を介して、通信可能に接続される。ネットワークＮ１は、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Local Area Network）、Ｌ
ＴＥ（Long Term Evolution）等の規格にしたがうネットワークである。脳活動測定装置
１０が使用するネットワークと、身体装着カメラ３０が使用するネットワークとが異なっ
ていてもよい。脳活動測定装置１０と身体装着カメラ３０とが、ネットワークＮ１を介して、通信可能に接続されてもよい。脳活動測定装置１０は、脳活動状態を計測する計測装置の一例である。身体装着カメラ３０は、例えば、利用者が装着する眼鏡に内蔵されることによって、利用者の身体に装着される。身体装着カメラ３０は、撮像装置の一例である。
【００１４】
図２は、脳活動測定装置の構成例を示す図である。脳活動測定装置１０は、情報処理の側面としては、制御部１１と、無線通信部１３と、一対のセンサ１１５、１２５とを有する。制御部１１は、脳活動測定装置１０の計測と通信を制御する。制御部１１は、例えば、ＣＰＵ(Central Processing Unit)、あるいはＤＳＰ（Digital Signal Processor）等
のプロセッサとメモリとを有し、メモリ上に実行可能に展開されたコンピュータプログラム、ファームウェア等により処理を実行する。ただし、制御部１１は、無線通信部１３とセンサ１１５、１２５を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、ＦＰＧＡ（Field Programmable Gate Array）等であってもよい。また、制御部１
１は、ＣＰＵ、ＤＳＰ、専用のハードウェア回路等が混在したものであってもよい。脳活動測定装置１０は、利用者の頭部に装着され、利用者の頭部に固定される構造を有する。
【００１５】
無線通信部１３は、所定のインターフェースによって、制御部１１およびセンサ１１５、１２５と接続される。ただし、無線通信部１３は、制御部１１を介して、センサ１１５、１２５からデータを取得する構成であってもよい。無線通信部１３は、ネットワークＮ１を介して、利用者端末２０と通信する。無線通信部１３は、転送手段の一例である。ただし、脳活動記録システム１において、無線通信部１３の無線インターフェースの規格に限定はない。
【００１６】
ネットワークＮ１での通信時、通信ヘッダのヘッダ部分、あるいは、通信データ中の利用者データ部分（ペイロード部分）に、脳活動測定装置１０を識別する識別子を埋め込んで、利用者端末２０が利用者（被験者）を識別できるようにする。
【００１７】
また、脳活動記録システム１において、無線通信部１３に代えて、あるいは、無線通信部１３とともに有線で通信を行う通信部を設けてもよい。すなわち、脳活動測定装置１０と利用者端末２０とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定はなく、脳活動記録システム１の用途に応じてＵＳＢ（Universal Serial Bus）、ＰＣＩ  Ｅｘｐｒｅｓｓ（登録商標）等の各種インターフェースを使用できる。
【００１８】
センサ１１５、１２５は、いずれも近赤外線を頭部に照射し、脳の大脳皮質付近で一部吸収されて散乱された近赤外線を受光し、電気信号に変換する。脳の大脳皮質は、例えば、脳の活動状態に応じて、血流量が異なる。その結果、大脳皮質の各部において、血液中の酸素と結合したヘモグロビンの量と、酸素と結合していないヘモグロビンの量が変化する。ヘモグロビンの量の変化、酸素量の変化等に起因して、大脳皮質付近での近赤外線の吸収特性、あるいは、散乱特性が変化する。センサ１１５、１２５は、このような大脳皮質付近の血流の状態に応じた近赤外線吸収率の変化あるいは透過率の変化により光量が変化する近赤外線を電気信号に変換して出力する。センサ１１５、１２５は、検出部の一例である。センサ１１５、１２５で検出される情報により、脳血流変化量、脈拍数を算出することができる。脈拍数は、心拍数に相当する。
【００１９】
センサ１１５、１２５は、例えば、近赤外線を照射する近赤外線光源と、近赤外線を受光する受光部を含む。近赤外線光源は、例えば、ＬＥＤ（Light Emitting Diodes）、赤
外線ランプ等である。また、受光部は、フォトダイオード、フォトトランジスタ等の光電素子と、増幅器と、ＡＤ（Analog Digital）コンバータとを含む。なお、近赤外線光源と
受光部とが対にして設けられなくてもよい。例えば、１つの近赤外線光源に対して、複数の受光部が設けられてもよい。センサ１１５、１２５は、計測部の一例である。
【００２０】
図３は、利用者端末の構成例を示す図である。利用者端末２０は、脳活動測定装置１０から、利用者の大脳皮質付近での近赤外線の吸収率または透過率の変化データを取得し、利用者の脳の活動状態に関連する様々な情報処理を含むサービスを提供する。利用者端末２０は、情報処理装置（コンピュータ）の一例である。利用者端末２０は、ＰＣ（Personal Computer）、スマートフォン、携帯電話、タブレット型端末、カーナビゲーション装
置、ＰＤＡ（Personal Digital Assistant）のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。
【００２１】
利用者端末２０は、ＣＰＵ２１と、メモリ２２と、無線通信部２３と、公衆回線通信部２４と、表示部２５と、操作部２６と、出力部２７と、撮像部２８と、測位部２９と、物理センサ部２Ａを有する。ＣＰＵ２１は、メモリ２２に実行可能に展開されたコンピュータプログラムにより、利用者端末２０としての処理を実行する。利用者端末２０としての処理とは、例えば、上記利用者の脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するＣＰＵ２１は、制御部の一例である。
【００２２】
メモリ２２は、ＣＰＵ２１で実行されるコンピュータプログラム、あるいは、ＣＰＵ２１が処理するデータを記憶する。メモリ２２は、揮発性メモリと不揮発性メモリを含んでよい。メモリ２２は、記憶部の一例である。メモリ２２には、画像データを文字化するためのプログラム、測定結果等を表示するためのプログラム、データ等が格納される。
【００２３】
無線通信部２３は、脳活動測定装置１０の無線通信部１３と同様である。無線通信部２３は、受信手段の一例である。また、利用者端末２０は、無線通信部１３に代えて、あるいは、無線通信部１３とともに有線で通信を行う通信部を有してもよい。利用者端末２０は、無線通信部２３を介して、脳活動測定装置１０のセンサ１１５、１２５で検出された情報を取得する。利用者端末２０は、脳活動測定装置１０から取得した情報に基づいて、利用者の心拍数、脳血流変化量等を算出する。
【００２４】
公衆回線通信部２４は、上位のネットワーク等を介して、サーバ等の他の情報処理装置等と通信する。上位のネットワークは、公衆回線網等である。公衆回線通信部２４は、通信部の一例である。
【００２５】
表示部２５は、例えば、液晶ディスプレイ、ＥＬ（Electro-Luminescence）パネル等であり、ＣＰＵ２１からの出力情報を表示する。操作部２６は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部２７は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。撮像部２８は、例えば、固体撮像素子を含むカメラである。固体撮像素子としては、ＣＣＤ（Charge-coupled device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を利用できる。
【００２６】
測位部２９は、例えば、ＧＰＳ（Global Positioning System）受信機であり、ＧＰＳ
衛星からの電波を受信し、現在位置（緯度、経度等）、時刻等を算出する。ただし、測位部２９としては、ＧＰＳ受信機を有するものに限定される訳ではない。例えば、公衆回線通信部２４が携帯電話網である場合には、測位部２９は、携帯電話基地局からの距離を基に測位を実行してもよい。
【００２７】
物理センサ部２Ａは、例えば、加速度センサ、あるいは角加速度センサ等である。ただ
し、物理センサ部２Ａは、温度センサ、湿度センサ、気圧センサ、または水圧センサであってもよい。
【００２８】
図４は、身体装着カメラの構成例を示す図である。身体装着カメラ３０は、情報処理の側面としては、制御部３１と、メモリ３２、無線通信部３３と、撮像部３４とを有する。制御部３１は、身体装着カメラ３０の撮影と通信を制御する。身体装着カメラ３０は、撮像装置の一例である。
【００２９】
身体装着カメラ３０は、撮像部３４により、利用者の視線方向を撮影する。身体装着カメラ３０は、例えば、利用者が装着する眼鏡のフレームに内蔵される。また、身体装着カメラ３０は、例えば、利用者が装着する眼鏡に取り付けられたり、利用者が装着するヘッドバンドに取り付けられたりしてもよい。身体装着カメラ３０は、利用者の身体のいずれかの位置に固定されて設置される。身体装着カメラ３０は、利用者の身体に装着されることで、利用者が目で見たものを撮影することができる。
【００３０】
制御部３１は、例えば、ＣＰＵ(Central Processing Unit)、あるいはＤＳＰ（Digital
Signal Processor）等のプロセッサとメモリとを有し、メモリ３２上に実行可能に展開
されたコンピュータプログラム、ファームウェア等により処理を実行する。ただし、制御部３１は、無線通信部３３と撮像部３４を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、ＦＰＧＡ（Field Programmable Gate Array）等であってもよい
。また、制御部３１は、ＣＰＵ、ＤＳＰ、専用のハードウェア回路等が混在したものであってもよい。
【００３１】
メモリ３２は、制御部３１で実行されるコンピュータプログラム、あるいは、制御部３１が処理するデータを記憶する。メモリ３２は、揮発性メモリと不揮発性メモリを含んでよい。メモリ３２は、記憶部の一例である。メモリ２２には、撮像部３４で撮影された画像データ等が格納される。
【００３２】
無線通信部３３は、所定のインターフェースによって、制御部３１および撮像部３４と接続される。ただし、無線通信部３３は、制御部３１を介して、撮像部３４からデータを取得する構成であってもよい。無線通信部３３は、ネットワークＮ１を介して、利用者端末２０と通信する。無線通信部３３は、転送手段の一例である。ただし、脳活動記録システム１において、無線通信部３３の無線インターフェースの規格に限定はない。
【００３３】
ネットワークＮ１での通信時、通信ヘッダのヘッダ部分、あるいは、通信データ中の利用者データ部分（ペイロード部分）に、身体装着カメラ３０を識別する識別子を埋め込んで、利用者端末２０が利用者（被験者）を識別できるようにする。
【００３４】
また、脳活動記録システム１において、無線通信部３３に代えて、あるいは、無線通信部３３とともに有線で通信を行う通信部を設けてもよい。すなわち、身体装着カメラ３０と利用者端末２０とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定はなく、脳活動記録システム１の用途に応じてＵＳＢ（Universal Serial Bus）、ＰＣＩ  Ｅｘｐｒｅｓｓ（登録商標）等の各種インターフェースを使用できる。
【００３５】
撮像部３４は、例えば、固体撮像素子を含むカメラである。固体撮像素子としては、ＣＣＤ（Charge-coupled device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide
Semiconductor）イメージセンサ等を利用できる。カメラが撮影する方向は、例えば、利用者がまっすぐ前方を見ているときの方向である。カメラが撮影する方向は、利用者の視線の方向と同じであってもよい。
【００３６】
〈動作例１〉
本実施形態の脳活動記録システムの利用者端末の動作例１について説明する。脳活動記録システム１は、利用者に装着された脳活動測定装置１０で利用者の脳活動（脳血流量）を記録するとともに、利用者に装着された身体装着カメラ３０で利用者が見ているものの映像を記録する。脳活動記録システム１は、撮影された映像に含まれる物体を物体の名称（文字）に変換し、撮影された日時とともに記録する。脳活動記録システム１は、脳活動の測定結果と、変換された物体の名称とを対応付けて出力する。
【００３７】
図５は、本実施形態の脳活動記録システムの利用者端末の動作フローの例１を示す図である。本実施形態の脳活動記録システム１の脳活動測定装置１０は、利用者（被験者）の頭部に装着されており、脳活動状態（脳血流変化量、脈拍数）を測定できる状態である。また、脳活動記録システム１の身体装着カメラ３０は、利用者の身体（例えば、頭部）に装着されており、利用者が見ているものを撮影できる状態である。脳活動測定装置１０、身体装着カメラ３０は、利用者端末２０に接続されている。利用者端末２０は、当該動作フローにおいて、利用者の脳活動状態及び身体装着カメラ３０が撮影した画像を常時取得できる状態にある。
【００３８】
Ｓ１０１では、利用者端末２０は、脳活動測定装置１０に、利用者の脳活動状態を測定を開始することを指示する。測定開始の指示をされた脳活動測定装置１０は、脳活動状態の測定を開始する。脳活動測定装置１０は、脳活動状態を測定した日時とともに、利用者の脳活動状態を記録する。脳活動測定装置１０は、利用者の脳活動状態の測定結果（計測値）を、順次、利用者端末２０に送信する。脳活動状態の測定結果には、脳活動状態を測定した日時の情報が含まれる。
【００３９】
Ｓ１０２では、利用者端末２０は、身体装着カメラ３０に、撮像部３４による撮影を開始することを指示する。撮影開始を指示された身体装着カメラ３０は、撮像部３４による撮影を開始する。撮像部３４による撮影は、所定時間ごとの静止画の撮影であっても、動画の撮影であってもよい。身体装着カメラ３０は、撮影した日時とともに、撮影した画像（静止画又は動画）を記録する。身体装着カメラ３０は、撮影した画像（利用者画像）の画像データを、順次、利用者端末２０に送信する。画像データには、当該画像を撮影した日時の情報が含まれる。
【００４０】
Ｓ１０３では、利用者端末２０は、脳活動測定装置１０から、脳活動状態（脳血流変化量、脈拍数）の測定結果を受信する。利用者端末２０は、受信した脳活動状態の測定結果を、メモリ２２に格納する。
【００４１】
Ｓ１０４では、利用者端末２０は、身体装着カメラ３０から、撮影された画像の画像データを受信する。利用者端末２０は、受信した画像データを、メモリ２２に格納する。
【００４２】
Ｓ１０５では、利用者端末２０は、受信した画像データの画像に含まれる物体の名称（文字）を推定する。利用者端末２０には、あらかじめ、物体を含む画像と、当該物体の名称との組み合わせを教師データとして機械学習させ、画像から当該画像に含まれる物体の名称を推定する物体名称推定モデルが格納されている。物体名称推定モデルは、あらゆる物体を含む画像と当該物体の名称との組み合わせを教師データとして機械学習することで、あらゆる画像について当該画像に含まれる物体の名称を推定することができる。利用者端末２０は、物体名称推定モデルを使用して、受信した画像データの画像について、当該画像に含まれる物体の名称を推定する。当該物体は、利用者が見ている物体であると考えられる。利用者端末２０は、推定された物体の名称と、当該物体が含まれる画像が撮影された日時とを対応づけて、メモリ２２に格納する。また、利用者端末２０は、物体名称推
定モデルによって、画像に含まれる物体の名称が推定されない場合（画像に物体が含まれていない場合など）、画像に物体が含まれていない（利用者が何も見ていない）として、メモリ２２に何も記録しなくてもよい。ここで推定される物体の名称の数は、複数であってもよい。物体名称推定モデルは、推定モデルの一例である。物体の名称は、視認対象の属性の一例である。
【００４３】
Ｓ１０６では、利用者端末２０は、測定された脳活動状態の計測値と、Ｓ１０５で推定された物体の名称とを、脳活動状態が測定された日時と、当該物体を含む画像が撮影された日時とで対応づけて、出力する。利用者端末２０は、例えば、測定された脳活動状態の計測値と、Ｓ１０５で推定された物体の名称（利用者が見ている物体の名称）とを、脳活動状態が測定された日時（物体を含む画像が撮影された日時）で対応づけて、メモリ２２に格納することにより出力する。また、利用者端末２０は、利用者の脳活動状態の計測値及び利用者が見ている物体の名称を日時と対応づけて、表示部２５のディスプレイに表示することにより出力してもよい。利用者端末２０は、利用者の脳活動状態の計測値及び利用者が見ている物体の名称を日時と対応づけて、他の装置に送信することにより出力してもよい。利用者端末２０は、当該出力を所定時間ごとにまとめて行うようにしてもよい。
【００４４】
図６は、利用者の脳活動状態の計測値及び利用者が見ている物体の名称の出力の例を示す図である。図６は、利用者端末２０の表示部２５のディスプレイに表示する例を示す。図６のグラフの横軸は、時間である。図６では、時刻Ｔ０から時刻Ｔ５（＝現時刻）までの脳血流変化量の時間変化が表示される。また、図６では、Ｓ１０５で推定された画像に含まれる物体の名称（利用者が見ている物体の名称）が、利用者が見ていた時刻とともに表されている。具体的には、時刻Ｔ１から時刻Ｔ２まで、利用者は「りんご」を見ていたと推定され、時刻Ｔ３から時刻Ｔ４まで、利用者は「自動車」を見ていたと推定される。図６では、共通の時間軸で、脳活動状態と利用者が見ている物体とが表示されるので、利用者が物体を見ている際の脳活動状態の解析が容易になる。例えば、ある物体を見ている時の脳活動状態の解析や、脳血流変化量の高い時に見ている物体が何であるかの解析などが容易に行えるようになる。また、図６のように、現時刻から所定時間（Ｔ５−Ｔ０）前まで（現時刻までの所定期間）の利用者の脳活動状態及び利用者が見ている物体の名称を表示することで、脳活動をリアルタイムでモニタして評価することができる。利用者の脳活動状態及び利用者が見ている物体の名称の出力は、図６に示すものに限定されるものではない。
【００４５】
Ｓ１０７では、利用者端末２０は、利用者などによる操作部２６への操作によって、当該動作フローの処理の終了の操作がされたか否かを判定する。終了の操作がされた場合（Ｓ１０７；ＹＥＳ）、処理が終了する。終了の操作がされていない場合（Ｓ１０７；ＮＯ）、処理がＳ１０３に戻る。
【００４６】
これにより、利用者端末２０は、利用者の脳活動状態の計測値と利用者が見ている物体の名称とを対応づけて出力することができる。
【００４７】
利用者端末２０は、利用者の脳活動状態の計測値と、利用者が見ている物体の名称とを、測位部２９で測位した利用者端末２０の位置情報（利用者の位置情報に相当）とともに、メモリ２２に格納してもよい。このとき、測位部２９は、常時、利用者端末２０の現在位置を測位する。また、利用者端末２０は、Ｓ１０６の出力の際に、利用者端末２０の位置情報（利用者の位置情報）も合わせて出力してもよい。脳活動状態の解析の際、利用者が存在した位置も、有用な情報となる。
【００４８】
また、利用者端末２０は、物体名称推定モデルによる物体の名称の推定において、複数の物体の名称が候補に挙がった場合に、次のようにしてもよい。利用者端末２０は、複数
の物体の名称の候補に対応付けられた過去の脳活動状態の計測値を、現在推定している画像を撮影された時刻に測定された脳活動状態の計測値と比較して、類似している計測値に対応付けられる物体の名称を、推定結果としてもよい。
【００４９】
ここでは、物体名称推定モデルは、機械学習により構築されるとしたが、さまざまな知識を論理演算子を用いて結合する知識ベース等の他の方法により構築されてもよい。
【００５０】
利用者端末２０には、あらかじめ、不特定の利用者の所定の環境（位置、時刻、行動、見ているもの等）のもとで撮影された画像と、当該環境との組み合わせを教師データとして機械学習させ、画像から当該画像における利用者の環境を推定する環境推定モデルが格納されていてもよい。環境推定モデルは、あらゆる環境のもとで撮影された画像と当該環境との組み合わせを教師データとして機械学習することで、あらゆる画像について当該画像における利用者の環境を推定することができる。利用者端末２０は、環境推定モデルを使用して、受信した画像データの画像について、当該画像における利用者の環境を推定する。利用者の環境は、脳活動状態を解析する上で有用な情報となる。利用者端末２０は、推定された利用者の環境と、当該画像が撮影された日時とを対応づけて、メモリ２２に格納してもよい。また、利用者端末２０は、推定された利用者の環境を、利用者の脳活動状態の測定値等と対応付けて出力してもよい。環境推定モデルは、推定モデルの一例である。利用者の環境は、視認対象の属性の一例である。
【００５１】
〈動作例２〉
本実施形態の脳活動記録システムの利用者端末の動作例２について説明する。動作例２は、動作例１と共通点を有する。ここでは、主として、動作例１との相違点について説明する。動作例１では、身体装着カメラ３０は、常時、撮影を行なっていたが、動作例２では、脳活動状態が閾値以上である場合に撮影を行うとする。
【００５２】
図７は、本実施形態の脳活動記録システムの利用者端末の動作フローの例２を示す図である。
【００５３】
Ｓ２０１では、利用者端末２０は、脳活動測定装置１０に、利用者の脳活動状態を測定を開始することを指示する。測定開始の指示をされた脳活動測定装置１０は、脳活動状態の測定を開始する。脳活動測定装置１０は、利用者の脳活動状態の測定結果を、順次、利用者端末２０に送信する。
【００５４】
Ｓ２０２では、利用者端末２０は、脳活動測定装置１０から、脳活動状態（脳血流変化量、脈拍数）の測定結果を受信する。利用者端末２０は、受信した脳活動状態の測定結果を、メモリ２２に格納する。測定結果は、測定された日時と対応づけられてメモリ２２に格納される。
【００５５】
Ｓ２０３では、利用者端末２０は、測定された脳血流量変化量が所定の閾値以上であるか否かを判定する。脳血流量変化量が所定の閾値以上であることは、脳活動が活発であることを示す。脳血流量変化量が所定の閾値以上である場合（Ｓ２０３；ＹＥＳ）、処理がＳ２０４に進む。脳血流量変化量が所定の閾値以上でない場合（Ｓ２０３；ＮＯ）、処理がＳ２１１に進む。
【００５６】
Ｓ２０４では、利用者端末２０は、身体装着カメラ３０に、撮像部３４による撮影を開始することを指示する。撮影開始を指示された身体装着カメラ３０は、撮像部３４による撮影を開始する。撮像部３４による撮影は、所定時間ごとの静止画の撮影であっても、動画の撮影であってもよい。身体装着カメラ３０は、撮影した画像の画像データを、順次、利用者端末２０に送信する。
【００５７】
Ｓ２０５からＳ２０７までの動作は、図５のＳ１０４からＳ１０６までの動作と同様である。また、Ｓ２０８の動作は、Ｓ２０２と同様である。
【００５８】
Ｓ２０９では、利用者端末２０は、測定された脳血流量変化量が所定の閾値以上であるか否かを判定する。脳血流量変化量が所定の閾値以上である場合（Ｓ２０９；ＹＥＳ）、処理がＳ２０５に戻る。脳血流量変化量が所定の閾値以上でない場合（Ｓ２０９；ＮＯ）、処理がＳ２１０に進む。
【００５９】
Ｓ２１０では、利用者端末２０は、身体装着カメラ３０に、撮像部３４による撮影を停止することを指示する。撮影停止を指示された身体装着カメラ３０は、撮像部３４による撮影を停止する。これにより、利用者端末２０に画像データが送信されなくなる。
【００６０】
Ｓ２１１では、利用者端末２０は、利用者などによる操作部２６への操作によって、当該動作フローの処理の終了の操作がされたか否かを判定する。終了の操作がされた場合（Ｓ２１１；ＹＥＳ）、処理が終了する。終了の操作がされていない場合（Ｓ２１１；ＮＯ）、処理がＳ２０２に戻る。
【００６１】
これにより、利用者の脳活動が活発である時に、利用者が見ている物体の名称を推定することができる。利用者の脳活動が活発であるときの解析を行う場合には、利用者の脳活動が活発でないときの画像データは不要である。動作例２では、動作例１に比べて、不要な画像データを取得しないことで、撮影される画像データの容量を減らすことができる。
【００６２】
ここでは、脳血流変化量が閾値以上である場合に身体装着カメラ３０が撮影を行うとしたが、解析内容などに応じて、閾値以上に代えて所定の範囲内としてもよいし、脳血流変化量に代えて脈拍数などとしてもよい。
【００６３】
〈動作例３〉
本実施形態の脳活動記録システムの利用者端末の動作例３について説明する。動作例３は、動作例１、動作例２と共通点を有する。ここでは、主として、動作例１、動作例２との相違点について説明する。動作例１では、身体装着カメラ３０は、常時、撮影を行なっていたが、動作例３では、利用者が所定の物体を見ている場合に撮影を行うとする。
【００６４】
図８は、本実施形態の脳活動記録システムの利用者端末の動作フローの例３を示す図である。
【００６５】
Ｓ３０１からＳ３０３までの動作は、図５のＳ１０２からＳ１０４までの動作と同様である。
【００６６】
Ｓ３０４では、利用者端末２０は、推定された物体の名称（利用者が見ている物体の名称）が所定の物体の名称を含むか否かを判定する。所定の物体の名称を含む場合（Ｓ３０４；ＹＥＳ）、処理がＳ３０５に進む。所定の物体の名称を含まない場合（Ｓ３０４；ＮＯ）、処理がＳ３１２に進む。
【００６７】
Ｓ３０５の動作は、図５のＳ１０１の動作と同様である。Ｓ３０６の動作は、図５のＳ１０３の動作と同様である。Ｓ３０７の動作は、図５のＳ１０６の動作と同様である。Ｓ３０８からＳ３０９までの動作は、図５のＳ１０４からＳ１０５までの動作と同様である。
【００６８】
Ｓ３１０では、利用者端末２０は、推定された物体の名称（利用者が見ている物体の名
称）が所定の物体の名称を含むか否かを判定する。所定の物体の名称を含む場合（Ｓ３１０；ＹＥＳ）、処理がＳ３０６に戻る。所定の物体の名称を含まない場合（Ｓ３１０；ＮＯ）、処理がＳ３１１に進む。
【００６９】
Ｓ３１１では、利用者端末２０は、脳活動測定装置１０に、脳活動状態の測定を停止することを指示する。測定停止を指示された脳活動測定装置１０は、脳活動状態の測定を停止する。これにより、利用者端末２０に脳活動状態の測定結果が送信されなくなる。
【００７０】
Ｓ３１２では、利用者端末２０は、利用者などによる操作部２６への操作によって、当該動作フローの処理の終了の操作がされたか否かを判定する。終了の操作がされた場合（Ｓ３１２；ＹＥＳ）、処理が終了する。終了の操作がされていない場合（Ｓ３１２；ＮＯ）、処理がＳ３０２に戻る。
【００７１】
これにより、利用者が所定の物体を見ている時に、利用者の脳活動状態を測定することができる。利用者が所定の物体を見ている際の解析を行う場合には、利用者が所定の物体を見ていない時のデータは不要である。動作例３では、動作例１に比べて、不要な測定結果を取得しないことで、利用者端末２０の負荷を減らすことができる。
【００７２】
〔変形例〕
ここで説明する変形例は、上記の実施形態との共通点を有する。ここでは、主として相違点について説明し、共通点については、説明を省略する。
【００７３】
（変形例２）
図９は、脳活動記録システムの変形例を示す図である。図９のように、脳活動記録システム２は、脳活動測定装置１０−１、１０−２と、利用者端末２０−１、２０−２と、身体装着カメラ３０−１、３０−２と、サーバ４０とを有する。ここで、脳活動測定装置１０−１、１０−２は、図１の脳活動測定装置１０と同様である。また、利用者端末２０−１、２０−２は、図１の利用者端末２０と同様である。身体装着カメラ３０−１、３０−２は、図１の身体装着カメラ３０と同様である。脳活動測定装置、利用者端末、シンタ装着カメラの数は、それぞれ、２台に限定されるものではない。脳活動測定装置１０−１、身体装着カメラ３０−１等は、それぞれ、別個の利用者に装着され、利用者端末２０−１等は、それぞれ、脳活動測定装置１０−１、身体装着カメラ３０−１等を装着した利用者によって使用される。サーバ４０は、複数の利用者端末、複数の脳活動測定装置、複数の身体装着カメラを制御して、複数の利用者について同時に計測、撮影を行わせて、心拍数、脳血流変化量、画像等を取得することができる。
【００７４】
図１０は、サーバの構成例を示す図である。サーバ４０は、ネットワークＮ２に接続される。サーバ４０は、一般的な情報処理装置である。情報処理装置は、演算及び制御を行うＣＰＵ、演算等で使用されるデータ等を格納するメモリ及び記憶部、利用者等からの情報の入力を受け付ける入力部、画像や音声等により情報を出力する出力部、他の装置等と情報の送受信を行う通信部等を有する。サーバ４０は、ＰＣ、ワークステーション（ＷＳ、Work Station）のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。
【００７５】
サーバ４０は、ＣＰＵ４１と、メモリ４２と、公衆回線通信部４４と、表示部４５と、操作部４６と、出力部４７を有する。ＣＰＵ４１は、メモリ４２に実行可能に展開されたコンピュータプログラムにより、サーバ４０としての処理を実行する。サーバ４０としての処理とは、例えば、上記脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するＣＰＵ４１は、算出部の一例である。
【００７６】
メモリ４２は、ＣＰＵ４１で実行されるコンピュータプログラム、あるいは、ＣＰＵ４１が処理するデータを記憶する。メモリ４２は、揮発性メモリと不揮発性メモリを含んでよい。
【００７７】
公衆回線通信部４４は、ネットワークＮ２を介して、ネットワークＮ２上の装置、例えば、利用者端末２０等と通信する。ネットワークＮ２は、公衆回線網であり、例えば、携帯電話網である。また、公衆回線通信部４４は、通信部の一例である。ただし、脳活動記録システム２において、ネットワークＮ２は公衆回線網に限定されず、例えば、ＬＡＮ(Local Area Network)等の構内ネットワーク、企業、事業者、役所、学校、研究機関等の専用回線、ＶＰＮ(Virtual Private Network)等の広域ネットワークであってもよい。
【００７８】
表示部４５は、例えば、液晶ディスプレイ、ＥＬ（Electro-Luminescence）パネル等であり、ＣＰＵ４１からの出力情報を表示する。操作部４６は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部４７は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。
【００７９】
各利用者端末２０とサーバ４０とは、ネットワークＮ２を介さずに直接接続されてもよい。また、サーバ４０と各利用者端末２０とは、ネットワークＮ２を介さずに直接接続されてもよい。
【００８０】
図１の脳活動記録システム１では、利用者端末２０による制御により、利用者の脳活動状態の取得、利用者が見ている物体の名称の推定等を行っていた。図９の脳活動記録システム２では、サーバ４０による制御により、脳活動状態の取得、物体の名称の推定等を行う。また、サーバ４０の制御により、利用者端末２０−１等、脳活動測定装置１０−１等を介して、利用者の心拍数、脳血流変化量等を取得する。このとき、サーバ４０は、各利用者の脳活動状態、各利用者が見ている物体の名称をメモリ４２等に格納する。サーバ４０で複数の利用者端末２０を制御することにより、複数の利用者の脳活動状態、見ている物体の名称を集計することが容易になる。サーバ４０は、複数の利用者端末２０、脳活動測定装置１０、身体装着カメラ３０を制御することにより、複数の利用者の脳活動状態、見ている物体の名称等を同時に表示部４５に表示させるようにしてもよい。各利用者は、固有の識別子によって識別され、各利用者の識別子と各利用者の脳活動状態等とが対応付けられてメモリ４２等に格納される。
【００８１】
（実施形態の作用、効果）
利用者端末２０は、利用者に装着された脳活動測定装置１０から利用者の脳活動状態の測定結果（計測値）を取得する。利用者端末２０は、利用者に装着された身体装着カメラ３０から利用者の視線方向を撮影した利用者画像（静止画又は動画）を取得する。利用者端末２０は、画像から当該画像に含まれる物体の名称を推定する物体名称推定モデルを使用して、利用者画像から当該利用者画像に含まれる物体の名称を推定する。利用者端末２０は、利用者の脳活動状態の計測値と、推定された物体の名称とを対応付けて出力する。利用者画像に含まれる物体の名称は、利用者が見ている物体の名称に相当する。よって、利用者の脳活動状態を解析する解析者は、利用者の脳活動状態の計測値と、利用者が見ている物体の名称とを容易に比較しながら、利用者の脳活動状態の解析を行うことができる。また、脳活動記録システムでは、利用者の視覚情報を視覚情報に基づく文字情報に変換することで、同一の視覚情報に基づく文字情報に対応付けられた脳活動状態の計測値を抽出することが容易になる。
【００８２】
上記の構成は、可能な限りこれらを組み合わせて実施され得る。
【００８３】
〈コンピュータ読み取り可能な記録媒体〉
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【００８４】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、ＣＰＵ、メモリ等のコンピュータを構成する要素を設け、そのＣＰＵにプログラムを実行させてもよい。
【００８５】
また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８mmテープ、メモリカード等がある。
【００８６】
また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。
【符号の説明】
【００８７】
１        ：脳活動記録システム
１０      ：脳活動測定装置
１１      ：制御部
１１５    ：センサ
１２５    ：センサ
１３      ：無線通信部
２０      ：利用者端末
２１      ：ＣＰＵ
２２      ：メモリ
２３      ：無線通信部
２４      ：公衆回線通信部
２５      ：表示部
２６      ：操作部
２７      ：出力部
２８      ：撮像部
２９      ：測位部
２Ａ      ：物理センサ部
３０      ：身体装着カメラ
３１      ：制御部
３２      ：メモリ
３３      ：無線通信部
３４      ：撮像部
４０      ：サーバ
４１      ：ＣＰＵ
４２      ：メモリ
４４      ：公衆回線通信部
４５      ：表示部
４６      ：操作部
４７      ：出力部
【図１】
2020046987.tif 000003
【図２】
2020046987.tif 000004
【図３】
2020046987.tif 000005
【図４】
2020046987.tif 000006
【図５】
2020046987.tif 000007
【図６】
2020046987.tif 000008
【図７】
2020046987.tif 000009
【図８】
2020046987.tif 000010
【図９】
2020046987.tif 000011
【図１０】
2020046987.tif 000012