(57)【要約】  【課題】  脳波測定装置を簡素化することができるとともに被介護者（ユーザ）の意思を決定する精度を高くすることのできる意思表示システムを提供する。  【解決手段】  意思表示システム１は、音再生装置２と脳波測定装置３と意思表示装置４を備える。脳波測定装置３は、ユーザが装着したときにユーザの額部分に配置される測定電極３１と、グランドに接地される接地電極３２を備える。意思表示装置４は、脳波の波形パターンから事象関連電位を検出するためのパラメータファイルをユーザごとに記憶し、練習モードで複数の音が再生されたときに測定した脳波の波形パターンに基づいて自動学習を行ってパラメータファイルをユーザごとに最適化する。【選択図】  図１
2020092805.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの聴覚を刺激するための複数の音を再生する音再生装置と、
前記ユーザの頭部に装着され、前記ユーザの脳波を測定する脳波測定装置と、
前記測定した脳波に基づいて決定された前記ユーザの意思を表示する意思表示装置と、
を備え、
前記音再生装置は、
前記ユーザに向けて所定の方向から所定の音色の音を再生し、前記複数の音は、各音の方向または音色のいずれかが異なり、
前記脳波測定装置は、
前記ユーザが装着したときに前記ユーザの額部分に配置される測定電極と、グランドに接地される接地電極と、を備え、
前記意思表示装置は、
前記音再生装置によって前記複数の音が再生されたときに測定した脳波の波形パターンから事象関連電位を検出する事象関連電位検出部と、
前記事象関連電位が検出された音の方向または音色に基づいて、前記ユーザの意思を決定する意思決定部と、
前記音の方向または音色に基づいて決定された前記ユーザの意思を画面に表示する画面表示部と、
を備え、
前記事象関連電位検出部は、
前記脳波の波形パターンから事象関連電位を検出するためのパラメータファイルを、ユーザごとに記憶する記憶部と、
練習モードで前記複数の音が再生されたときに測定した脳波の波形パターンに基づいて、自動学習を行って前記パラメータファイルをユーザごとに最適化する自動学習部と、
を備える、意思表示システム。
【請求項２】
前記脳波測定装置は、前記ユーザの頭部に巻き付けて装着される携帯式バンド型の脳波測定装置である、請求項１に記載の意思表示システム。
【請求項３】
前記接地電極は、前記ユーザが装着したときに前記ユーザの耳部分に配置される、請求項１または２に記載の意思表示システム。
【請求項４】
前記意思表示装置は、前記音の方向または音色に基づいて決定された前記ユーザの意思を音声で出力する音声出力部を備える、請求項１〜３のいずれか記載の意思表示システム。
【請求項５】
前記音再生装置は、前記複数の音として、５つの異なる方向から５つの異なる音色の立体音を再生する、請求項１〜４のいずれかに記載の意思表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、聴覚刺激と脳波を用いた意思表示システムに関する。
【背景技術】
【０００２】
従来から、被介護者の眼球の動きや脳波（α波やβ波など）の変化をとらえてキーボード入力などを行う介護用システムが実用化されている。しかし、被介護者が筋萎縮側索硬化症（ＡＬＳ）等の患者の場合、瞼の筋肉を動かすことができなくなると、眼球の動きを利用したシステムは利用できなくなる。そこで、聴覚刺激と脳波を利用して被介護者の意思を出力するシステムが提案されている（例えば特許文献１参照）。
【０００３】
例えば、従来のシステムでは、被介護者にヘッドホンを装着し、左右両方から別々の音楽を流して、どちらか一方の方向からの音楽のみに集中してもらう。そして、被介護者の脳波をセンサで取得し、取得した脳波をフーリエ変換して周波数の変化（例えばα波の変化）をとらえ、その変化から被介護者の意思（被介護者が左右どちらの音楽に集中したか）を決定する。しかし、被介護者がどちらか一方の方向からの音楽のみに集中したときに、α波やβ波などが脳波に出現する再現率が低いため、上記従来のシステムでは、被介護者の意思を決定する精度が低いという問題があった。
【０００４】
そこで近年、α波やβ波ではなく、事象関連電位を利用することが注目されている（例えば非特許文献１参照）。事象関連電位は、視覚あるいは聴覚による刺激を受けた被介護者が予め記憶したものを知覚したときに出現する脳波の変化である。例えば、刺激を与えた後３００ｍｓ辺りにピークが出現する事象関連電位（Ｐ３００とも呼ばれている）は、α波やβ波よりも脳波に出現する再現率が高いため、被介護者の意思を決定する精度が高くなる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２４４４８０号公報
【非特許文献】
【０００６】
【非特許文献１】Nadine Simon、外５名、“An auditory multiclass brain-computer interfaced with natural stimuli: Usability evaluation with healthy participants and a motor impaired end user”、［online］、２０１５年１月、frontier in Human Neurosience、インターネット（https://www.frontiersin.org/articles/10.3389/fnhum.2014.01039/full）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来、事象関連電位を測定するためには、多数のセンサ（例えば、２８個ものセンサ）が必要であり、脳波を測定するための装置が大がかりなものになるという問題があった。一方、脳波を測定するための装置を単に簡素化してしまうと、事象関連電位を的確にとらえることが困難になり、その結果、被介護者の意思を決定する精度が低くなるという問題があった。
【０００８】
本発明は、上記の課題に鑑みてなされたもので、脳波測定装置を簡素化することができるとともに被介護者（ユーザ）の意思を決定する精度を高くすることができる意思表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の意思表示システムは、ユーザの聴覚を刺激するための複数の音を再生する音再生装置と、前記ユーザの頭部に装着され、前記ユーザの脳波を測定する脳波測定装置と、前記測定した脳波に基づいて決定された前記ユーザの意思を表示する意思表示装置と、を備え、前記音再生装置は、前記ユーザに向けて所定の方向から所定の音色の音を再生し、前記複数の音は、各音の方向または音色のいずれかが異なり、前記脳波測定装置は、前記ユーザが装着したときに前記ユーザの額部分に配置される測定電極と、グランドに接地される接地電極と、を備え、前記意思表示装置は、前記音再生装置によって前記複数の音が再生されたときに測定した脳波の波形パターンから事象関連電位を検出する事象関連電位検出部と、前記事象関連電位が検出された音の方向または音色に基づいて、前記ユーザの意思を決定する意思決定部と、前記音の方向または音色に基づいて決定された前記ユーザの意思を画面に表示する画面表示部と、を備え、前記事象関連電位検出部は、前記脳波の波形パターンから事象関連電位を検出するためのパラメータファイルを、ユーザごとに記憶する記憶部と、練習モードで前記複数の音が再生されたときに測定した脳波の波形パターンに基づいて、自動学習を行って前記パラメータファイルをユーザごとに最適化する自動学習部と、を備えている。
【００１０】
この構成によれば、脳波測定装置は、少なくとも二つの電極（測定電極と接地電極）を備えればよいため、装置を簡素化することができる。この場合、測定電極がユーザの額部分に配置されるので、測定電極が一つであっても精度よく脳波を測定することができる。また、この場合、測定した脳波の波形パターンから事象関連電位を検出するためのパラメータファイルが、ユーザごとに記憶され、練習モードで複数の音が再生されたときに測定した脳波の波形パターンに基づいて、自動学習を行ってパラメータファイルがユーザごとに最適化される。したがって、簡素化した脳波測定装置で測定した脳波からでもユーザの意思を高精度で決定することができる。さらに、この場合、音の方向または音色に基づいて決定されたユーザの意思が画面に表示されるので、ユーザへのビジュアルフィードバック効果により、自動学習の効果が向上する。
【００１１】
また、本発明の意思表示システムでは、前記脳波測定装置は、前記ユーザの頭部に巻き付けて装着される携帯式バンド型の脳波測定装置であってもよい。
【００１２】
この構成によれば、ユーザの頭部に巻き付けて装着される携帯式バンド型の脳波測定装置を用いることで、脳波測定装置の簡素化を実現することができる。
【００１３】
また、本発明の意思表示システムでは、前記接地電極は、前記ユーザが装着したときに前記ユーザの耳部分に配置されてもよい。
【００１４】
この構成によれば、接地電極をユーザが装着したときにユーザの耳部分に配置されるように構成することで、脳波測定装置の簡素化を実現することができる。
【００１５】
また、本発明の意思表示システムでは、前記意思表示装置は、前記音の方向または音色に基づいて決定された前記ユーザの意思を音声で出力する音声出力部を備えてもよい。
【００１６】
この構成によれば、音の方向または音色に基づいて決定されたユーザの意思が音声でも出力されるので、ユーザへのオーディオフィードバック効果により、自動学習の効果がさらに向上する。
【００１７】
また、本発明の意思表示システムでは、前記音再生装置は、前記複数の音として、５つの異なる方向から５つの異なる音色の立体音を再生してもよい。
【００１８】
この構成によれば、ユーザの意思を決定するための複数の音として、５つの異なる方向から５つの異なる音色の立体音が用いられる。これにより、ユーザは５つの選択肢の中から意思の自分の意思を適切に選ぶことができる。
【発明の効果】
【００１９】
本発明によれば、脳波測定装置を簡素化することができるとともに被介護者（ユーザ）の意思を決定する精度を高くすることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態における意思表示システムの説明図である。
【図２】音再生装置で再生される音の説明図である。
【図３】音再生装置での音の再生方法の説明図である。
【図４】意思表示装置の構成を示すブロック図である。
【図５】音の種類と意思の種類との関係を示す図である。
【図６】画面表示（ビジュアルフィードバック）の一例を示す図である。
【図７】本発明の実施の形態における意思表示システムの動作説明のためのフロー図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態の意思表示システムについて、図面を用いて説明する。本実施の形態では、ＡＬＳ患者等の介助に用いられる意思表示システムの場合を例示する。
【００２２】
本発明の実施の形態の意思表示システムの構成を、図面を参照して説明する。図１は、本実施の形態の意思表示システムを示す説明図である。図１に示すように、意思表示システム１は、ユーザの聴覚を刺激するための複数の音を再生する音再生装置２と、ユーザの脳波を測定する脳波測定装置３と、測定した脳波に基づいて決定されたユーザの意思を表示する意思表示装置４を備えている。
【００２３】
音再生装置２は、例えばイヤフォンやヘッドフォンで構成される。音再生装置２は、立体音を再生することができる。すなわち、音再生装置２は、ユーザに向けて所定の方向から所定の音色の音を再生することができ、複数の音は、各音の方向または音色のいずれかが異なる。例えば、図２に示すように、音再生装置２は、複数の音として、５つの異なる方向から５つの異なる音色の立体音（音１〜音５）を再生する。なお、音の方向や音色の数は、これに限定されない。音の方向は５つでなくてもよく、音の音色も５つでなくてもよい。また、同じ音色の音を異なる方向から再生してもよく、同じ方向から異なる音色の音を再生してもよい。
【００２４】
この場合、図３に示すように、音再生装置２は、ある音（例えば、音１）を１５０ｍｓ再生し、２５０ｍｓ無音とした後、次の音（例えば、音２）を再生して、すべての立体音（音１〜音５）を再生する。すべての立体音（音１〜音５）の再生を１セットとすると、音再生装置２は、これを１０セット繰り返す。各音（音１〜音５）の音色（音の種類）としては、例えば、異なる動物の鳴き声などが用いられる。再生される音の種類や長さ、無音の長さは、パラメータファイル（後述する）に記憶される。
【００２５】
脳波測定装置３は、携帯式バンド型の脳波測定装置３として構成され、ユーザの頭部に巻き付けて装着される。脳波測定装置３は、ユーザが装着したときにユーザの額部分に配置される測定電極３１と、グランドに接地される接地電極３２と、ユーザの脳波を測定するための脳波測定モジュール３３を備えている。測定電極３１は、丸型の形状を有しており、素材として導電性ゴムが用いられている。接地電極３２は、ユーザが装着したときにユーザの耳部分に配置される。なお、測定電極３１の数は、１つに限られない。ユーザの額部分に配置される測定電極３１のほかに、ユーザの頭部の他の位置に配置される他の測定電極が設けられてもよい。
【００２６】
意思表示装置４は、スマートフォンなどの端末装置で構成される。図４に示すように、意思表示装置４は、音再生装置２によって複数の音が再生されたときに測定した脳波の波形パターンから事象関連電位を検出する事象関連電位検出部４１を備えている。事象関連電位としては、例えばＰ３００が用いられるが、他の事象関連電位（Ｎ４００やＰ６００等）を用いてもよい。
【００２７】
事象関連電位検出部４１は、脳波の波形パターンから事象関連電位を検出するためのパラメータファイルをユーザごとに記憶する記憶部４２と、練習モードで複数の音が再生されたときに測定した脳波の波形パターンに基づいて自動学習を行ってパラメータファイルをユーザごとに最適化する自動学習部４３を備えている。パラメータファイルには、脳波の特徴量（脳波から抽出される特徴量）、音の種類や長さ、無音の長さなどが含まれる。また、自動学習部４３は、自動学習を行うか否かを切り替えるオン・オフ機能を備えている。
【００２８】
また、意思表示装置４は、事象関連電位が検出された音の方向または音色に基づいてユーザの意思を決定する意思決定部４４と、音の方向または音色に基づいて決定されたユーザの意思を画面に表示する画面表示部４５と、音の方向または音色に基づいて決定されたユーザの意思を音声で出力する音声出力部４６を備えている。
【００２９】
図５は、音の種類と意思の種類との関係を示す図である。図５に示すように、音再生装置２で再生される音（音１〜音５）には、それぞれ意思（意思１〜意思５）が対応付けられている。ユーザは、ある音（例えば、音１）を選択する（その音を意識して聞く）ことにより、その音に対応する意思（例えば、意思１）を選択することができる。各音（音１〜音５）に対応付ける意思（意思１〜意思５）は、ユーザ（あるいは介助者）によって予め設定される。
【００３０】
また、図６は、画面表示（ビジュアルフィードバック）の一例を示す図である。図５では、各音（音１〜音５）について、事象関連電位が検出された度合い（確からしさ）が棒グラフで表示されている。この画面表示の例では、すべての音（音１〜音５）のなかで、音１の事象関連電位が検出された度合い（確からしさ）が最も高く、音１（意思１）がユーザの意思として決定されることが示されている。
【００３１】
以上のように構成された意思表示システム１について、図７のフロー図を参照してその動作を説明する。
【００３２】
本実施の形態の意思表示システム１では、まず、音再生装置２で５つの立体音（音１〜音５）を再生してユーザの聴覚を刺激する（Ｓ１）。そして、各音が再生されているときのユーザの脳波を脳波測定装置３で測定する（Ｓ２）。測定された脳波の波形パターンのデータは、脳波測定装置３から意思表示装置４へ送信される。
【００３３】
意思表示装置４では、測定された脳波の波形パターンから特徴量を抽出する（Ｓ３）。自動学習のオン・オフ機能がオンになっている場合には（Ｓ４）、自動学習を行ってパラメータファイルをユーザごとに最適化し（Ｓ５）、最適化したパラメータファイルをユーザごとに記憶する（Ｓ６）。
【００３４】
つぎに、意思表示装置４で、各音が再生されたときに測定された脳波の波形パターンから事象関連電位の検出を行い（Ｓ７）、各音が再生されたときに事象関連電位が検出された度合い（確からしさ）に基づいて、どの音（どの方向からのどの音色の音）をユーザが意識して聞いていたかを決定し、その音に対応付けれた意思をユーザの意思として決定する（Ｓ８）。そして、意思表示装置４は、このようにして決定したユーザの意思を、画面に表示（ビジュアルフィードバック）するとともに、音声で出力（オーディオフィードバック）する（Ｓ９）。
【００３５】
このような本実施の形態の意思表示システム１では、脳波測定装置３は、少なくとも二つの電極（測定電極３１と接地電極３２）を備えればよいため、装置を簡素化することができる。この場合、測定電極３１がユーザの額部分に配置されるので、測定電極３１が一つであっても精度よく脳波を測定することができる。
【００３６】
また、この場合、測定した脳波の波形パターンから事象関連電位を検出するためのパラメータファイルが、ユーザごとに記憶され、練習モードで複数の音が再生されたときに測定した脳波の波形パターンに基づいて、自動学習を行ってパラメータファイルがユーザごとに最適化される。したがって、簡素化した脳波測定装置３で測定した脳波からでもユーザの意思を高精度で決定することができる。
【００３７】
さらに、この場合、音の方向または音色に基づいて決定されたユーザの意思が画面に表示されるので、ユーザへのビジュアルフィードバック効果により、自動学習の効果が向上する。
【００３８】
また、本実施の形態では、ユーザの頭部に巻き付けて装着される携帯式バンド型の脳波測定装置３を用いることで、脳波測定装置３の簡素化を実現することができる。
【００３９】
また、本実施の形態では、接地電極３２をユーザが装着したときにユーザの耳部分に配置されるように構成することで、脳波測定装置３の簡素化を実現することができる。
【００４０】
また、本実施の形態では、音の方向または音色に基づいて決定されたユーザの意思が音声でも出力されるので、ユーザへのオーディオフィードバック効果により、自動学習の効果がさらに向上する。
【００４１】
また、本実施の形態では、ユーザの意思を決定するための複数の音として、５つの異なる方向から５つの異なる音色の立体音が用いられる。これにより、ユーザは５つの選択肢の中から意思の自分の意思を適切に選ぶことができる。
【００４２】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００４３】
以上のように、本発明にかかる意思表示システムは、脳波測定装置を簡素化することができるとともに被介護者（ユーザ）の意思を決定する精度を高くすることができるという効果を有し、ＡＬＳ患者の介助システム等として用いられ、有用である。
【符号の説明】
【００４４】
１  意思表示システム
２  音再生装置
３  脳波測定装置
４  意思表示装置
３１  測定電極
３２  接地電極
３３  脳波測定モジュール
４１  事象関連電位検出部
４２  記憶部
４３  自動学習部
４４  意思決定部
４５  画面表示部
４６  音声出力部
【図１】
2020092805.tif 000003
【図２】
2020092805.tif 000004
【図３】
2020092805.tif 000005
【図４】
2020092805.tif 000006
【図５】
2020092805.tif 000007
【図６】
2020092805.tif 000008
【図７】
2020092805.tif 000009